【NLP-词向量】词向量的由来及本质 - 云+社区 - 腾讯云

词嵌入是所有自然语言处理任务所必须要经历的步骤,非常的重要。词向量在网络上已经有了大量的文章,但是,出于我们专栏的完整性系统性的考虑,笔者还是决定加上这样一个专题。

计划用3-4次,彻底说清楚在自然语言处理中,词向量的由来,本质和训练。公众号专栏主要讲基本原理,知识星球讲实际的操作。

本篇主要讲述词向量的由来及本质。

作者&编辑 | 小Dream哥

1 词的向量化

首先,我们提出这样一个问题,一个文本,经过分词之后,送入某一个自然语言处理模型之前该如何表示

例如,“人/如果/没用/梦想/,/跟/咸鱼/还有/什么/差别”,向机器学习模型直接输入字符串显然是不明智的,不便于模型进行计算和文本之间的比较。那么,我们需要一种方式来表示一个文本,这种文本表示方式要能够便于进行文本之间的比较,计算等。最容易想到的,就是对文本进行向量化的表示。例如,根据语料库的分词结果,建立一个词典,每个词用一个向量来表示,这样就可以将文本向量化了。

最早的文本向量化方法是词袋模型,我们先来看看词袋模型。

2 词袋模型

要讲词向量,我们首先不得不说的就是词袋模型。词袋模型是把文本看成是由一袋一袋的词构成的。例如,有这样两个文本:

1) “人/如果/没有/梦想/,/跟/咸鱼/还有/什么/差别”

2) “人生/短短/几十/年/,差别/不大/,/开心/最/重要”

这两个文本,可以构成这样一个词典:

{“人”,“如果”,“没有”, “梦想”, “,”,“跟”, “咸鱼” , “还有”,“什么”, “差别”, “人生”, “短短”, “几十”,“年”, “不大”, “开心”, “最”, “重要”}

字典的长度为18,每个词对应有一个index,所以词“人”可以用一个18维的向量表示表示:

{1,0,0,0,····,0}

词“重要”可以用一个18维的向量表示表示:

{0,0,0,0,····,1},

那么,文本该怎么表示呢?词袋模型把文本当成一个由词组成的袋子,记录句子中包含各个词的个数:

文本1:

{1,1,1,1,1,1,1,1,1,1,0,0,0,0,0,0,0, 0}

文本2:

{0,0,0,0,2,0,0,0,0,1,1,1,1,1,1,1,1,1}

我们大概总结一下,词袋模型把文本看成是一个装着词的袋子,以文本2为例,用词袋模型可以这样描述它。文本2里有0个“人”,2个“,”, 1个“差别” 等等。所以词袋模型有以下特点:

1) 文本向量化之后的维度与词典的大小相关;

2) 词袋模型没有考虑词语之间的顺序关系。

这只是两个句子,所以词典的大小是18。当语料库很大时,词典的大小可以是几千甚至几万,这样大维度的向量,计算机很难去计算。

而且就算是只有一个词的句子,它的维度仍然是几千维,存在很大的浪费。

此外,词袋模型忽略了词序信息,对语义理解来讲是一个极大的信息浪费。最后,词袋模型会造成语义鸿沟现象,即两个表达意思很接近的文本,可能其文本向量差距很大。

所以,词袋模型并不是一个好的解决方案。接下来,词向量就“粉墨登场”了。

3 词向量

相比于词袋模型,词向量是一种更为有效的表征方式。怎么理解呢?词向量其实就是用一个一定维度(例如128,256维)的向量来表示词典里的词。

经过训练之后的词向量,能够表征词语之间的关系。例如,“香蕉”和“苹果”之间的距离,会比“香蕉”和“茄子”之间的距离要近。

通过多维向量表示,也能更为方便的进行计算。例如,“女人”+“漂亮” =“女神”。

那么,该如何获取词向量呢?我们先来看看神经概率语言模型。

4 神经概率语言模型

一个语言模型通常构建为一句话的概率分布p(W),这里的p(W)实际上反映的是W作为一个句子出现的概率。 说成大白话,语言模型就是计算某个句子出现的概率

对于一个由T个词按顺序构成的句子,P(W)实际上求解的是字符串的联合概率,利用贝叶斯公式,链式分解如下:

从上面可以看到,一个统计语言模型可以表示成,给定前面的的词,求后面一个词出现的条件概率。

我们在求P(W)时实际上就已经建立了一个模型,这里的诸多条件概率就是模型的参数。如果能够通过语料,将这些参数已学习到,就能够计算出一个句子出现的概率。

那么该如何学习这些条件概率呢?Yoshua Bengio在2003年《A Neural Probabilistic Language Model》一文中提出了一种神经网络的方法,用于语言模型的计算。

如上图所示,是一个简单的神经网络。首先,将输入语料进行分词,并向量化(随机初始化成为一个N维的向量),然后将他们拼接起来,用如下的公式表示:

随后,将上述的拼接结果分别经过一个激活函数和线性连接,并将二者的结果直接相加。此时,y的维度是(|V|, 1),|V|表示语料词表的大小。

最后,接一个softmax函数,预测出下一个词是目标词的概率。

训练时,会设计损失函数,用梯度下降的方法,优化参数。

在训练过程中,我们优化了如下的参数:

其中C为我们之前随机初始化的向量,但是在训练过程中,得到了不断的优化。

因此,在神经网络训练完成之后,我们不但得到了一个能够预测句子出现概率的模型,也得到了一份词向量,它能够表示词语之间的关系。

5 总结

上面详细介绍了词向量的来历和作用,并介绍了一种词向量的训练方法。

在实际过程中,并不是用上述神经网络来训练词向量的因为词向量是如此的重要,NLP工作者们设计了专门的网络来训练词向量。目前用的最多的有word2vec和GLove。这里出于篇幅,先不介绍,后面的文章来介绍。

总结

词向量是NLP开始迈进“现代化”的关键,是各种面试必问的基础,需重视。

原文发布于微信公众号 - 有三AI(yanyousan_ai)

原文发表时间:2019-09-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于 2019-09-032019-09-03 18:50:40

神经网络自然语言处理

扫描二维码

扫码关注云+社区

领取腾讯云代金券


Original url: Access
Created at: 2019-10-07 12:46:43
Category: default
Tags: none

请先后发表评论
  • 最新评论
  • 总共0条评论