昨天是一年一度的“女神节”，Mr.Tech首先给各位程序媛和小姐姐补上节日祝福哦~

想必大家都听说过这样一句话，“男人来自火星，女人来自金星”。男女之间确实存在一定的思维差异。比如就在昨天的“女神节”，可能女生明明心里也很想收到一份小礼物，隐晦地表达了自己的心声，但男生就是意识不到；再比如，男生也许真的只是有事儿在忙，但女生看到简单的“在忙”两个字后可能会想多……

怎么样才能更准确地GET到TA的真实想法和情绪，不至于和心仪的TA越走越远呢？也许可以试试技术的方式。

随着AI的日益普及和在各个领域的加速落地，很多企业不断尝试将自然语言处理、语义情感分析等技术应用到智能客服、交互机器人等领域。个推也在自然语言处理及人工智能领域拥有丰富的实践经验。

本文主要借这个有趣的实操案例，为大家分享如何基于NLP进行语义情感分析。

本次实验，我们使用的是从GitHub下载的开源数据集：数据集来自新浪微博，一共361744行数据，并且已经有“喜悦” “愤怒” “厌恶” “低落”等四类标签的label标记。

使用Python进行数据读取

我们知道，文本数据是一种非结构化的数据，且数据内部存在许多像标点、表情符号等类型的特殊字符。因此，我们要先对数据进行一些预处理。

首先，我们先剔除了文本中的一些特殊字符，并对文本进行了中文分词。

在该步骤，为了提升模型效果，我们一般需要建立停用词库，并在文本中将停用词予以剔除。但是考虑到在情感分析中，许多停用词其实有可能会对分类结果产生影响。例如对话时的“呀”，往往带有喜悦的情感色彩。因此在这里，我们并未将这一类的词汇进行剔除。

当然你也可以尝试自定义一个停用词库，并比较一下最后的分类效果。

接下来，我们进入第二步。我们按照7:3的比例将数据集分成了训练集和测试集这两个数据集。同时，我们也对每个词进行了编码，并将文本的序列调整成为相同的长度。

再接着，我们通过word2vec预训练来得到词向量，并且通过观察单词的相似度，对词向量的质量进行了检验。

从下图，可以看到，相似的单词还是基本符合预期的。