情感分析常用的知识类型及常用知识库依据对知识获取途径

情绪分析知识

当训练数据不足以覆盖推理阶段遇到的特征时，我们应该标记更多的数据还是使用现有的外部知识作为监督信号？

基于机器学习和深度学习的情感分析方法在实际应用中经常遇到标注数据不足、泛化能力差的情况。

为了弥补这一不足，学者们尝试引入外部情感知识，为模型提供监督信号，提高模型的分析性能。

本文从外部情感知识的常见类型入手，简要介绍了一些在情感分析中使用知识的代表性作品。

1

为什么要继续尝试将知识融入情感分析

为什么我们不断尝试将知识融入情感分析？

我认为这有几个原因：

1、一般文本分类任务只提供句子或文档级别的情感标签。情感词典等先验情感知识的引入，可以为情感文本引入更细粒度的监督信号，使模型能够学习到更适合的情感分析任务。特征表示。

2、底层的词性、句法等分析任务可以为下游的情感分类和提取任务提供参考信息。例如，评价表达式通常是形容词或形容词短语，评价对象通常是名词；不同的情感分析任务本身具有相互促进作用，比如句子中评价对象和评价词的距离通常比较近，联合提取可以同时提高两者的性能。

3、短文评论通常会省略很多背景常识知识，往往难以从文字本身推断出真正的情感倾向。

例如，关于大选的推文内容是“我非常感谢乔·拜登。为#JoeBiden 投票！！”。文本不包含任何对特朗普的描述。要判断其对特朗普的立场，你需要了解的背景知识是，两者在这次选举中是竞争对手，支持一个就意味着反对另一个。

情感分析的常识有哪些？

2

情感分析的知识类型和常用知识库

根据知识获取方式的划分[1]，我们简要总结了情感分析中常用的知识类型：

数据

学习算法

其中，情感词典是最常用的。

情感分析数据通常与语言模型算法相结合，生成情感向量表示作为下游任务的输入；词法和句法分析模型一般直接为下游情感分析任务提供特征输入或以多任务学习的形式参与下游情感分析任务的训练过程；结构化的外部知识库通常需要使用图算法进行特征挖掘，为文本提供更丰富的常识和情感上下文信息。

3

知识的引入方法及其在情感分析某些任务中的应用

下表显示了几种常见的知识类型及其特征。我们将根据知识的获取和介绍方式，结合具体的论文来描述如何使用它们。

知识类型优缺点 人工情感词典 高质量、小规模、静态、覆盖率低 自动情感词典 规模大、静态、质量低 运行速度慢 常识知识库规模大、质量高、难用完全覆盖

目前，相关的情感分析工作大致可以分为以下几类：

说到情感知识，大多数人首先想到的就是人工编纂的情感词典。简洁直观，质量上乘，极性清晰，使用方便。广泛应用于情感分类、情感元素提取、情感原因发现、情感文本风格等方面。迁移和其他情感分析任务。

情感词与非情感词的区别在于，它们一般代表某种情绪/情绪状态，通常情感词典中也会给出强度分数。

同样，网络上流行的一些表情符号（emoj，如:)、:(、、、）也可以代表某些情绪/情绪状态。

图1 手工编译的情感词典

在这里，我们介绍了一项同时使用情感词典中单词的极性和评分的工作，以了解以前人们如何将情感词的情感信息整合到神经网络中文本的情感表示中。

给定评论文本，Teng 等人。[2]首先找出与情感相关的词（如情感词、过渡词、否定词），计算它们对文本整体情感极性的贡献，然后把每个词的贡献值乘以它的贡献值情感得分作为局部情感极性值，最后加上全局情感极性预测值作为整个文本的情感得分。

图2 情感词典中词的极性和评分同时使用

虽然上述工作在计算情感分数时考虑了否定词和强化词如 not 和 very 的得分信息，但并没有明确描述这些词对周围词的情感语义表示的影响。钱等人。[3]考虑考虑到情感词、否定词和强化词在情感语义组合过程中的不同作用，限制了文本建模过程中不同位置的词的情感分布。例如，如果一个词前面有一个否定词，例如 not，就会导致文本在 not 的情感语义发生翻转。

图 3 约束不同位置词的情感分布

一般来说，情感词典作为一种易于获取且极性准确的情感知识，除了标注语料库外，还可以为情感分析提供额外的监督信号。有监督、无监督的模型提供了一些指导。

作为典型的自监督学习任务，语言建模被广泛使用，因为语言模型生成的词表示被用作下游任务网络模型的输入。

如果能够将情感知识整合到语言模型中，生成的词表示将不可避免地提高情感分析每个子任务的性能。

然后，我们介绍了一种将显式情感词典知识（实际使用表情符号）合并到词向量中的方法。

唐等人。[4]观察到，对于“好”和“坏”等具有相似上下文但极性相反的单词，一般的词向量表示不具有很强的辨别力，不利于下游的情绪。分析任务。

推特和微博中有大量包含表情符号的文本，使用这些具有明显情感极性的表情符号可以过滤大量弱标记的情感文本。

唐等人。使用了这些语料库。他们在普通C&W模型的基础上引入了一个与sentiment score相关的loss导入语的类型有哪些，将这些弱标注的情感信息融入到词向量表示中，使得“good”和“bad”的上下文相似但情感上存在明显差异在不同单词的向量表示中。

在情感分类任务中，他们验证了结合情感表情符号知识的有效性。

在此基础上，他们进一步自动构建了一个大规模的情感词典，将其应用于 [2] 的 Twitter 情感分类任务。

图 4 将基于表情过滤的弱标记情感信息融入词向量表示

除了准确的情感词知识，词汇、句法、语义依存信息、评价词和评价表达等情感信息在文本情感语义建模过程中也发挥着重要作用。这些知识在大规模知识图中并不明确存在。, 但存在于对应的人工标注数据中。

用于提取特征的模型通常是使用学习算法从这些数据中训练出来的。

基于最近预训练的 BERT 语言模型，Tian 等人。[5] 将文本中的评价对象（属性）和情感词等情感元素引入到 Mask Language Model 预训练任务中，进一步提升了类 BERT 模型在多种情感中的表现。分类数据集的性能。

图 5 在 Mask Language Model 预训练任务中引入多种情感元素

与 [3] 类似，Ke 等人。[6] 将词级情感和词性知识引入到预训练的语言模型中。他们首先预测每个单词的词性信息，然后根据词性信息从 SentiWordNet 推断其情感极性。

基于获得的词性和情感信息，他们在通用Masked Language Model的基础上同时预测这些语言标签，实现将情感知识注入到预训练的语言模型中。

该模型在主流情感分类和细粒度情感分析数据集上取得了最先进的结果，证明了在预训练任务中引入词性和情感极性知识的有效性。

图 6 将词级情感和词性知识引入预训练语言模型

孙等人。[7] 提出在面向属性的情感分类（ABSA）任务中，引入斯坦福解析器获得的依赖树信息来辅助识别与评价对象相关的评价词。他们将 GCN 在依赖树上学习到的表示与 BLSTM 学习到的特征相结合，来判断句子对评估对象的情感极性。

图 7 将 GCN 在依赖树上学习的表示与 BLSTM 学习的特征相结合

在引入外部特征方面，目前主要有两种方法：

(1）直接输入模型作为特征

(2）在多任务学习的方式中，作为辅助任务与主任务一起训练。

这些方法的区别主要在于引入特征类别或辅助任务的任务设计。

除了情感词典、情感词向量、情感预训练语言模型和文本特征提取器，结构化外部知识也是情感知识的常见来源。

它的特点是规模大、覆盖面广，对实体、事件或常识概念之间的相关关系有丰富的知识。

结构化知识具有高质量的关系类型，因此适用于需要推理和泛化的情感分析任务。

一个需要泛化的典型任务是跨域文本情感分类任务。源端和目标端的评价对象、评价词等情感相关特征存在较大差异。模型在训练过程中依赖的源端分类特征可能不会出现在目标端文本中。如何对齐这些情感特征是一项重要且具有挑战性的任务。问题。

一种方法是使用通用情感词典作为枢轴信息，在源端和目标端建立共享特征的对齐方式，但这种方法只考虑共享情感词信息，以及通过文本学习到的情感表达的对齐方式本身并不充分和准确。，并且无法捕捉到不同领域的评价对象之间的链接关系。

结构化的外部知识正好弥补了这些不足。它包含了情感词与非情感词之间的关系以及不同领域的评价对象。

近年来，由于图表示算法的进步，学者们已经能够更有效地利用这种结构化的外部知识。

关于跨域情感文档情感分类任务，Ghosal 等人。[8] 在 ACL2020 上提出了 KinGDOM 算法，使用 ConceptNet 构建所有领域的小规模知识图谱，然后找到每个文档中唯一的名词、形容词和副词。收集，然后从中提取一个与文档相关的子图，然后提供从知识库知识中提取的特征表示，与文档本身的情感表示一起进行最终的情感分类。

图 8 KinGDOM 算法

同样，在跨目标姿态分类的任务上，Zhang 等人。[9] 使用 SenticNet 和 EmoLex 构建具有情感关系连接的学习语义-情感图（SE-graph），并使用图卷积神经网络（GCN）来学习节点 Express。给定一段文本，他们使用 SE-graph 来学习为每个单词构建一个子图并学习其表示，并将生成的外部特征表示馈送到修改后的 BLSTM 隐藏层以与当前上下文特征融合。

图 9 基于 SE-graph 的 GCN 学习节点表示

两者都利用外部结构知识扩展输入特征空间，并利用知识库中的连接来对齐源端和目标端的评价词、评价对象等特征，极大地丰富了情感语境信息。

4

总结

本文介绍了情感分析中引入外部知识的部分工作，简要介绍了现阶段情感分析常用的外部知识，从最常见的情感词典入手，逐步介绍情感词向量和基于预训练的语言模型情感词典。它使用多任务学习来集成文本级特征提取器导入语的类型有哪些，例如词性和依赖语法。最后，介绍了最近流行的使用结构化外部知识的文本情感迁移学习工作。

我们可以看到，虽然情感词典是最简单的，但它是各种方式引入情感知识的基石，在情感分析算法中具有无可比拟的地位。

对于未来的工作，一方面，由于目前知识引入在情感分析中的应用场景还仅限于情感分类任务，需要扩展到情感提取、情感（多样性）生成等情感分析任务；

另一方面，如何将结构化的外部知识整合到一个专门用于情感分析的预训练语言模型中，以增强预训练语言模型对与情感分析相关的世界知识的理解，还有待探索。

参考

[1] 刘婷，车万祥。自然语言处理中的知识获取。

[2] 腾等人。用于神经情感分析的上下文相关词典特征。

[3] 钱等人。用于情感分类的语言正则化 LSTM。

[4] 唐等人。为 Twitter 情感分类学习情感特定词嵌入。

[5] 田等人。SKEP：情绪分析的情绪知识增强预训练。

[6] 徐等。SentiLARE：使用语言知识进行情绪感知语言表征学习。

[7] 孙等人。通过依赖树上的卷积进行方面级情感分析。

[8] 戈萨尔等人。KinGDOM：情绪分析的知识引导域适应。

[9] 张等。使用可转移的语义情感知识增强跨目标姿态检测