计算机又能否理解艺术画作中的情感？的研究团队正在开发这一算法

摘要： 艺术作品往往体现作者的内心情感。人们欣赏一首音乐或一幅画，也会产生情感共鸣。计算机能理解艺术绘画中的情绪吗？斯坦福大学的一组研究人员正在开发该算法。

原创：HyperAI 超神经

关键词：视觉艺术图像理解 ArtEmis 数据集

列夫·托尔斯泰说：“艺术是一种人的活动，一个人有意识地通过一些外在的符号将他所体验到的感受传达给别人，别人也会被这些感受所感染，真的。体验这些感受。”

以美术画为例计算机程序设计艺术·卷1:基本算法，每一幅作品的背后，都有画家的某种情感。梵高、毕加索等著名画家在不同的创作时期，通过不同的色彩和构图，表达了他们当时独特的心境和情感。

梵高的《向日葵》和毕加索的《老吉他手》

计算机能理解这些艺术品中的情感底蕴吗？斯坦福大学计算机科学研究团队收集了一个名为 ArtEmis 的新数据集，其中包含大量艺术绘画和人类注释的相应情感体验，并训练了一个可以对视觉艺术产生情感反应的计算机模型。

理解绘画，从情感标签数据集开始

WikiArt：名画在线博物馆

2010年上线的非营利性志愿项目WikiArt，汇集了来自世界各地的视觉艺术作品，堪称大型在线名画博物馆。

根据网站数据，截至2020年1月，网站共收录了3293位艺术家的169057幅画作，涵盖61个流派。

WikiArt首页展示，作品可按流派、风格或艺术家国籍、年龄等进行搜索。

WikiArt 上的大量绘画和清晰的分类，因此也成为了很多 AI 领域研究人员用来训练算法的数据集。

2015 年，罗格斯大学和 Facebook 人工智能实验室的研究人员合作开发了 GAN（生成对抗网络），在 WikiArt 数据上进行了训练，使 GAN 能够区分不同的艺术风格。

ArtEmis：从 WikiArt 诞生的新数据集

斯坦福大学团队基于 WikiArt 上的作品创建了一个新的视觉艺术标注数据集 ArtEmis。

他们在 WikiArt 上注释了 1,119 位艺术家的 81,446 件艺术品。作品涵盖从15世纪创作的艺术作品到21世纪创作的现代美术绘画，涵盖27种艺术风格（抽象、巴洛克、立体派、印象派等）和45个流派（城市景观、风景、肖像、静物）生活等），给观众带来了非常多元的视觉冲击。

其中，每幅作品至少需要5位注释者写出他们看到这幅画时的主导情绪，并说明产生这种情绪的原因。

具体来说，要求注释者在观察艺术作品后从 8 种基本情绪状态（愤怒、厌恶、恐惧、悲伤、娱乐、敬畏、满足和兴奋）中选择他们感受到的主要情绪之一，如果没有以上8种情绪，还可以标注“其他”。

注释完情感感受后，注释者需要用文字来进一步解释他们为什么会有这种感觉，或者为什么他们没有任何强烈的情感反应。

以下是人工标注的情感标签，以及详细解释（向左滑动查看更多）：

这项贴标工作最终由亚马逊众包平台上的 6,377 名贴标者完成，总共耗时 10,220 小时。

团队表示，与现有的其他同类数据集相比，ArtEmis 的标注使用了更丰富、感知性和多样化的语言，这些标注形成的语料库共包含 36347 个不同的词。

ArtEmis 数据集

视觉艺术的情感标签数据集

出版商：斯坦福大学、高等理工学院和阿卜杜拉国王科技大学

收录数量：共439121幅画作标注

数据格式：csv

数据大小：21.8 MB

地址：

一个能感知情绪的算法是如何做出来的

为了让计算机能够像人类一样对视觉艺术做出情感反应，并使用语言来展示这些情感的原因，该团队基于这个大规模数据集训练了一个神经扬声器。

斯坦福大学 HAI 学院教授 Guibas 表示，这是计算机视觉领域的一次新探索。以往经典的计算机视觉方法往往会指出图像中有什么，例如：有三只狗；有人在喝咖啡……他们的工作是在视觉艺术中定义情感。

在 ArtEmis 数据集上训练后计算机程序设计艺术·卷1:基本算法，算法识别出不同绘画中包含的情绪，并自动生成此类判断的依据。样例结果如下（向左滑动查看更多）：

文中介绍了具体的训练思路。首先，使用ArtEmis训练模型，实现艺术画作的情感解读问题。这是一个经典的 9 路文本分类问题，团队将基于交叉熵的优化应用于从头训练的 LSTM 文本分类器，同时还考虑微调为此任务预训练的 BERT 模型。

或者，让计算机预测人类通常对工作的情绪反应。

为了解决这个问题，该团队通过最小化输出和 ArtEmis 用户注释之间的 KL 散度来微调基于 ImageNet 的预训练 ResNet32 编码器。

对于给定的绘画，分类器首先判断它所传达的情感是正面的还是负面的，然后进一步判断它是哪种情感。

据团队介绍，对于一幅画，该算法不仅可以感知整体的情绪色彩，还可以区分画中不同人物的情绪。以这幅伦勃朗的《被斩首的施洗者圣约翰》为例，AI算法不仅捕捉到了被斩首约翰的痛苦，还感知到了画中被斩首的女性莎乐美的“满足感”。

算法生成的“施洗者圣约翰斩首”情感注释

当算法有移情能力时

人类的情感是非常丰富、复杂和微妙的。即使是我们人类也无法完全理解一些艺术家想要表达的情感。因此，人工智能要准确理解艺术家的意图，必然存在一定的挑战。

然而，ArtEmis 数据集的发布让 AI 迈出了处理图像情感属性的第一步。

团队表示，经过进一步研究和改进，该算法或许能够感知人类的悲欢离合，艺术家可以通过该算法来评估自己的作品是否能达到预期的情感表达效果。此外，一旦算法能够理解人性，人机交互的过程就会更加自然和谐。