基于模糊认知图的机器人情感响应模型

1 引言

人类社会交互过程中产生的情感是自然的、独特的，所以人们希望机器人产生的情感也是如此。在人机交互过程中，研究者的研究重点聚焦于机器人如何识别、理解参与人的情感并表达属于他们的独特、自然、生动的情感。随着研究的不断深入，情感计算也逐渐走进大众视野。情感计算(Affective Computing, AC)是赋予机器人观察、识别、理解、生成和表达情感的能力，让机器人在了解参与人情感状态的基础上，适时做出反应，去响应用户不断变化的情感，最终使机器人能够像人一样进行亲切、自然、生动的交互[1]。

随着情感计算研究的深入，如何提高参与人满意度、体验感和人机交互的和谐性成为人机交互的重要问题。近几年，在情感计算方面涌现出众多有价值的情感模型，其中包括情感计算方法、情感识别、情感响应、情感表达等方面的模型。在情感计算方法与认知模型的研究上，文献[2]提出基于知识表示的情感计算方法，采用实数编码方法计算情绪参数和心理状态的变化；文献[3]依据唤醒价态情感空间(Arousal-Valence-Stance, AVS)和有限状态机提出了一种基于G r o s s 认知重评策略(G r o s s Cognitive Reappraisal strategy, GCRs)的认知情感模型，能减少机器人对情感刺激的依赖性。在情感识别研究上，文献[4]提出文本分类的情感嵌入模型，用文本情感标签构建情感嵌入模型并根据Plutchik情感模型将这些文本信息分为8种情感；文献[5]提出基于深度信念网络和多维扩展特征的模型，提高对短文本中文微博情感分类的性能；文献[6]通过获取情感、韵律、音质和情感维度之间的关系，提出了可拒绝的语音情感识别方法。情感响应方面，文献[7]提出面向时序感知的多类别商品方面情感分析推荐模型，结合用户情感信息推断用户对商品的偏好；文献[8]从情感特征出发，抽取影响情感产生的因素引入蚁群算法(Ant colony Optimization,ACO)，构建ACO情感模型，采用串行的方式通过反应强度值的不断更新寻找最优情感状态；文献[9]提出多情感对话系统(Multi-Emotional Conversation System, MECS)以产生情感的连贯反应，选择最相似情感作为机器人的情感响应。情感表达方面，文献[10]提出基于多模态注意力的条件变分自动编码器用于情感控制的对话生成任务，证明多模态以及上下文信息在情绪连贯反应上的重要性；文献[11]通过关键词提取与搭配提出一种对话生成模型，该模型利用强化学习(Reinforcement Learning,RL)和情感编辑约束，使机器人的情感表达更有意义。

结合现有情感计算的相关研究可以发现，人机交互过程中，极易出现机器人情感响应缺失主动性、独特性等情感僵硬化的问题以及参与人满意度和体验感不高的问题。因此，针对以上问题，本文依据愉悦度-激活度-优势度(Pleasure-Arousal-Dominance, PAD)情感空间提出了一种基于模糊认知图(Fuzzy Cognitive Map, FCM)的机器人情感响应模型，考虑赋予机器人拟人化性格特征和社会角色，对人机交互中机器人情感响应过程进行建模。根据交互上下文得到参与人情感值，加入性格特征、社会角色的机器人会生成独特的自我意识，实现对参与人交互情感的响应并影响参与人下一时刻的输入，增加机器人交互过程中情感响应的独特性、主动性，促进人机交互持续进行。

2 人机交互情感分析与情感响应

在人机交互过程中，参与人与机器人的情感交互可以描述为：首先，参与人交互行为输入；其次，将参与人交互行为量化并评估为输入情感值，实现对参与人的情感状态识别；然后，对参与人的情感状态进行跟踪，结合影响机器人情感响应的因素，更新机器人的情感状态矩阵，得到机器人的情感响应；最后，将得到的机器人情感响应与自然语言生成相结合，作为机器人响应输出。人机情感交互过程如图1所示。

由人机情感交互可知，情感响应是情感交互的一个重要过程，而参与人情感输入与机器人情感响应构成了人机情感交互整个过程。情感交互与情感响应的关系如图2所示(R表示机器人，H表示参与人)。根据历史情感信息、参与人当前时刻情感值，同时考虑多种因素对机器人情感响应过程进行建模，得到机器人的情感响应，增加参与人的交互满意度和交互体验感。即已知E H，得到E R。

2.1 基于情感空间的情感状态分析

为了分析参与人的情感状态，实现后续交互过程中参与人情感状态跟踪，本文依据文献[12]，对参与人的交互输入进行情感量化，得到其在连续空间中PAD情感值。在得到参与交互输入情感之后，依据文献[13]，将第k轮参与人交互情感值EH =(pk,ak,dk)评估转化为6种基本情感状态作用下的情感状态矩阵I(EH)

图1 人机情感交互过程

图2 情感交互与情感响应

2.2 基于模糊认知图的机器人情感响应

在现实中，情感产生与变化不仅与外部环境有关，还与自身情感状态、性格和社会角色有关。为了促进人机交互持续进行，构建机器人情感响应模型时不仅需要考虑交互上下文，还需要考虑参与人和机器人之间的相互影响。参与人输入情感刺激机器人参与交互，机器人根据参与人情感变化，寻找时机，主动参与引导对话并影响参与人下一时刻输入。考虑到二者相互影响，本文引入机器人社会角色，考虑到机器人情感响应独特性带给参与人独特的参与体验，引入机器人性格特征。为了使机器人的情感响应更趋近于人，本文综合考虑多个因素，利用模糊认知图构建上下文多轮情感状态之间的关联，情感响应框架如图3所示。

2.2.1 基于社会角色的主动性情感响应

在日常生活中，交流是相互的，交互双方主动参与是对话持续进行的前提，而主动参与是人作为社会角色的一个社交属性。因此，考虑到人机交互中机器人的主动性，本文引入机器社会角色概念模型。

图3 机器人情感响应框架

在人际交往过程中，人作为一个独立个体，有属于自己的社会角色，这对于每个人都是独特的，而社会角色与行为、期望和责任相关。人机交互过程中，人是具有社会角色的个体，故而我们期望机器人也能有社会角色，而机器人成为社会角色需要具备类似人的社交属性。根据参考文献[14]，将机器人社会角色模型应用到人机交互的情感响应中。在情感响应中，机器人成为社会角色至少需要3个能力，即必须有一定的自适应能力、主动参与能力、学习和影响交互对象的能力，如图4所示。

在人际交往中，参与双方都能实时感受对方情绪起伏和变化，并根据对方的情绪变化适时地做出反应。所以在人机交互过程中，希望机器人也能够考虑到参与人情感强度的变化，根据参与人情感强度变化主动承担起调节参与人情感状态的任务。依据参考文献[15]，采用K近邻算法得到参与人的情感强度计算公式

2.2.2 基于性格特征的独特性情感响应

在日常生活中，交互双方都是独立个体，有自己独特的性格特征。性格特征是“人格因素”的主要体现，人格因素的差异造就人独一无二的特性。人格因素的不同是人看待问题角度、表达方式以及性格具有独特性的原因。考虑机器人情感响应的独特性，为机器人引入性格特征。参考大五人格因素理论，对机器人性格特征进行情感分析。依据文献[16]，大五人格因素理论将人的性格分为5大类：外倾性表现为外向、活跃，用E x表示；宜人性表现为温和、宽容，用 Ag表示；尽责性表现为可靠、自律，用C o表示；神经质表现为焦虑、被动，用N e表示；经验开放性表现为创造、智慧，用O p表示。

依据文献[17]，Mehrabiana结合统计学拟合思想得到PAD情感维度与不同的性格特征之间的关系之间的影响关系作为有向弧，影响因素的大小作为权重。模糊认知图在情感响应模型中各节点间关系如图5所示。

图4 机器人社会角色模型

3 基于模糊认知图的情感响应模型

3.1 模糊认知图

模糊认知图是具有反馈功能的有向图，是表达和推理系统中因果关系的模型。FCM的是一个3元序组M =(C,E,W)， 其中C ={ci|ci ∈[−1,1];i=1,2,...,n}表示FCM的节点集合，E={<ci,cj>|ci,cj ∈C}表示所有节点间的因果关系有向弧集合，W ={wi,j|wi,j ∈[−1,1];i,j =1,2,...,n}表示节点之间影响强度的权重矩阵。本文将模糊认知图应用到情感响应中，将机器人性格特征、社会角色、输入与输出情感作为模糊认知图的概念节点，相互

图5 模糊认知图情感响应节点间关系

在图5中c1,c2,...,c17,c18是节点，其含义为：c1,c2,...,c5,c6是机器人社会角色的体现，表现为参与人交互输入情感和参与人情感强度的变化；c7,c8,...,c11,c12是机器人性格特征的体现，表现为经大五人格修正后的情感强度值；c13,c14,...,c17,c18是机器人的情感响应在6种基本情感上的强度值。wi,j代表节点之间的相互影响：图5中由c1,c2,...,c5,c6指向c13,c14,...,c17,c18的直线表示社会角色对情感响应的影响，由c7,c8,...,c11,c12指向c13,c14,...,c17,c18的直线表示性格特征对情感响应的影响，由c13,c14,...,c17,c18指向c1,c2,...,c5,c6的直线表示情感响应对参与人下一时刻情感输入的影响。由此构成一个权重矩阵W为

通过已知的初始条件可以确定FCM初始状态空间，经过阈值函数传播，当FCM达到稳定的循环状态或固定点就完成了因果推理。具有时间记忆特点的FCM可以表示为

3.2 模糊认知图权值学习

FCM推理过程如下：

3.3 机器人情感状态更新

依据文献[19]，将得到的第k轮机器人情感响应映射到PAD情感空间，标定其位置信息，实现机器人在连续情感空间中的情感状态转移。其中将机器人情感响应映射到PAD空间的公式为

3.4 情感响应模型构建

考虑参与人历史交互情感、机器人性格特征和社会角色以及当前交互的外部环境，本文利用FCM对机器人的情感响应过程进行建模，得到机器人本轮交互的情感响应。模型构建如表1所示。

4 实验设计与结果分析

4.1 实验设计

为了直观有效地对本文所提的模糊认知图情感响应模型进行性能分析，依据文献[20]，利用Python中的Chatterbot建立基于文本信息的聊天机器人，增加独特的情感响应模块。首先，利用聊天机器人逻辑适配器进行答案匹配，返回置信度较高的前m个答案作为候选答案集；其次，考虑性格特征的独特性和社会角色的主动性对机器人情感响应的影响，构建基于模糊认知图的情感响应模型。最后，依据该模型更新情感状态转移概率，得到机器人情感响应。

依据参考文献[21]提供的NLPCC2017数据集作为本次实验的数据集。NLPCC 2017自然语言处理和中文计算(shared task test data: emotional conversation generation)数据集共包含约1120000个问答对，随机选取7000对问答作为验证集，再随机选取4000对问答作为测试集，剩余问答作为机器人训练的语料库。实验验证机器人给出该模型下参与人满意度最高的作为机器人的最终表达。

本文选取现有情感模型中具有代表性的模型与本文模型进行对比实验，对比模型如下：

文献[3]提出基于个性特征认知重评策略GCRs的情感交互模型，通过减少机器人对外界情感刺激的依赖性，促使机器人产生积极的情感表达。该模型是认知情感交互领域具有代表性的模型之一，故选取该模型作为对比模型。

表1 基于模糊认知图的机器人情感响应模型

文献[9]提出多情感对话系统MECS以产生情感的连贯反应，倾向于达到和参与人输入情感相同的情感状态，选择最相似情感作为机器人的情感响应，通过提高情感相似性增加交互共鸣。该模型在多情感对话系统中产生情感的连贯性较好，故选取该模型作为对比模型。

文献[11]构建一种基于RL和情感约束的对话生成模型，在基于强化学习算法上生成与主题词和情感词相关的回复。该模型巧妙利用强化学习奖励函数，通过提升交互词语和交互情感的相似度生成和参与人语义、情感一致的信息，该模型在情感相似度上的研究较为突出，故选取该模型作为对比模型。

文献[8]从情感特征出发，构建ACO情感模型，采用串行的方式通过反应强度值的不断更新完成寻找最优情感状态的任务。该模型强调参与人和机器人情感强度值之间的关联，故选取该模型作为对比模型。

文献[20]提出机器人认知模型Chatterbot根据候选答案集中置信度高低进行输出。由于该模型不具备认知情感计算能力，选取该模型为对比模型仅用于模型有效性和参与度验证对比实验。

4.2 实验结果与分析

人机交互过程中需要考虑参与人对机器人的情感响应需求，这是交互持续进行的基础。此外，参与人对人机交互过程的体验感和交互满意度关系到交互频率和交互状态。针对上述需求，本文对人机交互过程中参与人的交互体验感、交互满意度和参与度以及模型有效性等多个方面进行验证。

4.2.1 参与人交互体验感评估

交互体验感评估实验主要从单轮对话与多轮会话两个方面进行测量。由于文献[20]提出的Chatterbot模型仅考虑语义语法方面进行响应输出，缺少情感计算，因此未列入参与人交互体验感对比实验。在参与人交互体验感评价过程中，本文分别对单轮和多轮对话参与人体验感进行问卷调查。单轮对话评价指标包含情感连贯性、情感合理性、情感多样性。多轮对话评价指标包含流畅性、一致性、准确性。

单轮对话和多轮对话的评价标准均为0～2分，其中0分代表指标状态低，1分代表指标状态中等，2分代表指标状态高。为了验证交互过程参与人的体验感，采用人工测试的方法，从测试集中随机选取100句用于测试，实验共使用100个问答对，多渠道邀请50名志愿者进行线上线下问卷调查，各项指标均取调查平均分值作为实验最终结果。不同模型单轮对话和多轮对话交互体验感结果如表2所示。

由表2可知，单轮交互时，本文模型在其对话连贯性、合理性上明显优于其他模型，这是由于本文在进行情感响应时综合考虑机器人的性格特征和社会角色两种因素，机器人的性格特征提升了其情感响应的合理性和连贯性。多轮交互时，本文模型在机器人情感响应的流畅性、一致性、准确性上明显优于其他模型，这表明本文模型建立的上下文之间的情感联系以及考虑到影响机器人情感响应的因素合理，结果显示本文模型能提高参与人交互的体验感，能够实现人机交互过程中机器人情感响应拟人化。

为了查看性格特征和社会角色在参与人交互体验感中的作用，进行消融实验，结果如表3所示。

根据表3可知，单独考虑性格特征或者社会角色的情况下，对单轮和多轮评价指标的作用不同。单轮交互时，社会角色对合理性、连贯性的影响更大，而性格特征对多样性的影响更大；在多轮交互时，社会角色对评价指标的影响比性格特征对评价指标的影响更大，这是因为机器人社会角色能考虑参与人情感变化适时调整情感响应以影响参与人下一时刻情感输入。综合考虑两个因素才是最佳选择。

4.2.2 参与人交互满意度评估

在参与人交互体满意度检测这一部分，测量指标包含机器人情感响应相似度、精确度和活跃度。

机器人情感响应的相似度由式(5)得到，定为d 1。

机器人情感响应的精确度是决定机器人当前情感响应是否符合参与人期待得到的情感的重要因素。定义机器人情感响应的精确度为

其中，前k次情感相似度按从大到小排序，取排名前n的情感相似度。

机器人的情感活跃度会影响参与人的交互输入，情感活跃状态持续低迷则参与人会产生无聊、乏味等特征，降低其交互意愿；反之，积极的情感活跃状态会提升参与人交互意愿。定义机器人的情感活跃度为

模型满意度评估主要从多轮会话满意度(multisatisfaction)进行测量。由于文献[20]提出的Chatterbot模型仅考虑语义语法方面进行响应输出，缺少认知情感计算，因此未列入参与人交互体验感对比实验。结合对比实验，可以得到情感相似度、情感精确度、情感活跃度和交互满意度的结果，如表4所示。

结合表4的实验结果可知，本文所提模型在情感相似度、情感精确度、交互满意度上高于其他模型，这是因为该模型考虑到机器人的社会角色，引入自适应能力、主动参与能力、学习和影响交互对象的能力这3种能力并影响参与人下一时刻的情感输入。通过提高交互情感的相似度和情感精确度提升参与人的满意度。

为了查看性格特征和社会角色在参与人交互满意度评估中的作用，进行消融实验，结果如表5所示。

表2 不同模型交互体验感结果

表3 交互体验感消融实验

表4 不同模型交互满意度结果

表5 交互满意度消融实验

由表5可知，两者单独作用时，社会角色对参与人满意度提升作用高于性格特征，因为具有社会角色的机器人能考虑到参与人情感强度变化并影响参与人，故而能提高参与人交互满意度。两者共同作用高于两者单独作用，这是因为二者结合能够带给参与人独特的交互体验，提升参与人交互满意度和交互体验感。

4.2.3 参与人交互参与度评估

人机交互的目的是增加人与机器人交互次数和交互时长。为验证交互过程参与人的参与度，本文通过多渠道邀请50名志愿者进行不同模型下的多轮人机交互实验，进行交互次数和时长的评估，从数据集中选取50句作为人机交互初始输入，得到不同模型下多轮交互的交互轮数和交互时长结果如表6所示。

由表6可知，本文所提模型在交互轮数和交互时长上均优于其他模型，这表明本文的聊天机器人能够更好地参与和引导交互，减少交互出现僵局的频率。这是由于具有性格特征的机器人能带给参与人独一无二的交互体验，具有社会角色属性的机器人能根据参与人情感强度变化，积极主动参与和引导交互。具有这两个属性的机器人能对参与人下一时刻交互输入产生影响，通过提高参与人交互体验感促进交互进行。

表6 不同模型交互参与度结果

表8 不同模型有效性评价结果

为了查看性格特征和社会角色在参与人交互参与度评估中的作用，进行消融实验，结果如表7所示。

由表7可知，两者单独作用的效果差异不大，而两者兼有的模型则有更好的效果。性格特征通过带给参与人独特的交互体验增加交互轮次和时长，而社会角色则通过影响参与人交互输入提升交互轮次和时长。

4.2.4 模型有效性验证

为便于对模型答案检索有效性进行验证，依据文献[22]采用两个信息检索评价指标平均倒数排名(Mean Reciprocal Rank, MRR)和平均精确度排名(Mean Average Precision, MAP)衡量对比模型的准确率，从测试集中随机选取100句进行试验，取排序准确率平均值作为实验最终结果，结果见表8。

由表8可知，本文情感响应模型相较于其他模型取得更好的结果。这是因为本文情感响应模型比较符合实际，即主动权掌握在交互双方手中，每个参与者都有主动参与和引导交互的权力，交互双方都能从交互中获得不同于其他人的交互体验和情感变化，即每次人机交互的交互体验感都独一无二。

为了查看性格特征和社会角色在模型有效性中的作用，进行消融实验，结果如表9所示。

从表9可知，两者单独作用时，社会角色对有效性的影响略高于性格特征，这是因为社会角色能抓住参与人情感变化影响参与人交互输入，而性格特征则增加参与人交互体验感。两者相结合才是最佳选择。

表7 交互参与度消融实验

表9 有效性消融实验

5 结束语

本文提出一种基于模糊认知图的机器人情感响应模型。首先，将PAD情感空间作为机器人的情感状态空间，对参与人输入的交互情感值进行评估，得到参与人的情感状态矩阵；其次，为机器人引入性格特征和社会角色，赋予机器人性格特征使机器人情感响应具有独特性，赋予机器人社会角色使机器人情感响应具有主动性，利用模糊认知图模型对机器人情感响应过程进行建模；最后，更新机器人情感状态矩阵，得到机器人的情感响应。实验结果从参与人满意度、体验感、参与度等多个方面验证模型的有效性。本文考虑到机器人性格特征和社会角色对情感响应的影响，但由于人类情感产生不仅与参与人认知、喜好、所处生活环境有关而且与情感复杂性、情感颗粒度大小有关。因此，如何考虑情感主观性、复杂性以及情感颗粒度划分对机器人情感响应的影响值得进一步探索与研究。