| 专利号 | 2022115687073 | 申请日 | 2022-12-08 | 专利名称 | 一种基于数据增强及跨模态特征融合的情绪智能识别方法 |
| 授权日 | 2026-02-27 | 专利权人 | 山东大学 | 发明人 | 熊海良;刘凯;朱维红;李康;杨刚强;许宏吉;曹叶文;许玉丹;赵佳琛 |
| 主分类号 | G06F40/30 | 关键词 | 应用领域 | ||
| 摘要 | 本发明公开了一种基于数据增强及跨模态特征融合的情绪智能识别方法，包括如下步骤：多模态数据采集；将文本数据进行数据增强，并利用增强后的文本数据构造文本情感特征；将语音数据提取3D语谱图特征，并进行增强得到语音情感特征；使用跨模态Transformer模型对文本情感特征和语音情感特征进行跨模态特征信息融合，得到融合后的多模态情感特征；使用基于BiGRU与双池化层的分类模型对融合后的多模态情感特征进行特征学习，并使用交叉熵损失函数进行训练；利用训练后的分类模型进行情绪识别。本发明所公开的方法可以有效利用多种模态所包含的情感信息，捕捉不同模态之间的互补信息，从而提升情绪识别模型的识别能力和泛化能力。 | ||||
| 创新点 | |||||
| 技术分类 | 标 签 | 战兴产业 | 新一代信息技术 人工智能 | ||
| 运营方式 | 合作方式 | ||||
| 联系人 | 联系电话 | 电子邮箱 | |||
| 详细说明 | |||||
