| 专利号 | 2021111941831 | 申请日 | 2021-10-13 | 专利名称 | 一种基于Transformer和多任务学习的多模态情感分析方法及系统 |
| 授权日 | 2024-07-26 | 专利权人 | 山东师范大学 | 发明人 | 石磊;张琼安;徐连诚;刘培玉;朱振方 |
| 主分类号 | G06F40/30 | 关键词 | 应用领域 | ||
| 摘要 | 本发明提供了一种基于Transformer和多任务学习的多模态情感分析方法及系统。该方法包括，提取得到文本数据对应的第一模态、视频数据对应的第二模态和音频数据对应的第三模态；主任务：采用映射Transformer编码器，从三种模态中随机挑选两种模态，将挑选的两种模态映射到未被挑选的模态中，得到三个映射特征；采用Transformer解码器对三个映射特征进行处理，得到三个特征向量，将三个特征向量进行拼接，得到三模态融合特征；根据三模态融合特征预测主任务的情感极性；辅助任务：基于所述三个映射特征，依据设定的积极情感中心和消极情感中心，确定三个映射特征的标签，结合所述三个映射特征预测情感；基于主任务得到的情感极性和辅助任务得到的情感，得到情感分析结果。 | ||||
| 创新点 | |||||
| 技术分类 | 标 签 | 战兴产业 | 新一代信息技术 人工智能 | ||
| 运营方式 | 合作方式 | ||||
| 联系人 | 联系电话 | 电子邮箱 | |||
| 详细说明 | |||||
