| 专利号 | 2023100810440 | 申请日 | 2023-01-31 | 专利名称 | 面向不确定模态缺失的多模态情感分析方法及系统 |
| 授权日 | 2023-08-15 | 专利权人 | 烟台大学 | 发明人 | 刘志中;周斌;初佃辉;孟令强;孙宇航 |
| 主分类号 | G06F40/30 | 关键词 | 应用领域 | ||
| 摘要 | 本发明提出了面向不确定模态缺失的多模态情感分析方法及系统，涉及数据处理技术领域，具体方案包括：获取带有不确定缺失的多模态数据，包括三种模态：文本、视觉和音频；通过训练后的多模态情感分析网络处理所述三种模态数据，以生成并输出最终的情感分类；本发明基于模态翻译模块，将视觉和音频模态翻译成文本模态，提高视觉和音频模态质量并且能够捕获不同模态之间的深层交互；通过对完整模态进行预训练，得到完整模态的联合特征来指导缺失模态的联合特征向完整模态的联合特征逼近，不需要考虑有哪种模态缺失，只需要向完整模态的联合特征向量逼近即可，具有更强的通用性。 | ||||
| 创新点 | |||||
| 技术分类 | 标 签 | 战兴产业 | 新一代信息技术 人工智能 | ||
| 运营方式 | 合作方式 | ||||
| 联系人 | 联系电话 | 电子邮箱 | |||
| 详细说明 | |||||
