| 专利号 | 2019104588759 | 申请日 | 2019-05-29 | 专利名称 | 一种用户注意力引导的多模态对话系统及方法 |
| 授权日 | 2021-08-24 | 专利权人 | 山东大学 | 发明人 | 王文杰;聂礼强;崔晨;尹建华;程志勇;胡琳梅 |
| 主分类号 | G06F16/332 | 关键词 | 应用领域 | ||
| 摘要 | 本发明公开了一种用户注意力引导的多模态对话系统及方法，采用多模态编码器和解码器能够分别编码多模态话语和生成多模态回复。该系统包括数据获取模块、文本特征提取模块、多模态编码器和多模态解码器；所述数据获取模块获取文本信息和商品的视觉图像信息；文本特征提取模块生成注意力加权的文本特征；多模态编码器采用卷积神经网络模型提取视觉图像的视觉特征，将视觉特征输入分类—属性组合树中进行遍历，得到属性级视觉特征；对视觉特征和文本特征进行多模态分解双线性池化处理，生成多模态话语向量；多模态解码器生成上下文向量；基于上下文向量，选择一定量所需商品的可视图像及其文本属性，对其进行解码处理，生成多模态的商品表示。 | ||||
| 创新点 | |||||
| 技术分类 | 标 签 | 战兴产业 | 新一代信息技术 下一代信息网络产业 | ||
| 运营方式 | 合作方式 | ||||
| 联系人 | 联系电话 | 电子邮箱 | |||
| 详细说明 | |||||
