| 专利号 | 2019107213976 | 申请日 | 2019-08-06 | 专利名称 | 一种融合多角度多模态的图像描述生成方法及系统 |
| 授权日 | 2022-05-13 | 专利权人 | 齐鲁工业大学 | 发明人 | 杨振宇;张姣 |
| 主分类号 | G06N3/04 | 关键词 | 应用领域 | ||
| 摘要 | 本发明公开了一种融合多角度多模态的图像描述生成方法及系统，所述方法包括以下步骤：接收待描述图像，提取所述图像的全局视觉特征和局部视觉特征并进行融合，得到融合视觉特征；采用单层长短期记忆网络，将融合视觉特征作为输入，得到第一句图像描述；根据第一句图像描述生成第一句语义向量；采用基于注意力的长短期记忆网络语言生成模型，将局部视觉特征和所述第一句语义向量作为输入，生成下一句图像描述句子，进而得到完整的图像描述。本发明融合视觉特征和文本语义特征两种模态，并结合注意力机制，实现了图像的多角度全面描述。 | ||||
| 创新点 | |||||
| 技术分类 | 标 签 | 战兴产业 | 新一代信息技术 人工智能 | ||
| 运营方式 | 合作方式 | ||||
| 联系人 | 联系电话 | 电子邮箱 | |||
| 详细说明 | |||||
