| 专利号 | 2020109187593 | 申请日 | 2020-09-04 | 专利名称 | 基于带有主题约束的区域强化网络的图像-文本匹配方法 |
| 授权日 | 2023-10-27 | 专利权人 | 中国石油大学(华东) | 发明人 | 吴杰;吴春雷;王雷全;路静;段海龙 |
| 主分类号 | G06F16/58 | 关键词 | 应用领域 | ||
| 摘要 | 本发明公开了基于带有主题约束的区域强化网络的图像‑文本匹配方法。该任务由于能将不同的模态关联起来而受到广泛的关注。以往的方法主要对区域‑单词对之间的相似性进行聚合来寻找区域和单词之间的对应关系。然而，这些方法很少考虑图像中不同区域的关系而平等对待所有区域。此外，过于关注区域单词对齐可能会曲解图像。本发明首次提出了基于带有主题约束的区域强化网络来研究图像和文本之间的对应关系。设计一个具有交叉注意力的区域强化网络，通过考虑区域之间的关系重新分配区域‑单词的相似性来推断细粒度的对应关系。并提出主题约束模块，总结图像的中心主题以约束原始图像的偏离。本发明在MSCOCO和Flicr30K上进行大量实验证明了提出模型的有效性。 | ||||
| 创新点 | |||||
| 技术分类 | 标 签 | 战兴产业 | 新一代信息技术 下一代信息网络产业 | ||
| 运营方式 | 合作方式 | ||||
| 联系人 | 联系电话 | 电子邮箱 | |||
| 详细说明 | |||||
