| 专利号 | 2023107283072 | 申请日 | 2023-06-19 | 专利名称 | 基于上下文引导多模态关联的图像文本检索方法及系统 |
| 授权日 | 2026-02-13 | 专利权人 | 山东财经大学 | 发明人 | 刘峥;裴新蕾;高珊珊;迟静;王靖瑶;李常浩;徐君豪 |
| 主分类号 | G06F16/583 | 关键词 | 应用领域 | ||
| 摘要 | 本公开提供了基于上下文引导多模态关联的图像文本检索方法及系统，涉及跨模态图文互检索技术领域，方法包括获取不同模态图像和文本数据的细粒度特征序列；构建上下文引导多模态关联学习网络，分别获取图像模态的区域空间性增强的视觉上下文感知表示和文本模态的单词时序性增强的文本上下文感知表示；构建上下文引导多模态关联三分支，对不同语义层面的上下文感知表示进行跨模态相似度学习，利用向量型相似函数学习跨模态关联，设计目标函数，基于联合学习语义一致性损失函数和跨模态匹配损失函数分别实现模态内不同语义层面的互补和不同模态数据之间的语义精准对齐；本公开能够实现不同模态之间的精准对齐。 | ||||
| 创新点 | |||||
| 技术分类 | 标 签 | 战兴产业 | 新一代信息技术 下一代信息网络产业 | ||
| 运营方式 | 合作方式 | ||||
| 联系人 | 联系电话 | 电子邮箱 | |||
| 详细说明 | |||||
