| 专利号 | 2024103264429 | 申请日 | 2024-03-21 | 专利名称 | 基于跨模态语义解析的图文检索方法及系统 |
| 授权日 | 2025-01-03 | 专利权人 | 山东大学 | 发明人 | 胡宇鹏;李明;王锟;李子旭;牟岩松;田阳 |
| 主分类号 | G06F16/33 | 关键词 | 应用领域 | ||
| 摘要 | 本发明涉及基于跨模态语义解析的图文检索方法及系统，包括：图像表征：对给定图像进行理解并生成显著区域的特征编码；文本表征：对给定文本查询语句进行理解，生成上下文相关的离散词汇编码；使用自注意力机制对图像和文本表征进行模态内特征融合；利用聚合特征产生的哈希码和量化码分别计算图像‑文本对的余弦相似度，经过两轮排序筛选出排名靠前的候选集，引入跨模态注意力机制对候选集计算得到较为精确的细粒度匹配分数，使用相似度重排序对排名关系内部微调，最终实现高性能的跨模态图文检索。 | ||||
| 创新点 | |||||
| 技术分类 | 标 签 | 战兴产业 | 新一代信息技术 下一代信息网络产业 | ||
| 运营方式 | 合作方式 | ||||
| 联系人 | 联系电话 | 电子邮箱 | |||
| 详细说明 | |||||
