| 专利号 | 2023104363323 | 申请日 | 2023-04-23 | 专利名称 | 一种基于跨模态交叉指导的图文检索方法及系统 |
| 授权日 | 2023-06-30 | 专利权人 | 中国海洋大学 | 发明人 | 丁运来;董军宇;李岳尊;于佳傲 |
| 主分类号 | G06F16/583 | 关键词 | 应用领域 | ||
| 摘要 | 本发明属于人工智能技术领域，公开了一种基于跨模态交叉指导的图文检索方法及系统，包括以下步骤：输入图像数据和文本数据；使用基于自蒸馏算法构建的跨模态交叉指导网络模型进行图像和文本两种不同模态数据的特征提取和共享语义学习，完成模型的训练，跨模态交叉指导网络模型包括教师网络和学生网络，学生网络包含图像和文本两个分支，教师网络与学生网络结构相同，教师、学生网络之间跨模态交叉指导；最后将待检索图像或文本输入训练好的跨模态交叉指导网络模型提取对应的特征，计算待检索图像或文本的相似度，根据相似度得分高低进行检索，获取最优的检索结果；通过本发明实现跨模态语义对齐，提高检索准确性。 | ||||
| 创新点 | |||||
| 技术分类 | 标 签 | 战兴产业 | 新一代信息技术 下一代信息网络产业 | ||
| 运营方式 | 合作方式 | ||||
| 联系人 | 联系电话 | 电子邮箱 | |||
| 详细说明 | |||||
