| 专利号 | 2025114855696 | 申请日 | 2025-10-17 | 专利名称 | 基于内嵌稀疏门专家混合模型的图文跨模态检索方法 |
| 授权日 | 2026-01-30 | 专利权人 | 中国海洋大学 | 发明人 | 高艳丽;郑程予;聂婕;陈永展;王立宝 |
| 主分类号 | G06F16/583 | 关键词 | 应用领域 | ||
| 摘要 | 本发明属于跨模态图文检索技术领域，公开了基于内嵌稀疏门专家混合模型的图文跨模态检索方法，包括以下步骤：跨模态多尺度建模：利用空洞空间金字塔池化模块ASPP提取图像的多尺度图像特征，利用多尺度激活因子动态加权文本特征，实现图文跨模态多尺度语义对齐；多尺度跨模态特征融合：设计多尺度跨模态路由器，通过交叉注意力融合图像与文本特征，并通过专家网络分尺度提取跨模态联合特征；双路三元组损失计算：采用双路三元组损失函数，结合尺度内与跨尺度约束优化特征空间，实现多尺度与跨模态层面的联合优化，得到最终的跨模态检索结果。通过本发明提高跨模态图文检索的精度和效率。 | ||||
| 创新点 | |||||
| 技术分类 | 标 签 | 战兴产业 | 新一代信息技术 下一代信息网络产业 | ||
| 运营方式 | 合作方式 | ||||
| 联系人 | 联系电话 | 电子邮箱 | |||
| 详细说明 | |||||
