| 专利号 | 2021116632196 | 申请日 | 2021-12-30 | 专利名称 | 一种基于分层特征聚合的图像-文本匹配方法及系统 |
| 授权日 | 2024-10-22 | 专利权人 | 山东师范大学 | 发明人 | 张化祥;董新锋;刘丽;孙建德;朱磊;于治楼;金圣开 |
| 主分类号 | G06F16/903 | 关键词 | 应用领域 | ||
| 摘要 | 本发明公开一种基于分层特征聚合的图像‑文本匹配方法及系统，包括：对图像和文本经预处理后得到图像场景图和文本场景图；对图像场景图和文本场景图分别进行分层特征聚合，得到每个对象的属性及对象间的关系，以此重构得到图像模态的对象特征和文本模态的对象特征；将图像模态的对象特征和文本模态的对象特征进行多模态特征融合，将融合特征映射至公共空间，在公共空间中测量不同模态间的距离，根据距离进行图像和文本的匹配。分层聚合每个对象节点上的属性信息和对象间的关系信息，以保证对象语义的完整性，然后仅利用对象节点的特征进行特征融合，有效降低跨模态匹配的复杂性，提高算法的效率。 | ||||
| 创新点 | |||||
| 技术分类 | 标 签 | 战兴产业 | 新一代信息技术 下一代信息网络产业 | ||
| 运营方式 | 合作方式 | ||||
| 联系人 | 联系电话 | 电子邮箱 | |||
| 详细说明 | |||||
