| 专利号 | 2023117533680 | 申请日 | 2023-12-20 | 专利名称 | 注意力机制引导匹配关联的高光谱和RGB视频融合跟踪方法 |
| 授权日 | 2024-11-22 | 专利权人 | 中国人民解放军海军航空大学 | 发明人 | 徐从安;孙炜玮;高龙;刘红娇;宿南;闫奕名;林云;吴俊峰 |
| 主分类号 | G06T7/246 | 关键词 | 应用领域 | ||
| 摘要 | 本发明公开了一种注意力机制引导匹配关联的高光谱和RGB视频融合跟踪方法。本方法基于融合跟踪模型，它包括高光谱模态分支、RGB模态分支、融合模块、高光谱预测模块和RGB预测模块等。其中，融合模块基于Transformer，将高光谱模态特定表征和RGB模态特定表征进行融合得到多模态融合表征。本发明通过更新高光谱搜索区域和RGB搜索区域，得到同一目标在空间不匹配的多模态数据中的模态特定表征，缓解了两种模态空间差异导致的多模态信息跟踪困难的问题；同时，利用Transformer中的注意力机制自适应地捕捉两种模态信息之间的关系，实现两种模态信息的自适应聚合，提高了跟踪性能。 | ||||
| 创新点 | |||||
| 技术分类 | 标 签 | 战兴产业 | 相关服务业 新技术与创新创业服务 | ||
| 运营方式 | 合作方式 | ||||
| 联系人 | 联系电话 | 电子邮箱 | |||
| 详细说明 | |||||
