| 专利号 | 2022100657516 | 申请日 | 2022-01-20 | 专利名称 | 基于双流Transformer的视频时刻检索方法及系统 |
| 授权日 | 2024-11-19 | 专利权人 | 山东大学 | 发明人 | 卢宪凯;滕隽雅;尹义龙 |
| 主分类号 | G06F16/732 | 关键词 | 应用领域 | ||
| 摘要 | 本发明属于视频时刻检索技术领域，涉及一种基于双流Transformer的视频时刻检索方法及系统。本发明引入了Transformer的交互机制，在视觉和文本模态之间关注全局与局部信息。使用自注意力模型学习局部信息；另一方面使用跨模态注意力机制着手于全局差异，从而实现两模态特征的更新，再将两者组合，得到视频与查询文本之间的关系。将融合好的特征经过多层感知机，得到连续的时序置信分数及开始结束时刻概率以确定最终目标片段。本发明算法完备，结构设计合理，能够更好捕捉到视觉特征和文本特征，显著提高了视频时刻检索的精度。同时对于长视频，能够更好的找到与文本描述相对应的视频片段，提升了本发明的性能和稳定性。 | ||||
| 创新点 | |||||
| 技术分类 | 标 签 | 战兴产业 | 新一代信息技术 下一代信息网络产业 | ||
| 运营方式 | 合作方式 | ||||
| 联系人 | 联系电话 | 电子邮箱 | |||
| 详细说明 | |||||
