| 专利号 | 2018106977649 | 申请日 | 2018-06-29 | 专利名称 | 一种基于神经网络的多模态协同学习方法及装置 |
| 授权日 | 2019-06-18 | 专利权人 | 山东大学 | 发明人 | 尉寅玮;王翔;宋雪萌;王英龙;聂礼强 |
| 主分类号 | G06K9/00 | 关键词 | 应用领域 | ||
| 摘要 | 本发明公开了种一种基于神经网络的多模态协同学习方法及装置，该方法包括：S1抓取短视频数据建立短视频数据集，所述短视频数据包括用户历史发布的短视频及其附属信息；S2提取短视频数据集中短视频数据的多模态特征，并针对各个模态特征进行信息补足；S3依次将各个模态特征中任一模态特征作为主模态，其余作为辅模态，并计算主模态和辅模态的关系权重，分别进行同一性特征信息与补充性特征信息分类，将补充性特征信息和通过神经网络增强的同一性特征信息进行信息重组；S4建立关注机制网络，区分每一个重组后的模态特征信息对短视频所属场景分类的贡献程度，利用神经网络进行短视频场景分类。 | ||||
| 创新点 | |||||
| 技术分类 | 标 签 | 战兴产业 | 新一代信息技术 人工智能 | ||
| 运营方式 | 合作方式 | ||||
| 联系人 | 联系电话 | 电子邮箱 | |||
| 详细说明 | |||||
