| 专利号 | 2018106366537 | 申请日 | 2018-06-20 | 专利名称 | 基于翻译的多模态建模方法及其在商品检索中的应用 |
| 授权日 | 2020-11-17 | 专利权人 | 山东大学 | 发明人 | 郭洋洋;程志勇;聂礼强;许信顺 |
| 主分类号 | G06F16/9535 | 关键词 | 应用领域 | ||
| 摘要 | 本发明公开了基于翻译的多模态建模方法及其在商品检索中的应用，包括：对所有商品构建正相关数据集和负相关数据集；建立多模态特征空间，于多模态特征空间得到每个商品最终的视觉特征的隐含表示和文本特征的隐含表示；将每个商品最终的视觉特征的隐含表示和文本特征的隐含表示进行融合，得到每个商品的融合后的隐含表示；基于翻译模型的转换矩阵将隐含表示映射到隐空间中，得到映射后的每个商品的隐表示向量；将新查询文本利用基于翻译模型的转换矩阵映射到隐空间中，计算新查询文本对应的商品的隐表示向量与每个商品的隐表示向量之间的距离；将距离按照从小到大排序，将排序靠前的设定个商品作为商品检索结果输出。 | ||||
| 创新点 | |||||
| 技术分类 | 标 签 | 战兴产业 | 新一代信息技术 下一代信息网络产业 | ||
| 运营方式 | 合作方式 | ||||
| 联系人 | 联系电话 | 电子邮箱 | |||
| 详细说明 | |||||
