| 专利号 | 2024108810689 | 申请日 | 2024-07-03 | 专利名称 | 基于多模态融合与大语言模型的数字结构化访谈处理方法 |
| 授权日 | 2024-11-12 | 专利权人 | 山东大学 | 发明人 | 刘治;苗丹民;陈丹阳;肖爽;陶可猛 |
| 主分类号 | G16H50/30 | 关键词 | 应用领域 | ||
| 摘要 | 本发明提供了一种基于多模态融合与大语言模型的数字结构化访谈处理方法，属于数据处理技术领域。在预设的提问范式下，获取被访谈对象的多模态数据；对多模态数据中的每种模态数据分别进行特征提取，将提取到的特征转换为低秩特征矩阵，进而得到融合特征矩阵；对被访谈对象的回答音频进行文本转化并对转化后的文本进行预处理；将得到的融合特征矩阵与预处理后的文本描述进行空间嵌入，并生成提示词；根据提示词以及经访谈语料微调的大语言模型，生成新的提问范式，根据新的提问范式向被访谈对象提问并生成新的提示词，循环往复，直至访谈结束；本发明提高了访谈真实性。 | ||||
| 创新点 | |||||
| 技术分类 | 标 签 | 战兴产业 | 新一代信息技术 新兴软件和新型信息技术服务 | ||
| 运营方式 | 合作方式 | ||||
| 联系人 | 联系电话 | 电子邮箱 | |||
| 详细说明 | |||||
