| 专利号 | 2020105091445 | 申请日 | 2020-06-07 | 专利名称 | 一种面向虚拟实验的多模态语义融合人机交互系统和方法 |
| 授权日 | 2023-12-22 | 专利权人 | 济南大学 | 发明人 | 冯志全;李健;杨晓晖;徐涛 |
| 主分类号 | G06F3/01 | 关键词 | 应用领域 | ||
| 摘要 | 本发明涉及一种面向虚拟实验的多模态语义融合人机交互系统和方法，包括交互信息集成模块，还包括交互信息获取模块、交互意图推理模块和交互任务直行模块，其中，所述交互信息模块采用多模态融合模型来准确识别操作者的真实意图，并将获取到的信息提供给交互意图推理模块；所述交互意图推理模块根据手势语义和语言语义结合场景当前的交互情景来识别用户的交互意图，预测潜在的交互行为；所述交互任务执行模块根据交互意图推理模块预测的交互动作，生成用户期望的实验动作，生成响应的实验效果，返回对应的操作反馈，最后，实验效果和反馈通过不同的通道输出给用户。本发明解决了当下虚拟实验中面临的交互困难的问题。 | ||||
| 创新点 | |||||
| 技术分类 | 标 签 | 战兴产业 | 新一代信息技术 人工智能 | ||
| 运营方式 | 合作方式 | ||||
| 联系人 | 联系电话 | 电子邮箱 | |||
| 详细说明 | |||||
