| 专利号 | 2021105407974 | 申请日 | 2021-05-18 | 专利名称 | 一种人机协同的对话系统评测方法及系统 |
| 授权日 | 2023-08-08 | 专利权人 | 山东大学 | 发明人 | 任鹏杰;宋晓萌;田洪涛;张仰君;陈竹敏;任昭春;马军;梁华盛 |
| 主分类号 | G06F11/36 | 关键词 | 应用领域 | ||
| 摘要 | 本公开提供了一种人机协同的对话系统评测方法及系统，包括：构建待评测对话系统的对话样本数据集，其中，对所述对话样本数据集中预设数量的样本进行标注；针对评测数据集中的每条样本，利用置信度评测模型计算其机器评测置信度；采用回归随机森林模型计算每条样本的人力消耗，其中，所述人力消耗为每条样本标注花费的时间成本；利用整数线性规划算法，以最大化评测置信度和最小化人力消耗为目标进行优化，根据优化结果将对话样本数据集中的样本分配给人工和机器进行评测，完成对话系统评测。所述方案基于机器和人工的可靠性与消耗，决定任务是分给机器还是人工，能够有效平衡对话系统评测过程中的高效性和可靠性，提高测评效率。 | ||||
| 创新点 | |||||
| 技术分类 | 标 签 | 战兴产业 | 新一代信息技术 新兴软件和新型信息技术服务 | ||
| 运营方式 | 合作方式 | ||||
| 联系人 | 联系电话 | 电子邮箱 | |||
| 详细说明 | |||||
