| 专利号 | 2021106180775 | 申请日 | 2021-06-03 | 专利名称 | 基于K选择策略稀疏自注意力的文本分类方法及系统 |
| 授权日 | 2022-09-06 | 专利权人 | 齐鲁工业大学 | 发明人 | 王庆祥;叶嘉宇 |
| 主分类号 | G06F16/35 | 关键词 | 应用领域 | ||
| 摘要 | 本发明公开了基于K选择策略稀疏自注意力的文本分类方法及系统，属于自然语言处理技术领域，本发明要解决的技术问题为Transformer模型自注意力机制的高复杂度且Transformer在较长文本数据中，对长度有限制，采用的技术方案为：该方法是以文本分类作为下游任务，通过Spa‑k Transformer对不同文本长度的文本分类数据集进行数据清洗以及数据集划分，再利用PyTorch框架构建自注意力模型Spa‑k Transformer进行训练与测试；并采用K值选择策略，使K值索引的范围缩小；同时采用one‑hot编码和具有相对位置信息的R‑Sinusoidal位置编码优化自注意力模型Spa‑k Transformer；具体步骤如下：S1、数据集预处理；S2、神经网络模型训练；S3、结果预测。 | ||||
| 创新点 | |||||
| 技术分类 | 标 签 | 战兴产业 | 新一代信息技术 下一代信息网络产业 | ||
| 运营方式 | 合作方式 | ||||
| 联系人 | 联系电话 | 电子邮箱 | |||
| 详细说明 | |||||
