| 专利号 | 2023102320554 | 申请日 | 2023-03-13 | 专利名称 | 基于超级计算机的多头注意力机制的前向计算方法及系统 |
| 授权日 | 2023-08-18 | 专利权人 | 山东大学 | 发明人 | 刘卫国;周正浩;段晓辉 |
| 主分类号 | G06F17/16 | 关键词 | 应用领域 | ||
| 摘要 | 本发明涉及深度学习技术领域，提供了基于超级计算机的多头注意力机制的前向计算方法及系统，包括：从核在主核中读取权重和数据集中的数据，利用向量化并配合循环展开的方式将数据和权重转置相乘，计算得到查询矩阵、键矩阵和值矩阵，并变成多头表示；从核利用向量化并配合循环展开的方式，得到第一结果，并通过转变除法为乘法后，采取向量化配合并循环展开的方式，对第一结果的最低维度执行归一化操作，得到第二结果；从核利用向量化并配合循环展开的方式，得到第三结果，并在将第三结果传输回主核时，对主存带跨步写回，改变数据存储位置，完成转置。极大的加速了前向计算过程，达到了超线性加速比，接近了理论加速比。 | ||||
| 创新点 | |||||
| 技术分类 | 标 签 | 战兴产业 | 新一代信息技术 互联网与云计算、大数据服务 | ||
| 运营方式 | 合作方式 | ||||
| 联系人 | 联系电话 | 电子邮箱 | |||
| 详细说明 | |||||
