| 专利号 | 202511317506X | 申请日 | 2025-09-16 | 专利名称 | 一种存算分离场景下大语言模型GPT-2拉远训练方法 |
| 授权日 | 2025-11-14 | 专利权人 | 山东大学 | 发明人 | 张传亭;王玮;乔静萍;张海霞;李悦恒;周晓天 |
| 主分类号 | G06N5/04 | 关键词 | 应用领域 | ||
| 摘要 | 本发明提供了一种存算分离场景下大语言模型GPT‑2拉远训练方法，属于人工智能和云计算技术领域。该方法包括：客户端与服务端建立通信连接；客户端对数据进行序列化，经过序列化的数据通过网络传输发送至服务端；服务端主进程创建数据接收线程用于数据接收和发送反馈，服务端接收到的数据被存入共享队列；建立服务端多进程分布式并行训练模型，各进程从共享队列中取数据用于模型训练，数据接收线程在训练的同时可以接收数据，实现训练和接收并行执行；持续进行数据传输和训练任务，直到完成指定的训练轮次或满足终止条件。本发明通过存算分离场景实现大语言模型训练和数据接收并行执行，提高训练效率，提升模型性能。 | ||||
| 创新点 | |||||
| 技术分类 | 标 签 | 战兴产业 | 新一代信息技术 人工智能 | ||
| 运营方式 | 合作方式 | ||||
| 联系人 | 联系电话 | 电子邮箱 | |||
| 详细说明 | |||||
