| 专利号 | 202511603964X | 申请日 | 2025-11-05 | 专利名称 | 一种面向消费级GPU集群的异构感知数据并行训练方法 |
| 授权日 | 2026-02-24 | 专利权人 | 山东大学 | 发明人 | 张啸;李焱;于东晓;李铭祎;肖梦白 |
| 主分类号 | G06F9/50 | 关键词 | 应用领域 | ||
| 摘要 | 本申请属于数据训练领域，具体涉及一种面向消费级GPU集群的异构感知数据并行训练方法，通过模型剪枝为异构消费级GPU生成资源自适应的子模型，以解耦逐层依赖关系，然后跨GPU同步重叠区域的梯度。具体来说，设计了一个子模型生成器和基于簇的规约机制，以快速生成资源自适应的子模型并实现高效的梯度同步。设计了高效的离线分析器立即确定并行训练的最佳配置（微批量大小和子模型大小），从而兼顾内存利用率和计算效率，实现负载平衡。 | ||||
| 创新点 | |||||
| 技术分类 | 标 签 | 战兴产业 | 新一代信息技术 互联网与云计算、大数据服务 | ||
| 运营方式 | 合作方式 | ||||
| 联系人 | 联系电话 | 电子邮箱 | |||
| 详细说明 | |||||
