重磅全球首个去中心化10B模型训练完成一周内开源

全球首个去中心化训练的10B参数模型诞生了！

Prime Intellect团队宣布，他们完成了一项具有里程碑意义的工作： 跨越美国、欧洲和亚洲的去中心化训练网络 ，成功训练出了一个 10B参数的大模型 。这标志着AI训练领域迈出了革命性的一步。

从训练面板可以看到，这个名为INTELLECT-1的项目已经完成了 1万亿（1T）tokens的训练 。

损失和困惑度曲线都呈现出理想的下降趋势，每秒生成的token 数也保持稳定，这表明训练过程非常成功。

这个项目的成功离不开众多合作伙伴的鼎力支持 。

包括Hugging Face、SemiAnalysis、Arcee.ai、Hyperbolic Labs、Olas、Akash、Schelling AI等在内的多家机构都为这次训练贡献了宝贵的算力资源。这种前所未有的合作模式，展示了AI领域的新型协作方式。

从项目的排行榜可以看到，来自全球各地的贡献者们提供了惊人的计算时间。 最高的贡献者达到了8230小时 ，参与者遍布圣马特奥、达拉斯、赫尔辛基和斯德哥尔摩等地。这种全球化的算力协作模式，让AI训练不再局限于少数科技巨头的数据中心。

在技术层面，这个项目的创新同样令人印象深刻。

团队采用了 DiLoCo分布式训练技术 ，解决了跨地域训练的难题。为了应对分布式环境下的各种挑战，研究团队还实现了 容错训练机制 和 异步分布式检查点 技术。

在内存优化方面，团队选择了升级到 FSDP2 框架，成功解决了FSDP1中存在的内存分配问题。

同时，通过 张量并行计算 技术的应用，显著提升了训练效率。

这些技术创新的背后，是一个强大的研究团队在默默付出。项目负责人特别感谢了Tristan Rice和Junjie Wang在容错训练方面的贡献，以及Chien-Chin Huang和Iris Zhang在异步分布式检查点方面的工作。同时，Yifu Wang在张量并行计算方面的建议也功不可没。

更令人期待的是，团队宣布将在 一周内发布完整的开源版本 ，包括基础模型、检查点文件、后训练模型和训练数据集。这意味着全球的研究者和开发者很快就能基于这个模型进行创新和开发。

已经有开发者迫不及待地开始了实验。一位开发者展示了在 美国西海岸和欧洲的两块4090显卡 上进行模型推理的尝试。虽然两地的网络连接并不理想，但这个实验证明了模型的灵活性和适应性。