下一个GPT5可能由百万网友共同打造

今天带来一个劲爆消息！

还在为AI大模型训练 需要海量算力 而发愁吗？

还在羡慕那些科技巨头手握重金就能搞出GPT-4、Claude 3的壕气操作吗？

别急，未来可能 你我都能参与下一个GPT-5的训练！

你没看错！

Hugging Face的首席羊驼官Omar Sanseviero最近透露， 分布式社区机器学习训练 可能会在未来一年内 彻底改变ML格局 。

这是什么意思呢？简单来说就是：

未来的开源GPT-5可能不是由某个科技巨头独立开发，而是由 数百万人贡献自己闲置的GPU算力 共同打造！

听起来很科幻？

但其实这个想法并不是凭空而来。

近年来，分布式ML训练领域取得了巨大进展。尽管仍面临网络连接慢、硬件限制等挑战，但一系列突破性成果正让这个愿景越来越接近现实。

分布式训练的进化之路

2021年，Omar他们就曾合作开发了一种名为 DeDLOC 的协作分布式训练方法。

在早期实验中，他们通过Discord招募了40名志愿者，共同训练出了一个接近SOTA水平的孟加拉语模型SahajBERT。

这个项目后来演变成了BigScience的Petals工作。2023年，Petals已经能够支持在家中进行推理和微调，甚至可以集体运行405B参数的Llama模型！

有兴趣的小伙伴可以去这里看看实时状态，很有意思哦：

https://health.petals.dev/

与此同时， SWARM并行 算法的出现解决了分布式训练中不可靠、连接差的设备带来的关键挑战。

就在昨天，Nous Research又推出了 DisTrO（互联网分布式训练） 。他们提出了一系列优化器， 大幅减少了GPU之间的通信 ，进一步推动了这一方向的发展。

而同时，还有更劲爆的👇

WebGPU：浏览器也能跑大模型？

随着WebGPU的发展，我们离在浏览器中直接运行（甚至训练）高性能模型的目标越来越近了。

Transformers.js、WebLLM等项目正在积极开发完整的WebGPU支持，各大浏览器也在努力启用这一功能。

未来已来！

那么，接下来会发生什么呢？

Omar预测：

分布式训练的工具会持续改进，相关挑战将逐步得到解决。

浏览器中的WebGPU支持将日趋成熟，为浏览器内ML开辟新天地。

当这两个趋势交汇时 ，想象一下：

你只需通过一个浏览器扩展或网站，就能贡献自己闲置的GPU算力，参与训练你关心的模型。整个社区可以共同构建和拥有SOTA模型，将ML真正民主化！

这对于传统上缺乏ML工具的小语种和弱势群体来说，简直是重大利好， 真正的平民化、民主化 ！

而且，通过利用已有的计算资源，我们还能大幅减少ML训练的环境影响，简直是 一箭双雕 ！

就有网友兴奋地表示：

这简直就是AI界的“SETI@home”啊！想想看，未来我们每个人都可能成为下一个GPT的“父母”之一，太酷了！

当然，也有需要我们担忧的地方：

分布式训练的安全性和数据隐私怎么保证？

如果有人注入恶意数据怎么办？

这些都是需要认真考虑的问题。不过这些问题也正如Omar所说，他对明年这些技术的发展非常期待。相信随着研究的深入，这些问题终将得到解决。

那么问题来了： 你会贡献自己的GPU算力来训练AI吗？

以及， 如果你是开发者，怎样用AI 来设计一个简单易用的浏览器插件，让普通用户也能轻松参与到分布式AI训练中来呢？

相关链接

[1] DeDLOC - https://arxiv.org/abs/2106.10207

[2] Petals - https://arxiv.org/abs/2209.01188

[3] SWARM - https://arxiv.org/abs/2301.11913

[4] DisTrO - https://github.com/NousResearch/DisTrO

[5] Transformers.js - https://github.com/xenova/transformers.js