Transformer真能解决一切问题吗

最新研究称，Transformer 可以解决任何问题！

没错，就是 任何问题 ！

这是不是意味着， AI马上就要统治世界了？

一起来看看这个 惊人的 发现到底是怎么回事。

一群疯狂的科学家（不是，是认真的研究人员）在最新发表的论文中 数学证明 了：只要给Transformer模型足够的中间推理步骤，它就能解决任何问题。更神奇的是， 模型的深度可以保持不变 ！

这是什么意思？

简单来说，就是 AI的能力可能是无限的 ！

但是， 真的有这么神奇吗？

先听听支持者和质疑者的声音。

支持者：AI，通往无限的大门！

支持者们兴奋地表示：

这项研究为AI的无限潜力提供了理论基础。

它证明了Transformer模型的强大适应性。

这可能是通向通用人工智能的重要一步。

有人甚至激动地问： "那么，CoT（思维链）是不是能解决黎曼猜想？"

嘿，冷静点，伙计！

我们还没到那一步呢。

质疑者：别高兴太早，还有很长的路要走

然而，质疑的声音也不少：

@nearcyan指出： "如果没有证明我们能训练Transformer达到这种状态，这个结果有什么意义？"

Yuandong Tian警告说： "盲目扩大规模并不是我们所需要的全部。"

有人担心：这种方法可能会产生大量无意义的中间步骤。

更有趣的是，Yann LeCun也来凑热闹了。他说：

这个结果的相关性和潜在的误解，与"两层网络和核机器可以任意精确地近似任何函数，因此我们不需要深度学习"这种说法完全一样。

LeCun还补充道： "原则上是的。但对于几乎所有感兴趣的函数，第一层的单元数量都必须大到不切实际。"

技术细节：到底是怎么回事？

好了，现在让我们来看看这个研究到底说了什么。 （戴上眼镜，准备进入极客模式）

给定输入长度n，具有恒定位精度和多项式(n)嵌入大小的恒定深度Transformer只能解决AC⁰中的问题。

但是！如果我们允许T步CoT（思维链），使用恒定位精度和𝒪(log n)嵌入大小的恒定深度Transformer可以解决任何可由大小为T的布尔逻辑解决的问题。

这证明了使用恒定位精度的恒定深度Transformer是图灵完备的。但是，它需要随着n的增加而增加的嵌入大小。

简单来说， 这就像是将任何逻辑运算转换为对应Transformer 的算法 。

但是， 请注意！

研究人员描述了如何构建这样的Transformer，但 并没有说这种权重配置可以通过梯度下降找到 。

从理论到实践：还有多远？

听起来很厉害，但实际应用呢？

中间步骤可能会非常多，@GregKara6就问道： "如果每个中间推理步骤都可以创建自己的中间推理步骤，没有理论限制，那会怎样？"

@rsankarx提出了更多疑问： "这仍然不是基于意义的推理吗？所有中间层也可能产生幻觉吗？"

还有人指出，这种方法是在检索层而不是训练层进行的，这意味着它仍然无法实时学习和改进。

看来，从理论到实践，我们还有很长的路要走啊！

未来展望：AI的无限可能？

尽管存在争议，但这项研究无疑为AI的未来发展提供了新的思路。

它可能启发新的模型架构和训练方法。

为解决复杂问题提供了理论基础。

可能推动AI向通用人工智能迈进。

但同时，我们也要记住Yuandong Tian的警告： "人类的推理链非常简洁，即使对于未见过的问题也能捕捉关键因素。这种表示是如何即时学习（或构建）的，这是一个迷人的问题。"

AI的未来？

好了，现在你有什么感想？

AI真的能解决一切问题吗？

还是说， 这只是一个理论上的可能性？