LeCun大模型正走进死胡同

大模型可能正走进死胡同 ！

这是来自图灵奖得主、Meta首席AI科学家 Yann LeCun 的最新观点。

LeCun可不是随便说说，他引用了一篇题为《AI 并不对人类构成生存威胁——新研究发现》的文章（见附文）并列举了 大语言模型(LLM)的四大局限性 ：

无法回答训练集中没有的问题

无法解决没训练过的问题

没有大量人工帮助就无法获得新技能或知识

无法发明新东西

看到这里，可能有人要说了："不对啊，我看ChatGPT挺聪明的啊？"

Cyber_Tronic(@Cyber_Tronic) 就提出了质疑:

但LLM不是已经展示了学习未经训练语言的能力吗？而且它们还能绘制ASCII图表，我很确定它们没有专门训练过这个。我认为你低估了它们的能力。

但是Benjamin Shehu(@nipple_nip)马上就给出了解释：

通过在上下文中展示这些语言的例子，也就是说仍然给它们提供了示例。

至于ASCII图表，它们在某种程度上泛化了，看过10000个图表后，第10001个也没那么不同，不是吗？

所谓的"学习"，其实还是在已有知识的基础上进行推理 。这就像是你去一个从未去过的国家，虽然能猜出一些东西的用途，但绝对称不上"学会"了这个国家的文化。

Frank Wunderlich-Pfeiffer(@FrankWunderli13)则从另一个角度切入：

LLM至少需要不断训练它们接收到的所有输入，才能像人类一样。我们的大脑在说完一句话后并不会关闭 - 等待新的输入。或者说对话期间或之后它们不会改变。

这个观点有些意思！

人类的学习是持续性的，而不是像LLM那样"batch learning" 。这可能就是LLM和真正的AGI（通用人工智能）之间的鸿沟之一。

Ra(@misaligned_agi) 则直接说到：

我的直觉告诉我这个观点可能不会经得起时间的检验。

确实在AI这个风云变幻的领域，任何断言都要谨慎，而LeCun 似乎总是发出些似乎武断的断言？

其实LeCun也有强调， 他并不是说AI永远不会有这些能力，而是说目前的LLM还远远不够 。

那么，LeCun认为未来的路在哪里呢？他指出：

LLM只是AI技术的一个子集。

仅仅扩大LLM的规模不会 导致 具备这些能力的系统。

毫无疑问，未来的AI系统将具备这些能力。

但在我们有了这样的小型原型，或者至少有一个模糊的蓝图之前，对AI存在风险的夸夸其谈就像在讨论天使的性别。

这段话信息量很大啊！来细品一下：

LLM不等于AI的全部 ，我们还有很长的路要走。

单纯堆参数可能是条死路 ，未来的突破可能需要全新的架构。

LeCun对AI的未来是乐观的，但他认为 现在谈论AI威胁论为时尚早 。

好吧，LeCun 没有说新的架构是什么，我来补充下好了，见： LeCun 推崇的 JEPA 是什么？

那么， 你是认同LeCun的观点呢，还是觉得他太保守了？

不过有一点是肯定的： AI / AGI 的发展仅靠LLM 是不够的。

没有感官器官（眼睛、耳朵等）的人类就像是受限的语言模型。语言模型需要的是一个配备传感器（摄像头、麦克风等）的物理形态，使其能够更全面地探索和与世界互动。

虽然AGI 还没有明确的定义（见 AGI究竟是什么？ ），但可以确定的是， AGI 不应该仅仅是一个会说话的程序，而至少得是一个能感知世界的智能体。

【附】AI 并不对人类构成生存威胁——新研究发现

根据英国巴斯大学和德国达姆施塔特工业大学的新研究，ChatGPT及其他大型语言模型（LLM）无法自主学习或获取新技能，这意味着它们不会对人类构成生存威胁。

这项研究 [1] ，作为 第62届计算语言学协会年会 [2] （ACL 2024）论文集的一部分于今天发表，表明虽然大型语言模型在语言能力上表现优异，并具备一定的表面指令执行能力，但它们无法在没有明确指令的情况下掌握新技能。这意味着这些模型在本质上是可控的、可预测的且安全的。

研究团队总结道，虽然大型语言模型的数据集在不断扩大，但它们仍然可以在没有安全顾虑的情况下继续使用，尽管该技术仍可能被滥用。

随着模型的发展，它们可能会生成更复杂的语言，并更好地遵循明确和详细的指令，但它们极不可能获得复杂的推理能力。

巴斯大学的计算机科学家、该研究的共同作者 哈里什·泰亚·马达布希博士 [3] 表示：“认为这类AI对人类构成威胁的主流叙事阻碍了这些技术的广泛采用和发展，同时也分散了对真正问题的关注。”

由德国达姆施塔特工业大学的伊雷娜·古列维奇教授领导的合作研究团队进行了实验，以测试大型语言模型在从未遇到的任务上的表现，即所谓的“新兴能力”。

例如，LLMs可以回答关于社会情境的问题，而无需明确的训练或编程。尽管先前的研究认为这是模型“了解”社会情境的结果，但研究人员表明，这实际上是模型利用其基于少量示例完成任务的能力（称为“上下文学习”或ICL）的结果。

通过数千次实验，团队证明了大型语言模型的指令执行能力（ICL）、记忆力和语言熟练度的结合可以解释模型展示的能力和局限性。

泰亚·马达布希博士表示：“担忧在于，随着模型变得越来越大，它们可能会解决我们目前无法预测的新问题，这带来了这些大型模型可能获得危险能力（包括推理和规划）的威胁。”

“这引发了很多讨论——例如在去年布莱切利公园举行的 AI安全峰会 [4] 上，我们被邀请就此发表意见——但我们的研究表明，模型会自行做出完全意外、创新且潜在危险的行为这一担忧是不成立的。”

“关于LLMs所带来的生存威胁的担忧不仅限于非专家，一些世界顶尖的AI研究人员也表达了这种担忧。”

然而，泰亚·马达布希博士坚持认为这种担忧是没有依据的，因为研究人员的测试清楚地证明了LLMs中不存在复杂推理能力的出现。

他说：“虽然我们确实需要关注AI可能被滥用的现有潜力，例如生成假新闻和加剧欺诈风险，但基于感知到的生存威胁而实施监管还为时过早。”

古列维奇教授补充道：“……我们的结果并不意味着AI根本没有威胁。相反，我们表明，与特定威胁相关的复杂思维技能的所谓涌现并没有证据支持，而且我们完全可以很好地控制LLMs的学习过程。因此，未来的研究应关注模型带来的其他风险，例如它们可能被用来生成假新闻的潜力。”

参考资料

[1]

这项研究: https://aclanthology.org/2024.acl-long.279/

[2]

第62届计算语言学协会年会: https://2024.aclweb.org/

[3]

哈里什·泰亚·马达布希博士: https://researchportal.bath.ac.uk/en/persons/harish-tayyar-madabushi

[4]