通往AGI的8个可能方向

通用人工智能（AGI）的研究正在多个方向上同时推进。

这些研究涵盖了从深度学习到符号推理、从博弈理论到心理学的多个领域，展现了AGI研究的多元化趋势。

以下是我们收集的 8+ 项可用于实现（可能！）AGI 的研究：

一、谷歌DeepMind的３个里程碑

通往AGI的道路上，许多机器学习研究者专注于大型语言模型。但还有其他方法可以提升AI系统的智能，甚至可能达到人类水平的推理能力。

我们先来回顾DeepMind 在通往AGI 道路上取得的三个惊人突破。

1. AlphaGo：最佳围棋选手

AlphaGo展示了神经网络与强化学习如何增强AI的推理和创造力。它使用两个网络： 一个用于选择落子，另一个用于预测游戏胜负 。通过强化学习从错误中学习，AlphaGo不断提升技能。

2016年，AlphaGo的胜利标志着AI研究的重大里程碑。18次世界围棋冠军李世石说：" 毫无疑问，AlphaGo是有创造力的。 "

了解更多关于AlphaGo的信息

２. AlphaFold：精确预测蛋白质相互作用的工具

AlphaFold 使用注意力机制来理解氨基酸序列的关系，并使用图神经网络将蛋白质表示为网络。每个氨基酸是一个点，连接代表相互作用。该工具预测并优化蛋白质结构中每个原子的3D坐标。

借助AlphaFold，生物学家可以轻松创建分子模型、疫苗等，加速科学进步并降低研究成本。

了解更多关于AlphaFold的信息

３. AlphaProof和AlphaGeometry 2：展示高级数学推理

AlphaGeometry结合两种方法来寻找几何定理的证明：

用于直观模式识别的神经语言模型

用于理性决策的符号推理引擎

AlphaProof使用与AlphaGo相同的强化算法来训练自己进行数学推理。它还将自然问题翻译成形式语言Lean，创造大量新的数学问题来学习。

这个系统在国际数学奥林匹克竞赛中得分28/42，标志着向AGI迈出了重要一步，为数学科学带来巨大潜力。

了解更多关于AlphaProof和AlphaGeometry 2的信息

这３项由@GoogleDeepMind提出的发展为AI领域和科学带来了重大变革。这些工具中使用的方法展示了可能使AI更接近AGI的前景解决方案。

二、神经符号系统

神经符号AI系统 是结合了神经网络和符号推理方法的混合架构。神经网络擅长模式识别和直觉性思考，而符号推理方法则强调逻辑、规则和结构化知识。这些系统模仿了人类在决策过程中同时运用逻辑和直觉的方式。→ 阅读更多

当找不到解决方案时，回顾并反思过去的方法有时会很有帮助。

自2015年以来，出现了多种神经符号系统，包括：

IBM的研究

MIT的神经符号概念学习器（NS-CL）

逻辑张量网络（LTN）

图神经网络

神经符号视觉问答（NS-VQA）

神经符号编程（NSP）

等等。

DeepMind也在类似方向上进行了大量工作，并在2016年开发了深度强化学习，将强化学习与神经网络相结合。

到了2024年，AlphaProf 和AlphaGeometry 在国际数学奥林匹克竞赛中取得了重大成就。值得注意的是，AlphaGeometry在比赛时间限制内 解决了30个几何问题中的25个 。更值得注意的是， 它是一个神经符号系统 。

那么， 神经符号系统是如何工作的呢？

神经符号AI系统是将神经网络（神经）与符号推理方法（符号）相结合的混合AI架构。

神经网络 ：

擅长识别大量数据中的模式和关系

在图像和语音识别、自然语言处理等感知任务中表现强劲

有效生成预测和"直觉"性想法

但它们在推理和解释决策方面表现不佳。

符号推理 ：

强调逻辑、规则和结构化知识

在推理任务中，使用人类可读的符号来表示世界中的对象、概念和关系

为其决策提供清晰可解释的说明

然而，它们速度慢、灵活性差，无法很好地处理大量数据。

神经符号混合AI的优势 ：

鲁棒性：结合神经学习和逻辑推理。

多功能性：可处理广泛的任务。

可解释性：增强对模型决策的信任。

泛化能力：整合数据驱动学习和基于规则的推理

这种混合方法能否导致AGI？

虽然尚不确定，但神经符号系统值得进一步探索，因为它们模仿了人类在决策中同时运用逻辑和直觉的方式。

以下是来自" 神经符号AI - 为什么、是什么、如何 "(Neurosymbolic AI - Why, What, and How)论文中的神经符号AI方法示意图：

三、神经-向量-符号方法

我们将神经符号系统描述为一种模仿人类在决策中同时运用逻辑和直觉的方法。

现在，一项基于神经符号AI的新研究发布了：《范 式融合：符号AI与连接主义AI在LLM赋能自主代理中的协同 》。

我们仍然不知道AGI究竟是什么，或者如何达到高度自主的系统水平。代理和AGI经常被放在一起讨论，因为研究人员的目标是实现尽可能先进的智能系统。

那么神经符号AI是什么？

而"向量"部分又在其中扮演什么角色呢？

研究中介绍的LLM赋能自主代理(LAA)体现了神经-向量-符号方法，它整合了神经网络(LLMs)、向量表示和符号推理。这种组合使其能够利用每种方法的优势。

• 神经(神经网络) ：LAA使用GPT-4和类似的基于神经网络的LLMs来识别模式、理解上下文并生成类人文本。这使其能够有效处理海量文本数据。

• 向量表示 ：LAA使用向量作为数据的数学表示，实现高效处理和检索。这有助于LAA处理大型数据集并执行上下文学习等任务。

• 符号推理 ：涉及基于逻辑和规则的系统，允许代理像人类一样使用符号和逻辑进行决策和解决问题。

得益于这种组合，LAA可以模仿人类的推理并有效处理大型数据集。向量的使用为LAA提供了有效数据处理和学习的基础，将其能力扩展到了纯粹的神经符号推理之外。与数据库、网络服务等外部工具的交互表明，该系统更加自主和智能，可以处理广泛的任务。

因此，有时仅仅添加一个小部分就可能改变整个工作过程。

原始论文

https://arxiv.org/pdf/2407.08516

四、机器心理学

来自斯图加特大学、谷歌DeepMind、亥姆霍兹研究所和慕尼黑工业大学的研究人员正在开创一个名为"机器心理学"的新领域。通过应用受人类心理学启发的行为实验，他们旨在揭示大语言模型(LLM)的更深层工作原理。

以下是机器心理学评估的关键概念：

• 控制设 计 ：确保系统设计可以直接将观察到的行为与特定能力联系起来，而不存在其他替代解释。

• 性能-能力区分 ：模型在某项任务上的失败并不总是意味着它缺乏该能力。失败可能是由于噪声或偏差造成的，类似于人类有时会犯错，尽管知道正确答案。

为了理解AI行为，研究人员专注于基于语言的测试，因为语言仍然是LLM推理的核心要素。他们提出仅用于测试的基准，如BIG-bench和抽象推理挑战等较小的数据集，这些数据集仅用于测试LLM，而不用于训练。与人类心理测试类似，它们侧重于理解模型的行为，而不仅仅是性能。

机器心理学的4个主要范式，用于更好地理解LLM的复杂行为：

１、 启发式和偏见 ：探索决策中的心理捷径。LLM和人类一样，都表现出认知偏见。早期模型如GPT-3表现出人类偏见，但较新的模型已减少这些偏见，可能是由于推理能力的提高或更好的训练数据。

２、 社交互动 ：研究人员可以使用心理学概念来理解LLM如何处理社交互动，特别是当它们被用作聊天代理时。这包括测试心智理论等任务，以衡量它们的社交智能和与人类价值观的一致性。

３、 语言心理学 ：研究LLM如何处理语言，并与人类的解释进行比较。使用心理语言学技术，如语法和语义分析，来观察LLM在多大程度上模仿人类的语言理解。尽管LLM在简单任务中经常与人类反应相匹配，但在复杂任务中仍存在差异。

４、 学习 ：研究人员研究LLM如何像人类一样从上下文中学习。尽管我们了解它们的算法，但LLM表现出令人惊讶的能力，例如通过提示进行上下文学习，而无需改变核心设置。研究人员使用认知科学来研究LLM的知识泛化、数据依赖性和学习进程，为未来的进步提供见解。

总的来说， 机器心理学是理解AI的一个步骤，为研究其决策过程、社交技能、语言使用和学习模式提供了一个框架 。当我们能够更好地解释AI时，我们也可以更有效地提升其通用能力。

原始论文

https://arxiv.org/pdf/2303.13988

五、自我对弈互助推理（rStar）

如果语言模型能像人类一样通过讨论来得出更好的解决方案，会怎么样？

来自微软亚洲研究院和哈佛大学的研究人员介绍了rStar，这是一种自我对弈互助推理方法，可以在不进行微调的情况下提升小型语言模型(SLMs)的问题解决能力。

rStar使用两个SLM， 第一个SLM使用蒙特卡洛树搜索(MCTS)方法生成推理轨迹，第二个SLM验证这些路径。

重要的是，MCTS使用一组丰富的类人推理动作来提供多种可能的高质量答案：

A1. 提出一步思考 ：SLM一次生成一个推理步骤。这简化了决策过程。

A2. 提出剩余的思考步骤 ：SLM一次性产生所有步骤，以实现快速推理。这对于较简单的问题很有用。

A3. 提出下一个子问题及其答 案 ：将复杂问题分解成更小、更易管理的部分，让SLM逐一解决。

A4. 再次回答子问题 ：如果A3中子问题的答案不正确，要求SLM提供更详细的答案再试一次。

A5. 重新表述问题/子问题 ：如果SLM误解了什么，问题会被更简单地重新表述，使其更清晰。

评估后，第一个SLM根据分数选择最佳答案。在rStar方法中，这个最终解决方案更可能是正确的，因为SLM可以相互验证彼此的答案。

SLM在许多其他研究中也表现出强大的推理能力，"更大并不总是更好"的想法似乎正在成为一种口号。

SLM会是实现AGI的关键吗？

也许结合SLM而不是扩展LLM将更好地提高系统的人类级智能？

原始论文

https://arxiv.org/pdf/2408.06195

六、通过游戏和自我训练培养复杂决策能力的战略技能

如果我们能够通过游戏来教会系统通用智能，从而实现AGI，会怎么样？这可能类似于人们在童年时通过玩游戏来学习不同的生活场景。

我们知道DeepMind的AlphaGo的经验，现在又出现了另一个例子👇

STRATEGIST是一种新颖的方法，旨在帮助LLM学习和提高战略技能，特别是在多智能体游戏中，它们需要"超越"其他玩家的思维。

这个过程分为两个步骤：

１. 反思和创意生成 ：模型回顾过去的游戏，并提出如何在未来更好地玩游戏的新想法。这些改进想法保存在一个列表中，称为"创意队列"。

２. 策略改进 ：模型选择其中一个想法，调整其策略，并通过与自己进行更多的对弈来测试它。

为了改进决策，STRATEGIST使用蒙特卡洛树搜索(MCTS)，就像AlphaGo那样，这有助于探索和识别最佳移动。通过比较其初始估计与MCTS的结果，模型可以随时间改进其策略。

STRATEGIST还教导模型在两个层面上"思考"：

高层策略 ：理解赢得游戏的整体方法。

低层行动 ：在游戏中特定情况下做出具体决策。

更进一步，STRATEGIST还在游戏中生成对话。

但这很具挑战性，因为可能的回应很多。因此，STRATEGIST通过使用"策略指南"来简化这一过程，这是一组在生成对话之前模型需要回答的问题。这有助于模型理解情况并决定说什么。

总的来说，STRATEGIST模拟对话，预测对手将如何反应，然后利用这些反馈随时间改进模型的对话。

STRATEGIST在纯策略游戏(GOPS)和《抵抗：阿瓦隆》等游戏中尝试了其技能，表现优于原始强化学习和其他方法。所以也许通向AGI的关键是发明更先进的强化学习类似物，并使用各种明确的策略来教导模型？

原始论文：

https://arxiv.org/pdf/2408.10635

七、能生成新颖想法的大语言模型

如果我们能够增强大语言模型，使其能够独立生成新颖想法并在自主决策方面更进一步，会怎样呢？

几项研究分析了大语言模型在生成新研究想法方面的创造力，显示出人们倾向于在大语言模型的回答中寻找新颖性。

１. 来自斯坦福大学的研究人员得出结论，大语言模型确实可以生成新颖想法，但存在诸多局限性，如想法缺乏多样性和可行性。

２. 另一项研究提出了SciMON框架，该框架帮助语言模型生成基于现有文献的新颖科学想法。

它以背景上下文(如问题、实验设置或目标)为输入，然后从过去的科学论文中检索相关的"灵感"。SciMON通过与现有文献比较和更新想法来优化原创性。然而，虽然SciMON提高了新颖性，但在匹配人工撰写的研究论文的复杂性和细节方面仍有困难。

３. 《大语言模型能解锁新颖的科学研究想法吗？》一文提出了可以评估大语言模型在化学、经济学、物理学、计算机科学和医学等各个领域未来研究想法(FRIs)的指标。

想法对齐分数(IAScore)：评估模型的FRIs与作者的FRIs之间的相似度。更高的IAScore表示与研究论文内容的更好对齐。

想法独特性指数：衡量大语言模型的FRIs与彼此以及原作者想法之间的多样性。

结果：GPT-4创造出最实用和相关的想法，而Claude-2生成最独特的想法。

４. 我们现在拥有的最先进系统之一是AI科学家，它被设计用于全自动研究。它可以生成想法、进行实验、可视化结果、撰写论文等。因此，它可以在一周内生成数百篇有趣的中等质量论文。

所有这些论文都表明，大语言模型正变得更具创造力，并能做出更好的决策。这些研究人员的趋势已经确立，但在实现能够匹配人类水平想法和实验的AI之前，仍然存在挑战。但我们真的能达到如此先进的AI水平吗？

原始论文

LLM 能否产生新颖的研究思路？一项由 100 多名 NLP 研究人员参与的大规模人类研究

https://arxiv.org/pdf/2409.04109

SCIMON：针对新颖性优化的科学灵感机器

https://arxiv.org/pdf/2305.14259

大型语言模型能否解锁新颖的科学研究思路？

https://arxiv.org/pdf/2409.06185

人工智能科学家：迈向全自动开放式科学发现

https://arxiv.org/pdf/2408.06292

八、注意力头

如果transformers 中的注意力头更像人脑会怎样？

在最近的一项调查中，来自IAAR、AIR和清华大学的研究人员试图通过将注意力头与人脑思考方式进行比较来理解它们的功能。

他们将这个"思考"过程分为4个步骤：

１、 知识回忆（KR） ：人类在面对问题时会回忆有用的信息。同样，注意力头检索存储的数据来帮助模型解决任务。

２、 上下文识别（ICI） ：回忆信息后，人类分析文本的结构和含义以理解问题。模型中的注意力头在识别上下文的重要部分时也会做类似的事情。

３、 潜在推理（LR） ：这是人类试图理解信息并得出结论的时候。在模型中，这是注意力头执行推理任务(如逻辑和计算)的时候。

４、 表达准备（EP） ：最后，一旦人类思考完一个问题，他们需要用语言表达他们的答案。同样，在模型中，注意力头准备最终输出。

总的来说， 注意力头在模型的不同层之间协同工作以解决问题。

该研究强调，我们现在对注意力头还没有一个协作性的理解。他们还建议更多地关注复杂任务，并将心理学框架整合到机器认知中。这可能是提高AI通用智能的关键吗？

这个想法是要桥接心理学概念—— 人类思维如何感知、学习、推理和做决定 ——并将其应用于AI，使机器更像人类那样思考和行动。

这种典型的复制概念的想法是可行的。它让我们想起了许多技术和工程概念来自自然的案例(比如飞机襟翼受到鸟类羽毛的启发)。在AI领域，类似的灵感可能会引发重大进展。 关注人类心理学，而不仅仅是数学和规模，可能会让我们更接近AGI。

原始论文

https://arxiv.org/pdf/2409.03752

AGI研究的未来

AGI的研究之路远比我们想象的要复杂和多元。从深度学习到符号推理，从博弈论到心理学，各个领域的研究者都在为这一宏大目标贡献自己的智慧。

多元化的研究趋势的背后，一方面体现了AGI实现的复杂性，另一方面也为AGI的最终实现提供了多种可能性。未来的AGI很可能不是单一技术的产物，而是多种技术和方法的有机融合。