AjeyaCotra如何在AI造成严重伤害之前就采取有效的预防措施

研究人工智能风险的高级分析师Ajeya Cotra 抛出了一个棘手问题： 如何在AI造成严重伤害之前，就采取有效的预防措施？

这不是在鼓吹AI 末日论，也更不 是闹着玩的。

要知道，如果真的有AI接管世界的可能性，我们就得在它还没那么厉害的时候就开始防范。可问题是，那时候AI可能还 超级赚钱 ，对人类也很有用。

那么问题来了： 我们该如何判断，又该如何说服大家采取行动呢？

Ajeya认为，我们最好能提前 就观察结果和对应措施达成共识 。比如，如果AI表现出某种能力，我们就该采取什么样的安全措施。

听起来挺有道理，但实施起来可不容易。因为不同人关注的重点不一样：有人在意AI能不能当好"特工"，有人担心AI会不会在大规模部署之前就成为威胁，还有人纠结AI会不会"不听话"……

所以Ajeya向其他专家求助，希望大家能分享一下： 明年或后年你们会观察哪些现象，来判断是否该更担心（或者放心）？

特别是那些能快速得出结论的实验或观察数据，因为如果风险是真实存在的，我们可能没多少时间了。

这不，评论区立马就热闹起来了。

科技记者Timothy B. Lee (@binarybits)就表示：

对我来说，关键不在于AI的能力，而在于人类如何使用这项技术。我觉得不太可能会出现"AI CEO"、"AI科学家"之类的角色。AI工具还是会保持工具的身份，我们不会给它们足以"接管"的权力。

Lee还补充道：

如果我们开始看到AI获得了以前只有人类才有的重要权力，比如成为大型研究实验室的首席研究员、公司CEO或军事单位指挥官等，那我就得重新考虑了。我觉得这种想法太蠢了，人们不会这么做，但如果我错了，那我就得重新思考很多东西。

听起来挺有道理，但Ajeya可不这么想：

我有两点不同意：

我觉得人们绝对会赋予AI权力，尤其是在AI公司内部。不需要所有人都同意，只要在足够多的地方发生就行。

即使不被赋予权力，AI也可能会抢夺权力（尽管这确实更难）。

两人存在不小分歧啊！

Ajeya还指出了Lee提出的证据收集策略的两个问题：

从注意到AI科学家、AI CEO等现象到AI可能接管，我们可能只有几个月的时间。

这些情况可能会在闭门造车中发生。

试想，如果真像Ajeya说的那样， 我们岂不是很难及时发现问题？

不过Ajeya也承认，她并不确定自己的担忧是否成立。她呼吁从e/acc（有效加速主义）到末日论者的各路人马，都来分享一下他们的看法。

于是，评论区又热闹起来了。

Bogdan Ionut Cirstea (@BogdanIonutCir2)提出了一个有意思的建议：

(更好的)自动ML R&D评估，使用类似https://sakana.ai/ai-scientist/这样的系统；尝试测量它们在例如agent scaffolding / post-training等方面的改进程度，可能包括（例如通过迁移）在（幸运的是）更稳健的agent评估上的表现；和/或 真正努力 尝试自动化安全研究的部分内容，这可能既有评估的好处，又有安全研究进展的好处。

看来这是想从技术角度来评估AI的能力和风险啊！

还有网友Konrad Seifert🔸 (@praeterpropter)提到了一个更现实的担忧：

关于以色列的Lavender系统和乌克兰的无人机部署，也有很多报道听起来像是这种情况已经发生了 - 有人知道更多吗？我对如何正确解读这些报道为"上校已指示听从系统建议"没有很好的把握。

这可是AI 威胁（部分）人类的真实案例了！

AI真的已经在战场上发挥作用了吗？

面对这些担忧，Tomasz Darmetko 🇺🇦 (@Isinlor)提出了一个不同的观点：

我们会有（观察的机会），因为一个在战斗中未经测试的强大物理系统凭空出现的可能性极低。

高度集中的AI不适合军事冲突。很容易破坏能源网络，很容易轰炸数据中心，很容易攻击供应链。

这是说AI要真正"统治世界"，还有不少现实障碍要克服呢。

不过Ajeya也有自己的看法：

在我看来，问题不在于军事AI/机器人是否会突然出现，而在于它们的激励。即使它们不听话，为什么会在没有计划的情况下随意违抗命令并杀人呢？它们可能会选择不违抗，直到能够巩固权力。

细思极恐啊！

AI要是真有这么"聪明"，那可就麻烦大了。

关于AI安全的讨论还远远没有结束。从能力评估到伦理约束，从技术实现到社会影响，每一个环节都充满了未知和挑战。

我们该如何在享受AI带来便利的同时，有效防范潜在风险呢？

最后，我觉得Ajeya的一个建议特别值得重视：我们需要更多 能快速得出结论的实验或观察数据 。毕竟，如果AI真的有可能失控，我们可没多少时间慢慢讨论了。

那么，你觉得应该设计什么样的实验来评估AI的风险呢？

虽然如LeCun 所言，AI 还不如只猫聪明呢，但如果有人让猫来管理你的城市呢？ 见：

ChatGPT 将竞选美国市长