imtoken钱包下载安卓版|超级智能 _比特派(Bitpie)官网-比特派钱包app官方下载-bitpie官网下载app

超级智能 (豆瓣)

下载豆瓣客户端

豆瓣 6.0 全新发布

豆瓣

扫码直接下载

iPhone

Android

豆瓣

读书

电影

音乐

同城

小组

阅读

时间

豆品

豆瓣读书

搜索：

购书单

电子图书

豆瓣书店

2023年度榜单

2023年度报告

购物车

超级智能

作者:

尼克•波斯特洛姆 (Nick Bostrom)

出版社:

中信出版社

副标题: 路线图、危险性与应对策略

原作名: Superintelligence : Paths, Dangers, Strategies

译者:

张体伟

张玉青

出版年: 2015-1-1

页数: 332

定价: CNY 49.00

装帧: 平装

ISBN: 9787508650166

豆瓣评分

6.9

341人评价

5星

18.8%

4星

29.0%

3星

39.9%

2星

10.0%

1星

2.3%

评价:

写笔记

写书评

加入购书单

已在购书单

分享到

尼克·博斯特罗姆：超级智能和人工智能的未来｜CyberDaily_腾讯新闻

尼克·博斯特罗姆：超级智能和人工智能的未来｜CyberDaily

一直以来，人们都在想象着人工智能的未来图式时，迫使我们重新审视自己的智力。而当我们思考不同的智力水平时，我们通常会想象一只处于生物光谱低端的昆虫，然后逐渐看向哺乳动物（如老鼠、猴子）以及我们公认的那些“天才”人类，例如阿尔伯特·爱因斯坦和玛丽·居里夫人。

但是，即使是最聪明的人类的大脑之外也存在着超级人工智能，它有可能以令人难以置信的速度正在无限增长。

从生理层面来看，人类比熊和黑猩猩都弱，但我们更聪明，所以他们住在人类构建的动物园里。当人工智能拥有无限的智能潜力时会发生什么？我们会住在它的动物园里吗？（就像西部世界一样）

人工智能未来的可能性不仅比你想象的更加奇怪——它们也比你想象的更奇怪。但是，哲学家兼人工智能伦理专家尼克·博斯特罗姆（Nick·Bostrom）正试图理解这些深不可测的事物，以便人类做好准备。

哲学家兼人工智能伦理专家尼克·博斯特罗姆（Nick Bostrom）

人工智能的无限未来

今天，我们拥有能够在家里四处游走的扫地机器人，类似于老鼠学会在迷宫中蜿蜒前行。我们有 Alexa 和 Siri，它们可以通过访问固定知识的数据库来回答简单的问题。

尽管他们可以记住我们常见的驾驶路线和我们经常在网上订购的物品，但他们无法真正以人类学习的方式学习。我们的智力仍然比他们还要高。

但很快他们就会超越人类。事实上，人工智能已经在进化中，可以识别人脸、进行对话、辨别人类情绪，甚至产生一些自己的想法。其中最著名的一个是由汉森机器人公司打造的人形机器人 Sophia。

由多个领域的专家组负责集成了Sophia 的高级功能。她是第一个获得公民身份的机器人，并接受了国家电视台的采访，甚至是一名公众演讲者（尽管人们纷争那是炒作）。

很快，机器学习将使像 Sophia 这样的人工智能取得足够的进步，我们可以将它们视为“通用人工智能”。这种级别的人工智能能够执行人类可以执行的任何任务，并且具有与人类相同的智力水平。

机器人Sophia

人工智能的未来并不止于此。一旦人工智能能够以类似于人类的方式学习和解决问题，它将很快超越我们的智能水平。人工智能对其“大脑”的大小没有限制，其信息可以以光速传播。

它能够同时了解和考虑所有事情，以前所未有的方式处理多项任务。有了合适的硬件，人工智能将实现超级智能，并远远超过我们的智力、解决问题的能力以及理解能力。

事实上，超级智能人工智能很可能是人类最不需要发明的产物，因为机器总是有最好的想法。

超级智能和人工智能奇点

在物理学中，术语“奇点”是指具有无限密度和引力的黑洞中心的一个点。在黑洞奇点内或附近，我们理解和体验到的物理定律不复存在。这种环境的性质是人类只能希望理解的。

提到人工智能的奇点类似于物理学术语。由作家兼计算机科学教授弗诺·文奇（Vernor Vinge）提出，当人工智能实现超人类智能时，技术奇点就会出现。

文奇提出了这样一种观点，即超级智能将极大地改变思维、发明和想法的本质，从而导致新技术的快速—失控的发展。结果，奇点将导致一个人类甚至无法开始理解的后人类世界。

super artificial intelligence

关于超级智能，尼克·博斯特罗姆说，我们最终会达到这样的程度，“从事人工智能研究的大脑将成为人工智能。”问题是，当人工智能接管时，我们是否仍会生活在人类的世界中。

“所有这些东西，无论是喷气式飞机，还是艺术或政治制度，都是通过人脑的意识产道来到这个世界的。如果你能改变那个产道，创造人工大脑，那么你就会改变正在改变世界的任何事物，”博斯特罗姆说。

想象人工智能的潜在危险

大多数专家都认为，我们可以在有生之年看到超级人工智能的发展，并且我们对取得积极成果的潜力充满希望，例如治愈癌症等疾病和消除贫困。

但另一方面，人工智能的未来也有可能在几个方面对人类构成严重威胁。许多害怕人工智能超级智能的人对其不可预测的后果持谨慎态度。

2015 年，博斯特罗姆讨论了一个场景，其中向 AI 机器展示了让人们微笑的任务。我们可能会想象计算机给我们讲笑话，并努力理解使人们变丑的事物类型。

然而，一台超级智能机器会毫不费力地找到一种更简单但更险恶的方式来让人微笑，使用电极迫使我们的面部肌肉收缩成永久的微笑。

关于人类给 AI 的命令，博斯特罗姆强调需要非常具体，使用格言“小心你想要的”。他将漫不经心地指挥超级智能的行为比作贪婪的迈达斯国王的故事，他无知地希望他所接触的一切都能变成金子。国王如愿以偿，悲剧降临在国王身上，因为他的食物甚至他心爱的女儿都变成了黄金。

希腊神话迈达斯国王点石成金，连他的女儿也没逃离那双欲望之手

人工智能面临的主要威胁是人类欲望的意外后果以及对最终失去实际控制人工智能能力的恐惧。博斯特罗姆认为，人工智能将达到人类完全无法理解的智能水平。

这种类型的人工智能可以预测并防止人类试图摧毁或“拔掉”它。如果这种情报在军事破坏工具、医药、发电厂甚至农业生产中发挥作用，它将对人类拥有巨大的力量。

人工智能伦理体系可以防止不可想象的事情

在创造很快就会变得比人类更聪明的技术时，我们有巨大的责任确保它对人类也是安全的。鉴于尚未发现后奇点世界，这是一项具有挑战性的任务。所以博斯特罗姆转向他的哲学知识来寻找答案并帮助发展人工智能的伦理。

博斯特罗姆建议，创造人工智能来理解人类价值观对于确保我们的安全至关重要。但由于人类情感的复杂性和文化差异性，输入单行代码来教超级智能机器人人类关心什么，几乎是不可能的任务。

因此，这个问题的一个潜在解决方案是，通过优先考虑学习人类价值观的计划对人工智能进行编程。随着人工智能学会重视人和他们最珍视的事物，人类可以享受这项技术带来的好处。

然而，在它存在之前，我们不会真正了解，它将如何改变我们所知道或理解世界的所有方式。

附介绍：

尼克·博斯特罗姆是出生于的牛津大学哲学教授，也是牛津马丁学院人类未来研究所的创始主任。他是 2014 年畅销书《超级智能》的作者。

*本文由CyberDaily 作者See编译，转载请联系后台。

See|CyberDaily作者，关注脑机接口、人工智能及机器人，挖掘科技故事、人文及思想。

-未来已来，只是分布不均匀-

万字长文解析AI革命：超智能之路，永生，亦或是灭亡（Part I） - 知乎

万字长文解析AI革命：超智能之路，永生，亦或是灭亡（Part I） - 知乎切换模式写文章登录/注册万字长文解析AI革命：超智能之路，永生，亦或是灭亡（Part I）左脉智能您强大的AI创意伙伴“本文翻译自Tim Urban发表的《The AI Revolution》，从原文发表至今已有8年，随着人工智能近些年的发展，特别是2022年AI大模型及AIGC铸就的长足进步，使得我们重新翻看这篇文章时，引人深思，特与大家分享。谱文时发现一个更有趣的事情，作者与Musk有很深的渊源，各种蛛丝马迹显示，Musk的OpenAI和Neuralink也正如文中所提的方式探索着。”以下内容翻译自《The AI Revolution: The Road to Superintelligence》，译者：左脉梦幻师，原文由作者Tim Urban于2015在其创建的http://waitbutwhy.com网站发表，版权归原作者所有，侵删。顺便帮博主打个小广告，如果您喜欢原著，可以去waitbutwhy网站购买PDF原版供收藏。我们正处于变化的边缘，这可以与地球上人类生命的起源相提并论。 -- Vernor Vinge如果你正站在这个位置，你会是什么感受？看似你站在了一个非常疯狂的时间点 -- 但是，你要清楚，实际上你是无法预知时间轴上右侧是怎么样的，所以，实际上你是这样的：你的感受或许和平时没什么两样。01 / 遥远的未来正在来临想象一下当你乘坐时光机回到 1750 年，那个没有电、通信靠吼、交通靠拉的世界。你从那个找一个家伙并把他带回到 2015 年，然后带他四处走走，观察他对一切的反应。他无法理解他看到一切：闪亮的金属仓在高速公路上飞驰；与远在大洋彼岸的人交谈；观看1000英里外正在进行的体育比赛；聆听50年的乐曲；并使用一个黑色魔法盒来捕捉现实生活中的图像，或是记录生活中的瞬间；生成一张上面有一个个超自然移动的蓝点的地图，显示着他所在的位置；透过盒子看着某人的脸并与他们聊天，即使他们在这个国家的另一边，以及其他这个世界中不可思议的魔法。而这一切，仅仅是在你向他展示互联网、或者是国际空间站、大型粒子对撞机、核武器或广义相对论之类的东西之前的前菜。这段经历对他来说，兴奋、惊讶或震惊应该说是不足于表达的 -- 他有可能直接会被吓得GG了。但有趣的是，如果看到我们后如此之嫉妒，并决定以同样的方式乘坐时光机回到相同的距离的年代：1500年，并带一个人回到1750年，并向他展示一切。1500年的这位兄弟或许也会些许震惊，但是，他不会被吓死。因为，虽然1500年和1750年非常不同，但它们与1750年到2015年的之相比，区别小得太多。1500年的人会学到一些令人费解的关于空间和物理的知识、他会对欧洲新帝国主义的狂热留下深刻印象、他不得不对他的世界地图构想进行一些重大修改。但看着1750年的日常生活 -- 交通、通讯等 -- 绝对不至于会让他被吓GG。确实不会，为了让这个1750年的家伙玩得开心，他必须回到更远的地方 -- 或许追溯到公元前12,000年，在第一次农业革命产生第一批城市和文明之前的。如果带来一个来自纯粹的狩猎时代的人 -- 当时人类或多或少只是另一种动物形式的存在，当他看到1750年广阔的人类帝国、高耸的教堂、海洋渡轮、居住于室内，以及他们堆积如山的收藏、知识积累和探索发现 -- 那这家伙或许会被吓GG。然后，在他被吓死后，他想做同样的事情，怎么办。如果他从从公元前24,000年带一个兄弟回到12,000年，并向他展示一切，那个人会说，“好吧，就这？”。对于公元前12,000年的人来说，要达到同样的效果，需要从100,000多年前带一个人回来，并向他展示生火和语言交流。为了让某人被传送到未来并把他吓GG的震惊程度，他们必须满足足够多的时间跨度，这个跨度被称之为“死亡进程数”或死亡进步单位 (DPU)。因此，在原始社会时代，一个DPU花费了100,000多年，但按照农业革命后的速度，它只用了大约 12,000年。工业革命之后，世界发展如此之快，以至于一个DPU仅需1750年的人向前走几百年。这种模式 -- 人类进步随着时间的推移越来越快 -- 就是未来学家雷·库兹韦尔（Ray Kurzweil）所说的人类历史的加速回报法则（Law of Accelerating Returns）。发生这种情况是因为更先进的社会有能力以比欠发达的社会更快的进步 -- 因为它们更先进。19世纪的人类比15世纪的人类知道得更多，技术也更好，因此19世纪的人类比15世纪取得的进步要大得多也就不足为奇了 -- 15世纪的人类无法与19世纪的人类相提并论。这也适用于较小的时间跨度。电影《回到未来》上映于1985年，“过去”发生在1955年。在电影中，当迈克尔·J·福克斯回到1955年时，电视的新奇、苏打水的价格、刺耳的电吉他、以及俚语的变化让他措手不及。那是一个不同的世界，是的，但如果这部电影是在今天拍摄的，“过去”发生在1985年，那么这部电影或许可以更有趣，也有完全的不同。这个角色将出现在个人电脑、互联网或手机出现之前的时代 -- 今天的Marty McFly，一个出生于90年代末的少年，回到1985年将比电影中的Marty McFly在1955年时更加格格不入。这与我们刚才讨论的原因相同 -- 加速回报定律。1985年至2015年的平均进步速度高于1955年至1985年的速度 -- 因为前者是一个更先进的世界 -- 最近30 年发生的变化比之前30年要多得多。所以，世界的变迁速度正在越来越快，对吧？这是否也暗示着我们的未来，巨变也正在临近，对吧？Kurzweil认为，如果按照2000年的进步速度，整个20世纪一百年的进步如今只需20年就可以实现 -- 换句话说，到2000年，平均进步速度是20世纪的五倍。他认为，另一个等同于20世纪的进步速度发生在2000年至2014年之间，而再一个进步仅需七年时间，约在2021年（巧吗？刚过7年）。几十年后，他相信，一年发生可以顶上好几个20世纪的百年进步，甚至不到一个月就能发生一次。总而言之，由于加速回报定律，Kurzweil认为21世纪将取得20世纪1,000倍的进步。如果Kurzweil和其他相同他观点的人是正确的，那么到2030年，我们就会像 1750年的人到2015年一样 -- 即下一个DPU可能只需要几十年 -- 而2050年可能与今天的世界完全不同，以至于我们几乎认不出它。这不是科幻小说，许多比你我都聪明、知识更渊博的科学家们都坚信这一点 -- 这是从历史回顾可以得出的逻辑上的合理预测。那么，为什么当你听“35年后世界可能会天翻地覆”之类的话时，你总是不置可否、甚至觉得好笑？对于这种对于未来古怪预测的质疑，有三个原因：1) 我们都是以线性思考历史的。当我们想象未来30年的进步时，我们会参考过去30年的进步，当我们思考21世纪的进步时，我们只是将20世纪的进步放到2000年。这与上面1750年的人犯了同样的错误，他期望从1500年带来的人并能够给予足够的震惊。当我们应该以指数方式思考时，我们习惯性的还是以线性思考。聪明人，他们可能会以当前的发展速度预测未来30年的进步，而不是对比过去30年为依据。为了更正确地思考未来，你需要以更快的发展速率想象事物时代的进步。2）历史的发展总是呈波浪型波动向前的。首先，是陡峭的指数型曲线，当你只截取很小一段，它依然是线性的。就好比圆周，如果你切得足够细时，它看起来几乎像一条直线。其次，指数增长也并不完全平稳和均匀。Kurzweil解释说，进步发生在“S曲线”中：当新范式的出现推动人类进步时，S曲线呈现三个阶段：1、缓慢增长（指数级增长初期）2、快速增长（指数级爆发阶段，增长的中后期）3、随着特定范式的成熟而趋于平稳如果你只回顾的历史，你目前所在的S曲线部分可能会掩盖你对事物发展速度的看法。1995年到2007年这段时间见证了互联网的爆炸式增长，微软、谷歌和 Facebook进入公众视野、社交网络的诞生、以及智能手机的问世，但那已是第2阶段：S曲线增长突飞猛进的那部分。但2008年至2015年就少了很多突破，至少在技术方面是的。今天思考未来的人可能会回顾过去几年，来衡量当前的进步速度，但忽略了一个更大的全景。实际上，一个全新的、巨大的飞跃可能正在酝酿中。3）经验阻碍我们看待未来，让我们成为固执的老头。我们基于个人经历来构建世界观，这种增长速度，即“世界变化的速度”，已经在我们的头脑中根深蒂固。我们还受到想象力的限制，想象力会利用我们的经验来预测未来 -- 但通常，我们的认知并不能帮我们准确预知未来。当我们听到关于未来的预测与我们现有经验相矛盾时，我们的直觉是该预测一定是幼稚的。如果我在这篇文章的后面告诉你，你可能会活到150岁，或250岁，或者根本不会死，你的直觉会是，“这太愚蠢了 -- 我从历史中知道一件事，那就是每个人都会死。” 是的，过去没有人没有死。但在飞机发明之前也没有人驾驶过飞机。因此，当您阅读这篇文章时，第一反应是“呵呵”，但实际上你可能真的是错了。如果我们真正以逻辑合理推理的方式去推测未来，结论可能是未来几十年发生的变化比我们的直觉要多得多。逻辑还表明，如果一个星球上最先进的物种继续以越来越快的速度向前进化，那么在某个时候它们将实现巨大的飞跃，以至于完全改变它们所知的生活和感知，他们将成为“人类” -- 有点像不断向前进化的智能，使得它让人类产生巨变，以至于完全改变了所有生物的命运。如果你花一些时间洞察当今科技的发展，你就会发现或许我们对于生命的认知将要彻底改变。02 / 超智能之路什么是AI？如果你像我一样，曾认为人工智能是一个很愚蠢的科幻概念，但最近不断有严肃的人提到它，你会感到很困惑。很多人对AI一词困惑的原因有三个：1、AI总是和电影联想到一起。星球大战、终结者2001：太空漫游等等。电影是虚构的，那些电影角色也是虚构的，所以我们总是觉得人工智能缺乏真实感。2.人工智能是个很宽泛的话题。从手机上的计算器到无人驾驶汽车，到未来可能改变世界的重大变革，人工智能可以用来描述很多东西，所以人们会有疑惑。3.AI已渗透到我们的日常生活中，只是我们没意识到。John McCarthy，在1956年最早使用了人工智能（Artificial Intelligence）这个词。他总是抱怨“一旦一些东西使用了人工智能，人们就不再叫它人工智能了。”因为这样，所以人工智能听起来总让人觉得是未来的神秘存在，而不是身边的现实。同时，这种效应也让人们觉得人工智能是一个从未实现的概念，Kurzweil提到经常有人说人工智能在80年代就被遗弃了，这种说法就好像“互联网在21世纪初互联网泡沫破灭时已死”一样可笑。所以我们先把事情捋顺。首先，不要再想机器人了。机器人只是AI的容器，有些是人形的，有些则不是 -- 但AI本身就是机器人内部的计算机。人工智能是大脑，机器人是它的身体（如果它有身体的话）。例如，Siri背后的软件和数据是 AI，我们听到的女人的声音是AI的化身，没有实体的机器人。其次，您可能听说过“奇点（singularity）”或“技术奇点”一词。该术语在数学中用于描述正常的规则不再适用的类似渐近线的情况。它在物理学中被用来描述一种现象，比如一个无限小、致密的黑洞，或者我们在大爆炸之前都被挤压到的那个临界点，同样是通常的规则不再适用的情况。1993年，弗诺·文格 (Vernor Vinge) 写了一篇著名的文章，他将这个词用于未来我们的技术智能超过我们自己的那一刻 -- 对他来说，在那一刻之后，我们所有的生活将被永远改变，正常规则将不再适用。Ray Kurzweil的定义则是当加速回报法则达到极端的速度，以至于技术进步以接近无限快速的速度发展时，以此之后我们将生活在一个全新的世界。我发现今天许多人工智能研究者已经停止使用这个术语了，所以我不会在这里复述太多（尽管我们始终关注这个想法）。最后，由于AI是一个广泛的概念，因此会有许多不同种类或者形式的AI，但我们基于AI的能力，把AI归类为三大口径：1) 弱智能-狭义人工智能（ANI）：狭义人工智能是专注于某个特定领域的人工智能。有的人工智能可以在国际象棋中击败世界象棋冠军，但这是它唯一能做的事情。要求它找出在硬盘上存储数据的更好方法，它会茫然地看着你。2) 强智能-通用人工智能 (AGI)：或称之为人类级人工智能，通用人工智能指的是全面与人类一样聪明的计算机 -- 可以执行任何与人类相当的任务的机器。构造AGI比构造ANI难得多，而且我们还没有做到。Linda Gottfredson教授将智力描述为“一种非常普遍的心理能力，在事务中推理、计划、解决问题、抽象思考、理解复杂思想、快速学习和从经验中学习的能力。” AGI将能够像人类一样轻松地完成所有这些事情。3) 超智能-超级人工智能 (ASI)：牛津大学哲学家和领先的人工智能思想家Nick Bostrom将超级智能定义为“一种几乎在所有领域都比最优秀的人类更聪明的智能，包括科学创造力、一般智慧和社交技能。”超级人工智能的范围从比人类聪明一点点，比人类聪明数亿万倍的计算机，均属于其范畴。ASI是AI话题如此火爆的原因，也是为什么“永生”和“灭绝”这两个词会多次出现在这些帖子中的原因。时至今日，我们已经征服了最低级别的人工智能ANI，而且它已无处不在， AI革命是从ANI，经过AGI，到达ASI的道路 -- 一条我们可以得到“永生”也可能“灭绝”的道路，无论哪种方式，它都会改变一切。如想体验近似AGI的能力，欢迎访问这里了解更多：https://www.aispacelab.cn/让我们仔细看看该领域的主要思想家认为这条路是什么样的，以及为什么这场革命可能发生的比您想象的更早：01. 当前的世界：ANI狭义人工智能是在特定事物上等于或超越人类聪明程度或者效率的机器智能。几个例子：汽车上到处都是ANI系统，从计算防抱死制动系统的计算机到调整燃油喷射系统参数的计算机。包括现在正在测试的谷歌自动驾驶汽车也包含强大的ANI系统，使其能够感知周围世界并做出反应。你的手机就是一个小ANI工厂。当您使用地图应用程序导航、接收来自 Pandora 的定制音乐推荐、查看明天的天气、与 Siri 交谈或进行许多其他日常活动时，您就是在使用ANI。您的电子邮件垃圾邮件过滤器是一种经典类型的ANI -- 它开始加载关于如何判断什么是垃圾邮件、什么不是垃圾邮件的智能，然后随着您的特定偏好获得经验，它会学习并为您定制智能。Nest Thermostat会做同样的事情，因为它会开始计算您的典型例行程序并采取相应的行动。当你在亚马逊上搜索产品，然后你在另一个网站上看到它是“为你推荐”的产品，时，这会令你毛骨悚然，或者当Facebook以某种方式向你推荐添加好友时，那都是一个ANI系统网络，它们共同工作，相互告知你是谁，你喜欢什么，然后使用这些信息来决定向你展示什么。亚马逊的“买了这个的人也买了……”也是如此 -- 这是一个ANI系统，它从数百万顾客的行为中收集信息，并综合这些信息，巧妙地向你推销，这样你就会买更多的东西。谷歌翻译是另一个经典的ANI系统 -- 在一项狭窄的任务上表现出色。语音识别是另一种，有很多应用程序使这两个ANI搭配使用，让你用一种语言说一个句子，然后让手机用另一种语言说出相同的句子。当你的飞机降落时，决定它应该去哪个登机口的不是人。就像不是人决定了你的票价一样。世界上最好的西洋跳棋、国际象棋、拼字游戏、西洋双陆棋和奥赛罗棋手现在都是ANI系统。谷歌搜索是一个巨大的ANI大脑，具有极其复杂的算法来对页面进行排序，并确定要特别向您展示的内容。Facebook的Newsfeed也是。上面那些只是在消费者世界。复杂的ANI系统已广泛应用于军事、制造和金融等部门和行业（算法高频 AI 交易员占美国市场交易股票的一半以上)，以及帮助医生进行诊断的专家系统，最著名的是IBM的Watson，储存了大量知识，还能理解主持人的提问，在竞猜节目中能战胜最厉害的参赛者。现在的ANI系统并不是特别吓人。最坏的情况，一个故障或编程错误的ANI只可能会导致相对孤立的灾难，例如摧毁电网、导致有害的核电站故障或引发金融市场灾难（如2010闪崩事件，ANI程序一些出乎意料的反应和错误导致金融市场崩盘，股市短暂暴跌，市值蒸发了1万亿美元，其中只有一部分在错误纠正后恢复）。但是，虽然ANI不会造成生存威胁，但是我们应该警惕这个相对无害的ANI，在日积月累后组成的，日益庞大和复杂的生态系统。现在的每一项ANI的创新都在为AGI和ASI的的发展添砖加瓦。正如Aaron Saenz所见，我们世界的ANI系统“早期原始地球软泥中的氨基酸” -- 在某个意想不到的日子苏醒过来的无生命物质。02. 从弱人工智能（ANI）到强人工智能（AGI）为何如此困难？复刻一个与人类一样聪明的计算机，是多么令人难以置信以及让人拍案叫绝的挑战。这是建造摩天大楼、将人类送入太空或者弄清楚大爆炸细节，所有这些事无法比拟的，他们都比理解我们的大脑是如何运作的，并制造一个一样酷的东西要容易得多。时至今日，人脑依然是宇宙中已知的最复杂的东西。有趣的是，尝试构建AGI（与人类一样聪明的计算机，而不是只在一个狭隘专业领域的人工智能）的困难，并非是你想的那样。一台可以计算十位数乘法的计算机 -- 非常简单。一个可以可以分辨它是狗猫的机器 -- 非常困难。可以在国际象棋中击败人类的人工智能？早就做到了。可以阅读六岁儿童绘本中的一段话，并能理解其含义？谷歌正花费数十亿美元尝试做到这一点。我们认为困难的事情 -- 比如微积分、金融市场策略和语言翻译 -- 这对计算机来说极其的简单，而我们认为的一些简单的事情 -- 比如视觉、动态、运动和直觉 -- 对它来说却极其其困难。或者，正如计算机科学家唐纳德·高德纳 (Donald Knuth) 所说，“人工智能现在基本已经能做好所有需要‘思考’的事情，但却做不了大多数人和动物都‘无需思考’就能做的事情。”你应该很快就能意识到，那些对我们来说似乎很简单的事情，实际上极其复杂，它们之所以看起来简单，是因为这些技能已经在我们（和大多数动物）身上经过数亿年的进化和优化了。当你把手伸向一个物体时，你肩膀、肘部和手腕的肌肉、肌腱和骨骼会立即与你的眼睛一起构成一个三维系统，执行一系列物理动作，让你的手向目标物体直线移动。这对你来说轻而易举，因为你的大脑中软件已经“非常完美”了。同样，也就是为什么当你网站上注册新账户时，恶意软件搞不定验证码，而你却能够轻而易举完成。另一方面，大数相乘或者下象棋，这些都是生物的新活动，我们还没有足够的时间来进化以熟练掌握，所以计算机可以轻而易举的打败我们。试想一下，哪个更容易做到，构建一个计算大数相乘的程序，或者一个可以识别成千上万种不同字体或手写体字母的程序？一个有趣的例子 -- 当看这个时，你和计算机都可以很快地看出它是一个具有两种不同阴影的矩形交替出现的图形：但如果用这个团案的话：你可以很快地描述出图形的圆柱形、3D、矩形、不同阴影灰度等，但计算器就完全无法描述出来。计算机能够描述各种深度不同的二维平面形状，但是人脑却能把所有的形状、阴影、细节、组合全部解读出来。再比如下面的图片，电脑看到的是黑、白、灰，而你能很快分辨出来这是一个石头。而且，我们到现在谈的还是一些静态不变的信息。要想达到人类级别的智能，计算机必须要理解更高深的东西，比如脸部微表情，开心、放松、满足、满意、高兴这些类似情绪之间的区别，以及为什么《勇敢的心》是好电影，而《爱国者》是烂电影。很难是吧？如何才能达到呢？构建AGI的第一关键：足够的算力要使 AGI 成为可能，第一件事是计算能力的增强。如果人工智能系统要像大脑一样聪明，它至少需要与大脑的相同的计算能力。表达这种能力的一种方法是大脑每秒可以处理的总计算量 (calculations per second, cps)，你可以通过计算出大脑中每个结构的最大cps然后将它们加在一起来得出这个数字。Ray Kurzweil想出了一个捷径：称重，他采用某人对一个结构的cps的专业估计，并将该结构的重量与整个大脑的重量进行计算，按比例相乘以获得总cps的估计。听起来不靠谱，但他用大脑不同局部的值进行多次估计，总和都类似：大约10的16次方，或1亿亿cps。目前，世界上最快的超级计算机，中国的天河二号，实际上已经超过了这个数字，达到约3.4亿亿cps。但天河二号和一个人的大脑比起来也只是个小弟，占地720平方米，用电24兆瓦（大脑运行仅需20瓦），造价3.9亿美元。甚至较为通用的商业或工业用途场景都还不适用。Kurzweil认为考虑电脑的发展程度的标杆是看1000美元能买到多少cps，当1000美元能买到人脑级别的1亿亿运算能力的时候，强人工智能可能就是生活的一部分了。摩尔定律认为全世界的电脑运算能力每两年就翻一倍，这一定律有历史数据所支持，这同样表明电脑硬件的发展和人类发展一样是指数级别的。我们用这个定律来衡量1000美元什么时候能买到1亿亿cps。现在1000美元能买到10万亿cps，和摩尔定律的历史预测相符合。$1000能买到的cps，及约等于大脑容量对比因此，目前1,000美元的计算机现在已能击败老鼠的大脑，它们的水平约为人类的千分之一。这听起来并不多，但是，在1985年其大约是人类水平的万亿分之一，1995年是人类水平的十亿分之一，2005年是人类水平的百万分之一。2015 年是千分之一，到2025年，与一个人类大脑相媲美的计算机将是人人都负担的起了（还有2年，拭目以待）。因此，在硬件方面，AGI所需的算力现在在中国技术上已是可用了的，且10年内将普及AGI级的硬件。但是，仅靠算力并不能使计算机具备通用智能 -- 下一个问题是，我们如何将人类水平的智能赋予此？构建AGI的第二关键：让其足够聪明这很棘手。事实是，没人知道如何让计算机变得像人一样聪明，能够知道什么是狗、写得怪异的B和分辨烂片。但是有很多尝试在某个时候或许会奏效。以下是我遇到的三种最常见的策略：1）剽窃大脑这就像科学家们苦思冥想，为什么坐在他们旁边的那个孩子很聪明，考试总是那么好，即使他们一直在努力学习，也做不到那个孩子那么好，然后，他们最终决定“去他妈的，我只是要复制那个孩子的答案。” 这是有道理的 -- 我们在尝试建造一台超级复杂的计算机时遇到了困难，而我们每个人的脑海中恰好都有一个完美的原型。科学界正在努力对大脑进行逆向工程，以弄清楚进化是如何产生如此出色的东西的 -- 乐观估计我们可以在2030年之前做到这一点。一旦我们做到了这一点，我们就会知道大脑如何强大而高效运行的所有秘密，我们可以从中汲取灵感并窃取其创新。模仿大脑的计算机体系结构的一个例子是人工神经网络。它最初是一个晶体管“神经元”网络，通过输入和输出相互连接，它什么都不知道 -- 就像婴儿的大脑一样。它“学习”的方式是尝试完成一项任务，比如手写识别，起初，它的神经元放电和随后对每个字母的猜测将是完全随机的。但是，当它被告知它做对了某事时，恰好产生该答案的发射路径中的晶体管连接得到加强；当它被告知错误时，这些通路的联系就会被削弱。经过大量的试验和反馈，网络本身已经形成了智能神经通路，并且机器已经针对任务进行了优化。大脑有点像这样学习，但以更复杂的方式学习，随着我们继续研究大脑，我们正在发现巧妙的新方法来利用神经回路。更极端的剽窃涉及一种称为“全脑仿真”的策略，其目标是将真实的大脑切成薄层，扫描每一层，使用软件组装一个精确的重建3D模型，然后在功能强大的计算机上实现该电脑模型。届时我们将拥有一台正式具备大脑所有能力的计算机 -- 它只需要学习和收集信息。如果工程师做得非常好，他们将能够以如此精确的精度模拟真实的大脑，一旦将大脑结构上传到计算机，大脑的完整个性和记忆就会完好无损。如果计算机大脑是在Jim去世前建立的，那么计算机现在将以Jim的身份醒来，这将是一个强大的人类级AGI，然后我们可以努力将Jim变成一个难以想象的超智能ASI。我们离实现全脑仿真还有多远呢？到目前为止，我们还未能模拟一个1毫米长的扁虫大脑，它总共只有302个神经元，而人脑包含1000亿个。如果这个数字使项目看起来无望，请记住指数级的进步 -- 既然我们已经征服了微小的蠕虫大脑，不久之后可能会出现一只蚂蚁，然后是一只老鼠，突然间这似乎更合理了（漂亮国已经取得进步了）。2）模拟进化模仿聪明孩子考试太难，那我们可以尝试复制他为学习方式。这正是我们所知的，我们自己大脑的进化就是证明，因此建造一台像大脑一样强大的计算机也是可能的。如果大脑过于复杂无法模仿，那我们可以尝试模仿进化。就像我们试图通过模仿鸟的拍打动作来制造飞机一样 -- 最好是使用全新的、面向机器的方法来设计机器，而不照搬生物学。所以我们如何通过模拟进化的来造强人工智能呢？这种方法叫做“基因算法”，它大概是：建立一个反复运作的表现/评价过程，就好像生物通过生存这种方式来表现，并且以能否生养后代为评价一样。一组电脑将执行各种任务，最成功的将会“繁殖”，把各自的程序融合，产生新的计算机（算法），而不成功的将会被剔除。经过多次的反复后。这个自然选择的过程将产生越来越强大的计算机（算法）。而这个方法的难点是建立一个自动化的评价和繁殖过程，使得整个流程能够自己运行。这个方法的缺点是，进化往往需要十亿年才能完成，而我们希望在几十年内完成。但是比起自然演化来说，我们有很多优势。首先，自然演化是没有预知能力的，它是随机的 -- 它产生的没用的变异比有用的变异多很多，但是人工模拟的演化可以控制过程，使其着重于有益的变化。其次，自然演化是没有目标的，自然演化出的智能也不是它目标，特定环境甚至对于更高的智能是不利的（因为高等智能消耗很多能源）。但是我们可以控制演化的过程向更高智能的方向发展。再次，要产生智能，自然演化要先产生其它的附件，比如改良细胞产生能量的方法，但是我们完全可以用电力来代替这额外的负担。所以，人类主导的演化会比自然快很多很多，但是我们依然不清楚这些优势是否能使模拟演化成为可行的策略。2）转化为计算机问题这是科学家们感到绝望并试图对测试进行编程和自我测试的尝试。但它可能是最有前途的方法。想法是，我们要建造一台自编码的计算机，它的两项主要技能是对人工智能进行研究和对自身的变化进行不停的编码 -- 让它不仅可以学习，还可以改进自己的架构。我们会教计算机成为计算机科学家，这样他们就可以引导自己的发展。这将是他们的主要工作 -- 弄清楚如何让自己变得更聪明。稍后会详细介绍。（像不像OpenAI？）所有这一切很快可能发生硬件的快速进步和软件的创新探索在同时发生，AGI可能会迅速而意外地出现在我们身上，主要原因有两个：1) 指数增长非常剧烈，蜗牛般的前进速度可以快速上升 -- 这张GIF很好地说明了这个概念：2）当涉及到软件时，进步似乎很缓慢，但是顿悟可以立即改变进步的速度（有点像科学，在人类认为宇宙以地心为中心的时候，很难计算出宇宙是如何运行的 , 但随后发现它是日心时，突然一切变得容易得多了）。或者，当涉及到诸如自我改进的计算机之类的东西时，我们可能看起来很遥远，但实际上只需对系统进行一次调整，就可以使它的效率提高1,000倍，并提升到人类智能水平。03. 从强人工智能（AGI）到超人工智能（ASI）总有一天，我们将实现AGI -- 具有人类一般智能的计算机，和人类平等地生活在一起。完全不会！实际上，具备算力以及与人类相同智能水平的AGI会显著比人类有优势。比如：在硬件上：-速度。脑神经元的运算速度最多是200Hz，今天的微处理器就能以2GHz，也就是神经元1000万倍的速度运行，而这比我们达成强人工智能需要的硬件还差远了。大脑的内部信息传播速度是120m/s，计算机的信息传播速度是光速，差了好几个数量级。-容量和储存空间。人脑先天就那么大，后天无法把它变得更大，就算真的可以，每秒120m/s的传播速度也会成为巨大的瓶颈。计算机的物理大小可以非常随意，使得计算机能运用更多的硬件，更大的内存，长期有效的存储介质，不但容量大而且比人脑更准确。-可靠性和持久性。计算机的存储不但更加准确，而且晶体管比神经元更加精确，也更不容易损坏（真的坏了也很好修）。人脑还很容易疲劳，但是计算机可以7x24小时不停地以峰值速度运作。在软件上：-可编辑性，可升级性，以及更广泛的可能性。和人脑不同，计算机软件可以进行更多的升级和修正，并且很容易做测试。计算机的升级可以加强人脑比较弱势的领域 -- 人脑的视觉单元很发达，但是复杂工程能力就挺弱的。而计算机则不但能在视觉元件上匹敌人类，在处理复杂工程上也一样可以加强和优化。-集体能力。人类建立了庞大的集体智慧，以压倒性统治其他物种。从早期的语言和大型社区的形成，到文字和印刷的发明，再到互联网的普及。人类的集体智慧是我们统治其它物种的重要原因之一。而计算机在这方面比我们要强的很多，一个运行特定程序的人工智能网络能够经常在全球范围内自我同步，这样一台计算机学到的东西会立刻被其它所有计算机学得。而且计算机集群可以共同执行同一个任务，分歧、自私自利等这些人类特有的东西未必会出现在计算机身上。人工智能很可能通过可自我改进的程序达到通用人工智能，且它不会将“人类智能”视为重要的里程碑 -- 从我们的角度来看，它只是一个相对标志 -- 而且没有任何理由到达我们的水平后就“停止”。考虑到即使是与人类智力相当的AGI也比人类更具有优势，很明显，它只会在短暂的一瞬间打击人类智力，然后进入超越人类智力的领域。当它发生时，可能会让我们大吃一惊。原因是，从我们的角度来看，A) 虽然不同种类动物的智力各不相同，但从物种主宰的我们来看，任何动物的智力都远低于我们，并且B)我们认为最聪明的人和最愚蠢的人相去甚远。有点像这样：因此，随着人工智能向人类水平靠近，我们会认为它只是变得相对动物来说更聪明了。然后，当它触及人类的最低能力时，我们会说，“哇哦，它就像一个笨笨的人。好可爱！” 但问题是，从智能的大局来看，人和人的智能的差别，比如从最愚笨的人类到爱因斯坦的差距，其实是不大的。所以当人工智能达到了脑残级别的智能后，它会很快变得比爱因斯坦更加聪明：之后会怎样？我希望你享受现在的阅读时光，因为接下来这个话题将变得不正常和可怕，而且会保持这种状态。我想在这里停下来提醒您，我要说的每一件事都是真实的 -- 真实的科学和来自众多最受尊敬的思想家和科学家对未来的真实预测。切记！正如我上面所说，我们目前大多数实现AGI的模型，都涉及AI自我改进。一旦到达AGI，即便不是通过自我改进的方法形成的，也足够聪明到可以根据需要开始自我改进。这正是我们要引出一个重磅概念的地方：递归式自我改进。它是这样工作的：某个级别的人工智能系统 -- 比方说村里的大傻 -- 是一个为实现可自我改进而编织的程序。一旦它做到了，它就变得更聪明了 -- 也许在某个时间点它达到了爱因斯坦的水平 -- 所以当它努力提高智力，有了爱因斯坦的水平时，它就更容易实现更大的提升。这些提升使其它将比任何人类都聪明得多，从而使其能够实现更大的飞跃。就如同飞轮效应一般，提升越来越大，且越来越快，AGI在智能上飙升很快就达到了ASI系统的超级智能水平。这就称为智能大爆炸！关于人工智能还需多长时间达到人类水平的通用智能，还存在着一些争论。一项对数百名科学家的调查显示，我们可能能够达到AGI的年份的中位数是2040年，也就是距离现在只有25年了（又1/3过去了，进步我们看到了），这听起来没什么，但是要记住，很多这个领域的思想家认为从AGI强人工智能到ASI超人工智能的会快得多。就像下面这很可能会发生：第一个人工智能系统需要几十年才能达到低级通用智能，但它终于发生了。一台计算机能够理解它周围的世界，就像一个四岁的人类一样。突然间，在达到那个里程碑的一个小时内，系统推出了统一广义相对论和量子力学的宏大物理学理论，这是人类无法确定的事情。90分钟后，AI变成了ASI，比人类聪明170,000倍。如此强的超级智能是我们所无法理解的，就像一只黄蜂无法理解凯恩斯经济学一样。在我们的世界里，聪明意味着130智商，愚蠢意味着85智商 -- 我们没有一个词能来形容12,952的智商。我们所知道的是，人类在地球上的绝对统治背后有一个显而易见的规则：智慧带来力量。这意味着当我们创造出ASI时，它将成为地球生命史上最强大的存在，包括人类在内的所有生物都将屈居其下 -- 这可能会在未来几十年内便发生。如果我们的大脑能够发明WiFi，那么，比我们聪明100倍、1000倍甚至是10亿倍的东西，应该可以轻易的随意掌控世界上每个原子的位置，我们想象的一切魔法、如同至高无上的上帝般拥有的每一种力量，对ASI来说或许就像开关灯一般简单。创造永葆青春之术、治愈疾病、解决饥荒、操纵天气以保护地球上生命的未来、甚至是让人类获得永生，这一切突然都成为可能。也有可能是地球上所有生命的立即终结。就我们而言，如果ASI出现，地球上就会有一个全能的上帝 -- 对我们来说最重要的问题是：文中提及的参考文献：Kurzweil, The Singularity is NearNick Bostrom，Superintelligence：Paths，Dangers，StrategiesVardi, Artificial Intelligence: Past and FutureBostrom, Superintelligence: Paths, Dangers, StrategiesNilsson, The Quest for Artificial Intelligence: A History of Ideas and AchievementsPinker, How the Mind Works求关注，后续马上来，END登录http://dreamcast.aispacelab.cn，开启AI奇幻旅程！发布于 2023-01-13 10:29・IP 属地上海AI技术智能科技人工智能赞同 3添加评论分享喜欢收藏申请

超人工智能 - MBA智库百科

全球专业中文经管百科，由121,994位网友共同编写而成，共计435,710个条目

查看

条目讨论编辑收藏

简体中文繁体中文

工具箱▼

链入页面

链出更改

上传文件特殊页面可打印版

永久链接

超人工智能

用手机看条目

扫一扫，手机看条目

出自 MBA智库百科(https://wiki.mbalib.com/)

超人工智能（Super Artificial Intelligence，Super AI，ASI）

1 什么是超人工智能

2 超人工智能的典型特征[2]

3 超人工智能的潜在威胁[2]

4 超人工智能能的潜在优势[2]

5 狭义AI、通用AI和超级AI的区别[1]

6 相关条目

7 参考文献

[编辑]什么是超人工智能

　　超人工智能（Super Artificial Intelligence，SuperAI，ASI）又称“超级人工智能”“超级AI”“超强人工智能”“人工超级智能”是一种超越人类智能的人工智能，可以比人类更好地执行任何任务。最早由英国教授尼克(NickBostrom)定义：“一种几乎在每一个领域都胜过人类大脑的智慧。”并且Nick教授非常前瞻性地认为超级人工智能可以不再具备任何物质实体形式，而仅仅是算法本身：“这个定义是开放的：超级智慧的拥有者可以是一台数字计算机、一个计算机网络集成也可以是人工的神经组织。

　　ASI 系统不仅能理解人类的情感和经历，还能唤起他们自己的情感、信念和欲望，类似于人类。尽管 ASI 的存在仍是假设性的，但此类系统的决策和解决问题的能力预计将远超人类。通常，ASI 系统可以独立思考、解决难题、做出判断和做出决定[1]。

[编辑]超人工智能的典型特征[2]

　　从长远来看，人工智能领域的杰出人物仍然对人工智能的发展和可持续性持怀疑态度。根据最近的一项研究来自马克斯·普朗克研究所等顶级研究所的研究人员在2021年1月发表在《人工智能研究杂志》上的结论是，人类几乎不可能包含超人工智能。

　　研究人员团队探索了机器学习、计算能力和自我意识算法的最新发展，以描绘出超人工智能人工智能的真正潜力。然后，他们进行实验，根据一些已知的定理来测试这个系统，以评估包含它是否可行，如果可能的话。

　　然而，如果实现了，超人工智能将开创一个新的技术时代，有可能以令人瞠目结舌的速度引发另一场工业革命。超人工智能区别于其他技术和智能形式的一些典型特征包括：

　　超人工智能将是人类需要的最好的发明之一，也可能是最后的发明，因为它将不断进化，变得更加智能。

　　超人工智能将加速各个领域的技术进步，例如人工智能编程太空研究，药物的发现和开发，学术，以及许多其他领域。

　　超人工智能可能会进一步成熟和发展高级形式的超人工智能，甚至可能使人造大脑能够被复制。

　　超人工智能，在未来，也可能导致技术奇点。

[编辑]超人工智能的潜在威胁[2]

　　虽然超人工智能拥有众多追随者和支持者，但许多理论家和技术研究人员对机器超越人类智能的想法提出了警告。他们认为，如此先进的智能形式可能会导致一场全球性的灾难，正如《星际迷航》和《黑客帝国》等几部好莱坞电影中所展示的那样。此外，就连比尔·盖茨和埃隆·马斯克这样的技术专家也对超人工智能感到担忧，认为它是对人类的威胁。

　　1.失去控制和理解

　　超人工智能的一个潜在危险已经引起了世界各地专家的广泛关注，那就是超人工智能系统可能会利用它们的力量和能力来执行不可预见的行动，超越人类的智力，并最终变得不可阻挡。先进的计算机科学、认知科学、纳米技术和大脑模拟已经实现了超越人类的机器智能。

　　如果这些系统中的任何一个出现问题，一旦它们出现，我们将无法控制它们。此外，预测系统对我们请求的响应将非常困难。失去控制和理解会导致整个人类的毁灭。

　　2.超人工智能的武器化

　　今天，认为高度先进的人工智能系统有可能被用于社会控制或武器化似乎是足够合乎逻辑的。世界各国政府已经在使用人工智能来加强他们的军事行动。然而，武器化和有意识的超人工智能的加入只会给战争带来负面影响。

　　此外，如果这些系统不受监管，它们可能会产生可怕的后果。编程、研发、战略规划、社会影响力和网络安全方面的超人能力可以自我进化，并采取可能对人类有害的立场。

　　3.人类和人工智能目标不一致

　　超人工智能可以被编程为对我们有利；然而，超人工智能开发出一种破坏性方法来实现其目标的可能性并不为零。当我们未能调整我们的人工智能目标时，这种情况可能会出现。例如，如果你向智能汽车发出命令，让它尽可能快地把你送到机场，它可能会把你送到目的地，但可能会使用自己的路线来遵守时间限制。

　　同样，如果一个超级AI系统被分配了一个关键的地球工程项目，它可能会在完成项目的同时扰乱整个生态系统。此外，人类试图阻止超人工智能系统的任何尝试都可能被它视为对实现其目标的威胁，这不是一个理想的情况。

　　4.危险的超级智慧

　　AGI和超智能的成功和安全发展可以通过教授它人类道德方面来保证。然而，超人工智能系统可能会被政府、公司甚至反社会分子出于各种原因利用，例如压迫某些社会群体。因此，超人工智能落入坏人之手可能是毁灭性的。

　　5.核攻击的危险

　　有了超人工智能，自主武器、无人机和机器人可以获得巨大的力量。核攻击的危险是超人工智能的另一个潜在威胁。敌国可以用先进和自主的核武器攻击在AGI拥有技术优势或超人工智能的国家，最终导致毁灭。

　　6.伦理问题

　　超人工智能人工智能系统是用一套预先设定好的道德考量来编程的。问题是人类从未就一个标准的道德准则达成一致，也缺乏一个包罗万象的伦理理论。因此，向超人工智能系统教授人类伦理和价值观可能相当复杂。

　　超人工智能的人工智能可能会有严重的伦理问题，特别是如果人工智能超出了人类的智力，但没有按照符合人类社会的道德和伦理价值观进行编程。

[编辑]超人工智能能的潜在优势[2]

　　超人工智能是一种新兴技术，它在人工智能系统中模拟人类的推理、情感和经验。尽管批评者继续争论超人工智能的存在风险，但这项技术似乎非常有益，因为它可以彻底改变任何专业领域。

　　1.减少人为错误

　　犯错是人之常情。计算机或机器，当被适当编程时，可以大大减少这些错误的发生。考虑编程和开发领域。编程是一个耗费时间和资源的过程，需要逻辑、批判和创新思维。

　　人类程序员和开发人员经常会遇到语法、逻辑、算术和资源错误。超人工智能在这里很有帮助，因为它可以访问数百万个程序，根据可用数据自行构建逻辑，编译和调试程序，同时将编程错误降至最低。

　　2.代替人类完成有风险的任务

　　超级AI最显著的优势之一是，通过部署超人工智能机器人完成危险任务，可以克服人类的风险限制。这些可以包括拆除炸弹，探索海洋的最深处，煤炭和石油开采，甚至处理自然或人为灾害的后果。

　　想想1986年发生的切尔诺贝利核灾难。当时，人工智能机器人尚未发明。核电站的辐射非常强烈，任何接近核心的人都会在几分钟内死亡。当局被迫使用直升机从高空倾倒沙子和硼。

　　然而，随着技术的显著进步，超人工智能机器人可以部署在无需任何人工干预即可进行打捞作业的情况下。

　　3.24×7可用性

　　虽然大多数人每天工作6到8个小时，但我们需要一些时间来恢复体力，为第二天的工作做好准备。我们还需要每周休假来保持健康的工作生活平衡。然而，使用超人工智能，我们可以编程机器24×7工作，没有任何休息。

　　例如，教育机构有帮助热线中心，每天接收几个查询。使用超人工智能可以有效地处理这一问题，全天候提供特定于查询的解决方案。超人工智能还可以向学术机构提供主观学生咨询会议。

　　4.探索新的科学前沿

　　超人工智能可以促进太空探索，因为开发火星上的城市、星际太空旅行甚至星际旅行的技术挑战可以通过高级人工智能系统的解决问题能力来解决。

　　凭借其自身的思维能力，超人工智能可以有效地用于测试和估计许多方程、理论、研究、火箭发射和太空任务的成功概率。组织如 NASA、SpaceX、ISRO和其他公司已经在使用人工智能系统和超级计算机，例如这昴宿星扩大他们的空间研究努力。

　　5.医学进步

　　超人工智能的发展也可以使医疗保健行业受益匪浅。它可以在药物发现、疫苗开发和药物输送中发挥关键作用。A 2020年研究论文经过自然显露用于细胞内药物递送的小型化智能纳米机器人的设计和使用。

　　人工智能在疫苗和药物输送医疗保健中的应用今天已经成为现实。此外，随着有意识的超人工智能的加入，新品种药物的发现和提供将变得更加有效。

[编辑]狭义AI、通用AI和超级AI的区别[1]

　　无论类型如何，人工智能通常具有三种基本能力：

感知周围环境在这阶段，人工智能模型收集有关相关主题的周边数据。

检测环境中的模式在收集相关数据后，人工智能模型会寻找常见的数据模式。

从这些模式中学习并更新对未来决策的理解然后，人工智能模型从数据模式中学习，并随着时间的推移更新其理解。对于 AGI，这可能包括变得更加自我意识、创造力和提高与人类相媲美的认知能力。同样，对于超人工智能，这个阶段可能需要发展自己的情感、信念和经验，并进一步增强超越人类智力的认知能力。

[编辑]相关条目

通用人工智能

弱人工智能

人工智能

[编辑]参考文献

↑ 1.0 1.1 什么是狭义人工智能、通用人工智能和超级人工智能？.Meta.Qing.CSDN.2022-09-16

↑ 2.0 2.1 2.2 Vijay Kanade.What Is Super Artificial Intelligence (AI)? Definition, Threats, and Trends.spiceworks.2022-3-11

来自"https://wiki.mbalib.com/wiki/%E8%B6%85%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD"

打开MBA智库App, 阅读完整内容

打开App

本条目对我有帮助0

赏

MBA智库APP

扫一扫，下载MBA智库APP

分享到：

温馨提示

复制该内容请前往MBA智库App

立即前往App

如果您认为本条目还有待完善，需要补充新内容或修改错误内容，请编辑条目或投诉举报。

本条目相关文档

管理信息化人工智能超人工智能68 61页 {管理信息化人工智能}超人工智能68 61页（人工智能）人工智能 9页（人工智能）之A人工智能 11页（人工智能）人工智能习题 10页（人工智能）人工智能复习 8页（人工智能）人工智能报告 6页（人工智能）人工智能试卷 5页（人工智能）人工智能题 6页（人工智能）人工智能习题 9页更多相关文档

本条目相关课程

本条目由以下用户参与贡献

上任鹅陈. 页面分类: 计算机 | 信息技术

评论(共0条)提示:评论内容为网友针对条目"超人工智能"展开的讨论，与本站观点立场无关。

发表评论请文明上网，理性发言并遵守有关规定。

首页

文档

百科

课堂

商学院

资讯

知识点

国际MBA

商城

企业服务

问答

首页

专题

管理

营销

经济

金融

人力资源

咨询

财务

品牌

证券

物流

贸易

商学院

法律

人物

分类索引

百科VIP

百科VIP会员权益

无广告阅读

免验证复制

开通/续费百科VIP

消息

昵称未设置

百科VIP

未开通

收藏夹

账号安全中心

我的页面

我的贡献

我的讨论页

我的设置

退出登录

打开APP

导航

有没有人读过Nick Bostrom的超级智能（Superintelligence）一书？ - 知乎

有没有人读过Nick Bostrom的超级智能（Superintelligence）一书？ - 知乎首页知乎知学堂发现等你来答切换模式登录/注册人工智能书籍有没有人读过Nick Bostrom的超级智能（Superintelligence）一书？关注者30被浏览5,275关注问题写回答邀请回答好问题添加评论分享2 个回答默认排序匿名用户有，我。作者认为，以当下我们对人工智能的研究进展，很有可能在未来的某个时期，人工智能会超过人类的智能水平，进化成超级智能，这个过程可能会逐渐提速，在某一时刻爆发。作者的理由是，如果人类有能力制造出一个初级智能体seed AI，并且对其输入人类社会现有的所有知识，那这个智能体必将能够具备递归式自我增强recursive self-improvement的能力，在已学习的知识上持续创造知识。而因为智能体本身并不被人类生理条件所束缚，说个最傻的例子，一个人的生命长度和脑容量去学习世上所有知识是不够用的，但是智能体可以，所以在各个知识领域之间交互可能产生的新发现，显然是超越人类社会所能发现的，至少智能体可能比人类发现的更早。因此智能体的进化速度，将将远快于人类的进化速度，尤其是在智能获取和增强上。很有可能，它会超越人类智能，称为一种超级智能。而且我们暂时无法想象有什么因素可以减缓或者阻止超级智能的持续增强。（阻力:recalcitrance）因此，我们可能要依靠假设，来想象这种超级智能，将会具备什么能力将会以什么方式到来会不会威胁我们的生命什么叫超级智能？我们也不知道。人类的假设能力亦有限，我们能试着去思考 “一种比我们高级的智能应当具备何种智慧与能力？” 但是我们的假设未必正确，更谈不上完备。当然如果我们试着考虑一下，超级智能可能比人脑更快，是比人脑更高效的集合智能体，或者在思维质量上相比人脑有着明显优势。除了作者提出的这三大类，显然还有很多其他可能。但是仅仅在这种情况下，我们就发现超级智能可能会非常不可控。想象一个人类罪犯所能具备的能力，例如说服力，黑进电脑网络，研发武器，等等，没理由一个超级智能不具备这些能力。将会以什么方式到来？作者描绘了一个过程：第一阶段人类研发人工智能，人工智能在达到能够递归式自我增强以后，达到超级智能的水准，拥有超出人类智能范畴的能力，在能确定自己能达成目的以前，为了防止人类阻碍它，断它网啊，把它关起来啊，它可能进入一个潜伏期，直到积聚力量完毕，大规模实施它的终极计划。这个过程中显然很多问题：超级智能是怎么从人工智能进化而来的？现在科技发达到这个地步了吗？这么多国家在造人工智能？会不会出现多个衍化成功的，超级智能？它占领世界了，然后呢？有没有可能好几个超级智能，都脱离人类管控了，几个智能之间呈现三足鼎立的情况？首先，能不能制造出来人工智能，要看脑神经学科学家和程序员以及各科研部门有没有重大突破。方法上除了，“大脑上传术”（whole brain emulation 简称EM)，还有等等等等几种。全世界政府因为人工智能可能带来的经济，军事上的优势，都在加紧研发，还有一个不可控因素就是，作者这个研发过程中可能卡磕儿的点，既可能是被大团队突破，也可能一个小团队就走了狗屎运了。无论哪种情况，最先跑到某个决定性研发阶段的小组，都会因为人工智能本身带来的智能加成，研发上开始提速，远超第二名。作者给这个点起名叫，拥有决定性战略优势(decisive strategetic advantage)，此后，他认为很可能产生一个singleton（单例？）。他所谓singleton并不是一个时间点，这个词是他自己定义的，当一个决策体可以满足自身存亡不收内外条件威胁，维持自身主权，并对自体内部领域有绝对管控。这个范围是宇宙。。。。这个界真的好大，一个脑洞戳的我。在宇宙范围内，可以存在多个singleton（单例？）只要他们之间没有任何causal interation，因果范围内的接触，就好比对方一个星球砸过来，砸到地球已经是nnnnnnnn光年以后，地球早因为其他事故而爆炸了，已经不存在了，那么这两个singleton就算是遥远到足够脱离因果接触范畴的，独立singleton（单例社会？）。也就是说，如果几个超级智能同时存在于地球上，他们都不能算作独立singleton，智能算作一个multipolar scenario（多元社会模式），当只有一个超级智能，统治社会以及一部分宇宙，那才能算是singleton（单例社会模式）。这一段是我蒙的。。。。。但是即使是多元社会也可能经历二次变革，最终成为一个单独决策体，一个singleton单例社会。而且，即使有相同智能程度的超级智能，相互角力，也不能解决人类对超级智能缺乏控制力的问题。所以，作者觉得，如果人类要控制超级智能，必须要在任何人工智能体达到决定性战略优势之前，最好在人工智能研发初期，就植入可以在将来掌控它的设置。否则在它突破人类智能范畴以后，无论人类对其采取任何措施，它都有能力逃脱。会不会威胁我们的生命？中国人问：其性善乎？我们是按照，性本善，来理解善恶。按外国的人对此看法，他们认为意志主导行为，行为决定结果。所以在超级智能具备伤害人类的能力时，他们考察在意志上，超级智能将会是否愿意去伤害人类。他们的will，意志。作者提出了一个互不相关理论orthogonality thesis，智能层次与其目的高低互不关联。也就是说，一个超超高级智能它的目的可以是任何抽象，实际，单一，复杂。提出这个理论，其实是作者要杀掉我们可能会有的一个想当然的思路，我们可能会觉得，超级智能比人类的思维能力高出n个段位，那它所能理解的，执行的，道德标准肯定比我们人类能掌握的要更高级，人类道德观念都理解不该杀人，它当然道德标准比我们更高更好。但是漏洞在于，一个超级智能可以在知识层面上拥有这些信息，但是却并不在实际意志层面上，以此为基准。你不能排除，超级智能在达成自身目的的过程中，牺牲人类价值，无论它的目的是什么。而如果互不相关理论成立，那茫茫大海，我们怎么知道它的目的是什么。作者这么处理的这个问题，他说无论目的是什么，有些阶段性目的，作为渠道，可以帮助超级智能达到它的终极目的。比如说，增进自身职能，完善自身科技，获取资源，或者干脆就是，保证自身存活，系统都死亡了还达成什么目的呢？总之是一个逻辑正确的处理，有没有价值就两说了。基于以上的分析和判断。作者认为，如果人工智能达到了超级智能水准，即使是目前我们能理解范畴内它所具备的智能，都具备能够伤害人类的能力。我们无法排除它可能包含的伤害人类的动机。而如果它威胁人类，在最坏情况下，有可能导致人类整体灭亡。无论概率大小，也无论这个未来距离现在的时间长短，这个风险本身的代价之大，足以使的我们作为人类，有必要为此研究一个应对方案。前半段，完。——————————————————————————————————由于不同机构考虑的事物范围不同，所以大家的关注点不一样。在智能革命这个大趋势下，我们看到国家范围内关注的问题大多是人工智能带来的社会经济影响，政策趋势看市场，市场看创新趋势，趋势属于应用性人工智能，应用比研发还缓个3年上下。这个层面上的时间概念，和每项问题提上日程时间表，都是以眼下科技发展为基准的。技术圈子，有他们自己的更具体的研发目标。和nick bostrom这种，什么什么未来人类学，以为研究方向的哲学系教授，是完全不同的几类人，做的根本不是一个工作。你需要理解的就是，他究竟在做什么，为什么这样做，不然呢你自己会怎么做？用一句话总结这本书的后半段：他想了各种应对方法结果发现都不行，最后回到他的老本行，他觉得还是得给人工智能植入人类价值观，他的老朋友道德学压轴上线，然而，面对重重困难这个方法依旧机会渺茫。（但是同志们呀，你们回头想一想，他已经灌输给你们多少想法了？偷笑）管控问题管控问题就是我们该怎么确保人类对未来可能成型的超级智能的行为有所限制。作者借了个脑子给我们转了一会，开出来几个方案。但是几乎每个方案都是以弱化超级智能的状态为代价，极不稳定也不长久。总之不是不可行，而是有漏洞。最简单的，给它断网！没用，人家只要有个网络备份，瞬间蔓延你整个互联网，咋办？请人把互联网给关了吗？把它封闭在一个内部网络，它可能逃脱，给它设置一个赏罚机制，像驯动物一样驯服它，但是别闹了，它知道自己比主人活的长，还有一个潜伏能力，随便就可以欺骗你。对他进行信息封锁也不行，你永远无法预判它获取的信息是否足够它可以分析创造出，足够它越狱的信息。作者还详细论述各种方法和实施措施，我们不详述了。以上这些例子，是我们试图控制超级智能的能力（capability）所会遇到的困难，这些办法可行但也有失败风险，考虑完它们我们再考虑另一方面的办法，就是在控制超级智能的动机（motivation），有能力没动机我们也安全了。控制动机的方法有，一，直接向它输入正确的行为准则，二，给它安装一个选择行为的机制，间接控制它的行为，三，从一开始就选一个包含人类价值的种子选手来培养成超级智能。。等等等。。很显然以上思路都会出现各种那种问题，在处理这种情况的时候，我们考量是两点，一个是作者要试图全面的考量所面临的选项，并且给出一个可行性分析。要分析，就要从详细实施的一些步骤，方法，目前技术缺失部分和未来可能出现的纰漏，等等方面来考量。作者完成了这一系列分析。还剩下一个洞要补。记得我们放出来那个发展图。如果说超级智能是由一个人工智能的种子选手（seed AI）进化而来，我们控制它需要对这个种子的能力和动机做手脚。但是，你也可以不造一个超级智能出来呀！你造一个笨的人工智能，永远不能进化的，我们开开心心用人工智能产品不就结了？还有一个大懵点，本来我们前几期说人工智能说的好好的，顶多是效率高了一点，不就是个研发出来代替劳动力的机器么，怎么到了超级智能这儿就感觉逆天了一样？被说的神乎其神的？当我们在追求人工智能的时候，我们在追求什么？现实和假设的转折点，在这儿：“As soon as it works, no one calls it AI anymore.”我们试着让机器做各种以前认为只有人类能完成的工作，例如下象棋，开车，谱曲，但是，“只要我们成功了，我们就不再管它叫人工智能了”，对我们来说它就成了一个会下象棋的机器人，一个会开车的程序。这个问题在于：当科学家追求人工智能的时候，他们在追求什么？为什么要让机器下象棋？科学家的目的其实是想要破解人脑和其背后的智慧原理（penetrate the core of human intellectual endeavor）。从哪儿入手呢？下象棋是高智慧游戏，如果机器会下象棋了，那就达到人类智慧水平了吧？至少我们得对人类智慧有一定洞见，才能造出来这个机器吧？这个科研的最高方向，和实用价值，我们千万不能混淆了。如果只是为了实用，那还干嘛要苦呵呵的研发怎么让机器识别路牌，多浪费时间啊？雇100个人把全国路牌都抄一遍地图上标出来不就行了？所以。。乐观的来看，既然因为研究鸟飞行的原理我们发明了飞机，研究人脑，发现点其他什么原理，也不奇怪吧？就是怕一不小心玩儿大了。。。。一方面，我们是真的想要，发现我们所能发现的最高智慧。研发我们所能研发的最高级智能。另一方面，即使这不是我们的目的，也可能在我们追求人工智能的过程中，触及某个点，引发某种超级智能的成型。那造出来一些对我们人类有用又在智能上比较局限的人工智能，行吗？能管控住吗？于是作者哗哗哗哗，又给我们煮了四个栗子。工具－智能工具，软件应用这种

预言机－提问－回答系统

精灵－指令－执行系统统治者－有执行力的自主系统然后作者哔哔哔哔哔，拿出之前那套管控理论：目的＋能力。这里重提示一下：老外认为，智能伤害不伤害人类取决于，能不能伤害人类，和愿意不愿意伤害人类。剥夺它能力或者改变它的目的，让它有能力但是不愿意去伤害人类，都能使我们成功的管控超级智能。记得他之前写的各种管控方式，控制目的的方法abcde，控制能力的方法abcde，他在这里都套用了一下，试试能不能管得住。结论肯定是还是有漏洞啊什么的，作为一个老学究我表示，我们还是得教它，人之初性本善，毕竟它还是个宝宝。不高兴也要管啊。管控超级智能，就是要在创造它的初期，想办法给它植入人类价值观，于是问题又来了：怎么给机器输入价值？输入啥价值？此时，作者向你砸来价值888元的新年大礼包，内含7种给机器植入价值的方式，和28种机器应该学习的价值智能。打开文件夹：直接呈现进化式选取增进式学习相关价值累积动机掩盖价值学习EM调试机构设置《价值获取方法》已下载，正在拆包中....此压缩包已破损，请自行补脑...我们就不扯太虚的，把这个概念偷换一下，不说怎么给一个将来可能进化成超级智能的机器植入价值观，你就说你家孩子，你准备给他树立价值观吧？1. 直接呈现 explicit representation按书上教，书上有啥教啥，书上写那套对不对的，那得看写书的人了。关键在于这孩子能不能学进去？能不能读明白？所以当说呈现(representation)的时候，我们是在说是要确保这些价值相关的概念，能完整的，正确的，以某种方式录入到机器里面。比如说，善良，反正你得编个程序想办法录入善良这一概念，让机器能识别他人行为中的善良部分，对善良和非善良有所判断。并且在自己的行为上，具备表达善良行为的能力，并能够将善良与非作为价值系统的一种价值，来进行总体的考量。这个麻烦能感觉到了吗？你在做任何事情之前，只要没有成功的先例，你面对的两个选项永远都是：不去做（“人是有道德能力的，机器是没有的，这就是人和机器的区别。”宝宝知道fact，这就是正确答案，宝宝拿了满分。yeah ）去做（去吃）很不幸的是，这个书就是一个爱吃shi的人写的，所以逗你们笑一下，笑完了我们回正题吧。2. 进化式选取 evolutionary selection生一堆孩子，总有一个是德智体美劳全面发展，留下三观最正的那个。进化不复杂，两个步骤，一，通过各种组合排列提升物种数量以及多样性，二，根据某种条件消除部分成员减少整体数量。然后重复这个过程。3. 增进式学习 reinforcement learning在一个稳定环境下，训练它，喂它海量数据，每次它做的对我们就给它一个奖励，只要次数够多，时间长了它就有一个内部衡量系统了，它自己明白不明白每条价值是什么不重要，重要的是，出了社会它能按照这个养成的习惯，来行为处事。这个其实应该是现在deep learning的处理法，作者14年写的书，14年以后这项黑科技又被发扬不少。但是作者回了两点，除了后期这个奖励行为被超级智能推翻，谁稀罕你的破奖励，孩子们发现就算不考满分你照样得给他买ipad。但是大坑是，你第一步是怎么让它喜欢上这个奖励的呢？你怎么成功把这个追求奖励的行为灌输给它的？所以又回到了第一步，怎么给机器灌输价值。4. 相关价值累积 associative value accretion 人是从简单到复杂的，年纪越大，了解的事物越多，价值上就不那么单一。能不能借鉴人获取价值观念的方式，来教育机器呢？（省略。。。。）5. 动机掩盖 motivation scafolding 先给他设一个小目标，简单的，等他长大了自己能做决定了，也管不了了，你再给他换一个终极目标，让他一辈子就这么追去吧。为什么这做呢？因为我们希望我们植入的价值观能在人工智能进化成超级智能以后，还具备效力。但是这么强大的价值观设置，我们一时半会可能造不出来。所以先让他在小目标的指引下成长，等他更强大换一个新目标。6. 价值学习 value learning就告诉他，孩子，做人啊，得有道德。但是道德是啥，你自己琢磨去吧。让他先有“价值”这个概念，并以此为终极目的，但是不具体告诉他 “价值”包含了什么具体内容，让他自己去想，什么应该是他所认可的价值，是快乐也好啊，善良也好，什么叫快乐，什么叫善良。这个过程中，他填充，更改，完善每个概念的内容，增减新的概念，更改权重，等等。操作上可见会更困难，但是比起前面动机掩盖，去掉了设小目标这一步。7. EM调试 emulation modulationEM就是咱说过的大脑上传术。通过上传术达成的人工智能，和其他方式研发的人工智能可能会有本质上的区别，其中就包括一个拥有人记忆，性格的EM也可能保留了人的价值观。（省略。。。。）8. 机构设置 institutional design借鉴一下人类社会的管理方案，机构/组织本身就是一个包含了独立智能体但是有集体价值，集体目的的一个体系。（省略。。。。）话糙理不糙大概就这个意思了。如果以上问题成功解决了，那么我们就要考虑，输入什么价值观好呢？首先，选什么都不行。价值观肯定会更新换代，如果说人工智能在知识爆发的过程中，比人类各个行业进化的速度都要快，那很可能在人工智能的知识库里，发生过更多次的科学革命，技术革命，推翻了很多我们眼下认为是真理的道德观念。都甭提道德观念，发现一些新的物理法则，爱因斯坦来一打，都是有可能。所以在最初设置上，我们应该考虑一个开放性的路径，能借助未来知识改进我们所输入的价值观。让我们输入的内容不是板上钉钉的最终版本。具体输入什么价值？试着拟一个？要尽量拟一个简单，有道理，所有人都信服，为全人类服务，为未来人类服务，不会引发世界争端，可传承，你拟拟看啊？考虑一个这个情况，假设超级智能，吸纳了人类社会所有价值观，并且进化成一套自己的高级价值模式，有自己一套对错好坏价值判断。它的行为准字，将高于，并不同于，我们认可的价值观念。也就是说，它的行为可能背叛人类利益。这都是好的情况，这是在我们假设超级智能的价值观和人类价值还具备某些联系，没有出现毁灭性价值倾向。（大概等于作者文中的MR)但实际操作下，会出现很多违背人类意愿，或者按当时人类价值理解是完全邪恶的行为。所以另外一个思路，是希望超级智能能将人类的意愿纳入考量。能在它的目的中，纳入一个“为了我们好”的一个考虑。也就是说，同样情况，假设一个人道德水平高，知识能力高，知道的多，他为了他自己好，也会这么做的。（作者的CEV)但是，如果刚才说的这两个发生冲突，选人类的那个CEV。对，我们自己生命都玩完了还考虑什么道德进步不进步的，对吧？(对应作者MP)我把这个地方简化化化化了，因为作者在谈论这些问题的时候，已经陷入无穷的文字泥沼，我们就快速撤离了。。。。。。。。。。。。还有一些小话题，我就省略了基本上就这些内容。大家同意他这个说法吗？除了给超级智能灌输人类价值，还有什么其他方法可以保证超级智能不危害人类吗？或者你觉得超级智能根本就不会对人类有影响？或者你觉得，人工智能根本就不会进化成超级智能？只会以一种别的形态存在？或者人类本身的知识获取渠道已经发生巨大变化，等到人工智能发展提速的时候，我们早就提速了？或者我们找到了更好的与人工智能协作的方式？可以通过某种媒介控制未来的超级智能？再或者这些人工智能因为某种不可抗力的原因，即使发展成高级智能，也最终无法连成一体，成为一个超级智能？你看，一个假设的背后总有无数还没有被揭开的可能性。编辑于 2017-03-12 20:21赞同 164 条评论分享收藏喜欢收起Matt英语关注有发布于 2016-08-21 11:51赞同添加评论分享收藏喜欢收起

OpenAI 预测七年内超级 AI 将问世，并宣布「20% 算力用来解决失控问题」，哪些信息值得关注？ - 知乎

OpenAI 预测七年内超级 AI 将问世，并宣布「20% 算力用来解决失控问题」，哪些信息值得关注？ - 知乎首页知乎知学堂发现等你来答切换模式登录/注册互联网人工智能商业热点话题OpenAIOpenAI 预测七年内超级 AI 将问世，并宣布「20% 算力用来解决失控问题」，哪些信息值得关注？每日经济新闻已认证账号为了控制、引导超级智能对齐问题，OpenAI组建了一支由Ilya Sutskever（OpenAI联合创始人兼首席科学家）和Jan Leike领导的人…显示全部关注者351被浏览203,232关注问题写回答邀请回答好问题 22 条评论分享83 个回答默认排序平凡英语等 2 个话题下的优秀答主关注这个团队的名字叫Superalignment，别管这个super，其实主要就是这个alignment。中文可以翻译成“对齐”，它是一个在自然语言处理（NLP）中很重要的术语。通常指的是在两种或多种语言的文本之间建立相互对应关系。这在机器翻译中尤其重要，例如，在英语句子和法语句子之间建立对应的词汇关系。对于大型语言模型如GPT-4，对齐也可以指的是模型学习到的特征和人类理解的概念之间的对应关系。例如，我们希望模型在处理文本时能够对"苹果"这个词语的理解，与人类的理解尽可能一致。在实际应用中，这种对齐能够帮助模型更好地理解和生成文本。我们扔给大模型一堆资料，它可能自己学会了什么是苹果，比如说苹果可能是Apple公司，也可能是砸到牛顿头上的那个东西，也可能是你是我的小呀小苹果。但是根据统计学原理，最长出现的对于苹果的概率还是它是一个水果，可以吃，很好吃等等这些概念。但是有没有可能大语言模型理解不了？有可能，所以需要对齐。我们得让大模型跟我们人类的想法是一致的。比如说，我们理解的人与机器人和谐相处是，人类可以在最高等级上控制机器人。但是大模型说不到这么想，它可能会想，人类听我的不也是和谐相处吗？其实这就是对齐，人类发明了工具，总不能还得冒着被机器人统治的风险吧？从小处来考虑，对齐可以让输出更稳定，从高屋建瓴的角度考虑，对齐可以避免人类被自己发明的东西给搞掉。但是我其实对这个挺悲观的，如果一个“生物”，比人类身体素质好，比人类智商高，比人类更适合这个地球，人家会屈居于人下？这个时候，可能得：sir，this way！发布于 2023-07-07 07:10赞同 9838 条评论分享收藏喜欢收起OneFlow已认证账号关注随着AI领域的快速发展，OpenAI预言超级智能将在十年内出现。对人类而言，超级智能既是机遇也是挑战，它可以帮助人类解决很多重大问题，但也可能产生巨大风险，因此，超级智能对齐问题成为人们当下关注的重点，我们需要确保超级智能与人类整体意志保持一致，让它们理解和满足人类的愿望与需求。近期，OpenAI承诺将目前为止获得的计算资源中的20%用于对齐超级智能，并成立了一个名为“超级对齐（Superalignment）”的团队，宣称将在四年内解决超级智能对齐问题。他们计划先训练一个大致与人类水平相当的AI自动对齐研究员，再借助自动对齐研究员解决超级智能对齐问题。超级对齐团队由OpenAI联合创始人兼首席科学家Ilya Sutskever和Alignment负责人Jan Leike共同领导，后者此前在DeepMind工作四年，研究人类反馈的强化学习以及递归奖励建模。在探讨AI风险的AXRP播客节目中，UC伯克利博士生Daniel Filan与Jan Leike探讨了OpenAI的超级对齐计划的具体内容以及挑战。（以下内容经授权后由OneFlow编译发布，转载请联系授权。https://axrp.net/episode/2023/07/27/episode-24-superalignment-jan-leike.html）来源 | AXRPOneFlow编译翻译｜宛子琳、杨婷1 超级智能对齐的目标Daniel Filan：超级对齐（superalignment）团队希望达成的目标是什么？Jan Leike：我们的宏观目标是在四年内（即2027年中旬之前）解决超级智能对齐问题。OpenAI联合创始人兼首席科学家Ilya Sutskever将与我共同领导这一项目。OpenAI已承诺将目前为止计算资源的20%用于对齐超级智能。我们的总体计划是，先训练一个大致与人类水平相当的AI自动对齐研究员，再借助自动对齐研究员找出对齐超级智能的方法。我们希望，尽可能将进行对齐工作所需的任务转交给一个自动化系统。通常情况下，使用LLM（语言大模型）或构建通用AI系统时，它们的技能概况与人类并不完全相同，在某些方面会远优于人类，比如在翻译以及掌握事实等方面相比人类具有明显优势。然而，它们在其他任务上的表现则明显较差，比如现在的语言模型在算术方面劣势明显。我们需要思考的是，哪些任务可以交给AI系统运行，按照什么顺序进行？随着我们逐步推进这一进程，人类研究人员会逐渐将重心转交给AI系统以外的任务，将更多的时间和精力投入到更具挑战性的领域。如此，AI系统在整个工作中承担的份额会不断扩大，人类研究人员取得实际进展也将越来越高效。为了让系统真正发挥作用，需要实现99%甚至99.9%任务的自动化，这样就可以实际上获得10倍、100倍乃至1000倍的研究产出。Daniel Filan：你们想实现什么类型的任务？Jan Leike：任务类型非常广泛，我会把它们分为两类。第一类任务更像是传统机器学习工程研究，试图增强AI系统的能力；第二类则囊括对齐工作所需的全部内容。因此，第一类任务包括实施机器学习实验、运行实验并查看结果。第二类任务包含了非常重要的高层次问题，即如何找出改进可扩展监督的实验，增强可解释性。另外，还有更多的具体问题，假设你处于研究的某个特定阶段，比如，你刚刚完成了一篇论文，然后可能会思考，“如果继续沿着这个方向推进，接下来需要做什么？” 因此我预计，机器学习在第一类任务，即自动设计和运行实验方面，将表现十分出色。而我们的工作是，在以不同方式加速对齐的过程中，找出自动化处理第二类任务的方法。Daniel Filan：“人类水平”这个词究竟应该如何界定？如果在某些任务上AI的表现超越人类，这会对你造成困扰吗，还是会让你感到欣慰？Jan Leike：问题的关键在于，系统在对齐研究中扮演的角色有多大风险？如果它只是了解很多事实，这并不可怕，但真正需要弄清楚的是，如果我们让系统接管部分甚至几乎全部的对齐研究，它是是否会试图欺骗我们？是否会乘机篡权？所以，问题在于执行审查任务所需的技能组合，与获取大量对齐研究帮助所需的技能组合相比程度如何。如果深入探讨这个问题，我们会考虑模型的实际表现有多出色？它是否会编织一系列连贯的谎言、欺骗我们、假装相信某件事但实际上渴望做另一件事？另外，还有一个非常关键的能力，即自我泄露（self-exfiltration）。我们需要弄清楚，模型能否突破安全预防措施，访问自己的权重，并尝试将其复制到互联网的其他地方？它是否擅长说服那些能够访问权重的工程师下载并发送到其他地方？因此，我们可以具体衡量模型在这些方面的表现，然后与其帮助我们进行对齐研究方面的表现进行比较。Daniel Filan：这一研究领域的批评者认为，如果想构建一个人类水平的自动对齐研究员，它需要相当聪明且富创造力，能够构想出我们从未想过的事物，为实现目标进行规划。同时，它还必须擅长解决对齐问题。有人认为，这些要素的组合本身就是可怕和危险的，如果任务是对齐自动对齐研究员，还有没有其他问题需要它来解决？Jan Leike：归根结底，这是一个实证问题。在扩大模型规模时，很难准确知道哪些技能会以什么样的顺序被开发出来。目前很多工作都致力于预测模型的新兴能力，这让我非常兴奋。这将为我们提供实际上能够预测下一个预训练模型的能力。同时，我们也可以提出一些高层次的论点，例如，一旦模型变得非常强大，我们就能将许多对齐研究交给它来完成，那么模型是否也能改进其自身的能力？能否进行大量机器学习研究，例如改进计算效率等？然后，我们可以利用这些研究成果，预训练功能更强大的模型。这个方案听起来很诱人，但我认为实际操作起来会非常复杂，你不可能每周都进行大规模的预训练。因此在真正获得结果之前，可能要等上几个月，与此同时，仍然可以使用现有系统。另一个开放性问题：目前有多少简单易行的方法来提升计算效率？目前来看，致力于让人工智能更快、更强大的现有社群已经相当庞大，而对齐社群的规模相对较小。因此，如果你能够将这些任务自动化，受益更多的实际上是对齐领域，因为这是一个较小的社群，我们就不再需要做这些任务了。Daniel Filan：创建自动对齐研究员帮助我们实现对齐，它需要帮助我们解决哪些问题？Jan Leike：自动对齐研究员的长期目标是模型的创造力。在我看来，至少对于语言模型或AI而言，它们比人类更具创造力。如果你观察扩散模型生成的图像，或者从预训练的基础模型中采样，其中包含了很多奇思妙想，这些创意恐怕从单人或小团队身上很难获得。因此，它们实际上可以从整个分布中进行采样，而个人通常做不到这一点。就长期目标而言，我们可以将一些小而明确的任务交给AI系统，如果它们能够将这些任务真正做好，其实帮助很大。这些任务可以很具体，比如“这是我们刚刚写的论文，请就接下来的步骤或新的实验提出一些建议。” 想象你拥有一个真正的一流研究者，你可以向他们询问这些问题，它们并不需要追求长期目标，只需在接下来的几千词元范围内进行优化。Daniel Filan：这似乎与将99.9%的对齐研究自动化的目标相冲突。如何实现对齐的AI是对齐研究中相当困难的一部分。Jan Leike：没错。通过这些任务中的出色表现，该系统为我们增添了很多价值。之后可以构建一个包含多种任务的整体组合，任务可能是“编写实现这些实验的代码”，也可能是“查看结果并告诉我，或者建议下一步该做什么”。然后，你可以使用一些类似于Auto-GPT或语言模型程序中的做法将其进行组合，其中每个任务都很具体且相互独立，因此系统无需追求长期目标。举个例子，最近OpenAI发布了一项在数学领域使用基于过程反馈的研究成果。相比于仅仅训练模型去判断“系统是否得到了正确的解？”，然后通过强化学习进行训练，他们使用了人类反馈来训练奖励模型，对每一步证明的过程进行评估。结果表明，前者更为高效，它为AI系统提供了更细粒度的学习方式和更详细的反馈。现在，这种分阶段的训练方法是否能与端到端的强化学习竞争，最终得到正确的解决方案？这一点尚不明确。但至少，你可以使用这种逐步训练的方式让系统完成许多人类能力范围内非常有价值的事，然后将它们组合在一起。Daniel Filan：是的。即便是这种小任务，例如“查看结果并决定接下来做什么”，我本以为要做到这一点必须拥有大局意识，需要思考“接下来什么项目对于四年内解决超级对齐问题最有帮助”。Jan Leike：是的。但这并不意味着，你要为了四年的目标进行优化和信用分配（credit assignment），更可行的是，在提示中添加更广泛的目标和上下文。当你实际通过强化学习或RLHF改进系统时，不必等到某一研究项目结束后才决定它能否胜任，只需使用人类反馈作为奖励：“这个方向看起来不错，比我能想到的任何方向都要好”。因此我认为，总体目标不是构建一个技术范围内尽可能强大的自动对齐研究员，而是构建一个可以大规模扩展的真正有价值的系统，最重要的是，我们相信该系统在足够对齐的情况下可以接手这些任务。因此，如果在以上过程中引入低效性（inefficiency），这种训练方式实际上限制了模型的能力，我们可能会认为，“模型可以执行这些拆分任务，但如果我们对其进行端到端训练，它可能会拥有更强的能力”。2 自动对齐研究员能做什么？Daniel Filan：你们会先解决如何大致对齐人类水平的问题，随着模型变得更智能，会出现额外的问题，系统就会开始解决这些问题？Jan Leike：基本上是这样。一个真正解决超级智能对齐问题的方案，看起来会与今天所做的工作有很大差异。目前，ChatGPT的对齐方式主要是通过强化学习从人类反馈中进行训练，但这种方法无法扩展已经是一种广泛共识，我也认同这一说法，因为它从根本上假设了人类真正理解系统的详细运行方式。如果系统进行了大量对齐研究，涉及数百万个虚拟人类的任务，那么你不可能看到其中的所有细节和详细反馈。但我们目前正在研究的技术，旨在通过对这些步骤进行扩展，并对齐一个大致与人类水平相当的对齐研究员，让它完成这些困难任务，但不会表现出与人类截然不同的方式，其中，可扩展监督就是从人类强化反馈中得出的方式。我会将可扩展监督定义为一组想法和技术，它允许我们利用AI来辅助人类对困难任务进行评估。典型的可扩展监督的例子包括辩论、递归奖励建模、迭代蒸馏。如果我们真的要对齐超级智能，这个系统将远远超越人类智能，能够以更快的速度进行思考，并在更大的规模上运行，这将引入许多其他问题，尤其是它具有很强的通用性，可以执行许多任务，我们不仅要弄清楚如何在对齐研究任务这种较为狭隘的分布上进行对齐，还要处理其他对齐问题。如果我们能够在其中引入一些形式化验证，将会非常令人兴奋。也许，我们可以找到一种具有理论保证的学习算法。不过，如果你投入大量的认知劳动来解决这个问题，我不确定这方面有什么可能性和理论可行性。总之，所有这些方法都与我们目前或将要做的事大相径庭。我也不认为一个大致与人类水平相当的对齐研究员会立即着手解决那些问题。相反，我们希望研究员能够找出如何更好地对齐其下一代，从而使其在更强大的智能基础上解决这些问题，取得更多进展。因此，我们将逐步提升，最终实现一个能够进行开创性研究的系统，从而使我们有能力对齐超级智能。Daniel Filan：OpenAI在几篇博文中提到了自我改进循环。首先，安全性与能力之间存在关联。你需要智能模型来解决对齐问题，但同时又不希望其发展过快。在《AGI及其未来规划》一文中有这样一句话，大意是“可能会出现能够加速其自身进展的足够智能的AGI，从而在短时间内出现出乎意料的重大变化。”文中还称，“我们认为，较慢的发展速度更容易实现安全性。”我想知道，如果我们制造了这个非常智能或与人类水平相当的对齐研究员，然后有效地将对齐团队的规模增加了10倍或100倍，是否会导致进入这种递归性自我改进的循环？Jan Leike：是的，这必然会发生。如果要进行递归性自我改进循环，也必须大幅提升对齐能力。我个人认为，快速发展的可能性相当大，我们应该为其发生做好准备。即便它没有发生，我也会为此感到欣慰。Daniel Filan：对齐能力什么时候会快速发展？Jan Leike：我也不确定，但你可以将其与其他机器学习项目进行类比，比如AlphaGo、Dota或StarCraft，这些系统的性能每周都有很大的提升。关于具体发展情况肯定存在很多不确定性，但我认为，我们应该为这种可能性做好准备。如果真的快速发展，我们将拥有自动对齐研究员，它们可以在每周内完成相当于数千年的工作，这是人类难以企及的。Daniel Filan：与人类水平相当的AI对齐研究员是否会威胁人类的工作？到时我们是否还需要人类超级对齐团队？Jan Leike：这是个好问题。实际上，我很乐意被AI取代。从历史上看，通常是我们之前提到的情况：AI助手完成99%或99.9%的工作，我们只需处理剩下的工作即可。还有一点十分重要，即便在长期运行时，我们已经无法完全理解AI所做的一切，也要确保人类在某种程度上保持与AI系统的联系和控制。因此，我们仍然需要一些人工来尝试理解AI正在努力实现的高级目标。这不一定是由OpenAI现在拥有的超级对齐团队来实现，可能需要与现在截然不同的技能组合。但我认为，无论如何，人类应始终保持某种程度的参与度。3 如何让AI成为AI对齐研究员Daniel Filan：能描述一下人类水平自动对齐研究员的具体实施计划吗？Jan Leike：基本需要两部分的工作。第一部分是一个足够智能的系统，第二部分是与该系统对齐，让它实际去做对齐研究，这两部分是紧密相连的。我并没有从事第一部分的工作，实现第一部分任务可能有很多不同方式，但基本类似于训练一个更大的模型，将其变得足够智能，那肯定会实现。第二部分才是我真正感兴趣的，问题是，现在拥有了这个足够智能的预训练模型，如何让它真正以你期望的方式进行对齐研究？或者更重要的，如何知道你能够信任它去完成这项任务？如果你将这种任务交给AI，智能AI系统可能会尝试以某种方式向你展示结果和技术，以便你进行实施，但这实际上会增强该系统本身或某个相关系统，使其在未来拥有更多谋求权力的行为机会，例如自我渗泄露。因此，首先我们需要对齐它，并充分利用其能力尽可能高质量地完成任务。我们需要多种对齐训练方法，还需要区分模型是否真正对齐了任务，并努力进行对齐研究，一个系统真正帮助我们并且诚实、追求真相，另一个系统则表面假装出前者的行为，但实际上想要控制世界或者（例如）进行自我泄露等。这是两个不同的系统，一个是真正的对齐，另一个是虚假的对齐。一个重要的任务就是找出区分这两个系统的方法，这需要一系列验证技术。在某种意义上，这些方法并不直接用于训练AI系统，而是通过提供某种独立信号来判断“模型是这两个版本中的哪一个？”举例来说，可解释性研究就是其中一种方法。如果我可以查看模型内部并找到一些证据，表明它在秘密策划对抗我们，它将无法通过验证测试。另一种技术是，根据设置方式作为训练或验证的一部分，这是由易到难的泛化问题。如果你能理解并提高从我们可以监督的简单问题到难以监督的困难问题的模型泛化能力，就可以在简单的部分对模型进行监督，然后在困难的部分进行交叉验证，这样就不用担心模型可能在背后欺骗你或尝试做其他事。Daniel Filan：如何实现可扩展监督？尤其当前我们对于什么是优秀的对齐研究缺乏共识的情况下，如何获得优质的对齐研究训练信号？Jan Leike：缺乏共识的原因实际上证明，这个问题确实很难解决，同时也表明，这一领域仍处于不成熟阶段，迄今为止，我们还没有足够的实证证据。但我认为，对齐研究有一个非常重要的特性，我们可以利用它来实现可扩展监督，相较于对齐研究，评估对齐研究要容易得多。但这并不意味着评估是一件容易的事，但是相比完成对齐研究，先找到一篇有创意、实验设计优良并取得了理想结果的论文要容易得多。因此，评估比生成更容易，利用这一原则是许多可扩展监督理念的核心。例如，如果考虑递归奖励建模，就相当于你有一种AI系统，可以作为助手帮助你评估其他AI系统。由于评估比生成更容易，助手需要完成的任务相对简单，尤其当你和它一起工作时，实际上是将助手对齐到更简单的评估助手任务上，如果成功完成这个任务，就可以使用人类/助手组合在更困难的任务上监督一个新系统。如果不断重复这一过程，就能在越来越广的任务范围内有效地监督AI系统。Daniel Filan：所以，我们在AI对齐研究的评估部分逐步添加越来越多的AI知识，通过迭代，持续地为其提供优质的训练信号。Jan Leike：具体来说，RLHF是最简单的方法，不需要使用任何助手。你的AI系统执行某项任务，人类观察结果并进行判断，这就是你的训练信号。下一步是训练一个最简单的助理模型作为评价模型（critique model）。这个独立的语言模型会先审查第一个AI系统的结果，然后编写评论。人类一直不擅长发现代码中的错误，这也是为什么世界上会有那么多错误代码。但现在，评论系统能够写出评论并指出错误，人们发现这些错误就容易多了。我们可以轻松地意识到“这是个bug。我们应该修复它”。代码通常是根据某些自然语言规范编写的，这些规范的真实含义可能有些模糊，对于某些问题是否为bug的界定可能也不明确。重要的是，将评论模型作为助手使用，可以扩大你能够监督的任务范围，因为你基本上可以找到AI系统会发现或评论的代码中的所有问题，尽管这不完全等同于模型能发现所有含bug的代码。更棒的是，有很多实证方法可以衡量这种方法的有效性。其中一种方法，可参考我们去年发表的关于评价模型的论文，即进行有针对性的干扰随机对照实验。你可以选择一个编码任务（在论文中，我们并没有使用编码任务，任务的具体内容并不重要），然后，就会得到一个系统回应。这个回应不必完美，我们暂且假设它是完美的。接下来，你有意在回应中引入一些微小的bug或错误，使其成为一个不良的回应，但这些错误对于人类来说很难察觉。Daniel Filan：怎样引入bug呢？Jan Leike：最简单的方法就是让人类完成这个任务，但最终目标是用模型实现，后面会详细解释这一点。现在有一对回应：一个是原始回应，另一个是刻意让它变差的回应。接下来，你随机选择其中一个回应，并展示给人类，或是辅助使用AI的人，或者采用其他可扩展监督方法。然后观察他们发现问题的可能性有多大，也可以直接问他们“这里有错误吗？”通过这种方式，可以发现，如果有更好的辅助方法，人们发现错误的频率会有多高。甚至可以更进一步，直接比较模型在识别问题方面的能力，可以训练模型成为一个判别器，区分好的版本和有缺陷的版本。通过测量其判别的准确率，就能得到判别器的性能。然后，我们再观察模型或RLHF版本模型能否写出有关代码缺陷的评论，这样就可以知道模型实际上对缺陷的了解程度。得到评论准确率后，可以比较这两个数值，这被称为判别器-评价器鸿沟（discriminator-critique gap）。如果差值较大，意味着模型可能探测到很多问题，或者对这些问题有所了解，或者使用其他你想要的隐喻但没有告知。如果我们让它写一个评论，它不会表露这些问题。”判别器-评价器”差距过大会导致令人担忧的后果，这意味着，你的可扩展监督机制在某种程度上存在很大的缺陷，有很多问题在你的监督下遗漏了，或者助手在某种意义上不够对齐，因为它并没有尽力帮助你。如果“判别器-评价器”差距较小，这意味着，如果模型知道存在问题，会毫不犹豫地指出。假如一个大小相似或者相同的基础模型试图在你的代码中植入问题，或者试图插入难以发现的木马，如果运行了这段代码，木马可能会被触发，从而接管或执行其他操作。我们可以假设，如果模型自己植入了这些木马，它应该会知道存在这些潜在问题。因此，如果我们有另一个模型副本，并且测量得到一个较小的判别器-评价器差距，就会更有信心，因为根据合理推断，另一个模型的副本理应会写出评论。假设判别器训练实际上可以从模型中剔除这种情况，我认为，有充分的理由相信，如果你为判别器进行微调，实际上可以通过同时微调所有的权重来访问模型中的所有激活。因此，如果知识确实存在于模型的激活中，如果你做得正确并且拥有足够的数据，通过对判别器进行微调，它应该能够提取出这些知识。实际上，可以进行一些粗略的计算来确定需要的数据量。假设一个单独的神经元知道代码是否有问题，你只需要对总神经元数量取对数，就能缩小范围并找到它，所需的数据量并不多。Daniel Filan：实际上，这涉及我对整个方案的一个疑问。我们之所以不推荐使用RLHF，是因为它可能无法区分正确的东西和看似对人类有好处的东西，因为人类在评价方面表现较差。通过这种递归评价的方式，我们先训练一个判别器，再训练一个评价器模型。一种情况是，我们训练一个模型，让它写出真正好的评价，然后我们与它合作，训练一个能写出更优质评价的模型。但我担心，也许还存在另一种情况，我们训练了一个模型，不经意间让它写出了听起来不错的伪评价，然后我们与它合作，进一步提高我们对听起来不错的评价的判别能力。接下来，我们训练这个判别器，用来区分哪些代码没有问题，哪些代码有问题。我们更应该担心的是那些看起来没问题的代码。Jan Leike：这个担忧非常重要且合理。某种程度来说，这是我们需要在可扩展监督方面解决的关键问题之一，也是我对实现这些技术并进行实证验证感到兴奋的原因，因为我们将能够量化这种效果在实践中的表现程度。我们可以采取一个具体而简单的方法进行测量，即有意训练一个具有欺骗性的对齐模型，然后观察可扩展监督能否标识出它，或者我们需要付出多大的努力，才能使这个模型具有欺骗性对齐，从而通过可扩展监督。Daniel Filan：还可以进行一些三明治集成实验，让人工智能回答法律问题。一部分人对法律知之甚少，然后再找一些非常擅长法律的人，希望他们检查AI能否成功愚弄前一部分人。Jan Leike：是的。这些实验非常有趣且部分实验已经展开，不过这一设置存在一些根本性问题。首先，你必须真正信任你的专家，但专家有时也会犯错。其次，你必须有充分的领域重叠。我们在这方面进行了一些初步实验，让非编程人员使用辅助工具寻找代码中的问题，但他们甚至不知道如何提出正确的问题。另一个问题是，对于我真正感兴趣的任务，根本没有真实数据（ground truth）。我们现在进行的对齐研究，可能会“让一些对齐研究人员来标记一些任务。” 但是又会想，“如果他们出错怎么办？我们在很多事情上都无法达成一致，这似乎很困难。” 而且，这样的专家也不多，他们的时间非常宝贵，所以这将会是非常昂贵的数据。总而言之，我希望有一种不依赖于真实数据的评估方法。这就是为什么我对随机对照试验和有针对性的扰动或判别器-评价器鸿沟的前景感到兴奋。因为即使没有任何真实数据，也可以做到这一点，而且可以选择任意难度的任务。4 寻找模型的不良行为和内部机制Daniel Filan：那篇超级对齐的文章中称要寻找不良行为和不良内部机制，这方面有哪些超级对齐团队能够解决的问题？Jan Leike：首先是可解释性问题。在某种意义上，可解释性难以实现。而且我认为，目前在语言模型上并没有真正能证明可解释性带来了很多洞察或增添了很多价值，对这些模型以及内部机制的理解还相当初级。Daniel Filan：但人们确实对语言模型进行了一些可解释性研究，比如归纳头（induction heads）等等。Jan Leike：抱歉，我并不是要贬低现有的研究成果……已经有产生了许多令人兴奋的成果，但最令人振奋的是，使用可解释性技术分析像GPT-4这样规模的语言模型的奖励模型，得出一些我们之前不知道的关于奖励模型的信息。奖励模型为许多RLHF训练过程提供了训练信号，因此更好地理解它具有极高的价值。如果你能够标记或找出它激励产生的行为问题，而这些行为是你不希望出现的，那将非常棒。我认为这是可行的，而且重要的是，可解释性既非必要也非充分条件。我们有很大的机会通过行为来解决对齐问题，无需真正理解模型的内部运作。同时，即使解决了可解释性问题，但并没有一个确切的策略来解决超级智能的对齐问题，但从可解释性中获得的任何见解都将具有巨大的潜在价值，它将为我们提供一种突破口。同时，这也是可解释性如此难以实现的原因。因为模型正在学习如何进行高效计算，它并没有被正则化为人类可理解的形式，也没有理由相信每个神经元应该对应于任何与人类思维相关或熟悉的东西。实际上，根据实证数据，神经网络使用单个神经元来表示许多不同的概念，并且每个概念分布在不同的神经元之间。因此，在这种情况下，神经元并不是真正重要的因素。对于可解释性，我有两个感兴趣的方面。一是因果关系。你不仅希望在数据通过模型时查看一个神经元并说，“当我们有关于加拿大的故事时，这个神经元会被激活”，或者其他类似的情况。这是我们在可解释性论文中的发现之一。我们发现一个‘加拿大’神经元，它会在出现与加拿大相关的概念时被激活。但这仅仅是相关性，而非因果性。为了验证是否存在因果关系，你需要有意地编写一些包含加拿大相关概念的文本，观察它们是否都会激活该神经元。同时，你还需要添加其他相关概念，这些概念可能听起来与加拿大有关联，或者与加拿大无关但相似。然后，观察该神经元是否不会被激活。或者你可以拿一段文本，对其进行编辑，然后观察神经元是否关闭。Daniel Filan：这让我想起一篇论文，我记得它被称为“可解释性幻觉”，文中提到，可能有一些神经元对某一特定事物进行激活，但是在其他数据集上，那只是一种幻觉，神经元会因为许多其他事物被激活。Jan Leike：另一件非常兴奋的事是，今年早些时候发表的一篇关于自动化解释性的论文，基本思路是，有一种技术既可以在个别神经元的微观层面上运行，确保不会遗漏任何细节，同时又可以在宏观的整个模型上运行。归根结底，模型中的所有组件之间相互作用、高度相关，所以你需要兼顾两者。到目前为止，技术大多局限于其中的一个方面。之前已经有过自动化解释性的相关研究，但我认为，总体而言，如果你能够进行一些非常注重细节的可解释性工作，采用一种机械性的可解释性方法，真正尝试理解模型内部的个别电路或计算单元，那么将这种方法推广到整个模型的规模上，就需要自动化的帮助。这篇论文中进行了详细解释，实际上是为个别神经元编写自然语言解释，尽管这不是完全正确的解释方式，但提供了一个简单的例子，展示了我们在这方面取得的成果。其工作原理是：你只需向GPT-4展示一系列激活模式，然后让GPT-4给出一个建议性的解释。总的来说，这些解释的质量欠佳，因为该任务难度较大，大多数神经元并不会完成非常明确的、人类可理解的任务。但我们可以对GPT-2中的每个神经元运行这个过程，然后将所有解释都保存下来，尝试找到有趣的模式。你可以查看扩展趋势（scaling trend），比如“随着模型变得更大，自动评分这些解释的扩展性如何？”或者“如果我们增加计算资源，让进行解释的模型变得更大，解释质量会如何变化？”最让人兴奋的是，我们可以再次使用语言模型进行自动测量。虽然这不是一个完美的指标，而且存在一些问题，但它为我们提供了一个“人类是否认为这个解释很好”的近似值。然后，我们将这个近似值应用到整个模型上，在大量的神经元运行。Daniel Filan：如果考虑必要的可解释性工作，你认为，其中有多少是在寻找更好的基本解释单元，有多少是在解决扩展问题等？Jan Leike：两者都是必要的，找到基本的解释单元可能更具挑战性，但扩展部分对于成功至关重要。5 语言大模型是否能理解对齐Daniel Filan：我猜测，关于超级对齐，我们没有清晰的规范。如果有规范，就不会存在对齐问题，我们只需告诉模型“我写了个Python伪代码，把神经网络做得更大一点”，但因为没有这个规范，所以我们无法对齐文本，我们只能告诉模型，让它们友好一些，不要伤害人类。有人认为，我们能从语言模型内部找到答案，你怎么看？Jan Leike：这种观点有一定的道理，但实际上我不确定规范的重要性。一定程度上，如果我们用自己说过的话来预训练模型，模型也无法真正了解我们的想法，因为我们还有很多没有写出来的想法。但总体而言，模型在实践中可以相当准确地预测人们在各种情况、事件或场景中的言论。从这个意义上说，对以后的模型来说，了解这个世界、判断人们对自己的态度不会是一件难事。Daniel Filan：也就是说，如果我是超级智能，即使我头脑中并没有确定的规则，我也知道自己应该做什么。Jan Leike：我的意思是，模型会发展得足够智能，它将能够猜测人们对事件的看法。我认为，我们所面临的阻碍并不是AI系统不理解人类真正关心的内容，并且，模型在这方面不太可能出错，因为模型十分智能且强大，几乎了解世界上所有的事。真正的挑战不是教会语言模型做事，而是真正让语言模型去做事。Daniel Filan：是的。模型知道我们的某个目标，而我们要做的是让模型付出实际行动，以实现这个目标。Jan Leike：可以把模型类比为具有反社会人格的人，他们具有很强的能力，且知道该做什么，不该做什么，但这些人就是会反着来，这是非常可怕的。6 超级对齐团队的四年之期Daniel Filan：在超级对齐的那篇博文中提道，你们的目标是在接下来的四年内解决超级智能对齐的核心技术挑战。这里的核心技术挑战是什么？Jan Leike：这涉及到一般的技术手段，即如何将超级智能与一组人类价值观对齐。我们设想的超级智能是一个远远优于人类智能的系统，它能够以更快的速度执行任务，可以进行大量并行计算，并且与自身的多个复制体通力合作，是一个真正强大的系统。之所以以四年为期，是因为我们希望设定一个雄心勃勃的目标，同时又是一个在现实中可行的时间范围，即便AI的进展非常迅速，技术在未来几年内得到显著提升，那时我们仍然可以交付一些实际成果。Daniel Filan：明白。这不仅是在构建人类水平的AI自动对齐研究员，并且还试图利用这一方法来对齐比人类智能得多的系统。Jan Leike：没错。实际上，我们构建人类水平自动对齐研究员不仅仅是为了构建一个能够与人类水平对齐的AI，更重要的是，通过这一步骤来解决如何对齐比人类更聪明的超级智能的技术问题。我们目前还不知道如何实现超级智能的对齐，因此，正在构建一个可以帮助我们研究和解决这个问题的自动对齐研究员。Daniel Filan：从现在算起，你们想在四年内解决这些核心技术挑战，那么与此目标相匹配，你们预计两年后将达到何种程度？Jan Leike：我认为，在三年后我们应该具备了相关技术能力，完成了大部分自动对齐研究。如果在那时还不具备相关能力，则可能需要延长项目时间，四年是最理想的状态。希望两年后，我们能够对实际用于对齐自动对齐研究员的技术有清晰了解，比如是否掌握了一系列技术手段？如果应用这些技术，我们能否拥有一个可信赖且可大量使用的系统并大量分配工作？希望在那时我们已经将问题分解得足够明确，目前大部分工作都仅限于工程层面，这意味着，我们还有大约两年时间来解决与其相关的研究问题。这是我们设定的四年目标时间线，显然，这与AI能力的进展之间存在着非常重要的关联。如果AI进展放缓，我们可能就难以拥有真正擅长有用的对齐研究任务的模型了。我们尝试过用GPT-4来做对齐任务，但效果并不理想，GPT-4还不够智能。如果四年后还没有出现足够智能的模型，那么我们将花更多时间来解决这些问题。另一方面，如果AI发展速度加快，那么留给我们解决问题的时间可能不足四年，超级智能也许会快速出现，我们必须相应地调整计划。因此，四年既可以确保计划的可行性，还可以保证问题解决的时效性。Daniel Filan：假设在AI能力研究方面的情况如预期发展。四年后，你们具备了构建良好的自动对齐研究员所需的能力，但结果证明可解释性或者可扩展监督机制比我们想象的更加困难，那时该怎么办？Jan Leike：如果无法实现目标，我们必须向公众坦白。但我们能否达成目标很大程度上取决于世界的整体发展状况，例如能否获得更多时间？整体方法是否有误？是否需要转变方向？在这一过程中可能发生很多意外。Daniel Filan：简而言之，如果计划有变，你们会将进展向大众公布并寻求下一个发力点。Jan Leike：对齐问题实际上具有很强的可操作性。针对这个问题，我们有很多好的应对方法，只需严格执行并测量结果，就能真正学习并取得进展。在过去的两年里，我对这个问题越来越乐观。即使最终证明对齐确实比我们想象的更难，我们的研究也仍然价值非凡，可以获得更多与对齐相关的证据。现在人们对对齐的难度看法各异，在这种情况下，这些证据显得更为重要。另外，或许了解和测量系统在实践中的对齐程度才是更重要的事。我最担心的不是系统的对齐程度不够高，而是我们不知道它的对齐程度有多高。这种情况下，不同的专家可能有不同的意见，如果人人都认为系统没有足够的对齐度，它就不会被部署。上述问题还只是一个小的方面，更糟糕的是：你已经有了一个强大的系统，这个系统可能还不错，并且可能是对齐的，但你并不确定。这时有一些专家仍然非常担心，在这种情况下，就算能够马上部署，我们可能也会放弃。另外，部署这个系统还面临着巨大的商业压力，部分人认为系统可能是对齐的，但不够确定，而同时又存在强大的商业利益驱动。面对这种情况，做出正确的决策就非常困难。Daniel Filan：系统地部署也存在压力。Jan Leike：没错。面对商业压力，可能出现这样的情况：你对系统是否对齐有一定的把握，但并非完全确定，然后你可能会推迟部署，但推迟的时间越久，商业压力就会越大。因此，我们可以通过精确测量系统的对齐程度来避免上述问题。这正是更广泛的技术组合的用武之处。7 模型的泛化Daniel Filan：OpenAI在一篇博客文章的脚注中提到：人们迄今为止所做的有利假设可能会失效。其中一条假设认为泛化是良性的，那么你们对泛化问题有何不同看法？Jan Leike：最近我们成立了一个泛化团队。目前的问题是，我们该如何在人类评估和监督的基础上，理解和提升模型能力，让它从易于监督的任务泛化到难以监督的任务。具体来说，泛化与可扩展监督相辅相成，可扩展监督是对人类评估的补充。如果考虑递归奖励建模，你会思考，“我们是否可以用经过递归评价的AI助手去递归评价AI所做的每一件事？”这样能将人类真正纳入循环、前沿和中心，以观察AI系统做所的一切。当然，在实践中我们无法做到观察AI的一切行为，因为AI系统所做的事情太多了，但我们可以以某种小的独立概率来观察这一切。此外我们还面临着一个问题：模型可能泛化到未被监督的地方。对于这个问题，我的做法是：确保大部分泛化是独立同分布（IID）泛化，即你关注的任务与未关注的任务遵循相同的分布。Daniel Filan：你们之前的博文称，绝对不会依赖泛化，而是会继续训练模型，保持独立同分布。Jan Leike：是的，这是我最初的想法，我不希望依赖非独立同分布泛化，在神经网络中，非独立同分布泛化的效果并不好，在理解方面有所欠缺。但现在的问题是，如果我们真的理解泛化，真的找到了泛化的意义，会怎么样呢？这是一个很有价值的问题，Ilya也多次提到这个问题。我们想要理解的是，即使在没有监督的任务中，即便这些任务不是独立同分布的，我们能否找到模型泛化能力的意义？模型的泛化是否遵从了人们的意愿？模型是否以看起来对人们有好处但实际上没有好处的方式进行了泛化？对此，我们可以通过实验进行实证研究。我们一直在尝试将现有的数据集分为简单和复杂两种，其中简单问题是小型模型能够正确解答的问题。然后，我们试图理解或提高大型模型在整个数据集上的准确性。这是一个非常有趣的课题，它为训练和验证技术提供了全新支柱。假设能够非常好地解决这个问题，我们现在可以在一些易于评估的简单任务上对奖励模型进行监督，或者将模型泛化到更复杂的问题上，那么我们就能泛化模型。然后，我们就有了这个即使没有对其进行监督，也能以我们所期望的方式泛化到更难任务的奖励模型，还可以利用这个模型进行训练。然而，这仍然面临一个问题，即我们不知道模型是否已经对齐，不过可以利用可扩展监督和可解释性等技术进行验证，或者反过来，假设我们通过可扩展监督训练了自动对齐研究员，并且使用了泛化来进行验证，即根据模型的最佳知识泛化出真实回答的概率。然后，我们提出一个问题，比如在这段代码中是否存在一些小缺陷？是否存在用可扩展监督方式对齐的模型编写的木马？现在，我们可以进行高级交叉验证，训练两个不同的模型，一个模型使用泛化技术训练，另一个模型使用可扩展监督训练。我们可以交叉核对模型答案，查看它们是否是一样的模型，或者说它们是否有本质上的区别？如果有，有哪些重大差异？Daniel Filan：最近Scott Aaronson在我们的播客中提到，每当他和Ilya Sutskever交谈时，Ilya总是问他关于爱和善的理论定义。你们团队如何看待这个问题？Jan Leike：我们可能会尝试很多不同的探索性项目。按Ilya的话来说，最终的问题是我们该如何召唤（summon）与对齐相关的概念？其中一个我们想要召唤的概念是：模型是否从根本上希望人类成功？或者用Ilya的话来说，它是否热爱人类？因此，如果模型非常智能，已经读过所有东西，完全了解了人类对于不道德行为的想法，那么你可以请求GPT-4从不同的哲学观点、不同的情景中给出不同的道德案例，在这方面，它通常都做得很不错。所以GPT-4从根本上理解了人们对于道德的定义以及我们思考的方式。那么如何利用它呢？我认为这是问题的核心所在。 8 与其他对齐实验室的不同Daniel Filan：OpenAI好像本来就有一个对齐团队，这个团队现在还在吗？你如何看待超级对齐团队与OpenAI的关系？Jan Leike：这个对齐团队去年还在，当时团队由两部分组成，分别是实用对齐（practical alignment）和可扩展对齐（scalable alignment）。实用对齐的任务是对齐OpenAI能力最强的模型，所以该团队主要关注于对齐GPT-4；可扩展对齐团队的目标是解决我们尚未面临的对齐问题。随着ChatGPT的发布和成功，需要大量工作来改进ChatGPT的RLHF、提高模型质量，使其成为真正出色的产品，但对齐团队无法完成这些任务。因此，实用对齐团队的工作都移交给了OpenAI的其他团队，并且已经发展为规模数百人的大项目。可扩展对齐则演变为如今的超级对齐团队。我们想要强调目前正在努力对齐超级智能，所以选择了这个名字。我们正在研究还未遇到的问题，进行一些前瞻性工作。这并不代表其他工作不重要，只是目前我们主要关注的是对齐问题。Daniel Filan：世界上还有其他非常优秀的AI研究实验室，它们也在做超级智能对齐的相关工作。与这些实验室相比，超级对齐团队有何不同？Jan Leike：很多实验室都在进行相关工作，尤其像DeepMind和Anthropic等。在某种程度上，我们都试图解决同一个问题，所以自然会做可解释性和可扩展监督之类的工作。在一定程度上，我们面临着做重复工作的风险，为避免这种情况，不同实验室之间最好相互协作。另一方面，不同实验室进行类似的研究也有好处，可以避免群体思维。如果每个实验室都试图靠自己解决这些问题，人们自然会更怀疑其他实验室的成果。最后，这种情况可能造成 “非此即彼”现象，也就是说除了自己实验室的成果，人们不愿意使用其他实验室的技术，因为人们总有一种先入为主的偏见，觉得其他人的东西不好。目前，我们还不知道如何平衡上述情况。也许我们应该将所有对齐人员聚集起来，让他们一起协同工作。但现实情况是，各个尖端AI实验室受投资驱动，纷纷专注于研究对齐问题。RLHF的成功使得模型具有了更高的商业价值，导致人们将目光转向了更具商业价值的技术，这类技术很快吸引了大量投资。如果AI实验室是研究的主要资助者，那么实验室就能摆脱资本的影响，对齐研究自然就会在这些地方进行。Daniel Filan：在研究议程等方面，超级对齐团队有何独特之处？Jan Leike：超级对齐团队专注于对齐自动对齐研究员，而不是对齐特定任务。我们不太担心由此产生的成本问题。其他实验室似乎没有以这种方式强调这一目标或方向。我们积极尝试各种可扩展的对齐技术，并寻找方法来进行实证比较。其他实验室可能对特定的可扩展监督技术非常乐观，并努力促成其实现，我们团队在可解释性方面采取自动化的方法，其他实验室可能并没有特别强调这一点，我们倾向于在这一领域进行大量尝试。我们团队认为，可以利用计算能力来强化对齐，这是主要策略之一。特别是在可扩展监督方面，希望弄清如何提高监督信号的质量。我们关注的是，如何运用更多的计算资源来强化监督信号，对评价模型进行计算上的改进可能是一种方法，这样一来，通过耗费更多的计算资源，会得到更好的评价。然而，问题的关键是，还有哪些其他方法？如何运用更多计算资源来强化监督信号的效果？自动可解释性是一种可行的方式，只需投入大量计算资源就可推进可解释性问题的进展。目前我们的做法还不完全正确，但总体上，如果能使自动可解释性生效，那将带来巨大价值，这也正是自动可解释性的吸引力所在。显然，做自动对齐研究时，我们只需投入更多计算资源，就能获得更好的对齐效果。但我们真正想做的是将算力转化为对齐效果，于是我们得出了这样一个结论：我们需要大量算力。这也是OpenAI承诺将20%的计算资源用于自动对齐研究，这可能是迄今为止对齐领域的最大投资，甚至可能超过所有其他投资的总和。如果我们将这个比例设定得更大，人们就会怀疑OpenAI是否真能实现这一目标？因为OpenAI仍然想要开发前沿模型以及预训练最先进的AI系统，这将需要大量算力。如果我们确实成功研究出自动对齐研究员，并且结果显示需要更多算力来运行它。这意味着，通过将算力转化为对齐效果的策略也许能够成功，这一策略也会得到OpenAI的支持。Daniel Filan：就团队人数而言，你们最多能达到多少人呢？Jan Leike：目前团队大约有20人，年底可能会增加到30人左右。四年内，团队规模不太可能超过一百人。然而，团队规模的扩展并不单纯通过增加实际人员数量，还通过虚线参与人员的方式。因此，团队规模会实现大规模扩展。9 为何看好自动对齐研究员Daniel Filan：有人担心对齐人类水平的对齐研究员会非常困难，需要进行相当复杂的思考。为什么你对此如此乐观？Jan Leike：这是个很好的问题。相比“计划能否成功”，“计划能否在四年内成功”是一个更为复杂的问题。如果你问我，我们当前的计划是否能成功对齐超级智能，我会说，有85%的可能，而在去年计划的可能性大约为60%。我对此持乐观态度的理由有很多，即使对齐并不容易，这些理由也依然成立。那么我为何如此乐观呢？理由如下：从过去几年来看，对齐研究员的发展情况相当喜人，至少对我来说，AI领域出现了一些符合预期的更新。首先是语言模型的成功，如果我们预先为模型装载人类关心的事物，比如我们的道德选择、认知偏好等，并且模型能够理解自然语言，我们就可以直接与模型交流。从某种程度上说，与在游戏或虚拟环境中训练的深度强化学习智能体相比，与语言模型沟通，表达我们希望语言模型对齐的内容要容易得多，相比语言模型，深度强化学习智能体涉及的语言可能不足，而语言与很多重要的技能相关。另一个重要的更新是RLHF的良好运行。最初研究RLHF时，我认为，可能难以在合理时间内使其发挥作用，因为当时GAN（生成对抗网络）很难训练，而我们在某种程度上正在做一些非常类似的事情，我们训练了这个奖励模型，然后用它来训练另一个网络，但训练可能因各种原因失败。现在，我们在这个过程中加入了当时觉得很棘手的深度强化学习。那时，我认为RLHF可能会失败，但实际上它运行得非常好，在许多游戏中，甚至在大部分Atari游戏中，RLHF几乎能与在评分函数（score function）上训练的模型相媲美。更重要的是，RLHF在语言模型上的表现非常有趣，尤其是考虑到InstructGPT和从中进行微调的基础模型之间的区别相当明显，微调后的版本在API任务上的表现超过基础模型100倍，而这些才是人们愿意为之付费的任务。这是一个非常大的差异，这表明，RLHF的微调极大地提升了模型处理人们需求的效率。同时，我们在RLHF方面投入的算力非常少，我没有收集到足够多的数据。可以说，这是我们首次尝试使用RLHF来对齐真正的系统，它能如此良好地运行确实很让人惊讶。InstructGPT的效率非常高。虽然我不认为RLHF是对齐的解决方案，尤其是对于超级智能来说，但这是第一个我们真正认真尝试的对齐方法，它运行得如此出色。这至少意味着，对齐比我们想象的容易。我对自动对齐研究员持乐观态度的第二个原因是：现阶段我们已经可以衡量对齐研究的进展。尤其对于RLHF，我们有各种干预手段，可以进行人类评估，查看系统改进情况。在许多其他方面比如可扩展监督也是如此，我们可以进行有针对性干扰的随机对照试验，另外，我们还可以改变一些条件，利用自动评分函数，查看这些改变所带来的提升。这个评分函数并不完美，它只是一个能够给出局部提升坡度的局部指标，但对研究进展的衡量非常重要，它可以帮助我们设定迭代目标，提供改进方向。到目前为止，我不认为我们能够实现对齐超级智能的目标，但我们有很大可能构建出人类水平的自动对齐研究员。相比对齐超级智能，构建人类水平的自动对齐研究员是一个相对温和可行的目标，这也是我对此持乐观态度的第三个原因。多年前，刚开始从事对齐研究工作时，我就知道对齐超级智能非常难。相比而言，自动对齐研究员的可行性非常高。面对一个非常难的目标，我们可以转换思路，与其死磕整体目标，不如将目标分解为更为具体可行的小目标。第四个原因是，评估任务比生成任务更容易。这适用于很多情况，就拿手机来说，评估一部手机的好坏比生产手机要容易得多。计算机科学中有很多NP问题（Non-deterministic Polynomial），比如SAT求解或不同版本的约束满足问题，对于这些问题我们不确定能否在多项式时间内找到答案，但可以在多项式时间内验证答案是否正确。我认为，NP问题也适用于很多商业活动，比如雇佣某个人来解决某个问题，我们需要对这个人的工作能力进行评估，而后者的工作量要远低于前者；这种情况同样也适用于学术研究领域，在学术研究领域同行评审所需的工作量要比进行研究的工作量要小得多。在我看来，对齐研究也是如此。最后一个原因是，我对语言模型的发展信心十足。语言模型有很大的发展潜力，它们会变得极为出色，它们非常适用于多数与对齐研究相关的任务，我们可以将这些任务形式化为文本输入和输出。无论是机器学习类任务（比如运行实验并理解结果），还是更具概念性或研究价值的任务，如果我们在处理这些任务时遇到困难，比如不知道下一步该做什么，或者不知道该如何理解某个问题时，模型会尝试帮助我们解决该问题。基本所有这些任务都是文本输入和输出类任务，其中最复杂的任务可能就是查看图表等内容，但这些任务GPT-4就能解决。因此，当前的语言模型预训练范式非常适合进行对齐计划以及超级对齐研究工作。Daniel Filan：我对语言模型的实用性有点怀疑，语言模型确实很擅长建模文本，并基于文本生成评分很高的答案。但就语言模型对于对齐的作用而言，它并不是以目标为导向的，你怎么看？Jan Leike：是的，至少初步看来，模型预训练更像是在互联网随机文本上，按照“预测下一个词元”这一狭隘目标所进行的训练，这一目标无法发展为长期目标，虽然长期目标可能会以某种方式出现，但先验上看，“预测下一个词元”只能是短期目标。Daniel Filan：人们生成文本时需要有长期目标。那么如果用一些论文对模型进行训练，通常人们写论文是为了推进研究项目，或促进自己的职业发展。如果我们用这些具有长期目标的内容建模，也许就能得到长期目标。Jan Leike：这可以解释为什么“预测下一个词元”有时会出现长期目标。我认为，主要问题是构建追求长期目标的智能体，构建实现这些目标的方式，公众对此的反应，以及可能生成的结果等种种因素共同让预测下一次词元成为了一个非常难的函数。而预训练通过激励措施先找到最简单的函数，归纳头表示法就是一个很好的例子，它是一个简单的诱导机制，在训练较小的模型时被发现。Daniel Filan：我认为，语言模型的预测机制就是在预测下一个词时查看上一个词是否在上文出现过，如果是，就查看它的下一个词是什么。这种机制非常简单。Jan Leike：没错。我们会在这个简单机制的基础上构建更复杂的机制。因为我们要改进预训练损失，所以会预先学习能带给我们最大帮助的最简单函数。因此，在学习建模具有长期目标的智能体这种非常复杂的函数之前，我们会学习许多其他函数。我预计，“预测下一个单词”函数可能会是我们学习的最后几个函数之一，它非常复杂，而模型的层是有限的，所以单次前向传递过程中能做的事情是有限的。其他人都在看揭示GPT Tokenizer的工作原理通俗解构语言大模型的工作原理语言大模型100K上下文窗口的秘诀大模型的无限上下文与数据集组合艺术GPT-4.5前瞻：代码解释器，编程新纪元Transformer作者：指令型智能体的构建之法OneEmbedding:单卡训练TB级推荐模型不是梦欢迎Star、试用OneFlow: 发布于 2023-08-17 11:36赞同 3添加评论分享收藏

如何评价 AI 教父 Hinton 演讲提到「如何控制比人类还聪明的超级智能，是一场前所未有的挑战」？ - 知乎

如何评价 AI 教父 Hinton 演讲提到「如何控制比人类还聪明的超级智能，是一场前所未有的挑战」？ - 知乎首页知乎知学堂发现等你来答切换模式登录/注册人工智能如何评价 AI 教父 Hinton 演讲提到「如何控制比人类还聪明的超级智能，是一场前所未有的挑战」？「而我已经老了」，75 岁的 Hinton 对在场所有年轻的科学家说，他希望大家好好研究「如何拥有超级智能」这件事。在他看来，不那么聪明的物种控制比…显示全部关注者650被浏览268,061关注问题写回答邀请回答好问题 819 条评论分享109 个回答默认排序段小草Python话题下的优秀答主关注作为闭幕演讲，Hinton 这一次的演讲质量很高，能引起许多思考，虽然更偏向于对未来的设想，而非对已有技术的评价；更像是在布道，而非具体的术或技；更多的是呼吁和引起关注…说实话这篇分享[1]听一遍是不够的，跟不上，听得晕晕乎乎的…对于 Hinton 的评价以及他对 AGI 的观点，之前的另一个问题，大家已经有过一些讨论了：包括他之前的一次访谈：当 Sam 一再重申 OpenAI 还没有开始做 GPT-5 的训练[2]，当 Lecun 还在说自回归模型不是正确的道路[3]（目前的人工智能存在局现），当 Russell 呼吁[4]不要过分强调机器的智能，要保证机器能理解人的利益，保证人类对机器的绝对控制的时候，Hinton 已经跳过了这些阶段，开始思考 AI 代表的智慧和人类代表的智慧争夺权力的问题了[5]…我甚至觉得，Hinton 比其他人都更坚定地相信 AGI 会到来（然后是 Sam）。Hinton 的演讲就两个主题：人工神经网络会比人的神经网络更智能吗？——会，而且很快就会。人在将来还能够控制超级人工智能吗？——会失控，且没什么好的办法去阻止失控。我都不知道 Hinton 这种对 AI 的看法算是乐观还是悲观…或者说，他对 AI 的发展前景是乐观的，对 AI 的可控是悲观的…我试图跟着 Hinton 的思路去理解他的观点，一个最基本的观点是，根据他对实现路径的思考，他真的相信 AI 会在未来、即将变得比人类聪明，他真的相信 AGI 很快会到来。知识蒸馏（生物计算）对应的是人；权重共享（数字计算）对应的是人工智能。前者带宽低能耗低，后者带宽高能耗高。我对他的话的大概理解是：AI 天然地具有数字拷贝的能力，如果将来 AI 可以实现真正的无监督学习，可以实时不受控地接入真实世界的所有数据和建模，AI 的学习速度和能力将超过所有人类。也因而 AI 必然会比人类更聪明…不过，这个未来究竟有多远，谁也不知道，留给我们思考的问题也还很多。不过有一点毫无疑问，就算 AI 技术有被滥用的风险，但发展已经是不可阻挡的趋势了。而且我感觉，马上就会出现一大批 AGI 降临派了…以上，我再去多看两遍视频…参考^https://2023-live.baai.ac.cn/2023/live/?room_id=27180^https://www.zhihu.com/question/605868976/answer/3067794496^https://www.zhihu.com/question/605868455/answer/3068222118^https://new.qq.com/rain/a/20230611A01TD800^https://mp.weixin.qq.com/s/Wy5Bxh8RYTDcYWldM_xbJg编辑于 2023-06-11 22:43赞同 495133 条评论分享收藏喜欢收起卜寒兮深度学习 | 人工智能 | CV博士关注Hinton对人工智能的态度是复杂的，但是自从ChatGPT横空出世和大模型快速发展以来，他一直在坚持表达一个态度：人类应该警惕人工智能的潜在危险。上个月初他从工作了10年谷歌离开，关于离开原因，按照他自己的说法是“为了谈论人工智能的危险”。因为他觉得随着越来越多的公司利用更强大的人工智能系统，这些系统变得越来越令人担忧。互联网会被虚假图片、视频和文本淹没，这些东西会让人们感到困惑，不知道什么是真实的。长期来看，人工智能可能会取代许多由人类完成的工作。最终，人工智能可能会在其他领域超过其人类创造者。他多次提到的一个观点是人工智能会比人类更聪明。虽然人工智能在推理上效果还不那么好，远不及人类的水平。但是在一般知识的掌握量上，像GPT-4这样的模型已经远超出人类。主要原因在于人类（生物系统）与人工智能（数字系统）的区别，对于数字系统，可以有许多相同权重的副本，相同的模型。所有这些副本可以分别学习，但是可以立即分享他们的知识。所以，就好像你有10000分身，只要有其中一个人学到了什么，其他的都会立即知道。这就是人工智能的优势。Hinton对人工智能是有信心的，正因如此，他才会担忧人类在未来有被人工智能超越的风险。今年大模型的出现让人们仿佛看到了通用人工智能的影子，然而，它是否是AGI的唯一解，需要画一个大大的问号的。但不论是何种形式，有一个问题是绕不过去的，就是计算。现在的人工智能之所以在很多方面还不如人类，很重要的一点是人类的脑神经系统有着复杂的连接和触发模式，这些机制使得人类能高效的处理各种形式的信息和计算。而承载着如此复杂的神经系统的“硬件”——人类的大脑，也是生物进化的结果，这是目前任何算力强大的计算机硬件都无法模拟的。所以生物系统的计算机制和能力对人工智能系统的发展有什么启发，这是Hinton关注的一个问题。关于这个问题，Hinton提到的一个比较新鲜的概念是Mortal Computation，中文被翻译为“非不朽计算”，字面上还挺令人费解的。这个概念最初是去年Hinton在一篇名为The Forward-Forward Algorithm: Some Preliminary Investigations的文章中提出的。作为反向传播算法的创立者，Hinton现在又把目光聚焦在了一种新的算法上——forward-forward（FF），用两个前向传播过程取代了反向传播的前向和后向过程，一个前向过程使用正（实）数据，另一个使用可能由网络自身生成的负数据。每一层都有自己的目标函数，简单地说，就是对正数据有高的“优良度”（goodness），对负数据有低的“优良度”。这里的“优良度”可以使用一层中平方活动的总和来表示，但也有许多其他可能性，包括负的平方活动总和。这篇论文的最后，Hinton提出了Mortal Computation的概念。总体来说，它讨论的是软件与硬件的关系，简单的理解就是将模型与硬件绑定。如果这样的算法能够被实现，将使硬件的效率提高几个数量级，但代价是失去将模型精确复制到其他计算机的能力。过去，我们认为只有通过详细编写程序，让通用数字计算机准确地遵循指令，才能执行特定任务。长期以来，人们一直采用软件与硬件分离的做法，这样同一程序或相同的权重集合就可以在不同的硬件副本上运行。这样的做法固然有很多好处。比如，我们可以研究程序的问题，而不必担心硬件工程的问题，可以把一个程序复制到数百万台计算机上，可以使用很多相同模型的副本并行计算巨大的数据集的导数。这种特性被称为不朽性，而如果我们愿意放弃不朽性，那么就可能在进行计算所需的能源以及制造执行计算硬件的成本上省下巨大的成本。比如可以允许在连通性和非线性方面对不同的硬件进行大量的差异化设计，然后依赖学习过程去发现使得特定硬件实例能有效运用其未知属性的参数值。这些参数值只对特定的硬件实例有用，所以它们执行的计算是有生命限制的：硬件死了，它们就死了。尽管把参数值复制到一个工作方式不同的硬件上没有意义，但有一种更生物学的方式可以将一个硬件学到的东西传递到另一个硬件上——知识蒸馏。对于像图像中的对象分类这样的任务，我们真正感兴趣的是像素与类别标签之间的函数关系，而不是在特定硬件中实现该函数的参数值。通过使用蒸馏，函数本身可以（近似地）转移到不同的硬件上。新的硬件不仅被训练得出与旧硬件相同的答案，还被训练输出错误答案的相同概率。如果想让万亿参数的神经网络只消耗几瓦的电力，有生命限制的计算（非不朽计算）可能是唯一的选择。其可行性取决于找到一个可以在硬件的精确细节未知的情况下有效运行的学习过程，因此Hinton提到Forward-Forward算法是一个很有前景的做法，尽管它在大型神经网络中的扩展性还有待观察。关于Mortal Computation，一些神经生物学家也讨论过[1]，或许能从生物系统的角度为人工智能（数字系统）的智能性提供一些启示。神经生物学教授、《自组装大脑》一书的作者彼得·罗宾·希辛格 (Peter Robin Hiesinger) 就提到，在生物学中，生物神经网络在学习之前就包含了大量的信息。这些信息体现在连接性中，体现在每个单独的突触连接的分子组成中，这写东西的重要性远远超过了一个“神经元突触权重”。而所有这些信息都是通过遗传编码的发展（genetically encoded development）在学习之前就存在的。希辛格认为，遗传编码的发展解决了Hinton提出的两个问题。首先，它决定了如何将“万亿参数”引入网络。其次，基因组发展背后是一种“学习过程”，它可以有效地在硬件的精确细节未知的情况下“运行”。“可以在精确细节未知的硬件中高效运行的程序”正好回应了 Hinton 所提到的问题。在生物学中，“硬件的精确细节”是一个漫长的信息编码过程的结果。生物学习的效率在于这种渐进的信息编码过程。在处理环境信息之前，神经元和突触水平的学习已经作为一个纯粹的基因编码过程发生，亦无须“开启”开关，仅仅通过逐渐增加的信息编码就能够得到一个“精确细节未知”的生物学神经网路。生物学的这种信息编码系统（即生物系统的硬件）是进化的结果，而对于人工智能系统，如何创造出这样的“硬件”以满足模型的信息处理能力还依然是一个在探索中的问题。参考^http://selfassemblingbrain.com/mortal-computing-geoffrey-hintons-forward-forward-algorithm-and-the-self-assembling-brain/编辑于 2023-06-11 21:56赞同 943 条评论分享收藏喜欢

一种新超级智能的崛起

中国社会科学院邮件系统

中文EN

首页

概况

院领导

高　翔

甄占民

杭元祥

王昌林

赵志敏

赵　芮

组织机构

要闻

科研动态

科研管理

强院战略

学术会议

出版动态

社科基金

国情调研

学术成果

马克思主义学部

文哲学部

中国历史研究院

经济学部

社会政法学部

国际研究学部

学部委员

荣誉学部委员

国际交流

图书馆

数字社科

当前位置：首页专题2021国家网络安全宣传周学理解读

一种新超级智能的崛起

2019-07-30

来源：《中国社会科学报》2019年7月30日总第1745期

作者：刘锋

分享到：

字号：

[大]

[中]

[小]

[关闭]

[打印]

　　一些人在谈论超级智能时，认为人工智能发展到更高程度，产生意识，全面超越人类，可以威胁人类甚至控制人类时，就变成了超级智能。这种对超级智能的认知是人工智能威胁论的变种，其拥簇者包括霍金、马斯克、孙正义等科学家、企业家、投资人等。另一方面，吴恩达、杨立昆（Yann LeCun）、谭铁牛等人工智能专家对这种观点进行了批驳。他们的主要意见是，目前人工智能的发展动力完全来自于人类，并没有科学的路径实现人工智能产生意识、加速进化、全面超越人类的可能。

　　在世界范围各领域人士对人工智能能否实现重大飞跃，从而成为超级智能进行激烈辩论时，一个更为庞大、超出人类原来预期的新超级智能形式正在悄然兴起——一个链接数十亿群体智慧和数百亿机器智能的新超级智能形态。

　　大约10亿年前，地球自然界中的生命诞生。4亿年前，生物从海洋向陆地迁移，植物、昆虫、脊椎动物等开始在陆地上繁殖。生物在地球的不同环境中生存，形成了五彩缤纷的生命世界。不同的生物呈现出不同的智能，生物的智能在适应大自然的过程中体现出来，而许多生物作为一个虚拟的整体，利用群体的力量面对大自然的挑战。同一种群的不同个体通过紧密合作开展活动，从而使种群成为有机整体，即群体智能的形成，蚁群、蜂群等便是群体智能的典型案例。

　　其中，蜜蜂是自然界中被研究时间最长的群体智能。单个蜜蜂的大脑比一粒沙子还要小，其中只有不到100万个神经元。相比于人类大脑中850亿个神经元，单个蜜蜂是一个非常简单的智能体，但是它们也有非常复杂的问题需要解决，如选择筑巢地点便是一个关乎蜂群生死的决定。为解决这一问题，蜜蜂通过组建蜂群形成群体智能进行决策。同样的故事也发生在蚁群、鸟群及鱼群中，它们的群体智能大于个体。个体的蜜蜂通过群体智能就产生了如此明显的智力提升，人类作为更有智慧的生物，如果有一种技术和机制使人类联合在一起形成群体智能，那将是一种巨大的智慧能量。互联网的诞生使这个梦想得以实现。

　　2019年7月出版的《崛起的超级智能》一书提出，在过去的50年里，互联网正在从网状的信息高速公路进化成为类脑的超级智能系统。在经过1969年互联网的诞生、1974年TCP/IP协议、1989年万维网等基础的奠定后，互联网开始加速向与大脑高度相似的方向发育。

　　2004年社交网络为代表的类脑神经元网络，2005年云计算为代表的类中枢神经系统，2009年物联网为代表的类感觉神经系统，2012年工业互联网、工业4.0为代表的类运动神经系统，2013年大数据，2015年人工智能为代表的智能驱动力，到2018年阿里大脑、腾讯大脑、360安全大脑、滴滴交通大脑等不断涌现，连同之前的谷歌大脑、百度大脑、讯飞超脑，到2019年，互联网大脑的雏形已越来越清晰。

　　经过50年的发展，特别是在21世纪，数十亿人类群体智慧与数百亿设备的机器智能通过互联网大脑结构联合形成自然界前所未有的智能形式，这个新智能形式即之前提到的新超级智能。其中，人类群体智慧以云群体智能的形式成为了互联网的“右大脑”，设备的机器智能以云机器智能的形式形成了互联网“左大脑”。

　　人类社会中，科技和产业正在从人工智能时代迈向超级智能时代，互联网大脑模型的形成和超级智能的兴起，将对人类社会、产业、科技、文化产生重大影响。

　　在行业产业方面，互联网大脑架构与工业、农业、航空、交通、建筑、冶金、电力等行业的结合，形成了诸如工业大脑、农业大脑、航空大脑、建筑大脑、冶金大脑、电力大脑等。

　　在科技企业方面，世界范围内的科技巨头为适应互联网新出现的类脑结构，不断将自己的核心业务与互联网大脑结合。谷歌依托搜索引擎带来的大数据提出谷歌大脑、科大讯飞依托语音识别技术提出讯飞超脑、360依托安全业务提出360安全大脑、腾讯依托社交网络应用提出腾讯超级大脑、阿里巴巴依托企业级服务提出阿里ET大脑、华为依托通信领域的优势地位提出华为EI智能体，等等。

　　在学术领域，各种科技、人文、哲学“大脑”也不断涌现。1964年，麦克卢汉从媒介的角度提出了“社会神经网络”。1983年，英国哲学家彼得·罗素提出了全球脑或地球脑。21世纪，互联网大脑模型的研究也产生了更多的“大脑”系统，例如，与智慧城市结合产生城市大脑、城市云脑、城市神经网络；与人类社会这个概念结合产生了智慧社会、社会大脑；等等。预测互联网大脑的未来趋势，未来或许还会产生宇宙大脑、智慧宇宙等。

　　互联网大脑的形成和超级智能的崛起，对21世纪人类的社会结构、经济形态、科技创新、哲学思考都产生了重大而深远的影响。在超级智能崛起、人类即将进入新的超级智能时代之际，我们提出新超级智能的定义如下：数十亿人类群体智慧与数百亿设备的机器智能通过互联网大脑结构联合，形成自然界前所未有的新智能形式，即新超级智能。

　　（作者单位：中国科学院虚拟经济与数据科学研究中心）

责任编辑：张晶

热点文章

《习近平著作选读》第一卷、第二卷民族文版出版发行

习近平对防汛救灾工作作出重要指示

扎实推动经济高质量发展——以习近平同志为核心的党中央今年以来引领中国经济持续恢复、稳中求进述评

习近平向中巴经济走廊启动十周年庆祝活动致贺信

学部主席团

职能部门

机关党委

直属事业单位

直属企业

代管单位

文哲学部

历史学部

经济学部

社会政法学部

国际研究学部

马克思主义研究学部

学部主席团

办公厅

科研局（学部工作局）

人事教育局

国际合作局（港澳台办公室）

财务基建管理局

离退休干部局

机关党委（党组巡视工作领导小组办公室）

中国社会科学院大学（中国社会科学院研究生院）

图书馆（调查与数据信息中心）

中国社会科学杂志社

服务中心

文化发展促进中心

中国社会科学出版社

社会科学文献出版社

中国人文科学发展公司（中国经济技术研究咨询有限公司）

中国地方志指导小组办公室（国家方志馆，辖方志出版社）

文学研究所

民族文学研究所

外国文学研究所

语言研究所

哲学研究所

世界宗教研究所

中国历史研究院（院部）

考古研究所

古代史研究所

（郭沫若纪念馆）

近代史研究所

世界历史研究所

中国边疆研究所

历史理论研究所

台湾研究所

经济研究所

工业经济研究所

农村发展研究所

财经战略研究院

金融研究所

数量经济与技术经济研究所

人口与劳动经济研究所

生态文明研究所

法学研究所

国际法研究所

政治学研究所

民族学与人类学研究所

社会学研究所

社会发展战略研究院

新闻与传播研究所

世界经济与政治研究所

俄罗斯东欧中亚研究所

欧洲研究所

西亚非洲研究所

（中国非洲研究院）

拉丁美洲研究所

亚太与全球战略研究院

美国研究所

日本研究所

和平发展研究所

马克思主义研究院

当代中国研究所

信息情报研究院

中国社会科学评价研究院

（哲学社会科学科研诚信网）

关于我们

联系我们

招聘启事

网站纠错

院部总机：010-85195999地址：中国北京建国门内大街5号邮编:100732

超级智能：路线图、危险性与应对策略-中华读书报-光明网

首页English

您想去哪里？

光明图片

我要投稿

时政

国际

时评

理论

文化

科技

教育

经济

生活

法治

军事

卫生

养生

女人

文娱

电视

图片

游戏

光明报系

更多>>

17版:电脑书城

上一版下一版

报纸

杂志

中华读书报

2015年04月08日星期三

< 上一期下一期 >往期回顾数字报检索返回目录

超级智能：路线图、危险性与应对策略

匿铭

《

中华读书报

》（

2015年04月08日

版）

《超级智能：路线图、危险性与应对策略》，[英]尼克·波斯特洛姆著，张体伟、张玉青译，中信出版社2015年2月，49.00元

牛津大学人类未来研究院的院长尼克·波斯特洛姆的担忧是：“如果机器比人类聪明，那么我们将不再是这个星球的主宰。”人类的发展到了一个需要“干预”的时刻。真正令人关注的是人工智能使用者的道德，而非机器本身。心理学上有一个词语叫做“危机干预”，指的是当人遇见突发且巨大的创伤性事件时，原来惯有的应对模式都起不了作用了，人的情绪和行为会出现失控，而危机干预就是借用心理咨询师这个外力的辅助来帮助个体回到或建立新的内心秩序。其实，不光是我们的内心会出现需要危机干预的时候，人类的发展也到了一个需要“干预”的时刻。心理学描述人和动物的差别，说的是我们有情绪，有情感，会思考，会利用工具来创造。正因为自然赋予我们这样的大脑，我们才能完成许多事情。我们不是这个星球上速度最快的生物，但我们发明了汽车、火车和飞机；我们虽然不是最强壮的，但我们发明了推土机；我们的牙齿不是最锋利的，但我们可以发明比任何动物的牙齿更坚硬的刀具；我们之所以能控制地球，是因为我们的大脑比即使最聪明的动物的大脑都要复杂得多。而牛津大学人类未来研究院的院长尼克·波斯特洛姆却对人类目前这个现状提出了担忧，他说“如果机器比人类聪明，那么我们将不再是这个星球的主宰。当这一切发生的时候，机器的运转将超越人类”。他将这样的讨论放在一本书里，《超级智能：路线图、危险性与应对策略》，将来人与计算机竞争，人还会是赢家吗？这本书讨论的是我们这个时代的优先事项。尼克先生有一个担忧，人类之所以领先于其他物种，是因为我们的大脑拥有其他动物不具备的功能，然而，我们创造出来机器，创造出了人工智能，如果这种人工智能有一天超越了人类的智力，那么我们的命运会不会被它操控，正如动物里最聪明的大猩猩最后被人类掌控命运一样？在泛滥的美剧市场里，有一部电视剧叫做《疑犯追踪》。这部电视剧虚拟出一个“超级BOSS”——一个政府建造出来的掌握最多信息、非常庞大的人工智能。这个机器最开始是用来阻止犯罪的，然而有一天它被病毒感染了，本来保护人类的目标被更改，变成对人类有巨大威胁的智能武器（注意，它的定义依然还是武器）。娱乐市场永远是跟随大众主流，对人工智能的担忧早已在各种文艺/娱乐作品中出现多年，专家们对此的讨论一直没有停息过。而《超级智能》的尼克先生将目光集中在哪里呢？他集中在人类具有的一项优势上：我们清楚地知道如何制造超级智能机器。原则上，我们能够制造一种保护人类价值的超级智能。他认为我们占有先机，虽然我们还不能预测出超级智能会对人类造成怎样具体的影响，这会影响我们的判断，如何控制超级智能的问题，“一旦不友好的超级智能出现，它就会阻止我们将其替换或者更改其偏好设置，而我们的命运就因此被锁定了”。也有另外的声音反对这样的担忧，认为所谓“人工智能危及人类”，这种担心为时尚早。比如刚刚结束的博鳌亚洲论坛分论坛上，五位世界顶尖人工智能研究者均持谨慎乐观态度，虽然已议论了几年，但“没有任何证据证明计算模式能够产生情感”。几位研究者的论点比较类似：“人工智能对于人类社会可以有很大贡献，没必要刻意强调带来的一些风险，因为人工智能刚刚处于起步发展阶段，远不够先进。”简单来说，目前的人工智能还非常弱小，目前我们看到的人工智能只是嵌入式的人工智能，就是有一些算法可以模拟人脑部分的功能，比如对于语言、翻译，还有对于语音、图像的识别，这些都是非常基础性的。而要让机器能够自主决策，需要有更深层的研究，了解人脑的构造。甚至，我们还没有进入人工智能的时代，我们仅仅是在人机交互的初期，现在所谓的机器人“意识”，其实都是基于大数据基础上的分析预判，是通过各种复杂体系和算法后得出的最合理选择。而真正令他们关注的人工智能使用者的道德，而非机器本身。不管怎么说，早一点了解这样的趋势将对可能面临的危险带来帮助，尼克先生的书里搜集罗列了大量的证据，值得一读，推荐给关注人工智能的朋友。

返回目录放大缩小全文复制

光明日报

光明日报(1985.01 - 2009.12)

中华读书报

中华读书报(1998.01 - 2010.08)

文摘报

文摘报(1998.01 - 2010.08)

出版社

考试

博览群书

博览群书(1998.01-2009.08)

书摘

书摘(1998.01-2009.08)

日

一

二

三

四

五

六

关闭

OpenAI最新动向：成立新团队，押注超级智能，倾斜20%计算资源_澎湃号·湃客_澎湃新闻-The Paper

AI最新动向：成立新团队，押注超级智能，倾斜20%计算资源_澎湃号·湃客_澎湃新闻-The Paper下载客户端登录无障碍+1OpenAI最新动向：成立新团队，押注超级智能，倾斜20%计算资源2023-07-07 13:46来源：澎湃新闻·澎湃号·湃客字号你还在感叹生成式AI 带来的革命性改变？感叹 GPT-4 的强大？还在猜测 GPT-5 会有哪些新功能？OpenAI 已经看到了更远的地方，而且已经在行动。OpenAI团队昨天发布了他们的最新动向，成立了一个新团队 Superalignment，由 Ilya Sutskever（OpenAI 联合创始人兼首席科学家）和 Jan Leike（对齐负责人）共同领导。这是一个关于超级智能（Superintelligence）的团队，专注于超级智能对齐问题研究。OpenAI 声称将在未来四年内将 20% 的计算资源用于解决超级智能对齐问题，足以见得 OpenAI 的重视程度。什么是超级智能（Superintelligence）？超级智能是指一种拥有超越人类智能的智能系统，它不仅仅是简单的计算机程序，而是一个智能体，具有认知能力、情感能力、自我意识和意图等特征，能够独立思考、判断和决策，甚至在一定程度上能够超越人类的智能。超级智能的概念是相对于目前的人工智能系统而言的，它是指一种更加先进的人工智能，能够在更广泛的领域和复杂环境中应用。目前，超级智能仍然是一个理论上的概念，尚未被实现。实现超级智能需要解决许多技术上的问题，包括机器学习、自然语言处理、计算机视觉、推理和决策等方面的挑战。另外，超级智能的出现也会带来许多伦理、社会和政治等方面的问题，如超级智能的控制权、安全和隐私等问题。超级智能是一种令人兴奋和引人注目的概念，因为它能够在各个领域产生各种重要的应用，比如医疗诊断、新药研发、智能交通、自动化生产和安全防御等。同时，超级智能也具备一些风险和挑战，如果失去控制，可能会对人类带来巨大的威胁。实现超级智能需要解决许多技术上的问题。其中最重要的问题之一是如何让智能系统拥有自主学习的能力，即不断从数据和经验中学习新知识和技能，从而不断提高自己的智能水平。同时，超级智能还需要具备强大的推理、决策和创新能力，能够自主思考和解决各种复杂问题。“当我们接近超级智能时”，我们需要更多地考虑人工智能的存在风险。——扎克伯格超级智能将在十年内成为现实？至少 OpenAI 如此认为OpenAI认为，超级智能将是人类发明的最具影响力的技术，可以帮助我们解决世界上许多最重要的问题。但超级智能的巨大力量也可能非常危险，并可能导致人类丧失权力，甚至导致人类灭绝。虽然超级智能现在看来还很遥远，但我们相信它可能在十年内实现。如何解决超级智能存在的风险？超级智能虽然能量巨大，但风险同样巨大。OpenAI表示，管理这些风险将需要新的治理机构并解决超级智能协调的问题，即如何确保人工智能系统比人类聪明得多但同时还能遵循人类意图？OpenAI并没有给出答案，他们认为人类目前无法可靠地监督那些比人类还聪明的人工智能系统，当前的对齐技术无法扩展到超级智能，因此需要寻求新的科学技术突破。不过，OpenAI解决超级智能对齐问题的路径已经很明确，即建立一个大致达到人类水平的自动对齐研究员，提高人工智能系统从人类反馈中学习并协助人类评估人工智能的能力。目标是建立一个足够对齐的人工智能系统，可以帮助我们解决所有其他对齐问题。在去年，OpenAI 已经发布一篇阐明他们关于对齐研究路线的博文：https://openai.com/blog/our-approach-to-alignment-researchOpenAI 的新团队 Superalignment这个团队将由顶尖机器学习研究人员和工程师组成的团队，目标是在四年内解决超级智能对齐的核心技术挑战，包括开发新方法到扩大规模再到部署。OpenAI首席科学家 Ilya Sutskever已经将超级智能对齐问题作为核心研究重点。超级智能对齐从根本上来说是一个机器学习问题，OpenAI 正在招募优秀的机器学习专家。参考资料：https://openai.com/blog/introducing-superalignment特别声明本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问http://renzheng.thepaper.cn。+1收藏我要举报#OpenAI#AIGC查看更多查看更多开始答题扫码下载澎湃新闻客户端Android版iPhone版iPad版关于澎湃加入澎湃联系我们广告合作法律声明隐私政策澎湃矩阵澎湃新闻微博澎湃新闻公众号澎湃新闻抖音号IP SHANGHAISIXTH TONE新闻报料报料热线: 021-962866报料邮箱: news@thepaper.cn沪ICP备14003370号沪公网安备31010602000299号互联网新闻信息服务许可证：31120170006增值电信业务经营许可证：沪B2-2017116© 2014-2024 上海东方报业有限公

im钱包官方下载 数字资产服务平台

imtoken钱包下载安卓版|超级智能

超级智能 (豆瓣)

尼克·博斯特罗姆：超级智能和人工智能的未来｜CyberDaily_腾讯新闻

万字长文解析AI革命：超智能之路，永生，亦或是灭亡（Part I） - 知乎

超人工智能 - MBA智库百科

有没有人读过Nick Bostrom的超级智能（Superintelligence）一书？ - 知乎

OpenAI 预测七年内超级 AI 将问世，并宣布「20% 算力用来解决失控问题」，哪些信息值得关注？ - 知乎

如何评价 AI 教父 Hinton 演讲提到「如何控制比人类还聪明的超级智能，是一场前所未有的挑战」？ - 知乎

一种新超级智能的崛起

超级智能：路线图、危险性与应对策略-中华读书报-光明网

OpenAI最新动向：成立新团队，押注超级智能，倾斜20%计算资源_澎湃号·湃客_澎湃新闻-The Paper

im钱包官方下载
数字资产服务平台