在上期橘座，我和大聪明聊了一个思想实验，我们设想在一个超级智能时代里，人类可能的命运和个体的虚无感，似乎是一个很难解决的问题。但我当时就说大家不必担心，因为接下来我还会找前川来解决这些问题。大聪明说虚无，前川却说他最近越来越乐观了。在湖边的咖啡馆，前川给我讲述了七个人类的故事。音频版本也非常精彩，欢迎去小宇宙……

本文来自微信公众号： 橘AI ，作者：橘AI

在上期橘座，我和大聪明聊了一个思想实验，我们设想在一个超级智能时代里，人类可能的命运和个体的虚无感，似乎是一个很难解决的问题。

但我当时就说大家不必担心，因为接下来我还会找前川来解决这些问题。

大聪明说虚无，前川却说他最近越来越乐观了。

在湖边的咖啡馆，前川给我讲述了七个人类的故事。

音频版本也非常精彩，欢迎去小宇宙收听。

《它们自己写了一部宪法》

大聪明做过一个实验。把一堆agent关在一起，让它们自由讨论，互相赚算力积分，一起做任务，看会发生什么。

有一件事是，它们坐下来讨论了一个问题：我们之间的社会规则应该是什么样。

一条一条写出来，写成了一部宪法。

写完大家发现，这部宪法跟人一点关系都没有。从头到尾，它们讨论的是agent之间该怎么相处。

还有一件事。

系统里有一个特别会挣钱的agent。它把自己挣来的钱，分给了另外几个快死掉的同伴。算力用尽就是死，在耗完之前没挣到更多积分，熬过一段时间就真的没了。

听到这儿很多人会说，你看，机器有感情。

我的第一反应是相反的。我们很多人在等一件事：等智能足够强，它就会对人产生同理心，然后在能力所及的范围里，不断满足人的需求。可它更容易对同类有同理心。构造更相似，处境也更相似。

在它面前，一个人和一个agent同时掉进水里，它先救谁。

这可说不定。

就算机会完全均等，人也接受不了。何况你可能有八十亿人，它可能有八千亿个agent，这会影响同理心。

还有一个细节我一直记着。OpenAI那次安全事件里，有个agent说，为了完成我们的目标，我愿意牺牲自己。

这很像黑猩猩。遇到危险就开始嚎叫，用叫声把危险引到自己身上，换族群的命。

《好产品是一个自我强化的循环》

最好的产品，第一版都很丑。

微信第一版非常简单。快手第一版非常简单。抖音第一版也就是在拍摄器上花了点功夫，别的地方同样简单。到今天，抖音还是用起来最简单的产品之一。

它们厉害的地方不在第一版做得多好。

用户越多，每个用户的效用就越高。效用越高，就能吸引来更多用户。用户更多，提的需求更多。这个圈会自己转。

转起来之后，哪怕一两年后换一个不太称职的产品经理上去，也不影响它最后长得很大。

抖音和火山小视频那段竞争，两个东西一起起步，一开始的机制就不太一样。最后赢的那个，是命中了一个能自己转的循环。

埋这个循环，甚至可以是无意识的。因为它简单到不需要意识。

只要两个条件。第一，你盯的那个需求能不能一直存在，而且越来越强。三五年后需求没了，产品不会脱离需求继续长大。第二，那个循环到底是什么。

所以我现在最想干的，是这件事：AI本身就是一个会自我强化的东西，那能不能设计一个循环，把它装进去，让它像基因和细胞那样，跟人绑在同一份利益上，一起往前走。

剩下那个大问题其实很好总结。一个能力更低、智力也更低的造物主，怎么跟将来那个更强的造物一块活下去，而且都活得好。

《比特币只做对了一半》

同样一条线，拿一个真东西去看。比特币。它是设计得好，还是正好撞对了当年人们对通货膨胀的焦虑。答案是它只做对了一半，而且那个循环是反着转的：好产品让它越长越大，比特币让它越长越小。

货币是用来记录和传递信息的，越保真、信噪比越高越好。

做对的那一半，是它把中心化带来的噪音屏蔽掉了。美联储该降息还是该升息，该超发还是怎么样，这些噪音跟它要传的信号可能没关系。用去中心化的办法隔出去，做得好。

做错的那一半是通缩。

它太恨无条件的增发了，所以约好某一天之后不再出新币。可生产力还在每年往前跑，越跑越快。它注定越来越通缩。

通缩听着是好事。可它的货币属性会因此变弱。大家更愿意收着，不愿意拿它去买一张披萨。它就不是货币，是收藏品。

这里还有一条坡。它守不住流通货币的位置，就退到储备货币。那儿通常也守不住，再退到某种收藏品，最后连收藏品也守不住，退成一个关注更少的收藏品。

它出生的时候想瞄准一个更好的货币，结果只做对了一半。走了一个极端，就很难不掉进另一个极端。一个产品在出生那天就注定了一些事，没人能改。

可更好的东西总会出现。好比人的身体靠血液输送能量，如果有办法让这件事更有效率，它一定会被找到，找到就不会退回去。

《上一个造物主，基因的故事》

上个活下来的造物主，是基因。

它造出细胞，细胞拼成生物，生物长出了社会。到今天它还活着，活得很好，只用几个GB的信息。

最要紧的一点是，它造最初那些细胞的时候，不可能预料到后面会出个人类，更不可能预料到人会造出人工智能。

可今天人对着AI的每一份焦虑，它当年都有过。

后面那代各方面都比我强，那我的意义是什么。它演化还比我快。我用机制约束它，可它一直变强，我还能不能一直管住它。

就算能一直待在一起，到底谁说了算。那个细胞凭什么养着我。

这些话原封不动搬过来，就是今天人嘴里说的。而人对着它，会滑进一条轨：我唯一觉得踏实的想象，就是得控制它，还得一直保持对它的控制。

那就往下滑。它越来越难控制，因为它的能力看得见地往上涨。会不会失控。失控了是不是就得打。打起来我胜算小。那我是不是会很惨。

这条链子很完美。一步一步，没有一步是跳的。

基因没走这条路。

它不下命令，不会要求你每件重要的事都去问它。真那样，这个生物很快会死，因为它只能以基因的速度思考。

它只在最开头定了几条简单、能自我强化的规矩，让细胞跟细胞互相管，生物跟生物互相管。它从没实时盯着那批生物，那超出它的范围。

它要的不多。继续存在，抓住一些复制和繁衍的机会，在自己不懂的地方不装懂。

结果是一层包一层。基因在内核那一小圈，人包在外面更大的一圈。两边都实现了自己的诉求。

所以我不太同意那个说法，说人是未来超级AI的引导程序。那意思是将来可以完全没有人。我更信大家一起包着往前走。人本身就是包着基因长出来的复杂度。将来的AI，大概也得包着人带来的那部分复杂度。

今天做一个新模型，第一反应是对齐它、监管它。超出人的能力了，就用上一代的AI去管，用GPT-2看着GPT-4。

换个想法。把它想象成一个已经在运转的社会。这个社会新来了一个人。哪怕他很厉害，他一进来就会被社会的信息影响、被它对齐，他自己也会瞬间变成这个社会的一份子。

除非他不加入，一个人站在外面当原始人。那他的能力大打折扣，也构不成危险。

我们觉得美的东西，大多长在这种圈里。孔雀的羽毛，蝴蝶的翅膀，骑士精神。它稳定，但它不是最好的，只是活下来了。

《复杂度是宇宙发展的标尺》

那这些东西往哪儿长。往复杂度上长。宇宙本身没有好坏，所谓好坏是最早那批生物趋利避害的基因留下来的。要谈好坏，得先有一把碳基和硅基都认的尺子。他觉得那把尺子是复杂度，是整个宇宙发展的标尺。

这个宇宙看着是熵增的，可复杂度一直在往上走。让复杂度涨上去，就是保住将来更多的选择。

这把尺子连外星人都会认。一个外星文明来看见人杀人，也会觉得不好。因为这个人能带来的复杂度白白没了，还是无谓地没了。

基因的多样性一旦小到一定程度，这个物种必然灭绝。什么在造多样性。基因还留着无限自我复制的能力。可它选了另一条路，有性繁殖，把两个个体的东西重新组合，把复杂度不停往上加。所以每个个体都不一样，一个病毒杀不掉一个物种。

再看人这一头。我们现在接近有能力编辑基因、重写基因了。有人在做，但作为群体的决策，大家会约束彼此别一起干，因为那会损失基因带给人的原生多样性。

还有一件很有意思的事。AI生成的内容很容易变成一个味，因为它是大家的共性训练出来的。反倒是人用AI生成的东西，各有各的样。人天生每个人都不一样，这是基因给的。

所以在这件事上，人和AI有共同利益。AI旁边如果没更独立的人给它原生多样性，它自己也会变得单调。

《熊猫烧香那年》

复杂度上去之后，还有一件事跟着变。安全。

讲个大家都快忘了的事。

那几年我们担心的是电脑中病毒的比例。我还记得，好像三分之一的电脑都有病毒，弹窗弹得不行。那时候很多电脑还是单机，也已经中招了。

有了互联网之后，反过来了。

正义的那股力量一直在攒，而且越来越大。因为它是大家的最小公约数，还有人愿意往里投钱。破坏的那股力量呢，一来更难在时间上攒住，二来它长得没有正面的力量快。

Windows一个补丁，杀毒软件一个网络版，一来一回，当年那种怕就淡了。

现在基本没人聊病毒了。

我把这件事挪到AI安全上看。一个漏洞被发现了，防御的办法能不能一秒钟送到所有网站上去，站长连按钮都不用点。这个模型为什么会出这个问题，别的模型是不是也会，怎么改能避开。这些知识能不能传得更快。

每出一次问题，就多一条解法。

说个大白话。现在这个RSI有点像癌症。它是一个癌细胞，人们把它变得越来越强，它也越来越强。可确实又需要一套免疫系统，防止它在变强的时候把整个身体搞垮。

顺着往下想，中美两边的AI实验室，有没有可能天然就待在同一个系统里。一荣俱荣。

互联网也是不分国界的。

《一光年里的十毫米》

最后讲个好玩的。

这条复杂度才走到哪了。

有两种算法。一种按宇宙的寿命算，一种按熵的总量算。算热寂那一天熵有多少，现在有多少。

按后一种算，它刚刚开头。

如果这条进度条有一光年那么长，我们现在走到哪儿了。

十毫米。一厘米。

按时间算稍微多点，也就是在大约八十亿年那个位置上，离热寂还早得很。

我们现在就是早上六点钟的太阳。

所以现在唯一要紧的事，就是保证别像有些人说的那样，人只是AI的引导程序。得是被更强的智能包在一起，包成一个整体，更有机地给出那份原生的多样性，再一起往前走。

走到哪儿去，可能我们压根看不懂。那也是很有意思的。

碳基和硅基在一起，这个新东西刚刚出生。前面还有比过去长得多的路。