大模型能力的'涌现'现象解析

作为程序员，我们习惯了确定性和可复现性，因此很难真正理解这个'涌现'的概念，感觉总是模糊不清。

有谁能解释一下什么是'涌现'吗？这种能力是如何产生的？

我查阅了一些相关文章，但始终没有完全理解这个现象。

我理解的'涌现'就是人类尚未发现的文本统计学关联。从表面看，LLM像是'自我觉醒'，突破了统计学的历史过拟合。比如阿尔法狗，作为纯机器学习算法，理论上不应超越学习资料范围，但与李世石对弈时却出了许多怪招，让李世石毫无办法。

用小学生能理解的话说，就是训练样本足够多，量变引起质变。

可能不太准确，但可以这样想象：当训练数据量足够大，模型内部会自动形成包含大部分人类知识和习惯的结构。任何问题对模型来说都不是完全陌生的，提问时模型能像信手拈来一样从结构中提取答案，这就是涌现。

单个水分子不'湿'，但大量水分子组成'水'就涌现出'湿'的特性。

复杂神经网络在宏观上表现出推理、语言理解、抽象等能力。

不建议在X站讨论AI日常使用以外的AI话题。你去问gemini都比问X友靠谱。

人脑就是涌现的典型案例。按照还原论，人脑也是一对原子的聚合物，每个原子的性质无外乎原子核电子等，但是无数原子聚合在一起，显示出单一原子从来没有的性质“意识”。意识就是大脑这个原子聚合物的涌现出来的性质。

涌现最初定义是指大模型在扩展规模后，出现了训练中从未处理过的任务能力，所以被称为'涌现能力'或'智能'。

量变引起质变。

处理某项任务的能力，未训练过但推理时存在。我一直好奇，有没有具体例子？处理什么任务的能力？如何确保预训练集+后训练集不存在此类任务？

这本来就是很难的哲学问题，请阅读 https://iep.utm.edu/emergence/
https://plato.stanford.edu/entries/properties-emergent/

涌现 yǒngxin
(1)在同一时期大量出现[事物或人]
(2)突然出现
https://zd.hwxnet.com/search/hwxE6hwxB6hwx8C.html

论文，请 https://arxiv.org/abs/2206.07682

涌现的概率就是朝着人类期望方向出现的概率。

你说的太对了。论坛确实只适合吹牛逼，大部分讨论起来都是漏洞百出。

涌现本来也没什么确切的根因，它只是一种现象。

AI 炼丹师在训练大模型的时候，发现参数小的时候，训练 loss 怎么都下不去，模型学不到东西。但是当参数大到一定程度的时候，突然就能学会了，loss 急剧下降。

具体什么原因都是一些猜测分析，比如彩票假说，当你模型参数量大到一定程度的时候，内部存在多种结构，就像多张彩票，总有一张是能中奖的，也就是 loss 沿着这个计算路径能够下降。这只是其中一种，但是也有很多反对的意见。

总的来说就是，直接带着问题问 AI 就行了，比在论坛瞎吹牛逼靠谱多了。

结构 + 算法 + 量变 -> 质变()。

量变引起质变。

'涌现'本质上是大量微观单元通过相互关联而自然形成的宏观功能,可能反映了数学在微观与宏观关系中的映射作用,个人理解如此。

当你经常看美剧和外国旅行博主视频，某天突然发现没有字幕也能理解内容了。

就像生活几十年，被问大学学了什么或去年经历了什么，可能一时答不上来。但让你讲某件事，却能说得头头是道。学过的知识顺着思维流到嘴边，自然涌现成语言。

这不就是读书百遍其义自见的感觉吗...。

这个词最初是在游戏设计中接触到的,即'涌现式设计'：构建几个简单的底层规则或系统相互交织、作用,在宏观层面上演化出开发者并未直接编写、却自然而然产生的新特性、新行为或新体验。 更通俗地说,就是要设计可能性与规则的框架,而不是预设结局与体验。这样玩家就能创造出连开发者都惊叹的游戏体验。 举个例子：游戏中的'点燃',传统设计会让怪物具备'点燃'特性来造成伤害,但塞尔达系列将'点燃'作为基础物理规则,即可以通过火焰点燃所有物品,进而产生'热量',结合'风力'系统,就出现了'上升气流'等效果。利用这个简单而合理的物理框架,能衍生出许多意想不到的游戏机制。

好古老的术语啊。我的理解是：模型玩文字接龙越来越熟练（单纯模型变大就变强了）。然后突然表现出有'智能'的感觉（关键是没人能准确定义什么是智能，看起来像是因能接更长内容，捕获了文字统计关系，建立了概念连接；最重要的是，随着连接的概念增多，链条变长，表现开始接近人类）

生物、动物, 那么多细胞的结合、协作也是涌现吧.。

涌现也会进化。解决一个问题需要5个知识，掌握4个就无法实现。所以古代小学生就能涌现，现代需要大学生，未来则要依靠AI。

类似蚂蚁和蜜蜂，个体智能有限，但群体协作却能展现出集体智慧。

：这只是基础的数学运算，函数拟合和预测，很合理（换个架构） ：居然能预测下一个字的概率，不过是统计规律罢了（加了些参数） ：天呐怎么这么聪明了，原理说不清了，这就是'涌现。

人学知识开窍了,你觉得人从小到大学进脑子的到底是什么。