大模型的涌现能力解析

作为程序员，我们习惯了确定性和可复现性，因此对于大模型中的'涌现'现象总是难以完全理解，感觉说不清道不明。

有谁能解释一下什么是'涌现'吗？这种能力究竟是如何产生的？

我查阅了一些相关文章，但始终没有彻底搞明白这个概念。

我理解的'涌现'就是人类尚未发现的文本统计学关联。从表面看，LLM像是'自我觉醒'，突破了统计学的历史过拟合。比如阿尔法狗，作为纯机器学习算法，理论上不应突破学习资料的局限，但在与李世石的对弈中，它却使出各种怪招，让李世石难以应对。

用小学生能理解的话说，就是训练样本足够多时，量变引起质变。

可能不够准确，但可以想象：当训练数据量达到一定程度，模型内部会自动形成包含大部分人类知识和习惯的结构。面对问题时，模型能像信手拈来一样从结构中提取所需答案，这就是涌现。

涌现最初指的是大模型在规模扩展后，出现了训练中从未处理过的任务能力，因此被称为'涌现能力'或'智能'。

复杂的神经网络在宏观上表现出推理、语言理解和抽象等能力。

单个水分子并不'湿'，但大量水分子组成'水'就涌现出'湿'的特性。

处理未训练过的任务能力在推理时存在。我一直好奇，有没有具体例子？处理什么任务的能力？如何确保预训练集和后训练集中不存在此类任务？

人脑就是涌现的典型案例。按照还原论，人脑也是一对原子的聚合物，每个原子的性质无外乎原子核电子等，但是无数原子聚合在一起，显示出单一原子从来没有的性质“意识”。意识就是大脑这个原子聚合物的涌现出来的性质。

你说的太对了。论坛确实只适合吹牛逼，大部分讨论起来都是漏洞百出。

涌现本来也没什么确切的根因，它只是一种现象。

AI 炼丹师在训练大模型的时候，发现参数小的时候，训练 loss 怎么都下不去，模型学不到东西。但是当参数大到一定程度的时候，突然就能学会了，loss 急剧下降。

具体什么原因都是一些猜测分析，比如彩票假说，当你模型参数量大到一定程度的时候，内部存在多种结构，就像多张彩票，总有一张是能中奖的，也就是 loss 沿着这个计算路径能够下降。这只是其中一种，但是也有很多反对的意见。

总的来说就是，直接带着问题问 AI 就行了，比在论坛瞎吹牛逼靠谱多了。

不建议在X站讨论AI日常使用以外的AI话题。去问gemini都比问X友更靠谱。

量变引起质变。

论文，请 https://arxiv.org/abs/2206.07682

这本来就是很难的哲学问题，请阅读 https://iep.utm.edu/emergence/
https://plato.stanford.edu/entries/properties-emergent/

涌现 yǒngxin
(1)在同一时期大量出现[事物或人]
(2)突然出现
https://zd.hwxnet.com/search/hwxE6hwxB6hwx8C.html