LLM 的基本原理（拓展阅读）

大模型是一个超大规模的「下一个词预测器」。

它先读了海量文本，学会了「接下来最可能出现什么」，然后你每次跟它聊天，它都在一个词一个词地往下猜。

一、大模型 = 超大规模的「下一个词预测器」

大家肯定用过手机输入法的联想功能。打出「今天天气」，候选栏里会出现「很好」「不错」「怎么样」。

输入法并不知道今天的天气怎么样，它只是见过很多句子，知道「今天天气」后面经常跟着这几个词。

大模型做的是同一件事，只是规模大了几万倍。 输入法大多只看前面几个字，大模型能看前面几万甚至几十万个字；输入法背后是一个小词库，大模型背后是几千亿个参数。

它输出的不是一个词，而是一张概率表，我们给模型输入：

中国的首都是

模型内部算出来的其实是这样一张表（数字是示意）：

然后从这张表里挑一个词输出。多数情况下挑概率最高的，但也不一定每次都挑最高的（后面会讲原因）。