大语言模型（LLM）入门：从矩阵计算到智能体

简单来说，LLM 可以看成一个非常强大的"语言预测系统"：它根据已经输入的内容，预测接下来最可能出现的内容，并通过不断重复这个过程生成完整回答。

目前常见的大语言模型包括 GPT、Claude、Gemini、Qwen、DeepSeek、Llama 等。

一、LLM 的本质

LLM 本质上是通过 海量数据 + 神经网络（Transformer 架构）+ GPU 集群 + 梯度下降 训练出来的。

核心思路只有一句话：不断让模型"猜下一个 Token"，猜错了就调整内部参数，重复海量次数。

目前几乎所有主流 LLM 都基于 Transformer 架构。它的关键机制是 自注意力（Self-Attention）：在处理每个 Token 时，模型会计算它与上下文中其他 Token 的相关程度，从而决定"应该重点参考哪些内容"。这正是 LLM 能理解长句、指代和上下文关系的基础。

二、从文本到向量：Token 与 Embedding

1. Token：模型处理文本的基本单位

模型并不直接读取文字，而是先用 分词器（Tokenizer） 把文本切分成 Token。

需要注意的是，Token 通常 不是按字符切分，而是按 子词（Subword） 切分（常见算法如 BPE）：

• 英文中，常见单词往往是 1 个 Token，生僻词会被拆成几段；
• 中文中，一个常用字或常用词可能是 1 个 Token，也可能被拆成多个 Token；
• 每个 Token 都对应词表中的一个编号，即 Token ID。现代模型的词表通常有十几万个 Token。

2. Embedding：把 Token ID 变成高维向量

在现实世界中，空间中的一个点通常用三个维度 (x, y, z) 表示。

在 LLM 中，每个 Token 会被表示成一个 固定长度的高维向量。例如某个模型的隐藏维度是 4096，那么每个 Token 就是一个 4096 维的向量。

这一步由 Embedding 矩阵 完成：

• Embedding 矩阵的形状是 词表大小 × 隐藏维度（例如 128000 × 4096）；
• 每个 Token ID 对应矩阵中的一行，"查表"取出这一行，就得到该 Token 的向量；
• 这个矩阵本身也是训练出来的参数。训练之后，语义相近的 Token 在高维空间中的位置也会相近。

例如一句话被拆成 100 个 Token，模型隐藏维度为 4096，那么这句话在模型内部就表示成一个 100 × 4096 的矩阵。此外，模型还会通过位置编码（如 RoPE）注入"每个 Token 在第几个位置"的信息。

Embedding 是从矩阵角度理解 LLM 的真正入口：从这里开始，语言就变成了可以计算的数字。

三、LLM 的训练过程

1. 预训练（Pre-training）

这个 100 × 4096 的矩阵随后会经过 Transformer 中数十到上百层的矩阵运算（注意力计算 + 前馈网络），不断产生新的高维表示。

模型根据最终的计算结果，给出词表中每个 Token 作为"下一个 Token"的概率。如果预测结果与训练数据中的真实下一个 Token 不同，就计算误差 Loss（通常是交叉熵），然后通过 反向传播 计算每个参数应该如何调整，再用 梯度下降 更新参数。

经过数万亿 Token 的训练后，模型内部大量的参数矩阵逐渐形成复杂的语言、知识和概念关系。整个预训练过程可以概括为：

文本 → Token → 高维向量 → 矩阵计算 → 预测下一个 Token → 计算误差 → 反向传播 → 调整参数矩阵 → 重复海量次数 → 得到基础模型

2. 后训练（Post-training）

预训练得到的 基础模型 擅长"续写"，但还不擅长"听指令、好好回答"。因此还需要后训练：

基础模型 → SFT 指令微调 → 推理数据训练 → 强化学习（RLHF / RL）→ 对话模型 / 推理模型

• SFT（监督微调）：用高质量的"问题—回答"数据教模型按指令回答；
• 强化学习：让模型反复尝试解决问题，根据人类偏好或可验证的结果（如数学答案是否正确、代码能否通过测试）给予奖励，从而更新参数。

四、LLM 如何生成回答

这里要区分两个容易混淆的"推理"：

• 推理（Inference）：指模型训练完成后被调用、生成输出的过程；
• 推理（Reasoning）：指模型进行逻辑分析、多步思考的能力（见下一节）。

生成回答时，模型采用 自回归 的方式：

输入文本 → 计算下一个 Token 的概率分布 → 按一定策略采样出一个 Token → 拼接到输入末尾 → 再预测下一个 → 直到结束

几个关键点：

• 温度（Temperature） 等采样参数控制输出的随机性：越低越确定，越高越发散；
• 上下文窗口 决定模型一次能"看到"多少 Token，超出部分会被截断或需要额外管理；
• 生成时参数是固定的：模型不会因为一次对话而改变自身参数，对话中的"记忆"完全来自上下文。

五、LLM 的推理能力

LLM 的推理能力不是写进模型中的一套"逻辑程序"，而是在大规模训练过程中逐渐形成的能力。

模型在训练时接触到大量不同类型的数据：自然语言、数学题、程序代码、科学论文、问答数据、推理过程、逻辑关系、因果关系。

在不断预测 Token 的过程中，模型逐渐学习到：

词语关系 → 语义关系 → 上下文关系 → 因果关系 → 逻辑关系 → 抽象模式 → 推理模式

从底层看，LLM 的推理能力可以理解为：矩阵计算 + 高维特征变换 + Token 概率预测。 模型经过大规模训练后，这些矩阵已经具备了非常复杂的模式表达能力。

为什么模型规模越大，推理能力通常越强？ 更多参数意味着更大的表达空间，模型可以形成更加复杂的高维变换关系。但规模不是唯一因素，数据质量和训练方法同样关键。

为什么"先思考再回答"更准确？ 现代推理模型会在给出最终答案前，先生成一段中间推理过程（思维链，Chain of Thought）。由于模型每生成一个 Token 都要做一次完整计算，多生成推理步骤就相当于投入了更多计算，把复杂问题拆成多个简单步骤，从而提升准确率。这也被称为 推理时计算（Test-time Compute）。

六、LLM 的能力维度

LLM 的能力来自模型规模、训练数据、训练方法和推理计算共同形成的综合能力。

从能力角度可以拆分为：

• 知识能力：掌握多少事实、概念和专业知识
• 语言能力：理解、总结、翻译、表达能力
• 逻辑推理：能否完成多步骤分析和因果判断
• 数学能力：计算、证明、解题能力
• 编程能力：理解代码、生成代码、调试程序
• 规划能力：把复杂任务拆成多个步骤
• 工具使用能力：调用搜索、代码执行、数据库、MCP 等外部工具
• 多模态能力：理解图片、声音、视频等信息

参数数量 + 优质数据 + 模型架构 + 推理训练 + 强化学习 + 推理计算量 → 综合能力

现代大模型还有一个重要特点：同一个模型在不同的推理计算量下，会表现出不同的能力水平。 允许它"多想一会儿"，复杂问题的表现往往明显更好。

所以未来评价 AI 的"智力水平"，越来越不能只看参数规模，而要看：

它能够独立完成多复杂、多长期、多真实的任务。

七、LLM 的局限性

了解局限，才能用好模型：

• 幻觉（Hallucination）：模型输出的是"概率上最合理"的内容，而不是"查证过的事实"，因此可能一本正经地编造信息；
• 知识截止：模型的知识停留在训练数据截止时间，之后的信息需要借助搜索等工具获取；
• 上下文有限：上下文窗口有上限，且内容过长时对中间信息的利用可能变差；
• 精确计算不稳定：大数运算、严格计数等任务容易出错，更适合交给代码工具完成；
• 对输入敏感：提问方式、上下文信息的质量会显著影响输出质量。

八、智能涌现与黑盒

1. 智能涌现

当模型拥有 数百亿到上万亿参数 + 数十到上百层网络 + 海量训练数据 以后，系统表现出：

语言理解 → 知识问答 → 翻译 → 代码生成 → 数学计算 → 逻辑推理 → 任务规划 → 工具使用

这些能力并没有被逐一编程写入，而是随着规模扩大"自然出现"，这就是所谓的 智能涌现（Emergence）。

需要说明的是，学术界对"涌现"仍有争论：有研究认为，一些看似突然出现的能力，其实是随规模平滑增长的，只是评测方式让它看起来像"突变"。

2. 黑盒

我们知道模型的输入是什么，也知道模型最终输出什么，甚至完全清楚它内部的数学结构，但很难完整解释模型 为什么 会得到这个结果。

原因在于 LLM 使用的是高度复杂的 分布式表示：一个概念分散在大量参数中，一个参数也同时参与表示许多概念。黑盒 的本质，是很难把数十亿参数和高维计算过程完整翻译成人类能够理解的知识、逻辑和规则。

目前，可解释性研究（如机制可解释性）正在尝试打开这个黑盒，例如定位模型内部代表特定概念的特征、追踪模型得出答案的计算路径。

九、驾驭智能：Harness 与智能体

LLM 的价值在于把语言理解、知识、推理、规划和工具调用能力，转化成真实的生产力，这就是 智能体（Agent）。

Harness + 大模型 = 智能体

Harness 可以理解为承载和约束 LLM 的运行环境，它把模型组织成一个可以持续工作的系统。模型本身只负责"思考并输出下一步"，而 Harness 负责其他一切：

组成部分	作用
系统提示词	设定角色、目标、规则和输出规范
上下文管理	决定把哪些信息放进有限的上下文窗口
工具	搜索、读写文件、执行代码、调用 API / MCP 服务
记忆	跨会话保存必要信息（因为模型参数本身不会记住对话）
执行循环	让模型反复"思考 → 调用工具 → 观察结果 → 再思考"
权限与安全	限制模型能做什么，关键操作需人工确认

一个典型的智能体工作循环是：

接收任务 → 规划步骤 → 调用工具 → 观察结果 → 调整计划 → 继续执行 → 完成任务

例如 AI 编程工具就是一种 Harness：它让模型能够读取整个项目、运行命令、查看报错并反复修改，直到任务完成。

十、结语：如何更好地使用大模型

介绍这些概念的最终目的，是为了更好地使用大模型。理解了原理，很多使用技巧就有了依据：

• 提供充分的上下文：模型只能基于它"看到"的内容回答，背景、约束、示例给得越清楚，结果越好；
• 复杂任务要拆解：让模型分步骤思考或分阶段完成，相当于给它更多推理计算；
• 关键信息要核实：模型可能产生幻觉，事实、数据、引用需要验证；
• 善用工具：计算交给代码，时效信息交给搜索，把模型放在它擅长的位置；
• 从对话走向智能体：把重复性、多步骤的工作交给配置好工具和规则的 Agent 去完成。

从最底层来看，LLM 就是一套经过海量数据训练形成的超大规模高维矩阵计算系统；而从应用层来看，只有通过合适的 Harness 驾驭它，这些能力才能真正转化为生产力。