# 图像模型（Image Model）入门：从像素到生成

> 原文：[图像模型（Image Model）入门：从像素到生成](https://qmbim.com/articles/91084df3-0aae-4a3c-967b-6f7a30f479d8)
> 作者：迈智数创 · 发布于 2026-09-28
> 转载请注明出处并保留原文链接。

---

图像模型是一类处理图像的人工智能模型。它们有的负责 **"看懂"图像**，例如识别物体、分割区域、描述画面；有的负责 **"画出"图像**，例如根据一句文字生成一张图片。

近几年最受关注的是 **图像生成模型**，比如 Stable Diffusion、FLUX、Midjourney、DALL·E / GPT 图像生成、Imagen 等。它们背后的主流技术是 **扩散模型（Diffusion Model）**。

如果说 LLM 是"预测下一个 Token"，那么扩散模型可以简单理解为：**从一团随机噪声开始，一步步把噪声"擦掉"，直到还原出一张清晰的图像。**


## 一、图像在计算机中的表示

在计算机中，一张图像就是一个 **数字矩阵**。

- 每个像素由 R、G、B 三个颜色通道组成，每个通道的取值通常是 0–255；
- 一张 1024 × 1024 的彩色图片，就是一个 **1024 × 1024 × 3 的张量**，大约包含 300 万个数字。

所以，和 LLM 一样，图像模型处理的本质也是 **高维数字**：

- LLM：文本 → Token → 向量 → 矩阵计算
- 图像模型：图像 → 像素张量 → 特征 / 潜变量 → 矩阵计算

图像模型面临的一个核心难题是：**数据量太大**。一段 100 字的文本只有几百个 Token，而一张图片就有几百万个数字。后文会讲到，现代模型通过"潜空间"来解决这个问题。


## 二、图像模型的两大方向

| 方向 | 任务 | 典型模型 |
| --- | --- | --- |
| **图像理解** | 分类、检测、分割、图像描述、视觉问答 | CNN、ViT、CLIP、SAM、多模态大模型 |
| **图像生成** | 文生图、图生图、局部重绘、图像编辑 | GAN、Stable Diffusion、FLUX、Midjourney |

两者并不是割裂的：图像生成模型需要"理解文字对应什么画面"，而这种能力往往来自图像理解模型（例如 CLIP）。


## 三、图像理解：模型如何"看懂"图像

### 1. CNN：卷积神经网络

CNN 是早期图像识别的主力。它用一个个小的 **卷积核** 在图像上滑动，提取局部特征。网络逐层堆叠后，会形成一种由浅入深的理解过程：

**像素 → 边缘 → 纹理 → 局部形状 → 物体部件 → 完整物体**

### 2. ViT：把图像当成"Token 序列"

ViT（Vision Transformer）把 LLM 的思路搬到了图像上：

- 把图像切成许多小块（Patch），例如每块 16 × 16 像素；
- 每个 Patch 转换成一个向量，相当于图像的"Token"；
- 然后用 Transformer 的自注意力机制处理这些 Patch。

这意味着 **文本和图像可以用同一套架构处理**，为后来的多模态模型打下了基础。

### 3. CLIP：连接文字与图像的桥梁

CLIP 用数亿组"图片—文字描述"进行训练，目标是让 **匹配的图片和文字在高维空间中靠近，不匹配的彼此远离**（对比学习）。

训练完成后，"一只橘猫躺在沙发上"这句话的向量，会和对应照片的向量非常接近。**文字和图像从此处于同一个语义空间**，这正是文生图能够实现的关键前提之一。

### 4. 多模态大模型

像 GPT、Claude、Gemini、Qwen-VL 这样能"看图说话"的模型，通常的结构是：

**图像 → 视觉编码器（如 ViT）→ 投影层 → 转换成 LLM 能理解的"视觉 Token" → 与文字 Token 一起交给 LLM 处理**


## 四、图像生成的技术演进

| 阶段 | 技术 | 特点 |
| --- | --- | --- |
| 2014 年起 | **GAN**（生成对抗网络） | 生成器与判别器互相博弈；图像清晰，但训练不稳定、多样性不足 |
| 2013 年起 | **VAE**（变分自编码器） | 训练稳定，但生成图像偏模糊；后来成为扩散模型的"压缩工具" |
| 2021 年前后 | **自回归模型** | 像 LLM 一样逐个预测图像 Token |
| 2022 年至今 | **扩散模型** | 质量高、多样性好、可控性强，成为主流 |

目前主流的文生图模型大多基于扩散模型或其改进版本（如流匹配 Flow Matching），也有模型将自回归与扩散结合。


## 五、扩散模型的核心原理

### 1. 前向过程：逐步加噪声

取一张清晰的图片，一步一步往上面加随机噪声。经过足够多步之后，图片会变成一团完全随机的噪声。

**清晰图像 → 轻微噪声 → 较多噪声 → …… → 纯噪声**

这个过程不需要学习，是固定的数学操作。

### 2. 反向过程：逐步去噪声

模型要学习的是反过来的过程：**给定一张带噪声的图，预测其中的噪声是什么，然后把它去掉。**

**纯噪声 → 去掉一部分噪声 → 出现模糊轮廓 → 细节逐渐清晰 → 最终图像**

### 3. 训练过程

训练方式和 LLM 非常相似，也是"猜答案 → 算误差 → 调参数"：

**真实图像 → 随机加入一定程度的噪声 → 模型预测加入的噪声 → 与真实噪声比较计算 Loss → 反向传播 → 调整参数 → 重复海量次数**

| 对比 | LLM | 扩散模型 |
| --- | --- | --- |
| 模型在猜什么 | 下一个 Token | 图像中的噪声 |
| 生成方式 | 逐个 Token 生成 | 整张图逐步去噪 |
| 生成步数 | 输出多少 Token 就算多少次 | 通常几步到几十步 |

### 4. 为什么从噪声开始？

因为每次生成都从 **不同的随机噪声** 出发，所以同样的提示词每次都能得到不同的图片。这个随机噪声由 **种子（Seed）** 决定：**种子相同、参数相同，结果就可以复现。**


## 六、潜空间：让扩散模型跑得动

直接在 1024 × 1024 × 3 的像素空间上反复去噪，计算量极其巨大。Stable Diffusion 的关键创新是 **潜空间扩散（Latent Diffusion）**：

- 先用 **VAE 编码器** 把图像压缩到一个小得多的"潜空间"。例如长宽各缩小 8 倍，1024 × 1024 的图像变成约 128 × 128 的潜变量；
- 扩散过程 **全部在潜空间中进行**；
- 最后用 **VAE 解码器** 把潜变量还原成完整像素图像。

完整的文生图流程可以概括为：

**提示词 → 文本编码器 → 文本向量 ↘**
**随机噪声（潜空间）→ 去噪网络多步去噪 → 干净的潜变量 → VAE 解码 → 最终图像**

> 潜空间可以理解为图像的"压缩语义表示"：它丢掉了大量冗余像素，但保留了构图、形状、颜色等关键信息。


## 七、文字如何控制图像

### 1. 文本编码器

提示词首先被 **文本编码器**（如 CLIP 文本编码器、T5，或直接使用一个 LLM）转换成一组向量，代表文字的语义。

### 2. 交叉注意力：让文字参与去噪

在每一步去噪时，去噪网络都会通过 **交叉注意力（Cross-Attention）** 参考文本向量，也就是在问："根据这段文字，这个区域应该画成什么？"

去噪网络的架构也在演进：

- **U-Net**：早期 Stable Diffusion 使用的卷积网络结构；
- **DiT（Diffusion Transformer）**：把 Transformer 用于去噪，扩展性更好，是 SD3、FLUX 以及许多视频生成模型的基础。

### 3. CFG：提示词的"听话程度"

**CFG（Classifier-Free Guidance，无分类器引导）** 的做法是：每一步同时计算"有提示词"和"无提示词（或负面提示词）"两种预测，然后放大两者之间的差异。

- **引导系数（CFG Scale）越高**：越贴合提示词，但过高会导致画面过饱和、失真；
- **越低**：画面越自然、越自由，但可能偏离提示词。

**负面提示词（Negative Prompt）** 就是利用这个机制，把画面"推离"不想要的内容。


## 八、图像模型的训练

图像生成模型的能力同样来自 **数据 + 规模 + 训练方法**：

**海量图文对数据 → 数据清洗与重新标注 → 低分辨率预训练 → 高分辨率训练 → 高质量美学数据微调 → 人类偏好对齐 → 最终模型**

- **数据**：通常是数亿到数十亿组"图片—文字描述"；
- **重新标注**：网络图片自带的描述往往很简略，现在常用多模态大模型重新生成详细描述，这显著提升了模型对复杂提示词的理解能力；
- **分阶段训练**：先低分辨率学构图和概念，再高分辨率学细节；
- **偏好对齐**：类似 LLM 的强化学习，让生成结果更符合人类审美。

## 九、控制与定制：让生成结果"可用"

纯文字描述很难精确控制构图，因此发展出了大量控制手段：

| 技术 | 作用 |
| --- | --- |
| **图生图（img2img）** | 以一张图为起点，加入部分噪声后重新去噪，保留大致构图 |
| **局部重绘（Inpainting）** | 只重新生成遮罩区域，其余部分保持不变 |
| **扩图（Outpainting）** | 向画面外延伸生成内容 |
| **ControlNet** | 用线稿、深度图、法线图、人体姿态等精确控制结构 |
| **LoRA** | 用少量图片训练一个小型"插件"，让模型学会特定风格、人物或物体 |
| **IP-Adapter / 参考图** | 用参考图控制风格或主体特征 |
| **指令编辑模型** | 直接用一句话修改图片，例如"把白天改成黄昏" |

这些技术让图像模型从"随机抽卡"走向"可控生产"。例如在建筑可视化中，可以把模型或渲染输出的线稿、深度图作为 ControlNet 输入，在保持建筑结构准确的前提下，快速生成不同材质、光照和氛围的效果图方案。


## 十、图像模型与 LLM 的对比

| 维度 | LLM | 图像生成模型 |
| --- | --- | --- |
| 基本单位 | Token | 像素 / Patch / 潜变量 |
| 核心任务 | 预测下一个 Token | 预测并去除噪声 |
| 主流架构 | Transformer | U-Net → DiT（Transformer） |
| 生成方式 | 自回归，逐个生成 | 整体逐步去噪 |
| 随机性来源 | 采样温度 | 初始噪声（种子） |
| 控制方式 | 提示词、上下文 | 提示词、CFG、ControlNet、LoRA 等 |

可以看到，两者的底层思想高度相通：**都是把信息转换成高维向量，通过海量数据训练参数矩阵，再以概率方式生成结果。** 这也是多模态模型能把文字、图像乃至视频统一起来的原因。


## 十一、图像模型的局限性

- **精确结构问题**：手指数量、复杂透视、物体数量和空间关系仍可能出错；
- **文字渲染**：图中的文字过去经常乱码，新一代模型已大幅改善，但长文本仍不稳定；
- **一致性**：同一人物或物体在多张图之间保持一致仍然较难；
- **物理与几何准确性**：画面"看起来合理"不等于尺寸、结构、光影真实准确，专业场景需要人工把关；
- **版权与伦理**：训练数据来源、风格模仿、深度伪造等问题仍存在争议，商业使用需关注模型授权条款。


## 十二、延伸：从图像到视频

视频生成模型（如 Sora、Veo、可灵、Wan 等）可以看作图像扩散模型的扩展：

- 把视频在 **空间和时间** 上同时切块，形成"时空 Patch"；
- 用 DiT 在潜空间中对整段视频去噪；
- 难点在于 **帧与帧之间的一致性** 和 **物理运动的合理性**。


## 十三、结语：如何更好地使用图像模型

理解了原理，使用技巧也就有了依据：

- **提示词要具体**：主体、环境、光照、镜头、材质、风格分开写清楚，模型对详细描述的理解远好于简短关键词；
- **善用种子**：找到满意的构图后固定种子，再微调提示词，逐步逼近目标；
- **结构交给控制，风格交给提示词**：构图要求严格时，用 ControlNet、参考图或图生图，而不是反复修改文字；
- **CFG 与步数适度即可**：并非越高越好，过高反而会降低画质；
- **分步完成**：先生成整体，再局部重绘、放大修复，比一次生成完美图片更可靠；
- **结果需要审核**：尤其在专业场景中，结构、比例、文字都要人工检查。

从底层来看，**图像生成模型是一套学会了"从噪声中还原图像"的高维矩阵计算系统**；而从应用层来看，只有把它与控制手段、专业工具和人的判断结合起来，才能真正转化为生产力。