图像模型（Image Model）入门：从像素到生成

图像模型是一类处理图像的人工智能模型。它们有的负责 "看懂"图像，例如识别物体、分割区域、描述画面；有的负责 "画出"图像，例如根据一句文字生成一张图片。

近几年最受关注的是 图像生成模型，比如 Stable Diffusion、FLUX、Midjourney、DALL·E / GPT 图像生成、Imagen 等。它们背后的主流技术是 扩散模型（Diffusion Model）。

如果说 LLM 是"预测下一个 Token"，那么扩散模型可以简单理解为：从一团随机噪声开始，一步步把噪声"擦掉"，直到还原出一张清晰的图像。

一、图像在计算机中的表示

在计算机中，一张图像就是一个 数字矩阵。

• 每个像素由 R、G、B 三个颜色通道组成，每个通道的取值通常是 0–255；
• 一张 1024 × 1024 的彩色图片，就是一个 1024 × 1024 × 3 的张量，大约包含 300 万个数字。

所以，和 LLM 一样，图像模型处理的本质也是 高维数字：

• LLM：文本 → Token → 向量 → 矩阵计算
• 图像模型：图像 → 像素张量 → 特征 / 潜变量 → 矩阵计算

图像模型面临的一个核心难题是：数据量太大。一段 100 字的文本只有几百个 Token，而一张图片就有几百万个数字。后文会讲到，现代模型通过"潜空间"来解决这个问题。

二、图像模型的两大方向

方向	任务	典型模型
图像理解	分类、检测、分割、图像描述、视觉问答	CNN、ViT、CLIP、SAM、多模态大模型
图像生成	文生图、图生图、局部重绘、图像编辑	GAN、Stable Diffusion、FLUX、Midjourney

两者并不是割裂的：图像生成模型需要"理解文字对应什么画面"，而这种能力往往来自图像理解模型（例如 CLIP）。

三、图像理解：模型如何"看懂"图像

1. CNN：卷积神经网络

CNN 是早期图像识别的主力。它用一个个小的 卷积核 在图像上滑动，提取局部特征。网络逐层堆叠后，会形成一种由浅入深的理解过程：

像素 → 边缘 → 纹理 → 局部形状 → 物体部件 → 完整物体

2. ViT：把图像当成"Token 序列"

ViT（Vision Transformer）把 LLM 的思路搬到了图像上：

• 把图像切成许多小块（Patch），例如每块 16 × 16 像素；
• 每个 Patch 转换成一个向量，相当于图像的"Token"；
• 然后用 Transformer 的自注意力机制处理这些 Patch。

这意味着 文本和图像可以用同一套架构处理，为后来的多模态模型打下了基础。

3. CLIP：连接文字与图像的桥梁

CLIP 用数亿组"图片—文字描述"进行训练，目标是让 匹配的图片和文字在高维空间中靠近，不匹配的彼此远离（对比学习）。

训练完成后，"一只橘猫躺在沙发上"这句话的向量，会和对应照片的向量非常接近。文字和图像从此处于同一个语义空间，这正是文生图能够实现的关键前提之一。

4. 多模态大模型

像 GPT、Claude、Gemini、Qwen-VL 这样能"看图说话"的模型，通常的结构是：

图像 → 视觉编码器（如 ViT）→ 投影层 → 转换成 LLM 能理解的"视觉 Token" → 与文字 Token 一起交给 LLM 处理

四、图像生成的技术演进

阶段	技术	特点
2014 年起	GAN（生成对抗网络）	生成器与判别器互相博弈；图像清晰，但训练不稳定、多样性不足
2013 年起	VAE（变分自编码器）	训练稳定，但生成图像偏模糊；后来成为扩散模型的"压缩工具"
2021 年前后	自回归模型	像 LLM 一样逐个预测图像 Token
2022 年至今	扩散模型	质量高、多样性好、可控性强，成为主流

目前主流的文生图模型大多基于扩散模型或其改进版本（如流匹配 Flow Matching），也有模型将自回归与扩散结合。

五、扩散模型的核心原理

1. 前向过程：逐步加噪声

取一张清晰的图片，一步一步往上面加随机噪声。经过足够多步之后，图片会变成一团完全随机的噪声。

清晰图像 → 轻微噪声 → 较多噪声 → …… → 纯噪声

这个过程不需要学习，是固定的数学操作。

2. 反向过程：逐步去噪声

模型要学习的是反过来的过程：给定一张带噪声的图，预测其中的噪声是什么，然后把它去掉。

纯噪声 → 去掉一部分噪声 → 出现模糊轮廓 → 细节逐渐清晰 → 最终图像

3. 训练过程

训练方式和 LLM 非常相似，也是"猜答案 → 算误差 → 调参数"：

真实图像 → 随机加入一定程度的噪声 → 模型预测加入的噪声 → 与真实噪声比较计算 Loss → 反向传播 → 调整参数 → 重复海量次数

对比	LLM	扩散模型
模型在猜什么	下一个 Token	图像中的噪声
生成方式	逐个 Token 生成	整张图逐步去噪
生成步数	输出多少 Token 就算多少次	通常几步到几十步

4. 为什么从噪声开始？

因为每次生成都从 不同的随机噪声 出发，所以同样的提示词每次都能得到不同的图片。这个随机噪声由 种子（Seed） 决定：种子相同、参数相同，结果就可以复现。

六、潜空间：让扩散模型跑得动

直接在 1024 × 1024 × 3 的像素空间上反复去噪，计算量极其巨大。Stable Diffusion 的关键创新是 潜空间扩散（Latent Diffusion）：

• 先用 VAE 编码器 把图像压缩到一个小得多的"潜空间"。例如长宽各缩小 8 倍，1024 × 1024 的图像变成约 128 × 128 的潜变量；
• 扩散过程 全部在潜空间中进行；
• 最后用 VAE 解码器 把潜变量还原成完整像素图像。

完整的文生图流程可以概括为：

提示词 → 文本编码器 → 文本向量 ↘ 随机噪声（潜空间）→ 去噪网络多步去噪 → 干净的潜变量 → VAE 解码 → 最终图像

潜空间可以理解为图像的"压缩语义表示"：它丢掉了大量冗余像素，但保留了构图、形状、颜色等关键信息。

七、文字如何控制图像

1. 文本编码器

提示词首先被 文本编码器（如 CLIP 文本编码器、T5，或直接使用一个 LLM）转换成一组向量，代表文字的语义。

2. 交叉注意力：让文字参与去噪

在每一步去噪时，去噪网络都会通过 交叉注意力（Cross-Attention） 参考文本向量，也就是在问："根据这段文字，这个区域应该画成什么？"

去噪网络的架构也在演进：

• U-Net：早期 Stable Diffusion 使用的卷积网络结构；
• DiT（Diffusion Transformer）：把 Transformer 用于去噪，扩展性更好，是 SD3、FLUX 以及许多视频生成模型的基础。

3. CFG：提示词的"听话程度"

CFG（Classifier-Free Guidance，无分类器引导） 的做法是：每一步同时计算"有提示词"和"无提示词（或负面提示词）"两种预测，然后放大两者之间的差异。

• 引导系数（CFG Scale）越高：越贴合提示词，但过高会导致画面过饱和、失真；
• 越低：画面越自然、越自由，但可能偏离提示词。

负面提示词（Negative Prompt） 就是利用这个机制，把画面"推离"不想要的内容。

八、图像模型的训练

图像生成模型的能力同样来自 数据 + 规模 + 训练方法：

海量图文对数据 → 数据清洗与重新标注 → 低分辨率预训练 → 高分辨率训练 → 高质量美学数据微调 → 人类偏好对齐 → 最终模型

• 数据：通常是数亿到数十亿组"图片—文字描述"；
• 重新标注：网络图片自带的描述往往很简略，现在常用多模态大模型重新生成详细描述，这显著提升了模型对复杂提示词的理解能力；
• 分阶段训练：先低分辨率学构图和概念，再高分辨率学细节；
• 偏好对齐：类似 LLM 的强化学习，让生成结果更符合人类审美。

九、控制与定制：让生成结果"可用"

纯文字描述很难精确控制构图，因此发展出了大量控制手段：

技术	作用
图生图（img2img）	以一张图为起点，加入部分噪声后重新去噪，保留大致构图
局部重绘（Inpainting）	只重新生成遮罩区域，其余部分保持不变
扩图（Outpainting）	向画面外延伸生成内容
ControlNet	用线稿、深度图、法线图、人体姿态等精确控制结构
LoRA	用少量图片训练一个小型"插件"，让模型学会特定风格、人物或物体
IP-Adapter / 参考图	用参考图控制风格或主体特征
指令编辑模型	直接用一句话修改图片，例如"把白天改成黄昏"

这些技术让图像模型从"随机抽卡"走向"可控生产"。例如在建筑可视化中，可以把模型或渲染输出的线稿、深度图作为 ControlNet 输入，在保持建筑结构准确的前提下，快速生成不同材质、光照和氛围的效果图方案。

十、图像模型与 LLM 的对比

维度	LLM	图像生成模型
基本单位	Token	像素 / Patch / 潜变量
核心任务	预测下一个 Token	预测并去除噪声
主流架构	Transformer	U-Net → DiT（Transformer）
生成方式	自回归，逐个生成	整体逐步去噪
随机性来源	采样温度	初始噪声（种子）
控制方式	提示词、上下文	提示词、CFG、ControlNet、LoRA 等

可以看到，两者的底层思想高度相通：都是把信息转换成高维向量，通过海量数据训练参数矩阵，再以概率方式生成结果。 这也是多模态模型能把文字、图像乃至视频统一起来的原因。

十一、图像模型的局限性

• 精确结构问题：手指数量、复杂透视、物体数量和空间关系仍可能出错；
• 文字渲染：图中的文字过去经常乱码，新一代模型已大幅改善，但长文本仍不稳定；
• 一致性：同一人物或物体在多张图之间保持一致仍然较难；
• 物理与几何准确性：画面"看起来合理"不等于尺寸、结构、光影真实准确，专业场景需要人工把关；
• 版权与伦理：训练数据来源、风格模仿、深度伪造等问题仍存在争议，商业使用需关注模型授权条款。

十二、延伸：从图像到视频

视频生成模型（如 Sora、Veo、可灵、Wan 等）可以看作图像扩散模型的扩展：

• 把视频在 空间和时间 上同时切块，形成"时空 Patch"；
• 用 DiT 在潜空间中对整段视频去噪；
• 难点在于 帧与帧之间的一致性 和 物理运动的合理性。

十三、结语：如何更好地使用图像模型

理解了原理，使用技巧也就有了依据：

• 提示词要具体：主体、环境、光照、镜头、材质、风格分开写清楚，模型对详细描述的理解远好于简短关键词；
• 善用种子：找到满意的构图后固定种子，再微调提示词，逐步逼近目标；
• 结构交给控制，风格交给提示词：构图要求严格时，用 ControlNet、参考图或图生图，而不是反复修改文字；
• CFG 与步数适度即可：并非越高越好，过高反而会降低画质；
• 分步完成：先生成整体，再局部重绘、放大修复，比一次生成完美图片更可靠；
• 结果需要审核：尤其在专业场景中，结构、比例、文字都要人工检查。

从底层来看，图像生成模型是一套学会了"从噪声中还原图像"的高维矩阵计算系统；而从应用层来看，只有把它与控制手段、专业工具和人的判断结合起来，才能真正转化为生产力。