AI 生成图片的核心思路并不神秘:让模型在海量图像数据(如 ImageNet、LAION-5B)上学习图像的统计分布,再从随机噪声或文本描述出发,逐步采样、还原出结构化的画面。
从 2014 年的生成对抗网络(GANs)、变分自编码器(VAEs),到 2020 年代成为主流的扩散模型(Diffusion Models)与 Transformer 混合架构,图像生成技术经历了从“能画出轮廓”到“高保真可控生成”的跨越。下面按技术演进脉络,梳理这几类核心模型的数学原理、训练过程与各自优劣。
生成对抗网络(GANs):对抗训练的艺术
GANs由Ian Goodfellow于2014年提出,是最早实现高质量图像生成的模型。其核心是两个神经网络的对抗游戏:生成器(Generator)和判别器(Discriminator)。
架构与工作原理
- 生成器:输入随机噪声向量( z \sim \mathcal{N}(0, I) ),输出合成图像( G(z) )。目标是产生与真实数据分布相似的样本。
- 判别器:输入真实图像( x )或生成图像( G(z) ),输出概率( D(x) )或( D(G(z)) ),判断其真实性(二分类器)。
- 训练动态:采用最小最大博弈框架。损失函数为: [ \min_G \max_D V(D, G) = \mathbb{E}{x \sim p{data}}[\log D(x)] + \mathbb{E}_{z \sim p_z}[\log (1 - D(G(z)))] ] 判别器最大化损失以区分真假,生成器最小化损失以欺骗判别器。通过交替优化(先更新判别器,再生成器),系统达到纳什均衡:生成器产生不可区分的图像,判别器准确率接近50%。
训练过程与挑战
- 初始阶段:生成器输出明显假图像,判别器易区分。
- 迭代改进:通过反向传播,生成器基于判别器反馈调整权重,提高逼真度。
- 伪代码:
for number of training iterations dofor k steps do // Update discriminatorSample minibatch of m noise samples {z^(1), ..., z^(m)} from noise prior p_g(z)Sample minibatch of m examples {x^(1), ..., x^(m)} from data generating distribution p_data(x)Update the discriminator by ascending its stochastic gradient:∇_θ_d (1/m) Σ [log D(x^(i)) + log(1 - D(G(z^(i))))]end forSample minibatch of m noise samples {z^(1), ..., z^(m)} from noise prior p_g(z)Update the generator by descending its stochastic gradient:∇_θ_g (1/m) Σ log(1 - D(G(z^(i))))end for
- 常见问题:模式崩溃(生成器仅输出有限变体);训练不稳定(需技巧如Wasserstein损失或谱归一化)。在小数据集上,GANs优于扩散模型,因为数据利用更高效。
应用与变体
GANs用于人脸生成(StyleGAN)、图像翻译(CycleGAN)和超分辨率。变体如DCGAN使用卷积层提升图像质量。表格展示GANs变体比较:
| 变体 | 关键创新 | 应用示例 | 优势 | 局限性 |
|---|---|---|---|---|
| DCGAN | 卷积网络 | 基本图像生成 | 高效卷积处理 | 模式崩溃风险 |
| WGAN | Wasserstein距离 | 稳定训练 | 减少梯度消失 | 计算开销增加 |
| StyleGAN | 风格注入 | 高分辨率人脸 | 精细风格控制 | 训练时间长 |
| BigGAN | 大规模训练 | 类条件生成 | 高多样性 | 需要海量数据 |
GANs在图像生成中奠定基础,但已被扩散模型部分取代,因后者在多样性和稳定性上更优。
变分自编码器(VAEs):概率潜在空间的构建
VAEs是生成模型的一种,强调学习数据的压缩表示,用于生成新样本。不同于GANs的对抗,VAEs使用概率框架,确保潜在空间连续。由Diederik P. Kingma和Max Welling于2013年提出。
架构与工作原理
- 编码器:将输入图像( x )映射到潜在分布参数( \mu )和( \log \sigma^2 ),分布为( q_\phi(z|x) = \mathcal{N}(\mu, \sigma^2 I) )。
- 采样:使用重参数化技巧( z = \mu + \epsilon \cdot \sigma ),其中( \epsilon \sim \mathcal{N}(0, I) ),允许梯度传播。
- 解码器:从( z )重建图像( \hat{x} ),分布为( p_\theta(x|z) )。
- 生成过程:训练后,从先验( p(z) = \mathcal{N}(0, I) )采样( z ),解码生成新图像。
损失函数
总损失为证据下界(ELBO): [ \mathcal{L} = \mathbb{E}{q\phi(z|x)}[\log p_\theta(x|z)] - D_{KL}(q_\phi(z|x) | p(z)) ]
- 重建损失:测量( x )与( \hat{x} )相似度(如BCE损失)。
- KL散度:正则化潜在分布接近标准高斯,确保空间结构化。对于高斯分布,KL有闭形式: [ D_{KL}(q(z|x) | p(z)) = \frac{1}{2} \sum_j (1 + \log \sigma_j^2 - \mu_j^2 - \sigma_j^2) ]
训练与生成
训练使用随机梯度下降,优化ELBO。生成时,直接从先验采样,支持插值(在潜在空间线性混合)。挑战:生成图像可能模糊,因重建损失偏好平均样本。
- 伪代码:
for each minibatch doEncode x to μ, σSample ε ~ N(0, I)z = μ + σ * ε // ReparameterizationDecode z to reconstruct x_hatCompute reconstruction loss + KL divergenceBackprop and update θ, φend for
应用与扩展
VAEs用于图像合成、异常检测和数据增强。扩展如(\beta)-VAE调整KL权重,提升潜在空间解耦。表格总结VAEs优势:
| 方面 | 描述 | 示例应用 |
|---|---|---|
| 潜在空间 | 连续,便于插值和变异 | 图像变异生成 |
| 训练 | 稳定,无对抗 | 大规模数据集 |
| 输出 | 多样,但分辨率较低 | 压缩与重建 |
在DALL·E早期版本中,VAEs用于离散表示。
扩散模型(Diffusion Models):噪声到图像的逆转之旅
扩散模型是当前AI图片生成的主流技术,如Stable Diffusion和DALL·E 2,通过模拟扩散过程生成高保真图像。由Jonathan Ho等人在2020年提出Denoising Diffusion Probabilistic Models (DDPM)。
架构与工作原理
- 前向过程:从真实图像( x_0 )逐步添加高斯噪声,过( T )步变为纯噪声( x_T \sim \mathcal{N}(0, I) )。转移为: [ x_t = \sqrt{1 - \beta_t} x_{t-1} + \sqrt{\beta_t} \epsilon, \quad \epsilon \sim \mathcal{N}(0, I) ] 闭形式:( x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1 - \bar{\alpha}_t} \epsilon )。
- 反向过程:训练神经网络(通常U-Net)预测噪声( \epsilon_\theta(x_t, t) ),逐步去噪: [ x_{t-1} = \frac{1}{\sqrt{\alpha_t}} \left( x_t - \frac{1 - \alpha_t}{\sqrt{1 - \bar{\alpha}t}} \epsilon\theta(x_t, t) \right) + \sigma_t z ] 其中( \alpha_t = 1 - \beta_t ),( \bar{\alpha}_t = \prod \alpha_s )。
- 条件生成:集成文本嵌入(如CLIP),指导去噪过程。
训练过程
使用简化损失: [ L = \mathbb{E}{x_0, \epsilon, t} \left[ | \epsilon - \epsilon\theta(x_t, t) |^2 \right] ] 训练于大型数据集,U-Net捕捉空间层次。变体如DDIM加速推理,减少步数至50步。
- 伪代码:
repeatx_0 ~ q(x_0)t ~ Uniform({1, ..., T})ε ~ N(0, I)Take gradient descent step on ||ε - ε_θ(√(ᾱ_t) x_0 + √(1 - ᾱ_t) ε, t)||^2until converged
挑战与优化
计算密集(推理需多步);优化包括噪声调度(余弦调度)和采样策略(如DDIM)。表格比较扩散变体:
| 变体 | 特点 | 优势 | 局限性 |
|---|---|---|---|
| DDPM | 马尔可夫链 | 高质量 | 采样慢 |
| DDIM | 非马尔可夫 | 更快推理 | 略低多样性 |
| SMLD | 分数匹配 | 连续时间采样 | 复杂实现 |
应用包括文本到图像、图像编辑和视频生成。
Transformer在图像生成中的作用:序列化与注意力
Transformer将图像生成视为序列任务,使用自注意力捕捉像素依赖。由Vaswani等提出,但Vision Transformer (ViT)将其应用于视觉。
原理与架构
- 图像Transformer:像素序列化,自注意力限制于局部块(1D或2D),添加位置编码。架构包括自注意力层和前馈网络。
- 自注意力:查询、键、值机制计算像素间关系,支持自回归生成。
- 条件生成:编码器处理提示,解码器生成图像。
与其他模型整合
在Stable Diffusion中,Transformer编码文本,指导扩散。在ViT中,图像分块作为token处理。优势:长距离依赖捕捉;挑战:参数爆炸。表格总结Transformer变体在生成中的应用:
| 模型 | 关键特征 | 生成应用 | 优势 |
|---|---|---|---|
| ViT | 补丁嵌入+位置编码 | 图像分类到生成 | 全局依赖捕捉 |
| Swin | 移位窗口 | 高分辨率生成 | 高效计算 |
| DeiT | 知识蒸馏 | 数据高效生成 | 减少数据需求 |
| iGPT | 自回归像素预测 | 文本到图像 | 多模态整合 |
用于超分辨率和条件生成,优于PixelCNN在似然和质量上。
高级技术与混合模型
- 混合模型:如DALL·E结合VAEs和扩散,提升效率。Transformer与GANs的融合(如TransGAN)改善稳定性。
- 优化技巧:谱归一化、注意力机制和蒸馏模型减少计算。
- 新兴方向:SDEs框架统一扩散变体,支持连续时间采样。多模态模型如CLIP整合视觉与语言。
近期演进与落地挑战
近期的模型(如 Flux、Stable Diffusion 3)采用矫正流(Rectified Flow)和 MMDiT 等架构,在文字渲染、手部结构和高分辨率细节上改善明显。当前主要的演进方向集中在几点:
- 少步与实时生成:通过一致性蒸馏、流匹配等方法把采样步数压到几步以内,支撑交互式编辑。
- 算力与显存优化:通过量化、蒸馏和轻量化潜空间降低本地推理门槛。
- 内容溯源与合规:训练数据版权争议、生成水印标识以及偏见控制依然是落地时绕不开的问题。
参考资料
- AI Image Generation, Explained.
- Understanding AI Image Generation: Models, Tools, and Techniques
- How AI Image Generation Works: A Technology Crash Course
- Tutorial on Diffusion Models for Imaging and Vision
- Denoising Diffusion Probabilistic Models
- Auto-Encoding Variational Bayes
- Variational Autoencoders: How They Work and Why They Matter
- Generative Adversarial Networks
- A Comprehensive Study of Vision Transformers in Image Classification Tasks
- The two models fueling generative AI products: Transformers and diffusion models
- The 2025 AI Index Report
- The current state of AI image generation (early 2025)
- Welcome to State of AI Report 2025
- Generative AI results depend on user prompts as much as models
- 2025 AI Image Generation Trends: The Next Frontier
分享文章
生成精美分享图或复制链接,与更多人分享本文。
继续阅读
最后更新于 ,距今已过 386 天
部分内容可能已过时
评论