2391 字
12 分钟
页面浏览--访问次数--
AI生成图片的原理:从扩散模型到Stable Diffusion

AI 生成图片的核心思路并不神秘:让模型在海量图像数据(如 ImageNet、LAION-5B)上学习图像的统计分布,再从随机噪声或文本描述出发,逐步采样、还原出结构化的画面。

从 2014 年的生成对抗网络(GANs)、变分自编码器(VAEs),到 2020 年代成为主流的扩散模型(Diffusion Models)与 Transformer 混合架构,图像生成技术经历了从“能画出轮廓”到“高保真可控生成”的跨越。下面按技术演进脉络,梳理这几类核心模型的数学原理、训练过程与各自优劣。

生成对抗网络(GANs):对抗训练的艺术#

GANs由Ian Goodfellow于2014年提出,是最早实现高质量图像生成的模型。其核心是两个神经网络的对抗游戏:生成器(Generator)和判别器(Discriminator)。

架构与工作原理#

  • 生成器:输入随机噪声向量( z \sim \mathcal{N}(0, I) ),输出合成图像( G(z) )。目标是产生与真实数据分布相似的样本。
  • 判别器:输入真实图像( x )或生成图像( G(z) ),输出概率( D(x) )或( D(G(z)) ),判断其真实性(二分类器)。
  • 训练动态:采用最小最大博弈框架。损失函数为: [ \min_G \max_D V(D, G) = \mathbb{E}{x \sim p{data}}[\log D(x)] + \mathbb{E}_{z \sim p_z}[\log (1 - D(G(z)))] ] 判别器最大化损失以区分真假,生成器最小化损失以欺骗判别器。通过交替优化(先更新判别器,再生成器),系统达到纳什均衡:生成器产生不可区分的图像,判别器准确率接近50%。

训练过程与挑战#

  • 初始阶段:生成器输出明显假图像,判别器易区分。
  • 迭代改进:通过反向传播,生成器基于判别器反馈调整权重,提高逼真度。
  • 伪代码:
    for number of training iterations do
    for k steps do // Update discriminator
    Sample minibatch of m noise samples {z^(1), ..., z^(m)} from noise prior p_g(z)
    Sample minibatch of m examples {x^(1), ..., x^(m)} from data generating distribution p_data(x)
    Update the discriminator by ascending its stochastic gradient:
    ∇_θ_d (1/m) Σ [log D(x^(i)) + log(1 - D(G(z^(i))))]
    end for
    Sample minibatch of m noise samples {z^(1), ..., z^(m)} from noise prior p_g(z)
    Update the generator by descending its stochastic gradient:
    ∇_θ_g (1/m) Σ log(1 - D(G(z^(i))))
    end for
  • 常见问题:模式崩溃(生成器仅输出有限变体);训练不稳定(需技巧如Wasserstein损失或谱归一化)。在小数据集上,GANs优于扩散模型,因为数据利用更高效。

应用与变体#

GANs用于人脸生成(StyleGAN)、图像翻译(CycleGAN)和超分辨率。变体如DCGAN使用卷积层提升图像质量。表格展示GANs变体比较:

变体关键创新应用示例优势局限性
DCGAN卷积网络基本图像生成高效卷积处理模式崩溃风险
WGANWasserstein距离稳定训练减少梯度消失计算开销增加
StyleGAN风格注入高分辨率人脸精细风格控制训练时间长
BigGAN大规模训练类条件生成高多样性需要海量数据

GANs在图像生成中奠定基础,但已被扩散模型部分取代,因后者在多样性和稳定性上更优。

变分自编码器(VAEs):概率潜在空间的构建#

VAEs是生成模型的一种,强调学习数据的压缩表示,用于生成新样本。不同于GANs的对抗,VAEs使用概率框架,确保潜在空间连续。由Diederik P. Kingma和Max Welling于2013年提出。

架构与工作原理#

  • 编码器:将输入图像( x )映射到潜在分布参数( \mu )和( \log \sigma^2 ),分布为( q_\phi(z|x) = \mathcal{N}(\mu, \sigma^2 I) )。
  • 采样:使用重参数化技巧( z = \mu + \epsilon \cdot \sigma ),其中( \epsilon \sim \mathcal{N}(0, I) ),允许梯度传播。
  • 解码器:从( z )重建图像( \hat{x} ),分布为( p_\theta(x|z) )。
  • 生成过程:训练后,从先验( p(z) = \mathcal{N}(0, I) )采样( z ),解码生成新图像。

损失函数#

总损失为证据下界(ELBO): [ \mathcal{L} = \mathbb{E}{q\phi(z|x)}[\log p_\theta(x|z)] - D_{KL}(q_\phi(z|x) | p(z)) ]

  • 重建损失:测量( x )与( \hat{x} )相似度(如BCE损失)。
  • KL散度:正则化潜在分布接近标准高斯,确保空间结构化。对于高斯分布,KL有闭形式: [ D_{KL}(q(z|x) | p(z)) = \frac{1}{2} \sum_j (1 + \log \sigma_j^2 - \mu_j^2 - \sigma_j^2) ]

训练与生成#

训练使用随机梯度下降,优化ELBO。生成时,直接从先验采样,支持插值(在潜在空间线性混合)。挑战:生成图像可能模糊,因重建损失偏好平均样本。

  • 伪代码:
    for each minibatch do
    Encode x to μ, σ
    Sample ε ~ N(0, I)
    z = μ + σ * ε // Reparameterization
    Decode z to reconstruct x_hat
    Compute reconstruction loss + KL divergence
    Backprop and update θ, φ
    end for

应用与扩展#

VAEs用于图像合成、异常检测和数据增强。扩展如(\beta)-VAE调整KL权重,提升潜在空间解耦。表格总结VAEs优势:

方面描述示例应用
潜在空间连续,便于插值和变异图像变异生成
训练稳定,无对抗大规模数据集
输出多样,但分辨率较低压缩与重建

在DALL·E早期版本中,VAEs用于离散表示。

扩散模型(Diffusion Models):噪声到图像的逆转之旅#

扩散模型是当前AI图片生成的主流技术,如Stable Diffusion和DALL·E 2,通过模拟扩散过程生成高保真图像。由Jonathan Ho等人在2020年提出Denoising Diffusion Probabilistic Models (DDPM)。

架构与工作原理#

  • 前向过程:从真实图像( x_0 )逐步添加高斯噪声,过( T )步变为纯噪声( x_T \sim \mathcal{N}(0, I) )。转移为: [ x_t = \sqrt{1 - \beta_t} x_{t-1} + \sqrt{\beta_t} \epsilon, \quad \epsilon \sim \mathcal{N}(0, I) ] 闭形式:( x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1 - \bar{\alpha}_t} \epsilon )。
  • 反向过程:训练神经网络(通常U-Net)预测噪声( \epsilon_\theta(x_t, t) ),逐步去噪: [ x_{t-1} = \frac{1}{\sqrt{\alpha_t}} \left( x_t - \frac{1 - \alpha_t}{\sqrt{1 - \bar{\alpha}t}} \epsilon\theta(x_t, t) \right) + \sigma_t z ] 其中( \alpha_t = 1 - \beta_t ),( \bar{\alpha}_t = \prod \alpha_s )。
  • 条件生成:集成文本嵌入(如CLIP),指导去噪过程。

训练过程#

使用简化损失: [ L = \mathbb{E}{x_0, \epsilon, t} \left[ | \epsilon - \epsilon\theta(x_t, t) |^2 \right] ] 训练于大型数据集,U-Net捕捉空间层次。变体如DDIM加速推理,减少步数至50步。

  • 伪代码:
    repeat
    x_0 ~ q(x_0)
    t ~ Uniform({1, ..., T})
    ε ~ N(0, I)
    Take gradient descent step on ||ε - ε_θ(√(ᾱ_t) x_0 + √(1 - ᾱ_t) ε, t)||^2
    until converged

挑战与优化#

计算密集(推理需多步);优化包括噪声调度(余弦调度)和采样策略(如DDIM)。表格比较扩散变体:

变体特点优势局限性
DDPM马尔可夫链高质量采样慢
DDIM非马尔可夫更快推理略低多样性
SMLD分数匹配连续时间采样复杂实现

应用包括文本到图像、图像编辑和视频生成。

Transformer在图像生成中的作用:序列化与注意力#

Transformer将图像生成视为序列任务,使用自注意力捕捉像素依赖。由Vaswani等提出,但Vision Transformer (ViT)将其应用于视觉。

原理与架构#

  • 图像Transformer:像素序列化,自注意力限制于局部块(1D或2D),添加位置编码。架构包括自注意力层和前馈网络。
  • 自注意力:查询、键、值机制计算像素间关系,支持自回归生成。
  • 条件生成:编码器处理提示,解码器生成图像。

与其他模型整合#

在Stable Diffusion中,Transformer编码文本,指导扩散。在ViT中,图像分块作为token处理。优势:长距离依赖捕捉;挑战:参数爆炸。表格总结Transformer变体在生成中的应用:

模型关键特征生成应用优势
ViT补丁嵌入+位置编码图像分类到生成全局依赖捕捉
Swin移位窗口高分辨率生成高效计算
DeiT知识蒸馏数据高效生成减少数据需求
iGPT自回归像素预测文本到图像多模态整合

用于超分辨率和条件生成,优于PixelCNN在似然和质量上。

高级技术与混合模型#

  • 混合模型:如DALL·E结合VAEs和扩散,提升效率。Transformer与GANs的融合(如TransGAN)改善稳定性。
  • 优化技巧:谱归一化、注意力机制和蒸馏模型减少计算。
  • 新兴方向:SDEs框架统一扩散变体,支持连续时间采样。多模态模型如CLIP整合视觉与语言。

近期演进与落地挑战#

近期的模型(如 Flux、Stable Diffusion 3)采用矫正流(Rectified Flow)和 MMDiT 等架构,在文字渲染、手部结构和高分辨率细节上改善明显。当前主要的演进方向集中在几点:

  • 少步与实时生成:通过一致性蒸馏、流匹配等方法把采样步数压到几步以内,支撑交互式编辑。
  • 算力与显存优化:通过量化、蒸馏和轻量化潜空间降低本地推理门槛。
  • 内容溯源与合规:训练数据版权争议、生成水印标识以及偏见控制依然是落地时绕不开的问题。

参考资料#

AI生成图片的原理:从扩散模型到Stable Diffusion
https://www.freebird2913.tech/posts/ai-image-generation-principles/
作者
freebird2913
发布于
2025-10-25
许可协议
CC BY-NC-SA 4.0

分享文章

生成精美分享图或复制链接,与更多人分享本文。

继续阅读

沿着主题读

基于共同的标签与分类

换条路线

从其他文章中稳定抽取

评论

正在加载评论...

最后更新于 ,距今已过 386 天

部分内容可能已过时