架构与工作原理#

• 生成器：输入随机噪声向量( z \sim \mathcal{N}(0, I) )，输出合成图像( G(z) )。目标是产生与真实数据分布相似的样本。
• 判别器：输入真实图像( x )或生成图像( G(z) )，输出概率( D(x) )或( D(G(z)) )，判断其真实性（二分类器）。
• 训练动态：采用最小最大博弈框架。损失函数为： [ \min_G \max_D V(D, G) = \mathbb{E}{x \sim p{data}}[\log D(x)] + \mathbb{E}_{z \sim p_z}[\log (1 - D(G(z)))] ] 判别器最大化损失以区分真假，生成器最小化损失以欺骗判别器。通过交替优化（先更新判别器，再生成器），系统达到纳什均衡：生成器产生不可区分的图像，判别器准确率接近50%。

训练过程与挑战#

• 初始阶段：生成器输出明显假图像，判别器易区分。
• 迭代改进：通过反向传播，生成器基于判别器反馈调整权重，提高逼真度。
• 伪代码：

  1
  for number of training iterations do
  2
      for k steps do  // Update discriminator
  3
          Sample minibatch of m noise samples {z^(1), ..., z^(m)} from noise prior p_g(z)
  4
          Sample minibatch of m examples {x^(1), ..., x^(m)} from data generating distribution p_data(x)
  5
          Update the discriminator by ascending its stochastic gradient:
  6
              ∇_θ_d (1/m) Σ [log D(x^(i)) + log(1 - D(G(z^(i))))]
  7
      end for
  8
      Sample minibatch of m noise samples {z^(1), ..., z^(m)} from noise prior p_g(z)
  9
      Update the generator by descending its stochastic gradient:
  10
          ∇_θ_g (1/m) Σ log(1 - D(G(z^(i))))
  11
  end for
  

• 常见问题：模式崩溃（生成器仅输出有限变体）；训练不稳定（需技巧如Wasserstein损失或谱归一化）。在小数据集上，GANs优于扩散模型，因为数据利用更高效。

应用与变体#

GANs用于人脸生成（StyleGAN）、图像翻译（CycleGAN）和超分辨率。变体如DCGAN使用卷积层提升图像质量。表格展示GANs变体比较：

GANs在图像生成中奠定基础，但已被扩散模型部分取代，因后者在多样性和稳定性上更优。

架构与工作原理#

• 编码器：将输入图像( x )映射到潜在分布参数( \mu )和( \log \sigma^2 )，分布为( q_\phi(z|x) = \mathcal{N}(\mu, \sigma^2 I) )。
• 采样：使用重参数化技巧( z = \mu + \epsilon \cdot \sigma )，其中( \epsilon \sim \mathcal{N}(0, I) )，允许梯度传播。
• 解码器：从( z )重建图像( \hat{x} )，分布为( p_\theta(x|z) )。
• 生成过程：训练后，从先验( p(z) = \mathcal{N}(0, I) )采样( z )，解码生成新图像。

损失函数#

总损失为证据下界（ELBO）： [ \mathcal{L} = \mathbb{E}{q\phi(z|x)}[\log p_\theta(x|z)] - D_{KL}(q_\phi(z|x) | p(z)) ]

• 重建损失：测量( x )与( \hat{x} )相似度（如BCE损失）。
• KL散度：正则化潜在分布接近标准高斯，确保空间结构化。对于高斯分布，KL有闭形式： [ D_{KL}(q(z|x) | p(z)) = \frac{1}{2} \sum_j (1 + \log \sigma_j^2 - \mu_j^2 - \sigma_j^2) ]

训练与生成#

训练使用随机梯度下降，优化ELBO。生成时，直接从先验采样，支持插值（在潜在空间线性混合）。挑战：生成图像可能模糊，因重建损失偏好平均样本。

• 伪代码：

  1
  for each minibatch do
  2
      Encode x to μ, σ
  3
      Sample ε ~ N(0, I)
  4
      z = μ + σ * ε  // Reparameterization
  5
      Decode z to reconstruct x_hat
  6
      Compute reconstruction loss + KL divergence
  7
      Backprop and update θ, φ
  8
  end for
  

应用与扩展#

VAEs用于图像合成、异常检测和数据增强。扩展如(\beta)-VAE调整KL权重，提升潜在空间解耦。表格总结VAEs优势：

在DALL·E早期版本中，VAEs用于离散表示。

架构与工作原理#

• 前向过程：从真实图像( x_0 )逐步添加高斯噪声，过( T )步变为纯噪声( x_T \sim \mathcal{N}(0, I) )。转移为： [ x_t = \sqrt{1 - \beta_t} x_{t-1} + \sqrt{\beta_t} \epsilon, \quad \epsilon \sim \mathcal{N}(0, I) ] 闭形式：( x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1 - \bar{\alpha}_t} \epsilon )。
• 反向过程：训练神经网络（通常U-Net）预测噪声( \epsilon_\theta(x_t, t) )，逐步去噪： [ x_{t-1} = \frac{1}{\sqrt{\alpha_t}} \left( x_t - \frac{1 - \alpha_t}{\sqrt{1 - \bar{\alpha}t}} \epsilon\theta(x_t, t) \right) + \sigma_t z ] 其中( \alpha_t = 1 - \beta_t )，( \bar{\alpha}_t = \prod \alpha_s )。
• 条件生成：集成文本嵌入（如CLIP），指导去噪过程。

训练过程#

使用简化损失： [ L = \mathbb{E}{x_0, \epsilon, t} \left[ | \epsilon - \epsilon\theta(x_t, t) |^2 \right] ] 训练于大型数据集，U-Net捕捉空间层次。变体如DDIM加速推理，减少步数至50步。

• 伪代码：

  1
  repeat
  2
      x_0 ~ q(x_0)
  3
      t ~ Uniform({1, ..., T})
  4
      ε ~ N(0, I)
  5
      Take gradient descent step on ||ε - ε_θ(√(ᾱ_t) x_0 + √(1 - ᾱ_t) ε, t)||^2
  6
  until converged
  

挑战与优化#

计算密集（推理需多步）；优化包括噪声调度（余弦调度）和采样策略（如DDIM）。表格比较扩散变体：

应用包括文本到图像、图像编辑和视频生成。

原理与架构#

• 图像Transformer：像素序列化，自注意力限制于局部块（1D或2D），添加位置编码。架构包括自注意力层和前馈网络。
• 自注意力：查询、键、值机制计算像素间关系，支持自回归生成。
• 条件生成：编码器处理提示，解码器生成图像。

与其他模型整合#

在Stable Diffusion中，Transformer编码文本，指导扩散。在ViT中，图像分块作为token处理。优势：长距离依赖捕捉；挑战：参数爆炸。表格总结Transformer变体在生成中的应用：

用于超分辨率和条件生成，优于PixelCNN在似然和质量上。