Weekly-210926

本文最后更新于:September 28, 2021 pm

关于GAN的部分论文梳理

参考论文: How Generative Adversarial Networks and Their Variants Work: An Overview(https://arxiv.org/pdf/1711.05914.pdf)

关于特征解缠

参考论文: Orthogonal Jacobian Regularization for Unsupervised Disentanglement in Image Generation(ICCV2021)
https://arxiv.org/abs/2108.07668)

  • 概念 在给定的数据集中,学习解开的特征表示,每一维度对应一个变异因子(FOV)的变化,且FOV之间相互独立,各自代表某一图像连续变换的特征。
  • 适用领域 域适应、可控图像生成、图像处理。
  • 相关工作 VAE相关( β-VAE , FactorVAE, β-TCVAE等通过加强潜变量之间的独立性来解缠),GAN相关( SeFa,Hessian Penalty)
  • 正交雅可比正则化(OroJaR) 由于对网络输入的单个维度进行扰动时,其输出的变化是独立的。基于这一直觉,计算输出的雅可比矩阵,表示不同的潜在输入引起的变化,为使这些变化不相关,需约束雅可比矩阵每个维度的向量是正交的。
  • 评价指标 PPL(感知路径长度),FID,VP(变化可预测性),其中FID是图像生成常用指标,表示生成图像分布与真实图像分布之间的距离,越小越好;PPL表示潜码空间质量,其度量值与形状的一致性与稳定性有关,越小越好;VP即变化可预测性,鼓励z的每一个维度引起的变化可区分,越大越好。
  • 数据集 Edges+Shoes、CLEVR-Simple、CLEVR-Complex

下周计划

  1. 阅读关于检测、分割的相关论文;
  2. 阅读Latent Space Disentanglement相关论文。