关于论文及代码阅读

任务

《Deep Learning for Generic Object Detection: A Survey》^[1]

《Improving Visual Quality of Unrestricted Adversarial Examples with Wavelet-VAE》^[2]

《WarpedGANSpace: Finding non-linear RBF paths in GAN latent space》^[3]

1. 小波VAE生成对抗样本

• 主要思想：使用小波VAE结构，通过修改一些latent code，由原始image得到生成对抗样本。
• 相关工作：FGSM、PGD、MIM、DIM等其他对抗样本生成方法。
• 评价指标：ASR用来测量attack能力，FID与LPIPS用来测量图片质量。

$${ Score }_{ASR}=100 \% \times \frac{\left\|\left\{x_{a d v} \mid f\left(x_{a d v}\right) \neq y\right\}\right\|}{N}$$ $${Score}_{F I D}=100 \% \times \sqrt{1-\frac{\min \left(F I D\left(x, x_{a d v}\right), 200\right)}{200}}$$ $${Score}_{L P I P S}=100 \% \times \sum_{l} \frac{1}{H_{l} W_{l}} \sum_{h, w} d\left(f_{h w}^{l}, f_{0 h w}^{l}\right)$$

• 数据集：1000张随机选择的ImageNet validation images。
• 方法设计：使用小波VAE网络结构，图像由WPT分解，并将实际图像投影到潜空间中，即高纬像素空间到低纬流形空间。其中，第一阶段设计小波VAE学习输入图像的潜代码分布，第二阶段固定参数，由目标图像编码得到z（梯度优化方式）。
  图1-1 wavelet-VAE网络结构

2. 寻找非线性RBF路径

• 主要思想：探索GAN潜在空间(latent space)的结构，增强图像生成的可解释性，以一种非线性的方式，控制样本图像的生成。
• 相关工作：生成性学习中的解耦，预训练GAN生成器中发现可解释路径，如StyleGAN2等。
• 评价指标：accuracy、 coefficient、 traversal path length等等。
• 对比模型：SNGAN（MNIST）、SNGAN（Anime）、BigGAN(ImageNet)、ProGAN(CelebAHQ)、StyleGAN2(FFHQ)等。
• 方法设计：
  图2-1 WarpedGANSpace设计流程

3. 下周计划

1. 尝试读懂WarpedGANSpace方法到StyleGAN2模型中。
2. 阅读其他相关论文。

参考

1. https://link.springer.com/article/10.1007/s11263-019-01247-4 ↩
2. https://arxiv.org/abs/2108.11032 ↩
3. https://arxiv.org/abs/2109.13357 ↩