本周学习汇报

《Effects of Emotion and Agency on Presence in Virtual Reality》^[1]

《Semantic Photo Manipulation with a Generative Image Prior》^[2]

《Alias-Free Generative Adversarial Networks》^[3]

1. 情绪与代理对虚拟环境的影响 Undone

• 动机：探索情绪与代理(虚拟玩家)对VR中虚拟临场感的影响。
• 结论：虚拟环境诱导的情绪与临场感呈现正相关；agency对临场感有正向影响，并且可以缓和情绪对临场感的影响。
• 方式：agency对临场感有正向影响，并且可以缓和情绪对临场感的影响；用主观措施的分离因素进行建模，解释一些看似矛盾的结果。

2. 自然图像语义操作(adding, removing, changing)

• 主要思想：运用GAN的图像重构思想，实现照片的交互式操作，包括增删改^[4]。

图2-1 本文工作

• 论文难点：图像重构问题(很难找到一个潜代码z做到图像的重构)，合成图像部分与原始图像不匹配问题(生成图像的真实性)。
• 相关工作：GAN、图像的高级语义操纵。
• 网络结构：主要包含图像映射、潜空间编辑、图像生成三步，如图所示：

图2-2 网络结构

• 主要方法：

  1. 使用生成器进行图像重构，使每一层生成feature map与原始图像都更加接近。 $$\mathcal{L}_{r}(\mathrm{x}, G(\mathrm{z}))=\|\mathrm{x}-G(\mathrm{z})\|_{1}+\lambda_{\mathrm{VGG}} \sum_{i=1}^{N} \frac{1}{M_{i}}\left\|F^{(i)}(\mathrm{x})-F^{(i)}(G(\mathrm{z}))\right\|_{1}$$
  2. 特定图像适应问题，应用mask的方法，更好地保留图像的细节。
  3. 保留语义表示， 生成器是有层级结构的，第一层对z进行操作g1(z)，最后一层更接近像素级别并具有更多的细节信息，因此提出一个拆解的思想：底层与图像结构信息相关，高层与图像的细节信息相关，因此当G‘进行重构时，仅调整Gf(即高层网络) $$\begin{aligned} G_{F}^{\prime}\left(z_{h}\right) & \equiv g_{n}\left(\left(1+\delta_{n-1}\right) \odot g_{n-1}\left(\cdots\left(\left(1+\delta_{h+1}\right) \odot g_{h+1}\left(z_{h}\right) \cdots\right)\right)\right) \\ G^{\prime}(z) & \equiv G_{F}^{\prime}\left(G_{H}(z)\right) \end{aligned}$$
  4. 生成器整体优化，其中 ${L}_{\text {reg }}$ 代表正则化项，防止过拟合。 $$\mathcal{L}=\mathcal{L}_{\text {match }}+\lambda_{\text {reg }} \mathcal{L}_{\text {reg }}$$

• 仍存在的问题：

  1. 实时性与效率问题；
  2. 潜空间内的特征具有耦合性；
  3. 图像生成的质量与分辨率受GAN的限制。

3. StyleGAN3（NeurIPS 2021） Undone

• 提出动机：从根本上解决了StyleGAN2 图像坐标与特征粘连的问题，实现了真正的图像平移、旋转等不变性，大幅提高了图像合成质量。其目标在于，创建更自然的转换层次的体系结构，让每个特征的精确亚像素位置都从底层粗特征中获得。
• 应用领域：视频与动画的生成模型（在亚像素尺度上实现了图像平移和旋转不变性）。

• 等变中的连续信号处理：根据Nyquist–Shannon sampling理论与Whittaker–Shanno差值公式。
  

  图3-1 网络结构

• 网络层改进：等变网络层，有卷积、上采样下采样、非线性等方面的改进。

4. 其他

• 工程数学：λ-矩阵、Smith标准形、不变因子、行列式因子；
• 网络安全：多表加密之Hill密码；
• 高级算法分析：动态规划算法，分支限界法；
• 高级机器学习：贝叶斯分类器；
• 高级人机交互技术：PenSight；
• 随机森林：学习并练习一些数据处理的相关内容。

5. 下周计划

1. 阅读StyleGAN3的论文。
2. 阅读StyleGAN3相关代码。

参考

1. https://dl.acm.org/doi/fullHtml/10.1145/3411764.3445588 ↩
2. http://gandissect.csail.mit.edu/ ↩
3. https://nvlabs-fi-cdn.nvidia.com/stylegan3/stylegan3-paper.pdf ↩
4. https://ganpaint.io/#paper ↩