关于论文及代码阅读

任务

《Evaluation of Latent Space Learning with Procedurally-Generated Datasets of Shapes》^[1]

《WarpedGANSpace: Finding non-linear RBF paths in GAN latent space》——code ^[2]

1. 潜空间学习评估

• 主要思想：比较不同神经网络模型学习latent space的质量，以生成3D模型。
• 相关工作：3D形状编码（AEs，VAEs，GANs）、latent space评估。
• 评价指标： 协方差。

$$\mathrm{d} \operatorname{Cov}^{2}(X, Y)=\frac{1}{n^{2}} \sum_{j=1}^{n} \sum_{k=1}^{n} A_{j, k} B_{j, k}$$

• 方法设计：基于split grammar的思想，使用递归的方式生成新的3D结构，与box与patch的使用。其中形状编码结构有：
  • 3D-AE
  • 3D-VAE 在interpolation质量上效果最弱。
  • 3D-GAN
  • 3D-PGAE 在latent space directions任务上效果最优。

2. WarpedGANSpace

• 目的：尝试在GAN的潜在空间内寻找非线性RBF路径。
• 扭曲函数：用于扭曲latnet space，并赋予梯度。对给定latent code，在确定的向量场上遍历latent space。每个扭曲函数都有一组支持向量定义，并产生一系列非线性路径。
• 预训练模型：generators、arcface、fairface、hopenet、sfd等。
• 潜在空间遍历：路径潜在代码和生成的图像序列，
• 属性空间遍历：包括面部边界框、身份分数、年龄、种族和性别估计，在偏航、俯仰和滚动角度方面的姿态估计，以及12个面部动作单元预测。

3.其他

• 工程数学：线性变换的矩阵与运算、同构、特征向量、不变子空间、相似对角形等。
• 网络安全：对称密码。
• 高级算法分析：贪心、动态规划算法。
• 高级机器学习：SVM核函数与软间隔正则化ppt讲解。
• 高级人机交互技术：脑机交互技术、评估。

4.下周计划

1. 阅读WarpedGANSpace代码。
2. 阅读其他相关论文。

参考

1. Evaluation of Latent Space Learning with Procedurally-Generated Datasets of Shapes ↩
2. https://github.com/chi0tzp/WarpedGANSpace ↩