本周学习汇报

Projected GANs Converge Faster(NeurlPS2021)^[1]

Adaptive Convolutions for Structure-Aware Style Transfer(CVPR2021)^[2]

分支限界法与堆排序的原理与实现

1. Projected GAN的加速收敛

1.1 Motivation

  此论文针对任务为图像翻译(I2I)，由于判别器不能充分利用来自预训练模型更深层的特征，作者提出Projected GAN的方式，以提升图像质量、采样效率、收敛速度等。

1.2 Related Work

• GAN的预训练模型：StyleGAN；
• 判别器结构设计；

1.3 Method

• 多规模判别器设计
• 随机投影设计
  
• 预训练特征网络

1.4 Result

2. 结构感知风格迁移的自适应卷积

风格迁移 + AdaConv

2.1 Motivation

• 自适应实例规范化(AdaIN)：是一种全局操作，所以转变过程中图像的局部几何结构容易被忽略。
• 自适应卷积(AdaConv)：允许同时转换统计与结构特征。可以应用在基于风格的图像生成，以及其他AdaIN被采用的任务中。

2.2 Related Work

• 风格迁移：BN、IN、CIN、DIN、AdaIN；
• 生成模型的调制层：SPADE，StyleGAN；
• 内核预测；

2.3 Method

• 自适应实例归一化

$$\operatorname{AdaIN}(x ; a, b)=a\left(\frac{x-\mu_{x}}{\sigma_{x}}\right)+b$$

• 自适应卷积

在AdaIN的基础上引入条件滤波

$$\begin{aligned} \operatorname{AdaConv}_{\mathrm{dw}}(x ; \mathbf{f}, b) &=\sum_{x_{i} \in \mathcal{N}(x)} f_{i}\left(\frac{x_{i}-\mu_{x}}{\sigma_{x}}\right)+b \\ &=\sum_{x_{i} \in \mathcal{N}(x)} \operatorname{AdaIN}\left(x ; f_{i}, b\right) \end{aligned}$$

引入一个可分离逐点卷积tensor

$$\operatorname{AdaConv}(x ; \mathbf{p}, \mathbf{f}, \mathbf{b})=\sum_{c} p_{c} \operatorname{AdaConv}_{\mathrm{dw}}\left(x_{c} ; \mathbf{f}_{c}, b_{c}\right)$$

• 模型流程图

其中编码器结构为：

2.4 Result

3. 其他

• 工程数学：对角矩阵、酉变化、正规矩阵、二次型等；
• 网络安全：Hash函数；
• 高级算法分析：NP完全问题的一些例子；
• 高级机器学习：降维与度量学习；
• 高级人机交互技术： Towards an Understanding of Situated AR Visualization for Basketball Free-Throw Training + Text Input and AI-infused Human-Computer Interaction 的报告；

4. 下周计划

1. 整理这段时期的关于I2IT的论文。
2. 完成分支限界法解决0/1背包问题的大作业。
3. 继续阅读相关论文及代码。

参考：

1. https://sites.google.com/view/projected-gan/ ↩
2. https://openaccess.thecvf.com/content/CVPR2021/papers/Chandran_Adaptive_Convolutions_for_Structure-Aware_Style_Transfer_CVPR_2021_paper.pdf ↩