Weekly-211114
本文最后更新于：November 14, 2021 pm
本周学习汇报
DatasetGAN: Efficient Labeled Data Factory with Minimal Human Effort(CVPR2021oral)[1]EditGAN: High-Precision Semantic Image Editing(NeurlPS2021)[2]分支限界法与堆排序的大作业
1. DatasetGAN:标注图像的生成
1.1 Motivation
- 现如今深度学习网络模型需要大量的数据标注；
- 对语义分割任务而言，数据标注耗时严重；
- 目的：通过少数标记的样本生成大量高质量的标注数据集。
1.2 Related Work
- 标注数据生成模型：使用大量标注数据对模型进行训练，如StyleGAN。而本文则利用少量人工标注样本去生成高质量语义标签。
- 半监督学习：可用于对数据集的扩充。常用的adversarial loss只学习生成图像的语义而没有探索图像本身的语义。依赖卷积和残差结构的decoder，将中间层的特征映射到一个segmentation map，而本文则直接对解缠的特征向量(styleGAN)进行直接解释，逐像素进行操作。
- 对比学习：使用对抗损失，测量样本对之间的相似度，学习图像的特征表示空间。本文用GAN特征图的语义信息，代替对比损失。
1.3 Method
- 方法重点：获得高维latent space的语义信息；
- 应用：语义分割、关键点预测；
1.4 Result
2. EditGAN:高精度语义图像编辑
2.1 Motivation
- 其他研究：大多数基于GAN的图像编辑方法通常需要用于训练的语义分割标注的大规模数据集，并且仅提供高级控制，或仅在不同图像之间进行插值。
- 本文目的：提供高质量、高精度的语义图像编辑，允许用户修改一些细节来对图像进行编辑。
2.2 Related Work
- 图像编辑：基于GAN的图像编辑方法*6，详见论文页3。
- GAN与潜空间图像映射：DatasetGAN与SemanticGAN的半监督学习。
2.3 Method
- Background：StyleGAN2；
- 方法重点：侧重于encoder与优化器的设计，使图像在GAN的潜空间内更好地得到编辑；
2.4 Result
3. 其他
- 工程数学：矩阵的满秩分解、正交三角分解、奇异值分解、极分解、谱分解；
- 网络安全：Hash函数的应用，消息认证与数字签名；
- 高级算法分析：近似算法与多项式近似方案，0/1背包问题的大作业；
- 高级机器学习：特征选择与稀疏学习；
- 高级人机交互技术： Increasing Electrical Muscle Stimulation’s Dexterity by means of Back of the Hand Actuation；
- 科技论文写作(蹭课)：IMRAD、论文类型、写作技巧、写作工具等；
4. 下周计划
- 阅读NeurlPS的几篇论文。
- 准备人机交互与网络安全的论文的课堂展示。
- 继续阅读相关论文及代码。