Weekly-220619

本文最后更新于：June 19, 2022 pm

本周学习汇报

Elucidating the Design Space of Diffusion-Based Generative Models
Improved Vector Quantized Diffusion Models
关于对比学习
关于遥感图像迁移学习

1. 扩散模型子空间设计

Elucidating the Design Space of Diffusion-Based Generative Models

1.1. Introduction

  • Identify several changes to both the sampling and training processes, as well as preconditioning of the score networks.
  • Literatures: dense on theory, and derivations of sampling schedule, training dynamics, noise level parameterization.
  • Corresponding dangers: obscuring the available design space— a proposed model may appear as a tightly coupled package where no individual component can be modified without breaking the entire system.
  • Contributions:
    • About denoising score matching: to obtain better insights into how these components are linked together and what degrees of freedom are available in the design of the overall system.
    • A higher-order Runge–Kutta method: concerns the sampling processes used to synthesize images using diffusion models.
    • the training of the score-modeling neural network: Derive best practices for improving the training dynamics.

1.2. Methodology

1.2.1 Expressing diffusion models in a common framework

1.2.2 Improvements to deterministic sampling

1.3. Conclusion and Future Work

  • Modular design: putting diffusion models to a common framework.
  • The current high-resolution diffusion models: separate super-resolution steps, subspace projection, very large networks, or hybrid approaches.

2. VQVAE与扩散模型的融合

Improved Vector Quantized Diffusion Models

2.1. Introduction

  • Denoising Diffusion Probability Models:

    • Continuous diffusion models: More.
    • Discrete diffusion models: This paper.

  • Studies:

    • Better network architecture.
    • Hierarchical structure design.
    • Alternative loss function.
    • Fast sampling strategy.

  • Contribution:

    • Explore classifier-free guidance sampling for discrete denoising diffusion model and propose a more general and effective implementation of classifier-free guidance.
    • Present a high-quality inference strategy to alleviate the joint distribution issue in VQ-Diffusion.
  • VQ-Diffusion

2.3. Methodology

  • Discrete Classifier-free Guidance

  • High-quality Inference Strategy

2.4. Experiments

  • Quantitative Analysis：

  • Qualitative Analysis：

2.5. Conclusion and Future Work

  • Two issues: the posterior issue and the joint distribution issue.
  • Proposed: two techniques and improve the quality of the generated samples and their consistency with the input text by a large margin.

3. 关于对比学习的一个报告

参考视频

  • 个人OneNote笔记位置： 1-Note|完备 / 1-Learning｜学习 / 103-Method-CL｜对比学习 / 对比学习报告——如何更好地理解对比学习

4. 关于遥感图像迁移学习

4.1 问题描述—域间差异问题

  • 动机： 遥感图像场景分类中受到的一些限制—->需提高模型整体泛化性(迁移学习)
    • 样本数量角度： 遥感图像样本数量少.
    • 遥感任务角度： 遥感图像的处理一般是在同一个域中，即训练集和测试集会来源于同一类，当存在一个新的无标签信息的数据集需要场景分类时，则需要跨域场景分类。
  • 目的： 减少域间差异，提高分类(下游任务)性能。

4.2 遥感图像关于域的部分研究现状

论文参考—基于深度迁移学习的遥感图像场景分类方法研究

4.3 方法分析—部分解决方案的可行性

  • 传统数学的角度： 采用机器学习的方式，将域A的图像迁移到域B上，对于每张图像Xa（真实图像）而言，其坐标或其他特征与图像Xb（生成图像）一一对应（像素级任务）。
    • 难点： 映射公式(模型或线性关系)的创建 + 图像真实性的判断（损失函数）+ 结果评估（评价指标）
    • 重点： 不同设备不同时间拍摄图像之间的相似与不同，如何一一对应的问题。
  • 深度学习的角度：
    • 难点： 隐式关系的学习（公共特征空间的构建）+ 距离度量（KL散度？MMD？）+ 具体模型构建（对比学习？其他特征提取网络？）+ 其他问题（如何应对数据集少以及分辨率高的问题？域自适应中的—半监督/无监督学习）
    • 重点： 怎样实现单一图像之间的转变，并保证图像信息量无缺失。

5. 下一步计划（关于遥感图像）

  • 对图像转换任务的整体性把握
  • 相关方向论文的调研
  • 相关数据集考察（需请教师兄）
  • 具体实现baseline确立