Weekly-220522

本文最后更新于：May 22, 2022 pm

本周学习汇报

Rethinking Minimal Sufficient Representation in Contrastive Learning
Correlation Verification for Image Retrieval
MAXIM: Multi-Axis MLP for Image Processing
Semantically Accurate Super-Resolution Generative Adversarial Networks

1. 对比学习中的最小充分表示

1. 引言

  • 文章指出，忽略非共享（指不同view之间）的任务相关信息，可能导致下游任务的性能下降,理论表明，最小充分表示在对比学习中并不足够（对下游任务而言），所以其改进方式可以从互信息（一个变量对另一个变量的影响程度）入手，增加表征和输入之间的互信息，从而近似的引入任务相关的信息。

2. 相关工作

  • 对比学习： 着重于学习同类实例之间的共同特征，区分非同类实例之间的不同之处，与生成式学习相比，更注重抽象的语义级别的特征空间而不是一些繁琐的细节，因此泛化能力更强。
  • 信息瓶颈理论： 模型提取第一阶段学习的任务相关信息保障充分性，第二阶段则负责压缩任务无关信息。

3. 方法

4. 实验效果

  • 定量分析：

5. 总结与展望

2. 图像检索

1. 引言

  • 一个有趣的任务： 图像检索，根据一张图像query 判断与它相似的图像，难点在于hard samples。
  • 几何验证： 只依赖稀疏和与之特征的相关性。不可以进行多尺度的操作。在测试过程仍需要非常昂贵的推理。

2. 相关工作

  • Image retrieval
  • Diffusion / Query expansion
  • 4D convolutional neural network.（用以捕获不同的clip之间的信息）
  • Hide-and-Seek.

3. 方法

3.1 CVNet-Global

3.2 CVNet-Rerank

4. 实验效果

  • 定量分析：

5. 总结与展望

  • 文章从单个推理中构建跨尺度相关关系，实现跨尺度匹配而不需要昂贵的多尺度推理。
  • 限制：速度和存储问题，采用了核稀疏、通道缩减和量化的方式解决。

3. 图像处理中的多维MLP

1. 引言

  • 领域： 用于去雾、去雨、去噪、去模糊、润色等五种不同的工作；

2. 相关工作

  • 图像修复模型
  • 视觉Transformer
  • MLP视觉模型

3. 方法


4. 实验效果

  • 定量分析：

  • 定性分析： 以去雾为例。

5. 总结与展望

  • Our work suggests an effective and efficient approach for applying gMLP to low-level vision tasks to gain global attention, a missing attribute of basic CNNs. Our gMLP initialization of the MAXIM family significantly advances state-of-the-arts in several image enhancement and restoration tasks with moderate complexity.

4. 基于GAN的一种超分辨率算法

1. Introduction

  • Problem： Semantic segmentation and image super-resolution by jointly considering the performance of both in training a Generative Adversarial Network (GAN).
  • proposed： a novel architecture and domain-specific feature loss.
  • Super-resolution: SRCNN、VDSR、SRGAN、ESRGAN.
  • Super-Resolution in Remote Sensing
  • Semantic Segmentation in Remote Sensing

3. Methodology

4. Experiments

  • Quantitative Analysis：

  • Qualitative Analysis：

5. Conclusion and Future Work

  • Demonstrated the benefits of super-resolution image enhancement for improving semantic segmentation performance in remote sensing applications.
  • Envision jointly learning additional semantically meaningful tasks, and incorporating multiple views into semantically aware super resolution.

5. 下一步计划

  • 写课程的小论文作业
  • 了解原型学习与课程式学习的相关内容