Daily-211028

本文最后更新于：October 30, 2021 pm

  • 2021年10月28日-星期四-晴
  • 主要收获：
    • 阅读论文《Bridging the Gap between Label- and Reference-based Synthesis in Multi-attribute Image-to-Image Translation》（ICCV2021）
    • 上午与晚上的课：英语、机器学习（聚类）

关于label-based与reference-based图像翻译(I2IT)问题

Motivation

  当前主要有两种I2I方式，一是基于标签的图像生成，即输入图像+label（如微笑、发色等）到模型中，以得到根据label输出的生成图像；另一种是基于参考图像的生成，即输入图像+reference图像到模型中，以得到输入图像与参考图像混合样式的生成图像。

  • label-based：
  • reference-based：

文章考虑综合两种图像生成的方式，使其互相引导，以得到效果的提升。

  • 单一属性的I2IT问题：UNIT、MUNIT、DRIT等；
  • 多属性的I2IT问题：StarGAN、AttGAN等。

Method

  • 目标及目标函数：使LEM多样性更强，使REM准确度更高。
  • 对抗损失：
  • 属性分类损失：
  • 重构损失：
  • 循环损失：
  • 模式寻找目标：

  • 属性约束：

  • 总体目标：

Experiments