Weekly-211121

本文最后更新于：November 26, 2021 pm

本周学习汇报

Don’t Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence(NeurlPS2021)[1]
Do Vision Transformers See Like Convolutional Neural Networks?(NeurlPS2021)[2]
人机交互论文阅读及翻译(余两周准备)

1. 差分隐私——对私有数据的保护（NVIDIA）

1.1 HighLight

图1-1 DP-Sinkhorn应用

  • 差分隐私:是一个数据共享手段，可以实现仅分享可以描述数据库的一些统计特征、而不公开具体到个人的信息。 差分隐私背后的直观想法是：如果随机修改数据库中的一个记录造成的影响足够小，求得的统计特征就不能被用来反推出单一记录的内容；这一特性可以被用来保护隐私。
  • DP-Sinkhorn: 一种新的基于最优传输的生成方法，用于从具有差异隐私的私有数据中学习数据分布(最小化Sinkhorn divergence)。

1.2 Motivation

  • 目的：在满足差分隐私约束的同时学习生成模型；
  • 原有挑战：GAN在私有数据生成方面具有挑战性（不稳定，超参数难调节，容易模式坍塌）；
  • 非对抗生成学习方法：具有更稳定的收敛性，产生更高质量的输出，并且对超参数的选择更稳健。

1.3 Method

图1-2 DP-Sinkhorn方法流程

1.4 Result

图1-3 MNIST与Fashion-MNIST实验结果

2. ViT与CNN对比（Google Research, Brain Team）

2.1 HighLight

  • ViTs与CNNs内部表示结构有显著差异，在浅层与深层之间ViT有着更统一的表示。
  • 分析如何利用局部/全局空间信息，与浅层的ResNet相比，ViT包含更多的全局信息，可获得数量上更多的特征。
  • 浅层合并局部信息仍至关重要，大规模预训练数据可帮助前期的注意力层做到这一点。
  • 与ResNets相比，ViT中的跳过连接的影响更大，对性能和表示相似性有很强的影响。
  • 研究空间信息的效果保留，发现了空间定位与分类方法之间的联系。
  • 研究数据集规模对迁移学习的影响，线性探针研究揭示了其用于高质量的中间表示的重要性。

2.2 Motivation

  • 探究ViT与CNN相比是如何处理视觉任务的。
  • Q1: Vision Transformers如何解决这些基于图像的问题任务？
  • Q2: 它们是否像卷积一样，从头开始学习相同的归纳偏差？或者它们拥有新的任务表示？
  • Q3: 规模在学习这些表示中的作用是什么？

2.3 Method

数据集及网络：

  • 在 JFT-300M 数据集上对 ResNet50x1, ResNet152x2, ViT-B/32, ViT-B/16, ViT-L/16 和 ViT-H/14 进行了对比

度量方式：

  1. Representation Similarity（表示相似性）.
  2. CKA（centered kernel alignment）——定量的对比网络之间的特征表达.

图2-1 CKA计算方式

2.4 Result

  • 相似度比较

图2-2 相似度比较

  • 聚合全局信息能力比较

图2-3 聚合全局信息能力比较

  • 残差连接的影响

图2-4 残差连接的影响

  • 空间定位

图2-5 空间定位

3. 情绪与代理对临场感的影响—人机交互相关研究

3.1 HighLight

  • 摘要：虚拟现实(VR)最重要的特征之一可以说是它可以诱导更高的临场感。研究者关于临场感如何受到人的影响仍然没有定论，如情绪和代理等因素。我们在这里采用了一种新颖的设计去研究测试虚拟现实引发的愉悦或是恐惧，有或者没有用户代理。来自121位参与者的结果表明，虚拟环境诱发的主导情绪与临场感呈正相关。此外，代理对临场感也存在着积极的影响，除此之外也缓和了情绪对临场感的影响。我们展示了首次情绪和代理对临场感的影响不是直接的，而是可以通过主观测量的分离的设计因素来建模。我们讨论了这些发现如何解释相关工作看似矛盾的结果，以及它们对VR设计的影响。

  • 关键词：虚拟现实；临场感；情绪；代理；

3.2 Motivation

  • 了解如何更好地促进用户的临场感；
  • 提高用户在VR中的满意度、愉悦度、参与度；

research question
RQ1：用户的情绪与VR中的临场感之间有关系吗？
RQ2：在VR中为用户提供的代理级别如何影响他们的临场感？
RQ3：我们如何模拟情绪和代理对VR中的临场感的影响？

  • Felnhofer等人诱发VR中五种不同的情绪，并发现不同等级的临场感保持不同虚拟环境的一致性，在他们的效价变化时，引发更广泛的情绪。
  • Baños等人的一个研究尝试去调查情绪强度与临场感的关系。他们发现情绪强度与临场感在引发放松或快乐的虚拟环境中呈正相关。
  • Pallaviciniet等人比较了在2D屏幕和虚拟现实上玩电子游戏所带来的愉悦感水平，他们发现，与2D屏幕相比，虚拟现实条件引发的快乐和恐惧水平(取决于玩的游戏)明显更高。
  • Piccioneetal最近的一项研究使用了一项高尔夫模拟任务，并发现在玩游戏的参与者群体和其他观看游戏的参与者群体之间没有差异。
  • Borrego等人使用VR步进任务来比较中风患者和健康个体在VR中的临场感，有趣的是，他们发现用户感知的代理和临场感之间没有相关性。

3.4 Method

  • 外界刺激的选择：视觉研究、听觉研究、设备选择；
  • 测量方式：问卷调查；
  • 参与者：121名（39男，86女）；
  • 结果分析：ANOVA（重复测量方差分析）；

3.5 Result

图3-1 关系散点图

4. 其他

  • 工程数学：向量范数、矩阵范数、矩阵序列与极限、矩阵幂级数；
  • 英语：观看电影《猫鼠游戏》；
  • 网络安全：《恶意代码流量动态伪装》、《云数据综述》；
  • 高级算法分析：近似算法；
  • 高级机器学习：计算学习理论；
  • 高级人机交互技术：《XRgonomics Facilitating the Creation of Ergonomic 3D》；

5. 下周计划

  1. 完成人机交互论文展示PPT。
  2. 完成网络安全论文展示PPT。
  3. 阅读BEIT和MAE的论文。

参考:

  1. https://nv-tlabs.github.io/DP-Sinkhorn/ ↩
  2. https://arxiv.org/pdf/2108.08810.pdf ↩