本周学习汇报

自然辩证法的小论文作业

A Survey on Curriculum Learning

GraphGAN: Graph Representation Learning with Generative Adversarial Nets(AAAI)

1. 自然辩证法作业

题目：计算机视觉领域的创新思维方式剖析 ——从科学技术方法论的角度谈创新思维能力的提升

• 注：主要想借此回顾一下之前看过的内容，顺便思考一下如何创新的问题（科学技术方法论的角度）。无奈由于个人水平以及字数限制，并且对科学技术方法论了解不透彻，所以先就这样吧。不过自然辩证法这门学科还挺不错的哈哈哈。

2. 课程学习综述阅读

2.1 简介

• 课程学习(curriculum Learning)是机器学习的一种训练策略，让机器学习由简单的数据到复杂的数据逐步进行学习（类似于学生学习的一些课程，由易到难），借用此方式提升模型的泛化性能和收敛速度。主要包含Difficulty Measurer + Training Scheduler两部分。
  

2.2 框架结构

2.3 应用与发展

• 应用：主要有导向和去噪两种应用。
  • 导向是指加快训练收敛速度，主要场景是当目标任务复杂且有不同的分布时，比如多任务学习、GAN的训练、NAS、domain adaption、样本不平衡的分类等等。
  • 去噪是指提高模型泛化能力和鲁棒性，主要场景是当任务由很多噪声时，样本质量不一，存在异构数据等情况，比如弱监督或者无监督学习。
• 发展：
  • 更好的评估标准
  • 更先进的理论：“easier first还是harder first
  • 更多的CL算法与更多样的应用

3. 图表征学习与生成对抗网络

Github

3.1. Introduction

• Graph representation learning： Embed each vertex in a graph into a low-dimensional vector space.
• Categories: generative models and discriminative models.
• proposed: Graph softmax.

3.2. Related Work

• GAN
• Graph Representation Learning

3.3. Methodology

3.3.1 GraphGAN Framework

• G： Generates (or selects, if more precise) the most likely vertices to be connected with vc from vertex set V.
• D： Discriminate the connectivity for the vertex pair (v, vc)

3.3.2 Graph Softmax for Generator

3.3.3 The Code Tree

• https://github.dev/hwwang55/GraphGAN
• data
  • CA-GrQc
• pre_train
  • CA…pre_train . emb
• src
  • evaluation
    • link_prediction.py : used to evaluate the application of link prediction.
  • GraphGAN
    • graph_gan.py:
      
    • generator： the G model
    • discriminator： the D model
    • config： some settings

3.4. Experiments

• Quantitative Analysis：
  

3.5. Conclusion and Future Work

• Unifies two schools of graph representation learning methodologies
• Solves the inherent limitations of the traditional softmax

4. 下一步计划

• 期末考试
• 了解原型学习的相关内容
• 重新阅读图像超分辨率的内容