No 1. 《The Computational Limits of Deep Learning》
No 2. 《Learning from Noisy Labels with Deep Neural Networks: A Survey》
No 3. 《Ideas for Improving the Field of Machine Learning: Summarizing Discussion from the NeurIPS 2019 Retrospectives Workshop》
No 4. *《Monte-Carlo Tree Search as Regularized Policy Optimization》
No 5. 《Towards Deeper Graph Neural Networks》
No 6. 《Xiaomingbot: A Multilingual Robot News Reporter》
No 7. *《Unsupervised Shape and Pose Disentanglement for 3D Meshes》
No 8. *《CheXphoto: 10,000+ Smartphone Photos and Synthetic Photographic Transformations of Chest X-rays for Benchmarking Deep Learning Robustness》
No 9. 《Active Learning under Label Shift》
No 10. 《Few-Shot Object Detection and Viewpoint Estimation for Objects in the Wild》
No 11. 《Generating Person Images with Appearance-aware Pose Stylizer》
No 12. *《Deep Learning in Protein Structural Modeling and Design》
No 13. 《Visualizing Deep Graph Generative Models for Drug Discovery》
No 14. *《Whole-Body Human Pose Estimation in the Wild》
No 15. 《Shape and Viewpoint without Keypoints》
No 16. 《ProteiNN: Intrinsic-Extrinsic Convolution and Pooling for Scalable Deep Protein Analysis》
No 17. *《Contact and Human Dynamics from Monocular Video》
No 18. 《Generative Hierarchical Features from Synthesizing Images》
No 19. *《Do Adversarially Robust ImageNet Models Transfer Better?》
No 20. 《Ideas for Improving the Field of Machine Learning: Summarizing Discussion from the NeurIPS 2019 Retrospectives Workshop》
No 21. 《D2D: Learning to find good correspondences for image matching and manipulation》
No 22. *《CrossTransformers: spatially-aware few-shot transfer》
No 23. *《A Unifying Perspective on Neighbor Embeddings along the Attraction-Repulsion Spectrum》
No 24. 《TSIT: A Simple and Versatile Framework for Image-to-Image Translation》
No 25. 《RetrieveGAN: Image Synthesis via Differentiable Patch Retrieval》
No 26. 《SketchGraphs: A Large-Scale Dataset for Modeling Relational Geometry in Computer-Aided Design》
No 27. 《Points2Surf: Learning Implicit Surfaces from Point Cloud Patches》
No 28. *《Accelerating 3D Deep Learning with PyTorch3D》
No 29. 《Path Signatures on Lie Groups》
No 30. 《Layer-Parallel Training with GPU Concurrency of Deep Residual Neural Networks Via Nonlinear Multigrid》


No 1. 《Closed-Form Factorization of Latent Semantics in GANs》
No 2. *《Graph Structure of Neural Networks》
No 3. 《Deep Retrieval: An End-to-End Learnable Structure Model for Large-Scale Recommendations》
No 4. 效果不错的像素图矢量化
No 5. 《Xiaomingbot: A Multilingual Robot News Reporter》
No 6. 《Learning Semantics-enriched Representation via Self-discovery, Self-classification, and Self-restoration》
No 7. 《Visualizing Transfer Learning》
No 8. 对比代码表示学习(ContraCode)
No 9. 《SegFix: Model-Agnostic Boundary Refinement for Segmentation》
No 10. 《Explainable Deep One-Class Classification》
No 11. 《Sudo rm -rf: Efficient Networks for Universal Audio Source Separation》
No 12. 《Contrastive Training for Improved Out-of-Distribution Detection》
No 13. 《Graph Neural Network Based Coarse-Grained Mapping Prediction》
No 14. 《The Computational Limits of Deep Learning》
No 15. 《A Single Stream Network for Robust and Real-time RGB-D Salient Object Detection》
No 16. 《Video Object Segmentation with Episodic Graph Memory Networks》
No 17. 《Deep Reinforcement Learning and its Neuroscientific Implications》
No 18. 《Rethinking Image Inpainting via a Mutual Encoder-Decoder with Feature Equalizations》
No 19. *《Meta-Learning Requires Meta-Augmentation》
No 20. 《Multi-Task Reinforcement Learning as a Hidden-Parameter Block MDP》
No 21. 《Deep Placental Vessel Segmentation for Fetoscopic Mosaicking》
No 22. 《Causal Inference using Gaussian Processes with Structured Latent Confounders》
No 23. 《A Survey of Privacy Attacks in Machine Learning》
No 24. 《D2D: Learning to find good correspondences for image matching and manipulation》
No 25. 《Uncertainty-Aware Lookahead Factor Models for Quantitative Investing》
No 26. 《Transfer Learning for Brain-Computer Interfaces: A Complete Pipeline》
No 27. 《RetrieveGAN: Image Synthesis via Differentiable Patch Retrieval》
No 28. 《ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation》
No 29. 《All in the Exponential Family: Bregman Duality in Thermodynamic Variational Inference》
No 30. 《Attack of the Tails: Yes, You Really Can Backdoor Federated Learning》


No 1. *《Debiased Contrastive Learning》


Motivation & Framework

很多研究者认为,深度学习的本质就是做两件事情:Representation Learning(表示学习)和 Inductive Bias Learning(归纳偏好学习)。目前的一个趋势就是,学好了样本的表示,在一些不涉及逻辑、推理等的问题上,例如判断句子的情感极性、识别图像中有哪些东西,AI 系统都可以完成非常不错;而涉及到更高层的语义、组合逻辑,则需要设计一些过程来辅助 AI 系统去分解复杂的任务,ICLR 19 的一篇 oral 就是做的类似的事情。因为归纳偏好的设计更多的是 任务相关的,复杂的过程需要非常精心的设计,所以很多工作都开始关注到表示学习上,NLP 最近大火的预训练模型,例如 BERT,就是利用大规模的语料预训练得到文本的好的表示。那么,CV 领域的 BERT 是什么呢?答案已经呼之欲出,就是对比学习。

Illustrative Example
Compare dollar

上面这个例子来自于 Contrastive Self-supervised Learning 这篇 Blog,表达的一个核心思想就是:尽管我们已经见过很多次钞票长什么样子,但我们很少能一模一样的画出钞票;虽然我们画不出栩栩如生的钞票,但我们依旧可以轻易地辨别出钞票。基于此,也就意味着表示学习算法并不一定要关注到样本的每一个细节,只要学到的特征能够使其和其他样本区别开来就行,这就是对比学习和对抗生成网络(GAN)的一个主要不同所在。

Contrastive Learning Framework

既然是表示学习,那么我们的核心就是要学习一个映射函数 $f$ ,把样本 $x$ 编码成其表示 $f(x)$ ,对比学习的核心就是使得这个 $f$ 满足下面这个式子:

$$s ( f(x), f(x^+)) >> s ( f(x), f(x^-))$$

这里的 $x^+$ 就是和$x$类似的样本, $x^-$ 就是和$x$不相似的样本, $s(\cdot,\cdot)$ 这是一个度量样本之间相似程度的函数,一个比较典型的 score 函数就是就是向量内积,即优化下面这一期望:

$$\underset{x, x^{+}, x^{-}}{\mathbb{E}}\left[-\log \left(\frac{e^{f(x)^{T} f\left(x^{+}\right)}}{e^{f(x)^{T} f\left(x^{+}\right)}+e^{f(x)^{T} f\left(x^{-}\right)}}\right)\right]$$

如果对于一个 $x$ ,我们有 $1$ 个正例和 $N-1$ 个负例,那么这个 loss 就可以看做是一个 N 分类问题,实际上就是一个交叉熵,而这个函数在对比学习的文章中被称之为 InfoNCE。事实上,最小化这一 loss 能够最大化 $f(x)$ 和 $f(x^+)$ 互信息的下界,让二者的表示更为接近。理解了这个式子其实就理解了整个对比学习的框架,后续研究的核心往往就聚焦于这个式子的两个方面:

如何定义目标函数?最简单的一种就是上面提到的内积函数,另外一中 triplet 的形式就是 $l = max(0, η + s (x, x^+) - s (x, x^-))$ ,直观上理解,就是希望正例 pair 和负例 pair 隔开至少 $η$ 的距离,这一函数同样可以写成另外一种形式,让正例 pair 和负例 pair 采用不同的 $s$ 函数,例如, $s(x, x^+) = \| \max (0, f(x)-f(x^+)\|$ , $s(x, x^+) = \| \max (\eta, f(x)-f(x^-)\|$ 。如何构建正例和负例?针对不同类型数据,例如图像、文本和音频,如何合理的定义哪些样本应该被视作是 $x^+$,哪些该被视作是 $x^-$,;如何增加负例样本的数量,也就是上面式子里的 $N$ ?这个问题是目前很多 paper 关注的一个方向,因为虽然自监督的数据有很多,但是设计出合理的正例和负例 pair,并且尽可能提升 pair 能够 cover 的 semantic relation,才能让得到的表示在 downstream task 表现的更好。


No 2. 《The Eyes Have It: An Integrated Eye and Face Model for Photorealistic Facial Animation》

No 3. 《Deep Learning-based Computational Pathology Predicts Origins for Cancers of Unknown Primary》
No 4. *《The Art of Natural Language Processing: Classical, Modern and Contemporary Approaches to Text Document Classification :: SSRN》
No 5. *《NVAE: A Deep Hierarchical Variational Autoencoder》
No 6. 《A Survey on Recent Progress in the Theory of Evolutionary Algorithms for Discrete Optimization》
No 7. 《ReXNet: Diminishing Representational Bottleneck on Convolutional Neural Network》
No 8. 《Knowledge Distillation Beyond Model Compression》
No 9. 《LSTM and GPT-2 Synthetic Speech Transfer Learning for Speaker Recognition to Overcome Data Scarcity》
No 10. 《Learning Search Space Partition for Black-box Optimization using Monte Carlo Tree Search》
No 11. 《Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention》
No 12. 具有周期激活函数的隐式神经网络表示
No 13. 《3D Topology Transformation with Generative Adversarial Networks》
No 14. 《Big Self-Supervised Models are Strong Semi-Supervised Learners》
No 15. 《Early-Learning Regularization Prevents Memorization of Noisy Labels》
No 16. 《How benign is benign overfitting?》
No 17. 《The Global Landscape of Neural Networks: An Overview》
No 18. 《Language-agnostic BERT Sentence Embedding》
No 19. *《SurVAE Flows: Surjections to Bridge the Gap between VAEs and Flows》
No 20. *《The Measure of Intelligence》
No 21. 《Validation and generalization of pixel-wise relevance in convolutional neural networks trained for face classification》
No 22. 《The Go Transformer: Natural Language Modeling for Game Play》
No 23. 《Graph Neural Network Based Coarse-Grained Mapping Prediction》
No 24. 《Approximate Nearest Neighbor Negative Contrastive Learning for Dense Text Retrieval》
No 25. 《Wiki-CS: A Wikipedia-Based Benchmark for Graph Neural Networks》
No 26. 《DeeBERT: Dynamic Early Exiting for Accelerating BERT Inference》
No 27. 《Collaborative Learning for Faster StyleGAN Embedding》
No 28. *《In Search of Lost Domain Generalization》
No 29. 《DeeBERT: Dynamic Early Exiting for Accelerating BERT Inference》
No 30. 《Federated Learning with Compression: Unified Analysis and Sharp Guarantees》

来源:爱可可老师 https://www.yuque.com/fly51fly/gvl1ma/esp4c7