少样本学习论文备忘

1. Rethinking Few-Shot Image Classification: a Good Embedding Is All You Need?

方法：用所有的基类去预训练分类网络，去掉全连接层（或者不去），使用产生的特征作为样本的新特征。对于每一个少样本的task，对support set中的图片进行增强，然后使用以下两种方法进行分类：

直接使用分类网络产生特征以最近邻的方式进行分类
将所有图片的新特征与类别输入LR进行训练，也就是每个task都新训练一个LR分类器。

另外使用了知识蒸馏的方法使得预训练的分类网络性能泛化性更好，使得网络迁移到新的域后表现更佳。

特点：效果非常好。考虑到是针对每一个task训练了一个分类器，能够考虑到每个task下类别的不同性。实现也很简单，比其他元学习方法简单直接且高效。

2. A New Meta-Baseline for Few-Shot Learning

方法：用所有的基类去预训练分类网络，去掉全连接层，然后使用产生的特征以最近邻的方式进行比较，这个是Classifier-Baseline。在Classfier-Baseline的基础上，进一步使用元学习的方式去训练这个网络，得到的网络叫Meta-Baseline。

特点：Classifier-Baseline在新类的分类上效果不差。Meta-Baseline能够提升原有类的测试集的准确性，但是在新类的分类上准确率会随着训练时间大幅下降。使用预训练的权重能够使Meta-Basline表现更好

3. CrossTransformers: spatially-aware few-shot transfer

方法：提出了supervision collapse，即有监督学习只学习了已知类的特征从而忽略了能够适用于新类上的基础特征。使用了类似于Transformer的结构去比较query set与support set，实际上用的是注意力机制。文章将每张图片的feature map分成了7*7的块，而不是使用经过maxpool之后的特征。然后query set中的特征块会对support set中的特征块产生注意力，最后support set将每张图片的注意力进行汇总，产生新的embbedding，之后再进行比较。另外，文章使用了名叫smiCLR的自监督方法，也就是让同一张图片的不同增强之间产生最高的相似性，通过pretext task(代理任务)来使网络获取更多的语义信息，从而泛化到其他任务上。

特点：使用了类似于Transformer的结构。引入了自监督学习的防范来提升网络对新类的泛化性。

4. IEPT: INSTANCE-LEVEL AND EPISODE-LEVEL PRE- TEXT TASKS FOR FEW-SHOT LEARNING

5. Few-Shot Learning via Embedding Adaptation with Set-to-Set Functions

方法：

特点：使用了Transformer的结构，可以把每一个每一个任务的支撑图片的向量进行调整。