【点検読書】Data-Efficient Contrastive Self-supervised Learning: Most Beneficial Examples for Supervised Learning Contribute the Least

## Data-Efficient Contrastive Self-supervised Learning: Most Beneficial Examples for Supervised Learning Contribute the Least

## 1. 背景

:::note info
自己教師あり学習（SSL）は、大量のラベルなし訓練データから高品質な表現を学習する手法であるが、経験的には、「SSLに最も貢献するサブセットは、教師あり学習に最も貢献しないものであることを発見」した論文。
:::

- CIFAR100では20%のデータを除いても下流タスクの精度に影響しなかった
- STL10では40%, TinyImageNetでは40%抜いても影響しなかった
- ImageNetなどは現在検証中とのこと
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/253735/116907f6-5fe6-9710-35de-6473ff2aa815.png)

<details><summary>BibteX</summary>

```bash
@InProceedings{pmlr-v202-joshi23b,
        title = {Data-Efficient Contrastive Self-supervised Learning: Most Beneficial Examples for Supervised Learning Contribute the Least},
        author = {Joshi, Siddharth and Mirzasoleiman, Baharan},
        booktitle = {Proceedings of the 40th International Conference on Machine Learning},
        pages = {15356--15370},
        year = {2023},
        editor = {Krause, Andreas and Brunskill, Emma and Cho, Kyunghyun and Engelhardt, Barbara and Sabato, Sivan and Scarlett, Jonathan},
        volume = {202},
        series = {Proceedings of Machine Learning Research},
        month = {23--29 Jul},
        publisher = {PMLR},
        pdf = {https://proceedings.mlr.press/v202/joshi23b/joshi23b.pdf},
        url = {https://proceedings.mlr.press/v202/joshi23b.html},
}
```
</details>


### そもそもなぜ自己教師学習（SSL）が必要なの？

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/253735/25f9d5d3-3861-6732-095f-80b48bcd74b6.png)

[ICML 2023 Data-Efficient Contrastive Self-Supervised Learning, youtube](https://www.youtube.com/watch?v=KbEM0RROC9w)より引用

高品質のラベルを大規模データに対して与えるのは高コストである。データは増える一方ですが、アノテーションが追いつかないという課題に対して、自己教師あり学習は重宝する


### 自己教師あり学習（SSL）の課題

- 自己教師あり学習（SSL）は、教師あり学習と比べて~20xの計算コストを必要とする
- SSLのためのサンプルの価値を定量化することが難しい（ある学習画像を入れたことでモデルの改善にどう繋がったかが把握しづらい）


## 2. 本研究の手法〜対照的な自己教師あり学習とは〜

:::note info
対照的な自己教師あり学習（Contrastive Self-Supervised Learning）は、ラベルなしデータから有用な特徴を学習する手法。データの異なるビュー間での類似性を最大化し、異なるデータポイント間での類似性を最小化することに焦点を当てています。このアプローチは、高品質なデータ表現を生成し、下流の教師ありタスクの性能を向上させることができます。
:::

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/253735/8ff694db-b644-1d19-0eea-6cab7eedbec2.png)


### 本研究の手法の流れ

```mermaid
---
title: 自己教師あり学習のサンプル効率化の手法
---
graph TD
  p1("SSLは計算コストが高い(~x20)")
  p2("SSLは精緻なアノテ不要")

	p3("学習データをなるべく少なく抑えたい")
	p4("どのサンプルの貢献度が高いのか知りたい")
	p5("対照学習によってサンプル同士のAugmentation Distanceを計算")
	p6("クラスごとにt-sne形式のマッピングを行う")
	p6("同じクラスに属するサンプルから最も離れた距離のものを抽出\n最も情報量が多いと判断されるサンプルを選出")
	p7("SAS抽出後のセット, Randomに同割合抜いたデータセット, フルセットで\n分類や物体検知などの下流タスクを実行")
	p8("STL10, TinyImageNetなどでは40%抜いてもフルセットと同等の精度となることが確認")

	p1-->p3
	p2-->p3
	p3-->p4
	p4-->p5
	p5-->p6
	p6-->p7
	p7-->p8
```



![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/253735/d21ef996-4f80-2ec4-8dc8-7d096e584740.png)


:::note info
同じサンプルに対するAugmentationは近い距離となるように計算
:::


![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/253735/40674ebd-db4a-ded0-9a39-825a70ae45bc.png)

:::note alert
異なるサンプルに対するAugmentationは遠い距離となるように計算
:::

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/253735/ddc59330-302e-a65c-10b6-5d6277d8ff62.png)


![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/253735/20e13d5b-c3cc-0c95-7d6c-c06dafd65dff.png)


### どのサンプルが最も対照学習（CL）に貢献しているのか


- 同じクラスに属するサンプル同士の距離を計算する

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/253735/3dbd48ac-888a-031c-b3c6-17636e24ddc8.png)

- t-SNE形式でマッピングした際に最も

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/253735/6fb7f0ab-e760-f2f5-9937-2ddb48e0ea98.png)


## 3. 結論

:::note info
対照的な自己教師あり学習（SSL）と教師あり学習との間の興味深い関係を示された。忘れられやすい（すなわち、学習中に正しく分類された後に誤分類されることが多い）サンプルは、教師あり学習において最も有益である一方、対照的なSSLにおいては最も重要ではないことが示された。逆に、忘れられにくい（すなわち、一度学習すると誤分類されることが少ない）サンプルは、対照的なSSLにおいて非常に重要であり、ランダムなベースラインを大幅に上回り、小さなサブセットにおいてSAS（サンプル選択戦略）と同等の性能を達成可能。この発見は、SSLと教師あり学習で重要なデータのサブセットが異なることを示した。
:::

- SSLで最も重要なサンプルは、教師あり学習で最も貢献が少ないサンプルあることが示された
- この発見は、SSLのためのデータ選択戦略の開発に役立つ


## 4. 参考文献

https://sjoshi804.github.io/data-efficient-contrastive-learning/

https://www.youtube.com/watch?v=KbEM0RROC9w

https://github.com/sjoshi804/sas-data-efficient-contrastive-learning

https://drive.google.com/file/d/1Q784t6-aRH_HX8aQGMOwogUWj-cH25P7/view