2021年の深層学習ハイライト（研究論文編）

# はじめに
[2019年](https://qiita.com/shionhonda/items/cde26040c5a301e381d2)，[2020年](https://qiita.com/shionhonda/items/ca859d68b1ee8edcf0fb)に引き続き，1年を振り返って最もおもしろかった深層学習の論文を選んで紹介したいと思います．最近，目を通す論文の数が減ってしまったので，今回は取り上げるのを8本とし，別記事として「[応用事例編](https://qiita.com/shionhonda/items/3c426ae298dabe8e6166)」を書くことにします．

\* 本記事は，[私のブログにて英語で書いた記事](https://hippocampus-garden.com/research_2021/)を翻訳し，適宜加筆修正したものです．元記事の方も拡散いただけると励みになります．
\** 記事中の画像は，ことわりのない限り対象論文からの引用です．

# 論文8選（公開順）
普段から，読んだ論文を簡単にまとめてツイートしているので，それを使って公開日順に振り返っていきます．対象はおおまかに「2021年に公開された論文」と「2021年に学会・雑誌で発表されたもの」とします．他におもしろい論文があれば，コメントで教えていただけると嬉しいです[^1]．

紹介するのはこちらの8本です！

- [Exploring Simple Siamese Representation Learning](#exploring-simple-siamese-representation-learning)
- [Extracting Training Data from Large Language Models](#extracting-training-data-from-large-language-models)
- [E(n) Equivariant Graph Neural Networks](#en-equivariant-graph-neural-networks)
- [Learning Transferable Visual Models From Natural Language Supervision](#learning-transferable-visual-models-from-natural-language-supervision)
- [Unsupervised Speech Recognition](#unsupervised-speech-recognition)
- [Alias-Free Generative Adversarial Networks](#alias-free-generative-adversarial-networks)
- [Deep Reinforcement Learning at the Edge of the Statistical Precipice](#deep-reinforcement-learning-at-the-edge-of-the-statistical-precipice)
- [Fake It Till You Make It: Face analysis in the wild using synthetic data alone](#fake-it-till-you-make-it-face-analysis-in-the-wild-using-synthetic-data-alone)

## Exploring Simple Siamese Representation Learning
- 著者: Xinlei Chen, Kaiming He
- URL: https://arxiv.org/abs/2011.10566
- 公開: 2020年11月
- 採録: CVPR 2021

<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">Simple Siamese Representation Learning [Chen+, 2021, CVPR]<br>シャムネットワークによる表現学習において不可欠なのは勾配停止と予測器であることを経験的に示した．負例や大きなバッチサイズは不要．本結果についてEMアルゴリズムとの接続に関する仮説も提示．<a href="https://t.co/nseZTH80Rv">https://t.co/nseZTH80Rv</a><a href="https://twitter.com/hashtag/NowReading?src=hash&amp;ref_src=twsrc%5Etfw">#NowReading</a> <a href="https://t.co/EpmI7mTxza">pic.twitter.com/EpmI7mTxza</a></p>&mdash; Shion Honda (@shion_honda) <a href="https://twitter.com/shion_honda/status/1476535105456046081?ref_src=twsrc%5Etfw">December 30, 2021</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

ここ数年，画像の**自己教師**（**教師なし**）**表現学習**に関する論文が非常に増えています．**SimCLR** [1]，**BYOL**（[2020年の好きな論文](https://qiita.com/shionhonda/items/ca859d68b1ee8edcf0fb)の一つ）[2]，**SwAV** [3]など，例を挙げればきりがありません．これらの手法は異なるアプローチをとっていますが，下流タスクでの性能は同程度です．では，自己教師表現学習を成功させるための重要な要素とは何なのでしょうか？

本論文では，単純なシャムネットワーク(**SimSiam**; simple Siamese network)を用いて実験することでこの問いに答えます．このネットワークは，2つの画像を入力とし，それらの類似度を出力します．2つの枝は，一方には予測モジュールがあり，もう一方には勾配停止演算があることを除いては**重み共有**されています．SimSiamは，「負例ペアのないSimCLR」，「モメンタムエンコーダーのないBYOL」，そして「オンラインクラスタリングのないSwAV」と解釈することができます．この比較は，下図を見るとよくわかります．

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/144878/ddcc65de-6cb3-fa73-2819-ebf51e134835.png)


下流タスク（linear evaluation[^2]）において，SimSiamは他の手法と同程度の性能を示しました．

![](2021-12-31-21-28-30.png)![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/144878/6bd077bc-8609-1dc0-4411-f833cbf9b696.png)


この結果が示唆するのは，自己教師表現学習の重要な要素は，大きなバッチサイズ，負例ペア，モメンタムエンコーダのいずれでもなく，勾配停止と予測モジュールだということです．

また，本論文の著者は，SimSiamは**EMアルゴリズム**の実装として解釈できると主張しています．より詳細な議論については[元論文](https://arxiv.org/abs/2011.10566)をご覧ください．

## Extracting Training Data from Large Language Models
- 著者: Nicholas Carlini, Florian Tramer, Eric Wallace, Matthew Jagielski, Ariel Herbert-Voss, Katherine Lee, Adam Roberts, Tom Brown, Dawn Song, Ulfar Erlingsson, Alina Oprea, Colin Raffel
- URL: https://arxiv.org/abs/2012.07805
- 公開: 2020年12月
- 採録: USENIX Security Symposium 2021

<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">Extracting Training Data from Large LMs [Carlini+, 2020]<br>GPT-2から訓練データの一部を取得する攻撃の研究．適当な入力から多数の文章を生成し，他のLMとperplexityを比較するなどの方法で結果を絞り込む．人名やソースコード，チャット記録などが確認された．<a href="https://t.co/J0sJL1wDAG">https://t.co/J0sJL1wDAG</a><a href="https://twitter.com/hashtag/NowReading?src=hash&amp;ref_src=twsrc%5Etfw">#NowReading</a> <a href="https://t.co/5bmUyF8JmP">pic.twitter.com/5bmUyF8JmP</a></p>&mdash; Shion Honda (@shion_honda) <a href="https://twitter.com/shion_honda/status/1359694351970930688?ref_src=twsrc%5Etfw">February 11, 2021</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

この論文では，大規模言語モデルのある脆弱性を指摘しています．それは，学習データの抽出が可能であるということです．**GPT-2**（インターネットから収集したデータセットで学習させた，公開されている大規模言語モデル） [4]に繰り返しクエリ文を入力し，生成されたテキストをあるアルゴリズムでフィルタリングすると，名前，電話番号，メールアドレス，128ビットのUUID，オンラインチャットの会話記録などの機密データを抽出することができました．復元されたものの中には，Donald Trump氏のツイートまでありました😱

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/144878/2c1e162d-a105-a9f6-13b5-85c7a163a431.png)

大きなモデルはより多くの情報を記憶します．実際，[著者らのブログ記事](https://bair.berkeley.edu/blog/2020/12/20/lmmem/)によると，**GPT-3** [5]は『ハリー・ポッターと賢者の石』の約1ページを正しく再現したそうです．

このプライバシーと著作権の問題は，言語モデルがますます大きくなっている現在の傾向を考慮すると，一層深刻です．この問題を軽減するために，著者らは差分プライバシーを使用したり，学習データを慎重にサニタイズしたりといった対策をいくつか提案していますが，より具体的な解決策が求められています．

## E(n) Equivariant Graph Neural Networks
- 著者: Victor Garcia Satorras, Emiel Hoogeboom, Max Welling
- URL: https://arxiv.org/abs/2102.09844
- 公開: 2021年2月
- 採録: ICML 2021

<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">E(n) Equivariant Graph Neural Networks [Satorras+, 2021, ICML]<br>ノードの座標を入力にとりE(n)変換に同変なEGNNを提案．対称性を考慮できるためサンプル効率が良く過学習しづらい．N体粒子の力学系モデリング，GAEの再構成誤差，分子の性質予測(QM9)でSOTA．<a href="https://t.co/S0pD3atwhZ">https://t.co/S0pD3atwhZ</a><a href="https://twitter.com/hashtag/NowReading?src=hash&amp;ref_src=twsrc%5Etfw">#NowReading</a> <a href="https://t.co/pVDpSUIsab">pic.twitter.com/pVDpSUIsab</a></p>&mdash; Shion Honda (@shion_honda) <a href="https://twitter.com/shion_honda/status/1475120787241988097?ref_src=twsrc%5Etfw">December 26, 2021</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

「**同変性**」は，聞き慣れない言葉かもしれませんが，今日の機械学習の主要なトピックの一つです．関数$\phi: X \rightarrow Y$，変換$T_g: X \rightarrow X$，それと対応する変換$S_g: Y \rightarrow Y$が与えられたとき，次の式が成り立つならば$\phi$は抽象的な変換$g$について**同変である**と呼びます：

$$
\phi(T_g(x)) = S_g(\phi(x)) .
$$

具体例を挙げると，バウンディングボックスを検出するモデルで，入力する画像が横にずれたら，ボックスも同じように移動してほしいというような性質です．関連する概念として，次の式で表される**不変性**があります：

$$
\phi(T_g(x)) = \phi(x) .
$$

本論文では，$g$として**E(n)変換**を考えます．E(n)変換とは，n次元ユークリッド空間における並進，回転，反射，並べ替えのことです．**グラフニューラルネットワーク** (**GNN**)は設計上，並べ替えに対しては同変ですが，他の変換に対しては同変ではありません．同変性と不変性の概念は，2次元データよりも自由度の大きい3次元データにおいて，より重要です．

本論文で提案された**EGNN**（**E(n)-equivariant GNN**）は，E(n)変換に対して同変なGNNです．元祖GNNとは異なり，EGNNの各層はノード埋め込み，**座標埋め込み**，エッジ情報のセットを入力として受け取り，2種類の埋め込みを更新します．

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/144878/e26b9b93-2291-3209-9e25-9d1dc87c7e10.png)

EGNNはその強い帰納的バイアスのおかげで，力学系のモデリングとQM9データセット（原子の3次元座標を含む）の分子活性予測において，特にデータセットが小さい場合に，元祖GNNを上回る性能を発揮しました．EGNNはその後，分子の**正規化フロー**に拡張されました [6]．

日本語の解説記事では[こちら](https://pseudo-theory-of-everything.hatenablog.com/entry/2021/06/06/214617)が詳しいです．

## Learning Transferable Visual Models From Natural Language Supervision
- 著者: Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever
- URL: https://arxiv.org/abs/2103.00020
- 公開: 2021年3月

<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">Learning Transferable Visual Models From Natural Language Supervision [Radford+, 2021]<br>画像とテキストのエンコーダを4億の画像・説明文ペアで対照学習させたCLIPは，ゼロショットで多様な画像分類を高精度に解ける．画像の事前学習パラダイムを変える結果．<a href="https://t.co/bS6iMnsUzL">https://t.co/bS6iMnsUzL</a><a href="https://twitter.com/hashtag/NowReading?src=hash&amp;ref_src=twsrc%5Etfw">#NowReading</a> <a href="https://t.co/r8DONjX8DM">pic.twitter.com/r8DONjX8DM</a></p>&mdash; Shion Honda (@shion_honda) <a href="https://twitter.com/shion_honda/status/1478175724750381056?ref_src=twsrc%5Etfw">January 4, 2022</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

個人的には，2021年に発表された論文の中で最もインパクトのある論文だと思います．この論文では，自然言語を教師として視覚的な概念を学習する**CLIP**（**contrastive language-image pre-training**）を提案しています．ネットワークはテキストエンコーダと画像エンコーダからなります．2つのエンコーダは，意味的に類似したペアは近く，類似しないペアは遠くなるような空間にテキストおよび画像をエンコードするように同時に学習されます．そしてこれは，インターネットから収集した4億組の画像とテキストを用いた対照学習により実現されています．

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/144878/bd866cb1-2d5c-f4fe-0d99-0178b10cbe1b.png)

対照事前学習が済むと，CLIPはゼロショットでの画像分類に使用できます．ゼロショット分類の手順は以下の通りです．

1. 下流タスクのクラスラベルを文章に変換する
2. 与えられた画像をエンコードする
3. 文ラベルの候補をエンコードする
4. 画像埋め込みと各文埋め込みの内積を計算する
5. 最も高い内積を持つクラスを選択する

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/144878/fc196577-adc8-0c26-4e43-0c6f55677ce8.png)

事前学習済みCLIPの性能は抜群です．CLIPのゼロショット分類の精度は，様々なデータセットにおいて，事前学習済みResNet-50の教師あり線形プローブと遜色ありませんでした．また，CLIPの線形プローブは，ImageNetで事前学習された強力なベースラインを凌駕しています．

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/144878/eaa90057-a0f9-1da8-7c59-542d67347a54.png)

画像は"[CLIP: Connecting Text and Images](https://openai.com/blog/clip/)"より．

さらに，下図で比較したように，ゼロショットCLIPはImageNet事前学習済みモデルよりも分布シフトに対して非常に頑健であることがわかります．これは，ベースラインが見かけの相関（spurious correlations）に騙されてしまうのに対し，ゼロショットCLIPは騙されにくいことが一因と考えられます．

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/144878/be02842f-c648-d872-f323-1bc7f5d436cf.png)

これらの結果は，CLIPが自然言語の教師から広範囲の視覚的概念を学習したことで，その画像埋め込みが柔軟かつ汎用的，さらに頑健になっていることを示唆しています．CLIPは，画像に対する事前学習のパラダイムをImageNetの固定ラベル分類からWebスケールの画像・テキスト対照学習へと変えつつあります．

CLIPはすでに，テキストから画像への合成（DALL-E [7]と[VQGAN+CLIP](https://colab.research.google.com/drive/1ZAus_gn2RhTZWzOWUpPERNC0Q8OhZRTZ)は大いに話題になりました！）や視覚に基づく質問応答 [8] といった興味深いアプリケーションで使用されています．ちなみに，[DALL-EはCLIPと同時にOpenAIから公開されました](https://openai.com/blog/dall-e/)．

最後に，本論文は48ページと圧倒されるほど長いのですが，洞察に満ちた分析が多く含まれており，間違いなく読むに値するものでした．その多くは[公式ブログの記事](https://openai.com/blog/clip/)でも省略されているので，ここでは重要なポイントを列挙したいと思います．

- **CLIPの目的関数はゼロショット画像分類の精度という点で，Transformerによる言語モデリングやbag-of-wordsの訓練よりもはるかに効率的である**．Webスケールでの学習において，効率は非常に重要．
- **訓練時のバッチサイズは32,768**．メモリ使用量を節約するために様々なテクニックを使った．
- **プロンプトエンジニアリングはパフォーマンスを向上させる**．例えば，クラスラベル「ボクサー」（アスリートのボクサーと紛らわしい）をそのまま使うよりも，より説明的な「ペットの一種であるボクサーの写真」の方が良い．
- **CLIPは，細かい分類やシステマチックなタスクでは性能が低い**．例を挙げるなら，前者は車の種類の分類，後者は物体の数え上げである．
- **CLIPの表現はデジタルなテキストには有用だが，手書きのテキストにはそうでない**．MNISTでは，ゼロショットCLIPは輝度値に対するロジスティック回帰に負ける．

## Unsupervised Speech Recognition
- 著者: Alexei Baevski, Wei-Ning Hsu, Alexis Conneau, Michael Auli
- URL: https://arxiv.org/abs/2105.11084
- 公開: 2021年5月
- 採録: NeurIPS 2021

<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">Unsupervised Speech Recognition [Baevski+, 2021, NeurIPS]<br>wav2vec 2.0で抽出した音声表現から生成した音素とテキストから得られた音素とで敵対的学習を行うことで，教師なしの音声認識を実現した．性能が教師ありに並ぶこともある．低リソース言語でも有効．<a href="https://t.co/rgYEkEGz9R">https://t.co/rgYEkEGz9R</a><a href="https://twitter.com/hashtag/NowReading?src=hash&amp;ref_src=twsrc%5Etfw">#NowReading</a> <a href="https://t.co/onPC6hgE91">pic.twitter.com/onPC6hgE91</a></p>&mdash; Shion Honda (@shion_honda) <a href="https://twitter.com/shion_honda/status/1477996519056097280?ref_src=twsrc%5Etfw">January 3, 2022</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

近年，音声認識の精度が大きく向上し，多くのアプリケーションで活用され始めています．しかし，ほとんどの手法は，書き起こした音声を学習データとして必要とするため，世界で話されている7,000言語のうちごく一部でしか利用できないのが現状です．

そこで著者らは，音声認識をよりインクルーシブにするために，教師を全く必要としない**wav2vec-U**（**wev2vec Unsupervised**）を開発しました．Wav2vec-Uは，**wav2vec 2.0**や音素変換モデルなどの既存のツールを利用して，敵対的な方法で音素系列生成器を学習させます．

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/144878/257d0eb1-fd50-9990-f182-5d55052b532e.png)

その仕組みは以下の通りです．

1. wav2vec 2.0を使って音声表現を得る
2. k平均法で表現内のクラスタ(音素単位)を特定する
3. 音声データを音素単位に分割する
4. wav2vec 2.0の表現を平均値プーリングしてセグメントごとの表現を構築する
5. セグメントごとの表現を生成器に送り込み，音素系列を生成する
6. ラベルなしテキストを音素に変換する（これが本物の音素系列）
7. 生成された音素系列と本物の音素系列を識別器に入力する

その結果，wav2vec-Uは数千時間のデータで教師あり学習した従来のSOTA手法に近い**音素誤り率**（**PER**; phoneme error rate）を達成しました．また，キルギス語，スワヒリ語，タタール語などの低リソース言語に対する実験でも，その有効性が確認されました．

## Alias-Free Generative Adversarial Networks
- 著者: Tero Karras, Miika Aittala, Samuli Laine, Erik Härkönen, Janne Hellsten, Jaakko Lehtinen, Timo Aila
- URL: https://arxiv.org/abs/2106.12423
- 公開: 2021年6月
- 採録: NeurIPS 2021

<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">Alias-Free GAN [Karras+, 2021]<br>従来のStyleGANは髪などのテクスチャが画像の座標に依存するが，その原因は生成過程でのエイリアシングだった．生成器を流れる値を連続信号として扱い，LPFを再現する構造を導入することで並進・回転に同変なGANを実現した．<a href="https://t.co/hOZ6lyQT0f">https://t.co/hOZ6lyQT0f</a><a href="https://twitter.com/hashtag/NowReading?src=hash&amp;ref_src=twsrc%5Etfw">#NowReading</a> <a href="https://t.co/TozuP2wNUr">pic.twitter.com/TozuP2wNUr</a></p>&mdash; Shion Honda (@shion_honda) <a href="https://twitter.com/shion_honda/status/1439926314014633984?ref_src=twsrc%5Etfw">September 20, 2021</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

**StyleGANs** [9,10] の進化はまだ終わっていません．Tero Karrasのチームは**StyleGAN3**を発表し，画像の絶対座標にいくつかの細部の特徴が貼り付いてしまう現象を引き起こす，望ましくない**エイリアシング**効果を解決しました．[この公式ビデオ](https://nvlabs-fi-cdn.nvidia.com/_web/stylegan3/videos/video_0_ffhq_cinemagraphs.mp4)を見てください．StyleGAN2 のパネルでは，頭を動かしても，髪の毛とひげが画面に貼り付いています．

この問題を検証した結果，根本的な原因は生成器がテクスチャを生成する際に，位置情報（エイリアシングによるアーチファクトから推測される）を濫用していることだと判明しました．エイリアシングを防ぐために，著者らはすべての信号を連続信号として扱い，生成器全体をサブピクセルレベルで並進同変にするために，アーキテクチャにいくつかの変更を加えました．

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/144878/43798e3d-58da-4806-a547-6e9dfb22bbd1.png)

これにより，StyleGAN3はFFHQ-Uのような整列されていない画像データセットで学習できるようになりました．また，この生成器は表面のテクスチャを合成するために特徴マップの中に独自の座標系を作り出すということも発見されています．

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/144878/f140b914-17ef-0b4c-a478-eb345019c284.png)

[プロジェクトページ](https://nvlabs-fi-cdn.nvidia.com/_web/stylegan3/)には他にも動画があります．

## Deep Reinforcement Learning at the Edge of the Statistical Precipice
- Rishabh Agarwal, Max Schwarzer, Pablo Samuel Castro, Aaron Courville, Marc G. Bellemare
- URL: https://arxiv.org/abs/2108.13264
- 公開: 2021年8月
- 採録: NeurIPS 2021

<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">Deep RL at the Edge of Statistical Precipice [Agarwal+, 2021, NeurIPS]<br>DRLの性能評価で習慣とされる数回の試行に基づく点推定は不確実性を無視している．3つの対策を提案:<br>- ブートストラップによる区間推定<br>- スコアの分布を示す<br>- 集約統計量にはIQMを使う<a href="https://t.co/NJZPmfGNOT">https://t.co/NJZPmfGNOT</a><a href="https://twitter.com/hashtag/NowReading?src=hash&amp;ref_src=twsrc%5Etfw">#NowReading</a> <a href="https://t.co/3shOzNtesy">pic.twitter.com/3shOzNtesy</a></p>&mdash; Shion Honda (@shion_honda) <a href="https://twitter.com/shion_honda/status/1476067112313827332?ref_src=twsrc%5Etfw">December 29, 2021</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

強化学習の分野では，一連のタスクをまたいだスコアの平均値や中央値などの要約統計量の**点推定値**によってアルゴリズムを評価します．しかし実際には，これは統計的な不確実性を無視しており，報告されたスコアは不当に「幸運な」ものであることが多いという問題がありました．

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/144878/5be405d4-1a2b-08c6-4c97-1b04d229d142.png)

特に最近の強化学習タスクは計算量が多く（例：**StarCraft** [11]），何百回も繰り返すことができないため，この問題はより深刻になってきています．わずかな回数の実行で統計的不確実性に対処するために，著者らは信頼性の高い評価を実現するための3つの提言を行いました．

1. ブートストラップ法によるスコアの**区間推定**を行い，その信頼区間を報告せよ
2. 平均スコアの表ではなく，下図のような性能プロファイル（スコア分布）を提示せよ
3. 要約スコアを出す際には**四分位平均**（**IQM**; **interquartile mean**）を使用せよ（IQMは外れ値に強く，中央値よりも信頼区間が小さい！）

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/144878/c7828a61-8bca-efbc-a735-a86218bbf481.png)

彼らの提言に従うと，どのアルゴリズムが優れているかがより明確にわかります．下図では，左のパネルが中央値，右のパネルがIQMで比較されています．IQMは，DreamerV2が必ずしもM-IQNより優れていないことを教えてくれます．

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/144878/09034d2a-c98f-fc35-9c34-51f5f36a615b.png)

著者らはこの評価プロトコルを**rliable**というライブラリにまとめました．[こちら](https://github.com/google-research/rliable)からチェックしてみてください．

## Fake It Till You Make It: Face analysis in the wild using synthetic data alone
- 著者: Erroll Wood, Tadas Baltrušaitis, Charlie Hewitt, Sebastian Dziadzio, Matthew Johnson, Virginia Estellers, Thomas J. Cashman, Jamie Shotton
- URL: https://arxiv.org/abs/2109.15102
- 公開: 2021年9月
- 採録: ICCV 2021

<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">Fake It Till You Make It [Wood+, 2021, ICCV]<br>顔のパーツ，肌，髪…と要素を組み合わせることで顔の写実的な3Dモデルを作成．合成されたラベル付き画像でResNetを学習した後，実データでラベル適応を行うことで，各種タスクでSOTAに匹敵する性能を達成した．<a href="https://t.co/7o95jYbFkj">https://t.co/7o95jYbFkj</a><a href="https://twitter.com/hashtag/NowReading?src=hash&amp;ref_src=twsrc%5Etfw">#NowReading</a> <a href="https://t.co/VPGWBW41CA">pic.twitter.com/VPGWBW41CA</a></p>&mdash; Shion Honda (@shion_honda) <a href="https://twitter.com/shion_honda/status/1450364597261586437?ref_src=twsrc%5Etfw">October 19, 2021</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

人間の顔を扱うコンピュータビジョンのタスクには人気があります．例えば，検出，個人の識別，3D再構成，画像生成，画像編集などのタスクがあります．しかし，実世界から高品質なデータを収集することにはさまざまな困難がつきまとうため，合成データを用いたアプローチに期待が寄せられています．合成データには，実データにはない3つの利点があります．

1. プライバシーの心配がない
2. 完璧なラベルが自動的に得られる（実データでは入手不可能なものや非常に高価なものもある）
3. 多様性を制御できる

合成データにはもちろん欠点もあります．ドメインギャップの問題です．本論文では，**Face Synthetics**という非常に精巧な合成データを作成することでこの問題を解決しました．Face Syntheticsは，下図のような3次元の顔テンプレートに順次パーツを追加していくことで，リアリティと表現力を同時に実現しました．

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/144878/e8fc3659-62cb-9fb4-0525-bf0d5f763186.png)

Face Syntheticsは，ランドマーク検出や顔のセグメンテーションなど，顔に関連するタスクに対するニューラルネットワークの訓練に実際に役立っています．このデータセットで事前学習し，下流タスクでファインチューニングしたResNetは，実データで学習したSOTAモデルと同等の性能を発揮しました．

Face Syntheticsは，ランドマークとセマンティックセグメンテーションのラベルが付与された512x512の解像度の顔画像を10万人分集めたデータセットです．非商用の研究用途に限り，[こちら](https://github.com/microsoft/FaceSynthetics)で利用可能です．その他の可視化については，[プロジェクトページ](https://microsoft.github.io/FaceSynthetics/)をご覧ください．

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/144878/609b8be3-6205-445f-e0d0-5d5bceda503d.png)

# おわりに
「[応用事例編](https://qiita.com/shionhonda/items/3c426ae298dabe8e6166)」もぜひご覧ください．

また，個人ブログの方では，英語ですが

- [相関係数のバイアス](https://hippocampus-garden.com/stats_correlation_bias/)
- [StyleGAN派生研究のサーベイ](https://hippocampus-garden.com/stylegans/)

などの記事をほそぼそと書いています．ご興味のある方は，ぜひこちらも覗いてみてください．

2021年のAIの研究動向に関心のある方には[ステート・オブ・AIガイドの素晴らしい年間レビュー](https://ja.stateofaiguides.com/20211230-ai-trends-2021/)もおすすめです．

# 参考文献
[1] Jonathan Frankle, Michael Carbin. "[A Simple Framework for Contrastive Learning of Visual Representations](https://arxiv.org/abs/2002.05709)". *ICML*. 2020. 
[2] Jean-Bastien Grill, Florian Strub, Florent Altché, Corentin Tallec, Pierre H. Richemond, Elena Buchatskaya, Carl Doersch, Bernardo Avila Pires, Zhaohan Daniel Guo, Mohammad Gheshlaghi Azar, Bilal Piot, Koray Kavukcuoglu, Rémi Munos, Michal Valko. "[Bootstrap your own latent: A new approach to self-supervised Learning](https://arxiv.org/abs/2006.07733)". *NeurIPS*. 2020. 
[3] Mathilde Caron, Ishan Misra, Julien Mairal, Priya Goyal, Piotr Bojanowski, Armand Joulin. "[Unsupervised Learning of Visual Features by Contrasting Cluster Assignments](https://arxiv.org/abs/2006.09882)". *NeurIPS*. 2020.
[4] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever. "[Language Models are Unsupervised Multitask Learners](http://www.persagen.com/files/misc/radford2019language.pdf)". 2019.
[5] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, Dario Amodei. "[Language Models are Few-Shot Learners](https://arxiv.org/abs/2005.14165)". *NeurIPS*. 2020.
[6] Victor Garcia Satorras, Emiel Hoogeboom, Fabian B. Fuchs, Ingmar Posner, Max Welling. "[E(n) Equivariant Normalizing Flows](https://arxiv.org/abs/2105.09016)". *NeurIPS*. 2021.
[7] Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, Mark Chen, Ilya Sutskever. "[Zero-Shot Text-to-Image Generation](https://arxiv.org/abs/2102.12092)". 2021.
[8] Sheng Shen, Liunian Harold Li, Hao Tan, Mohit Bansal, Anna Rohrbach, Kai-Wei Chang, Zhewei Yao, Kurt Keutzer. "[How Much Can CLIP Benefit Vision-and-Language Tasks?](https://arxiv.org/abs/2107.06383)". 2021.
[9] Tero Karras, Samuli Laine, Timo Aila. "[A Style-Based Generator Architecture for Generative Adversarial Networks](https://arxiv.org/abs/1812.04948)". *CVPR*. 2019.
[10] Tero Karras, Samuli Laine, Miika Aittala, Janne Hellsten, Jaakko Lehtinen, Timo Aila. "[Analyzing and Improving the Image Quality of StyleGAN](https://arxiv.org/abs/1912.04958)". *CVPR*. 2020. 
[11] Oriol Vinyals, Igor Babuschkin, Wojciech M. Czarnecki, Michaël Mathieu, Andrew Dudzik, Junyoung Chung, David H. Choi, Richard Powell, Timo Ewalds, Petko Georgiev, Junhyuk Oh, Dan Horgan, Manuel Kroiss, Ivo Danihelka, Aja Huang, Laurent Sifre, Trevor Cai, John P. Agapiou, Max Jaderberg, Alexander S. Vezhnevets, Rémi Leblond, Tobias Pohlen, Valentin Dalibard, David Budden, Yury Sulsky, James Molloy, Tom L. Paine, Caglar Gulcehre, Ziyu Wang, Tobias Pfaff, Yuhuai Wu, Roman Ring, Dani Yogatama, Dario Wünsch, Katrina McKinney, Oliver Smith, Tom Schaul, Timothy Lillicrap, Koray Kavukcuoglu, Demis Hassabis, Chris Apps, David Silver. "[Grandmaster level in starcraft ii using multi-agent reinforcement learning](https://www.nature.com/articles/s41586-019-1724-z)". *Nature*. 2019.

[^1]: Transformer vs. CNN vs. MLPのアーキテクチャ戦争からは意図的に距離を置いています．
[^2]: 学習された表現を線形モデルに入力して予測させる評価手法のこと。