少量教師データ下の深層学習について
実践データ駆動科学オンラインセミナー
第10回「データ科学・AIにおける数理の威⼒」

岡⾕ 貴之
東北⼤学 情報科学研究科(理化学研究所AIPセンター)

⾃⼰紹介
•

略歴

– 1999年東京⼤学計数⼯学専攻博⼠課程修了– 1999年〜東北⼤学⼤学院情報科学研究科，2013年から現職– 2016年〜理化学研究所AIPセンター兼務

•

研究対象

– コンピュータビジョン＋深層学習•

研究の⽅向性– 基礎︓新規技術＋学⽣教育– 応⽤︓企業との連携（共同研究＋コンサルティング）

1

深層学習〜教師あり学習•

深層ニューラルネットワークを⼤量のデータを⽤いて訓練
数⼗層からなる数千万オーダのパラメータを持つネットワーク

数万〜数百万の学習データ
0

100%

Lion
Cat
Dog

Lion
Cat
Dog

…

…

誤差逆伝播＋勾配降下法, ”Lion”

2深層学習〜教師あり学習•

多数の問題に同じアプローチ → ⼤成功
視差（ステレオ画像）

画素レベルの認識[Mayer+2017]

⼈体ポーズ[Zhao+2016][Insafutdinov+2016]

物体検出[Redmon-Farhadi2016]

読唇

カメラ姿勢

[Ummenhofer+2017][Liu+2016]

LSTM

LSTM

LSTM

CNN

CNN

CNN

[Chung+2016]

超解像3

深層学習はAIの枠を超えた道具に••あらゆる⼯学・サイエンスに浸透開始 → 解けなかった問題を解く
計算時間短縮の⽬的でも利⽤が始まる → 順伝播計算１回で解ける

構造体の変形計算

タンパク質構造予測
AlphaFold [DeepMind2018]

DeepWarp[Luo+2018]

Neural Material[Wang+2018]

流体シミュレーション

Deep Fluids [Kim+2018]

遺伝⼦操作応⽤ DeepCRISPR [Chuai+2018]4深層学習は何が違うか•

⼿で設計していた特徴抽出を学習できる

⼊⼒

特徴抽出

特徴量

特徴抽出

出⼒

機械学習

⼿で設計

⼊⼒

分類

特徴量

分類

出⼒

ディープラーニング（特徴も⼀緒に学習）
5学習で獲得する特徴表現

Zeiler-Fergus, Visualizing and understanding convolutional networks, arxiv2014•

各層各ユニットを最も活性化する⼊⼒画像

6

深層学習は何が違うか•

⼿で設計していた特徴抽出を学習できる

⼊⼒

特徴抽出

特徴量

特徴抽出

出⼒

機械学習

⼿で設計

⼊⼒

分類

特徴量

分類

出⼒

ディープラーニング（特徴も⼀緒に学習）
7このアプローチの限界＝訓練データへの依存
不明な画像特徴

ドメインシフト⾒慣れない姿勢の物体[Bissoto+2019]

ショートカット学習＝訓練データ固有の「偽りの統計的性質」をてっとり早く学習[Alcorn+2018]

DNN
BERT
1

形状よりテクスチャ優位

データD1を説明

深層強化学習×ビデオゲーム

理想的写像[Geirhos+2019]

D2

D3

Shortcut解DNN2

⼊⼒→出⼒の写像の空間
Adversarial
ExamplesFooling samples[Nguyen+2014][Goodfellow+2015][Kansky+2017]“Natural Adversarial Examples”[Hendrycks+2020]8

今あるソリューション ＝ データの⼤規模化

性能-コストの「S-カーブ」

性能
（精度）
コスト

9

データが少ない場合の対策•

定番の⽅法〜研究段階の⽅法まで– データ拡張– 転移学習– ドメイン適応（domain adaptation）– 少数事例学習（few-shot learning）– 半教師学習（semi-supervised），弱教師学習（weaklysupervised）

•

今後の⽅向

– ⾃⼰教師学習を基礎とする巨⼤なDNNモデル

10

データ拡張••コンテンツを変えない変換を適⽤，サンプルを⽔増し

オリジナル

左右反転

ノイズ

剪断変形他

回転

クロップ

カットアウト

タスク・データの性質に応じて変換を考える

⾊分布

ミックスアップ転移学習
タスクによらない タスク
特徴表現 専⽤

タスクによらない タスク
特徴表現 専⽤

転移学習
⼤量データ

⽐較的
少量のデータ

材質認識

セグメンテーション

物体検出

単眼深度推定物体カテゴリ認識12データが少ない場合の対策•

定番の⽅法〜研究段階の⽅法まで– データ拡張– 転移学習– ドメイン適応（domain adaptation）– 少数事例学習（few-shot learning）– 半教師学習（semi-supervised），弱教師学習（weaklysupervised）

•

今後の⽅向

– ⾃⼰教師学習を基礎とする巨⼤なDNNモデル

13

ドメインの違うデータ
MNIST

USPS

SVHN

数字

⾞載カメラ映像（セグメンテーション）

商品画像

Cityscapes
（実写）

GTA5
（ゲームCG)14合成画像の実写化

Richter+, Enhancing photorealism enhancement, arXiv2021

15

無教師ドメイン適応(UDA)

Tzeng+, Adversarial Discriminative Domain Adaptation, CVPR2017•

ソースドメインからターゲットドメイ
ンへ適応– ソースは正解ラベル付・ターゲットはラベルなし(画像のみ)•

定番︓敵対的学習– ソースとターゲットの特徴が同じように⾒えるような特徴空間を得る– ソースの分類器をターゲットの特徴空間に適⽤し，ターゲットの画像を分類

セグメンテーションでのUDA最新⼿法

Wang, Liu, Suganuma, Okatani, Cross-Region Domain Adaptation for Class-level Alignment, arXiv 2021•

CG画像(GTA) → 実写画像(Cityscapes)

17セグメンテーションでのUDA最新⼿法

Wang, Liu, Suganuma, Okatani, Cross-Region Domain Adaptation for Class-level Alignment, arXiv 2021

18

セグメンテーションでのUDA最新⼿法

Wang, Liu, Suganuma, Okatani, Cross-Region Domain Adaptation for Class-level Alignment, arXiv 2021

画像

従来⼿法
(FADA)

不確実性

提案⼿法

GT

19

データが少ない場合の対策•

定番の⽅法〜研究段階の⽅法まで– データ拡張– 転移学習– ドメイン適応（domain adaptation）– 少数事例学習（few-shot learning）– 半教師学習（semi-supervised），弱教師学習（weaklysupervised）

•

今後の⽅向

– ⾃⼰教師学習を基礎とする巨⼤なDNNモデル

20

少数事例（few-shot）学習
学習

テスト

エピソード

学習

1

Giraﬀe

Horse

Bear

Giraffe

Horse

Bear

2

Tiger

Cat

Bird

Tiger

Cat

Bird

Dog

Rabbit

Lion

Dog

Shark

Fox

Elephant

Shark

N =4
<latexit sha1_base64="SNk/st7c5VmPB9ANsjOHy11xTUw=">AAACZnichVHLSgMxFD0d31XbqoiCm2JRXJWMiIogiG5ciVprC7WUmTGtodOZYSYtaPEHBLe6cKUgIn6GG3/AhX+guFRw48I70wFRUW9IcnJyz81Jojum8CRjDxGlrb2js6u7J9rb1x+LJwYGtz277ho8a9im7eZ1zeOmsHhWCmnyvONyraabPKdXV/z9XIO7nrCtLbnv8GJNq1iiLAxNEpVZW5wpJVIszYJI/gRqCFIIY91OXGEHu7BhoI4aOCxIwiY0eNQKUMHgEFdEkziXkAj2OQ4RJW2dsjhlaMRWaazQqhCyFq39ml6gNugUk7pLyiQm2D27Zi/sjt2wJ/b+a61mUMP3sk+z3tJypxQ/Gs28/auq0Syx96n607NEGfOBV0HenYDxb2G09I2D05fMwuZEc5JdsGfyf84e2C3dwGq8GpcbfPMMUfoA9ftz/wTb02l1Nj29MZNaWg6/ohtjGMcUvfcclrCKdWTp3AqOcYLTyKMSU4aVkVaqEgk1Q/gSSvID0kCKWg==</latexit>

3

RabbitLion

K=3<latexit sha1_base64="YeFlA6+dq8L6yCB9kP2gitB0imo=">AAACZnichVHLSgMxFD0d31XbqoiCm2KpuCqpioogiG4EN9raB1QpM2Nag9OZYSYtaPEHBLe6cKUgIn6GG3/ARf9AcVnBjQtvpwOiot6Q5OTknpuTRLMN4UrGGgGlo7Oru6e3L9g/MBgKR4aGs65VdXSe0S3DcvKa6nJDmDwjhTR43na4WtEMntMO1lr7uRp3XGGZ2/LQ5rsVtWyKktBVSVR6Y3m2GImxBPMi+hMkfRCDH5tW5AY72IMFHVVUwGFCEjagwqVWQBIMNnG7qBPnEBLePscxgqStUhanDJXYAxrLtCr4rEnrVk3XU+t0ikHdIWUUcfbIblmTPbA79szef61V92q0vBzSrLW13C6GT8bTb/+qKjRL7H+q/vQsUcKi51WQd9tjWrfQ2/ra0XkzvZSK16fYFXsh/5eswe7pBmbtVb/e4qkLBOkDkt+f+yfIziSS84mZrbnYyqr/Fb2YwCSm6b0XsIJ1bCJD55ZxijOcB56UkDKqjLVTlYCvGcGXUKIfyjqKVg==</latexit>

テスト

Fox

Elephant"K-way N-shots”

少数事例からのセグメンテーション

Wang, Suganuma, Okatani, Improved Few-shot Segmentation by Redefinition of the Roles of Multi-level CNN Features, arXiv 2021•

最少で１事例のみで対象物を指定し，セグメンテーションを実⾏

例︓「ボトル」＋
事例（画像＋物体マスク）

⼊⼒画像
Similarity map

High-level features,⌦ Similarity map<latexit sha1_base64="5KlTh27dl+7ovgKeHkCwFbcewDo=">AAACa3ichVG7SgNBFD1Z3/GRqI2oRTBErMIkiIqVYGOZqHlAlLC7TuKQfbE7CWjwByxtLLRREBE/w8YfsPATRKwUbCy8u1kQDepdZufMmXvunLmjOYbwJGOPEaWnt69/YHAoOjwyOhaLj08UPbvp6ryg24btljXV44aweEEKafCy43LV1Axe0hrr/n6pxV1P2Na2PHD4rqnWLVETuiqJKu/YUpjci1bjSZZmQSS6QSYESYSRs+PX2MEebOhowgSHBUnYgAqPvgoyYHCI20WbOJeQCPY5jhAlbZOyOGWoxDboX6dVJWQtWvs1vUCt0ykGDZeUCaTYA7thr+ye3bIn9vFrrXZQw/dyQLPW0XKnGjue2nr/V2XSLLH/pfrTs0QNK4FXQd6dgPFvoXf0rcPT163VzVR7nl2yZ/J/wR7ZHd3Aar3pV3m+eQb/ATI/290Nitl0ZimdzS8m1xbDpxjEDOawQP1exho2kEMh6PMJznAeeVEmlWlltpOqRELNJL6FkvoEBB2Mtg==</latexit>

High-level features0
fhq fhs<latexit sha1_base64="c4o7roZSbrHdwQV16EMh5fG9ejQ=">AAACcXichVHLSgMxFD0d3/XRqhvFTWnxAULJlKLiSnDj0le14KPMjGkbOi9m0kId/AF/QMGVgoj4GW78ARd+gris4MaFt9MBUVFvSHJycs/NSaK7pvAlY08xpau7p7evfyA+ODQ8kkiOju34Tt0zeMFwTMcr6prPTWHzghTS5EXX45qlm3xXr62293cb3POFY2/LpssPLK1ii7IwNEnUYXm2tG9psupZQdU/KSUzLMvCSP0EagQyiGLdSd5gH0dwYKAOCxw2JGETGnxqe1DB4BJ3gIA4j5AI9zlOECdtnbI4ZWjE1mis0GovYm1at2v6odqgU0zqHilTmGaP7Ja12AO7Y8/s/ddaQVij7aVJs97RcreUOJ3YevtXZdEsUf1U/elZooyl0Ksg727ItG9hdPSN47PW1vLmdDDDrtgL+b9kT+yebmA3Xo3rDb55gTh9gPr9uX+CnVxWXcjmNvKZlXz0Ff2YQhpz9N6LWMEa1lGgcz2c4xJXsZYyqaSUdCdViUWacXwJZf4DVWmPnw==</latexit><latexit sha1_base64="eoaKSxI5JK6qWQvLQkYidW+pa1Y=">AAACcHichVG7SgNBFD1ZXzG+ojaChY+giEWYSFCxCthYJmpMIAlhd52YxX25OwnEJT/gD6SwUUFE/Awbf8DCTxA7FWwsvLtZEBX1DjNz5sw9d87MKLauuYKxh4jU09vXPxAdjA0Nj4yOxccn9lyr4ag8r1q65RQV2eW6ZvK80ITOi7bDZUPReUE53PT3C03uuJpl7oqWzSuGfGBqNU2VBVGVWrVsyKLuGF79qF2NJ1iSBTH7E6RCkEAYWSt+hTL2YUFFAwY4TAjCOmS41EpIgcEmrgKPOIeQFuxztBEjbYOyOGXIxB7SeECrUsiatPZruoFapVN06g4pZ7HA7tk1e2F37IY9svdfa3lBDd9Li2alq+V2dexkauftX5VBs0D9U/WnZ4Ea1gOvGnm3A8a/hdrVN487Lzsb2wveIrtgT+T/nD2wW7qB2XxVL3N8+xQx+oDU9+f+CfZWkqnV5Eouncikw6+IYhrzWKL3XkMGW8giT+ceoYMznEeepSlpRprrpkqRUDOJLyEtfwDbpo9s</latexit>

,

Mask

Query

,

⌦

0
Mid-levelfhq
featuresfhs<latexit sha1_base64="eoaKSxI5JK6qWQvLQkYidW+pa1Y=">AAACcHichVG7SgNBFD1ZXzG+ojaChY+giEWYSFCxCthYJmpMIAlhd52YxX25OwnEJT/gD6SwUUFE/Awbf8DCTxA7FWwsvLtZEBX1DjNz5sw9d87MKLauuYKxh4jU09vXPxAdjA0Nj4yOxccn9lyr4ag8r1q65RQV2eW6ZvK80ITOi7bDZUPReUE53PT3C03uuJpl7oqWzSuGfGBqNU2VBVGVWrVsyKLuGF79qF2NJ1iSBTH7E6RCkEAYWSt+hTL2YUFFAwY4TAjCOmS41EpIgcEmrgKPOIeQFuxztBEjbYOyOGXIxB7SeECrUsiatPZruoFapVN06g4pZ7HA7tk1e2F37IY9svdfa3lBDd9Li2alq+V2dexkauftX5VBs0D9U/WnZ4Ea1gOvGnm3A8a/hdrVN487Lzsb2wveIrtgT+T/nD2wW7qB2XxVL3N8+xQx+oDU9+f+CfZWkqnV5Eouncikw6+IYhrzWKL3XkMGW8giT+ceoYMznEeepSlpRprrpkqRUDOJLyEtfwDbpo9s</latexit>,

SupportQuery, ,<latexit sha1_base64="HmWHbUArqibkhiIdQeueGqqF1vM=">AAACaXichVFNSwJBGH7cvsw+1LpIXSQxOskoUtFJ6NLRj/wAFdndxtpcd5fdVTDpD3TqFtWpICL6GV36Ax38CeHRoEuHXteFKKneYWaeeeZ93nlmRjJUxbIZ63mEicmp6RnvrG9ufmHRHwguFSy9Zco8L+uqbpYk0eKqovG8rdgqLxkmF5uSyotSY3e4X2xz01J0bd/uGLzaFA81pa7Iok1UoaIbasuqBSIsxpwIj4O4CyJwI60H7lHBAXTIaKEJDg02YRUiLGplxMFgEFdFlziTkOLsc5zCR9oWZXHKEIlt0HhIq7LLarQe1rQctUynqNRNUoYRZS/sgQ3YM3tkr+zj11pdp8bQS4dmaaTlRs1/Fsq9/6tq0mzj6Ev1p2cbdWw7XhXybjjM8BbySN8+uRjkdrLR7jq7ZX3yf8N67IluoLXf5LsMz17DRx8Q//nc46CQiMU3Y4lMMpJKul/hxSrWsEHvvYUU9pBGns49xjkuceXpC0EhJKyMUgWPq1nGtxAin+PEjDo=</latexit><latexit sha1_base64="HmWHbUArqibkhiIdQeueGqqF1vM=">AAACaXichVFNSwJBGH7cvsw+1LpIXSQxOskoUtFJ6NLRj/wAFdndxtpcd5fdVTDpD3TqFtWpICL6GV36Ax38CeHRoEuHXteFKKneYWaeeeZ93nlmRjJUxbIZ63mEicmp6RnvrG9ufmHRHwguFSy9Zco8L+uqbpYk0eKqovG8rdgqLxkmF5uSyotSY3e4X2xz01J0bd/uGLzaFA81pa7Iok1UoaIbasuqBSIsxpwIj4O4CyJwI60H7lHBAXTIaKEJDg02YRUiLGplxMFgEFdFlziTkOLsc5zCR9oWZXHKEIlt0HhIq7LLarQe1rQctUynqNRNUoYRZS/sgQ3YM3tkr+zj11pdp8bQS4dmaaTlRs1/Fsq9/6tq0mzj6Ev1p2cbdWw7XhXybjjM8BbySN8+uRjkdrLR7jq7ZX3yf8N67IluoLXf5LsMz17DRx8Q//nc46CQiMU3Y4lMMpJKul/hxSrWsEHvvYUU9pBGns49xjkuceXpC0EhJKyMUgWPq1nGtxAin+PEjDo=</latexit><latexit sha1_base64="HmWHbUArqibkhiIdQeueGqqF1vM=">AAACaXichVFNSwJBGH7cvsw+1LpIXSQxOskoUtFJ6NLRj/wAFdndxtpcd5fdVTDpD3TqFtWpICL6GV36Ax38CeHRoEuHXteFKKneYWaeeeZ93nlmRjJUxbIZ63mEicmp6RnvrG9ufmHRHwguFSy9Zco8L+uqbpYk0eKqovG8rdgqLxkmF5uSyotSY3e4X2xz01J0bd/uGLzaFA81pa7Iok1UoaIbasuqBSIsxpwIj4O4CyJwI60H7lHBAXTIaKEJDg02YRUiLGplxMFgEFdFlziTkOLsc5zCR9oWZXHKEIlt0HhIq7LLarQe1rQctUynqNRNUoYRZS/sgQ3YM3tkr+zj11pdp8bQS4dmaaTlRs1/Fsq9/6tq0mzj6Ev1p2cbdWw7XhXybjjM8BbySN8+uRjkdrLR7jq7ZX3yf8N67IluoLXf5LsMz17DRx8Q//nc46CQiMU3Y4lMMpJKul/hxSrWsEHvvYUU9pBGns49xjkuceXpC0EhJKyMUgWPq1nGtxAin+PEjDo=</latexit><latexit sha1_base64="HmWHbUArqibkhiIdQeueGqqF1vM=">AAACaXichVFNSwJBGH7cvsw+1LpIXSQxOskoUtFJ6NLRj/wAFdndxtpcd5fdVTDpD3TqFtWpICL6GV36Ax38CeHRoEuHXteFKKneYWaeeeZ93nlmRjJUxbIZ63mEicmp6RnvrG9ufmHRHwguFSy9Zco8L+uqbpYk0eKqovG8rdgqLxkmF5uSyotSY3e4X2xz01J0bd/uGLzaFA81pa7Iok1UoaIbasuqBSIsxpwIj4O4CyJwI60H7lHBAXTIaKEJDg02YRUiLGplxMFgEFdFlziTkOLsc5zCR9oWZXHKEIlt0HhIq7LLarQe1rQctUynqNRNUoYRZS/sgQ3YM3tkr+zj11pdp8bQS4dmaaTlRs1/Fsq9/6tq0mzj6Ev1p2cbdWw7XhXybjjM8BbySN8+uRjkdrLR7jq7ZX3yf8N67IluoLXf5LsMz17DRx8Q//nc46CQiMU3Y4lMMpJKul/hxSrWsEHvvYUU9pBGns49xjkuceXpC0EhJKyMUgWPq1nGtxAin+PEjDo=</latexit>

psim

Update0
fmq f fms
f0
<latexit sha1_base64="R3Mokz34sEaeBo838KUpvPja1kc=">AAACcXichVHLSgMxFD0dX7U+WnWjuCkWHyCUTCkqrgpuXPqqCj7KzJjWwXmRSQt16A/4AwquKoiIn+HGH3DhJ4jLCm5ceDsdEBX1hiQnJ/fcnCS6Z5m+ZOwppnR19/T2xfsTA4NDw8nUyOi271aFwYuGa7liV9d8bpkOL0pTWnzXE1yzdYvv6Ccr7f2dGhe+6Tpbsu7xA1urOGbZNDRJ1GF5trRva/JY2IHtN0qpDMuyMNI/gRqBDKJYc1M32McRXBiowgaHA0nYggaf2h5UMHjEHSAgThAyw32OBhKkrVIWpwyN2BMaK7Tai1iH1u2afqg26BSLuiBlGtPskd2yFntgd+yZvf9aKwhrtL3UadY7Wu6Vkmfjm2//qmyaJY4/VX96lihjKfRqkncvZNq3MDr62ul5a3N5YzqYYVfshfw32RO7pxs4tVfjep1vXCJBH6B+f+6fYDuXVReyufV8ppCPviKOSUxhjt57EQWsYg1FOlfgAk1cxVrKhJJWpjqpSizSjOFLKPMfX3OPpA==</latexit>

Pretrained
CNN CNN
Support
Pretrained<latexit sha1_base64="Nsh3hVBWIjRdTMzXDJq+LIn8Fdk=">AAACdXichVHLSgMxFD0d3/XRUTeCCMVqcVXTUlRcCW5ctmpVUCkzY2pD58VMWtChP+APuNCNgor4GW78ARd+grhU6MaFt9MBUVFvSHJycs/NSaK7pvAlY08xpau7p7evfyA+ODQ8klBHx7Z8p+4ZvGQ4puPt6JrPTWHzkhTS5DuuxzVLN/m2Xltt7283uOcLx96URy7ft7RDW1SEoUmiyqrqloM9S5NVzwp8YTWbZTXFMiyM5E+QjUAKURQc9QZ7OIADA3VY4LAhCZvQ4FPbRRYMLnH7CIjzCIlwn6OJOGnrlMUpQyO2RuMhrXYj1qZ1u6Yfqg06xaTukTKJWfbIbtkre2B37Jm9/1orCGu0vRzRrHe03C0nTiY2Wv+qLJolqp+qPz1LVLAUehXk3Q2Z9i2Mjr5xfPq6sbw+G6TZJXsh/xfsid3TDezGm3FV5OtniNMHZL8/90+wlctkFzK5Yj61ko++oh+TmMYcvfciVrCGAkp0bgPnuMJ1rKVMKTNKupOqxCLNOL6EMv8ByimRLQ==</latexit>

psim

FusionFusion &&UpdateMid-level features<latexit sha1_base64="yMOkN7ErZk1QL04KCTwmED6uv0c=">AAACcHichVG7SgNBFD1ZXzG+ojYBC6MhIhZhNgQVK8HG0lceoCHsrhOzuK/sTgIx5Af8AQsbI4iIn2HjD1j4CWKngo2FN5sF0aDeYWbOnLnnzpkZ1TF0TzD2GJL6+gcGh8LDkZHRsfGJ6ORUzrNrrsazmm3YbkFVPG7oFs8KXRi84LhcMVWD59Xjjc5+vs5dT7etPdFweNFUjiy9rGuKIKpYLh2Yiqi4ZtOstkrRBEsxP+K9QA5AAkFs2dFrHOAQNjTUYILDgiBsQIFHbR8yGBziimgS5xLS/X2OFiKkrVEWpwyF2GMaj2i1H7AWrTs1PV+t0SkGdZeUcSTZA7thr+ye3bIn9vFrraZfo+OlQbPa1XKnNHEa233/V2XSLFD5Uv3pWaCMVd+rTt4dn+ncQuvq6ydnr7trO8nmArtkz+S/zR7ZHd3Aqr9pV9t85xwR+gD553P3glw6JS+n0tuZxHom+IowZjCPRXrvFaxjE1vI0rlVnOEC7dCLFJNmpbluqhQKNNP4FtLSJ+Wwj3E=</latexit><latexit sha1_base64="Nsh3hVBWIjRdTMzXDJq+LIn8Fdk=">AAACdXichVHLSgMxFD0d3/XRUTeCCMVqcVXTUlRcCW5ctmpVUCkzY2pD58VMWtChP+APuNCNgor4GW78ARd+grhU6MaFt9MBUVFvSHJycs/NSaK7pvAlY08xpau7p7evfyA+ODQ8klBHx7Z8p+4ZvGQ4puPt6JrPTWHzkhTS5DuuxzVLN/m2Xltt7283uOcLx96URy7ft7RDW1SEoUmiyqrqloM9S5NVzwp8YTWbZTXFMiyM5E+QjUAKURQc9QZ7OIADA3VY4LAhCZvQ4FPbRRYMLnH7CIjzCIlwn6OJOGnrlMUpQyO2RuMhrXYj1qZ1u6Yfqg06xaTukTKJWfbIbtkre2B37Jm9/1orCGu0vRzRrHe03C0nTiY2Wv+qLJolqp+qPz1LVLAUehXk3Q2Z9i2Mjr5xfPq6sbw+G6TZJXsh/xfsid3TDezGm3FV5OtniNMHZL8/90+wlctkFzK5Yj61ko++oh+TmMYcvfciVrCGAkp0bgPnuMJ1rKVMKTNKupOqxCLNOL6EMv8ByimRLQ==</latexit><latexit sha1_base64="5KlTh27dl+7ovgKeHkCwFbcewDo=">AAACa3ichVG7SgNBFD1Z3/GRqI2oRTBErMIkiIqVYGOZqHlAlLC7TuKQfbE7CWjwByxtLLRREBE/w8YfsPATRKwUbCy8u1kQDepdZufMmXvunLmjOYbwJGOPEaWnt69/YHAoOjwyOhaLj08UPbvp6ryg24btljXV44aweEEKafCy43LV1Axe0hrr/n6pxV1P2Na2PHD4rqnWLVETuiqJKu/YUpjci1bjSZZmQSS6QSYESYSRs+PX2MEebOhowgSHBUnYgAqPvgoyYHCI20WbOJeQCPY5jhAlbZOyOGWoxDboX6dVJWQtWvs1vUCt0ykGDZeUCaTYA7thr+ye3bIn9vFrrXZQw/dyQLPW0XKnGjue2nr/V2XSLLH/pfrTs0QNK4FXQd6dgPFvoXf0rcPT163VzVR7nl2yZ/J/wR7ZHd3Aar3pV3m+eQb/ATI/290Nitl0ZimdzS8m1xbDpxjEDOawQP1exho2kEMh6PMJznAeeVEmlWlltpOqRELNJL6FkvoEBB2Mtg==</latexit><latexit sha1_base64="c4o7roZSbrHdwQV16EMh5fG9ejQ=">AAACcXichVHLSgMxFD0d3/XRqhvFTWnxAULJlKLiSnDj0le14KPMjGkbOi9m0kId/AF/QMGVgoj4GW78ARd+gris4MaFt9MBUVFvSHJycs/NSaK7pvAlY08xpau7p7evfyA+ODQ8kkiOju34Tt0zeMFwTMcr6prPTWHzghTS5EXX45qlm3xXr62293cb3POFY2/LpssPLK1ii7IwNEnUYXm2tG9psupZQdU/KSUzLMvCSP0EagQyiGLdSd5gH0dwYKAOCxw2JGETGnxqe1DB4BJ3gIA4j5AI9zlOECdtnbI4ZWjE1mis0GovYm1at2v6odqgU0zqHilTmGaP7Ja12AO7Y8/s/ddaQVij7aVJs97RcreUOJ3YevtXZdEsUf1U/elZooyl0Ksg727ItG9hdPSN47PW1vLmdDDDrtgL+b9kT+yebmA3Xo3rDb55gTh9gPr9uX+CnVxWXcjmNvKZlXz0Ff2YQhpz9N6LWMEa1lGgcz2c4xJXsZYyqaSUdCdViUWacXwJZf4DVWmPnw==</latexit>

Mask

予測結果

Predict
Predictmq

ŷq<latexit sha1_base64="kV0u2ioKqSsiCNM/HD3MN9AOTyw=">AAACbHichVG7SgNBFD1ZXzE+Eh+FIEIwJFiFSQgqVoKNZXzERJIQdteJLu7L3UkgBn/A1sJCLRRExM+w8Qcs/AQRbCLYWHizWRAN6h1m5syZe+6cmVFsXXMFY08Bqae3r38gOBgaGh4ZDUfGxrdcq+aoPKdauuUUFNnlumbynNCEzgu2w2VD0Xle2V9p7+fr3HE1y9wUDZuXDXnX1KqaKguitkt7smg2jioHlUiMJZkX0W6Q8kEMfmStyA1K2IEFFTUY4DAhCOuQ4VIrIgUGm7gymsQ5hDRvn+MIIdLWKItThkzsPo27tCr6rEnrdk3XU6t0ik7dIWUUcfbIblmLPbA79sw+fq3V9Gq0vTRoVjpablfCx1Mb7/+qDJoF9r5Uf3oWqGLR86qRd9tj2rdQO/r64WlrY2k93kywK/ZC/i/ZE7unG5j1N/V6ja+fIUQfkPr53N1gK51MzSfTa5nYcsb/iiCmMYs5eu8FLGMVWeToXAMnOMdF4FWalKalmU6qFPA1E/gWUuIT8wKNow==</latexit><latexit sha1_base64="R3Mokz34sEaeBo838KUpvPja1kc=">AAACcXichVHLSgMxFD0dX7U+WnWjuCkWHyCUTCkqrgpuXPqqCj7KzJjWwXmRSQt16A/4AwquKoiIn+HGH3DhJ4jLCm5ceDsdEBX1hiQnJ/fcnCS6Z5m+ZOwppnR19/T2xfsTA4NDw8nUyOi271aFwYuGa7liV9d8bpkOL0pTWnzXE1yzdYvv6Ccr7f2dGhe+6Tpbsu7xA1urOGbZNDRJ1GF5trRva/JY2IHtN0qpDMuyMNI/gRqBDKJYc1M32McRXBiowgaHA0nYggaf2h5UMHjEHSAgThAyw32OBhKkrVIWpwyN2BMaK7Tai1iH1u2afqg26BSLuiBlGtPskd2yFntgd+yZvf9aKwhrtL3UadY7Wu6Vkmfjm2//qmyaJY4/VX96lihjKfRqkncvZNq3MDr62ul5a3N5YzqYYVfshfw32RO7pxs4tVfjep1vXCJBH6B+f+6fYDuXVReyufV8ppCPviKOSUxhjt57EQWsYg1FOlfgAk1cxVrKhJJWpjqpSizSjOFLKPMfX3OPpA==</latexit><latexit sha1_base64="yMOkN7ErZk1QL04KCTwmED6uv0c=">AAACcHichVG7SgNBFD1ZXzG+ojYBC6MhIhZhNgQVK8HG0lceoCHsrhOzuK/sTgIx5Af8AQsbI4iIn2HjD1j4CWKngo2FN5sF0aDeYWbOnLnnzpkZ1TF0TzD2GJL6+gcGh8LDkZHRsfGJ6ORUzrNrrsazmm3YbkFVPG7oFs8KXRi84LhcMVWD59Xjjc5+vs5dT7etPdFweNFUjiy9rGuKIKpYLh2Yiqi4ZtOstkrRBEsxP+K9QA5AAkFs2dFrHOAQNjTUYILDgiBsQIFHbR8yGBziimgS5xLS/X2OFiKkrVEWpwyF2GMaj2i1H7AWrTs1PV+t0SkGdZeUcSTZA7thr+ye3bIn9vFrraZfo+OlQbPa1XKnNHEa233/V2XSLFD5Uv3pWaCMVd+rTt4dn+ncQuvq6ydnr7trO8nmArtkz+S/zR7ZHd3Aqr9pV9t85xwR+gD553P3glw6JS+n0tuZxHom+IowZjCPRXrvFaxjE1vI0rlVnOEC7dCLFJNmpbluqhQKNNP4FtLSJ+Wwj3E=</latexit>ŷq<latexit sha1_base64="kV0u2ioKqSsiCNM/HD3MN9AOTyw=">AAACbHichVG7SgNBFD1ZXzE+Eh+FIEIwJFiFSQgqVoKNZXzERJIQdteJLu7L3UkgBn/A1sJCLRRExM+w8Qcs/AQRbCLYWHizWRAN6h1m5syZe+6cmVFsXXMFY08Bqae3r38gOBgaGh4ZDUfGxrdcq+aoPKdauuUUFNnlumbynNCEzgu2w2VD0Xle2V9p7+fr3HE1y9wUDZuXDXnX1KqaKguitkt7smg2jioHlUiMJZkX0W6Q8kEMfmStyA1K2IEFFTUY4DAhCOuQ4VIrIgUGm7gymsQ5hDRvn+MIIdLWKItThkzsPo27tCr6rEnrdk3XU6t0ik7dIWUUcfbIblmLPbA79sw+fq3V9Gq0vTRoVjpablfCx1Mb7/+qDJoF9r5Uf3oWqGLR86qRd9tj2rdQO/r64WlrY2k93kywK/ZC/i/ZE7unG5j1N/V6ja+fIUQfkPr53N1gK51MzSfTa5nYcsb/iiCmMYs5eu8FLGMVWeToXAMnOMdF4FWalKalmU6qFPA1E/gWUuIT8wKNow==</latexit>msG<latexit sha1_base64="O/GmIXxZZ/cjOejOKDGEyoUS7bI=">AAACZHichVFNSwJBGH7cvswsLQmCICQxOskoUtFJ6FBHP/IDTGR3G2tx3V12V8GkP1DXokOngojoZ3TpD3TwDwTR0aBLh17XhSip3mFmnnnmfd55ZkYyVMWyGet6hJHRsfEJ76Rvyj89EwjOzhUsvWnKPC/rqm6WJNHiqqLxvK3YKi8ZJhcbksqLUn2rv19scdNSdG3Xbhu80hAPNKWmyKJNVGa7GoywGHMiPAziLojAjbQevMUe9qFDRhMNcGiwCasQYVErIw4Gg7gKOsSZhBRnn+MYPtI2KYtThkhsncYDWpVdVqN1v6blqGU6RaVukjKMKHtid6zHHtk9e2Efv9bqODX6Xto0SwMtN6qBk4Xc+7+qBs02Dr9Uf3q2UcOG41Uh74bD9G8hD/Sto4tebjMb7aywa/ZK/q9Ylz3QDbTWm3yT4dlL+OgD4j+fexgUErH4WiyRSUZSSfcrvFjEMlbpvdeRwg7SyNO5HKc4w7nnWfALIWF+kCp4XE0I30JY+gSSYInA</latexit>

G<latexit sha1_base64="O/GmIXxZZ/cjOejOKDGEyoUS7bI=">AAACZHichVFNSwJBGH7cvswsLQmCICQxOskoUtFJ6FBHP/IDTGR3G2tx3V12V8GkP1DXokOngojoZ3TpD3TwDwTR0aBLh17XhSip3mFmnnnmfd55ZkYyVMWyGet6hJHRsfEJ76Rvyj89EwjOzhUsvWnKPC/rqm6WJNHiqqLxvK3YKi8ZJhcbksqLUn2rv19scdNSdG3Xbhu80hAPNKWmyKJNVGa7GoywGHMiPAziLojAjbQevMUe9qFDRhMNcGiwCasQYVErIw4Gg7gKOsSZhBRnn+MYPtI2KYtThkhsncYDWpVdVqN1v6blqGU6RaVukjKMKHtid6zHHtk9e2Efv9bqODX6Xto0SwMtN6qBk4Xc+7+qBs02Dr9Uf3q2UcOG41Uh74bD9G8hD/Sto4tebjMb7aywa/ZK/q9Ylz3QDbTWm3yT4dlL+OgD4j+fexgUErH4WiyRSUZSSfcrvFjEMlbpvdeRwg7SyNO5HKc4w7nnWfALIWF+kCp4XE0I30JY+gSSYInA</latexit>,0
fmq fms<latexit sha1_base64="R3Mokz34sEaeBo838KUpvPja1kc=">AAACcXichVHLSgMxFD0dX7U+WnWjuCkWHyCUTCkqrgpuXPqqCj7KzJjWwXmRSQt16A/4AwquKoiIn+HGH3DhJ4jLCm5ceDsdEBX1hiQnJ/fcnCS6Z5m+ZOwppnR19/T2xfsTA4NDw8nUyOi271aFwYuGa7liV9d8bpkOL0pTWnzXE1yzdYvv6Ccr7f2dGhe+6Tpbsu7xA1urOGbZNDRJ1GF5trRva/JY2IHtN0qpDMuyMNI/gRqBDKJYc1M32McRXBiowgaHA0nYggaf2h5UMHjEHSAgThAyw32OBhKkrVIWpwyN2BMaK7Tai1iH1u2afqg26BSLuiBlGtPskd2yFntgd+yZvf9aKwhrtL3UadY7Wu6Vkmfjm2//qmyaJY4/VX96lihjKfRqkncvZNq3MDr62ul5a3N5YzqYYVfshfw32RO7pxs4tVfjep1vXCJBH6B+f+6fYDuXVReyufV8ppCPviKOSUxhjt57EQWsYg1FOlfgAk1cxVrKhJJWpjqpSizSjOFLKPMfX3OPpA==</latexit><latexit sha1_base64="yMOkN7ErZk1QL04KCTwmED6uv0c=">AAACcHichVG7SgNBFD1ZXzG+ojYBC6MhIhZhNgQVK8HG0lceoCHsrhOzuK/sTgIx5Af8AQsbI4iIn2HjD1j4CWKngo2FN5sF0aDeYWbOnLnnzpkZ1TF0TzD2GJL6+gcGh8LDkZHRsfGJ6ORUzrNrrsazmm3YbkFVPG7oFs8KXRi84LhcMVWD59Xjjc5+vs5dT7etPdFweNFUjiy9rGuKIKpYLh2Yiqi4ZtOstkrRBEsxP+K9QA5AAkFs2dFrHOAQNjTUYILDgiBsQIFHbR8yGBziimgS5xLS/X2OFiKkrVEWpwyF2GMaj2i1H7AWrTs1PV+t0SkGdZeUcSTZA7thr+ye3bIn9vFrraZfo+OlQbPa1XKnNHEa233/V2XSLFD5Uv3pWaCMVd+rTt4dn+ncQuvq6ydnr7trO8nmArtkz+S/zR7ZHd3Aqr9pV9t85xwR+gD553P3glw6JS+n0tuZxHom+IowZjCPRXrvFaxjE1vI0rlVnOEC7dCLFJNmpbluqhQKNNP4FtLSJ+Wwj3E=</latexit>

Initial estimate

1st update

GG<latexit sha1_base64="O/GmIXxZZ/cjOejOKDGEyoUS7bI=">AAACZHichVFNSwJBGH7cvswsLQmCICQxOskoUtFJ6FBHP/IDTGR3G2tx3V12V8GkP1DXokOngojoZ3TpD3TwDwTR0aBLh17XhSip3mFmnnnmfd55ZkYyVMWyGet6hJHRsfEJ76Rvyj89EwjOzhUsvWnKPC/rqm6WJNHiqqLxvK3YKi8ZJhcbksqLUn2rv19scdNSdG3Xbhu80hAPNKWmyKJNVGa7GoywGHMiPAziLojAjbQevMUe9qFDRhMNcGiwCasQYVErIw4Gg7gKOsSZhBRnn+MYPtI2KYtThkhsncYDWpVdVqN1v6blqGU6RaVukjKMKHtid6zHHtk9e2Efv9bqODX6Xto0SwMtN6qBk4Xc+7+qBs02Dr9Uf3q2UcOG41Uh74bD9G8hD/Sto4tebjMb7aywa/ZK/q9Ylz3QDbTWm3yT4dlL+OgD4j+fexgUErH4WiyRSUZSSfcrvFjEMlbpvdeRwg7SyNO5HKc4w7nnWfALIWF+kCp4XE0I30JY+gSSYInA</latexit><latexit sha1_base64="O/GmIXxZZ/cjOejOKDGEyoUS7bI=">AAACZHichVFNSwJBGH7cvswsLQmCICQxOskoUtFJ6FBHP/IDTGR3G2tx3V12V8GkP1DXokOngojoZ3TpD3TwDwTR0aBLh17XhSip3mFmnnnmfd55ZkYyVMWyGet6hJHRsfEJ76Rvyj89EwjOzhUsvWnKPC/rqm6WJNHiqqLxvK3YKi8ZJhcbksqLUn2rv19scdNSdG3Xbhu80hAPNKWmyKJNVGa7GoywGHMiPAziLojAjbQevMUe9qFDRhMNcGiwCasQYVErIw4Gg7gKOsSZhBRnn+MYPtI2KYtThkhsncYDWpVdVqN1v6blqGU6RaVukjKMKHtid6zHHtk9e2Efv9bqODX6Xto0SwMtN6qBk4Xc+7+qBs02Dr9Uf3q2UcOG41Uh74bD9G8hD/Sto4tebjMb7aywa/ZK/q9Ylz3QDbTWm3yT4dlL+OgD4j+fexgUErH4WiyRSUZSSfcrvFjEMlbpvdeRwg7SyNO5HKc4w7nnWfALIWF+kCp4XE0I30JY+gSSYInA</latexit><latexit sha1_base64="zDDDrwpQhfQZvmtV4m7YSnpOfG8=">AAACanichVHLSsNAFD2Nr1pftW4UN8Wq1E2ZSFFxJbhx2VbbCr5I4lSDaRKSaaEGf8CdK8GuFETEz3DjD7joJ4juKrhx4U0aEBX1DjNz5sw9d87MqLahu4KxVkTq6u7p7Yv2xwYGh4ZH4qOJkmvVHI0XNcuwnE1Vcbmhm7wodGHwTdvhSlU1eFk9WvX3y3XuuLplboiGzXeqyoGpV3RNEUSV7V0vLc+d7MVTLMOCSP4EcghSCCNnxW+wjX1Y0FBDFRwmBGEDClxqW5DBYBO3A484h5Ae7HOcIEbaGmVxylCIPaLxgFZbIWvS2q/pBmqNTjGoO6RMYoY9slvWZg/sjj2x919reUEN30uDZrWj5fbeyOn4+tu/qirNAoefqj89C1SwFHjVybsdMP4ttI6+fnzeXl8uzHiz7Io9k/9L1mL3dAOz/qpd53mhiRh9gPz9uX+C0nxGXsjM57OplWz4FVFMYgppeu9FrGANORQDd2e4QDPyIiWkCWmykypFQs0YvoQ0/QF8bov9</latexit><latexit sha1_base64="jSJJTa7DM446qFdavlHkOelhVac=">AAACanichVG7SgNBFD1ZXzG+YmyUNMGoaBNugqhYCTaWeRgj+GJ3HXXJvtjdBDT4A3ZWgqkURMTPsPEHLPIJop2CjYV3Nwuiot5hZs6cuefOmRnF1jXXI2pFpI7Oru6eaG+sr39gcCg+nFhzrZqjirJq6Zazrsiu0DVTlD3N08W67QjZUHRRUarL/n6lLhxXs8xV79AWW4a8b2p7mip7TFXs7cY0zRzvxNOUoSBSP0E2BGmEkbfi19jELiyoqMGAgAmPsQ4ZLrcNZEGwmdtCgzmHkRbsCxwjxtoaZwnOkJmt8rjPq42QNXnt13QDtcqn6NwdVqYwSQ90Qy90T7f0SO+/1moENXwvhzwrba2wd4ZORktv/6oMnj0cfKr+9OxhDwuBV4292wHj30Jt6+tHZy+lxeJkY4ou6Yn9X1CL7vgGZv1VvSqIYhMx/oDs9+f+CdZymexcJleYTS/Nhl8RRRLjmOb3nscSVpBHOXB3inM0I89SQhqTku1UKRJqRvAlpIkPemyL/A==</latexit>p(0)Tth update···<latexit sha1_base64="BN2nT172mEJ84leS5ypwSbHgFVU=">AAACaXichVHLSgMxFD0d3/XV6qboplgUVyUjouJKcOOyD9sKKjIzRo3Oi5m0UIs/4MqdqCsFEfEz3PgDLvoJ0mUFNy68Mx0QFfWGJCcn99ycJLprCl8y1owpXd09vX39A/HBoeGR0URyrOw7Vc/gJcMxHW9D13xuCpuXpJAm33A9rlm6ySv60WqwX6lxzxeOvS7rLt+2tH1b7AlDk0SVt4xdR/o7iQzLsjDSP4EagQyiyDmJO2xhFw4MVGGBw4YkbEKDT20TKhhc4rbRIM4jJMJ9jhPESVulLE4ZGrFHNO7TajNibVoHNf1QbdApJnWPlGlMs2d2z9rsiT2wF/b+a61GWCPwUqdZ72i5uzN6miq+/auyaJY4+FT96VliD0uhV0He3ZAJbmF09LXj83ZxuTDdmGE3rEX+r1mTPdIN7NqrcZvnhSvE6QPU78/9E5TnsupCdi4/n1mZj76iH5OYwiy99yJWsIYcSnTuIc5wgctYS0kqKWWik6rEIs04voSS+QC3dYwk</latexit>

G<latexit sha1_base64="O/GmIXxZZ/cjOejOKDGEyoUS7bI=">AAACZHichVFNSwJBGH7cvswsLQmCICQxOskoUtFJ6FBHP/IDTGR3G2tx3V12V8GkP1DXokOngojoZ3TpD3TwDwTR0aBLh17XhSip3mFmnnnmfd55ZkYyVMWyGet6hJHRsfEJ76Rvyj89EwjOzhUsvWnKPC/rqm6WJNHiqqLxvK3YKi8ZJhcbksqLUn2rv19scdNSdG3Xbhu80hAPNKWmyKJNVGa7GoywGHMiPAziLojAjbQevMUe9qFDRhMNcGiwCasQYVErIw4Gg7gKOsSZhBRnn+MYPtI2KYtThkhsncYDWpVdVqN1v6blqGU6RaVukjKMKHtid6zHHtk9e2Efv9bqODX6Xto0SwMtN6qBk4Xc+7+qBs02Dr9Uf3q2UcOG41Uh74bD9G8hD/Sto4tebjMb7aywa/ZK/q9Ylz3QDbTWm3yT4dlL+OgD4j+fexgUErH4WiyRSUZSSfcrvFjEMlbpvdeRwg7SyNO5HKc4w7nnWfALIWF+kCp4XE0I30JY+gSSYInA</latexit><latexit sha1_base64="IRGfNHr7GAGWzg3V65c0iqEf8OQ=">AAACanichVG7SgNBFD1ZXzG+YmwUm2CMaBNmQ1CxCthY+ooRfLG7jjpkX+xuAnHJD9hZCVopiIifYeMPWPgJol0EGwvvbhZEg3qHmTlz5p47Z2ZUWxeux9hTTOro7Oruifcm+voHBoeSw6kN16o6Gi9plm45m6ricl2YvOQJT+ebtsMVQ9V5Wa0sBvvlGndcYZnrXt3mO4ZyaIoDoSkeUWV7159en2nsJTMsx8JItwM5AhlEsWwlb7CNfVjQUIUBDhMeYR0KXGpbkMFgE7cDnziHkAj3ORpIkLZKWZwyFGIrNB7SaitiTVoHNd1QrdEpOnWHlGlk2SO7ZU32wO7YM/v4tZYf1gi81GlWW1pu7w2djK69/6syaPZw9KX607OHA8yHXgV5t0MmuIXW0teOz5prC6tZf4pdsRfyf8me2D3dwKy9adcrfPUCCfoA+edzt4ONfE6ezeVXCpliIfqKOMYxgWl67zkUsYRllEJ3pzjHRexVSklj0ngrVYpFmhF8C2nyE8K0jCA=</latexit>

p(1)

p(T )

22

学習で獲得する特徴表現

Zeiler-Fergus, Visualizing and understanding convolutional networks, arxiv2014•

各層各ユニットを最も活性化する⼊⼒画像

23

Wang, Suganuma, Okatani, Improved Few-shot Segmentation by Redeﬁnition of the Roles of Multi-level CNN Features, arXiv 2021

事例

w/ mask

正解
予測
1回⽬

2回⽬

24

データが少ない場合の対策•

定番の⽅法〜研究段階の⽅法まで– データ拡張– 転移学習– ドメイン適応（domain adaptation）– 少数事例学習（few-shot learning）– 半教師学習（semi-supervised），弱教師学習（weaklysupervised）

•

今後の⽅向

– ⾃⼰教師学習を基礎とする巨⼤なDNNモデル

25

⾃⼰教師学習
タスクによらない タスク
特徴表現 専⽤

タスクによらない タスク
特徴表現 専⽤

転移学習
正解ラベルなし
⼤量データ

少量の正解ラベル付
データ

転移後，⾃⼰学習（self-training）を実⾏することでさらなる性能向上
正解ラベル付き画像
で教師あり学習

SimCLR2[Chen+2020]26

⾃⼰教師学習•教師ラベルが「ただ」で⼿に⼊るようなタスク（=pretext task）
で事前学習 → 少数訓練データで学習

⾳声信号︓将来の信号を予測

画像︓内容を変えない変換を施した画像を同⼀視（対照表現学習）
斥⼒引⼒Contrastive Predictive Coding [van den Oord-Li-Vinyals arXiv18]

⾔語︓隠した単語を予測

BERT: Pre-training of Deep Bidirectional Transformers for Language
Understanding [Devlin+18]

SimCLR [Chen+20]

27

⾃⼰教師学習︓対照学習(contrastive learning)

教師あり学習︓1対1の⼊出⼒関係（画像à“Lion”）, ”Lion”

0

100%

Lion
Cat
Dog

Lion
Cat
Dog
…

…

⾃⼰教師学習︓特徴表現（画像の内容の同⼀性）
特徴空間
0

100%

Lion
Cat
Dog

Lion
Cat
Dog

…

…

28

⾃⼰教師学習
タスクによらない タスク
特徴表現 専⽤

タスクによらない タスク
特徴表現 専⽤

転移学習
正解ラベルなし
⼤量データ

少量の正解ラベル付
データ

転移後，⾃⼰学習（self-training）を実⾏することでさらなる性能向上
正解ラベル付き画像
で教師あり学習

SimCLR2[Chen+2020]29

学習データの量に対する⾒⽅
深層ニューラルネットワークは⼈に⽐肩する精度で物体認識が可能
ただしそれには正解ラベル付き画像100万枚の教師データを要する

深層ニューラルネットワークは⼈に⽐肩する精度で物体認識が可能
ただしそれには正解ラベル付き画像100万枚の教師データを要する「⾃⼰教師学習」や「⾃⼰訓練」でラベル付き画像はそんなに要らなそう
self-supervised learning

self-training

事前学習

半教師あり学習30

トレンド︓万能特徴表現の学習へ•

完全教師あり学習の限界– ⼤量データ依存性・ショートカット学習– 定式化できない問題•

現在の⽅向性︓万能特徴表現の学習– あらゆるタスクに転移可能な特徴表現の獲得

VTAB(Visual Task Adaptation Benchmark) [Zhai+2019]31

まとめ〜今後の姿•

限られた訓練データで⾏う深層学習– ドメイン適応– 少量事例学習•

超⼤規模な事前学習を⾏なったDNN = “Foundation Models”––––

⾃然⾔語，画像，今後さらなるモダリティ︖
コア技術＝⾃⼰教師学習
膨⼤な計算量 à 限られた団体のみが作れる
個別の問題への適応が主な仕事にタスクによらない タスク
特徴表現 専⽤

タスクによらない タスク
特徴表現 専⽤

転移学習
正解ラベルなし
⼤量データ

少量の正解ラベル付データ32
Bommasani+, On the Opportunities and Risks of Foundation Models, arXiv2022