Contrastive Loss を導入した EMP-SSL による自己教師ありオンライン継続学習
指導教授：山下 隆義
EP20014 今井孝洋
1. はじめに

EMP-SSL

自己教師あり学習は，ラベルなしデータから有用な表現を学習することが可能である．EMP-SSL は，自己教師あり学習の収束の遅さを解決した手法である．従来の自己教師あり学習手法は，1 つのデータに異なる 2 種類のデータ拡張を加えて 2 つのパッチを作成する．そして，それらの特徴量を近づけるように学習を行う．EMP-SSL は，データに加えるデータ拡張の種類を N 個まで増加させる．これにより，1 度に近づけるデータの特徴量を増やし，効率的に学習を進め，収束を早めている．

3. オンライン継続学習
MinRed は，バッファと呼ばれるメモリを利用した自己教師ありオンライン継続学習手法である．データの特徴量間でコサイン類似度を計算し，類似度が低いデータをバッファに保持することで多様なデータでの学習を可能とする．
また，自己教師あり学習手法の SimSiam を利用すること
で，ラベルなしデータでの学習が可能となる．しかし，オンライン継続学習は，時間と共に学習環境が変化するため，収束の遅い自己教師あり学習手法では，入力データの分布が切り替わるタイミングによっては学習が不十分なまま新しいデータ分布の学習が始まる．そのため，自己教師ありオンライン継続学習では，学習の収束速度が問題となる．

4. 提案手法
本研究では，自己教師ありオンライン継続学習の収束の遅さに対処することで精度向上を目指す．MinRed をベースに Contrastive Loss を導入した EMP-SSL を使用するアプローチを提案する．オンライン継続学習の問題に対して，提案手法では EMP-SSL を使用して学習の収束を早め，各データ分布において十分に学習させることで解決する．
図 1 に提案手法の学習プロセスを示す．図 1 に示すように，提案手法は MinRed バッファを利用して古いデータを保持し，新しいデータと共に学習を行う．また，損失関数には，EMP-SSL で使用される TCR Loss に加え，ContrastiveLoss を導入する．提案手法の損失関数 L を以下に示す．
∑∑1jj LT CR (Zi ) + λ
L=LCont (z̄ , zi )
ni=1,...nj=1,...b(1)()
1dLT CR (Z) = − log det I + 2 ZZ T(2)2bϵ)(exp(z̄ j · zij /τ )LCont z̄ j , zij = − log ∑n ∑blj
l=1,l̸=j exp(z̄ · zk /τ )k=1
(3)

ここで，d は投影次元数，b はバッチサイズ，λ は Contrastive Loss の重み，z はデータの特徴量，z̄ は異なるパッチの同じデータの特徴量の平均，τ は温度パラメータ，detは行列式である．この損失関数により，異なるパッチの同gradient

Data Stream
Encoder

Projection

Encoder

Projection

Encoder

Projection

gradient

MinRedBuffergradientMinRed

図 1: 提案手法の学習プロセス
じデータの特徴量は，そのデータの特徴量の平均に近づけ，異なるデータの特徴量の平均から遠ざけるように学習を行う．

5. 評価実験
提案手法と従来手法の MinRed，MinRed の学習方法をEMP-SSL に変更した手法の比較を行う．

5.1. 実験概要
クラス毎，もしくはタスク毎にデータセットを並べ替え，擬似的なデータストリームとして学習を行う．データセットには Seq-CIFAR10，Seq-CIFAR100，Seq-ImageNet100を用いる．ネットワークには ResNet18，学習回数は 1 エポック，バッチサイズは 100，リプレイバッファのサイズは 256，Seq-ImageNet100 の場合のみ 1,024 である．バッ
ファ内のデータを繰り返し学習する反復回数 K は，提案手法と EMP-SSL では 3，MinRed では 50 である．評価
方法には k-NN 法を用いる．

5.2. 評価結果
最終的な k-NN 分類精度を表 1，学習過程の k-NN 分
類精度の推移を図 2 に示す．表 1 より，Seq-CIFAR10，Seq-CIFAR100，Seq-ImageNet100 において，提案手法はMinRed よりそれぞれ 18.95pt，7.72pt，4.68pt 精度向上した．また，図 2 より，学習過程の精度も提案手法は MinRed
より高精度となることが確認できる．これらの結果より，
提案手法はオンライン継続学習において自己教師あり学習の収束速度を早め，精度を向上させることが可能である．

表 1: k-NN 分類精度
MinRedEMP-SSL
提案手法

Seq-CIFAR10
41.09
57.64
60.04

Seq-CIFAR100
22.56
27.18
30.2860

Seq-ImageNet100
21.90
26.06
26.58

3055
2550

knn_acc [%]2. 自己教師あり学習

重みの共有

パッチ

knn_acc [%]オンライン継続学習は，学習に各データを 1 度だけ使用して，データストリームから一連のタスクを継続学習する手法である．従来のオンライン継続学習手法はラベルありデータを対象にしており，実世界のラベルなしデータには対応していない．自己教師あり学習を利用することでラベルなしデータからの学習が可能となるが，自己教師あり学習手法は教師あり学習と比較して収束が遅い．そのため，オンライン継続学習では入力するデータストリームの分布が切り替わり，学習が不十分なまま新しいデータ分布の学習が始まる．そこで本研究では，オンライン継続学習手法のMinimum Redundancy (MinRed)[1] をベースに，自己教師あり学習の収束の遅さに対処した Extreme-Multi-Patch
Self-Supervised-Learning (EMP-SSL)[2] を導入した自己教師ありオンライン継続学習法を提案する．

45403530

EMP-SSL_Contrastive, K=3EMP-SSL, K=3MinRed,K=50

25020

4060

progress [%]80(a) Seq-CIFAR10

1002015
EMP-SSL_Contrastive,K=3EMP-SSL,K=3MinRed, K=50100204060progress [%]80100(b) Seq-CIFAR100

図 2: 学習過程における k-NN 精度
6. おわりに本研究では，MinRed をベースにした自己教師ありオンライン継続学習手法を提案した．評価実験では，従来手法と比較して提案手法の精度が向上することを確認した．今後の展望として，提案手法の改良を行い，更なる精度向上を目指す予定である．

参考文献[1] P. Senthil, et al., “The Challenges of Continuous
Self-Supervised Learning”, In ECCV，2022.
[2] S. Tong, et al., “Emp-ssl: Towards self-supervised
learning in one training epoch”, In arXiv, 2023.