複数の自己教師あり学習モデルを用いた下流タスクにおける知識蒸留に関する研究
指導教授：藤吉 弘亘

TR22007 鈴木 渉起
1. はじめに

3.1 Teacher の効率的な学習

自己教師あり学習 (SSL) は，大量のラベルなしデータから下流タスクに転移しやすい特徴表現を獲得する事前学習法である．大規模なデータセットを用いた SSL は，教師あり学習を凌駕する性能を達成できるため注目されている．基盤モデル等の SSL モデルは，通常大規模であり，計算コストが高くエッジデバイスでの推論時間やメモリコストが問題となる．そのため，計算コストの低い小規模なモデルが必要とされる．しかし，小規模なモデルは表現能力に欠けているため性能が低い．
本研究では，小規模なモデルの性能向上を目的として，
知識蒸留 (KD) [1] による SSL モデルからの知識の転移法を提案する．提案手法は，予備実験により確認した SSL の学習法による特徴表現の差異を基に，複数の SSL モデルを用いて，下流タスクにおける KD を行う．これにより，表現能力の高い小規模なモデルの獲得を目指す．

学習済みモデルを下流タスクに適用する方法には，線形評価とファインチューニングがある．線形評価は，学習済みモデルにクラス分類のための全結合層 (Head) を結合し，Head 以外を固定して学習する．ファインチューニング
は，学習済みモデルも含めて全てのパラメータを学習する．
提案手法では，複数の大規模な学習済みモデルを Teacherとして用いるため，メモリ消費量の少ない線形評価を用いる．しかし，MIM は線形評価で性能が低く，KD によりStudent に悪影響を与える．そこで，提案手法では Headに加えて，Transformer encoder の最終層も再学習する．
これを Partial-1 と呼ぶ．これにより，MIM における出力分布を用いた KD の効果の改善を期待する．

2. 自己教師あり学習 (SSL)
SSL の学習法には，Contrastive Learning (CL) と Masked Image Modeling (MIM) がある．CL は同じ画像間の特徴量は近づけ，異なる画像間の特徴量は遠ざけるように学習する．一方，MIM は画像の一部をマスクし，マスクした箇所の画素値または特徴量を予測するように学習する．
これらの学習法は，獲得する特徴表現が大きく異なることが知られている．そこで，予備実験として CL と MIM の特徴表現の差異を確認する．

3.2 出力分布を用いた KD
1 つ目の知識の伝達手段として，Teacher と Student に画像を入力し，得られた出力分布を用いて転移する．損失関数には，一般的な KD と同様に KL ダイバージェンスを用いる．CL と MIM の出力分布を用いた KD を次のように定式化する．
LKD = λ1 KL(pCL ∥pS ) + (1 − λ1 ) KL(pMIM ∥pS ),(1)ここで，pS , pCL , pMIM は各モデルの出力分布，λ1 は CLと MIM の損失の比率を調整する係数である．λ1 は 0.5 とする．

3.3 Attention Weight を用いた KD
予備実験 SSL モデルの Attention Weight（Self-Attenti-Attention distance (px)on における query と key の関係性）から，Attention distance を算出した結果を図 1 に示す．Attention distanceは，層ごとに Attention Weight とピクセル間距離を乗算したものである．これにより，深い層に着目すると，赤色で示す CL は大域的な領域，青色で示す MIM は局所的な領域を認識していることがわかる．この結果から，SSL の学習法によって特徴表現に差異があることがわかる．そこで，それぞれの Attention Weight を小規模なモデルに伝達することで，小規模なモデルにおける表現能力の改善を図る．

120

予備実験より，Attention Weight は学習法によって特徴表現に差異があることが判明した（図 1）．そこで，それぞれの特徴表現を小規模なモデルに伝達することで，小規模なモデルにおける表現能力の改善を考える．しかし，モデル構造によって Attention Weight の形状が異なるため，Teacher から Student に Attention Weight を転移することはできない．そのため，2 つ目の知識の伝達手段として，重要な Attention Weight を選択して転移する．

Attention Weight の選択方法 Attention Weightの選択方法として，Attention Conﬁdence (AC) [3] を用いる．ここで，AC は Multi-head attention の重要度を測る指標である．AC による評価値を次のように定式化する．

100Ch =

8060
CL (DINO)
MIM (MAE)

40

246Depth81012図 1: SSL モデルの Attention distance

3. 提案手法
予備実験を基に，複数の SSL モデルを用いて，下流タスクにおける KD を行うことで，より表現能力の高い小規模なモデルの獲得を目指す．KD は，学習済みモデル (Teacher)の知識を，未学習のモデル (Student) に伝達する手法である．図 2 に提案手法における KD を示す．提案手法では，Teacher として CL と MIM を用いて，2 つのモデルからKD をして Student に転移する．このとき，KD に用いる知識として，従来 KD で用いられるモデルの出力分布と，学習法による特徴表現の差異を確認した Attention Weightを考える．

1 ∑max Ah (q, k),|Q| q∈Q k∈K(2)

ここで，h は Head のインデックス，Q は query の集合，Kは key の集合，A は Attention Weight である．Teacherの Attention Weight を AC を用いて評価し，最も高く評価された Attention Weight が下流タスクにおいて重要だと考えて Student に転移する．

損失関数 Attention Weight を用いた KD では，KL ダイバージェンスを用いて Student の Attention Weight がTeacher の Attention Weight に近づくように学習する．
Attention Weight を用いた KD を次のように定式化する．
MIMLAttn = λ2 KL(ACL ∥AS∥AS1 ) + (1 − λ2 ) KL(A2 ),(3)S
ここで，AS
1 は Student の 1 番目の Attention Weight，A2は Student の 2 番目の Attention Weight，ACL と AMIM
は AC を基準に選択された CL と MIM それぞれの Attention Weight である．λ2 は CL と MIM の損失の比率を調整する係数であり，λ2 は 0 とする．

：LKD

：LAttnLayer 12!

!

!

!

LCL
CE
<latexit sha1_base64="YAoe2rE8pjwekZGb/H8Gheuo4+M=">AAACDHicbZDLSsNAFIYn9VbrLerSzWAQXJVESnVZKIILFxXsBdpYJtNJO3QyCTMToYQ8gBtfxY0LRdz6AO58GydpEG39YeDjP+cw5/xexKhUtv1llFZW19Y3ypuVre2d3T1z/6Ajw1hg0sYhC0XPQ5IwyklbUcVILxIEBR4jXW/azOrdeyIkDfmtmkXEDdCYU59ipLQ1NK1BgNQEI5Zcp8OcRZA0L9O7H9a+adlVOxdcBqcACxRqDc3PwSjEcUC4wgxJ2XfsSLkJEopiRtLKIJYkQniKxqSvkaOASDfJj0nhiXZG0A+FflzB3P09kaBAylng6c5sRblYy8z/av1Y+RduQnkUK8Lx/CM/ZlCFMEsGjqggWLGZBoQF1btCPEECYaXzq+gQnMWTl6FzVnXq1fpNzWrUijjK4Agcg1PggHPQAFegBdoAgwfwBF7Aq/FoPBtvxvu8tWQUM4fgj4yPb8l7nA4=</latexit><latexit sha1_base64="1KUVIMg58M9oYqd/pdheDEztFX8=">AAAB9HicbVDLTgIxFL2DL8QX6tJNIzFxRWYMQZckbFy4wEQeCYykUwo0tJ2x7ZCQCd/hxoXGuPVj3Pk3dmAWCp6kyck59+aeniDiTBvX/XZyG5tb2zv53cLe/sHhUfH4pKXDWBHaJCEPVSfAmnImadMww2knUhSLgNN2MKmnfntKlWahfDCziPoCjyQbMoKNlfzosSewGSuR1O/m/WLJLbsLoHXiZaQEGRr94ldvEJJYUGkIx1p3PTcyfoKVYYTTeaEXaxphMsEj2rVUYkG1nyxCz9GFVQZoGCr7pEEL9fdGgoXWMxHYyTSiXvVS8T+vG5vhjZ8wGcWGSrI8NIw5MiFKG0ADpigxfGYJJorZrIiMscLE2J4KtgRv9cvrpHVV9qrl6n2lVKtkdeThDM7hEjy4hhrcQgOaQOAJnuEV3pyp8+K8Ox/L0ZyT7ZzCHzifP/bkkjM=</latexit>

pCL<latexit sha1_base64="FVy+8FH/NRDwtiNm1fywO0G3JEY=">AAACCnicbVDLSsNAFJ34rPUVdelmtAh1U5Ii1WWhG8EuKtoHNGmZTCft0MmDmYlQYtZu/BU3LhRx6xe482+ctBG09cDAmXPu5d57nJBRIQ3jS1taXlldW89t5De3tnd29b39lggijkkTByzgHQcJwqhPmpJKRjohJ8hzGGk741rqt+8IFzTwb+UkJLaHhj51KUZSSX39yPKQHHEvvqonxbD386vVE2jdw7B3c9rXC0bJmAIuEjMjBZCh0dc/rUGAI4/4EjMkRNc0QmnHiEuKGUnyViRIiPAYDUlXUR95RNjx9JQEnihlAN2Aq+dLOFV/d8TIE2LiOaoyXVXMe6n4n9eNpHthx9QPI0l8PBvkRgzKAKa5wAHlBEs2UQRhTtWuEI8QR1iq9PIqBHP+5EXSKpfMSqlyfVaolrM4cuAQHIMiMME5qIJL0ABNgMEDeAIv4FV71J61N+19VrqkZT0H4A+0j2+c55oo</latexit>

KL(pCLSkp )ACL<latexit sha1_base64="Y7IL8Di/nXCq+tKXzSYGWxZ4i30=">AAAB9HicbVDLTgIxFL2DL8QX6tJNIzFxRWaMQZcYNi5cYCKPBEbSKQUa2s7YdkjIhO9w40Jj3Pox7vwbOzALBU/S5OSce3NPTxBxpo3rfju5tfWNza38dmFnd2//oHh41NRhrAhtkJCHqh1gTTmTtGGY4bQdKYpFwGkrGNdSvzWhSrNQPphpRH2Bh5INGMHGSv7NY1dgM1Iiqd3NesWSW3bnQKvEy0gJMtR7xa9uPySxoNIQjrXueG5k/AQrwwins0I31jTCZIyHtGOpxIJqP5mHnqEzq/TRIFT2SYPm6u+NBAutpyKwk2lEveyl4n9eJzaDaz9hMooNlWRxaBBzZEKUNoD6TFFi+NQSTBSzWREZYYWJsT0VbAne8pdXSfOi7FXKlfvLUvUyqyMPJ3AK5+DBFVThFurQAAJP8Ayv8OZMnBfn3flYjOacbOcY/sD5/AGtdJIE</latexit>

KL(ACL kAS1 )<latexit sha1_base64="X5jWNRwIfcW2qk7MW72kzKE+xgA=">AAACDXicbVDLSsNAFJ34rPUVdelmsAp1U5Ii1WVLN4JdVLQPaNIwmU7aoZMHMxOhxPyAG3/FjQtF3Lp359+YtBG09cDAmXPu5d577IBRITXtS1laXlldW89t5De3tnd21b39tvBDjkkL+8znXRsJwqhHWpJKRroBJ8i1GenY43rqd+4IF9T3buUkIKaLhh51KEYykSz12HCRHHE3umrExVr/51dvxNC4h7X+jaWf5i21oJW0KeAi0TNSABmalvppDHwcusSTmCEheroWSDNCXFLMSJw3QkEChMdoSHoJ9ZBLhBlNr4nhSaIMoOPz5HkSTtXfHRFyhZi4dlKZbivmvVT8z+uF0rkwI+oFoSQeng1yQgalD9No4IBygiWbJARhTpNdIR4hjrBMAkxD0OdPXiTtckmvlCrXZ4VqOYsjBw7BESgCHZyDKrgETdACGDyAJ/ACXpVH5Vl5U95npUtK1nMA/kD5+AaIN5qC</latexit>

LSCE<latexit sha1_base64="sSodKnz5hj6JZ5r8yP1/WNuskVI=">AAACAnicbZDLSsNAFIYnXmu9RV2Jm8EiuCqJlOqyUAQXLiraC7QxTKaTduhMEmYmQgnBja/ixoUibn0Kd76NkzQLbf1h4OM/5zDn/F7EqFSW9W0sLa+srq2XNsqbW9s7u+befkeGscCkjUMWip6HJGE0IG1FFSO9SBDEPUa63qSZ1bsPREgaBndqGhGHo1FAfYqR0pZrHg44UmOMWHKdujkLnjQv0/tb16xYVSsXXAS7gAoo1HLNr8EwxDEngcIMSdm3rUg5CRKKYkbS8iCWJEJ4gkakrzFAnEgnyU9I4Yl2htAPhX6Bgrn7eyJBXMop93RntqScr2Xmf7V+rPwLJ6FBFCsS4NlHfsygCmGWBxxSQbBiUw0IC6p3hXiMBMJKp1bWIdjzJy9C56xq16v1m1qlUSviKIEjcAxOgQ3OQQNcgRZoAwwewTN4BW/Gk/FivBsfs9Ylo5g5AH9kfP4AqG2XkQ==</latexit>

Head!

<latexit sha1_base64="oUcwZTiGZmyq82O++qJDocDUGSo=">AAACBXicbVDLSsNAFJ3UV62vqEtdBIvgqiRSqsuKGxcuKtgHtCFMptN26GQSZm6EErJx46+4caGIW//BnX/jJM1CWw8MnDnnXu69x484U2Db30ZpZXVtfaO8Wdna3tndM/cPOiqMJaFtEvJQ9nysKGeCtoEBp71IUhz4nHb96XXmdx+oVCwU9zCLqBvgsWAjRjBoyTOPBwGGCcE8uU29JP/IILkCEGla8cyqXbNzWMvEKUgVFWh55tdgGJI4oAIIx0r1HTsCN8ESGOE0rQxiRSNMpnhM+5oKHFDlJvkVqXWqlaE1CqV+Aqxc/d2R4ECpWeDrymxNtehl4n9eP4bRpZswEcVABZkPGsXcgtDKIrGGTFICfKYJJpLpXS0ywRIT0MFlITiLJy+TznnNadQad/Vqs17EUUZH6ASdIQddoCa6QS3URgQ9omf0it6MJ+PFeDc+5qUlo+g5RH9gfP4AT2GZDw==</latexit>

Head

Layer 11!

Layer 12❄Layer 11Layer 2❄

Layer 2Student❄

Layer 1

Teacher 1 (CL)

Layer 1<latexit sha1_base64="nHTbVvAOWkd58JQhMOl3W0wWfX0=">AAACA3icbVDLSgMxFM34rPU16k43wSK4KjNSqsuCLgRdVLAPaIchk6ZtaJIZkoxQhgE3/oobF4q49Sfc+TdmprPQ1gOBk3Pu5d57gohRpR3n21paXlldWy9tlDe3tnd27b39tgpjiUkLhyyU3QApwqggLU01I91IEsQDRjrB5DLzOw9EKhqKez2NiMfRSNAhxUgbybcP+xzpMUYsuU39JP9IntxcpWnZtytO1ckBF4lbkAoo0PTtr/4gxDEnQmOGlOq5TqS9BElNMSNpuR8rEiE8QSPSM1QgTpSX5Dek8MQoAzgMpXlCw1z93ZEgrtSUB6YyW1LNe5n4n9eL9fDCS6iIYk0Eng0axgzqEGaBwAGVBGs2NQRhSc2uEI+RRFib2LIQ3PmTF0n7rOrWq/W7WqVRK+IogSNwDE6BC85BA1yDJmgBDB7BM3gFb9aT9WK9Wx+z0iWr6DkAf2B9/gBeY5fz</latexit>!

<latexit sha1_base64="hKjhQhYUpzMSBH0qciWNkR8A+8E=">AAAB6nicbVDLTgJBEOzFF+IL9ehlIjHxRHYNQY8kXjxikEcCK5kdZmHC7OxmpteEED7BiweN8eoXefNvHGAPClbSSaWqO91dQSKFQdf9dnIbm1vbO/ndwt7+weFR8fikZeJUM95ksYx1J6CGS6F4EwVK3kk0p1EgeTsY38799hPXRsTqAScJ9yM6VCIUjKKVGsljo18suWV3AbJOvIyUIEO9X/zqDWKWRlwhk9SYrucm6E+pRsEknxV6qeEJZWM65F1LFY248aeLU2fkwioDEsbalkKyUH9PTGlkzCQKbGdEcWRWvbn4n9dNMbzxp0IlKXLFlovCVBKMyfxvMhCaM5QTSyjTwt5K2IhqytCmU7AheKsvr5PWVdmrlqv3lVKtksWRhzM4h0vw4BpqcAd1aAKDITzDK7w50nlx3p2PZWvOyWZO4Q+czx8w3422</latexit>

y<latexit sha1_base64="hph3iBw42peZftBP/xKIAzmbVnM=">AAAB6HicbVBNS8NAEJ3Ur1q/qh69LBbBU0lEqseCF48t2A9oQ9lsp+3azSbsboQQ+gu8eFDEqz/Jm//GbZuDtj4YeLw3w8y8IBZcG9f9dgobm1vbO8Xd0t7+weFR+fikraNEMWyxSESqG1CNgktsGW4EdmOFNAwEdoLp3dzvPKHSPJIPJo3RD+lY8hFn1FipmQ7KFbfqLkDWiZeTCuRoDMpf/WHEkhClYYJq3fPc2PgZVYYzgbNSP9EYUzalY+xZKmmI2s8Wh87IhVWGZBQpW9KQhfp7IqOh1mkY2M6Qmole9ebif14vMaNbP+MyTgxKtlw0SgQxEZl/TYZcITMitYQyxe2thE2ooszYbEo2BG/15XXSvqp6tWqteV2pX+dxFOEMzuESPLiBOtxDA1rAAOEZXuHNeXRenHfnY9lacPKZU/gD5/MH5xmM+g==</latexit>pS

AS<latexit sha1_base64="MaVSFPlMV9ah383LpQQbtT/rOfg=">AAAB6nicbVDLTgJBEOzFF+IL9ehlIjHxRHaNQY8YLx4xyCOBlcwOvTBhdnYzM2tCCJ/gxYPGePWLvPk3DrAHBSvppFLVne6uIBFcG9f9dnJr6xubW/ntws7u3v5B8fCoqeNUMWywWMSqHVCNgktsGG4EthOFNAoEtoLR7cxvPaHSPJYPZpygH9GB5CFn1FipfvNY7xVLbtmdg6wSLyMlyFDrFb+6/ZilEUrDBNW647mJ8SdUGc4ETgvdVGNC2YgOsGOppBFqfzI/dUrOrNInYaxsSUPm6u+JCY20HkeB7YyoGeplbyb+53VSE177Ey6T1KBki0VhKoiJyexv0ucKmRFjSyhT3N5K2JAqyoxNp2BD8JZfXiXNi7JXKVfuL0vVyyyOPJzAKZyDB1dQhTuoQQMYDOAZXuHNEc6L8+58LFpzTjZzDH/gfP4A6TaNhw==</latexit>

Input image<latexit sha1_base64="UC8JglO65//YNpxmYdtxyifESs0=">AAACDnicbVDLSsNAFJ3UV62vqEs3g6VQNyUpUl22uFG0UNE+oEnDZDpph04ezEyEEvsFbvwVNy4UcevanX9j0kbQ1gMDZ865l3vvsQNGhdS0LyWztLyyupZdz21sbm3vqLt7LeGHHJMm9pnPOzYShFGPNCWVjHQCTpBrM9K2R2eJ374jXFDfu5XjgJguGnjUoRjJWLLUguEiOeRudHk1KdZ6P7/6RX0CjXtY691Y5aOcpea1kjYFXCR6SvIgRcNSP42+j0OXeBIzJERX1wJpRohLihmZ5IxQkADhERqQbkw95BJhRtNzJrAQK33o+Dx+noRT9XdHhFwhxq4dVybrinkvEf/zuqF0Ts2IekEoiYdng5yQQenDJBvYp5xgycYxQZjTeFeIh4gjLOMEkxD0+ZMXSatc0iulyvVxvlpO48iCA3AIikAHJ6AKzkEDNAEGD+AJvIBX5VF5Vt6U91lpRkl79sEfKB/fO5Ca4Q==</latexit>

KL(pMIM kpS )Layer 12❄❄❄!

KL(AMIM kAS2 )LMIM
CE<latexit sha1_base64="kLVpBKzPFNWxy5qZcmrg+fEcGM8=">AAACDXicbZDLSsNAFIYn9VbrLerSTbAKrkoipbosFEHBQgV7gTaGyXTSDp1MwsxEKCEv4MZXceNCEbfu3fk2TtII2vrDwMd/zmHO+d2QEiFN80srLC2vrK4V10sbm1vbO/ruXkcEEUe4jQIa8J4LBaaE4bYkkuJeyDH0XYq77qSR1rv3mAsSsFs5DbHtwxEjHkFQKsvRjwY+lGMEaXydOBlzP25cJHc/3LxqJo5eNitmJmMRrBzKIFfL0T8HwwBFPmYSUShE3zJDaceQS4IoTkqDSOAQogkc4b5CBn0s7Di7JjGOlTM0vICrx6SRub8nYugLMfVd1ZnuKOZrqflfrR9J79yOCQsjiRmafeRF1JCBkUZjDAnHSNKpAog4UbsaaAw5RFIFWFIhWPMnL0LntGLVKrWbarlezeMoggNwCE6ABc5AHVyCFmgDBB7AE3gBr9qj9qy9ae+z1oKWz+yDP9I+vgF8EZxs</latexit>

HeadLayer 11

Teacher 2 (MIM)! ：Trainable

Layer 2❄ ：Frozen

Layer 1<latexit sha1_base64="ROvRmGEdqiH7XF8Gn9pYI28o8Tk=">AAACDHicbVDLSgMxFM34rPVVdekmWIS6KTNFqsuCG0ULFe0DOtOSSdM2NDMTkoxQxvkAN/6KGxeKuPUD3Pk3ZtoRtPVA4OSce7n3HpczKpVpfhkLi0vLK6uZtez6xubWdm5ntyGDUGBSxwELRMtFkjDqk7qiipEWFwR5LiNNd3SW+M07IiQN/Fs15sTx0MCnfYqR0lI3l7c9pIbCiy6v4gLv/PyqF9UY2veQd26OsrrKLJoTwHlipSQPUtS6uU+7F+DQI77CDEnZtkyunAgJRTEjcdYOJeEIj9CAtDX1kUekE02OieGhVnqwHwj9fAUn6u+OCHlSjj1XVybLylkvEf/z2qHqnzoR9XmoiI+ng/ohgyqASTKwRwXBio01QVhQvSvEQyQQVjq/JARr9uR50igVrXKxfH2cr5TSODJgHxyAArDACaiAc1ADdYDBA3gCL+DVeDSejTfjfVq6YKQ9e+APjI9vjuCamg==</latexit>!

<latexit sha1_base64="HfBQseC/lOOr6y1wJkiWUqJTjR8=">AAAB9XicbVDLSgMxFL1TX7W+qi7dDBbBVZmRUl1W3OiiUME+oJ2WTJppQ5PMkGSUMvQ/3LhQxK3/4s6/MdPOQlsPBA7n3Ms9OX7EqNKO823l1tY3Nrfy24Wd3b39g+LhUUuFscSkiUMWyo6PFGFUkKammpFOJAniPiNtf3KT+u1HIhUNxYOeRsTjaCRoQDHSRupf93sc6bHkSf2uPhsUS07ZmcNeJW5GSpChMSh+9YYhjjkRGjOkVNd1Iu0lSGqKGZkVerEiEcITNCJdQwXiRHnJPPXMPjPK0A5CaZ7Q9lz9vZEgrtSU+2YyzaiWvVT8z+vGOrjyEiqiWBOBF4eCmNk6tNMK7CGVBGs2NQRhSU1WG4+RRFibogqmBHf5y6ukdVF2q+XqfaVUq2R15OEETuEcXLiEGtxCA5qAQcIzvMKb9WS9WO/Wx2I0Z2U7x/AH1ucPVsKSYg==</latexit><latexit sha1_base64="Gj/cl5/glmlMyNebC1ilBALoPFA=">AAAB9XicbVDLSgMxFL1TX7W+qi7dBIvgqsyIVJcFN7ooVLAPaKclk6ZtaJIZkoxShv6HGxeKuPVf3Pk3ZtpZaOuBwOGce7knJ4g408Z1v53c2vrG5lZ+u7Czu7d/UDw8auowVoQ2SMhD1Q6wppxJ2jDMcNqOFMUi4LQVTG5Sv/VIlWahfDDTiPoCjyQbMoKNlXpRryuwGSuR1O5qs36x5JbdOdAq8TJSggz1fvGrOwhJLKg0hGOtO54bGT/ByjDC6azQjTWNMJngEe1YKrGg2k/mqWfozCoDNAyVfdKgufp7I8FC66kI7GSaUS97qfif14nN8NpPmIxiQyVZHBrGHJkQpRWgAVOUGD61BBPFbFZExlhhYmxRBVuCt/zlVdK8KHuVcuX+slS9zOrIwwmcwjl4cAVVuIU6NICAgmd4hTfnyXlx3p2PxWjOyXaO4Q+czx+gYZKR</latexit>

pMIM

AMIM

図 2: 提案手法の学習方法

3.4 Teacher の線形評価と KD の同時最適化
従来手法では，SSL モデルを線形評価やファインチューニングした後に KD を行うため，2 段階の学習になる．提案手法では，SSL モデルの線形評価と KD を同時に行うことで，1 段階の学習にする．全体の損失関数 L を次のように定式化する．
CLMIM
L = LS
CE + LCE + LCE + LKD + LAttn ,様々な下流タスクで評価した結果を図 3 に示す．Ours
は，DTD と VOC2007 を除いたデータセットで KD よりも高い精度を達成した．

Accuracy difference from baseline (%)
CIFAR10Cars
CIFAR100

(4)

MIM
CL
ここで，LSCE , LCE , LCE は正解ラベルと出力分布のクロスエントロピー損失である．

Caltech101
DTD

72.97 10.02
48.26
22.69 05
26.76
7.82
45.9
34.18
45.77
20.24 18.98

4. 評価実験
本節では，提案手法の有効性を検証するために様々な下流タスクにおける評価実験を行う．データセットとして，
ImageNet-1k や CIFAR-10/100 などの多クラス分類用のデータセットを用いる．Student は ViT-Ti，Teacher はCL として DINO [4] と MIM として MAE [5] を用いる．

4.1 Teacher の学習方法の有効性
表 1 に SSL モデルの下流タスクへの適用方法を比較した結果を示す．その結果，提案手法に導入する Partial-1 は，最終層を再学習するのみでファインチューニングに匹敵する性能を達成している．
表 1: ImageNet-1k を用いた下流タスクへの適用 (%)
MethodTrainable Params (M)

CL

MIM

86.57
0.77
7.86

81.92
76.31
80.26

81.70
54.02
79.30

ファインチューニング
線形評価
Partial-1

BaselineOurs
KD (Fine tuned DINO)
KD (Fine tuned MAE)

Flowers

510

Aircraft

VOC2007
FoodPets

SUN397

図 3: 様々な下流タスクにおける評価結果

5. おわりに本研究では，小規模なモデルの精度向上を目的として，複数の自己教師あり学習モデルを用いた知識蒸留を提案した．評価実験により，様々な下流タスクにおいて提案手法が小規模なモデルの精度向上に有効であることを示した．
今後は，さらなる精度向上を目指して，蒸留方法の多様化を行う．

4.2 従来手法との比較

参考文献

ImageNet-1k を用いて評価した結果を表 2 に示す．Baseline は KD を行わずに Student が単体で学習したモデル，
KD はファインチューニングした Teacher を用いて蒸留したモデル，Ours は複数の SSL モデルを用いて KD を行ったモデルである．Ours は Baseline から 2.2 pt，KD から1.3 pt 向上した．

[1] G. Hinton, et al., “Distilling the Knowledge in a NeuralNetwork”, NIPS Workshop, 2015.

表 2: ImageNet-1k による評価結果 (%)[4] M. Caron, et al., “Emerging Properties in SelfSupervised Vision Transformer”, ICCV, 2021.

MethodBaseline (DeiT [2])KDOursTeacherTop-1 Accuracy–DINO
MAEDINO, MAE

72.2
73.1
73.1
74.4

[2] H. Touvron, et al., “Training data-eﬃcient image transformers & distillation through attention”, ICML, 2021.
[3] E. Voita, et al., “Analyzing Multi-Head Self-Attention:
Specialized Heads Do the Heavy Lifting, the Rest Can
Be Pruned”, ACL, 2019.

[5] K. He, et al., “Masked Autoencoders Are Scalable VisionLearners”, CVPR, 2022.

研究業績[1] 鈴木渉起 等, “Vision Transformer の相互学習による高精度化”, 画像の認識・理解シンポジウム, 2022.