機械知覚&ロボティクスグループ
中部大学 工学研究科 ロボット理工学専攻

2023年度 藤吉研究室 修士論文発表 アブストラクト
Deep Reinforcement Learning, Explainability, Robotics
深層強化学習によるロボット移動の視覚的説明と拡張現実による提示に関する研究

尹 文韜
Deep Reinforcement Learning, Sketch Sequence, Robotics
スケッチ指示を用いた深層強化学習によるロボット動作の獲得に関する研究

本多 航也
Deep Reinforcement Learning, Curiosity, Explore
深層強化学習における状態遷移を考慮した内発的動機付けによる学習効率化に関する研究

大鹿 海都
Object Detection, PointCloud, Visual Explanation
点群データを対象とした物体検出の視覚的説明に関する研究

三原 一真
Segmentation，Prompt tuning，EM image
SAM のプロンプトチューニングと繰り返し推論による細胞画像セグメンテーションの高精度化に関する研究舩井 祥吾
Knowledge Distillation, Self-Supervised Learning
複数の自己教師あり学習モデルを用いた下流タスクにおける知識蒸留に関する研究

鈴木 渉起

URL: http://mprg.jp

深層強化学習によるロボット移動の視覚的説明と拡張現実による提示に関する研究
指導教授：藤吉 弘亘

TR21003 尹 文韜
1. はじめに
深層強化学習はロボットの高い自律移動性能を獲得できる．一方で，学習したエージェントモデルは膨大な数のパラメータにより構成されており，モデルの内部処理を直接解析することができない．そのため，ユーザがエージェントであるロボットの行動選択に対する判断根拠を理解することは非常に困難である．そこで本研究では，自律移動ロボットと人の共存促進を目的とし，ロボットの行動選択に対する判断根拠の可視化，および拡張現実（AR）技術によるユー
ザに対するロボット動作の判断根拠を提示する手法を提案する．ロボットの高い自律移動性能を獲得するために，深層強化学習に Transformer [1] を導入する．Transformerの Attention をもとに深層強化学習モデルの注視領域を獲得する．そして，AR 技術を活用することで注視領域をユーザに提示する．これにより，ユーザがロボット動作の判断根拠をより容易に理解できるようになる．

2. 深層強化学習の視覚的説明
深層強化学習は様々なタスクで高い性能を獲得している
反面，エージェントの意思決定に対する判断根拠が不明確である．そのため，この問題の解決を目的とした説明可能
な強化学習 (XRL) 手法が研究されている．板谷らは深層強化学習に Transformer を導入した Action Q-Transformer(AQT) を提案している [2]．Transformer は入力トークンと他トークン間の類似度を算出して，入力に対する重要な情報を Attention として獲得している．この Attention を可視化することで，注視領域を把握することができる．AQT
では Transformer Decoder に入力する Query を行動情報とすることで，各行動に対する注視領域を獲得できる．

して，この画像を 84 × 84 ピクセルにリサイズ後，12 × 12の個のパッチ画像に分割する．つまり，パッチ画像のサイズは 7 × 7 ピクセルである．各パッチ画像は全結合層により埋め込みベクトルへ変換後，Positional Encoding により位置情報を付与し Encoder へ入力する．また，Decoder
は Encoder の出力を Value と Key とし，Action query
を Query とする. Action query は Query branch で算出した各動作とゴール情報を含む特徴ベクトルである．最後に，Decoder の各 Query に対する出力を Q Heads へ入力し，各動作の Q 値を算出する．ここで，エージェント
であるロボットの動作は停止，前進，左右旋回の 4 種類である．

3.2 AR を用いたユーザへの提示
Transformer Decoder では行動情報を含む Action queryを用いているため，ロボットの動作に関連した Attentionを獲得している．そこで，出力した Q 値が最も高い動作に対応する Decoder の Attention を AR により可視化する．ここでの可視化方法は， Depth センサから獲得したロボット視点での深度情報を点群に変換し，その点群をAttention の値に応じて色付けする．ここで Attention はヒートマップで表現し，値が大きいほど赤く，小さいほど青く色付けする．シミュレーション環境と実環境におけるAR による Attention の可視化例を図 2 より示す.

3. 提案手法
本研究は深層強化学習手法 Deep Q-Network (DQN) [3]に Transformer を導入することで，ロボットの自律移動と同時にロボットの注視領域を示す Attention を獲得する．
加えて，この Attention を AR により実空間に投影することでロボット動作の判断根拠を効率的にユーザへ提示する方法を提案する．
提案手法のネットワーク構造を図 1 に示す．ロボット
動作に対する解釈性の高いネットワーク構造とするため，
AQT をベースとした Transformer Encoder-Decoder 構造を採用する．以下で提案手法による行動算出までの流れを述べる．
はじめに，ロボット視点の画像上の物体を学習済みセマ
ンティックセグメンテーションモデルにより壁，床，家具，
人の 4 クラスに分類し，それぞれ緑，青，赤，灰色で表示する．これは，シミュレーション環境と実環境とのテクスチャの相違が生じるドメインギャップを吸収するためである. そFC

図 2: AR による Attention 可視化例

提案手法の有効性を確認するため，深層強化学習により獲得した自律移動性能の評価，および AR を用いたユーザへの提示に関する有効性調査を行った．

4.1 シミュレーション環境
本研究では，HSR ロボットによる屋内環境における自律移動タスクを対象とする．実環境でロボットを自律移動させて学習させるコストは高い．そのため，Unity 上で屋
内環境を再現し，人や机等の障害物を設置した．また，ドメインギャップを対処するため，シミュレータ内のテクス
チャをオブジェクトごとに色分けした．本環境では，エピ

Q Heads…

Seg. Image(b) 実環境

4. 評価実験

3.1 深層強化学習による自律移動能力の獲得

Positional
Encoding(a) シミュレーション環境

Transformer Encoder

FC

(停止)

FC

(前進)

FC

(左旋回)

FC

(右旋回)

Transformer Decoder…
Action queries
Query branch
Camera Image

Patch Images[Action One-hot vector,
Goal (Angle, Distance)]FC

図 1: 提案手法のネットワーク構造

表 1: ユーザによるロボット動作の予測

100

CNNベースモデル
提案手法モデル

90

タスク達成率 [%]80

被験者グループ

提示なし

提示あり

平均正答率 [%]

31.8

38.8

70
60
50
40

表 2: ロボット動作に関する理解度アンケートの集計

30

結果

20
10
0
0

1

2

3

4

5

6

7

8

9

10

衝突回数 (n回以下)

図 3: 100 エピソード間のタスク達成率
入力画像

左旋回

右旋回

(a) 行動の変化による可視化: ゴール位置が左前方である時の “左旋回”と “右旋回”に対する Attention．
ゴール位置：
左前方

ゴール位置：
右前方：エージェント：エージェント

：ゴール

：ゴール

(b) ゴール位置の変化による可視化: ゴール位置のみ変更
した時の “停止”に対する Attention.

図 4: Decoder の Attention 可視化例
ソード毎でランダムにスタート位置と最終ゴール位置を設定し，スタートと最終ゴール間にはサブゴールを生成する．

4.2 自律移動性能の評価
タスク達成率 提案手法の性能を評価するため，100 エ
ピソード間のタスク達成率を比較する．ここでのタスク達
成条件は，ロボットが 100 ステップ以内に最終ゴールに到達，かつ衝突が一定回数以下とした．比較手法は，従来の CNN ベースモデルと提案手法の Transformer ベースモ
デルである．各モデルは同じ学習条件により 1.0 × 106 ス
テップの学習を行った．図 3 から，提案手法の Transformer
ベースモデルは CNN ベースモデルと比較し，エピソードごとの衝突回数がやや増加しているが，最終ゴールへの到達率が向上していることが分かる．このことから提案手法
は高い自律移動性能を獲得できていると言える．
Attention の可視化 獲得した Attention が正しくロボットの注視領域を示しているか確認するため，Decoderの行動やゴール位置に対する注視領域の変化を確認した．
図 4 (a) から，ロボットは，左旋回動作では左の家具を，右旋回動作では右の壁を注視していることが分かる．また図 4 (b) から，ゴール位置を左前方から右前方へ変化する
ことで，ロボットの注視対象も左の家具から右の壁に変化している．これらのことから，Decoder の Attention は動
作毎とゴール位置に対するロボットの注視領域を正しく示していることが分かる．

4.3 AR を用いた人への提示に対する有効性調査
本実験では 2 つの方法により，AR を用いた Attention
可視化がロボット動作に対するユーザの理解に有効かを調
査した．

評価段階

定点肉眼観測 [%]AR を介した観測 [%]

理解できる

14.1

30.6

ある程度理解できる

41.3

45.8

あまり理解できない

22.8

18.1

理解できない21.7

5.6

ユーザのロボット動作予測による調査 本調査では，図2 (a) に示すシミュレーション環境を使用し，33 名の被験者を対象とした．被験者を 2 グループに分け，それぞれAttention 提示なしとありの状態でロボットが自律移動するデモ動画を視聴し，練習問題に回答することで，ロボッ
トの動作について学んでもらう. その後，すべての被験者に Attention なしの状態でロボットの動作予測問題を 10問回答してもらった. 動作予測問題に対する全被験者の平均正答率を表 1 に示す．表 1 から，AR を用いた提示ありのグループが提示なしグループよりも正答率が 7pt 向上している．この結果から，AR を用いた Attention の提示は，ユーザがロボット動作を予測する上で有効と考えられる．
ユーザのロボット動作に対する理解度 ユーザのロボッ
ト動作に対する理解において， AR を用いた Attention 可視化が有効であるか確認するためにアンケート調査を行った．定点カメラによるロボット動作シーンの動画 (定点肉眼観測) と，AR による Attention 可視化を含むロボット
動作シーンの動画 (AR を介した観測) を 23 名の被験者に視聴してもらった．その後，被験者に対しロボット動作に対する理解度アンケートを行った．本調査では理解度を 4段階評価とした．また，動画は図 2 (b) に示す実環境下で 4パターン撮影し，AR デバイスには Microsoft 社が開発した HoloLens2 を用いた．各動画に対する理解度アンケートの集計結果を表 2 に示す. 表 2 から，AR を介した観測が定点肉眼観測と比較し，“理解できる”と答えた被験者の割合が増加している．この結果から AR を用いた Attention
可視化によるユーザへの提示は，ユーザがロボット動作を理解する上で有効と考えられる．

5. おわりに本研究では，深層強化学習によるロボットの自律動作獲得と行動選択に対する判断根拠の可視化，およびユーザに対する AR を用いた効率的なロボット動作の理解を提案した．提案手法は Transformer の導入によりロボットの高い自律移動性能を獲得し，ロボット動作に対する視覚的説
明を実現した．また，AR を用いてロボット動作の判断根
拠を可視化することで，ユーザのロボット動作への理解促進を実現し，人とロボットの共存に貢献できる可能性を示
した．

参考文献
[1] A. Vaswani， et al., “Attention is all you need”, Advancesin neural information processing systems, 2017.
[2] H. Itaya， et al., “Action Q-Transformer: Visual Explanation in Deep Reinforcement Learning with EncoderDecoder Model using Action Query”, arXiv preprint
arXiv:2306.13879, 2023.
[3] V. Mnih， et al., “Human-level control through deep reinforcement learning”, Nature, Vol. 518, No.7540, pp.
529–533, 2015.

研究業績[1] 尹文韜, 板谷英典, 真野航輔, 平川翼, 山下隆義, 藤吉弘
亘,“Transformer モデルによる自律移動の視覚的説明と拡張現実による提示”, 日本ロボット学会学術講演会, 2023.

スケッチ指示を用いた深層強化学習によるロボット動作の獲得に関する研究
指導教授：藤吉 弘亘

TR22011 本多 航也
1. はじめにControl Phase

少子高齢化の拡大に伴い，介護業界では労働者不足が深刻な課題となっている．そのため，高齢者や障がい者の生活支援を目的としたロボットの実用化が期待されている．生
活支援ロボットの操作を容易にするには，直感的な指示を可能とすることが重要である．これまでに，自然言語指示とス
ケッチ指示を用いた研究が取り組まれている．Zitkovich ら
は，自然言語指示を用いてロボットの行動を指示する RT-2を提案している [1]．ロボットに移動を指示する場合，自然
言語指示はどのように移動させるか指示が曖昧になりやすい．一方で，スケッチによる指示は，曲がる位置や止まる位置などを直感的かつ適切に指示できる．
そこで本研究では，スケッチ指示からのロボット動作の獲得のために，Action Q-Transformer (AQT)[2] に，スケッ
チ指示を考慮するための機構である Instruction Phase を導入した手法を提案する．評価実験により，提案手法はス
ケッチ指示を考慮するロボット動作の獲得に有効であることを示す．

Control Phase はロボット動作を獲得するための段階である．提案手法は，Transformer Encoder-Decoder 構造を用いており，入力には各ステップの 128 × 128 ピクセルの画像，ロボットの位置と向き，Instruction Phase で算出した各ステップに該当する Instruction Feature を用いる．
入力画像をパッチ分割したあと，位置情報を足し合わせてTransformer Encoder に入力する．Transformer Encoderの出力を Key，Value として Transformer Decoder へ入力する．Query は行動ごとに作成した One-hot Vector とロボットの位置と向き，Instruction Feature を連結して全結合層を用いて特徴量に変換した Action query を用いる．Transformer Decoder からの出力を Q 値を算出する
Q-Head に入力して，最終的な Q 値を求める．
2：Control Phase

Simulator

Patch embedding
Positional Encoding

Q-HeadTransformer
Encoder

Transformer
DecoderFC
FC

2.Action Q-Transformer

GAP
GAP
FC.
GAP

FC.
GAP
FC.
GAP
FC.
FC.
FC.
FC.
FC.
FC.FC.

GAP

Query branch
Action one-hot Vec

FC
Position+Direction

1：Instruction Phase
Positional
Encoding

SketchSketch Sequence

Transformer
Encoder

Instruction Feature

図 2: 提案手法のモデル構造

4. 評価実験
提案手法の有効性を確認するため，生活支援ロボットのナビゲーションタスクを用いて Displacement Error による定量的評価，ロボット動作と Attention の可視化による定性的評価を行う．

GAP

4.1 実験概要

V

Advantage branch

FC.

GAP

FC.
FC.
FC.
FC.
FC.
FC.
FC.
FC.FC.
FC.
FC.

Conv.

Value branch
Value branch
PolicybranchPolicybranchPolicybranchValuebranchPolicybranchPolicybranchAttention
PolicybranchValuebranch…
Attention
PolicybranchMechanism
PolicybranchAttention
PolicybranchMechanism
Attention
PolicybranchMechanism
PolicybranchPolicyAttention
PolicybranchMechanism
PolicyAttention
Policy
FC.

FC

Value
Value
Value
Value
Value
Value
Value
Value
Value
Value
Value
Value

FC.

Conv.

Conv.
Conv.Sigmoid

SigmoidFC

Mask-Attention

Conv.
Conv. ReLU
Conv.Conv.
Conv. ReLU
Conv.
ReLU
Conv.Conv.
ReLU ReLU
Conv.Conv.
ReLU
Conv.
Conv.
ReLU ReLU
Conv.Conv.
ReLU ReLU
Conv.
Conv.
ReLU ReLU
Conv.
Conv.

Conv.
Conv.
Conv.

positional encoding

Mask-Attention

Mechanism
Attention
Mechanism
Attention
Mechanism
Mechanism

transformer
encoder

PolicyPolicyPolicyPolicyPolicyPolicyPolicy
PolicyPolicy…
transformer
decoder…

Mask-Attention
Mask-Attention
Mask-Attention…
Mask-Attention
Mask-Attention
Mask-Attention
Mask-Attention
Mask-Attention
Mask-Attention
Mask-Attention
Mask-Attention
Mask-Attention

+

Q

FC
FC

…

+

Input framesInput𝑠

Value branch

Mask-Attention

Value branch
Mask-Attention
Value
branchValuebranchValuebranchValuebranchValuebranchValuebranchValue branch

Conv.
Conv.
Sigmoid
Conv.Conv.
ReLU
Conv. Conv.
Conv.
Conv.
Sigmoid
Conv.Conv.
ReLU
Conv. Conv.
SigmoidSigmoid
Conv.
Conv.
ReLU
Conv.
Conv.ReLU
Conv. Sigmoid
Conv. ReLU
SigmoidSigmoid
Conv.
ReLU
Conv.
ReLU
SigmoidSigmoid
Conv.
ReLU
Conv.ReLU
Sigmoid
ReLU
Sigmoid
ReLU
Sigmoid
ReLU

Maxpooling + ReLU
Conv.
ConvLSTM
ConvLSTM
Maxpooling+ ReLU
ConvLSTM
ConvLSTM
ConvLSTM
ConvLSTM
ConvLSTM
ConvLSTM
ConvLSTM

Maxpooling+ ReLU
Maxpooling+ ReLUConv.
Maxpooling + ReLU
Conv.
ConvLSTM
Maxpooling+ ReLU
Maxpooling + ReLU

ConvLSTM

Input Input
Input Input
Input Input
Input

ConvLSTM
Maxpooling + ReLU

CNN

Conv.
Maxpooling+ ReLU+ ReLU
Maxpooling

Conv.
Conv.

Conv.Conv.

Conv.
Conv.
Maxpooling+ ReLUConv.
Maxpooling+ ReLU
Maxpooling+ ReLU
Conv.
Conv.
Maxpooling+ ReLU
Conv.
Conv.
Maxpooling+ ReLU + ReLU
Maxpooling+ ReLU
MaxpoolingConv.
Maxpooling+ ReLU
Conv.
Conv.
Maxpooling+ ReLU+ ReLU
Maxpooling
Maxpooling Maxpooling+ ReLUConv.
+ ReLU
Conv.Conv.
Maxpooling
Conv. + ReLU

Conv. + ReLU
MaxpoolingConv.
Maxpooling + ReLU
Conv.
Maxpooling+ ReLU
Conv.Conv.
MaxpoolingConv.
+ ReLUConv.
Maxpooling+ ReLU
Conv.
Conv.
Conv.
Maxpooling
Maxpooling+ ReLU+ ReLU
Conv.
Maxpooling+ ReLU
Maxpooling+ ReLU
Conv.
Conv.
Conv.
Maxpooling
Maxpooling+ ReLU+ ReLU
Maxpooling+ ReLU
Maxpooling+ ReLU

Feature extractor

Conv.Sigmoid
Sigmoid

AQT[2] は Transformer 構造を導入した深層強化学習手法である．AQT のモデル構造を図 1 に示す．AQT は，環境から取得した画像を CNN を用いて特徴量に変換して，位置情報を付与して Transformer Encoder に入力する．そして，Transformer Encoder からの出力を Key，Value として Transformer Decoder に入力する．Query には Action
query を入力し，入力画像と Action query の関係性を算出する．Action query は行動ごとに作成した One-hot Vector
を全結合層を用いてトークンにしたものである．Action
query を行動数分用意することで行動ごとの Q 値を算出できる．また，AQT は入力画像と Action query との Attention
を計算しているため，Attention を可視化することで行動選択に寄与する画像内の領域を解析可能となる．
Feature extractor
Feature extractor
Feature extractor
Feature extractor
Feature extractor
Feature extractor
Feature extractor
Feature extractor

Q

FC
Action query

Patch Image (8,8)

Bird's-eye View
(128, 128)

Advantage

FC

Action queries
FC

Query branch
ActionOne-hot vectorFC

図 1: AQT のモデル構造（文献 [2] より引用）

3. 提案手法

本研究では，物理シミュレータである Unity3D を用いて作成した生活支援ロボットのナビゲーションタスクを対象とする．学習で使用する実験環境とスケッチ指示の例を図3 に示す．移動可能なロボットをスケッチ指示の通りに移動させることを目標とする．エージェントの行動はその場で停止する Noop，前方へ進む Forward，右回転の Right，
左回転の Left の 4 種類である．報酬は，各ステップのス
ケッチ指示の位置を waypoint として，waypoint とロボッ
トの位置のユークリッド距離の差を負の報酬とする．

本研究では，生活支援ロボットのナビゲーションタスク
においてスケッチ指示を用いたロボット動作の獲得を目的とし，新たなモデル構造を提案する．

3.1 提案手法の構造
本手法は，AQT をベースにスケッチ指示を考慮できる機構を導入する．提案手法のモデル構造を図 2 に示す．提案手法は，Sketch Sequence から Instruction Feature を算出する Instruction Phase と，ロボット動作に対する Q
値を算出する Control Phase から構成されている．深層強化学習アルゴリズムとして Deep Q-Network (DQN) [3]を用いる．

Instruction Phase
Instruction Phase は事前に作成したスケッチ指示と Transformer Encoder を用いて，時系列情報を考慮しながら Instruction Feature を算出する段階である．スケッチ指示から時系列を考慮した Sketch Sequence を作成する．そして，全結合層を用いて特徴量に変換して，位置情報を付与してTransformer Encoder へ入力する．Transformer Encoderの Self-Attention を用いて Sketch Sequence 間の関係性を考慮した Instruction Feature を獲得する．

等間隔指⽰(a) 実験環境

不等間隔指⽰曲線指⽰(b) スケッチ指示の例

図 3: 実験環境とスケッチ指示の例
本研究の学習で用いるスケッチ指示は，等間隔のスケッチ指示を 4 種類，不等間隔のスケッチ指示を 2 種類，曲
線のスケッチ指示を 4 種類，計 10 種類のスケッチ指示である．等間隔指示，不等間隔指示，曲線指示それぞれのス
ケッチ指示の例を図 3(b)に示す．
提案手法の比較手法として，スケッチ情報を用いた CNN
ベースのモデルを用いる．スケッチ情報を用いた CNN ベースのモデルは，提案手法と同じく Instruction Phase とControl Phase で構成されている．Instruction Phase は，提案手法と同様の構造を用いる．Control Phase は画像か
ら特徴量を算出する Image-Feature extractor，ロボットの

t

high

low

Raw-image

Encoder

Decoder

図 4: ロボット動作と Attention の可視化
位置と向きから特徴量を算出する Position-Head，ImageFeature extractor の出力と Position-Head の出力，各ス
テップに該当する Instruction Feature から Q 値を算出す
る Q-Head で構成されている．
学習条件は学習率を 0.0001，割引率を 0.99，replaybuﬀerのサイズを 250,000 とし，学習の終了条件は 1,000,000 エピソードに達した場合，エピソードの終了条件は 100 ス
テップが経過した場合のみとする．

4.2 定量的評価
本研究では評価指標に，Average Displacement Error(ADE) 及び， Final Displacement Error (FDE) の 2 つの評価指標を用いて評価を行う．CNN ベースモデルと提案手法を用いた評価結果を表 1 に示す．表 1 はスケッチ指示ごとの ADE および FDE の平均と全スケッチ指示の平均である．表 1 より，すべてのスケッチ指示において提案
手法が CNN ベースモデルより ADE および FDE が小さ
い．このことから，Instruction Feature を用いた Action
query を Decoder の Query に入力することで，直感的に作成したスケッチ指示にも対応することができると考えられる．また，提案手法のスケッチ指示ごとの ADE およびFDE のばらつきが小さいことが確認できる．このことから，時系列を考慮した Sketch Sequence を Instruction Phase
で解析し，Decoder に入力することで汎化性能が向上して，
どのスケッチ指示であっても安定した精度を獲得することが可能である．

表 1: Displacement Error を用いた評価結果
比較手法
評価指標
等間隔指示
不等間隔指示曲線指示
平均CNN モデルADE FDE
0.41
0.25
0.40
0.24
0.92
3.10
0.61
1.39

提案手法
ADE FDE
0.27 0.19
0.29 0.22
0.25 0.25
0.26 0.22

4.3 定性的評価提案手法で獲得した図 3(b)の等間隔指示におけるロボッ
ト動作と Attention を可視化して，定性的評価を行う．提案手法で獲得したロボット動作と Attention の可視化例を
図 4 に示す．Raw-image の黒い点はスケッチ指示から生成した waypoint，Decoder の各図下の文字は行動と Q 値を表しており，赤文字の行動が選択された行動，画像中の白矢印がロボットの向きである．

ロボット動作の可視化
図 4 の Raw-image から，スケッチ指示に追従するようにロボット動作を獲得していることが確認できる．このことから，AQT に Instruction Phase を導入することでス
ケッチ指示を考慮したロボット動作の獲得が可能であると言える．

Attention の可視化
図 4 の Encoder の Attention から，ロボットの領域に注目していることがわかる．このことから，Encoder は入力
画像から適切なロボット動作の獲得に重要となる領域に注目していると考えられる．図 4 の Decoder の Attention から，選択した行動が強い Attention を獲得していることが確認できる．また，選択された Action query が「FRONT」の場合（2 行目の赤枠）はロボットの前方が，「RIGHT」の場合（3 行目の赤枠）はロボットの右側の領域に注目していることがわかる．このことから，Decoder の Query にAction query を用いることで行動選択に寄与する領域を注目できると言える．

5. おわりに本研究では，スケッチの情報を考慮したロボット動作の獲得のために，Transformer を導入した深層強化学習モデ
ルにスケッチ指示を考慮するための機構である Instruction
Phase を導入した手法を提案した．定量的評価より，人が直感的に作成したスケッチ指示を用いる場合でも安定した精度を獲得できることを確認した．また，定性的評価から
スケッチ指示を考慮するロボット動作の獲得に有効である
ことを示した．今後は，さらなる精度向上と大規模な環境を用いての実験に取り組む予定である．

参考文献[1] B. Zitkovich, et al., “RT-2: Vision-Language-Action
Models Transfer Web Knowledge to Robotic Control”,
PMLR, 2023.
[2] H. Itaya, et al., “Action Q-Transformer: Visual Explanation in Deep Reinforcement Learning with EncoderDecoder Model using Action Query” , arXiv:2306.13879,
2023.
[3] V. Mnih, et al.“Human-level control through deep reinforcement learning”, Nature, 2015.

研究業績[1] 本多航也 等, “Mask-attention 機構を導入した PPO による
物体把持動作の視覚的説明”, 日本ロボット学会学術講演会,
2022.

深層強化学習における状態遷移を考慮した内発的動機付けによる学習効率化に関する研究
指導教授：藤吉弘亘

TR22003 大鹿 海都
1. はじめに
深層強化学習はエージェントと環境との相互作用により経験を収集し，報酬をもとにエージェントの行動を学習する．しかし，Montezuma’s Revenge のような報酬が疎な環境では，報酬に繋がる経験を獲得することが困難となり，その結果学習が停滞する．この問題を解決する手法として，
エージェントの内発的動機付けによる探索手法が提案されている [1]．本手法は本来のタスクに関する外部報酬に加え，未知の状態への訪問を誘発する内部報酬を用いる．内部報酬により，報酬が疎な環境においてもエージェントによる環境の探索が促進され，それに伴い外部報酬に繋がる経験の獲得が可能となる．内発的動機付けによる深層強化
学習手法はエージェントの現状態に着目して内部報酬を生成するため，到達までの経路が異なる場合でも同じ内部報
酬が生成される．そこで，本研究では新たな内部報酬として状態遷移に着目する．これにより，内発的動機付けは経験の過程も考慮するため幅広い探索表現が可能となり，エージェントによる環境探索を効率的に行えると考える．評価
実験では Atari2600 を用いた評価実験により，エージェン
ト性能を解析することで状態遷移を考慮する有効性を示す．

図 1: 提案手法による内部報酬生成機構
f2 (c) は Random feature network の出力を示す．
Rintrinsic = ||f1 (c) − f2 (c)||2

2.Random Network Distillation
Random Network Distillation (RND) [1] は内発的動機を用いた強化学習手法の 1 つである．RND は状態を 2 つの畳み込みニューラルネットワークに入力し，それらが出力する値の差を内部報酬とする．Random feature network
は教師の役割を担っており，学習開始時に初期化したパラメータで固定する．Predictor network は学習可能なネットワークであり，Random feature network の出力を近似するように学習する．Predictor network の学習によって同じ状態を観測し続けるほど 2 つのネットワーク間の出力誤差が小さくなり，内部報酬値が低下する．一方，未知の状態を観測した場合は未学習の状態が入力であるため出力誤差が大きくなり，大きな内部報酬値が出力される．このように RND は各ネットワークの出力誤差をもとに状態の真新しさを評価する．

(1)

エージェントが学習に用いる報酬値は式 (2) で求める．

R = Rextrinsic + Rintrinsic(2)環境から得られた外部報酬と式 (1) によって求めた内部報
酬の総和を報酬値とすることでエージェントは状態遷移を考慮した探索的な行動選択を実現する．

4. 評価実験
Atari2600 のビデオゲームタスクを用いて，状態遷移を考慮した内発的動機付けの有効性を確認する．

4.1 実験概要

図 1 に提案手法による内部報酬生成機構を示す．本手法
は RND の入力次元を任意の時刻 n + 1 まで拡張し，現状態から n 時刻前までの状態列を入力とし，各ネットワークの出力誤差を内部報酬として出力する．状態列に対する出力誤差を状態遷移の真新しさとして評価することで，同じ現状態に対しても過去に経験した状態の遷移によって異なる評価を行う．

本実験ではまず，内発的動機付けなしのモデル (PPO)，RND による内発的動機付けを用いたモデル (PPO+RND)，
提案手法を用いたモデル (PPO+Ours) を用いて学習済み
モデルによる獲得スコア平均及び学習時の外部報酬推移を比較する．評価環境は Atari2600 の 報酬が疎な環境である
Montezuma’s Revenge(MR)， Venture(VT)， 報酬が密な環境である Breakout(BO) の 3 つである．比較の際は，Montezuma’s Revenge は 1.5 × 103 エピソード，Venture
は 1.0 × 103 エピソード，Breakout は 4.5 × 103 エピソード
学習したモデルを使用する．次に Montezuma’s Revenge
環境を用いて学習中に訪れた部屋の可視化を行うことで各手法に対するエージェントの探索範囲を確認する．最後に，学習した提案手法による内部報酬生成モデルを用いて観測状態に対する内部報酬を確認することで出力される内部報酬の特徴を明確に解析する．

3.2 状態列の作成

4.2 ゲームスコアによる比較

状態列は現在を含めた過去 n 時刻前までの queue 型の配列である．状態列の作成手順を以下に説明する．

図 2 に学習時の外部報酬推移，表 1 に各学習モデルを
100 エピソード実行したときの平均スコアを示す．このとき，表 1 の random はエージェントがランダムで行動選択を行った際の平均スコアである．Montezuma’s Revenge
では PPO+Ours が最も高いスコアを獲得している．さらに図 2(a) においても Ours が最も高い報酬を獲得していることが分かる．この結果から状態遷移を考慮した網羅的な探索が高いスコアの獲得に貢献できていると考えられる．
Venture でも PPO+ours が最も高いスコアを獲得している．しかし，図 2(b) より報酬推移に大きな変化は見られなかった．Venture の環境は部屋数が Montezuma’s Revengeと比較してかなり少なく，部屋の切り替わりによる経験の種類が限られている．提案手法では部屋の切り替わり等による大きな状態変化に着目しているため，部屋数が少ない
Venture では RND と類似した推移が見られたと考えられ

3. 提案手法
深層強化学習に内発的動機付けを用いた環境の探索効率化において，状態遷移を考慮した新たな内発的動機付けを提案する．

3.1 提案手法の構造

1. エージェントの行動 a により遷移後の状態を観測する
2. 状態列の最も過去の状態 st−n を忘却する
3. 状態列の st−i の状態は st−i−1 の状態として格納する
4. st に観測した状態を格納する
このように状態を観測するたびに状態列の 1 番新しい状態として格納する．また，エピソード終了後は状態列を全てリセットし，0 埋めした状態として扱う．

3.3 エージェントの学習に用いる報酬
式 (1) に内部報酬の算出式を示す．このとき，c は状態
列 [st , st−1 ...st−n ]，f1 (c) は Predictor network の出力，

(a) Montezuma’s Revenge(b) Venture(c) Breakout

図 2: 学習時の報酬推移(a) Montezuma’s Revenge(b) Venture(c) PPO+Ours

図 3: 各手法毎の探索範囲

表 1: 各環境の平均スコア
env
MR
VT
BO

Random
0
0
2

PPO
2500
0
422

methods
PPO+RND
4600
1660
417

PPO+Ours
6600
1810
402

る．Breakout では 3 つの手法間でスコアと図 2(c) による報酬推移ともにに大きな変化が生まれなかった．これはBreakout が報酬が密な環境であり，表 1 の Random のスコアからも，1 以上獲得できていることが分かる．そのため，外部報酬のみで十分学習可能であり，内部報酬導入による効果は低いことが考えられる．

4.3 Montezuma’s Revenge の探索範囲の可視化
図 3 に各手法における学習時の探索範囲を示す．学習を通して PPO は 5 種類，PPO+RND は 12 種類，PPO+Ours
は 13 種類の部屋を学習全体を通して訪れた．この結果か
ら，提案手法である Ours が最も多くの状態を訪れていることが分かる．また，提案手法のみが訪れている部屋に着目すると，学習によって進んでいる右下の部屋ではなく左方向の部屋であることから探索的な行動の促進が行われていると考えられる．

4.4 内部報酬の可視化による比較
図 4 に Montezuma’s Revenge にてエージェントが部屋
1 とを移動する瞬間における内部報酬推移を示す．図 4 の○2 に着目すると，○
2 で高い内部報酬が出力されていること○
2 の部屋が○1 の部屋より珍しいこが分かる．このことから○3 に着目すると，○
2 より高い内部報酬とが分かる．さらに○
3 は部屋が切り替が出力されていることが分かる．これは○わる際の内部報酬であり，部屋が切り替わる際の経験は切り替わった後の経験より少ないからだと考えられる．この結果から部屋の変化に対して変化した際とその後に対して異なる内部報酬が出力されていることが分かる．これにより長期間の探索により状態への探索促進が低下しても，状態遷移を考慮した探索促進により探索の継続が期待できる．

図 4: 各ステップの内部報酬の推移

5. おわりに本研究では，深層強化学習において過去の状態にも着目した幅広い探索表現を実現するため，状態遷移を考慮した
内発的動機付けを提案した．提案手法では，現状態を始めとした複数時刻分の状態を RND による内部報酬生成機構に入力することで状態遷移を考慮した内部報酬の出力を実現した．評価実験では 5 時刻分の時系列情報を用いて状態遷移を表現したモデルを Atari2600 の環境を用いて評価した．その結果，状態変化に対して変化の際と変化後で異なる評価ができており，変化の際に対する探索促進の低下が抑制されていることを確認した．また，探索部屋の比較にて提案手法が一番多くの部屋の探索が出来ていることを確認するとともに，提案手法による網羅的な探索が外部報酬の獲得に繋がることを確認した．今後は，状態遷移を用いた内部報酬生成機構に Transformer encoder 構造を導入することで状態遷移の表現力向上を図る予定である．

参考文献[1] Y. Burda, et al., “Exploration by Random Network Distillation”, 2019.

研究業績[1] 大鹿海都 等, “深層強化学習における状態遷移を考慮した内発的動機付けによる探索の効率化”, 電子情報通信学会技術研究
報告, パターン認識・メディア理解研究会, 2024

点群データを対象とした物体検出手法の視覚的説明に関する研究
指導教授：藤吉弘亘

TR22012 三原一真
1. はじめに自動運転システムを実現するために，周囲の障害物を検知する物体検出は重要なタスクである．自動運転システムのセンサには，RGB カメラ，LiDAR センサ，Radar セン
サが用いられる．LiDAR センサはレーザ光を照射し，障害物などの周囲の物体から跳ね返ってきた反射光を受光
し，ToF 原理により 3 次元座標を取得する．取得した 3 次
元座標は点群データとして，セマンティックセグメンテー
ションや物体検出などのタスクに利用される．点群データを入力とする物体検出手法として，PointPillars[1] がある．
PointPillars は，点群データを Pillar と呼ばれる xy 平面に垂直な格子状の空間に分割し，局所的な特徴抽出をする
ことで，疑似画像に変換している．疑似画像に変換することで，畳み込み処理の適用が容易となり，高速な推論が可能となる．一方で，点群ベースの手法の問題点として，入力した点群データに対する予測処理過程はブラックボック
スとして扱われており，人間による判断根拠の判別が困難であるという点がある．そこで本研究では，点群データを入力とする物体検出モデルの視覚的説明の実現を目指す．

ごとに Attention Map の最大値を取り，1 つの Attention
Map にする．ODAM は，検出した Bounding Box に対して個々の Attention Map を求めることができる．

3. 提案手法
本研究では，点群データを入力とする物体検出手法の視覚的説明の実現を目的とする．提案手法はである Grad
ODAM は，点群データを物体検出手法である PointPillars の Pillar 特徴による疑似画像に視覚的説明手法である
ODAM を導入し，さらに Guided BackPropagation による Attention を統合することで，点群データに対する視覚的説明の獲得を目指す．提案手法を図 2 に示す．

2. 関連研究
本節では，点群データを入力とする物体検出手法の PointPillars と，画像データを入力とする判断根拠の視覚的説明
手法の ODAM について述べる．

2.1.PointPillars
PointPillars[1] は，Pillar feature Net，Backbone，Detection head から構成される．PointPillars のネットワー
ク構造を図 1 に示す．Pillar Feature Net は，局所的な特徴を抽出するモジュールである．まず，3 次元座標と反射強度で構成する点群データ (x, y, z, r) を擬似画像へ変換する処理を行う．入力された点群データは，Pillar と呼ばれる xy 平面に垂直に定義される領域に分割され，(D, P, N )の 3 次元のテンソルに変換される．ここで，D は点の次元数，P は Pillar の数，N は Pillar 内の点の数である．
Pillar 内の点群データは，Pillar 中心からのオフセットとPillar 内の点群データの平均値から点の次元数を D = 9に変換し，PointNet へ入力することで (C, P, N ) の 3 次
元テンソルとなる．ここで，C はチャンネル数である．次に，N 方向の最大値を取ることにより (C, P ) の 2 次元テンソルへ変換し，Pillar を元の位置に戻すことで，(C, h, w)の Birds-Eye View の擬似画像となる．ここで，h, w は画
像の縦と横の画素数である．Backbone では，Pillar Feature Net で特徴抽出した疑似画像に対して，大局的な特徴抽出を行う．Backbone は，3 層のストライドが 2 の畳み込み層から構成されており，特徴マップのスケールを変更
して特徴抽出を行う．その後，それぞれの特徴マップに対して Deconvolution によりアップサンプリングした後，連結して出力する．Detection head では，Backbone の出力から，3D Bounding Box のパラメータとクラススコアの予測結果を出力する．予測結果に対して，Non-Muximum
Suppression(NMS) を行い，冗長な検出結果を削除する．

図 2: 提案手法のネットワーク構造

3.1.PointPillars への ODAM の導入
本研究では，PointPillars が，点群データを Birds-Eye
View の疑似画像へ変換して特徴抽出する処理に着目し，疑似画像に対する Attention Map を求める．点群データを入力する際に Pillar Feature Net の出力である Pillar 特徴
に対して，ODAM を用いて Attention Map を獲得する．
次に，Pillar Feature Net のインデックス情報を利用して，Attention Map の値を対応する Pillar 内部の点群データに Attention として付与する．この場合，Attention を付与された点群データは，Pillar 内部で同値の Attetnion となる．

3.2.Guided ODAM
ODAM によって求めた Attention Map は，図 2 の Pillar Feature Net の最初の処理で分割した Pillar に対する
Attention であるため，点ごとの視覚的説明ではない．そこで，逆伝播の際に，負の勾配に ReLU 関数を使用して 0へ変換する Guided BackPropagation の Attention を統合する．これにより，点ごとに異なる Attention を付与することが可能となる．提案する Guided ODAM の式を式(1) に示す．
AGuidedODAM = (AODAM + ginput )2(1)

ここで AODAM は，ODAM の Attention を付与した点群
データ，ginput は Guided BackPropagation のによるモデルの入力データの勾配情報である．Attention を付与した
点群データに，Guided BackPropagation による勾配情報を加算し，2 乗することで Bounding Box 外の低い値のAttention を抑制する．これにより，Bounding Box 内部に高い値の Attention が発生し，点ごとの視覚的説明が可能な Attention Map を求めることができる．

4. 評価実験
図 1: PointPillars のネットワーク構造

2.2.ODAMODAM[2] は，物体検出モデルの中間特徴の勾配情報から
Attention Map を作成する．ODAM は，中間特徴に対するAttention Map を Bounding Box の 4 つのパラメータとク
ラススコアを逆伝播して求める．そして，中間特徴の要素

本実験では，提案手法に導入する視覚的説明手法を，ODAM，Guided Grad-CAM，Guided ODAM に変更し，それぞれの視覚的説明手法を比較する．

4.1.KITTI dataset
本実験では，KITTI dataset[5] を使用する．KITTI dataset
は，自動車に取り付けられた LiDAR センサや RGB カメ
ラ等のセンサから作成された実環境データセットである．
KITTI 3D object detection benchmark は，Car，Cyclist，
Pedestrian の 3 クラスに対して Easy，Moderate，Hard

(a) ODAM（BEV 視点）(b) Guided Grad-CAM（BEV 視点）(c) Guided ODAM（BEV 視点）(d) ODAM(e) Guided Grad-CAM(f ) Guided ODAM

図 3: 視覚的説明手法ごとの定性的評価の比較の 3 段階の難易度での識別精度の比較を行うベンチマーク
である．KITTI dataset の学習用データを分割し，3,712
枚，評価に 3,769 枚のデータを使用する．

4.2. 実験概要
本実験ではエポック数を 80，ミニバッチサイズを 8，初期学習率を 0.003，最適化手法を Adam に設定して学習する.

4.3. 評価指標
物体検出の視覚的説明において，Bounding Box 内部の物体に対して局所的に Attention を付与することで，物体検出モデルに対する説明性を可視化できる．本研究では，
各予測結果に対する Attention Map 全体の Attention の
総和と Bounding Box 内部の Attention の総和の割合の平均をクラスごとに計算することで，Attention Map のBounding Box に対する局所性を求める．評価指標の計算
式を式 (2) に示す．

∑nmAP B =

Attentionbbox
1 ∑∑N
M
AttentionM ap(2)M

M は Attention Map の枚数，n は Bounding Box 内の点
群数，Attentionbbox は Bounding Box 内の点群データのAttention，AttentionM ap は Attention Map のすべての点群データの Attention である．

4.4. 視覚的説明の評価結果
視覚的説明の定量的的評価を表 1 に示す．表 1 より，提案手法である Guided ODAM がすべてのクラスに対して最も高い精度であることが確認できる．これは，予測結果の Bounding Box 内部に高い値の Attention が発生し，Bounding Box 外に発生する Attention が抑制されている結果だと考えられる．
表 1: 視覚的説明における定量的評価の比較
手法

Car

CyclistPedestrian
53.27

ODAM

71.39

42.65

Guided Grad-CAM

64.81

57.68

60.32

Guided ODAM

80.56

68.00

73.69

きに点が同じ色となっていることが確認できる．これは，
ODAM が Pillar 内部の特徴を点群データに付与した結果だと考えられる．そして，Bounding Box の外部にも高い値の Attention を確認できる．図 3(b)，図 3(e) より，Guided
Grad-CAM は，Bounding Box 内にまばらに高い値の Attention を確認できる．また，Bounding Box の外部にも高い値の Attention を確認できる．図 3(c)，図 3(f) を見ると Guided ODAM は，Bounding Box 内部が全体的に高い値の Attention が発生し，高さ方向で Attention が変化
していることを確認できる．これは，Guided BackPropagation による点ごとの視覚的説明によるものであると考えられる．また，ODAM と Guided Grad-CAM と比較す
ると，Bounding Box の外部に発生する Attention が低い値であることが確認できる．

4.5. おわりに本研究では，点群データを入力とする物体検出手法に対する視覚的説明を行う手法を提案した．評価実験では，Guided
ODAM は，定量的評価において最も評価指標の値が高く，定量的評価において点ごとの視覚的説明，Bounding Box
外の Attention の抑制による説明性の向上を確認した．今後は，ベースとなる物体検出手法や視覚的説明手法の変更を検討し，さらなる視覚的説明の向上を図る．

参考文献[1] Alex H. Lang, Sourabh Vora, Holger Caesar, Lubing Zhou, Jiong Yang, Oscar Beijbom. PointPillars:
Fast Encoders for Object Detection from Point Clouds.
CVPR,2019.
[2] Chenyang, ZHAO and Chan, Antoni B. ODAM:
Gradient-based Instance-Speciﬁc Visual Explanations for
Object Detection. ICLR,2023.
[3] Selvaraju, Ramprasaath R and Cogswell, Michael andDas, Abhishek and Vedantam, Ramakrishna and Parikh,Devi and Batra, Dhruv. Grad-cam: Visual explanations from deep networks via gradient-based localization.
ICCV,2017.
[4] Petsiuk, Vitali and Das, Abir and Saenko, Kate. Rise:
Randomized input sampling for explanation of black-box
models. arXiv,2018.
[5] Geiger, Andreas, Philip Lenz, and Raquel Urtasun. Are
we ready for autonomous driving? the kitti vision benchmark suite. CVPR,2022.

研究業績
次に，定性的評価を図 3 に示す．図 3(a)，図 3(d) より，ODAM は，Bounding Box 内部が全体的に高い値のAttention が発生し，高さ方向に Attention を確認したと[1] 三原一真 等，”Self-Attention を用いた PointPillars による 3 次元物体検出の高精度化” 画像センシングシンポジウ
ム，2022．

SAM のプロンプトチューニングと繰り返し推論による細胞画像セグメンテーションの高精度化に関する研究
指導教授：藤吉 弘亘
TR22010 舩井 祥吾
1. はじめに医用画像や細胞画像のセグメンテーションは，生物学的に関連する形態学的情報を画素レベルで識別することができるため，正確な診断や治療計画のサポートに用いられる．
一方で，細胞画像には多くの細胞が含まれているため，個々の細胞を正確に分離してセグメンテーションをすることは難しい．そこで，指定した領域ごとにセグメンテーション
できる Segment Anything Model (SAM) [1] が注目されている．SAM は，モデルに与えた指示 (プロンプト) に基づいて前景と背景にセグメンテーションを行う基盤モデルである．例えば，プロンプトにバウンディングボックス(bbox) を使用すると，bbox で囲んだ領域をセグメンテー
ションすることができる．SAM は，様々な形状に対応することもできるため，細胞画像のセグメンテーションへの応用も可能である．一方，プロンプトを人が定義したり，物体検出結果を用いて与えると，サイズずれが生じることがある．SAM はプロンプトに基づいてセグメンテーションを行うため，プロンプトにサイズずれが生じた場合，セグ
メンテーションの精度が低下する．
そこで本研究では，SAM にサイズずれを許容する新たなトークンを追加する．さらに，繰り返し推論による最適化を導入し，SAM によるセグメンテーション精度の向上を図る．

2. 関連研究
セグメンテーションの基盤モデルである SAM は，Image
encoder，Prompt encoder，Mask decoder から構成される．SAM には，プロンプトチューニング用の学習パラメータ(Learned embedding) が存在しており，Prompt encoderの Positional encoding を行った埋め込みベクトルに加算する．SAM は学習の際に，入力プロンプトに対して，最大 20pixel のランダムなサイズずれを加えているため，0〜20pixel 程度のサイズずれであれば許容できる．
Mazurowski らは，SAM のプロンプトとセグメンテー
ション能力に関する傾向を明らかにした [4]．主な傾向は以下の通りである．1 つ目は，SAM のセグメンテーションの精度はデータセットごとに差がある．2 つ目は，プロン
プトが正確である場合は適切なセグメンテーションが得られる．3 つ目は，bbox をプロンプトとした場合，point を
プロンプトにした場合よりも高精度なセグメンテーション
結果が得られる．4 つ目は，複数の point をプロンプトに利用した場合，セグメンテーションの精度がわずかに向上する．これらの傾向から，SAM は与えるプロンプトが重要であることが分かる．

Image
encoder

Imageembeddings

256次元

Input
embedding

全結合層
トークン追加プロンプト：bbox

128次元

Prompt encoder
Segment Anything Model

図 1 : トークンの追加とプロンプトチューニング
上する．

3.2 繰り返し推論
推論時にサイズずれした不正確な bbox のプロンプトを用いた場合，1 度の推論で良いセグメンテーション結果を出力することは難しい．そこで推論時に，繰り返し推論を行う．繰り返し推論を行うことで，サイズずれした bbox を修正することができる．また，Prompt encoder は繰り返
し推論の回数分の入力をする必要があるが，パラメータ数の多い Image encoder への入力は一度の入力でよいため，
繰り返し推論の時間が大きく増えない．繰り返し推論の流れを図 2 に示す．繰り返し推論は以下のステップで行う．

step1 入力画像とプロンプトを用いて推論を行い，セグメ
ンテーションマスク Mt−1 を求める．プロンプトにはランダムなサイズずれを含む bbox を用いる．
step2 推論した Mt−1 から外接矩形を bbox として設定
する．
step3 入力画像と設定した bbox を用いて再度推論を行う．ここで，推論した Predict mask を Mt とする．
step4 推論した Mt と 1 回目に推論した Mt−1 の変化率を求める．ここで，Hb Wb は bbox の面積，HW は
画像サイズ，τ はしきい値である．
1 ∑|Mt − Mt−1 |Hb W b
HW

変化率 =

(1)

step5 変化率に対して，しきい値より上場合，step2 に戻る．しきい値以下の場合，Predict mask を最終的なセグメンテーション結果として出力する．
Step2
𝑀𝑡
Image
encoder
Image

Step1
𝑀𝑡−1

Mask
decoder

Imageembeddings
マスクの変化量の計算

Step3

Yes

3.1 プロンプトチューニング
プロンプトチューニングは，入力データに学習可能なパラメータを追加し，学習する手法である [5]．プロンプト
チューニングでは，プロンプトチューニング用のトークンをモデルに追加するのが一般的である．そこで，提案手法
ではサイズずれを考慮するための学習パラメータを新たにトークンとして SAM の Prompt encoder に追加する．追加したトークンを用いたプロンプトチューニングを図１に示す．また，このトークンを全結合層により 128 次元から
256 次元に変換することで，トークンはより複雑な表現を可能にする．これにより，サイズずれに対する頑健性に獲得が可能になる．学習時は，60%の確率で 0%，20%の確率で± 10%，± 20%のサイズずれした bbox をプロンプト
として入力する．学習時にサイズずれした bbox を学習することで，推論時にサイズずれした bbox への頑健背が向Predict
mask

Image

3. 提案手法
本研究では，サイズずれが生じた bbox に対して適切なセグメンテーションを出力するために，Promot encoderに新たなトークンを導入したプロンプトチューニングと，繰り返し推論を提案する．

tune
freezeMask
decoder𝑀𝑡 よりbboxを作成

マスク誤差>閾値

Step4

No

プロンプト

推論終了

Step5

図 2 : 繰り返し推論

4. 評価実験
本実験では，電子顕微鏡細胞画像を用いた細胞のセグメ
ンテーションのデータセットである電子顕微鏡データセット，
ISBI [2]，Electron Microscopy Dataset [3] で評価実験を行う．これらのデータセットは，bbox が用意されていない
ため，各細胞の Ground truth のセグメンテーションをもとに作成した外接矩形をプロンプトとして使用する．ベース
ラインは，SAM をファインチューニングしたモデルとする．
SAM のファインチューニングでは，Mask decoder のみを学習する．プロンプトチューニングは，Prompt encoder の1回目：0.198

2回目：0.443

3回目：0.760

Ground truth

1回目：0.802

2回目：0.915

3回目：0.907

Ground truth

図 3 : ISBI データセットの繰り返し推論による Predict mask と mIoU
表 1 : 電子顕微鏡データセットの実験結果
手法

P

K

SAM

✓
✓
✓
繰り返し推論回数の平均
提案手法

✓
1

0%
0.827
0.827
0.828
0.828
1

bbox のサイズずれ
10%
20%
30%
0.822
0.788
0.710
0.822
0.787
0.709
0.823 0.788
0.714
0.823
0.787
0.734
1.02
2.42
3.33

表 3 : Electron Microscopy Dataset の実験結果
40%
0.595
0.594
0.600
0.653

表 2 : ISBI データセットの実験結果
手法

P

K

SAM

✓
✓
✓
繰り返し推論回数の平均
提案手法

✓
1

0%
0.822
0.825
0.830
0.830
1.01

bbox のサイズずれ
10%
20%
30%
0.810
0.774
0.699
0.810
0.777
0.702
0.820 0.785
0.714
0.817
0.784
0.727
1.05
2.13
3.16

40%
0.604
0.606
0.622
0.650

Learned embedding を学習に追加したモデルである．提案
手法のプロンプトチューニングは，Learned embedding のパラメータを固定し，代わりに追加したトークンと Mask
decoder を学習する．また，通常のプロンプトチューニン
グは，既存のモデルのパラメータを凍結させる．しかし，
SAM は Mask decoder の学習を行うことで精度が向上す
ることが分かっており，Mask decoder は軽量であるため同時に学習を行う．サイズずれに対する評価では，0%から40%のサイズずれした bbox をプロンプトとして入力した
場合の Predict mask と Ground truth 間の mIoU を比較する．繰り返し推論ではしきい値を 0.05 とする．

4.1 実験結果
電子顕微鏡データセットの実験結果を表 1，ISBI データ
セットでの実験結果を表 2，Electron Microscopy Dataset
での実験結果を表 3 に示す．ここで，各表の P はプロンプ
トチューニング，K は繰り返し推論を示す．提案手法のプ
ロンプトチューニングのみを導入した場合，全てのデータ
セットにおいてサイズずれを 30%から 40%加えた場合にSAM を超える認識性能を達成した．どのデータセットにおいてもサイズずれを 30%以上加えた場合で SAM を超える認識性能を達成していることから，プロンプトチューニ
ング時に学習していないサイズずれ度合いに対して頑健であると言える．繰り返し推論では，10%から 20%で精度が若干低下した．しかし，学習を行っていない範囲で大きく精度が向上した．プロンプトチューニングに加えて繰り返し推論を導入することで，さらに認識性能が改善することから，繰り返し推論も有効であると言える．

4.2 繰り返し過程の可視化
繰り返し推論における 1 回目から 3 回目の Predict mask(青色領域)，Ground truth を図 3 に示す．推論を繰り返すことで Predict mask が Ground truth へ近づいていくことから，繰り返し推論が有効であると言える．細胞よりも小

手法

P

K

SAM

✓
✓
✓
繰り返し推論回数の平均
提案手法

✓
1.03

0%
0.885
0.885
0.884
0.882
1.37

bbox のサイズずれ
10%
20%
30%
0.875
0.844
0.772
0.874
0.844
0.772
0.874
0.845
0.779
0.867
0.855 0.824
1.54
2.72
3.11

40%
0.673
0.673
0.683
0.762

さい bbox の繰り返し推論では，bbox を適切な大きさに修正できたため精度向上した．オブジェクトよりも大きい
bbox の繰り返し推論では，2 回目の繰り返し推論時に高い
セグメンテーション結果が得られた．また，サイズずれが30%の時の繰り返し推論回数の平均は 2.4 回，40%の場合
は 3.2 回となり，サイズずれが大きいほど繰り返し推論回
数が増加する結果となった．

5. おわりに本研究では SAM におけるサイズずれのある不正確なプ
ロンプトによる性能低下を改善するプロンプトチューニン
グと繰り返し推論を提案した．トークンのプロンプトチュー
ニングはサイズずれした bbox に対して精度低下を低減した．また，繰り返し推論をすることにより，さらに精度低下を低減した．繰り返し推論を可視化した結果，bbox が最適化されていることを確認した．今後は，マスクから作成した bbox に対する損失設計によるプロンプトの最適化
を行う．

参考文献
[1] A. Kirillov, et al., “Segment anything”, ICCV, 2023.
[2] A. Cardona, et al.,“An integrated micro-and macroararchitectural analysis of the drosophila brain bycomputer-assisted serial section electron microscopy”,
PLOS Biology, vol.8, no.10, pp.1-17, 2010.
[3] A. Lucchi, et al., “Supervoxel-based segmentation of
mitochondria in EM image stacks with learned shapefeatures”, IEEE Trans Med Imaging, vol.31, no.2,
pp.474-486, 2012.
[4] M. Mazurowski, et al., “Segment Anything Model for
Medical Image Analysis: an Experimental Study” ,arXiv preprint arXiv:2304.10517, 2023.
[5] B. Lester, et al., “The Power of Scale for ParameterEﬃcient Prompt Tuning”, ICLR, 2021.

研究業績[1] 舩井祥吾, 平川翼, 山下隆義, 藤吉弘亘,“SAM のプロンプト
チューニングと繰り返し推論による細胞画像セグメンテー
ションの高精度化”, 動的画像処理実利用化ワークショップ,2024.

複数の自己教師あり学習モデルを用いた下流タスクにおける知識蒸留に関する研究
指導教授：藤吉 弘亘

TR22007 鈴木 渉起
1. はじめに

3.1 Teacher の効率的な学習

自己教師あり学習 (SSL) は，大量のラベルなしデータ
から下流タスクに転移しやすい特徴表現を獲得する事前学習法である．大規模なデータセットを用いた SSL は，教師あり学習を凌駕する性能を達成できるため注目されている．基盤モデル等の SSL モデルは，通常大規模であり，計算コストが高くエッジデバイスでの推論時間やメモリコストが問題となる．そのため，計算コストの低い小規模なモデルが必要とされる．しかし，小規模なモデルは表現能力に欠けているため性能が低い．
本研究では，小規模なモデルの性能向上を目的として，
知識蒸留 (KD) [1] による SSL モデルからの知識の転移法を提案する．提案手法は，予備実験により確認した SSL の学習法による特徴表現の差異を基に，複数の SSL モデルを用いて，下流タスクにおける KD を行う．これにより，表現能力の高い小規模なモデルの獲得を目指す．

学習済みモデルを下流タスクに適用する方法には，線形評価とファインチューニングがある．線形評価は，学習済みモデルにクラス分類のための全結合層 (Head) を結合
し，Head 以外を固定して学習する．ファインチューニング
は，学習済みモデルも含めて全てのパラメータを学習する．
提案手法では，複数の大規模な学習済みモデルを Teacherとして用いるため，メモリ消費量の少ない線形評価を用いる．しかし，MIM は線形評価で性能が低く，KD によりStudent に悪影響を与える．そこで，提案手法では Headに加えて，Transformer encoder の最終層も再学習する．
これを Partial-1 と呼ぶ．これにより，MIM における出力分布を用いた KD の効果の改善を期待する．

2. 自己教師あり学習 (SSL)
SSL の学習法には，Contrastive Learning (CL) と Masked Image Modeling (MIM) がある．CL は同じ画像間の特徴量は近づけ，異なる画像間の特徴量は遠ざけるように学習する．一方，MIM は画像の一部をマスクし，マスクした箇所の画素値または特徴量を予測するように学習する．
これらの学習法は，獲得する特徴表現が大きく異なることが知られている．そこで，予備実験として CL と MIM の
特徴表現の差異を確認する．

3.2 出力分布を用いた KD
1 つ目の知識の伝達手段として，Teacher と Student に画像を入力し，得られた出力分布を用いて転移する．損失関数には，一般的な KD と同様に KL ダイバージェンスを用いる．CL と MIM の出力分布を用いた KD を次のように定式化する．
LKD = λ1 KL(pCL ∥pS ) + (1 − λ1 ) KL(pMIM ∥pS ),(1)

ここで，pS , pCL , pMIM は各モデルの出力分布，λ1 は CLと MIM の損失の比率を調整する係数である．λ1 は 0.5 とする．

3.3 Attention Weight を用いた KD
予備実験 SSL モデルの Attention Weight（Self-Attenti-

Attention distance (px)on における query と key の関係性）から，Attention distance を算出した結果を図 1 に示す．Attention distanceは，層ごとに Attention Weight とピクセル間距離を乗算したものである．これにより，深い層に着目すると，赤色で示す CL は大域的な領域，青色で示す MIM は局所的な領域を認識していることがわかる．この結果から，SSL の学習法によって特徴表現に差異があることがわかる．そこで，それぞれの Attention Weight を小規模なモデルに伝達することで，小規模なモデルにおける表現能力の改善を
図る．

120

予備実験より，Attention Weight は学習法によって特徴表現に差異があることが判明した（図 1）．そこで，それぞれの特徴表現を小規模なモデルに伝達することで，小規模なモデルにおける表現能力の改善を考える．しかし，モデル構造によって Attention Weight の形状が異なるため，
Teacher から Student に Attention Weight を転移することはできない．そのため，2 つ目の知識の伝達手段として，重要な Attention Weight を選択して転移する．

Attention Weight の選択方法 Attention Weightの選択方法として，Attention Conﬁdence (AC) [3] を用いる．ここで，AC は Multi-head attention の重要度を測る指標である．AC による評価値を次のように定式化する．

100
Ch =

80
60
CL (DINO)
MIM (MAE)

40

2

4

6

Depth

8

10

12

図 1: SSL モデルの Attention distance

3. 提案手法
予備実験を基に，複数の SSL モデルを用いて，下流タス
クにおける KD を行うことで，より表現能力の高い小規模なモデルの獲得を目指す．KD は，学習済みモデル (Teacher)の知識を，未学習のモデル (Student) に伝達する手法である．図 2 に提案手法における KD を示す．提案手法では，
Teacher として CL と MIM を用いて，2 つのモデルからKD をして Student に転移する．このとき，KD に用いる知識として，従来 KD で用いられるモデルの出力分布と，学習法による特徴表現の差異を確認した Attention Weight
を考える．

1 ∑
max Ah (q, k),|Q| q∈Q k∈K(2)

ここで，h は Head のインデックス，Q は query の集合，Kは key の集合，A は Attention Weight である．Teacherの Attention Weight を AC を用いて評価し，最も高く評価された Attention Weight が下流タスクにおいて重要だと考えて Student に転移する．

損失関数 Attention Weight を用いた KD では，KL ダイバージェンスを用いて Student の Attention Weight がTeacher の Attention Weight に近づくように学習する．
Attention Weight を用いた KD を次のように定式化する．
MIM
LAttn = λ2 KL(ACL ∥AS∥AS1 ) + (1 − λ2 ) KL(A
2 ),
(3)
S
ここで，AS
1 は Student の 1 番目の Attention Weight，A2
は Student の 2 番目の Attention Weight，ACL と AMIM
は AC を基準に選択された CL と MIM それぞれの Attention Weight である．λ2 は CL と MIM の損失の比率を調整する係数であり，λ2 は 0 とする．

：LKD

：LAttnLayer 12

!

!

!

!

LCL
CE
<latexit sha1_base64="YAoe2rE8pjwekZGb/H8Gheuo4+M=">AAACDHicbZDLSsNAFIYn9VbrLerSzWAQXJVESnVZKIILFxXsBdpYJtNJO3QyCTMToYQ8gBtfxY0LRdz6AO58GydpEG39YeDjP+cw5/xexKhUtv1llFZW19Y3ypuVre2d3T1z/6Ajw1hg0sYhC0XPQ5IwyklbUcVILxIEBR4jXW/azOrdeyIkDfmtmkXEDdCYU59ipLQ1NK1BgNQEI5Zcp8OcRZA0L9O7H9a+adlVOxdcBqcACxRqDc3PwSjEcUC4wgxJ2XfsSLkJEopiRtLKIJYkQniKxqSvkaOASDfJj0nhiXZG0A+FflzB3P09kaBAylng6c5sRblYy8z/av1Y+RduQnkUK8Lx/CM/ZlCFMEsGjqggWLGZBoQF1btCPEECYaXzq+gQnMWTl6FzVnXq1fpNzWrUijjK4Agcg1PggHPQAFegBdoAgwfwBF7Aq/FoPBtvxvu8tWQUM4fgj4yPb8l7nA4=</latexit><latexit sha1_base64="1KUVIMg58M9oYqd/pdheDEztFX8=">AAAB9HicbVDLTgIxFL2DL8QX6tJNIzFxRWYMQZckbFy4wEQeCYykUwo0tJ2x7ZCQCd/hxoXGuPVj3Pk3dmAWCp6kyck59+aeniDiTBvX/XZyG5tb2zv53cLe/sHhUfH4pKXDWBHaJCEPVSfAmnImadMww2knUhSLgNN2MKmnfntKlWahfDCziPoCjyQbMoKNlfzosSewGSuR1O/m/WLJLbsLoHXiZaQEGRr94ldvEJJYUGkIx1p3PTcyfoKVYYTTeaEXaxphMsEj2rVUYkG1nyxCz9GFVQZoGCr7pEEL9fdGgoXWMxHYyTSiXvVS8T+vG5vhjZ8wGcWGSrI8NIw5MiFKG0ADpigxfGYJJorZrIiMscLE2J4KtgRv9cvrpHVV9qrl6n2lVKtkdeThDM7hEjy4hhrcQgOaQOAJnuEV3pyp8+K8Ox/L0ZyT7ZzCHzifP/bkkjM=</latexit>

pCL<latexit sha1_base64="FVy+8FH/NRDwtiNm1fywO0G3JEY=">AAACCnicbVDLSsNAFJ34rPUVdelmtAh1U5Ii1WWhG8EuKtoHNGmZTCft0MmDmYlQYtZu/BU3LhRx6xe482+ctBG09cDAmXPu5d57nJBRIQ3jS1taXlldW89t5De3tnd29b39lggijkkTByzgHQcJwqhPmpJKRjohJ8hzGGk741rqt+8IFzTwb+UkJLaHhj51KUZSSX39yPKQHHEvvqonxbD386vVE2jdw7B3c9rXC0bJmAIuEjMjBZCh0dc/rUGAI4/4EjMkRNc0QmnHiEuKGUnyViRIiPAYDUlXUR95RNjx9JQEnihlAN2Aq+dLOFV/d8TIE2LiOaoyXVXMe6n4n9eNpHthx9QPI0l8PBvkRgzKAKa5wAHlBEs2UQRhTtWuEI8QR1iq9PIqBHP+5EXSKpfMSqlyfVaolrM4cuAQHIMiMME5qIJL0ABNgMEDeAIv4FV71J61N+19VrqkZT0H4A+0j2+c55oo</latexit>

KL(p

CL

S

kp )

ACL
<latexit sha1_base64="Y7IL8Di/nXCq+tKXzSYGWxZ4i30=">AAAB9HicbVDLTgIxFL2DL8QX6tJNIzFxRWaMQZcYNi5cYCKPBEbSKQUa2s7YdkjIhO9w40Jj3Pox7vwbOzALBU/S5OSce3NPTxBxpo3rfju5tfWNza38dmFnd2//oHh41NRhrAhtkJCHqh1gTTmTtGGY4bQdKYpFwGkrGNdSvzWhSrNQPphpRH2Bh5INGMHGSv7NY1dgM1Iiqd3NesWSW3bnQKvEy0gJMtR7xa9uPySxoNIQjrXueG5k/AQrwwins0I31jTCZIyHtGOpxIJqP5mHnqEzq/TRIFT2SYPm6u+NBAutpyKwk2lEveyl4n9eJzaDaz9hMooNlWRxaBBzZEKUNoD6TFFi+NQSTBSzWREZYYWJsT0VbAne8pdXSfOi7FXKlfvLUvUyqyMPJ3AK5+DBFVThFurQAAJP8Ayv8OZMnBfn3flYjOacbOcY/sD5/AGtdJIE</latexit>

KL(ACL kAS1 )<latexit sha1_base64="X5jWNRwIfcW2qk7MW72kzKE+xgA=">AAACDXicbVDLSsNAFJ34rPUVdelmsAp1U5Ii1WVLN4JdVLQPaNIwmU7aoZMHMxOhxPyAG3/FjQtF3Lp359+YtBG09cDAmXPu5d577IBRITXtS1laXlldW89t5De3tnd21b39tvBDjkkL+8znXRsJwqhHWpJKRroBJ8i1GenY43rqd+4IF9T3buUkIKaLhh51KEYykSz12HCRHHE3umrExVr/51dvxNC4h7X+jaWf5i21oJW0KeAi0TNSABmalvppDHwcusSTmCEheroWSDNCXFLMSJw3QkEChMdoSHoJ9ZBLhBlNr4nhSaIMoOPz5HkSTtXfHRFyhZi4dlKZbivmvVT8z+uF0rkwI+oFoSQeng1yQgalD9No4IBygiWbJARhTpNdIR4hjrBMAkxD0OdPXiTtckmvlCrXZ4VqOYsjBw7BESgCHZyDKrgETdACGDyAJ/ACXpVH5Vl5U95npUtK1nMA/kD5+AaIN5qC</latexit>

LSCE<latexit sha1_base64="sSodKnz5hj6JZ5r8yP1/WNuskVI=">AAACAnicbZDLSsNAFIYnXmu9RV2Jm8EiuCqJlOqyUAQXLiraC7QxTKaTduhMEmYmQgnBja/ixoUibn0Kd76NkzQLbf1h4OM/5zDn/F7EqFSW9W0sLa+srq2XNsqbW9s7u+befkeGscCkjUMWip6HJGE0IG1FFSO9SBDEPUa63qSZ1bsPREgaBndqGhGHo1FAfYqR0pZrHg44UmOMWHKdujkLnjQv0/tb16xYVSsXXAS7gAoo1HLNr8EwxDEngcIMSdm3rUg5CRKKYkbS8iCWJEJ4gkakrzFAnEgnyU9I4Yl2htAPhX6Bgrn7eyJBXMop93RntqScr2Xmf7V+rPwLJ6FBFCsS4NlHfsygCmGWBxxSQbBiUw0IC6p3hXiMBMJKp1bWIdjzJy9C56xq16v1m1qlUSviKIEjcAxOgQ3OQQNcgRZoAwwewTN4BW/Gk/FivBsfs9Ylo5g5AH9kfP4AqG2XkQ==</latexit>

Head

!

<latexit sha1_base64="oUcwZTiGZmyq82O++qJDocDUGSo=">AAACBXicbVDLSsNAFJ3UV62vqEtdBIvgqiRSqsuKGxcuKtgHtCFMptN26GQSZm6EErJx46+4caGIW//BnX/jJM1CWw8MnDnnXu69x484U2Db30ZpZXVtfaO8Wdna3tndM/cPOiqMJaFtEvJQ9nysKGeCtoEBp71IUhz4nHb96XXmdx+oVCwU9zCLqBvgsWAjRjBoyTOPBwGGCcE8uU29JP/IILkCEGla8cyqXbNzWMvEKUgVFWh55tdgGJI4oAIIx0r1HTsCN8ESGOE0rQxiRSNMpnhM+5oKHFDlJvkVqXWqlaE1CqV+Aqxc/d2R4ECpWeDrymxNtehl4n9eP4bRpZswEcVABZkPGsXcgtDKIrGGTFICfKYJJpLpXS0ywRIT0MFlITiLJy+TznnNadQad/Vqs17EUUZH6ASdIQddoCa6QS3URgQ9omf0it6MJ+PFeDc+5qUlo+g5RH9gfP4AT2GZDw==</latexit>

Head

Layer 11!

Layer 12❄Layer 11Layer 2❄

Layer 2Student❄

Layer 1

Teacher 1 (CL)

Layer 1<latexit sha1_base64="nHTbVvAOWkd58JQhMOl3W0wWfX0=">AAACA3icbVDLSgMxFM34rPU16k43wSK4KjNSqsuCLgRdVLAPaIchk6ZtaJIZkoxQhgE3/oobF4q49Sfc+TdmprPQ1gOBk3Pu5d57gohRpR3n21paXlldWy9tlDe3tnd27b39tgpjiUkLhyyU3QApwqggLU01I91IEsQDRjrB5DLzOw9EKhqKez2NiMfRSNAhxUgbybcP+xzpMUYsuU39JP9IntxcpWnZtytO1ckBF4lbkAoo0PTtr/4gxDEnQmOGlOq5TqS9BElNMSNpuR8rEiE8QSPSM1QgTpSX5Dek8MQoAzgMpXlCw1z93ZEgrtSUB6YyW1LNe5n4n9eL9fDCS6iIYk0Eng0axgzqEGaBwAGVBGs2NQRhSc2uEI+RRFib2LIQ3PmTF0n7rOrWq/W7WqVRK+IogSNwDE6BC85BA1yDJmgBDB7BM3gFb9aT9WK9Wx+z0iWr6DkAf2B9/gBeY5fz</latexit>!

<latexit sha1_base64="hKjhQhYUpzMSBH0qciWNkR8A+8E=">AAAB6nicbVDLTgJBEOzFF+IL9ehlIjHxRHYNQY8kXjxikEcCK5kdZmHC7OxmpteEED7BiweN8eoXefNvHGAPClbSSaWqO91dQSKFQdf9dnIbm1vbO/ndwt7+weFR8fikZeJUM95ksYx1J6CGS6F4EwVK3kk0p1EgeTsY38799hPXRsTqAScJ9yM6VCIUjKKVGsljo18suWV3AbJOvIyUIEO9X/zqDWKWRlwhk9SYrucm6E+pRsEknxV6qeEJZWM65F1LFY248aeLU2fkwioDEsbalkKyUH9PTGlkzCQKbGdEcWRWvbn4n9dNMbzxp0IlKXLFlovCVBKMyfxvMhCaM5QTSyjTwt5K2IhqytCmU7AheKsvr5PWVdmrlqv3lVKtksWRhzM4h0vw4BpqcAd1aAKDITzDK7w50nlx3p2PZWvOyWZO4Q+czx8w3422</latexit>

y<latexit sha1_base64="hph3iBw42peZftBP/xKIAzmbVnM=">AAAB6HicbVBNS8NAEJ3Ur1q/qh69LBbBU0lEqseCF48t2A9oQ9lsp+3azSbsboQQ+gu8eFDEqz/Jm//GbZuDtj4YeLw3w8y8IBZcG9f9dgobm1vbO8Xd0t7+weFR+fikraNEMWyxSESqG1CNgktsGW4EdmOFNAwEdoLp3dzvPKHSPJIPJo3RD+lY8hFn1FipmQ7KFbfqLkDWiZeTCuRoDMpf/WHEkhClYYJq3fPc2PgZVYYzgbNSP9EYUzalY+xZKmmI2s8Wh87IhVWGZBQpW9KQhfp7IqOh1mkY2M6Qmole9ebif14vMaNbP+MyTgxKtlw0SgQxEZl/TYZcITMitYQyxe2thE2ooszYbEo2BG/15XXSvqp6tWqteV2pX+dxFOEMzuESPLiBOtxDA1rAAOEZXuHNeXRenHfnY9lacPKZU/gD5/MH5xmM+g==</latexit>pS

AS<latexit sha1_base64="MaVSFPlMV9ah383LpQQbtT/rOfg=">AAAB6nicbVDLTgJBEOzFF+IL9ehlIjHxRHaNQY8YLx4xyCOBlcwOvTBhdnYzM2tCCJ/gxYPGePWLvPk3DrAHBSvppFLVne6uIBFcG9f9dnJr6xubW/ntws7u3v5B8fCoqeNUMWywWMSqHVCNgktsGG4EthOFNAoEtoLR7cxvPaHSPJYPZpygH9GB5CFn1FipfvNY7xVLbtmdg6wSLyMlyFDrFb+6/ZilEUrDBNW647mJ8SdUGc4ETgvdVGNC2YgOsGOppBFqfzI/dUrOrNInYaxsSUPm6u+JCY20HkeB7YyoGeplbyb+53VSE177Ey6T1KBki0VhKoiJyexv0ucKmRFjSyhT3N5K2JAqyoxNp2BD8JZfXiXNi7JXKVfuL0vVyyyOPJzAKZyDB1dQhTuoQQMYDOAZXuHNEc6L8+58LFpzTjZzDH/gfP4A6TaNhw==</latexit>

Input image<latexit sha1_base64="UC8JglO65//YNpxmYdtxyifESs0=">AAACDnicbVDLSsNAFJ3UV62vqEs3g6VQNyUpUl22uFG0UNE+oEnDZDpph04ezEyEEvsFbvwVNy4UcevanX9j0kbQ1gMDZ865l3vvsQNGhdS0LyWztLyyupZdz21sbm3vqLt7LeGHHJMm9pnPOzYShFGPNCWVjHQCTpBrM9K2R2eJ374jXFDfu5XjgJguGnjUoRjJWLLUguEiOeRudHk1KdZ6P7/6RX0CjXtY691Y5aOcpea1kjYFXCR6SvIgRcNSP42+j0OXeBIzJERX1wJpRohLihmZ5IxQkADhERqQbkw95BJhRtNzJrAQK33o+Dx+noRT9XdHhFwhxq4dVybrinkvEf/zuqF0Ts2IekEoiYdng5yQQenDJBvYp5xgycYxQZjTeFeIh4gjLOMEkxD0+ZMXSatc0iulyvVxvlpO48iCA3AIikAHJ6AKzkEDNAEGD+AJvIBX5VF5Vt6U91lpRkl79sEfKB/fO5Ca4Q==</latexit>

KL(pMIM kpS )Layer 12

❄

❄

❄

!

KL(AMIM kAS2 )LMIM
CE<latexit sha1_base64="kLVpBKzPFNWxy5qZcmrg+fEcGM8=">AAACDXicbZDLSsNAFIYn9VbrLerSTbAKrkoipbosFEHBQgV7gTaGyXTSDp1MwsxEKCEv4MZXceNCEbfu3fk2TtII2vrDwMd/zmHO+d2QEiFN80srLC2vrK4V10sbm1vbO/ruXkcEEUe4jQIa8J4LBaaE4bYkkuJeyDH0XYq77qSR1rv3mAsSsFs5DbHtwxEjHkFQKsvRjwY+lGMEaXydOBlzP25cJHc/3LxqJo5eNitmJmMRrBzKIFfL0T8HwwBFPmYSUShE3zJDaceQS4IoTkqDSOAQogkc4b5CBn0s7Di7JjGOlTM0vICrx6SRub8nYugLMfVd1ZnuKOZrqflfrR9J79yOCQsjiRmafeRF1JCBkUZjDAnHSNKpAog4UbsaaAw5RFIFWFIhWPMnL0LntGLVKrWbarlezeMoggNwCE6ABc5AHVyCFmgDBB7AE3gBr9qj9qy9ae+z1oKWz+yDP9I+vgF8EZxs</latexit>

Head

Layer 11

Teacher 2 (MIM)! ：Trainable

Layer 2

❄ ：Frozen

Layer 1<latexit sha1_base64="ROvRmGEdqiH7XF8Gn9pYI28o8Tk=">AAACDHicbVDLSgMxFM34rPVVdekmWIS6KTNFqsuCG0ULFe0DOtOSSdM2NDMTkoxQxvkAN/6KGxeKuPUD3Pk3ZtoRtPVA4OSce7n3HpczKpVpfhkLi0vLK6uZtez6xubWdm5ntyGDUGBSxwELRMtFkjDqk7qiipEWFwR5LiNNd3SW+M07IiQN/Fs15sTx0MCnfYqR0lI3l7c9pIbCiy6v4gLv/PyqF9UY2veQd26OsrrKLJoTwHlipSQPUtS6uU+7F+DQI77CDEnZtkyunAgJRTEjcdYOJeEIj9CAtDX1kUekE02OieGhVnqwHwj9fAUn6u+OCHlSjj1XVybLylkvEf/z2qHqnzoR9XmoiI+ng/ohgyqASTKwRwXBio01QVhQvSvEQyQQVjq/JARr9uR50igVrXKxfH2cr5TSODJgHxyAArDACaiAc1ADdYDBA3gCL+DVeDSejTfjfVq6YKQ9e+APjI9vjuCamg==</latexit>!

<latexit sha1_base64="HfBQseC/lOOr6y1wJkiWUqJTjR8=">AAAB9XicbVDLSgMxFL1TX7W+qi7dDBbBVZmRUl1W3OiiUME+oJ2WTJppQ5PMkGSUMvQ/3LhQxK3/4s6/MdPOQlsPBA7n3Ms9OX7EqNKO823l1tY3Nrfy24Wd3b39g+LhUUuFscSkiUMWyo6PFGFUkKammpFOJAniPiNtf3KT+u1HIhUNxYOeRsTjaCRoQDHSRupf93sc6bHkSf2uPhsUS07ZmcNeJW5GSpChMSh+9YYhjjkRGjOkVNd1Iu0lSGqKGZkVerEiEcITNCJdQwXiRHnJPPXMPjPK0A5CaZ7Q9lz9vZEgrtSU+2YyzaiWvVT8z+vGOrjyEiqiWBOBF4eCmNk6tNMK7CGVBGs2NQRhSU1WG4+RRFibogqmBHf5y6ukdVF2q+XqfaVUq2R15OEETuEcXLiEGtxCA5qAQcIzvMKb9WS9WO/Wx2I0Z2U7x/AH1ucPVsKSYg==</latexit><latexit sha1_base64="Gj/cl5/glmlMyNebC1ilBALoPFA=">AAAB9XicbVDLSgMxFL1TX7W+qi7dBIvgqsyIVJcFN7ooVLAPaKclk6ZtaJIZkoxShv6HGxeKuPVf3Pk3ZtpZaOuBwOGce7knJ4g408Z1v53c2vrG5lZ+u7Czu7d/UDw8auowVoQ2SMhD1Q6wppxJ2jDMcNqOFMUi4LQVTG5Sv/VIlWahfDDTiPoCjyQbMoKNlXpRryuwGSuR1O5qs36x5JbdOdAq8TJSggz1fvGrOwhJLKg0hGOtO54bGT/ByjDC6azQjTWNMJngEe1YKrGg2k/mqWfozCoDNAyVfdKgufp7I8FC66kI7GSaUS97qfif14nN8NpPmIxiQyVZHBrGHJkQpRWgAVOUGD61BBPFbFZExlhhYmxRBVuCt/zlVdK8KHuVcuX+slS9zOrIwwmcwjl4cAVVuIU6NICAgmd4hTfnyXlx3p2PxWjOyXaO4Q+czx+gYZKR</latexit>

pMIM

AMIM

図 2: 提案手法の学習方法

3.4 Teacher の線形評価と KD の同時最適化
従来手法では，SSL モデルを線形評価やファインチュー
ニングした後に KD を行うため，2 段階の学習になる．提案手法では，SSL モデルの線形評価と KD を同時に行うことで，1 段階の学習にする．全体の損失関数 L を次のように定式化する．
CLMIM
L = LS
CE + LCE + LCE + LKD + LAttn ,様々な下流タスクで評価した結果を図 3 に示す．Ours
は，DTD と VOC2007 を除いたデータセットで KD よりも高い精度を達成した．

Accuracy difference from baseline (%)
CIFAR10Cars
CIFAR100

(4)

MIM
CL
ここで，LS
CE , LCE , LCE は正解ラベルと出力分布のクロ

スエントロピー損失である．

Caltech101
DTD

72.97 10.02
48.26
22.69 0
5
26.76
7.82
45.9
34.18
45.77
20.24 18.98

4. 評価実験
本節では，提案手法の有効性を検証するために様々な下流タスクにおける評価実験を行う．データセットとして，
ImageNet-1k や CIFAR-10/100 などの多クラス分類用のデータセットを用いる．Student は ViT-Ti，Teacher は
CL として DINO [4] と MIM として MAE [5] を用いる．

4.1 Teacher の学習方法の有効性
表 1 に SSL モデルの下流タスクへの適用方法を比較した
結果を示す．その結果，提案手法に導入する Partial-1 は，最終層を再学習するのみでファインチューニングに匹敵する性能を達成している．
表 1: ImageNet-1k を用いた下流タスクへの適用 (%)
MethodTrainable Params (M)

CL

MIM

86.57
0.77
7.86

81.92
76.31
80.26

81.70
54.02
79.30

ファインチューニング
線形評価
Partial-1

Baseline
Ours
KD (Fine tuned DINO)
KD (Fine tuned MAE)

Flowers

5

10

Aircraft

VOC2007
Food
Pets

SUN397

図 3: 様々な下流タスクにおける評価結果

5. おわりに本研究では，小規模なモデルの精度向上を目的として，複数の自己教師あり学習モデルを用いた知識蒸留を提案した．評価実験により，様々な下流タスクにおいて提案手法
が小規模なモデルの精度向上に有効であることを示した．
今後は，さらなる精度向上を目指して，蒸留方法の多様化を行う．

4.2 従来手法との比較

参考文献

ImageNet-1k を用いて評価した結果を表 2 に示す．Baseline は KD を行わずに Student が単体で学習したモデル，
KD はファインチューニングした Teacher を用いて蒸留したモデル，Ours は複数の SSL モデルを用いて KD を行ったモデルである．Ours は Baseline から 2.2 pt，KD から
1.3 pt 向上した．

[1] G. Hinton, et al., “Distilling the Knowledge in a Neural
Network”, NIPS Workshop, 2015.

表 2: ImageNet-1k による評価結果 (%)[4] M. Caron, et al., “Emerging Properties in SelfSupervised Vision Transformer”, ICCV, 2021.

MethodBaseline (DeiT [2])KD
Ours

TeacherTop-1 Accuracy

–
DINO
MAE
DINO, MAE

72.2
73.1
73.1
74.4

[2] H. Touvron, et al., “Training data-eﬃcient image transformers & distillation through attention”, ICML, 2021.
[3] E. Voita, et al., “Analyzing Multi-Head Self-Attention:
Specialized Heads Do the Heavy Lifting, the Rest Can
Be Pruned”, ACL, 2019.

[5] K. He, et al., “Masked Autoencoders Are Scalable Vision
Learners”, CVPR, 2022.

研究業績[1] 鈴木渉起 等, “Vision Transformer の相互学習による高精度化”, 画像の認識・理解シンポジウム, 2022.