Attention Lattice Adapter:
視覚言語基盤モデルのための説明生成
Attention Lattice Adapter: Visual Explanation for Vision-Language Foundation Models
平野 愼之助

飯田 紡

杉浦 孔明

Shinnosuke Hirano

Iida Tsumugi

Komei Sugiura

慶應義塾大学
Keio University

In the modern era where deep learning is applied across a wide range of ﬁelds, the explainability of models isof paramount importance. However, existing methods are not optimized for vision-language foundation models,leading to lower explanation quality for such models. Therefore, this study proposes the Alternative Adapter Model,
an explanation generation model tailored to vision-language foundation models. By introducing a Side Branch
Network connected to the vision-language foundation model, the proposed method extracts features suitable for
explanation generation. Furthermore, by implementing the Alternative Epoch Architecture, which dynamicallychanges the outputs of modules and the layers to be frozen, we address the issue of overly narrow focus areas.
To evaluate the proposed method, experiments were conducted using the CUB-200-2011 dataset. The results
demonstrate that the proposed method surpasses existing methods in mean IoU, Insertion Score, Deletion Score,and Insertion-Deletion Score, which are standard metrics for visual explanation generation tasks.

1.

はじめに

深層学習が幅広い分野に応用されている現代において，深層学習モデルの説明性は重要である [Shrikumar 17,Ribeiro 16]．
例えば，理論が未解明な自然現象の予測に深層学習を用いた場
合，視覚的説明による重要な部分の可視化を通して，理論の洞察を与えることができる．一方で，複雑な深層学習モデルにおいては，判断根拠を説明することが困難であり，誤った根拠をもとに分類しているかどうかを見分けることが難しい．例えば，クレバーハンス効果 [Pfungst 07] のように，モデルが本質的な特徴ではなく，無関係な特徴に基づいて分類を行い，汎化
性能の低下をもたらす可能性がある．そのため，判断根拠を明確化し，深層学習モデルの説明性を向上させることは有益である．本研究では，分類結果に対する判断根拠の視覚的説明生成
タスクを扱う．特に，視覚言語基盤モデルに対する視覚的説明を生成するタスクに焦点をあてる．この視覚的説明は，画像内の分類対象物体に対するマスクと考えることもできる．この場
合，セグメンテーションのマスクが正解マスクとして与えられず，クラスラベルのみを用いてマスクを生成するため，本タス
クは image-level weakly supervised semantic segmentation
タスクとみなすことができる．
本タスクは正解マスクを利用しない弱教師あり学習タスク
であり，モデルの特徴や構造によって適切な説明生成手法は異なる．そのため，本タスクは正解マスクを利用せずに過不足な
く適切な領域に注目する必要のある，困難なタスクである．
畳み込みニューラルネットワークを基盤とするモデルにおいて，視覚的説明の生成に関する研究は数多く提案されている [Selvaraju 17, Zhang 21, Petsiuk 18]．これらの手法は，既定の計算方法により説明を生成する．このような手法はモデルの構造に依存しないが，複雑なモデル構造に特化した説明の生成が難しく，不適切な領域に注目する場合がある．また，説明生成のための専用モジュールをブランチとして組み込んだ手法として，Attention Branch Network [Fukui 19] , Lambda
Attention Branch Network [Iida 22] や PonNet [Magassouba

図 1: 本タスクにおける視覚的説明の例

21] などが存在する．しかし，これらの手法は説明生成のための特徴を単一の層から抽出するため，性能が不十分であるという問題がある．
本研究では，視覚言語基盤モデルである CLIP image encoderに対する視覚的説明モデルを提案する．既存手法との違いは，
視覚言語基盤モデルである CLIP image encoder に対する視覚的説明モデルを提案し，モジュールの出力および freeze する層を動的に変更する Alternating Epoch Architect を導入した点である．本タスクはラベルのみを用いて学習をしていることから注目領域に対して直接損失を計算することができない
ため，注目領域の大きさを制限できない．その結果，少数のピ
クセルのみに注目してしまい，注目領域が狭くなるという問題がある．そこで，Alternating Epoch Architect を導入し，モジュールの出力および freeze する層を動的に変更することでこの問題を解消することができる．提案手法の新規性は以下の通りである．
• 視覚言語基盤モデルに Side Branch Network を導入した
説明生成手法を提案する．
• 学習時，モジュールの出力および freeze する層を動的に変更する Alternating Epoch Architect を提案する．

2.

連絡先: 平野愼之助，慶應義塾大学，神奈川県横浜市港北区日吉 3-14-1，shinhirano@keio.jp

問題設定

本論文では，分類問題における判断根拠の視覚的説明生成を扱う．本タスクでは，モデルが正しく予測するために貢献し1

図 2: 提案手法のモデル構造
た画素を重要とする視覚的説明が望ましい．
本タスクでは，モデルが正しく予測するために貢献した画素を重要とする視覚的説明が望ましい．図 1 に本タスクにおける分類問題の例を示す．左図が入力であり，右図はモデルの注目領域を入力画像に重畳した画像である．入力は画像 x ∈ Rc×h×w
である．ここで，c, h, w はそれぞれ入力画像のチャネル数，縦幅，横幅を表す．
出力は，入力画像がどのクラスに属するかの確率の予測値
p(ŷ) ∈ RC である．ここで，ŷ, C は，それぞれ 1-of -K 表現とクラス数を表す．また，視覚的説明として画像中の各画素に重要度を割り当てた attention map α ∈ Rh×w を利用する．
本研究では，基盤モデルとして事前学習済みの CLIP [Radford 21] を使用することを前提とする．本タスクの評価指標はmean IoU, Insertion Score, Deletion Score および InsertionDeletion Score を用いる．

3.

(i)

よび i 個目のブロックにおける中間特徴量 hv を得る．この時，より説明生成に適した特徴量を抽出するため，CLIP image
encoder の m 層目に Low-Rank Adoptation (LoRA) [Hu 22]を適用し，パラメータの差分のみを低ランク近似により学習する．LoRA によるパラメータ更新の式は以下で表される．

W = W (0) + BA
ここで，W および W (0) はそれぞれ更新後の重みおよび学
習済みの重みを表す．また，B ∈ Rd1 ×r ，A ∈ Rr×d2 であり，
パラメータの差分を低ランク近似する．

3.2

提案手法

本論文では Side Adapter Network [Xu 23] に Attention
Branch Network (ABN) [Fukui 19] を導入し，拡張した視覚的説明生成モデルを提案する．
本研究では，CLIP image encoder にアダプターを接続した
セグメンテーションモデルである Side Adapter Network を拡張し，基盤モデルである CLIP image encoder に対する視覚的説明の生成を行う．そのため，CLIP image encoder を用いる手法全般に適用可能である．提案手法の新規性は以下の通り
である．

(i−1)

の入力前に hvを加算する．最終的に，transformer layerの l 層目の出力 hSBN を SBN の出力とする．また，後述する
注目領域が狭くなる問題を解決するため，エポック数 e = 2n（n ∈ N) の時，SBN を freeze する．

• 視覚言語基盤モデルに Side Branch Network (SBN) を導入した説明生成手法を提案する．

3.3

Attention Branch

AB は α を計算し，適切な領域に注目した説明生成を行う
ことができる．α の計算と attention loss を計算するための確率の予測値 p(ŷAB ) ∈ RC を同時に行うことで，分類と結びついた説明を生成することができる．既存の ABN と同様に
(1)
この α を fAB の出力として使用することも可能である．しかし，ラベルのみを用いて学習をしていることから注目領域に対して直接損失を計算することができないため，注目領域の大きさを制限することが困難である．その結果，少数のピクセルにのみ注目してしまい，注目領域が狭くなるという問題がある．
ここで，注目領域を拡大させることを促す正則化項を損失に含めることを考えられるが，適切な領域の大きさはタスクに大きく依存してしまうため，不適切である．そこで，本手法ではAlternating Epoch Architect を導入し，エポック毎に以下を• 学習時，モジュールの出力および freeze する層を動的に変更する Alternating Epoch Architect を提案する．
提案手法は，Frozen CLIP image encoder, SBN, Attention
Branch (AB), Perception Branch (PB) の 4 つのモジュールから構成される．入力は x である．図 2 にモデルの構造を示す．

3.1

Side Branch Network

本モジュールでは x および CLIP image encoder の中間
特徴量から説明生成のための特徴量を抽出する．ABN のように入力特徴の抽出に単一の層のみを用いて説明生成を行う場
合，特徴抽出に適切な層を恣意的に決める必要があった．そこで，CLIP image encoder の 複数の階層から取得した特徴量を用いる．複数の階層から取得した特徴量を用いることにより，CLIP image encoder が学習中に獲得した知識を画素単位で適切に組み合わせることができるため，説明生成の精度が高まる．x を w1 × w2 のパッチに分割後，全結合層に入力し，視覚特徴量 v を抽出する．その後，v を l 層の transformer
layer [Vaswani 17] に入力する．この時，各 i 層 (i = 1, 2, 3, 4)

Frozen CLIP image encoder

本モジュールでは CLIP image encoder の中間特徴量を抽出する．CLIP image encoder を用いることで open-vocabulary
な入力に対応した特徴量を抽出することができる．x を事前学習済みの k ブロックからなる CLIP image encoder (ViT(0)B/16) [Radford 21] に入力し，1 ブロック目への入力 hv お2

表 1: ベースライン手法との比較および Ablation Study の定量的結果
LoRA SBN AEA
mean IoU ↑Insertion ↑Deletion ↓Model
RISE [Petsiuk 18]
F-CAM [Belharbi 22]
Ours (i)Ours (ii)
Ours (iii)
Ours (iv)

✓
✓
✓
✓

✓
✓

✓
✓
✓

0.390 ± 0.014
0.550 ± 0.017
0.520 ± 0.041
0.477 ± 0.019
0.495 ± 0.008
0.693 ± 0.007

0.604 ± 0.007
0.681 ± 0.008
0.678 ± 0.020
0.595 ± 0.054
0.717 ± 0.009
0.704 ± 0.012

0.086 ± 0.002
0.034 ± 0.001
0.019 ± 0.002
0.020 ± 0.012
0.014 ± 0.004
0.007 ± 0.002

ID Score ↑0.522 ± 0.005
0.647 ± 0.008
0.659 ± 0.021
0.575 ± 0.045
0.702 ± 0.011
0.697 ± 0.011

fAB の出力とすることで，AB と PB をバランスし，この問題を解消する．
{α (e = 2n − 1)hAB =1 (e = 2n)集合，検証集合，テスト集合はそれぞれ 5,000，994，5,794 サ
ンプルを含む．本論文では，訓練集合および検証集合をそれぞれパラメータの更新およびハイパーパラメータの選択に使用した．また，テスト集合を性能の評価に使用した．

ここで，1 はα と同じ形状で全要素が 1 の行列，e はエポッ
ク数，n は任意の自然数を表す．また，e = 2n の時，AB を(2)freeze する．fAB は hSBN から attention loss を計算するための分類予測確率 p(ŷAB ) を出力する．

4.2

(1)

3.4

Perception Branch

本モジュールは最終的なクラス予測を行うための分類を行う．fPB は畳み込み層，プーリング層および全結合層より構成(k)される．fPB の入力は hv ⊙ hAB である．hAB は各画素に(k)
重要度を割り当てた attention map であるため，hv と hABのアダマール積を計算することで，予測に重要な領域を抽出することができる．fPB の出力は分類確率の予測値 p(ŷPB ) で
ある．

3.5

定量的結果

表 1 にベースライン手法と提案手法との比較に関する定量的結果を示す．ベースライン手法として，RISE [Petsiuk 18] お
よび F-CAM [Belharbi 22] を使用した．RISE は汎用的なモデルに適用可能な手法の中で標準的であるためベースライン手法とした．また，F-CAM は CUB-200-2011 データセットを扱う注目領域の可視化手法として標準的であるため使用した．
本実験における評価尺度には， mean IoU, Insertion Score,
Deletion Score， Insertion-Deletion Score (ID Score) を用いた．mean IoU， Insertion Score, Deletion Score, および ID
Score は説明生成タスクの標準的な評価尺度であるため使用した．また，mean IoU を主要評価尺度とした．mean IoU は以下の式で定義される．

1 ∑IoU(ŷi , yi )
N i=1
N

損失関数

mean IoU =最終的なモデルの予測は以下の式で表される．

p(ŷPB ) = fPB (α ⊙ hv(k) )ここで，N はサンプル数，ŷi , yi は i 番目のサンプルにおける予測及び正解マスク，IoU は 2 つのマスク間の Intersection
over Union (IoU) を示す．
Insertion Score, Deletion Score は Insertion 曲線，Deletion
曲線の AUC で計算される．また，ID Score は Insertion Scoreと Deletion Score の差で定義される．ここで，Insertion 曲線，
Deletion 曲線はそれぞれ α を基に重要な領域を挿入, 削除した
際の予測の変化を表す．詳細は以下で定義する．まず，α の要
素を降順に αi1 ,j1 , αi2 ,j2 , …, αiw ,ih として，集合 An , in , dnを次のように定義する．

(2)p(ŷAB ) = fAB (hSBN )p(ŷPB ) は予測結果を出力するために利用する．p(ŷAB ) は分類には直接用いないが，損失関数に導入することで説明の品質を向上させることができる．
損失関数 L として，以下を使用する．
L = CE(p(ŷPB ), y) + λCE(p(ŷAB ), y)
ここで，y ，CE，λ はそれぞれ正解ラベル，交差エントロピー
誤差関数，損失関数の重みを表す．

4.

実験

4.1

データセットAn = {(ik , jk )|k ≤ n}{
(in , dn ) =実験では Caltech-UCSD Birds-200-2011 (CUB-200-2011)
データセット [Wah 11] を用いた．CUB-200-2011 データセッ
トは 200 種類の鳥の画像，鳥の位置を表す矩形領域およびマスク画像から構成される．CUB-200-2011 データセットは，視覚的説明生成タスクにおける標準データセットのため使用した．
本研究では，視覚的説明生成タスクの標準的な設定と揃えるため，CUB-200-2011 データセットのうち画像，マスク画像
およびクラスを利用した．事前処理として画像の反転およびランダム切り抜きによるデータ拡張を行った．CUB-200-2011
データセットは 200 種類の鳥の画像 11,788 枚から構成される．
各クラスの平均画像枚数は 58.9 枚である．訓練集合とテスト集合の分割に関しては，CUB-200-2011 データセットの標準の分割を使用した．加えて，訓練集合: 検証集合が 5:1 になるよ
うに訓練集合の一部を検証集合に割り当てた．最終的に，訓練(xij , 0)|(i, j) ∈ An
(0, xij )|(i, j) ∈/ An

ここで，n は挿入・削除するピクセル数を表す．in , dn をモデルに入力した際の出力をそれぞれ y (ins,n) , y (del,n) とする．
(ins,n)(del,n)このとき，n と yC
, n と yCをプロットした曲線が，Insertion 曲線, Deletion 曲線である．ここで，C は x が属するクラスを表す．
表 1 より，主要尺度である mean IoU において，RISE, FCAM および提案手法はそれぞれ 0.390, 0.562 および 0.693 であり，提案手法はベースラインの中で最良であった F-CAM と比較して 0.131 ポイント上回った．また，ID score においては RISE, F-CAM および提案手法はそれぞれ 0.522, 0.647 お
よび 0.697 であり，提案手法はベースラインの中で最良であった F-CAM と比較して 0.050 ポイント上回った．実験で使用したすべての評価尺度における性能差は統計有意であった（

3

(a) 元画像(b) RISE [Petsiuk 18](c) F-CAM [Belharbi 22]
図 3: ベースライン手法との定性的比較結果

p < 0.05）．

4.3

謝辞
本研究の一部は，JSPS 科研費 20H04269，JST CREST，NEDOの助成を受けて実施されたものである．

定性的結果

図 3 に定性的結果の成功例を示す．(a) は元画像を示し，(b),(c) はベースライン手法，(d) は提案手法によって生成した説明を元画像に重畳した結果を表す．図 3(b) より，RISE によって生成された説明は鳥の領域の一部にのみ注目しており，不適切である．また，(c) より，F-CAM によって生成された
説明は鳥の領域以外にも強く注目している．一方で提案手法は鳥の領域全体に注目しており，鳥の領域以外の注目度は低く，適切な説明を生成している．

4.4

参考文献
[Belharbi 22] Belharbi, S., Sarraf, A., Pedersoli, M., et al.: FCAM: Full Resolution Class Activation Maps via Guided
Parametric Upscaling, in WACV, pp. 3490–3499 (2022)[Fukui 19] Fukui, H., Hirakawa, T., Yamashita, T., et al.: Attention Branch Network: Learning of Attention Mechanism
for Visual Explanation, in CVPR, pp. 10705–10714 (2019)

Ablation Study[Hu 22] Hu, E. J., Shen, Y., Wallis, P., Allen-Zhu, Z., Li, Y.,
Wang, S., Wang, L., and Chen, W.: LoRA: Low-Rank Adaptation of Large Language Models, in ICLR (2022)

表 1 に Ablation Study の定量的結果を示す．Ablation 条
件として以下の 3 つを定めた．

[Iida 22] Iida, T., Komatsu, T., Kaneda, K., et al.: Visual Explanation Generation Based on Lambda Attention Branch Networks, in ACCV, pp. 3536–3551 (2022)

1. Low Rank Adapter (LoRA) Ablation
CLIP image encoder に適用している LoRA を取り除き，
LoRA の有効性を調査した．表 1 より，モデル (ii) における mean IoU および ID Score はそれぞれ 0.477 および0.575 であり，モデル (iv) よりもそれぞれ 0.216 ポイン
トおよび 0.122 ポイント減少した．このことから，LoRAによって高品質な説明生成が促されたことが考えられる．

[Magassouba 21] Magassouba, A., Sugiura, K., et al.: Predicting
and Attending to Damaging Collisions for Placing Everyday
Objects in Photo-Realistic Simulations, Advanced Robotics,
Vol. 35, No. 12, pp. 787–799 (2021)[Petsiuk 18] Petsiuk, V., Das, A., and Saenko, K.: RISE: Randomized Input Sampling for Explanation of Black-box Models,in BMVC, pp. 151–164 (2018)

2. Side Branch Network (SBN) Ablation
frozen CLIP image encoder の中間特徴量を加算しないことで中間特徴量を加算することの有効性を調査した．表 1
より，モデル (i) における mean IoU および ID Score はそれぞれ 0.520 および 0.659 であり，モデル (iv) よりもそれぞれ 0.173 ポイントおよび 0.042 ポイント減少した．
このことから，中間特徴量を加算することは説明生成に有用な特徴量を抽出していることが示唆される．

[Pfungst 07] Pfungst, O.: Das Pferd des Herrn von Osten:
der kluge Hans. Ein Beitrag zur experimentellen Tier- und
Menschen-Psychologie, Barth (1907)[Radford 21] Radford, A., Kim, J. W., Hallacy, C., Ramesh, A.,et al.: Learning Transferable Visual Models From Natural
Language Supervision, in ICML, pp. 8748–8763 (2021)[Ribeiro 16] Ribeiro, M., Singh, S., et al.: ”Why Should I Trust
You?”: Explaining the Predictions of Any Classiﬁer, in KDD,
pp. 1135–1144 (2016)

3. Alternating Epoch Architect (AEA) Ablation
損失を変更せず，動的にモジュールの出力および freeze する層を変更することの有効性を調査した．表 1 より，モデル (iii) における mean IoU は 0.495 であり，モデル (iv)
よりもそれぞれ 0.198 ポイント減少した．このことから，
AEA は注目領域に寄与したことが示唆される．

5.

(d) Ours[Selvaraju 17] Selvaraju, R., et al.: Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization, in
ICCV, pp. 618–626 (2017)[Shrikumar 17] Shrikumar, A., et al.: Learning Important Features Through Propagating Activation Diﬀerences, in PMLR,
Vol. 70, pp. 3145–3153 (2017)

おわりに本研究では，分類タスクにおける判断根拠の視覚的説明生成を扱った．本研究の貢献は以下である．

[Vaswani 17] Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., et al.: Attention is all you
need, neurIPS, Vol. 30, (2017)• 視覚言語基盤モデルに Side Branch Network を導入した
説明生成手法を提案した．

[Wah 11] Wah, C., Branson, S., Welinder, P., Perona, P., et al.:The Caltech-UCSD Birds-200-2011 Dataset, Technical Report
CNS-TR-2011-001, California Institute of Technology (2011)• 学習時，モジュールの出力および freeze する層を動的に変更する Alternating Epoch Architect を提案した．

[Xu 23] Xu, M., Zhang, Z., Wei, F., Hu, H., and Bai, X.: Side
Adapter Network for Open-Vocabulary Semantic Segmentation, in CVPR, pp. 2945–2954 (2023)• 本タスクの標準的な評価尺度である mean IoU，Insertion
Score, Deletion Score および Insertion-Deletion Score
において，提案手法がベースライン手法を上回った．

[Zhang 21] Zhang, Q., et al.: Group-CAM: Group ScoreWeighted Visual Explanations for Deep Convolutional Networks, arXiv preprint arXiv:2103.13859 (2021)

4