情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1A022021/3/10

DiDA: 機械学習による画像診断の判断ポイントを入力差分により解析・可視化する手法
綾塚 祐二1,2,a)雅樂 隆基1,b)

安川 力3,c)

吉高 淳夫2,d)

概要：機械学習を用いた画像分類は医療を含め幅広い分野で多くの成果を上げている。しかしその分類は何を根拠としてなされているかが人間には判りづらい場合も多く、それを可視化するためのさまざまな研究が行われている。疾患の分類のような目的のためには、画像中の「それらしい」正の寄与部分 (所見) だ
けでなく「そぐわない」、すなわち負の寄与部分となる所見も診る必要があるが、既存の研究では負に寄与する部分は可視化の対象として注目されていない。我々は、機械学習モデルに対し、画像に微小な差異を加えた画像を入力した場合の確信度の出力の大きさの変化を画像化し提示する手法、DiDA を提案する。
提案手法ではグリッド単位で区切りマスクした画像を用いて出力の差異を捉え、複数のグリッドサイズを用いることで、正負の寄与領域を的確に描出する。本稿では、DiDA を光干渉断層計による眼底の断層画像からの疾患分類に適用した例を挙げる。眼科医の見解と照合した結果、提案手法による解析画像は正負の寄与を的確に捉えていることが判った。

1. はじめにえる異常所見は合わない」というような負の寄与が扱えないという問題がある。

畳み込みニューラルネットワーク (Convolutional Neural「疾患を正確に診断するために、症状が他の要因で起Network, CNN) を始めとする機械学習を用いた画像分類はこっていることを否定し、可能性のある疾患を絞り込む」

幅広い分野で多くの成果を上げている。その一つが医療のことは鑑別診断と呼ばれるが、画像分類においても鑑別の分野であり、著者らのグループでも光干渉断層計 (Optical補助となる情報を提供することで医師の診断をサポートでCoherence Tomography, OCT) による眼底の断層画像からきると考えられる。そのためには機械学習による画像の各眼底疾患の種類を分類する研究 [1] などを行っており、こ分類に対する、画像中の正の寄与部分・負の寄与部分をそうした分類が精度良く行えることを確認している。

れぞれ明確に視覚化する必要がある。

一方で機械学習による分類は、何を根拠として分類され我々はその具体的な手段として、ある画像を分類した機たかが人間には判りづらい場合も多く、それを改善するた械学習モデルに対し、その画像に微小な差異を加えた画像めに「説明可能な AI」(Explainable Artifitial Intelligence)を入力した場合の出力値 (分類に対する確信度) の変化のと呼ばれる取り組みが行われている。画像分類においても方向と大きさを画像化し提示する手法、DiDA (Diﬀerentialアテンションマップと呼ばれるものなど、画像中の注目しImage Diagnostic Analysis) を提案する。具体的には、画た領域を可視化する方法の研究が既に数多くなされてきて像をグリッドに区切り、一ヶ所ずつグリッドをマスクしたいる。しかし、既存の研究ではある分類に属するオブジェ画像を機械学習モデルに分類させ出力の変化の方向 (正負)

クトや領域を適切に抽出することを主眼としており、眼底で色分けしたものをそのグリッドの色とし、出力の変化のの断層画像からの眼底疾患の分類のような、症状や状態な大きさを輝度に反映した画像を生成する。複数のサイズのどの所見の組み合わせにより総合的に判断すべきような事

グリッドに対してそのような画像を生成し、重ね合わせる例には不十分である。特に「この疾患だとするとここに見ことで画像中のさまざまな大きさの特徴を捉え可視化することができる。

123a)
b)
c)
d)

株式会社クレスコ 技術研究所
北陸先端科学技術大学院大学 先端科学技術研究科
名古屋市立大学大学院 医学研究科 視覚科学
ayatsuka@acm.org
t-uta@cresco.co.jp
yasukawa@med.nagoya-cu.ac.jp
ayoshi@jaist.ac.jp© 2021 Information Processing Society of Japan

2. 関連研究
画像分類を行う機械学習モデルの分類根拠の可視化を行う既存の研究のアプローチは大別して109情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1A022021/3/10

図 2 元画像を分類したときとマスクした画像を分類したときの出
図 1

元の入力画像とグリッドに区切り一ヶ所ずつマスクした画像

力値の差分を色と輝度にマップする( 1 ) CNN の中間層のデータから画像を生成する

リッド単位でマスクするのは我々のアプローチと同じであ( 2 ) 入力に撹乱を与えた場合の出力値から画像を生成する

るが、複数箇所を同時にマスクした画像に対する出力値を( 3 ) 分類モデルとは別の説明生成モデルを構築する

重みとしており、結果として正の寄与部分しか取り出すこに分けられる。以下に述べるように、どのアプローチでもとができず、可視化されるのは対象の存在する領域となっ分類ターゲットはオブジェクトあるいは領域として表されている。

るものであることが (暗黙の) 前提となっており、ターゲッ

グリッド単位で正の寄与部分を集めるのはいわば積分的トがどこに存在するかを可視化しようとしている。すなわなアプローチと言えるのに対し、我々の手法はグリッド単ち、たとえば画像中のどこに「犬」がいるのかを可視化し位での正ならびに負の変化を調べる微分的なアプローチでようとしており、それがなぜ (「猫」ではなく)「犬」と判あると表現することもできる。RISE では複数のグリッド断されたのかという情報を提示するものではない。

サイズを用い特徴の大きさを捉えることも想定されておらず、その点も我々の手法との差異と言える。

2.1 CNN の中間層のデータから画像を生成する
DeepLIFT[2] は CNN の分類結果を出力するセルから入

2.3 分類モデルとは別の説明生成モデルを構築する

力に向かって backpropagate することによって元の画像

LIME[12] や SHAP[13]、Anchors[14] などは、分類する上へ結果を反映するような形で画像を生成する。CAM[3]対象を「特徴のセット」として表し、各特徴の有無が分類や Grad-CAM[4]、Grad-CAM++[5] では畳み込み層の最にどう影響するかを調べることにより説明モデルを構築す

終段の出力のエッジの重みや、activation map の変化にる。これらの研究では画像も扱われているが、画像をどのよる出力の変化から画像 (attention map) を生成していように「特徴のセット」として表すかには触れられておらる。Score-CAM[6] は activation map のチャネルを考慮しず、予め何らかのセグメンテーションが行われていること

attention map の精度の改善を試みている。

を前提としている。我々の手法では、セグメンテーション

これらは CNN というアーキテクチャに依存した手法でが困難な、境界の曖昧な特徴なども探索可能である。

あり、また正の寄与部分のみが扱われている。Attention

Residual Attention Network[15] や Attention Branchmining と呼ばれる、attention map の改善を試み、分類のNetwork[16] のように、CNN による分類モデルから分精度自体も向上させる研究 ([7], [8], [9] など) でも分類対岐させたネットワークにより分類と同時に attention map

象の領域を取りこぼしなく抽出することが主眼となっておを生成させるというアプローチもある。これも、正の寄与り、負の寄与に関しては扱われていない。

部分だけを扱っているという点は他のアプローチと変わらBach らの研究 [10] では、負の寄与部分が可視化されている例が挙げられている。しかし、手書き文字の分類を対象としており、分類対象の文字として想定される形状と合致しない部分が示されているにすぎない。

ず、負の寄与に関しては考慮されていない。

3. DiDA のアルゴリズム
我々の提案する DiDA は、分類器への入力と、それに対する出力値のみから解析画像を生成する。そのため、出

2.2 入力に撹乱を与えた場合の出力値から画像を生成する

力値がそれぞれの分類に対する確信度やその分類らしさPetsiuk らの RISE[11] は、画像をグリッドに区切りランを表すものであれば、機械学習によるものを含め分類のダムに数ヶ所マスクしたものを多数用意し、それぞれのマ仕組みを問わず適用が可能である。以下、具体的な解析画

スク画像を学習済みの機械学習モデルに対し入力した際の像の生成手順を説明する。まず、グリッドサイズを設定し(対象となる分類の) 出力を重みとしてそれらのマスクをて DiDA Grid Image を生成し、複数のグリッドサイズの足し合わせたものを説明画像とする手法である。入力をグ

DiDA Grid Image から、DiDA Mixed Image を生成する。

© 2021 Information Processing Society of Japan110

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1A02
2021/3/10

図 3 同じ入力画像、同じ分類モデルに対して生成された、グリッドサイズだけが違う 3 つの DiDA Grid Image (赤いグリッドは正の寄与部分、青いグリッドは負の寄与部分である)

3.1 DiDA Grid Image
図 1 左上の画像を、分類及び解析を行いたい画像 Io と

図 4

8 つのグリッドサイズの DiDA Grid Image から生成されたDiDA Mixed Image

する。これに対して、同図右側の画像群のように、任意のい 21×21 のグリッドでは全て暗い色となっている。これ

サイズ (図の例では 5×5 個に分けるサイズ) のグリッドには、細かなグリッドでは当該部分の正の寄与度を持つ画像

区切り一ヶ所ずつマスク (図では黒一色の塗りつぶし) し中の特徴が一部しか隠されず、分類の確信度があまり下がた画像を用意する。(i, j) の位置のグリッドをマスクしたらないためと解釈できる。すなわち、複数のサイズの Grid

画像を Mij とする。画像 I をある分類器 C で分類したとImage を較べることで、画像中の特徴のスケールを推定す

きのカテゴリ k に対する確信度の出力の値を Ck (I) と表ることができると考えられる。

す。出力値は個々の分類に対する出力そのままの値でも、全分類の出力に対し Softmax など何らかの正規化を行った後の値でもよい。
このとき、画像 Io の (i, j) の位置のグリッドをマスクすることによるカテゴリ k に対する出力値の変化 dij は次のように表される。

3.2 DiDA Mixed Image
前述のように、Grid Image は提示できる情報がグリッドサイズに応じて変わる。そこで複数の Grid Image を統合し、一枚の画像に情報をまとめて提示することを考える。
その画像を、DiDA Mixed Image と呼ぶ (以下では MixedImage と略す)。
dij = Ck (Io ) − Ck (Mij )この値は、マスクした箇所にカテゴリ k に対し正に寄与する特徴が存在するならば正の値となり (すなわち、マスクした画像を入力した際の確信度は下がる)、負に寄与する特徴が存在するならば負の値となる (マスクした画像を入力した際の確信度は上がる) はずである。

まとめ方にはさまざまなバリエーションが考えられるが、ここでは Grid Image を重み付けしつつ重ね合わせる方法を採用する。すなわち、Grid Image G の座標 (x, y)のピクセル値を p(G, x, y) と表すと n 枚の Grid Image Gi(i = 1, 2, 3, ..., n) から重み wi で生成される Mixed ImageD の座標 (x, y) のピクセル値 p(D, x, y) は生成する画像を G とし、これを入力画像に対するグリッp(D, x, y) =ドと同じ数のグリッドに区切る。(i, j) の位置のグリッドは dij から、|d1 | > |d2 | ならば a(d1 ) > a(d2 ) ≥ 0 となるn∑

wi · p(Gi , x, y)i=0となる。

ような性質を持つ関数 a により a(dij ) で表される輝度 (最細かなグリッドのほうがやや重めになるようにして、7×7大値を超える場合は最大値) の単色で塗りつぶす。色は例〜 21×21 の 8 つの奇数サイズの Grid Image から生成さえば、dij ≥ 0 ならば赤、dij < 0 ならば青のように設定すれた Mixed Image を図 4 に示す。重みの付け方は一例でる (図 2)。このようにして全てのグリッドに彩色したものあり、対象や抽出すべき情報に合わせて調整することを想が DiDA Grid Image (以下、Grid Image と略す) である。

定している。

図 3 に挙げたのはある同じ入力画像、同じ分類モデルに対して生成された、グリッドサイズだけが違う 3 つの Grid

4. DiDA の適用例: 眼底断層画像の分類

Image である。正の寄与部分、負の寄与部分がはっきりと我々は DiDA を用いて、OCT で得られた眼底の断層画分けられ可視化されているのが判る。細かいグリッドサイ像を分類する機械学習モデルが妥当な分類を行っている

ズのほうが特徴の位置や形状を解像度よく捉えることがでかどうかを検証するためのアプリケーション DiDA View

きることが見てとれる。

を試作した。対象とした機械学習モデルは、ニデック社のしかし、粗い 7×7 のグリッドで正の寄与度が高い明るい

OCT 機器、RS-3000 Advance 及び RS-330 で撮影された表示色になっている画像右側、中央やや下の領域が、細か画像を、32 種類の診断名と健常、合わせて 33 種に分類す© 2021 Information Processing Society of Japan111

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1A022021/3/10

図 5 DiDA View による表示例 (1)

るものであり、垂直・水平断面併せて 3,173 枚の教師画像を、横幅を 1/2 に縮め*1 224×224 ピクセルにフィットす

5. 眼科医の見解との照合るようにスケーリングしたものを EﬃcientNet(B0)[17] に

前節で提示したような DiDA Mixed Image は、熟練し学習させたものである。学習済みのモデルは、与えられたた眼科の医師の読影によりラベル付けしたデータにより学画像 (学習データと同様、224×224 ピクセルに調整された習した機械学習モデルの出力から構築されている。学習にもの) に対する各分類の確信度のスコアをそれぞれ出力すより、同じラベルがつけられた画像に共通して存在する特る。793 枚のテスト画像を分類させた場合の、正答率 (確徴が見いだされ、それに基づき分類を行っているはずであ信度が最も高くなるものが正答である率) は 72.1%、確信り、DiDA はそれを可視化しているはずである。しかし、度上位 3 つ以内に正答が入る率は 88.9%である。

医学的に見て妥当な情報が DiDA により示されているかど

図 5 は DiDA View の画面例である。4 つの画像が表示うかは慎重に検証する必要がある。

されており、最左は元の画像及び熟練した医師による診断

その端緒としてまず、図 5, 6 で挙げた例に関して、学名 (この場合は Dry AMD (萎縮型加齢黄斑変性)) である。

習データのラベル付けを行った眼科の医師である筆者らのその右に並ぶのは、元の画像の上に Mixed Image を半透明一人が検証した。その結果 DiDA で提示している情報はで重ね合わせた画像であり、機械学習モデルが出力した確医師が判断する際のポイントとおおよそ合致していること

信度の高い上位 3 つの分類 (この場合は順に、Dry AMD,が確認できた。ここではそのうち 3 つの症例について説明

RA (網膜萎縮), normal (健常)) に対応するものである。そする。

れぞれ右下部にスコアが表示されている。中央の小さな正方形は、画像中の同じ部分を比較しやすいよう、ユーザの操作したマウスカーソルの位置に合わせて表示される。

5.1 萎縮型加齢黄斑変性 (Dry AMD) の症例
図 5 の症例に対し医師は Dry AMD と判断し、機械学それぞれの分類に対し、赤 (正の寄与部分) と青 (負の寄習は Dry AMD と RA のスコアが拮抗している。この画与部分) が、共通する部分も違う部分もあるパターンで分像 (最左) について医師が Dry AMD と判断したポイント布していることが判る。図 5 の画像中の正方形で囲われは、画像中央付近の下部の明るくなっている部分である。

た部分は、Dry AMD の分類には負に寄与しており、「Dryこれは地図状萎縮と呼ばれる部位の網膜色素上皮 (正方形AMD らしくない」と機械学習モデルが判断していると解部分の中央やや下を左右に横切る明るい線状の部分に相釈できる。RA に対してはその周辺を含め強めの赤、正の当、図 7 参照) の萎縮により OCT の観察光がその下の脈寄与の表示が出ており「RA の特徴的所見のように見える」

絡膜 (図 7 参照) まで透過しやすくなっており、脈絡膜のことを示している。normal に対しては暗めの青色となっ輝度が高く写っているということである。Dry AMD の診ている。
「『健常』に対する負の寄与部分」とはすなわち「何断においては、この輝度が高くなる境界部位と、萎縮部位らかの病変」と解釈することができる。

以外の網膜は正常に近い所見であるところを見ている。一図 6 に他の 4 つの例を示す。図 5 の例も含め、機械学習の判断が複数の診断名に対して拮抗したスコアを出してい方、RA の場合 (右から二枚目)、まさに網膜の萎縮による菲薄化を見ていると考えられる。

る症例を抽出した。眼底疾患に詳しくない者にとっても、

Dry AMD の画像では脈絡膜の明るくなっている部分の注目すべきであろう箇所が明確に判るので、医師のための左側がやや青くなっている。この部分に関して医師は「意診断補助だけでなく、患者への説明用途や、初学者に対す識していなかったが、Dry AMD であれば脈絡膜がもっとる教育用途として応用することも考えられる。

菲薄化している症例が多く、この症例の脈絡膜厚は例外的」と述べている。DiDA により無意識には見ているであろう*1

眼底の OCT 画像は元々縦 (奥行き) 方向が強調されたスケールになっており、この比率でも医師は違和感なく読影が行える© 2021 Information Processing Society of Japan部分を顕在化させている例と考えられる。

112

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1A02
2021/3/10

(a)

(b)

(c)

(d)

図 6 DiDA View による表示例 (2)ないと判断した嚢胞様腔である。ME の画像 (左から二枚目) ではその周辺も含め赤色が示されている。これは、小さな嚢胞様所見よりも網膜全体の肥厚 (浮腫) を見て MEと判断していると考えられる。これは「対象となるオブジェクトや領域を抽出する」のとは違う可視化が必要であ
図 7 網膜色素上皮と脈絡膜ることを示す例であると言える。
最右の BRVO は、症状として CME を伴うことも多い。

5.2 黄斑浮腫 (ME) の症例

画像右側中央付近に薄く赤で示されている、輝度の高い小図 6(a) は医師が ME と診断名をつけた症例である。MEさないくつかの点は硬性白斑またはその前駆体を示唆するは疾患名ではなく網膜の肥厚を示す異常所見の名称であ高輝度病変 (hyper-reflective foci) と呼ばれるものであり、り、浮腫の部分に内部が液体 (黒色) の嚢胞様所見を伴うとBRVO の症状として現れ得るものである。また、BRVO はCME (嚢胞様黄斑浮腫) と呼ばれる。医師の判断は、ME上下に別れて分布する網膜静脈枝の閉塞であるため、上下は認められるが嚢胞は顕著ではなく、疾患の特定もできな(画像の左右) で浮腫の偏りがあることが特徴である。本画

い、というものである。機械学習では ME と CME で判像は水平断であるが、画面左半分の網膜が正常であること断が割れ、次点で BRVO (網膜静脈分枝閉塞症) という疾を確認していることが赤色で示されている (図 6(b) の症例患名を出力している。の右から二枚目の画像も同様)。これらの所見を総合して正方形で囲われている、CME の画像 (右から二枚目) で機械学習は BRVO を挙げていることが判る。

局所的に強く赤色で示されている黒い空洞が医師は明確で© 2021 Information Processing Society of Japan113

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1A022021/3/10

5.3 加齢黄斑変性前駆病変 (Early AMD) の症例
図 6(d) は加齢黄斑変性 (AMD) の前駆病変と分類される症例である。機械学習による Early AMD の判断の画像(左から二枚目) で顕著な赤い表示の部分 (正方形で囲われ[2]た部分とその周囲) は網膜色素上皮の隆起が孤発性に存在し (凹凸周囲は異常がない)、ドルーゼンと呼ばれる加齢性[3]沈着物であるとして前駆病変と診断される所見である。
一方、Wet AMD (滲出型加齢黄斑変性) の特徴である脈[4]絡膜新生血管も同様の網膜色素上皮の隆起を認めるため、右から二枚目の画像において赤い表示となっているが、その左右には青い領域が見られる。Wet AMD であれば隆起がより広範囲に渡るか、あるいは滲出性網膜剥離という症状を伴うことが多く、この青い領域はそれらが見られない[5]ことを示していると考えられる。最右の normal の判断は、異常所見に乏しい画像であることを示しているが、その中でも、網膜色素上皮の隆起は青色すなわち正常らしくない[6](異常) 所見と判断されている。

6. まとめ[7]

本稿では、ある画像を分類するモデルに対し、その画像に微小な差異を加えた画像を入力した場合の出力の値の変[8]化を画像化し提示する手法、DiDA を提案し、眼底断層像からの機械学習による眼底疾患の分類に応用した例を紹介した。正の寄与部分と負の寄与部分の双方を明確に区別し[9]て提示できることが大きな特徴であり、また、入力する画像と出力の関係だけを扱うため、分類モデルの種類によらず適用することができる汎用性の高い手法である。眼底断[10]

層像の分類に対し DiDA を適用した結果が、医師が判断する際のポイントを的確に示していることも確認した。
今後、CAM など既存の関連研究で提案されている手法[11]で可視化した場合との差異や得失も含め、適切な可視化が行えているかどうかの検証を行っていく。また、DiDA に[12]より生成された画像が医学的に適切な情報を提示できているかをより詳細に検証し、有効性を確認する。加えて、こうした情報を医師や患者などに提示し活用する手法につい[13]ても検討を行う。
機械学習を始めとする AI による診断などは、「中身が[14]ブラックボックスだ」として不安がられることも多い。しかし、本提案のような手法を通して判断のポイントなどを適切に可視化することができれば、機械学習はむしろ、暗[15]

黙知を含む人間の持つ知識を外在化させ、つぶさに解析するための手段として活用することができると考えられる。

[16]

我々は、そのような可能性も追求してゆく。
[17]

参考文献
[1]

Kuwayama, S., Ayatsuka, Y., Yanagisono, D., Uta, T.,
Usui, H., Kato, A., Takase, N., Ogura, Y. and Yasukawa, T.: Automated Detection of Macular Diseases© 2021 Information Processing Society of Japan

by Optical Coherence Tomography and Artificial Intelligence Machine Learning of Optical Coherence Tomography Images, Journal of Ophthalmology, Vol. 2019, DOI:
doi:10.1155/2019/6319581 (2019).
Shrikumar, A., Greenside, P. and Kundaje, A.: Learning Important Features Through Propagating ActivationDiﬀerences, arXiv:1704.02685 (2019).
Zhou, B., Khosla, A., Lapedriza, A., Oliva, A. and Torralba, A.: Learning Deep Features for Discriminative Localization, arXiv:1512.04150 (2015).
Selvaraju, R. R., Cogswell, M., Das, A., Vedantam, R.,
Parikh, D. and Batra, D.: Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization, International Journal of Computer Vision,Vol. 128, No. 2, p. 336359, DOI: 10.1007/s11263-01901228-7 (2019).
Chattopadhay, A., Sarkar, A., Howlader, P. andBalasubramanian, V. N.:
Grad-CAM++:
Generalized Gradient-Based Visual Explanations for
Deep Convolutional Networks, WACV 2018, DOI:
10.1109/wacv.2018.00097 (2018).
Wang, H., Wang, Z., Du, M., Yang, F., Zhang, Z., Ding,S., Mardziel, P. and Hu, X.: Score-CAM: Score-Weighted
Visual Explanations for Convolutional Neural Networks,arXiv:1910.01279 (2020).
Zhang, X., Wei, Y., Feng, J., Yang, Y. and Huang, T.:
Adversarial Complementary Learning for Weakly Supervised Object Localization, arXiv:1804.06962 (2018).
Wei, Y., Feng, J., Liang, X., Cheng, M.-M., Zhao, Y. andYan, S.: Object Region Mining with Adversarial Erasing: A Simple Classification to Semantic Segmentation
Approach, arXiv:1703.08448 (2018).
Singh, K. K. and Lee, Y. J.: Hide-and-Seek: Forcing aNetwork to be Meticulous for Weakly-supervised Objectand Action Localization, arXiv:1704.04232 (2017).
Bach, S., Binder, A., Montavon, G., Klauschen, F.,
Mller, K.-R. and Samek, W.: On Pixel-Wise Explanations for Non-Linear Classifier Decisions by Layer-Wise
Relevance Propagation, PLOS ONE, Vol. 10, No. 7, pp.
1–46, DOI: 10.1371/journal.pone.0130140 (2015).
Petsiuk, V., Das, A. and Saenko, K.: RISE: Randomized
Input Sampling for Explanation of Black-box Models,arXiv:1806.07421 (2018).
Ribeiro, M. T., Singh, S. and Guestrin, C.: ”Why Should
I Trust You?”: Explaining the Predictions of Any Classifier, arXiv:1602.04938 (2016).
Lundberg, S. M. and Lee, S.-I.: A Unified Approach toInterpreting Model Predictions, NIPS’17, USA, CurranAssociates Inc., pp. 4768–4777 (2017).
Ribeiro, M. T., Singh, S. and Guestrin, C.: Anchors:
High-Precision Model-Agnostic Explanations, Proceedings of the AAAI-18, the IAAI-18, and the EAAI-18,
AAAI Press, pp. 1527–1535 (2018).
Wang, F., Jiang, M., Qian, C., Yang, S., Li, C., Zhang,H., Wang, X. and Tang, X.: Residual Attention Networkfor Image Classification, arXiv:1704.06904 (2017).
Fukui, H., Hirakawa, T., Yamashita, T. and Fujiyoshi,
H.: Attention Branch Network: Learning of Attention
Mechanism for Visual Explanation, CVPR ’19 (2019).
Tan, M. and Le, Q.: EﬃcientNet: Rethinking Model
Scaling for Convolutional Neural Networks, Proceedings of the 36th International Conference on Machine
Learning, Vol. 97, PMLR, pp. 6105–6114 (2019).

114