DEIM Forum 2019 C1-3

深層学習による学術用語解説ウェブページの見易さ自動評定結果の理由提示
岡田心太朗†塩川隼人††

廣花 智遥††

韓炳材††

宇津呂武仁†††

河田 容英†††† 神門 典子†††††† 筑波大学 理工学群 工学システム学類 〒 305-8573 茨城県つくば市天王台 1-1-1†† 筑波大学 大学院システム情報工学研究科 〒 305-8573 茨城県つくば市天王台 1-1-1††† 筑波大学 システム情報系 知能機能工学域 〒 305-8573 茨城県つくば市天王台 1-1-1
理化学研究所 革新知能統合研究センター 〒 103-0027 東京都中央区日本橋 1-4-1†††† (株) ログワークス 〒 151-0053 東京都渋谷区代々木 1-3-15 天翔代々木ビル 6F††††† 国立情報学研究所 〒 101-8430 東京都千代田区一ツ橋 2-1-2
あらまし

本論文では，ウェブ上で学術用語を解説するページ群を対象として，深層学習によってそれらのページ群

における用語解説の見易さを自動評定する手法において，見易さ自動評定結果の理由を提示する方式を提案する．深層学習の方式としては，CNN の一つとして，VGG-16 を用いる．そして，理由提示の方式として，saliency マップと

Grad-CAM を用い，見易さ自動評定時に重要な手がかりを与えた画像上の領域を示す．この方式により，一定以上の精度によって，人間の直観に合う領域を示すことができた．
キーワード

学術用語解説ウェブページ, 深層学習, 見易さ, 検索エンジン, CNN, 説明可能 AI

An Explainable AI for Deep Learning based Recognition of
Visiual Intelligibility of Web Pages on Academic Concepts
Shintaro OKADA† , Hayato SHIOKAWA†† , Chiharu HIROHANA†† , Bingcai HAN†† , Takehito
UTSURO††† , Yasuhide KAWADA†††† , and Noriko KANDO†††††† College Eng. Sys., School Sci. and Eng., University of Tsukuba, Tsukuba, 305-8573, Japan†† Grad. Sch. of Systems and Information Engineering, University of Tsukuba, Tsukuba, 305-8573 Japan††† Faculty of Engineering, Information and Systems, University of Tsukuba, Tsukuba, 305-8573, JapanRIKEN, Center for Advanced Intelligence Project, Tokyo, 103-0027, Japan†††† Logworks Co., Ltd., Tokyo, 151-0053, Japan††††† National Institute of Informatics, Tokyo, 101-8430, Japan

1. は じ め に

分かり易さや見易さに関する因子を特定するとともに，ウェブ

近年のモバイル端末の普及により，インターネットの存在は

層学習モデルの作成手順を示した．しかしモデルの複雑さから，ますます我々の暮らしに欠かせないものとなった．またその手ページのキャプチャ画像を利用した見易さの自動評定を行う深作成したモデルの評定理由を分析することは困難であった．

軽さから，新しいことを学習をする際にウェブコンテンツを利そこで本論文では，まず文献 [7] に示される手法に基づき，学用することはもはや当たり前のこととなった．しかし，ウェブ

術用語解説ウェブページの「レイアウト見易さ」の自動評定を検索を行った際には，検索結果として挙げられた複数のウェブ

行う深層学習モデルを作成する．その後，作成されたモデルのページの中から学びやすいページを自ら見つけ出す必要があり，評定理由を分析するために，各ウェブページ内で評定結果に特

この作業が快適な学習の妨げとなっている．そこで文献 [7] でに寄与したとされる箇所を saliency マップと Grad-CAM を用い

は，学術用語解説ウェブページに焦点を当て，ウェブページのた手法によって可視化し，それらの結果を比較した．評価実験表1

学術分野ごとの対象学術用語一覧

学術
分野
線形

正例数および負例数

用語数

対象とする学術用語

正例

負例

合計

15

階数，共役勾配，行列式，クラメルの公式，クロネッカーのデルタ，三角行列，正規直交基

62

88

150

52

98

150

101

49

150

79

71

150

58

92

150

94

56

150

63

87

150

509

541

1,050

底，対角化，直交行列，特性多項式，二次形式，ノルム，メネラウスの定理，ヤコビ行列，
内積 (計 15 語)
物理

電気力線，張力，慣性の法則，遠心力，電波，電流，万有引力，交流，音波，ホイートスト

15

ンブリッジ，反発係数，相互誘導，正電荷，速度，変圧器 (計 15 語)
訓練
事例

IT

API，DBMS，HTML，IP アドレス，JDBC，RDB，SDK，SQL，Unicode，URL，スコープ

15

マネジメント，ステークホルダーマネジメント，タイムマネジメント，ナレッジマネジメン
ト，リスクマネジメント (計 15 語)
生物DNA，ショウジョウバエ，原核生物，減数分裂，光合成，細胞，葉緑体，ミトコンドリア，

15

遺伝子，タンパク質，マクロファージ，RNA，ヘモグロビン，ナトリウムポンプ，コケ植物(計 15 語)
開発
事例

プログラ
ミング

C 言語，Java，エスケープシーケンス，コマンドライン引数，スコープ，フィールド値，ポ

15

インタ，メソッド，繰り返し処理，構造体，算術演算子，条件分岐，配列変数，文字列，論理演算 (計 15 語)
統計

事後確率，事前分布，正規分布，F 分布，信頼区間，標準偏差，主成分分析，回帰分析，自15

己回帰モデル，ポアソン分布，マルコフ連鎖モンテカルロ法，確率密度関数，コーシー分
布，分散，パレート分析 (計 15 語)
評価
事例

化学

イオン結合，エステル，カルボン酸，ケトン，化学反応式，化学平衡，共有結合，合成高分

15子，酸化還元，遷移元素，典型元素，天然高分子，燃料電池，物質の三態，有機化合物 (計

15 語)
合計

105

—
表 2 用語解説ウェブページの見易さの評定基準 (文献 [8] より引用)

a
絶対条件 b

優先付け
項目

文字と図の比率色c

コントラストd

図がある

表や図に対して極端に文字が多くない．もしくは極端に文字が少なくない．
黒や原色など，文章を読む際に読みづらいと感じるような背景色を使用していない．
白の背景に，黄色の文字等，文章を読む際に読みづらいと感じるような配色をしていない．
用語解説や例示のために使用されている図を一つ以上含んでいる．文字のみの表などは対象としない．

e 代表的な数式がある 一般的に数式と呼べるものを含んでいる．アルファベット一文字などは含めない．
f

文章と数式の比率

g

字の大きさ

文に対して極端に数式が多くないかどうか．
文章を読む際に，読みづらいと感じるほど字が小さくない．

の結果より，Grad-CAM による提示結果の方が，相対的に人間

2. 3 作成手順および作成結果の直観に合う領域を示すことが明らかになった．

まず，表 1 に示す各学術用語を検索クエリとしてウェブ検索

2. 参照用学術用語解説ウェブページ集合の作成を行い，検索結果上位 10 件のウェブページを収集する．この際，本研究で対象とする全ての学術分野の検索結果に出現し，かつ

2. 1 対象学術分野及び用語

学術用語解説ウェブページとして相応しくないと判断される計

本論文では，「レイアウトの見易さ」，「文章の分かり易さ」及

4 サイト（Wikipedia（注 1），コトバンク（注 2），Weblio（注 3），Yahoo!

び「全体評定」の評定基準の類似性に基づき理工系学術分野を知恵袋（注 4））については除外して検索を行った．その後，収集対象とし，特に，統計・線形代数・物理・生物・化学・プログ

された各ウェブページについて，2. 2 節で述べた基準に基づき

ラミング・IT の 7 分野を対象分野としてウェブページの収集を見易さ評定を人手で行った．その結果，各分野ごとに表 1 に示行った．また，各分野に属する学術用語として，主に高校 3 年

す数の正例・負例を収集することができた．

生から大学生レベルの用語の中から表 1 に示す 15 語を選んだ．

3. 見易さの判定モデルの作成

2. 2 「見易さ」評定の個別因子

3. 1 VGG16

本節では，用語解説ウェブページの見易さ評定を人手で行う

深層ニューラルモデルの登場により，機械学習による画像認際の基準について述べる．大きく分けて，絶対条件と優先付け
項目の 2 つを設け，それぞれの具体的な項目を表 2 に示す．絶対条件を全て満たしており，かつ，複数の優先付け項目を満たすウェブページを「見易い」と判定した．

（注 1）：https://ja.wikipedia.org/（注 2）：https://kotobank.jp/（注 3）：https://ejje.weblio.jp/（注 4）：https://chiebukuro.yahoo.co.jp/

識の分野は飛躍的な進歩を遂げた．特に，畳み込みニューラル
ネットワーク (CNN) では，ImageNet などの大規模なデータセットを教師事例として訓練したモデルが他のタスクにおいても有効であることが示されたことを受けて，少量の訓練事例のもとでも特定目的の画像認識モデルを作成することが可能になった．
このことふまえて，文献 [7] では，学術用語解説ウェブペー
ジの「レイアウトの見易さ」を自動評定するモデルの基盤として ImageNet データセットで訓練済みの VGG16 [9] を用いることにより，少量の訓練事例のもとで高い精度の自動評定モデルを作成するアプローチを提案した．VGG16 は，ImageNet Large

Scale Visual Recognition Challenge (ILSVRC) 2014 [5] の「画像「位置特定タスク
分類タスク (Image classiﬁcation)」で準優勝，(Single-object localization)」で優勝したモデルであり，13 層の畳み込み層，その途中に挟まれている 5 層の最大プーリング層，

図1

学習曲線

3 層の全結合層 (1,000 値分類用)，および，出力層から構成されている．文献 [7] の成果をふまえて，本論文では，Python の深3. 3 評 価 尺 度

層学習ライブラリ Pytorch（注 5） 用に公開されている VGG16 モデ

評価尺度として，モデルの識別率の学習曲線および再現率・ル（注 6） を利用して，学術用語解説ウェブページの「レイアウトの見易さ」自動評定モデルを作成する．

3. 2 訓 練 手 順
本論文では，VGG16 モデルを基盤として学術用語ウェブペー
ジの「レイアウトの見易さ」の自動評定モデルを作成を行った．
この際，VGG16 の 1,000 クラス分類用の全結合層 3 層と出力層は取り払い，2 クラス分類用の全結合層 2 層と出力層を接続した．また本論文では，本タスクにおける ﬁne-tuning の有用性とモデルの作成時に必要となる十分な訓練事例数を検証することを目的として，以下の二種類のモデルを用意するとともに，両モデルの訓練時に使用する画像の枚数を全体の 1/10 ずつ減適合率曲線を用いた．
まず，評価用事例の全体集合を U ，人手評定によって「見易い」と判定された参照用事例集合を R+ として，人手評定によって「見易くない」と判定された参照用事例集合 R− を次式で表す．

R− = R+ = U − R+
また，sigmoid 関数の値の下限値 θlbd の条件のもとで，自動評定モデルが「見易い」と判定した事例集合を S + (θlbd ) (⊂U) とし，=
次式で定義する．

S + (θlbd ) = x ∈ U  sigmoid(x) > θlbd

らし，作成された自動評定モデルの精度を比較した．

一方で，sigmoid 関数の値の下限値 θlbd の条件のもとで，自動評（ 1 ） 「VGG16 ﬁne-tuning ありのモデル」

定モデルが「見易くない」と判定した事例集合を S − (θlbd ) (⊂U)=
とし，次式で表す．

ImageNet データセットによって訓練済みの VGG16 モ
デルに対して，本論文の「レイアウト見易さ」判定タ
スク用の訓練事例を用いて，再度パラメータの訓練を行う．
（ 2 ） 「VGG16 ﬁne-tuning なしのモデル」
ランダムな初期値パラメータを持つ VGG16 モデルに対して，本論文の「レイアウト見易さ」判定タスク用の訓練事例を用いて，パラメータの訓練を行う．

S − (θlbd ) = S + (θlbd ) = U − S + (θlbd )
この時，モデルの識別率は次式で計算される．
 R+ ∧ S + (0.5) + R− ∧ S − (0.5)
識別率 =
|U|
さらに，人手評定によって「見易い」と判定された参照用事例集
合 R+ を正例とした場合の再現率・適合率を 再現率+ ・適合率+とし，人手評定によって「見易くない」と判定された参照用事

・
「物理」
・
「生物」
・
表 1 に示す通り，訓練事例として「線形代数」

例集合 R− を正例とした場合の再現率・適合率を 再現率− ・適「IT」の 4 分野に属する学術用語をクエリとして収集したウェ

合率− とする．この時，再現率 x および 適合率 x (x ∈ {“+ , “− })ブページの画像を使用し，訓練の終了判定用の事例として「プは，参照用事例集合 R x ，および，下限値 θlbd のもとで自動評定

ログラミング」分野の学術用語をクエリとして収集したウェブモデルが正例であると判定した事例集合 S x (θlbd ) を用いて，次ページの画像を使用した．ウェブページを画像化する際には，式で表される．

ページのトップを特定のアスペクト比 (横 : 縦 = 2 : 3) でキャプ
チャし，それを 224 × 224 のサイズに圧縮した．

再現率 x (θlbd ) =適合率 x (θlbd ) =（注 5）：https://pytorch.org/R x ∧ S x (θlbd )
|R x |

R x ∧ S x (θlbd )
|S x (θlbd )|（注 6）：https://github.com/pytorch/vision/blob/master/torchvision

本論文では，sigmoid 関数の値の下限値 θlbd を 0.1 刻みで 0.0,

/models/vgg.py

0.1, 0.2, . . ., 1.0 と変化させて再現率・適合率曲線を求めた．

(a) ﬁne-tuning あり(b) ﬁne-tuning なし

図 2 適合率・再現率曲線 (ﬁne-tuning 有無別)(a) 正例=「見易い」(b) 正例=「見易くない」

図 3 適合率・再現率曲線 (正例=「見易い」
・正例=「見易くない」)

3. 4 評 価 結 果

ことにより，モデルの性能がさらに改善することが期待できる評価事例として統計・化学の 2 分野に属する学術用語をクエと言える．

リとして収集したウェブページの画像を用いて，自動評定モデ
ルの評価実験を行った (表 1)．両モデルの学習曲線を図 1 に示

4. 理由提示手法の評価

す．この図から，「VGG16 ﬁne-tuning あり」のモデルの方が，よ4. 1 理由提示手法

り少ない epoch 数で高い識別率を達成していることが分かる．

4. 1. 1 saliency マップ

次に，訓練事例数が全体の 10/10，5/10，1/10 の場合の再一つ目の評定理由の提示手法として，saliency マップ [1], [2]現率・適合率曲線の変化を図 2，および，図 3 に示す．まず，を用いて評定理由の可視化を行った．この手法は，入力画像の

図 2(a) および図 2(b) では，それぞれ「VGG16 ﬁne-tuning あり」

一部をぼかしてモデルに通した際の出力値と，元の出力値とのと「VGG16 ﬁne-tuning なし」のモデルにおける訓練事例数と自差分から saliency スコアを算出することで，判定に寄与した部

動評定性能の間の関係を示す．この結果から，正例=「見易い」

分を可視化する手法である．

の場合の方が，正例=「見易くない」の場合よりも，相対的にまず，ぼかし画像の作成手順を図 4 に示す．ガウシアンフィ

自動評定性能が高い傾向にあることが分かる．次に，図 3(a) お

ルターを用いて作成したマスク画像と元の入力画像を組み合わ

よび図 3(b) では，それぞれ正例=「見易い」と正例=「見易くせることによって，画像の一部分を中心にぼかした画像を得るない」の自動評定における両モデルの訓練事例数と自動評定性

ことができる．本論文において，ガウシアンフィルターのパラ

能の間の関係を示す．こらの結果から，いずれの条件においてメータ σ の値は 50 に設定した．次に，saliency マップの画素

も「VGG16 ﬁne-tuning あり」のモデルの方が高い性能で自動評

値の計算方法を図 5 に示す．標準入力画像を自動評定モデルに定が行えることが分かる．また，図 2，および，図 3 いずれに通した際の出力 y と図 4 の手順で作成したぼかし画像をモデルおいても，訓練事例数が多いほど自動評定性能が改善しており，に通した際の出力 y から，sailency スコア (= (y − y )2 ) を計算

その性能は飽和していないことが分かる．したがって，訓練事する．saliency スコアとは，各箇所のモデル出力への寄与度を例数はまだ飽和しておらず，より多くの訓練事例数を用意する

示すスコアであり，この値を画素値に設定することで sailency図 4 saliency マップにおけるぼかし画像の作成手順

正規化を行った．具体的には，画像内で相対的に「見易くない」と自動評定された箇所を赤色に，相対的に「見易い」と自動評定された箇所を青色に塗り分けることとする．また，一つの画像に対してぼかしの中心点を縦横それぞれ 14 箇所の計 196 箇所とったため，出力される saliency マップのサイズは 14 × 14 になる．これは 4. 1. 2 節で説明する Grad-CAM による評定理由の可視化画像の粒度と同じである．それをリサイズし元の入力画像に重ねることで，モデルの自動評定の理由分析に利用した．

4. 1. 2 Grad-CAM
二つ目の可視化手法として，Grad-CAM (Gradient-weighted

Class Activation Mapping) [6] を用いて評定理由の可視化を行った．この手法の概要を図 6 に示す．
この手法では，まず畳み込み最終層の各特徴量マップについてモデルの自動評定値に対する寄与度 (勾配) を求め，それらを重みとして特徴量マップの重み付き和を計算する．その後，従来の Grad-CAM においては，算出したマップを ReLU 関数に適用し，負の値を削除した後に画像化を行う．しかし，本論文
では，自動評定モデルによって「見易くない」と判定された領域も可視化するため，負の値についても可視化の処理を行う必要がある．そこで，本論文では，この ReLU 関数による処理は行わず，寄与度 (勾配) の符号に応じて，相対的に「見易い」と自動評定されたのか，「見易くない」と自動評定されたのかを判断する．そして，saliency マップ同様，相対的に「見易くない」と自動評定された箇所を赤色に，相対的に「見易い」と自動評定された箇所を青色に塗り分けることとする．
図 5 saliency マップにおける画素値の計算手順

この手法の利点として，saliency マップに比べて可視化画像の作成時間が短いことや，背景色や空白部分等，画像中の広範マップが得られる．この手法の利点として，作成手順が単純で囲の領域を評定理由とする可視化ができる点が挙げられる．欠ありモデルの構造とは独立に単一のシステムをそのまま適用し点としては，自動評定モデルの構造に依存する方式であるので，て可視化が行えることが挙げられる．一方，欠点として，パラモデル構造を変更した場合には，理由可視化システム側も修正

メータ調整が必要であることや，背景色や空白部分等，画像中する必要がある点が挙げられる．

の広範囲の領域を評定理由とする可視化ができない点が挙げら

4. 2 評れる．

4. 2. 1 評 価 基 準

本論文では，モデルの自動評定に寄与した箇所を分かり易く

価

前節の二種類の理由提示手法に対して，評定理由の自動提示するため，y と y の大小関係によって画素値を設定するチャン

箇所と，人手により「見易い箇所」
・「見易くない箇所」を提示

ネルを変えるとともに，各マップのチャンネルごとに画素値のした箇所との間の重複度合いに応じて，以下の基準に基づいて

図 6 Grad-CAM の仕組み
表 3 評定理由提示結果の評価(a) saliency マップ(b) Grad-CAM

見易さ自動評定値

◎ (%)

○ (%)

△ (%)

× (%)

合計

見易さ自動評定値

◎ (%)

○ (%)

△ (%)

× (%)

合計

0.0 ∼ 0.1

0 (0.0)10 (7.8)

72 (55.8)

47 (36.4)

129

0.0 ∼ 0.1

11 (8.5)

55 (42.6)

56 (43.4)

7 (5.4)129

0.1 ∼ 0.2

0 (0.0)1 (10.0)

7 (70.0)

2 (20.0)10

0.1 ∼ 0.2

0 (0.0)6 (60.0)

3 (30.0)

1 (10.0)10

0.2 ∼ 0.3

0 (0.0)2 (28.6)

5 (71.4)

0 (0.0)7

0.2 ∼ 0.3

0 (0.0)2 (28.6)

5 (71.4)

0 (0.0)7

0.3 ∼ 0.4

1 (33.3)

2 (66.7)

0 (0.0)0 (0.0)3

0.3 ∼ 0.4

0 (0.0)1 (33.3)

1 (33.3)

1 (33.3)3

0.4 ∼ 0.5

0 (0.0)2 (22.2)

7 (77.8)

0 (0.0)9

0.4 ∼ 0.5

1 (11.1)

3 (33.3)

5 (55.6)

0 (0.0)9

0.5 ∼ 0.6

0 (0.0)3 (75.0)

1 (25.0)0 (0.0)4

0.5 ∼ 0.6

0 (0.0)0 (0.0)3 (75.0)

1 (25.0)4

0.6 ∼ 0.7

0 (0.0)3 (37.5)5 (62.5)

0 (0.0)8

0.6 ∼ 0.7

0 (0.0)3 (37.5)5 (62.5)

0 (0.0)8

0.7 ∼ 0.8

0 (0.0)4 (50.0)

4 (50.0)0 (0.0)8

0.7 ∼ 0.8

0 (0.0)2 (25.0)

6 (75.0)0 (0.0)8

0.8 ∼ 0.9

1 (14.3)

1 (14.3)

5 (71.4)

0 (0.0)7

0.8 ∼ 0.9

0 (0.0)6 (85.7)

1 (14.3)

0 (0.0)7

0.9 ∼ 1.0

0 (0.0)17 (14.8)

58 (50.4)

40 (34.8)115

0.9 ∼ 1.0

4 (3.5)41 (35.7)

61 (53.0)

9 (7.8)115

合計

2 (0.7)45 (15.0) 164 (54.7) 89 (29.7)

300

合計

16 (5.3) 119 (39.7) 146 (48.7) 19 (6.3)

300◎○△ × の 4 値で評価を行った．
◎: 評定理由の自動提示箇所と人手提示箇所の領域
「見易い」
・
「見
が 8 割以上一致しており，かつ，易くない」の極性も一致している (それ以外に，箇所は一致するが，極性は異なる領域があってもよい)．
○: 評定理由の自動提示箇所と人手提示箇所の領域
が 6∼8 割程度一致しており，かつ，
「見易い」
・
「見
易くない」の極性も一致している (それ以外に，箇所は一致するが，極性の異なる領域があってもよい)．
△: 評定理由の自動提示箇所と人手提示箇所の領域
が 3 割以上一致している (「見易い」・「見易くない」の極性が一致する領域が 3 割未満であっても構わない．極性の一致する領域が 3 割以上あってもよいが，6 割未満でなければならない)．

×:

評定理由の自動提示箇所と人手提示箇所の領域が一致する割合が 3 割未満である．

「見易さ自動評定値」
計したものを表 3(a) に示す．この表では，が 0.2∼0.9 の範囲では × と評価された事例がなく，全ての事例
が△以上の評価となっている．しかし，全体として○または◎の割合は 15%程度に留まり，表 3(b) に示す Grad-CAM の評定
理由提示結果に比べて，相対的に評価値が低くなっている．

saliency マップの一例，および，学術分野，人手による見易さの評定結果，作成したモデルによる見易さ自動評定値，評定
理由提示結果の評価結果を図 7 に示す．図 7(a) や図 7(b) の例のように，◎や◯と評価された事例では，一定以上の大きさの文章領域が赤く着色されたり，図やメニューバーの領域が青く着色されることが確認できた．一方，△と評価された図 7(c) の例では，人手提示箇所の一部分のみが自動提示された．また，

saliency マップでは，Grad-CAM を用いた評定理由の可視化画像に比べて着色される領域が相対的に少なく，× と評価された
図 7(d) の例のように，人手提示箇所の領域と一致しない事例も多かった．

4. 2. 3 Grad-CAM の評価
評定理由提示結果の評価結果をモデルの自動評定値ごとに集計したものを表 3(b) に示す．この表では，saliency マップの場

4. 2. 2 saliency マップの評価

合と同様，「見易さ自動評定値」が 0.2∼0.9 の範囲では × と評価

評定理由提示結果の評価結果をモデルの自動評定値ごとに集された事例が少なく，ほとんどの事例が△以上の評価となって(a) 学術分野: 化学，人手評定: 0，見易さ自動評定値: 0.84，評定理由提示結果の評価: ◎(b) 学術分野: 統計，人手評定: 1，見易さ自動評定値: 0.99，評定理由提示結果の評価: ○(c) 学術分野: 統計，人手評定: 1，見易さ自動評定値: 0.95，評定理由提示結果の評価: △(d) 学術分野: 化学，人手評定: 0，見易さ自動評定値: 0.00，評定理由提示結果の評価: ×

図 7 saliency マップによる評定理由提示例

いる．また，全体として○または◎の割合は 45%程度となり，saliency マップを上回っている．

5. お わ り にGrad-CAM を用いて作成した可視化画像の一例，および，学

本論文では，学術用語解説ウェブページの「レイアウト見易術分野，人手による見易さの評定結果，作成したモデルによるさ」の自動評定を行う深層学習モデル [7] を対象として，見易見易さの自動評定値，評定理由提示結果の評価結果を図 8 に示さ自動評定モデルの評定理由可視化手法を提案した．具体的にす．図 8(a) や図 8(b) の例のように，◎や◯と評価された事例では，saliency マップおよび Grad-CAM の二手法によって見易さは，一定以上の大きさの文章領域や広告領域が赤く着色された

自動評定モデルの評定理由を可視化した．評価実験の結果より，

り，図やメニューバーの領域が青く着色されることが確認でき

Grad-CAM による提示結果の方が，相対的に人間の直観に合うた．一方，△と評価された図 8(c) の例では，人手提示の結果で領域を示すことが明らかになった．今後の課題としては，可視は「見易い」とされた図やメニューバーの領域が赤く着色され化手法同士を比較する方法を検討すること，および，より粒度た．また，Grad-CAM による可視化画像では，saliency マップの細かい可視化手法を用いることにより，良否の原因箇所を正と比較して着色される範囲が相対的に広い．そのため，図 8(d)確に特定する手法を考案すること等が挙げられる．また，見易の例のように，人手提示箇所の領域と一致しない領域を過剰にさを損なう因子の詳細分析結果 [3], [4] に基づき，本論文の可視着色する事例が多くなる傾向があることが分かった．

化手法により因子ごとの理由同定性能を評価して，理由同定が容易あるいは困難な因子を特定することが挙げられる．

(a) 学術分野: 統計，人手評定: 1，見易さ自動評定値: 0.99，評定理由提示結果の評価: ◎(b) 学術分野: 統計，人手評定: 0，見易さ自動評定値: 0.01，評定理由提示結果の評価: ○(c) 学術分野: 統計，人手評定: 1，見易さ自動評定値: 0.99，評定理由提示結果の評価: △(d) 学術分野: 化学，人手評定: 0，見易さ自動評定値: 0.33，評定理由提示結果の評価: ×

図 8 Grad-CAM による評定理由提示例

文

献[1] R. C. Fong and A. Vedaldi. Interpretable explanations of black boxes
by meaningful perturbation. In Proc. ICCV, pp. 3429–3437, 2017.
[2] S. Greydanus, A. Koul, J. Dodge, and A. Fern. Visualizing and understanding Atari agents. In Proc. 35th ICML, pp. 1792–1801, 2018.
[3] 廣花智遥, 岡田心太朗, 塩川隼人, 韓炳材, 宇津呂武仁, 河田容英,
神門典子. 学術用語解説ウェブページの分かり易さ・見易さ因子
分析および見易さ自動評定結果の理由提示. 情報処理学会研究報
告, Vol. 2019–IFAT–134/2019–DC–112, , 2019.
[4] 廣花智遥, 岡田心太朗, 宇津呂武仁, 河田容英, 神門典子. 学術用語
解説ウェブページの良否評定のための分かり易さ・見易さ因子の分析. 第 33 回人工知能学会全国大会論文集, 2019.
[5] O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma,
Z. Huang, A. Karpathy, A. Khosla, M. S. Bernstein, A. C. Berg, and
L. Fei-Fei. ImageNet large scale visual recognition challenge. International Journal of Computer Vision, Vol. 115, No. 3, pp. 211–252,
2015.
[6] R. R. Selvaraju, M. Cogswell, A. Das, R. Vedantam, D. Parikh, and
D. Batra. Grad-CAM: Visual explanations from deep networks via
gradient-based localization. In Proc. ICCV, pp. 618–626, 2017.

[7] 塩川隼人, 春日孝秀, 韓炳材, 宇津呂武仁, 河田容英. 深層学習を用いた学術用語解説ウェブページの見易さの自動評定. 第 10 回
DEIM フォーラム論文集, 2018.
[8] 塩川隼人, 岡田心太朗, 韓炳材, 廣花智遥, 宇津呂武仁, 河田容英,
神門典子. 深層学習を用いた学術用語解説ウェブページの分かり易さ・見易さの自動評定. 第 11 回 DEIM フォーラム論文集, 2019.
[9] K. Simonyan and A. Zisserman. Very deep convolutional networks
for large-scale image recognition. In Proc. 3rd ICLR, 2015.