DEIM Forum 2019 I2-4

深層学習を用いた
学術用語解説ウェブページの分かり易さ・見易さの自動評定塩川隼人†

岡田心太朗††廣花智遥†

河田 容英†††† 神門韓炳材†

宇津呂武仁†††

典子†††††† 筑波大学 大学院システム情報工学研究科 〒 305-8573 茨城県つくば市天王台 1-1-1†† 筑波大学 理工学群 工学システム学類 〒 305-8573 茨城県つくば市天王台 1-1-1††† 筑波大学 システム情報系 知能機能工学域 〒 305-8573 茨城県つくば市天王台 1-1-1†††† (株) ログワークス 〒 151-0053 東京都渋谷区代々木 1-3-15 天翔代々木ビル 6F††††† 国立情報学研究所 〒 101-8430 東京都千代田区一ツ橋 2-1-2
あらまし

本論文では，ウェブ上で学術用語を解説するページ群を対象として，それらのページ群における用語解説の分かり易さおよび見易さを自動評定する手法を提案する．理工系学術分野を対象とし，学術用語を検索クエリとする検索上位ウェブページを収集し，各ページに対し人手により参照用データの作成を行う．本論文では，特に，用語解説ウェブページの見易さを自動評定する CNN，および，用語解説テキストの分かり易さを自動評定する LSTM を導入し，その有効性を示す．
キーワード 学術用語解説ウェブページ, 深層学習, 分かり易さ, 見易さ, 検索エンジン

Measuring Beginner Friendliness / Visiual Intelligibility ofWeb Pages explaining Academic Concepts by Deep Learning
Hayato SHIOKAWA† , Shintaro OKADA†† , Chihiro HIROHANA† , Bingcai HAN† , Takehito
UTSURO††† , Yasuhide KAWADA†††† , and Noriko KANDO†††††† Grad. Sch. of Systems and Information Engineering, University of Tsukuba, Tsukuba, 305-8573, Japan†† College Eng. Sys., School Sci. and Eng., University of Tsukuba, Tsukuba, 305-8573, Japan††† Faculty of Engineering, Information and Systems, University of Tsukuba, Tsukuba, 305-8573, Japan†††† Logworks Co., Ltd., Tokyo, 151-0053, Japan††††† National Institute of Informatics, Tokyo 101-8430, Japan

1. は じ め にきているとは言えない．そこで，本論文では，ウェブ閲覧者にインターネットが普及した現在，ウェブ上には多くの学術関に充足すべき因子を特定し，「解説型ウェブページ」の分かり易連のコンテンツが存在する．このコンテンツを使って学術用語さと見易さを自動評定する仕組みを創り上げる (図 2)．そして，を学ぶことは，学校で使用される教科書・参考書による学習とウェブページの見易さ，及び文章の分り易さを手がかりとして，は別に，学習手段の一つとして度々用いられている．インター

深層学習による学術用語解説ウェブページの良否判定を自動でネットで学術用語を学ぶ際，ウェブ検索に頼れば関連ページは行う手法を構築する．特に，理工系学術用語を検索クエリとし容易に見つかる．しかし，「分かり易い用語解説」を見つけるて収集した用語解説ウェブページを対象として行った評価結果には，検索上位ページを一つずつ見比べ読み進める非効率な作をふまえて，提案手法の有効性を示す．研究の全体像を図 3 に業が必要となる．実際に，図 1 に示すように，検索上位ページ示す．本論文では，学術用語解説ウェブページの良否を判定す

における「分かり易い」学術用語解説ウェブページの割合は多るために「ウェブページの見易さ」と「文章の分かり易さ」をくても半数程度であり，「分かり易い」ページを十分多く収集でふまえて「全体評定」の判定を行う．学術用語解説ウェブペーとって見易く，分かり易く，かつ，役に立つページであるため

図 1 ウェブ検索結果 N 位以内の「分かり易い」用語解説ウェブページの割合

図 2 用語解説ウェブエージの分かり易さ・見易さの自動評定システム

ジを収集し，2. 3. 1 節，および，2. 3. 2 節で述べる基準に基づページの見易さ・文章の分り易さ・全体評定を人手で判定したいて人手で評定を行う．次に，評定を行なったウェブページ集

事例を蓄積する．まず，各用語を検索クエリとして検索エンジ合を，分野毎に訓練用，開発用，評価用に分割する．訓練用のンによってウェブページを順位付けした検索の結果上位 10 件のウェブページ集合を用いて， 4. 1 節, 3. 1 節に示すモデルを訓ウェブページを集めた．その際，HTML ファイル収集プログラ練した後，評価用ウェブページ集合を用いて評価を行う．

ムではアクセスできないページは参照用ページ集合に加えない．

2. 参照用学術用語ウェブページ集合の作成

また，用語を収集した全ての学術分野で出現し，かつ学術用語2. 1 対象学術分野および用語コトバンク（注 2），Weblio（注 3）, Yahoo!知恵袋（注 4） の 4 種類のサ

「文章の分かり易さ」，「レイアウトの見易さ」，および，「全イトに含まれるページは全て除外する．そして， 2. 3. 3 節の基体評定」の評定基準の傾向が類似している理工系学術分野を対準に基づき全体評定を人手で行い，その判定結果を付与した事象とし，特に，物理・統計・IT・生物・線形代数・プログラミ例を蓄積する．以上の手順によって，全体評定が「充足する」ング・化学分野を対象分野とした．次に，主に高校 3 年生またと判定された事例を正例，「充足しない」と判定された事例をは大学レベルの学術用語を対象として選定し，各分野において負例として，各分野ごとに表 1 に示す数の正例・負例を収集しウェブページとして相応しくないと判断される Wikipedia（注 1），

表 1 に示す学術用語を評価対象とする．

2. 2 データセット作成手順
前節で収集した学術用語に対して用語解説ウェブページを収集し，表 2(a)，および，表 2(b) で述べる基準に基づきウェブ（注 1）：https://ja.wikipedia.org/（注 2）：https://kotobank.jp/（注 3）：https://ejje.weblio.jp/（注 4）：https://chiebukuro.yahoo.co.jp/

図 3 研究の全体像た．この全 7 分野のうち，物理，統計，IT，生物の 4 分野を訓LSTM はテキストのような時系列データを扱うモデルで，同練用，線形代数を開発用，プログラミング，化学の 2 分野を評じく時系列データによく用いられる RNN (Recurrent Neural価用とする．

Network) の一種である．RNN の特徴として，以前に入力され2. 3 人手評定基準た情報を記憶することができるという点が挙げられるが，RNN

2. 3. 1 用語解説ウェブページの分かり易さは長期記憶を行う事が難しく，文全体の情報を記憶しなければ「用語解説ウェブページの分り易さ」の人手評定においては，ならないテキストデータに適用し難い，という問題がある．こ

表 2(a) の評定基準を用いた．基準には絶対条件と優先付け項目

れに対し LSTM は，単純な RNN と比べて長期記憶が可能なモを設け，絶対条件を満たし，かつ，複数の優先付け項目を満たデルとなっており，テキスト分類のタスクで一般的に用いられすウェブページを，文章が分かり易い学術用語解説ウェブペーる．本論文では，特に，双方向 LSTM を用い，複数の LSTMジであると評定した．

層と全結合層から構成されるモデル (図 7(a)) を利用する．使2. 3. 2 用語解説ウェブページの見易さ

用する LSTM 層の数は，収集したウェブページ集合の中から最「用語解説ウェブページの見易さ」の人手評定においては，も文章の行数が多いウェブページを抜き出し，抜き出したウェ

表 2(b) の評定基準を用いた．基準には絶対条件と優先付け項ブページの行数と同じ数になるよう決定する．

目を設け，絶対条件を満たし，かつ，複数の優先付け項目を満

3. 2 評

たすウェブページを，見易い学術用語解説ウェブページである

3. 2. 1 評 価 手 順と評定した．

価評価においては，2. 3. 3 節で述べた全体評定における良否判

2. 3. 3 全 体 評 定定をクラスとし，モデルが自動で分類した結果を評価する．訓全体評定においては，文章の分り易さ，および，ウェブペー練データを用いてモデルの訓練を 50 エポック行い，50 エポッジの見易さの両方の評定結果に基づいて，ウェブページ全体のク中開発データに対する accuracy が最大となった訓練モデル良否を評定する．ただし，文章の分り易さ，もしくは，ウェブを評価用モデルとして用いた．

ページの見易さのどちらかが評定基準に達しなかった場合でも，

3. 2. 2 評 価 結 果

表 2(a)，あるいは，表 2(b) に示す優先付け項目の一部を満た

文章の分かり易さをふまえた学術用語解説ウェブページの全していれば，全体評定としては「良」と評定することができる，

体評定結果を図 8「テキスト特徴を用いた全体評定」のプロッという形での運用を行った．

トに示す．ベースラインとしては，検索エンジンを用いて評価
用 2 分野の各用語の検索を行った検索結果の上位 10 件以内の3. 文章の分かり易さをふまえた学術用語ウェブ
ページの全体評定

ウェブページのうち，「分かり易い」用語解説ウェブページであ3. 1 LSTM率曲線にプロットする．この結果から分かるように，テキスト

本論文では，HTML ファイルから HTML タグを除去し抽出特徴を用いた LSTM により，ベースラインのプロットを上回したテキストを深層学習モデルに入力し，文章の分かり易さをふまえて全体評定を行う．その際，LSTM (Long Short-TermMemory) を用いたモデルを基盤の特徴抽出器として用いる．

ると人手で判定したページの割合を用い，これを再現率・適合る性能を達成している．

表1

学術分野ごとの対象学術用語一覧

学術分野
物理

正例数および負例数

用語数

対象とする学術用語

正例 負例

15 電気力線，張力，慣性の法則，遠心力，電波，電流，万有引力，交合計

4889137

915114272721443798

1354484

1286082

14257

86143

409

562

971

流，音波，ホイートストンブリッジ，反発係数，相互誘導，正電荷，速度，変圧器 (計 15 語)
統計

15 事後確率，事前分布，正規分布，F 分布，信頼区間，標準偏差，主成分分析，回帰分析，自己回帰モデル，ポアソン分布，マルコフ連鎖モデル，確率密度関数，コーシー分布，分散，パレート分析 (計15 語)
訓練
事例 IT

15 API，DBMS，HTML，IP アドレス，JDBC，RDB，SDK，SQL，Unicode，URL，スコープマネジメント，ステークホルダーマネジ
メント，タイムマネジメント，ナレッジマネジメント，リスクマネ
ジメント（計 15 語 ）生物

15 DNA，ショウジョウバエ，原核生物，減数分裂，光合成，細胞，葉緑体，ミトコンドリア，遺伝子，タンパク質，マクロファージ，RNA，ヘモグロビン，ナトリウムポンプ，コケ植物 (計 15 語)開発
事例 線形代数

15 階数，共役勾配，行列式，クラメルの公式，クロネッカーのデル
タ，三角行列，正規直交基底，対角化，直交行列，特性多項式，二次形式，ノルム，メネラウスの定理，ヤコビ行列，内積 (計 15 語)

プログラミング

15 C 言語、Java，エスケープシーケンス，コマンドライン引数，ス
コープ，フィールド値，ポインタ，メソッド，繰り返し処理，構造体，算術演算子，条件分岐，配列変数，文字列，論理演算 (計 15語)

評価
事例 化学

15 イオン結合，エステル，カルボン酸，ケトン，化学反応式，化学平衡，共有結合，合成高分子，酸化還元，遷移元素，典型元素，天然高分子，燃料電池，物質の三態，芳香族有機化合物 (計 15 語)

合計

105—

4. ウェブページの見易さをふまえた学術用語ウェ
ブページの全体評定および，1 層の全結合層 (1,000 値分類用) から成り立っている

4. 1 ResNet

般に公開されており，この訓練済みモデルは他のタスクにも広近年，画像認識の分野では，畳み込みニューラルネットワー

く転用可能なことが知られている．本論文では，Python の深ク (CNN) を ImageNet などの大規模なデータセットに適用す層学習ライブラリである Pytorch（注 5） 用に公開されているモデることにより，様々なタスクにおいて高い性能を達成している．

ル（注 6） を利用して評価実験を行なった．学術用語解説ウェブ

また，ImageNet のような大規模なデータセットを用いて訓練しページの画像に対する良否評定タスクにおいて ResNet-50 を(図 7(b))．訓練済みの ResNet-50 としては，ImageNet2015 のデータセットによって 1,000 値分類用に訓練済みのモデルが一た CNN のパラメータは，その汎用性の高さから，高性能な特適用する際には，ResNet-50 から 1,000 値分類用の全結合層を徴抽出器として異なるドメインのタスクにおいても活用できる取り除き，2 値分類用の全結合層を新たに追加したモデルを用ことが知られている．そこで本論文では，ウェブページを画像いた．

化し CNN に入力することにより，ウェブページの見易さをふ

4. 2 評まえた全体評定を行う．その際，ResNet-50 モデル [2] を基盤の4. 2. 1 評 価 手 順価

特徴抽出器として用いる． ResNet は，ImageNet Large Scale

評価においては，2. 3. 3 節で述べた全体評定における良否判

Visual Recognition Challenge (ILSVRC) 2015 [9] の「画像分定をクラスとし，モデルが自動で分類した結果を評価する．収「物体検出タスク (Object類タスク (Image Classiﬁcation)」，集した学術用語解説ウェブページのトップ画面を画像化し作成「位置特定タスク（Single-object localdetection)」，および，ization）」において優勝したモデルである．このモデルは，49層の畳み込み層と 1 層の最大プーリング層，平均プーリング層，（注 5）：https://pytorch.org/（注 6）：https://github.com/pytorch/vision/blob/master/torchvision/models/

resnet.py表 2 用語解説ウェブページの分かり易さ・見易さの評定基準(a) 分かり易さの基準

絶対条件

用語の定義があるa

対象の学術用語に関する定義の説明がウェブページ内に含まれている．

b 文章の文字数・単語数・専門用語数 ウェブページに含まれる，文章の文字数・単語数・専門用語数が極端に多すぎず，かつ少なすぎない．
優先付け項目

文の長さc

ウェブページに含まれる一文の長さが極端に長すぎないもしくは短すぎない．

例がある

d

図 6 の例に示すように，対象の学術用語に関する例題がウェブペー
ジ内に含まれているかどうか関連用語がある

e

対象の学術用語に関連する用語がウェブページ内に含まれているかどうか(b) 見易さの基準

f

文字と図の比率g

色表や図に対して極端に文字が多くない．もしくは極端に文字が少なくない．

絶対条件

黒や原色など，文章を読む際に読みづらいと感じるような背景色を使用していない．

h

コントラスト

白の背景に，黄色の文字等，文章を読む際に読みづらいと感じるよ
うな配色をしていない．

i

図がある

図 4 の例に示すように，用語解説や例示のために使用されている図を一つ以上含んでいる．文字のみの表などは対象としない．

優先付け項目j

代表的な数式がある 図 5 の例に示すように，一般的に数式と呼べるものを含んでいる．

k

文章と数式の比率

i

字の大きさ

アルファベット一文字などは含めない．
文に対して極端に数式が多くないかどうか．
文章を読む際に，読みづらいと感じるほど字が小さくない．

図 4 用語解説ウェブページにおける図の例 (文献 [11] より引用)

したデータセットを用いて，ResNet-50 の訓練を行う．50 エ
ポック中で開発データに対する accuracy が最大となった訓練モデルを評価用モデルとして用いた．

図 5 用語解説ウェブページにおける式の例 (文献 [11] より引用)

図 6 用語解説ウェブページにおける例示の例 (文献 [11] より引用)

4. 2. 2 評 価 結 果
ウェブページの見易さをふまえた学術用語解説ウェブページ

5. 関 連 研 究の全体評定結果を図 8「画像特徴を用いた全体評定」のプロッ

本論文の関連タスクとして，文献 [1, 6] においては，HMTLトに示す．ベースラインとしては，検索エンジンを用いて評価構造上の特徴を利用した全体評定の自動評定手法を提案してい用 2 分野の各用語の検索を行った検索結果の上位 10 件以内のる．この方式と，テキスト特徴・画像特徴を利用する本論文のウェブページのうち，「分かり易い」用語解説ウェブページであ手法との併用により，異種特徴量を有効に利用した体系的方式

ると人手で判定したページの割合を用い，これを再現率・適合の確立が可能になると考えられる．その他，文献 [3, 4] におい率曲線にプロットする．この結果から分かるように，画像特徴ては，「分かり易さ」と「見易さ」のうち，「分かり易さ」のみがを用いた LSTM により，ベースラインのプロットを上回る性充足され，「見易さ」が充足されない場合，および，逆に，「見易能を達成している．

さ」のみが充足され，「分かり易さ」が充足されない場合に焦点を当て，それぞれ「見易さ」あるいは「分かり易さ」を損なう因子群を網羅的に分析している．さらに，文献 [3, 7] では，深(a) テキスト特徴量を用いた全体評定用 LSTM モデル(b) 画像特徴量を用いた全体評定用 ResNet モデル

図 7 用語解説ウェブページの全体評定用モデル

層学習によって用語解説の見易さを自動評定する手法において，スラインである検索エンジンを利用した場合と比較して，高い見易さ自動評定結果の理由を提示する方式を提案している．ま精度で学術用語解説ウェブページの自動評定が行えることを示た，本論文の学術用語解説ウェブページの分かり易さ自動評定した．

タスクに関連して，コミュニティ型質問応答の分野においては，回答者による回答の良質さを自動評定する手法についての研究が行われている [5, 10]．その他，本論文における学術用語解説
ウェブページの見易さの自動評定に関する関連タスクとして，
文献 [8] においては，本論文とほぼ同様の深層学習手法によって，プレゼンテーションスライドの画像情報に対する印象を予測する手法を提案している．

6. お わ り に
本論文では，学術用語解説ウェブページに対して，「文章の分かり易さ」および「ウェブページの見易さ」の観点から人手評定を行い，深層学習を用いて，学術用語解説ウェブページの自動評定を行なった．画像特徴のみを利用して深層学習による全体評定を行なった場合，および，テキスト特徴のみを利用して深層学習による全体評定を行なった場合の両方において，ベー文

献[1] B. Han, H. Shiokawa, K. Kawaguchi, T. Utsuro, andY. Kawada. Measuring beginner friendliness of Chinese Web
pages explaining academic concepts using HTML structures. 第 32 回人工知能学会全国大会論文集, 2018.
[2] K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learningfor image recognition. In Proc. CVPR, pp. 770–778, 2016.
[3] 廣花智遥, 岡田心太朗, 塩川隼人, 韓炳材, 宇津呂武仁, 河田容英,神門典子. 学術用語解説ウェブページの分かり易さ・見易さ因子
分析および見易さ自動評定結果の理由提示. 情報処理学会研究報
告, Vol. 2019–IFAT–134/2019–DC–112, , 2019.
[4] 廣花智遥, 岡田心太朗, 宇津呂武仁, 河田容英, 神門典子. 学術用
語解説ウェブページの良否評定のための分かり易さ・見易さ因子の分析. 第 33 回人工知能学会全国大会論文集, 2019.
[5] 石川大介, 酒井哲也, 関洋平, 栗山和子, 神門典子. コミュニティ
QA における良質回答の自動予測. 情報知識学会誌, Vol. 21,No. 3, pp. 362–382, 2011.
[6] 春日孝秀, 塩川隼人, 韓炳材, 宇津呂武仁, 河田容英. HTML 構
造上の特徴を利用した学術用語解説ウェブページの分かり易さの自動評定. 第 10 回 DEIM フォーラム論文集, 2018.

(a) プログラミング分野(b) 化学分野

図 8 学術用語ウェブページの全体評定結果[7] 岡田心太朗, 塩川隼人, 韓炳材, 廣花智遥, 宇津呂武仁, 河田容英,
神門典子. 深層学習による学術用語解説ウェブページの見易さ
自動評定結果の理由提示. 第 11 回 DEIM フォーラム論文集,2019.
[8] 大山真司, 山崎俊彦, 相澤清晴. プレゼンテーションスライドの客観評価と印象予測. 第 16 回 FIT 講演論文集, 第 3 巻, pp.
45–52, 2017.
[9] O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh,S. Ma, Z. Huang, A. Karpathy, A. Khosla, M. S. Bernstein,
A. C. Berg, and L. Fei-Fei. ImageNet large scale visual
recognition challenge. International Journal of Computer
Vision, Vol. 115, No. 3, pp. 211–252, 2015.
[10] T. Sakai, D. Ishikawa, N. Kando, Y. Seki, K. Kuriyama,
and C.-Y. Lin. Using graded-relevance metrics for evaluating community QA answer selection. In Proc. 4th WSDM,
pp. 187–196, 2011.

[11] 塩川隼人, 春日孝秀, 韓炳材, 宇津呂武仁, 河田容英. 深層学習を用いた学術用語解説ウェブページの見易さの自動評定. 第 10 回
DEIM フォーラム論文集, 2018.