日本ソフトウェア科学会第 37 回大会 (2020 年度) 講演論文集

とらえるべき特徴に着目した深層学習モデルの構築
浅野 正義 川越 佑太

吉岡 信和

自動運転を始めとした, ミッションクリティカルな分野への深層学習の活用が期待されている. しかし, ミッションクリティカルなシステムの開発に現在の深層学習を用いたシステム開発を適用するには課題がある. 深層学習を用いたモデルの訓練手順では, 作成したモデルの評価として, 訓練済みモデルのアウトプットを中心にモデルの完成を評価している. アウトプットでモデルを評価した場合にはインプットのどのような特徴に注目してモデルがアウトプットを出したかを判断できない. このような手順により作成したモデルをミッションクリティカルなシステムに用いると,システム稼働時のリスクに気づけなくなる. これは, モデルが適切でない特徴に注目していた場合, そのことに気づく手段が無いためである. 本稿ではこの問題を解決するため, モデルがとらえるべき特徴に着目した, 深層学習の学習済
みモデル作成手法を提案する. 本手法は, ゴール指向分析により, モデルがとらえるべき特徴を分析する. さらに,XAIによりモデルがとらえた特徴を可視化する. これらを比較することにより, モデルがとらえるべき特徴をとらえていることが確認できる. 実験を行い, 本手法を用いて道路標識の識別モデルを作成した. モデルがとらえるべき特徴を分析し, モデルの作成過程でモデルがとらえた特徴と比較した. これにより, 本手法を用いることで訓練済みモデルがとらえるべき特徴に着目できていることの判断が可能であることが確認された.

Deep learning is expected to be utilized in mission-critical ﬁelds such as autonomous driving. However, thecurrent system development using deep learning cannot be applied to the development of mission-criticalsystems. In the model training procedure using deep learning, the model is evaluated by focusing on theoutput of the trained model as the evaluation of the created model. When the model is evaluated by theoutput, the basis of the model output cannot be conﬁrmed. If a model created by such a procedure is used
in a mission-critical system, the risks during system operation will not be noticed. This is because we haveno way to notice that the model focuses on inappropriate features. In order to solve this problem, this paper
proposes a method for creating a trained model in deep learning that focuses on the essential features ofthe model. This method analyzes essential features by goal-oriented analysis. Then the features capturedby the model are visualized by Explainable AI(XAI). By comparing these features, it can be conﬁrmedthat the model focuses on the essential features. In this method, we analysis the essential features of themodel and conﬁrm that outputs is based on it. We conducted an experiment and created an identiﬁcation
model of road signs using our method. During the course of learning, we compared the essential features
we analyzed with the features the model focused on. Experiments have shown that it is possible to judge
that the trained model focuses on essential features by using this method.

1 はじめに深層学習が注目され, 多くのシステムに深層学習の技術が導入されるようになってきた. 特に近年では,Creating a construction method of deep learningmodel that focuses on the essential features.
Masayoshi Asano, 株 式 会 社 デ ン ソ ー , DENSO
Corporation.
Yuta Kawagoe, NEC ソリューションイノベータ株式会
社, NEC Solution Innovators.
Nobukazu Yoshioka, 国立情報学研究所, National Institute of Informatics.

自動運転を始めとした, ミッションクリティカルな分野へも深層学習の活用が期待されている. しかし, ミッションクリティカルなシステムの開発に現在の訓練手順を適用するには課題がある. 現在の深層学習を利用した訓練手順では, 作成したモデルの評価として, 訓練済みモデルのアウトプットを中心にモデルの完成を評価している. しかし, ミッションクリティカルなシス出する際に重要であったかを判断させ, 機械訓練済み

テムの場合, モデルのアウトプットのみでモデルを評モデルが識別している特徴を可視化する. これにより,価するのは危険である. これは, アウトプットの確認

訓練済みモデルがどのような特徴に注目して, アウトのみでは訓練済みモデルがとらえるべき特徴を学習しプットを導出しているかを分析することが可能となるていることが確認できないためである. 例えば, オオ

手法である.

カミを識別するモデルを作成する際に, 識別精度を要しかし,XAI を使用するだけではモデルが満たすべ件とした場合には, オオカミの背景にある, 雪を重要き特徴に注目しているかを確認することはできない.

な特徴として, モデルが生成される場合がある [3]. こ

前述したとおり,XAI は訓練済みモデルが注目していの雪という特徴はオオカミとハスキーを識別するモデる特徴を可視化することは可能であるが,XAI によっルがとらえるべき特徴とは言えない. そのため, このて明らかにした注目している特徴がシステムの要求モデルは背景に雪が映っていれば, 他の動物もオオカを満たすものであるかについては XAI だけでは評価ミとして識別結果を出力する. このようなことがミッすることはできないためである. モデルがとらえるべ

ションクリティカルなシステムで起こると, 誤識別にき特徴をとらえているかを判断するには, 事前にシスよる重大な事故を引き起こす. そのため, 訓練済みモ

テムの要求と特徴が紐づくように分析しておかなけ

デルが意図しない特徴ではなく, とらえるべき特徴にればならない. そして, システムの要求を満たすため注目していることを確認しながら学習を進める必要にモデルがとらえるべき特徴を抽出する必要がある.

がある. とらえるべき特徴は, 作成する訓練済みモデ

そのうえで,XAI によって可視化されたモデルが注目ルが, 適切なアウトプットを出すために必要な特徴でしている特徴とモデルがとらえるべき特徴の比較にある. そのため, 訓練済みモデルがとらえるべき特徴より, 訓練済みモデルがとらえるべき特徴に注目してを根拠に出力していることが確認できれば, 訓練済みいるかを判断する必要がある.

モデルが適切な学習を行えていることを判断できる.
以下本稿では,2 章ではこれまで深層学習やシステ

2. 2 システムの要求分析

ム開発で用いられてきた, 手法を説明する.3 章では,システム開発において, 要求を抽出する手法の一つモデルがとらえるべき特徴を明確化し, 深層学習にとしてはゴール指向分析が広く用いられている [1]. こ

よって生成されたモデルが, 妥当な特徴を根拠に識別の手法は達成すべき最上位の目標をトップゴールとしを行っているかを確認する手法を説明する.4 章では,て設定し, トップゴールを達成するために必要な要素手法の効果を確認するために, 行った実験について説をさらに下位目標（サブゴール）へと分割していく.

明する.5 章では, 実験結果についての評価について説分解したサブゴールをさらにサブゴールへ分解し, 実明する.6 章では本稿のまとめと今後の展望について現可能な要素まで継続していくことで, 抽象的なトッ

説明する.

プゴールを達成可能である具体的な要求へ整理していく手法である. また, このサブゴールへの分割する方

2 関連研究法として,AND 分割と OR 分割の二種類がある.AND2. 1 訓練済みモデルの可視化

分割は上位ゴールから分割した全てのサブゴールを近年, 訓練済みモデルの解釈性が低いことが問題視満たしたときに上位ゴールを達成できる際に用いらされており, これを可能にする SHAP [2] などの Ex-れる. 対して OR 分割はいずれか一つのサブゴールがplainable AI(XAI) の技術が注目されている.XAI は,満足されると, 上位ゴールを達成できる場合に用いら訓練済みモデルに対する元のテストデータ上の一部れる. この手法では, 最下層のサブゴールを満たすこをランダムに変化・欠損させ, 編集されたテストデーとで, システムの要求が満たされることとなる. すな

タが訓練済みモデルのアウトプットに与える影響を分

わち, サブゴールを分割することでシステムに対する析し, テストデータ上に含まれるどの要素が答えを導要求を抽出することを可能とする.

しかし, ゴール指向分析をそのまま深層学習を用いたシステム開発に適用することは難しい. これは, 深層学習の学習過程がブラックボックスになっているためである. 通常ゴール指向分析を用いた場合, サブゴールを充足するよう, 開発を行う. しかし, 深層学習の場合モデルがどのように学習をすすめるかを, 制御することはできない. このため, 訓練済みモデルに対する要求を分析したとしても, 訓練済みモデルが要求分析に従った学習するとは限らない. そのため, 学習

図1

とらえるべき特徴に着目した訓練済みモデルの作成
手順を繰り返しても, サブゴールを達成できないため, 学習を終了できない可能性がある.

ゴール指向分析では, 上位ゴールを満たすための状態に制限を設けない. しかし, 本手法ではとらえるべき3 とらえるべき特徴に着目した訓練済みモデ
ルの作成

特徴を抽出し, 訓練済みモデルがとらている特徴と比較することが目的であるため, 特徴をとらえている状

本稿では図 1 の手順で訓練済みモデルを作成する態まで分割する. そして, 最下層に現れた特徴を訓練ことで, とらえるべき特徴を根拠とした出力ができる済みモデルがとらえるべき特徴とする. これにより,訓練済みモデルを作成する. 手順 (1) では 3. 1 節に示モデルがとらえるべき特徴を抽出できる.

す手順でゴール指向分析を用い, とらえるべき特徴を抽出する. 手順 (2) ではデータセットを訓練データと3. 2 学習結果に応じたとらえるべき特徴の更新

テストデータに分割し, 訓練データを使用して, 深層

3. 1 節の手法で抽出した特徴と手順 (4) で抽出した学習アルゴリズムを使用してモデルを作成する. 手順

特徴を比較することで, 訓練済みモデルの作成時にモ(3) では XAI を用いて, 手順 (2) で作成したモデルがデルがとらえるべき特徴をとらえていることを確認

アウトプットを出すために注目している特徴を可視することができる. しかし,2. 2 節の通り, この手法を化する. 手順 (4) では手順 3 の結果を人が分析し, モ深層学習を用いたシステム開発に適用するためにはデルがとらえている特徴を分析する手順 (5) では 3. 2

課題がある. ゴール指向分析でとらえるべき特徴を分節に示す手順で学習結果をもとにとらえるべき特徴析したとしても, 訓練済みモデルがとらえるべき特徴を更新する. 手順 (6) では手順 (5) で更新されたとらに注目して学習するとは限らない.

えるべき特徴の充足度を確認し, 学習の継続を判断す

そこで, 本稿ではこの問題を解決するため, 本稿でる. 学習を継続する場合, 再度手順 (2) に戻り, 再度手は可視化された特徴をもとにとらえるべき特徴を再構順を進める.

築する手法を提案する. 手順 (4) で抽出したモデルがとらえた特徴をゴール指向分析の結果と比較する. そ3. 1 ゴール指向分析によるとらえるべき特徴の分析

して, モデルとらえた特徴が, いづれかのサブゴールを達成するために有効であると判断できた場合, モデ

2. 2 節で示したゴール指向分析を深層学習を用いる

ルがとらえた特徴を OR ゴールとしてゴール指向分システムのとらえるべき特徴分析に使用する. まずは,析に追加する. 追加された特徴は,OR ゴールとして追システムのゴール指向分析を行い, システムの要求を加されるため, 手順 (1) で抽出したすべてのサブゴー分析する. そして, 分析結果のうち, 訓練済みモデルにルを満たさない場合でも, トップゴールの達成が可能

よって対応する範囲を決定する. さらに, 訓練済みモとなる. 学習結果からとらえるべき特徴を再構築する

デルのよって対応する範囲をサブゴールが特徴をとことで, ゴール指向分析の段階では発見できなかった,らえている状態の集合となるまで分割をする. 通常のとらえるべき特徴を抽出することが可能となる. これ

表1

実験で使用した手法およびデータセット

名称バージョン

データセット

GTSRB-

ゴール指向分析KAOS-

学習アルゴリズム

TensorFlow

1.15.2

XAI

SHAP

0.34.0図250km 速度表示のとらえるべき特徴

特徴抽出により, 手順 (1) のサブゴールを達成しない場合でも,学習の終了を判断できるようになる.

実験手順 (1) では,KAOS 分析により道路標識を識別するモデルが注目すべき特徴を分析した. 分析結果の一例として,50km の速度表示を識別するために, と4 実験らえるべき特徴を表 2 に示す. このような分析を 43

本手法の有効性を確認するため, とらえるべき特徴種類のラベルすべてに適用し, 道路標識を識別するモに着目した訓練済みモデルを作成する実験を行った.

デルが注目すべき特徴を抽出した.

この実験では表 1 に示す, 手法およびデータセットに対し, 本手法を適用した. 以下に示す手順に従い, ミッ

4. 2 学習済みモデルの作成

ションクリティカルなシステムを想定し, 自動運転シス

本実験では道路標識のデータセットである,GT-テムの一部機能である, 道路標識識別モデル作成した.

SRB のデータセット [4] と, 表 1 に示したバージョン

本実験では道路標識のデータセットとして,Germanの TensorFlow を使用して訓練済みモデルを作成しTraﬃc Sign Recognition Benchmark(GTSRB) [4] をた.GTSRB のデータセットのうち全体の約 80%にあ用いて 43 種類の道路標識を識別する訓練済みモデル

たる,31367 件のデータをランダムに抽出し, 訓練デーを作成した.

タとした. また, 残りの 7842 件をテストデータとし

1. KAOS 法により, 道路標識を識別するためにとらえるべき特徴を分析

2. TensorFlow を用いて道路標識を識別するモデルを作成た. また, 学習の過程で訓練済みモデルのがとらえるべき特徴をとらえていることを確認するために訓練データ全体から 5%,30%,50%,80%,100%のデータを取り出し, 学習させたモデルを作成した.

3. SHAP を用いてモデルが注目している特徴を可視化

4. 可視化されたモデルが注目している特徴をもとに KAOS の分析結果を更新

4. 3 SHAP による特徴の可視化
実験手順 (3) では XAI の手法として,SHAP を用いて作成したモデルを可視化した.SHAP の出力ではモ

5. とらえるべき特徴の分析結果と可視化された特デルが答えを出すために寄与率の高い特徴が SHAP徴を比較し, モデルがとらえるべき特徴を根拠に値で出力される. これを, 訓練データの画像上にプロッ出力ができているかを確認トした. 出力の一例として 50km の速度表示看板の6. とらえるべき特徴を根拠に出力ができていると例を図 3 に示す. 図中の赤く着色された部分は, その判断できた場合は学習を終了し, そうでない場画像を正しく識別するために重要と判断される特徴

合はデータセット数を増やし, 手順 (2) から再度を示す. 青く着色された部分は, その画像の識別に対学習して誤った判断を誘発している特徴を示す. 図 3 では,50km の速度表示看板を識別するために,5 の上部

4. 1 道路標識識別システムにおけるとらえるべきの横線や, 下部の丸くあいた空間が重要視されている.
一方で,5 の左側の空間は 5 を識別するために, 誤識別て, モデルが注目している特徴を可視化したものである.1 回目の学習よりも,2 回目の学習ではモデルがより多くの特徴に注目していることがわかる. また, とらえた特徴をもとに判断したとらえるべき特徴の充足確認結果を図 3 に示す. 図の中でとらえるべき特徴を充足したと判断した場合は, サブゴールを白抜きとして表す. 図 3 の 1 回目終了時のとらえるべき特徴の充図3

SHAP により可視化された特徴

足度分析では, 可視化結果からとらえるべき特徴として,5 の左側の繋がっていない部分を特徴としてとらえている, というサブゴールを追加した. しかし, データセット全体としてこの特徴に注目していると判断できなかったため, とらえるべき特徴の充足度としては, 未達成とした. 2 回目終了時のとらえるべき特徴の充足度分析では, とらえるべき特徴の多くを充足できたと判断した. この結果から,2 回目の学習の終了時

図4更新された 50km 速度表示のとらえるべき特徴点で,50km の道路標示については, 識別のためにモデルがとらえるべき特徴をとらえていると判断した.

を誘発している特徴として抽出されている. このように, 学習毎に GTSRB のデータについて, 図 3 のように特徴を可視化した.

表250km 道路標示の SHAP 分析結果の推移

1 回目

2 回目

4. 4 とらえるべき特徴の更新
実験手順 (4) では手順 (3) で可視化した特徴のうち, ゴールを達成するために有効であると判断できるものを抽出し, とらえるべき特徴を更新した. 更新の一例として 50km 速度表示の例を表 4 に示す. 実験手

5 評価と考察順 (1) で作成した, 図 2 の 50km の速度表示を識別す

4. 5 節の実験の結果から,XAI を用いることで, ゴーるためのとらえるべき特徴について,5 の左側の繋がっ

ル指向分析によって抽出したとらえるべき特徴を訓練ていない部分を特徴としてとらえている, というサブ済みモデルがとらえていることを確認できた. これにゴールが追加されている. このようなサブゴールの更より, ゴール指向分析によって, 訓練済みモデルがと新を学習毎に GTSRB のデータについて行った.

らえるべき特徴を分析できることがわかる. また,XAIによって可視化された特徴のいためであると考えらえ

4. 5 実験結果れる. しかし, 看板の右下が空白という情報は, 右折の今回の実験では, 実験手順 (2) から実験手順 (6) を情報とは関連が薄いうち, 識別に有効であるものをと学習データセット数を増やしながら 5 回繰り返した.

らえるべき特徴に反映させることが可能であることもまた, 学習毎に SHAP を用いたとらえた特徴の可視確認できた. 実験で使用した GTSRB のデータセット化を行った. 学習によるとらえた特徴の変化の例としには絵に近い画像も存在する. これらについても, とて,50km の速度表示の 1 回目の学習後と 2 回目の学らえるべき特徴の分析が行えたことから, 一般的な物習後のモデルがとらえた特徴を, 図 2 に示す. 図 2 で体認識への適用可能性が示唆された.

示した 2 枚の画像は同じテストデータの画像につい表350km 道路標示のとらえるべき特徴の充足度分析結果の推移

ゴール指向分析から抽出したとらえるべき特徴

図5

右折限定標識のとらえるべき特徴

図6

目視で意味を確認できなかった特徴

1 回目終了時のとらえるべき特徴の充足度

2 回目終了時のとらえるべき特徴の充足度

5. 2 特徴可視化の課題
5. 1 モデルがとらえた意図しない特徴

今回の実験の中では,XAI の出力のうち人間が理解

今回の実験では, モデルが意図しない特徴をとらえできない特徴が存在した. 図 6 に 50km の速度表示看た場合も存在した. 図 4 に学習段階ごとの, 右折限定板がとらえた特徴のうち, 目視では意味を理解できなの道路標示の SHAP 分析結果を示す. また, この表示かったものを示す. このような特徴は, 妥当であるこのとらえるべき特徴の分析結果を図 5 に示す. この例との確認ができないため, とらえるべき特徴の更新に

では, とらえるべき特徴として, 矢印に注目している使用できない. この問題を解決するため, 訓練データことを抽出した. しかし, 図 4 のように訓練済みモデの特徴に対して, 分析できる手法との組み合わせを検ルは,5 回の学習を繰り返した場合でも, 矢印の部分に討する必要がある. 今回の実験では, 図 6 の特徴につはほとんど注目していない. これは,GTSRB のデーいて, 理解ができなかったが, データセットの特徴につタの中には看板の右下が空白のデータは含まれていいて理解することで, 妥当な特徴として再検討できるな. そのため, だまされやすい部分に注目して識別結可能性がある. また, 他の XAI 手法の活用も検討です

果を出しているといえる. この問題を解決するため,る必要がある.XAI として今回は SHAP を用いたが,学習状況に合わせた訓練データの選定などの応用が他の XAI を用いてとらえた特徴の可視化を行うこと必要になると考えられる.

で, 今回は理解できなかった特徴を理解できる可能性がある.

表4

右折限定道路標示の SHAP 分析結果の推移

6 まとめ
1 回目

3 回目

5 回目

本研究では深層学習を用いたシステム開発について, とらえるべき特徴に着目した, 訓練済みモデル作成のプロセスを提案した. 実験の結果, 本手法のプロセスに従い, モデルを作成することで, 訓練済みモデ
ルがとらえるべき特徴に着目して, 学習を進めている見通しを立てることは可能であることは確認された.

今後は学習の途中でとらえるべき特徴以外の部分に

参 考 文 献モデルが注目したことが明らかになった場合の対応に[1] Dardenne, A., van Lamsweerde, A., and Fickas,
S.: Goal-directed requirements acquisition, Scienceof Computer Programming, Vol. 20, No. 1(1993),
pp. 3 – 50.
[2] Lundberg, S. and Lee, S.: A uniﬁed approach to interpreting model predictions, CoRR,Vol. abs/1705.07874(2017).
[3] Ribeiro, M. T., Singh, S., and Guestrin, C.: ”Why
Should I Trust You?”: Explaining the Predictions of
Any Classiﬁer, CoRR, Vol. abs/1602.04938(2016).
[4] Stallkamp, J., Schlipsing, M., Salmen, J., andIgel, C.: Man vs. computer: Benchmarking machinelearning algorithms for traﬃc sign recognition, Neural Networks, No. 0(2012), pp. –.

ついて, 検討を進めていく. また, 対象となるデータに対する分析手法との組み合わせや, 画像認識以外のシステムへの適用についても検討していく.
謝辞 本論文を纏めるにあたり, 国立情報学研究所トップエスイープロジェクトの関係者様に, 多大なご助力をいただきました. 厚く感謝を申し上げます.