(57)【要約】【課題】ＣＮＮの隠れ層が少ない場合または畳み込み層で用いられるフィルタのサイズが小さい場合であっても、入力されたデータのうちＣＮＮによる判断の根拠となった特徴的領域を抽出することができる方法および装置を提供する。【解決手段】畳み込みニューラルネットワーク判断根拠抽出装置１は、寄与率算出部２および根拠抽出部３を備える。寄与率算出部２は、出力層１７の何れかの出力ラベルに対する全結合層の重み３６の寄与率を求める。根拠抽出部３は、全結合層１６に入力される特徴量マップ２５、全結合層の重み３６及び上記の寄与率βc,mに基づいて、ＣＮＮ１０の判断の根拠を抽出する。【選択図】図２
2020149571.tif 000002
【特許請求の範囲】
【請求項１】
入力層、畳み込み層、プーリング層、全結合層および出力層を有する畳み込みニューラルネットワークの判断の根拠を抽出する方法であって、
前記出力層の何れかの出力ラベルに対する前記全結合層の重みの寄与率を求める寄与率算出ステップと、
前記全結合層に入力される特徴量マップ、前記全結合層の重み及び前記寄与率に基づいて、前記根拠を抽出する根拠抽出ステップと、
を備える畳み込みニューラルネットワーク判断根拠抽出方法。
【請求項２】
入力層、畳み込み層、プーリング層、全結合層および出力層を有する畳み込みニューラルネットワークの判断の根拠を抽出する方法であって、
前記出力層の何れかの出力ラベルに対する前記全結合層により生成される特徴量ベクトルの寄与率を求める寄与率算出ステップと、
前記全結合層に入力される特徴量マップ、前記全結合層の重み及び前記寄与率に基づいて、前記根拠を抽出する根拠抽出ステップと、
を備える畳み込みニューラルネットワーク判断根拠抽出方法。
【請求項３】
前記入力層に入力される入力データに対応付けて前記根拠を表示する表示ステップを更に備える、
請求項１または２に記載の畳み込みニューラルネットワーク判断根拠抽出方法。
【請求項４】
入力層、畳み込み層、プーリング層、全結合層および出力層を有する畳み込みニューラルネットワークの判断の根拠を抽出する装置であって、
前記出力層の何れかの出力ラベルに対する前記全結合層の重みの寄与率を求める寄与率算出部と、
前記全結合層に入力される特徴量マップ、前記全結合層の重み及び前記寄与率に基づいて、前記根拠を抽出する根拠抽出部と、
を備える畳み込みニューラルネットワーク判断根拠抽出装置。
【請求項５】
入力層、畳み込み層、プーリング層、全結合層および出力層を有する畳み込みニューラルネットワークの判断の根拠を抽出する装置であって、
前記出力層の何れかの出力ラベルに対する前記全結合層により生成される特徴量ベクトルの寄与率を求める寄与率算出部と、
前記全結合層に入力される特徴量マップ、前記全結合層の重み及び前記寄与率に基づいて、前記根拠を抽出する根拠抽出部と、
を備える畳み込みニューラルネットワーク判断根拠抽出装置。
【請求項６】
前記入力層に入力される入力データに対応付けて前記根拠を表示する表示部を更に備える、
請求項４または５に記載の畳み込みニューラルネットワーク判断根拠抽出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、畳み込みニューラルネットワークの判断の根拠を抽出する方法および装置に関するものである。
【背景技術】
【０００２】
一般に、深層ニューラルネットワーク（Deep  Neural  Network、以下「ＤＮＮ」という。）による分類は高い正答率を得ることができる。しかし、その一方で、ＤＮＮによる分類の際の計算過程は人間には判断し難い。そこで、ＤＮＮによる学習モデルの全般に対して、その学習モデルの計算過程または判断基準を人間が理解できるように可視化して、その学習モデルが妥当であるか否かを評価したいという要求がある。
【０００３】
ＤＮＮの一種である畳み込みニューラルネットワーク（Convolutional  Neural  Network、以下「ＣＮＮ」という。）は、画像認識等の分野で用いられ、また、最近ではスペクトル分析の分野でも適用例が報告されている（特許文献１および非特許文献１，２を参照）。スペクトル分析の分野では、これまで、特徴量の抽出を行う主成分分析や、サポートベクターマシン等の分類器などが用いられ、これらは長年に亘り高い成果を上げている。近年では、スペクトル分析の分野でもＣＮＮが用いられるようになってきており、成果が報告されている。
【０００４】
ＣＮＮによる画像認識の分野では、入力された画像のうちＣＮＮによる分類の根拠となった特徴的領域を入力画像上に表示する技術が知られている（非特許文献３を参照）。この技術により、ＣＮＮによる学習モデルが妥当であるか否かを評価することができる。しかし、ＣＮＮによるスペクトル分析の分野では、入力されたスペクトルのうちＣＮＮによる分類の根拠となった特徴的領域を求める技術は知られていない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第６４３８５４９号公報
【非特許文献】
【０００６】
【非特許文献１】J. Liu, M. Osadchy, L. Ashton, M.Foster, C. J. Solomon and S. J. Gibson, “Deepconvolutional neural networks for Raman spectrum recognition: a unifiedsolution,” Analyst, 2018, 21, 4067-4074.
【非特許文献２】J. Acquarelli; T. Laarhoven; J.Gerretzen; T. N. Tran; L. M. C. Buydens; E. Marchiori, “Convolutionalneural networks for vibrational spectroscopic data analysis,”Anal. Chim. Acta, 2017, 954, 22-31.
【非特許文献３】R. R. Selvaraju, M. Cogswell, A.Das, R. Vedantam, D. Parikh, D. Batra, “Grad-CAM: VisualExplanations from Deep Networks via Gradient-based Localization,”arXiv: 1610.02391v3, 2017.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明者らによる研究によれば、ＣＮＮによるスペクトル分析に非特許文献３に記載されている技術を適用しようとしたところ、ＣＮＮによる分類の根拠となった特徴的領域を求めることは困難であった。これは次のような理由によると考えられる。
【０００８】
ＣＮＮにより画像認識を行う場合、ＣＮＮは、隠れ層が１６層以上にも及ぶ深いネットワーク構造を有することが必要であるとされている。非特許文献３に記載された技術は、ＣＮＮの畳み込み層またはプーリング層の計算により得られた特徴量マップに基づく計算を行うことにより、入力された画像のうち分類の根拠となった特徴的領域を入力画像上に表示する。
【０００９】
これに対して、ＣＮＮによりスペクトル分析を行う場合、ＣＮＮは、隠れ層が比較的少ない（数層の）ネットワーク構造で十分であるとされている。このようなネットワーク構造では、非特許文献３に記載されているように畳み込み層またはプーリング層の計算により得られた特徴量マップに基づく計算では、入力されたスペクトルのうちＣＮＮによる分類の根拠となった特徴的領域を求めることは困難であると考えられる。また、畳み込み層で用いられるフィルタのサイズはスペクトルの線幅の程度であることから、特徴量マップに基づく計算では、位置の情報というより、形状の情報の取得しかできなかったからであると考えられる。
【００１０】
このような問題は、ＣＮＮをスペクトル分析の分野に適用する場合だけでなく、ＣＮＮの隠れ層が少ない場合や、ＣＮＮの畳み込み層で用いられるフィルタのサイズが小さい場合に、存在すると考えられる。
【００１１】
本発明は、上記問題点を解消する為になされたものであり、ＣＮＮの隠れ層が少ない場合または畳み込み層で用いられるフィルタのサイズが小さい場合であっても、入力されたデータのうちＣＮＮによる判断の根拠となった特徴的領域を抽出することができる方法および装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の畳み込みニューラルネットワーク判断根拠抽出方法は、入力層、畳み込み層、プーリング層、全結合層および出力層を有する畳み込みニューラルネットワークの判断の根拠を抽出する方法であって、出力層の何れかの出力ラベルに対する全結合層の重みの寄与率を求める寄与率算出ステップと、全結合層に入力される特徴量マップ、全結合層の重み及び寄与率に基づいて、根拠を抽出する根拠抽出ステップと、を備える。寄与率算出ステップにおいて、全結合層の重みの寄与率に替えて、全結合層により生成される特徴量ベクトルの寄与率を求めてもよい。特徴量ベクトルは、全結合層に入力される特徴量マップおよび全結合層の重みに基づいて生成される。本発明の畳み込みニューラルネットワーク判断根拠抽出方法は、入力層に入力される入力データに対応付けて根拠を表示する表示ステップを更に備えるのが好適である。
【００１３】
本発明の畳み込みニューラルネットワーク判断根拠抽出装置は、入力層、畳み込み層、プーリング層、全結合層および出力層を有する畳み込みニューラルネットワークの判断の根拠を抽出する装置であって、出力層の何れかの出力ラベルに対する全結合層の重みの寄与率を求める寄与率算出部と、全結合層に入力される特徴量マップ、全結合層の重み及び寄与率に基づいて、根拠を抽出する根拠抽出部と、を備える。寄与率算出部は、全結合層の重みの寄与率に替えて、全結合層により生成される特徴量ベクトルの寄与率を求めてもよい。本発明の畳み込みニューラルネットワーク判断根拠抽出装置は、入力層に入力される入力データに対応付けて根拠を表示する表示部を更に備えるのが好適である。
【発明の効果】
【００１４】
本発明によれば、ＣＮＮの隠れ層が少ない場合または畳み込み層で用いられるフィルタのサイズが小さい場合であっても、入力されたデータのうちＣＮＮによる判断の根拠となった特徴的領域を抽出することができる。
【図面の簡単な説明】
【００１５】
【図１】図１は、畳み込みニューラルネットワークの構成例を示す図である。
【図２】図２は、畳み込みニューラルネットワーク判断根拠抽出装置１の構成を示す図である。
【図３】図３は、畳み込みニューラルネットワークの他の構成例を示す図である。
【図４】図４は、第１実施例で得られた分類の根拠となった特徴的領域を示す図である。
【図５】図５は、第１実施例で得られた分類の根拠となった特徴的領域を示す図である。
【図６】図６は、第１実施例で得られた分類の根拠となった特徴的領域を示す図である。
【図７】図７は、第２実施例で得られた分類の根拠となった特徴的領域を示す図である。図７（ｂ）は、図７（ａ）の一部を拡大して示す図である。
【図８】図８は、第２実施例で得られた分類の根拠となった特徴的領域を示す図である。図８（ｂ）は、図８（ａ）の一部を拡大して示す図である。
【図９】図９は、第３実施例で用いた９種類の薬剤それぞれのスペクトルの例を示す図である。
【図１０】図１０は、第３実施例（薬剤Ａ）で得られた分類の根拠となった特徴的領域を示す図である。
【図１１】図１１は、第３実施例（薬剤Ｂ）で得られた分類の根拠となった特徴的領域を示す図である。
【図１２】図１２は、第３実施例（薬剤Ｃ）で得られた分類の根拠となった特徴的領域を示す図である。
【図１３】図１３は、第３実施例（薬剤Ｄ）で得られた分類の根拠となった特徴的領域を示す図である。
【図１４】図１４は、第３実施例（薬剤Ｅ）で得られた分類の根拠となった特徴的領域を示す図である。
【図１５】図１５は、第３実施例（薬剤Ｆ）で得られた分類の根拠となった特徴的領域を示す図である。
【図１６】図１６は、第３実施例（薬剤Ｇ）で得られた分類の根拠となった特徴的領域を示す図である。
【図１７】図１７は、第３実施例（薬剤Ｈ）で得られた分類の根拠となった特徴的領域を示す図である。
【図１８】図１８は、第３実施例（薬剤Ｉ）で得られた分類の根拠となった特徴的領域を示す図である。
【図１９】図１９は、第４実施例で用いた２０種類のアミノ酸それぞれのスペクトルの例を示す図である。
【図２０】図２０は、第４実施例で用いたアラニン(Ala)の純スペクトルを示す図である。
【図２１】図２１は、第４実施例で得られた分類の根拠となった特徴的領域を示す図である。
【図２２】図２２は、第４実施例で得られた分類の根拠となった特徴的領域を示す図である。
【図２３】図２３は、畳み込みニューラルネットワーク判断根拠抽出装置１Ａの構成を示す図である。
【図２４】図２４は、第３実施例で得られた分類の根拠となった特徴的領域を示す図である。
【図２５】図２５は、第５実施例で得られた分類の根拠となった特徴的領域を示す図である。
【図２６】図２６は、第４実施例で得られた分類の根拠となった特徴的領域を示す図である。
【図２７】図２７は、第６実施例で得られた分類の根拠となった特徴的領域を示す図である。
【発明を実施するための形態】
【００１６】
以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。本発明は、これらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【００１７】
図１は、畳み込みニューラルネットワークの構成例を示す図である。この図に示される構成例の畳み込みニューラルネットワーク（ＣＮＮ）１０は、入力層１１、畳み込み層１２、プーリング層１３、畳み込み層１４、プーリング層１５、全結合層１６および出力層１７を有する。ＣＮＮ１０は、ＣＰＵ（Central  Processing  Unit）により実現することができ、より高速な処理が可能なＤＳＰ（Digital  Signal  Processor）またはＧＰＵ（Graphics  Processing  Unit）により実現することもできる。また、ＣＮＮ１０は、各種のデータおよびパラメータを記憶するメモリを有する。
【００１８】
畳み込み層１２は、入力層１１に入力された入力データ列２１に対してフィルタ３２を作用させて、特徴量マップ２２を生成する。畳み込み層１２は、入力データ列２１に対してフィルタ３２を相対的に移動させ、その各位置において入力データ列２１とフィルタ３２との畳み込み演算を行うことで、特徴量マップ２２を生成する。畳み込み層１２は、一般に複数のフィルタ３２を用い、そのフィルタ３２と同数の特徴量マップ２２を生成する。
【００１９】
プーリング層１３は、畳み込み層１２により生成された特徴量マップ２２を縮小させて、特徴量マップ２３を生成する。プーリング層１３は、例えば、特徴量マップ２２から二つずつデータを抽出して、その二つのデータの最大値または平均値をとることで、特徴量マップ２２の２分の１のサイズの特徴量マップ２３を生成する。
【００２０】
畳み込み層１４は、プーリング層１３により生成された特徴量マップ２３に対してフィルタ３４を作用させて、特徴量マップ２４を生成する。畳み込み層１４は、特徴量マップ２３に対してフィルタ３４を相対的に移動させ、その各位置において特徴量マップ２３とフィルタ３４との畳み込み演算を行うことで、特徴量マップ２４を生成する。
【００２１】
プーリング層１５は、畳み込み層１４により生成された特徴量マップ２４を縮小させて、特徴量マップ２５を生成する。プーリング層１５は、例えば、特徴量マップ２４から二つずつデータを抽出して、その二つのデータの最大値または平均値をとることで、特徴量マップ２４の２分の１のサイズの特徴量マップ２５を生成する。
【００２２】
全結合層１６は、プーリング層１５により生成された特徴量マップ２５に対して重み３６を作用させて、特徴量ベクトル２６を生成する。出力層１７は、全結合層１６により生成された特徴量ベクトル２６に対して重み３７を作用させて、出力ラベル２７を生成する。
【００２３】
特徴量マップ２５のサイズがＩであり、特徴量マップの個数がＫであるとし、第ｋの特徴量マップの位置ｉの値がＡi,kであるとする。全結合層の重み３６のサイズがＩｘＫであり、全結合層の重みの個数がＭであるとし、第ｍの全結合層の重みのうち位置（i,k）の値がＦｗi,k,mであるとする。特徴量ベクトル２６のサイズはＭである。出力層の重み３７のサイズがＭであり、出力層の重みの個数がＣであるとし、第ｃの出力層の重みのうち位置ｍの値がＧc,mであるとする。出力ラベル２７のうちラベルｃの値ｙｃは次の（１）式で表される。
【００２４】
【数１】
2020149571.tif 000003
【００２５】
ＣＮＮ１０の入力層１１に学習用データが入力されたときの出力層の出力ラベル２７と、その学習用データに対応する教師ラベルとの対比に基づいて、ＣＮＮ１０を学習させる。多数の学習用データ及び教師ラベルを用いた学習により、フィルタ３２、フィルタ３４、全結合層の重み３６および出力層の重み３７が最適化されていく。
【００２６】
学習済みのＣＮＮ１０の入力層１１に評価用データが入力されると、その評価用データがＣＮＮ１０により分類されて、その分類結果が出力層の出力ラベル２７に現れる。本実施形態の畳み込みニューラルネットワーク判断根拠抽出装置１および方法は、入力された評価用データのうちＣＮＮ１０による判断の根拠となった特徴的領域を抽出するものである。
【００２７】
図２は、畳み込みニューラルネットワーク判断根拠抽出装置１の構成を示す図である。この図には、畳み込みニューラルネットワーク判断根拠抽出装置（以下「ＣＮＮ判断根拠抽出装置」という。）１に加えて、ＣＮＮ１０の特徴量マップ２５、特徴量ベクトル２６、出力層の出力ラベル２７、全結合層の重み３６および出力層の重み３７も示されている。
【００２８】
ＣＮＮ判断根拠抽出装置１は、ＣＰＵおよびメモリなどを備えるコンピュータにより実現することができ、また、入力データおよび出力データなどを表示する液晶ディスプレイなどの表示部を備える。ＣＮＮ判断根拠抽出装置１は、ＣＮＮ１０とともにコンピュータにより実現されてもよい。
【００２９】
ＣＮＮ判断根拠抽出装置１は、寄与率算出部２および根拠抽出部３を備え、好適には更に表示部４を備える。
【００３０】
寄与率算出部２は、出力層１７の何れかの出力ラベルに対する全結合層の重み３６の寄与率を求める。出力ラベル２７のうちラベルｃの値ｙｃに対する第ｍの全結合層の重み３６の寄与率βc,mは、Ｆｗi,k,mの変化量に対するｙｃの変化量の比として、次の（２）式で表される。
【００３１】
【数２】
2020149571.tif 000004
【００３２】
根拠抽出部３は、全結合層１６に入力される特徴量マップ２５、全結合層の重み３６及び上記の寄与率βc,mに基づいて、ＣＮＮ１０の判断の根拠を抽出する。ＣＮＮ１０の判断の根拠を表すデータ列Ｑｃの第ｉの値Ｑc,iは、Ａi,k，βc,mおよびＦｗi,k,mの積をｋ，ｍについて総和した値として、次の（３）式で表される。データ列ＱｃのサイズはＩである。
【００３３】
【数３】
2020149571.tif 000005
【００３４】
表示部４は、入力層１１に入力される入力データに対応付けて、ＣＮＮ１０の判断の根拠を表すデータ列Ｑｃを表示する。
【００３５】
畳み込みニューラルネットワーク判断根拠抽出方法（以下「ＣＮＮ判断根拠抽出方法」という。）は、寄与率算出ステップおよび根拠抽出ステップを備え、好適には更に表示ステップを備える。寄与率算出ステップでは、出力層１７の何れかの出力ラベルに対する全結合層の重み３６の寄与率βc,mを求める（（２）式）。根拠抽出ステップでは、全結合層１６に入力される特徴量マップ２５、全結合層の重み３６及び寄与率βc,mに基づいて、ＣＮＮ１０の判断の根拠を抽出する（（３）式）。表示ステップでは、入力層１１に入力される入力データに対応付けて、ＣＮＮ１０の判断の根拠を表すデータ列Ｑｃを表示する。
【００３６】
図３は、畳み込みニューラルネットワークの他の構成例を示す図である。この図に示される構成例の畳み込みニューラルネットワーク（ＣＮＮ）１０Ａは、入力層１１、畳み込み層１２、プーリング層１３、全結合層１６および出力層１７を有する。図１に示されたＣＮＮ１０は２組の畳み込み層およびプーリング層を備えていたのに対して、図３に示されるＣＮＮ１０Ａは１組の畳み込み層およびプーリング層を備える。図２に示されるＣＮＮ判断根拠抽出装置１は、この図３に示される構成のＣＮＮに対しても適用可能である。
【００３７】
次に、第１〜第４の実施例について説明する。第１および第２の実施例では、図３に示された構成を有するＣＮＮを用いた。第３および第４の実施例では、図１に示された構成を有するＣＮＮを用いた。
【００３８】
第１実施例は次のとおりである。第１実施例では、学習用データおよび評価用データとして、模擬的に作成した簡易な形状を有するスペクトルを用いた。学習用スペクトルおよび評価用スペクトルの何れにおいても、チャンネル数を１０２４とし、１００ch、５００chおよび１０００chの何れかの位置に最大ピークを持たせた。また、学習用スペクトルおよび評価用スペクトルの何れにおいても、１００ch、５００chおよび１０００chの何れとも異なる三つの位置それぞれにノイズピークを持たせ、さらにホワイトノイズを与えた。最大ピークおよびノイズピークの何れもローレンツ関数形状とし、最大ピーク値を１として規格化し、ノイズピーク値を０.１以上１未満の範囲でランダムな値とした。学習用スペクトルに対応する教師ラベルは、その学習用スペクトルの最大ピーク位置（１００ch、５００chおよび１０００chの何れか）として、one-hot vector（正しい学習ラベルを１とし、他のラベルを０とした配列）で与えた。
【００３９】
第１実施例では、図３に示された構成のＣＮＮを用いた。フィルタ３２のサイズを８とし、個数を６４とした。全結合層の重み３６のサイズを５１２ｘ６４とし、個数を１２８とした。出力層の重み３７のサイズを１２８とし、個数を３とした。学習用スペクトルおよび教師ラベルを用いて、ＣＮＮを学習させた。
【００４０】
学習済みＣＮＮに評価用スペクトルを入力させて、その評価用スペクトルの分類をＣＮＮに行わせた。その分類の根拠となった特徴的領域を、本実施形態により全結合層から求める（実施例）とともに、非特許文献３に記載された技術によりプーリング層から求めた（比較例）。
【００４１】
図４〜図６は、第１実施例で得られた分類の根拠となった特徴的領域を示す図である。それぞれの図は、上から順に、入力された評価用スペクトル、比較例により得られた分類の根拠となった特徴的領域を示すデータ列、および、実施例により得られた分類の根拠となった特徴的領域を示すデータ列Ｑｃ（（３）式）、を示す。図４は、評価用スペクトルの最大ピーク位置を１００chとした場合の例を示す。図５は、評価用スペクトルの最大ピーク位置を５００chとした場合の例を示す。図６は、評価用スペクトルの最大ピーク位置を１０００chとした場合の例を示す。
【００４２】
図４〜図６の何れにおいても、比較例では、分類の根拠となった特徴的領域は最大ピーク位置だけでなくノイズピーク位置にも存在するとされている。これに対して、実施例では、分類の根拠となった特徴的領域は最大ピーク位置のみに存在するとされている。比較例と比べて、実施例では、分類の根拠となった特徴的領域がより的確に示されている。
【００４３】
第２実施例は次のとおりである。第２実施例では、学習用データおよび評価用データとして、第１実施例で用いた学習用スペクトルおよび評価用スペクトルと同様なものを用いた。ただし、評価用スペクトルには、ローレンツ関数形状のノイズピークを持たせなかった。
【００４４】
第２実施例では、第１実施例で用いたＣＮＮの構成と同様のものを用いた。ただし、フィルタ３２のサイズおよび個数を様々な値に設定して、学習および分類をＣＮＮに行わせて、その分類の根拠となった特徴的領域を示すデータ列Ｑｃ（（３）式）を求めた。
【００４５】
図７および図８は、第２実施例で得られた分類の根拠となった特徴的領域を示す図である。それぞれの図は、入力された評価用スペクトル、および、実施例により得られた分類の根拠となった特徴的領域を示すデータ列Ｑｃ（（３）式）、を示す。
【００４６】
図７は、フィルタ個数を６４に固定し、フィルタサイズを８，１６，１２８，１０２４の各値とした場合の例を示す。図７（ｂ）は、図７（ａ）の一部を拡大して示す。この図から、ＣＮＮは、フィルタサイズがスペクトル幅に近いほど、入力された評価用スペクトルの最大ピーク位置の付近を分類の根拠として着目していることが分かる。
【００４７】
図８は、フィルタサイズを１６に固定し、フィルタ個数を８，６４，２５６の各値とした場合の例を示す。図８（ｂ）は、図８（ａ）の一部を拡大して示す。この図から、ＣＮＮは、フィルタ個数が多いほど、入力された評価用スペクトルの最大ピーク位置により近い位置を分類の根拠として捉えていることが分かる。
【００４８】
この実施例は、フィルタのサイズおよび個数の最適化を行うことが可能であることを示している。
【００４９】
第３実施例は次のとおりである。第３実施例では、学習用スペクトルおよび評価用スペクトルとして、市販の９種類の薬剤Ａ〜Ｉそれぞれのラマンスペクトルを用いた。各薬剤について測定されたラマンスペクトルに対して補間処理を行って、波数３５０ｃｍ-1〜１８００ｃｍ-1の範囲で１ｃｍ-1刻みのスペクトルを作成した。学習用スペクトルおよび評価用スペクトルの何れにおいても、チャンネル数を１４５１とし、最大ピーク値を１として規格化した。また、９種類の薬剤それぞれについて、ＳＮ比の異なる４種類のスペクトルを学習用スペクトルとした。図９は、第３実施例で用いた９種類の薬剤それぞれのスペクトルの例を示す図である。
【００５０】
第３実施例では、図１に示された構成のＣＮＮを用いた。フィルタ３２のサイズを８とし、個数を６４とした。フィルタ３４のサイズを８とし、個数を６４とした。全結合層の重み３６のサイズを３６３ｘ６４とし、個数を１２８とした。出力層の重み３７のサイズを１２８とし、個数を３とした。学習用スペクトルおよび教師ラベルを用いて、ＣＮＮを学習させた。
【００５１】
学習用スペクトルとは別のスペクトルを評価用スペクトルとしてＣＮＮに入力させて、その評価用スペクトルの分類をＣＮＮに行わせた。その分類の根拠となった特徴的領域を全結合層から求めた。
【００５２】
図１０〜図１８は、第３実施例で得られた分類の根拠となった特徴的領域を示す図である。それぞれの図は、入力された評価用スペクトル、および、実施例により得られた分類の根拠となった特徴的領域を示すデータ列Ｑｃ（（３）式）、を示す。図１０は、薬剤Ａの場合の例を示す。図１１は、薬剤Ｂの場合の例を示す。図１２は、薬剤Ｃの場合の例を示す。図１３は、薬剤Ｄの場合の例を示す。図１４は、薬剤Ｅの場合の例を示す。図１５は、薬剤Ｆの場合の例を示す。図１６は、薬剤Ｇの場合の例を示す。図１７は、薬剤Ｈの場合の例を示す。図１８は、薬剤Ｉの場合の例を示す。
【００５３】
何れの薬剤についても、評価用スペクトルの強いピークの位置に、分類の根拠となった特徴的領域が存在することが示されている。一方で、評価用スペクトルの比較的弱いピークの位置や、評価用スペクトルのバックグラウンド強度が見られる位置では、Ｑｃ,iの値は小さい。薬剤Ｄの場合（図１３）をみると、薬剤Ｄを他の８種類の薬剤から分離可能とする波数３６０ｃｍ-1付近で、Ｑｃ,iが大きな値となっている。これらのことから、本実施形態によればＣＮＮによる分類の根拠となった特徴的領域を抽出することができたことが確認できる。
【００５４】
第４実施例は次のとおりである。第４実施例では、学習用スペクトルおよび評価用スペクトルとして、以下の２０種類のアミノ酸それぞれのラマンスペクトルから作成したものを用いた。図１９は、第４実施例で用いた２０種類のアミノ酸それぞれのスペクトルの例を示す図である。
アラニン(Ala)、アルギニン(Arg)、アスパラギン(Asn)、アスパラギン酸(Asp)、
システイン(Cys)、グルタミン(Gln)、グルタミン酸(Glu)、グリシン(Gly)、
ヒスチジン(His)、ソロイシン(Ile)、ロイシン(Leu)、リシン(Lys)、
メチオニン(Met)、フェニルアラニン(Phe)、プロリン(Pro)、セリン(Ser)、
トレオニン(Thr)、トリプトファン(Trp)、チロシン(Tyr)、バリン(Val)
【００５５】
各アミノ酸について、測定されたラマンスペクトルに対して補間処理を行って、波数３５０ｃｍ-1〜１８００ｃｍ-1の範囲で１ｃｍ-1刻みのスペクトルを作成した。２０種類のアミノ酸のうちの任意の１種類のアミノ酸をホストとし、他の何れかの種類のアミノ酸をゲストとして、これらのスペクトルを合成した。各ホストについて５個のスペクトルを作成し、最大ピーク値を１として規格化した.合計で１９００（＝20x19x5）個のスペクトルを作成した。学習用スペクトルについては、ホストのアミノ酸のスペクトルとゲストのアミノ酸のスペクトルとの混合比を、１：０.１〜１：０.５の範囲でランダムとした。教師ラベルは、ホストのアミノ酸のone-hot vectorで与えた。評価用スペクトルについては、ホストのアミノ酸のスペクトルとゲストのアミノ酸のスペクトルとの混合比を、１：０.４５とした。
【００５６】
第４実施例では、第３実施例で用いたＣＮＮの構成と同様のものを用いた。学習用スペクトルおよび教師ラベルを用いて、ＣＮＮを学習させた。学習用スペクトルとは別の評価用スペクトルをＣＮＮに入力させて、その評価用スペクトルの分類をＣＮＮに行わせた。その分類の根拠となった特徴的領域を全結合層から求めた。
【００５７】
図２０は、第４実施例で用いたアラニン(Ala)の純スペクトルを示す図である。図２１および図２２は、第４実施例で得られた分類の根拠となった特徴的領域を示す図である。
【００５８】
図２１は、ホストをヒスチジン(His)としゲストをアラニン(Ala)とした評価用スペクトル、これをＣＮＮに入力させたときに得られた分類の根拠となった特徴的領域を示すデータ列Ｑｃ（（３）式）、および、ヒスチジン(His)の純スペクトル、を示す。ホストであるヒスチジン(His)のスペクトルの強いピークの位置に、分類の根拠となった特徴的領域が存在することが示されている。一方で、ゲストであるアラニン(Ala)の純スペクトルの強いピークの位置（波数８５０ｃｍ-1付近）では、Ｑｃ,iは負の値である。すなわち、評価用スペクトルに見られる波数８５０ｃｍ-1付近のピークは、ヒスチジン(His)の分類には寧ろ必要がない領域であると、ＣＮＮが学習していると理解できる。
【００５９】
図２２は、ホストをロイシン(Leu)としゲストをアラニン(Ala)とした評価用スペクトル、これをＣＮＮに入力させたときに得られた分類の根拠となった特徴的領域を示すデータ列Ｑｃ（（３）式）、および、ロイシン(Leu)の純スペクトル、を示す。ロイシン(Leu)の純スペクトルのＳＮ比は悪いが、そのような場合であっても、同様に、ホストであるロイシン(Leu)のスペクトルの強いピークの位置に、分類の根拠となった特徴的領域が存在することが示されている。ホストであるロイシン(Leu)の純スペクトルの強いピークの位置は、ゲストであるアラニン(Ala)の純スペクトルの強いピークの位置に近い波数８５０ｃｍ-1付近であるが、評価用スペクトルに見られるこのピーク位置は、ロイシン(Leu)の分類には寄与していないと考えられる。評価用スペクトルに見られる他の波数４７５ｃｍ-1付近および５４５ｃｍ-1付近のピークがロイシン(Leu)の分類に寄与していると考えられる。
【００６０】
他のホストおよびゲストの組合せについても、同様に良好な結果が得られた。これらのことから、本実施形態によればＣＮＮによる分類の根拠となった特徴的領域を抽出することができたことが確認できる。
【００６１】
本実施形態のＣＮＮ判断根拠抽出装置およびＣＮＮ判断根拠抽出方法は、入力データがスペクトルである場合に限らず、他の入力データ（例えば画像データ）であっても、適用可能である。本実施形態によれば、ＣＮＮの隠れ層が少ない場合または畳み込み層で用いられるフィルタのサイズが小さい場合であっても、入力データのうちＣＮＮによる判断の根拠となった特徴的領域を抽出することができる。また、本実施形態のＣＮＮ判断根拠抽出装置およびＣＮＮ判断根拠抽出方法は、ＣＮＮモデルの設計および検証の容易化や信頼性の保証を可能とし、ユーザにとって理解し易いＣＮＮモデルを提供することを期待できる。
【００６２】
さらに、本実施形態のＣＮＮ判断根拠抽出装置およびＣＮＮ判断根拠抽出方法は、混合スペクトルの分類において同一種が含まれる試料に同一の教師ラベルを付けてＣＮＮを学習させれば、その共通箇所を抽出することができ、加えて、分類確率を下げると思われる箇所については負の値が得られたことから（第４実施例）、共通成分の可視化のみならず、真贋判定等において、不要な含有物の特定に利用できると考えられる。
【００６３】
これまで説明してきた実施形態および第１〜第４の実施例は、出力層１７の何れかの出力ラベルに対する全結合層の重み３６の寄与率を求め、この寄与率を用いてＣＮＮ１０の判断の根拠を抽出するものであった。以下に説明する実施形態ならびに第５および第６の実施例のように、出力層１７の何れかの出力ラベルに対する特徴量ベクトル２６の寄与率を求め、この寄与率を用いてＣＮＮ１０の判断の根拠を抽出することもできる。
【００６４】
図２３は、畳み込みニューラルネットワーク判断根拠抽出装置１Ａの構成を示す図である。この図には、畳み込みニューラルネットワーク判断根拠抽出装置（ＣＮＮ判断根拠抽出装置）１Ａに加えて、ＣＮＮ１０の特徴量マップ２５、特徴量ベクトル２６、出力層の出力ラベル２７、全結合層の重み３６および出力層の重み３７も示されている。
【００６５】
ＣＮＮ判断根拠抽出装置１Ａも、ＣＰＵおよびメモリなどを備えるコンピュータにより実現することができ、また、入力データおよび出力データなどを表示する液晶ディスプレイなどの表示部を備える。ＣＮＮ判断根拠抽出装置１Ａは、ＣＮＮ１０とともにコンピュータにより実現されてもよい。
【００６６】
ＣＮＮ判断根拠抽出装置１Ａは、寄与率算出部２Ａおよび根拠抽出部３を備え、好適には更に表示部４を備える。図２に示された構成と比較すると、図２３に示されるＣＮＮ判断根拠抽出装置１Ａは、寄与率算出部２に替えて寄与率算出部２Ａを備えている点で相違する。
【００６７】
寄与率算出部２Ａは、出力層１７の何れかの出力ラベルに対する特徴量ベクトル２６の寄与率を求める。特徴量ベクトル２６は、全結合層に入力される特徴量マップ（Ａi,k）および全結合層の重み（Ｆｗi,k,m）に基づいて生成される。出力ラベル２７のうちラベルｃの値ｙｃに対する特徴量ベクトル２６の第ｍの要素Ｆｍの寄与率βc,mは、Ｆｍの変化量に対するｙｃの変化量の比として、次の（４）式で表される。
【００６８】
【数４】
2020149571.tif 000006
【００６９】
根拠抽出部３は、全結合層１６に入力される特徴量マップ２５、全結合層の重み３６及び上記の寄与率βc,mに基づいて、ＣＮＮ１０の判断の根拠を抽出する。ＣＮＮ１０の判断の根拠を表すデータ列Ｑｃの第ｉの値Ｑc,iは、Ａi,k，βc,mおよびＦｗi,k,mの積をｋ，ｍについて総和した値として、上記（３）式で表される。
【００７０】
畳み込みニューラルネットワーク判断根拠抽出方法（ＣＮＮ判断根拠抽出方法）は、寄与率算出ステップおよび根拠抽出ステップを備え、好適には更に表示ステップを備える。寄与率算出ステップでは、出力層１７の何れかの出力ラベルに対する特徴量ベクトル２６の寄与率βc,mを求める（（４）式）。根拠抽出ステップでは、全結合層１６に入力される特徴量マップ２５、全結合層の重み３６及び寄与率βc,mに基づいて、ＣＮＮ１０の判断の根拠を抽出する（（３）式）。表示ステップでは、入力層１１に入力される入力データに対応付けて、ＣＮＮ１０の判断の根拠を表すデータ列Ｑｃを表示する。
【００７１】
次に、第５実施例および第６実施例について説明する。第５実施例は、第３実施例と比較すると、寄与率算出の点でのみ相違し、その他の点では同じ条件とした。また、第６実施例は、第４実施例と比較すると、寄与率算出の点でのみ相違し、その他の点では同じ条件とした。ただし、アラニン(Ala)をホストとした場合にはアルギニン(Arg)をゲストとし、アラニン(Ala)以外のアミノ酸をホストとした場合にはアラニン(Ala)をゲストとした。第３実施例および第４実施例では、出力層１７の何れかの出力ラベルに対する全結合層の重み３６の寄与率（上記（２）式）を求めたのに対して、第５実施例および第６実施例では、出力層１７の何れかの出力ラベルに対する特徴量ベクトル２６の寄与率（上記（４）式）を求めた。
【００７２】
図２４は、第３実施例で得られた分類の根拠となった特徴的領域を示す図である。図２５は、第５実施例で得られた分類の根拠となった特徴的領域を示す図である。第３実施例（図２４）と第５実施例（図２５）とは、寄与率算出の点でのみ相違するが、ＣＮＮによる分類の根拠として同様の特徴的領域が抽出された。
【００７３】
図２６は、第４実施例で得られた分類の根拠となった特徴的領域を示す図である。図２７は、第６実施例で得られた分類の根拠となった特徴的領域を示す図である。第４実施例（図２６）と第６実施例（図２７）とは、寄与率算出の点でのみ相違するが、ＣＮＮによる分類の根拠として同様の特徴的領域が抽出された。
【００７４】
また、第１実施例および第２実施例それぞれにおいて全結合層の重み３６の寄与率（上記（２）式）に替えて特徴量ベクトル２６の寄与率（上記（４）式）を用いた場合にも、ＣＮＮによる分類の根拠として同様の特徴的領域が抽出された。
【００７５】
以上のように、出力層１７の何れかの出力ラベルに対する全結合層の重み３６の寄与率（上記（２）式）を用いる場合と同様に、出力層１７の何れかの出力ラベルに対する特徴量ベクトル２６の寄与率（上記（４）式）を用いる場合にも、ＣＮＮの隠れ層が少ない場合または畳み込み層で用いられるフィルタのサイズが小さい場合であっても、入力データのうちＣＮＮによる判断の根拠となった特徴的領域を抽出することができた。
【符号の説明】
【００７６】
１，１Ａ…畳み込みニューラルネットワーク判断根拠抽出装置（ＣＮＮ判断根拠抽出装置）、２，２Ａ…寄与率算出部、３…根拠抽出部、４…表示部、１０，１０Ａ…畳み込みニューラルネットワーク（ＣＮＮ）、１１…入力層、１２…畳み込み層、１３…プーリング層、１４…畳み込み層、１５…プーリング層、１６…全結合層、１７…出力層、２１…入力データ列、２２〜２５…特徴量マップ、２６…特徴量ベクトル、２７…出力層の出力ラベル、３２，３４…フィルタ、３６…全結合層の重み、３７…出力層の重み。
【図１】
2020149571.tif 000007
【図２】
2020149571.tif 000008
【図３】
2020149571.tif 000009
【図４】
2020149571.tif 000010
【図５】
2020149571.tif 000011
【図６】
2020149571.tif 000012
【図７】
2020149571.tif 000013
【図８】
2020149571.tif 000014
【図９】
2020149571.tif 000015
【図１０】
2020149571.tif 000016
【図１１】
2020149571.tif 000017
【図１２】
2020149571.tif 000018
【図１３】
2020149571.tif 000019
【図１４】
2020149571.tif 000020
【図１５】
2020149571.tif 000021
【図１６】
2020149571.tif 000022
【図１７】
2020149571.tif 000023
【図１８】
2020149571.tif 000024
【図１９】
2020149571.tif 000025
【図２０】
2020149571.tif 000026
【図２１】
2020149571.tif 000027
【図２２】
2020149571.tif 000028
【図２３】
2020149571.tif 000029
【図２４】
2020149571.tif 000030
【図２５】
2020149571.tif 000031
【図２６】
2020149571.tif 000032
【図２７】
2020149571.tif 000033