(57)【要約】【課題】ＣＮＮが入力画像の識別に用いた画像中の特徴を効率的に表現することができるようにする。【解決手段】ＣＮＮの特定の層で用いられる複数のフィルタについて、予め定義した複数の概念を表す領域が求められた複数の画像を入力とした時の、当該フィルタから出力される特徴マップと、概念を表す領域との関連度を示す一致率を概念毎に計算し、入力画像をＣＮＮに入力した際に、複数のフィルタから出力される特徴マップを、当該特徴マップの値に基づいて各クラスタに分類した結果と、一致率とに基づいて、概念毎に、複数のクラスタについて、当該特徴マップを出力したフィルタの概念についての一致率を用いて統合した統合マップを計算し、統合マップの値に基づく閾値を用いて可視化した特徴表現可視化画像と、当該統合マップに対応する当該概念の情報との対を出力する。【選択図】図１
2019145040.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に対して、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）の特定の層が捉えた特徴を表現する情報を出力する特徴表現装置であって、
前記ＣＮＮの前記特定の層で用いられる複数のフィルタの各々について、予め定義した複数の概念の各々を表す領域が求められた複数の画像の各々を入力とした時の、前記フィルタから出力される特徴マップと、前記概念を表す領域との関連度を示す一致率を前記複数の概念毎に計算する一致率計算部と、
前記入力画像を前記ＣＮＮに入力した際に、前記複数のフィルタの各々から出力される特徴マップを計算する特徴マップ計算部と、
前記特徴マップ計算部により前記複数のフィルタの各々について計算された前記特徴マップを、前記特徴マップの値に基づいて、複数のクラスタの何れかに分類するクラスタリング処理部と、
前記クラスタリング処理部による前記特徴マップの分類結果と、前記一致率とに基づいて、前記複数の概念毎に、前記複数のクラスタの各々について、前記クラスタに分類された複数の特徴マップを、前記特徴マップを出力したフィルタの前記概念についての前記一致率を用いて統合した統合マップを計算する統合マップ計算部と、
前記複数の概念毎に、前記複数のクラスタの各々について、前記統合マップ計算部により計算された前記統合マップの値に基づいて、閾値を計算する閾値計算部と、
前記統合マップの各々について、前記閾値を用いて可視化した特徴表現可視化画像と、前記統合マップに対応する前記概念の情報との対を出力する閾値処理部と、
を含む特徴表現装置。
【請求項２】
前記統合マップ計算部は、前記複数の概念毎に、前記複数のクラスタの各々について、前記クラスタに分類された複数の特徴マップの、前記特徴マップを出力したフィルタの前記概念についての前記一致率を用いた線形和により統合する
請求項１記載の特徴表現装置。
【請求項３】
前記複数の統合マップの各々について、前記統合マップのサイズを変換するリサイズ処理部
を更に含み、
前記閾値処理部は、前記リサイズ処理部によりサイズを変換された前記統合マップの各々について、前記閾値を用いて可視化した特徴表現可視化画像と、前記統合マップに対応する前記概念の情報との対を出力する
請求項１又は２記載の特徴表現装置。
【請求項４】
入力画像に対して、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）の特定の層で捉えた特徴を表現する情報を出力する特徴表現装置であって、
予め定義した複数の概念の各々を表す領域が予め求められた複数の画像の各々に基づいて、前記複数の概念の各々について、前記概念の情報と、前記ＣＮＮの前記特定の層で前記概念について注目した領域を可視化した特徴表現可視化画像との対を出力する特徴表現部
を含む特徴表現装置。
【請求項５】
入力画像に対して、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）の特定の層が捉えた特徴を表現する情報を出力する特徴表現方法であって、
一致率計算部が、前記ＣＮＮの前記特定の層で用いられる複数のフィルタの各々について、予め定義した複数の概念の各々を表す領域が求められた複数の画像の各々を入力とした時の、前記フィルタから出力される特徴マップと、前記概念を表す領域との関連度を示す一致率を前記複数の概念毎に計算し、
特徴マップ計算部が、前記入力画像を前記ＣＮＮに入力した際に、前記複数のフィルタの各々から出力される特徴マップを計算し、
クラスタリング処理部が、前記特徴マップ計算部により前記複数のフィルタの各々について計算された前記特徴マップを、前記特徴マップの値に基づいて、複数のクラスタの何れかに分類し、
統合マップ計算部が、前記クラスタリング処理部による前記特徴マップの分類結果と、前記一致率とに基づいて、前記複数の概念毎に、前記複数のクラスタの各々について、前記クラスタに分類された複数の特徴マップを、前記特徴マップを出力したフィルタの前記概念についての前記一致率を用いて統合した統合マップを計算し、
閾値計算部が、前記複数の概念毎に、前記複数のクラスタの各々について、前記統合マップ計算部により計算された前記統合マップの値に基づいて、閾値を計算し、
閾値処理部が、前記統合マップの各々について、前記閾値を用いて可視化した特徴表現可視化画像と、前記統合マップに対応する前記概念の情報との対を出力する
特徴表現方法。
【請求項６】
前記統合マップ計算部は、前記複数の概念毎に、前記複数のクラスタの各々について、前記クラスタに分類された複数の特徴マップの、前記特徴マップを出力したフィルタの前記概念についての前記一致率を用いた線形和により統合する
請求項５記載の特徴表現方法。
【請求項７】
入力画像に対して、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）の特定の層で捉えた特徴を表現する情報を出力する特徴表現方法であって、
特徴表現部が、予め定義した複数の概念の各々を表す領域が予め求められた複数の画像の各々に基づいて、前記複数の概念の各々について、前記概念の情報と、前記ＣＮＮの前記特定の層で前記概念について注目した領域を可視化した特徴表現可視化画像との対を出力する
特徴表現方法。
【請求項８】
コンピュータを、請求項１乃至４の何れか１項記載の特徴表現装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特徴表現装置、特徴表現方法、およびプログラムに係り、特に、入力画像に対して、ＣＮＮの特定の層が捉えた特徴を表現する情報を出力する特徴表現装置、特徴表現方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラやスマートフォンの普及により容易に画像の取得が可能となり、それらの画像がインターネットを介し流通することで、多様な環境で多様なモノが撮影された画像と接することが容易となった。そのような状況において、画像中に写ったモノが何であるか分からない状況は多々ある。未知のモノについて簡易に情報が取得できないとき、画像情報からあらゆるモノの識別が可能となり、新たな情報を得ることができればこの問題を解決できる。
【０００３】
このように、画像情報から新たな情報の提供を可能とする画像の識別技術への要望は高まっている。
【０００４】
画像の識別技術に関して、従来、種々の技術が発明・開示されている。例えば非特許文献１では、ＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）に基づく方法が開示されている。これは、名称が既知の物体を含む画像の特徴と名称との関係を計算機に学習させることで、新たに入力された画像（クエリ画像）を分類する。各々の画像から、特徴点と呼ばれる微小な領域を検出し、特徴点毎にＳＩＦＴ特徴量を算出する。特徴量をＶｉｓｕａｌＷｏｒｄと呼ばれる符号に量子化し、各々の画像をＶｉｓｕａｌＷｏｒｄの出現頻度のヒストグラムによって表現する。得られたヒストグラムをその画像の特徴量として計算機に学習させることで、未知のクエリ画像を識別できる。
【０００５】
同様に、特許文献１に開示される技術は、画像に含まれる特定の柄を含む部分画像を切り出し、それら部分画像の特徴量を算出する。算出した特徴量から生成されたヒストグラムと、画像の対応は、非特許文献１と同様に、計算機に学習させることで、未知のクエリ画像を識別できる。
【０００６】
非特許文献１によれば、入力画像の中から特徴的であるような点を検出し、それらの特徴点毎にＳＩＦＴ特徴量を算出する。同様に、特許文献においても、入力画像の中から特定の柄を含む部分画像を切り出し、それらの部分画像毎に特徴量を算出する。従って、これらの技術において、画像中のどの部分を捉えるかは自明であり、また、入力に対して記述される特徴量は予め定められている。
【０００７】
そのため、画像の識別結果が得られたとき、その識別結果を導いた要因を分析するために画像中から捉えられた特徴を用いることができる。
【０００８】
一方で、非特許文献２開示されているような、Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ（ＣＮＮ）に基づく方法が多く開示されている。
【０００９】
ＣＮＮは、特徴を検出するフィルタをスライドさせながら入力画像に対して掛け合わせて作成した特徴マップを出力する畳み込み処理と、抽出した特徴を局所領域ごとにまとめ上げるプーリング処理を繰り返し行っている。データに合わせて、特徴を検出するフィルタを学習し、プーリング処理によって検出した特徴の位置に対する頑健性を高めることで、高い識別性能を発揮することが知られる。
【００１０】
各フィルタは最終的に画像をより良く弁別するよう自動で学習されるため、画像がどのような特徴表現となるかは学習データ次第である。
【００１１】
そのため、画像の識別結果が得られたとき、識別結果を導いた要因を分析するために、ＣＮＮが捉えた特徴をそのまま利用することが困難という問題がある。
【００１２】
例えば、識別結果に誤りが生じた場合、誤りの原因の分析が困難であり、このことがＣＮＮに基づく画像識別技術の実用化における大きな障壁となっている。
【００１３】
以上の問題に対して、ＣＮＮの識別結果を導いた要因を説明するいくつかの発明がなされ、開示されてきている。
【００１４】
例えば、ＣＮＮが最終的に画像中で注目した部分を明瞭に可視化することを目的とした技術が開示されている（非特許文献３）。
【００１５】
非特許文献３では、最終層の特徴マップについて識別結果に対する影響度合いを示す勾配を求め、その値を重みとし、最終層の特徴マップとの線形和をとることで最終層での注目箇所を求めている。ユーザは、ある画像の識別結果が得られたときに、最終的に注目した部分を知ることができる。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特開２０１４−６７１７４号公報
【非特許文献】
【００１７】
【非特許文献１】G. Csurka, C. R. Dance, L. Fan, J. Willamowski and C. Bray. “Visual categorization with bags of keypoints” in Pro. Of ECCV Workshop on Statistical Learning in Computer Vision, 2004, pp.59-74
【非特許文献２】K. He, X. Zhang, S. Ren, and J. Sun. “Deep residual learning for image recognition.” In Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 770-778.
【非特許文献３】R. R. Selvaraju, A. Das, R. Vedantam, M. Cogswell, D. Parikh and D. Batra. “Grad-CAM: Why did you say that? Visual Explanations from Deep Networks via Gradient-based Localization” arXiv:1610.02391, 2016
【発明の概要】
【発明が解決しようとする課題】
【００１８】
非特許文献３では、ＣＮＮが最終的に注目した場所を提示することが出来る。
【００１９】
しかし、この方法は最終出力との関連が強い領域を求めており、ＣＮＮが画像中で捉えている特徴に関する情報は得られないため、識別結果の要因を分析するためにＣＮＮが画像中から捉えた特徴を用いることができない。
【００２０】
このため、ＣＮＮに基づく画像識別技術において、ＣＮＮが画像中のどの部分のどのような特徴を捉えたのか効率的に表現できない、という問題があった。
【００２１】
本発明は上記の点に鑑みてなされたものであり、ＣＮＮが入力画像の識別に用いた画像中の特徴を効率的に表現することができる特徴表現装置、特徴表現方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２２】
本発明に係る特徴表現装置は、入力画像に対して、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）の特定の層が捉えた特徴を表現する情報を出力する特徴表現装置であって、前記ＣＮＮの前記特定の層で用いられる複数のフィルタの各々について、予め定義した複数の概念の各々を表す領域が求められた複数の画像の各々を入力とした時の、前記フィルタから出力される特徴マップと、前記概念を表す領域との関連度を示す一致率を前記複数の概念毎に計算する一致率計算部と、前記入力画像を前記ＣＮＮに入力した際に、前記複数のフィルタの各々から出力される特徴マップを計算する特徴マップ計算部と、前記特徴マップ計算部により前記複数のフィルタの各々について計算された前記特徴マップを、前記特徴マップの値に基づいて、複数のクラスタの何れかに分類するクラスタリング処理部と、前記クラスタリング処理部による前記特徴マップの分類結果と、前記一致率とに基づいて、前記複数の概念毎に、前記複数のクラスタの各々について、前記クラスタに分類された複数の特徴マップを、前記特徴マップを出力したフィルタの前記概念についての前記一致率を用いて統合した統合マップを計算する統合マップ計算部と、前記複数の概念毎に、前記複数のクラスタの各々について、前記統合マップ計算部により計算された前記統合マップの値に基づいて、閾値を計算する閾値計算部と、前記統合マップの各々について、前記閾値を用いて可視化した特徴表現可視化画像と、前記統合マップに対応する前記概念の情報との対を出力する閾値処理部と、を備えて構成される。
【００２３】
また、本発明に係る特徴表現方法は、入力画像に対して、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）の特定の層が捉えた特徴を表現する情報を出力する特徴表現方法であって、一致率計算部が、前記ＣＮＮの前記特定の層で用いられる複数のフィルタの各々について、予め定義した複数の概念の各々を表す領域が求められた複数の画像の各々を入力とした時の、前記フィルタから出力される特徴マップと、前記概念を表す領域との関連度を示す一致率を前記複数の概念毎に計算し、特徴マップ計算部が、前記入力画像を前記ＣＮＮに入力した際に、前記複数のフィルタの各々から出力される特徴マップを計算し、クラスタリング処理部が、前記特徴マップ計算部により前記複数のフィルタの各々について計算された前記特徴マップを、前記特徴マップの値に基づいて、複数のクラスタの何れかに分類し、統合マップ計算部が、前記クラスタリング処理部による前記特徴マップの分類結果と、前記一致率とに基づいて、前記複数の概念毎に、前記複数のクラスタの各々について、前記クラスタに分類された複数の特徴マップを、前記特徴マップを出力したフィルタの前記概念についての前記一致率を用いて統合した統合マップを計算し、閾値計算部が、前記複数の概念毎に、前記複数のクラスタの各々について、前記統合マップ計算部により計算された前記統合マップの値に基づいて、閾値を計算し、閾値処理部が、前記統合マップの各々について、前記閾値を用いて可視化した特徴表現可視化画像と、前記統合マップに対応する前記概念の情報との対を出力する。
【００２４】
本発明に係る特徴表現装置及び特徴表現方法によれば、一致率計算部が、ＣＮＮの特定の層で用いられる複数のフィルタの各々について、予め定義した複数の概念の各々を表す領域が求められた複数の画像の各々を入力とした時の、当該フィルタから出力される特徴マップと、当該概念を表す領域との関連度を示す一致率を複数の概念毎に計算し、特徴マップ計算部が、入力画像をＣＮＮに入力した際に、複数のフィルタの各々から出力される特徴マップを計算し、クラスタリング処理部が、特徴マップ計算部により複数のフィルタの各々について計算された特徴マップを、当該特徴マップの値に基づいて、複数のクラスタの何れかに分類する。
【００２５】
そして、統合マップ計算部が、クラスタリング処理部による特徴マップの分類結果と、一致率とに基づいて、複数の概念毎に、複数のクラスタの各々について、当該クラスタに分類された複数の特徴マップを、当該特徴マップを出力したフィルタの当該概念についての当該一致率を用いて統合した統合マップを計算し、閾値計算部が、複数の概念毎に、複数のクラスタの各々について、統合マップ計算部により計算された統合マップの値に基づいて、閾値を計算し、閾値処理部が、統合マップの各々について、当該閾値を用いて可視化した特徴表現可視化画像と、当該統合マップに対応する当該概念の情報との対を出力する。
【００２６】
このように、ＣＮＮの特定の層で用いられる複数のフィルタについて、予め定義した複数の概念を表す領域が求められた複数の画像を入力とした時の、当該フィルタから出力される特徴マップと、概念を表す領域との関連度を示す一致率を概念毎に計算し、入力画像をＣＮＮに入力した際に、複数のフィルタから出力される特徴マップを、当該特徴マップの値に基づいて各クラスタに分類した結果と、一致率とに基づいて、概念毎に、複数のクラスタについて、当該特徴マップを出力したフィルタの概念についての一致率を用いて統合した統合マップを計算し、統合マップの値に基づく閾値を用いて可視化した特徴表現可視化画像と、当該統合マップに対応する当該概念の情報との対を出力することにより、ＣＮＮが入力画像の識別に用いた画像中の特徴を効率的に表現することができる。
【００２７】
また、本発明に係る特徴表現装置の統合マップ計算部は、前記複数の概念毎に、前記複数のクラスタの各々について、前記クラスタに分類された複数の特徴マップの、前記特徴マップを出力したフィルタの前記概念についての前記一致率を用いた線形和により統合することができる。
【００２８】
また、本発明に係る特徴表現方法の統合マップ計算部は、前記複数の概念毎に、前記複数のクラスタの各々について、前記クラスタに分類された複数の特徴マップの、前記特徴マップを出力したフィルタの前記概念についての前記一致率を用いた線形和により統合することができる。
【００２９】
また、本発明に係る特徴表現装置は、前記複数の統合マップの各々について、前記統合マップのサイズを変換するリサイズ処理部を更に含み、前記閾値処理部は、前記リサイズ処理部によりサイズを変換された前記統合マップの各々について、前記閾値を用いて可視化した特徴表現可視化画像と、前記統合マップに対応する前記概念の情報との対を出力することができる。
【００３０】
また、本発明に係る特徴表現装置は、入力画像に対して、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）の特定の層で捉えた特徴を表現する情報を出力する特徴表現装置であって、  予め定義した複数の概念の各々を表す領域が予め求められた複数の画像の各々に基づいて、前記複数の概念の各々について、前記概念の情報と、前記ＣＮＮの前記特定の層で前記概念について注目した領域を可視化した特徴表現可視化画像との対を出力する特徴表現部を備えて構成される。
【００３１】
また、本発明に係る特徴表現方法は、入力画像に対して、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）の特定の層で捉えた特徴を表現する情報を出力する特徴表現方法であって、特徴表現部が、予め定義した複数の概念の各々を表す領域が予め求められた複数の画像の各々に基づいて、前記複数の概念の各々について、前記概念の情報と、前記ＣＮＮの前記特定の層で前記概念について注目した領域を可視化した特徴表現可視化画像との対を出力する。
【００３２】
本発明に係る特徴表現装置及び特徴表現方法によれば、特徴表現部が、予め定義した複数の概念の各々を表す領域が予め求められた複数の画像の各々に基づいて、複数の概念の各々について、当該概念の情報と、ＣＮＮの特定の層で当該概念について注目した領域を可視化した特徴表現可視化画像との対を出力する。
【００３３】
このように、予め定義した複数の概念の各々を表す領域が予め求められた複数の画像の各々に基づいて、複数の概念の各々について、当該概念の情報と、ＣＮＮの特定の層で当該概念について注目した領域を可視化した特徴表現可視化画像との対を出力することにより、ＣＮＮが入力画像の識別に用いた画像中の特徴を効率的に表現することができる。
【００３４】
本発明に係るプログラムは、上記の特徴表現装置の各部として機能させるためのプログラムである。
【発明の効果】
【００３５】
本発明の特徴表現装置、特徴表現方法、およびプログラムによれば、ＣＮＮが入力画像の識別に用いた画像中の特徴を効率的に表現することができる。
【図面の簡単な説明】
【００３６】
【図１】本発明の実施の形態に係る特徴表現装置の構成を示すブロック図である。
【図２】本発明の実施の形態に係る特徴表現可視化情報の例を示すイメージ図である。
【図３】本発明の実施の形態に係る特徴表現装置における特徴表現処理ルーチンを示すフローチャートである。
【図４】本発明の実施の形態に係る特徴表現処理ルーチンの各ステップにおける出力データのサイズを示す図である。
【発明を実施するための形態】
【００３７】
以下、本発明の実施の形態について図面を用いて説明する。
【００３８】
＜本発明の実施の形態に係る特徴表現装置の概要＞
まず、本発明の実施形態の概要について説明する。
【００３９】
各フィルタの捉える特徴を、予め定義した概念で表現することを目的とした技術がある（参考文献１）。
［参考文献１］D. Bau, B. Zhou, A. Khosla, A. Oliva, A. Torralba. “Network Dissection: Quantifying Interpretability of Deep Visual Representations” in Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, pp.6541-6549.
【００４０】
まず、参考文献１の発明の内容を説明する。各画像に存在する概念のラベルと、各概念の領域を示す二値画像が紐づいた、画像のデータセットを用意する。概念とは、ｏｂｊｅｃｔ、ｐａｒｔ、ｓｃｅｎｅ、ｔｅｘｔｕｒｅ、ｍａｔｅｒｉａｌ、ｃｏｌｏｒの６つのカテゴリに大別され、カテゴリごとに多数のラベルを含むものである。事前に用意したデータセットからある画像を選択し、ＣＮＮに入力したとき、各フィルタでの特徴マップから反応の大きい領域のみ抽出する。前記領域に対し、概念が付与された各領域との、領域の重複度合（一致率）を算出する。データセットの全画像についてこの領域の一致率を算出する。この一致率が各フィルタの各概念に対する捉えやすさを示すスコアとなる。
【００４１】
この一致率を利用し、例えば、あるフィルタに対して一致率最大の概念を対応させ、ある画像のそのフィルタにおける反応を示した特徴マップに基づいて可視化することで、画像中でＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）が捉えた特徴の場所と性質を可視化できる。この可視化画像を、識別結果を導いた要因の分析に用いることができる。
【００４２】
ＣＮＮが捉える特徴を概念で表現可能とした参考文献１を利用し、特徴を概念に置き換えることで、画像中で捉えられた概念を、識別結果の原因の分析に用いることができる。
【００４３】
しかし、ＣＮＮ内部で自動で学習されたフィルタは、人が規定した概念と必ずしも一対一で対応するとは限らず、一つのフィルタが多数の概念に反応する可能性がある。
【００４４】
すなわち、単に一致率が高い概念を考慮するだけでは、画像が持つ概念を捉えきれるとは限らない。このことから、一つのフィルタについて複数の概念を考慮することが必要である。
【００４５】
加えて、ある概念に反応するフィルタが複数存在する可能性がある。すなわち、ある画像のある概念に対して、複数のフィルタが強い反応を示す可能性がある。そのため、前記領域を単純に全て可視化すると、最大でフィルタ数×概念数の可視化が必要となる。
【００４６】
例えば、参考文献１のＲｅｓｉｄｕａｌ  Ｎｅｔｗｏｒｋ−１５２の４層のｒｅｓ５ｃであれば、フィルタ数が２，０４８、概念数が１，１９８とすると、最大で２，４５３，５０４の可視化が必要となるため、冗長な可視化となり、目視確認に多くの人手を要する。
【００４７】
以上の理由から、上記で述べた方法は、同時に一つのフィルタに対して一つの概念しか考慮できず、ある画像中に存在する概念を表現するために複数のフィルタと各フィルタに対して複数の概念を考慮しようとした場合、冗長な可視化となるため、画像中に存在する特徴の場所と性質を表現する方法として不十分である。
【００４８】
本実施形態では、ＣＮＮの特定の層で用いられる複数のフィルタについて、予め定義した複数の概念を表す領域が求められた複数の画像を入力とした時の、当該フィルタから出力される特徴マップと、概念を表す領域との関連度を示す一致率を概念毎に計算し、入力画像をＣＮＮに入力した際に、複数のフィルタから出力される特徴マップを、当該特徴マップの値に基づいて各クラスタに分類した結果と、一致率とに基づいて、概念毎に、複数のクラスタについて、当該特徴マップを出力したフィルタの概念についての一致率を用いて統合した統合マップを計算し、複数の統合マップのサイズを変換した統合マップについて、統合マップの値に基づく閾値を用いて可視化した特徴表現可視化画像と、当該統合マップに対応する当該概念の情報との対を出力することにより、ＣＮＮが入力画像の識別に用いた画像中の特徴を効率的に表現することができる。
【００４９】
すなわち、同時に複数のフィルタと、そのフィルタに対して複数の概念を考慮した上で効率的にＣＮＮが捉えた特徴の場所と性質を可視化できる、という効果が得られる。
【００５０】
本実施形態を、ＣＮＮを用いた画像認識サービスにおける誤認識の原因分析に活用することで、ユーザはＣＮＮが捉えた特徴の場所と性質を認識し、識別結果を導出した要因の分析を容易に行うことができ、ＣＮＮを利用した画像識別技術の実用化の促進に貢献できる。
【００５１】
＜本発明の実施の形態に係る特徴表現装置の構成＞
図１を参照して、本発明の実施の形態に係る特徴表現装置の構成について説明する。図１は、本発明の実施の形態に係る特徴表現装置の構成を示すブロック図である。
【００５２】
特徴表現装置１００は、ＣＰＵと、ＲＡＭと、後述する特徴表現処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。
【００５３】
図１に示すように、本実施形態に係る特徴表現装置１００は、特徴表現部１と、画像データベース（ＤＢ）２と、記憶部３と、ＣＮＮ学習部４とを備えて構成される。
【００５４】
画像ＤＢ２は、画像の集合である画像集合２１を格納している。
【００５５】
画像集合２１の各画像には、ＣＮＮ学習時に用いられる正解ラベルが付与されている。正解ラベルとは、例えば、画像中に写った物体を表す文字列である。
【００５６】
また、画像集合２１の各画像のファイルに対して、各画像ファイルが特定可能な識別子が付与され、任意のファイルが参照可能となっているものとする。例えば、格納された画像ファイル数がＤ枚であるとき、各画像に１以上Ｄ以下の自然数を付与する。
【００５７】
記憶部３は、画像の集合である画像集合３１を格納している。また、一致率計算部１２で算出された一致率を一致率３２として記憶してもよい。
【００５８】
画像集合３１の画像の各々は、当該画像に存在する概念のラベルと、各概念の領域を示す二値画像が紐付いている。概念とは、画像に映る物体の属性であり、概念のラベルは属性を表す文字列である。概念のラベルは、好ましくは、参考文献１で定義されている、ｏｂｊｅｃｔ、ｐａｒｔ、ｓｃｅｎｅ、ｔｅｘｔｕｒｅ、ｍａｔｅｒｉａｌ、ｃｏｌｏｒの６つのカテゴリに大別され、カテゴリ毎に多数のラベルを含むものを用いるとよい。
【００５９】
また、各概念の領域を示す二値画像とは、例えば、画像中の各画素がどの概念に当たるか人手により判断し、ある概念について該当する画素の位置に１を配置し、その他の画素位置に０を配置したマップを概念毎に作成し、これを用いる。
【００６０】
また、画像集合３１の各画像ファイルは、画像ＤＢ２に格納されている画像集合２１と同一の画像集合であっても、異なる画像集合であってもよい。
【００６１】
画像集合３１の各画像ファイルに対して、画像ファイルが特定可能な識別子が付与されており、任意のファイルが参照可能となっているものとする。例えば、記憶部３に格納された画像集合３１の画像ファイル数がＸ枚であるとき、各画像に１以上Ｘ以下の自然数を付与する。
【００６２】
ＣＮＮ学習部４は、画像ＤＢ２から画像集合２１を受け取り、画像中に存在する物体を識別するための任意のネットワーク構造のＣＮＮ、例えば非特許文献２で提案されたＤｅｅｐ  Ｒｅｓｉｄｕａｌ  Ｎｅｔｗｏｒｋを学習し、ＣＮＮモデルを出力する。
【００６３】
ここで、ＣＮＮモデルとは、畳み込み処理と、プーリング処理の組み合わせを繰り返し行うニューラルネットワークのネットワーク構造と、学習済みのパラメータ情報を保有するものである。
【００６４】
特徴表現部１は、予め定義した複数の概念の各々を表す領域が予め求められた複数の画像の各々に基づいて、複数の概念の各々について、概念の情報と、ＣＮＮの特定の層で概念について注目した領域を可視化した特徴表現可視化画像との対を出力する。
【００６５】
具体的には、特徴表現部１は、入力画像５または画像ＤＢ２に登録されている画像に対して、ＣＮＮが捉えた特徴がどこにどのように存在するのか表現する特徴表現可視化情報６を生成する。
【００６６】
特徴表現可視化情報６とは、特徴表現可視化画像と概念情報との対からなる。特徴表現可視化画像とは、チャネル数は１であり、数値の範囲は０または１で表現される二値の場合と、０以上の整数で表現される場合がある。数値の範囲が二値の場合は二色で表現された画像であり、０以上の整数の場合はその数値を濃度の変化で表現したヒートマップ画像である。
【００６７】
各々の特徴表現可視化画像に、それぞれ対応する概念が付与された情報が、特徴表現可視化情報６である。特徴表現可視化画像が二値で表現された場合の、特徴表現可視化情報６のイメージ図を図２に示す。
【００６８】
特徴表現部１は、機能的には、特徴マップ計算部１１と、一致率計算部１２と、クラスタリング処理部１３と、統合マップ計算部１４と、閾値計算部１５と、リサイズ処理部１６と、閾値処理部１７とを備えて構成される。
【００６９】
一致率計算部１２は、ＣＮＮの特定の層で用いられる複数のフィルタの各々について、予め定義した複数の概念の各々を表す領域が求められた複数の画像の各々を入力とした時の、当該フィルタｎから出力される特徴マップＡｎ（ｘ）と、当該概念ｃを表す領域との関連度を示す一致率Ｒｎ，ｃを複数の概念毎に計算する。
【００７０】
具体的には、一致率計算部１２は、画像集合３１と、ＣＮＮモデルを受け取った下で、ＣＮＮモデルの各フィルタについて、概念ごとに、画像集合３１に属する画像ｘの当該フィルタｎにおける特徴マップＡｎ（ｘ）の値の大きい領域と、その画像ｘに紐づいた当該概念ｃの領域を示す二値画像との一致率を出力する。
【００７１】
一致率計算部１２は、ＣＮＮ学習部４から受け取ったＣＮＮモデルに記憶部３に格納されている画像集合３１中の画像ｘを入力したとき、任意の層、例えば、特徴マップ計算部１１と同じ層のフィルタｎについての特徴マップＡｎ（ｘ）を収集する。ｘは１以上Ｘ以下の自然数であり、ｎは１以上Ｎ以下の自然数である。すなわち、Ｎ×Ｘ枚の特徴マップが得られる。
【００７２】
ここで、特徴マップＡｎ（ｘ）は行列であり、サイズはｈ×ｗとする。例えば、参考文献１のＲｅｓｉｄｕａｌ  Ｎｅｔｗｏｒｋ−１５２の４層のｒｅｓ５ｃと、Ｂｒｏｄｅｎ  ｄａｔａｓｅｔを用いた場合であれば、画像枚数Ｘは６３，３０５枚であり、フィルタ数Ｎは２，０４８個であり、特徴マップＡｎ（ｘ）が１２９，６４８，６４０枚得られる。また、特徴マップＡｎ（ｘ）のサイズは７×７である。
【００７３】
次に、フィルタごとに、Ｘ枚の特徴マップに含まれるＸ×ｈ×ｗ個の値を予め定めた割合で分割するような閾値を算出する。
【００７４】
例えば、上述の例を用いると、あるフィルタｎについてサイズが７×７の６３，３０５枚の特徴マップＡｎ（ｘ）に含まれる値の個数の合計は、３，１０１，９４５個であり、その内上位０．５％にあたる１５，５０９番目の値を閾値とする。
【００７５】
最終的にフィルタ数Ｎ個の閾値が算出される。
【００７６】
そして、一致率計算部１２は、Ｎ×Ｘ枚の特徴マップＡｎ（ｘ）を、フィルタごとに算出したＮ個の閾値を境界として二値化し、Ｎ×Ｘ枚のマップＭｎ（ｘ）を求める。
【００７７】
記憶部３に格納された画像集合３１中の任意の画像ｘについて、当該画像に紐付いた概念ｃの領域を示す二値画像をＬｃ（ｘ）とする。フィルタｎにおける概念ｃについての一致率をＲｎ，ｃとすると、一致率Ｒｎ，ｃは下記式（１）より求められる。
【００７８】
【数１】
2019145040.tif 000003
【００７９】
ここで、式（１）における∩は、部分集合、∪は和集合、｜・｜は集合の濃度を示す。
【００８０】
一致率Ｒｎ，ｃは、フィルタごとの総和が等しくないため、フィルタごとの一致率の総和が１となるように正規化してもよい（下記式（２））。
【００８１】
【数２】
2019145040.tif 000004
【００８２】
式（２）となるように正規化する方法の一例としては、例えば下記式（３）のような方法がある。
【００８３】
【数３】
2019145040.tif 000005
【００８４】
一致率Ｒｎ，ｃは事前に算出してもよく、その場合、一致率Ｒｎ，ｃを一致率３２として記憶部３に記憶しておけばよい。記憶部３に一致率３２を記憶しているとき、一致率計算部１２は、記憶部３から一致率３２を取得するだけでよくなるため、効率的である。
【００８５】
そして、一致率計算部１２は、一致率Ｒｎ，ｃを、統合マップ計算部１４に出力する。
【００８６】
特徴マップ計算部１１は、入力画像ｘをＣＮＮに入力した際に、複数のフィルタｎの各々から出力される特徴マップＡｎ（ｘ）を計算する。
【００８７】
具体的には、特徴マップ計算部１１は、入力画像５の入力を受け付けると共に、ＣＮＮ学習部４からＣＮＮモデルを受け取り、ＣＮＮモデルに入力画像５を入力したときの任意の層、例えば５層目の各フィルタｎに対する特徴マップＡｎ（ｘ）を計算する。
【００８８】
そして、特徴マップ計算部１１は、計算した特徴マップＡｎ（ｘ）を、クラスタリング処理部１３に出力する。
【００８９】
クラスタリング処理部１３は、特徴マップ計算部１１により複数のフィルタの各々について計算された特徴マップを、当該特徴マップＡｎ（ｘ）の値に基づいて、複数のクラスタの何れかに分類する。
【００９０】
具体的には、クラスタリング処理部１３は、特徴マップ計算部１１から、ｈ×ｗのサイズの特徴マップＡｎ（ｘ）をＮ枚取得し、クラスタリングを行い、Ｎ枚の特徴マップＡｎ（ｘ）をＫ個のクラスタに分類する。
【００９１】
ｈ、ｗは、それぞれ特徴マップＡｎ（ｘ）の縦、横の大きさ、Ｎは当該層のフィルタ数であり、用いるＣＮＮモデル及び層によって規定される。例えば、参考文献１のＲｅｓｉｄｕａｌ  Ｎｅｔｗｏｒｋ−１５２の４層のｒｅｓ５ｃであれば、ｈ、ｗ、Ｎは、それぞれ７、７、２，０４８となる。
【００９２】
また、Ｋはクラスタ数であり、Ｋを事前に設定する必要性の有無は、用いるクラスタリング手法によって決まる。
【００９３】
ここで、クラスタリングとは、特徴マップＡｎ（ｘ）中の、値が大きい領域の範囲が似通った特徴マップ同士をまとめるための処理である。
【００９４】
クラスタリングの手法として、ｋｍｅａｎｓ法を用いた場合の一例を示す。クラスタ数はパラメータであり、任意の値を設定する。ここでは、例えばＫ＝５とする。各特徴マップＡｎ（ｘ）について特徴マップＡｎ（ｘ）中の最大要素を抽出し、特徴マップの左上端の座標を（０，０）としたときの最大要素の位置の座標を求め、この座標に基づいてクラスタリングを行う。
【００９５】
クラスタリング手法は、ｋｍｅａｎｓ法でなくてもよく、例えば最短距離法や、階層型クラスタリング等、種々のクラスタリング手法を採用することができる。
【００９６】
また、各特徴マップＡｎ（ｘ）の値の大きい領域を表す方法として最大値の座標でなくてもよく、例えば上位３点の座標を利用してもよい。
【００９７】
また、他にも、予め特徴マップＡｎ（ｘ）を４つの領域に分割しておき、各特徴マップＡｎ（ｘ）の最大値がそれら４つの領域の内どの領域に属するかに従って、特徴マップＡｎ（ｘ）を分類する方法がある。
【００９８】
そして、クラスタリング処理部１３は、Ｋ個のクラスタに分類された各フィルタの特徴マップＡｎ（ｘ）を、統合マップ計算部１４に出力する。
【００９９】
統合マップ計算部１４は、クラスタリング処理部１３による特徴マップＡｎ（ｘ）の分類結果と、一致率Ｒｎ，ｃとに基づいて、複数の概念ｃ毎に、複数のクラスタｋの各々について、当該クラスタｋに分類された複数の特徴マップを、当該特徴マップＡｎ（ｘ）を出力したフィルタｎの概念ｃについての一致率Ｒｎ，ｃを用いて統合した統合マップ
2019145040.tif 000006
を計算する。
【０１００】
具体的には、統合マップ計算部１４は、クラスタリング処理部１３から取得したクラスタｋに分類された特徴マップＡｎ（ｘ）と、一致率計算部１２から取得した一致率Ｒｎ，ｃとに基づいて、特徴マップＡｎ（ｘ）を統合した統合マップ
2019145040.tif 000007
を計算する。
【０１０１】
統合マップ
2019145040.tif 000008
は、クラスタｋごとに各概念ｃの存在する度合いを表すマップであり、特徴マップＡｎ（ｘ）を、概念ｃの一致率に基づいて、クラスタｋごとに統合することで算出できる。ここで、統合マップ
2019145040.tif 000009
を算出する方法として、クラスタｋごと、概念ｃごとに特徴マップＡｎ（ｘ）と一致率Ｒｎ，ｃとの線形和を計算する方法がある。この場合、統合マップ計算部１４は、クラスタｋごとに、下記式（４）のようにして統合マップ
【０１０２】
2019145040.tif 000010
を算出する。
【０１０３】
【数４】
2019145040.tif 000011
【０１０４】
ここで、特徴マップＡｎ（ｘ）が属するクラスタを、γｎ，ｋで表し、特徴マップＡｎ（ｘ）がクラスタｋに属するときにγｎ，ｋ＝１、それ以外の場合はγｎ，ｋ＝０とする。
【０１０５】
また、線形和を計算することは必ずしも必要でなく、特徴マップＡｎ（ｘ）に一致率Ｒｎ，ｃをかけたマップの要素ごとに最大値を取ることで、クラスタｋごと、概念ｃごとの統合マップ
2019145040.tif 000012
を算出してもよい。さらに、最大値の代わりに平均値や中央値を取ってもよい。
【０１０６】
そして、統合マップ計算部１４は、算出したＫ×Ｃ個の統合マップ
2019145040.tif 000013
を、閾値計算部１５と、リサイズ処理部１６とに出力する。
【０１０７】
閾値計算部１５は、複数の概念ｃ毎に、複数のクラスタｋの各々について、統合マップ計算部１４により計算された当該統合マップ
2019145040.tif 000014
の値に基づいて、閾値を計算する。
【０１０８】
具体的には、閾値計算部１５は、統合マップ計算部１４から統合マップ
2019145040.tif 000015
を受け取り、クラスタｋごとの統合マップ
2019145040.tif 000016
の値を、予め定めた割合で分割するような閾値を出力する。
【０１０９】
例えば参考文献１のＲｅｓｉｄｕａｌ  Ｎｅｔｗｏｒｋ−１５２の４層のｒｅｓ５ｃであれば、統合マップのサイズは７×７、概念数が１，１９８個であり、各クラスタｋの統合マップ
2019145040.tif 000017
中の値の個数の合計は５８，７０２個であり、その内上位５％にあたる２，９３５番目の値を閾値とする。最終的にＫ個の閾値が算出される。
【０１１０】
そして、閾値計算部１５は、算出したＫ個の閾値を、リサイズ処理部１６と、閾値処理部１７とに出力する。
【０１１１】
リサイズ処理部１６は、複数の統合マップの各々について、当該統合マップ
2019145040.tif 000018
のサイズを変換する。
【０１１２】
例えば、特徴表現可視化画像と入力画像５との位置の対応を確認したい場合、リサイズ処理部１６は、統合マップ計算部１４から取得したＫ×Ｃ個の統合マップ
2019145040.tif 000019
を、特徴マップ計算部１１で受け付けた入力画像５のサイズに変換（リサイズ）し、画像サイズの統合マップを出力する。また、特徴表現可視化画像と入力画像５との位置の対応を確認する必要が無い場合、効率化のために、リサイズ処理部１６が受け取った統合マップのサイズを変換せずに出力してもよい。
【０１１３】
画像のリサイズ方法としては公知の方法用いれば良く、例えば、最近傍補間法やバイリニア補間法を用いれば良い。
【０１１４】
また、効率化のために、サイズ変換をする前に統合マップ
2019145040.tif 000020
の絞込みを行っても良い。絞込み方法は、例えば、閾値計算部１５からクラスタｋごとの閾値を取得し、閾値以上の値を含まない統合マップ
2019145040.tif 000021
を削除する方法や、各統合マップの最大値を比較し、各クラスタで上位の予め定めた件数の統合マップ
2019145040.tif 000022
のみを残す方法がある。
【０１１５】
そして、リサイズ処理部１６は、リサイズした統合マップを、閾値処理部１７に出力する。
【０１１６】
閾値処理部１７は、リサイズ処理部１６によりサイズを変換された統合マップの各々について、閾値計算部１５により計算された閾値を用いて可視化した特徴表現可視化画像と、当該統合マップ
2019145040.tif 000023
に対応する当該概念ｃの情報との対を出力する。
【０１１７】
具体的には、閾値処理部１７は、概念ｃ毎及びクラスタｋ毎に、リサイズ処理部１６により取得した、リサイズされた統合マップと、閾値計算部１５から取得した当該クラスタｋについての閾値を受け取り、閾値に満たない領域を０とした統合マップを特徴表現可視化画像とする。
【０１１８】
次に、特徴表現可視化画像と対応する概念情報との対を、特徴表現可視化情報６として出力する。
【０１１９】
特徴表現可視化画像は、閾値を満たす領域を単色で色付けした二値化画像でも、閾値を満たす領域の値に基づいて濃度変化を表現したヒートマップ画像でもよい。
【０１２０】
そして、閾値処理部１７は、特徴表現可視化情報６を出力する。
【０１２１】
＜本発明の実施の形態に係る特徴表現装置の作用＞
図３は、本発明の実施の形態に係る特徴表現処理ルーチンを示すフローチャートである。また、図４は、特徴表現処理ルーチンの各ステップにおける出力データのサイズを示す図である。
【０１２２】
まず、ＣＮＮ学習部４は、画像ＤＢ２から画像集合２１を受け取り、画像中に存在する物体を識別するためのＣＮＮを学習する。そして、特徴マップ計算部１１に入力画像５が入力されると、図３に示す特徴表現処理ルーチンが実行される。
【０１２３】
まず、ステップＳ２０１において、一致率計算部１２が、ＣＮＮの特定の層で用いられる複数のフィルタの各々について、予め定義した複数の概念の各々を表す領域が求められた複数の画像の各々を入力とした時の、当該フィルタｎから出力される特徴マップＡｎ（ｘ）と、当該概念ｃを表す領域との関連度を示す一致率Ｒｎ，ｃを複数の概念毎に計算する。出力される一致率Ｒｎ，ｃのサイズはＯ３０１の示すようになる。
【０１２４】
次に、ステップＳ２０２において、特徴マップ計算部１１は、入力画像５をＣＮＮに入力した際に、複数のフィルタの各々から出力される特徴マップＡｎ（ｘ）を計算する。出力される特徴マップＡｎ（ｘ）のサイズはＯ３０２に示すようになる。
【０１２５】
ステップＳ２０３において、クラスタリング処理部１３は、上記ステップＳ２０２により得られた複数のフィルタの各々について計算された特徴マップを、当該特徴マップＡｎ（ｘ）の値に基づいて、複数のクラスタの何れかに分類する。出力される分類結果のサイズは、Ｏ３０３に示すようになる。
【０１２６】
ステップＳ２０４において、統合マップ計算部１４は、上記ステップＳ２０３により得られた特徴マップＡｎ（ｘ）の分類結果と、一致率Ｒｎ，ｃとに基づいて、複数の概念ｃ毎に、複数のクラスタｋの各々について、当該クラスタｋに分類された複数の特徴マップを、当該特徴マップＡｎ（ｘ）を出力したフィルタｎの概念ｃについての一致率Ｒｎ，ｃを用いて統合した統合マップ
2019145040.tif 000024
を計算する。出力される統合マップ
2019145040.tif 000025
のサイズは、Ｏ３０４に示すようになる。
【０１２７】
ステップＳ２０５において、閾値計算部１５は、複数の概念ｃ毎に、複数のクラスタｋの各々について、上記ステップＳ２０４により得られた当該統合マップ
2019145040.tif 000026
の値に基づいて、閾値を計算する。出力される閾値のサイズは、Ｏ３０５に示すようになる。
【０１２８】
ステップＳ２０６において、リサイズ処理部１６は、上記ステップＳ２０４により得られた複数の統合マップの各々について、当該統合マップ
2019145040.tif 000027
のサイズを変換する。出力される変換後の統合マップのサイズは、Ｏ３０６に示すようになる。
【０１２９】
ステップＳ２０７において、閾値処理部１７は、上記ステップＳ２０６により得られたサイズを変換された統合マップの各々について、上記ステップ２０５により得られた閾値を用いて可視化した特徴表現可視化画像と、当該統合マップ
2019145040.tif 000028
に対応する当該概念ｃの情報との対である特徴表現可視化情報６を出力する。出力される特徴表現可視化情報６のサイズはＯ３０７に示すようになる。
【０１３０】
以上説明したように、本実施形態に係る特徴表現装置によれば、ＣＮＮの特定の層で用いられる複数のフィルタについて、予め定義した複数の概念を表す領域が求められた複数の画像を入力とした時の、当該フィルタから出力される特徴マップと、概念を表す領域との関連度を示す一致率を概念毎に計算し、入力画像をＣＮＮに入力した際に、複数のフィルタから出力される特徴マップを、当該特徴マップの値に基づいて各クラスタに分類した結果と、一致率とに基づいて、概念毎に、複数のクラスタについて、当該特徴マップを出力したフィルタの概念についての一致率を用いて統合した統合マップを計算し、統合マップの値に基づく閾値を用いて可視化した特徴表現可視化画像と、当該統合マップに対応する当該概念の情報との対を出力することにより、ＣＮＮが入力画像の識別に用いた画像中の特徴を効率的に表現することができる。
【０１３１】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１３２】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【０１３３】
１     特徴表現部
２     画像ＤＢ
３     記憶部
４     ＣＮＮ学習部
５     入力画像
６     特徴表現可視化情報
１１   特徴マップ計算部
１２   一致率計算部
１３   クラスタリング処理部
１４   統合マップ計算部
１５   閾値計算部
１６   リサイズ処理部
１７   閾値処理部
２１   画像集合
３１   画像集合
３２   一致率
１００ 特徴表現装置
【図１】
2019145040.tif 000029
【図２】
2019145040.tif 000030
【図３】
2019145040.tif 000031
【図４】
2019145040.tif 000032