(57)【要約】【課題】誤推論の原因となる画像箇所を特定する際の精度を向上させる。【解決手段】解析プログラムは、画像認識処理において、誤ったラベルが推論された際の入力画像である誤推論画像を、推論の正解ラベルのスコアが最大となるように変更しながら、リファイン画像を生成し、前記誤推論画像のうちの所定の領域が前記リファイン画像で置き換えられた画像が、推論部に入力されることで推論されたラベルのスコアに基づいて、前記所定の領域を絞り込み、誤推論の原因となる画像箇所を特定する、処理をコンピュータに実行させる。【選択図】図１
2020197875.tif 000002
【特許請求の範囲】
【請求項１】
画像認識処理において、誤ったラベルが推論された際の入力画像である誤推論画像を、推論の正解ラベルのスコアが最大となるように変更しながら、リファイン画像を生成し、
前記誤推論画像のうちの所定の領域が前記リファイン画像で置き換えられた画像が、推論部に入力されることで推論されたラベルのスコアに基づいて、前記所定の領域を絞り込み、誤推論の原因となる画像箇所を特定する、
処理をコンピュータに実行させるための解析プログラム。
【請求項２】
前記ラベルが推論された際の前記推論部の情報から、前記ラベルの推論に影響する度合いを示すマップを生成し、
生成された前記マップに応じた大きさに、前記所定の領域を絞り込む、請求項１に記載の解析プログラム。
【請求項３】
Ｇｒａｄ−ＣＡＭ法を用いることで、前記推論部の情報から推論の際に前記推論部が注目した前記誤推論画像の各画像部分の注目度合いを示すマップを生成し、
前記所定の領域を、所定のレベル以上の注目度合いを有する画像部分に絞り込む、請求項２に記載の解析プログラム。
【請求項４】
前記誤推論画像のうちの前記所定の領域を、推論の正解ラベルのスコアが最大となるように変更しながら、前記リファイン画像を生成する、請求項３に記載の解析プログラム。
【請求項５】
前記誤推論画像の全体を、推論の正解ラベルのスコアが最大となるように変更しながら、前記リファイン画像を生成する、請求項３に記載の解析プログラム。
【請求項６】
前記所定のレベルを上げて前記所定の領域を絞り込むことで、前記推論部が推論したラベルのスコアが許容値を下回った場合に、絞り込む前の領域を、前記誤推論の原因となる画像箇所として特定する、請求項４または５に記載の解析プログラム。
【請求項７】
前記リファイン画像を生成する際に前記誤推論画像から変更された変更部分と、前記推論部の情報から算出される前記誤推論画像の特徴部分とを重畳することで、前記誤推論画像の各画素の重要特徴を示すマップを生成し、
前記誤推論画像をスーパーピクセルに分割し、
前記スーパーピクセルごとに、前記各画素の重要特徴を示すマップの画素値を加算した場合の加算値が、所定の閾値以上となるスーパーピクセルに、前記所定の領域を絞り込む、請求項２に記載の解析プログラム。
【請求項８】
前記誤推論画像と前記リファイン画像との差分に基づいて、前記リファイン画像を生成する際に前記誤推論画像から変更された変更部分を算出し、
ＢＰ法またはＧＢＰ法を用いることで、前記推論部の情報から推論の際に前記推論部が用いた前記リファイン画像の特徴部分を算出する、請求項７に記載の解析プログラム。
【請求項９】
前記誤推論画像を、推論の正解ラベルのスコアが最大となるように変更しながら前記リファイン画像を生成する場合において、前記リファイン画像を生成するごとに、前記誤推論画像の各画素の重要特徴を示すマップをそれぞれ生成し、
前記スーパーピクセルごとに、前記各画素の重要特徴を示すマップのそれぞれの画素値の平均値を加算することで、前記加算値を算出する、請求項７に記載の解析プログラム。
【請求項１０】
前記所定の領域が絞り込まれた後に、前記誤推論画像を、推論の正解ラベルのスコアが最大となるように、再度、変更してリファイン画像を生成し、再度、所定の閾値以上となるスーパーピクセルに、前記所定の領域を絞り込む、請求項７に記載の解析プログラム。
【請求項１１】
前記誤推論画像と前記リファイン画像との差分に基づいて算出される差分画像から、前記所定の領域を切り出した画像と、前記誤推論画像と前記リファイン画像とをＳＳＩＭ演算することで得られるＳＳＩＭ画像から、前記所定の領域を切り出した画像と、を乗算することで得られる乗算画像を、前記誤推論画像にて可視化する、請求項１に記載の解析プログラム。
【請求項１２】
前記誤推論画像と前記リファイン画像との差分に基づいて算出される差分画像から、前記所定の領域を切り出した画像と、
前記誤推論画像と前記リファイン画像とをＳＳＩＭ演算することで得られるＳＳＩＭ画像から、前記所定の領域を切り出した画像と、
ＢＰ法またはＧＢＰ法を用いることで、前記推論部の情報から推論の際に前記推論部が用いた前記リファイン画像の特徴部分のうち、前記所定の領域を切り出した画像と、
を乗算することで得られる乗算画像を、前記誤推論画像にて可視化する請求項１に記載の解析プログラム。
【請求項１３】
画像認識処理において、誤ったラベルが推論された際の入力画像である誤推論画像を、推論の正解ラベルのスコアが最大となるように変更しながら、リファイン画像を生成するリファイン画像生成部と、
前記誤推論画像のうちの所定の領域が前記リファイン画像で置き換えられた画像が、推論部に入力されることで推論されたラベルのスコアに基づいて、前記所定の領域を絞り込み、誤推論の原因となる画像箇所を特定する特定部と
を有する解析装置。
【請求項１４】
画像認識処理において、誤ったラベルが推論された際の入力画像である誤推論画像を、推論の正解ラベルのスコアが最大となるように変更しながら、リファイン画像を生成し、
前記誤推論画像のうちの所定の領域が前記リファイン画像で置き換えられた画像が、推論部に入力されることで推論されたラベルのスコアに基づいて、前記所定の領域を絞り込み、誤推論の原因となる画像箇所を特定する、
処理をコンピュータが実行する解析方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、解析プログラム、解析装置及び解析方法に関する。
【背景技術】
【０００２】
従来より、ＣＮＮ（Convolutional  Neural  Network）を用いた画像認識処理において、誤ったラベルが推論された場合の誤推論の原因を解析する解析技術が知られている。一例として、スコア最大化法（Activation  Maximization）等が挙げられる。また、ＣＮＮを用いた画像認識処理において、推論の際に特徴として反応した特徴部分を解析する解析技術が知られている。一例として、Ｇｒａｄ−ＣＡＭ法、ＧＢＰ（Guided  Back  Propagation）法等が挙げられる。
【０００３】
このうち、スコア最大化法は、推論の正解ラベルが最大スコアとなるように入力画像を変更した際の変更部分を、誤推論の原因となる画像箇所として特定する方法である。また、Ｇｒａｄ−ＣＡＭ法は、推論したラベルから逆伝播した情報を用いて推論の際の注目部分を算出し、算出した注目部分を、推論の際に反応した特徴部分として特定する方法である。更に、ＧＢＰ法は、推論したラベルから逆伝播し、入力画像までたどることで、推論の際に反応した特徴部分を可視化する方法である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１８−０９７８０７号公報
【特許文献２】特開２０１８−０４５３５０号公報
【非特許文献】
【０００５】
【非特許文献１】Ramprasaath  R．Selvariju，et  al．：Grad-cam：Visual  explanations  from  deep  networks  via  gradient-based  localization．The  IEEE  International  Conference  on  Computer  Vision(ICCV)，pp．618-626，2017．
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した解析技術の場合、誤推論の原因となる画像箇所を十分な精度で特定することができないという問題がある。
【０００７】
一つの側面では、誤推論の原因となる画像箇所を特定する際の精度を向上させることを目的としている。
【課題を解決するための手段】
【０００８】
一態様によれば、解析プログラムは、
画像認識処理において、誤ったラベルが推論された際の入力画像である誤推論画像を、推論の正解ラベルのスコアが最大となるように変更しながら、リファイン画像を生成し、
前記誤推論画像のうちの所定の領域が前記リファイン画像で置き換えられた画像が、推論部に入力されることで推論されたラベルのスコアに基づいて、前記所定の領域を絞り込み、誤推論の原因となる画像箇所を特定する、
処理をコンピュータに実行させる。
【発明の効果】
【０００９】
誤推論の原因となる画像箇所を特定する際の精度を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】解析装置の機能構成の一例を示す図である。
【図２】解析装置のハードウェア構成の一例を示す図である。
【図３】誤推論原因抽出部の機能構成の一例を示す第１の図である。
【図４】リファイン画像生成部の処理の具体例を示す図である。
【図５】変更可能領域及び変更不可領域の変化例を示す図である。
【図６】合成画像が生成されるまでの処理の具体例を示す第１の図である。
【図７】判断部の処理の具体例を示す図である。
【図８】誤推論原因抽出処理の流れを示す第１のフローチャートである。
【図９】誤推論原因抽出処理の流れを示す第２のフローチャートである。
【図１０】誤推論原因抽出部の機能構成の一例を示す第２の図である。
【図１１】合成画像が生成されるまでの処理の具体例を示す第２の図である。
【図１２】誤推論原因抽出処理の流れを示す第３のフローチャートである。
【図１３】誤推論原因抽出部の機能構成の一例を示す第３の図である。
【図１４】マップ生成部の処理の具体例を示す図である。
【図１５】スーパーピクセル分割部の処理の具体例を示す図である。
【図１６】重要スーパーピクセル決定部の処理の具体例を示す図である。
【図１７】合成画像が生成されるまでの処理の具体例を示す第３の図である。
【図１８】誤推論原因抽出処理の流れを示す第４のフローチャートである。
【図１９】誤推論原因抽出処理の流れを示す第５のフローチャートである。
【図２０】誤推論原因抽出処理の具体例を示す第１の図である。
【図２１】誤推論原因抽出部の機能構成の一例を示す第４の図である。
【図２２】誤推論原因抽出処理の具体例を示す第２の図である。
【図２３】誤推論原因抽出部の機能構成の一例を示す第５の図である。
【図２４】誤推論原因抽出処理の具体例を示す第３の図である。
【図２５】誤推論原因抽出部の機能構成の一例を示す第６の図である。
【図２６】詳細原因解析部の機能構成の一例を示す第１の図である。
【図２７】詳細原因解析部の処理の具体例を示す第１の図である。
【図２８】詳細原因解析処理の流れを示す第１のフローチャートである。
【図２９】誤推論原因抽出部の機能構成の一例を示す第７の図である。
【図３０】詳細原因解析部の機能構成の一例を示す第２の図である。
【図３１】詳細原因解析部の処理の具体例を示す第２の図である。
【図３２】詳細原因解析処理の流れを示す第２のフローチャートである。
【発明を実施するための形態】
【００１１】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【００１２】
［第１の実施形態］
＜解析装置の機能構成＞
はじめに、第１の実施形態に係る解析装置の機能構成について説明する。図１は、解析装置の機能構成の一例を示す図である。解析装置１００には、解析プログラムがインストールされており、当該プログラムが実行されることで、解析装置１００は、推論部１１０、誤推論画像抽出部１２０、誤推論原因抽出部１４０として機能する。
【００１３】
推論部１１０は、学習済みのＣＮＮを用いて画像認識処理を行う。具体的には、推論部１１０は、入力画像１０が入力されることで、入力画像１０に含まれるオブジェクトの種類（本実施形態では、車両の種類）を示すラベルを推論し、推論したラベルを出力する。
【００１４】
誤推論画像抽出部１２０は、入力画像１０に含まれるオブジェクトの種類を示すラベル（既知）と、推論部１１０により推論されたラベルとが一致するか否かを判定する。また、誤推論画像抽出部１２０は、一致しないと判定した際の（誤ったラベルが推論された際の）入力画像を、“誤推論画像”として抽出し、誤推論画像格納部１３０に格納する。
【００１５】
誤推論原因抽出部１４０は、誤推論画像について、誤推論の原因となる画像箇所を特定し、誤推論原因情報を出力する。具体的には、誤推論原因抽出部１４０は、リファイン画像生成部１４１と、マップ生成部１４２と、特定部１４３とを有する。
【００１６】
リファイン画像生成部１４１は、誤推論画像格納部１３０に格納された誤推論画像を読み出す。また、リファイン画像生成部１４１は、読み出した誤推論画像を入力した際の正解ラベルのスコアが最大となるように誤推論画像を変更し、スコア最大化リファイン画像を生成する。
【００１７】
マップ生成部１４２は、誤推論の原因を解析する従来の解析技術等を用いて、ラベルの推論に影響する領域を識別するマップを生成する。
【００１８】
特定部１４３は、誤推論画像のうち、生成されたマップに含まれる、ラベルの推論に影響する領域について、生成されたリファイン画像で置き換える。また、特定部１４３は、当該領域をリファイン画像で置き換えた誤推論画像を入力としてラベルを推論し、推論したラベルのスコアから、置き換えの効果を判定する。
【００１９】
また、特定部１４３は、ラベルの推論に影響する領域の大きさを変えながら（絞り込みながら）入力することでラベルを推論し、推論したラベルのスコアの変遷から、誤推論の原因となる画像箇所を特定する。更に、特定部１４３は、特定した誤推論の原因となる画像箇所を、誤推論原因情報として出力する。
【００２０】
このように、ラベルの推論に影響する領域をリファイン画像で置き換える際、置き換えの効果を参照しながら領域を絞り込むことで、誤推論の原因となる画像箇所を精度よく特定することができる。
【００２１】
＜解析装置のハードウェア構成＞
次に、解析装置１００のハードウェア構成について説明する。図２は、解析装置のハードウェア構成の一例を示す図である。図２に示すように、解析装置１００は、ＣＰＵ（Central  Processing  Unit）２０１、ＲＯＭ（Read  Only  Memory）２０２、ＲＡＭ（Random  Access  Memory）２０３を有する。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３は、いわゆるコンピュータを形成する。
【００２２】
また、解析装置１００は、補助記憶装置２０４、表示装置２０５、操作装置２０６、Ｉ／Ｆ（Interface）装置２０７、ドライブ装置２０８を有する。なお、解析装置１００の各ハードウェアは、バス２０９を介して相互に接続されている。
【００２３】
ＣＰＵ２０１は、補助記憶装置２０４にインストールされている各種プログラム（例えば、解析プログラム等）を実行する演算デバイスである。なお、図２には示していないが、演算デバイスとしてアクセラレータ（例えば、ＧＰＵ（Graphics  Processing  Unit）など）を組み合わせてもよい。
【００２４】
ＲＯＭ２０２は、不揮発性メモリである。ＲＯＭ２０２は、補助記憶装置２０４にインストールされている各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ＲＯＭ２０２はＢＩＯＳ（Basic  Input/Output  System）やＥＦＩ（Extensible  Firmware  Interface）等のブートプログラム等を格納する、主記憶デバイスとして機能する。
【００２５】
ＲＡＭ２０３は、ＤＲＡＭ（Dynamic  Random  Access  Memory）やＳＲＡＭ（Static  Random  Access  Memory）等の揮発性メモリである。ＲＡＭ２０３は、補助記憶装置２０４にインストールされている各種プログラムがＣＰＵ２０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
【００２６】
補助記憶装置２０４は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。例えば、誤推論画像格納部１３０は、補助記憶装置２０４において実現される。
【００２７】
表示装置２０５は、誤推論原因情報等を含む各種表示画面を表示する表示デバイスである。操作装置２０６は、解析装置１００のユーザが解析装置１００に対して各種指示を入力するための入力デバイスである。
【００２８】
Ｉ／Ｆ装置２０７は、例えば、不図示のネットワークと接続するための通信デバイスである。
【００２９】
ドライブ装置２０８は記録媒体２１０をセットするためのデバイスである。ここでいう記録媒体２１０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
【００３０】
なお、補助記憶装置２０４にインストールされる各種プログラムは、例えば、配布された記録媒体２１０がドライブ装置２０８にセットされ、該記録媒体２１０に記録された各種プログラムがドライブ装置２０８により読み出されることでインストールされる。あるいは、補助記憶装置２０４にインストールされる各種プログラムは、不図示のネットワークよりダウンロードされることでインストールされてもよい。
【００３１】
＜誤推論原因抽出部の機能構成＞
次に、第１の実施形態に係る解析装置１００において実現される機能のうち、誤推論原因抽出部１４０の機能構成の詳細について説明する。図３は、誤推論原因抽出部の機能構成の一例を示す第１の図である。以下、誤推論原因抽出部１４０の各部（リファイン画像生成部１４１、マップ生成部１４２、特定部１４３）の詳細について説明する。
【００３２】
（１）リファイン画像生成部の詳細
はじめに、リファイン画像生成部１４１の詳細について説明する。図３に示すように、リファイン画像生成部１４１は、画像リファイナ部３０１、画像誤差演算部３０２、推論部３０３、スコア誤差演算部３０４を有する。
【００３３】
画像リファイナ部３０１は、例えば、画像の生成モデルとしてＣＮＮを用いて、マスク画像からリファイン画像を生成する。マスク画像とは、誤推論画像の一部がマスクされた画像である。画像リファイナ部３０１では、マスクされていない領域の誤推論画像を変更することで、リファイン画像を生成する。
【００３４】
なお、画像リファイナ部３０１では、生成したリファイン画像を用いて推論した際に、正解ラベルのスコアが最大となるように、誤推論画像を変更する。また、画像リファイナ部３０１では、例えば、画像の生成モデルを用いてリファイン画像を生成する際には、誤推論画像からの変更量（リファイン画像と誤推論画像との差分）が小さくなるように、リファイン画像を生成する。これにより、画像リファイナ部３０１によれば、視覚的に変更前の画像（誤推論画像）に近い画像（リファイン画像）を得ることができる。
【００３５】
具体的には、画像リファイナ部３０１では、画像の生成モデルとしてＣＮＮを用いる場合、
・生成したリファイン画像を用いて推論した際のスコアと正解ラベルのスコアを最大にしたスコアとの誤差（スコア誤差）と、
・生成したリファイン画像と誤推論画像との差分である画像差分値と、
を最小化するようにＣＮＮの学習を行う。
【００３６】
画像誤差演算部３０２は、誤推論画像と、学習中に画像リファイナ部３０１より出力されるリファイン画像との差分を算出し、画像差分値を、画像リファイナ部３０１に入力する。画像誤差演算部３０２では、例えば、画素ごとの差分（Ｌ１差分）やＳＳＩＭ（Structural  Similarity）演算を行うことにより、画像差分値を算出する。
【００３７】
推論部３０３は、合成画像を入力として推論し、推論したラベルのスコアを出力する、学習済みのＣＮＮを有する。合成画像とは、マスクされていない領域の誤推論画像を変更することで得られたリファイン画像と、マスクされた領域の誤推論画像とを合成することで得られる画像である。つまり、合成画像とは、マスクされていない領域をリファイン画像で置き換えた誤推論画像に他ならない。
【００３８】
なお、推論部３０３により出力されたスコアは、スコア誤差演算部３０４に通知される。
【００３９】
スコア誤差演算部３０４は、推論部３０３により通知されたスコアと、正解ラベルのスコアを最大にしたスコアとの誤差を算出し、画像リファイナ部３０１にスコア誤差を通知する。スコア誤差演算部３０４により通知されたスコア誤差は、画像リファイナ部３０１においてＣＮＮの学習に用いられる。
【００４０】
なお、画像リファイナ部３０１が有するＣＮＮの学習中に画像リファイナ部３０１から出力されるリファイン画像は、リファイン画像格納部３０５に格納される。画像リファイナ部３０１が有するＣＮＮの学習は、
・予め定められた学習回数分（例えば、最大学習回数＝Ｎ回分）、あるいは、
・正解ラベルのスコアが所定の閾値を超えるまで、あるいは、
・正解ラベルのスコアが所定の閾値を超え、かつ、画像差分値が所定の閾値より小さくなるまで、
行われ、推論部３０３より出力される正解ラベルのスコアが最大化した際のリファイン画像を、以下では、“スコア最大化リファイン画像”と称す。
【００４１】
（２）マップ生成部の詳細
次に、マップ生成部１４２の詳細について説明する。図３に示すように、マップ生成部１４２は、注目領域導出部３１１を有する。
【００４２】
注目領域導出部３１１は、推論部３０３がスコア最大化リファイン画像を含む合成画像を用いてラベルを推論した際の、推論部構造情報（ＣＮＮのネットワークの構造、モデルパラメータ等）と特徴マップとを、推論部３０３より取得する。
【００４３】
また、注目領域導出部３１１は、Ｇｒａｄ−ＣＡＭ法を用いることで、推論部構造情報及び特徴マップに基づいて、誤推論画像上の各画像部分の注目度合いを算出し、注目度合いマップを生成する。
【００４４】
具体的には、注目領域導出部３１１は、推論部構造情報と特徴マップとに基づいて、以下の手順により、注目度合いマップを生成する。
・推論部３０３が推論したラベルから、そのラベルのみ誤差があるとして逆伝播し、畳み込み最終層で得られる勾配情報についてチャネルごとに平均値を求め、各チャネルの重要度を決定する。
・各チャネルの特徴マップに重要度を重みとして乗算し、全てのチャネルの同一座標の値を足し合わせた結果に、活性化関数（ＲｅＬＵ）を適用することで正値のみの画像を生成する。
・生成した画像において、画素値が大きい（勾配が大きい）注目部分をヒートマップにより可視化することで注目度合いマップを生成する。
【００４５】
なお、注目領域導出部３１１は、生成した注目度合いマップを、注目度合いマップ格納部３１２に格納する。
【００４６】
（３）特定部の詳細
次に、特定部１４３の詳細について説明する。図３に示すように、特定部１４３は、変更領域制限情報生成部３２１、マスク画像生成部３２２、領域抽出部３２３、合成部３２４、判断部３２５を有する。
【００４７】
変更領域制限情報生成部３２１は、注目度合いマップ格納部３１２より、注目度合いマップを読み出す。また、変更領域制限情報生成部３２１は、読み出した注目度合いマップにおいて、注目度合いが所定のレベル以上の領域（ラベルの推論に影響する領域）を変更可能領域と規定し、注目度合いが所定のレベル未満の領域を変更不可領域と規定する。また、変更領域制限情報生成部３２１は、規定した変更可能領域及び変更不可領域を、マスク画像生成部３２２及び領域抽出部３２３に通知する。
【００４８】
なお、変更領域制限情報生成部３２１では、変更可能領域及び変更不可領域を規定する際に用いるレベルを徐々に上げることで、変更可能領域を狭くし、変更不可領域を広げていく（変更可能領域を絞り込む）。このように、変更領域制限情報生成部３２１では、変更可能領域及び変更不可領域の大きさを更新するごとに、更新後の変更可能領域及び変更不可領域を、マスク画像生成部３２２及び領域抽出部３２３に通知する。また、更新後の変更可能領域及び変更不可領域を通知したことに応じて、判断部３２５から所定の指示があった場合に、変更領域制限情報生成部３２１では、更新直前の変更可能領域を、誤推論の原因となる画像箇所として特定する。更に、変更領域制限情報生成部３２１は、特定した画像箇所を誤推論原因情報として出力する。
【００４９】
マスク画像生成部３２２は、通知された変更可能領域及び変更不可領域に基づいて、誤推論画像を処理する。具体的には、マスク画像生成部３２２は、誤推論画像のうち、変更不可領域に対応する画像部分をマスクし、変更可能領域に対応する画像部分をマスクしないマスク画像を生成する。また、マスク画像生成部３２２は、生成したマスク画像を、画像リファイナ部３０１に入力する。
【００５０】
領域抽出部３２３は、通知された変更可能領域及び変更不可領域に基づいて、リファイン画像（またはスコア最大化リファイン画像）と、誤推論画像とを処理する。具体的には、領域抽出部３２３は、誤推論画像から、変更不可領域に対応する画像部分を抽出し、合成部３２４に出力する。また、領域抽出部３２３は、リファイン画像（またはスコア最大化リファイン画像）から、変更可能領域に対応する画像部分を抽出し、合成部３２４に出力する。
【００５１】
合成部３２４は、領域抽出部３２３より出力された、誤推論画像の変更不可領域に対応する画像部分と、リファイン画像（またはスコア最大化リファイン画像）の変更可能領域に対応する画像部分とを合成し、合成画像を生成する。また、合成部３２４は、生成した合成画像を推論部３０３に入力する。
【００５２】
判断部３２５は、スコア最大化リファイン画像を含む合成画像が推論部３０３に入力されたことに応じて推論部３０３より出力される正解ラベルのスコアを取得する。また、判断部３２５は、取得した正解ラベルのスコアの変遷を監視し、所定のスコア許容値を下回った場合に、変更領域制限情報生成部３２１に所定の指示を通知する。
【００５３】
なお、判断部３２５は、取得した正解ラベルのスコアの変遷が所定のスコア許容値以上を維持していると判断した場合、変更可能領域及び変更不可領域を規定する際に用いるレベルを上げるよう、変更領域制限情報生成部３２１に指示する。
【００５４】
＜誤推論原因抽出部の各部の処理の具体例＞
次に、誤推論原因抽出部１４０の各部の処理の具体例について説明する。
【００５５】
（１）リファイン画像生成部の処理の具体例
はじめに、リファイン画像生成部１４１の処理の具体例について説明する。図４は、リファイン画像生成部の処理の具体例を示す図である。図４の左側の例は、正解ラベル＝“車種Ａ”の車両が含まれる誤推論画像４１０を入力として推論した結果、ラベル＝“車種Ｂ”と誤推論した様子を示している。
【００５６】
また、図４の左側の例は、誤推論画像４１０を入力として推論した際のスコアが、
・車種Ａのスコア＝０．０１４２、
・車種Ｂのスコア＝０．４５４９、
・車種Ｃのスコア＝０．００１８、
・車種Ｄのスコア＝０．００１１、
であったことを示している。
【００５７】
一方、図４の右側の例は、リファイン画像生成部１４１が、誤推論画像４１０からリファイン画像を生成する処理を行い、スコア最大化リファイン画像４２０を生成した様子を示している。図４の右側の例では、リファイン画像生成部１４１が、誤推論画像４１０に対して、ヘッドライト４２１の色や、道路標示４２２の色を変更することで、スコア最大化リファイン画像４２０を生成したことを示している。
【００５８】
また、図４の右側の例は、スコア最大化リファイン画像４２０を入力として推論した場合、正解ラベル＝“車種Ａ”と一致するラベルを推論できたことを示している。更に、図４の右側の例は、スコア最大化リファイン画像４２０を入力として推論した際のスコアが、
・車種Ａのスコア＝０．９９２７、
・車種Ｂのスコア＝０．００４２、
・車種Ｃのスコア＝０．００２２、
・車種Ｄのスコア＝０．０００３、
であったことを示している。
【００５９】
このように、リファイン画像生成部１４１によれば、誤推論画像４１０を変更することで、正解ラベルと一致するラベルを推論でき、かつ、正解ラベルのスコアが最大となるスコア最大化リファイン画像４２０を生成することができる。
【００６０】
なお、図４の右側の例で示すように、リファイン画像生成部１４１により生成されるスコア最大化リファイン画像４２０の場合、誤推論画像４１０に対して、車両と無関係な路面標示まで変更される可能性がある。正解ラベルのスコアを最大化する学習での誤差逆伝播は、正解ラベルのスコアに影響するＣＮＮの経路（ユニット）に影響を及ぼすが、影響を及ぼされた経路（ユニット）が必ずしも誤推論の原因と関係しているとは限らないためである。
【００６１】
つまり、従来のスコア最大化法のように、変更部分に基づいて誤推論の原因となる画像箇所を特定しようとした場合、十分な精度で特定することができないという問題がある（変更部分について、更なる絞り込みが必要である）。
【００６２】
（２）特定部の処理の具体例
次に、特定部１４３の各部（変更領域制限情報生成部３２１、マスク画像生成部３２２、領域抽出部３２３、合成部３２４、判断部３２５）の処理の具体例について説明する。
【００６３】
（２−１）変更領域制限情報生成部の処理の具体例
はじめに、特定部１４３に含まれる変更領域制限情報生成部３２１の処理の具体例について説明する。図５は、変更可能領域及び変更不可領域の変化例を示す図である。図５の場合、マップ生成部１４２において生成された注目度合いマップ５１０には、注目度合いのレベルが異なる５つの画像部分が含まれている。
【００６４】
具体的には、注目度合いマップ５１０の画像部分５１１は、第１のレベルの注目度合いを有する画像部分である。同様に、画像部分５１２〜５１５は、それぞれ、第２のレベルから第５のレベルの注目度合いを有する画像部分である。
【００６５】
上述したとおり、変更領域制限情報生成部３２１では、変更可能領域及び変更不可領域を規定する際、判断部３２５からの指示に応じてレベルを徐々に上げ、変更可能領域を狭くし、変更不可領域を広げていく。
【００６６】
図５において、画像５２１から画像５２４は、変更領域制限情報生成部３２１が規定する変更可能領域及び変更不可領域を模式的に示した図であり、白色部分は、変更可能領域を表し、黒色部分は、変更不可領域を表している。
【００６７】
具体的には、画像５２１は、変更領域制限情報生成部３２１が、注目度合いマップ５１０において、注目度合いが第２のレベル以上の画像部分を変更可能領域と規定し、注目度合いが第２のレベル未満の画像部分を変更不可領域と規定したことを示している。
【００６８】
同様に、画像５２２は、変更領域制限情報生成部３２１が、注目度合いマップ５１０において、注目度合いが第３のレベル以上の画像部分を変更可能領域と規定し、注目度合いが第３のレベル未満の画像部分を変更不可領域と規定したことを示している。
【００６９】
以下、画像５２３及び画像５２４は、それぞれ、注目度合いが第４のレベル以上、第５のレベル以上の画像部分を変更可能領域と規定し、注目度合いが第４のレベル未満、第５のレベル未満の画像部分を変更不可領域と規定したことを示している。
【００７０】
（２−２）マスク画像生成部、領域抽出部及び合成部の処理の具体例
次に、特定部１４３に含まれるマスク画像生成部３２２、領域抽出部３２３及び合成部３２４の処理（合成画像が生成されるまでの処理）の具体例について説明する。図６は、合成画像が生成されるまでの処理の具体例を示す第１の図である。図６の上段において、画像５２１は、変更領域制限情報生成部３２１が第２のレベルに基づいて規定した変更可能領域及び変更不可領域を、それぞれ、白色部分と黒色部分として表したものである。
【００７１】
図６の上段に示すように、マスク画像生成部３２２は、誤推論画像４１０のうち、変更不可領域に対応する画像部分（黒色部分）をマスクし、変更可能領域に対応する画像部分（白色部分）をマスクしないマスク画像６１０を生成する。また、領域抽出部３２３は、画像リファイナ部３０１にてマスク画像６１０が変更されることで生成されたリファイン画像６２０を取得する。更に、領域抽出部３２３は、取得したリファイン画像６２０から、変更可能領域に対応する画像部分を抽出する。
【００７２】
一方、図６の下段において、画像５２１’は、変更領域制限情報生成部３２１が第２のレベルに基づいて規定した変更可能領域及び変更不可領域を、それぞれ、黒色部分と白色部分として表したものである。なお、画像５２１’は、画像５２１の白色部分と黒色部分とを反転した画像である（説明の便宜上、図６の下段では、白色部分を変更不可領域、黒色部分を変更可能領域としている）。
【００７３】
図６の下段に示すように、領域抽出部３２３は、誤推論画像４１０から、変更不可領域に対応する画像部分６１１を抽出する。
【００７４】
図６に示す合成画像６３０は、リファイン画像６２０から抽出された変更可能領域に対応する画像部分と、誤推論画像４１０から抽出された変更不可領域に対応する画像部分６１１とを合成することで得られた合成画像である。
【００７５】
なお、図６の例は、第２のレベルに基づいて規定された変更可能領域及び変更不可領域を用いて合成画像６３０を生成するまでの処理を示したが、第３のレベル〜第５のレベルについても同様の処理が行われ、順次、合成画像が生成される。
【００７６】
（２−３）判断部の処理の具体例
次に、特定部１４３に含まれる判断部３２５の処理の具体例について説明する。図７は、判断部の処理の具体例を示す図である。図７において、横軸は、変更領域制限情報生成部３２１により規定される変更不可領域の大きさを表している（あるいは、注目度合いのレベルであってもよい）。また、図７において、縦軸は、判断部３２５により取得されるスコアを表している。
【００７７】
図７に示すように、変更不可領域の大きさが大きくなるにつれて（変更可能領域を絞り込むにつれて）、判断部３２５により取得される正解ラベルのスコアは低下していく。判断部３２５では、正解ラベルのスコアの変遷を監視し、予め定められたスコア許容値を下回った場合に、変更領域制限情報生成部３２１に通知する。
【００７８】
これにより、変更領域制限情報生成部３２１では、スコア許容値を下回る直前の変更可能領域を、誤推論の原因となる画像箇所として特定することができる。
【００７９】
図７の例の場合、画像５２３で表される変更不可領域が規定された際の正解ラベルのスコアから、画像５２４で表される変更不可領域が規定された際の正解ラベルのスコアに遷移する際に、スコア許容値を下回っている。このため、変更領域制限情報生成部３２１では、画像５２３の白色部分で示す変更可能領域を、誤推論の原因となる画像箇所として特定する。
【００８０】
＜誤推論原因抽出処理の流れ＞
次に、誤推論原因抽出部１４０による誤推論原因抽出処理の流れについて説明する。図８及び図９は、誤推論原因抽出処理の流れを示す第１及び第２のフローチャートである。
【００８１】
ステップＳ８０１において、誤推論原因抽出部１４０の各部は、初期化処理を行う。具体的には、画像リファイナ部３０１は、リファイン画像を出力するＣＮＮの学習回数をゼロに設定するとともに、最大学習回数をユーザが指示した値に設定する。更に、変更領域制限情報生成部３２１は、変更可能領域及び変更不可領域を規定する際に用いるレベルに初期値を設定する（変更可能領域を誤推論画像全体、変更不可領域をゼロに設定する）。
【００８２】
ステップＳ８０２において、マスク画像生成部３２２は、変更領域制限情報生成部３２１より変更可能領域及び変更不可領域を取得する（ここでは、変更可能領域が誤推論画像全体であり、変更不可領域がゼロであるとする）。また、マスク画像生成部３２２は、取得した変更可能領域及び変更不可領域に基づいて、マスク画像を生成する。
【００８３】
ステップＳ８０３において、画像リファイナ部３０１は、マスク画像を変更し、リファイン画像を生成する。
【００８４】
ステップＳ８０４において、領域抽出部３２３は、リファイン画像から変更可能領域に対応する画像部分を抽出する。
【００８５】
ステップＳ８０５において、領域抽出部３２３は、誤推論画像から変更不可領域に対応する画像部分を抽出する。
【００８６】
ステップＳ８０６において、合成部３２４は、リファイン画像から抽出された変更可能領域に対応する画像部分と、誤推論画像から抽出された変更不可領域に対応する画像部分とを合成し、合成画像を生成する。
【００８７】
ステップＳ８０７において、推論部３０３は、合成画像を入力として推論し、正解ラベルのスコアを算出する。
【００８８】
ステップＳ８０８において、注目領域導出部３１１は、ステップＳ８０７において推論した際の推論部構造情報及び特徴マップに基づいて、Ｇｒａｄ−ＣＡＭ法により、注目度合いマップを生成する。
【００８９】
ステップＳ８０９において、変更領域制限情報生成部３２１は、注目度合いマップにおいて、所定のレベル以上の画像部分を変更可能領域と規定し、所定のレベル未満の画像部分を変更不可領域と規定する。
【００９０】
続いて、図９のステップＳ９０１において、画像リファイナ部３０１は、画像差分値とスコア誤差とを用いてＣＮＮの学習を行う。
【００９１】
ステップＳ９０２において、画像リファイナ部３０１は、学習回数が最大学習回数を超えたか否かを判定する。ステップＳ９０２において、学習回数が最大学習回数を超えていないと判定した場合には（ステップＳ９０２においてＮｏの場合には）、ステップＳ８０２に戻り、リファイン画像の生成を継続する。
【００９２】
一方、ステップＳ９０２において、学習回数が最大学習回数を超えたと判定した場合には（ステップＳ９０２においてＹｅｓの場合には）、ステップＳ９０３に進む。なお、この時点で、リファイン画像格納部３０５には、スコア最大化リファイン画像が格納されている。
【００９３】
ステップＳ９０３において、判断部３２５は、ステップＳ８０７において算出された正解ラベルのスコアが、スコア許容値より小さいか否かを判定する。ステップＳ９０３において、スコア許容値以上であると判定された場合には（ステップＳ９０３においてＮｏの場合には）、ステップＳ９０４に進む。
【００９４】
ステップＳ９０４において、変更領域制限情報生成部３２１は、レベルを上げることにより変更可能領域及び変更不可領域を更新し、図８のステップＳ８０２に戻る。
【００９５】
一方、ステップＳ９０３において、スコア許容値より小さいと判定された場合には（ステップＳ９０３においてＹｅｓの場合には）、ステップＳ９０５に進む。
【００９６】
ステップＳ９０５において、変更領域制限情報生成部３２１は、前回の変更可能領域を、誤推論の原因となる画像箇所として特定し、出力する。
【００９７】
以上の説明から明らかなように、第１の実施形態に係る解析装置１００は、誤推論画像を、推論の正解ラベルのスコアが最大となるように変更しながら、リファイン画像を生成する。また、第１の実施形態に係る解析装置１００は、リファイン画像を含む合成画像を入力として推論した際の推論部の構造情報から、Ｇｒａｄ−ＣＡＭ法を用いて注目度合いマップを生成する。また、第１の実施形態に係る解析装置１００は、生成した注目度合いマップに基づいて規定した変更可能領域（正解ラベルの推論に影響する領域）が、リファイン画像で置き換えられた誤推論画像を推論部に入力することで推論する。更に、第１の実施形態に係る解析装置１００は、推論した正解ラベルのスコアから、変更可能領域を絞り込むことで、誤推論の原因となる画像箇所を特定する。
【００９８】
このように、正解ラベルの推論に影響する領域をリファイン画像で置き換え、置き換えの効果を参照しながら領域を絞り込むことで、誤推論の原因となる画像箇所を精度よく特定することができる。つまり、第１の実施形態によれば、誤推論の原因となる画像箇所を特定する際の精度を向上させることができる。
【００９９】
［第２の実施形態］
上記第１の実施形態では、マスク画像からスコア最大化リファイン画像を生成するものとして説明した。これに対して、第２の実施形態では、誤推論画像からスコア最大化リファイン画像を生成する。これにより、変更可能領域及び変更不可領域が更新されるごとに、スコア最大化リファイン画像を生成する必要がなくなり、誤推論原因抽出処理時の解析装置１００の処理負荷を低減させることができる。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
【０１００】
＜誤推論原因抽出部の機能構成＞
はじめに、第２の実施形態に係る解析装置１００における、誤推論原因抽出部の機能構成について説明する。図１０は、誤推論原因抽出部の機能構成の一例を示す第２の図である。図３に示した誤推論原因抽出部の機能構成との相違点は、リファイン画像生成部１０１０、特定部１０２０の機能が、図３のリファイン画像生成部１４１、特定部１４３の機能と異なる点である。
【０１０１】
（１）リファイン画像生成部の詳細
図１０に示すように、リファイン画像生成部１０１０において、画像リファイナ部３０１には、誤推論画像が入力される。また、画像リファイナ部３０１により出力されるリファイン画像は、推論部３０３に入力される。これにより、リファイン画像生成部１０１０では、誤推論画像からスコア最大化リファイン画像を生成する。
【０１０２】
（２）特定部の詳細
図１０に示すように、特定部１０２０は、マスク画像生成部３２２を有しておらず、変更領域制限情報生成部３２１により規定された変更可能領域及び変更不可領域は、領域抽出部３２３にのみ通知される。
【０１０３】
なお、紙面の都合上、図１０の特定部１０２０には推論部３０３を含めて示しているが、当該推論部３０３は、リファイン画像生成部１０１０に含まれる推論部３０３と同じものである。
【０１０４】
＜特定部の処理の具体例＞
次に、特定部１０２０において合成画像が生成されるまでの処理の具体例について説明する。図１１は、合成画像が生成されるまでの処理の具体例を示す第２の図である。図１１の上段において、画像５２１は、変更領域制限情報生成部３２１が第２のレベルに基づいて規定した変更可能領域及び変更不可領域を、それぞれ、白色部分と黒色部分として表したものである。
【０１０５】
図１１の上段に示すように、領域抽出部３２３は、画像リファイナ部３０１にて誤推論画像４１０が変更されることで生成されたスコア最大化リファイン画像４２０を取得する。また、領域抽出部３２３は、取得したスコア最大化リファイン画像４２０から、変更可能領域に対応する画像部分１１１０を抽出する。
【０１０６】
一方、図１１の下段において、画像５２１’は、変更領域制限情報生成部３２１が第２のレベルに基づいて規定した変更可能領域及び変更不可領域を、それぞれ、黒色部分と白色部分として表したものである。なお、画像５２１’は、画像５２１の白色部分と黒色部分とを反転した画像である（説明の便宜上、図１１の下段では、白色部分を変更不可領域、黒色部分を変更可能領域としている）。
【０１０７】
図１１の下段に示すように、領域抽出部３２３は、誤推論画像４１０から、変更不可領域に対応する画像部分１１１１を抽出する。
【０１０８】
図１１に示す合成画像１１２０は、スコア最大化リファイン画像４２０から抽出された変更可能領域に対応する画像部分と、誤推論画像４１０から抽出された変更不可領域に対応する画像部分１１１１とを合成することで得られた合成画像である。
【０１０９】
なお、図１１の例は、第２のレベルに基づいて規定された変更可能領域及び変更不可領域を用いて合成画像１１２０を生成するまでの処理を示したが、第３のレベル〜第５のレベルについても同様の処理が行われ、順次、合成画像が生成される。
【０１１０】
＜誤推論原因抽出処理の流れ＞
次に、第２の実施形態に係る解析装置１００における、誤推論原因抽出部１４０による誤推論原因抽出処理の流れについて説明する。図１２は、誤推論原因抽出処理の流れを示す第３のフローチャートである。
【０１１１】
ステップＳ１２０１において、誤推論原因抽出部１４０の各部は、初期化処理を行う。具体的には、画像リファイナ部３０１は、ＣＮＮの学習回数をゼロに設定するとともに、最大学習回数をユーザが指示した値に設定する。また、変更領域制限情報生成部３２１は、変更可能領域及び変更不可領域を規定する際に用いるレベルに初期値を設定する（例えば、第２のレベルに設定する）。
【０１１２】
ステップＳ１２０２において、画像リファイナ部３０１は、誤推論画像を変更し、リファイン画像を生成する。
【０１１３】
ステップＳ１２０３において、推論部３０３は、リファイン画像を入力として推論し、正解ラベルのスコアを算出する。
【０１１４】
ステップＳ１２０４において、画像リファイナ部３０１は、画像差分値とスコア誤差を用いてＣＮＮの学習を行う。
【０１１５】
ステップＳ１２０５において、画像リファイナ部３０１は、学習回数が最大学習回数を超えたか否かを判定する。ステップＳ１２０５において、学習回数が最大学習回数を超えていないと判定した場合には（ステップＳ１２０５においてＮｏの場合には）、ステップＳ１２０２に戻り、リファイン画像の生成を継続する。
【０１１６】
一方、ステップＳ１２０５において、学習回数が最大学習回数を超えたと判定した場合には（ステップＳ１２０５においてＹｅｓの場合は）、ステップＳ１２０６に進む。なお、この時点で、リファイン画像格納部３０５には、スコア最大化リファイン画像が格納されている。
【０１１７】
ステップＳ１２０６において、注目領域導出部３１１は、ステップＳ１００３において推論した際の推論部構造情報及び特徴マップに基づいて、Ｇｒａｄ−ＣＡＭ法により、注目度合いマップを生成する。
【０１１８】
ステップＳ１２０７において、変更領域制限情報生成部３２１は、注目度合いマップにおいて、所定のレベル以上の領域を変更可能領域と規定し、所定のレベル未満の領域を変更不可領域と規定する。
【０１１９】
ステップＳ１２０８において、領域抽出部３２３は、スコア最大化リファイン画像から変更可能領域に対応する画像部分を抽出する。
【０１２０】
ステップＳ１２０９において、領域抽出部３２３は、誤推論画像から変更不可領域に対応する画像部分を抽出する。
【０１２１】
ステップＳ１２１０において、合成部３２４は、スコア最大化リファイン画像から抽出された変更可能領域に対応する画像部分と、誤推論画像から抽出された変更不可領域に対応する画像部分とを合成し、合成画像を生成する。
【０１２２】
ステップＳ１２１１において、推論部３０３は、合成画像を入力として推論し、正解ラベルのスコアを算出する。
【０１２３】
ステップＳ１２１２において、判断部３２５は、ステップＳ１２１１において算出された正解ラベルのスコアが、スコア許容値より小さいか否かを判定する。ステップＳ１２１２において、スコア許容値以上であると判定された場合には（ステップＳ１２１２においてＮｏの場合には）、ステップＳ１２１３に進む。
【０１２４】
ステップＳ１２１３において、変更領域制限情報生成部３２１は、レベルを上げることにより変更可能領域及び変更不可領域を更新し、ステップＳ１２０８に戻る。
【０１２５】
一方、ステップＳ１２１２において、スコア許容値より小さいと判定された場合には（ステップＳ１２１２においてＹｅｓの場合には）、ステップＳ１２１４に進む。
【０１２６】
ステップＳ１２１４において、変更領域制限情報生成部３２１は、前回の変更可能領域を、誤推論の原因となる画像箇所として特定し、出力する。
【０１２７】
以上の説明から明らかなように、第２の実施形態に係る解析装置１００は、誤推論画像全体に対してスコア最大化リファイン画像を生成する。また、第２の実施形態に係る解析装置１００は、スコア最大化リファイン画像を入力として推論した際の、推論部の構造情報から、Ｇｒａｄ−ＣＡＭ法を用いて注目度合いマップを生成する。また、第２の実施形態に係る解析装置１００は、生成した注目度合いマップに基づいて規定した変更可能領域（正解ラベルの推論に影響する領域）を、スコア最大化リファイン画像で置き換えた誤推論画像を、推論部に入力することで推論する。更に、第２の実施形態に係る解析装置１００は、推論した正解ラベルのスコアから、変更可能領域を絞り込むことで、誤推論の原因となる画像箇所を特定する。
【０１２８】
このように、正解ラベルの推論に影響する領域をスコア最大化リファイン画像で置き換え、置き換えの効果を参照しながら領域を絞り込むことで、誤推論の原因となる画像箇所を精度よく特定することができる。つまり、第２の実施形態によれば、誤推論の原因となる画像箇所を特定する際の精度を向上させることができる。
【０１２９】
また、第２の実施形態によれば、上記第１の実施形態と比較して、スコア最大化リファイン画像を生成する回数を減らすことが可能となり、マスク画像ごとにスコア最大化リファイン画像を生成する必要がなくなる。この結果、第２の実施形態によれば、誤推論原因抽出処理時の解析装置１００の処理負荷を低減させることができる。
【０１３０】
［第３の実施形態］
上記第１及び第２の実施形態では、所定のスコア許容値を下回る直前の変更可能領域を、誤推論の原因となる画像箇所として特定し、出力した。しかしながら、誤推論の原因となる画像箇所の出力方法はこれに限定されず、例えば、所定のスコア許容値を下回る直前の変更可能領域に限定して、ＧＢＰ法により可視化した特徴部分を出力してもよい。これにより、誤推論画像全体に対してＧＢＰ法により可視化する場合と比較して、限定した範囲の誤推論の原因を示すことができるからである。
【０１３１】
また、上記第１及び第２の実施形態では、変更領域制限情報生成部３２１が変更可能領域及び変更不可領域を更新するにあたり、最初に低いレベルを設定し、レベルを徐々に上げていくものとして説明した。しかしながら、変更領域制限情報生成部３２１は、最初に高いレベルを設定しておき、レベルを徐々に下げていってもよい。
【０１３２】
なお、この場合、判断部３２５では、推論部３０３により推論される正解ラベルのスコアが、予め定められたスコア許容値を上回った直後の変更可能領域を、誤推論の原因となる画像箇所として特定する。
【０１３３】
あるいは、レベルを徐々に上げていった場合に特定した、誤推論の原因となる画像箇所と、レベルを徐々に下げていった場合に特定した、誤推論の原因となる画像箇所と、を用いて、最終的な誤推論の原因となる画像箇所を特定するようにしてもよい。
【０１３４】
［第４の実施形態］
上記第１乃至第３の実施形態では、Ｇｒａｄ−ＣＡＭ法を用いて生成した注目度合いマップに基づいて、変更可能領域及び変更不可領域を規定した。しかしながら、変更可能領域及び変更不可領域を規定するためのマップは、注目度合いマップに限定されない。
【０１３５】
また、上記第１及び第２の実施形態では、注目度合いマップにおいて、注目度合いのレベルを上げることで、変更可能領域（正解ラベルの推論に影響する領域）を絞り込んだが、変更可能領域を絞り込む方法はこれに限定されない。
【０１３６】
以下、第４の実施形態について、上記第１乃至第３の実施形態との相違点を中心に説明する。
【０１３７】
＜誤推論原因抽出部の機能構成＞
はじめに、第４の実施形態に係る解析装置１００における、誤推論原因抽出部の機能構成について説明する。図１３は、誤推論原因抽出部の機能構成の一例を示す第３の図である。図１０に示した誤推論原因抽出部の機能構成との相違点は、マップ生成部１３１０及び特定部１３２０である。以下、マップ生成部１３１０及び特定部１３２０の詳細について説明する。
【０１３８】
（１）マップ生成部の詳細
はじめに、マップ生成部１３１０の詳細について説明する。図１３に示すように、マップ生成部１３１０は、重要特徴マップ生成部１３１１、劣化尺度マップ生成部１３１２、重畳部１３１３を有する。
【０１３９】
重要特徴マップ生成部１３１１は、スコア最大化リファイン画像を入力として推論した際の推論部構造情報を、推論部３０３より取得する。また、重要特徴マップ生成部１３１１は、ＢＰ（Back  Propagation）法またはＧＢＰ（Guided  Back  Propagation）法を用いることで、推論部構造情報に基づいて“重要特徴マップ”を生成する。重要特徴マップとは、推論の際に反応した特徴部分を可視化したマップである。
【０１４０】
なお、ＢＰ法は、推論したラベルが正解する入力データ（ここでは、スコア最大化リファイン画像）の推論を行うことで得た分類確率から各クラスの誤差を計算し、入力層まで逆伝播して得られる勾配の大小を画像化することで、特徴部分を可視化する方法である。また、ＧＢＰ法は、勾配情報の正値のみを特徴部分として画像化することで、特徴部分を可視化する方法である。
【０１４１】
ここで、重要特徴マップを生成するにあたっては、正解ラベルの誤差のみを最大にしたうえで、ＢＰ法あるいはＧＢＰ法を用いて処理を行ってもよい。その場合、可視化される特徴部分は、正解ラベルのスコアのみに影響を与える特徴部分となる。
【０１４２】
劣化尺度マップ生成部１３１２は、誤推論画像とスコア最大化リファイン画像とに基づいて“劣化尺度マップ”を生成する。劣化尺度マップとは、変更部分と各変更部分の変更度合いとを示したマップである。
【０１４３】
重畳部１３１３は、重要特徴マップ生成部１３１１において生成された重要特徴マップと、劣化尺度マップ生成部１３１２において生成された劣化尺度マップとを重畳して、重要特徴指標マップを生成する。
【０１４４】
（２）特定部の詳細
次に、特定部１３２０の詳細について説明する。図１３に示すように、特定部１３２０は、スーパーピクセル分割部１３２１、重要スーパーピクセル決定部１３２２、重要スーパーピクセル評価部１３２３を有する。
【０１４５】
スーパーピクセル分割部１３２１は、誤推論画像を、誤推論画像に含まれるオブジェクト（本実施形態では車両）の部品ごとの領域である“スーパーピクセル”に分割し、スーパーピクセル分割情報を出力する。なお、誤推論画像をスーパーピクセルに分割するにあたっては、既存の分割機能を利用するか、あるいは、車両の部品ごとに分割するように学習したＣＮＮ等を利用する。
【０１４６】
重要スーパーピクセル決定部１３２２は、スーパーピクセル分割部１３２１により出力されたスーパーピクセル分割情報に基づいて、重畳部１３１３により生成された重要特徴指標マップの各画素の値を、スーパーピクセルごとに加算する。
【０１４７】
また、重要スーパーピクセル決定部１３２２は、各スーパーピクセルのうち、加算した各画素の加算値が所定の閾値（重要特徴指標閾値）以上のスーパーピクセルを抽出する。また、重要スーパーピクセル決定部１３２２は、抽出したスーパーピクセルの中から選択したスーパーピクセルを組み合わせて変更可能領域と規定し、組み合わせたスーパーピクセル以外のスーパーピクセルを変更不可領域と規定する。
【０１４８】
更に、重要スーパーピクセル決定部１３２２は、誤推論画像から、変更不可領域に対応する画像部分を抽出し、リファイン画像から、変更可能領域に対応する画像部分を抽出し、両者を合成することで、合成画像を生成する。画像リファイナ部３０１からは、学習回数に応じた数のリファイン画像が出力されるため、重要スーパーピクセル決定部１３２２では、当該数のリファイン画像それぞれについて、合成画像を生成する。
【０１４９】
なお、重要スーパーピクセル決定部１３２２では、変更可能領域及び変更不可領域を規定する際に用いる重要特徴指標閾値を徐々に下げることで、抽出するスーパーピクセルの数を増やす（変更可能領域を広げ、変更不可領域を狭めていく）。また、重要スーパーピクセル決定部１３２２では、抽出したスーパーピクセルの中から選択するスーパーピクセルの組み合わせを変えながら、変更可能領域及び変更不可領域を更新する。
【０１５０】
重要スーパーピクセル評価部１３２３は、重要スーパーピクセル決定部１３２２において生成された合成画像が推論部３０３に入力されるごとに推論される正解ラベルのスコアを取得する。上述したように、重要スーパーピクセル決定部１３２２では、画像リファイナ部３０１により出力されたリファイン画像の数、重要特徴指標閾値を下げる回数、スーパーピクセルの組み合わせの数、に応じた数の合成画像を生成する。このため、重要スーパーピクセル評価部１３２３では、当該数に応じた正解ラベルのスコアを取得する。また、重要スーパーピクセル評価部１３２３は、取得したスコアに基づいて、誤推論の原因となるスーパーピクセルの組み合わせ（変更可能領域）を特定し、誤推論原因情報として出力する。
【０１５１】
＜誤推論原因抽出部の各部の処理の具体例＞
次に、誤推論原因抽出部１４０の各部（ここでは、マップ生成部１３１０及び特定部１３２０）の処理の具体例について説明する。
【０１５２】
（１）マップ生成部の処理の具体例
はじめに、マップ生成部１３１０の処理の具体例について説明する。図１４は、マップ生成部の処理の具体例を示す図である。
【０１５３】
図１４に示すように、マップ生成部１３１０において重要特徴マップ生成部１３１１は、推論部３０３がスコア最大化リファイン画像を入力として推論した際の推論部構造情報１４０１を、推論部３０３から取得する。また、重要特徴マップ生成部１３１１は、取得した推論部構造情報１４０１に基づいて、重要特徴マップ１４２１を生成する。重要特徴マップ生成部１３１１では、ＢＰ法またはＧＢＰ法を用いることで、重要特徴マップ１４２１を生成する。
【０１５４】
また、重要特徴マップ生成部１３１１は、生成した重要特徴マップ１４２１をグレイスケール化し、グレイスケール化重要特徴マップ１４２２を生成する。なお、グレイスケール化の処理において、重要特徴マップ生成部１３１１は、重要特徴マップ１４２１に対してスケーリング処理を行ってもよく、また、各画素の値として、絶対値を算出してもよい。
【０１５５】
図１４に示すグレイスケール化重要特徴マップ１４２２は、重要特徴マップ１４２１を０から２５５の画素値に変換することでグレイスケール化されている。このため、グレイスケール化重要特徴マップ１４２２において、画素値が２５５に近い画素は、推論時に注目される画素であり、画素値が０に近い画素は、推論時に注目されない画素である。
【０１５６】
一方、劣化尺度マップ生成部１３１２は、リファイン画像格納部３０５よりスコア最大化リファイン画像１４１２を読み出し、誤推論画像１４１１との間でＳＳＩＭ（Structural  Similarity）演算を行う。これにより、劣化尺度マップ生成部１３１２は、劣化尺度マップ１４３１を生成する。劣化尺度マップは０から１の値をとり、画素値が１に近いほど、画像の差分が小さいことを表し、画素値が０に近いほど、画像の差分が大きいことを表す。
【０１５７】
また、重畳部１３１３は、重要特徴マップ生成部１３１１により生成されたグレイスケール化重要特徴マップ１４２２と、劣化尺度マップ生成部１３１２により生成された劣化尺度マップ１４３１とを用いて、重要特徴指標マップ１４４１を生成する。
【０１５８】
具体的には、重畳部１３１３は、下式に基づいて、重要特徴指標マップ１４４１を生成する。
【０１５９】
（式１）
重要特徴指標マップ＝グレイスケール化重要特徴マップ×（１−劣化尺度マップ）
【０１６０】
上式において、（１−劣化尺度マップ）の項は、０から１の値をとり、１に近いほど画像の差分が大きく、０に近いほど画像の差分が小さい。したがって、重要特徴指標マップ１４４１は、推論時に注目される画素の注目度合いを示すグレイスケール化重要特徴マップに、画像の差分の大小による強弱をつけた画像となる。
【０１６１】
具体的には、重要特徴指標マップ１４４１は、
・劣化尺度マップ１４３１において画像の差分が小さい部分は、グレイスケール化重要特徴マップの画素値を小さくし、
・劣化尺度マップ１４３１において画像の差分が大きい部分は、グレイスケール化重要特徴マップの画素値を大きくする、
ことで生成される。
【０１６２】
なお、より識別しやすく可視化するために、重要特徴指標マップを反転させてもよい。図１４、図１６に示す重要特徴指標マップは、下式に基づいて反転させたものを表示している。
【０１６３】
（式２）
（反転した）重要特徴指標マップ＝２５５−［グレイスケール化重要特徴マップ×（１−劣化尺度マップ）］
【０１６４】
ここで、重畳部１３１３が、上式に基づいて、グレイスケール化重要特徴マップ１４２２と劣化尺度マップ１４３１とを重畳することによる利点について説明する。
【０１６５】
重要特徴マップ生成部１３１１において生成されるグレイスケール化重要特徴マップ１４２２は、スコア最大化リファイン画像を入力として推論し、正解ラベルのスコアが最大となった際に、推論部３０３が算出した注目部分に他ならない。
【０１６６】
一方、劣化尺度マップ生成部１３１２において生成される劣化尺度マップ１４３１は、正解ラベルのスコアが最大化するように誤推論画像を変更した際の変更部分を表しており、誤推論の原因となる領域を表している。ただし、劣化尺度マップ生成部１３１２において生成される劣化尺度マップ１４３１は、正解ラベルのスコアを最大化するために必要な最小限の領域ではない。
【０１６７】
重畳部１３１３では、正解ラベルのスコアが最大化するように誤推論画像を変更した際の変更部分と、推論部３０３が算出した注目部分とを重畳することで、正解ラベルのスコアを最大化するために必要な領域を絞り込む。これにより、誤推論の原因となる領域を絞り込むことができる。
【０１６８】
（２）特定部に含まれるスーパーピクセル分割部の処理の具体例
次に、特定部１３２０に含まれるスーパーピクセル分割部１３２１の処理の具体例について説明する。図１５は、スーパーピクセル分割部の処理の具体例を示す図である。図１５に示すように、スーパーピクセル分割部１３２１は、例えば、ＳＬＩＣ（Simple  Linear  Iterative  Clustering）処理を行うＳＬＩＣ部１５１０を有する。ＳＬＩＣ部１５１０は、誤推論画像１４１１を、誤推論画像１４１１に含まれる車両の部品ごとの部分画像であるスーパーピクセルに分割する。また、スーパーピクセル分割部１３２１は、ＳＬＩＣ部１５１０によりスーパーピクセルに分割されることで生成されたスーパーピクセル分割情報１５０１を出力する。
【０１６９】
（３）特定部に含まれる重要スーパーピクセル決定部の処理の具体例
次に、特定部１３２０に含まれる重要スーパーピクセル決定部１３２２の処理の具体例について説明する。図１６は、重要スーパーピクセル決定部の処理の具体例を示す図である。
【０１７０】
図１６に示すように、重要スーパーピクセル決定部１３２２は、領域抽出部１６１０、合成部１６１１を有する。
【０１７１】
重要スーパーピクセル決定部１３２２では、重畳部１３１３より出力された重要特徴指標マップ１４４１と、スーパーピクセル分割部１３２１より出力されたスーパーピクセル分割情報１５０１とを重ね合わせる。これにより、重要スーパーピクセル決定部１３２２では、重要スーパーピクセル画像１６０１を生成する。なお、図１６では、重要特徴指標マップ１４４１として、（反転した）重要特徴指標マップを表示している。
【０１７２】
また、重要スーパーピクセル決定部１３２２では、生成した重要スーパーピクセル画像１６０１内の各スーパーピクセルについて、重要特徴指標マップ１４４１の各画素の値を加算する。
【０１７３】
なお、マップ生成部１３１０において、重要特徴指標マップ１４４１生成時にスケーリング処理が行われていたとしても、重要スーパーピクセル決定部１３２２における加算操作は、当該スケーリング処理の影響を受けない。
【０１７４】
また、重要スーパーピクセル決定部１３２２では、スーパーピクセルごとの加算値が、重要特徴指標閾値以上であるかを判定し、加算値が重要特徴指標閾値以上であると判定したスーパーピクセルを抽出する。なお、図１６において、重要スーパーピクセル画像１６０２は、スーパーピクセルごとの加算値の一例を明示したものである
また、重要スーパーピクセル決定部１３２２では、抽出したスーパーピクセルの中から、選択したスーパーピクセルを組み合わせて変更可能領域と規定し、組み合わせたスーパーピクセル以外のスーパーピクセルを変更不可領域と規定する。更に、重要スーパーピクセル決定部１３２２は、規定した変更可能領域及び変更不可領域を領域抽出部１６１０に通知する。
【０１７５】
領域抽出部１６１０は、誤推論画像１４１１から、変更不可領域に対応する画像部分を抽出し、リファイン画像１６２１から、変更可能領域に対応する画像部分を抽出する。
【０１７６】
合成部１６１１は、リファイン画像１６２１から抽出した変更可能領域に対応する画像部分と、誤推論画像１４１１から抽出した変更不可領域に対応する画像部分とを合成し、合成画像を生成する。
【０１７７】
図１７は、領域抽出部及び合成部の処理の具体例を示す第２の図である。図１７において、上段は、領域抽出部１６１０が、リファイン画像１６２１から、変更可能領域に対応する画像部分（画像１７０１の白色部分）を抽出した様子を示している。
【０１７８】
一方、図１７において、下段は、領域抽出部１６１０が、誤推論画像１４１１から、変更不可領域に対応する画像部分（画像１７０１’の白色部分）を抽出した様子を示している。なお、画像１７０１’は、画像１７０１の白色部分と黒色部分とを反転した画像である（説明の便宜上、図１７の下段では、白色部分を、変更不可領域に対応する画像部分としている）。
【０１７９】
合成部１６１１は、図１７に示すように、領域抽出部１６１０より出力された、リファイン画像１６２１の変更可能領域に対応する画像部分と、誤推論画像１４１１の変更不可領域に対応する画像部分とを合成し、合成画像１７２０を生成する。
【０１８０】
このように、特定部１３２０によれば、合成画像１７２０を生成する際、重要特徴マップ１４２１及び劣化尺度マップ１４３１を用いることで、リファイン画像１６２１で置き換える領域を、スーパーピクセル単位で絞り込むことができる。
【０１８１】
＜誤推論原因抽出処理の流れ＞
次に、誤推論原因抽出部１４０による誤推論原因抽出処理の流れについて説明する。図１８及び図１９は、誤推論原因抽出処理の流れを示す第４及び第５のフローチャートである。
【０１８２】
ステップＳ１８０１において、誤推論原因抽出部１４０の各部は、初期化処理を行う。具体的には、画像リファイナ部３０１は、ＣＮＮの学習回数をゼロに設定するとともに、最大学習回数をユーザが指示した値に設定する。また、判断部３２５は、重要特徴指標閾値及びその下限値を、ユーザが指示した値に設定する。
【０１８３】
ステップＳ１８０２において、画像リファイナ部３０１は、誤推論画像を変更し、リファイン画像を生成する。
【０１８４】
ステップＳ１８０３において、推論部３０３は、リファイン画像を入力として推論し、正解ラベルのスコアを算出する。
【０１８５】
ステップＳ１８０４において、画像リファイナ部３０１は、画像差分値とスコア誤差とを用いてＣＮＮの学習を行う。
【０１８６】
ステップＳ１８０５において、画像リファイナ部３０１は、学習回数が最大学習回数を超えたか否かを判定する。ステップＳ１８０５において、学習回数が最大学習回数を超えていないと判定した場合には（ステップＳ１８０５においてＮｏの場合には）、ステップＳ１８０２に戻り、リファイン画像の生成を継続する。
【０１８７】
一方、ステップＳ１８０５において、学習回数が最大学習回数を超えたと判定した場合には（ステップＳ１８０５においてＹｅｓの場合は）、ステップＳ１８０６に進む。なお、この時点で、リファイン画像格納部３０５には、学習ごとに生成されたリファイン画像（スコア最大化リファイン画像を含む）が格納されている。
【０１８８】
ステップＳ１８０６において、重要特徴マップ生成部１３１１は、推論部３０３よりスコア最大化リファイン画像を入力として推論された際の推論部構造情報を取得し、取得した推論部構造情報に基づいて重要特徴マップを生成する。
【０１８９】
ステップＳ１８０７において、劣化尺度マップ生成部１３１２は、誤推論画像とスコア最大化リファイン画像とに基づいて、劣化尺度マップを生成する。
【０１９０】
ステップ１８０８において、重畳部１３１３は、重要特徴マップと劣化尺度マップとに基づいて、重要特徴指標マップを生成する。
【０１９１】
ステップＳ１８０９において、スーパーピクセル分割部１３２１は、誤推論画像をスーパーピクセルに分割し、スーパーピクセル分割情報を生成する。
【０１９２】
ステップＳ１８１０において、重要スーパーピクセル決定部１３２２は、重要特徴指標マップの各画素の値を、スーパーピクセル単位で加算する。
【０１９３】
ステップＳ１８１１において、重要スーパーピクセル決定部１３２２は、加算値が重要特徴指標閾値以上のスーパーピクセルを抽出し、抽出したスーパーピクセルの中から選択したスーパーピクセルを組み合わせて変更可能領域を規定する。また、重要スーパーピクセル決定部１３２２は、組み合わせたスーパーピクセル以外のスーパーピクセルを変更不可領域と規定する。
【０１９４】
続いて、図１９のステップＳ１９０１において、重要スーパーピクセル決定部１３２２は、リファイン画像格納部３０５からリファイン画像を読み出す。
【０１９５】
ステップＳ１９０２において、重要スーパーピクセル決定部１３２２は、リファイン画像から、変更可能領域に対応する画像部分を抽出する。
【０１９６】
ステップＳ１９０３において、重要スーパーピクセル決定部１３２２は、誤推論画像から、変更不可領域に対応する画像部分を抽出する。
【０１９７】
ステップＳ１９０４において、重要スーパーピクセル決定部１３２２は、リファイン画像から抽出した変更可能領域に対応する画像部分と、誤推論画像から抽出した変更不可領域に対応する画像部分とを合成し、合成画像を生成する。
【０１９８】
ステップＳ１９０５において、推論部３０３は、合成画像を入力として推論し、正解ラベルのスコアを算出する。また、重要スーパーピクセル評価部１３２３は、推論部３０３により算出された正解ラベルのスコアを取得する。
【０１９９】
ステップＳ１９０７において、画像リファイナ部３０１は、リファイン画像格納部３０５に格納された全てのリファイン画像を読み出したか否かを判定する。ステップＳ１９０７において、読み出していないリファイン画像があると判定した場合には（ステップＳ１９０７においてＮｏの場合には）、ステップＳ１９０１に戻る。
【０２００】
一方、ステップＳ１９０７において、全てのリファイン画像を読み出したと判定した場合には（ステップＳ１９０７においてＹｅｓの場合には）、ステップＳ１９０８に進む。
【０２０１】
ステップＳ１９０８において、重要スーパーピクセル決定部１３２２は、重要特徴指標閾値が下限値に到達したか否かを判定する。ステップＳ１９０８において、下限値に到達していないと判定した場合には（ステップＳ１９０８においてＮｏの場合には）、ステップＳ１９０９に進む。
【０２０２】
ステップＳ１９０９において、重要スーパーピクセル決定部１３２２は、重要特徴指標閾値を下げた後、図１８のステップＳ１８１１に戻る。
【０２０３】
一方、ステップＳ１９０８において、下限値に到達したと判定した場合には（ステップＳ１９０８においてＹｅｓの場合には）、ステップＳ１９１０に進む。
【０２０４】
ステップＳ１９１０において、重要スーパーピクセル評価部１３２３は、取得した正解ラベルのスコアに基づいて、誤推論の原因となるスーパーピクセルの組み合わせ（変更可能領域）を特定し、誤推論原因情報として出力する。
【０２０５】
＜誤推論原因抽出処理の具体例＞
次に、誤推論原因抽出処理の具体例について説明する。図２０は、誤推論原因抽出処理の具体例を示す第１の図である。
【０２０６】
図２０に示すように、はじめに、リファイン画像生成部１０１０により、誤推論画像からスコア最大化リファイン画像が生成されると、マップ生成部１３１０では、重要特徴指標マップを生成する。
【０２０７】
続いて、誤推論画像に基づいて、スーパーピクセル分割部１３２１によりスーパーピクセル分割情報が生成されると、重要スーパーピクセル決定部１３２２では、重要スーパーピクセル画像を生成する。
【０２０８】
続いて、重要スーパーピクセル決定部１３２２では、重要スーパーピクセル画像に基づいて変更可能領域及び変更不可領域を規定する。このとき、重要スーパーピクセル決定部１３２２では、重要特徴指標閾値を変えるとともに、重要特徴指標閾値を超えるスーパーピクセルの中から選択する組み合わせを変えることで、複数の変更可能領域と変更不可領域との組を生成する。また、重要スーパーピクセル決定部１３２２では、生成した複数の変更可能領域と変更不可領域との組を用いて、合成画像を生成する（図２０の例は、スコア最大化リファイン画像を利用して合成画像を生成する場合を示している）。
【０２０９】
続いて、重要スーパーピクセル評価部１３２３では、生成された合成画像を入力として推論部３０３が推論した正解ラベルのスコアを取得する。これにより、重要スーパーピクセル評価部１３２３では、取得した正解ラベルのスコアに基づいて、誤推論の原因となるスーパーピクセルの組み合わせ（変更可能領域）を特定し、誤推論原因情報として出力する。
【０２１０】
なお、リファイン画像生成部１０１０により生成された複数のリファイン画像を利用して合成画像を生成するにあたっては、
・最後の回のリファイン画像を利用して合成画像を生成する方法、あるいは、
・それぞれのリファイン画像を入力とした推論での正解ラベルのスコアが一番よいリファイン画像（スコア最大化リファイン画像）を利用して合成画像を生成する方法、あるいは、
・それぞれのリファイン画像を利用して生成した合成画像を入力とした推論での正解ラベルのスコアが一番よいリファイン画像を利用して合成画像を生成する方法、
等の生成方法が考えられる。
【０２１１】
以上の説明から明らかなように、第４の実施形態に係る解析装置１００は、誤推論画像について、推論の正解ラベルのスコアが最大となるように変更しながら、スコア最大化リファイン画像を生成する。また、第４の実施形態に係る解析装置１００は、スコア最大化リファイン画像を生成した際の推論部構造情報に基づいて生成された重要特徴マップと劣化尺度マップとを取得し、両者を重畳することで、重要特徴指標マップを生成する。また、第４の実施形態に係る解析装置１００は、誤推論画像を分割することでスーパーピクセルを生成し、重要特徴指標マップの各画素値を、スーパーピクセル単位で加算する。また、第４の実施形態に係る解析装置１００は、加算値が重要特徴指標閾値以上のスーパーピクセルを抽出し、抽出したスーパーピクセルの中から選択したスーパーピクセルの組み合わせに基づいて、変更可能領域と変更不可領域とを規定する。また、第４の実施形態に係る解析装置１００は、規定した変更可能領域（正解ラベルの推論に影響する領域）をリファイン画像で置き換えた誤推論画像を、推論部に入力することで推論する。更に第４の実施形態に係る解析装置１００は、重要特徴指標閾値及び選択するスーパーピクセルの組み合わせを変えながら推論し、推論した正解ラベルの各スコアから、誤推論の原因となるスーパーピクセルの組み合わせ（変更可能領域）を特定する。
【０２１２】
このように、正解ラベルの推論に影響するスーパーピクセルをリファイン画像で置き換え、置き換えの効果を参照しながら、スーパーピクセルを絞り込むことで、誤推論の原因となる画像箇所を精度よく特定することができる。つまり、第４の実施形態によれば、誤推論の原因となる画像箇所を特定する際の精度を向上させることができる。
【０２１３】
［第５の実施形態］
上記第４の実施形態では、スコア最大化リファイン画像を生成した際の推論部構造情報に基づいて、重要特徴指標マップを生成した。これに対して、第５の実施形態では、スコア最大化リファイン画像を生成するまでの学習中に取得した、重要特徴指標マップに基づいて、平均重要特徴指標マップを生成する。また、重要スーパーピクセル決定部１３２２では、平均重要特徴指標マップに基づいて、重要特徴指標閾値以上のスーパーピクセルを抽出する。以下、第５の実施形態について、上記第４の実施形態との相違点を中心に説明する。
【０２１４】
＜誤推論原因抽出部の機能構成＞
はじめに、第５の実施形態に係る解析装置の、誤推論原因抽出部の機能構成について説明する。図２１は、誤推論原因抽出部の機能構成の一例を示す第４の図である。図１３に示す誤推論原因抽出部の機能構成との相違点は、マップ生成部２１１０である。以下、マップ生成部２１１０の詳細について説明する。
【０２１５】
図２１に示すように、マップ生成部２１１０は、重要特徴マップ生成部１３１１、劣化尺度マップ生成部１３１２、重畳部１３１３に加えて、平均化部２１１１を有する。
【０２１６】
マップ生成部２１１０は、画像リファイナ部３０１の学習中に生成されたリファイン画像と、当該リファイン画像を入力として推論部３０３が推論した際の推論部構造情報とを、逐次、取得する。また、リファイン画像及び推論部構造情報を取得するごとに、マップ生成部２１１０では、重要特徴マップ生成部１３１１、劣化尺度マップ生成部１３１２、重畳部１３１３が動作し、重要特徴指標マップを生成する。
【０２１７】
平均化部２１１１は、重要特徴マップ生成部１３１１及び劣化尺度マップ生成部１３１２がリファイン画像及び推論部構造情報を取得するごとに重畳部１３１３が生成した複数回分の重要特徴指標マップの平均値を算出し、平均重要特徴指標マップを生成する。
【０２１８】
＜誤推論原因抽出処理の具体例＞
次に、誤推論原因抽出処理の具体例について説明する。図２２は、誤推論原因抽出処理の具体例を示す第２の図である。
【０２１９】
図２２に示すように、リファイン画像生成部１０１０において、画像リファイナ部３０１が、１回目の学習結果に基づき、誤推論画像からリファイン画像を生成すると、マップ生成部１３１０では、重要特徴指標マップを生成する。
【０２２０】
また、リファイン画像生成部１０１０において、画像リファイナ部３０１が、２回目の学習結果に基づき、誤推論画像からリファイン画像を生成すると、マップ生成部１３１０では、重要特徴指標マップを生成する。以降、同様の処理を繰り返し、リファイン画像生成部１０１０がスコア最大化リファイン画像を生成すると、マップ生成部１３１０では、重要特徴指標マップを生成する。
【０２２１】
続いて、平均化部２１１１では、１回目のリファイン画像が生成されてからスコア最大化リファイン画像が生成されるまでの間に生成された、複数回分の重要特徴指標マップを取得する。また、平均化部２１１１では、取得した複数回分の重要特徴指標マップの平均値を算出し、平均重要特徴指標マップを生成する。
【０２２２】
続いて、スーパーピクセル分割部１３２１では、誤推論画像に基づいて、スーパーピクセル分割情報を生成し、重要スーパーピクセル決定部１３２２では、重要スーパーピクセル画像を生成する。
【０２２３】
続いて、重要スーパーピクセル決定部１３２２では、重要スーパーピクセル画像に基づいて変更可能領域及び変更不可領域を規定する。このとき、重要スーパーピクセル決定部１３２２では、重要特徴指標閾値を変えるととともに、重要特徴指標閾値を超えるスーパーピクセルの中から選択する組み合わせを変えることで、複数の変更可能領域と変更不可領域との組を生成する。また、重要スーパーピクセル決定部１３２２では、生成した複数の変更可能領域と変更不可領域との組を用いて、合成画像を生成する（図２２の例は、スコア最大化リファイン画像を利用して合成画像を生成する場合を示している）。
【０２２４】
続いて、重要スーパーピクセル評価部１３２３では、生成された合成画像を入力として推論部３０３が推論した正解ラベルのスコアを取得する。これにより、重要スーパーピクセル評価部１３０３では、取得した正解ラベルに基づいて誤推論の原因となるスーパーピクセルの組み合わせ（変更可能領域）を特定し、誤推論原因情報として出力する。
【０２２５】
なお、上記誤推論原因抽出処理において、リファイン画像を取得して重要特徴指標マップを生成する間隔は任意であり、１回の学習ごとに重要特徴指標マップを生成しても、複数回の学習ごとに重要特徴指標マップを生成してもよい。また、リファイン画像を取得して重要特徴指標マップを生成するにあたり、推論部３０３の正解ラベルのスコアを評価し、所定の閾値よりも大きい場合に、リファイン画像を取得して重要特徴指標マップを生成してもよい。
【０２２６】
また、リファイン画像生成部１０１０により生成された複数のリファイン画像を利用して合成画像を生成するにあたっては、
・最後の回のリファイン画像を利用して合成画像を生成する方法、あるいは、
・それぞれのリファイン画像を入力とした推論での正解ラベルのスコアが一番よいリファイン画像（スコア最大化リファイン画像）を利用して合成画像を生成する方法、あるいは、
・それぞれのリファイン画像を利用して生成した合成画像を入力とした推論での正解ラベルのスコアが一番よいリファイン画像を利用して合成画像を生成する方法、
等の生成方法が考えられる。
【０２２７】
以上の説明から明らかなように、第５の実施形態に係る解析装置１００は、スコア最大化リファイン画像を生成するまでの学習中に生成した、重要特徴指標マップに基づいて、平均重要特徴指標マップを生成する。また、第５の実施形態に係る解析装置１００は、平均重要特徴指標マップに基づいて、重要特徴指標閾値以上のスーパーピクセルを抽出する。
【０２２８】
これにより、第５の実施形態によれば、上記第４の実施形態による効果に加えて、更に、リファイン画像のゆらぎによる、重要特徴指標マップへの影響を低減させることが可能となる。
【０２２９】
［第６の実施形態］
上記第４の実施形態では、スコア最大化リファイン画像が生成され、重要特徴指標マップが生成されると、特定部１３２０では、変更可能領域及び変更不可領域を規定し、誤推論の原因となる画像箇所を特定する処理を開始するものとして説明した。
【０２３０】
また、上記第５の実施形態では、スコア最大化リファイン画像が生成され、平均重要特徴指標マップが生成されると、特定部１３２０では、変更可能領域及び変更不可領域を規定し、誤推論の原因となる画像箇所を特定する処理を開始するものとして説明した。
【０２３１】
これに対して、第６の実施形態では、特定部１３２０が変更可能領域及び変更不可領域を規定した後に、リファイン画像生成部が、規定された変更可能領域を加味して、再度、スコア最大化リファイン画像を生成しなおす。
【０２３２】
このように、変更可能領域を加味してスコア最大化リファイン画像を再生成することで、第６の実施形態によれば、正解ラベルの推論に影響する特徴部分がより明確になった重要特徴指標マップ（あるいは平均重要特徴指標マップ）を生成することが可能となる。この結果、合成画像を入力としてラベルを推論した際のスコアを上げることが可能となる。
【０２３３】
以下、第６の実施形態について、上記第４または第５の実施形態との相違点を中心に説明する。
【０２３４】
＜誤推論原因抽出部の機能構成＞
はじめに、第６の実施形態に係る解析装置の、誤推論原因抽出部の機能構成について説明する。図２３は、誤推論原因抽出部の機能構成の一例を示す第５の図である。図２１に示す誤推論原因抽出部の機能構成との相違点は、リファイン画像生成部２３１０及び特定部２３２０である。以下、リファイン画像生成部２３１０及び特定部２３２０の詳細について説明する。
【０２３５】
（１）リファイン画像生成部の詳細
はじめに、リファイン画像生成部２３１０の詳細について説明する。図２３に示すように、リファイン画像生成部２３１０は、リファイン画像生成部１０１０の画像誤差演算部３０２とは機能の異なる画像誤差演算部２３１１を有する。
【０２３６】
画像誤差演算部２３１１は、画像誤差演算部３０２と同様、学習中に画像リファイナ部３０１に入力される誤推論画像と、学習中に画像リファイナ部３０１より出力されるリファイン画像との差分を算出し、画像差分値を、画像リファイナ部３０１に入力する。ただし、画像誤差演算部２３１１の場合、画像リファイナ部３０１に画像差分値を入力する際、補正部２３２１より通知された変更可能領域に対応する画像部分について、画像差分値を補正する。
【０２３７】
具体的には、画像誤差演算部２３１１は、変更可能領域に対応する画像部分の画像差分値に１未満の係数をかけて補正する。これにより、画像リファイナ部３０１では、変更可能領域に対応する画像部分の画像差分値を、変更可能領域以外の領域に対応する画像部分の画像差分値よりも弱めて再学習したうえで、スコア最大化リファイン画像を再生成することができる。
【０２３８】
（２）特定部の詳細
次に、特定部２３２０の詳細について説明する。図２３に示すように、特定部２３２０は、スーパーピクセル分割部１３２１、重要スーパーピクセル決定部１３２２、重要スーパーピクセル評価部１３２３に加えて、補正部２３２１を有する。
【０２３９】
補正部２３２１は、重要スーパーピクセル決定部１３２２において規定された変更可能領域を取得し、画像誤差演算部２３１１に通知する。これにより、リファイン画像生成部２３１０では、変更可能領域を加味して再学習したうえで、スコア最大化リファイン画像を再生成することができる。
【０２４０】
＜誤推論原因抽出処理の具体例＞
次に、誤推論原因抽出処理の具体例について説明する。図２４は、誤推論原因抽出処理の具体例を示す第３の図である。図２２を用いて説明した、誤推論原因抽出処理の具体例との相違点は、重要スーパーピクセル画像に基づいて変更可能領域と変更不可領域との組が生成された際、補正部２３２１が、変更可能領域を画像誤差演算部２３１１に通知する点である。これにより、リファイン画像生成部２３１０では、変更可能領域を加味して再学習したうえで、スコア最大化リファイン画像を再生成し、マップ生成部２１１０では、平均重要特徴指標マップを再生成することができる。
【０２４１】
なお、上記誤推論原因抽出処理において、リファイン画像を取得して重要特徴指標マップを生成する間隔は任意であり、１回の学習ごとに重要特徴指標マップを生成しても、複数回の学習ごとに重要特徴指標マップを生成してもよい。また、リファイン画像を取得して重要特徴指標マップを生成するにあたり、推論部３０３の正解ラベルのスコアを評価し、所定の閾値よりも大きい場合に、リファイン画像を取得して重要特徴指標マップを生成してもよい。
【０２４２】
また、リファイン画像生成部２３１０により生成された複数のリファイン画像を利用して合成画像を生成するにあたっては、
・最後の回のリファイン画像を利用して合成画像を生成する方法、あるいは、
・それぞれのリファイン画像を入力とした推論での正解ラベルのスコアが一番よいリファイン画像（スコア最大化リファイン画像）を利用して合成画像を生成する方法、あるいは、
・それぞれのリファイン画像を利用して生成した合成画像を入力とした推論での正解ラベルのスコアが一番よいリファイン画像を利用して合成画像を生成する方法、
等の生成方法が考えられる。
【０２４３】
以上の説明から明らかなように、第６の実施形態に係る解析装置１００は、変更可能領域を加味して再学習したうえでスコア最大化リファイン画像を再生成し、平均重要特徴指標マップを再生成する。
【０２４４】
これにより、第６の実施形態によれば、正解ラベルの推論に影響する特徴部分がより明確になった重要特徴指標マップ（あるいは平均重要特徴指標マップ）を生成することが可能となり、合成画像を入力として推論した際のスコアを上げることが可能となる。
【０２４５】
［第７の実施形態］
上記第４乃至第６の実施形態では、誤推論の原因となるスーパーピクセルの組み合わせ（変更可能領域）を特定し、誤推論原因情報として出力するものとして説明した。しかしながら、誤推論原因情報の出力方法はこれに限定されず、例えば、変更可能領域内の重要部分を可視化して出力してもよい。以下、第７の実施形態について、上記第４乃至第６の実施形態との相違点を中心に説明する。
【０２４６】
＜誤推論原因抽出部の機能構成＞
はじめに、第７の実施形態に係る解析装置１００における、誤推論原因抽出部の機能構成について説明する。図２５は、誤推論原因抽出部の機能構成の一例を示す第６の図である。図１３に示す誤推論原因抽出部の機能構成との相違点は、詳細原因解析部２５１０を有する点である。
【０２４７】
詳細原因解析部２５１０は、誤推論画像とスコア最大化リファイン画像とを用いて、変更可能領域内の重要部分を可視化し、作用結果画像として出力する。
【０２４８】
＜詳細原因解析部の機能構成＞
次に、詳細原因解析部２５１０の機能構成について説明する。図２６は、詳細原因解析部の機能構成の一例を示す第１の図である。図２６に示すように、詳細原因解析部２５１０は、画像差分演算部２６０１、ＳＳＩＭ演算部２６０２、切り出し部２６０３、作用部２６０４を有する。
【０２４９】
画像差分演算部２６０１は、誤推論画像とスコア最大化リファイン画像との画素単位での差分を演算し、差分画像を出力する。
【０２５０】
ＳＳＩＭ演算部２６０２は、誤推論画像とスコア最大化リファイン画像とを用いて、ＳＳＩＭ演算を行うことで、ＳＳＩＭ画像を出力する。
【０２５１】
切り出し部２６０３は、差分画像から変更可能領域に対応する画像部分を切り出す。また、切り出し部２６０３は、ＳＳＩＭ画像から変更可能領域に対応する画像部分を切り出す。更に、切り出し部２６０３は、変更可能領域に対応する画像部分を切り出した、差分画像とＳＳＩＭ画像とを乗算して、乗算画像を生成する。
【０２５２】
作用部２６０４は、誤推論画像と乗算画像とに基づいて、作用結果画像を生成する。
【０２５３】
＜詳細原因解析部の処理の具体例＞
次に、詳細原因解析部２５１０の処理の具体例について説明する。図２７は、詳細原因解析部の処理の具体例を示す図である。
【０２５４】
図２７に示すように、はじめに、画像差分演算部２６０１において、誤推論画像（Ａ）とスコア最大化リファイン画像（Ｂ）との差分（＝（Ａ）−（Ｂ））が演算され、差分画像が出力される。差分画像は、誤推論の原因となる画像箇所での画素修正情報である。
【０２５５】
続いて、ＳＳＩＭ演算部２６０２において、誤推論画像（Ａ）とスコア最大化リファイン画像（Ｂ）とに基づいてＳＳＩＭ演算が行われる（ｙ＝ＳＳＩＭ（（Ａ），（Ｂ））。更に、ＳＳＩＭ演算部２６０２において、ＳＳＩＭ演算の結果が反転されることで（ｙ’＝２５５−（ｙ×２５５））、ＳＳＩＭ画像が出力される。ＳＳＩＭ画像は、誤推論の原因となる画像箇所を高精度に指定した画像であり、画素値が大きいと差分が大きく、画素値が小さいと差分が小さいことを表す。なお、ＳＳＩＭ演算の結果を反転する処理は、例えば、ｙ’＝１−ｙを算出することにより行ってもよい。
【０２５６】
続いて、切り出し部２６０３において、差分画像から変更可能領域に対応する画像部分が切り出され、切り出し画像（Ｃ）が出力される。同様に、切り出し部２６０３において、ＳＳＩＭ画像から変更可能領域に対応する画像部分が切り出され、切り出し画像（Ｄ）が出力される。
【０２５７】
ここで、変更可能領域は、誤推論の原因となる画像部分を領域にまで絞り込んだものであり、詳細原因解析部２５１０では、絞り込んだ領域の中で、更に、画素粒度での原因解析を行うことを目的としている。
【０２５８】
このため、切り出し部２６０３では、切り出し画像（Ｃ）と切り出し画像（Ｄ）とを乗算し、乗算画像（Ｇ）を生成する。乗算画像（Ｇ）は、誤推論の原因となる画像箇所での画素修正情報を更に高精度に指定した、画素修正情報に他ならない。
【０２５９】
また、切り出し部２６０３では、乗算画像（Ｇ）に対して強調処理を行い、強調乗算画像（Ｈ）を出力する。なお、切り出し部２６０３では、強調乗算画像（Ｈ）を下式に基づいて算出する。
【０２６０】
（式３）
強調乗算画像（Ｈ）＝２５５×（Ｇ）／（ｍａｘ（Ｇ）−ｍｉｎ（Ｇ））
【０２６１】
続いて作用部２６０４では、誤推論画像（Ａ）から強調乗算画像（Ｈ）を減算することで重要部分を可視化し、作用結果画像を生成する。
【０２６２】
なお、図２７に示した強調処理の方法は一例にすぎず、可視化した際に重要部分がより識別しやすくなる方法であれば、他の方法により強調処理を行ってもよい。
【０２６３】
＜詳細原因解析処理の流れ＞
次に、詳細原因解析部２５１０による詳細原因解析処理の流れについて説明する。図２８は、詳細原因解析処理の流れを示す第１のフローチャートである。
【０２６４】
ステップＳ２８０１において、画像差分演算部２６０１は、誤推論画像とスコア最大化リファイン画像との差分画像を算出する。
【０２６５】
ステップＳ２８０２において、ＳＳＩＭ演算部２６０２は、誤推論画像とスコア最大化リファイン画像とに基づいて、ＳＳＩＭ画像を演算する。
【０２６６】
ステップＳ２８０３において、切り出し部２６０３は、変更可能領域に対応する差分画像を切り出す。
【０２６７】
ステップＳ２８０４において、切り出し部２６０３は、変更可能領域に対応するＳＳＩＭ画像を切り出す。
【０２６８】
ステップＳ２８０５において、切り出し部２６０３は、切り出した差分画像と切り出したＳＳＩＭ画像とを乗算し、乗算画像を生成する。
【０２６９】
ステップＳ２８０６において、切り出し部２６０３は、乗算画像に対して強調処理を行う。また、作用部２６０４は、強調処理された乗算画像を、誤推論画像から減算し、作用結果画像を出力する。
【０２７０】
以上の説明から明らかなように、第７の実施形態に係る解析装置１００は、誤推論画像とスコア最大化リファイン画像とに基づいて、差分画像とＳＳＩＭ画像とを生成し、変更可能領域を切り出して乗算する。これにより、第７の実施形態に係る解析装置１００によれば、変更可能領域内において、誤推論の原因となる画像箇所を画素単位で視認することが可能となる。
【０２７１】
［第８の実施形態］
上記第７の実施形態では、誤推論画像とスコア最大化リファイン画像とに基づいて生成した差分画像とＳＳＩＭ画像とを用いて、誤推論の原因となる画像箇所を画素単位で可視化する場合について説明した。
【０２７２】
これに対して、第８の実施形態では、更に、重要特徴マップを用いて、誤推論の原因となる画像箇所を画素単位で可視化する。以下、第８の実施形態について、上記第７の実施形態との相違点を中心に説明する。
【０２７３】
＜誤推論原因抽出部の機能構成＞
はじめに、第８の実施形態に係る解析装置１００における、誤推論原因抽出部の機能構成について説明する。図２９は、誤推論原因抽出部の機能構成の一例を示す第７の図である。図２５に示す誤推論原因抽出部の機能構成との相違点は、図２９の場合、詳細原因解析部２９１０の機能が、図２５に示す詳細原因解析部２５１０の機能とは異なる点、及び、詳細原因解析部２９１０が、推論部３０３より推論部構造情報を取得する点である。
【０２７４】
詳細原因解析部２９１０は、誤推論画像とスコア最大化リファイン画像と推論部構造情報とに基づいて生成した、差分画像とＳＳＩＭ画像と重要特徴マップとを用いて、誤推論の原因となる画像箇所を画素単位で可視化する。
【０２７５】
なお、詳細原因解析部２９１０が誤推論の原因となる画像箇所を画素単位で可視化する際に用いる差分画像、ＳＳＩＭ画像、重要特徴マップは、以下のような属性を有する。
・差分画像：画素ごとの差分情報であり、指定したクラスの分類確率をよくするために画素をどのくらい修正すればよいかを示す、正負値を有する情報である。
・ＳＳＩＭ画像：画像全体及び局所領域の変化状況を考慮した差分情報であり、画素ごとの差分情報よりもアーティファクト（意図しないノイズ）が少ない情報である。つまり、より高い精度の差分情報である（ただし、正値のみの情報である）。
・重要特徴マップ：正解ラベルの推論に影響を与える特徴部分を可視化したマップである。
【０２７６】
＜詳細原因解析部の機能構成＞
次に、詳細原因解析部２９１０の機能構成について説明する。図３０は、詳細原因解析部の機能構成の一例を示す第２の図である。図２６に示す機能構成との相違点は、図３０の場合、ＢＰ演算部３００１を有する点、及び、切り出し部３００２の機能が、図２６の切り出し部２６０３の機能とは異なる点である。
【０２７７】
ＢＰ演算部３００１は、スコア最大化リファイン画像を入力として推論した際の推論部構造情報を、推論部３０３より取得する。また、ＢＰ演算部３００１は、ＢＰ法を用いることで、推論部構造情報に基づいて、重要特徴マップを生成する。
【０２７８】
切り出し部３００２は、差分画像及びＳＳＩＭ画像から、変更可能領域に対応する画像部分を切り出すことに加えて、重要特徴マップから、変更可能領域に対応する画像部分を切り出す。更に、切り出し部３００２は、変更可能領域に対応する画像部分を切り出した、差分画像とＳＳＩＭ画像と重要特徴マップとを乗算して、乗算画像を生成する。
【０２７９】
このように、差分画像とＳＳＩＭ画像と重要特徴マップとを乗算することで、作用結果画像において、誤推論の原因となる画像箇所を画素単位で視認することが可能となる。
【０２８０】
なお、乗算の際に差分画像を用いることで、作用結果画像は、正解ラベルのスコアが上がる画像に自動的に修正されることになる。したがって、このような利点を考慮しないのであれば、詳細原因解析部２９１０は、（差分画像を用いずに）ＳＳＩＭ画像と重要特徴マップとを用いて乗算を行い、作用結果画像を出力してもよい。
【０２８１】
＜詳細原因解析部の処理の具体例＞
次に、詳細原因解析部２９１０の処理の具体例について説明する。図３１は、詳細原因解析部の処理の具体例を示す第２の図である。なお、図２７に示した詳細原因解析部２５１０の処理の具体例との相違点は、ＢＰ演算部３００１において、推論部構造情報（Ｉ）に基づいて、ＢＰ法を用いた処理が行われ、重要特徴マップが生成されている点である。また、切り出し部３００２において、重要特徴マップから変更可能領域に対応する画像部分が切り出され、切り出し画像（Ｊ）が出力されている点である。更に、切り出し部３００２において、切り出し画像（Ｃ）と切り出し画像（Ｄ）と切り出し画像（Ｊ）とが乗算され、乗算画像（Ｇ）が生成されている点である。
【０２８２】
＜詳細原因解析処理の流れ＞
次に、詳細原因解析部２９１０による詳細原因解析処理の流れについて説明する。図３２は、詳細原因解析処理の流れを示す第２のフローチャートである。図２８に示したフローチャートとの相違点は、ステップＳ３２０１、ステップＳ３２０２、ステップＳ３２０３である。
【０２８３】
ステップＳ３２０１において、ＢＰ演算部３００１は、スコア最大化リファイン画像を入力として推論した際の推論部構造情報を、推論部３０３より取得し、ＢＰ法を用いることで、推論部構造情報に基づいて重要特徴マップを生成する。
【０２８４】
ステップＳ３２０２において、切り出し部３００２は、重要特徴マップから、変更可能領域に対応する画像部分を切り出す。
【０２８５】
ステップＳ３２０３において、切り出し部３００２は、変更可能領域に対応する画像部分を切り出した、差分画像とＳＳＩＭ画像と重要特徴マップとを乗算して、乗算画像を生成する。
【０２８６】
以上の説明から明らかなように、第８の実施形態に係る解析装置１００は、誤推論画像とスコア最大化リファイン画像と推論部構造情報とに基づいて、差分画像とＳＳＩＭ画像と重要特徴マップとを生成し、変更可能領域を切り出して乗算する。これにより、第８の実施形態に係る解析装置１００によれば、変更可能領域内において、誤推論の原因となる画像箇所を画素単位で視認することが可能となる。
【０２８７】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【０２８８】
１００      ：解析装置
１４０      ：誤推論原因抽出部
１４１      ：リファイン画像生成部
１４２      ：マップ生成部
１４３      ：特定部
３０１      ：画像リファイナ部
３０２      ：画像誤差演算部
３０３      ：推論部
３０４      ：スコア誤差演算部
３１１      ：注目領域導出部
３２１      ：変更領域制限情報生成部
３２２      ：マスク画像生成部
３２３      ：領域抽出部
３２４      ：合成部
３２５      ：判断部
１０１０    ：リファイン画像生成部
１０２０    ：特定部
１３１０    ：マップ生成部
１３１１    ：重要特徴マップ生成部
１３１２    ：劣化尺度マップ生成部
１３１３    ：重畳部
１３２０    ：特定部
１３２１    ：スーパーピクセル分割部
１３２２    ：重要スーパーピクセル決定部
１３２３    ：重要スーパーピクセル評価部
１６１０    ：領域抽出部
１６１１    ：合成部
２１１０    ：マップ生成部
２１１１    ：平均化部
２３１０    ：リファイン画像生成部
２３１１    ：画像誤差演算部
２３２０    ：特定部
２３２１    ：補正部
２５１０    ：詳細原因解析部
２６０１    ：画像差分演算部
２６０２    ：ＳＳＩＭ演算部
２６０３    ：切り出し部
２６０４    ：作用部
２９１０    ：詳細原因解析部
３００１    ：ＢＰ演算部
３００２    ：切り出し部
【図１】
2020197875.tif 000003
【図２】
2020197875.tif 000004
【図３】
2020197875.tif 000005
【図４】
2020197875.tif 000006
【図５】
2020197875.tif 000007
【図６】
2020197875.tif 000008
【図７】
2020197875.tif 000009
【図８】
2020197875.tif 000010
【図９】
2020197875.tif 000011
【図１０】
2020197875.tif 000012
【図１１】
2020197875.tif 000013
【図１２】
2020197875.tif 000014
【図１３】
2020197875.tif 000015
【図１４】
2020197875.tif 000016
【図１５】
2020197875.tif 000017
【図１６】
2020197875.tif 000018
【図１７】
2020197875.tif 000019
【図１８】
2020197875.tif 000020
【図１９】
2020197875.tif 000021
【図２０】
2020197875.tif 000022
【図２１】
2020197875.tif 000023
【図２２】
2020197875.tif 000024
【図２３】
2020197875.tif 000025
【図２４】
2020197875.tif 000026
【図２５】
2020197875.tif 000027
【図２６】
2020197875.tif 000028
【図２７】
2020197875.tif 000029
【図２８】
2020197875.tif 000030
【図２９】
2020197875.tif 000031
【図３０】
2020197875.tif 000032
【図３１】
2020197875.tif 000033
【図３２】
2020197875.tif 000034