(57)【要約】      （修正有）【課題】分類が増えた場合にも、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）のパラメータの再学習することなく、各分類に固有の特徴箇所を適切に特定可能にする装置、方法及びプログラムを提供する。【解決手段】特徴特定装置２０において、類似度計算部２１３は、複数の分類それぞれを対象として、対象の分類の画像データから抽出された特徴量である基準特徴量と、認識対象の画像データである認識対象データから抽出された特徴量である認識特徴量との類似度を計算する。影響度計算部２１４は、各分類についての類似度と、認識特徴量とを入力として、認識対象データの各部分画像についての類似度への影響度を計算する。特徴特定部２１５は、影響度により認識特徴量を変更する。【選択図】図４
2020160582.tif 000002
【特許請求の範囲】
【請求項１】
複数の分類それぞれを対象として、対象の分類の画像データから抽出された特徴量である基準特徴量と、認識対象の画像データである認識対象データから抽出された特徴量である認識特徴量との類似度を計算する類似度計算部と、
前記類似度計算部によって計算された各分類についての類似度と、前記認識特徴量とを入力として、前記認識対象データの各部分画像についての前記類似度への影響度を計算する影響度計算部と、
前記影響度計算部によって計算された前記影響度により前記認識特徴量を変更する特徴特定部と
を備える特徴特定装置。
【請求項２】
前記類似度計算部は、前記基準特徴量と前記認識特徴量との距離を計算することにより、前記類似度を計算する
請求項１に記載の特徴特定装置。
【請求項３】
前記影響度計算部は、前記各分類について、前記認識対象データの前記各部分画像を変化させた場合の前記類似度への影響の大きさを、前記影響度として計算する
請求項１又は２に記載の特徴特定装置。
【請求項４】
前記特徴特定部は、前記影響度を重みとして、前記認識特徴量に重み付けすることにより、前記認識特徴量を変更する
請求項１から３までのいずれか１項に記載の特徴特定装置。
【請求項５】
前記基準特徴量及び前記認識特徴量は、前記複数の分類に関する情報を有さない特徴抽出モデルによって抽出された
請求項１から４までのいずれか１項に記載の特徴特定装置。
【請求項６】
前記特徴抽出モデルは、学習対象の画像データである学習データが変換された二値の画像データである変換二値データと、第１ニューラルネットワークにより抽出した前記学習データの特徴量である学習特徴量に基づき第２ニューラルネットワークにより前記学習データを変換した二値の画像データである学習二値データとの差分に基づき、前記第１ニューラルネットワークと前記第２ニューラルネットワークとのパラメータを更新する機械学習装置によって生成された前記第１ニューラルネットワークである
請求項５に記載の特徴特定装置。
【請求項７】
類似度計算部が、複数の分類それぞれを対象として、対象の分類の画像データから抽出された特徴量である基準特徴量と、認識対象の画像データである認識対象データから抽出された特徴量である認識特徴量との類似度を計算し、
影響度計算部が、各分類についての類似度と、前記認識特徴量とを入力として、前記認識対象データの各部分画像についての前記類似度への影響度を計算し、
特徴特定部が、前記影響度により前記認識特徴量を変更する特徴特定方法。
【請求項８】
複数の分類それぞれを対象として、対象の分類の画像データから抽出された特徴量である基準特徴量と、認識対象の画像データである認識対象データから抽出された特徴量である認識特徴量との類似度を計算する類似度計算処理と、
前記類似度計算処理によって計算された各分類についての類似度と、前記認識特徴量とを入力として、前記認識対象データの各部分画像についての前記類似度への影響度を計算する影響度計算処理と、
前記影響度計算処理によって計算された前記影響度により前記認識特徴量を変更する特徴特定処理と
を実行する特徴特定装置としてコンピュータを機能させる特徴特定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像データの特徴を特定する技術に関する。
【背景技術】
【０００２】
金融機関又は役所等では、申請書といった紙書類を用いたデータの登録と変更と削除といった処理が行われている。紙書類は、例えば、（１）書類の仕分け、（２）不備の確認、（３）（不備がなければ）内容の登録、（４）（不備があれば）記載者への返却といった流れで処理されている。これらの処理を実行するには人件費がかかるため、これらの処理を自動化することが望まれている。
これらの処理を自動化する取り組みとして、紙書類を電子化し、記載項目及び記載内容をコンピュータにより認識し、不備の判定を行うシステムがある（例えば、特許文献１参照）。このようなシステムでは、システムを動作させる以前に、紙書類内の記入領域を定義するといった初期設定が必要である。この初期設定を手作業で行うには手間がかかる。
【０００３】
紙書類の画像データから記入領域を自動で抽出する方法として、次の方法が考えられる。事前に紙書類においてテンプレートを印刷又は記入しておく。そして、紙書類の画像データからテンプレートを特定して、テンプレート以外の箇所を記入領域として特定する。この方法を実現するには、画像データに含まれるテンプレートを特定する技術が必要である。
ここで、複数の人によって記入された複数の記入書類では、記入領域は、記入がされている場合もあれば、記入がされていない場合もある。また、記入領域に記入された内容及び文字の形状は異なる。そのため、複数の紙書類の画像データにおける特徴箇所がテンプレートである可能性が高い。また、複数の分類の紙書類がある場合には、各分類の識別に寄与する箇所、つまり各分類の紙書類の画像データからその分類に固有の特徴箇所がテンプレートである可能性が高い。
【０００４】
特許文献２には、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ：畳み込みニューラルネットワーク）を用いて、画像データの特徴を抽出する技術が記載されている。非特許文献１には、ＣＮＮによる分類の根拠となる画像データにおける箇所を特定する技術が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１８−０６７１８０号公報
【特許文献２】特開２０１６−１１０２３２号公報
【非特許文献】
【０００６】
【非特許文献１】Ｒ  ．  Ｓｅｌｖａｒａｊｕ  ｅｔ  ａｌ，  “Ｇｒａｄ−ＣＡＭ：  Ｖｉｓｕａｌ  Ｅｘｐｌａｎａｔｉｏｎｓ  ｆｒｏｍ  Ｄｅｅｐ  Ｎｅｔｗｏｒｋｓ  ｖｉａ  Ｇｒａｄｉｅｎｔ−ｂａｓｅｄ  Ｌｏｃａｌｉｚａｔｉｏｎ”
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献２及び非特許文献１に記載された技術を用いて、各分類に固有の特徴箇所を特定する場合には、各分類についてのパラメータを学習したＣＮＮを構築する必要がある。そのため、分類が増える度にＣＮＮのパラメータの再学習が必要になり、計算機リソース及び時間が必要になってしまう。
この発明は、分類が増えた場合にも、ＣＮＮのパラメータの再学習することなく、各分類に固有の特徴箇所を適切に特定可能にすることを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る特徴特定装置は、
複数の分類それぞれを対象として、対象の分類の画像データから抽出された特徴量である基準特徴量と、認識対象の画像データである認識対象データから抽出された特徴量である認識特徴量との類似度を計算する類似度計算部と、
前記類似度計算部によって計算された各分類についての類似度と、前記認識特徴量とを入力として、前記認識対象データの各部分画像についての前記類似度への影響度を計算する影響度計算部と、
前記影響度計算部によって計算された前記影響度により前記認識特徴量を変更する特徴特定部と
備える。
【発明の効果】
【０００９】
この発明では、各分類について基準特徴量と認識特徴量との類似度を計算し、前記認識対象データの各部分画像についての類似度への影響度を計算する。そして、影響度により認識特徴量を変更する。
これにより、分類に関する情報を有さないＣＮＮを用いて基準特徴量と認識特徴量とを抽出しても、適切に特徴箇所を特定可能になる。そのため、分類が増えた場合にも、基準特徴量及び認識特徴量を抽出するためのＣＮＮのパラメータの再学習することなく、適切に特徴箇所を特定可である。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１に係る特徴特定システム１００の構成図。
【図２】実施の形態１に係る機械学習装置１０及び特徴特定装置２０のハードウェア構成図。
【図３】実施の形態１に係る機械学習装置１０の機能構成図。
【図４】実施の形態１に係る特徴特定装置２０の機能構成図。
【図５】実施の形態１に係る機械学習装置１０の動作を示すフローチャート。
【図６】実施の形態１に係る特徴特定装置２０の動作を示すフローチャート。
【図７】実施の形態１に係る類似度計算処理のフローチャート。
【図８】実施の形態１に係る影響度計算処理のフローチャート。
【図９】実施の形態１に係る特徴特定処理のフローチャート。
【図１０】変形例２に係る類似度計算処理のフローチャート。
【発明を実施するための形態】
【００１１】
実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る特徴特定システム１００の構成を説明する。
特徴特定システム１００は、機械学習装置１０と、特徴特定装置２０とを備える。機械学習装置１０と特徴特定装置２０とは、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）といった通信路３０を介して接続されており、データの受け渡しが可能である。
なお、機械学習装置１０と特徴特定装置２０とは、１つの装置によって実現されてもよい。この場合には、機械学習装置１０と特徴特定装置２０とは、装置の信号線等を介して、データの受け渡しが可能である。
【００１２】
図２を参照して、実施の形態１に係る機械学習装置１０及び特徴特定装置２０のハードウェア構成を説明する。
機械学習装置１０及び特徴特定装置２０は、コンピュータである。
機械学習装置１０は、プロセッサ１１と、メモリ１２と、補助記憶装置１３と、通信インタフェース１４とを備える。特徴特定装置２０は、プロセッサ２１と、メモリ２２と、補助記憶装置２３と、通信インタフェース２４と、出力インタフェース２５とを備える。
【００１３】
プロセッサ１１，２１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）である。プロセッサ１１，２１は、具体例としては、ＣＰＵ（Ｃｅｎｔｒａｌ
Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）である。
【００１４】
メモリ１２，２２は、データを一時的に記憶する記憶装置である。メモリ１２，２２は、具体例としては、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）である。
【００１５】
補助記憶装置１３，２３は、データを保管する記憶装置である。補助記憶装置１３，２３は、具体例としては、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）である。また、補助記憶装置１３，２３は、ＳＤ（登録商標，Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ）メモリカード、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ，登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）といった可搬記録媒体であってもよい。
【００１６】
通信インタフェース１４，２４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４，２４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）のポートである。
【００１７】
出力インタフェース２５は、表示装置といった機器と通信するためのインタフェースである。出力インタフェース２５は、具体例としては、ＨＤＭＩ（登録商標，Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）のポートである。
【００１８】
図３を参照して、実施の形態１に係る機械学習装置１０の機能構成を説明する。
機械学習装置１０は、機能構成要素として、サンプリング部１１１と、二値画像変換部１１２と、画像生成部１１３と、特徴量抽出部１１４と、画像再構築部１１５と、パラメータ更新部１１６とを備える。機械学習装置１０の各機能構成要素の機能はソフトウェアにより実現される。
補助記憶装置１３には、機械学習装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、機械学習装置１０の各機能構成要素の機能が実現される。
また、補助記憶装置１３は、複数の学習画像データ１３１と、第１パラメータ１３２と、第２パラメータ１３３とを記憶する。
【００１９】
図４を参照して、実施の形態１に係る特徴特定装置２０の機能構成を説明する。
特徴特定装置２０機能構成要素として、特徴抽出部２１１と、特徴変更部２１２とを備える。特徴変更部２１２は、類似度計算部２１３と、影響度計算部２１４と、特徴特定部２１５とを備える。特徴特定装置２０の各機能構成要素の機能はソフトウェアにより実現される。
補助記憶装置２３には、特徴特定装置２０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ２１によりメモリ２２に読み込まれ、プロセッサ２１によって実行される。これにより、特徴特定装置２０の各機能構成要素の機能が実現される。
また、補助記憶装置２３は、複数の分類それぞれについて１つ以上の登録画像データ２３１と、複数の分類それぞれについて１つ以上の基準特徴量２３２と、１つ以上の認識対象データ２３３とを記憶する。
【００２０】
図２では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、機械学習装置１０の各機能を実現するプログラムを連携して実行してもよい。同様に、プロセッサ２１は、複数であってもよく、複数のプロセッサ２１が、特徴特定装置２０の各機能を実現するプログラムを連携して実行してもよい。
【００２１】
以下の説明において、各装置における機能構成要素間でのデータの受け渡しは、プロセス間通信によって行われてもよいし、メモリ１２，２２を介して行われてもよい。
【００２２】
＊＊＊動作の説明＊＊＊
図５から図９を参照して、実施の形態１に係る特徴特定システム１００の動作を説明する。
実施の形態１に係る特徴特定システム１００の動作は、実施の形態１に係る特徴特定方法に相当する。また、実施の形態１に係る特徴特定システム１００の動作は、実施の形態１に係る特徴特定プログラムの処理に相当する。
【００２３】
図５を参照して、実施の形態１に係る機械学習装置１０の動作を説明する。
機械学習装置１０は、補助記憶装置１３に記憶された複数の学習画像データ１３１それぞれを対象として図５に示す処理を実行する。これにより、第１ニューラルネットワークの第１パラメータ１３２及び第２ニューラルネットワークの第２パラメータ１３３を更新する。
各学習画像データ１３１は、学習対象とする複数の分類のいずれかの分類の画像データである。実施の形態１では、各学習画像データ１３１は、複数の分類のいずれかの分類の紙書類を画像化した画像データである。なお、各学習画像データ１３１には、分類に関する情報は含まれていない。
【００２４】
（ステップＳ１１：サンプリング処理）
サンプリング部１１１は、対象の学習画像データ１３１から画素データをサンプリングして、基準サイズの画像データに変換する。ここでは、各学習画像データ１３１は、グレースケールであるとする。
【００２５】
（ステップＳ１２：二値画像変換処理）
二値画像変換部１１２は、ステップＳ１１で基準サイズに変換された後のグレースケールの学習画像データ１３１を二値化して、二値の画像データである変換二値データを生成する。
【００２６】
（ステップＳ１３：画像生成処理）
画像生成部１１３は、ステップＳ１１で基準サイズに変換された後のグレースケールの学習画像データ１３１に対して、学習に必要な前処理を実行する。
具体例としては、画像生成部１１３は、学習画像データ１３１から画像取得時のノイズを除去して、学習画像データ１３１の状態を均一にする。又は、画像生成部１１３は、学習画像データ１３１に対してノイズを付加して、学習画像データ１３１にバリエーションを持たせる。ノイズを付加する方法としては、ガウシアンノイズと、ごま塩ノイズと、ガウシアンぼかし等を付加する、回転とシフトと拡大縮小といった操作を実行する、又は、輝度値とコントラストとシャープネスといった設定値を調整するといったことが考えられる。
【００２７】
（ステップＳ１４：特徴量抽出処理）
特徴量抽出部１１４は、ステップＳ１３で前処理が実行された後の学習画像データ１３１から第１ニューラルネットワークにより画素毎の特徴量を学習特徴量として抽出する。この際、第１ニューラルネットワークは、補助記憶装置１３に記憶された第１パラメータ１３２を参照して学習特徴量を抽出する。実施の形態１では、第１ニューラルネットワークは、ＣＮＮであるとする。
【００２８】
（ステップＳ１５：画像再構築処理）
画像再構築部１１５は、ステップＳ１４で抽出された学習特徴量を入力として、第２ニューラルネットワークにより学習画像データ１３１を二値化して、二値の画像データである学習二値データを生成する。この際、第２ニューラルネットワークは、補助記憶装置１３に記憶された第２パラメータ１３３を参照して学習二値データを生成する。実施の形態１では、第２ニューラルネットワークは、ＣＮＮであるとする。
【００２９】
（ステップＳ１６：パラメータ更新処理）
パラメータ更新部１１６は、ステップＳ１２で生成された変換二値データと、ステップＳ１５で生成された学習二値データとの差分を計算する。パラメータ更新部１１６は、計算された差分に基づき、第１ニューラルネットワークのパラメータである第１パラメータ１３２と、第２ニューラルネットワークのパラメータである第２パラメータ１３３とを更新する。
【００３０】
図６を参照して、実施の形態１に係る特徴特定装置２０の動作を説明する。
図６に示す処理の前提として、特徴抽出部２１１は、補助記憶装置２３に記憶された複数の登録画像データ２３１それぞれを対象として、対象の登録画像データ２３１から画素毎の特徴量を基準特徴量２３２として抽出して、補助記憶装置２３に記憶する。
ここで、補助記憶装置２３には、処理対象とする複数の分類それぞれについて１つ以上の登録画像データ２３１が記憶されている。登録画像データ２３１は、分類を示す情報と対応付けられている。複数の登録画像データ２３１は、学習画像データ１３１と同じ画像データが含まれてもよいし、異なる画像データだけであってもよい。
具体的には、特徴抽出部２１１は、機械学習装置１０によって生成された第１ニューラルネットワークを特徴抽出モデルとして用いて、対象の登録画像データ２３１から基準特徴量２３２を抽出する。この際、第１ニューラルネットワークは、第１パラメータ１３２を参照して基準特徴量２３２を抽出する。そして、特徴抽出部２１１は、各登録画像データ２３１から抽出された基準特徴量２３２を、分類を示す情報と対応付けて補助記憶装置２３に記憶する。
これにより、各分類について１つ以上の基準特徴量２３２が補助記憶装置２３に記憶される。
【００３１】
（ステップＳ２１：特徴抽出処理）
特徴抽出部２１１は、認識対象の画像データである認識対象データ２３３から画素毎の特徴量を認識特徴量として抽出する。
ここで、認識対象データ２３３は、処理対象とする複数の分類のいずれかの分類の画像データである。認識対象データ２３３は、学習画像データ１３１と同じ画像データであってもよいし、違う画像データであってもよい。
具体的には、特徴抽出部２１１は、機械学習装置１０によって生成された第１ニューラルネットワークを特徴抽出モデルとして用いて、認識対象データ２３３から認識特徴量を抽出する。この際、第１ニューラルネットワークは、第１パラメータ１３２を参照して認識特徴量を抽出する。
【００３２】
（ステップＳ２２：類似度計算処理）
類似度計算部２１３は、複数の分類それぞれを対象として、対象の分類の画像データから抽出された特徴量である基準特徴量２３２と、ステップＳ２１で抽出された認識特徴量との類似度を計算する。
【００３３】
（ステップＳ２３：影響度計算処理）
影響度計算部２１４は、ステップＳ２２で計算された各分類についての類似度と、ステップＳ２１で抽出された認識特徴量とを入力として、認識対象データの各部分画像についての類似度への影響度を計算する。
【００３４】
（ステップＳ２４：特徴特定処理）
特徴特定部２１５は、ステップＳ２３で計算された影響度により、ステップＳ２１で抽出された認識特徴量を変更して、認識対象データ２３３の特徴箇所を特定する。そして、特徴特定部２１５は、特定された特徴箇所が紙書類におけるテンプレートであり、他の部分を記入領域であると特定する。
【００３５】
図７を参照して、実施の形態１に係る類似度計算処理（図６のステップＳ２２）を説明する。
各分類を対象としてステップＳ３１からステップＳ３６の処理が実行される。
ステップＳ３１で類似度計算部２１３は、対象の分類の基準特徴量２３２を補助記憶装置２３から取得する。ステップＳ３２で類似度計算部２１３は、図６のステップＳ２１で抽出された認識特徴量を取得する。
ステップＳ３３で類似度計算部２１３は、ステップＳ３１で複数の基準特徴量２３２が読み出された場合には、処理をステップＳ３４に進め、ステップＳ３１で１つの基準特徴量２３２が読み出された場合には、処理をステップＳ３５に進める。ステップＳ３４で類似度計算部２１３は、基準特徴量２３２の平均を対象の分類の基準特徴量２３２として扱う。なお、類似度計算部２１３は、平均に限らず、何らかの方法により、対象の分類の基準特徴量２３２を１つに定めればよい。
【００３６】
ステップＳ３５で類似度計算部２１３は、基準特徴量２３２と、ステップＳ３２で取得された認識特徴量との乖離度を計算する。
【００３７】
具体例としては、類似度計算部２１３は、基準特徴量２３２と認識特徴量との距離を計算することにより、乖離度を計算する。具体的には、類似度計算部２１３は、画素毎の平均二乗誤差を用いて、基準特徴量２３２と認識対象データ２３３との乖離度を計算する。この場合には、類似度計算部２１３は、画素毎に、基準特徴量２３２と認識対象特徴量との距離である二乗誤差を計算して、全ての画素の二乗誤差の平均を乖離度として計算する。つまり、類似度計算部２１３は、式１に示すように、乖離度を計算する。
（式１）ｄｉｓｓｉｍｉｌａｒｉｔｙｊ＝Σｋ（ｆｅａｔｕｒｅｋ−ｂａｓｉｓｊｋ）２
ここで、ｂａｓｉｓｊｋは、分類ｊである登録画像データ２３１の画素ｋに対する基準特徴量２３２である。ｆｅａｔｕｒｅｋは、認識対象データ２３３の画素ｋに対する認識特徴量である。ｄｉｓｓｉｍｉｌａｒｉｔｙｊは、分類ｊに対する乖離度である。
【００３８】
また、他の具体例としては、類似度計算部２１３は、平均二乗誤差に対して重みを付けて、基準特徴量２３２と認識対象データ２３３との乖離度を計算する。
この際、重みは、分類毎に、影響の大きい画素ほど大きい値になるように決定される。あるいは、重みは、分類毎に、登録画像データ２３１の特徴量のばらつき（標準変化）が大きい画素ほど小さい値になるように決定される。また、重みは、これらの２つの組合せにより決定されてもよい。
つまり、類似度計算部２１３は、式２に示すように、乖離度を計算する。
（式２）ｄｉｓｓｉｍｉｌａｒｉｔｙｊ＝Σｋｗｊｋ（ｆｅａｔｕｒｅｋ−ｂａｓｉｓｊｋ）２
ここで、ｗｊｋは、分類ｊである登録画像データ２３１の画素ｋに対する重みである。重みｗｊｋは、例えば、｜ｂａｓｉｓｊｋ｜２／σｊｋである。σｊｋは、分類ｊである登録画像データ２３１の画素ｋについての標準偏差である。
【００３９】
ステップＳ３６で類似度計算部２１３は、ステップＳ３５で計算された乖離度を類似度に変換する。この際、類似度計算部２１３は、乖離度が大きいほど類似度が小さく、乖離度が小さいほど類似度が大きくなるように、類似度を計算する。具体例としては、類似度計算部２１３は、乖離度を０から１の範囲で正規化し、１から正規化された乖離度を減算して類似度を計算する。
【００４０】
ステップＳ３７で類似度計算部２１３は、各分類について計算された類似度を要素とするベクトルを類似度ベクトルとして出力する。
【００４１】
図８を参照して、実施の形態１に係る影響度計算処理（図６のステップＳ２３）を説明する。
ステップＳ４１で影響度計算部２１４は、図７のステップＳ３７で出力された類似度ベクトルを取得する。ステップＳ４２で影響度計算部２１４は、図６のステップＳ２１で抽出された認識特徴量を取得する。
ステップＳ４３で影響度計算部２１４は、ステップＳ４１で取得された類似度ベクトルと、ステップＳ４２で取得された認識特徴量とを入力として、認識対象データ２３３の各部分画像である各画素を変化させた場合の類似度への影響の大きさを、影響度として計算する。具体的には、影響度計算部２１４は、類似度ベクトルと認識特徴量とをＧｒａｄ−ＣＡＭに入力して、各画素についての影響度を計算する。つまり、影響度は、勾配のことである。Ｇｒａｄ−ＣＡＭについては、非特許文献１に記載されている。
ステップＳ４４で影響度計算部２１４は、ステップＳ４３で計算された影響度を出力する。なお、特徴量は複数のレイヤを有している。そのため、影響度計算部２１４は、特徴量のレイヤ毎に影響度を出力してもよいし、特徴量のレイヤ毎の影響度の平均を出力してもよい。
【００４２】
図９を参照して、実施の形態１に係る特徴特定処理（図６のステップＳ２４）を説明する。
ステップＳ５１で特徴特定部２１５は、図８のステップＳ４４で出力された影響度を取得する。ステップＳ５２で特徴特定部２１５は、図６のステップＳ２１で抽出された認識特徴量を取得する。
ステップＳ５３で特徴特定部２１５は、ステップＳ５１で取得された影響度を重みとして、ステップＳ５２で取得された認識特徴量に重み付けすることにより、認識特徴量を変更する。この際、特徴特定部２１５は、影響度がレイヤ毎に出力された場合には、レイヤ毎に重み付けする。ステップＳ５４で特徴特定部２１５は、ステップＳ５３で変更された認識特徴量を、出力インタフェース２５を介して表示装置等に出力する。この認識特徴量では、認識対象データ２３３の特徴箇所が特定されている。
【００４３】
＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る特徴特定装置２０は、各分類について基準特徴量２３２と認識特徴量との類似度を計算し、認識対象データ２３３の各部分画像（各画素）についての類似度への影響度を計算する。そして、影響度により認識特徴量を変更する。
これにより、分類に関する情報を有さないＣＮＮを用いて基準特徴量２３３と認識特徴量とを抽出しても、適切に特徴箇所を特定可能になる。そのため、分類が増えた場合にも、基準特徴量及び認識特徴量を抽出するためのＣＮＮのパラメータを再学習することなく、分類に応じた固有の特徴箇所を適切に特定可能である。その結果、分類が増えた場合にも、ＣＮＮのパラメータを再学習することなく、テンプレートと記入個所とを適切に特定することが可能である。
【００４４】
＊＊＊他の構成＊＊＊
＜変形例１＞
機械学習装置１０は、特徴量抽出部１１４の入力として与えられる学習画像データ１３１に分類に関する情報を含まずに、第１ニューラルネットワークの学習が行われるという条件を満たせばよい。この条件を満たせば、機械学習装置１０は、実施の形態１で説明した構成に限らず、他の構成であってもよい。
【００４５】
＜変形例２＞
実施の形態１では、複数の基準特徴量２３２を統合した上で、基準特徴量２３２と認識特徴量とを比較して、類似度を計算した。しかし、複数の基準特徴量２３２それぞれについて認識特徴量との類似度を計算した上で、複数の基準特徴量２３２それぞれについての類似度を統合してもよい。
【００４６】
図１０を参照して、この場合における類似度計算処理（図６のステップＳ２２）を説明する。
各分類を対象としてステップＳ６１からステップＳ６６の処理が実行される。
ステップＳ６１からステップＳ６２の処理は、図７のステップＳ３１からステップＳ３２の処理と同じである。ステップＳ６３で類似度計算部２１３は、ステップＳ６１で取得された各基準特徴量２３２と、ステップＳ６２で取得された認識特徴量との乖離度を計算する。
ステップＳ６４で類似度計算部２１３は、ステップＳ６１で複数の基準特徴量２３２が読み出された場合には、処理をステップＳ６５に進め、ステップＳ６１で１つの基準特徴量２３２が読み出された場合には、処理をステップＳ６６に進める。ステップＳ６５で類似度計算部２１３は、ステップＳ６３で計算された各基準特徴量２３２との乖離度の平均を対象の分類の乖離度として扱う。なお、類似度計算部２１３は、平均に限らず、何らかの方法により、対象の分類の乖離度を１つに定めればよい。
ステップＳ６６からステップＳ６７の処理は、図７のステップＳ３６からステップＳ３７の処理と同じである。
【００４７】
＜変形例３＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例３として、各機能構成要素はハードウェアで実現されてもよい。この変形例３について、実施の形態１と異なる点を説明する。
【００４８】
変形例３に係る機械学習装置１０及び特徴特定装置２０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、機械学習装置１０は、プロセッサ１１とメモリ１２と補助記憶装置１３とに代えて、電子回路を備える。電子回路は、各機能構成要素と、メモリ１２と、補助記憶装置１３との機能とを実現する専用の回路である。同様に、各機能構成要素がハードウェアで実現される場合には、特徴特定装置２０は、プロセッサ２１とメモリ２２と補助記憶装置２３とに代えて、電子回路を備える。電子回路は、各機能構成要素と、メモリ２２と、補助記憶装置２３との機能とを実現する専用の回路である。
【００４９】
電子回路としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ  Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）が想定される。
各機能構成要素を１つの電子回路で実現してもよいし、各機能構成要素を複数の電子回路に分散させて実現してもよい。
【００５０】
＜変形例４＞
変形例４として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
【００５１】
プロセッサ１１，２１とメモリ１２，２２と補助記憶装置１３，２３と電子回路とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
【符号の説明】
【００５２】
１０  機械学習装置、１１  プロセッサ、１２  メモリ、１３  補助記憶装置、１４  通信インタフェース、１１１  サンプリング部、１１２  二値画像変換部、１１３  画像生成部、１１４  特徴量抽出部、１１５  画像再構築部、１１６  パラメータ更新部、１３１  学習画像データ、１３２  第１パラメータ、１３３  第２パラメータ、２０  特徴特定装置、２１  プロセッサ、２２  メモリ、２３  補助記憶装置、２４  通信インタフェース、２１１  特徴抽出部、２１２  特徴変更部、２１３  類似度計算部、２１４  影響度計算部、２１５  特徴特定部、２３１  登録画像データ、２３２  基準特徴量、２３３  認識対象データ、３０  通信路、１００  特徴特定システム。
【図１】
2020160582.tif 000003
【図２】
2020160582.tif 000004
【図３】
2020160582.tif 000005
【図４】
2020160582.tif 000006
【図５】
2020160582.tif 000007
【図６】
2020160582.tif 000008
【図７】
2020160582.tif 000009
【図８】
2020160582.tif 000010
【図９】
2020160582.tif 000011
【図１０】
2020160582.tif 000012