(57)【要約】【課題】教師データの画像における固有の特徴部分以外の部分を学習することを防止でき、認識率の向上を効率よく図れる画像処理装置等の提供。【解決手段】認識対象の教師データを用いて画像認識を行う画像処理装置において、認識対象の教師データの画像における固有の特徴部分以外の部分の少なくとも一部であるマスク指定領域を指定する指定部と、指定部が指定したマスク指定領域をマスクして、マスク済み教師データを生成する教師データ生成部を、有する画像処理装置である。【選択図】図２
2018173814.tif 000002
【特許請求の範囲】
【請求項１】
認識対象の教師データを用いて画像認識を行う画像処理装置において、
前記認識対象の教師データの画像における固有の特徴部分以外の部分の少なくとも一部であるマスク指定領域を指定する指定部と、
前記指定部が指定したマスク指定領域をマスクして、マスク済み教師データを生成する教師データ生成部と、
を有することを特徴とする画像処理装置。
【請求項２】
前記画像処理装置において、
複数の前記マスク指定領域がマスクされている場合、前記教師データ生成部が、前記複数のマスク指定領域のうち一部のマスクを外したマスク済み教師データをさらに生成する請求項１に記載の画像処理装置。
【請求項３】
前記画像処理装置はさらに、
前記教師データ生成部が生成したマスク済み教師データを用いて学習を行う学習部を有する請求項１又は２に記載の画像処理装置。
【請求項４】
前記画像処理装置はさらに、
前記学習部が生成した学習済み重みを用いて推論を行う推論部を有する請求項３に記載の画像処理装置。
【請求項５】
前記画像処理装置はさらに、
前記認識対象のテストデータの画像におけるマスク指定領域をマスクして、前記マスク済みテストデータを生成するテストデータ生成部を有する請求項１から３のいずれか一項に記載の画像処理装置。
【請求項６】
前記画像処理装置において、
複数の前記マスク指定領域がマスクされている場合、前記テストデータ生成部が、前記複数のマスク指定領域のうちの一部のマスクを外したマスク済みテストデータをさらに生成する請求項５に記載の画像処理装置。
【請求項７】
前記画像処理装置はさらに、
前記テストデータ生成部が生成したマスク済みテストデータを用いて推論を行う推論部を有する請求項５又は６に記載の画像処理装置。
【請求項８】
前記画像処理装置において、
前記画像認識は、ディープラーニングの手法により行われる請求項１から７のいずれか一項に記載の画像処理装置。
【請求項９】
認識対象の教師データを用いて画像認識を行う画像処理装置の画像処理方法において、
前記画像処理装置が有する指定部が、前記認識対象の教師データの画像における固有の特徴部分以外の部分の少なくとも一部であるマスク指定領域を指定し、
前記画像処理装置が有する教師データ生成部が、前記指定部が指定したマスク指定領域をマスクして、マスク済み教師データを生成することを特徴とする画像処理方法。
【請求項１０】
認識対象の教師データを用いて画像認識を行う画像処理装置の画像処理プログラムにおいて、
前記画像処理装置が有する指定部に、前記認識対象の教師データの画像における固有の特徴部分以外の部分の少なくとも一部であるマスク指定領域を指定させ、
前記画像処理装置が有する教師データ生成部に、前記指定部が指定したマスク指定領域をマスクさせ、マスク済み教師データを生成させることを特徴とする画像処理プログラム。
【請求項１１】
認識対象の画像認識を行うための教師データを生成する教師データ生成装置を用いた教師データ生成方法において、
前記教師データ生成装置が有する指定部が、前記認識対象の教師データの画像における固有の特徴部分以外の部分の少なくとも一部であるマスク指定領域を指定し、
前記教師データ生成装置が有する教師データ生成部が、前記指定部が指定したマスク指定領域をマスクして、マスク済み教師データを生成することを特徴とする教師データ生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理プログラム、及び教師データ生成方法に関する。
【背景技術】
【０００２】
今日、人工知能分野における機械学習のなかでもディープラーニング（ｄｅｅｐ  ｌｅａｒｎｉｎｇ；深層学習）は、特に画像認識の分野で目覚ましい成果を上げている。しかし、画像認識に限らず、ディープラーニングは様々なバリエーションを持った大量の教師データを必要とする点が実用化における課題となる。そのような大量の教師データを揃えることは、時間面及びコスト面並びに著作権の権利処理の面から現実的に難しいことが多く、教師データが不十分な場合には学習が十分に行われず、認識精度が上がらないという問題がある。
【０００３】
このため、例えば、クレーン車の障害物の検出において、周囲を監視する画像からクレーン車自身の部分をマスクして画像表示することで、障害物の誤認識を防止する方法が提案されている（例えば、特許文献１参照）。
また、カメラによる画像認識において、検出不要とした画像のマスクパターンを用意し、カメラ画像をマスクすることにより誤認識を防止する方法が提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１３８８７号公報
【特許文献２】特開２００７−１５６６９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、先行技術文献は、いずれも教師データの画像における意図しない特徴部分、すなわち、当該画像のみに関する特徴部分であって、学習することが不要な当該画像における固有の特徴部分以外の部分をマスクしてバリエーションを増やし、かつバリエーションの片寄りの少ない（重複したバリエーションの少ない）教師データを生成することを意図したものではない。
教師データのバリエーションを増やしても、バリエーションに片寄り（重複）がある場合、ディープラーニングにより教師データの固有の特徴部分以外の部分を学習してしまい、処理に時間がかかるうえ、認識率が却って低下する可能性がある。例えば、２種類の自動車を学習する際に、一方はフロントガラス越しに搭乗者が見える教師データのみ、他方は搭乗者が見えない教師データのみであったとすると、搭乗者の有無を特徴として学習してしまうおそれがある。
【０００６】
一つの側面では、教師データの画像における固有の特徴部分以外の部分を学習することを防止でき、認識率の向上を効率よく図れる画像処理装置、画像処理方法、画像処理プログラム、及び教師データ生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
一つの実施態様では、認識対象の教師データを用いて画像認識を行う画像処理装置において、
前記認識対象の教師データの画像における固有の特徴部分以外の部分の少なくとも一部であるマスク指定領域を指定する指定部と、
前記指定部が指定したマスク指定領域をマスクして、マスク済み教師データを生成する教師データ生成部を、有する画像処理装置である。
【発明の効果】
【０００８】
一つの側面では、教師データの画像において、学習することが不要な固有の特徴部分以外の部分を学習することを防止でき、認識率の向上を図れる画像処理装置、画像処理方法、画像処理プログラム、及び教師データ生成方法を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、画像処理装置全体のハードウェア構成の一例を示すブロック図である。
【図２】図２は、画像処理装置全体の一例を示すブロック図である。
【図３】図３は、画像処理装置全体の処理の一例を示すフローチャートである。
【図４】図４は、指定部及び教師データ生成部を含む全体の一例を示すブロック図である。
【図５】図５は、指定部及び教師データ生成部を含む全体の処理の流れの一例を示すフローチャートである。
【図６】図６は、指定部及び教師データ生成部の一例を示すブロック図である。
【図７】図７は、指定部及び教師データ生成部の処理の流れの一例を示すフローチャートである。
【図８】図８は、マスキング処理部の一例を示すブロック図である。
【図９】図９は、マスキング処理部の処理の流れの一例を示すフローチャートである。
【図１０】図１０は、学習部全体の一例を示すブロック図である。
【図１１】図１１は、学習部全体の他の一例を示すブロック図である。
【図１２】図１２は、学習部全体の処理の流れの一例を示すフローチャートである。
【図１３】図１３は、推論部全体の一例を示すブロック図である。
【図１４】図１４は、推論部全体の他の一例を示すブロック図である。
【図１５】図１５は、推論部全体の処理の流れの一例を示すフローチャートである。
【図１６】図１６は、実施例３の画像処理装置全体の一例を示すブロック図である。
【図１７】図１７は、実施例３の画像処理装置全体の処理の流れの一例を示すフローチャートである。
【図１８】図１８は、実施例３の画像処理装置のマスキング学習部の一例を示すブロック図である。
【図１９】図１９は、実施例３の画像処理装置の自動マスキング部の一例を示すブロック図である。
【図２０】図２０は、実施例３の推論部全体の一例を示すブロック図である。
【図２１】図２１は、実施例３のテストデータ生成部の一例を示すブロック図である。
【図２２】図２２は、実施例３のテストデータ生成部の処理の流れの一例を示すブロック図である。
【図２３】図２３は、実施例５の推論部全体の一例を示すブロック図である。
【図２４】図２４は、実施例５の推論部全体の処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の一実施形態について説明するが、本発明は、これらの実施形態に何ら限定されるものではない。
なお、本発明の「画像処理装置」における指定部、教師データ生成部等が行う制御は、本発明の「画像処理方法」を実施することと同義であるので、本発明の「画像処理装置」の説明を通じて本発明の「画像処理方法」の詳細についても明らかにする。また、本発明の「画像処理プログラム」は、ハードウェア資源としてのコンピュータ等を用いることにより、本発明の「画像処理装置」として実現させることから、本発明の「画像処理装置」の説明を通じて本発明の「画像処理プログラム」の詳細についても明らかにする。
また、「教師データ生成装置」における指定部及び教師データ生成部が行う制御は、本発明の「教師データ生成方法」を実施することと同義であるので、「教師データ生成装置」の説明を通じて本発明の「教師データ生成方法」の詳細についても明らかにする。また、「教師データ生成プログラム」は、ハードウェア資源としてのコンピュータ等を用いることにより、「教師データ生成装置」として実現させることから、「教師データ生成装置」の説明を通じて「教師データ生成プログラム」の詳細についても明らかにする。
【００１１】
本発明の画像処理装置は、認識対象の教師データを用いて画像認識を行う装置であり、画像認識はディープラーニングの手法により行われることが好ましい。
画像処理装置は、認識対象の教師データの画像における意図しない特徴部分、すなわち、当該画像のみに関する特徴部分であって、学習することが不要な当該画像における固有の特徴部分以外の部分の少なくとも一部を指定する指定部と、指定された当該固有の特徴部分以外の部分の少なくとも一部をマスクして認識対象のマスク済み教師データを生成する教師データ生成部とを有し、さらに、学習部及び推論部を有することが好ましい。
【００１２】
固有の特徴部分以外の部分のマスキングは、学習前及び推論前の少なくともいずれかに行うことが好ましい。教師データ生成部で生成したマスク済み教師データを用いて学習を行い。テストデータ生成部で生成したマスク済みテストデータを用いて推論を行う。
教師データ生成部は、固有の特徴部分以外の部分の複数がマスクされている場合、前記複数のマスクのうちの一部のマスクを外したマスク済み教師データをさらに生成することが好ましい。
テストデータ生成部は、固有の特徴部分以外の部分の複数がマスクされている場合、前記複数のマスクのうちの一部のマスクを外したマスク済みテストデータをさらに生成することが好ましい。
【００１３】
固有の特徴部分以外の部分とは、認識対象に応じて異なる認識対象を認識する部分以外の部分であり、固有の特徴部分以外の部分は、認識対象の教師データ画像に存在しない場合もあり、固有の特徴部分以外の部分が１つであっても、複数存在しても構わない。
ここで、認識対象以外固有の特徴部分を判別する方法（特徴部分の特徴量を取得する方法）としては、特に制限はなく、目的に応じて適宜選択することができ、例えば、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄ−Ｕｐｐｅｄ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅ）、ＲＩＦＦ（Ｒｏｔａｔｉｏｎ−Ｉｎｖａｒｉａｎｔ  Ｆａｓｔ  Ｆｅａｔｕｒｅ）、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）等の手法により得る方法などが挙げられる。
固有の特徴部分以外の部分は、認識対象に応じて異なり一概には規定できないが、具体的には意図しない特徴部分であって、学習が不要な部分であり、例えば、自動車を分類する場合には、固有の数字が表されたナンバープレート、搭乗者が映り込む可能性のあるフロントガラス、反射の態様が車両によって異なるヘッドライトなどが挙げられる。
また、動物を分類する場合には、首輪やタグなどが挙げられる。人が飼っている動物とそうでないもので首輪やタグを特徴と認識して誤って学習する可能性がある。
また、衣類を分類する場合には、人間やマネキンなどが挙げられる。衣類のみの写真と、人間やマネキンが衣類を着た状態の写真とでは、衣類を着ている人やマネキンを特徴と認識して誤って学習する可能性がある。
【００１４】
認識対象のマスク済み教師データは、認識対象の教師データの画像における意図しない特徴部分、すなわち、当該画像のみに関する特徴部分であって、学習することが不要な当該画像における固有の特徴部分以外の部分の少なくとも一部をマスクした教師データであり、固有の特徴部分以外の部分の全部をマスクしてもよく、一部をマスクしてもよい。また、固有の特徴部分以外の部分が、複数存在する場合には、複数の固有の特徴部分以外の部分のうち少なくとも１つをマスクしていればよく、全ての部分をマスクしてもよい。
【００１５】
認識対象とは、認識したい（分類したい）対象を意味する。認識対象としては、特に制限はなく、目的に応じて適宜選択することができ、例えば、各種画像（例えば、人間の顔、鳥、犬、猫、猿、イチゴ、リンゴ、汽車、電車、自動車（バス、トラック、自家用車等）、船、飛行機等、図形、文字等の人間の視覚により検知できるものなどが挙げられる。
【００１６】
教師データとは、教師ありディープラーニングで用いられる「入力データ」と「正解ラベル」とのペアである。「入力データ」を多数のパラメータを有するニューラルネットワークに入力することでディープラーニング学習を実施し、推論ラベルと正解ラベルとの差（学習中重み）を更新し、学習済み重みを求める。したがって、教師データの形態は、学習したい問題（以下、「タスク」と称することもある）に依存する。いくつかの教師データの例を下記の表１に挙げる。
【００１７】
【表１】
2018173814.tif 000003
【００１８】
ディープラーニングは、人間の脳のニューロンを模した多層構造のニューラルネットワーク（ディープニューラルネットワーク）を用いた機械学習手法の一種であり、データの特徴を自動的に学習できる手法である。
【００１９】
画像認識技術は、画像データの画像内容を分析して、その形状を認識する技術である。
画像認識技術では、画像データから対象物となる輪郭を抽出し、背景から分離した上で、その対象物が何であるかを分析する。
画像認識技術を応用した技術としては、例えば、ＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ）、顔認証、虹彩認証などが挙げられる。
画像認識技術では、ピクセルの集合である画像データから、ある種のパターンを取り出し、そこから意味を読み取るという処理を行う。パターンの分析によって対象物の意味を抽出することをパターン認識と呼ぶ。パターン認識は、画像認識だけでなく、音声認識や言語解析などにも用いられる。
【実施例】
【００２０】
以下の実施例では、本発明の「画像処理装置」について具体的に説明するが、本発明は、この実施例に何ら限定されるものではない。
【００２１】
（実施例１）
以下、実施例１の画像処理装置について説明する。この画像処理装置は、認識対象の教師データを用いて画像認識を行う装置である。
実施例１では、作業者により、意図しない特徴部分、すなわち、当該画像のみに関する特徴部分であって、学習することが不要な当該画像における固有の特徴部分以外の部分のマスキングを行う指定部及び教師データ生成部を有する画像処理装置の一例について説明する。
【００２２】
ここで、図１は、画像処理装置１００のハードウェア構成の一例を示す図である。画像処理装置１００の後述するストレージ装置７には画像処理プログラムが記録されており、後述のＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１及びＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３が当該プログラムを読出して実行することにより、後述の指定部５、教師データ生成部１０、テストデータ生成部３１、学習部２００、及び推論部３００として動作する。
【００２３】
この図１の画像処理装置１００は、ＣＰＵ１、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２、ＧＰＵ３、及びＶＲＡＭ（Ｖｉｄｅｏ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）４を備える。また、画像処理装置１００は、モニタ６、及びストレージ装置７が接続されている。
【００２４】
ＣＰＵ１は、ストレージ装置７などに格納された指定部５、教師データ生成部１０、テストデータ生成部３１、学習部２００、及び推論部３００の各種プログラムを実行するユニットである。
【００２５】
ＲＡＭ２は、揮発性メモリであり、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）やＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙなどを含む。
【００２６】
ＧＰＵ３は、教師データ生成部１０におけるマスク済み教師データ、テストデータ生成部３１におけるマスク済みテストデータを生成する際に必要な計算処理を実行するユニットである。
【００２７】
ＶＲＡＭ４は、モニタ等のディスプレイに画像を表示するために必要なデータを保持するためのメモリ領域であり、グラフィックスメモリ、又はビデオメモリとも呼ばれる。専用のデュアルポートのものもあれば、メインメモリと同じＤＲＡＭやＳＲＡＭを利用したものもある。
【００２８】
モニタ６は、教師データ生成部１０で生成したマスク済み教師データ、テストデータ生成部３１で生成したマスク済みテストデータを確認するために用いる。なお、ネットワークを介して接続された他の端末からマスク済み教師データを確認できる場合は、モニタ６は不要である。
【００２９】
ストレージ装置７は、補助記憶装置であり、画像処理装置１００にインストールされた各種プログラムや、各種プログラムが実行されることで生成されるデータ等を記録するコンピュータ読み取り可能な記憶装置である。
【００３０】
画像処理装置１００は、図示を省略しているが、グラフィックコントローラ、キーボードやマウス、タッチパッド、トラックボール等の入出力インターフェース、ネットワークに接続するためのネットワークインターフェースなどを備えている。
【００３１】
次に、図２は、実施例１の画像処理装置全体の一例を示すブロック図である。この図２の画像処理装置１００は、指定部５、教師データ生成部１０、学習部２００、及び推論部３００を備えている。
指定部５は、マウスやトラックボール等のポインティングデバイスやキーボード等を含む不図示の入力装置を用いることにより作業者によって入力される、意図しない特徴部分、すなわち、当該画像のみに関する特徴部分であって、学習することが不要な当該画像における固有の特徴部分以外の部分であるマスク指定領域を指定する。
このマスク指定領域については、ソフトウェアが指定してもよく、ＳＩＦＴ、ＳＵＲＦ、ＲＩＦＦ、ＨＯＧ、又はこれらの組み合わせを用いることができる。
教師データ生成部１０は、指定部５によって指定されるマスク指定領域をマスクして認識対象のマスク済み教師データを生成する。
学習部２００は、教師データ生成部１０で生成したマスク済み教師データを用いて学習を行う。
推論部３００は、学習部２００で求めた学習済み重みを用いて推論（テスト）を行う。
学習時には、マスク済み教師データを用いることにより、固有の特徴部分以外の部分を学習しない学習済み重みを得ることができる。
推論時には、作業者によりマスクすることは現実的でないため、例えば、テストデータはマスクせずに推論を実行するか、自動的にテストデータに対して自動的にマスクをしてもよい。
【００３２】
ここで、図３は、画像処理装置全体の処理の流れの一例を示すフローチャートである。以下、図２を参照して、画像処理装置全体の処理の流れについて説明する。
【００３３】
ステップＳ１０１では、マウスやトラックボール等のポインティングデバイスやキーボード等を用いることにより作業者によって入力される、学習することが不要な当該画像における固有の特徴部分以外の部分であるマスク指定領域が指定部５によって指定される。そして、ステップＳ１０１におけるマスク指定領域の指定が完了すると、処理をＳ１０２に移行する。若しくは、このマスク指定領域については、ソフトウェアが指定してもよい。
【００３４】
ステップＳ１０２では、教師データ生成部１０が、指定部５による固有の特徴部分以外の部分の指定に基づいて認識対象のマスク済み教師データを生成すると、処理をＳ１０３に移行する。
【００３５】
ステップＳ１０３では、学習部２００が、教師データ生成部１０で生成したマスク済み教師データを用いて学習を行い、学習済み重みを得ると、処理をＳ１０４に移行する。
【００３６】
ステップＳ１０４では、推論部３００が、得られた学習済み重みを用いて推論を行い、推論ラベル（推論結果）を出力すると、本処理を終了する。
【００３７】
以下、画像処理装置１００における指定部５、教師データ生成部１０、学習部２００、及び推論部３００について、具体的に説明する。
【００３８】
＜指定部、教師データ生成部＞
図４に示すように、教師データ生成部１０は、指定部５が指定した教師データにおける意図しない特徴部分、すなわち、当該画像のみに関する特徴部分であって、学習することが不要な当該画像における固有の特徴部分以外の部分の少なくとも一部をマスクして認識対象のマスク済み教師データを生成し、マスク済み教師データ格納部１２に格納する。
ここで、指定部５及び教師データ生成部１０の構成は、本発明に関する「教師データ生成装置」に該当し、指定部５及び教師データ生成部１０を実施する処理は、本発明の「教師データ生成方法」に該当し、指定部５及び教師データ生成部１０の処理をコンピュータに実行させるプログラムは、本発明に関する「教師データ生成プログラム」に該当する。
【００３９】
画像認識の認識率を高めるには、教師データのバリエーションを増やすことが重要であるが、教師データのバリエーションを増やしてもバリエーションに片寄り（バリエーションに重複）があると、本来は学習が不要な固有の特徴部分以外の部分を学習してしまい十分な認識率が得られないので、意図しない特徴部分である固有の特徴部分以外の部分をマスクしたマスク済み教師データを生成することにより、固有の特徴部分以外の部分を学習することを防止でき、認識率を向上させることができる。
【００４０】
教師データ格納部１１は、マスクしていない教師データを格納しており、格納されている教師データは、それぞれ教師データＩＤで識別できるように管理されている。
【００４１】
マスク済み教師データ格納部１２は、マスク済みの教師データを格納する。格納されているマスク済み教師データは、元となる教師データＩＤで教師データ格納部１１の教師データと対応づけされている。
【００４２】
ここで、図５は、指定部及び教師データ生成部を含む全体の処理の流れの一例を示すフローチャートである。以下、図４を参照して、指定部及び教師データ生成部を含む全体の処理の流れについて説明する。
【００４３】
ステップＳ２０１では、マウスやトラックボール等のポインティングデバイスやキーボード等を用いることにより作業者によって入力される、学習することが不要な当該画像における固有の特徴部分以外の部分であるマスク指定領域が指定部５によって指定され、処理をＳ２０２に移行する。若しくは、このマスク指定領域については、ソフトウェアが指定してもよく、ＳＩＦＴ、ＳＵＲＦ、ＲＩＦＦ、ＨＯＧ、又はこれらの組み合わせを用いることができる。
【００４４】
ステップＳ２０２では、教師データ生成部１０が、教師データ格納部１１の教師データを入力として、指定部５による固有の特徴部分以外の部分の指定に基づき、マスク済み教師データを生成すると、処理をＳ２０３に移行する。
【００４５】
ステップＳ２０４では、教師データ生成部１０が、マスク済み教師データをマスク済み教師データ格納部１２に格納すると、本処理を終了する。
【００４６】
次に、図６は、指定部及び教師データ生成部の一例を示すブロック図である。
指定部５は、指定制御部８の制御により、教師データ格納部１１に格納されている全ての教師データの画像に対して、マスク指定領域テーブル１３に従って、マスク領域データを作成し、マスク領域データ格納部１５に格納すると共に、マスキング処理部１６を実行する。指定制御部８の処理は、作業者又はソフトウェアが実施する。
【００４７】
マスク指定領域テーブル１３は、教師データの画像における、学習することが不要な固有の特徴部分以外の部分であるマスク指定領域と、それに対応するマスクＩＤを記載したテーブルである。
作業者は、マスク指定領域テーブル１３に従ってマスク領域データを作成し、マスクＩＤとともにマスク領域データ格納部１５に格納する。
例えば、車両では、以下の表２に示すようなマスク指定領域テーブルが挙げられる。
【００４８】
【表２】
2018173814.tif 000004
作業者は、ナンバープレートには固有の数字が表されており、車両の固有の特徴部分ではないと指定した。作業者は、フロントガラスには搭乗者が映り込む可能性があり、車両の固有の特徴部分ではないと指定した。作業者は、ヘッドライトには反射の態様が車両によって異なるため、車両の固有の特徴部分ではないと指定した。なお、ＳＩＦＴ、ＳＵＲＦ、ＲＩＦＦ、又はＨＯＧにおいても作業者の指定と同様の結果となった。
【００４９】
マスク領域データ格納部１５は、教師データに対応したマスク指定領域のビットマップと、マスクＩＤとのペアを格納する。１つの教師データＩＤにつき、０又は複数のマスク指定領域のビットマップと、マスクＩＤとのペアが存在する。
例えば、車両では、以下の表３に示すようなテーブルが挙げられる。
【００５０】
【表３】
2018173814.tif 000005
【００５１】
マスキング処理部１６は、教師データ格納部１１に格納されている全ての教師データについて、これらに対応づけられたマスク領域データを、指定されたアルゴリズムでマスキングする。
マスキングの方法としては、例えば、単色での塗りつぶし、ガウシアンフィルタによるぼかし、などが挙げられる。
マスキング方法によって、学習結果は異なるものになる。なお、複数のパターンで学習を実施し、最もよいマスキング方法を選択することが好ましい。
【００５２】
ここで、図７は、教師データ生成部の処理の流れの一例を示すフローチャートである。以下、図６を参照して、教師データ生成部の処理の流れについて説明する。
【００５３】
ステップＳ３０１では、指定制御部８としての作業者又はソフトウェアが、教師データ格納部１１から、教師画像１枚を取り出すと、処理をＳ３０２に移行する。
【００５４】
ステップＳ３０２は、作業者が、取り出した教師画像にマスク指定領域テーブル１３に含まれるマスク指定領域が存在するかを判断すると、処理をＳ３０３に移行する。若しくは、ソフトウェアにより、自動的に教師画像にマスク指定領域テーブル１３に含まれるマスク指定領域が存在するかを判定してもよい。
【００５５】
ステップＳ３０３では、作業者が、教師画像に未マスクのマスク指定領域があるか否かを判定する。作業者が、未マスクのマスク指定領域がないと判断すると、処理をＳ３０６に移行する。一方、作業者が、未マスクのマスク指定領域があると判断すると、処理をＳ３０４に移行する。若しくは、ソフトウェアにより、自動的に未マスクのマスク指定領域の有無を判定してもよい。
【００５６】
ステップＳ３０４では、作業者又はソフトウェアが、教師画像と同じサイズのマスク指定領域ビットマップファイルを作成すると、処理をＳ３０５に移行する。
【００５７】
ステップＳ３０５では、作業者が、作成したマスク指定領域ビットマップファイルを、マスク指定領域テーブル１３の教師データＩＤ及びマスクＩＤと紐づけて、マスク領域データ格納部１５へ格納すると、処理をＳ３０３に移行する。若しくは、ソフトウェアにより、マスク領域ビットマップファイルを、自動的にマスク指定領域テーブル１３の教師データＩＤ及びマスクＩＤと紐づけて、マスク領域データ格納部１５へ格納してもよい。
【００５８】
ステップＳ３０６では、作業者が、全ての教師画像を処理したか否かを判断する。作業者が、全ての教師画像を処理していないと判断すると、処理をＳ３０１に移行する。一方、作業者が、全ての教師画像を処理したと判断すると、処理をＳ３０７に移行する。若しくは、ソフトウェアにより、全ての教師画像を処理したか否かを判定してもよい。
【００５９】
ステップＳ３０７では、作業者又はソフトウェアが、マスキング処理部１６を実行すると、処理をＳ３０８に移行する。
【００６０】
ステップＳ３０８では、マスキング処理部１６が、マスク領域データ格納部１５と、それに対応するマスク領域ビットマップから、マスク済み教師データを生成すると、処理をＳ３０９に移行する。
【００６１】
ステップＳ３０９では、マスキング処理部１６が、マスク済み教師データを、マスク済み教師データ格納部１２へ格納すると、本処理を終了する。
【００６２】
図８は、マスキング処理部１６の一例を示すブロック図である。
マスキング処理部１６は、マスキング処理制御部１７に制御されている。
マスキング処理制御部１７は、教師データ格納部１１の全ての教師データを、マスク領域データ格納部１５のマスク情報に基づき、マスク処理し、マスク済み教師データをマスク済み教師データ格納部１２へ格納する。
【００６３】
マスキングアルゴリズム１８は、作業者の入力パラメータであり、マスキングの処理方法に関するアルゴリズム(単色塗りつぶし、ぼかし)を指定する。
【００６４】
マスク済み画像生成部１９は、１つの元ビットマップ画像（教師画像）と複数の２値マスク領域ビットマップ画像を入力とし、マスキングアルゴリズム１８に従って、教師画像にマスク領域ビットマップ画像をマスク処理したマスク済み教師画像２０を生成する。
【００６５】
ここで、図９は、マスキング処理部の処理の流れの一例を示すフローチャートである。以下、図８を参照して、マスキング処理部の処理の流れについて説明する。
【００６６】
ステップＳ４０１では、作業者又はソフトウェアにより、教師データ格納部１１から、マスキング処理制御部１７へ教師データが入力されると、処理がＳ４０２に移行する。
【００６７】
ステップＳ４０２では、マスキング処理制御部１７が、マスク領域データ格納部１５から、教師データが持つ教師データＩＤに対応するマスク領域データを全て取得すると、処理をＳ４０３に移行する。
【００６８】
ステップＳ４０３では、マスキング処理制御部１７が、入力された教師データの入力データと、マスク領域データの集合の全てのビットマップをマスク済み画像生成部１９へ出力すると、処理をＳ４０４に移行する。
【００６９】
ステップＳ４０４では、マスク済み画像生成部１９が、入力された教師データの入力データに対し、全てのマスク領域について、作業者入力のマスキングアルゴリズムに従いマスク処理を実施し、マスク済み教師画像を出力すると、処理をＳ４０５に移行する。
【００７０】
ステップＳ４０５では、マスキング処理制御部１７が、入力された教師データのうち、入力データをマスク済み教師画像２０に変更したものをマスク済み教師データ格納部１２へ格納すると、本処理を終了する。
【００７１】
以上により、教師データの画像における固有の特徴部分以外の部分を学習することを防止でき、認識率の向上を図れる教師データが生成される。生成された教師データは、以下に説明する学習部及び推論部に好適に用いられる。
【００７２】
＜学習部＞
学習部２００は、教師データ生成部１０で生成したマスク済み教師データを用いて学習を行う。
図１０は、学習部全体の一例を示すブロック図であり、図１１は、学習部全体の他の一例を示すブロック図である。
教師データ生成部１０で生成したマスク済み教師データを用いて行う学習は、通常のディープラーニング学習と同様にして行うことができる。
【００７３】
図１０に示すマスク済み教師データ格納部１２には、教師データ生成部１０で生成した入力データ（画像）と正解ラベルとのペアであるマスク済み教師データが格納されている。
【００７４】
ニューラルネットワーク定義２０１は、多層構造のニューラルネットワーク（ディープニューラルネットワーク）の種別、多数のニューロン同士がどのようにつながっているのかという構造を定義したファイルであり、作業者の指定値である。
【００７５】
学習済み重み２０２は、作業者の指定値であり、学習を開始する際に、予め学習済み重みを与えておくことが通常行われており、学習済み重みは、ニューラルネットワークの各ニューロンの重みを格納したファイルである。なお、学習において学習済み重みは必須ではない。
【００７６】
ハイパーパラメータ２０３は、学習に関するパラメータ群であり、学習を何回行うのか、学習中の重みをどのような幅で更新するのかなどが格納されているファイルである。
【００７７】
学習中重み２０５は、学習中のニューラルネットワークの各ニューロンの重みを表し、学習することで更新される。
【００７８】
図１１に示すようにディープラーニング学習部２０４は、マスク済み教師データ格納部１２からミニバッチ２０７と呼ばれる単位でマスク済み教師データを取得する。このマスク済み教師データを入力データと正解ラベルとに分離し、順伝播処理と逆伝播処理とを行うことにより、学習中重みを更新して、学習済み重みを出力する。
学習の終了条件は、ニューラルネットワークに入力しているか、又は損失関数２０８が閾値を下回ったかで決定される。
【００７９】
ここで、図１２は、学習部全体の処理の流れの一例を示すフローチャートである。以下、図１０及び図１１を参照して、学習部全体の処理の流れについて説明する。
【００８０】
ステップＳ５０１では、作業者又はソフトウェアが、ディープラーニング学習部２０４に、マスク済み教師データ格納部１２、ニューラルネットワーク定義２０１、ハイパーパラメータ２０３、及び必要に応じて学習済み重み２０２を与えると、処理をＳ５０２に移行する。
【００８１】
ステップＳ５０２では、ディープラーニング学習部２０４が、ニューラルネットワーク定義２０１に従いニューラルネットワークを構築すると、処理をＳ５０３に移行する。
【００８２】
ステップＳ５０３では、ディープラーニング学習部２０４が、学習済み重み２０２を有しているか否かを判断する。
学習済み重み２０２を有していないと判定すると、ディープラーニング学習部２０４が、構築したニューラルネットワークにニューラルネットワーク定義２０１で指定されたアルゴリズムに従い、初期値を設定すると、処理をＳ５０６に移行する。一方、学習済み重み２０２を有していると判定すると、ディープラーニング学習部２０４が、構築したニューラルネットワークに学習済み重み２０２を設定すると、処理をＳ５０６に移行する。なお、初期値は、ニューラルネットワーク定義２０１に記載されている。
【００８３】
ステップＳ５０６では、ディープラーニング学習部２０４が、マスク済み教師データ格納部１２から指定されたバッチサイズのマスク済み教師データ集合を取得すると、処理をＳ５０７に移行する。
【００８４】
ステップＳ５０７では、ディープラーニング学習部２０４が、マスク済み教師データ集合を「入力データ」と「正解ラベル」とに分離すると、処理をＳ５０８に移行する。
【００８５】
ステップＳ５０８では、ディープラーニング学習部２０４が、ニューラルネットワークに「入力データ」を入力し、順伝播処理を実施すると、処理をＳ５０９に移行する。
【００８６】
ステップＳ５０９では、ディープラーニング学習部２０４が、順伝播処理の結果として、得られた「推論ラベル」と「正解ラベル」を損失関数２０８に与え、損失２０９を計算すると、処理をＳ５１０に移行する。なお、損失関数２０８は、ニューラルネットワーク定義２０１に記載されている。
【００８７】
ステップＳ５１０では、ディープラーニング学習部２０４が、ニューラルネットワークに損失２０９を入力し、逆伝播処理を実施して、学習中重みを更新すると、処理をＳ５１１に移行する。
【００８８】
ステップＳ５１１では、ディープラーニング学習部２０４が、終了条件に到達したか否かを判断する。ディープラーニング学習部２０４が、終了条件に到達していないと判定すると、処理をＳ５０６に戻し、終了条件に到達したと判定すると、処理をＳ５１２に移行する。なお、終了条件は、ハイパーパラメータ２０３に記載されている。
【００８９】
ステップＳ５１２では、ディープラーニング学習部２０４が、学習中重みを学習済み重みとして出力し、本処理を終了する。
【００９０】
＜推論部＞
推論部３００は、学習部２００で求めた学習済み重みを用いて推論（テスト）を行う。
図１３は、推論部全体の一例を示すブロック図であり、図１４は、推論部全体の他の一例を示すブロック図である。
テストデータ格納部３０１を用いた推論は、通常のディープラーニング推論と同様にして行うことができる。
テストデータ格納部３０１は、推論用のテストデータを格納する。テストデータは入力データ（画像）のみである。
ニューラルネットワーク定義３０２は、学習部２００のニューラルネットワーク定義２０１と基本的な構造は共通する。
学習済み重み３０３は、推論は学習した成果を評価するため、必ず与える。
ディープラーニング推論部３０４は、学習部２００のディープラーニング学習部２０４に対応する。
【００９１】
ここで、図１５は、推論部全体の処理の流れの一例を示すフローチャートである。以下、図１３及び図１４を参照して、推論部全体の処理の流れについて説明する。
【００９２】
ステップＳ６０１では、作業者又はソフトウェアが、ディープラーニング推論部３０４に、テストデータ格納部３０１、ニューラルネットワーク定義３０２、及び学習済み重み３０３を与えると、処理をＳ６０２に移行する。
【００９３】
ステップＳ６０２では、ディープラーニング推論部３０４が、ニューラルネットワーク定義３０２に従いニューラルネットワークを構築すると、処理をＳ６０３に移行する。
【００９４】
ステップＳ６０３では、ディープラーニング推論部３０４が、構築したニューラルネットワークに学習済み重み３０３を設定すると、処理をＳ６０４に移行する。
【００９５】
ステップＳ６０４では、ディープラーニング推論部３０４が、テストデータ格納部３０１から、指定されたバッチサイズのテストデータ集合を取得すると、処理をＳ６０５に移行する。
【００９６】
ステップＳ６０５では、ディープラーニング推論部３０４が、ニューラルネットワークにテストデータ集合の入力データを入力し、順伝播処理を実施すると、処理をＳ６０６に移行する。
【００９７】
ステップＳ６０６では、ディープラーニング推論部３０４が、推論ラベル（推論結果）を出力すると、本処理を終了する。
【００９８】
以上により、実施例１の画像処理装置を用いなかった場合に認識ができなかった対象について、実施例１の画像処理装置を用いて実施した場合に、そのうちの１０％程度を認識できるようになった。ここで、評価対象の教師データについては、４つの車種の自動車の画像を教師データとしたものである。内訳については、１車種がナンバープレートあり、３車種がナンバープレートなしであり、テストデータは４種類全てについてナンバープレートありの画像とした。
この結果から、実施例１の画像処理装置を用いることにより、教師データの固有の特徴分を学習できるようになった。
【００９９】
（実施例２）
実施例１において、教師データ生成部１０で生成したマスク済み教師データが、複数のマスクを有する場合、複数のマスクのうちの一部のみをマスクする点以外は、実施例１と同様にすることにより、実施例２の画像処理装置を実現した。
これは、実施例１において、図９のＳ４０４における処理で全てのマスク指定領域について行うマスク処理を、１つ以上のランダムなマスク指定領域についてマスクするように変更することで実現した。
【０１００】
次に、実施例１と同様にして、実施例２の画像処理装置を用いなかった場合に認識ができなかった対象について、実施例２の画像処理装置を用いて実施した場合、実施例１よりも高い認識率が得られた。
【０１０１】
（実施例３）
実施例３の画像処理装置は、実施例１の画像処理装置で作成したマスク領域データ格納部１５を用い、自動的にマスキングを行って、得られたマスク済み教師データを用いて学習を行うと共に、自動的にマスキングを行って、得られたマスク済みテストデータを用いて推論を行った以外は、実施例１と同様であるため、既に説明した同一の構成については、同じ参照符号を付してその説明を省略する。
【０１０２】
実施例３におけるマスキングの自動化は、教師データの画像を入力データとし、対応するマスク領域ビットマップとそのマスクＩＤのペアを正解ラベルとして教師データを構成し、セマンティックセグメンテーション（Ｓｅｍａｎｔｉｃ  Ｓｅｇｍｅｎｔａｔｉｏｎ）とよばれるディープラーニング手法を用いることによりマスク領域の検出を自動化できる。
セマンティックセグメンテーションの実装としては、以下のものが知られている。
・ＦＣＮ（ｈｔｔｐｓ：／／ｐｅｏｐｌｅ．ｅｅｃｓ．ｂｅｒｋｅｌｅｙ．ｅｄｕ／〜ｊｏｎｌｏｎｇ／ｓｈｅｌｈａｍｅｒ＿ｆｃｎ．ｐｄｆ）
・ｄｅｃｏｎｖｎｅｔ（ｈｔｔｐ：／／ｃｖｌａｂ．ｐｏｓｔｅｃｈ．ａｃ．ｋｒ／ｒｅｓｅａｒｃｈ／ｄｅｃｏｎｖｎｅｔ／）
・ＤｅｅｐＭａｓｋ（ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｆａｃｅｂｏｏｋｒｅｓｅａｒｃｈ／ｄｅｅｐｍａｓｋ）
【０１０３】
セマンティックセグメンテーションは、画像を入力とし、検出したい物体が画像中のどの領域であるかを表すマスク(２値ビットマップ)を出力するニューラルネットワークである。
例えば、図８に示す例では、意図しない特徴部分、すなわち、当該画像のみに関する特徴部分であって、学習することが不要な当該画像における固有の特徴部分以外の部分としてナンバープレートやヘッドライトのマスクを出力することができる。
ニューラルネットワークの入出力のペアは、学習の入力データ及び推論ラベルに対応するため、教師データ格納部１１から入力データが、実施例１のマスク領域データ格納部１５から推論ラベルが取得でき、セマンティックセグメンテーションのための教師データを構成できる。
【０１０４】
図１６は、実施例３の画像処理装置全体の一例を示すブロック図である。この図１６の画像処理装置１００は、指定部５、教師データ生成部１０、学習部２００、テストデータ生成部３１、及び推論部３００を備えている。
マスク領域データ格納部１５としては、実施例１で作業者が作成したものを用いる。即ち、実施例１のマスク領域データをマスキング学習部２１の教師データの正解データとして用いる。
【０１０５】
教師データ格納部１１は、教師データを格納した部分であり、マスキング学習部２１の教師データの入力データ、及び自動マスキング部２３への入力として用いる。
【０１０６】
マスキング学習部２１は、教師データ格納部１１とマスク領域データ格納部１５との組み合わせを、セマンティックセグメンテーションの教師データとし、自動マスキング用学習済み重み２２を学習する。
【０１０７】
自動マスキング部２３は、マスキング学習部２１で得られた自動マスキング用学習済み重み２２を用いて、教師データ格納部１１から入力された教師データに対して、セマンティックセグメンテーションを実施し、マスク済み教師データを生成し、得られたマスク済み教師データをマスク済み教師データ格納部１２に格納する。
【０１０８】
学習部２００は、実施例１の学習部２００と同様である。
テストデータ生成部３１は、認識対象のテストデータの画像における固有の特徴部分以外の部分の少なくとも一部であるマスク指定領域をマスクして認識対象のマスク済みテストデータを生成する。
【０１０９】
推論部３００は、テストデータ生成部３１で生成したマスク済みテストデータを用いた以外は、実施例１の学習部と同様である。
【０１１０】
ここで、図１７は、実施例３の画像処理装置全体の処理の流れの一例を示すフローチャートである。以下、図１６を参照して、実施例３の画像処理装置全体の処理の流れについて説明する。
【０１１１】
ステップＳ７０１では、実施例１において、マスク領域データのマスク領域データ格納部１５への格納作業が完了したことをトリガとし、マスキング学習部２１が動作すると、処理をＳ７０２に移行する。
【０１１２】
ステップＳ７０２では、マスキング学習部２１が、学習を実施し、自動マスキング用学習済み重み２２を生成し、生成した自動マスキング用学習済み重み２２を自動マスキング部２３に入力すると、処理をＳ７０３に移行する。
【０１１３】
ステップＳ７０３では、自動マスキング部２３が、入力された自動マスキング用学習済み重み２２を用いて、教師データ格納部１１に含まれる全ての教師データを自動マスキングし、得られたマスク済み教師データをマスク済み教師データ格納部１２に格納すると、処理をＳ７０４に移行する。
【０１１４】
ステップＳ７０４では、学習部２００が、生成したマスク済み教師データを用いて学習を実施し、学習済み重みを得ると、処理をＳ７０５に移行する。
【０１１５】
ステップＳ７０５では、推論部３００が、テストデータ生成部３１で生成したマスク済みテストデータと、学習部２００で得られた学習済み重みを用いて推論を行い、推論ラベル（推論結果）を出力すると、本処理を終了する。
【０１１６】
＜マスキング学習部＞
図１８は、実施例３のマスキング学習部２１の一例を示すブロック図である。
マスキング学習部２１は、入力データとして教師データ格納部１１の教師画像と、入力データの教師画像と教師データＩＤで対応づけられたマスク情報において、マスク領域のマスクＩＤとマスク領域ビットマップを正解ラベルとする教師データを用いて、セマンティックセグメンテーションによる学習を実施する。
【０１１７】
マスキング学習部２１では、上記教師データを入力とし、セマンティックセグメンテーションによる学習を行い、自動マスキング用学習済み重み２２を出力する。
【０１１８】
セマンティックセグメンテーションによる学習は、上記教師データを用い、セマンティックセグメンテーションニューラルネットワーク定義２８を用いる以外は、通常の学習と同様である。
セマンティックセグメンテーションニューラルネットワーク定義２８は、多層構造のニューラルネットワーク（ディープニューラルネットワーク）の種別がセマンティックセグメンテーションである点以外は、通常のニューラルネットワーク定義と同様であり、作業者の指定値である。
【０１１９】
−自動マスキング部−
図１９は、実施例３の自動マスキング部２３の一例を示すブロック図である。
自動マスキング部２３は、実施例１の図６に示す教師データ生成部１０のうち、マスク領域データ格納部１５の作成を、マスキング学習部２１で学習したセマンティックセグメンテーションを用いたディープラーニング推論部３０４により置き換えた構成である。
【０１２０】
ディープラーニング推論部３０４は、教師データ格納部１１に格納されている教師データを入力データとし、自動マスキング用学習済み重み２２に基づき、セマンティックセグメンテーションを実施し、マスク領域ビットマップ集合２７をマスキング処理部１６へ出力する。
なお、マスキング処理部１６によるマスキング処理は、実施例１と同様である。
【０１２１】
＜学習部＞
学習部２００は、実施例１のマスク済み教師データを用いた学習部２００と同様である。
【０１２２】
＜推論部＞
推論部３００は、テストデータ（画像）を用い、セマンティックセグメンテーションディープラーニング推論部によりテストデータに自動でマスキング処理すること以外は、通常の推論と同様の処理を行う。
マスキングの自動化により、推論時のマスキングが可能になり、推論時に学習時と同等のマスキングがされることによって、認識率の向上が図れる。
【０１２３】
図２０は、実施例３の推論部全体の一例を示すブロック図である。
テストデータ格納部３０１は、推論用のテストデータ（画像）を格納している。
テストデータ生成部３１は、自動マスキング用学習済み重み２２を用いてセマンティックセグメンテーションを実施し、マスク済みテストデータ３２を生成する。
なお、ニューラルネットワーク定義３０２及び学習済み重み３０３は、実施例１の推論部と同様である。
【０１２４】
図２１は、実施例３のテストデータ生成部３１の一例を示すブロック図である。
テストデータ生成部３１は、テストデータ格納部３０１からテストデータ（画像）３３を受け取り、自動マスキング用学習済み重み２２を用いてセマンティックセグメンテーションを実施し、マスク済みテストデータ３２を出力する。
【０１２５】
マスキングアルゴリズム３５は、実施例１のマスキング処理部におけるマスキングアルゴリズム１８と同様である。
マスク済み画像生成部３６は、実施例１のマスキング処理部におけるマスク済み画像生成部１９と同様である。
【０１２６】
ここで、図２２は、実施例３のテストデータ生成部３１の処理の流れの一例を示すフローチャートである。以下、図２１を参照して、テストデータ生成部３１の処理の流れについて説明する。
【０１２７】
ステップＳ８０１では、ディープラーニング推論部３０４が、入力されたテストデータ格納部３０１のテストデータ（画像）３３を、セマンティックセグメンテーションを実施し、マスク領域ビットマップ集合３４を生成し、生成したマスク領域ビットマップ集合３４をマスク済み画像生成部３６に出力すると、処理をＳ８０２に移行する。
【０１２８】
ステップＳ８０２では、マスク済み画像生成部３６が、生成されたテストデータの全てのマスク領域について、作業者入力のマスキングアルゴリズム３５に従い、マスク処理を実施して、マスク済みテストデータ３２を出力すると、本処理を終了する。
【０１２９】
以上により、実施例１と同様にして、実施例３の画像処理装置を用いなかった場合に認識ができなかった対象について、実施例３の画像処理装置を用いて実施した場合、実施例１と同レベルの認識ができるようになった。
【０１３０】
（実施例４）
実施例３において、テストデータ生成部３１で生成したマスク済みテストデータが複数のマスクを有している場合には、複数のマスクのうちの一部のマスクを外したマスク済みテストデータをさらに生成した以外は、実施例３と同様である実施例４の画像処理装置を得た。
ここで、上記のマスク済みテストデータについては、必ず１箇所はマスクされているテストデータである。
なお、複数がマスクされたマスク済みテストデータから一部のマスクを選択して外す方法としては、例えば、乱数を用いたランダムな処理によりマスク済みテストデータから一部のマスクを選択する方法などが挙げられる。
【０１３１】
次に、実施例１と同様にして、実施例４の画像処理装置を用いなかった場合に認識ができなかった対象について、実施例４の画像処理装置を用いて実施した場合に、実施例３よりも高い認識率が得られた。
【０１３２】
（実施例５）
実施例５の画像処理装置は、実施例３において、推論部の対象をストリーミング動画とし、リアルタイム及び／又は非リアルタイムで推論を実施する以外は、実施例３と同様であるため、既に説明した同一の構成については、同じ参照符号を付してその説明を省略する。
実施例５では、実施例３の推論部３００において、テストデータ格納部３０１をストリーミング動画に変更した構成をとる。これにより、ディープラーニングでの推論処理をリアルタイムで行う必要がない場合などのために推論契機の制御機構を備える。
【０１３３】
図２３は、実施例５の画像処理装置の推論部全体の一例を示すブロック図である。
推論実施契機制御方式４１は、作業者指定のパラメータであり、定期的なイベントの推論の契機を以下のとおり規定し、推論制御部４３へ発信する。
・全フレーム
・一定間隔
・推論イベント発生器に依存
【０１３４】
推論イベント発生器４２は、センサー等の作業者がパターンを記述できない不定期のイベントを、センサー情報などに基づき推論制御部４３へ発信する装置である。イベントとしては、例えば、ドアの開閉、歩行者の通過などが挙げられる。
【０１３５】
推論制御部４３は、推論実施契機制御方式４１又は推論イベント発生器４２に従ったタイミングで、ストリーミング動画出力源４４から最新フレームを取得し、テスト画像として、実施例３と同様の推論部３００へ出力する。
【０１３６】
ストリーミング動画出力源４４は、ストリーミング動画の出力源である。
【０１３７】
ここで、図２４は、実施例５の推論部全体の処理の流れの一例を示すフローチャートである。以下、図２３を参照して、実施例５の推論部全体の処理の流れについて説明する。
【０１３８】
ステップＳ９０１では、推論制御部４３が、作業者指定の推論タイミングテーブルで指定されたタイミングでストリーミング動画出力源４４からテストデータ（画像）３３を取得すると、処理をＳ９０２に移行する。
【０１３９】
ステップＳ９０２では、推論制御部４３が、テスト画像を推論部３００へ入力し、推論を実施すると、本処理を終了する。
【０１４０】
以上により、実施例１と同様にして、実施例５の画像処理装置を用いなかった場合に認識ができなかった対象について、実施例５の画像処理装置を用いて実施した場合、実施例１と同レベルの認識ができるようになった。
【０１４１】
以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
認識対象の教師データを用いて画像認識を行う画像処理装置において、
前記認識対象の教師データの画像における固有の特徴部分以外の部分の少なくとも一部であるマスク指定領域を指定する指定部と、
前記指定部が指定したマスク指定領域をマスクして、マスク済み教師データを生成する教師データ生成部と、
を有することを特徴とする画像処理装置。
（付記２）
前記画像処理装置において、
複数の前記マスク指定領域がマスクされている場合、前記教師データ生成部が、前記複数のマスク指定領域のうち一部のマスクを外したマスク済み教師データをさらに生成する付記１に記載の画像処理装置。
（付記３）
前記画像処理装置はさらに、
前記教師データ生成部が生成したマスク済み教師データを用いて学習を行う学習部を有する付記１又は２に記載の画像処理装置。
（付記４）
前記画像処理装置はさらに、
前記学習部が生成した学習済み重みを用いて推論を行う推論部を有する付記３に記載の画像処理装置。
（付記５）
前記画像処理装置はさらに、
前記認識対象のテストデータの画像におけるマスク指定領域をマスクして、前記マスク済みテストデータを生成するテストデータ生成部を有する付記１から３のいずれか一項に記載の画像処理装置。
（付記６）
前記画像処理装置において、
複数の前記マスク指定領域がマスクされている場合、前記テストデータ生成部が、前記複数のマスク指定領域のうちの一部のマスクを外したマスク済みテストデータをさらに生成する付記５に記載の画像処理装置。
（付記７）
前記画像処理装置はさらに、
前記テストデータ生成部が生成したマスク済みテストデータを用いて推論を行う推論部を有する付記５又は６に記載の画像処理装置。
（付記８）
前記画像処理装置において、
前記画像認識は、ディープラーニングの手法により行われる付記１から７のいずれか一項に記載の画像処理装置。
（付記９）
認識対象の教師データを用いて画像認識を行う画像処理装置の画像処理方法において、
前記画像処理装置が有する指定部が、前記認識対象の教師データの画像における固有の特徴部分以外の部分の少なくとも一部であるマスク指定領域を指定し、
前記画像処理装置が有する教師データ生成部が、前記指定部が指定したマスク指定領域をマスクして、マスク済み教師データを生成することを特徴とする画像処理方法。
（付記１０）
認識対象の教師データを用いて画像認識を行う画像処理装置の画像処理プログラムにおいて、
前記画像処理装置が有する指定部に、前記認識対象の教師データの画像における固有の特徴部分以外の部分の少なくとも一部であるマスク指定領域を指定させ、
前記画像処理装置が有する教師データ生成部に、前記指定部が指定したマスク指定領域をマスクさせ、マスク済み教師データを生成させることを特徴とする画像処理プログラム。
（付記１１）
認識対象の画像認識を行うための教師データを生成する教師データ生成装置を用いた教師データ生成方法において、
前記教師データ生成装置が有する指定部が、前記認識対象の教師データの画像における固有の特徴部分以外の部分の少なくとも一部であるマスク指定領域を指定し、
前記教師データ生成装置が有する教師データ生成部が、前記指定部が指定したマスク指定領域をマスクして、マスク済み教師データを生成することを特徴とする教師データ生成方法。
（付記１２）
前記教師データ生成方法において、
複数の前記マスク指定領域がマスクされている場合、前記教師データ生成部が、前記複数のマスク指定領域のうち一部のマスクを外したマスク済み教師データをさらに生成する付記１１に記載の教師データ生成方法。
（付記１３）
認識対象の画像認識を行うための教師データを生成する教師データ生成装置において、
前記認識対象の教師データの画像における固有の特徴部分以外の部分の少なくとも一部であるマスク指定領域を指定する指定部と、
前記指定部が指定したマスク指定領域をマスクして、マスク済み教師データを生成する教師データ生成部と、
を有することを特徴とする教師データ生成装置。
（付記１４）
認識対象の教師データを用いて画像認識を行う教師データ生成装置の教師データ生成プログラムにおいて、
前記教師データ生成装置が有する指定部に、前記認識対象の教師データの画像における固有の特徴部分以外の部分の少なくとも一部であるマスク指定領域を指定させ、
前記教師データ生成装置が有する教師データ生成部に、前記指定部が指定したマスク指定領域をマスクさせ、マスク済み教師データを生成させることを特徴とする教師データ生成プログラム。
【符号の説明】
【０１４２】
５      指定部
８      指定制御部
１０      教師データ生成部
１１      教師データ格納部
１２      マスク済み教師データ格納部
１３      マスク指定領域テーブル
１５      マスク領域データ格納部
１６      マスキング処理部
１７      マスキング処理制御部
１９      マスク済み画像生成部
２１      マスキング学習部
２３      自動マスキング部
３１      テストデータ生成部
１００      画像処理装置
２００      学習部
３００      推論部
【図１】
2018173814.tif 000006
【図２】
2018173814.tif 000007
【図３】
2018173814.tif 000008
【図４】
2018173814.tif 000009
【図５】
2018173814.tif 000010
【図６】
2018173814.tif 000011
【図７】
2018173814.tif 000012
【図８】
2018173814.tif 000013
【図９】
2018173814.tif 000014
【図１０】
2018173814.tif 000015
【図１１】
2018173814.tif 000016
【図１２】
2018173814.tif 000017
【図１３】
2018173814.tif 000018
【図１４】
2018173814.tif 000019
【図１５】
2018173814.tif 000020
【図１６】
2018173814.tif 000021
【図１７】
2018173814.tif 000022
【図１８】
2018173814.tif 000023
【図１９】
2018173814.tif 000024
【図２０】
2018173814.tif 000025
【図２１】
2018173814.tif 000026
【図２２】
2018173814.tif 000027
【図２３】
2018173814.tif 000028
【図２４】
2018173814.tif 000029