(57)【要約】  ニューラルネットワークのモデルの学習性能を向上させるべく、画像認識モデル生成装置は、入力画像パッチ決定部と、類似パッチ探索部と、画素値生成部と、畳み込み処理部とを備える。入力画像パッチ決定部は、入力画像の境界線の外側に接するふち領域を含む入力画像パッチを決定する。類似パッチ探索部は、入力画像パッチと類似する類似パッチを探索する。画素値生成部は、ふち領域を補完する画素値を、類似パッチに基づいて生成する。畳み込み処理部は、生成された画素値と入力画像の画素値とから畳み込み処理を行う。
2019111840.tif 000002
【特許請求の範囲】
【請求項１】
画像中の所定の対象を認識する畳み込みニューラルネットワークを生成するための入力画像に基づき、前記入力画像の境界線の外側に接するふち領域を含む入力画像パッチを決定する入力画像パッチ決定手段と、
前記入力画像パッチと類似する類似パッチを探索する類似パッチ探索手段と、
前記ふち領域を補完する画素値を、前記類似パッチに基づいて生成する画素値生成手段と、
生成された画素値と前記入力画像の画素値とから畳み込み処理を行う畳み込み処理手段と
を備える画像認識モデル生成装置。
【請求項２】
前記入力画像が従う統計則を受け付ける受付手段をさらに備え、
前記画素値生成手段は、前記類似パッチおよび前記統計則に基づいて、前記ふち領域を補完する画素値を生成する請求項１に記載の画像認識モデル生成装置。
【請求項３】
パラメータを受け付けるパラメータ受付手段をさらに備え、
前記画素値生成手段は、生成される画素値を前記統計則に基づいて制約する第一の制約、生成される画素値を前記類似パッチに基づいて制約する第二の制約、および、前記パラメータを含む評価関数に基づいて画素値を生成し、
前記パラメータは、前記評価関数において、前記第一の制約に対する前記第二の制約の重みとして用いられる請求項１又は請求項２に記載の画像認識モデル生成装置。
【請求項４】
前記類似パッチ探索手段は、前記類似パッチを、前記入力画像の中から探索する請求項１乃至請求項３の何れか一つに記載の画像認識モデル生成装置。
【請求項５】
前記類似パッチ探索手段は、前記類似パッチを、前記入力画像とは異なる画像に基づいて生成された複数のパッチ候補の中から探索する請求項１乃至請求項３の何れか一つに記載の画像認識モデル生成装置。
【請求項６】
複数の補完手法のうちいずれかの補完手法の選択の情報を受け付ける選択受付手段をさらに備え、
前記画素値生成手段は、選択された補完手法によって、前記ふち領域を補完する画素値を生成し、
前記複数の補完手法は、少なくとも、
前記類似パッチに基づいて、前記ふち領域を補完する手法と、
予め定められた一つの画素値で、前記ふち領域を補完する手法と、
を含む請求項１乃至請求項５の何れか一つに記載の画像認識モデル生成装置。
【請求項７】
コンピュータが、
画像中の所定の対象を認識する畳み込みニューラルネットワークを生成するための入力画像に基づき、前記入力画像の境界線の外側に接するふち領域を含む入力画像パッチを決定し、前記入力画像パッチと類似する類似パッチを探索し、
前記類似パッチに基づいて、前記ふち領域を補完する画素値を生成し、
生成された前記ふち領域の画素値と前記入力画像の画素値とから畳み込み処理を行う画像認識モデル生成方法。
【請求項８】
コンピュータが、さらに、
前記入力画像が従う統計則を受け付け、
前記画素値を生成する場合には、前記類似パッチおよび前記統計則に基づいて、前記ふち領域を補完する請求項７に記載の画像認識モデル生成方法。
【請求項９】
コンピュータに、
画像中の所定の対象を認識する畳み込みニューラルネットワークを生成するための入力画像に基づき、前記入力画像の境界線の外側に接するふち領域を含む入力画像パッチを決定し、前記入力画像パッチと類似する類似パッチを探索する処理と、
前記類似パッチに基づいて、前記ふち領域を補完する画素値を生成する処理と、
生成された前記ふち領域の画素値と前記入力画像の画素値とから畳み込み処理を行う処理と
を実行させるコンピュータプログラムを記憶する画像認識モデル生成プログラム記憶媒体。
【請求項１０】
コンピュータに、
前記入力画像が従う統計則を受け付ける処理をさらに実行させ、
前記画素値を生成する場合には、前記類似パッチおよび前記統計則に基づいて、前記ふち領域を補完する画素値を生成する処理を実行させるコンピュータプログラムを記憶する請求項９に記載の画像認識モデル生成プログラム記憶媒体。
【請求項１１】
入力画像の外側に接するふち領域を含む入力画像パッチと類似する類似パッチを探索する類似パッチ探索手段と、
前記類似パッチに基づいて、前記ふち領域を補完する画素値を生成する画素値生成手段と、
生成された前記ふち領域の画素値と前記入力画像の画素値とから、前記ふち領域の画素値が補完された画像を生成し、前記画像を出力する画像出力手段と
を備える画像生成装置。
【請求項１２】
前記画素値生成手段は、前記入力画像が従う統計則から、前記ふち領域を補完する画素値を生成する請求項１１に記載の画像生成装置。
【請求項１３】
コンピュータが、
入力画像の境界線の外側に接するふち領域を含む入力画像パッチを決定し、前記入力画像パッチと類似する類似パッチを探索し、
前記類似パッチに基づいて、前記ふち領域を補完する画素値を生成し、
生成された前記ふち領域の画素値と前記入力画像の画素値とから前記ふち領域の画素値が補完された画像を出力する画像生成方法。
【請求項１４】
コンピュータに、
入力画像の境界線の外側に接するふち領域を含む入力画像パッチを決定し、前記入力画像パッチと類似する類似パッチを探索する処理と、
前記類似パッチに基づいて前記入力画像パッチに含まれる前記ふち領域を補完する画素値を生成する処理と、
生成された前記ふち領域の画素値と前記入力画像の画素値とから前記入力画像の前記ふち領域の画素値が補完された画像を出力する処理と
を実行させるコンピュータプログラムを記憶する画像生成プログラム記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識等に用いられる深層学習に係る技術に関する。
【背景技術】
【０００２】
昨今、様々な画像処理・画像認識手法が開発されている。特に近年では、深層学習と呼ばれる手法が広く普及している。深層学習は、ニューラルネットワークを使った機械学習の方法論として知られる。深層学習の一つとして、畳み込みニューラルネットワーク（Convolutional Neural Networks）がある。畳み込みニューラルネットワークでは、畳み込み処理により、出力画像のサイズが入力画像のサイズよりも小さくなるという課題が知られている。【０００３】
特許文献１は、ゼロの値で画像のふちの画素値を補完し、補完後の画像を用いて畳み込みニューラルネットワークを学習する方法の一例を開示する。非特許文献１は、画像を四辺で折り返すことにより画像のふちの画素値を補完する方法を開示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−００４３５０号公報
【非特許文献】
【０００５】
【非特許文献１】R. Szeliski, "Computer Vision: Algorithms and Applications", Springer, 2010, p.114
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１や非特許文献１が開示する技術では、補完後の画像をニューラルネットワークのモデルの学習に用いると、モデルの学習性能が低下する場合がある。本発明はその課題を解決するために考え出された。すなわち、本発明の主な目的は、ニューラルネットワークのモデルの学習性能を向上する技術を提供することにある。
【課題を解決するための手段】
【０００７】
本発明に係る一実施形態の画像認識モデル生成装置は、
画像中の所定の対象を認識する畳み込みニューラルネットワークを生成するための入力画像に基づき、前記入力画像の境界線の外側に接するふち領域を含む入力画像パッチを決定する入力画像パッチ決定部と、前記入力画像パッチと類似する類似パッチを探索する類似パッチ探索部と、前記ふち領域を補完する画素値を、前記類似パッチに基づいて生成する画素値生成部と、生成された画素値と前記入力画像の画素値とから畳み込み処理を行う畳み込み処理部とを備える。【０００８】
本発明に係る一実施形態の画像認識モデル生成方法は、コンピュータが、画像中の所定の対象を認識する畳み込みニューラルネットワークを生成するための入力画像に基づき、前記入力画像の境界線の外側に接するふち領域を含む入力画像パッチを決定し、前記入力画像パッチと類似する類似パッチを探索し、前記類似パッチに基づいて、前記ふち領域を補完する画素値を生成し、生成された前記ふち領域の画素値と前記入力画像の画素値とから畳み込み処理を行う。【０００９】
本発明に係る一実施形態の画像認識モデル生成プログラム記憶媒体は、画像中の所定の対象を認識する畳み込みニューラルネットワークを生成するための入力画像に基づき、前記入力画像の境界線の外側に接するふち領域を含む入力画像パッチを決定し、前記入力画像パッチと類似する類似パッチを探索する処理と、前記類似パッチに基づいて、前記ふち領域を補完する画素値を生成する処理と、生成された前記ふち領域の画素値と前記入力画像の画素値とから畳み込み処理を行う処理とをコンピュータに実行させるコンピュータプログラムを記憶する。【００１０】
本発明に係る一実施形態の画像生成装置は、入力画像の外側に接するふち領域を含む入力画像パッチと類似する類似パッチを探索する類似パッチ探索部と、前記類似パッチに基づいて、前記ふち領域を補完する画素値を生成する画素値生成部と、生成された前記ふち領域の画素値と前記入力画像の画素値とから、前記ふち領域の画素値が補完された画像を生成し、前記画像を出力する画像出力部を備える。【００１１】
本発明に係る一実施形態の画像生成方法は、コンピュータが、入力画像の境界線の外側に接するふち領域を含む入力画像パッチを決定し、前記入力画像パッチと類似する類似パッチを探索し、前記類似パッチに基づいて、前記ふち領域を補完する画素値を生成し、生成された前記ふち領域の画素値と前記入力画像の画素値とから前記ふち領域の画素値が補完された画像を出力する。【００１２】
本発明に係る一実施形態の画像生成プログラム記憶媒体は、入力画像の境界線の外側に接するふち領域を含む入力画像パッチを決定し、前記入力画像パッチと類似する類似パッチを探索する処理と、前記類似パッチに基づいて前記入力画像パッチに含まれる前記ふち領域を補完する画素値を生成する処理と、生成された前記ふち領域の画素値と前記入力画像の画素値とから前記入力画像の前記ふち領域の画素値が補完された画像を出力する処理とをコンピュータに実行させるコンピュータプログラムを記憶する。
【発明の効果】
【００１３】
本発明によれば、ニューラルネットワークのモデルの学習性能を向上する技術が提供される。
【図面の簡単な説明】
【００１４】
【図１】図１は、畳み込みニューラルネットワークにおける処理の一例を説明する図である。
【図２】図２は、畳み込み層の処理の一例を説明する図である。
【図３】図３は、ゼロパディングの処理の一例を説明する図である。
【図４】図４は、画像を拡張させる方法の一例を説明する図である。
【図５】図５は、図４に表される画像を拡張させる方法の課題を説明する図である。
【図６】図６は、第１実施形態の画像認識モデル生成装置で実行される補完処理の概要を説明する図である。
【図７】図７は、第１実施形態の画像認識モデル生成装置の機能構成を表すブロック図である。
【図８】図８は、入力画像のベクトル表現を説明する図である。
【図９】図９は、類似パッチデータベースが記憶する情報の一例を表す図である。
【図１０】図１０は、差分二乗和（ＳＳＤ（Sum of Squared Difference））を利用する類似パッチ探索動作の一例を説明する図である。
【図１１】図１１は、特徴ベクトルを利用する類似パッチ探索動作の一例を説明する図である。
【図１２】図１２は、画像認識モデル生成装置を実現する計算機のハードウェア構成の一例を示す図である。
【図１３】図１３は、第１実施形態の画像認識モデル生成装置による処理の流れを例示するフローチャートである。
【図１４】図１４は、第２実施形態の画像認識モデル生成装置の機能構成を表すブロック図である。
【図１５】図１５は、入力画像が従う統計則を説明する図である。
【図１６】図１６は、パディング処理の一例を説明する図である。
【図１７】図１７は、評価関数の各項を説明する図である。
【図１８】図１８は、パディング処理の別の例を説明する図である。
【図１９】図１９は、第２実施形態の画像認識モデル生成装置によって実行される処理の流れを例示するフローチャートである。
【図２０】図２０は、第３実施形態の画像認識モデル生成装置の機能構成を表すブロック図である。
【図２１】図２１は、第３実施形態における選択受付部の動作を説明する図である。
【図２２】図２２は、第３実施形態の画像認識モデル生成装置によって実行される処理の流れを例示するフローチャートである。
【図２３】図２３は、第４実施形態の画像生成装置の機能構成を表すブロック図である。
【図２４】図２４は、第４実施形態の画像認識モデル生成装置によって実行される処理の流れを例示するフローチャートである。
【図２５】図２５は、第５実施形態の画像生成装置の機能構成を表すブロック図である。
【図２６】図２６は、第６実施形態の画像生成装置の機能構成を表すブロック図である。
【発明を実施するための形態】
【００１５】
以下に、本発明に係る実施形態について、図面を用いて説明する。なお、すべての図面において、同様な構成要素には同じ符号を付し、その重複説明は省略する。また、特に説明する場合を除き、図面に示されている各ブロックは、ハードウェア単位ではなく、機能単位を表している。
【００１６】
理解を容易にするために、本発明に係る実施形態を説明する前に、本発明の解決する課題を、具体例を挙げて説明する。
【００１７】
まず、畳み込みニューラルネットワークについて図１を用いて説明する。図１は、畳み込みニューラルネットワークの一例を示す図である。畳み込みニューラルネットワークは、畳み込み層２０と、プーリング層３０とを含む。畳み込み層２０は、画像における局所領域の畳み込み（Convolution）を行う。プーリング層３０は、画像の特徴を残しつつ画像を縮小する処理であるプーリング（Pooling）を行う。
【００１８】
ここで、図１に示す畳み込み層２０の処理について、図２を用いて説明する。図２は、畳み込み層２０の処理の一例を表す図である。畳み込み層２０では、畳み込み前画像１００にフィルタ１１０が重ねられ、畳み込み前画像１００とフィルタ１１０の重なり合う画素同士の画素値の積が求められ、得られた積の値がすべて加算される。加算により得られた値が畳み込み後画像１２０の対応する画素の画素値となる。畳み込み前画像１００をフィルタ１１０でラスタースキャンしながら、そのような処理を繰り返すことにより、畳み込み後画像１２０の画素の画素値が算定される。なお、画像の画素値は、画像の特徴に応じた値である。
【００１９】
上記のような畳み込み層２０の処理による畳み込み後画像１２０のサイズは、入力画像（畳み込み前画像１００）よりも小さくなる。このため、畳み込み層２０の処理により得られる画像のサイズが入力画像のサイズと同じになるような手法が採用される場合がある。この場合、畳み込み処理の前あるいは後に、画像が拡張される。画像を拡張すると、拡張した部分、つまり、拡張前の画像（元の画像）における境界線の外側に接するふち領域（境界，around the border）の画素について、何らかの方法で、画素値を算定（補完）する必要がある。画像のふち領域の画素値を補完する方法の一例として、ゼロパディングと、画像を四辺で折り返して画素値を設定する方法とが知られている。
【００２０】
ゼロパディングについて、図３を用いて説明する。図３は、ゼロパディングの一例を表す図である。図３に示す畳み込み前画像１３０は、ゼロパディングされた画像の一例である。畳み込み前画像１３０は、画素が４×４で配列配置しているサイズの画像（入力画像）の周囲を囲むように画素が設定されることにより画像が拡張され、拡張された部分（つまり、ふち領域）の画素に画素値としてゼロが設定されている画像である。画素値としてゼロが設定される処理はゼロパディング（Zero Padding）と呼ばれる。畳み込み前画像１３０は、ゼロパディングにより、画素が６×６で配列配置しているサイズを有する。図３に示すフィルタ１４０は、畳み込み処理に用いられるフィルタの一例である。図３の例では、フィルタ１４０のサイズは、画素が３×３で配列配置しているサイズである。図３に示す畳み込み後画像１５０は、畳み込み前画像１３０とフィルタ１４０を用いた畳み込み処理により得られる画像の一例である。畳み込み後画像１５０のサイズは、元の画像（入力画像）と同じサイズ（画素が４×４で配列配置しているサイズ）である。このように、ゼロパディングは、畳み込み処理の前後で画像のサイズを保つ目的で用いられる。
【００２１】
次に、画像を四辺で折り返して画素値を設定するパディング方法について、図４を用いて説明をする。図４は、そのパディング方法の一例を説明する図である。図４に示すパディング前画像１６０は、パディングされる前の画像である。図４に示すパディング後画像１７０は、パディングされた後の画像である。パディングの処理では、まず、パディング前画像１６０の周囲を囲むように画素が設定されることにより画像が拡張される。そして、拡張された画像の上部のふち領域（拡張された部分）の画素に、パディング前画像１６０の上端の画素列の画素値（２５５，４，３５，１００，・・・）と同じ画素値が設定（補完）される。同様に、拡張された画像の左側のふち領域の画素に、パディング前画像１６０の左端の画素列の画素値（２５５，５４，２６，０，・・・）と同じ画素値が補完される。拡張された画像の右側と下側のふち領域の画素値についても同様に補完される。このような処理により、畳み込み処理後の画像のサイズが入力画像（パディング前画像１６０）のサイズに保たれる。
【００２２】
前述したゼロパディングを用いた方法の課題について説明する。ゼロパディングを用いた方法では、拡張された画像のふち領域の画素値がゼロに設定される。このため、画素値が輝度に応じた値である場合には画像全体が暗くなる。その結果、ゼロパディングでは、入力画像と見えの異なる画像が生成される。このように畳み込み処理により入力画像と見えの異なる画像が生成されることが、畳み込みニューラルネットワークのモデルの学習性能を低下させる原因であることを、本発明者は見出した。次に、図４に示した、画像を四辺で折り返して画素値を設定する方法の課題について、図５を用いて説明する。図５は、画像を四辺で折り返して画素値を設定する方法の課題を示す図である。画像を四辺で折り返して画素値を設定する方法では、ユーザの意図しない画像が生成されるという課題がある。例えば、図５に示すパディング前画像１８０には、人の上半身が映りこんでいる。パディング前画像１８０が四方向に拡張され、拡張された画像（パディング後画像）１９０の四辺のふち領域の画素にパディング前画像１８０の四辺の画素の画素値に応じた画素値が補完されたとする。ここで、本来、ユーザが意図する補完後の画像は、人の下半身に相当する箇所が補完された画像である。しかしながら、パディング後画像１９０は、人の上半身が腰のあたりで折り返されたような画像となる。または、人の上半身が腰のあたりで引き伸ばされたような画像になる。これらは、本来ユーザが意図する画像とはかけ離れた、不自然な画像である。このような画像を用いて畳み込みニューラルネットワークのモデルの学習を行うことが、畳み込みニューラルネットワークのモデルの学習性能を低下させる原因であることを、本発明者は見出した。
【００２３】
本発明は。上記のような課題を解決すべく考え出された。
【００２４】
≪第１実施形態≫
図６は、本発明に係る第１実施形態の画像認識モデル生成装置の処理の概要を説明する図である。以下で説明する画像認識モデル生成装置の処理は、本発明に係る画像認識モデル生成装置の理解を容易にするための例示である。本発明に係る画像認識モデル生成装置は以下の例に限定されるわけではない。
【００２５】
図６に示すパディング前画像２００は、パディングされる前の画像である。図６に例示されるパディング前画像２００は、２本の木と、太陽とを含む風景画である。２本の木のうち、左側の木については、その枝葉の左端部分がパディング前画像２００に含まれていない。右側の木については、その全体がパディング前画像２００に含まれている。
【００２６】
図６に示すパディング後画像３００は、ふち領域２０１Ａの画素値がパディングされた後の画像である。図６におけるパディング前画像２００と、パディング後画像３００とを比較すると、パディング前画像２００を囲むふち領域２０１Ａの全周のうち入力画像パッチ２０１に含まれる箇所のふち領域が、パディング後画像３００においては補完されていることが分かる。
【００２７】
ここで、図６を用いて、ふち領域を定義する。第１実施形態において、画像のふち領域とは、パディング前画像２００の境界線の外側に接する（拡張され）、画素値が設定される領域である。例えば、パディング前画像２００の境界線（実線）と破線とで囲まれた領域がふち領域２０１Ａである。また、パディング後画像３００においてパディングがなされた領域もふち領域２０１Ａである。なお、第１実施形態では、ふち領域２０１Ａの領域幅は一画素分であるが、それに限定されない。画像サイズに合わせて、ふち領域の幅を拡大してもよい。
【００２８】
図６に例示されるように、入力画像パッチ２０１は、パディング前画像２００の部分領域と、そのふち領域２０１Ａとを含む。第１実施形態の画像認識モデル生成装置は、入力画像パッチ２０１に含まれるふち領域の画素値を補完する。
【００２９】
第１実施形態の画像認識モデル生成装置は、パディング前画像２００から入力画像パッチ２０１を決定する。そして、当該画像認識モデル生成装置は、入力画像パッチ２０１と類似している他の領域（以下、「類似パッチ」と呼ぶ）を、例えば、同じパディング前画像２００から探索する。
【００３０】
図６には、類似パッチの候補である第一の類似パッチ候補２０２Ａと、第二の類似パッチ候補２０２Ｂとが例示されている。ここで、図から明らかなとおり、入力画像パッチ２０１と類似しているのは、第二の類似パッチ候補２０２Ｂではなく第一の類似パッチ候補２０２Ａである。よって、第一の類似パッチ候補２０２Ａが類似パッチとしてパディング前画像２００から探索される。より正確には、後述するように、入力画像パッチ２０１に含まれるパディング前画像２００の部分領域と、類似パッチ候補の対応する部分領域との類似度に基づいて、複数設定された類似パッチ候補のうちから類似パッチが選択される。
【００３１】
第１実施形態の画像認識モデル生成装置は、類似パッチに基づいて、入力画像パッチ２０１に含まれるふち領域の画素値を補完する。第１実施形態の画像認識モデル生成装置は、パディング前画像２００のふち領域全周にわたり、同様の処理を実行する。これにより、パディング前画像２００のふち領域全周の画素値が補完される。
【００３２】
＜作用・効果＞
このように、第１実施形態の画像認識モデル生成装置は、パディング前画像２００のふち領域を含む入力画像パッチ２０１を決定する。そして、第１実施形態の画像認識モデル生成装置は、入力画像パッチ２０１と類似する類似パッチを探索する。さらに、第１実施形態の画像認識モデル生成装置は、類似パッチに基づいて、入力画像パッチ２０１に含まれるふち領域の画素値を補完する。これにより、第１実施形態の画像認識モデル生成装置は、ふち領域の画素値の補完に起因して不自然な画像が生成される事態を回避することができる。第１実施形態の画像認識モデル生成装置は、上記のようにふち領域に画素値を補正することにより得られる画像を、畳み込みニューラルネットワークのモデルの学習に利用する入力画像として用いる。これにより、ニューラルネットワークのモデルの学習性能が向上する。
【００３３】
第１実施形態の画像認識モデル生成装置は、類似パッチが持つ統計則と入力画像パッチ２０１が持つ統計則との間の「並進対称性」を利用している。ここで「並進対称性」について、具体例を用いて説明する。入力画像パッチ２０１と見えが似ている画像は、図６に示される第二の類似パッチ候補２０２Ｂではなく第一の類似パッチ候補２０２Ａである。なぜなら、入力画像パッチ２０１も第一の類似パッチ候補２０２Ａも、太陽ではなく木の画像であると考えられるからである。したがって、入力画像パッチ２０１におけるふち領域の部分に相当する枝葉の左端を、第一の類似パッチ候補２０２Ａに含まれる別の木の左端の画像で補完しても、画像の見えは大きくは変わらないはずである。このとき、「入力画像パッチ２０１と第一の類似パッチ候補２０２Ａとは、並進対称性が一致する」という。
【００３４】
以下に、第１実施形態の画像認識モデル生成装置の構成について詳細に説明する。
【００３５】
＜装置構成＞
図７は、第１実施形態の画像認識モデル生成装置１０００Ａの概略構成を示すブロック図である。
【００３６】
第１実施形態の画像認識モデル生成装置１０００Ａは、画像受付部１０１０と入力画像パッチ決定部１０２０と類似パッチ探索部１０３０と画素値生成部１１００と畳み込み処理部１０４０と演算出力部１０５０とを備える。画像認識モデル生成装置１０００Ａは、類似パッチデータベース１０６０に接続されている。さらに、画素値生成部１１００は、類似パッチ制約部１１１０とパディング部１１２０を備える。
【００３７】
画像受付部１０１０は、カメラによって撮影された一枚以上の画像を受け付ける。カメラは可視光カメラであってもよいし、他の波長を撮像するカメラ、例えば、赤外線カメラまたは紫外線カメラであってもよい。画像受付部１０１０は、カメラ以外の、測定用のセンサなどによって得られた測定値を受け付けてもよい。例えば、画像受付部１０１０は、熱分布画像（サーモグラフィー）を受け付けてもよいし、距離画像を受け付けてもよい。ここでは、画像受付部１０１０により受け付けられた画像や測定値に基づいた画像を入力画像と記す。
【００３８】
入力画像パッチ決定部１０２０は、入力画像のふち領域を含む入力画像パッチ２０１を決定する。
【００３９】
類似パッチデータベース１０６０は、入力画像から抽出された類似パッチ候補を記憶するデータベースである。
【００４０】
類似パッチ探索部１０３０は、類似パッチデータベース１０６０が記憶している複数の類似パッチ候補の中から、入力画像パッチ２０１に近い類似パッチを探索する。
【００４１】
類似パッチ制約部１１１０は、探索された類似パッチに基づく制約項を、予め設定された手法に従って生成する。
【００４２】
パディング部１１２０は、生成された制約項に基づいて、入力画像パッチ２０１に含まれるふち領域を補完する画素値を生成する。
【００４３】
畳み込み処理部１０４０は、パディング部１１２０にて生成された画素値がふち領域の画素に設定されている入力画像について、畳み込み処理を行う。
【００４４】
演算出力部１０５０は、畳み込み処理部１０４０による処理後の画像を出力する。
【００４５】
＜画像受付部１０１０＞
画像受付部１０１０の動作を、図８を用いて説明する。図８は、入力画像のベクトル表現を説明する図である。
【００４６】
まず、画像受付部１０１０は入力画像を受け付ける。ここで、画像受付部１０１０が受け付ける入力画像は、パディング処理が成される前の画像（パディング前画像２００）である。例えば、画像受付部１０１０が受け付けるパディング前画像２００は、図８の例では、２本の木と、太陽とを含む風景画である。
【００４７】
その後、画像受付部１０１０は、受け付けたパディング前画像２００を構成する各画素から、画素値を読み取る。図８には、パディング前画像２００を構成する画素と当該画素における画素値を模式的に表す画像モデル図２１０が表されている。パディング前画像２００の画素値とは、例えば、各画素の色情報を表すＲＧＢ（Red Green Blue）要素の値である。画像受付部１０１０は、各画素の画素値を例えば、画像モデル図２１０に表されている矢印のように、画像のラスタースキャンにより読み取る。
【００４８】
その後、画像受付部１０１０は、読み取った画素値を利用して、パディング前画像２００をパディング前画像ベクトル２２０に変換する。以下では、パディング前画像ベクトル２２０をＩ（ｊ）と表現する。ここで、ｊは、画素の位置を表すインデックスであり、画素の位置は、画像受付部１０１０がパディング前画像２００をスキャンしていく際の各画素のスキャンの順番によって表される。
【００４９】
然る後に、画像受付部１０１０は、パディング前画像ベクトル２２０（Ｉ（ｊ））を入力画像パッチ決定部１０２０へ出力する。
【００５０】
＜類似パッチデータベース１０６０＞
類似パッチデータベース１０６０を、図９を用いて説明する。図９は、類似パッチデータベース１０６０に格納されているデータの一例を示す図である。
【００５１】
類似パッチデータベース１０６０には、複数の類似パッチ候補が格納されている。第１実施形態では、類似パッチ候補の画像情報に、ＩＤ（IDentification）と、類似パッチ候補が属するドメイン（Domain）とが関連付けられているデータ１０６１が類似パッチデータベース１０６０に格納されている。
【００５２】
＜類似パッチ探索部１０３０＞
類似パッチ探索部１０３０の動作を、図１０を用いて説明する。類似パッチ探索部１０３０は、類似パッチデータベース１０６０から入力画像パッチ２０１に近い類似パッチを探索する。図１０は、差分二乗和（ＳＳＤ：Sum of Squared Difference）を利用する類似パッチ探索部の動作を説明する図である。
【００５３】
まず、類似パッチ探索部１０３０は、類似パッチデータベース１０６０に格納されている各類似パッチ候補と、入力画像パッチ２０１とを比較する。図１０に示す例では、第一の類似パッチ候補２０２Ａおよび第二の類似パッチ候補２０２Ｂと、入力画像パッチ２０１とが比較される。類似パッチ探索部１０３０は、比較した類似パッチ候補のうち、比較の基準を満たすものを類似パッチとして探索する。
【００５４】
比較の基準としては、例えば、差分二乗和（ＳＳＤ）がある。類似パッチ探索部１０３０は、差分二乗和（ＳＳＤ）の計算方法として、以下の式１を用いる。
− 式１：
2019111840.tif 000003
【００５５】
ここで、式１におけるΦｊ（ｌ）は、入力画像パッチ２０１を表す。式１におけるｊは、入力画像パッチ２０１を識別するインデックスである。ｌは入力画像パッチ２０１と類似パッチ候補における画素の位置を表すインデックスである。Ψｋ（ｌ）は、類似パッチ候補を表す。ｋは類似パッチ候補を識別するインデックスである。例えば、Ψ１（ｌ）は、第一の類似パッチ候補２０２Ａを表す。Ψ２（ｌ）は、第二の類似パッチ候補２０２Ｂを表す。また、Ｍｊ（ｌ）は、入力画像パッチ２０１において画素値が存在する（すなわち、ふち領域でない）領域を表すマスクである。すなわち、Ｍｊ（ｌ）が１であるような画素の集合は、画素値が存在する（すなわち、ふち領域でない）領域を表す。また、Ｍｊ（ｌ）が０であるような画素の集合は、画素値が存在しない（すなわちふち、領域である）領域を表す。
【００５６】
つまり、式１は、入力画像パッチ２０１と類似パッチ候補との間の不一致を評価する尺度であると考えてよい。小さい差分二乗和（ＳＳＤ）の値は入力画像パッチ２０１に対する類似パッチ候補の類似度が高い（換言すれば、一致していると見なせる）ことを示している。
【００５７】
類似パッチ探索部１０３０は、上記のような式１を利用して、入力画像パッチ２０１と各類似パッチ候補との間の差分二乗和（ＳＳＤ）を求める。入力画像パッチ２０１と第一の類似パッチ候補２０２Ａとの間の差分二乗和（ＳＳＤ）をＳＳＤ１とする。入力画像パッチ２０１と第二の類似パッチ候補２０２Ｂとの間の差分二乗和（ＳＳＤ）をＳＳＤ２とする。図１０に示す例ではＳＳＤ１の値がＳＳＤ２の値より小さい。したがって、類似パッチ探索部１０３０は、ＳＳＤ１に対応する第一の類似パッチ候補２０２Ａを類似パッチとして探索する。
【００５８】
なお、類似パッチ探索部１０３０は、一つの入力画像パッチ２０１に対して複数の類似パッチを探索してもよい。例えば、類似パッチ探索部１０３０は、入力画像パッチ２０１と類似パッチ候補との間の、差分二乗和（ＳＳＤ）を計算する。そして、類似パッチ探索部１０３０は、この計算値が所定の閾値を下回る類似パッチ候補が複数ある場合には、それら複数の類似パッチ候補を類似パッチとしてもよい。あるいは、類似パッチ探索部１０３０は、差分二乗和（ＳＳＤ）の計算値が小さい順に一定数の類似パッチ候補を探索し、これら探索した類似パッチ候補を類似パッチとしてもよい。
【００５９】
以下、類似パッチ探索部１０３０は、一つの入力画像パッチ２０１に対して複数の類似パッチを探索するものとして、類似パッチ制約部１１１０の動作について説明する。
【００６０】
＜類似パッチ制約部１１１０＞
類似パッチ制約部１１１０は、類似パッチに基づく制約項を生成する。
【００６１】
類似パッチに基づく制約項とは、パディング部１１２０が生成する画素値が、類似パッチになるべく近くなることを制約する項である。例えば、パディング部１１２０は、類似パッチ制約項として、以下の式２または式３で示されるＥｐ（Ｉnew；ｌ）を用いることができる。
− 式２：
2019111840.tif 000004
【００６２】
− 式３：
2019111840.tif 000005
【００６３】
式２および式３においては、類似パッチが一つである場合も含め、類似パッチ群と称し、類似パッチ群を｛Ψjm（ｌ）｝で表す。ここで、Ｉnewは、入力画像パッチ２０１においてインデックスがｌである画素の画素値を表す。ｊはパディング前画像２００を構成する画素の位置を表すインデックスである。ｌは類似パッチ候補を構成する画素の位置を表すインデックスである。ｍは類似パッチ群に含まれる類似パッチを識別するインデックスである。ｗ（ｌ）は、類似パッチΨjmにおいて、パディング前画像２００のｌ番目の画素に対応する画素を表すインデックスに変換する関数である。
【００６４】
つまり、式２および式３は、入力画像パッチ２０１と類似パッチとの差分二乗和（ＳＳＤ）が小さくなることを制約としていると理解してよい。
【００６５】
＜パディング部１１２０＞
パディング部１１２０について説明する。パディング部１１２０は、入力画像パッチ２０１に含まれるふち領域を補完する画素値を、類似パッチを利用して生成する。
【００６６】
具体的には、パディング部１１２０は、類似パッチ制約部１１１０にて生成した類似パッチ制約項Ｅｐ（Ｉnew；ｌ）からなる評価関数Ｅ（Ｉnew；ｌ）を最小化させる。これにより、類似パッチ制約部１１１０は、入力画像パッチ２０１に含まれるふち領域の画素値を生成する。より具体的には、パディング部１１２０は、以下の式５で表される評価関数Ｅ（Ｉnew；ｌ）を最小化させることによって、入力画像パッチ２０１に含まれるふち領域の画素値を生成する。
− 式５：
2019111840.tif 000006
【００６７】
評価関数Ｅ（Ｉnew；ｌ）を最小化させる方法としては、例えば、勾配法などを用いればよい。
【００６８】
＜画像認識モデル生成装置１０００のハードウェア構成＞
図１２は、本発明に係る画像認識モデル生成装置を実現可能な計算機３０００のハードウェア構成の一例を示す図である。
【００６９】
計算機３０００は、メモリ３１００と、プロセッサ３２００と、ハードディスクドライブ３３００（ＨＤＤ： Hard Disk Drive）と、表示装置３５００に接続される表示制御部３４００と、リムーバブル・ディスク３８００用のドライブ装置３７００と、入力装置３６００と通信制御装置３９００とを備える。これらはバス４０００で接続されている。オペレーティング・システム（ＯＳ：Operating System）及びプロセッサ３２００における処理を実施するアプリケーション・プログラムは、ハードディスクドライブ３３００に格納されている。このアプリケーション・プログラムはプロセッサ３２００により実行される際に、ハードディスクドライブ３３００からメモリ３１００に読み出される。プロセッサ３２００は、アプリケーション・プログラムの処理内容に応じて表示制御部３４００、通信制御装置３９００、ドライブ装置３７００を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ３１００に格納されるが、ハードディスクドライブ３３００に格納されるようにしてもよい。プロセッサ３２００が実行するアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク３８００に格納されて頒布され、ドライブ装置３７００からハードディスクドライブ３３００にインストールされる。インターネットなどのネットワーク及び通信制御装置３９００を経由して、ハードディスクドライブ３３００にインストールされる場合もある。このようなコンピュータ装置は、プロセッサ３２００、メモリ３１００などのハードウェアとＯＳ及びアプリケーション・プログラムなどのプログラムとが協働することにより、上で述べたような各種機能を実現する。
【００７０】
また、上述したような計算機３０００の各構成要素の一部又は全部は、汎用または専用の回路（circuitry）、プロセッサ等やこれらの組み合わせによって実現されてもよい。
【００７１】
計算機３０００の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
【００７２】
＜処理の流れ＞
図１３は、第１実施形態の画像認識モデル生成装置１０００Ａによって実行される処理の流れを例示するフローチャートである。
【００７３】
画像受付部１０１０は、パディング前画像２００を受け付ける（Ｓ１０１）。入力画像パッチ決定部１０２０は、パディング前画像２００から入力画像パッチ２０１を決定する（Ｓ１０４）。類似パッチ探索部１０３０は、入力画像パッチ２０１と類似する類似パッチを探索する（Ｓ１０５）。類似パッチ制約部１１１０は、類似パッチに基づいて類似パッチ制約項を生成する（Ｓ１０６）。パディング部１１２０は、類似パッチ制約項に基づいて、入力画像パッチ２０１に含まれるふち領域を補完する画素値を生成する（Ｓ１０８）。畳み込み処理部１０４０は、パディング部１１２０にて生成された画素値を含むパディング後の画像について畳み込み処理を行う（Ｓ１０９）。演算出力部１０５０は、処理結果を出力する（Ｓ１１０）。
【００７４】
＜画像受付部１０１０の変形例＞
画像受付部１０１０が受け付ける画像や測定値は、可視画像に限定されない。例えば、画像受付部１０１０は、画像センサ以外のセンサから取得された画像を受け付けてもよい。例えば、画像センサ以外のセンサとしては、温度センサや距離センサ（レンジセンサ）がある。
【００７５】
また、画像受付部１０１０は、深層学習の途中の処理結果を多チャンネルの画像として受け付けてもよい。あるいは、画像受付部１０１０は、数値シミュレーションなどにより算出したベクトルデータ（速度場、密度場など）を多チャンネルの画像として受け付けてもよい。
【００７６】
また、入力画像は、かならずしもベクトル形式に変換されなくてもよい。例えば、行列を表すＩ（ｘ，ｙ）のような形式（行列形式）に変換してもよい。この場合、（ｘ，ｙ）が画素の位置を表すインデックスである。
【００７７】
＜類似パッチデータベース１０６０の変形例＞
類似パッチデータベース１０６０は、パディング前画像２００以外の画像から取得された類似パッチ候補を備えていてもよい。例えば、画像受付部１０１０に入力されたパディング前画像２００と、同じドメインに属する別の画像から切り出されたパッチを集めることによって得られる画像を類似パッチ候補として類似パッチデータベース１０６０に格納されていてもよい。ここで、ドメインとは、利用者が予め決めた類似パッチ候補の種類を表す。例えば、図９に示す例では、「木（Tree）」がドメインである。「木」がドメインである類似パッチ候補は、木の画像の一部である。
【００７８】
なお、ドメインは「木」に限定されず、人の顔、性別、或いは建築物などであってもよい。また、人の顔のように、大まかな画像の構成が決まっているドメインの場合には、その部位ごとに、類似パッチ候補のグループを構成してもよい。例えば、人の顔がドメインである場合には、目の位置、鼻の位置、口の位置などが決まっている。
【００７９】
＜類似パッチ探索部１０３０の変形例＞
類似パッチ探索部１０３０が用いる比較の基準は、差分二乗和（ＳＳＤ）に限定されない。例えば、類似パッチ探索部１０３０は比較の基準として、差分絶対値和（ＳＡＤ：Sum of Absolute Difference）を用いてもよい。類似パッチ探索部１０３０は、差分絶対値和（ＳＡＤ）の計算方法として、例えば、以下の式６を用いる。
− 式６：
2019111840.tif 000007
【００８０】
つまり、式６は、入力画像パッチ２０１と類似パッチ候補との間の不一致を評価する尺度であると考えてよい。小さい差分絶対値和（ＳＡＤ）の値は入力画像パッチ２０１に対する類似パッチ候補の類似度が高い（入力画像パッチ２０１と類似パッチ候補が一致していると見なせる）ことを示している。
【００８１】
なお、類似パッチ探索部１０３０が類似パッチを探索する方法は、以上の方法に限定されない。例えば、図１１に示されるような、特徴量ベクトルを用いた類似パッチの探索方法を説明する。図１１は、特徴量ベクトルによる類似パッチ探索部の動作を説明する図である。
【００８２】
まず、類似パッチ探索部１０３０は、入力画像パッチ２０１と類似パッチ候補２０２との特徴ベクトルを取得する。
【００８３】
ここで、特徴量ベクトルとは、画像の特徴を表す値をベクトルとして表現したものである。例えば、類似パッチ探索部１０３０は、画像の特徴を表す値として、ＲＧＢ（Red Green Blue）値やＨＯＧ(Histograms of Oriented Gradients)特徴量や濃淡値を用いることができる。
【００８４】
次に、類似パッチ探索部１０３０は、例えば、得られた特徴量ベクトルを特徴量空間２０５で表現する。
【００８５】
図１１に示すＤ１は、特徴量ベクトルとして特徴量空間２０５に表現される、入力画像パッチ２０１と第一の類似パッチ候補２０２との距離を表す。Ｄ２は、特徴量ベクトルとして特徴量空間２０５に表現される、入力画像パッチ２０１と第二の類似パッチ候補２０３との距離を表す。
【００８６】
然る後に、類似パッチ探索部１０３０は、Ｄ１とＤ２のうち、より値の小さいＤ１に対応する第一の類似パッチ候補２０２を、類似パッチとして決定する。
【００８７】
＜作用・効果＞
第１実施形態の画像認識モデル生成装置１０００Ａは、類似パッチを利用して、パディング前画像２００のふち領域の画素値を補完することにより得られる画像を、畳み込みニューラルネットワークのモデルの学習に利用する入力画像として用いる。これにより、ニューラルネットワークのモデルの学習性能が向上する。
【００８８】
≪第２実施形態≫
第２実施形態の画像認識モデル生成装置は、画像のふち領域を補完する際に、類似パッチのみならず、入力画像が従う統計則にも基づいて、画像のふち領域を補完する。第２実施形態の画像認識モデル生成装置は、入力画像が従う統計則と類似パッチとの両方を考慮することで画素値を補完して自然な画像を生成する。
【００８９】
図１４は、第２実施形態の画像認識モデル生成装置１０００Ｂの構成を示すブロック図である。図７に示した構成と実質的に同一の構成には同一の符号が付されているので重複説明は省略する。図１４に示すように、第２実施形態の画像認識モデル生成装置１０００Ｂは、画像認識モデル生成装置１０００Ａと比較してさらに、統計則受付部１０７０とパラメータ受付部１０８０を備える。また、画素値生成部１１００に代えて画素値生成部１１００Ｂを備える。画素値生成部１１００Ｂは、類似パッチ制約部１１１０と、入力モデル制約部１１３０と、パディング部１１２０Ｂを備える。
【００９０】
＜装置構成＞
統計則受付部１０７０は、パディング前画像２００が従う統計則をユーザから受け付ける。統計則受付部１０７０は、受け付けた統計則を入力モデル制約部１１３０へと出力する。
【００９１】
パラメータ受付部１０８０は、ユーザからパラメータを受け付ける。パラメータ受付部１０８０は、受け付けたパラメータをパディング部１１２０Ｂに出力する。
【００９２】
入力モデル制約部１１３０は、統計則に基づいて画素値の生成を制約する入力モデル制約項を生成する。
【００９３】
パディング部１１２０Ｂは、類似パッチに基づいて生成された類似パッチ制約項と、入力モデル制約項とに基づいて、画像のふち領域を補完する。
【００９４】
＜統計則受付部１０７０＞
統計則受付部１０７０の動作を、図１５を用いて説明する。図１５は、入力画像が従う統計則を説明する図である。
【００９５】
受け付ける統計則の一例としては、画像の事前確率などの統計モデルがある。より具体的には、統計則受付部１０７０は、式７を入力画像モデル２３０として受け付けてよい。
− 式７：
2019111840.tif 000008
【００９６】
ただし、式７において、∇Ｉ（ｊ）はｊ番目の画素における勾配を表す。｜・｜ｐはＬｐノルムを表す。また、α及びｐは、利用者により予め定められるパラメータである。なお、α及びｐは、事前に収集した画像データから、回帰学習により算出してもよい。また、Ｚは正規化定数である。正規化定数の目的は、確率分布を全空間で積分した際に、積分値が１となるように正規化することである。
【００９７】
ここで、パラメータα及びｐを回帰学習により算出する方法を説明する。まず、統計則受付部１０７０は、パディング前画像２００から勾配∇Ｉをすべての画素において算出する。なお、以下では、パディング前画像２００の画素における勾配の集合を｛∇Ｉ（ｊ）｝とあらわす。次に、パディング前画像２００の画素における勾配の集合｛∇Ｉ（ｊ）｝から、ヒストグラム（あるいは確率分布）を作成する。さらに、得られたヒストグラム（あるいは確率分布）から、最小二乗フィッティングにより、α及びｐを算出する。
【００９８】
＜入力モデル制約部１１３０＞
入力モデル制約部１１３０の動作を説明する。
【００９９】
入力画像モデル２３０に基づく制約項とは、パディング部１１２０が生成する画素値が、入力画像モデル２３０になるべく近くなることを制約する項である。例えば、入力モデル制約部１１３０は、入力モデル制約項として、以下の式８で示されるＥｍ（Ｉnew；ｌ）を生成する。
− 式８：
2019111840.tif 000009
【０１００】
ただし、ｌｏｇ｛Ｚ｝は定数なので、Ｅｍ（Ｉnew：ｌ）に含めなくてもよい。
【０１０１】
＜パディング部１１２０Ｂ＞
パディング部１１２０Ｂの動作を、図１６を用いて説明する。図１６は、パディング部１１２０Ｂの動作を説明する図である。
【０１０２】
パディング部１１２０Ｂは、入力画像モデル２３０と類似パッチとを用いて評価関数グラフ２４０を生成する。パディング部１１２０Ｂは評価関数グラフ２４０を用いて、最適な画素値を類似パッチから探索する。パディング部１１２０Ｂは、探索した画素値を用いて、入力画像パッチ２０１に含まれるふち領域を補完する。
【０１０３】
ここで、図１７を用いて、評価関数グラフ２４０について説明する。図１７は、評価関数の各項を説明する図である。
【０１０４】
評価関数グラフ２４０は、入力モデル制約項と類似パッチ制約項とパラメータとから構成される。より具体的には、評価関数グラフ２４０とは、以下の式９で示される。評価関数グラフ２４０とは、入力モデル制約部１１３０にて生成した入力モデル制約項Ｅｍ（Ｉnew；ｌ）と、類似パッチ制約部１１１０にて生成した類似パッチ制約項Ｅｐ（Ｉnew；ｌ）と、パラメータ受付部１０８０で受け付けたパラメータλとで構成される評価関数Ｅ（Ｉnew；ｌ）である。
− 式９：
2019111840.tif 000010
【０１０５】
ここでλとは、評価関数グラフ２４０において、入力モデル制約項に対する類似パッチ制約項の制約の重みとして用いられる。すなわち、パディング部１１２０Ｂはλによって、生成する画素値の滑らかさを調整することができる。
【０１０６】
ここで、図１８を用いて、パディング部１１２０Ｂが、評価関数グラフ２４０から画素値を生成する動作について説明する。図１８は、パディング部１１２０Ｂの動作を説明する図である。
【０１０７】
パディング部１１２０Ｂは、評価関数グラフ２４０に対応する評価関数２４１の値を最小化する画素値を探索する。パディング部１１２０Ｂは、評価関数２４１を最小化させる方法として勾配法などを用いればよい。パディング部１１２０Ｂは、探索した画素値を用いて、類似パッチに含まれるパッチのうち一つを探索する。パディング部１１２０Ｂは、探索したパッチを用いて、入力画像パッチ２０１に含まれるふち領域を補完する。
【０１０８】
＜統計則受付部１０７０の変形例＞
統計則受付部１０７０は、物理モデルを入力画像モデル２３０として受け付けてもよい。物理モデルの一例としては、ギンツブルグ・ランダウ方程式がある。ギンツブルグ・ランダウ方程式とは、高分子共重合体や液晶などの相分離現象を撮像した画像に対応する物理モデルである。
【０１０９】
＜入力モデル制約部１１３０の変形例＞
入力モデル制約部１１３０は、ギンツブルグ・ランダウ方程式を用いて入力モデル制約項を生成することができる。その場合には、入力モデル制約部１１３０は、例えば以下の式１０で示されるＥｍ（Ｉnew；ｌ）を生成する。
− 式１０：
2019111840.tif 000011
【０１１０】
ただし、ここで、Ｉ１とＩ２とは、ユーザにより予め定められた定数である。第一項は、Ｉ１とＩ２に極小値をもつ四次関数である。つまり、第一項は、パディング部１１２０Ｂによって生成されるｌ番目の画素値が、Ｉ１かＩ２かのいずれかの値になることを制約とする。
【０１１１】
また、第二項は、パディング部１１２０Ｂによって生成されるｌ番目の画素におけるＩの勾配が小さいことを制約とする。つまり、第二項は、パディング部１１２０Ｂによって生成される画像が滑らかになることを制約する。
【０１１２】
すなわち、入力モデル制約項は、パディング部１１２０Ｂによって生成されるｌ番目の画素値が、ユーザが予め定めた定数になるという制約と、パディング部１１２０Ｂによって生成される画像が滑らかになる制約として機能する。
【０１１３】
＜処理の流れ＞
図１９は、第２実施形態の画像認識モデル生成装置１０００Ｂによって実行される処理の流れを例示するフローチャートである。
【０１１４】
画像受付部１０１０は、パディング前画像２００を受け付ける（Ｓ１０１）。統計則受付部１０７０は、パディング前画像２００が従う統計則を受け付ける（Ｓ１０２）。パラメータ受付部１０８０は、パラメータを受け付ける（Ｓ１０３）。入力画像パッチ決定部１０２０は、パディング前画像２００から入力画像パッチ２０１を決定する（Ｓ１０４）。類似パッチ探索部１０３０は、入力画像パッチ２０１と類似する類似パッチを探索する（Ｓ１０５）。類似パッチ制約部１１１０は、類似パッチに基づいて類似パッチ制約項を生成する（Ｓ１０６）。入力モデル制約部１１３０は、パディング前画像２００が従う統計則に基づいて、入力モデル制約項を生成する（Ｓ１０７）。パディング部１１２０Ｂは、類似パッチ制約項に基づいて、入力画像パッチ２０１に含まれるふち領域を補完する画素値を生成する（Ｓ１０８）。畳み込み処理部１０４０は、パディング部１１２０Ｂにて生成された画素値を含むパディング後の画像について畳み込み処理を行う（Ｓ１０９）。演算出力部１０５０は、処理結果を出力する（Ｓ１１０）。
【０１１５】
なお、図１９及び上述の説明においては、Ｓ１０２の処理後にＳ１０３の処理が行われている。しかし、これはフローチャートに図示する便宜上このように記載されているだけである。順番を入れ替え、Ｓ１０３の処理後にＳ１０２の処理を行ってもよいし、Ｓ１０２及びＳ１０３の処理をそれぞれ分割して交互に行っても良い。
【０１１６】
なお、前述した第１実施形態の変形例は、第２実施形態にも適用され得る。
【０１１７】
＜作用・効果＞
第２実施形態の画像認識モデル生成装置１０００Ｂは、入力画像が従う統計則と類似パッチとの両方を考慮することで画素値を補完する。そのため、第２実施形態の画像認識モデル生成装置１０００Ｂは、自然に補完された画像を、畳み込みニューラルネットワークのモデルを学習するための入力画像として用いることにより、学習性能を向上させる。
【０１１８】
≪第３実施形態≫
第３実施形態の画像認識モデル生成装置は、ユーザからふち領域画素値生成の方法選択を受け付ける。第３実施形態の画像認識モデル生成装置は、選択された画素値生成方法（または、補完方法）を実行することで、ユーザのニーズに合わせた画素値の生成方法を実行することができる。
【０１１９】
図２０は、第３実施形態の画像認識モデル生成装置１０００Ｃの構成を示すブロック図である。図１４に示した構成と実質的に同一の構成には同一の符号が付されているので重複説明は省略する。図２０に示すように、第３実施形態の画像認識モデル生成装置１０００Ｃは、第１実施形態の画像認識モデル生成装置１０００Ａと比較して、選択受付部１０９０をさらに備える。また、パディング部１１２０に代えて、パディング部１１２０Ｃを備える。
【０１２０】
＜装置構成＞
選択受付部１０９０は、ユーザから、ふち領域画素値の生成方法の選択を受け付ける。選択受付部１０９０は、受け付けた生成方法をパディング部１１２０Ｃへと出力する。
【０１２１】
パディング部１１２０Ｃは、受け付けた生成方法に基づいて画素値の生成を実行する。パディング部１１２０Ｃは生成した画素値を畳み込み処理部１０４０へと出力する。
【０１２２】
＜選択受付部１０９０＞
選択受付部１０９０の動作を、図２１を用いて説明する。図２１は、第３実施形態における選択受付部の動作を例示する図である。最初に、画面部５００には、パディング方法選択ボタン５１０とキャンセルボタン５３０とカーソル５２０とが表示されている。ユーザは、カーソル５２０を用いて、パディング方法選択ボタン５１０かキャンセルボタン５３０か、いずれかを選択する。
【０１２３】
ユーザがキャンセルボタン５３０をクリックした場合は、選択受付部１０９０は、動作を終了させる。ユーザがパディング方法選択ボタン５１０を選択した場合は、選択受付部１０９０は、画面部５００に表示させる画面を、図２１の右上部に示す画面へと遷移させる。
【０１２４】
図２１の右上部に示す画面部５００には、ゼロパディング選択ボタン５４０と４つ折り選択ボタン５５０と提案手法選択ボタン５６０とが表示されている。ユーザはカーソル５２０を用いて、いずれかのボタンを選択する。
【０１２５】
ユーザがゼロパディング選択ボタン５４０を選択した場合は、選択受付部１０９０は、画面部５００にゼロパディングを選択した旨を表示する。そして、選択受付部１０９０は、パディング部１１２０Ｃにゼロパディングを実行させる。
【０１２６】
ユーザが４つ折り選択ボタン５５０を選択した場合は、選択受付部１０９０は、画面部５００に４つ折りによるパディングを選択した旨を表示する。そして、選択受付部１０９０は、パディング部１１２０Ｃに４つ折りによるパディングを実行させる。
【０１２７】
ユーザが提案手法選択ボタン５６０を選択した場合は、選択受付部１０９０は、画面部５００に提案手法によるパディングを選択した旨を表示する。そして、選択受付部１０９０は、提案手法よるパディングを実行させる。
【０１２８】
ここで、提案手法によるパディングとは、例えば、第１実施形態のパディング部１１２０の動作である。または、第２実施形態のパディング部１１２０Ｂの動作であってよい。
【０１２９】
＜処理の流れ＞
図２２は、第３実施形態の画像認識モデル生成装置１０００Ｃによって実行される処理の流れを例示するフローチャートである。
【０１３０】
画像受付部１０１０は、パディング前画像２００を受け付ける（Ｓ１０１）。選択受付部１０９０は、ユーザから、ふち領域画素値の生成方法の選択を受け付ける（Ｓ１０２Ａ）。パディング部１１２０Ｃは、受け付けた生成方法に基づいて、入力画像パッチ２０１に含まれるふち領域を補完する画素値を生成する（Ｓ１０８）。畳み込み処理部１０４０は、パディング部１１２０Ｃにて生成された画素値を含むパディング後の画像について畳み込み処理を行う（Ｓ１０９）。演算出力部１０５０は、処理結果を出力する（Ｓ１１０）。
【０１３１】
＜作用・効果＞
第３実施形態の画像認識モデル生成装置１０００Ｃは、ユーザからふち領域画素値生成の方法選択を受け付ける。画像認識モデル生成装置１０００Ｃは、選択された画素値生成方法を実行することで、ユーザのニーズに合わせた画素値の生成方法を実行することができる。
【０１３２】
そのため、第３実施形態の画像認識モデル生成装置１０００Ｃは、ユーザのニーズに合わせて補完された画像を、畳み込みニューラルネットワークのモデルを学習するための入力画像として用いることができる。
【０１３３】
なお、第３実施形態には、先に述べた第１実施形態の変形例が適用され得る。また、第３実施形態は、先に述べた第２実施形態と組み合わせられることも可能である。この場合には例えば、画面部５００において、第１実施形態の提案手法と、第２実施形態の提案手法とが、選択可能であってもよい。
【０１３４】
≪第４実施形態≫
第４実施形態の画像生成装置は、パディング部により生成された画素値を用いて画像を生成することができる。パディング部による画素値を利用して画像を生成することで、ユーザは補完された画像を得ることができる。
【０１３５】
図２３は、第４実施形態の画像生成装置２０００の構成を示すブロック図である。図７に示した構成と実質的に同一の構成には同一の符号が付されているので重複説明は省略する。図２３に示すように、第４実施形態の画像生成装置２０００は、画像出力部１２００を備える。
【０１３６】
＜装置構成＞
画像出力部１２００は、パディング部１１２０から生成された画素値を受け付ける。また、画像出力部１２００は、画像受付部１０１０からパディング前画像２００を受け付ける。画像出力部１２００は、生成された画素値とパディング前画像２００とを用いて、パディング後画像３００を生成する。
【０１３７】
＜処理の流れ＞
図２４は、第４実施形態の画像生成装置２０００によって実行される処理の流れを例示するフローチャートである。
【０１３８】
画像受付部１０１０は、パディング前画像２００を受け付ける（Ｓ１０１）。入力画像パッチ決定部１０２０は、パディング前画像２００から入力画像パッチ２０１を決定する（Ｓ１０４）。類似パッチ探索部１０３０は、入力画像パッチ２０１と類似する類似パッチを探索する（Ｓ１０５）。類似パッチ制約部１１１０は、類似パッチに基づいて類似パッチ制約項を生成する（Ｓ１０６）。パディング部１１２０は、類似パッチ制約項に基づいて、入力画像パッチ２０１に含まれるふち領域を補完する画素値を生成する（Ｓ１０８）。画像出力部１２００が画像を出力する（Ｓ１１０Ａ）。
【０１３９】
＜作用・効果＞
第４実施形態の画像生成装置２０００は、パディング前画像２００のふち領域を自然に補完することが可能になる。第４実施形態の画像生成装置２０００は、自然な画像を生成することができる。
【０１４０】
≪第５実施形態≫
＜装置構成＞
図２５は、第５実施形態の画像生成装置の機能ブロック図である。第５実施形態の画像認識モデル生成装置１０００は、入力画像パッチ決定部１０２０と、画素値生成部１１００と、類似パッチ探索部１０３０と、畳み込み処理部１０４０とを備える。
【０１４１】
＜入力画像パッチ決定部１０２０＞
入力画像パッチ決定部１０２０は、画像中の所定の対象を認識する畳み込みニューラルネットワークのモデルを学習するための入力画像について、入力画像のふち領域を含む入力画像パッチを決定する。
【０１４２】
＜類似パッチ探索部１０３０＞
類似パッチ探索部１０３０は、入力画像パッチと類似する類似パッチを探索する。
【０１４３】
＜画素値生成部１１００＞
画素値生成部１１００は、入力画像パッチに含まれるふち領域を補完する画素値を、類似パッチに基づいて生成する。
【０１４４】
＜畳み込み処理部１０４０＞
畳み込み処理部１０４０は、生成された画素値と入力画像の画素値を含む画像について畳み込み処理を行う。
【０１４５】
≪第６実施形態≫
＜装置構成＞
図２６は、第６実施形態の画像生成装置の機能ブロック図である。第６実施形態の画像生成装置２０００は、入力画像パッチ決定部１０２０と、画素値生成部１１００と、類似パッチ探索部１０３０と、画像出力部１２００とを備える。
【０１４６】
＜入力画像パッチ決定部１０２０＞
入力画像パッチ決定部１０２０は、画像中の所定の対象を認識する畳み込みニューラルネットワークを生成するための入力画像について、入力画像のふち領域を含む入力画像パッチを決定する。
【０１４７】
＜類似パッチ探索部１０３０＞
類似パッチ探索部１０３０は、入力画像パッチと類似する類似パッチを探索する。
【０１４８】
＜画素値生成部１１００＞
画素値生成部１１００は、入力画像パッチに含まれるふち領域を補完する画素値を、類似パッチに基づいて生成する。
【０１４９】
＜画像出力部１２００＞
画像出力部１２００は、生成されたふち領域の画素値と入力画像の画素値とから、入力画像のふち領域の画素値が補完された画像を生成し、生成した画像を出力する。
【０１５０】
上述した各実施形態および具体例は、適宜組み合わせて実施されることが可能である。
【０１５１】
各ブロック図に示したブロック分けは、説明の便宜上から表された構成である。各実施形態を例に説明された本発明は、その実装に際して、各ブロック図に示した構成には限定されない。
【０１５２】
また、上述した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。
【０１５３】
以上、本発明を実施するための形態について説明したが、上記実施の形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明はその趣旨を逸脱することなく変更、改良され得ると共に、本発明にはその等価物も含まれる。
【０１５４】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【０１５５】
（付記１）
画像中の所定の対象を認識する畳み込みニューラルネットワークを生成するための入力画像に基づき、前記入力画像の境界線の外側に接するふち領域を含む入力画像パッチを決定する入力画像パッチ決定部と、
前記入力画像パッチと類似する類似パッチを探索する類似パッチ探索部と、前記ふち領域を補完する画素値を、前記類似パッチに基づいて生成する画素値生成部と、
生成された画素値と前記入力画像の画素値とから畳み込み処理を行う畳み込み処理部と
を備える画像認識モデル生成装置。
【０１５６】
（付記２）
前記入力画像が従う統計則を受け付ける受付部をさらに備え、
前記画素値生成部は、前記類似パッチおよび前記統計則に基づいて、前記ふち領域を補完する画素値を生成する付記１に記載の画像認識モデル生成装置。
【０１５７】
（付記３）
パラメータを受け付けるパラメータ受付部をさらに備え、
前記画素値生成部は、生成される画素値を前記統計則に基づいて制約する第一の制約、生成される画素値を前記類似パッチに基づいて制約する第二の制約、および、前記パラメータを含む評価関数に基づいて画素値を生成し、
前記パラメータは、前記評価関数において、前記第一の制約に対する前記第二の制約の重みとして用いられる付記１又は付記２に記載の画像認識モデル生成装置。
【０１５８】
（付記４）
前記類似パッチ探索部は、前記類似パッチを、前記入力画像の中から探索する付記１乃至付記３の何れか一つに記載の画像認識モデル生成装置。
【０１５９】
（付記５）
前記類似パッチ探索部は、前記類似パッチを、前記入力画像とは異なる画像に基づいて生成された複数のパッチ候補の中から探索する付記１乃至付記３の何れか一つに記載の画像認識モデル生成装置。
【０１６０】
（付記６）
複数の補完手法のうちいずれかの補完方法の選択の情報を受け付ける選択受付部をさらに備え、
前記画素値生成部は、選択された補完手法によって、前記ふち領域を補完する画素値を生成し、
前記複数の補完手法は、少なくとも、
前記類似パッチに基づいて、前記ふち領域を補完する手法と、
予め定められた一つの画素値で、前記ふち領域を補完する手法と、
を含む付記１乃至付記５の何れか一つに記載の画像認識モデル生成装置。
【０１６１】
（付記７）
コンピュータが、
画像中の所定の対象を認識する畳み込みニューラルネットワークを生成するための入力画像に基づき、前記入力画像の境界線の外側に接するふち領域を含む入力画像パッチを決定し、前記入力画像パッチと類似する類似パッチを探索し、
前記類似パッチに基づいて、前記ふち領域を補完する画素値を生成し、
生成された前記ふち領域の画素値と前記入力画像の画素値とから畳み込み処理を行う画像認識モデル生成方法。
【０１６２】
（付記８）
コンピュータが、さらに、
前記入力画像が従う統計則を受け付け、
前記画素値を生成する場合には、前記類似パッチおよび前記統計則に基づいて、前記ふち領域を補完する
付記７に記載の画像認識モデル生成方法。
【０１６３】
（付記９）
コンピュータに、
画像中の所定の対象を認識する畳み込みニューラルネットワークを生成するための入力画像に基づき、前記入力画像の境界線の外側に接するふち領域を含む入力画像パッチを決定し、前記入力画像パッチと類似する類似パッチを探索する処理と、
前記類似パッチに基づいて、前記ふち領域を補完する画素値を生成する処理と、
生成された前記ふち領域の画素値と前記入力画像の画素値とから畳み込み処理を行う処理と
を実行させるコンピュータプログラムを記憶するプログラム記憶媒体。
【０１６４】
（付記１０）
コンピュータに、
前記入力画像が従う統計則を受け付ける処理をさらに実行させ、
前記画素値を生成する場合に、前記類似パッチおよび前記統計則に基づいて、前記ふち領域を補完することにより画素値を生成す処理を実行させるコンピュータプログラムを記憶する付記９に記載の画像認識モデル生成プログラム記憶媒体。
【０１６５】
（付記１１）
入力画像の外側に接するふち領域を含む入力画像パッチと類似する類似パッチを探索する類似パッチ探索部と、
前記類似パッチに基づいて、前記ふち領域を補完する画素値を生成する画素値生成部と、
生成された前記ふち領域の画素値と前記入力画像の画素値とから、前記ふち領域の画素値が補完された画像を生成し、前記画像を出力する画像出力部と
を備える画像生成装置。
【０１６６】
（付記１２）
前記画素値生成部は、前記入力画像が従う統計則から、前記ふち領域を補完する画素値を生成する付記１１に記載の画像生成装置。
【０１６７】
（付記１３）
コンピュータが、
入力画像の境界線の外側に接するふち領域を含む入力画像パッチを決定し、前記入力画像パッチと類似する類似パッチを探索し、
前記類似パッチに基づいて、前記ふち領域を補完する画素値を生成し、
生成された前記ふち領域の画素値と前記入力画像の画素値とから前記ふち領域の画素値が補完された画像を出力する画像生成方法。
【０１６８】
（付記１４）
コンピュータに、
入力画像の境界線の外側に接するふち領域を含む入力画像パッチを決定し、前記入力画像パッチと類似する類似パッチを探索する処理と、
前記類似パッチに基づいて前記入力画像パッチに含まれる前記ふち領域を補完する画素値を生成する処理と、
生成された前記ふち領域の画素値と前記入力画像の画素値とから前記入力画像の前記ふち領域の画素値が補完された画像を出力する処理と
を実行させるコンピュータプログラムを記憶する画像生成プログラム記憶媒体。
【０１６９】
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
【０１７０】
この出願は、２０１７年１２月６日に出願された日本出願特願２０１７−２３３９３５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１７１】
１０００Ａ，１０００Ｂ，１０００Ｃ  画像認識モデル生成装置
１０１０  画像受付部
１０２０  入力画像パッチ決定部
１０３０  類似パッチ探索部
１０４０  畳み込み処理部
１０５０  演算出力部
１０６０  類似パッチデータベース
１０７０  統計則受付部
１０８０  パラメータ受付部
１０９０  選択受付部
１１００  画素値生成部
１１００Ｂ  画素値生成部
１１００Ｃ  画素値生成部
１１１０  類似パッチ制約部
１１２０，１１２０Ｂ，１１２０Ｃ  パディング部
１１３０  入力モデル制約部
１２００  画像出力部
２０００  画像生成装置
３０００  計算機
【図１】
2019111840.tif 000012
【図２】
2019111840.tif 000013
【図３】
2019111840.tif 000014
【図４】
2019111840.tif 000015
【図５】
2019111840.tif 000016
【図６】
2019111840.tif 000017
【図７】
2019111840.tif 000018
【図８】
2019111840.tif 000019
【図９】
2019111840.tif 000020
【図１０】
2019111840.tif 000021
【図１１】
2019111840.tif 000022
【図１２】
2019111840.tif 000023
【図１３】
2019111840.tif 000024
【図１４】
2019111840.tif 000025
【図１５】
2019111840.tif 000026
【図１６】
2019111840.tif 000027
【図１７】
2019111840.tif 000028
【図１８】
2019111840.tif 000029
【図１９】
2019111840.tif 000030
【図２０】
2019111840.tif 000031
【図２１】
2019111840.tif 000032
【図２２】
2019111840.tif 000033
【図２３】
2019111840.tif 000034
【図２４】
2019111840.tif 000035
【図２５】
2019111840.tif 000036
【図２６】
2019111840.tif 000037
【手続補正書】
【提出日】令和2年5月18日(2020.5.18)
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像中の所定の対象を認識する畳み込みニューラルネットワークを生成するための入力画像に基づき、前記入力画像の境界線の外側に接するふち領域を含む入力画像パッチを決定する入力画像パッチ決定手段と、
前記入力画像パッチと類似する類似パッチを探索する類似パッチ探索手段と、
前記ふち領域を補完する画素値を、前記類似パッチに基づいて生成する画素値生成手段と、
生成された画素値と前記入力画像の画素値とから畳み込み処理を行う畳み込み処理手段と
を備える画像認識モデル生成装置。
【請求項２】
前記入力画像が従う統計則を受け付ける受付手段をさらに備え、
前記画素値生成手段は、前記類似パッチおよび前記統計則に基づいて、前記ふち領域を補完する画素値を生成する請求項１に記載の画像認識モデル生成装置。
【請求項３】
パラメータを受け付けるパラメータ受付手段をさらに備え、
前記画素値生成手段は、生成される画素値を統計則に基づいて制約する第一の制約、生成される画素値を前記類似パッチに基づいて制約する第二の制約、および、前記パラメータを含む評価関数に基づいて画素値を生成し、
前記パラメータは、前記評価関数において、前記第一の制約に対する前記第二の制約の重みとして用いられる請求項１又は請求項２に記載の画像認識モデル生成装置。
【請求項４】
前記類似パッチ探索手段は、前記類似パッチを、前記入力画像の中から探索する請求項１乃至請求項３の何れか一つに記載の画像認識モデル生成装置。
【請求項５】
前記類似パッチ探索手段は、前記類似パッチを、前記入力画像とは異なる画像に基づいて生成された複数のパッチ候補の中から探索する請求項１乃至請求項３の何れか一つに記載の画像認識モデル生成装置。
【請求項６】
複数の補完手法のうちいずれかの補完手法の選択の情報を受け付ける選択受付手段をさらに備え、
前記画素値生成手段は、選択された補完手法によって、前記ふち領域を補完する画素値を生成し、
前記複数の補完手法は、少なくとも、
前記類似パッチに基づいて、前記ふち領域を補完する手法と、
予め定められた一つの画素値で、前記ふち領域を補完する手法と、
を含む請求項１乃至請求項５の何れか一つに記載の画像認識モデル生成装置。
【請求項７】
コンピュータが、
画像中の所定の対象を認識する畳み込みニューラルネットワークを生成するための入力画像に基づき、前記入力画像の境界線の外側に接するふち領域を含む入力画像パッチを決定し、前記入力画像パッチと類似する類似パッチを探索し、
前記類似パッチに基づいて、前記ふち領域を補完する画素値を生成し、
生成された前記ふち領域の画素値と前記入力画像の画素値とから畳み込み処理を行う画像認識モデル生成方法。
【請求項８】
コンピュータが、さらに、
前記入力画像が従う統計則を受け付け、
前記画素値を生成する場合には、前記類似パッチおよび前記統計則に基づいて、前記ふち領域を補完する請求項７に記載の画像認識モデル生成方法。
【請求項９】
コンピュータが、さらに、
パラメータを受け付け、
生成される画素値を統計則に基づいて制約する第一の制約、生成される画素値を前記類似パッチに基づいて制約する第二の制約、および、前記パラメータを含む評価関数に基づいて画素値を生成し、
前記パラメータは、前記評価関数において、前記第一の制約に対する前記第二の制約の重みとして用いられる請求項７又は請求項８に記載の画像認識モデル生成方法。
【請求項１０】
コンピュータに、
画像中の所定の対象を認識する畳み込みニューラルネットワークを生成するための入力画像に基づき、前記入力画像の境界線の外側に接するふち領域を含む入力画像パッチを決定し、前記入力画像パッチと類似する類似パッチを探索する処理と、
前記類似パッチに基づいて、前記ふち領域を補完する画素値を生成する処理と、
生成された前記ふち領域の画素値と前記入力画像の画素値とから畳み込み処理を行う処理と
を実行させる画像認識モデル生成プログラム。
【国際調査報告】
2019111840.tif 000038
2019111840.tif 000039
2019111840.tif 000040
2019111840.tif 000041