(57)【要約】【課題】  精度よく画像認識を行えるようにすること。【解決手段】  本発明は、対象画像から３以上の異なるスケールの特徴ベクトルを抽出し、その抽出した特徴ベクトルを異なるスケールへと変換する処理を段階的に複数回実行して、対象画像の認識を行う。【選択図】  図５
2017157138.tif 000002
【特許請求の範囲】
【請求項１】
対象画像を取得する取得手段と、
前記取得した対象画像に基づいて、少なくとも３つの異なるスケールの特徴ベクトルからなる特徴セットを生成する生成手段と、
前記生成した特徴セットとは異なるスケールの特徴セットに変換する変換処理を行う変換手段と、
前記変換手段による変換処理を複数回実行させる制御手段と、
を有することを特徴とする画像認識装置。
【請求項２】
前記生成手段が生成した特徴セットと前記変換手段が変換した特徴セットとは同一のスケール方向の順序を持つマルチスケールの特徴セットであることを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記変換手段は畳み込みニューラルネットからなることを特徴とする請求項１または２に記載の画像認識装置。
【請求項４】
前記変換手段は全結合型のニューラルネットであることを特徴とする請求項１または２に記載の画像認識装置。
【請求項５】
前記生成手段は、前記取得した対象画像に基づいてスケールの異なる複数の画像を生成し、当該生成した複数の画像に対して空間方向の特徴を統合するニューラルネットをそれぞれ適応した結果に基づいて前記特徴セットを生成する生成処理を実行することを特徴とする請求項１から４のいずれか１項に記載の画像認識装置。
【請求項６】
前記制御手段は、前記生成手段による生成処理と前記変換手段による変換処理を段階的に複数回実行させることを特徴とする請求項５に記載の画像認識装置。
【請求項７】
前記生成手段は、スケールに関する制御パラメータを変更することによりスケールの異なる複数の局所領域を生成し、当該局所領域の特徴量に基づいて前記特徴セットを生成することを特徴とする請求項１から６のいずれか１項に記載の画像認識装置。
【請求項８】
前記生成手段は、前記取得した対象画像に基づいてスケールの異なる複数の画像を生成し、当該生成した複数の画像について空間方向の特徴を統合する演算の結果と、前記局所領域との特徴量とを連結することを特徴とする請求項７に記載の画像認識装置。
【請求項９】
前記生成手段は、スケールおよび特徴の種別が異なる特徴のセットを生成することを特徴とする請求項１から８のいずれか１項に記載の画像認識装置。
【請求項１０】
前記制御手段により前記変換処理が複数回実行された特徴セットに基づいて、前記対象画像に含まれるカテゴリを判断する判定手段を、更に有することを特徴とする請求項１から９のいずれか１項に記載の画像認識装置。
【請求項１１】
前記制御手段により前記変換処理が複数回実行された特徴セットに基づいて、前記対象画像のシーンの種別、前記対象画像の被写体の種別、前記対象画像の被写体の行動の種別、前記対象画像の被写体が主被写体か否か、のいずれか１つ以上を判定する判定手段を、更に有することを特徴とする請求項１から９のいずれか１項に記載の画像認識装置。
【請求項１２】
対象画像を取得するステップと、
前記取得した対象画像に基づいて、少なくとも３つの異なるスケールの特徴ベクトルからなる特徴セットを生成するステップと、
前記生成した特徴セットとは異なるスケールの特徴セットに変換する変換処理を行うステップと、
前記変換処理を複数回実行させるステップと、
を有することを特徴とする画像認識方法。
【請求項１３】
コンピュータを請求項１から１１のいずれか１項に記載の画像認識装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象画像を認識する画像認識技術に関する。
【背景技術】
【０００２】
画像中の被写体を学習、認識するために、非特許文献１のような深層学習と呼ばれる手法が存在する。深層学習の代表的な手法として、コンボリューショナル・ニューラル・ネットワーク（以下、ＣＮＮと略記する）と呼ばれる手法がある。一般的なＣＮＮは、多段階の演算からなる。ＣＮＮの各段階では畳み込み演算を行って画像の局所の特徴を空間的に統合し、次の段階の中間層のニューロンへ入力する。さらにプーリングやサブサンプリングと呼ばれる、特徴量を空間方向へ圧縮する操作を行う。ＣＮＮは、このような多段階の特徴変換を通じて複雑な特徴表現を獲得することができる。そのため同特徴量に基づいて画像中の被写体のカテゴリ認識を高精度に行うことができる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Ａｌｅｘ  Ｋｒｉｚｈｅｖｓｋｙ，  Ｉｌｙａ  Ｓｕｔｓｋｅｖｅｒ，  Ｇｅｏｆｆｒｅｙ  Ｅ．  Ｈｉｎｔｏｎ，  ＩｍａｇｅＮｅｔ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｗｉｔｈ  Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ，  Ａｄｖａｎｃｅｓ  ｉｎ  Ｎｅｕｒａｌ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｐｒｏｃｅｓｓｉｎｇ  Ｓｙｓｔｅｍｓ  ２５  （ＮＩＰＳ’１２），  ２０１２
【非特許文献２】Ｒ．  Ａｃｈａｎｔａ，  Ａ．  Ｓｈａｊｉ，  Ｋ．  Ｓｍｉｔｈ，  Ａ．  Ｌｕｃｃｈｉ，  Ｐ．  Ｆｕａ，  ａｎｄ  Ｓ．  Ｓｕｓｓｔｒｕｎｋ，  ＳＬＩＣ  Ｓｕｐｅｒｐｉｘｅｌｓ  Ｃｏｍｐａｒｅｄ  ｔｏ  Ｓｔａｔｅ−ｏｆ−ｔｈｅ−ａｒｔ  Ｓｕｐｅｒｐｉｘｅｌ  Ｍｅｔｈｏｄｓ，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，  ｖｏｌ．  ３４，  ｎｕｍ．  １１，  ｐ．  ２２７４  −  ２２８２，  ２０１２．
【非特許文献３】Ｋｏｅｎ  Ｅ．  Ａ．  ｖａｎ  ｄｅ  Ｓａｎｄｅ，  Ｊａｓｐｅｒ  Ｒ．  Ｒ．  Ｕｉｊｌｉｎｇｓ，  Ｔｈｅｏ  Ｇｅｖｅｒｓ，  Ａｒｎｏｌｄ  Ｗ．  Ｍ．  Ｓｍｅｕｌｄｅｒｓ，  Ｓｅｇｍｅｎｔａｔｉｏｎ  Ａｓ  Ｓｅｌｅｃｔｉｖｅ  Ｓｅａｒｃｈ  ｆｏｒ  Ｏｂｊｅｃｔ  Ｒｅｃｏｇｎｉｔｉｏｎ，  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  ２０１１
【非特許文献４】Ｒｏｓｓ  Ｇｉｒｓｈｉｃｋ  Ｊｅｆｆ  Ｄｏｎａｈｕｅ  Ｔｒｅｖｏｒ  Ｄａｒｒｅｌｌ  Ｊｉｔｅｎｄｒａ  Ｍａｌｉｋ，  Ｒｉｃｈ  ｆｅａｔｕｒｅ  ｈｉｅｒａｒｃｈｉｅｓ  ｆｏｒ  ａｃｃｕｒａｔｅ  ｏｂｊｅｃｔ  ｄｅｔｅｃｔｉｏｎ  ａｎｄ  ｓｅｍａｎｔｉｃ  ｓｅｇｍｅｎｔａｔｉｏｎ，  Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，  ２０１４
【発明の概要】
【発明が解決しようとする課題】
【０００４】
空間方向に画像情報の畳み込みおよび圧縮等を行う従来の深層学習は、被写体の見えのパターンの変形や位置ずれに対して柔軟に認識を行うことができる。一方で、この特性により認識結果の位置精度や解像度が低下し、高精度に画像認識を行うことができないという問題があった。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明は、対象画像を取得する取得手段と、前記取得した対象画像に基づいて、少なくとも３つの異なるスケールの特徴ベクトルからなる特徴セットを生成する生成手段と、前記生成した特徴セットとは異なるスケールの特徴セットに変換する変換処理を行う変換手段と、前記変換手段による変換処理を複数回実行させる制御手段と、を有することを特徴とする。
【発明の効果】
【０００６】
以上の構成によれば、本発明は、画像認識の精度を高めることができる。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態に係る画像認識装置の機能構成を示すブロック図。
【図２】第１の実施形態に係る画像認識装置による認識処理の概略図。
【図３】第１の実施形態に係る画像認識装置による認識処理のフローチャート。
【図４】第１の実施形態に係る認識処理の詳細を示すフローチャート。
【図５】第１の実施形態において特徴変換の処理結果の一例を示す図。
【図６】第１の実施形態に係る認識処理により得られる特徴量の一例を示す図。
【図７】第１の実施形態に係る認識処理の詳細を示すフローチャート。
【図８】第１の実施形態の変形例に係る特徴変換の処理を模式的に示す図。
【図９】第２の実施形態に係る画像認識装置の機能構成を示すブロック図。
【図１０】第２の実施形態に係る画像認識装置による認識処理の概略図。
【図１１】第２の実施形態に係る特徴抽出処理の詳細の概略図。
【図１２】第２の実施形態に係る特徴変換の演算を説明する概略図。
【図１３】第２の実施形態に係る画像認識装置による認識処理のフローチャート。
【図１４】第２の実施形態に係る特徴変換に関するパラメータの例を示す図。
【図１５】第３の実施形態に係る特徴変換の処理を模式的に示す図。
【図１６】第３の実施形態に係る画像認識装置による認識処理のフローチャート。
【図１７】第４の実施形態に係る画像認識装置の認識処理を概略的に示す概略図。
【図１８】第４の実施形態に係る画像認識装置による認識処理のフローチャート。
【図１９】第４の実施形態に係る特徴変換の変形例を示す図。
【発明を実施するための形態】
【０００８】
［第１の実施形態］
以下、本発明の第１の実施形態について、図面を参照しながら説明する。なお、本実施形態に係る画像認識装置は、対象画像中の被写体のカテゴリを判別し被写体ごとの領域に分割する意味的領域分割を行うものとする。また、被写体のカテゴリとしては、空、建物、山、道路の４種類の一般的なカテゴリであるとする。
【０００９】
図１は、本実施形態に係る画像認識装置の機能構成を示す概略ブロック図である。画像認識装置１００は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等のハードウェア構成を備え、ＣＰＵがＲＯＭやＨＤ等に格納されたプログラムを実行することにより、例えば、後述する各機能構成やフローチャートの処理が実現される。ＲＡＭは、ＣＰＵがプログラムを展開して実行するワークエリアとして機能する記憶領域を有する。ＲＯＭは、ＣＰＵが実行するプログラム等を格納する記憶領域を有する。ＨＤは、ＣＰＵが処理を実行する際に要する各種のプログラム、閾値に関するデータ等を含む各種のデータを格納する記憶領域を有する。
画像認識装置１００は、画像認識を行う対象の画像を取得するための画像取得部１０１、取得された画像から少なくとも３つの異なる空間スケールの特徴量（以降、マルチスケール特徴）を生成する生成処理を行うマルチスケール特徴生成部１０２を有する。また、マルチスケール特徴を変換する処理を段階的に複数回実行して新たなマルチスケールの特徴量を得るための特徴変換部１０３を有する。また、特徴変換部１０３に演算処理の制御データを供給する変換制御データメモリ１０４、変換された特徴量を保持する中間結果保持部１０５を有する。またさらに、変換された結果の特徴量に基づいて画像中の領域のカテゴリの判定を行うカテゴリ判定部１０６、特徴量の生成および変換動作を画像のどの領域に対して、どのようなタイミングで行うかを制御する制御部１０７を有する。
【００１０】
図２は、本実施形態に係る画像認識処理による認識処理の流れを概略的に説明する図である。同図に示すように、処理が開始されると、画像認識装置１００は、まず入力画像から少なくとも３以上の空間スケールの領域群６０１を生成する。図２には、スケールの異なる５つの領域群６０１ａ〜６０１ｅを示している。次に、本画像認識装置は領域群６０１からマルチスケール特徴６０２を生成する。ここでの特徴量とは、色やテクスチャといった画像の多次元特徴量である。
【００１１】
図２では、領域群６０１ａ〜６０１ｅの各領域から上記特徴量を抽出することで特徴マップ６０２ａ〜６０２ｅを生成している。ここで、特徴マップ６０２ａ〜６０２ｅの各立方体の高さは特徴量のチャンネル数（特徴次元数）を表している。画像認識装置１００はこのマルチスケール特徴６０２に対して複数回の特徴変換処理を段階的に施す。これにより、マルチスケール特徴のスケールの数は段階的に圧縮され、最終的により少数のスケールの中に情報が統合された特徴量６０５が得られる。なお、特徴変換処理の詳細については後述する。
【００１２】
そして、画像認識装置１００は、この特徴量６０５に基づいて、識別器によって画像の各画素のカテゴリを判定し、その結果をカテゴリ尤度６０６として出力する。なお、ここでは、白地の部分がそのカテゴリの尤度が高いことを示している。以上が、本実施形態に係る画像認識装置１００による認識処理の概略となる。なお、本実施形態の画像認識装置１００はＣＮＮを利用する構成となっている。その特徴変換に関するパラメータは非特許文献２等で用いられる確率勾配法を用いた学習の方法などによって予め上記のカテゴリが判定できるように学習済みであるとする（学習方法の詳細については後述する。）
次に、画像認識装置１００による認識処理の詳細な流れについて説明する。図３は、画像認識装置１００による認識処理のフローチャートである。まず、ステップＳ１０１では、画像取得部１０１が、画像認識装置の記憶領域（ストレージ）やカメラ等の撮像装置等から画像を１枚取得する。ここでの画像は、静止画像もしくは動画像中の１フレームの画像である。
【００１３】
次に、ステップＳ１０２では、マルチスケール特徴生成部１０２が、１枚の画像から複数の空間スケールの領域群を生成する。ここで、どのようなパラメータで特徴を抽出するかの制御情報は制御部１０７より適宜供給される。
【００１４】
このステップＳ１０２の詳細な処理フローを、図４（Ａ）に示す。まず、ステップＳ１０２１からＳ１０２４まではループの処理であり、以下に説明する処理を所定のＳ０回繰り返す。ここでＳ０は予め定められた画像のスケールの数であり、少なくとも３以上の数が設定される。本実施形態では、Ｓ０＝８とする。次に、ステップＳ１０２２では、画像の各画素の特徴に基づいて画像を所定の数の小領域に分割する。分割にはｋ−ｍｅａｎｓクラスタリングなどの公知の手法を用いる。画素の特徴としてはＲＧＢの値および画素の位置の情報ＸＹなどを用いるが、必要に応じて他の特徴量を用いてもよい。クラスタリングによって生成する小領域の数は、スケールの深さをｋとして、数列２ｋ−１で表される数とする（［１，２，４，８，１６，３２，６４，１２８］）。
【００１５】
なお、別の形態の分割手法として、ｍｅａｎ  Ｓｈｉｆｔなどの方法を用いてもよい。また、画像を複数の領域に分割するアルゴリズムで、且つ、生成する領域の数や平均のサイズといったスケールに関するパラメータを制御できる手法であれば、他の手法も適用可能である。
【００１６】
また、領域の分割数を２ｋ−１で定めるとしたが、他にも、例えば以下の数式１のようにτ段階で１オクターブ増加する数列（［１，２，３，４，６，８，１１］）等を用いるようにしてもよい。ただし、ここでＲｏｕｎｄ（・）は実数値を整数に丸める演算である。スケールの深さｋと分割数、あるいはｋと領域の平均の面積の関係は、ここに示すような指数関数が好適であるが、ｋの増加に伴い単調増加あるいは単調減少するような数列であれば基本的に種々のものが適用可能である。
【００１７】
［数１］
Ｒｏｕｎｄ（２（ｋ−α）／τ），
α＝０．５，τ＝２          ・・・（数式１）
ステップＳ１０２３では、前段のステップＳ１０２２で生成された領域群を認識装置の記憶領域に保存する。このようにしてＳ０個の領域群が得られたら、ステップＳ１０２１〜Ｓ１０２４のループ処理を抜け、ステップＳ１０２の処理を終了する。図５には、ステップＳ１０２の処理結果の一例を示す図であり、同図に示すように、本実施形態ではＳ０個の空間スケールからなる複数スケール領域群４０１が得られる。
【００１８】
図３のフローチャートに戻ると、次にステップＳ１０３では、マルチスケール特徴生成部１０２が前段で得られた複数の領域群について特徴量を生成する。マルチスケール特徴生成部１０２が行う処理のフローチャートを、図４（Ｂ）に示す。同図において、ステップＳ１０３１からＳ１０３９はループ処理であり、Ｓ０個の各スケールについての処理を繰り返す。さらにステップＳ１０３２からＳ１３３８は、ｋ番目のスケールの領域群のうちの個々の領域ｊについて繰り返すループ処理である。
【００１９】
ステップＳ１０３３からステップＳ１０３６までは、各領域ｊに関する特徴量を抽出する処理である。ここでは、領域の特徴として一般的な３つの特徴量を用いる。それは（１）ＲＧＢ色ヒストグラム、（２）Ｌｏｃａｌ  Ｂｉｎａｒｙ  Ｐａｔｔｅｒｎヒストグラム（以下、ＬＢＰと略す）、（３）以下の数式２として表わされる領域の形状の二次の重心モーメントである。
【００２０】
［数２］
Ｍｘ  ＝  １／ｎ  ×  Σｘ（Ｉ（ｘ）−μｘ）２
Ｍｙ  ＝  １／ｎ  ×  Σｙ（Ｉ（ｙ）−μｙ）２          ・・・（数式２）
ここで、ｎは領域ｊの画素数、μｘ，μｙはそれぞれ領域ｊの重心の座標ｘおよびｙ、Ｉ（ｘ），Ｉ（ｙ）は領域ｊに含まれる各画素の座標ｘおよびｙである。次に、ステップＳ１０３６では、このようにして得られた全特徴を連結して、数式３のように領域ｊの特徴ベクトルｆｊとする。
【００２１】
［数３］
ｆｊ＝［色ヒストグラム特徴Ｔ，ＬＢＰ特徴Ｔ，モーメント特徴Ｔ］Ｔ      ・・・（数式３）
ただし、記号Ｔはベクトルの転置である。ここでは、領域の特徴として３種類の特徴量を利用するとしたが、これ以外に特徴量の形態は様々に考えられる。特徴量は、画像認識装置１００で判別すべき被写体の性質や計算量に応じて選択すればよい。
【００２２】
次に、ステップＳ１０３７では、このようにして得られた領域ｊの特徴量ｆｊを、画素についての特徴量ｆｋ（ｐ）として割り当てる。ただし、ここでｐとは領域ｊの内部の各画素のことである。以上の処理を、各スケールと各局所領域について繰り返す。
【００２３】
図３のフローチャートに戻ると、次に、ステップＳ１０４では、マルチスケール特徴生成部１０２が、前段のステップで得られた特徴量ｆｋ（ｐ）を画素ｐごとに連結して、複数スケールの特徴ベクトルから成る特徴セットである特徴量Ｆ０（ｐ）を生成する。特徴量Ｆ０（ｐ）は、以下の数式４のようにして各スケールの特徴量ｆ１（ｐ）〜ｆＳ０（ｐ）を並べた行列である。
【００２４】
［数４］
Ｆ０（ｐ）＝［ｆ１（ｐ），  ｆ２（ｐ），  ．．．，ｆｋ（ｐ），  ．．．，ｆＳ０（ｐ）］Ｔ            ・・・（数式４）
こうして得られた特徴量Ｆ０（ｐ）の結果の一例を、図６（Ａ）に示す。特徴量Ｆ０（ｐ）はスケール数Ｓ０×ｄ０次元の２次元行列であり、ここで記号ｃｏｌ，ＬＢＰ，Ｍｘ，およびＭｙはそれぞれ色ヒストグラム、ＬＢＰ、二次モーメントの特徴であることを表している。ｄ０は、これらの特徴量の次元の総数である。
【００２５】
図３のフローチャートに戻り、ステップＳ１０５からＳ１１０において、制御部１０７が特徴変換部１０３および中間結果保持部１０５を制御して、以下で述べる処理をｎ回繰り返す。ただし、ここで、ｎはマルチスケールの特徴量Ｆ０（ｐ）に対して段階的に行う特徴変換の回数であり、本実施形態ではｎ＝３段階とする。
【００２６】
まず、ステップＳ１０６では、特徴変換部１０３が、ｉ段階目の変換用のパラメータを変換制御データメモリ１０４から読み出す。本実施形態において、特徴変換は畳み込み演算で実現されるものとする。そのため、本ステップでは畳み込みのカーネルＣｉの重みパラメータの値を読み出す。この畳み込みカーネルＣｉは、図５に示すようにｃｉ×ｄｉ＋１×ｄｉの三次元行列からなる。ｄｉとｄｉ＋１は、それぞれ特徴変換前と変換後の特徴量の次元数である。ｃｉは畳み込みカーネルｉが畳み込みを行うスケール方向の幅の大きさであり、何スケール分を畳み込んで変換するかを表す（図の例ではｃｉ＝３としている）。
【００２７】
次に、図３のステップＳ１０７からステップＳ１０９は、ステップＳ１０８の特徴変換処理を画像の全画素について繰り返す処理である。ステップＳ１０８では、特徴変換部１０３が、前段で読み出した畳み込みのカーネルＣｉの値を用いて、各画素ｐの特徴量Ｆ０（ｐ）に対して特徴変換を行う。その結果、特徴量Ｆ０（ｐ）は変換されて、異なるスケールの特徴量Ｆ１（ｐ）となる。なお、この変換によって得られる特徴量のチャンネル数（次元数）ｄｉ＋１は設定次第である。ここでは、ｄｉ≦ｄｉ＋１であるとして段階的に特徴チャンネルの次元数が増加する形態であるとする。
【００２８】
ステップＳ１０８の詳細な処理のフローを、図７に示す。また、図５には、畳み込み演算４０４の概略を示す模式図が示されている。まず、ステップＳ１０８１では、前段で読み出した畳み込みのカーネルＣｉを使って、数式５の畳み込み演算を行う。
【００２９】
［数５］
Ｇｉ＋１（ｐ）＝Ｆｉ（ｐ）＊Ｃｉ          ・・・（数式５）
ただし、この畳み込み演算を詳細化すると数式６のように表される。
【００３０】
［数６］
Ｇｉ＋１（ｐ，ｋ，ｄ’）＝ΣｄΣ−１≦τ≦１  Ｆｉ（ｐ，τ，ｄ）×Ｃｉ（ｋ−τ，ｄ’，ｄ）      ・・・（数式６）
ここで、Ｆｉ（ｐ，ｋ，ｄ）は、特徴量Ｆｉ（ｐ）のうち、ｋ番目のスケール且つｄ番目の特徴チャンネルの値のことである。畳み込み変換後の特徴量Ｇｉ＋１（ｐ，ｋ，ｄ）についても、同様である。次に、上記の畳み込み演算で得られた特徴量Ｇｉ＋１（ｐ）に対して、スップＳ１０８２では、数式７で表わされる活性化関数θによる非線形な演算処理を行う。
【００３１】
［数７］
Ｇ’ｉ＋１（ｐ）＝θ（Ｇｉ＋１（ｐ）），
θ（ｘ）＝  Ｍａｘ（０，ｘ）          ・・・（数式７）
上記の活性化関数θは、半波整流の関数である。ただし、活性化関数θとしては、これに限らず、シグモイド関数や区分線形凸関数等、様々な形態を用いることができる。次に、ステップＳ１０８３では、プーリングと呼ばれる圧縮処理を行ってスケールの数を半減させる。ここでは、特徴量Ｇ’ｉ＋１（ｐ）を構成するｍｉ個のスケールの特徴量を平均し、１個の特徴量に代表させる平均化プーリング演算４０６を行う。上記の畳み込みおよびプーリング処理により、特徴変換前のスケール数ｓｉは以下の数式８で表わされるスケール数ｓｉ＋１に圧縮される。
【００３２】
［数８］
ｓｉ＋１＝（ｓｉ−ｃｉ＋１）／ｍｉ          ・・・（数式８）
次に、ステップＳ１０８４では、上記プーリング演算の結果得られた特徴量をＬ２正規化し、結果を新たな特徴量Ｆｉ＋１（ｐ）とする。なお、上記プーリング演算の処理は、例えば非特許文献１などの先行手法に開示されているように、最大値プーリングや、サンプリング処理など他の形態も有り得る。また、特徴変換の段階によっては、ｍｉ＝１（即ちプーリング演算を行わない）をとるような段階があってもよい。Ｌ２正規化の他の形態についても同様であり、これらの手法は公知の内容であるため、ここでは詳細の説明は省略する。
【００３３】
図３に戻り、ステップＳ１１０のループを抜けると、最終的に中間結果保持部１０５には各画素ｐについての特徴量Ｆｎ（ｐ）が保持されることになる。特徴量Ｆｎ（ｐ）は１つの画像スケールのみからなるｄｎ次元の特徴ベクトルである。図６（Ｃ）には、特徴量Ｆｎ（ｐ）の一例を示す。図６（Ａ）〜（Ｃ）に示すように、特徴変換を施すことにより、画像のスケール方向の情報は徐々に圧縮されていく。同時に、特徴量の各チャンネルには複数のスケールのパターンの組み合わせの情報が畳み込まれていく。
【００３４】
従来のＣＮＮにおいては、畳み込みおよびプーリングといった特徴変換処理を画像の空間方向に対して段階的に行う。この結果、線分や曲線といった局所パターン、およびそれらが統合された顔のような複雑なパターンに反応するような受容野が形成されることが知られている。
【００３５】
これに対して、本実施形態の場合は、これまで説明したように特徴量のスケールの方向に対して畳み込みやプーリング処理を行う。そのため、スケール方向に分布する特定のパターンに反応するような受容野が形成される。例えば、空のように大きなスケールに広がる領域の特徴と、その中の明るい小領域である太陽といったような複数のスケールの特徴を複合したようなパターンの受容野が形成される。
【００３６】
次に、ステップＳ１１１で、カテゴリ判定部１０６は、前段で得られた画素ｐの特徴ベクトルＦｎ（ｐ）を用いて、画素ｐのカテゴリを判定する。この処理では、あらかじめカテゴリの数ｄｃ個と同じ数のニューロンを用意しておく（ここではｄｃ＝４とする）。詳細については後述するが、各ニューロンは、特徴ベクトルＦｎ（ｐ）が入力されるとカテゴリに対応するニューロンのみ１、それ以外は０に近い値が出力されるように予め結合重みＷｎが調整されている。上記の演算は数式９で表される。
【００３７】
［数９］
ｌ（ｐ）＝ｓｏｆｔｍａｘ（Ｗｎ・Ｆｎ（ｐ）＋ｂ）          ・・・（数式９）
ここで、ｌ（ｐ）は画素ｐの各カテゴリの尤度を表す要素数ｄｃのベクトルである。Ｗｎは全結合型の重みパラメータであり、ｄｃ行ｄｎ列の行列である。ｂは長さｄｎのバイアス項のベクトルであり、Ｗｎと共に予め学習によって調整されている。関数ｓｏｆｔｍａｘ（・）は、ｘｉをｉ番目の要素に持つベクトルｘが入力されると、数式１０の値をｉ番目の要素とするベクトルｙを出力する関数である。
【００３８】
［数１０］
ｙのｉ番目の要素：＝ｅｘｉ／Σｊ  ｅｘｊ          ・・・（数式１０）
数式１０の演算の結果が、画素ｐのカテゴリの尤度となる。これをｄｃ種類のカテゴリごとにスコアのマップとして集計したものを、図２のカテゴリ尤度６０６として図示する。ここで重要なのは、カテゴリ尤度６０６の解像度が入力画像６００と等しいことである。本実施形態では、従来の方法のように空間方向に対しての畳み込みは行わず、数式６に表されるような方法で、画像のスケールｋの方向に対して特徴量を畳み込む変換を行っている。そのため、本実施形態では従来の方法と異なり、カテゴリ尤度６０６として解像度の高い結果が最終的に得られる。
【００３９】
＜学習方法＞
ここで、特徴変換部１０３の畳み込みカーネルＣｉの重みパラメータの学習方法について述べる。深層学習においては、数式１１のように、クロスエントロピー最小化を損失関数として重みの値を調整する方法が広く知られている。ただし、ここでｑ（ｘ）はカテゴリｘの真の確率分布である。ｑ’（ｘ）は認識システムが推定したカテゴリｘの分布である（ここで認識システムはカーネルＣｉの演算を部分として含むものとする）。
【００４０】
［数１１］
Ｈ（ｑ，ｑ’）＝  −Σｘ  ｑ（ｘ）・Ｌｏｇ  ｑ’（ｘ）      ・・・（数式１１）
畳み込みカーネルＣｉの重みパラメータの学習には、数式１１のクロスエントロピーを損失関数Ｌ＝Ｈ（ｑ，ｑ’）として用いる。学習時には、まず全ての畳み込みカーネルＣｉの重みＷｉを乱数で初期化する（Ｗｉはｃｉ×ｄｉ＋１×ｄｉ個の重み変数である）。次に、学習画像のセットを与えて得た認識システムの出力から、各学習画像の各画素についてカテゴリの推定分布ｑ’（ｘ）を計算する。そして下の更新式（数式１２）に従って、重みＷｎのｊ番目の要素ｗｎｊの値を更新する。
【００４１】
［数１２］
ｗｎｊ（ｔ＋１）＝ｗｎｊ（ｔ）−η∂Ｌ／∂ｗｎｊ（ｔ），
Ｌ＝ΣｉΣｐＬｉｐ          ・・・（数式１２）
ただし、ここで、Ｌｉｐは学習画像ｉの画素ｐに関する損失関数である。また、ηは１より小さな値をとる学習係数である。最終層以外の重みパラメータＷｉについては、ニューラルネットで一般的な手法である誤差逆伝搬手法により各層ごとに順次計算して更新すればよい。なお、上記の更新式に慣性項や重みｗｎの減衰項と呼ばれる項を加えたタイプなど派生の形態も様々に存在する。ここで示した学習計算の個々の要素は、深層学習の技術として広く知られているため、ここではこれ以上は詳述しない。
【００４２】
また、ここでは、教師付学習と呼ばれるタイプの学習方法の形態について述べた。しかし、他にも、非特許文献１に開示されるような、中間層のみ非教師型学習を行う形態や、入力層に近い層から一段ずつ教師付学習を行って一層ずつ追加していく形態など、本実施形態は様々な形態を採用することができる。
【００４３】
［第１の実施形態の変形例］
上述の第１の実施形態では、画素ごとに特徴の抽出と畳み込み等の演算を行った。しかしながら、例えば非特許文献２のような方法によって、予め画像をＮ個のＳｕｐｅｒ−ｐｉｘｅｌと呼ばれる小領域に分け、この小領域を最小単位として認識の演算処理を行うようにしてもよい。これにより、画像認識時の演算の回数を画像サイズであるｈ×ｗ回からＮ回のオーダへと減らすことができる。その際には、図４（Ａ）のフロー図で説明した複数の領域群を作成する際に、画素ではなく上述のＳｕｐｅｒ−ｐｉｘｅｌに基づいてクラスタリングを行えばよい。
【００４４】
また、別の変形例として、対象画像中の離れた異なる領域間の関係性を学習できる形態について述べる。例えば、人間の被験者が赤い領域の下方に暗い領域のある画像を見た場合、夕焼けの空と地面ではないか、というようにパターンの組み合わせから被写体を推定することがある。この変形例は、このように位置的に離れた領域間のパターンも積極的に学習できるようにするものである。
【００４５】
この変形例では、画像認識装置１００に以下のような構成を加えることで実現される。図８は、本変形例に係る特徴変換の処理を模式的に示しており、これは図５で示した特徴変換の処理を一部拡張した形態である。ただし、図８では、図５では示した畳み込み演算とプーリング演算を省略している。
【００４６】
本変形例が、第１の実施形態（図５）と異なるのは、特徴量Ｆｉ（ｐ）を変換して特徴量Ｆｉ＋１（ｐ）を得た後に、さらにマルチスケール特徴生成部１０２が特徴量Ｆｉ＋１（ｐ）から付加的な特徴量Ａｉ＋１（ｐ）を生成する点である。本変形例では、付加的な特徴量Ａｉ＋１（ｐ）を特徴量Ｆｉ＋１と連結して新たな特徴量Ｆ’ｉ＋１（ｐ）とし、Ｆｉ＋１（ｐ）の代わりに次の段階のマルチスケール特徴として用いる。
【００４７】
ここで、付加的な特徴量Ａｉ＋１は、図８に示すように、特徴量Ｆｉ＋１の特徴マップ８０２をそれぞれのスケールごとに畳み込みカーネル８０４で空間方向に畳み込んだ特徴マップ８０３から成っている。畳み込みカーネル８０４は、ガボールフィルタなど既存のフィルタを用いればよい。この結果、新たな特徴量Ｆ’ｉ＋１（ｐ）は、図８に示すようにスケール数Ｓｉ＋１、特徴次元数２×ｄｉ＋１の行列となる。
【００４８】
このようにして、特徴量Ｆ’ｉ＋１を用いることにより、大きなスケールの領域間のパターンと小さなスケールの領域間のパターンとを同時に考慮するような認識が行われることになる。これは、例えば夕焼けのシーンの画像が入力されると、「明るい領域の下側の暗い領域」のような大まかなパターンと、「雲のテクスチャとその下側のビル群のテクスチャ」といった細かなパターンとが同時に考慮されることを意味する。
【００４９】
なお、ここでは畳み込みカーネル８０４はガボールフィルタのような既存のフィルタを用いて空間方向に画像特徴を畳み込むこととしたが、他の形態として、学習によって畳み込みカーネル８０４のパラメータを獲得する形態でもよい。上記の形態の場合、付加的な特徴量Ａｉ＋１（ｐ）の特徴次元数ｄ’ｉ＋１は畳み込みカーネル８０４の出力チャンネルの数で決まる。ｄ’ｉ＋１は自由に設定してよい。連結後の特徴量Ｆ’ｉ＋１（ｐ）のサイズはスケール数がｓｉ＋１、特徴次元数がｄ’ｉ＋１＋ｄ’ｉ＋１となる。
【００５０】
学習によって空間方向の畳み込みカーネルを得る手法については、非特許文献１等で広く知られているため、ここでの詳細な説明を省略する。以上のように、本変形例では、空間的に離れた領域間の関係性も考慮して認識を行うことができる。
【００５１】
また更に、上述の実施形態に係る画像認識装置は、特定の認識機能に限定されるものではない。第１の実施形態では、画像の各画素を４種類のカテゴリに分類する構成について説明したが、他の種々の目的の画像認識に利用することが可能である。例えば、画像中の主被写体の前景領域と背景領域を区別するための教師データを用意して学習することで、主被写体領域を判別するような画像認識装置を実現することができる。また例えば、判定する対象を顔が検出された領域に限定し、顔の各領域を目、鼻、口、髪の毛といったカテゴリに細分化するような形態も考えられる。
【００５２】
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第２の実施形態は、スケール方向の変換を全結合型の重みで実現するものである。第２の実施形態においては、スケール方向の特徴変換と、従来型のＣＮＮに特徴的な空間方向の特徴変換とが、１回の演算で同時に行えることを示す。以下、図面を参照しつつ、本発明の第２の実施形態について説明する。なお、第１の実施形態で既に説明をした構成については、その説明を省略し、同一の符号を付す。
【００５３】
本実施形態に係る画像認識装置は、対象画像内の物体検出を目的とするものである。ここで、物体の検出は、画像中の対象物体の大よその位置とサイズとを同定することをタスクとするものであるとする。また、検出する対象物体のカテゴリとしては、例えば犬や車といった一般的な物体とする。ここでは、自転車、建物、車、犬、人物の５つのカテゴリの物体を検出するものとする。
【００５４】
図９は、本実施形態に係る画像認識装置の機能構成を示す概略ブロック図である。本実施形態が第１の実施形態と異なる点は、候補領域抽出部２０８を有することである。候補領域抽出部２０８による処理の詳細については、後述する。
【００５５】
図１０は、本実施形態に係る画像認識処理による認識処理の流れを概略的に説明する図である。同図に示すように、まず入力画像９０１が入力されると、画像から複数の物体の候補領域９０２が抽出される。次に、物体の候補領域を所定の正方形の画像９０３に変換し、それぞれについて特徴抽出９０４を行う。次に、抽出した特徴量に基づいて、カテゴリ判定９０５を行う。判定結果９０６が所定の閾値を超えていれば、その候補領域は当該物体であるとして認識結果９０７を出力する。
【００５６】
ここで、本実施形態の特徴構成である、特徴抽出９０４の処理の詳細について説明する。図１１は、本実施形態に係る特徴抽出９０４の処理の詳細を概略的に示す図であり、同図には、特徴量Ｆ０〜Ｆ４が示されている。物体の候補領域９０３が入力されると、まず同領域から特徴量Ｆ０が生成される。特徴量Ｆ０は、４つの異なるスケールの特徴マップ１００１ａ〜１００１ｄから成っている。図１１において、各特徴マップ１００１ａ〜１００１ｄは、それぞれｄ０＝７次元の特徴チャンネルで構成されている。これらは、候補領域９０３の解像度を４段階に変更し、それぞれの解像度から色やテクスチャといった合計７種類の特徴を抽出することで生成したものである。
【００５７】
次に、特徴量Ｆ０に特徴変換Ｗ０を施すことで、中間的な特徴量Ｆ１を得る。同様に、特徴量Ｆｉに特徴変換Ｗｉを施して、特徴量Ｆｉ＋１を得る。このように段階的に特徴変換を施すと、最終的に特徴量Ｆ４が得られるので、これを出力とする。以上が、図１０で示した特徴抽出９０４で行われる処理の概略である。
【００５８】
次に、特徴変換Ｗｉに関して詳述する。図１１に示すように、各特徴変換Ｗｉは更にサブモジュールの演算Ｗｉ（ｊ）の集合により構成されている。例えば、特徴変換Ｗ０の場合、Ｗ０（１），Ｗ０（２），Ｗ０（３）の３つの演算で構成される。演算Ｗｉ（ｊ）は複数のスケールの特徴マップを統合し、一つのスケールの特徴マップに変換する処理である。図１１では、２つのスケールの特徴マップを１つのスケールの特徴に変換している。統合するスケールの数は設計値次第であるが、ここでは、ｉ番目の特徴変換で統合されるスケールの数を記号ｍｉとすると、ｍ０＝ｍ１＝ｍ２＝２，ｍ３＝１と設定する。特徴変換Ｗｉにより、各段階では、ｍｉ−１個の数だけ特徴マップのスケール数が減ることになる。そして、最終的に特徴量Ｆ４では、１つのスケールの特徴マップに統合されている。
【００５９】
次に、図１２を用いて、演算Ｗ０（１）の詳細について説明する。図１２（Ａ）において、特徴マップ１００１ａｂは、図１１の特徴マップ１００１ａと特徴マップ１００１ｂとを連結したものである。演算Ｗ０（１）は、まず、特徴マップ１００１ａｂに対して畳み込み演算を行う。この畳み込み演算は、図中に符号１０１０ａｂを付して示すように空間方向のサイズが７×７であり、入力特徴のチャンネル数はｄ０×２＝１４チャンネルである。また、演算結果の出力の特徴チャンネル数ｄ１は、１６チャンネルである。したがって、本畳み込み演算は、全部で１６×１４×７×７個の重みパラメータを持つ。
【００６０】
ここで、画像上のある１箇所の畳み込み演算にのみ着目すると、これは、図１２（Ｂ）に示すように、全結合の重み付き和の演算として図示できる（ただし、ここでは結合線の全てを表示していない）。この重み付き和の演算は、数式１３のようになる。
【００６１】
［数１３］
Ｆ’＝θ（Ｗｃ０（１）・Ｆ）          ・・・（数式１３）
ここで、Ｆは長さ６８６（＝カーネルのサイズ１４×７×７に等しい）の特徴ベクトル、Ｆ’は長さ１６の特徴ベクトル、Ｗｃ０（１）は１６行６８６列の行列からなる重み付き和のパラメータ、θは第１の実施形態で用いたものと同じ非線形の活性化関数である。
【００６２】
演算Ｗ０（１）は、上記の重み付き和の演算を特徴マップ１００１ａｂの空間方向に走査しながら行う。これにより、１４×６４×６４のサイズの特徴マップ１００１ａｂは１６×５８×５８のサイズの特徴マップ１００２ａ’に変換される。さらに、特徴マップ１００２ａ’に対して２×２の画素ごとに平均値を取ることでダウンサンプリングを行う（平均値プーリング）。これにより、最終的に１６×２９×２９のサイズの特徴マップ１００２ａが得られる。なお、上記の重み付き和のパラメータＷｃは３つの演算Ｗ０（１），Ｗ０（２），Ｗ０（３）で共通であってもよいが、ここではそれぞれ異なる値を学習するものとする。
【００６３】
以降、特徴変換Ｗ１〜Ｗ３についても特徴変換Ｗ０と同様の変換操作が行われ、段階的に特徴量Ｆ１〜Ｆ３が得られる。各段階の処理は全て同タイプの演算であるが、カーネルのサイズ、特徴チャンネルの数、および結合重みの値は各段階によって異なる。空間方向の解像度は変換の段階をＦ０→Ｆ１→…→Ｆ４と経るにつれ、６４→２９→１２→４→１と順次圧縮される。
【００６４】
次に、図１３（Ａ）を用いて、本実施形態の画像認識装置による認識処理の全体のフローについて説明する。同図において、まずステップＳ２０１で、画像取得部２０１が画像を取得すると、候補領域抽出部２０８は取得した画像中の物体らしいと思われる領域を物体らしい候補領域として同定する。これは一般に知られている手法、例えば非特許文献３に記載の手法を用いることにより行うことができる。
【００６５】
次に、ステップＳ２０３からＳ２１４までは、各候補領域について同じ処理を繰り返す。ステップＳ２０４では、マルチスケール特徴生成部２０２が、候補領域の画像を変換して６４×６４の画像に正規化する。次に、ステップＳ２０５で、マルチスケール特徴生成部２０２が、６４×６４の画像およびこれをダウンサンプリングした３２×３２，１６×１６，８×８の画像から、計４つのスケールに関する特徴マップを生成する。
【００６６】
このステップＳ２０５の処理を細分化したフローチャートを、図１３（Ｂ）に示す。ここでは、まずステップＳ２０５１において、６４×６４の画像について傾きが４５度ずつ異なる４種類のガボールフィルタの応答マップを得る。そして、ステップＳ２０５２において、前段で得た応答マップにＲＧＢの３次元の値を連結して７次元の特徴マップを生成する。次に。ステップＳ２０５３からステップＳ２０５７までの処理を繰り返して、画像の平均化とダウンサンプリングとを繰り返すことで、６４×６４から８×８までの４つのスケールの特徴マップを生成する。最後に、ステップＳ２０５８で、画像をアップサンプリングして全てのスケールの特徴マップを７×６４×６４次元に揃える。なお、ここでは、特徴チャンネルとしてガボールとＲＧＢの値を用いたが、画素を単位として算出される特徴であれば、他のものであってもよい。
【００６７】
図１３（Ａ）のフローチャートに戻ると、ステップＳ２０６では、マルチスケール特徴生成部２０２が、前段で得られた複数スケールの特徴量ｆｋをまとめて連結し、４スケール×７次元の特徴量Ｆ０を得る。
【００６８】
次に、ステップＳ２０７からステップＳ２１１までは、特徴量Ｆ０を複数回変換することで特徴量Ｆ４を得る処理である。ステップＳ２０７では、制御部２０７が、カウンターｉを０にセットし、ステップＳ２０８では、制御部２０７が、ｉ＋１番目の特徴変換Ｗｉの変換パラメータを変換制御データメモリ２０４から読み出す。次にステップＳ２０９では、特徴変換部２０３が、特徴変換Ｗｉのパラメータを用いて、各画素ｐの特徴量Ｆｉ（ｐ）を特徴量Ｆｉ＋１（ｐ）へと変換する。
【００６９】
さらに、ステップＳ２１２で、特徴変換部２０３が、特徴量Ｆｉ＋１を２×２の画素で平均化して半分の解像度へ圧縮する。ステップＳ２１３では、中間結果保持部２０５が、特徴量Ｆｉ＋１を保持する。さらに、制御部２０７が、保持された特徴量Ｆｉ＋１を特徴変換部２０３へ再入力し、ｉ＝０〜３のループを繰り返す。
【００７０】
ｉ＝４でループが終了したら、ステップＳ２１４で、カテゴリ判定部２０６が特徴量Ｆ４をサポートベクトルマシン（以下、ＳＶＭ）に入力し、カテゴリ判定のスコアを得る。そして、いずれかのカテゴリのＳＶＭのスコアが所定値を超えていれば、候補領域のサイズ、位置および判定結果を制御部２０７の保持部に記憶しておく。超えていない場合、候補領域は物体でないとして破棄する。
【００７１】
ステップＳ２１５において、全ての候補領域について以上の特徴抽出とカテゴリ判定とが完了するまで上述のループの処理を繰り返し、ステップＳ２１６で、制御部２０７は各候補領域についてのカテゴリ判定結果を出力する。以上で、本実施形態の認識処理のフローが終了する。
【００７２】
＜特徴変換のパラメータ＞
ここで、図１４に、本実施形態に係る特徴変換に関するパラメータの例（パラメータ設定１）を示す。図１４（Ａ）の表は、その各数値が図１１に示した特徴変換の構成と一致するものである。この数値は、あくまでも本実施形態を実現する際の一例であり、これらの数値を変化させることによりネットワークの性能も変化する。
【００７３】
図１４（Ｂ）に、よりネットワークの規模を大きくした際のパラメータの設定例（パラメータ設定例２）を示す。図１４（Ａ）に示すパラメータ設定１では、特徴量Ｆ０に含まれる特徴のスケールの数は４であった（解像度６４×６４，３２×３２，１６×１６，８×８の４オクターブ４スケール）。これに対し、パラメータ設定２では、この特徴のスケールを６４×６４から２×２までの６オクターブとし、且つ、０．５オクターブごとに特徴マップを用意する。これにより特徴量Ｆ０には、１１個のスケールの特徴が含まれる。さらに、特徴量Ｆ０の各スケールの特徴マップには、ＲＧＢの３次元のチャンネルが含まれるとする。
【００７４】
ここで、スケール方向の特徴量の変換として、パラメータ設定１では各段階で２スケールを統合して１スケールへ変換する演算を用いていたが、パラメータ設定２では３スケールを１スケールへ統合するように変更した。このパラメータ設定２のネットワークは、スケール方向の規模が大きいため、パラメータ設定１のネットワークに比べて、より複雑なスケール間の特徴の関係性を学習することが期待できる。ただし、必要なメモリ量、学習時間、および実行時の計算量は増大する。
【００７５】
以上のように、本実施形態では、スケール方向の特徴の変換を全結合型の重みで行うようにしている。そのため、スケール方向の特徴の変換に関して、第１の実施形態で示した畳み込み演算の形態に限らず、本実施形態のような、特徴マップを段階的に全結合したような形態のネットワークに対しても適用できるようになる。
【００７６】
＜学習方法＞
ここで、本実施形態に係る各段階の特徴量の変換の学習方法について説明する。図１２（Ｃ）は、本実施形態の特徴量変換の学習方法を説明する模式図である。ここでは、オートエンコーダーと呼ばれる非教師型の学習方法を用いることとする。これは、以下の数式１４で表される。
【００７７】
［数１４］
ｚ＝θ（Ｗ・ｘ＋ｂ），
ｘ’＝θ（ＷＴ・ｚ＋ｂ’）          ・・・（数式１４）
ここで、ｘは入力特徴量１０１０ｐを１列のベクトルとして並べたもの、ｚは中間層の出力、ｘ’は出力特徴量１０１０ｑを１列のベクトルとして並べたものである。Ｗはｘとｚの間を結合する全結合型の重み行列、ＷＴはｚとｘ’の間を結合する全結合型の重み行列であり、Ｗの転置行列である。ｂとｂ’はバイアス項のベクトルである。θは以下の数式１５で定義されるシグモイド関数である。
【００７８】
［数１５］
θ（ｘ）＝１／（１＋ｅ−ｘ）          ・・・（数式１５）
オートエンコーダーの学習は、数式１５の入力ｘと出力ｘ’がなるべく同じ値になるように重みパラメータＷを調節することで行われる。学習時には、まずＷを乱数で初期化する。次に、学習用画像から物体候補領域を抽出し、各候補領域から特徴マップＦ０を抽出して学習データセットとする。次に、損失関数Ｌは数式１６で定義され、これを最小化するように以下の更新式（数式１７）を用いて重みＷおよびバイアス項ｂとｂ’を更新する。ここでｘｊはｊ番目の学習データの特徴量である。
【００７９】
［数１６］
Ｌ  ＝  Σｊ  １／２｜｜ｘ’ｊ−ｘｊ｜｜２          ・・・（数式１６）
［数１７］
ｗ（ｔ＋１）＝ｗ（ｔ）−η∂Ｌ／∂ｗ（ｔ），
ｂ（ｔ＋１）＝ｂ（ｔ）−η∂Ｌ／∂ｂ（ｔ），
ｂ’（ｔ＋１）＝ｂ’（ｔ）−η∂Ｌ／∂ｂ’（ｔ）          ・・・（数式１７）
また、ηは１より小さな値をとる学習係数である。以上の処理を特徴変換の全段階、全スケールで行い、学習された重みＷとバイアス項をそれぞれ記憶する。学習の順番は、特徴量Ｆ０と特徴量Ｆ１の変換に関する重みパラメータから始める。学習で獲得されたＷｉを用いて特徴量Ｆｉ−１から特徴量Ｆｉを算出し、次の段階の重みパラメータＷｉ＋１を学習する。このような順番で学習処理を行う。
【００８０】
以上の学習方法は、深層学習において広く知られた方法である。また、オートエンコーダーに関しては、スパース性を用いるものなど様々な方法が提案されている。なお、オートエンコーダーではなく、第１の実施形態で述べたような教師付学習の方法を用いてもよい。詳細については非特許文献１に記載されているため、ここでの説明は省略する。
【００８１】
上記のようにして特徴変換のための重みＷ０〜Ｗ３のセットが全て得られたら、次に最終の特徴量Ｆ４からカテゴリ判定結果を得る変換についての学習を行う。これは、まず重みＷ０〜Ｗ３を用いて学習データの候補領域から特徴量Ｆ４を得る。次に、特徴量Ｆ４と物体のカテゴリの教師値をペアとし、ＳＶＭの学習を行う。ここでは１  ｖｅｒｓｕｓ  ａｌｌ（１対全）方式などの一般的なマルチクラスの学習方法を用いることとする。以上が各段階の特徴変換のパラメータの学習の仕方である。
【００８２】
［第２の実施形態の変形例］
上述の第２の実施形態に係る画像認識装置は物体検出を目的としたが、例えばこれを画像のシーン分類のような認識タスクに応用することも可能である。それには物体の候補領域を画像全体とし、判定する対象をシーンのカテゴリに変更して学習、認識を行えばよい。また、例えば、物体候補領域を、人体検出器を用いて検出した人物の候補領域に変更し、カテゴリ判定部２０６が対象とするカテゴリを人物のポーズの種別や人物の行動カテゴリに変更してもよい。これにより、人物の姿勢認識や行動認識の機能を実現することが可能にある。第２の実施形態はスケール方向の特徴変換の方法に特徴を有し、その適用先としてのパターン認識については特定のタスクに限定されるものではない。
【００８３】
［第３の実施形態］
次に、本発明の第３の実施形態について説明する。第３の実施形態は、スケール方向の特徴変換と画像の空間方向の特徴変換とを別々に行うものである。以下、図面を参照しつつ、本発明の第３の実施形態について説明する。なお、第１、第２の実施形態で既に説明をした構成については、その説明を省略し、同一の符号を付す。
【００８４】
図１５は、本実施形態に係る特徴変換を模式的に説明する図であり、図１５（Ａ）は画像の空間方向の特徴変換Ｗｓｐｉ、図１５（Ｂ）は画像のスケール方向の特徴変換Ｗｓｃｉを示している。本実施形態では、この二種類の特徴変換を所定の順序で行うこととする。ここではｉ＝０，２，４の偶数番号の変換の時に特徴変換Ｗｓｐｉを、ｉ＝１，３，５の奇数番号の変換の時に特徴変換Ｗｓｃｉを、それぞれ行うこととする。ただし、上記記載のような交互順に限る必要はなく、二つの変換をどのような順序で行ってもよい。本実施形態の一部の処理のブロック図を図１５（Ｃ）に示す。入力画像から生成された特徴量は次々と特徴変換を施され、最終的に特徴量Ｆ６が得られる。これを判別器で判定し、画素ごとにカテゴリの尤度Ｌを求めるという処理の流れになっている。
【００８５】
ここで、特徴量の変換処理の詳細について説明する。本実施形態では、まず特徴量Ｆ０を生成する。これには、まずマルチスケール特徴生成部１０２が、入力画像に対して平均化およびダウンサンプリングを行い、解像度の異なる複数の階層解像画像を生成する。ここではスケール数をｓ０＝７とする。７階層の画像それぞれはＲＧＢ値の３チャンネルの特徴量を持っている。このｋ番目の階層の画像のＲＧＢの値それぞれを特徴量Ｆ０の各スケールの特徴マップｆ０，ｋとする。
【００８６】
次に、図１５（Ａ）に示すように、特徴変換部１０３が各スケールの特徴マップｆ０，ｋに対して画像の空間方向の特徴変換Ｗｓｐ０を施す。この変換の個々の演算要素は特徴マップｆ０，ｋ上の３チャンネル×３×３ピクセルの範囲の値を重み付け和し、特徴マップｆ１，ｋ上のｄｉ＋１次元×１×１ピクセルの特徴チャンネルに変換する処理から成る。なお、本実施形態では、簡単のために特徴量Ｆ０は３次元の特徴チャンネル、特徴量Ｆ１〜Ｆ６は全て３２次元の特徴チャンネルで構成されているものとする。そのため、特徴変換Ｗｓｐ０の重みパラメータは３２×３×３×３個の値から成る。また、特徴変換Ｗｓｐ２およびＷｓｐ４の重みパラメータは３２×３２×３×３個の値から成る。
【００８７】
特徴変換Ｗｓｐ０の演算を特徴マップｆ０，ｋの画像上の全位置に対して行うことで、特徴マップｆ１，ｋが得られる。この処理は、第２の実施形態で述べた重み付き和による演算処理と同一であるので繰り返しての説明は行わない。次に、第２の実施形態と同様に、特徴マップｆ１，ｋに対して活性化関数による非線形変換を行う。なお、本実施形態において、画像解像度を半分にするプーリング処理は行わない。
【００８８】
なお、特徴変換Ｗｓｐ０は空間方向に３×３の畳み込みを行う処理であるため、単純に変換処理を行うと特徴マップｆ１，ｋは特徴マップｆ０，ｋよりも周囲１画素分だけサイズが小さくなる。これを防ぐために、特徴マップｆ０，ｋは予め周囲１画素分の画素について、元の画像を鏡像反転させた画素によって充填しておくこととする。これにより、変換によって変換前と同一の空間方向の解像度の特徴量Ｆｉ＋１が得られるようにする。
次に、階層画像の特徴マップｆ１，ｋをアップサンプリングし、各階層の画像の解像度を元の画像のサイズｈ×ｗに揃える。最後に、全てのスケールの特徴マップｆ１，１〜ｆ１，Ｓ１を連結して特徴量Ｆ１とする。なおこの特徴変換Ｗｓｐｉの処理においては、スケールに関しての変換はなされないので新たな特徴量Ｆ１のスケールの数はｓ１＝ｓ０＝７である。
【００８９】
続いて、特徴量Ｆ１に対して、図１５（Ｂ）に示すスケール方向の特徴変換処理Ｗｓｐ１を行う。これは、第１の実施形態で述べた方法と同様であり、特徴量Ｆ１の各画素ｐの特徴量Ｆ１（ｐ）ごとに変換を行う。ここでは、特徴量Ｆ１（ｐ）の７つのスケールのうち、隣接する３つのスケールの特徴を統合し、特徴量Ｆ２（ｐ）の１つのスケールの特徴へと変換する。ここでは、特徴量ｆ１，１（ｐ）〜ｆ３，１（ｐ）を変換して、特徴量ｆ２，１（ｐ）を得ている。これは第１の実施形態と同様に、畳み込みの演算と活性化関数による非線形の変換とから成り、この畳み込みのカーネルは３×ｄ２×ｄ１個の重みのパラメータから成る。この重みパラメータはどの３つのスケールを統合する時にも共通の値を使ってもよいし、スケールによってそれぞれ独立に学習した値を用いてもよい。本実施形態では、簡単のためにスケールに関係なく共通であるとする。このような特徴変換Ｗｓｐｉにより、特徴量のスケールは各段階で２スケール削減されてｓｉ＋１＝ｓｉ−２となる。
【００９０】
以上説明した変換処理ＷｓｐとＷｓｃとを交互に繰り返して、特徴量を逐次的に変換していく。図１５（Ｃ）の各特徴量Ｆｉの下に、変換による特徴量Ｆｉのサイズの変化を数値で示す。このうちｈとｗとは画像の縦と横のサイズである。各数値の３つ目の値はスケールの数、４つ目の値は特徴チャンネルの次元数である。なお、特徴変換ＷｓｐｉおよびＷｓｃｉの重みパラメータの学習については、第１、第２の実施形態と同様の方法を用いればよい。すなわち、誤差逆伝搬あるいはオートエンコーダーの方法で学習すればよい。
【００９１】
最後に、図１６を用いて、本実施形態の画像認識装置による認識処理の全体のフローについて説明する。図１６のフローチャートは、第１の実施形態に係る図３のフローのチャートに部分的に同一であり、異なる点は以下のとおりである。まず、ステップＳ３０４で制御部１０７が、所定の順番に従ってｉ番目の特徴変換として画像の空間方向の特徴変換か、スケール方向の特徴変換かのいずれかを行うトリガーを送出する。
【００９２】
そして、空間方向の特徴変換を行う場合は、ステップＳ３０５〜Ｓ３１０の処理が行われる。まず、ステップＳ３０５で、特徴変換部１０３が、各スケールの特徴マップをダウンサンプリングして、解像度がピラミッド状に異なる特徴マップを生成する。生成される特徴マップの一例を、図１５（Ａ）に、特徴マップｆｉ，１〜ｆｉ，Ｓｉとして示す。次に、特徴変換部１０３は、ｓｉ個のスケールからなる特徴量Ｆｉに対して、スケールごとに特徴変換Ｗｓｐｉによる変換処理を行う（ステップＳ３０７）。その結果、各スケールｋの特徴マップｆｉ，ｋは、特徴マップｆｉ＋１，ｋに変換される。次に、ステップＳ３０９では、特徴変換部１０３が、特徴マップｆｉ＋１，１〜ｆｉ＋１，ｓｉ＋１それぞれをアップサンプルして全て元の画像サイズｈ×ｗに戻す。そして、ステップＳ３１０では、特徴変換部１０３が、全ての特徴マップを連結して特徴量Ｆｉ＋１とし、中間結果保持部１０５に保存する。そして、次のｉ＋１番目の特徴変換の処理に進む。
【００９３】
一方、スケール方向の特徴変換を行う場合は、ステップＳ３１１〜Ｓ３１４の処理が行われる。この処理では、特徴変換部１０３は、特徴量Ｆｉの各画素ｐの特徴量Ｆｉ（ｐ）に対して特徴変換Ｗｓｃｉを用いた変換処理を行う（ステップＳ３１２）。変換の結果、特徴量Ｆｉ＋１（ｐ）が得られるので、全画素の結果をまとめて、それを特徴量Ｆｉ＋１として得る（ステップＳ３１４）。中間結果保持部１０５は特徴量Ｆｉ＋１を保存し、次のｉ＋１番目の特徴変換の処理に進む。
【００９４】
このようにして、所定回数（ここでは、ｉ＝０〜５）の特徴変換が行われたら、得られた特徴量Ｆ６（ｐ）を用いて、カテゴリ判定部１０６が判定処理を行う。以上が、本実施形態に係る認識処理の全体的なフローである。
【００９５】
以上、本実施形態によれば、スケールに関する特徴変換と画像の空間方向の特徴変換とを別々に行うことにより、精度よく画像認識を行うことができる。
【００９６】
［第４の実施形態］
次に、本発明の第４の実施形態について説明する。上述の各実施形態において、マルチスケールの特徴量Ｆ０は、スケールの異なる複数の特徴量ｆ０，１〜ｆ０，ｓ０で構成されていた。そして、各特徴量ｆ０，ｉの特徴の属性およびその次元数は、どのスケールｉでも共通であった。これに対し、第４の実施形態は、特徴量Ｆ０を構成する各スケールの特徴量ｆ０，１〜ｆ０，ｓ０の属性および次元数がそれぞれ異なるものである。以下、図面を参照しつつ、本発明の第３の実施形態について説明する。なお、第１〜第３の実施形態で既に説明をした構成については、その説明を省略し、同一の符号を付す。
【００９７】
図１７は、本実施形態に係る画像認識装置の全体の処理を概略的に示す概略図である。本実施形態の各機能部は第１の実施形態と同様である。また、本実施形態の画像認識装置は、入力画像の被写体のカテゴリを判別し、入力画像を判別したカテゴリ毎の領域に分ける意味的領域分割を行うものである。
【００９８】
次に、図１８を用いて、本実施形態に係る画像認識装置の認識処理のフローを説明する。まず、ステップＳ４０１で、画像取得部１０１は処理対象の画像を取得する。ステップＳ４０２で、マルチスケール特徴生成手段１部は、入力画像からＳ０個の特徴マップ１１１ａ〜１１１ｅを生成する。後述するように、この特徴マップはそれぞれ特徴の属性が異なる。また、ｉ番目の特徴マップはｄ０，ｉ次元の特徴次元を持つ。
【００９９】
図１７には、特徴マップ１１１ａの一例として、画像のシーンの尤度を用いた例を示す。ここで、画像のシーンとは、予めユーザが任意に定めた「夜景」、「海岸」、「山岳」といったｄ０，１種類の画像シーンである。シーンのクラス数ｄ０，１は、ユーザが任意に決定しておく。また、事前に事例画像データおよび教師データを用意して識別器を学習することで、任意の画像についてシーンクラスの尤度が推定できるようにしておく。このようなシーン識別器は、例えば非特許文献１に記載の方法により実現できる。なお、一般的なシーン識別手法は、１枚の入力画像に対してシーンクラスの数だけ尤度を出力する。ここでは、上記のようなｄ０，１個の出力結果を画素数の分だけ複製してＨ×Ｗ×ｄ０，１の行列とし、これを特徴マップとする。以上が、特徴マップ１１１ａの詳細である。
【０１００】
また、図１７には、特徴マップ１１１ｂの一例として、物体検出器の検出結果を用いる例を示す。ここでの物体とは、予めユーザが任意に定めた「人間」、「車」、「犬」などといった、ｄ０，２種類の物体である。また、物体検出結果とは、これらの物体が画像中のどこに存在する確度がどの程度高いかを示した、Ｈ×Ｗ×ｄ０，２の尤度スコアのマップである。物体検出の手法としては、例えば非特許文献４に記載された手法を用いればよい。図１７では、検出結果を特徴マップ１１１ｂ中の複数の矩形として表現している。ここでは、分かりやすくするために、検出結果を物体が検出された位置の矩形として図示している。物体の検出結果は、検出か不検出かのような二値であってもよいし、存在確率のような連続値でもよい。また、矩形ではなく不定形の分布形状でもよい。どのような物体検出結果のマップを特徴マップ１１１ｂとして用いるかは、利用する物体検出器の出力形態によって決めればよい。
【０１０１】
また、図１７には、特徴マップ１１１ｃとして、特徴マップ１１１ａと同じくｄ０，１種類の画像シーンを推定したシーンクラスの尤度を用いる。特徴マップ１１１ａと異なる点は、特徴マップ１１１ｃの方がシーン認識の結果のスケールがより細かいことである。具体的には、画像の局所領域（ここでは、画像を４分割した領域）を入力画像とし、それぞれをシーンクラス判別器で推定させる。これにより、２×２×ｄ０，１の尤度の結果が得られるので、これを縦横それぞれＨ／２倍、Ｗ／２倍に複製して、Ｈ×Ｗ×ｄ０，１の行列を得る。以上が、特徴マップ１１１ｃの詳細である。なお、推定するシーンクラスの種類が特徴マップ１１１ａと同一である必要はなく、シーンの種類や数をそれぞれのスケールで変えてもよい。
【０１０２】
また、図１７には、特徴マップ１１１ｄとして、特徴マップ１１１ｂと同じくｄ０，２種類の物体の検出結果によって構成されたマップを用いる。ただし、特徴マップ１１１ｂの物体検出よりも、小さなサイズの検出窓で物体の検出を行った結果を用いる。この物体検出の結果を、図中では特徴マップ１１１ｄの中の小さな複数の矩形として表現する。特徴マップ１１１ｄにおいて、物体の種類は特徴マップ１１１ｂと同一である必要はない。
【０１０３】
また、図１７に示す特徴マップ１１１ｅは、上述の実施形態で既に説明をした、画像のＲＧＢ情報であるとする。この特徴マップ１１１ｅの次元数ｄ０，５は、３である。以上のように、本実施形態では、属性および特徴次元数の異なる複数の特徴マップ１１１ａ〜１１１ｅがマルチスケール特徴量Ｆ０を構成している。そして、これらの特徴マップは、それぞれの特徴量のスケールの大小を考慮して、おおよそのスケールの大きさの順に配列させている。ただし、属性の異なる特徴間のスケールについては、大小関係の判断しにくい部分もあり、このような場合は厳密な定義は必要なく、おおよその順序をユーザが決めればよい。
【０１０４】
図１８に戻り、ステップＳ４０３〜Ｓ４１０では、特徴変換部１０３がマルチスケール特徴Ｆ０に対して段階的に特徴変換Ｗ０およびＷ１を加える。これにより、特徴量Ｆ０はＦ０→Ｆ１→Ｆ２と順に変換される。ここで、特徴変換Ｗｉはｓｉ＋１個の変換処理Ｗｉ（１）〜Ｗｉ（ｓｉ＋１）から成っている。なお、Ｗｉ（ｊ）の添え字ｉは変換を施す特徴量Ｆｉ、添え字ｊは変換により得られる特徴量Ｆｉ＋１を構成するｊ番目のスケールの特徴マップに対応している。変換の詳細は、数式１８のようになる。
【０１０５】
［数１８］
ｆｉ＋１，ｊ（ｐ）＝θ（Ｗｉ（ｊ）Ｔｆｉ，ｍ（ｊ）（ｐ）＋ｂ）
・・・（数式１８）
ここで、ｆｉ＋１，ｊ（ｐ）は変換後のｊ番目の特徴マップ中の画素ｐの特徴ベクトルである。特徴ベクトルｆｉ＋１，ｊ（ｐ）の次元数は、スケールｊごとにユーザが任意に設定したものである。このときの次元数を記号ｄｉ＋１，ｊで表す。ｆｉ，ｍ（ｊ）（ｐ）は、上層の特徴ベクトルｆｉ＋１，ｊ（ｐ）に結合を持つ下層の全ての特徴ベクトルを縦に連結したものである。また、ｂはバイアス項、θは第１の実施形態と同じく非線形の活性化関数である。変換処理Ｗｉ（ｊ）は全結合型の変換であり、ｄｉ，ｍ（ｊ）行ｄｉ＋１，ｊ列の行列である。次元数ｄｉ＋１，ｊは、スケールｊごとにユーザが異なる値を決めてもよいし、全て同一の値としてもよい。
【０１０６】
ステップＳ４０５は、特徴変換部１０３が、上記の変換処理を行うために、変換制御データメモリ１０４から変換処理Ｗｉ（ｊ）およびバイアス項ｂのパラメータを読み込む処理である。変換処理Ｗｉ（ｊ）およびバイアス項ｂのパラメータは、第２の実施形態と同様に、予めオートエンコーダーあるいは教師付学習の方法を用いてパラメータを学習し、保存してあるものとする。そして、ステップＳ４０７では、特徴変換部１０３が上記変換処理を行う。
【０１０７】
図１７では、特徴量Ｆ０（ｐ）が特徴ベクトルｆ０，１（ｐ）〜ｆ０，５（ｐ）で構成されている。そのうちの特徴ベクトルｆ０，１（ｐ）〜ｆ０，３（ｐ）は変換処理Ｗ０（１）によって特徴ベクトルｆ１，１（ｐ）へと変換される。同様に、特徴ベクトルｆ０，２（ｐ）〜ｆ０，４（ｐ）は変換処理Ｗ０（２）によって特徴ベクトルｆ１，２（ｐ）へと変換される。なお、変換前の各特徴量ｆ０，ｉは、シーン分類や物体検出など互いに区別される属性を持つものであるが、変換後の各特徴量ｆ１，ｉは複数の属性の特徴量が混合された情報となる。また、本実施形態では、各スケールの特徴マップｆｉ，１〜ｆｉ，Ｓｉは属性および次元数が異なるため、第１の実施形態で用いたような畳み込み演算を変換処理として用いることはできない。そのため、数式１８に示したような全結合型の変換処理が好適である。
【０１０８】
ステップＳ４０６〜Ｓ４０８では、以上の変換処理を全画素ｐについて行い、特徴量Ｆ０から特徴量Ｆ１への変換が完了する。このような特徴量の変換をｎ段階繰り返すことで、スケールの異なる異種の情報が最終的に一つのスケールの特徴マップである特徴量Ｆｎへと統合される。ステップＳ４１１では、得られた特徴量Ｆｎを用いて、カテゴリ判定部１０６が各画素ｐのカテゴリの尤度を求めて、結果を出力する。以上により、本実施形態の認識処理が終了する。
【０１０９】
以上、本実施形態によれば、シーンクラスの尤度、物体検出の結果、色の情報のように、情報のスケールおよび属性の異なる特徴量を段階的に統合し、精度よく画像認識を行うことが可能になる。
【０１１０】
なお、異種情報を段階的に統合する形態として、他の構成も考えられる。図１９は、本実施形態の変形例を説明する図であり、変換前後の二層分のみを抜粋して示している。図１９では、特徴マップ間の太線はどの下層の特徴マップが変換処理によってどの上層の特徴マップに変換されるかを示している。
【０１１１】
図１９（Ａ）には、上層の特徴マップｆｉ＋１，１に対応する下層の特徴マップｆｉ，１〜ｆｉ，６と、上層の特徴マップｆｉ＋１，２に対応する下層の特徴マップｆｉ，４〜ｆｉ，９とが部分的に重複した例を示している。図１９（Ｂ）には、上層の特徴マップｆｉ＋１，１に対応する下層の特徴マップと、ｆｉ＋１，２に対応する下層の特徴マップとが互い違いに重なるような例を示している。図１９（Ｃ）には、上層の特徴マップｆｉ＋１，１，ｆｉ＋１，２，ｆｉ＋１，３が下層の特徴マップｆｉ，１〜ｆｉ，１２と、不規則な対応関係を持って結合している例を示している。図１９（Ｃ）は不規則性があるものの、スケールの大きな特徴マップはスケールの大きな特徴マップへ、小さなスケールの特徴マップはスケールの小さな特徴マップへと統合される頻度が高いという関係性を持っている。このような対応関係は、例えば数式１９のような確率式で上下層の結合関係を決めることで実現できる。
【０１１２】
［数１９］
Ｐ（ｖ（ｑ，ｒ）＝１）＝１／Ｚ・ｅｘｐ｛−１／σ・（ｑ−ｒ＋０．５）２｝
・・・（数式１９）
ただし、Ｐ（ｖ（ｑ，ｒ）＝１）は、上層の特徴量Ｆｉ＋１のｑ番目のスケールの特徴マップｆｉ＋１，ｑが下層の特徴量Ｆｉのｒ番目のスケールの特徴マップｆｉ，ｒと結合を持つ確率である。また、Ｚは正規化係数、σはスケールについての制御パラメータである。
【０１１３】
以上、本実施形態では、階層スケールを持つ特徴マップを段階的に統合する形態について複数の例を示した。これらの形態は様々に考えられ、本発明が特定の形態に限定されるものではない。本実施形態で示したように、何らかの情報のスケールに沿って配置された特徴マップと、それらの順序関係を保ったまま特徴量を段階的に統合する特徴量の変換という２つの要件を備える形態であれば、本発明は広く適応可能である。特徴量Ｆ０を構成する各特徴マップは同種の特徴量、同数の特徴次元でもよいし、本実施形態で示したように相異なる特徴量でもよい。また、特徴量の段階的な統合の際の上層と下層の結合関係は、図１９（Ａ）および（Ｂ）に例示したような規則的な関係であってよいし、図１９（Ｃ）に例示したような一部に不規則性のある対応関係でもよい。
［その他の実施形態］
また、本発明は、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読出し実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【０１１４】
１０１  画像取得部
１０２  マルチスケール特徴生成部
１０３  特徴変換部  
１０４  変換制御データメモリ
１０５  中間結果保持部
１０６  カテゴリ判定部
１０７  制御部
【図１】
2017157138.tif 000003
【図２】
2017157138.tif 000004
【図３】
2017157138.tif 000005
【図４】
2017157138.tif 000006
【図５】
2017157138.tif 000007
【図６】
2017157138.tif 000008
【図７】
2017157138.tif 000009
【図８】
2017157138.tif 000010
【図９】
2017157138.tif 000011
【図１０】
2017157138.tif 000012
【図１１】
2017157138.tif 000013
【図１２】
2017157138.tif 000014
【図１３】
2017157138.tif 000015
【図１４】
2017157138.tif 000016
【図１５】
2017157138.tif 000017
【図１６】
2017157138.tif 000018
【図１７】
2017157138.tif 000019
【図１８】
2017157138.tif 000020
【図１９】
2017157138.tif 000021