(57)【特許請求の範囲】
【請求項１】
各学習サンプルが複数のカテゴリのいずれかに分類される複数の学習サンプルを記憶する学習サンプル記憶部から学習サンプルを１以上含むグループを複数選択する選択処理を複数回行い、選択した複数のグループ毎に当該複数のグループを識別する識別基準を学習し、学習した複数の識別基準を含む評価基準を生成する生成処理を行う生成部と、
認識対象の物体を含む画像の入力を受け付ける第１受付部と、
前記画像の画像特徴を示す第１特徴量を抽出する抽出部と、
前記評価基準を用いて前記第１特徴量を第２特徴量に変換する変換部と、
認識テーブル記憶部から認識基準となる複数の基準特徴量それぞれとカテゴリとを対応付けた認識テーブルを参照し、前記第２特徴量と前記複数の基準特徴量それぞれとを用いて、前記認識テーブル内のカテゴリに対する前記物体の類似度を計算する計算部と、
前記認識テーブル内のカテゴリに対する前記物体の類似度を認識結果として出力部に出力させる出力制御部と、
前記物体のカテゴリの入力を受け付ける第２受付部と、
前記第２特徴量を前記基準特徴量として前記物体のカテゴリに対応付けて前記認識テーブルに登録するとともに、前記第１特徴量を前記物体のカテゴリに属する学習サンプルとして前記学習サンプル記憶部に登録する登録部と、
を備え、
前記生成部は、所定の条件が成立すると前記生成処理を再度行うことを特徴とする認識装置。
【請求項２】
前記評価基準の再生成条件を満たしているか否かを判定する判定部を更に備え、
前記生成部は、前記評価基準の再生成条件を満たしていると判定された場合、前記生成処理を再度行うことを特徴とする請求項１に記載の認識装置。
【請求項３】
前記再生成条件は、前記登録部による登録回数、前記生成処理後の経過時間、認識誤り率、基準特徴量数、基準特徴量の分散、学習サンプル数、学習サンプルの分散、及び再生成を指示する再生成指示の有無の少なくともいずれかであることを特徴とする請求項２に記載の認識装置。
【請求項４】
前記第１特徴量は、輝度勾配方向の共起頻度、エッジ方向とエッジに直交する方向の色変化の共起頻度、色変化の頻度、及び色の頻度を用いたベクトルの少なくともいずれかであることを特徴とする請求項１〜３のいずれか１つに記載の認識装置。
【請求項５】
前記計算部は、ｋ近傍法を用いて、前記認識テーブル内のカテゴリに対する前記物体の類似度を計算することを特徴とする請求項１〜４のいずれか１つに記載の認識装置。
【請求項６】
生成部が、各学習サンプルが複数のカテゴリのいずれかに分類される複数の学習サンプルを記憶する学習サンプル記憶部から学習サンプルを１以上含むグループを複数選択する選択処理を複数回行い、選択した複数のグループ毎に当該複数のグループを識別する識別基準を学習し、学習した複数の識別基準を含む評価基準を生成する生成処理を行う第１生成ステップと、
第１受付部が、認識対象の物体を含む画像の入力を受け付ける第１受付ステップと、
抽出部が、前記画像の画像特徴を示す第１特徴量を抽出する抽出ステップと、
変換部が、前記評価基準を用いて前記第１特徴量を第２特徴量に変換する変換ステップと、
計算部が、認識テーブル記憶部から認識基準となる複数の基準特徴量それぞれとカテゴリとを対応付けた認識テーブルを参照し、前記第２特徴量と前記複数の基準特徴量それぞれとを用いて、前記認識テーブル内のカテゴリに対する前記物体の類似度を計算する計算ステップと、
出力制御部が、前記認識テーブル内のカテゴリに対する前記物体の類似度を認識結果として出力部に出力させる出力制御ステップと、
第２受付部が、前記物体のカテゴリの入力を受け付ける第２受付ステップと、
登録部が、前記第２特徴量を前記基準特徴量として前記物体のカテゴリに対応付けて前記認識テーブルに登録するとともに、前記第１特徴量を前記物体のカテゴリに属する学習サンプルとして前記学習サンプル記憶部に登録する登録ステップと、
前記生成部が、所定の条件が成立すると前記生成処理を再度行う第２生成ステップと、
を含むことを特徴とする認識方法。
【請求項７】
各学習サンプルが複数のカテゴリのいずれかに分類される複数の学習サンプルを記憶する学習サンプル記憶部から学習サンプルを１以上含むグループを複数選択する選択処理を複数回行い、選択した複数のグループ毎に当該複数のグループを識別する識別基準を学習し、学習した複数の識別基準を含む評価基準を生成する生成処理を行う第１生成ステップと、
認識対象の物体を含む画像の入力を受け付ける第１受付ステップと、
前記画像の画像特徴を示す第１特徴量を抽出する抽出ステップと、
前記評価基準を用いて前記第１特徴量を第２特徴量に変換する変換ステップと、
認識テーブル記憶部から認識基準となる複数の基準特徴量それぞれとカテゴリとを対応付けた認識テーブルを参照し、前記第２特徴量と前記複数の基準特徴量それぞれとを用いて、前記認識テーブル内のカテゴリに対する前記物体の類似度を計算する計算ステップと、
前記認識テーブル内のカテゴリに対する前記物体の類似度を認識結果として出力部に出力させる出力制御ステップと、
前記物体のカテゴリの入力を受け付ける第２受付ステップと、
前記第２特徴量を前記基準特徴量として前記物体のカテゴリに対応付けて前記認識テーブルに登録するとともに、前記第１特徴量を前記物体のカテゴリに属する学習サンプルとして前記学習サンプル記憶部に登録する登録ステップと、
所定の条件が成立すると前記生成処理を再度行う第２生成ステップと、
をコンピュータに実行させるための認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、認識装置、方法及びプログラムに関する。
【背景技術】
【０００２】
物体（パターン）認識において、複数の学習サンプルを有する学習データの計量空間を学習するとともに、次元を削減する手法がある。この手法では、異なるカテゴリに属する学習サンプルの距離が大きくなるように変換する線形変換行列を算出（学習）し、算出した線形変換行列を学習データに適用する。認識の際には、認識対象の物体を含む画像などのデータに算出した線形変換行列を適用して認識対象の物体を認識する。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Ｔｏｍｏｙｕｋｉ  Ｓｈｉｂａｔａ，  Ｓｕｓｕｍｕ  Ｋｕｂｏｔａ，  Ｓａｔｏｓｈｉ  Ｉｔｏ，  “Ｌａｒｇｅ  Ｍａｒｇｉｎ  Ｄｉｓｃｒｉｍｉｎａｎｔ  Ｈａｓｈｉｎｇ  ｆｏｒ  Ｆａｓｔ  Ｋ−Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ，”  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  ２０１０  （ＩＣＰＲ  ２０１０），  ２０１０．
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述したような従来技術では、認識対象の物体に関するデータが学習サンプルの分布と異なる場合に認識精度が得られず、学習時の計算量も大きい。このため、物体認識の認識基準となるデータや学習サンプルが逐次的に追加される認識装置への適用が困難である。
【課題を解決するための手段】
【０００５】
実施形態の認識装置は、生成部と、第１受付部と、抽出部と、変換部と、計算部と、出力制御部と、第２受付部と、登録部とを、備える。生成部は、各学習サンプルが複数のカテゴリのいずれかに分類される複数の学習サンプルを記憶する学習サンプル記憶部から学習サンプルを１以上含むグループを複数選択する選択処理を複数回行い、選択した複数のグループ毎に当該複数のグループを識別する識別基準を学習し、学習した複数の識別基準を含む評価基準を生成する生成処理を行う。第１受付部は、認識対象の物体を含む画像の入力を受け付ける。抽出部は、画像の画像特徴を示す第１特徴量を抽出する。変換部は、評価基準を用いて第１特徴量を第２特徴量に変換する。計算部は、認識テーブル記憶部から認識基準となる複数の基準特徴量それぞれとカテゴリとを対応付けた認識テーブルを参照し、第２特徴量と複数の基準特徴量それぞれとを用いて、認識テーブル内のカテゴリに対する物体の類似度を計算する。出力制御部は、認識テーブル内のカテゴリに対する物体の類似度を認識結果として出力部に出力させる。第２受付部は、物体のカテゴリの入力を受け付ける。登録部は、第２特徴量を基準特徴量として物体のカテゴリに対応付けて認識テーブルに登録するとともに、第１特徴量を物体のカテゴリに属する学習サンプルとして学習サンプル記憶部に登録する。生成部は、所定の条件が成立すると生成処理を再度行う。
【図面の簡単な説明】
【０００６】
【図１】本実施形態の認識装置の構成例を示すブロック図。
【図２】本実施形態の評価基準の生成手法例を示す説明図。
【図３】本実施形態の認識特徴量の計算手法例の説明図。
【図４】本実施形態の認識テーブルの例を示す図。
【図５】本実施形態の認識結果の出力画面例を示す図。
【図６】本実施形態の認識結果の出力画面例を示す図。
【図７】本実施形態の確定画面例を示す図。
【図８】本実施形態の登録画面例を示す図。
【図９】本実施形態の追加学習後の認識テーブルの例を示す図。
【図１０】本実施形態の再生成条件設定画面例を示す図。
【図１１】本実施形態の認識処理例を示すフローチャート図。
【図１２】本実施形態の評価基準生成処理例を示すフローチャート図。
【図１３】本実施形態の認識装置のハードウェア構成例を示すブロック図。
【発明を実施するための形態】
【０００７】
図１は、本実施形態の認識装置１００の構成の一例を示すブロック図である。図１に示すように、認識装置１００は、学習サンプル記憶部１０２と、生成部１０４と、評価基準記憶部１０８と、画像入力部１１０と、第１受付部１１２と、抽出部１１４と、変換部１１６と、認識テーブル記憶部１１８と、計算部１２０と、出力制御部１２２と、出力部１２４と、操作入力部１２６と、第２受付部１２８と、登録部１３０と、判定部１３２とを、備える。
【０００８】
なお、学習サンプル記憶部１０２、評価基準記憶部１０８、及び認識テーブル記憶部１１８は、例えば、ＨＤＤ（Hard  Disk  Drive）、ＳＳＤ（Solid  State  Drive）、及びメモリカードなどの磁気的、光学的、又は電気的に記憶可能な既存の記憶装置の少なくともいずれかにより実現できる。また、生成部１０４、第１受付部１１２、抽出部１１４、変換部１１６、計算部１２０、出力制御部１２２、第２受付部１２８、登録部１３０、及び判定部１３２は、例えば、ＣＰＵ（Central  Processing  Unit）などの既存の制御装置により実現できる。また、画像入力部１１０は、例えば、デジタルカメラなどの撮像機器や撮影済みの画像を読み込んで入力する画像入力インタフェースなどにより実現できる。また、出力部１２４は、例えば、液晶ディスプレイなどの既存の表示装置により実現できる。また、操作入力部１２６は、例えば、マウス、キーボード、及びタッチパネルなどの既存の入力装置の少なくともいずれかにより実現できる。
【０００９】
学習サンプル記憶部１０２は、各学習サンプルが複数のカテゴリのいずれかに分類される複数の学習サンプルを記憶する。本実施形態では、学習サンプルが画像の画像特徴を表現する特徴ベクトルと当該特徴ベクトル（学習サンプル）が属するカテゴリを示すカテゴリ情報とを含むものとするが、これに限定されるものではない。
【００１０】
本実施形態では、学習サンプル記憶部１０２は、Ｍ個（Ｍ≧２）の学習サンプルを記憶する。また、学習サンプルの属するカテゴリの数をＴ（Ｔ≧２）とし、カテゴリｈ（１≦ｈ≦Ｔ）に属する学習サンプルの数をＭｈとする。従って、Ｍ＝Ｍ１＋…＋ＭＴとなる。ここで、カテゴリは、物体を識別する際の（物体を分類する）種類を表す。つまり、Ｍ個の学習サンプルの中に種類αの物体の学習サンプルと種類βの物体の学習サンプルと種類γの物体の学習サンプルとの計３種類の物体の学習サンプルが含まれていれば、Ｔ＝３となる。
【００１１】
生成部１０４は、学習サンプル記憶部１０２から学習サンプルを１以上含むグループを複数選択する選択処理を複数回行い、選択した複数のグループ毎に当該複数のグループを識別する識別基準を学習し、学習した複数の識別基準を含む評価基準を生成する生成処理を行う。また生成部１０４は、所定の条件が成立すると生成処理を再度行う。つまり、生成部１０４は、評価基準を再生成（再学習）する。具体的には、生成部１０４は、後述の判定部１３２により評価基準の再生成条件を満たしていると判定された場合に、生成処理を再度行う。生成部１０４は、選択部１０５と学習部１０７とを含む。
【００１２】
選択部１０５は、学習サンプル記憶部１０２から学習サンプルを１以上含むグループを複数選択する選択処理を複数回行う。特に選択部１０５は、選択する複数のグループのそれぞれに含まれる学習サンプルのカテゴリ数又はサンプル数が略同数となるように、当該複数のグループを選択する。具体的には、選択部１０５は、選択する複数のグループのそれぞれに含まれる学習サンプルのカテゴリ数又はサンプル数のグループ間の差が予め定められた範囲内に収まるように、当該複数のグループを選択する。なお本実施形態では、選択部１０５が、学習サンプル記憶部１０２から学習サンプルを無作為に選択（ランダムサンプリング）するものとする。これにより、選択部１０５により選択される複数のグループに含まれる学習サンプルのカテゴリは、選択部１０５の選択処理毎に異なることが期待できる。但し、学習サンプルの選択手法はこれに限定されるものではなく、選択する複数のグループに含まれる学習サンプルのカテゴリが選択処理毎に異なることが期待できれば、どのような選択基準で選択してもよい。
【００１３】
本実施形態では、選択部１０５は、学習サンプル記憶部１０２から、各グループが学習サンプルを１個以上含むようにＫ（Ｋ＝２）個のグループを無作為に選択する選択処理をＮ（Ｎ≧２）回行う。特に選択部１０５は、選択処理を行う際、Ｋ個のグループのそれぞれに含まれる学習サンプルのカテゴリ数が同数となるように、Ｋ個のグループを無作為に選択する。なお、Ｋの値は２以上であってもよい。
【００１４】
このため選択部１０５は、学習サンプル記憶部１０２から学習サンプルを完全に無作為に選択するのではなく、カテゴリの学習サンプルの個数に応じて重み付けを行ってＫ個のグループ間の学習サンプルの個数の差を小さくするように調整したり、カテゴリの学習サンプルの個数に関わらずある一定の個数の学習サンプルを抽出するようにしたりしてもよい。なお、学習サンプルの個数を一定にする場合、選択部１０５は、さらに単純にカテゴリから学習サンプルを無作為に選択するようにしてもよいし、未選択の学習サンプルをカテゴリから優先的に選択するようにしてもよい。
【００１５】
学習部１０７は、選択部１０５により選択された複数のグループ毎に当該複数のグループを識別する識別基準を学習し、学習した複数の識別基準を含む評価基準を生成する。本実施形態では、学習部１０７は、選択部１０５により選択されたＫ個のグループ毎に当該Ｋ個のグループを識別する識別器Ｆｉ（ｘ）（１≦ｉ≦Ｎ）を学習し、学習したＮ個の識別器を含む評価基準｛Ｆ１（ｘ），Ｆ２（ｘ），…，ＦＮ（ｘ）｝を生成する。
【００１６】
学習部１０７により生成された評価基準｛Ｆ１（ｘ），Ｆ２（ｘ），…，ＦＮ（ｘ）｝は、画像内に含まれる物体の認識に用いられる。具体的には、評価基準｛Ｆ１（ｘ），Ｆ２（ｘ），…，ＦＮ（ｘ）｝に含まれるＮ個の識別器Ｆｉ（ｘ）のそれぞれが、認識対象の画像に対する評価値を出力する。評価値は、例えば、識別器が予め学習したいずれのグループに属するかを示す尤度やグループ番号などが該当する。そして、出力された複数の評価値が画像内に含まれる物体の認識特徴量として利用されることにより、物体認識に用いられる。
【００１７】
本実施形態では、学習部１０７は、サポートベクターマシンにより、Ｋ個のグループを識別する識別器Ｆｉ（ｘ）を学習する。サポートベクターマシンは、２クラスのパターン識別器を構成する手法である。サンプルから、各データとの距離が最大となる分離平面を求め、ソフトマージンを最大化するという基準で学習する。但し、識別器の学習手法はこれに限定されるものではなく、既存の学習手法を用いることができる。例えば、学習部１０７は、ブースティングなどの学習手法を用いることができる。また例えば、選択部１０５により選択された３個のグループを識別する識別器を学習する場合であれば、学習部１０７は、ｋ近傍識別器、ベイズ分類、又はニューラルネットワークなどの学習手法を用いることができる。
【００１８】
図２は、評価基準の生成手法の一例を示す説明図である。なお、図２に示す例では、Ｓ１〜ＳＭ（Ｍ≧１１）が、学習サンプル（特徴量）を示し、Ｔ＝Ｍであるものとする。つまり、図２に示す例では、全ての学習サンプルのカテゴリが異なるものとする。また、図２に示す例では、Ｋ＝２であるものとする。つまり、図２に示す例では、選択部１０５は、各グループに含まれる学習サンプルのカテゴリ数が２となるように、即ち、Ｔ＝Ｍであるため、各グループに含まれる学習サンプル数が２となるように、２個のグループを選択する。
【００１９】
図２に示す例では、選択部１０５は、１回目の選択処理で、学習サンプルＳ１及びＳ５を含むグループ１５１ａと、学習サンプルＳ２及びＳ７を含むグループ１５１ｂとを、選択している。また、選択部１０５は、２回目の選択処理で、学習サンプルＳ３及びＳ８を含むグループ１５２ａと、学習サンプルＳ１０及びＳＭを含むグループ１５２ｂとを、選択している。また、選択部１０５は、Ｎ回目の選択処理で、学習サンプルＳ４及びＳ９を含むグループ１５３ａと、学習サンプルＳ６及びＳ７を含むグループ１５３ｂとを、選択している。
【００２０】
また、学習部１０７は、選択部１０５により１回目の選択処理で選択されたグループ１５１ａとグループ１５１ｂとを識別する識別器Ｆ１（ｘ）を学習している。また、学習部１０７は、選択部１０５により２回目の選択処理で選択されたグループ１５２ａとグループ１５２ｂとを識別する識別器Ｆ２（ｘ）を学習している。また、学習部１０７は、選択部１０５によりＮ回目の選択処理で選択されたグループ１５３ａとグループ１５３ｂとを識別する識別器ＦＮ（ｘ）を学習している。これにより、学習部１０７は、学習したＮ個の識別器を含む識別器群｛Ｆ１（ｘ），Ｆ２（ｘ），…，ＦＮ（ｘ）｝を生成する。
【００２１】
評価基準記憶部１０８には、生成部１０４により生成された評価基準が記憶される。具体的には、生成部１０４（学習部１０７）は、生成した評価基準｛Ｆ１（ｘ），Ｆ２（ｘ），…，ＦＮ（ｘ）｝を評価基準記憶部１０８に格納する（記憶させる）。なお生成部１０４は、評価基準記憶部１０８に既に評価基準が記憶されている場合、即ち、評価基準を再学習した場合、評価基準に含まれる識別器Ｆｉ（ｘ）の全てを置き換えてもよいし、一部のみを置き換えてもよい。例えば、置き換える識別器の数をＬ（Ｌ＜Ｎ）とした場合、生成部１０４は、識別器Ｆ１（ｘ）〜ＦＬ（ｘ）についてのみ再学習して置き換え、識別器ＦＬ＋１（ｘ）〜ＦＮ（ｘ）については前回学習したものを保持するようにしてもよい。このようにすれば、追加学習により学習サンプルの分布に偏りが生じていてもその影響を少なくすることができる。
【００２２】
画像入力部１１０は、認識対象の物体を含む画像を入力する。第１受付部１１２は、画像入力部１１０から入力された画像を受け付ける。
【００２３】
抽出部１１４は、第１受付部１１２により受け付けられた画像の画像特徴を示す第１特徴量を抽出する。本実施形態では、抽出部１１４は、第１受付部１１２により受け付けられた画像から、当該画像の画像特徴を表現する特徴ベクトルを抽出する。例えば、抽出部１１４は、特徴ベクトルとして、輝度勾配方向の共起頻度、エッジ方向とエッジに直交する方向の色変化の共起頻度、色変化の頻度、及び色の頻度に基づくベクトルの少なくともいずれかなどを抽出する。
【００２４】
変換部１１６は、評価基準記憶部１０８に記憶されている評価基準を用いて、抽出部１１４により抽出された第１特徴量を第２特徴量に変換する。本実施形態では、変換部１１６は、評価基準｛Ｆ１（ｘ），Ｆ２（ｘ），…，ＦＮ（ｘ）｝を用いて、抽出部１１４により抽出された特徴ベクトルを物体認識用の認識特徴量に変換する。
【００２５】
本実施形態では、評価基準｛Ｆ１（ｘ），Ｆ２（ｘ），…，ＦＮ（ｘ）｝に含まれるそれぞれの識別器Ｆｉ（ｘ）が、特徴ベクトルＸに対し、数式（１）に示すように評価値ｓｉを返却するものとする。ここで、学習部１０７により、いずれの学習手法を用いて識別器Ｆｉ（ｘ）が学習された場合であっても、識別器Ｆｉ（ｘ）の出力は、識別対象のグループに属する尤度などとして表されるため、数式（１）を満たす。
【００２６】
Ｆｉ（Ｘ）＝ｓｉ      …（１）
【００２７】
なお本実施形態では、評価値ｓｉがスカラー量である場合を例に取り説明するが、これに限定されるものではなく、例えば、複数の要素を持つベクトルであってもよい。また、後述する内容は、評価値ｓｉがベクトルであっても同様に適用できる。例えば、学習部１０７により、３個以上のグループを識別する学習手法を用いて識別器Ｆｉ（ｘ）が学習された場合、識別器Ｆｉ（ｘ）の出力は、識別対象の各グループに帰属する尤度を要素に持つようなベクトルとなる。
【００２８】
図３は、認識特徴量ｖ（Ｘ）の計算手法の一例の説明図である。変換部１１６は、図３に示すように、抽出部１１４により抽出された特徴ベクトルＸを評価基準｛Ｆ１（ｘ），Ｆ２（ｘ），…，ＦＮ（ｘ）｝に適用して、それぞれの識別器Ｆｉ（ｘ）から評価値ｓｉを取得し、取得した評価値ｓｉを用いて特徴ベクトルＸを認識特徴量ｖ（Ｘ）に変換する。本実施形態では、変換部１１６は、図３及び数式（２）に示すように、全ての評価値ｓｉを１つに並べることで特徴ベクトルＸを認識特徴量ｖ（Ｘ）に変換する。
【００２９】
ｖ（Ｘ）＝（ｓ１，ｓ２，…，ｓＮ）      …（２）
【００３０】
例えば、識別器Ｆｉ（ｘ）が２つのクラスを判別し、評価値ｓｉとして０から１の実数を出力する関数であるとする。この場合、変換部１１６は、抽出部１１４により抽出された特徴ベクトルＸの認識特徴量を、例えば、ｖ（Ｘ）＝（０．５，０．４，０．９，０．７，１．０，…，０．１）のように、実数の組み合わせで表現されたベクトルとして計算する。また変換部１１６は、抽出部１１４により抽出された特徴ベクトルＸ’（Ｘ’≠Ｘ）の認識特徴量を計算すると、例えば、ｖ（Ｘ’）＝（０．１，０．９，０．０，０．２，０．３，…，０．８）のように、やはり実数の組み合わせで表現されたベクトルとして計算するが、計算した認識特徴量は特徴ベクトルＸの認識特徴量と異なるものになる。つまり、この例では、実数の組み合わせで表現されたベクトルが、画像に含まれる物体が有する固有の認識特徴量となり、物体の認識に有効な認識特徴量となる。
【００３１】
但し、認識特徴量の計算手法は上述の手法に限定されるものではなく、取得した評価値ｓｉをどのように用いて認識特徴量を計算しても構わない。
【００３２】
なお、評価値ｓｉがベクトルの場合、特徴ベクトルＸの認識特徴量ｖ（Ｘ）は、評価値ｓｉが持つ各要素を並べたものとなる。つまり、評価値ｓｉの次元数をｄｉとすると、特徴ベクトルＸの認識特徴量ｖ（Ｘ）の次元数Ｄは、次元数ｄｉの総和となる（Ｄ＝ｄ１＋…＋ｄＮ）。なお、各評価値ｓｉの次元数ｄｉは、全て同じ値でもよいし、それぞれ異なっていてもよい。
【００３３】
認識テーブル記憶部１１８は、認識基準となる複数の基準特徴量それぞれとカテゴリとを対応付けた認識テーブル（辞書データベース）を記憶する。図４は、認識テーブルの一例を示す図である。図４に示す例では、カテゴリＡに属するか否かの認識基準となる基準特徴量（ａ１１，ａ１２，…，ａ１Ｎ）及び基準特徴量（ａ２１，ａ２２，…，ａ２Ｎ）とカテゴリＡとが対応付けられており、カテゴリＢに属するか否かの認識基準となる基準特徴量（ｂ１１，ｂ１２，…，ｂ１Ｎ）とカテゴリＢとが対応付けられている。
【００３４】
計算部１２０は、認識テーブル記憶部１１８から認識テーブルを参照し、変換部１１６により変換された第２特徴量と複数の基準特徴量それぞれとを用いて、第１受付部１１２により受け付けられた画像に含まれる認識対象の物体の認識テーブル内のカテゴリに対する類似度を計算する。
【００３５】
本実施形態では、計算部１２０は、変換部１１６により変換された認識特徴量ｖ（Ｘ）との距離が近い基準特徴量を認識テーブルからｋ近傍法でｋ個求め、求めたｋ個の基準特徴量が属するカテゴリの割合を、認識テーブル内のカテゴリに対する認識対象の物体の類似度とする。例えば、ｋを３とし、計算部１２０がｋ近傍法で求めた３個の基準特徴量のうち、カテゴリＡに属するものが２個、カテゴリＢに属するものが１個であったとする。この場合、計算部１２０は、カテゴリＡの類似度を０．６７（≒１／３）、カテゴリＢの類似度を０．３３（≒１／３）と計算し、それ以外のカテゴリの類似度を０とする。
【００３６】
なお、計算部１２０は、サポートベクターマシン、部分空間法、ニューラルネットワーク、カーネル法、ランダムフォレスト、又はブースティングなどの一般的なパターン認識手法を用いてカテゴリに対する物体の類似度を計算してもよい。
【００３７】
出力制御部１２２は、計算部１２０により計算された認識テーブル内のカテゴリに対する認識対象の物体の類似度を認識結果として出力部１２４に出力させる。本実施形態では、出力制御部１２２は、認識テーブル内のカテゴリを認識対象の物体との類似度の高い順に並べ替えて出力部１２４に出力させる。図５は、認識結果の出力画面の一例を示す図である。図５に示す例では、認識対象の物体とカテゴリ「ドーナツ」との類似度が１．０００であり、それ以外のカテゴリとの類似度が０．０００となっている。このため、出力制御部１２２は、カテゴリ「ドーナツ」を最上位に並べ替えて認識結果の出力画面を出力部１２４に出力させている。また、出力制御部１２２は、図６に示すように、画像入力部１１０により入力された画像に認識対象の物体が複数含まれており、計算部１２０により認識テーブル内のカテゴリに対する各物体の類似度が計算された場合、各物体について認識結果を出力部１２４に出力させる。
【００３８】
なお出力制御部１２２は、認識テーブル内のカテゴリのうち認識対象の物体との類似度が高いカテゴリを類似度が高い順に予め定められた数、出力部１２４に出力させるようにしてもよいし、認識テーブル内のカテゴリのうち認識対象の物体との類似度が閾値を上回るカテゴリを出力部１２４に出力させるようにしてもよい。
【００３９】
出力部１２４は、出力制御部１２２により制御され、認識結果を出力する。
【００４０】
操作入力部１２６は、認識装置１００に対する各種操作入力を行う。操作入力部１２６は、例えば、画像入力部１１０により入力された画像に含まれる認識対象の物体のカテゴリを入力する。
【００４１】
本実施形態では、ユーザが操作入力部１２６を用いて図５に示す画面の確定ボタン２０１や図６に示す画面の確定ボタン２０２、２０３を選択すると、出力制御部１２２により図７に示すような確定画面（確定ダイアログ）が出力部１２４に出力される。図７に示す確定画面は、出力制御部１２２により出力された認識結果のうち認識対象の物体との類似度が最も高い認識テーブル内のカテゴリを、当該認識対象の物体のカテゴリとして確定（入力）する画面である。この場合、ユーザは、操作入力部１２６を用いて、図７に示す画面上で、ＯＫボタン２０４を選択することにより、認識対象の物体のカテゴリを確定する。
【００４２】
また本実施形態では、ユーザが操作入力部１２６を用いて図５に示す画面の登録ボタン２１１や図６に示す画面の登録ボタン２１２を選択すると、出力制御部１２２により図８に示すような登録画面（登録ダイアログ）が出力部１２４に出力される。図８に示す登録画面は、認識対象の物体のカテゴリを新規に登録（入力）する画面である。この場合、ユーザは、操作入力部１２６を用いて、図８に示す画面上で、新規カテゴリの名前とコードを入力し、ＯＫボタン２１３を選択することにより、認識対象の物体のカテゴリを登録する。
【００４３】
また操作入力部１２６は、例えば、評価基準の再生成（再学習）を指示する入力を行う。
【００４４】
第２受付部１２８は、操作入力部１２６から入力されたカテゴリや評価基準の再生成指示などの各種操作入力を受け付ける。
【００４５】
登録部１３０は、変換部１１６により変換された第２特徴量を基準特徴量として第２受付部１２８により受け付けられたカテゴリに対応付けて認識テーブルに登録する。また登録部１３０は、抽出部１１４により抽出された第１特徴量を第２受付部１２８により受け付けられたカテゴリに属する学習サンプルとして学習サンプル記憶部１０２に登録する。つまり、登録部１３０は、認識テーブル及び学習サンプルを追加学習する。
【００４６】
例えば、変換部１１６により変換された認識特徴量が（ｃ１１，ｃ１２，…，ｃ１Ｎ）であり、第２受付部１２８により受け付けられたカテゴリがＣであったとする。この場合、登録部１３０は、認識特徴量（ｃ１１，ｃ１２，…，ｃ１Ｎ）を基準特徴量（ｃ１１，ｃ１２，…，ｃ１Ｎ）としてカテゴリＣに対応付けて認識テーブルに登録する。図９は、追加学習後の認識テーブルの一例を示す図である。図９に示す例では、図４に示す認識テーブルに基準特徴量（ｃ１１，ｃ１２，…，ｃ１Ｎ）とカテゴリＣとの組が追加学習されている。また登録部１３０は、変換部１１６により認識特徴量（ｃ１１，ｃ１２，…，ｃ１Ｎ）に変換される前の特徴ベクトルとカテゴリＣを示すカテゴリ情報とを含む学習サンプルを学習サンプル記憶部１０２に登録する。
【００４７】
また、第２受付部１２８により受け付けられたカテゴリが認識テーブルに登録済みである場合、登録部１３０は、変換部１１６により変換された第２特徴量を基準特徴量として登録済みのカテゴリに対応付けて認識テーブルに登録する。なお登録部１３０は、認識テーブルを追加学習する際に登録済みの基準特徴量とカテゴリの組を削除又は更新するようにしてもよいし、学習サンプルを追加学習する際に登録済みの学習サンプルを削除又は更新するようにしてもよい。
【００４８】
判定部１３２は、評価基準の再生成条件を満たしているか否かを判定する。本実施形態では、判定部１３２は、生成部１０４により評価基準が生成（学習）又は再生成（再学習）されてからの登録部１３０による認識テーブル及び学習サンプルの登録回数をカウントし、予め定められた回数を超えたか否かを判定する。また、判定部１３２は、第２受付部１２８により評価基準の再生成指示の入力が受け付けられたか否かを判定する。そして、判定部１３２により、登録部１３０による認識テーブル及び学習サンプルの登録回数が予め定められた回数を超えたと判定された場合、又は第２受付部１２８により評価基準の再生成指示の入力が受け付けられたと判定された場合に、生成部１０４は、評価基準の生成処理を再度行い、評価基準を再学習する。
【００４９】
本実施形態では、再生成条件が、評価基準の生成処理（評価基準の学習・再学習）後の登録部１３０による登録回数と再生成を指示する再生成指示の有無とである場合を例に取り説明したが、再生成条件はこれに限定されるものではない。例えば、評価基準の生成処理（評価基準の学習・再学習）後の経過時間、認識誤り率、基準特徴量数、基準特徴量の分散（分布）、学習サンプル数、又は学習サンプルの分散（分布）などであってもよい。
【００５０】
なお、再生成条件が評価基準の生成処理後の経過時間である場合、判定部１３２は、生成部１０４により評価基準が生成又は再生成されてからの経過時間を計測し、予め定められた時間を超えたか否かを判定すればよい。また、再生成条件が認識誤り率である場合、判定部１３２は、計算部１２０により計算された類似度の最も大きなカテゴリと第２受付部１２８により受け付けられたカテゴリとから認識誤り率を求め、予め定められた認識誤り率を超えているか否かを判定すればよい。また、再生成条件が基準特徴量数である場合、判定部１３２は、認識テーブル内の基準特徴量数をカウントし、予め定められた基準特徴量数を超えたか否かを判定すればよい。また、再生成条件が基準特徴量の分散である場合、判定部１３２は、認識テーブル内の基準特徴量の分散を計算し、予め定められた範囲内に収まるか否かを判定すればよい。また、再生成条件が学習サンプル数である場合、判定部１３２は、学習サンプル記憶部１０２に記憶されている学習サンプル数をカウントし、予め定められた学習サンプル数を超えたか否かを判定すればよい。また、再生成条件が学習サンプルの分散である場合、判定部１３２は、学習サンプル記憶部１０２に記憶されている学習サンプルの分散を計算し、予め定められた範囲内に収まるか否かを判定すればよい。
【００５１】
なお、評価基準の再生成条件は、図１０に示すような再生成条件設定画面を用いて設定できる。例えば、出力制御部１２２が図１０に示すような再生成条件設定画面を出力部１２４に出力させ、ユーザが、操作入力部１２６を用いて、図１０に示す画面上で、再生成条件として設定する項目と当該項目の予め定められた値を入力してＯＫボタン２２１を選択し、第２受付部１２８が受け付ける。そして判定部１３２は、第２受付部１２８により受け付けられた再生成条件として設定された項目及び当該項目の予め定められた値に従って判定する。
【００５２】
図１１は、本実施形態の認識装置１００で行われる認識処理の手順の流れの一例を示すフローチャート図である。
【００５３】
まず、第１受付部１１２は、画像入力部１１０から、認識対象の物体を含む画像の入力を受け付ける（ステップＳ１００）。
【００５４】
続いて、抽出部１１４は、第１受付部１１２により受け付けられた画像から、当該画像の画像特徴を表現する特徴ベクトルを抽出する（ステップＳ１０２）。
【００５５】
続いて、変換部１１６は、評価基準｛Ｆ１（ｘ），Ｆ２（ｘ），…，ＦＮ（ｘ）｝を用いて、抽出部１１４により抽出された特徴ベクトルを物体認識用の認識特徴量に変換する（ステップＳ１０４）。
【００５６】
続いて、計算部１２０は、複数の基準特徴量それぞれとカテゴリとを対応付けた認識テーブルを参照し、変換部１１６により変換された認識特徴量と複数の基準特徴量それぞれとを用いて、認識対象の物体の認識テーブル内のカテゴリに対する類似度を計算する（ステップＳ１０６）。
【００５７】
続いて、出力制御部１２２は、計算部１２０により計算された認識テーブル内のカテゴリに対する物体の類似度を認識結果として出力部１２４に出力させる（ステップＳ１０８）。
【００５８】
続いて、第２受付部１２８は、操作入力部１２６から、認識対象の物体のカテゴリの入力を受け付ける（ステップＳ１１０）。
【００５９】
続いて、登録部１３０は、変換部１１６により変換された認識特徴量を基準特徴量とし、第２受付部１２８により受け付けられたカテゴリに対応付けて認識テーブルに登録する（ステップＳ１１２）。
【００６０】
続いて、登録部１３０は、抽出部１１４により抽出された特徴ベクトルを第２受付部１２８により受け付けられたカテゴリに属する学習サンプルとして学習サンプル記憶部１０２に登録する（ステップＳ１１４）。
【００６１】
図１２は、本実施形態の認識装置１００で行われる評価基準生成処理の手順の流れの一例を示すフローチャート図である。
【００６２】
まず、判定部１３２は、評価基準の再生成条件を満たしているか否かを判定する（ステップＳ２００）。
【００６３】
判定部１３２により評価基準の再生成条件を満たしていると判定された場合（ステップＳ２００でＹｅｓ）、選択部１０５は、学習サンプル記憶部１０２から、それぞれ学習サンプルを１つ以上含む２つのグループを選択する（ステップＳ２０２）。この際、選択部１０５は、選択する２つのグループのそれぞれに含まれる学習サンプルのカテゴリ数のグループ間の差が予め定められた範囲内に収まるように、当該２つのグループを選択する。なお、判定部１３２により評価基準の再生成条件を満たしていないと判定された場合（ステップＳ２００でＮｏ）、処理は終了となる。
【００６４】
続いて、学習部１０７は、選択部１０５により選択された２つのグループを識別する識別器を学習する（ステップＳ２０４）。
【００６５】
続いて、選択部１０５は、例えば、選択がＮ回行われていない場合には、選択を続行すると判定し（ステップＳ２０６でＹｅｓ）、ステップＳ２０２に戻り、選択がＮ回行われている場合には、選択を続行しないと判定し（ステップＳ２０６でＮｏ）、ステップＳ２０８へ進む。
【００６６】
続いて、学習部１０７は、ステップＳ２０４で学習した複数の識別器を含む評価基準を生成し、評価基準記憶部１０８に格納する（ステップＳ２０８）。
【００６７】
図１３は、本実施形態の認識装置１００のハードウェア構成の一例を示すブロック図である。図１３に示すように、本実施形態の認識装置１００は、ＣＰＵ９０２と、評価基準を生成したり画像データに含まれる物体を認識したりするための認識プログラム（学習プログラム）などを記憶するＲＯＭ９０４と、ＲＡＭ９０６と、学習サンプル、評価基準、及び認識テーブルなどを記憶するＨＤＤ９０８と、ＨＤＤ９０８とのインタフェースであるＩ／Ｆ９１０と、デジタルカメラなどの撮像装置９１２と、画像入力用のインタフェースであるＩ／Ｆ９１３と、マウスやキーボードなどの入力装置９１４と、入力装置９１４とのインタフェースであるＩ／Ｆ９１６と、ディスプレイなどの表示装置９１８と、表示装置９１８とのインタフェースであるＩ／Ｆ９２０と、バス９２２とを、備えており、通常のコンピュータを利用したハードウェア構成となっている。なおＣＰＵ９０２、ＲＯＭ９０４、ＲＡＭ９０６、Ｉ／Ｆ９１０、Ｉ／Ｆ９１３、Ｉ／Ｆ９１６、及びＩ／Ｆ９２０は、バス９２２を介して互いに接続されている。
【００６８】
本実施形態の認識装置１００では、ＣＰＵ９０２が、ＲＯＭ９０４から認識プログラムをＲＡＭ９０６上に読み出して実行することにより、上記各部がコンピュータ上で実現される。そして本実施形態の認識装置１００では、ＣＰＵ９０２が、ＨＤＤ９０８に記憶されている学習サンプルを用いて、評価基準を生成してＨＤＤ９０８に記憶し、ＨＤＤ９０８に記憶されている評価基準や認識テーブルなどを用いて、Ｉ／Ｆ９１３から入力される画像に含まれる物体を認識する。
【００６９】
なお、認識プログラムはＨＤＤ９０８に記憶されていてもよい。また、認識プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されるようにしてもよい。また、認識プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、認識プログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、認識対象の物体を含む画像をＨＤＤ９０８に記憶しておき、Ｉ／Ｆ９１０から画像を入力するようにしてもよい。
【００７０】
以上のように、本実施形態の認識装置では、複数のグループ毎に、当該複数のグループを識別する識別器、即ち各グループに含まれる学習サンプルのカテゴリ又はカテゴリの組み合わせをグループ間で識別する識別器を学習して、評価基準を生成する。従って、生成される評価基準は、特定のカテゴリの認識のみに有効なものではなく、汎用性が高い。そして本実施形態の認識装置では、このような汎用性の高い評価基準を用いて認識対象の物体の認識特徴量を求めるので、認識対象の物体を含む画像データの特徴ベクトルが学習サンプルの分布から離れていても、認識精度に優れた特徴量となる。
【００７１】
ここで、認識対象の物体を認識し、認識テーブル及び学習サンプルを更新する追加学習型の認識装置では、評価基準の汎用性が低いと追加学習に伴う認識性能の低下が大きくなる。このため、評価基準の汎用性が低い場合、認識性能の低下を避けるため、高頻度での評価基準の再学習が必要となるが、評価基準の再学習に伴う処理負荷は非常に大きく時間を要するため、追加学習型の物体認識の処理効率が悪くなる。
【００７２】
これに対し、本実施形態の認識装置のように、評価基準の汎用性が高いと、追加学習に伴う認識性能の低下が少ないので、追加学習に伴う評価基準の再学習の頻度を減らすことができ、追加学習型の物体認識を効率的に行うことができる。従って本実施形態の認識装置によれば、追加学習型の物体認識を効率的に行いつつ、認識精度を高く保つことがきる。
【００７３】
以上説明したとおり、本実施形態によれば、認識精度と認識効率を両立することができる。
【００７４】
なお本発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。
【００７５】
例えば、上記各実施形態のフローチャートにおける各ステップを、その性質に反しない限り、実行順序を変更し、複数同時に実施し、あるいは実施毎に異なった順序で実施してもよい。
【００７６】
また例えば、上記実施形態では、認識装置が学習（生成）処理と認識処理の両処理を行う例について説明したが、学習処理、認識処理を、別々の装置で行うようにしてもよい。例えば、学習処理、認識処理を、それぞれ学習装置、認識装置が行うようにしてもよい。この場合、学習装置で生成した評価基準を認識装置に格納しておけばよい。
【符号の説明】
【００７７】
１００  認識装置
１０２  学習サンプル記憶部
１０４  生成部
１０５  選択部
１０７  学習部
１０８  評価基準記憶部
１１０  画像入力部
１１２  第１受付部
１１４  抽出部
１１６  変換部
１１８  認識テーブル記憶部
１２０  計算部
１２２  出力制御部
１２４  出力部
１２６  操作入力部
１２８  第２受付部
１３０  登録部
１３２  判定部
９０２  ＣＰＵ
９０４  ＲＯＭ
９０６  ＲＡＭ
９０８  ＨＤＤ
９１０  Ｉ／Ｆ
９１２  撮像装置
９１３  Ｉ／Ｆ
９１４  入力装置
９１６  Ｉ／Ｆ
９１８  表示装置
９２０  Ｉ／Ｆ
９２２  バス
【図１】
0005214762.tif 000002
【図２】
0005214762.tif 000003
【図３】
0005214762.tif 000004
【図４】
0005214762.tif 000005
【図５】
0005214762.tif 000006
【図６】
0005214762.tif 000007
【図７】
0005214762.tif 000008
【図８】
0005214762.tif 000009
【図９】
0005214762.tif 000010
【図１０】
0005214762.tif 000011
【図１１】
0005214762.tif 000012
【図１２】
0005214762.tif 000013
【図１３】
0005214762.tif 000014