(57)【要約】【課題】所定の物体を認識する認識装置が用いる木構造を生成する。【解決手段】右パーを認識する右パークラス用認識器２０１、右チョキを認識する右チョキクラス用認識器２０２、左パーを認識する左パークラス用認識器２０３、左チョキを認識する左チョキクラス用認識器２０４のそれぞれに、右パー、右チョキ、左パー、左チョキが、それぞれ写っている画像を入力し、そのスコアを取得する。スコアの分布の類似性から認識器のグルーピングが行われる。グルーピングされた認識器を、新たな認識器として再学習が行われる。学習が繰り返されることで木構造が生成される。本発明は、木構造を用いた認識装置に適用できる。【選択図】図１３
2011198268.tif 000002
【特許請求の範囲】
【請求項１】
木構造に用いて所定の情報を認識する認識装置が用いる前記木構造を生成する情報処理装置において、
認識させたい前記情報含むデータと、前記情報を含まないデータを、前記情報を含むデータであるか否かを示すラベルと関連付けて記憶する記憶手段と、
前記情報を認識する認識器であり、前記情報を含むデータが入力されたとき、高いスコア値を出力する認識器と、
前記認識器に、前記データを入力したときに得られるスコア分布を用いて、前記認識器のグルーピングを行うグルーピング手段と
を備える情報処理装置。
【請求項２】
前記グルーピング手段は、前記スコア分布の距離を算出し、その距離の近い認識器同士をグルーピングする
請求項１に記載の情報処理装置。
【請求項３】
前記グルーピング手段は、前記スコア分布の距離を算出し、その距離をクラスタリングすることでグルーピングを行う
請求項１に記載の情報処理装置。
【請求項４】
前記認識器は、予め学習された判別器である
請求項１に記載の情報処理装置。
【請求項５】
前記スコア分布の距離の算出は、χ二乗距離が用いられる
請求項２または請求項３に記載の情報処理装置。
【請求項６】
前記スコア分布の距離の算出は、KL-Divergenceが用いられる
請求項２または請求項３に記載の情報処理装置。
【請求項７】
前記クラスタリングは、Spectral Clusteringが用いられる
請求項３に記載の情報処理装置。
【請求項８】
前記情報は、所定の物体または所定の音声であり、
前記データは、画像データ、映像データ、または音声データである
請求項１に記載の情報処理装置。
【請求項９】
木構造に用いて所定の情報を認識する認識装置が用いる前記木構造を生成する情報処理装置であり、認識させたい前記情報含むデータと、前記情報を含まないデータを、前記情報を含むデータであるか否かを示すラベルと関連付けて記憶する記憶手段を少なくとも備える情報処理装置の情報処理方法において、
前記情報を認識する認識器であり、前記情報を含むデータが入力されたとき、高いスコア値を出力する認識器に、前記記憶手段から読み出される前記データを入力したときに得られるスコア分布を用いて、前記認識器のグルーピングを行う
ステップを含む情報処理方法。
【請求項１０】
木構造に用いて所定の情報を認識する認識装置が用いる前記木構造を生成する情報処理装置であり、認識させたい前記情報含むデータと、前記情報を含まないデータを、前記情報を含むデータであるか否かを示すラベルと関連付けて記憶する記憶手段を少なくとも備える情報処理装置に、
前記情報を認識する認識器であり、前記情報を含むデータが入力されたとき、高いスコア値を出力する認識器に、前記記憶手段から読み出される前記データを入力したときに得られるスコア分布を用いて、前記認識器のグルーピングを行う
ステップ含む処理を実行させるコンピュータが読み取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報処理装置および方法、並びにプログラムに関し、特に、例えば、所定の画像から、所定の物体の画像を木構造の認識器を用いて認識する際に用いて好適であり、その木構造を適切に生成する際に用いて好適な情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
画像の中から見えのバリエーションの多い対象物体を認識するとき、複数の認識器に分割して動作させる方法が従来よりある。そのような認識する技術の１つとして、木構造を持つ物体認識器が研究されている。非特許文献１乃至４は、顔認識の分野において、人がデザインした木構造を用いて認識器を学習し、顔を検出することが記載されている。
【０００３】
非特許文献５は、人認識器の木構造をつくるために、ＷＬ（weak learner：弱識別器）の特徴を利用し、教師なしで木構造を自動的に構築する方法を提案している。非特許文献６や非特許文献７は、顔のマルチビュー認識器のために、前段に姿勢推定器を入れて、回転に対して正規化した後に通常の認識器を用いる方法を提案している。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Vector Boosting for Rotation Invariant Multi-View Face DetectionC. Huang, H.Z. Ai, Y. Li, and S.H. Lao, Proc. １0th IEEE Int’l Conf. Computer Vision, 2005.
【非特許文献２】A detector tree of boosted classifiers for real-time object detection and trackingR.Lienhart, L.Liang, A.KuranovProceedings of the 2003 International Conference on Multimedia and Expo - Volume １
【非特許文献３】Multi-view face pose classification by tree-structured classifierZhiguang Yang; Haizhou Ai; Okamoto, T.; Shihong Lao;Image Processing, 2005. ICIP 2005. IEEE International Conference onVolume 2,  １１-１4 Sept. 2005 Page(s)：II - 358-6１
【非特許文献４】A boosted classifier tree for hand shape detectionEJ Ong, R BowdenFace and Gesture Recognition, 2004
【非特許文献５】Cluster Boosted Tree Classifier for Multi-View, Multi-Pose Object DetectionBo Wu; Nevatia, R.ICCV 2007. IEEE １１th International Conference on Computer Vision, １4-2１ Oct. 2007 Page(s)：１ − ８
【非特許文献６】Sharing visual features for multiclass and multiview object detectionA. Torralba, K. P. Murphy and W. T. FreemanIEEE Transactions on Pattern Analysis and Machine Intelligence , vol. 29, no. 5, pp. 854−869, May, 2007
【非特許文献７】Fast Multi−View Face DetectionM. Jones and P. Viola  MERLTR2003−96, July 2003.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
非特許文献１乃至４では、予め人がデザインした木構造が用いられるため、その木構造が、顔などの認識にとって最適な木構造であるという保証がない。特に人や手などのように形が大きく変化する物体に対しては、最適な木構造を人がデザインすることは困難である。
【０００６】
非特許文献５の方法によれば、手の認識器を作るのには適している。しかしながら、一般的には、“手”ということが認識できるだけではなく、手形状（チョキやパーなど）や姿勢（回転角度など）も認識したいという要求があり、そのような要求に応えることはできない。
【０００７】
非特許文献６や非特許文献７の方法では木構造ではなく、多数の中から一つの辞書を選ぶ、あるいは、一つの辞書で正規化した画像を処理する、ということが考えられる。しかしながら、認識対象として、人や手のように変形するものなど、回転だけで表現されない対象物を認識するのに対しては適用することができない。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、適切な木構造を生成し、その生成された木構造を用いた認識を行えるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の一側面の情報処理装置は、木構造に用いて所定の情報を認識する認識装置が用いる前記木構造を生成する情報処理装置において、認識させたい前記情報含むデータと、前記情報を含まないデータを、前記情報を含むデータであるか否かを示すラベルと関連付けて記憶する記憶手段と、前記情報を認識する認識器であり、前記情報を含むデータが入力されたとき、高いスコア値を出力する認識器と、前記認識器に、前記データを入力したときに得られるスコア分布を用いて、前記認識器のグルーピングを行うグルーピング手段とを備える。
【００１０】
前記グルーピング手段は、前記スコア分布の距離を算出し、その距離の近い認識器同士をグルーピングするようにすることができる。
【００１１】
前記グルーピング手段は、前記スコア分布の距離を算出し、その距離をクラスタリングすることでグルーピングを行うようにすることができる。
【００１２】
前記認識器は、予め学習された判別器であるようにすることができる。
【００１３】
前記スコア分布の距離の算出は、χ二乗距離が用いられるようにすることができる。
【００１４】
前記スコア分布の距離の算出は、KL−Divergenceが用いられるようにすることができる。
【００１５】
前記クラスタリングは、Spectral Clusteringが用いられるようにすることができる。
【００１６】
前記情報は、所定の物体または所定の音声であり、前記データは、画像データ、映像データ、または音声データであるようにすることができる。
【００１７】
本発明の一側面の情報処理方法は、木構造に用いて所定の情報を認識する認識装置が用いる前記木構造を生成する情報処理装置であり、認識させたい前記情報含むデータと、前記情報を含まないデータを、前記情報を含むデータであるか否かを示すラベルと関連付けて記憶する記憶手段を少なくとも備える情報処理装置の情報処理方法において、前記情報を認識する認識器であり、前記情報を含むデータが入力されたとき、高いスコア値を出力する認識器に、前記記憶手段から読み出される前記データを入力したときに得られるスコア分布を用いて、前記認識器のグルーピングを行うステップを含む。
【００１８】
本発明の一側面のプログラムは、木構造に用いて所定の情報を認識する認識装置が用いる前記木構造を生成する情報処理装置であり、認識させたい前記情報含むデータと、前記情報を含まないデータを、前記情報を含むデータであるか否かを示すラベルと関連付けて記憶する記憶手段を少なくとも備える情報処理装置に、前記情報を認識する認識器であり、前記情報を含むデータが入力されたとき、高いスコア値を出力する認識器に、前記記憶手段から読み出される前記データを入力したときに得られるスコア分布を用いて、前記認識器のグルーピングを行うステップ含む処理を実行させるコンピュータが読み取り可能なプログラムである。
【００１９】
本発明の一側面の情報処理装置および方法、並びにプログラムにおいては、木構造に用いて所定の情報を認識する認識装置が用いる木構造が生成される。この生成は、認識させたい情報含むデータと、情報を含まないデータが、情報を含むデータであるか否かを示すラベルと関連付けて記憶され、情報を認識する認識器であり、情報を含むデータが入力されたとき、高いスコア値を出力する認識器が用いられる。その方法は、認識器に、データを入力したときに得られるスコア分布を用いて、認識器のグルーピングを行うことで行われる。
【発明の効果】
【００２０】
本発明の一側面によれば、認識する対象となる物体や音声などに適した木構造を生成することが可能となる。また、生成された木構造に基づく認識を行うことで、所定の物体や音声などを認識することが可能となる。
【図面の簡単な説明】
【００２１】
【図１】従来の認識装置の一例の構成を示す図である。
【図２】木構造の一例を示す図である。
【図３】木構造の一例を示す図である。
【図４】木構造の一例を示す図である。
【図５】本発明を適用した学習装置の一実施の形態の構成を示す図である。
【図６】サンプル記憶部に記憶されているデータについて説明するための図である。
【図７】認識器記憶部に記憶されている認識器について説明するための図である。
【図８】スコアに関する表について説明するための図である。
【図９】木構造の生成処理について説明するためのフローチャートである。
【図１０】クラスについて説明するための図である。
【図１１】認識器について説明するための図である。
【図１２】スコアに関する表について説明するための図である。
【図１３】グルーピングについて説明するための図である。
【図１４】グルーピングについて説明するための図である。
【図１５】認識器について説明するための図である。
【図１６】木構造について説明するための図である。
【図１７】弱識別器の学習について説明するための図である。
【図１８】生成された木構造の一例を示す図である。
【図１９】記録媒体について説明するための図である。
【発明を実施するための形態】
【００２２】
以下に、本発明の実施の形態について図面を参照して説明する。
【００２３】
［木構造について］
本発明は、所定の画像、映像、音声などの入力データから、所定の物体、音声などの情報を認識するときの認識器が、木構造の認識器である場合に、その木構造を認識対象に適した木構造とすることができる。この木構造について説明する。ここでは、所定の画像から、手を認識する場合を例にあげて説明する。また、その手の形状はじゃんけんで用いられる、グー（全ての指を閉じた状態）、チョキ（２本の指を開き、残りの３本の指を閉じた状態）、パー（全ての指を開いた状態）の３つの形状である場合を例にあげて説明する。また、以下の説明においては、手の形状を認識するだけでなく、その傾きも認識する場合を例にあげて説明する。
【００２４】
図１は、木構造を用いて所定の画像から手の画像(手の部分を認識)する装置の構成を示す図である。図１に示した認識装置は、入力部１１、グー認識器１２、チョキ認識器１３、パー認識器１４、および出力部１５から構成されている。入力部１１は、処理対象とされる画像を入力し、グー認識器１２、チョキ認識器１３、およびパー認識器１４にそれぞれ出力する。
【００２５】
グー認識器１２は、入力された画像から手の形状、特にグーの形状を認識したときに、大きなスコアを出す認識器である。同様に、チョキ認識器１３は、入力された画像から、チョキの形状を認識したときに、大きなスコアを出す認識器であり、パー認識器１４は、入力された画像から、パーの形状を認識したときに、大きなスコアを出す認識器である。
【００２６】
出力部１５は、グー認識器１２、チョキ認識器１３、およびパー認識器１４からそれぞれ算出されたスコアのうち、最も大きなスコアを出してきた認識器が認識する手の形状を、入力された画像に撮像されている手の形状であるとして採用する。例えば、グー認識器１２からのスコアの値が、最も大きい値であった場合、手の形状はグーであるとの結論が、出力部１５から出される。
【００２７】
このように、所定の手の形状を認識するための専用の認識器を備えることで、認識を行うようにしても良いが、効率よく認識を行うために、図２に示すような木構造で、最終的な手の形状や傾きを認識することが考えられる。図２に示した木構造は、左手、または右手のどちらか一方を認識するときの構成であり、左手と右手の両方を認識するには、図２に木構造と同様の構成を有するもう一対の木構造が必要となる。
【００２８】
図２に示した認識装置は、手認識器２１、グー認識器２２、チョキ認識器２３、パー認識器２４、左４５度グー認識器２５、０度グー認識器２６、右４５度グー認識器２７、左４５度チョキ認識器２８、０度チョキ認識器２９、右４５度チョキ認識器３０、左４５度パー認識器３１、０度パー認識器３２、および右４５度パー認識器３３から構成されている。
【００２９】
図３は、図２に示した認識装置の各認識器で認識する手の形状、手の傾きを、イラストで示した図である。図２と図３を参照しながら、以下の説明を続ける。手認識器２１には、図示していない入力部から、処理対象とされる画像が入力される。手認識器２１は、入力された画像に、手がグー、チョキ、パーの形状の画像が撮像されているときを含み、手の画像が撮像されているときには、高いスコアを出すような認識器である。よって、手認識器２１からの出されたスコアが、所定の閾値以下であるような場合、処理対象とされている画像には、手が撮像されていないとして、後段の処理を行わないようにする構成とすることも可能である。そのようにすることで、処理速度などの向上を図ることができる。
【００３０】
手認識器２１から、手が撮像されている画像であるとの判断がされたときには、グー認識器２２、チョキ認識器２３、およびパー認識器２４に、それぞれ処理対象とされた画像が供給される。グー認識器２２はグーを、チョキ認識器２３はチョキを、パー認識器２４はパーを、それぞれ認識する認識器であるが、傾きまでは認識は行わない認識器である。グー認識器２２、チョキ認識器２３、パー認識器２４のそれぞれは、スコア計算を行う。このスコアが高い認識器のみ、後段の処理が行われるようにしても良く、そのようにすることで処理速度などの向上を図ることができる。
【００３１】
例えば、グー認識器２２のスコアが、チョキ認識器２３のスコアやパー認識器２４のスコアよりも大きな値であった場合、グー認識器２２からのみ、後段の左４５度グー認識器２５、０度グー認識器２６、および右４５度グー認識器２７に対して処理対象画像が供給される。そして、左４５度グー認識器２５、０度グー認識器２６、および右４５度グー認識器２７のそれぞれの認識器により処理が行われる。
【００３２】
左４５度グー認識器２５は、左に４５度傾いたグーを認識する認識器である。０度グー認識器２６は、０度傾いた(傾きがない)グーを認識する認識器である。右４５度グー認識器２７は、右に４５度傾いたグーを認識する認識器である。同様に、左４５度チョキ認識器２８は、左に４５度傾いたチョキを認識する認識器であり、０度チョキ認識器２９は、０度傾いた(傾きがない)チョキを認識する認識器であり、右４５度チョキ認識器３０は、右に４５度傾いたチョキを認識する認識器である。同様に、左４５度パー認識器３１は、左に４５度傾いたパーを認識する認識器であり、０度パー認識器３２は、０度傾いた(傾きがない)パーを認識する認識器であり、右４５度パー認識器３３は、右に４５度傾いたパーを認識する認識器である。
【００３３】
これらの認識器のうち、最も大きなスコアを出してきた認識器が認識する手の形状を、入力された画像に撮像されている手の形状であるとして採用される。
【００３４】
図２または図３に示したような木構造は、従来、人により作成されていた。図３に示した木構造のようなグー、チョキ、パーのそれぞれで分類するような木構造が、最も効率的に認識が行えると考えられ、そのような木構造が作成された例である。しかしながら、認識装置が、グー、チョキ、パーを認識するとき、図３に示すような木構造が、最も効率よく認識できるとは限らない。例えば、図４に示すような木構造の方が、より認識しやすい木構造になっているかもしれない。
【００３５】
図４を参照して説明する。図４に示した木構造は、まず、手であるか否かを認識する手認識器６１を有する。手認識器６１で手の画像であると判断された場合には、パー認識器６２と、グー・チョキ認識器６３に処理対象の画像が供給される。すなわち、図４に示した木構造の場合、グー、チョキ、パーのそれぞれで認識する認識器があるのではなく、パーを認識する認識器と、それ以外（チョキとグー）を認識する認識器がある。
【００３６】
例えば、グーとチョキは、グーが指を全て閉じている状態であるのに対して、チョキは、指を３本閉じている状態であるという点で共通であるが、パーは指を全て開いているので、グーとの共通点がない。よって、共通点のあるグーとチョキをまとめて認識するグー・チョキ認識器６３と、共通点のないパーのみを認識するパー認識器６２を含む木構造とされる。
【００３７】
さらに、パー認識器６２は、左４５度のパーを認識する左４５度パー認識器６４と、０度のパーであるか、または右４５度のパーであるかを認識する０度・右４５度認識器６５を、後段の認識器として有する。そして、０度・右４５度認識器６５は、０度のパーを認識する０度パー認識器７１と右４５度のパーを認識する右４５度パー認識器７２を、後段の認識器として有する。
【００３８】
グー・チョキ認識器６３は、左４５度のチョキを認識する左４５度チョキ認識器６６、右４５度のチョキを認識する右４５度チョキ認識器６７、左４５度のグーを認識する左４５度グー認識器６８、０度のチョキまたは０度のグーを認識する０度グー・チョキ認識器６９、および右４５度のグーを認識する右４５度グー認識器７０を有する。そして、０度グー・チョキ認識器６９は、０度のチョキを認識する０度チョキ認識器７３と、０度のグーを認識する０度グー認識器７４を有する。
【００３９】
ここで、図３に示した木構造と、図４に示した木構造を比較する。それぞれの図において、図中、上側から第１層、第２層、第３層、第４層という概念を導入して比較する。
【００４０】
図３の木構造における第１層は、手認識器２１を含む。図３の木構造における第２層は、グー認識器２２、チョキ認識器２３、およびパー認識器２４を含む。図３の木構造における第３層は、左４５度グー認識器２５、０度グー認識器２６、右４５度グー認識器２７、左４５度チョキ認識器２８、０度チョキ認識器２９、右４５度チョキ認識器３０、左４５度パー認識器３１、０度パー認識器３２、および右４５度パー認識器３３を含む。よって、図３に示した木構造は３層構造である。
【００４１】
図４の木構造における第１層は、手認識器６１を含む。図４の木構造における第２層は、パー認識器６２と、グー・チョキ認識器６３を含む。図４の木構造における第３層は、左４５度パー認識器６４、０度・右４５度認識器６５、左４５度チョキ認識器６６、右４５度チョキ認識器６７、左４５度グー認識器６８、０度グー・チョキ認識器６９、および右４５度グー認識器７０を有する。図４の木構造における第４層は、０度パー認識器７１、右４５度パー認識器７２、０度チョキ認識器７３、および０度グー認識器７４を含む。よって、図４に示した木構造は４層構造である。
【００４２】
このように、図３に示した木構造よりも、図４に示した木構造の方が、１層多い構造とされている点でまず異なる。ここで、第２層を比較する。図３に示した木構造の第２層は、グー、チョキ、パーをそれぞれ認識するグー認識器２２、チョキ認識器２３、およびパー認識器２４から構成されているのに対して、図４に示した木構造の第２層は、パー認識器６２と、グー・チョキ認識器６３から構成され、グーまたはチョキであることを認識するグー・チョキ認識器６３がある点が異なる。
【００４３】
上記したように、グーとチョキには共通点があるため、図４に示した木構造のようにグーまたはチョキを認識する認識器を備える木構造の方が、図３に示した木構造のようにグーを認識する認識器とチョキを認識する認識器をそれぞれ備える木構造とするより、最終的な認識結果を得るために、より効率的な認識を行える可能性がある。換言すれば、図３に示した木構造よりも図４に示した木構造の方が、効率的な認識を行うには適した木構造である可能性がある。第３層や第４層に関しても同様なことが言える。
【００４４】
ところで、パーとチョキに注目したとき、パーは全ての指を開いているのに対して、チョキは、２本の指を開いている点で共通している。これに対して、グーは、パーやチョキに対して、全ての指を閉じている点で共通点がないとも言える。よって、図４に示した木構造において、パーまたはチョキを認識する認識器（仮に、パー・チョキ認識器６２’と記述する）と、グーを認識するグー認識器(仮に、グー認識器６３’と記述する)が含まれる構造も考えられる。
【００４５】
図４に示した木構造の第２層において、パー認識器６２とグー・チョキ認識器６３を含む構成の木構造の方が、パー・チョキ認識器６２’とグー認識器６３’を含む構成の木構造よりも、効率的に認識処理を行えるか否かは、実際に、そのような木構造を生成して、認識処理を行うことにより確認することができる。しかしながら、そのような確認は、大変であり、作業効率が悪いと考えられる。
【００４６】
換言すれば、図３に示した木構造、図４に示した木構造、図示はしていないが図４の木構造を改良した木構造など、さまざまな木構造が考えられ、それらの考えられる木構造を、全て人が考え出し、どの木構造が最も効率良く認識処理を行えるかを確認するのは困難な作業であると考えられる。
【００４７】
そこで、効率よく認識処理を行える木構造を、できる限り人の手を煩わすことなく生成するための方法を、以下に説明する。
【００４８】
［木構造の生成について］
上述してきたような左４５度の傾きを有するグー、傾きのないグー、右４５度の傾きを有するグー、左４５度の傾きを有するチョキ、傾きのないチョキ、右４５度の傾きを有するチョキ、左４５度の傾きを有するパー、傾きのないパー、および右４５度の傾きを有するパーという９種類の手を認識する認識装置が用いる木構造を例にあげて説明する。
【００４９】
なお、以下の説明においては、木構造を用いて認識を行う装置を認識装置と記述し、木構造を構成するノードを認識器と記述する。また、認識器との記述はするが、認識には、検出、識別、判断といった意味も含む。換言すれば、例えば、所定の画像から所定の物体を認識するとは、所定の物体を所定の画像から検出する、所定の物体を所定の画像内で識別する、所定の物体が所定の画像内に存在するか否かを判断するといった意味を含むとする。
【００５０】
９種類の手を認識するための木構造は、例えば、図３に示した木構造や図４に示した木構造が考えられる。木構造を生成するとき、図４を参照して説明したように、例えば第２層でグーまたはチョキをまとめて認識するグー・チョキ認識器６３を生成するか、または、パーまたはチョキを認識するパー・チョキ認識器６２’を生成するかは、以下のような処理を実行することで判断される。
【００５１】
より一般的に記載すると、似ているパターン（形状）は、同じような特徴量を用いて認識できる可能性があり、同じような特徴量を用いて似ているパターンをまとめて認識できるようにすれば、効率良く認識ができるようになると考えられる。そこで、同じような特徴量を用いて認識できる形状は、同じ認識器で認識し、最終的に認識したい複数の形状を認識する認識装置が用いる木構造を生成するには、以下のような処理を実行することで行われる。
【００５２】
ここで、同じような特徴量を用いて似ているパターンをまとめて認識できるとは、例えば、グーの認識器とチョキの認識器が近ければ、グーまたはチョキを認識する認識を生成することができることを意味する。認識器同士が近いことが判断できれば、その認識器同士をまとめることができ、そのようなことを繰り返すことで木構造を生成することができる。
【００５３】
認識器同士が近いということを判断するためには、以下のような処理を行うことで判断することが考えられる。
方法１．同じ問題を解かせた時の性質を検討する
方法２．ＷＬ（weak learner：弱識別器）の近さを検討する
方法３．ＷＬの持つフィルタ特徴の近さを検討する
【００５４】
方法２と方法３に関しては、既存の技術を用いることができる。例えば、方法２においては、ＣＢＴ、ＡＴといった技術を用いることでできる。また、方法３においては、フィリップやＡＴといった技術を用いることができる。
【００５５】
ここでは、方法１を用いて認識器同士が近いことを判断し、木構造を生成する方法について説明を行う。図５は、木構造を生成(学習)する学習装置の一実施の形態の構成を示す図である。図５に示した学習装置１０１は、サンプル記憶部１０２、認識器記憶部１０３、スコア計算部１０４、およびグルーピング部１０５を含む構成とされている。
【００５６】
サンプル記憶部１０２には、学習に用いられる複数の画像が記憶されている。また、それらの画像(サンプル画像)は、ラベルと関連付けられて、サンプル記憶部１０２に記憶されている。図６を参照してサンプル記憶部１０２に記憶されているサンプル画像とラベルについて説明を加える。
【００５７】
サンプル記憶部１０２には、認識させたい形状毎にサンプル画像が分類されて記憶されている。図６に示した例では、クラス１乃至ｍまで設けられ、クラス毎に複数のサンプル画像がラベルと関連付けられて記憶されている。例えば、クラス１に分類されているサンプル画像は、グーの手の形状が写っている画像であり、クラス２に分類されているサンプル画像は、チョキの手の形状が写っている画像であり、クラス３に分類されているサンプル画像は、パーの手の形状が写っている画像であり、クラスｍに分類されているサンプル画像は、自然画像である。以下、このような画像がそれぞれのクラスに分類されている具体例として説明を続ける。
【００５８】
所定の認識器(仮に、ここでは、認識器Ａとする)がグーを認識する認識器である場合、クラス１に含まれるサンプル画像は、認識器Ａに対しては、ポジティブ（positive）画像であるが、クラス１以外、例えば、クラス２やクラス３に含まれるサンプル画像は、ネガティブ（negative）画像となる。このように、所定の認識器に対しては、ポジティブな画像であるが、他の認識器に対しては、ネガティブな画像となるような分類が行われ、クラスという概念で分類され、サンプル記憶部１０２に記憶されている。
【００５９】
また、図６を参照するに、例えばクラス１には、サンプルＸ１−１とラベルＹ１−１が関連付けられて記憶され、サンプルＸ１−２とラベルＹ１−２が関連付けられて記憶され、サンプルＸ１−３とラベルＹ１−３が関連付けられて記憶され、・・・、サンプルＸ１−ｎとラベルＹ１−ｎが関連付けられて記憶されている。サンプルＸは、サンプル画像を表し、ラベルＹは、サンプル画像に対するラベルを表す。例えば、クラス１は、上記した例のような場合、グーの手の形状が写っている画像が含まれているクラスであるので、サンプル画像Ｘ１−１乃至１−ｎは、グーの手の形状が写っているサンプル画像であり、ラベルＹ１-１乃至１−ｎは、“グー”というラベルである。
【００６０】
このように、サンプル記憶部１０２には、認識させたい物体、例えばこの場合、手の形状毎に、クラス毎に分類されて、ラベルと関連付けられてサンプル画像が記憶されている。
【００６１】
図５の学習装置１０１の説明に戻り、認識器記憶部１０３は、クラス毎の認識器が記憶されている。認識器記憶部１０３に記憶されている認識器は、学習が行われることによりグルーピングが行われ更新されるため、初期状態としてはクラス毎に認識器が存在しても、学習が繰り返されることにより、認識器の構成や数は更新される。
【００６２】
図７を参照し、認識器記憶部１０３に記憶されている認識器について説明する。図７Ａは、認識器記憶部１０３の初期状態のときに記憶されている認識器を示す図である。認識器識別部１０３には、クラス１用認識器１３１−１、クラス２用認識器１３１−２、クラス２用認識器１３１−３、・・・、クラス２用認識器１３１−ｍが記憶されている。これらの認識器は、２クラス判別器で構成することができる。
【００６３】
例えば、クラス１用認識器１３１−１は、グーの手の形状が写っている画像が入力されたとき、“真”との判断結果を出力し、グーの手の形状が写っていない画像が入力されたとき、“偽“との判断結果を出力する認識器である。すなわち、クラス１用認識器１３１−１は、処理対象とされた画像にグーが写っているか否かを判断し、“真”または“偽”の２値で、その判断結果を出力する２クラス判別器で構成することができる。他の認識器も同様である。
【００６４】
クラス１用認識器１３１−１は、クラス１に分類されているサンプル画像が入力されたときに、“真”との判断結果を出力する認識器であり、クラス２用認識器１３１−２は、クラス２に分類されているサンプル画像が入力されたときに、“真”との判断結果を出力する認識器であり、クラス２用認識器１３１−３は、クラス３に分類されているサンプル画像が入力されたときに、“真”との判断結果を出力する認識器であり、・・・、クラスｍ用認識器１３１−ｍは、クラスｍに分類されているサンプル画像が入力されたときに、“真”との判断結果を出力する認識器である。
【００６５】
なおここでは、クラスはクラスｍまであるとし、認識器も、クラス２用認識器１３１−ｍまであるとして説明しているが、クラスの数と認識器の数は必ずしも一致している必要はない。クラスの数の方が、認識器の数よりも多くても良い。例えば、認識する必要のない画像が含まれるクラスがある場合、そのクラスに対する認識器は、認識器記憶部１０３には記憶されていない。
【００６６】
各認識器は、予め対応するクラスの画像を用いて、そのクラスに含まれる画像が入力されたときには、“真”を出力し、その他の画像が入力されたときには“偽”を出力するように学習されたものとして、認識器記憶部１０３に記憶されていても良いし、そのような学習自体も学習装置１０１で行われ、その学習結果が、認識器記憶部１０３に記憶されるようにしても良い。
【００６７】
詳細は後述するが、このように、予め学習されている認識器を用いて処理を行うことで、この認識器自体は、どのような認識器でも用いることができるという効果を期待できる。認識器として、例えばブースティングなどに代表される認識器を用いることもできるし、その他の認識器でも用いることができることを意味する。
【００６８】
図７Ａに示したような認識器が認識器記憶部１０３に記憶されている状態のときに、学習装置で学習が行われ、その結果が反映されて認識器記憶部１０３に記憶されている認識器が更新された場合の一例を、図７Ｂに示す。学習の結果、クラス１とクラス２にそれぞれ含まれていた画像が、同一の認識器で認識した方が良い、同一の認識器にまとめることができるなどと判断された場合、クラス１用認識器１３１−１とクラス２用認識器１３１−２（図７Ａ）がまとめられ、クラス１・２用認識器１３２（図７Ｂ）が生成される。このクラス１・２用認識器１３２は、クラス１とクラス２にそれぞれ含まれる画像が入力されたときには“真”という判断結果を出力する認識器である。
【００６９】
図７Ｂに示した認識器が認識器記憶部１０３に記憶されている状態で、さらに学習が行われると、図示はしないが、さらに複数のクラスに対応する認識器が生成される可能性がある。また、このような学習が繰り返されることにより、木構造が生成される。
【００７０】
例えば上記したような、クラス１用認識器１３１−１とクラス２用認識器１３１−２をまとめてクラス１とクラス２に対応するクラス１・２用認識器１３２を生成するか否かの判断、換言すれば、クラス１用認識器１３１−１とクラス２用認識器１３１−２をグルーピングして、クラス１とクラス２に対応するクラス１・２用認識器１３２を生成するとの判断は、スコア計算部１０４（図５）のスコア計算の結果に応じて行われる。
【００７１】
スコア計算部１０４は、各認識器からの出力からスコアを計算し、例えば、図８に示すような表を作成する。なお、ここでは、表を作成するとの表記を行うが、図８に示すような表と同じような表が必ず作成されることを意味するのではなく、後述するグルーピング（クラスタリング）の処理が実行されるときに用いることができるデータ形式であればよい。ここでは、説明の都合上、図８に示した表が作成されるとして説明を続ける。
【００７２】
図８に示した表は、縦軸に、この表が作成される時点で、認識器記憶部１０３に記憶されている認識器（その名称）が並べられ、横軸に、この表が作成される時点で、認識器の処理対象とされたクラス（クラスの名称）が並べられた表である。
【００７３】
図８に示した表において、クラス１用認識器１３１−１に、クラス１に含まれる画像（Ｘ｛Ｙ＝＝１｝）が入力されたときのスコア値は、“クラス１用認識器１３１−１”と“Ｘ｛Ｙ＝＝１｝”が交わる欄に書き込まれているスコアである。このスコアは、クラス１に、例えば、１０００枚のサンプル画像が含まれていた場合、その１０００枚のサンプル画像から得られたスコアをグラフ化したものである。また、図８に示した表を参照するに、“クラス１用認識器１３１−１”は、クラス１に含まれるサンプル画像を処理したときに“真”との判定結果を出力するため、（高いスコア値を出力するため）、“クラス１用認識器１３１−１”と“Ｘ｛Ｙ＝＝１｝”が交わる欄に書き込まれているスコアは、高い値のものとなる。
【００７４】
クラス１用認識器１３１−１に、クラス２に含まれる画像（Ｘ｛Ｙ＝＝２｝）が入力されたときのスコア値は、“クラス１用認識器１３１−１”と“Ｘ｛Ｙ＝＝２｝”が交わる欄に書き込まれているスコアである。クラス１用認識器１３１−１に、クラスｍに含まれる画像（Ｘ｛Ｙ＝＝ｍ｝）が入力されたときのスコア値は、“クラス１用認識器１３１−１”と“Ｘ｛Ｙ＝＝ｍ｝”が交わる欄に書き込まれているスコアである。このように、クラス１用認識器１３１−１に、クラス１からクラスｍまでの各クラスに含まれているサンプル画像が、それぞれ入力され、それぞれのクラスにおけるスコアが、表の対応する欄に書き込まれる。
【００７５】
このように、学習のときには、１つの認識器に対して、全てのクラスに、それぞれ含まれる全ての画像が入力され、処理され、そのような処理が全ての認識器に対して行われることで、図８に示すような表が取得される。このような表から、スコア分布の類似性などを利用して、グルーピング（クラスタリング）が行われる。グルーピングは、グルーピング部１０５（図５）で行われる。
【００７６】
グルーピング部１０５（図５）は、スコア計算部１０４からの計算結果（図８に示したような表）を参照し、例えば、類似しているスコア分布を有する認識器を１つの認識器にグループ化し、複数のクラスに対応する１つの認識器を生成する。グルーピング部１０５がグループ化した結果、１回のグルーピングの処理により、１つの認識器が新たに生成されるようにしても良いし、複数の認識器が新たに生成されるようにしてもよい。
【００７７】
［木構造の生成処理］
図５に示した学習装置１０１の処理、すなわち、木構造の生成処理について、図９に示したフローチャートを参照してさらに説明する。
【００７８】
ステップＳ１１において、認識器記憶部１０３は、サンプル記憶部１０２に記憶されている全てのサンプル画像を用いて、全ての認識器を学習する。このステップＳ１１において実行される処理は、図６と図７を参照して説明したように行われる。そして、ステップＳ１２において、スコア計算部１０４により、全てのサンプルＸに対する認識器のスコアが計算される。このステップＳ１２において実行される処理は、図８を参照して説明したように行われる。
【００７９】
ここで、具体的な例を挙げて説明を加える。ここでの具体的な例として、図１０に示したような４クラスを認識する認識装置が用いる木構造を生成する場合を例にあげて説明する。図１０に示した４クラスは、右パークラス、右チョキクラス、左パークラス、左チョキクラスの４クラスである。これらのクラス毎に、例えば、１０００枚ずつのサンプル画像がサンプル記憶部１０２に記憶されている。
【００８０】
また、これらの４クラスをそれぞれ認識する認識器が、認識器１０３に記憶されている。例えば、図１１に示すような認識器が、認識器記憶部１０３に記憶されている。すなわち、認識器記憶部１０３には、右パークラス用認識器２０１、右チョキクラス用認識器２０２、左パークラス用認識器２０３、および左チョキクラス用認識器２０４が記憶されている。
【００８１】
このような状態において、ステップＳ１１の処理が実行されると、まず、右パークラス用認識器２０１に、右パークラスに含まれるサンプル画像が入力され、スコアが算出される。同様に、右パークラス用認識器２０１に、右チョキクラスに含まれるサンプル画像、左パークラスに含まれるサンプル画像、および左チョキクラスに含まれるサンプル画像が順次入力され、それぞれのクラス毎にスコアが算出される。
【００８２】
同様に、右チョキクラス用認識器２０２に、右パークラスに含まれるサンプル画像、右チョキクラスに含まれるサンプル画像、左パークラスに含まれるサンプル画像、および左チョキクラスに含まれるサンプル画像が順次入力され、それぞれのクラス毎にスコアが算出される。
【００８３】
同様に、左パークラス用認識器２０３に、右パークラスに含まれるサンプル画像、右チョキクラスに含まれるサンプル画像、左パークラスに含まれるサンプル画像、および左チョキクラスに含まれるサンプル画像が順次入力され、それぞれのクラス毎にスコアが算出される。
【００８４】
同様に、左チョキクラス用認識器２０４に、右パークラスに含まれるサンプル画像、右チョキクラスに含まれるサンプル画像、左パークラスに含まれるサンプル画像、および左チョキクラスに含まれるサンプル画像が順次入力され、それぞれのクラス毎にスコアが算出される。
【００８５】
このように、各認識器に、クラス毎に、サンプル画像が入力され、各認識器、クラス毎にスコアが算出される。その結果、例えば、図１２に示すような表が取得できたとする。右パークラス用認識器２０１に、右パークラスに含まれるサンプル画像を入力したときに算出されたスコア値がスコア値３０１であり、右チョキクラスに含まれるサンプル画像を入力したときに算出されたスコア値がスコア値３０２であり、左パークラスに含まれるサンプル画像を入力したときに算出されたスコア値がスコア値３０３であり、左チョキクラスに含まれるサンプル画像を入力したときに算出されたスコア値がスコア値３０４である。各スコアにおける縦線は、値として０の位置を表す。
【００８６】
この場合、右パークラス用認識器２０１に、右パークラスに含まれるサンプル画像を入力したときに算出されたスコア値３０１と、左パークラスに含まれるサンプル画像を入力したときに算出されたスコア値３０３とが、他のスコア値３０２やスコア値３０４と比較して高いスコアを出していることがわかる。
【００８７】
同様に右チョキクラス用認識器２０２に、右パークラスに含まれるサンプル画像を入力したときに算出されたスコア値がスコア値３０５であり、右チョキクラスに含まれるサンプル画像を入力したときに算出されたスコア値がスコア値３０６であり、左パークラスに含まれるサンプル画像を入力したときに算出されたスコア値がスコア値３０７であり、左チョキクラスに含まれるサンプル画像を入力したときに算出されたスコア値がスコア値３０８である。
【００８８】
この場合、右チョキクラス用認識器２０２に、右チョキクラスに含まれるサンプル画像を入力したときに算出されたスコア値３０６と、左チョキクラスに含まれるサンプル画像を入力したときに算出されたスコア値３０８とが、他のスコア値３０５やスコア値３０７と比較して高いスコアを出していることがわかる。
【００８９】
同様に左パークラス用認識器２０３に、右パークラスに含まれるサンプル画像を入力したときに算出されたスコア値がスコア値３０９であり、右チョキクラスに含まれるサンプル画像を入力したときに算出されたスコア値がスコア値３１０であり、左パークラスに含まれるサンプル画像を入力したときに算出されたスコア値がスコア値３１１であり、左チョキクラスに含まれるサンプル画像を入力したときに算出されたスコア値がスコア値３１２である。
【００９０】
この場合、左パークラス用認識器２０３に、右パークラスに含まれるサンプル画像を入力したときに算出されたスコア値３０９と、左パークラスに含まれるサンプル画像を入力したときに算出されたスコア値３１１とが、他のスコア値３１０やスコア値３１２と比較して高いスコアを出していることがわかる。
【００９１】
同様に左チョキクラス用認識器２０４に、右パークラスに含まれるサンプル画像を入力したときに算出されたスコア値がスコア値３１３であり、右チョキクラスに含まれるサンプル画像を入力したときに算出されたスコア値がスコア値３１４であり、左パークラスに含まれるサンプル画像を入力したときに算出されたスコア値がスコア値３１５であり、左チョキクラスに含まれるサンプル画像を入力したときに算出されたスコア値がスコア値３１６である。
【００９２】
この場合、左チョキクラス用認識器２０４に、右チョキクラスに含まれるサンプル画像を入力したときに算出されたスコア値３１４と、左チョキクラスに含まれるサンプル画像を入力したときに算出されたスコア値３１６とが、他のスコア値３１３やスコア値３１５と比較して高いスコアを出していることがわかる。
【００９３】
このようなスコアに関する表が取得されると、ステップＳ１３（図９）において、グルーピング部１０５（図５）により、グルーピングの処理が実行される。グルーピングについて、再度、図１３、図１４を参照して説明する。図１３、図１４は、それぞれ、図１２に示した表であり、グルーピングするときに注目する部分に対して印をつけた図である。
【００９４】
図１３に示した表には、２つの印を付けてある。１つめは、右パークラス用認識器２０１でサンプル画像を処理したときのスコアの分布に注目した印３２１であり、２つめは、左パークラス用認識器２０３でサンプル画像を処理したときのスコアの分布に注目した印３２２である。このように、所定の認識器におけるスコアの全体の分布と、他の認識器におけるスコアの全体の分布とを比較して、類似している認識器同士を抽出し、グルーピングする方法がある。
【００９５】
類似している認識器同士を抽出する際、例えば、印３２１で囲った部分のスコア値と、印３２２で囲った部分のスコア値を用いて、距離を算出し、その距離が近いか否かを判断することで、類似性の高さを判断することができる。このように、スコア分布の全体を利用してグルーピングする場合、例えば、Kmeansのクラスタリングの方法を用いて、グルーピングの処理を行うことができる。
【００９６】
次に図１４を参照し、各分布間の類似性からグルーピングを行う場合を説明する。印３５１は、スコア値３０１に注目していることを示し、印３５２は、スコア値３０２に注目していることを示している。同様に、印３５３乃至３６６のそれぞれは、スコア値３０３乃至３１６のそれぞれに注目していることを示している。
【００９７】
このように、各スコア値に注目し、各スコア値同士の類似性を見つけ出し、グルーピングを行うようにしても良い。各スコア値同士の類似性は、各スコア値の距離を算出することで行われる。例えば、スコア値３０１とスコア値３０２、スコア値３０１とスコア値３０３、スコア値３０１とスコア値３０４とのそれぞれの距離が算出される。距離は、各スコア値との総当たりで距離が算出されるようにしても良いし、表において近接するスコア値同士の距離が算出されるようにしても良いし、違う認識器でのスコア値のみを対象として距離が算出されるようにしても良い。
【００９８】
スコア値同士の距離が近いほど、類似性が高いと判断し、類似性が高い認識器同士をグルーピングすることで、グルーピングの処理が行われるようにしても良い。このような各分布間の類似性を用いてグルーピングを行う場合、例えば、スペクトラルクラスタリング（Spectral Clustering）を用いてグルーピングを行うことができる。
【００９９】
このような図１４を参照して説明したような各分布間の類似性を用いてグルーピングを行う場合、部分的な類似性をうまく判別してグルーピングを行うことができる。
【０１００】
また、図１３または図１４を参照して説明したグルーピングは、ともに、分布の距離を算出するが、その距離の算出する方法、距離を測る方法は、KL Divergenceやχ二乗距離などを用いることができる。また、平均値を算出し、平均値を距離とするようにしても良い。さらに認識率を距離とするなどの方法を適用することもできる。
【０１０１】
例えば、図１３を参照して説明したスコアの全体の分布を用いてグルーピングした結果、右パークラス用認識器２０１と左パークラス用認識器２０３の距離が近く、右チョキクラス用認識器２０２と左チョキクラス用認識器２０４の距離が近いと判断された場合、その結果に応じて認識器が生成される。
【０１０２】
すなわち、ステップＳ１４において、グルーピング部１０５により、グルーピングされたクラスが１クラスとされ、再学習が行われる。グルーピングされたクラスが１クラスとされるとは、上記した例では、右パークラス用認識器２０１と左パークラス用認識器２０３（右パークラスと左パークラス）を合わせた認識器を生成し（１クラスとし）、右チョキクラス用認識器２０２と左チョキクラス用認識器２０４（右チョキクラスと左チョキクラス）を合わせた認識器を生成する（１クラスとする）ことである。
【０１０３】
この結果、図１５に示すように、右パークラス用認識器２０１と左パークラス用認識器２０３がまとめられた右・左パークラス用認識器２１１が生成され、認識器記憶部１０３に記憶され、右チョキクラス用認識器２０２と左チョキクラス用認識器２０４がまとめられた右・左チョキクラス用認識器２１２が生成され、認識器記憶部１０３に記憶される。そして、この右・左パークラス用認識器２１１と右・左チョキクラス用認識器２１２を新たな認識器として、ステップＳ１１以降の処理が繰り返される（再学習が実行される）。
【０１０４】
また、再学習が行われる際、グルーピングされたクラスも１クラスにされ、そのクラスを新たなクラスとして、ステップＳ１１以降の処理が繰り返される。すなわち、例えば、上記した例では、右パークラスと左パークラスが１クラスとされ、右・左パークラス（不図示）が生成され、右チョキクラスと左チョキクラスが１クラスとされ、右・左チョキクラス（不図示）の１クラスが生成される。そして、その新たに生成された右・左パークラスと右・左チョキクラスが用いられて、ステップＳ１１以降の処理が再度行われることで、再学習が行われる。
【０１０５】
図１０に示したようなクラスが存在し、サンプル画像が、サンプル記憶部１０２に記憶されている状態であり、かつ、図１１に示したような認識器が、認識器記憶部１０３に記憶されている状態のときに、上記したような処理が実行されたときに生成される木構造の一例を、図１６に示す。
【０１０６】
図１６に示した木構造は、第１層に、右のパー、右のチョキ、左のパー、または左のチョキを認識する右・左パークラス・右・左チョキクラス用認識器２２１を含み、第２層に、右・左パークラス用認識器２１１と右・左チョキクラス用認識器２１２を含む。第２層の右・左パークラス用認識器２１１には、第３層として、右パークラス用認識器２０１と左パークラス用認識器２０３が含まれる。同様に、第２層の右・左チョキクラス用認識器２１２には、第３層として、右チョキクラス用認識器２０２と左チョキクラス用認識器２０４が含まれる。
【０１０７】
このように、クラス毎にスコアを算出し、そのスコアの分布を用いてグルーピングを行い、距離の近い認識器同士をまとめることで、木構造を生成することができる。
【０１０８】
木構造の学習についてさらに説明を加えるとともに、木構造を構成する認識器の学習についてさらに説明を加える。上記した木構造の学習に係る方法としては、以下の３つの方法が考えられる。以下に示す方法１乃至３は、ブースティングを想定した場合を一例としている。
【０１０９】
方法１
○上述した方法で、木構造を事前に構築する。
○ＷＬ（weak learner：弱識別器）は、予め定義しておき、学習する。
【０１１０】
この方法１においては、木構造を構成する各認識器は、弱識別器で構成され、その弱識別器の数は、予め人が定義しておくことで学習が行われる。木構造は、上記したような方法で作成されたものでも良いし、人によりデザインされたものでも良い。
【０１１１】
方法２
○上記した方法で、木構造を事前に構築する。
○弱識別器の数は、学習しながら決定していく。
○分割するタイミングは、学習エラーの減りが少なくなってきたら行う。
【０１１２】
方法２においては、木構造は予め構築されている点で、方法１と同じであるが、木構造を構成する認識器を構成する弱識別器の数を、学習の過程で決定する点が方法１と異なる。また、弱識別器の数の決定は、分割するタイミングに依存する。所定の認識器（弱識別器）で学習しているとき、その認識器でのエラーが、これ以上学習を継続しても減るこが期待できないと判断できるタイミングで、その認識器での学習が終了され、分割される。このようなエラーの減少により分割するタイミングを判断し、弱識別器の数を決定しながら、学習が行われる。
【０１１３】
方法３
○木構造と弱識別器の数の両方を、決定しながら学習を行う。
○分割するタイミングは、学習エラーの減りが少なくなってきたら行う。
○各サンプルのスコア分布同士のAffinity行例を計算し、Spectral Clusteringを行う。
【０１１４】
方法３においては、木構造を学習しつつ生成し、弱識別器の数も、学習しつつ決定する。木構造は、上記したように生成する（学習する）ことができる。また、弱識別器の数の決定は、方法２と同じく、分割するタイミングに依存し、学習エラーの減りが少なくなってきたら分割が行われることで行われる。また、方法３では、木構造を生成するためにグルーピングを行うとき、各サンプルのスコア分布同士のAffinity行例を計算し、Spectral Clusteringを行うことが好ましい形態である。
【０１１５】
このような方法１、方法２、または方法３のいずれの方法を適用して木構造を生成しても良いし、木構造を構成する弱識別器の数を決定しても良い。なお、ここでは、弱識別器を用いるブースティングを例としてあげて説明したが、本発明がブースティングに限定されることを意味するものではない。木構造を生成するときに、認識器同士の近さを判断するためにスコアを用いて距離を算出するが、このような処理、すなわち、所定の画像が入力されたときに、スコアを出力するような認識器であれば、その認識器がブースティングでなくても良く、ブースティング以外の認識器に対しても、本発明を適用できることを意味している。
【０１１６】
また、所定の画像が入力されたときに、スコアを出力するような認識器であれば、本発明を適用できることも意味している。所定の画像の代わりに、所定の映像や所定の音声などが入力されたときに、スコアを出力するような認識器であれば、本発明を適用できることも意味している。すなわち、本発明は、画像、映像、音声などの入力データの種類に依存せずに適用することが可能である。
【０１１７】
図１６に示した木構造に対して、弱識別器の数などを決定する際の処理について、図１７を参照して説明する。
【０１１８】
右・左パークラス・右・左チョキクラス用認識器２２１の弱識別器（ＷＬ）を学習は、全ての手の画像と、手でない画像が用いられて行われる。全ての手の画像とは、右パー、左パー、右チョキ、および左チョキのそれぞれの手の形状のうちの少なくとも１つの形状が写っている画像である。また、これらの手の形状以外の形状の手の画像が、学習時のサンプル画像として含まれていても良い。手の画像は、ポジティブ画像として用いられる。手でない画像は、ネガティブ画像として用いられ、例えば、自然画像など、手が写っていない画像とされる。
【０１１９】
右・左パークラス・右・左チョキクラス用認識器２２１は、手の画像と手でない画像が入力されることで学習が行われるため、手が写っている画像が入力されたときに“真”という認識結果を出力し、手が写っていない画像が入力されたときに“偽”という認識結果を出力する認識器となる。
【０１２０】
右・左パークラス・右・左チョキクラス用認識器２２１が学習を進めていくと、エラーが減少し、それ以上の学習を継続しても効果を望めない状態になる。そのようなエラーが減少したと判断される状態になると、分岐のための処理が行われる。
【０１２１】
分岐のための弱識別器２６１が用意され、その弱識別器２６１（認識器２６１）に対しての学習が行われる。右・左パークラス・右・左チョキクラス用認識器２２１の後段（分岐後）の認識器は、パーを認識する右・左パークラス用認識器２１１と、チョキを認識する右・左チョキクラス用認識器２１２である。よって、認識器２６１における学習は、処理対象とされた画像に、パーまたはチョキが写っているか否かを判定するための学習とされる。
【０１２２】
認識器２６１には、パーまたはチョキの画像のみが学習時のサンプル画像として入力される。このパーとチョキは、右パー、左パー、右チョキ、左チョキを含む。この認識器２６１の学習が行われることで、パーであれば、“真”（その逆の、チョキであれば“真“でも良い）という認識結果を出力する認識器が作成される。パーまたはチョキを認識するときのエラー率が減少し、例えば、所定の閾値以下になると、学習処理が終了される。
【０１２３】
次に、右・左パークラス用認識器２１１における学習が実行される。この右・左パークラス用認識器２１１の学習においては、パーの画像（右パーの画像と、左パーの画像を含む）がポジティブ画像として用いられ、自然画像などの画像がネガティブ画像として用いられる。学習の結果、エラー率が減少した時点で、学習が終了される。
【０１２４】
右・左パークラス用認識器２１１における学習が終了されると、分岐のための処理が行われる。分岐のための弱識別器（認識器）２６２が用意され、その認識器２６２に対しての学習が行われる。右・左パークラス用認識器２１１の後段（分岐後）の認識器は、右パーを認識する右パークラス用認識器２０１と、左パーを認識する左パークラス用認識器２０３である。よって、認識器２６２における学習は、処理対象とされた画像に、右パーまたは左パーが写っているか否かを判断するための学習とされる。学習の結果、エラー率が減少した時点で、学習が終了される。
【０１２５】
認識器２６２において、分岐のための学習が終了されると、右パークラス用認識器２０１において学習が行われる。右パークラス用認識器２０１の学習においては、右パーの画像のみがポジティブ画像として用いられ、自然画像などの画像がネガティブ画像として用いられる。学習の結果、エラー率が減少した時点で、学習が終了される。
【０１２６】
同様に、左パークラス用認識器２０３において学習が行われる。左パークラス用認識器２０３の学習においては、左パーの画像のみがポジティブ画像として用いられ、自然画像などの画像がネガティブ画像として用いられる。学習の結果、エラー率が減少した時点で、学習が終了される。
【０１２７】
このような学習が行われた後、またはこのような学習が行われているときに並列して、右・左チョキクラス用認識器２１２における学習の処理も実行される。この右・左チョキクラス用認識器２１２の学習においては、チョキの画像（右チョキの画像と、左チョキの画像を含む）がポジティブ画像として用いられ、自然画像などの画像がネガティブ画像として用いられる。学習の結果、エラー率が減少した時点で、学習が終了される。
【０１２８】
右・左チョキクラス用認識器２１２における学習が終了されると、分岐のための処理が行われる。分岐のための弱識別器（認識器）２６３が用意され、その認識器２６３に対しての学習が行われる。右・左チョキクラス用認識器２１２の後段（分岐後）の認識器は、右チョキを認識する右チョキクラス用認識器２０２と、左チョキを認識する左チョキクラス用認識器２０４である。よって、認識器２６３における学習は、処理対象とされた画像に、右チョキまたは左チョキが写っているか否かを判断するための学習とされる。学習の結果、エラー率が減少した時点で、学習が終了される。
【０１２９】
認識器２６３において、分岐のための学習が終了されると、右チョキクラス用認識器２０２において学習が行われる。右チョキクラス用認識器２０２の学習においては、右チョキの画像のみがポジティブ画像として用いられ、自然画像などの画像がネガティブ画像として用いられる。学習の結果、エラー率が減少した時点で、学習が終了される。
【０１３０】
同様に、左チョキクラス用認識器２０４において学習が行われる。左チョキクラス用認識器２０４の学習においては、左チョキの画像のみがポジティブ画像として用いられ、自然画像などの画像がネガティブ画像として用いられる。学習の結果、エラー率が減少した時点で、学習が終了される。
【０１３１】
このようにして、各認識器において学習が行われ、各認識器を構成する弱識別器の数が決定される。
【０１３２】
このように、本発明を適用すると、木構造を生成することができる。また木構造を、最終的に得たい認識結果を効率良く取得できるような構造とすることができる。また、木構造を構成する認識器を、例えば、ブースティングに基づく弱識別器で構成した場合、その弱識別器の数を適切に設定することが可能となる。
【０１３３】
このようにして、２８クラスを認識する木構造を生成した場合の一例を、図１８に示す。図１８に示した木構造は、０度の右パーのクラス１、左３０度の右パーのクラス２、右３０度の右パーのクラス３、左４５度の右パーのクラス４、右４５度の右パーのクラス５、左６０度の右パーのクラス６、右６０度の右パーのクラス７をそれぞれ認識する木構造でもある。
【０１３４】
また、図１８に示した木構造は、０度の右チョキのクラス８、左３０度の右チョキのクラス９、右３０度の右チョキのクラス１０、左４５度の右チョキのクラス１１、右４５度の右チョキのクラス１２、左６０度の右チョキのクラス１３、右６０度の右チョキのクラス１４をそれぞれ認識する木構造でもある。
【０１３５】
また、図１８に示した木構造は、０度の左パーのクラス１５、左３０度の左パーのクラス１６、左３０度の左パーのクラス１７、左４５度の左パーのクラス１８、左４５度の左パーのクラス１９、左６０度の左パーのクラス２０、左６０度の左パーのクラス２１をそれぞれ認識する木構造である。
【０１３６】
また、図１８に示した木構造は、０度の左チョキのクラス２２、左３０度の左チョキのクラス２３、左３０度の左チョキのクラス２４、左４５度の左チョキのクラス２５、左４５度の左チョキのクラス２６、左６０度の左チョキのクラス２７、左６０度の左チョキのクラス２８をそれぞれ認識する木構造でもある。
【０１３７】
このようなクラス１乃至２８の２８クラスをそれぞれ認識させるための木構造を、上記した方法で生成した場合、図１８を参照するに、上から２番目の第２層は、手の傾きにより分岐することがわかる。図中左側は、右方向に傾いている手を認識する認識器とされ、図中右側は、左方向に傾いている手を認識する認識器とされる。すなわちこの場合、手であることが認識された後、手の傾きを認識する方が、チョキまたはパーであるか否かを認識するよりも、最終的な認識結果を得るまでに効率が良いと判断され、そのような木構造が生成されたことを意味する。
【０１３８】
さらに、図１８を参照するに、上から３番目の３階層目は、チョキまたはパーをそれぞれ認識する認識器へと分岐していることがわかる。このような木構造を、仮に人がデザインした場合、このようなデザインにたどり着くまでの試行錯誤の時間がかかると思われる。しかしながら、本発明を適用することで、このような試行錯誤の時間を削減することが可能となる。
【０１３９】
このように、木構造で実際に、認識処理を実行すると、効率よく２８クラスを認識できることが確認されている。
【０１４０】
このように、本実施の形態によれば、サンプルのクラスラベルを用いて、自動的に木構造を作成することができる。また、教師ラベルがあるので、最終的な出力はそのラベルになるが、特徴量を木構造で共用しながら認識を行うようにすることができるため、合計辞書サイズが小さくなり、高速に認識することが可能になる。
【０１４１】
［記録媒体について］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１４２】
図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。
【０１４３】
入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
【０１４４】
以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、ＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。
【０１４５】
コンピュータ（ＣＰＵ１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１４６】
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ＲＯＭ１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【０１４７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１４８】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１４９】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１５０】
１０１  学習装置，  １０２  サンプル記憶部，  １０３  認識器記憶部，  １０４  スコア計算部，  １０５  グルーピング部
【図１】
2011198268.tif 000003
【図２】
2011198268.tif 000004
【図３】
2011198268.tif 000005
【図４】
2011198268.tif 000006
【図５】
2011198268.tif 000007
【図６】
2011198268.tif 000008
【図７】
2011198268.tif 000009
【図８】
2011198268.tif 000010
【図９】
2011198268.tif 000011
【図１０】
2011198268.tif 000012
【図１１】
2011198268.tif 000013
【図１２】
2011198268.tif 000014
【図１３】
2011198268.tif 000015
【図１４】
2011198268.tif 000016
【図１５】
2011198268.tif 000017
【図１６】
2011198268.tif 000018
【図１７】
2011198268.tif 000019
【図１８】
2011198268.tif 000020
【図１９】
2011198268.tif 000021