(57)【要約】【課題】逐次識別器に適した抽出順序で特徴量を抽出可能な学習技術を提供することを目的とする。【解決手段】逐次識別器取得部５１は、識別処理に用いる逐次識別器を外部装置から取得する。逐次識別器とは、Ｎ個（Ｎは２以上の自然数）の特徴量のうちＭ個（ＭはＮ以下の自然数）を用いて識別対象らしさを表す評価値を算出し、当該評価値に基づいて対象物の識別を行うものである。識別処理部５２は、逐次識別器を用いて対象物の識別を行う。抽出順序変更部５３は、逐次識別器が用いるＮ個の特徴量の抽出順序を、識別処理に要する特徴量の数が変更前より少なくなるように変更する。【選択図】        図１
2010225116.tif 000002
【特許請求の範囲】
【請求項１】
入力パターンから抽出可能なＮ個（Ｎは２以上の自然数）の特徴量のうちＭ個（ＭはＮ以下の自然数）を用いて識別対象らしさを表す評価値を算出し、前記評価値に基づいて識別を行う逐次識別器における設定を学習する学習装置であって、
前記逐次識別器を取得する逐次識別器取得部と、
前記逐次識別器における設定の１つである、前記Ｎ個の特徴量の抽出順序を、前記識別処理に用いられる前記特徴量の数が変更前よりも少なくなるように変更する抽出順序変更部とを備える
ことを特徴とする学習装置。
【請求項２】
前記抽出順序変更部は、前記Ｎ個の特徴量の抽出順序を、前記Ｎ個の特徴量のうちのＭ個（ＭはＮ以下の自然数）を用いて算出された前記評価値と前記Ｎ個の特徴量を用いて算出された前記評価値との差の期待値が変更前よりも小さくなるように変更する
ことを特徴とする請求項１に記載の学習装置。
【請求項３】
前記抽出順序変更部は、前記Ｎ個の特徴量の抽出順序を、前記Ｎ個の特徴量のうちのＭ個（ＭはＮ以下の自然数）を用いて算出された前記評価値と前記Ｎ個の特徴量を用いて算出された前記評価値との差の期待値の上界が変更前よりも小さくなるように変更する
ことを特徴とする請求項２に記載の学習装置。
【請求項４】
前記Ｎ個の特徴量のうちのＭ個（ＭはＮ以下の自然数）を用いて算出される前記評価値は、前記Ｍ個の特徴量の線形和である
ことを特徴とする請求項１乃至請求項３のいずれか一項に記載の学習装置。
【請求項５】
前記逐次識別器を用いて識別処理を行う識別処理部を更に備え、
前記抽出順序変更部は、識別対象であるか否かが予めラベル付けされている学習パターンを用いて前記識別処理部が前記逐次識別器を用いて識別を行う際に、前記抽出順序と、識別対象であると識別するための採択閾値及び識別対象でないと識別するための棄却閾値のうち少なくとも一方とを前記抽出順序毎に前記逐次識別器において設定する
ことを特徴とする請求項１乃至請求項４のいずれか一項に記載の学習装置。
【請求項６】
前記抽出順序変更部は、識別対象でない前記学習パターンの前記評価の最大値以上に前記採択閾値を前記抽出順序毎に設定し、識別対象である前記学習パターンの前記評価の最小値未満に前記棄却閾値を前記抽出順序毎に設定し、正しく識別可能な前記学習パターンの割合が最も大きい前記抽出順序、採択閾値及び前記棄却閾値を前記逐次識別器において設定する
ことを特徴とする請求項５に記載の学習装置。
【請求項７】
入力パターンから抽出可能なＮ個（Ｎは２以上の自然数）の特徴量のうちＭ個（ＭはＮ以下の自然数）を用いて識別対象らしさを表す評価値を算出し、前記評価値に基づいて識別を行う逐次識別器における設定を学習する学習装置で実行される学習方法であって、
逐次識別器取得部が、前記逐次識別器を取得する逐次識別器取得ステップと、
抽出順序変更部が、前記逐次識別器における設定の１つである、前記Ｎ個の特徴量の抽出順序を、前記識別処理に用いられる前記特徴量の数が変更前よりも少なくなるように変更する抽出順序変更ステップとを含む
ことを特徴とする学習方法。
【請求項８】
入力パターンから抽出可能なＮ個（Ｎは２以上の自然数）の特徴量のうちＭ個（ＭはＮ以下の自然数）を用いて識別対象らしさを表す評価値を算出し、前記評価値に基づいて識別を行う逐次識別器における設定を学習する学習装置の有するコンピュータを、
逐次識別器取得部が、前記逐次識別器を取得する逐次識別器取得手段と、
抽出順序変更部が、前記逐次識別器における設定の１つである、前記Ｎ個の特徴量の抽出順序を、前記識別処理に用いられる前記特徴量の数が変更前よりも少なくなるように変更する抽出順序変更手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習装置、方法及びプログラムに関する。
【背景技術】
【０００２】
従来より、例えば、画像に表れる文字や人物の顔などの対象物を識別する識別処理において、識別処理の過程で識別した対象物のパターンを学習しながら、識別を行なう学習装置がある。このような識別処理では、例えば、対象物について複数の特徴量を抽出して、パターンとの特徴量の比較により、対象物を識別する。このような学習装置には、逐次識別器を用いることで識別処理に要する特徴量の数を少なくするものがあった（特許文献１〜２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３０８２３６８号公報
【特許文献２】特開２００４−２５２９４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特徴量の抽出順序は、特許文献１の技術では特徴量の出現頻度の高い順序に相当し、特許文献２の技術では逐次識別器に変換する前の識別器の学習によって得られた順序に相当する。このため、特許文献１〜２の技術では、特徴量の抽出順序が、必ずしも逐次識別器に適した抽出順序ではなかった。
【０００５】
本発明は、上記に鑑みてなされたものであって、逐次識別器に適した抽出順序で特徴量を抽出可能な学習装置、方法及びプログラムを提供する。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明の一側面は、入力パターンから抽出可能なＮ個（Ｎは２以上の自然数）の特徴量のうちＭ個（ＭはＮ以下の自然数）を用いて識別対象らしさを表す評価値を算出し、前記評価値に基づいて識別を行う逐次識別器における設定を学習する学習装置であって、前記逐次識別器を取得する逐次識別器取得部と、前記逐次識別器における設定の１つである、前記Ｎ個の特徴量の抽出順序を、前記識別処理に用いられる前記特徴量の数が変更前よりも少なくなるように変更する抽出順序変更部とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、逐次識別器に適した抽出順序で特徴量を抽出可能になる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施の形態にかかる学習装置の機能的構成を例示する図である。
【図２】学習装置の行う学習処理の手順を示すフローチャートである。
【図３】学習装置が、逐次識別器を用いて行う識別処理の手順を示すフローチャートである。
【図４】評価値の頻度分布を例示する図である。
【図５】第２の実施の形態の構成により抽出順序を変更した場合と、抽出順序を変更しない場合とで、識別対象であると識別する範囲、識別処理を継続する範囲及び識別対象でないと識別する範囲とを対比する図である。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照して、この発明にかかる学習装置、方法及びプログラムの最良な実施の形態を詳細に説明する。まず、本実施の形態にかかる学習装置のハードウェア構成について説明する。学習装置は、装置全体を制御するＣＰＵ（Central Processing Unit）等の制御部と、各種データや各種プログラムを記憶するＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等の記憶部と、各種データや各種プログラムを記憶するＨＤＤ（Hard Disk Drive）やＣＤ（Compact Disk）ドライブ装置等の外部記憶部と、これらを接続するバスとを備えており、通常のコンピュータを利用したハードウェア構成となっている。また、学習装置には、外部装置の通信を制御する通信Ｉ／Ｆ（interface）が有線又は無線により各々接続される。
【００１０】
次に、このようなハードウェア構成において、学習装置のＣＰＵが記憶装置や外部記憶部に記憶された各種プログラムを実行することにより実現される各種機能について説明する。図１は、学習装置５０の機能的構成を例示する図である。学習装置５０は、逐次識別器取得部５１と、識別処理部５２と、抽出順序変更部５３とを有する。これらの各部は、ＣＰＵのプログラム実行時にＲＡＭなどの記憶部上に生成されるものである。
【００１１】
逐次識別器取得部５１は、識別処理に用いる逐次識別器を外部装置から取得する。逐次識別器とは、Ｎ個（Ｎは２以上の自然数）の特徴量のうちＭ個（ＭはＮ以下の自然数）を用いて識別対象らしさを表す評価値を算出し、当該評価値に基づいて対象物の識別を行うものである。この逐次識別器は、通信Ｉ／Ｆを介して外部装置から取得される例えばモジュールなどであり、ＣＰＵが実行することによりＲＡＭなどの記憶部に生成される。識別処理部５２は、逐次識別器を用いて対象物の識別を行う。抽出順序変更部５３は、逐次識別器が用いるＮ個の特徴量の抽出順序を、識別処理に要する特徴量の数が変更前より少なくなるように変更する。具体的な変更方法については以下の動作欄で説明する。
【００１２】
次に、本実施の形態にかかる学習装置５０の行う学習処理の手順について図２を用いて説明する。学習装置５０は、逐次識別器取得部５１の機能により、逐次識別器を外部装置から取得する（ステップＳ１）。ここでの逐次識別器は、入力パターンからＮ個の特徴量ｆ（１）、…、ｆ（Ｎ）のうちＭ個を用いて識別対象らしさを表す評価値を算出し、当該評価値に基づいて識別を行うものである。ここでいう入力パターンとは、複数の値からなるものであって、一般にベクトルや行列の形で表現される。入力パターンの一例として、画像データや音声データが挙げられるが、これらに限定されない。
【００１３】
ここで、学習装置５０が、逐次識別器を用いて行う識別処理の手順について図３を用いて説明する。学習装置５０は、識別処理部５２の機能により、まず、入力パターンを取得する（ステップＳ１０）。次に、学習装置５０は、逐次識別器取得部５１の機能により取得した逐次識別器を用いて、入力パターンからＮ個の特徴量ｆ（１）、…、ｆ（Ｎ）を抽出順序に従って順次抽出して識別を行う。ここでは、このときの特徴量の抽出順序をパラメータσ（１）、…、σ（Ｎ）で表現する。パラメータσ（１）、…、σ（Ｎ）の値はそれぞれ１、…、Ｎの何れかに対応する。学習装置５０は、Ｎ個の特徴量ｆ（１）、…、ｆ（Ｎ）を抽出順序に従って順に抽出するためのパラメータｉ（ｉ＝１、…、Ｎ）を、まず‘ｉ＝１’と設定する（ステップＳ１１）。そして、学習装置５０は、特徴量ｆ（σ（ｉ））を抽出し（ステップＳ１２）、逐次識別器を用いて、これを含めて既に抽出してあるｉ個の特徴量ｆ（σ（１））、…、ｆ（σ（ｉ））を用いて、入力パターンの識別対象らしさを表す評価値ｙ（ｉ）を算出する（ステップＳ１３）。ｙ（ｉ）の算出方法は、Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  ＭａｃｈｉｎｅやＲｅａｌ  ＡｄａＢｏｏｓｔなどのよく知られた機械学習のアルゴリズムによって獲得できるものである。そして、学習装置５０は、この評価値ｙ（ｉ）が採択閾値Ｔａ（ｉ）より大きいか否かを判定する（ステップＳ１４）。評価値ｙ（ｉ）が採択閾値Ｔａ（ｉ）より大きい場合（ステップＳ１４：ＹＥＳ）、学習装置５０は、入力パターンは識別対象であると識別し（ステップＳ１５）、その識別結果を出力して（ステップＳ１９）、識別処理を終了する。評価値ｙ（ｉ）が採択閾値Ｔａ（ｉ）以下である場合（ステップＳ１４：ＮＯ）、学習装置５０は、次いで、評価値ｙ（ｉ）が棄却閾値Ｔｒ（ｉ）以下であるか否かを判定する（ステップＳ１６）。評価値ｙ（ｉ）が棄却閾値Ｔｒ（ｉ）以下である場合（ステップＳ１６：ＹＥＳ）、学習装置５０は、入力パターンは識別対象ではないと識別し（ステップＳ１７）、その識別結果を出力して（ステップＳ１９）、識別処理を終了する。評価値ｙ（ｉ）が棄却閾値Ｔｒ（ｉ）より大きい場合（ステップＳ１６：ＮＯ）、即ち、評価値ｙ（ｉ）が採択閾値Ｔａ（ｉ）と棄却閾値Ｔｒ（ｉ）との間にある場合、学習装置５０は、パラメータｉの値を’ｉ＝ｉ＋１’に再設定し（ステップＳ１８）、ステップＳ１２で、第‘ｉ＋１’番目の特徴量ｆ（σ（ｉ＋１））を新たに抽出してステップＳ１３以降の処理を繰り返す。ただし、‘ｉ＝Ｎ’の場合は必ず識別処理を終了する必要があるため、採択閾値Ｔａ（Ｎ）と棄却閾値Ｔｒ（Ｎ）とは同じ値に設定しておく。
【００１４】
尚、ステップＳ１２〜Ｓ１９の処理は、全ての‘ｉ＝１、…、Ｎ’のそれぞれについて行うのではなく、例えば、１、…、Ｎの一部について、とびとびに行っても良い。更に‘ｉ＜Ｎ’の場合には、ステップＳ１４，Ｓ１６で、評価値ｙ（ｉ）を採択閾値Ｔａ（ｉ）と棄却閾値Ｔｒ（ｉ）との２つの閾値と比較して識別処理を終了か否かを判定するのではなく、何れか一方の閾値とだけ比較して識別処理を終了か否かを判定するようにしても良い。これは入力パターンに偏りがある場合に効果的である。例えば、入力パターンのほとんどが識別対象ではない場合、採択閾値Ｔａ（ｉ）との比較によって識別処理が終了するものよりも、棄却閾値Ｔｒ（ｉ）との比較によって識別処理が終了するものの方が圧倒的に多くなるためである。従って、評価値ｙ（ｉ）を棄却閾値Ｔｒ（ｉ）とだけ比較すれば良い。
【００１５】
図２の説明に戻る。学習装置５０は、識別対象であるか否かを表すラベルが予め付与されている学習パターンのセットを取得する（ステップＳ２）。以降、このセットを初期学習パターンセットと呼ぶことにする。次いで、学習装置５０は、抽出順序変更部５３の機能により、識別処理に用いられる特徴量の数が現在よりも少なくなるように、識別処理で用いるパラメータである抽出順序σ（１）、…、σ（Ｎ）と、採択閾値Ｔａ（１）、…、Ｔａ（Ｎ）と、棄却閾値Ｔｒ（１）、…、Ｔｒ（Ｎ）とを学習する（ステップＳ３）。ただし、上述の識別処理の説明においても触れたように、識別処理において必ずしも全ての採択閾値および棄却閾値を用いる必要がない場合には、識別処理に用いないパラメータについては学習する必要はない。もちろん、そのような場合であっても、全てのパラメータを学習してもよいことに注意する。ここでは、抽出順序が前のものから順にパラメータを学習していく方法を説明する。
【００１６】
まず、学習装置５０は、ステップＳ２で取得した初期学習パターンセットを、ステップＳ１で取得した逐次識別器を用いて識別処理を行い、正しく識別できた学習パターンのみを集めた第１の学習パターンセットを生成する。次いで、学習装置５０は、この第１の学習パターンセットを用いて、最初に抽出する特徴量の抽出順序であるパラメータσ（１）と、採択閾値Ｔａ（１）と、棄却閾値Ｔｒ（１）とを学習する。このσ（１）、Ｔａ（１）及びＴｒ（１）の学習方法は、σ（ｉ）、Ｔａ（ｉ）及びＴｒ（ｉ）（ｉ＝２、…、Ｎ）の学習方法と同じであるので、そちらで説明することにする。
【００１７】
次に、学習装置５０は、ｉ番目（ｉ＝２、…、Ｎ）に抽出する特徴量の抽出順序であるパラメータσ（ｉ）と、採択閾値Ｔａ（ｉ）と、棄却閾値Ｔｒ（ｉ）とを学習する。まず、学習装置５０は、既に学習の済んでいる‘ｉ−１’番目までのパラメータσ（１）、…、σ（ｉ−１）、採択閾値Ｔａ（１）、…、Ｔａ（ｉ−１）及び棄却閾値Ｔｒ（１）、…、Ｔｒ（ｉ−１）を用いて第‘ｉ−１’の学習パターンセットを識別し、識別処理が終了しなかった学習パターンのみを集めた第ｉ番目の学習パターンセットを生成する。そして、学習装置５０は、この第ｉ番目の学習パターンセットを用いて、パラメータσ（ｉ）、採択閾値Ｔａ（ｉ）及び棄却閾値Ｔｒ（ｉ）を以下の方法により学習する。
【００１８】
学習装置５０は、‘σ（ｉ）∈｛１、…、Ｎ｝＼｛σ（１）、…、σ（ｉ−１）｝’のそれぞれについて、第ｉ番目の学習パターンセットに対する評価値ｙ（ｉ）の頻度分布を算出する。図４は、評価値ｙ（ｉ）の頻度分布を例示する図である。同図に示されるように、学習装置５０は、第ｉ番目の学習パターンセットのうち、識別対象である学習パターンの評価値の最小値未満に棄却閾値Ｔｒ（ｉ）を設定する。このように設定することで、識別対象でない入力パターンのみを識別対象でないと正しく識別することができる。一方、識別対象でない学習パターンの評価値の最大値以上に採択閾値Ｔａ（ｉ）を学習装置５０は設定する。このように設定することで、識別対象である入力パターンのみを識別対象であると正しく識別できる。そして学習装置５０は、これら正しく識別できる学習パターンの割合が最も大きいものをパラメータσ（ｉ）、採択閾値Ｔａ（ｉ）及び棄却閾値Ｔｒ（ｉ）として設定する。
【００１９】
尚、学習装置５０は、Ｔａ（ｉ）を上述のように設定する代わりに、識別対象でない学習パターンの評価値の頻度分布から算出される標準偏差などの統計量を用いて設定しても良い。Ｔｒ（ｉ）についても同様に、学習装置５０は、識別対象である学習パターンの評価値の頻度分布から算出される標準偏差などの統計量を用いて設定しても良い。この場合、誤識別が生じる可能性があり、必ずしも識別性能を維持できるとは限らないが、更に少ない数の特徴量を用いて識別処理を終了することができると考えられる。このため、識別性能を維持することよりも識別処理に要する特徴量の数を少なくすることが優先される場合に有効である。ただし、‘ｉ＝Ｎ’のときは必ず識別処理を終了させる必要があるため、‘Ｔａ（ｉ）＝Ｔｒ（ｉ）’とする。
【００２０】
以上のようにして学習装置５０は、抽出順序σ（１）、…、σ（Ｎ）と、採択閾値Ｔａ（１）、…、Ｔａ（Ｎ）と、棄却閾値Ｔｒ（１）、…、Ｔｒ（Ｎ）とを学習し、これらを設定した逐次識別器を用いることで、より少ない数の特徴量を用いて識別処理を行うことができる。即ち、以上のようにして、逐次識別器が用いる特徴量の抽出順序を変更することで、識別処理に要する特徴量の数を変更前より少なくすることができる。この結果、識別処理にかかる計算量を少なくすることができ、高速な識別処理を実現可能になる。
【００２１】
[第２の実施の形態]
次に、学習装置、方法及びプログラムの第２の実施の形態について説明する。なお、上述の第１の実施の形態と共通する部分については、同一の符号を使用して説明したり、説明を省略したりする。
【００２２】
本実施の形態においては、特徴量の抽出順序の変更方法が上述の第１の実施の形態と異なる。このため、本実施の形態にかかる学習装置５０の構成が、第１の実施の形態と異なるのは、抽出順序変更部５３の機能である。本実施の形態にかかる抽出順序変更部５３は、Ｎ個の特徴量を用いて算出される評価値ｙ（Ｎ）と前記Ｎ個の特徴量のうちＭ個を用いて算出される評価値ｙ（Ｍ）との差の期待値が現在よりも小さくなるように、抽出順序を変更する。具体的な変更方法については以下の動作欄で説明する。
【００２３】
次に、本実施の形態にかかる学習装置５０が行なう学習処理の手順について説明する。当該学習処理の手順自体は図２に示した通りである。ステップＳ１〜Ｓ２は上述の第１の実施の形態と同様である。尚、ステップＳ２では、学習装置５０は、正しく識別できた学習パターンのみを集めた第１の学習パターンセットを用いて、最初に抽出する特徴量の抽出順序であるパラメータσ（１）を式１によって設定する。
【００２４】
【数１】
2010225116.tif 000003
【００２５】
ここでＥ（）は期待値をとることを表し、従って、ここでは第１の学習パターンセットに対する平均をとることを表す。また、式２に示すように、Ｎ個の特徴量のうちＭ個を用いて算出される評価値ｙ（Ｍ）がＭ個の特徴量の線形和で表されるならば、式１は式３となる。ここで、ａ（ｉ）は特徴量ｆ（ｉ）に対する係数である。
【００２６】
【数２】
2010225116.tif 000004
【００２７】
式３は、評価値の期待値が最大のものを選ぶことに相当する。また、採択閾値Ｔａ（１）および棄却閾値Ｔｒ（１）の設定方法については、Ｔａ（ｉ）、Ｔｒ（ｉ）（ｉ＝２、…、Ｎ）の設定方法と同じであるので後述する。
【００２８】
ステップＳ３では、学習装置５０は、抽出順序変更部５３の機能により、Ｎ個の特徴量を用いて算出される評価値ｙ（Ｎ）とＮ個の特徴量のうちＭ個を用いて算出される評価値ｙ（Ｍ）との差の期待値が現在よりも小さくなるように、特徴量の抽出順序σ（１）、…、σ（Ｎ）を変更する。但し、第１の実施形態における識別処理の説明においても触れたように、識別処理において必ずしも全ての採択閾値および棄却閾値を用いる必要がない場合には、識別処理に用いないパラメータについては学習する必要はない。もちろん、そのような場合であっても、全てのパラメータを学習してもよいことに注意する。ここでは、抽出順序が前のものから順にパラメータを学習していく方法を説明する。
【００２９】
ステップＳ３も上述の第１の実施の形態と同様であるが、第ｉ番目の学習パターンセットを用いてパラメータσ（ｉ）を設定する式が上述の第１の実施の形態と異なる。本実施の形態においては、学習装置５０はパラメータσ（ｉ）を式４により設定する。尚、評価値が式２で表される場合、学習装置５０はパラメータσ（ｉ）を式５により設定する。
【００３０】
【数３】
2010225116.tif 000005
【００３１】
続いて学習装置５０は、採択閾値Ｔａ（ｉ）及び棄却閾値Ｔｒ（ｉ）を設定する方法も上述の第１の実施の形態と同様である。学習装置５０が、既に学習されているパラメータσ（１）、…、σ（ｉ）を用いて第ｉ番目の学習パターンセットに対して算出する評価値ｙ（ｉ）の頻度分布も図４に示した通りである。また、Ｔａ（ｉ）及びＴｒ（ｉ）についてはこの例に限らず、上述の第１の実施の形態で説明した他の例と同様に設定するようにしても良い。
【００３２】
以上の手順によって学習装置５０は、パラメータσ（１）、…、σ（Ｎ）と、採択閾値Ｔａ（１）、…、Ｔａ（Ｎ）と、棄却閾値Ｔｒ（１）、…、Ｔｒ（Ｎ）とを学習して、これらを設定した逐次識別器を用いることで、より少ない数の特徴量を用いて識別処理を行うことができる。即ち、以上のようにして、逐次識別器が用いる特徴量の抽出順序を、Ｎ個の特徴量を用いて算出される評価値ｙ（Ｎ）とＮ個の特徴量のうちＭ個を用いて算出される評価値ｙ（Ｍ）との差の期待値が小さくなるように順序付けることで、識別処理に要する特徴量の数を少なくすることが可能となる。
【００３３】
図５は、本実施の形態の構成により抽出順序を変更した場合と、抽出順序を変更しない場合とで、識別対象であると識別する範囲、識別処理を継続する範囲及び識別対象でないと識別する範囲とを対比する図である。同図においては、上段が、抽出順序を変更しない場合を示しており、下段が、本実施の形態の構成により抽出順序を変更した場合を示している。同図に示されるように、本実施の形態の構成により抽出順序を変更した場合には、識別処理を継続する範囲が、抽出順序を変更しない場合よりも小さくなっている。従って、本実施の形態によれば、識別処理にかかる計算量を少なくすることができ、高速な識別処理を実現可能になる。
【００３４】
尚、もしＮ個の特徴量のうちＭ個を用いて算出される評価値ｙ（Ｍ）が式２ではなく以下の式６のように与えられたとしても、定数項ｂ（σ（ｉ））は入力パターンに依らず一定であるため無視して良く、式３及び式５を用いることができる。
【００３５】
【数４】
2010225116.tif 000006
【００３６】
[変形例]
なお、本発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。また、以下に例示するような種々の変形が可能である。
【００３７】
＜変形例１＞
上述した各実施の形態において、学習装置５０で実行される各種プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。上述した第１の実施の形態において、当該各種プログラムを、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成しても良い。
【００３８】
＜変形例２＞
上述の第２の実施形態においては、Ｎ個の特徴量を用いて算出される評価値ｙ（Ｎ）とＮ個の特徴量のうちＭ個を用いて算出される評価値ｙ（Ｍ）との差の期待値を小さくするように、抽出順序を変更したが、当該評価値の差の期待値の上界を小さくするように、抽出順序を変更しても良い。例えば、評価値ｙ（Ｍ）が式２又は式６で表される場合、式５で最小化する項の上界の一つが以下の式７により与えられる。
【００３９】
【数５】
2010225116.tif 000007
【００４０】
ここでσ（ｊ）∈｛１、…、Ｎ｝＼｛σ（１）、…、σ（ｉ）｝（ｊ＝ｉ＋１、…、Ｎ）である。従って、σ（ｉ）（ｉ＝２、…、Ｎ）の設定は以下の式８による。
【００４１】
【数６】
2010225116.tif 000008
【００４２】
式１も同様に以下の式９となる。
【００４３】
【数７】
2010225116.tif 000009
【００４４】
更に、Ｎ個の特徴量の期待値が等しいときは式８、式９はそれぞれ式１０、式１１のようになる。
【００４５】
【数８】
2010225116.tif 000010
【００４６】
式１０、式１１は、各特徴量ｆ（ｉ）に対する係数ａ（ｉ）の絶対値が大きい順に特徴量を順序付けることを意味する。
【００４７】
そして、上述の第２の実施の形態と同様の手順によって学習装置５０は、パラメータσ（１）、…、σ（Ｎ）と、採択閾値Ｔａ（１）、…、Ｔａ（Ｎ）と、棄却閾値Ｔｒ（１）、…、Ｔｒ（Ｎ）とを学習して、これらを設定した逐次識別器を用いることで、より少ない数の特徴量を用いて識別処理が行うことができる。即ち、以上のようにして、逐次識別器が用いる特徴量の抽出順序を、Ｎ個の特徴量を用いて算出される評価値ｙ（Ｎ）とＮ個の特徴量のうちＭ個を用いて算出される評価値ｙ（Ｍ）との差の期待値の上界が小さくなるように順序付けることで、識別処理に要する特徴量の数を少なくすることが可能となる。
【符号の説明】
【００４８】
５０  学習装置
５１  逐次識別器取得部
５２  識別処理部
５３  抽出順序変更部
【図１】
2010225116.tif 000011
【図２】
2010225116.tif 000012
【図３】
2010225116.tif 000013
【図４】
2010225116.tif 000014
【図５】
2010225116.tif 000015