(57)【要約】【課題】  強判別器を多数並べて配置した、いわゆるカスケード構造の特定物体判別装置において、判別精度が向上し、かつ処理速度面でも向上する特定物体判別装置、特定物体判別方法、及び特定物体判別装置の作成方法を提供する。【解決手段】  画像中の特定物体を判別する第１の強判別器と、前記第１の強判別器により前記特定物体と判別された場合に、引き続いて当該画像の判別を行う第２の強判別器を備え、前記第２の強判別器は、前記第１の強判別器を学習データを用いて再作成した弱判別器を含むことを特徴とする特定物体判別装置、特定物体判別方法、及び特定物体判別装置の作成方法。【選択図】        図９
2007080160.tif 000002
【特許請求の範囲】
【請求項１】
画像中の特定物体を判別するために、それぞれ学習データを用いて作成された、それぞれが複数の弱判別器の線型結合からなる複数の強判別器を備え、カスケード式に順次、それぞれの前記強判別器による前記特定物体の判別を行い、すべての前記強判別器で前記特定物体と判別されたかどうかで判定を行う特定物体判別装置において、
画像中に前記特定物体が含まれるかどうかを判別する第１の強判別器と、
前記第１の強判別器により前記特定物体が含まれると判別された場合に、前記第１の強判別器に引き続いて当該画像の判別を行う第２の強判別器を備え、
前記第２の強判別器を構成する前記複数の弱判別器のうち一つは、前記第１の強判別器を学習データを用いて再度、作成し直したものであることを特徴とする特定物体判別装置。
【請求項２】
任意の数のカスケード式に配置された前記強判別器から構成され、任意の引き続く前後２段の強判別器は、前記第１の強判別器と前記第２の強判別器の関係に相当するように構成されたことを特徴とする請求項１に記載の特定物体判別装置。
【請求項３】
前記特定物体は顔であることを特徴とする請求項１または２に記載の特定物体判別装置。
【請求項４】
画像中の特定物体を判別するために、それぞれ学習データを用いて作成された、それぞれが複数の弱判別工程を含む複数の強判別工程を、カスケード式に順次実行し、すべての前記強判別工程で前記特定物体と判別されたかどうかで判定を行う特定物体判別方法において、
画像中に前記特定物体が含まれるかどうかを判別する第１の強判別工程と、
前記第１の強判別工程により前記特定物体が含まれると判別された場合に、前記第１の強判別工程に引き続いて当該画像の判別を行う第２の強判別工程とを備え、
前記第２の強判別工程に含まれる前記複数の弱判別工程のうち一つは、前記第１の強判別工程を学習データを用いて再度、作成し直した工程であることを特徴とする特定物体判別方法。
【請求項５】
任意の数のカスケード式に実行される前記強判別工程から構成され、任意の引き続く前後２段の強判別工程は、前記第１の強判別工程と前記第２の強判別工程の関係に相当するように構成されたことを特徴とする請求項４に記載の特定物体判別方法。
【請求項６】
前記特定物体は顔であることを特徴とする請求項４または５に記載の特定物体判別方法。
【請求項７】
請求項１乃至３に記載の特定物体判別装置の作成方法であって、
前記第１の強判別器を学習により作成するための学習データを設定する第１の学習データ設定工程と、
前記第１の学習データ設定工程により設定された第１の学習データに対し、所定の第１の判別率を満たすように選択された複数の特徴量を用いて、それぞれ弱判別器を作成し、前記第１の強判別器を作成する第１の強判別器作成工程と、
前記第１の強判別器作成工程により作成された前記第１の強判別器を用いて、第２の学習データを決定する第２の学習データ設定工程と、
前記第２の学習データ設定工程により設定された前記第２の学習データに対し、前記第１の強判別器で選択された複数の特徴量を用いて、前記第２の強判別器を構成する弱判別器の一つを作成する第１の弱判別器作成工程と、
前記第２の強判別器を学習により作成するための第３の学習データを設定する第３の学習データ設定工程と、
前記第３の学習データ設定工程により設定された前記第３の学習データに対し、所定の第２の判別率を満たすように再度選択された複数の特徴量を用いて、それぞれ弱判別器を作成し、前記第１の弱判別器作成工程により作成された前記第１の弱判別器とともに、前記第２の強判別器を作成する第２の強判別器作成工程と、
を備えることを特徴とする特定物体判別装置の作成方法。
【請求項８】
請求項７に記載の特定物体判別装置の作成方法における各工程を所定の回数繰り返すことによって、任意の数のカスケード式に配置された前記強判別器から構成され、任意の引き続く前後２段の強判別器は、前記第１の強判別器と前記第２の強判別器の関係に相当するように構成された特定物体判別装置を作成することを特徴とする特定物体判別装置の作成方法。
【請求項９】
前記第１の学習データ、第２の学習データ、及び第３の学習データは、
それぞれ前記特定物体を含むデータと、含まないデータとから構成されている
ことを特徴とする請求項７または８に記載の特定物体判別装置の作成方法。
【請求項１０】
前記第２の学習データは、
前記第１の学習データに含まれる前記特定物体が含まれるデータと、前記第１の強判別工程によって前記特定物体が含まれると判定された前記特定物体が含まれないデータとから構成されている
ことを特徴とする請求項７乃至９に記載の特定物体判別装置の作成方法。
【請求項１１】
前記第２の学習データは、
前記第１の強判別工程によって前記特定物体が含まれると判定された前記特定物体が含まれるデータと、前記第１の強判別工程によって前記特定物体が含まれると判定された前記特定物体が含まれないデータとから構成されている
ことを特徴とする請求項７乃至９に記載の特定物体判別装置の作成方法。
【請求項１２】
前記第３の学習データとして前記第２の学習データを用いる
ことを特徴とする請求項７乃至１１に記載の特定物体判別装置の作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内の顔などの特定物体判別方法、特定物体判別装置、及び特定物体判別装置の作成方法に関するものである。
【背景技術】
【０００２】
従来、画像から顔などの特定の対象物体を判別し、その領域を抽出する処理技術が重要な課題として開発されてきた。特に人間の顔については、より進んだ識別や表情認識の課題も重要となって来つつあり、そのベースである画像からの顔判別処理自体の精度と効率がさらに要求されている。
【０００３】
人の顔の判別は様々な課題を抱えている。対象となる画像は、通常、制御不可能な照明下で撮影され、背景も一定ではないし、画像品質もよいとはいえず、対象である特定物体、すなわち顔との距離も予測できない。当然、顔の位置および向きも、制御されていない。
【０００４】
しかしそういった状況下でも、誤判別がきわめて少なく、かつ判別のための処理時間が速くてすむような判別方法が求められてきた。
【０００５】
従来の対象となる特定の物体、特に顔の判別方法としては、画像の濃淡を用いて事前に用意したテンプレートとのマッチング処理を行い最適のテンプレートを選択するテンプレートマッチング法などが知られている。また、判別領域の画像から様々な特徴量を抽出し、それらの特徴量の値から判定していく方法もある。どういう特徴量のどういう値が、特定物体の判定に重要であるかは、データを用いて実験的に設定していく、あるいは学習していくこともできる。他にも、判別領域の画像をベクトル空間に位置づけて、判別空間を設定したりするたぐいの判別方法も多数あり、その空間設定や判別の指標についても多数のバリエーションがある。
【０００６】
しかし、いずれの方法についても、精度（誤判別）の問題と速度（遅い）の問題が常について回った。特にたいていの方法においては、判別するために適切な矩形領域を設定する必要があり、実際的には、判別の精度を低下させぬためには、適切な矩形領域でもって対象となる画像全体をスキャンし、判別される矩形領域を探索する必要があった。このため多大な時間を要したりする。
【０００７】
従って判別の処理自体を簡単にし、全体の処理時間を長くしないと共に、誤判別は増やさないことが求められている。
【０００８】
この判別の精度と速度の問題に対して、複数の簡単な判別器を組み合わせて、総合的に判定するようなタイプの処理技術も提案されている（例えば、特許文献１参照）。
【０００９】
特許文献１では、カスケード式判別方法と呼ばれる判別処理を提案している。一つ一つは簡単な弱い判別器の線形結合からなる強判別器を多数、カスケード式に、すなわち順々に実行して、順々に判別精度が上がるように構成し、各実行により非特定物体と判別されるたびに、ふるい落とされていき、特定物体と最後まで判別され続けたものが最終的に特定物体と判定される。これにより、判別しやすい矩形領域は早い段階で判別が決定され、判別しにくいものが後まで残っていくので、処理時間もそれほど長くならずに、精度も確保できるというものである。
【００１０】
しかしながら、精度、すなわち誤判別の問題については、弱い判別器の線形結合からなる強判別器を多数、カスケード式に並べて配置し、学習データを用いて判別器作成するので、その作成方法に大きく依存する。
【００１１】
実際の判別器は、順々に学習させながら、カスケードの各段階において順次誤判別率が少なくなっていくように作成する。しかし、その各段階の判別器で用いる特徴量は、互いに独立に選択されており、前段階での判別結果をＴ（Ｔｒｕｅ：特定物体が含まれると判別、以後Ｔと略称する）かＦ（Ｆａｌｓｅ：特定物体が含まれないと判別、以後Ｆと略称する）かという二値の結果でしか利用していない。
【００１２】
それに対して、前段までの判別処理をしきい値処理した二値の結果だけでなく、判別データとして後段の判別器で再度利用しようというタイプの処理技術も提案されている。（例えば、非特許文献１参照）
非特許文献１では、同じくカスケード式の判別処理を行っているが、前段での判別器を後段での判別器の一要素、すなわち線形結合をなす弱判別器の一つとして再利用している。すなわち、入れ子構成を用いている。これにより、以下のように判別精度面でも、処理速度面でも効果が期待できる。
【００１３】
カスケード方式においては、初段の判別器では、概略の篩い分けを行う、つまり基本的な特徴量を用いているため、それは後段の判別器での篩い分けにも有効である、すなわち判別処理で単にふるい落とすだけでなく、生き残った画像に関しても、その判別データを再利用することで、後段での判別精度を向上できる。またそれと共に、計算結果を再利用できることによる処理速度向上も期待できる。
【００１４】
しかしながら、前段の判別器での判別処理を後段の判別器でも有効に再利用するというものの、それはただ同じ判別処理を繰り返して利用しているのみであり、単に再利用しているという範囲を抜け出すものではない。
【特許文献１】米国特許出願公開第２００２／０１０２０２４号明細書
【非特許文献１】「高速全方向顔検出」、画像の認識・理解シンポジウム（ＭＩＲＵ２００４）講演論文集II、２００４年７月、ｐ．２７１−２７６
【発明の開示】
【発明が解決しようとする課題】
【００１５】
判別器の判別精度は、学習データを用いた判別器の作成に大きく依存するものであることを考慮した場合、前段の判別器での判別結果は、その学習データとも関わっており、後段の判別器での判別において再利用するというならば、その学習データを用いた判別器の作成方法にまで立ち戻って検討することが、真に有効な判別精度向上につなげるために必要な課題であることを見いだした。
【００１６】
従って本発明の目的は、弱い判別器の線形結合からなる強判別器を多数並べて配置し、学習データを用いて判別器作成し、すべての判別器での判別結果で特定物体と判別された場合のみ特定物体であると判定する、いわゆるカスケード構造の判別装置において、前段の判別器を、後段の判別器を構成する弱判別器として、学習データを用いて再作成し、最適化をやり直した上で再利用した構成を含むことにより、判別精度が向上し、かつ処理速度面でも向上する特定物体判別装置、特定物体判別方法、及び特定物体判別装置の作成方法を提供することである。
【課題を解決するための手段】
【００１７】
上記の課題を解決するために、本発明は以下の特徴を有するものである。
【００１８】
（１）  画像中の特定物体を判別するために、それぞれ学習データを用いて作成された、それぞれが複数の弱判別器の線型結合からなる複数の強判別器を備え、カスケード式に順次、それぞれの前記強判別器による前記特定物体の判別を行い、すべての前記強判別器で前記特定物体と判別されたかどうかで判定を行う特定物体判別装置において、画像中に前記特定物体が含まれるかどうかを判別する第１の強判別器と、前記第１の強判別器により前記特定物体が含まれると判別された場合に、前記第１の強判別器に引き続いて当該画像の判別を行う第２の強判別器を備え、前記第２の強判別器を構成する前記複数の弱判別器のうち一つは、前記第１の強判別器を学習データを用いて再度、作成し直したものであることを特徴とする特定物体判別装置。
【００１９】
（２）  任意の数のカスケード式に配置された前記強判別器から構成され、任意の引き続く前後２段の強判別器は、前記第１の強判別器と前記第２の強判別器の関係に相当するように構成されたことを特徴とする前記（１）に記載の特定物体判別装置。
【００２０】
（３）  前記特定物体は顔であることを特徴とする前記（１）または（２）に記載の特定物体判別装置。
【００２１】
（４）  画像中の特定物体を判別するために、それぞれ学習データを用いて作成された、それぞれが複数の弱判別工程を含む複数の強判別工程を、カスケード式に順次実行し、すべての前記強判別工程で前記特定物体と判別されたかどうかで判定を行う特定物体判別方法において、画像中に前記特定物体が含まれるかどうかを判別する第１の強判別工程と、前記第１の強判別工程により前記特定物体が含まれると判別された場合に、前記第１の強判別工程に引き続いて当該画像の判別を行う第２の強判別工程とを備え、前記第２の強判別工程に含まれる前記複数の弱判別工程のうち一つは、前記第１の強判別工程を学習データを用いて再度、作成し直した工程であることを特徴とする特定物体判別方法。
【００２２】
（５）  任意の数のカスケード式に実行される前記強判別工程から構成され、任意の引き続く前後２段の強判別工程は、前記第１の強判別工程と前記第２の強判別工程の関係に相当するように構成されたことを特徴とする前記（４）に記載の特定物体判別方法。
【００２３】
（６）  前記特定物体は顔であることを特徴とする前記（４）または（５）に記載の特定物体判別方法。
【００２４】
（７）  前記（１）乃至（３）に記載の特定物体判別装置の作成方法であって、前記第１の強判別器を学習により作成するための学習データを設定する第１の学習データ設定工程と、前記第１の学習データ設定工程により設定された第１の学習データに対し、所定の第１の判別率を満たすように選択された複数の特徴量を用いて、それぞれ弱判別器を作成し、前記第１の強判別器を作成する第１の強判別器作成工程と、前記第１の強判別器作成工程により作成された前記第１の強判別器を用いて、第２の学習データを決定する第２の学習データ設定工程と、前記第２の学習データ設定工程により設定された前記第２の学習データに対し、前記第１の強判別器で選択された複数の特徴量を用いて、前記第２の強判別器を構成する弱判別器の一つを作成する第１の弱判別器作成工程と、前記第２の強判別器を学習により作成するための第３の学習データを設定する第３の学習データ設定工程と、前記第３の学習データ設定工程により設定された前記第３の学習データに対し、所定の第２の判別率を満たすように再度選択された複数の特徴量を用いて、それぞれ弱判別器を作成し、前記第１の弱判別器作成工程により作成された前記第１の弱判別器とともに、前記第２の強判別器を作成する第２の強判別器作成工程と、を備えることを特徴とする特定物体判別装置の作成方法。
【００２５】
（８）  前記（７）に記載の特定物体判別装置の作成方法における各工程を所定の回数繰り返すことによって、任意の数のカスケード式に配置された前記強判別器から構成され、任意の引き続く前後２段の強判別器は、前記第１の強判別器と前記第２の強判別器の関係に相当するように構成された特定物体判別装置を作成することを特徴とする特定物体判別装置の作成方法。
【００２６】
（９）  前記第１の学習データ、第２の学習データ、及び第３の学習データは、それぞれ前記特定物体を含むデータと、含まないデータとから構成されていることを特徴とする前記（７）または（８）に記載の特定物体判別装置の作成方法。
【００２７】
（１０）  前記第２の学習データは、前記第１の学習データに含まれる前記特定物体が含まれるデータと、前記第１の強判別工程によって前記特定物体が含まれると判定された前記特定物体が含まれないデータとから構成されていることを特徴とする前記（７）乃至（９）に記載の特定物体判別装置の作成方法。
【００２８】
（１１）  前記第２の学習データは、前記第１の強判別工程によって前記特定物体が含まれると判定された前記特定物体が含まれるデータと、前記第１の強判別工程によって前記特定物体が含まれると判定された前記特定物体が含まれないデータとから構成されていることを特徴とする前記（７）乃至（９）に記載の特定物体判別装置の作成方法。
【００２９】
（１２）  前記第３の学習データとして前記第２の学習データを用いることを特徴とする前記（７）乃至（１１）に記載の特定物体判別装置の作成方法。
【発明の効果】
【００３０】
本発明によれば、弱い判別器の線形結合からなる強判別器を多数並べて配置し、学習データを用いて判別器作成し、すべての判別器での判別結果で特定物体と判別された場合のみ特定物体であると判定する、いわゆるカスケード構造の判別装置において、前段の判別器を、後段の判別器を構成する弱判別器として、学習データを用いて再作成し、最適化をやり直した上で再利用した構成を含むことにより、判別精度が向上し、かつ処理速度面でも向上する特定物体判別装置、特定物体判別方法、及び特定物体判別装置の作成方法を提供することができる。
【発明を実施するための最良の形態】
【００３１】
本発明の実施形態の例を、図を参照して説明する。
【００３２】
図１を用いて、カスケード構造の特定物体判別装置の一例を説明する。図１はカスケード構造の特定物体判別装置の一例の概略構成図である。
【００３３】
図１において、１０は特定物体判別装置である。特定物体判別装置１０は、順序づけられたｎ個の強判別器からなる。図では１１が最初の強判別器Ｈ(1)、１２が２番目の強判別器Ｈ(2)、１３が３番目の強判別器Ｈ(3)を示し、ｎ番目の強判別器Ｈ(n)までがこの順序で配置されている。ｎは任意の数でよい。
【００３４】
１５は判別領域画像であり、特定物体がその画像領域内にあるかどうかを判別する対象となる画像領域である。通常は、対象となる元画像中からサブウィンドウという形で切り取られた、あるいは順次スキャンされた所定サイズの矩形領域画像である。
【００３５】
判別領域画像１５が特定物体判別装置１０に入力され、その結果が１６の判別結果Ｆ、もしくは１７の判別結果Ｔとして出力される。判別結果Ｆ（ＦはＦａｌｓｅの略）は入力された判別領域画像１５には特定物体が含まれないという判定であり、以後判別結果Ｆ、または判別出力Ｆと略す。判別結果Ｔ（ＴはＴｒｕｅの略）は入力された判別領域画像１５には特定物体が含まれるという判定であり、以後判別結果Ｔ、または判別出力Ｔと略す。
【００３６】
判別処理の流れについては、後で図４を用いて説明する。
【００３７】
次に図２を用いて、図１の特定物体判別装置１０の構成要素である強判別器の構成の一例を説明する。図２は強判別器の構成例を示す構成図である。
【００３８】
図２において、２０は強判別器である。強判別器２０は、Ｔ個の弱判別器の線形結合からなる。図では、２１が弱判別器ｈ1、２２が弱判別器ｈ2を示し、Ｔ番目の弱判別器ｈTまで備えられている。
【００３９】
１５は判別領域画像であり、強判別器２０に入力される。すなわち、弱判別器２１、２２から始まり、総数Ｔ個の弱判別器すべてに入力される。
【００４０】
２５は重み付き総和部であり、弱判別器２１、２２から始めて、総数Ｔ個の弱判別器の出力の線形結合、すなわち重み付きの総和を算出する。２６はしきい値処理部であり、重み付き総和部２５の算出結果をしきい値処理する。その結果が２７の判別結果として出力される。
【００４１】
判別結果２７は、判別結果Ｔ、または判別結果Ｆの何れかであり、それに応じて１または０の二値で出力される。
【００４２】
強判別器による判別処理の流れについては、後で図５を用いて説明する。
【００４３】
図３を用いて、図２の強判別器２０の構成要素である弱判別器の構成の一例を説明する。図３は弱判別器の構成例を示す構成図である。
【００４４】
図３において、３０は弱判別器である。弱判別器３０は、３１の特徴量計算部と３２のしきい値処理部とからなる。
【００４５】
１５は判別領域画像であり、弱判別器３０に入力される。入力された判別領域画像１５を受けて、特徴量計算部３１が特徴量を計算し、しきい値処理部３２がその結果をしきい値処理する。しきい値処理部３２の結果が３５の判別出力として出力される。
【００４６】
判別出力３５は、判別出力Ｔ、または判別出力Ｆの何れかであり、それに応じて１または０の二値で出力される。この出力が強判別器２０においては重み付き総和部２５で重み付き総和されるのである。
【００４７】
図４を用いて、カスケード構造の特定物体判別装置１０における特定物体判別処理動作、すなわち特定物体判別方法の一例を説明する。図４はカスケード構造の特定物体判別装置１０の判別処理動作の一例を示すフローチャートである。適時、図１も参照する。
【００４８】
特定物体の判別処理が開始されると、まずステップＳ１１で判別領域画像１５が設定され、特定物体判別装置１０に入力される。
【００４９】
ステップＳ１２では、カスケード構造に配置された強判別器がその順に設定されていく。図１であれば、最初の強判別器１１がまず最初に設定され、強判別器１１に判別領域画像１５が入力される。
【００５０】
ステップＳ１３は、強判別工程として機能し、設定された強判別器で判別処理が行われ、判別結果がＴまたはＦとして出力される。この判別処理の詳細は後述する。
【００５１】
ステップＳ１４では、ステップＳ１３での判別結果がＴであるかＦであるかを判定する。Ｔである場合（ステップＳ１４：Ｔ）は、ステップＳ１５を実行する。
【００５２】
ステップＳ１４の判定がＦである場合（ステップＳ１４：Ｆ）は、特定物体判別装置１０としての判定は、そのままＦであり、ステップＳ１７を実行し、判別結果Ｆを出力する。これで判別領域画像１５に対する特定物体判別処理は終了である。
【００５３】
ステップＳ１５では、カスケード構造の特定物体判別装置１０を構成しているすべての強判別器で判別処理を終了したかどうかを判定する。
【００５４】
すべての強判別器で判別処理を終了した場合（ステップＳ１５：ＹＥＳ）は、判定は最後の強判別器の判別結果、すなわちＴであり、ステップＳ１６を実行し、判別結果Ｔを出力する。これで判別領域画像１５に対する特定物体判別処理は終了である。
【００５５】
ステップＳ１５の判定で、判別処理を終了していない強判別器が残っている場合（ステップＳ１５：ＮＯ）は、ステップＳ１２に戻り、残っている次の強判別器に設定を更新する。次の強判別器でステップＳ１３以下の判別処理を繰り返す。
【００５６】
判別結果がＦになり、特定物体判別処理が終了しない限りは、ステップＳ１２の強判別器の更新はすべての強判別器に対して繰り返されることになる。
【００５７】
図１で説明すると、最初の強判別器１１の判別結果がＦであると判定はＦであり、特定物体判別処理は終了する。最初の強判別器１１の判別結果がＴであると、次の強判別器１２に判別処理が移る。２番目の強判別器１２の判別結果がＦであると、また判定はＦであり、特定物体判別処理は終了する。２番目の強判別器１２の判別結果がまたＴであると、またもや次の強判別器１３に判別処理が移る。３番目の強判別器１３以降も同様である。どの強判別器であれ、判別結果がＦであると判定はＦであり、特定物体判別処理は終了する。判別結果がＴであると、次の強判別器に判別処理が移る。そうして判別結果としてＴが出続けて最後の強判別器まで到達した場合は、最後の強判別器での判別結果が特定物体判別装置としての判定となる。
【００５８】
次に図４のステップＳ１３で行っている強判別器による判別処理動作の一例を、図５を用いて説明する。図５は強判別器２０の判別処理動作の一例を示すフローチャートである。適時、図２及び図３も参照する。
【００５９】
強判別器での判別処理が開始されると、まずステップＳ２１で、強判別器を構成する各弱判別器が適当な順序で設定されていく。図２であれば、弱判別器２１がまず最初に設定され、弱判別器２１に判別領域画像１５が入力される。その後、弱判別器２２以下、Ｔまでが順次繰り返されることになる。
【００６０】
次にステップＳ２２では、設定された弱判別器２１における特徴量の算出が行われる。ステップＳ２３では、算出した特徴量をしきい値処理し、判別出力を出す。ここは図３における特徴量計算部３１及びしきい値処理部３２により実行される。
【００６１】
ステップＳ２２とステップＳ２３は、設定された弱判別器２１における実行処理であり、判別出力３５は、ＴかＦかに応じて１か０で出力される。このステップＳ２２及びステップＳ２３が弱判別工程として機能する。
【００６２】
ステップＳ２４では、各弱判別器の判別出力３５を重み付きで加算していく。これは重み付き総和部２５により実行される。
【００６３】
ステップＳ２５で強判別器を構成するすべての弱判別器での判別処理が終了したかどうかを判定する。すべての弱判別器で判別処理を終了した場合（ステップＳ２５：ＹＥＳ）は、ステップＳ２６を実行する。
【００６４】
ステップＳ２５の判定で、判別処理を終了していない弱判別器が残っている場合（ステップＳ２５：ＮＯ）は、ステップＳ２１に戻り、残っている次の弱判別器に設定を更新する。次の弱判別器でステップＳ２２以下の判別処理を繰り返す。
【００６５】
すべての弱判別器での判別処理が終了し、すべての弱判別器での判別出力が重み付き総和されるまで、ステップＳ２１からステップＳ２５までの処理がすべての弱判別器に対して繰り返されることになる。
【００６６】
ステップＳ２６では、重み付き総和部２５の結果が、しきい値処理部２６によりしきい値処理され、ステップＳ２７では、判別結果２７がＴまたはＦ、すなわち１か０の二値で出力される。
【００６７】
以上、特定物体判別装置１０の構成と動作を説明してきたが、特定物体判別装置１０を構成する各強判別器２０は、所望の動作を達成するように、学習データを用いて予め作成しておく。すなわち、学習データに対して所定の誤判別率以下の正しい判別を行えるようにパラメータを最適化する学習処理を行って、強判別器として形成するのである。
【００６８】
その学習の過程で定まるのは、まず強判別器を構成する弱判別器としてどの特徴量を選択するかである。各弱判別器は、それぞれある特徴量と対応しているので、弱判別器の選択は、どの特徴量を選択するかということを意味する。また弱判別器の選択の過程で、その各々の判別処理、すなわち特徴量計算に対するしきい値処理も定まる。
【００６９】
また、選択された各弱判別器の判別出力を処理して強判別器の判別結果を求めるパラメータについても、学習の過程で定まる。すなわち、各弱判別器の判別出力の重み付き総和であり、それに対するしきい値処理である。
【００７０】
このようにして、学習データに対して適当な誤判別率を満たすように強判別器は作成され、かつカスケード構造に従って、後段になるほど誤判別率が小さくなるように、学習による強判別器作成は繰り返される。
【００７１】
図６を用いて、学習データを用いた強判別器の作成の一般的な手順を説明する。図６は、学習データを用いた強判別器の作成の流れの一例を示すフローチャートである。
【００７２】
強判別器の作成を開始すると、まずステップＳ３１で学習データの設定を行う。これは通常、判別すべき特定物体が含まれる画像、及び含まれない画像からなる画像データサンプルの集合であり、学習結果を妥当なものにするため、可能な限り多数の、かつ様々な変化に富んだ画像が集められる。当然学習データにより、判別器の判別能力は影響を受ける。逆に言えば達成したい判別能力により、適切な学習データを選ばなければならないということでもある。
【００７３】
ステップＳ３２では、特徴量群が設定される。これは、特定物体によりどのような特徴量が適切であるかは異なってくるので、可能な限り様々な特徴量を用意しておき、その特定物体に適切な特徴量が選択できるようにしておくものである。
【００７４】
ステップＳ３３では、サンプル分布の初期化を行う。具体的には、特徴量選択に対して学習データに重みを付けるもので、初期化としては通常、均等の重みを付けておく。
【００７５】
ステップＳ３４では、ステップＳ３３で付けた重みの正規化を行っておく。これは単に重みの総和を一定にするだけの数学的な処理である。
【００７６】
ステップＳ３５では、各特徴量に対して、各学習データ毎に上記重み付きで特徴量計算を行い、しきい値処理により判別出力を求める。すなわち、実際の弱判別器の判別処理で行う処理を学習データに対して行っており、その特徴量に対する弱判別器を作成していることになる。
【００７７】
ステップＳ３６では、ステップＳ３５での各弱判別器に対して、学習データ毎に判別出力と実際に特定物体を含むかどうかとの比較演算を行い、その弱判別器としての誤判別率を算出する。
【００７８】
ステップＳ３７では、ステップＳ３６で求めた各弱判別器毎の誤判別率に対して、それが最小になるような弱判別器を選択する。
【００７９】
ステップＳ３８では、ステップＳ３７で選択された結果に応じて、学習データについての重みの更新を行う。次の弱判別器選択に備える。
【００８０】
ステップＳ３９では、ここまでの弱判別器選択により達成された誤判別率が所定値以下であるかどうかを判定する。誤判別率が所定値以下であれば（ステップＳ３９：ＹＥＳ）、弱判別器の選択は終了し、次のステップＳ４０を実行し、選択したＴ個の弱判別器で、強判別器を構成する。
【００８１】
ステップＳ３９の判定で、誤判別率が所定値以下になっていなければ（ステップＳ３９：ＮＯ）、ステップＳ３４に戻り、次の弱判別器の選択に向けて、ステップＳ３９までを繰り返す。ステップＳ３９で誤判別率が所定値以下になるまで、繰り返しは継続し、選択される弱判別器が増えていくことになる。
【００８２】
上記のように誤判別率が所定値以下になり、ステップＳ４０が実行され、選択済みの弱判別器で強判別器が構成されれば、これで一つの強判別器の作成は終了である。
【００８３】
特定物体判別装置として、複数の強判別器を作成配置する場合は、上述の処理を何度も繰り返すことになる。学習データは、その都度、適切に設定することが望ましい。
【００８４】
（構成例１）
上述したのは一般的な強判別器作成のフローであるが、本実施形態例では、それに加えて、後段の強判別器を構成する複数の弱判別器のうち一つは、前段の強判別器を学習データを用いて再度、作成し直したものであることを特徴としている。
【００８５】
図７を用いて、前後２段からなるカスケード構造の特定物体判別装置の例を、構成例１として説明する。図７は、前段の強判別器が後段の弱判別器の一つとして入れ子構造になっている状態を示す図である。
【００８６】
図７において、４１は前段の強判別器Ｈ(1)である。４２は後段の強判別器Ｈ(2)である。特定物体判別装置１０は、この前後２段の強判別器からなるものとする。
【００８７】
前段の強判別器Ｈ(1)は第１の強判別器として機能し、弱判別器４１ａと弱判別器４１ｂとからなる。後段の強判別器Ｈ(2)は、第２の強判別器として機能し、弱判別器４２ａ、４２ｂ、４２ｃ、そして４２ｄとからなる。ここで第２の強判別器を構成する弱判別器のうち弱判別器４２ａは、第１の強判別器Ｈ1とおなじものを、すなわち同じ特徴量を元にして、学習データを変更して再作成したものを弱判別器としている。
【００８８】
すなわち、第２の強判別器を構成する弱判別器のうち、この弱判別器４２ａだけは新たに特徴量の選択を行わず、第１の強判別器４１における特徴量選択を踏襲し、最適化のみをやり直していることになる。この第１の強判別器を基に再作成した弱判別器を、以後第１の弱判別器と呼称する。
【００８９】
前段の強判別器を後段の弱判別器として再作成している意図は、前段で選択された特徴量は基本的な特徴量であり、前段ではＴかＦかという判別結果として利用されているが、後段でもＴかＦかという二値以外に、判別に有効に利用することができると考えられる。さらに、学習データを変更するならば、その基本的な特徴量は、新たな学習データに対する新たな判別能力を形成する上でさらに有効に寄与することもできるであろう。
【００９０】
本構成例では、上記のような入れ子構造を取っている。学習データの設定と再学習による弱判別器としての再作成処理については、作成処理例１、２、３として後述する。
【００９１】
上述の構成例１の特定物体判別装置における特定物体判別処理動作の一例を、再度前述の図４を用いて説明する。適時、図７も参照する。
【００９２】
図４で特定物体の判別処理が開始されると、まずステップＳ１１で判別領域画像１５が設定され、特定物体判別装置に入力される。
【００９３】
ステップＳ１２では、前後２段に配置された強判別器がその順に設定されていく。図７であれば、第１の強判別器４１がまず最初に設定され、強判別器４１に判別領域画像１５が入力される。繰り返しで再度ステップＳ１２へ戻ってきたときには、第２の強判別器４２が設定される。
【００９４】
ステップＳ１３では、設定された強判別器で判別処理が行われ、判別結果がＴまたはＦとして出力される。従ってステップＳ１３は、最初に第１の強判別器が設定されているときは、第１の強判別工程として機能し、次に第２の強判別器が設定されているときは、第２の強判別工程として機能する。この判別処理の詳細は図５を用いて前述した説明と同様である。
【００９５】
ステップＳ１４では、ステップＳ１３での判別結果がＴであるかＦであるかを判定する。Ｔである場合（ステップＳ１４：Ｔ）は、ステップＳ１５を実行する。
【００９６】
ステップＳ１４の判定がＦである場合（ステップＳ１４：Ｆ）は、特定物体判別装置１０としての判定は、そのままＦであり、ステップＳ１７を実行し、判別結果Ｆを出力する。これで判別領域画像１５に対する特定物体判別処理は終了である。
【００９７】
ステップＳ１５では、すべての強判別器、すなわち第１の強判別器と第２の強判別器とで判別処理を終了したかどうかを判定する。すべての強判別器で判別処理を終了した場合（ステップＳ１５：ＹＥＳ）は、判定は最後の強判別器、すなわち第２の強判別器の判別結果Ｔであり、ステップＳ１６を実行し、判別結果Ｔを出力する。これで判別領域画像１５に対する特定物体判別処理は終了である。
【００９８】
ステップＳ１５の判定で、判別処理を終了していない強判別器が残っている場合（ステップＳ１５：ＮＯ）は、ステップＳ１２に戻り、残っている次の強判別器、すなわち第２の強判別器に設定を更新する。第２の強判別器でステップＳ１３以下の判別処理を繰り返す。
【００９９】
図７で説明すると、第１の強判別器４１の判別結果がＦであると判定はＦであり、特定物体判別処理は終了する。第１の強判別器４１の判別結果がＴであると、第２の強判別器４２に判別処理が移る。第２の強判別器４２の判別結果がＦであると、また判定はＦであり、特定物体判別処理は終了する。第２の強判別器４２の判別結果がまたＴであると、次の第３の強判別器は存在しないので、最後の強判別器、すなわち第２の強判別器での判別結果Ｔが、特定物体判別装置としての判定となり、特定物体判別処理は終了する。
【０１００】
＜作成処理例１＞
図８を用いて、図７に示したような入れ子構造の強判別器の作成処理例１について説明する。図８は、学習データの設定とそれによる入れ子構造判別器の作成処理の一例を説明する図である。
【０１０１】
強判別器とそれを構成する弱判別器については、図７と同じ表現で、同じ符号を用いている。それに対する学習データの設定と、適用を矢印で図示している。
【０１０２】
５０は学習データの母体となるサンプル集団である。このサンプル集団５０から選択されて学習データが設定されるものとする。サンプル集団５０は、特定物体を含むサンプル群Ａ（５０ａ）と特定物体を含まないサンプル群Ｂ（５０ｂ）とからなる。
【０１０３】
５１は強判別器４１作成のための学習データであり、第１の学習データとして機能する。学習データ５１は、特定物体を含むデータ群Ａ１と特定物体を含まないデータ群Ｂ１とからなる。この両者がほぼ均等に含まれるように任意に設定すればよい。
【０１０４】
この学習データ５１を第１の学習データとして前段の強判別器４１が作成される。この作成された強判別器が第１の強判別器として機能する。
【０１０５】
次に第２の学習データを設定するために、この作成した強判別器４１を利用する。すなわち、サンプル集団５０から任意に学習データを取り出し、強判別器４１で実際に判別処理を行い、その結果により選別して学習データ５２を設定する。その選別の方針は、例えば以下の通りである。
【０１０６】
サンプル群Ａに対しても、サンプル群Ｂに対しても、強判別器４１による判別結果がＴのものを選別する。従って選別された学習データ５２は、正しく判別された特定物体を含むデータ群Ａ２と誤判別された特定物体を含まないデータ群Ｂ２とからなる。
【０１０７】
誤判別された特定物体を含まないデータ群Ｂ２を用いる理由は、次の段階では前段で誤判別したものを正しく判別する方向に判別器を作成しなければならないからである。
【０１０８】
設定された学習データ５２を用いて、強判別器４１を再作成し、弱判別器４２ａを構築する。従って、学習データ５２は第２の学習データとして機能し、弱判別器４２ａは第１の弱判別器として機能する。
【０１０９】
次に後段の強判別器４２を作成するための学習データ５３を設定する。学習データ５３は第３の学習データとして機能する。これはサンプル集団５０から特定物体を含むデータ群Ａ３と特定物体を含まないデータ群Ｂ３とを任意に設定すればよい。
【０１１０】
学習データ５３を用いて、既に選択してある第１の弱判別器４２ａ以外の弱判別器４２ｂ、４２ｃ、４２ｄを順次選択していき、第２の強判別器として機能する強判別器４２を作成する。
【０１１１】
学習データの設定で特徴的なのは、第２の学習データ設定だけである。これは入れ子構造にするために、前段の強判別器を後段の弱判別器として作成し直すための学習データであり、前段での誤判別に対する判別能力を後段で上げられるように、意図して学習データの設定を行っているのである。
【０１１２】
図９から図１３を用いて、特定物体判別装置の作成方法の一例を説明する。図７に示したような入れ子構造の強判別器作成の処理フロー例について説明する。図９は、入れ子構造判別器の作成の流れの一例を示すフローチャートであり、図１０から図１３は、図９の工程を、それぞれより詳細に示すフローチャートである。
【０１１３】
特定物体判別装置の作成（ここでは構成例１として前後２段の強判別器の作成である）が開始されると、まずステップＳ４１で第１の学習データが設定される。これは前述のように、特定物体を含むデータ群Ａ１と特定物体を含まないデータ群Ｂ１を任意に設定すればよい。ステップＳ４１は第１の学習データ設定工程として機能する。
【０１１４】
ステップＳ４２は、第１の強判別器作成工程として機能する。工程の詳細は、後で図１０を用いて説明する。
【０１１５】
ステップＳ４３は、第２の学習データ設定工程として機能する。工程の詳細は、後で図１１を用いて説明する。
【０１１６】
ステップＳ４４では、第１の強判別器を再作成して第１の弱判別器を作成する。ステップＳ４４は第１の弱判別器作成工程として機能する。工程の詳細は、後で図１２を用いて説明する。
【０１１７】
ステップＳ４５では、第３の学習データが設定される。これも前述のように、特定物体を含むデータ群Ａ３と特定物体を含まないデータ群Ｂ３を任意に設定すればよい。ステップＳ４５は第３の学習データ設定工程として機能する。
【０１１８】
ステップＳ４６では、第２の強判別器を作成する。ステップＳ４６は第２の強判別器作成工程として機能する。工程の詳細は、後で図１３を用いて説明する。
【０１１９】
以上で、第１の強判別器と第２の強判別器が作成され、これを用いて２段構成のカスケード構造の特定物体判別装置を構成することができる。
【０１２０】
＜第１の強判別器作成工程＞
図１０を用いて、第１の強判別器作成工程について説明する。図１０は、図９におけるステップＳ４２、すなわち第１の強判別器作成工程の詳細フローチャートである。
【０１２１】
第１の強判別器作成が開始されると、まずステップＳ５１で第１の学習データを学習のためのサンプルとして設定する。第１の学習データは、第１の強判別器作成工程の前段階で既に選択されている。また特徴量選択するための特徴量群も既に設定されている。
【０１２２】
作成の条件を以下に示しておく。
【０１２３】
【数１】
2007080160.tif 000003
【０１２４】
特徴量ｘは、特徴量群Ｘに属している。判別結果ｙは、特定物体を含むかどうかを０か１かで表す。学習データは、このｘとｙの組み合わせで表現される。すなわち、ある特徴量を有する画像に対して特定物体を含むかどうかの結果が与えられている。
【０１２５】
学習データはサンプルＡ群とＢ群からほぼ均等に選ばれ、その数はそれぞれｍとｌで示されている。Ｔは特徴量が、すなわち弱判別器が選択される個数であり、所定の誤判別率を満たすまでに選択された個数をＴとする。
【０１２６】
次にステップＳ５２では、学習データとして設定したサンプルを初期化する。すなわち、特徴量選択に対して学習データに重みを付けるもので、その重みを初期化する。
【０１２７】
【数２】
2007080160.tif 000004
【０１２８】
Ｄが重みである。最初の段階では、通常重みは均等にしておく。特徴量を選択して行くにつれて、各学習データに対する誤判別の状況を反映して、重みは少しずつ変化していく。
【０１２９】
次にステップＳ５３では、学習データとして設定したサンプルの重みを正規化しておく。これは単に重みの総和を一定にするだけの数学的な処理である。
【０１３０】
【数３】
2007080160.tif 000005
【０１３１】
次にステップＳ５４では、各特徴量毎に弱判別器を作成する。ねらいは各特徴量毎に誤判別率を求めたいためである。弱判別器の一例を次の式に示す。ｈ（ｘ）が特徴量ｘに対する弱判別器であり、その出力が判別結果（ＴまたはＦ）を表す。
【０１３２】
【数４】
2007080160.tif 000006
【０１３３】
次にステップＳ５５では、それぞれの特徴量に対して、重みを付加した上で各学習データに対する判別結果を、実際に特定物体を含むかどうかと比較演算し、その総和という形で誤判別率を算出する。次式のε(1)が誤判別率である。
【０１３４】
【数５】
2007080160.tif 000007
【０１３５】
次にステップＳ５６では、それぞれの特徴量、すなわちそれぞれの弱判別器に対して求めた誤判別率を比較し、誤判別率ε(1)の最小となる特徴量、すなわち弱判別器ｈ1（ｘ）を選択する。これでまず一個の弱判別器が選択された。
【０１３６】
次にステップＳ５７では、学習データに対する重みの更新を行う。これは次の弱判別器選択に備えた処理である。重みＤの更新の一例を次の式に示す。
【０１３７】
【数６】
2007080160.tif 000008
【０１３８】
次にステップＳ５８では、ここまでの弱判別器選択により達成された誤判別率ε(1)が所定の第１の判別率を満たすかどうかを判定する。誤判別率ε(1)が所定の第１の誤判別率以下であれば（ステップＳ５８：ＹＥＳ）、弱判別器の選択は終了し、次のステップＳ５９を実行し、選択したＴ個の弱判別器ｈ1（ｘ）〜ｈT（ｘ）で、強判別器Ｈ(1)（ｘ）を構成する。
【０１３９】
ステップＳ５８の判定で、誤判別率ε(1)が所定の第１の判別率以下になっていなければ（ステップＳ５８：ＮＯ）、ステップＳ５３に戻り、次の弱判別器の選択に向けて、ステップＳ５８までを繰り返す。ステップＳ５８で誤判別率ε(1)が所定の第１の誤判別率以下になるまで、繰り返しは継続し、選択される弱判別器が増えていくことになる。
【０１４０】
弱判別器の選択を終了すると、次のステップＳ５９では、選択済みのＴ個の弱判別器ｈ1（ｘ）〜ｈT（ｘ）で、第１の強判別器Ｈ(1)（ｘ）を構成する。強判別器構成の一例を次の式に示す。
【０１４１】
【数７】
2007080160.tif 000009
【０１４２】
以上で、第１の強判別器作成工程は終了する
＜第２の学習データ設定工程＞
図１１を用いて、第２の学習データ設定工程について説明する。図１１は、図９におけるステップＳ４３、すなわち第２の学習データ設定工程の詳細フローチャートである。
【０１４３】
第２の学習データ設定が開始されると、まずステップＳ６１で、学習データ選択の母体であるサンプル集団５０の特定物体を含まないサンプル群Ｂ（５０ｂ）から、学習データの候補となるサンプルデータを設定する。特定物体を含むサンプル群Ａ（５０ａ）からの設定は、ランダムでよいので後で別途行う。
【０１４４】
次のステップＳ６２では、既に作成した第１の強判別器を用いて、ステップＳ６１で設定した学習データを判別処理してみる。これは第１の強判別器の再利用に当たって、特定物体を含まないのに特定物体を含むと判定する誤判別率を向上させる目的で学習データを選択するためである。
【０１４５】
ステップＳ６３では、ステップＳ６２での判別結果が誤判定であるかどうかを判定する。第１の強判別器での判別結果が誤判定であれば（ステップＳ６３：ＹＥＳ）、ステップＳ６４を実行する。
【０１４６】
ステップＳ６４では、その学習データは誤判定されたということなので、学習データとして選択する。すなわち、第２の学習データの一つとして保存する。
【０１４７】
ステップＳ６３での判定で、第１の強判別器での判別結果が誤判定でなければ（ステップＳ６３：ＮＯ）、上記のステップＳ６４をとばして、ステップＳ６５を実行する。
【０１４８】
ステップＳ６５では、ステップＳ６４で選択され、保存された学習データ数が、予め定めた所定の第２の学習データ数（サンプル群Ｂからの）に達したかどうかを判定する。特定物体を含まないサンプル群Ｂ（５０ｂ）から選択され、保存される学習データ数は、後述する特定物体を含むサンプル群Ａ（５０ａ）からの選択数とほぼ同数とすることが望ましい。
【０１４９】
ステップＳ６５での判定において、選択保存された学習データ数が所定の第２の学習データ数（サンプル群Ｂからの）に達した場合（ステップＳ６５：ＹＥＳ）は、ステップＳ６６を実行する。
【０１５０】
ステップＳ６５での判定において、選択保存された学習データ数が所定の第２の学習データ数（サンプル群Ｂからの）に達していない場合（ステップＳ６５：ＮＯ）は、ステップＳ６１に戻り、新たにサンプル群Ｂ（５０ｂ）から、別の学習データの候補となるサンプルデータを設定する。そして、ステップＳ６５で、選択保存された学習データ数が所定の第２の学習データ数（サンプル群Ｂからの）に達するまで、ステップＳ６１からステップＳ６５までが繰り返されることになる。
【０１５１】
選択保存された学習データ数が所定の第２の学習データ数（サンプル群Ｂからの）に達すると、次のようにステップＳ６６が実行される。すなわち、すでに選択保存された特定物体を含まないサンプル群Ｂからの学習データに加えて、特定物体を含むサンプル群Ａからの学習データを別途選択し、合わせて第２の学習データとして設定する。
【０１５２】
第２の学習データ数は、第１の学習データ数とほぼ同数にすることが望ましい。特定物体を含むサンプル群Ａからの学習データの選択方法は任意である。例えば判別結果Ｔのものを選択してもよいし、ランダムにサンプルしてもよい。あるいは第１の学習データで用いたものをそのまま使用してもよい。
【０１５３】
以上で、第２の学習データ設定工程は終了する。
【０１５４】
＜第１の弱判別器作成工程＞
図１２を用いて、第１の弱判別器作成工程について説明する。図１２は、図９におけるステップＳ４４、すなわち第１の弱判別器作成工程の詳細フローチャートである。
【０１５５】
第１の弱判別器作成工程は、第１の強判別器作成工程で作成した強判別器に対して、第１の強判別器作成工程とほぼ同様の処理を、異なる学習データに対して繰り返すことになる。
【０１５６】
第１の弱判別器作成が開始されると、まずステップＳ７１で第２の学習データを学習のためのサンプルとして設定する。第２の学習データは、第２の学習データ設定工程で既に選択され、設定されている。
【０１５７】
次にステップＳ７２では、学習データとして設定したサンプルを初期化する。すなわち、特徴量選択に対して学習データに重みを付けるもので、その重みを初期化する。最初の段階では、通常重みは均等にしておく。特徴量を選択して行くにつれて、各学習データに対する誤判別の状況を反映して、重みは少しずつ変化していく。以上は、第１の強判別器作成工程と同様である。
【０１５８】
次にステップＳ７３では、第１の強判別器で用いている特徴量の一つを設定する。つまり、第１の強判別器作成工程と異なるのは、誤判別率を元に特徴量を選択していくのではなく、特徴量は既に第１の強判別器として選択済みのものを用いることである。第１の強判別器と同じ特徴量を用いて、異なる学習データで判別器として再作成するのである。
【０１５９】
次にステップＳ７４では、学習データとして設定したサンプルの重みを正規化しておく。これは単に重みの総和を一定にするだけの数学的な処理である。これも、第１の強判別器作成工程と同様である。
【０１６０】
次にステップＳ７５では、設定した特徴量に対して弱判別器を再作成する。以前の第１の学習データと異なる第２の学習データに対して、誤判別率を再算出するためである。判別器としては、第１の強判別器作成工程の場合と同様であるが、重みやしきい値が異なってくる。
【０１６１】
次にステップＳ７６では、設定済みの特徴量に対して、重みを付加した上で各学習データに対する判別結果を、実際に特定物体を含むかどうかと比較演算し、その総和という形で次式のように誤判別率εを算出する。式は第１の強判別器作成工程の場合と同様である。
【０１６２】
【数８】
2007080160.tif 000010
【０１６３】
次にステップＳ７７では、設定済みの特徴量、すなわち再作成済みの弱判別器を構成して判別器を再構築しておく。第１の強判別器の各特徴量、すなわち各弱判別器をすべて再作成し終えることで、目的とする判別器Ｈ（ｘ）を得ることになる。
【０１６４】
次にステップＳ７８では、学習データに対する重みの更新を行う。これは次の弱判別器再作成に備えた処理であり、基本的には、第１の強判別器作成工程と同様である。
【０１６５】
次にステップＳ７９では、第１の強判別器のすべての特徴量を使用したか、すなわちすべての弱判別器を再作成したかどうかを判定する。すべての特徴量を使用した場合（ステップＳ７９：ＹＥＳ）は、ステップＳ８０を実行する。
【０１６６】
ステップＳ７９での判定において、まだ使用していない特徴量が残っている場合（ステップＳ７９：ＮＯ）は、ステップＳ７３へ戻り、第１の強判別器で用いている特徴量からまだ処理していない特徴量を設定し、未使用の特徴量がなくなるまで、ステップＳ７９までの工程を繰り返すことになる。
【０１６７】
第１の強判別器で用いているすべての特徴量を使用し、すべての弱判別器を再作成したときに実行されるステップＳ８０では、再作成された強判別器を元に新たな第１の弱判別器ｈ（ｘ）を構成する。
【０１６８】
新たに再作成された強判別器Ｈ（ｘ）は次の式で表される。
【０１６９】
【数９】
2007080160.tif 000011
【０１７０】
新たな第１の弱判別器としては、強判別器Ｈ（ｘ）の一部を特徴量とし、次の式で第１の弱判別器ｈ（ｘ）を構成する。次段階の第２の強判別器作成工程では、一回目の特徴量選択、すなわち弱判別器作成においては、この第１の弱判別器の特徴量が無条件に選択されることになる。
【０１７１】
【数１０】
2007080160.tif 000012
【０１７２】
以上で、第１の弱判別器作成工程は終了する。
【０１７３】
＜第２の強判別器作成工程＞
図１３を用いて、第２の強判別器作成工程について説明する。図１３は、図９におけるステップＳ４６、すなわち第２の強判別器作成工程の詳細フローチャートである。
【０１７４】
第２の強判別器作成工程は、第１の強判別器作成工程とほぼ同様の処理を、異なる学習データに対して繰り返すことになる。ただし、第１の弱判別器作成工程で再作成した判別器を第一番目の弱判別器として無条件に選択することが異なっている。
【０１７５】
第２の強判別器作成が開始されると、まずステップＳ８１で第３の学習データを学習のためのサンプルとして設定する。第３の学習データは、前段階で既に設定されている。
【０１７６】
次にステップＳ８２では、学習データとして設定したサンプルを初期化する。すなわち、特徴量選択に対して学習データに重みを付けるもので、その重みを初期化する。最初の段階では、通常重みは均等にしておく。これらは、第１の強判別器作成工程と同様である。
【０１７７】
次にステップＳ８３では、第１の弱判別器で用いている特徴量を設定する、あるいは他の特徴量群を用いる。つまり、第１の強判別器作成工程と異なるのは、最初は誤判別率を元に特徴量を選択していくのではなく、特徴量は既に第１の弱判別器として再作成済みのものを用いることである。２回目以後の繰り返しにおいては、第１の強判別器作成工程と同様に、特徴量群の中から順次選択していく。
【０１７８】
次にステップＳ８４では、学習データとして設定したサンプルの重みを正規化しておく。これは単に重みの総和を一定にするだけの数学的な処理である。これも、第１の強判別器作成工程と同様である。
【０１７９】
次にステップＳ８５では、第１の弱判別器が設定されているかどうかを判定する。初期は無条件に第１の弱判別器が設定されているはずであり、２回目以後はそうではなく、特徴量群から弱判別器を作成し、選択していくようになっている。
【０１８０】
ステップＳ８５での判定が、第１の弱判別器が設定されている場合（ステップＳ８５：ＹＥＳ）は、ステップＳ８６を実行する。第１の弱判別器が設定されていない場合（ステップＳ８５：ＮＯ）は、ステップＳ８７を実行する。
【０１８１】
ステップＳ８６では、第１の弱判別器に対して、第３の学習データに対する判別結果の重み付き総和として誤判別率εを算出する。その後ステップＳ９０へ進む。誤判別率ε(2)は次の式で示される。
【０１８２】
【数１１】
2007080160.tif 000013
【０１８３】
ステップＳ８７では、各特徴量毎に弱判別器を作成する。各特徴量毎に誤判別率を求めたいためである。ここからの処理は第１の強判別器作成工程と同様である。
【０１８４】
次にステップＳ８８では、それぞれの特徴量、すなわち弱判別器に対して、重みを付加した上で各学習データに対する判別結果を、実際に特定物体を含むかどうかと比較演算し、その総和という形で誤判別率を算出する。誤判別率ε(2)は、上記の第１の弱判別器と同様の式で示される。
【０１８５】
次にステップＳ８９では、それぞれの特徴量、すなわちそれぞれの弱判別器に対して求めた誤判別率を比較し、誤判別率ε(2)の最小となる特徴量、すなわち弱判別器ｈ(2)（ｘ）を選択する。繰り返しにより、順次弱判別器が選択されることになる。
【０１８６】
次にステップＳ９０では、学習データに対する重みの更新を行う。これは次の弱判別器選択に備えた処理であり、基本的には、第１の強判別器作成工程と同様である。
【０１８７】
次にステップＳ９１では、ここまでの弱判別器選択により達成された誤判別率ε(2)が所定の第２の判別率を満たすかどうかを判定する。誤判別率ε(2)が所定の第２の誤判別率以下であれば（ステップＳ９１：ＹＥＳ）、弱判別器の選択は終了し、次のステップＳ９２を実行し、選択したＴ個の弱判別器ｈ1(2)（ｘ）〜ｈT(2)（ｘ）で、強判別器Ｈ(2)（ｘ）を構成する。
【０１８８】
ステップＳ９１の判定で、誤判別率ε(2)が所定の第２の判別率以下になっていなければ（ステップＳ９１：ＮＯ）、ステップＳ８３に戻り、第１の弱判別器設定であれば、他の特徴量群に設定を変更した上で、次の弱判別器の選択に向けて、ステップＳ９１までを繰り返す。ステップＳ９１で誤判別率ε(2)が所定の第２の誤判別率以下になるまで、繰り返しは継続し、選択される弱判別器が増えていくことになる。
【０１８９】
弱判別器の選択を終了すると、次のステップＳ９２では、選択済みのＴ個の弱判別器ｈ1(2)（ｘ）〜ｈT(2)（ｘ）で、第２の強判別器Ｈ(2)（ｘ）を構成する。強判別器構成の一例を次の式に示す。
【０１９０】
【数１２】
2007080160.tif 000014
【０１９１】
以上で、第２の強判別器作成工程は終了する
＜作成処理例２＞
図１４を用いて、図７に示したような入れ子構造の強判別器の作成処理例２について説明する。図１４は、学習データの設定とそれによる入れ子構造判別器の作成処理の図８とは異なる一例を説明する図である。
【０１９２】
強判別器とそれを構成する弱判別器については、図８と同じ表現で、同じ符号を用いている。また、それに対する学習データの設定と、適用についても、同じ符号を用いて示している。
【０１９３】
図８と異なる点は、第３の学習データ５３がなくて、第２の学習データ５２が第３の学習データを兼ねていることである。
【０１９４】
第１の学習データ５１設定から、第１の強判別器４１を作成し、さらに第２の学習データ５２を設定し、第１の弱判別器４２ａを作成するところまでは、図８の作成処理例１と同様であり、説明は略する。
【０１９５】
その後、後段の強判別器４２を作成するための第３の学習データを設定する段階で、第２の学習データ５２をそのまま第３の学習データとして利用する。すなわち学習データ５２は第３の学習データとしても機能する。
【０１９６】
学習データ５２を用いて、既に選択してある第１の弱判別器４２ａ以外の弱判別器４２ｂ、４２ｃ、４２ｄを順次選択していき、第２の強判別器として機能する強判別器４２を作成する。
【０１９７】
学習データの設定で特徴的なのは、第２の学習データを第３の学習データとしても使用するという設定だけである。
【０１９８】
第１の強判別器における誤判別率を悪くするような学習データに対して判別能力を向上するため、第２の学習データの選択を行う必要があった。しかし、第３の学習データ設定については、そのような必要性はなく、必ずしも新たに学習データを設定し直すこともない。従って、処理を効率化するために学習データを兼用することも可能である。
【０１９９】
この場合、第２の学習データならば、第１の強判別器に対する第１の学習データとは異なっているので、第２の強判別器に対する第３の学習データと兼ねることが可能である。
【０２００】
また、上記作成処理例２における特定物体判別装置の作成方法としての入れ子構造の強判別器作成の処理フロー例についても、作成処理例１について図９から図１３のフローチャートを用いて説明したのと同様である。図９のステップＳ４５の第３の学習データ設定工程を第２の学習データをそのまま用いるものとすれば、その他の処理はすべて同様であるので、説明は省略する。
【０２０１】
（構成例２）
ここまで構成例１として、前後２段からなるカスケード構造の例を、特に前段の強判別器が後段の弱判別器の一つとして入れ子構造になっている例を説明してきた。
【０２０２】
図１５を用いて、前後２段ではなく多段の強判別器からなるカスケード構造の例を、構成例２として説明する。図１５は、多段の強判別器のカスケード構造の一部において、前段の強判別器が後段の弱判別器の一つとして入れ子構造になっている状態を示す図である。
【０２０３】
図１５では、多段のカスケード構造の一部、すなわち、強判別器４１と強判別器４２の前後２段の部分で入れ子構造になっている。この強判別器４１と強判別器４２の前後２段の部分だけを見れば、これまで説明してきた構成例１と全く同じである。構成例１と同じ符号を付している。また作成方法もこの部分だけ見れば構成例１と全く同じである。
【０２０４】
６１から６４として図示した他の強判別器は、実際には何段の構造であってもよい。これらは図６を用いて説明した一般的な強判別器の作成方法で、互いに独立して作成することが可能である。また強判別器が入れ子構造になっている部分は、多段のカスケード構造の内、任意の部分にあってよい。
【０２０５】
このように一般的な強判別器と、入れ子構造がカスケード構造の一部として混在しているだけであり、その各々の部分については既に説明しているので、ここでは説明を繰り返さない。
【０２０６】
（構成例３）
図１６を用いて、前後２段ではなく多段の強判別器からなるカスケード構造であって、かつ多段の強判別器のカスケード構造全体に渡って入れ子構造が見られる例を、構成例３として説明する。図１６は、多段の強判別器のカスケード構造全体にわたって、前段の強判別器が後段の弱判別器の一つとして入れ子構造になっている状態を示す図である。
【０２０７】
図１６では、多段のカスケード構造の全体、すなわち、初段の強判別器４１をのぞく４２から４５のすべての強判別器において入れ子構造、すなわち前段の強判別器が後段の弱判別器として再作成されている状態が見られる。例えば、弱判別器４２ａは、強判別器４１を再作成したものであり、弱判別器４３ａは、強判別器４２を再作成したものであり、弱判別器４４ａ以下も同様である。
【０２０８】
多段の強判別器のカスケード構造全体のうち、任意の前後２段の部分だけを見れば、これまで説明してきた構成例１と全く同じである。また作成方法もその部分だけ見れば構成例１と全く同じである。
【０２０９】
４１から４５として図示した一連の強判別器は、実際には何段の構造であってもよい。強判別器４１を除くそれ以降の強判別器は、直前の強判別器を作成し直したものを弱判別器としてそれぞれ備えている。また場合によっては、直前の強判別器ではなく、先行する何れかの強判別器を再作成した弱判別器を備えていてもよい。
【０２１０】
このようにして、多段の入れ子構造を備えることにより、先行する判別処理を後段でも有効に利用し、段階を進めることによる誤判別率の減少に寄与することができる。すなわちカスケード構造を取るメリットをより大きくすることができる。
【０２１１】
＜作成処理例３＞
図１７を用いて、図１６に示したような多段の入れ子構造の強判別器の作成処理例３について説明する。図１６は、多段の強判別器のカスケード構造全体に渡って入れ子構造である判別器の作成処理の一例を説明する図である。
【０２１２】
強判別器とそれを構成する弱判別器については、作成処理例１、２、すなわち図８、図１４と同じ表現で、同じ符号を用いている。また、それに対する学習データの設定と、適用についても、同じ符号を用いて示している。
【０２１３】
第１の学習データ５１設定から、第１の強判別器４１を作成し、さらに第１の強判別器４１を利用して第２の学習データ５２を選択、設定し、第１の弱判別器４２ａを作成するところ、さらに第３の学習データ５３を設定し、第２の強判別器４２を作成するところまでは、図８の作成処理例１と同様であり、説明は略する。
【０２１４】
図８、図１４と異なる点は、第３の学習データ５３により、第２の強判別器４２を作成してから以後の処理である。図１７では、さらに第２の強判別器４２を利用して第４の学習データ５４を選択、設定し、第２の弱判別器４３ａを作成し、それを用いて、第５の学習データ５５に対して第３の強判別器４３を作成するところまでを図示している。これはさらに強判別器の段数の続く限り、続くのである。
【０２１５】
すなわち、図１６に示したような多段の入れ子構造の強判別器の作成処理は、既に図８などで説明した２段の入れ子構造の作成方法を繰り返し適用することにより、多段の入れ子構造を作成することができる。
【０２１６】
図１８を用いて、２段の入れ子構造の作成方法を繰り返し適用することで、図１６に示したような多段の入れ子構造の強判別器の作成処理を行う流れについて説明する。
【０２１７】
図１８は、図９を用いて説明した２段のカスケード構造の特定物体判別装置（２段の入れ子構造）の作成処理を繰り返すことで、多段のカスケード構造の特定物体判別装置（ここではＮ段の入れ子構造）を作成処理する流れを示すフローチャートである。
【０２１８】
特定物体判別装置（Ｎ段）の作成を開始すると、まずステップＳ１で繰り返しのための指標ＩをＩ＝１と初期設定する。Ｉは２段の入れ子構造の作成処理をＮ−１回繰り返すための指標である。
【０２１９】
次のステップＳ４１からは、図９から図１３で説明した作成処理とほぼ同様の処理を繰り返すことになるので、第１とか第２とかの呼称を指標Ｉを用いて読み替えることで、詳しい説明は省略する。
【０２２０】
ステップＳ４１では、第（Ｉ）の、つまり初期のＩ＝１であれば第１の学習データの設定を行う。図９で説明したステップＳ４１の工程と同様である。
【０２２１】
ステップＳ４２では、第（Ｉ）の、つまり初期のＩ＝１であれば第１の強判別器の作成を行う。強判別器の作成処理は、図９で説明したステップＳ４２の工程と同様である。すなわち、図１０の第１の強判別器作成工程と同様である。
【０２２２】
ステップＳ４３では、第（２Ｉ）の、つまり初期のＩ＝１であれば第２の学習データの設定を行う。学習データの設定処理は、図９で説明したステップＳ４３の工程と同様である。すなわち、図１１の第２の学習データの設定工程と同様である。
【０２２３】
ステップＳ４４では、第（Ｉ）の、つまり初期のＩ＝１であれば第１の弱判別器の作成を行う。弱判別器の作成処理は、図９で説明したステップＳ４４の工程と同様である。すなわち、図１２の第１の弱判別器作成工程と同様である。
【０２２４】
ステップＳ４５では、第（２Ｉ＋１）の、つまり初期のＩ＝１であれば第３の学習データの設定を行う。図９で説明したステップＳ４５の工程と同様である。
【０２２５】
ステップＳ４６では、第（Ｉ＋１）の、つまり初期のＩ＝１であれば第２の強判別器の作成を行う。強判別器の作成処理は、図９で説明したステップＳ４２の工程と同様である。すなわち、図１３の第２の強判別器作成工程と同様である。
【０２２６】
次のステップＳ２では、繰り返しの指標（Ｉ＋１）がＮに達したかどうかを判定する。すなわち、前のステップＳ４６で最後のＮ段目の強判別器の作成を終えたかどうかの判定である。判定がＩ＋１＝Ｎであれば（ステップＳ２：ＹＥＳ）、すべての強判別器の作成を終えたということで、特定物体判別装置（Ｎ段）の作成を終了する。
【０２２７】
ステップＳ４６での判定がＩ＋１＝Ｎでなければ（ステップＳ２：ＮＯ）、まだ作成していない強判別器が残っているということであり、次のステップＳ３でＩ＝Ｉ＋１の演算を実行する。
【０２２８】
指標Ｉを１アップさせた後、ステップＳ４３に戻り、次の段の強判別器作成の流れ（ステップＳ４３からステップＳ４６に至る）に入る。この指標アップと強判別器作成の流れの繰り返しは、ステップＳ２で判定がＩ＋１＝Ｎ（ステップＳ２：ＹＥＳ）となり、すべての強判別器の作成を終えて、特定物体判別装置（Ｎ段）の作成を終了するまで繰り返される。
【０２２９】
以上で、多段の強判別器のカスケード構造全体にわたって、前段の強判別器が後段の弱判別器の一つとして入れ子構造になっている特定物体判別装置の作成処理例の説明を終了する。
【０２３０】
上述のような実施形態例により、弱い判別器の線形結合からなる強判別器を多数並べて配置し、学習データを用いて判別器作成し、すべての判別器での判別結果で特定物体と判別された場合のみ特定物体であると判定する、いわゆるカスケード構造の判別装置において、前段の判別器を、後段の判別器を構成する弱判別器として、学習データを用いて再作成し、最適化をやり直した上で再利用した構成を含むことにより、判別精度が向上し、かつ処理速度面でも向上する特定物体判別装置、特定物体判別方法、及び特定物体判別装置の作成方法を提供することができる。
【０２３１】
なお、上述の実施形態例は、すべての点で例示であって制限的なものではない。本発明の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０２３２】
【図１】本実施形態に係るカスケード構造の特定物体判別装置の一例の概略構成図である。
【図２】図１の特定物体判別装置の構成要素である強判別器の構成例を示す構成図である。
【図３】図２の強判別器の構成要素である弱判別器の構成例を示す構成図である。
【図４】本実施形態に係るカスケード構造の特定物体判別装置の判別処理動作の一例を示すフローチャートである。
【図５】図４の工程における強判別器の判別処理動作の一例を示すフローチャートである。
【図６】学習データを用いた強判別器の作成の流れの一例を示すフローチャートである。
【図７】前段の強判別器が後段の弱判別器の一つとして入れ子構造になっている、前後２段からなるカスケード構造の特定物体判別装置の構成例を示す図である。
【図８】図７の特定物体判別装置に対して、学習データの設定とそれによる入れ子構造判別器の作成処理の一例を説明する図である。
【図９】図７の特定物体判別装置に対して、入れ子構造判別器の作成の流れの一例を示すフローチャートである。
【図１０】図９における第１の強判別器作成工程の詳細フローチャートである。
【図１１】図９における第２の学習データ設定工程の詳細フローチャートである。
【図１２】図９における第１の弱判別器作成工程の詳細フローチャートである。
【図１３】図９における第２の強判別器作成工程の詳細フローチャートである。
【図１４】学習データの設定とそれによる入れ子構造判別器の作成処理の図８とは異なる一例を説明する図である。
【図１５】多段の強判別器のカスケード構造の一部において、前段の強判別器が後段の弱判別器の一つとして入れ子構造になっている、特定物体判別装置の構成例を示す図である。
【図１６】多段の強判別器のカスケード構造全体にわたって、前段の強判別器が後段の弱判別器の一つとして入れ子構造になっている、特定物体判別装置の構成例を示す図である。
【図１７】図１６の特定物体判別装置に対して、判別器の作成処理の一例を説明する図である。
【図１８】図１６の特定物体判別装置に対して、判別器の作成の流れの一例を説明するフローチャートである。
【符号の説明】
【０２３３】
１０  特定物体判別装置
１１、１２、１３  強判別器
１５  判別領域画像
１６  判別結果Ｆ
１７  判別結果Ｔ
２０  強判別器
２１、２２  弱判別器
２５  重み付き総和部
２６  しきい値処理部
２７  判別結果
３０  弱判別器
３１  特徴量計算部
３２  しきい値処理部
３５  判別出力
４１  第１の強判別器
４１ａ、４１ｂ  弱判別器
４２  第２の強判別器
４２ａ  第１の弱判別器
４２ｂ、４２ｃ、４２ｄ  弱判別器
４３  第３の強判別器
４３ａ  第２の弱判別器
４３ｂ、４３ｃ、４３ｄ  弱判別器
５０  学習データのサンプル集団
５０ａ  特定物体を含む学習データサンプル群
５０ｂ  特定物体を含まない学習データサンプル群
５１  第１の学習データ
５２  第２の学習データ
５３  第３の学習データ
５４  第４の学習データ
５５  第５の学習データ
６１、６２、６３、６４  強判別器
【図１】
2007080160.tif 000015
【図２】
2007080160.tif 000016
【図３】
2007080160.tif 000017
【図４】
2007080160.tif 000018
【図５】
2007080160.tif 000019
【図６】
2007080160.tif 000020
【図７】
2007080160.tif 000021
【図８】
2007080160.tif 000022
【図９】
2007080160.tif 000023
【図１０】
2007080160.tif 000024
【図１１】
2007080160.tif 000025
【図１２】
2007080160.tif 000026
【図１３】
2007080160.tif 000027
【図１４】
2007080160.tif 000028
【図１５】
2007080160.tif 000029
【図１６】
2007080160.tif 000030
【図１７】
2007080160.tif 000031
【図１８】
2007080160.tif 000032