(57)【要約】【課題】学習する特徴量を可能な限り抑制しつつ、かつ検出精度の良いクラス識別器を生成するクラス識別器生成装置の提供。【解決手段】複数の学習用ポジティブ画像、及び複数の学習用ネガティブ画像を用いて弱識別器（即ち、特徴量）を学習しクラス識別器候補を生成する（Ｓ１２０）。その生成されたクラス識別器候補を用いて、評価用画像群から検出対象の有無を検出した結果（Ｓ１３０〜Ｓ１９０）、その検出精度が所定値未満であれば（Ｓ２００：ＮＯ）、学習用ポジティブ画像群中の悪化要因画像を未使用ポジティブ画像と入れ替える。その悪化要因画像を入れ替えた新たな学習用ポジティブ画像群、及び学習用ネガティブ画像群を用いて弱識別器を学習し、新たなクラス識別器候補を生成する（Ｓ１２０）。このような新たなクラス識別器候補の中には、悪影響因子を識別するために必要な特徴量を学習することなく生成されたものが含まれる。【選択図】図３
2010224922.tif 000002
【特許請求の範囲】
【請求項１】
撮影装置からの入力画像中に写り込んだ検出対象を検出するためのクラス識別器を生成するクラス識別器生成装置であって、
前記検出対象が写り込んだ画像それぞれをポジティブ画像とし、複数のポジティブ画像が記憶されたポジティブ画像記憶手段と、
前記検出対象が写り込んでいない画像それぞれをネガティブ画像とし、複数のネガティブ画像が記憶されたネガティブ画像記憶手段と、
前記ポジティブ画像記憶手段に記憶されたポジティブ画像のうちの一部からなるポジティブ画像群、及び前記ネガティブ画像記憶手段に記憶されたネガティブ画像のうちの一部からなるネガティブ画像群を用いて学習した識別器をクラス識別器候補として生成する識別器学習処理を実行する識別器候補生成手段と、
前記識別器候補生成手段での学習に用いられた前記ポジティブ画像群の中で、前記識別器候補を用いて前記入力画像から検出対象を検出する際に悪影響を及ぼす要因となるポジティブ画像それぞれを悪化要因画像とし、その悪化要因画像を、前記ポジティブ画像記憶手段に記憶されているポジティブ画像の中で先の学習にて未使用であったものと入れ替えて、前記識別器候補生成手段に前記識別器学習処理を実行させることで、前記識別器候補生成手段に新たなクラス識別器候補を生成させる新候補生成手段と、
前記ポジティブ画像記憶手段に記憶されたポジティブ画像とは別に用意された評価用ポジティブ画像群、及び前記ネガティブ画像記憶手段に記憶されたネガティブ画像とは別に用意された評価用ネガティブ画像群のそれぞれに前記識別器候補生成手段で生成された識別器候補を照合し、その照合の結果、前記評価用ポジティブ画像群からの前記検出対象の検出率が高いほど大きな値、かつ前記評価用ネガティブ画像群からの前記検出対象の検出率が低いほど大きな値となる評価値に基づいて、前記クラス識別器を決定するクラス識別器決定手段と
を備えることを特徴とするクラス識別器生成装置。
【請求項２】
前記識別器候補生成手段は、
入力画像中に設定される矩形領域内の画素値を積分した積分値を特徴量とした複数の弱識別器をカスケード接続したものを前記クラス識別器候補として生成するように、
前記ポジティブ画像群を形成するポジティブ画像のうち、予め規定された規定率以上のポジティブ画像から前記検出対象が検出され、前記ネガティブ画像群を形成するネガティブ画像のうち、予め設定された設定率以上のネガティブ画像から前記検出対象が未検出となるまで、新たな弱識別器を学習することを前記識別器学習処理として実行することを特徴とする請求項１に記載のクラス識別器生成装置。
【請求項３】
前記新候補生成手段は、
前記識別器候補生成手段にて識別器学習処理を実行した際に、前記検出対象を未検出となる前記ポジティブ画像を前記悪化要因画像とすることを特徴とする請求項２に記載のクラス識別器生成装置。
【請求項４】
前記新候補生成手段は、
前記識別器候補生成手段にて識別器学習処理を実行した際に、予め設定された設定数以上の弱識別器を学習することで前記検出対象を検出可能となった前記ポジティブ画像を前記悪化要因画像とすることを特徴とする請求項２または請求項３に記載のクラス識別器生成装置。
【請求項５】
前記クラス識別器決定手段は、
前記評価値が最大である前記クラス識別器候補を、前記クラス識別器とすることを特徴とする請求項１ないし請求項４のいずれかに記載のクラス識別器生成装置。
【請求項６】
前記クラス識別器決定手段は、
前記評価用ポジティブ画像群及び前記評価用ネガティブ画像群のそれぞれへの前記クラス識別器候補の照合を、前記識別器候補生成手段にてクラス識別器候補を生成する毎に実施し、前記評価値が予め規定された規定値以上であれば、その生成されたクラス識別器候補を前記クラス識別器とすることを特徴とする請求項１ないし請求項４のいずれかに記載のクラス識別器生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像に写り込んだ検出対象を検出するために用いられるクラス識別器を生成するクラス識別器生成装置に関する。
【背景技術】
【０００２】
従来より、撮影装置から入力された画像（以下、入力画像と称す）に基づいて、自車両の前方に位置する歩行者や車両（以下、検出対象とする）を検出し、運転者に対する警告や車両制御を実行する運転支援装置が知られている。
【０００３】
このような運転支援装置においては、入力画像中に写り込んだ検出対象を精度良く検出することが重要となる。
この検出対象を精度良く検出する方法として、Ｈａａｒ  Ｌｉｋｅ特徴からなる弱識別器（即ち、特徴量）をブースティング理論（例えば、アダブースト）によって学習させ、それぞれに重みが付与された弱識別器を一列にカスケード接続した各ステージを、さらに、カスケード接続した強識別器（以下、クラス識別器とも称す）を用いるものが知られている（例えば、特許文献１参照）。以下、このような強識別器を、撮影装置からの入力画像に照合して、その入力画像から検出対象を検出する装置を従来識別装置と称す。
【０００４】
その従来識別装置では、入力画像から切り出した部分領域に対して、カスケード接続された接続順に弱識別器を順次適用し、個々の弱識別器による識別結果から、部分領域に検出対象が写り込んでいる可能性を表す尤度値を求める。そして、その求められた尤度値の重み付き線形和が、弱識別器の学習時に設定された規定閾値以上であれば、部分領域中に検出対象が写り込んでいるものとして、検出対象を検出している。
【０００５】
なお、弱識別器の学習は、予め用意された学習用画像を用いて実施される。その学習用画像は、検出対象が一つだけ写り込んだ複数（例えば、５０００枚）の学習用ポジティブ画像と、検出対象が写り込んでいない複数（例えば、５０００枚）の学習用ネガティブ画像とからなる。
【０００６】
そして、各ステージについての具体的な学習では、予め用意された複数の弱識別器それぞれを、学習用画像それぞれに照合して、検出対象であるか否かを識別可能な弱識別器の配置、その弱識別器に対する重み、及び検出対象を検出する際に用いる規定閾値を設定する。ただし、この学習では、学習用ポジティブ画像の集合のうち、規定率以上の学習用ポジティブ画像から、それらの画像中に写り込んだ検出対象を検出し、かつ学習用ネガティブ画像の集合のうち、設定率以上の学習用ネガティブ画像から、それらの画像中に検出対象が写り込んでいないことが正しく検出されるようになるまで、そのステージを構成する弱識別器が追加される。なお、規定率は、設定率よりも大きな値に設定され、例えば、規定率：９９．５％，設定率：５０％に設定されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２０９５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、学習用ポジティブ画像の集合は、クラス識別器の作成者が任意で選ぶものであるため、検出対象を表す一般的な特徴とは異なる特徴（以下、異質特徴と称す、例えば、検出対象が歩行者であれば、歩行者の向きや体型などの個人差、また歩行者が所持している所持品の種類などによって現れる特徴）を有した検出対象が写り込んだ画像が含まれている可能性がある。
【０００９】
このような学習用ポジティブ画像の集合を用いて学習がなされる場合、異質特徴を有した検出対象も検出可能となるように弱識別器が設定されるが、この異質特徴を識別するための弱識別器は、検出対象の一般的な特徴に合致するとは限らない。
【００１０】
つまり、このような場合における学習では、異質特徴を識別するために過学習となり、その学習によって生成されたクラス識別器を用いて、入力画像に写り込んだ検出対象を検出すると、検出精度が低下する可能性があるという問題があった。
【００１１】
特に、このような過学習となった状態にて生成されたクラス識別器は、検出対象を検出するために必要となる特徴量（即ち、弱識別器の数）が増加し、入力画像に写り込んだ検出対象を検出する際の処理量が増加するという問題が生じる。
【００１２】
そこで、本発明は、学習する特徴量を可能な限り抑制しつつ、検出精度の良いクラス識別器を生成するクラス識別器生成装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するためになされた本発明は、撮影装置からの入力画像中に写り込んだ検出対象を検出するためのクラス識別器を生成するクラス識別器生成装置に関するものである。
【００１４】
その本発明のクラス識別器生成装置では、複数のポジティブ画像がポジティブ画像記憶手段に記憶され、複数のネガティブ画像がネガティブ画像記憶手段に記憶されている。ただし、ここで言うポジティブ画像とは、検出対象が写り込んだ画像それぞれであり、ネガティブ画像とは、検出対象が写り込んでいない画像それぞれである。
【００１５】
そして、識別器候補生成手段が、ポジティブ画像記憶手段に記憶されたポジティブ画像のうちの一部からなるポジティブ画像群、及びネガティブ画像記憶手段に記憶されたネガティブ画像のうちの一部からなるネガティブ画像群を用いて学習した識別器をクラス識別器候補として生成する識別器学習処理を実行する。
【００１６】
さらに、新候補生成手段が、識別器候補生成手段での学習に用いられたポジティブ画像群の中で、悪化要因画像を、ポジティブ画像記憶手段に記憶されているポジティブ画像の中で先の学習にて未使用であったものと入れ替えて、識別器候補生成手段に識別器学習処理を実行させることで、識別器候補生成手段に新たなクラス識別器候補を生成させる。
【００１７】
そして、クラス識別器決定手段が、ポジティブ画像記憶手段に記憶されたポジティブ画像とは別に用意された評価用ポジティブ画像群、及びネガティブ画像記憶手段に記憶されたネガティブ画像とは別に用意された評価用ネガティブ画像群のそれぞれに識別器候補生成手段で生成された識別器候補を照合する。その照合の結果、評価用ポジティブ画像群からの検出対象の検出率が高いほど大きな値、かつ評価用ネガティブ画像群からの検出対象の検出率が低いほど大きな値となる評価値に基づいて、クラス識別器を決定する。
【００１８】
つまり、本発明のクラス識別器生成装置では、入力画像から検出対象を検出する際に悪影響（例えば、検出精度を低下させたり、検出結果を導出するまでの処理量を増加させたりすること）を及ぼす要因（例えば、特殊な特徴や大きなノイズ（即ち、異質特徴）を有した検出対象、以下、悪影響因子と称す）となるポジティブ画像を悪化要因画像とし、その悪化要因画像を、他のポジティブ画像と入れ替えて識別器学習処理を実行する。これにより、異なるポジティブ画像によって構成されたポジティブ画像群を用いて学習したクラス識別器候補が新たに生成される。
【００１９】
このようにして新たに生成されたクラス識別器候補の中には、悪影響因子を識別するために必要となる特徴量を学習することなく生成されたものが含まれる。つまり、クラス識別器候補として、検出対象の一般的な特徴を識別するための特徴量のみを学習したものが含まれる。
【００２０】
したがって、本発明のクラス識別器生成装置によれば、クラス識別器を生成するために学習する特徴量の数を低減できる。そして、本発明のクラス識別器生成装置にて生成されたクラス識別器を用いて、入力画像に写り込んだ検出対象を検出すれば、その検出精度を向上させることができると共に、入力画像に写り込んだ検出対象を検出する際の処理量を低減できる。
【００２１】
換言すれば、本発明のクラス識別器生成装置によれば、学習する特徴量を可能な限り抑制しつつ、検出精度の良いクラス識別器を生成することができる。
ところで、クラス識別器は、ＳＶＭ（Ｓｕｐｐｏｒｔ  ｖｅｃｔｏｒ  ｍａｃｈｉｎｅ）や、バックプロパゲーションなどでも良いが、入力画像中に設定される矩形領域内の画素値を積分した積分値を特徴量とした複数の弱識別器をカスケード接続することで構成したものであることが望ましい。
【００２２】
このようなクラス識別器を用いる場合、識別器候補生成手段は、請求項２に記載のように、ポジティブ画像群を形成するポジティブ画像のうち、規定率以上のポジティブ画像から検出対象が検出され、ネガティブ画像群を形成するネガティブ画像のうち、設定率以上のネガティブ画像から検出対象が未検出となるまで、新たな弱識別器を学習することを識別器学習処理として実行するように構成されていることが望ましい。すなわち、識別器候補生成手段は、いわゆるブースティング理論を用いた学習を識別器学習処理として実行することが望ましい。
【００２３】
ただし、ここで言う規定率は、１未満であり、かつ設定率よりも大きな値である。
この請求項２に記載のクラス識別器生成装置において、新候補生成手段により、他のポジティブ画像と入れ替えられる悪化要因画像は、請求項３に記載のように、識別器候補生成手段にて識別器学習処理を実行した際に、検出対象を未検出であったポジティブ画像でも良い。また、悪化要因画像は、請求項４に記載のように、識別器候補生成手段にて識別器学習処理を実行した際に、設定数以上の弱識別器を学習することで検出対象を検出可能となったポジティブ画像であっても良い。
【００２４】
これらのような悪化要因画像を、他のポジティブ画像と入れ替えることで、本発明のクラス識別器生成装置にて生成されたクラス識別器に、悪影響因子を識別するために必要となる弱識別器が反映されることをより確実に低減できる。
【００２５】
ところで、本発明において、クラス識別器決定手段は、請求項５に記載のように、評価値が最大であるクラス識別器候補を、クラス識別器とするように構成されていても良い。また、クラス識別器決定手段は、請求項６に記載のように、評価用ポジティブ画像群及び評価用ネガティブ画像群のそれぞれへのクラス識別器候補の照合を、識別器候補生成手段にてクラス識別器候補を生成する毎に実施し、評価値が規定値以上であれば、その生成されたクラス識別器候補をクラス識別器とするように構成されていても良い。
【００２６】
前者のように構成されたクラス識別器決定手段によれば、複数生成されたクラス識別器候補の中で、検出対象の検出性能が最も良いものをクラス識別器として決定することができる。この結果、入力画像に写り込んだ検出対象を精度良く検出することができる。
【００２７】
また、クラス識別器決定手段が後者のように構成されたクラス識別器生成装置において、クラス識別器決定手段がクラス識別器を決定した時点で、識別器学習処理の実行を終了するように識別器候補生成手段及び新候補生成手段を構成すれば、必要以上にクラス識別器候補を生成することが無くなる。この結果、クラス識別器が決定されるまでに要する処理時間を短縮することができる。
【図面の簡単な説明】
【００２８】
【図１】クラス識別器生成装置の機能的構成を示したブロック図である。
【図２】クラス識別器を利用して検出対象を検出する運転支援システムの概略構成を示したブロック図である。
【図３】クラス識別器生成処理の処理手順を示したフローチャートである。
【図４】識別器学習処理の処理手順を示したフローチャートである。
【図５】学習用ポジティブ画像リストを例示した図面である。
【図６】クラス識別器生成処理において学習用ポジティブ画像を入れ替える際の概念を示した説明図である。
【図７】弱識別器として用いるＨａａｒ  Ｌｉｋｅ特徴を例示した図面である。
【発明を実施するための形態】
【００２９】
以下に本発明の実施形態を図面と共に説明する。
〈運転支援システムについて〉
図２は、本発明が適用されたクラス識別器生成装置にて生成されたクラス識別器を用いる車載用運転支援システムの概略構成を示すブロック図である。
【００３０】
この運転支援システム１にて用いられる（即ち、クラス識別器生成装置にて生成される）クラス識別器は、予め設定された検出対象（例えば、歩行者）の特徴を表すものである。このクラス識別器は、Ｈａａｒ  Ｌｉｋｅ特徴を特徴量とした複数の弱識別器からなる各ステージを、さらに、カスケード接続することで構成されている。このクラス識別器を構成する各ステージは、それぞれに重み（後述する識別器重みαt）が付与された弱識別器を一列にカスケード接続したものであり、弱識別器の接続段数ｔは、予め設定された設定数である。
【００３１】
なお、Ｈａａｒ  Ｌｉｋｅ特徴とは、図７（Ａ）〜（Ｃ）に示すように、矩形領域内の画素値を積分した積分値（即ち、画素値の総和）を特徴量としたものであり、この図７に例示したものでは、網掛けされた領域と網掛けされていない領域とにおける積分値の差分が特徴量となる。
【００３２】
そして、運転支援システム１は、自車両の前方を撮影した画像を入力画像として取得する撮影機構（例えば、ＣＣＤカメラ）３と、撮影機構３にて取得した入力画像にクラス識別器を照合することにより、入力画像に写り込んだ検出対象（例えば、歩行者や、車両）の有無を検出（以下、対象有無判定と称す）すると共に、その検出結果に従って、運転者に対する支援を実施するように、複数の車載装置（例えば、モニタやスピーカ）からなる制御対象機器群９を制御する制御装置６とを備えた周知のものである。
【００３３】
つまり、制御装置６では、入力画像から切り出した部分領域に、カスケード接続された接続順に弱識別器を順次適用し、その部分領域内に検出対象が写り込んでいる可能性を表す尤度値を求める。さらに、個々の弱識別器毎に求められた尤度値から重み付き線形和を導出し、その導出された重み付き線形和が、弱識別器の学習時（即ち、クラス識別器の生成時）に設定された設定閾値ｔｈ以上であれば、部分画像中に検出対象が写り込んでいるものとして、検出対象が存在する領域を検出している。
【００３４】
そして、入力画像から検出対象が検出されると、制御装置６は、モニタに、入力画像そのものを表示させると共に、その入力画像上において検出対象が存在する位置にマーカ（例えば、検出対象を囲うような枠）を重畳させる。さらに、スピーカーに、自車両前方に検出対象が存在する旨の音声を出力させる。
〈クラス識別器生成装置の構成〉
図１は、本発明が適用されたクラス識別器生成装置の機能的構成を示したブロック図である。
【００３５】
このクラス識別器生成装置２０において、クラス識別器の生成は、予め用意された学習用画像を用いたブースティング理論（例えば、ＡｄａＢｏｏｓｔ）により、弱識別器を学習することで実施される。その学習に用いられる画像（即ち、学習用画像）は、検出対象が一つだけ写り込んだ複数のポジティブ画像と、検出対象が写り込んでいない複数のネガティブ画像とからなる。
【００３６】
なお、全てのポジティブ画像とネガティブ画像（ここでは、学習用画像の他に、後述する評価用画像も含む）とは、画像サイズが均一となるように正規化されている。これと共に、学習用画像それぞれには、各学習用画像を区別するための画像インデックスが対応付けられている。
【００３７】
以下、学習に用いられる可能性のあるポジティブ画像、即ち、学習用画像としてのポジティブ画像それぞれを学習用ポジティブ画像、学習に用いられる可能性のあるネガティブ画像、即ち、学習用画像としてのネガティブ画像それぞれを学習用ネガティブ画像と称す。
【００３８】
このように、弱識別器の学習を実施してクラス識別器を生成するクラス識別器生成装置２０は、複数（本実施形態では、例えば、１００００枚）の学習用ポジティブ画像，及び複数（本実施形態では、例えば、１００００枚）の学習用ネガティブ画像を記憶する学習用画像記憶部２１を有している。さらに、クラス識別器生成装置２０は、学習用画像記憶部２１に記憶された全ての学習用ポジティブ画像のうちの一部（本実施形態では、例えば、５０００枚）の学習用ポジティブ画像（以下、学習用ポジティブ画像群と称す）、及び全ての学習用ネガティブ画像のうちの一部（本実施形態では、例えば、５０００枚）の学習用ネガティブ画像（以下、学習用ネガティブ画像群と称す）を用いて弱識別器を学習し、クラス識別器候補を生成する識別器学習部２３を有している。
【００３９】
また、クラス識別器生成装置２０は、学習用ポジティブ画像とは別に用意された複数のポジティブ画像（以下、このポジティブ画像それぞれを評価用ポジティブ画像と称し、評価用ポジティブ画像の集合を評価用ポジティブ画像群と称す）、及び学習用ネガティブ画像とは別に用意された複数のネガティブ画像（以下、このネガティブ画像それぞれを評価用ネガティブ画像と称し、評価用ネガティブ画像の集合を評価用ネガティブ画像群と称す）を記憶する評価用画像記憶部２４を有している。さらに、クラス識別器生成装置２０は、評価用画像記憶部２４に記憶された評価用ポジティブ画像群、及び評価用ネガティブ画像群のそれぞれに、識別器学習部２３にて生成されたクラス識別器候補を照合して評価すると共に、その評価結果に従って、その生成されたクラス識別器候補をクラス識別器として決定するか、または学習用ポジティブ画像群を形成する一部の学習用ポジティブ画像（以下、悪化要因画像と称す）を先の学習時に未使用であった学習用ポジティブ画像（以下、未使用ポジティブ画像と称す）と入れ替えて、識別器学習部２３による新たなクラス識別器候補を生成するかについて判定する識別器評価部２６とを有している。
【００４０】
なお、クラス識別器生成装置２０の実体は、ＲＯＭ，ＲＡＭ，ＣＰＵを少なくとも有した周知のマイクロコンピュータを中心に、補助記憶装置（例えば、ＨＤＤ），操作部，及び表示部を備えた、いわゆるパーソナルコンピュータである。
【００４１】
つまり、クラス識別器生成装置２０は、ＲＯＭまたはＲＡＭに格納された処理プログラムに従って、学習用画像を用いて弱識別器（即ち、特徴量）を学習することでクラス識別器候補を生成すると共に、その生成されたクラス識別器候補を、評価用ポジティブ画像群及び評価用ネガティブ画像群を用いて評価し、その生成されたクラス識別器候補がクラス識別器として適切であるか否かを判定するクラス識別器生成処理を実行するように構成されている。なお、このクラス識別器生成処理にて用いられる学習用ポジティブ画像、学習用ネガティブ画像、評価用ポジティブ画像、評価用ネガティブ画像の全ては、クラス識別器を構成する補助記憶装置に格納されている。
【００４２】
これにより、補助記憶装置が、学習用画像記憶部２１，評価用画像記憶部２４として機能すると共に、クラス識別器生成処理を実行したＣＰＵが、識別器学習部２３，識別器評価部２６として機能する。
〈クラス識別器生成処理について〉
次に、クラス識別器生成装置を構成するＣＰＵが実行するクラス識別器生成処理について説明する。
【００４３】
ここで、図３は、クラス識別器生成処理の処理手順を示したフローチャートである。
図３に示すように、このクラス識別器生成処理は、起動されると、まず、Ｓ１１０にて、補助記憶装置に記憶されている全ての学習用ポジティブ画像、全ての学習用ネガティブ画像を、それぞれ、学習用画像リストに展開する。
【００４４】
具体的に、学習用画像リストは、学習用ポジティブ画像、学習用ネガティブ画像それぞれに対して予め用意されたものである。その学習用画像リストは、画像それぞれについてのリスト順位と対応付けて、画像インデックスが記述されるインデックス記述欄と、弱識別器の学習時における検出対象の検出の正否を、画像インデックスと対応付けて記述するステージ検出可否記述欄とが設けられている。
【００４５】
なお、リスト順位は、弱識別器の学習時に、弱識別器を照合する学習用画像の順序を表すものである。すなわち、このリスト順位が、１から５０００までに対応する学習用ポジティブ画像、及び学習用ネガティブ画像によって、学習用ポジティブ画像群、及び学習用ネガティブ画像群（以下、学習用ポジティブ画像群と学習用ネガティブ画像群とをまとめて学習用画像群と称す）を形成する。また、このリスト順位が５００１以上である学習用ポジティブ画像、及び学習用ネガティブ画像は、それぞれ、未使用ポジティブ画像、及び未使用ネガティブ画像（以下、未使用ポジティブ画像の集合（即ち、群）と未使用ネガティブ画像の集合（群）とをまとめて未使用画像群と称す）となる。
【００４６】
続いて、Ｓ１２０にて、クラス識別器候補を生成する識別器学習処理を実行する。
この識別器学習処理では、予め用意された複数の弱識別器それぞれを、学習用画像それぞれに対して順次照合し、検出対象の部分的な特徴が検出可能となる弱識別器の配置、その弱識別器に対する重み（即ち、識別器重みαt、ただし、添え字ｔは、その弱識別器の接続段数ｔである）、及び検出対象の有無を検出する際に用いる規定閾値ｔｈを設定する。このとき、学習用ポジティブ画像群を形成する学習用ポジティブ画像のうち、規定率以上の学習用ポジティブ画像から、それらの画像中に写り込んだ検出対象を検出すると共に、学習用ネガティブ画像群を形成する学習用ネガティブ画像のうち、設定率以上の学習用ネガティブ画像から、それらの画像中に検出対象が写り込んでいないことが正しく検出されるようになるまで、各ステージを構成する弱識別器が追加される（即ち、弱識別器の接続段数が増加する）。なお、本実施形態における規定率は、設定率よりも大きな値に設定され、例えば、規定率：９９．５％，設定率：５０％に設定されている。
【００４７】
つまり、識別器学習処理を実行することにより、それぞれに識別器重みαtが付与された弱識別器を一列にカスケード接続した各ステージを、さらに、カスケード接続したクラス識別器候補が生成される。
【００４８】
さらに、Ｓ１３０では、補助記憶装置に記憶されている評価用ポジティブ画像群の中から、１つの評価用ポジティブ画像を抽出する。
続く、Ｓ１４０では、Ｓ１３０にて抽出した評価用ポジティブ画像に対し、今サイクルのＳ１２０（即ち、先の識別器学習処理）にて生成されたクラス識別器候補を照合し、評価用ポジティブ画像に写り込んだ検出対象を検出可能であるか否かを出力する。このＳ１４０での出力（即ち、出力値）は、評価用ポジティブ画像から検出対象が検出されていれば「１」を、評価用ポジティブ画像から検出対象が検出されていなければ「０」となる。なお、評価用画像に対しクラス識別器候補を照合して検出対象の有無を判定する処理は、運転支援システム１における対象有無判定と同様であるため、ここでの詳しい説明を省略する。
【００４９】
さらに、Ｓ１５０では、全ての評価用ポジティブ画像に対して、Ｓ１４０での照合を実施済みであるか否かを判定する。その判定の結果、全ての評価用ポジティブ画像に対して、Ｓ１４０での照合を実施していなければ、Ｓ１３０へと戻り、評価用ポジティブ画像の中で、未照合である評価用ポジティブ画像を抽出し、Ｓ１４０での照合を実行する。そして、全ての評価用ポジティブ画像に対して、Ｓ１４０での照合が完了すると、Ｓ１６０へと進む。
【００５０】
そのＳ１６０では、補助記憶装置に記憶されている評価用ネガティブ画像群の中から、１つの評価用ネガティブ画像を抽出する。
続く、Ｓ１７０では、Ｓ１６０にて抽出した評価用ネガティブ画像に対し、先の識別器学習処理にて生成されたクラス識別器候補を照合し、評価用ネガティブ画像に写り込んだ検出対象を検出可能であるか否かを出力する。このＳ１７０での出力（即ち、出力値）は、評価用ネガティブ画像から検出対象が検出されていれば「０」を、評価用ネガティブ画像から検出対象が検出されていなければ「１」となる。
【００５１】
さらに、Ｓ１８０では、全ての評価用ネガティブ画像に対して、Ｓ１７０での照合を実施済みであるか否かを判定する。その判定の結果、全ての評価用ネガティブ画像に対して、Ｓ１７０での照合を実施していなければ、Ｓ１６０へと戻り、評価用ネガティブ画像の中で、未照合である評価用ネガティブ画像を抽出し、Ｓ１７０での照合を実行する。そして、全ての評価用ネガティブ画像に対して、Ｓ１７０での照合が完了すると、Ｓ１９０へと進む。
【００５２】
そのＳ１９０では、Ｓ１４０での照合結果、及びＳ１７０での照合結果の全てに基づいて、今サイクルのＳ１２０にて生成されたクラス識別器候補に対する評価値ＳＷを導出する。その評価値ＳＷは、Ｓ１４０での出力値の総和である第１評価値ＳＷ1と、Ｓ１４０での出力値の総和である第２評価値ＳＷ2とからなる。
【００５３】
つまり、第１評価値ＳＷ1は、評価用ポジティブ画像群を形成する評価用ポジティブ画像からの検出対象の検出率が高いほど大きな値となる。一方、第２評価値ＳＷ2は、評価用ネガティブ画像群を形成する評価用ネガティブ画像からの検出対象の検出率が低いほど大きな値となる。
【００５４】
続く、Ｓ２００では、Ｓ１９０にて導出された評価値ＳＷそれぞれ（即ち、第１評価値ＳＷ1、第２評価値ＳＷ2の両方）が、予め設定された設定閾値ｔｈ以上であるか否かを判定する。その判定の結果、第１評価値ＳＷ1、第２評価値ＳＷ2の両方が設定閾値ｔｈ以上であれば、今サイクルのＳ１２０にて生成されたクラス識別器候補を用いた検出対象の検出精度が所定値以上になるものと判断して、Ｓ２１０では進む。
【００５５】
そのＳ２１０では、今サイクルの識別器学習処理にて生成されたクラス識別器候補をクラス識別器として出力し、その後、クラス識別器生成処理を終了する。
一方、Ｓ２００での判定の結果、第１評価値ＳＷ1、第２評価値ＳＷ2のうち、少なくとも一方が設定閾値ｔｈ未満であれば、今サイクルのＳ１２０にて生成されたクラス識別器候補を用いた検出対象の検出精度が所定値未満になるものとして、Ｓ１２０へと戻る。
【００５６】
そのＳ１２０では、識別器学習処理を実行する。この時実行される識別器学習処理により、学習用画像リストに従って、学習用ポジティブ画像群の中に含まれていた悪化要因画像が未使用ポジティブ画像へと入れ替えられ、新たに形成される学習用ポジティブ画像群を用いて弱識別器の学習を実行する。よって、新たなクラス識別器候補が生成される。
【００５７】
そして、新たに生成されたクラス識別器候補に対する評価値ＳＷそれぞれ（即ち、第１評価値ＳＷ1、第２評価値ＳＷ2の両方）が設定閾値ｔｈ以上となるまで、クラス識別器生成処理が繰り返される。
〈識別器学習処理について〉
次に、識別器学習処理について説明する。
【００５８】
ここで、図４は、弱識別器学習処理の処理手順を示すフローチャートである。
この弱識別器学習処理は、クラス識別器生成処理のＳ１２０にて起動されると、まず、学習用画像それぞれに対する重み（以下、画像重みＤt（ｉ）とする）を初期化する（Ｓ１２１０）。即ち、Ｄt（ｉ）＝１／Ｎ，Ｎは、学習用画像群を形成する学習用画像の枚数（本実施形態では、１００００。ただし、ここでの添え字ｉは、学習用画像それぞれについての画像インデックスであり、添え字ｔは、今サイクルにて決定する弱識別器の接続段数である。
【００５９】
続いて、予め用意された全ての弱識別器の中から１つの弱識別器ｈjを抽出する（Ｓ１２２０）。なお、弱識別器ｈjの実体は、Ｈａａｒ  Ｌｉｋｅ特徴を評価するための評価関数ｈjである。
【００６０】
その抽出した弱識別器ｈjを、学習用画像群を形成する学習用画像の中の１つ（以下、抽出画像ｘi）に照合し、出力値ｙiを導出する（Ｓ１２３０）。この出力値ｙiは、弱識別器ｈjが配置される抽出領域中の領域それぞれに対してが導出される。このとき、弱識別器ｈjが適合（即ち、特徴量を検出）していれば、出力値ｙiは「１」となり、弱識別器ｈjが未適合であれば、出力値ｙiは「−１」となる。ただし、添え字ｊは、弱識別器を区別するためのインデックスである。
【００６１】
さらに、学習用画像群を形成する全ての学習用画像に対して、Ｓ１２２０にて抽出した弱識別器ｈjを照合したか否かを判定する（Ｓ１２４０）。その判定の結果、全ての学習用画像に対して照合を実施していなければ、Ｓ１２３０へと戻り、未照合である学習用画像を抽出画像ｘi+1として読み出して、弱識別器ｈjを照合する。
【００６２】
一方、Ｓ１２４０での判定の結果、全ての学習用画像に弱識別器ｈjを照合済みであれば、Ｓ１２５０へと進む。
そのＳ１２５０では、下記（１）式に従って、検出誤差ｅjを導出する（Ｓ１２７０）。なお、（１）式中におけるｈj（ｘi）≠ｙi＝ｃａは、画像インデックスｉにより識別される学習用画像ｘiに、弱識別器ｈjを照合した際に誤判定であったことを意味する。
【００６３】
【数１】
2010224922.tif 000003
つまり、検出誤差ｅjは、Ｓ１２３０にて弱識別器ｈjが誤判定した学習用画像ｘiに付与された画像重みＤt（ｉ）の総和である。したがって、この検出誤差ｅjは、画像重みＤｔ（ｉ）が大きな値である学習用画像に対して、弱識別器ｈjが誤判定するほど大きな値となる。
【００６４】
ただし、ここで言う誤判定とは、弱識別器ｈjが照合された学習用画像ｘiが学習用ポジティブ画像であれば、弱識別器ｈjが未適合となったこと（いわゆる、Ｆａｌｓｅ  Ｐｏｓｉｔｉｖｅ）であり、弱識別器ｈjが照合された学習用画像ｘiが学習用ネガティブ画像であれば、弱識別器ｈjが適合したこと（いわゆるＦａｌｓｅ  Ｎｅｇａｔｉｖｅ）である。
【００６５】
続いて、抽出画像に対して、全ての弱識別器を照合したか否かを判定する（Ｓ１２６０）。その判定の結果、全ての弱識別器について照合が完了していなければ、Ｓ１２２０へと戻り、全ての弱識別器の中から未照合の弱識別器ｈj+1を１つを選択して、Ｓ１２３０へと進む。
【００６６】
一方、Ｓ１２６０での判定の結果、全ての弱識別器について照合済であれば、Ｓ１２７０へと進む。このとき、Ｓ１２２０からＳ１２６０での一連の処理ルーチンにおけるＳ１２５０にて導出される検出誤差ｅjは、弱識別器ｈjの総数分となる。
【００６７】
そして、Ｓ１２７０では、検出誤差ｅjに従って、クラス識別器候補のステージを構成する１つの弱識別器（以下、構成弱識別器ｈtと称す）を決定し、前接続段ｔ−１までの弱識別器（すなわち、弱識別器の組合せ）に追加する。すなわち、このＳ１２６０では、クラス識別器候補のステージを構成するパラメータのうち、接続段数がｔ番目の構成弱識別器ｈtの配置が決定される。
【００６８】
具体的には、Ｓ１２２０からＳ１２６０までの一連の処理ルーチン（以下、単に処理ルーチンと称す）にて導出された全ての検出誤差ｅjの中で、その値が最小となるものに対応する弱識別器ｈjを構成弱識別器ｈtとして決定する。以下、構成弱識別器ｈtについての検出誤差ｅjを検出誤差ｅtとする。
【００６９】
さらに、Ｓ１２７０にて決定された構成弱識別器ｈtについての検出誤差ｅtに基づいて、下記（２）式により、識別器重みαtを導出する（Ｓ１２８０）。
【００７０】
【数２】
2010224922.tif 000004
この識別器重みαtは、構成弱識別器ｈtに対する信頼度を表すものであり、検出誤差ｅtが小さいほど大きな値となる。すなわち、このＳ１２８０では、クラス識別器候補のステージを構成するパラメータのうち、接続段数がｔ番目の構成弱識別器ｈtに対する識別器重みαtが決定される。
【００７１】
続いて、Ｓ１２８０にて導出された識別器重みαtに基づいて、下記（３）式に従って、全ての学習用画像に対する画像重みＤt（ｉ）を更新する（即ち、画像重みＤt+1（ｉ）を求める）。ただし、（３）式中のｙiｈt（ｘi）は、画像インデックスｉにより特定される学習用画像ｘiに構成弱識別器ｈtを照合した時の出力値ｙiを表す。
【００７２】
【数３】
2010224922.tif 000005
なお、画像重みＤt（ｉ）は、全ての学習用画像に対する画像重みＤt（ｉ）の総和が、１となるようにされている。このため、（３）式中のＺtは、画像重みＤt（ｉ）の総和を導出するための規格化因子であり、下記（４）式にて表される。
【００７３】
【数４】
2010224922.tif 000006
続いて、このＳ１３００に進んだ時点で構成されているクラス識別器候補のステージを用いて、学習用画像群から適正条件を満たすように規定閾値ｔｈを設定可能であるか否かを判定する（Ｓ１３００）。ただし、この適正条件とは、学習用ポジティブ画像群のうち、規定率以上の学習用ポジティブ画像に対して第１正答であり、かつ学習用ネガティブ画像群のうち、設定率以上の学習用ネガティブ画像に対して第２正答となることである。
【００７４】
そして、ここで言う第１正答とは、学習用ポジティブ画像に写り込んだ検出対象を正しく検出することであり、ここで言う第２正答とは、学習用ネガティブ画像にて検出対象を検出できないことである。
【００７５】
このＳ１３００での判定の結果、適正条件を満たす規定閾値ｔｈを設定できなければ、このＳ１３００に進んだ時点で生成されているクラス識別器候補のステージ用いて学習用画像から検出対象の有無を検出する際の検出精度が、設定値未満となるものと判断して、Ｓ１２２０へと戻り、検出精度が設定値以上となるステージが生成されるまで、Ｓ１２２０からＳ１３００までのステップを繰り返す。
【００７６】
つまり、Ｓ１２２０からＳ１３００のステップを繰り返すことで、Ｖｉｏｌａ＆Ｊｏｎｅｓのアルゴリズムによる学習（いわゆる、アダブーストを拡張させた教師あり学習）を実行する。そして、これらのステップの繰り返しにより、適正条件を満たすまで、構成弱識別器ｈtが追加される。
【００７７】
一方、Ｓ１３００での判定の結果、適正条件を満たす規定閾値ｔｈを設定可能であれば、その適正条件を満たす規定閾値ｔｈを設定して、Ｓ１３１０へと進む。つまり、クラス識別器候補を形成する１つのステージが生成される。
【００７８】
そのＳ１３１０では、今サイクルのＳ１３００にて適正条件を満たすように規定閾値ｔｈが設定されることで生成されたクラス識別器候補のステージを用いて対象有無判定しても、検出対象を検出不可能となる学習用ポジティブ画像を悪化要因画像として、学習用画像リストに記録する。
【００７９】
続いて、予め設定された設定数だけ、クラス識別器候補を構成するステージを生成したか否か、即ち、ステージの接続段数が設定数に達したか否かを判定する（Ｓ１３２０）。その判定の結果、ステージの接続段数が設定数に達していなければ、Ｓ１３３０へと進む。そのＳ１３３０では、学習用ネガティブ画像群の中で、今サイクルにて生成されたクラス識別器候補のステージを用いた対象有無判定により、検出対象が検出不可能（即ち、正答）となる学習用ネガティブ画像全てを、未使用ネガティブ画像へと変更した上で、Ｓ１２２０へと戻る。すなわち、今サイクルにて生成されたクラス識別器候補を構成するステージにより、検出対象が写り込んでいないことが正しく検出される２５００枚以上の学習用ネガティブ画像全てを、未使用ネガティブ画像に入れ替えた上で、新たなステージを生成するための学習を実行する。
【００８０】
一方、Ｓ１３２０での判定の結果、ステージの接続段数が設定数に達していれば、Ｓ１３４０へと進む。そのＳ１３４０では、Ｓ１３１０にて学習用画像リストに記録された全ての悪化要因画像が、次に識別器学習処理が起動された際に、未使用ポジティブ画像と入れ替えられるように設定する。すなわち、学習用ポジティブ画像についての学習用画像リストの中で、悪化要因画像として記録された全ての学習用ポジティブ画像についてのリスト順位を、その悪化要因画像の数（以下、入替数とする）だけ最下位から順番となるように変更し、未使用ポジティブ画像の順位をそれぞれ入替数だけ上昇させる。
【００８１】
具体的に、学習用ポジティブ画像についての学習用画像リストを例示した図５を用いて説明する。
この図５に示す例では、ステージ１検出可否、…ステージｍ検出可否と表記した欄が、ステージ検出可否記述欄に相当し、こららの欄中に記載された「×」は、対応する学習用ポジティブ画像が悪化要因画像であることを意味し、「○」は、対応する学習用ポジティブ画像が悪化要因画像ではないことを意味する。
【００８２】
したがって、この図５に示す例では、Ｓ１３００にてクラス識別器候補を構成する各ステージが生成される毎に、その生成されたステージに対する悪化要因画像が、そのステージに対応する検出可否記述欄に記録される。そして、全てのステージ、即ち、クラス識別器候補が生成されると、全ての検出可否記述欄の中で、１つでも悪化要因画像として記録された学習用ポジティブ画像が、未使用ポジティブ画像と入れ替えられる。
【００８３】
つまり、本実施形態のクラス識別器生成処理では、複数（本実施形態では５０００枚）の学習用ポジティブ画像、及び複数（本実施形態では５０００枚）の学習用ネガティブ画像からなる学習用画像を用いて弱識別器（即ち、特徴量）を学習し、クラス識別器候補を生成する。その生成したクラス識別器候補を用いて、評価用ポジティブ画像群または評価用ネガティブ画像群から検出対象の有無を検出した結果、その検出精度が所定値未満である場合には、図６に示すように、学習用ポジティブ画像群の中に含まれている悪化要因画像を未使用ポジティブ画像と入れ替える。さらに、悪化要因画像が入れ替えられることで形成された新たな学習用ポジティブ画像群、及び学習用ネガティブ画像群を用いて、弱識別器の学習を実行する。
【００８４】
これを繰り返すことにより、学習用ポジティブ画像の構成内容が異なる学習用ポジティブ画像群それぞれを用いて弱識別器を学習したクラス識別器候補が新たに生成される。
この新たに生成されたクラス識別器候補の中には、悪影響因子を識別するために必要な特徴量を学習することなく生成されたものが含まれる。ただし、ここで言う悪影響因子とは、入力画像から検出対象を検出する際の検出精度を低下させたり、検出結果を導出するまでの処理量を増加させたりする要因となる特徴である。つまり、クラス識別器が、検出対象の一般的な特徴を識別するための特徴量のみを学習したものとなる可能性が高くなる。
［実施形態の効果］
以上説明したように、本実施形態のクラス識別器生成装置２０によれば、最終的に生成されるクラス識別器を生成するために学習する特徴量、即ち、クラス識別器を構成する弱識別器の数を低減できる。
【００８５】
そして、このようなクラス識別器生成装置２０にて生成されたクラス識別器を用いて、運転支援システム１が、入力画像に写り込んだ検出対象の有無を検出すれば、その検出精度を向上させることができる。
【００８６】
言い換えれば、本実施形態のクラス識別器生成装置２０によれば、クラス識別器について、構成する特徴量（即ち、弱識別器）の数を可能な限り抑制しつつ、検出精度を向上させることができる。
【００８７】
そして、このようなクラス識別器生成装置２０にて生成されたクラス識別器を用いて、運転支援システム１が、入力画像に写り込んだ検出対象の有無を検出する際には、クラス識別器を構成する弱識別器の数が少ないため、処理量を低減できる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
【００８８】
例えば、上記実施形態では、規定率を９９．５％とし、設定率を５０％としたが、これらの規定率、及び設定率は、いずれも１００％でなく、かつ規定率が設定率よりも大きな値であれば、どのような値でも良い
また、上記実施形態における識別器学習処理では、学習用ポジティブ画像群に対してクラス識別器候補のステージを用いて対象有無判定を実行しても、検出対象を検出不可能となる学習用ポジティブ画像を悪化要因画像としたが、悪化要因画像は、これに限るものではない。例えば、識別器学習処理を実行した際に、予め規定された規定段数以上の弱識別器を追加することで、検出対象を初めて検出可能となったポジティブ画像を悪化要因画像としても良いし、構成弱識別器ｈtそれぞれを決定する過程において、誤判定の回数が多かった学習用ポジティブ画像を悪化要因画像としても良いし、それらの組合せを悪化要因画像としても良い。
【００８９】
ところで、上記実施形態においては、悪化要因画像と未使用ポジティブ画像との入れ替えを、クラス識別器候補が生成される毎に実施していたが、この入れ替えは、クラス識別器候補を構成する各ステージが生成される毎に実施しても良い。即ち、識別器生成処理のＳ１３４０にて実行していた処理を、Ｓ１３１０にて実行するようにしても良い。
【００９０】
さらに、上記実施形態におけるクラス識別器生成処理では、クラス識別器候補を生成する毎に、そのクラス識別器候補に対する評価値ＳＷを導出して、そのクラス識別器候補をクラス識別器とするか否かを判定していたが、クラス識別器を決定するタイミングは、これに限るものではない。例えば、識別器学習処理を予め規定された規定回数以上繰り返し実行し、その繰り返しの間に生成された複数のクラス識別器候補の中で、評価値ＳＷが最も高いクラス識別器候補をクラス識別器として決定しても良い。
【００９１】
この場合、複数生成されたクラス識別器候補の中で、検出対象の検出性能が最も良いものをクラス識別器として決定することができる。この結果、運転支援システム１において、入力画像に写り込んだ検出対象の有無を精度良く検出することができる。
【００９２】
また、上記実施形態では、Ｈａａｒ  Ｌｉｋｅ特徴からなる弱識別器をカスケード接続したものをクラス識別器として生成していたが、クラス識別器はこれに限るものではなく、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ  ｖｅｃｔｏｒ  ｍａｃｈｉｎｅ）や、バックプロパゲーション等でも良い。つまり、クラス識別器の種類は、学習用ポジティブ画像群及び学習用ネガティブ画像群の両方を用いた教師あり学習にて生成するものであれば、どのようなものでも良い。
【００９３】
なお、上記実施形態では、人物を検出対象としたが、検出対象は、これに限るものはなく、例えば、自動車や、路上に存在する可能性のある障害物などでも良い。
［実施形態と特許請求の範囲との対応関係］
最後に、上記実施形態の記載と、特許請求の範囲の記載との関係を説明する。
【００９４】
まず、上記実施形態におけるクラス識別器生成装置２０の補助記憶装置（学習用画像記憶部２１としての機能）が、本発明のポジティブ画像記憶手段、及びネガティブ画像記憶手段に相当する。
【００９５】
また、上記実施形態のクラス識別器生成処理のＳ１２０（識別器学習処理）を実行することで得られる機能が、本発明の識別器候補生成手段に相当する。さらに、識別器学習処理のＳ１３４０を経てＳ１２０（識別器学習処理）を実行することで得られる機能が、新候補生成手段に相当する。
【００９６】
なお、クラス識別器生成処理のＳ１３０からＳ２１０を実行することで得られる機能が、本発明のクラス識別器決定手段に相当する。
【符号の説明】
【００９７】
１…運転支援システム  ３…撮影機構  ６…制御装置  ９…制御対象機器群  ２０…クラス識別器生成装置  ２１…学習用画像記憶部  ２３…識別器学習部  ２４…評価用画像記憶部  ２６…識別器評価部
【図１】
2010224922.tif 000007
【図２】
2010224922.tif 000008
【図３】
2010224922.tif 000009
【図４】
2010224922.tif 000010
【図５】
2010224922.tif 000011
【図６】
2010224922.tif 000012
【図７】
2010224922.tif 000013