(57)【要約】      （修正有）【課題】自動車の環境における障害物の検知方法を提供する。【解決手段】画像処理により障害物の第１の検知を行って、少なくとも１つの対象領域を定義することと、所定の特徴に対して対象領域に付与される信頼性指数によって、検知された障害物を分類することと、１つまたは複数のセンサにより第１の閾値未満の閾値範囲で障害物の第２の検知を行って、所定の位置を得ることと、所定の位置を基準目印に投影することと、対象領域を前記基準目印に投影することと、得られた２個の投影を対応させて、この対応に応じて、分類された障害物に所定の位置を割り当てることと、の各ステップを備える。【選択図】図１
2011023002.tif 000002
【特許請求の範囲】
【請求項１】
自動車の環境（Ｅ）における障害物（Ｏ）の検知方法であって、
画像処理により障害物（Ｏ）の第１の検知を行って、少なくとも１つの対象領域（ＲＯＩ）を定義することと、
所定の特徴（Ｃ）に対して対象領域（ＲＯＩ）に付与される信頼性指数（ＩＣ）によって、検知された障害物（Ｏ）を分類することと、
１つまたは複数のセンサ（ＵＬＳ；ＲＡＤ）により第１の閾値（Ｓ１）未満の閾値範囲で障害物（Ｏ）の第２の検知を行って、所定の位置（ＰＯＳ）を得ることと、
所定の位置（ＰＯＳ）を基準目印（ＣＯＯＲｅｆ）に投影することと、
対象領域（ＲＯＩ）を前記基準目印（ＣＯＯＲｅｆ）に投影することと、
得られた２個の投影（ＰＪ１、ＰＪ２）を対応させて、この対応に応じて、分類された障害物（Ｏ）に所定の位置（ＰＯＳ）を割り当てることと、
の各ステップを備えることを特徴とする方法。
【請求項２】
基準目印が、画像目印（ＸＩ、ＹＩ）である、請求項１に記載の検知方法。
【請求項３】
画像処理による第１の検知が、前記環境から取得した画像における形状認識による検知を含んでいる、請求項１または２に記載の検知方法。
【請求項４】
形状認識による検知が、
取得画像（Ｉ）の再帰的なサブサンプリングによる画像ピラミッド（Ｉｓｒ）を構成することと、
サブサンプリングされた各画像（Ｉｓｒ）に対して、
所定の障害物（Ｏ）を示すラベル（ＶＩＧＮ）により前記画像（Ｉｓｒ）を走査することと、
前記画像（Ｉｓｒ）におけるラベル（ＶＩＧＮ）の連続する各位置で、分類子の集合（Ｃｌｓ、Ｃｌｗ）により内容を分析することとの、
各ステップを備え、前記分類子が、事前学習段階のときに決定されている、先行請求項に記載の検知方法。
【請求項５】
形状認識による検知が、さらに、サブサンプリングされた画像（Ｉｓｒ）内で走査ゾーン（Ｚｂ）を決定する追加サブステップを備えている、先行請求項に記載の方法。
【請求項６】
画像処理による第１の検知が、前記環境（Ｅ）からの取得画像（Ｉ）のシーケンス（ＳＱ）で自動車（Ｖ）に対する動き検知を含んでいる、先行請求項のいずれか一項に記載の検知方法。
【請求項７】
動き検知が、
画像シーケンス（ＳＱ）の各画像（Ｉ）に対して再計算された背景画像（Ｉｒｅｆ）を構成することと、
画像シーケンス（ＳＱ）の現行画像（Ｉｃ）から背景画像（Ｉｒｅｆ）を減算し、結果として生じた画像（Ｉｒｅｓ）を得ることと、
閾値（Ｓｍａｘ）に応じて、結果として生じた画像（Ｉｒｅｓ）で判別される動きを弁別することと、
弁別によって第２の対象領域（ＲＯＩ２）を抽出することと、
の各サブステップを備える先行請求項に記載の方法。
【請求項８】
分類ステップが、
対象領域（ＲＯＩ）から特徴ベクトル（Ｃ）を生成することと、
学習ステップのときに予め決められた決定境界（ＤＧ）との比較により前記特徴ベクトル（Ｃ）を分類することと、
前記決定境界（ＤＧ）に対して特徴ベクトルの距離に応じて決定される、関連する信頼性指数（ＩＣ）を決定することと、
の各サブステップを備える、先行請求項のいずれか一項に記載の検知方法。
【請求項９】
特徴ベクトル（Ｃ）が、１つの対象領域（ＲＯＩ１、ＲＯＩ２）の配向された勾配のヒストグラムである、先行請求項に記載の検知方法。
【請求項１０】
さらに、第１の検知および／または分類のときに決定された対象領域と信頼性指数とに対して、検知された物体についての分類を確定する追加ステップを含む、先行請求項のいずれか一項に記載の検知方法。
【請求項１１】
確定ステップは、
分類された各々の対象領域（ＲＯＩ１、ＲＯＩ２）が、確率分布により示される画像（Ｉ）に対応する確率マップ（Ｐ＿ＭＡＰ）を構成することと、
少なくとも１つの局部的な最大値を得るように、確率マップ（Ｐ＿ＭＡＰ）に集められた前記確率分布を累積することと、
確率マップ（Ｐ＿ＭＡＰ）の局部的な最大値の各々に最も近い対象領域（ＲＯＩ１、ＲＯＩ２）を確定することと、
の各サブステップを備える、先行請求項に記載の検知方法。
【請求項１２】
１つまたは複数のセンサによる検知が、超音波センサ（ＵＬＳ）により行われる、先行請求項のいずれか一項に記載の検知方法。
【請求項１３】
１つまたは複数のセンサによる検知が、レーダセンサ（ＲＡＤ）により行われる、先行請求項のいずれか一項に記載の検知方法。
【請求項１４】
さらに、取得画像（Ｉ）に投影変化を付与する追加ステップを含む、先行請求項のいずれか一項に記載の検知方法。
【請求項１５】
さらに、取得画像のシーケンス（ＳＱ）で分類された対象領域の追加フォローアップステップを含んでいる、先行請求項のいずれか一項に記載の検知方法。
【請求項１６】
先行請求項のいずれか一項に記載の方法を実施するように構成された、自動車の環境（Ｅ）における障害物（Ｏ）の検知装置。
【請求項１７】
情報処理ユニットにより実行可能な１つまたは複数の命令シーケンスを含み、前記命令シーケンスの実行により、請求項１から１５のいずれか一項に記載の方法を実施可能である、コンピュータプログラム製品（ＰＧ）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車の環境における障害物の検知方法に関する。
本発明は、また、この方法を利用する装置に関する。
本発明は、特に、自動車の領域に用いられる。
【背景技術】
【０００２】
自動車の領域において、自動車環境における障害物の検知方法の従来技術は、
カメラにより歩行者を検知することと、
歩行者の存在を運転者に知らせるためのアラーム信号を送信することと、
の各ステップを含む。
【０００３】
この従来技術の欠点は、カメラにより決定される位置が正確ではないことにある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、歩行者の位置を正確に検知可能な、自動車の環境における障害物の検知方法にある。
【課題を解決するための手段】
【０００５】
本発明の第１の目的によれば、この目的は、
画像処理により障害物の第１の検知を行って、少なくとも１つの対象領域を定義することと、
所定の特徴に対して対象領域に付与される信頼性指数によって、検知された障害物を分類することと、
１つまたは複数のセンサにより第１の閾値未満の閾値範囲で障害物の第２の検知を行って、所定の位置を得ること、
所定の位置を基準目印に投影することと、
対象領域を前記基準目印に投影することと、
得られた２個の投影を対応させて、この対応に応じて分類された障害物に所定の位置を割り当てることと、
の各ステップを備えることを特徴とする、自動車の環境における障害物の検知方法により達成される。
【０００６】
以下に詳しく説明するように、画像処理による検知と１つまたは複数のセンサによる検知とを組み合わせることによって、障害物の分類を実施することができ、この２つの検知を対応させることによって、分類された障害物（歩行者）をいっそう正確に位置決めすることができる。
【０００７】
限定的ではない実施形態によれば、検知方法は、さらに、以下のうちの１つまたは複数の追加特徴を含むことができる。
【０００８】
基準目印が、画像目印である。このことによって、車両の目印における対象領域の距離推定の誤差の影響を最小化できる。
【０００９】
画像処理による第１の検知が、前記環境から取得した画像における形状認識による検知を含んでいる。
【００１０】
形状認識による検知が、
取得画像の再帰的なサブサンプリングによる画像ピラミッドを構成することと、
サブサンプリングされた各画像に対して、
所定の障害物を示すラベルにより前記画像を走査することと、
前記画像におけるラベルの連続する各位置で、分類子の集合により内容を分析することとの、各ステップを備え、前記分類子が、事前学習段階のときに決定されている。
【００１１】
このことにより、画像が置かれている検知距離に応じて障害物を検知できる。分類子のアプリケーションの結果によって、障害物がラベル内にあるかどうか判断し、従って、障害物を検知することができる。本出願において、ラベルとは、画像内の検知ゾーンを意味する。この検知ゾーンは、所定の寸法と形状を有する。もちろん、ラベルには、異なる形状を付与することができる。本発明によるシステムは、このラベルの境界の内部で障害物の検知を行うものである。変形実施形態によれば、ラベルは、画像内でこのタイプの障害物が占有する面積にほぼ対応することにより、検知すべき障害物を示す。たとえば、歩行者を検知する場合、長い方の辺が垂直である長方形を選択することができる。このようにして、長方形の内部に画像が含まれるあらゆる歩行者が検知される。
【００１２】
形状認識による検知が、さらに、サブサンプリング画像内で走査ゾーンを決定する追加サブステップを備えている。このことにより、処理数が低減される。
【００１３】
画像処理による第１の検知が、前記環境から取得した画像シーケンスで自動車に対する動き検知を含んでいる。
【００１４】
動き検知が、
画像シーケンスの各画像に対して再計算された背景画像を構成することと、
画像シーケンスの現行画像から背景画像を減算し（ｓｏｕｓｔｒａｉｒｅ）、結果として生じた画像を得ることと、
閾値に応じて、結果として生じた画像で判別される動きを弁別することと、
弁別によって第２の対象領域を抽出することと、
の各サブステップを備える。
【００１５】
これによって、背景に属さない、動いている障害物を得られる。
分類ステップが、
対象領域から特徴ベクトルを生成することと、
学習ステップのときに予め決められた決定境界との比較により前記特徴ベクトルを分類することと、
前記決定境界に対して特徴ベクトルの距離に応じて決定される関連する信頼性指数を決定することと、
の各サブステップを備える。
【００１６】
これにより、分類された対象領域に、１つの分類に確実に属することを示す信頼性指数を組み合わせることができる。
【００１７】
特徴ベクトルは、１つの対象領域の配向された勾配のヒストグラムである。
【００１８】
ヒストグラムの使用は、簡単で実施しやすい。
【００１９】
検知方法は、さらに、第１の検知および／または分類のときに決定された対象領域と信頼性指数とに対して、検知された物体についての分類を確定する追加ステップを含む。
【００２０】
確定ステップは、
分類された各々の対象領域が、確率分布により示される画像に対応する確率マップを構成することと、
少なくとも１つの局部的な最大値を得るように、確率マップに集められた前記確率分布を累積することと、
確率マップの局部的な最大値の各々に最も近い対象領域を確定することと、
の各サブステップを備える。
【００２１】
確率マップの使用は、簡単で実施しやすい。
【００２２】
これにより、歩行者を示すことができる領域で確率を累積することができる。
【００２３】
１つまたは複数のセンサによる検知が、超音波センサにより行われる。
これによって、車両に近い検知がカバーされる。
【００２４】
１つまたは複数のセンサによる検知が、レーダセンサにより行われる。
【００２５】
これによって、車両に遠い検知がカバーされる。
さらに、取得画像に投影変化を付与する追加ステップを含む。これによって、特に画像境界にある障害物について、取得画像におけるひずみを減らすことができる。
【００２６】
検知方法は、さらに、取得画像のシーケンスで分類された対象領域の追加フォローアップステップを含む。これによって、前記確定された対象領域の存在を確認し、画像シーケンス全体でその位置を平滑化することができる。
【００２７】
本発明の第２の目的によれば、本発明は、自動車の環境における障害物の検知装置に関し、
画像処理により障害物の第１の検知を行って、少なくとも１つの対象領域を定義し、
所定の特徴に対して対象領域に付与される信頼性指数によって、検知された障害物を分類し、
１つまたは複数のセンサにより第１の閾値未満の閾値範囲で障害物の第２の検知を行って、所定の位置を得、
所定の位置を基準目印に投影し、
対象領域を前記基準目印に投影し、
得られた２個の投影を対応させて、この対応に応じて分類された障害物に所定の位置を割り当てることが可能であることを特徴とする。
【００２８】
本発明の第３の目的によれば、本発明は、情報処理ユニットにより実行可能な１つまたは複数の命令シーケンスを含み、前記命令シーケンスの実行により、上記の特徴の任意の１つによる方法を実施可能である、コンピュータプログラム製品に関する。
【００２９】
本発明とその用途は、添付図面を参照しながら、以下の説明を読めば、いっそう理解されるであろう。
【００３０】
これらの用途は、少しも限定的ではなく例としてのみ示したものである。
【図面の簡単な説明】
【００３１】
【図１】本発明による検知方法の限定的ではない第１の実施形態を示すフローチャートである。
【図２】図１の検知方法の投影変化ステップにより使用される画像と、このステップで得られる画像とを概略的に示す図である。
【図３】図１の検知方法の投影変化ステップにより使用される画像と、このステップで得られる画像とを概略的に示す図である。
【図４】限定的ではない第１の実施形態に従って画像処理による検知ステップを示した、図１の検知方法のフローチャートである。
【図５】図４の第１の実施形態に従って画像処理による検知ステップで使用される画像を概略的に示す図である。
【図６】図４の第１の実施形態に従って画像処理による検知ステップで使用される画像を概略的に示す図である。
【図７】図４の第１の実施形態に従って画像処理による検知ステップで使用される画像を概略的に示す図である。
【図８】図４の第１の実施形態に従って画像処理による検知ステップで使用される画像を概略的に示す図である。
【図９】図４の第１の実施形態に従って画像処理による検知ステップで使用される画像を概略的に示す図である。
【図１０】図４の第１の実施形態に従って画像処理による検知ステップで使用される画像を概略的に示す図である。
【図１１】図４の第１の実施形態に従って画像処理による検知ステップで使用される画像を概略的に示す図である。
【図１２】図４の第１の実施形態に従って画像処理によるサブ検知ステップを概略的に示す図である。
【図１３】限定的ではない第２の実施形態に従って画像処理による検知ステップを示す、図１の検知方法のフローチャートである。
【図１４】図１３の第２の実施形態に従って画像処理による検知ステップが使用する画像を概略的に示す図である。
【図１５】図１３の第２の実施形態に従って画像処理による検知ステップが使用する画像を概略的に示す図である。
【図１６】図１３の第２の実施形態に従って画像処理による検知ステップが使用する画像を概略的に示す図である。
【図１７】図４の第１の実施形態と、図１３の第２の実施形態とを組み合わせた画像処理検知ステップを示す、図１の検知方法のフローチャートである。
【図１８】限定的ではない実施形態に従って障害物の分類ステップを示す、図１の検知方法のフローチャートである。
【図１９】図１８の障害物分類ステップにより使用される、配向された勾配ヒストグラムを概略的に示す図である。
【図２０】図１８の障害物分類ステップの限定的ではない実施形態を説明する、信頼性指数の分布図である。
【図２１】図１８の障害物分類ステップの限定的ではない実施形態を説明する、信頼性指数の分布図である。
【図２２】限定的ではない第１の実施形態に従ってセンサによる検知ステップを示す、図１の検知方法のフローチャートである。
【図２３】図１の検知方法により使用される画像取得装置を含む車両と、前記取得装置の検知ゾーンとを概略的に示す図である。
【図２４】図２２の限定的ではない第１の実施形態に従って超音波センサによる検知装置を含む車両と、前記検知装置の検知ゾーンとを概略的に示す図である。
【図２５】図２３の画像取得装置と図２４の超音波センサによる検知装置とを含む車両、ならびに、それらの個々の検知ゾーンを概略的に示す図である。
【図２６】限定的ではない第２の実施形態に従って検知ステップが示されている図１の検知方法のフローチャートである。
【図２７】図２６の限定的ではない第２の実施形態に従ってレーダセンサによる検知装置を含む車両と、前記検知装置の検知ゾーンとを概略的に示す図である。
【図２８】図２３の画像取得装置と、図２７のレーダセンサによる検知装置とを含む車両と、それらの個々の検知ゾーンとを概略的に示す図である。
【図２９】図２４の第１の実施形態と、図２６の第２の実施形態とを組み合わせた、センサによる検知ステップを示す、図１の検知方法のフローチャートである。
【図３０】図２３の画像取得装置と、図２４の超音波センサ検知装置と、図２６のレーダセンサによる検知装置とを含む車両と、それらの個々の検知ゾーンとを概略的に示す図である。
【図３１】障害物と、図２４の超音波センサによる検知装置および図２６のレーダセンサによる検知装置によって検知された位置パラメータとを示す図である。
【図３２】図４の第１の実施形態による形状認識検知と、図１３の動き検知とを組み合わせた画像処理検知ステップと、図２４の第１の実施形態による超音波センサによる検知と、図２６の第２の実施形態によるレーダセンサによる検知とを組み合わせたセンサによる検知ステップとを含む、図１の方法を示す図である。
【図３３】図１の検知方法の投影ステップによって行われる、障害物検知に関する位置と対象領域との基準目印への投影を説明する図である。
【図３４】図１の検知方法の投影ステップによって行われる、障害物検知に関する位置と対象領域との基準目印への投影を説明する図である。
【図３５】確定ステップを含む、本発明による検知方法の限定的ではない第２の実施形態を示すフローチャートである。
【図３６】図３５の検知方法の確定ステップの限定的ではない実施形態のフローチャートである。
【図３７】図３６の確定ステップの限定的ではない実施形態を説明する図である。
【図３８】図３６の確定ステップにおける使用を説明するガウス関数の概略的な３Ｄ図である。
【図３９】図３６の確定ステップにおける使用を説明するガウス関数の概略的な２Ｄ図である。
【図４０】図４の第１の実施形態による形状認識検知と図１３の動き検知とを組み合わせた画像処理検知ステップと、図２４の第１の実施形態による超音波センサによる検知と、図２６の第２の実施形態によるレーダセンサによる検知とを組み合わせた、センサによる検知ステップとを含む、図３５の方法を示す図である。
【図４１】図１と３５の方法を用いる検知装置の構造の限定的ではない実施形態を示す動作ブロック図である。
【００３２】
すべての図において、共通の要素には同じ参照符号を付している。
【００３３】
本発明による自動車の環境における障害物検知方法は、図１の限定的ではない第１の実施形態に記載されている。
自動車とは、あらゆるタイプの駆動車両を意味することに留意されたい。
【００３４】
Ａ．第一の実施形態
この第一の実施形態によると、検知方法には図１に示す以下の各段階が含まれる。
−画像処理による障害物Ｏの第一の検知を行い、少なくとも１つの関心領域ＲＯＩを特定する（段階ＤＥＴ＿ＣＡＭ（ＲＯＩ、Ｉ））。
−所与の特徴Ｃとの関係に基づき、関心領域ＲＯＩに適用される信頼度指数ＩＣを用いて、検知された障害物Ｏを分類する（段階ＣＬＡＳＳ（ＩＣ、Ｃ））。
−第一の閾値Ｓ１を下回る検知範囲でセンサによる障害物Ｏの第二の検知を行い、位置ＰＯＳを特定する（段階ＤＥＴ＿ＣＡＰＴ（ＰＯＳ、Ｓ１））。
−特定された位置ＰＯＳを基準座標系ＣＯＯＲｅｆの中に投影する（段階ＰＲＯＪ＿Ｐ１（ＰＯＳ、ＣＯＯＲｅｆ））。
−前記基準座標系ＣＯＯＲｅｆの中に関心領域ＲＯＩを投影する（段階ＰＲＯＪ＿Ｐ２（ＲＯＩ）。
−得られた２つの投影ＰＪ１、ＰＪ２の関連付けを行い、その関連付けに従って、分類された障害物Ｏに特定された位置ＰＯＳを付与する（段階ＣＯＲＲＥＬ（ＰＪ１、ＰＪ２））
【００３５】
ある非限定的な実施形態において、検知方法は、取得した画像のパースペクティブを変更する補足的段階をさらに含む（段階ＣＯＲＲ（Ｉ））。
【００３６】
ある非限定的な実施形態において、検知方法は、画像ＩのシーケンスＳＱを取得する段階をさらに含む（段階ＡＣＱ（Ｉ））。なお、この段階は別の方法を用いて、より上流段階で実施することも可能である点に触れておきたい。
【００３７】
ある非限定的な実施形態において、検知方法は、取得した画像のシーケンス上で認証された関心領域のトラッキングを行う補足的段階をさらに含む（段階ＴＲＡＣＫ（ＰＯＳ））。これにより、いわゆる分類済み関心領域の存在を確認するとともに、その位置を画像ＩのシーケンスＳＱ全体にわたり平滑化することが可能となる。
【００３８】
以下に続く説明の中で、記述している方法の非限定的な実施形態において、この方法は画像取得と、パースペクティブ変更と、検知のトラッキングの各補足的段階を含む。
【００３９】
この方法の各段階を以下に詳述する。
【００４０】
第一段階（１）において、車両Ｖの周囲Ｅの画像ＩのシーケンスＳＱを取得する（段階ＡＣＱ（Ｉ））。
【００４１】
この取得は、カメラＣＡＭを用いて行われる。
画像取得方法は当該分野の技術者には公知のものであるため、ここには記述しない。
【００４２】
第二段階（２）において、取得した画像Ｉのパースペクティブを変更する（段階ＣＯＲＲ（Ｉ））。これにより、カメラＣＡＭに起因するゆがみの補正が可能となる。こうして画像Ｉの縁端部に位置している障害物Ｏを修正する。図２および図３の概略例に示すとおり、取得画像Ｉ１から、修正画像としての取得画像Ｉ２を得る。
【００４３】
第三段階（３）において、画像処理による障害物Ｏの第一の検知を行い、少なくとも１つの関心領域ＲＯＩを特定する（段階ＤＥＴ＿ＣＡＭ（ＲＯＩ、Ｉ））。
【００４４】
１．第一の実施形態
非限定的な第一の実施形態において、画像処理による第一の検知は、図４に示すとおり、前記周囲Ｅの取得画像におけるパターン認識による検知を含む（段階ＤＥＴ＿ＦＯＲＭ（ＲＯＩ１、Ｉ））。
ある実施形態において、パターン認識による第一の検知は当該分野の技術者によく知られた「ＡｄａＢｏｏｓｔ」と称する方法を使用する。この方法は、文献『ａｎ  ｉｎｔｒｏｄｕｃｔｉｏｎ  ｔｏ  Ｂｏｏｓｔｉｎｇ  ａｎｄ  Ｌｅｖｅｒａｇｉｎｇ』（Ｒｏｎ  ＭｅｉｒおよびＧｕｎｎａｒ  Ｒａｔｓｃｈ著−Ｔｅｃｈｎｉｏｎ電気工学科、ハイファ  ３２０００  イスラエル／オーストラリア国立大学−情報科学・工学リサーチスクール、キャンベラ、ＡＣＴ  ０２００  オーストラリア）にも記述されている。
【００４５】
この方法は、以下に基づくものである。
−以下を使用する初期学習段階。
−所定サイズＳｚの一連の基準検知枠ＶＩＧＮを用いたパターン認識。本例においては、歩行者である障害物Ｏを表わす検知枠ＶＩＧＮをベースとする。例えば、非限定的な一例において、検知枠ＶＩＧＮは４８＊２４ピクセルＰｘのサイズＳｚである。一連の検知枠は、その中に歩行者がいる「ポジティブ」な検知枠群と、歩行者が一人もいない「ネガティブ」な検知枠群を含む。
−強識別器ＣＬｓ（英語の「ｓｔｒｏｎｇ  ｃｌａｓｓｉｆｉｅｒ」）群の獲得を可能とする遺伝的アルゴリズム（英語の「ｇｅｎｅｔｉｃ  ａｌｇｏｒｉｔｈｍ」）。強識別器ＣＬｓは、複数の弱識別器ＣＬｗ（英語の「ｗｅａｋ  ｃｌａｓｓｉｆｉｅｒ」）の和を含む。弱識別器ＣＬｗと強識別器ＣＬｓの獲得は、一連の基準検知枠ＶＩＧＮにおけるピクセル毎の比較がベースとなる。
各強識別器ＣＬｓには、所与の複数の弱識別器について、一連の検知枠ＶＩＧＮとの関係において障害物の良好な検知率を示す重み付けがなされている。
【００４６】
弱識別器ＣＬｗは、同一検知枠におけるあるピクセルと別のピクセルとの比較に関する単体テストからなり、これにもある重み付けがなされている。
【００４７】
遺伝的アルゴリズムは、一連の基準検知枠ＶＩＧＮに適用される弱識別器ＣＬｗの組み合わせのうち、強識別器ＣＬｓに対応する良好な検知率を達成できる組み合わせの計算を可能とするものである。
【００４８】
なお、この学習段階は記述している検知方法の上流段階において実施することも可能である点に触れておきたい。
−「ＡｄａＢｏｏｓｔ」方法の使用は、図５から図１２に示すとおり、以下の各段階を含む。
ａ）取得した画像Ｉのダウンサンプリングの繰り返しにより画像ピラミッドＩｓｒを構築する。
実際には縮小率ＳＲを適用し、図９に示すようなダウンサンプリング画像Ｉｓｒを得てから、この画像上に再度縮小率ＳＲを適用、以下この手順を繰り返す。ある非限定的な実施形態においては、図５から図１０に示すように、各反復（ａ）毎に異なる縮小率ＳＲが使用される。これにより到達したい障害物Ｏの検知距離を適合させ、結果として画像Ｉの中で異なる距離に位置する障害物に到達することが可能となる。
以上のことから、図５から図１０に示す非限定的な各例において、
−取得した画像Ｉに対し適用される縮小率ＳＲ１は１．２で、その結果第一のダウンサンプリング画像Ｉｓｒ１が得られる。
−ダウンサンプリング画像Ｉｓｒ１に対し適用される縮小率ＳＲ２は２で、その結果第二のダウンサンプリング画像Ｉｓｒ２が得られる。
−ダウンサンプリング画像Ｉｓｒ２に対し適用される縮小率ＳＲ３は２．３で、その結果第三のダウンサンプリング画像Ｉｓｒ３が得られる。
−ダウンサンプリング画像Ｉｓｒ３に対し適用される縮小率ＳＲ４は３で、その結果第二のダウンサンプリング画像Ｉｓｒ４が得られる。
−ダウンサンプリング画像Ｉｓｒ４に対し適用される縮小率ＳＲ５は４で、その結果第五のダウンサンプリング画像Ｉｓｒ５が得られる。
−ダウンサンプリング画像Ｉｓｒ５に対し適用される縮小率ＳＲ６は５で、その結果第六のダウンサンプリング画像Ｉｓｒ６が得られる。
なお、縮小率ＳＲは、取得した画像Ｉまたは縮小された画像Ｉｓｒ内において、障害物Ｏを検知したい距離に応じて選択されるという点に触れておきたい。
【００４９】
上述の非限定的な各例により、対象車両Ｖから０〜９メートルの距離にある障害物Ｏの検知が可能となる。
ｂ）各ダウンサンプリング画像Ｉｓｒに対し、
−所定の障害物Ｏ（ここでは歩行者）を表わす検知枠ＶＩＧＮを用いて、前記画像Ｉｓｒをスキャンする。検知枠ＶＧＮのサイズは、歩行者を表わす所定のサイズＳｚである。ある非限定的な一例において、スキャンは左から右へ、また上から下へと実行される。
−前記画像Ｉｓｒ内の検知枠ＶＩＧＮの連続する各位置に対し、Ｃｌｓ、Ｃｌｗなどの識別器群を用いて内容を分析する。前記識別器は、前述のとおり事前の学習段階において設定される。
こうしてスキャン実行時に、画像Ｉｓｒ内の検知枠の各位置ＰＯＳに対し、図１２に示すとおり以下の各下位段階を実施する（「ＡｂａＢｏｏｓｔ」方法の使用に特有の段階）。
ｉ）第一の強識別器ＣＬｓ０を構成する弱識別器ＣＬｗの組み合わせを、現在位置ＰＯＳでの前記検知枠ＶＩＧＮに対し適用する。
対応する各単体テストが認証された（すなわち「ポジティブ」とされた）弱識別器ＣＬｗの重みを累積する。
この和を強識別器ＣＬｓ０の重みと比較する。
ｉｉ）結果が「ネガティブ」だった場合（すなわちこの累積が強識別器ＣＬｓ０の重みを下回った場合）、当該検知枠ＶＩＧＮの位置ＰＯＳを排除する（段階ＲＥＪ＿ＰＯＳ）。このことは、現在位置での検知枠が、障害物Ｏ（ここでは歩行者）を一切含んでいないことを意味する。次いで、検知枠の次の位置ＰＯＳへと進む。
ｉｉｉ）結果が「ポジティブ」だった場合（すなわちこの累積が強識別器ＣＬｓ０の重みを上回った場合）、次の強識別器ＣＬｓ１を適用し、段階（ｉ）を繰り返す。結果が「ポジティブ」である限り、次の強識別器ＣＬｓｎへと進む。
【００５０】
全ての強識別器ＣＬｓの結果が「ポジティブ」であった場合、これは現在位置での検知枠ＶＩＧＮが障害物Ｏ（ここでは歩行者）を含むことを意味する。この場合、検知枠ＶＩＧＮの位置ＰＯＳを記憶し（図に示す段階ＭＥＭ＿ＰＯＳ）、検知枠ＶＩＧＮの次の位置へと進む。
画像Ｉｓｒ内の検知枠の各位置ＰＯＳに対し、（ｉ）から（ｉｉｉ）の各段階を繰り返す。
【００５１】
こうして該当する場合には、ダウンサンプリング画像Ｉｓｒについて、記憶された各位置ＰＯＳの総体が得られる。
【００５２】
このように、各取得画像または各ダウンサンプリング画像内の検知枠ＶＩＧＮについて、記憶された各位置ＰＯＳの総体が得られる。こうして、検知枠ＶＩＧＮの記憶された各位置ＰＯＳは、第一の関心領域ＲＯＩ１を表わすことになる。
【００５３】
図５から図１０において、検知枠は長方形で境界を画定されているが、もちろんこれを他の形状とすることも可能である。
【００５４】
なお、縮小率ＳＲの値を高くすればするほど、車両Ｖの近くにある障害物（ここでは歩行者）が発見しやすくなるという点に触れておきたい。
つまり、第一のダウンサンプリング画像Ｉｓｒ１において検知されるのは（検知枠ＶＩＧＮの中に入っている）遠くの障害物であるのに対し、画像Ｉｓｒ５および画像Ｉｓｒ６において検知されるのは（検知枠ＶＩＧＮの中に入っている）近くの障害物である。図５から図１０の非限定的な例において、表示された歩行者Ｏは画像Ｉｓｒ５および画像Ｉｓｒ６の中でのみ検知されることが分かる。なぜならこれら２つの画像において歩行者は検知枠ＶＩＧＮに含まれるからである。
【００５５】
なお、別の実施形態においては、ダウンサンプリングの下位段階をスキャンおよび分析の下位段階と交互に行うことができるという点にも触れておきたい。
ｃ）この第一の関心領域ＲＯＩ１全てを、各画像に付された縮小率ＳＲ（これをもとに関心領域が算出されている）を前記第一の関心領域ＲＯＩ１に乗じて、図１１に示すように当初取得した画像Ｉの中に再配置する。
【００５６】
ある非限定的な実施形態において、パターン認識による第一の検知は、取得画像Ｉ（検知枠ＶＩＧＮを用いて障害物Ｏが検知され得る画像）から生成されたダウンサンプリング画像内に、スキャン領域Ｚｂを設定するという下位段階を含む。この下位段階は、各ダウンサンプリング画像Ｉｓｒ２からＩｓｒ６に対しても同様に適用されるものである。これにより処理時間を短縮することができる。実際、これにより、検知枠ＶＩＧＮ内に障害物Ｏが検知されないことが以下の理由により明らかな画像Ｉ内の各場所のスキャンが回避される。
−障害物Ｏが前記検知枠よりも大きい。
−障害物Ｏが、当該領域外の画像の一部（例えば空など）には存在し得ない。
以上のことから、ある非限定的な実施形態におけるスキャン領域Ｚｂは以下を含む。
−ある境界を画定する上方の線Ｈ。その境界より上には、検知枠ＶＩＧＮを用いた、画像内における障害物Ｏの検知の可能性がない。
−ある境界を画定する下方の線Ｌ。その境界より下には、検知枠ＶＩＧＮを用いた、画像内における障害物Ｏの検知の可能性がない。
図５から図１０に見られるとおり、縮小画像Ｉｓｒ１、Ｉｓｒ２、Ｉｓｒ３、Ｉｓｒ４、Ｉｓｒ５およびＩｓｒ６について、順にスキャン領域Ｚｂ１、Ｚｂ２、Ｚｂ３、Ｚｂ４、Ｚｂ５およびＺ６（それぞれ２本の水平点線で表わす）を画定した。
【００５７】
非限定的な各例において、
−ダウンサンプリング画像Ｉｓｒ１内において、スキャン領域Ｚｂ１の下方の線は１０メートルの距離Ｄに置かれた。
−ダウンサンプリング画像Ｉｓｒ２内において、スキャン領域Ｚｂ２の下方の線は６メートルの距離Ｄに置かれた。
−ダウンサンプリング画像Ｉｓｒ３内において、スキャン領域Ｚｂ３の下方の線は３．５メートルの距離Ｄに置かれた。
−ダウンサンプリング画像Ｉｓｒ４内において、スキャン領域Ｚｂ４の下方の線は２メートルの距離Ｄに置かれた。
−ダウンサンプリング画像Ｉｓｒ５内において、スキャン領域Ｚｂ５の下方の線は１メートルの距離Ｄに置かれた。
−ダウンサンプリング画像Ｉｓｒ６内において、スキャン領域Ｚｂ６の下方の線は画像Ｉｓｒ６の下方境界に置かれた。
【００５８】
２．第二の実施形態
非限定的な第二の実施形態において、画像処理による第一の検知は、前記周囲Ｅの取得画像ＩのシーケンスＳＱ上における、車両Ｖに対する動き検知を含む。
【００５９】
ある非限定的な実施バリエーションにおいて、第一の動き検知（図１３に示す段階ＤＥＴ＿ＭＶＴ１（Ｉｒｅｆ、Ｉｒｅｓ、Ｓｍａｘ、Ｈ））は、以下に示す下位段階を含む。
ａ）画像シーケンスＳＱの各画像Ｉについて再計算された背景画像Ｉｒｅｆを構築する。
【００６０】
ある非限定的な実施形態において、この段階は当該分野の技術者によく知られる「移動平均法」と称する方法を使用する。この方法はＧ．Ｃｈｒｉｓｔｏｇｉａｎｎｏｐｏｕｌｏｓ、Ｐ．Ｂ．Ｂｉｒｃｈ、Ｒ．Ｃ．Ｄ．ＹｏｕｎｇおよびＣ．Ｒ．Ｙｏｕｎｇによる文献『Ｓｅｇｍｅｎｔａｔｉｏｎ  ｏｆ  ｍｏｖｉｎｇ  ｏｂｊｅｃｔｓ  ｆｒｏｍ  ｃｌｕｔｔｅｒｅｄ  ｂａｃｋｇｒｏｕｎｄ  ｓｃｅｎｅｓ  ｕｓｉｎｇ  ａ  ｒｕｎｎｉｎｇ  ａｖｅｒａｇｅ  ｍｏｄｅｌ』（ＳＰＩＥ  Ｊｏｕｒｎａｌ、第５８２２号、ｐｐ．１３−２０、２００５年）に記述されている。この方法は英語で「Ｂａｃｋｇｒｏｕｎｄ  ｒｅｍｏｖａｌ」とも称する。
【００６１】
例えば、図１４から図１６の非限定的な例に示すとおり、ある非限定的な実施形態においては、その中に少なくとも１つの障害物Ｏ（ここでは歩行者）がある（画像シーケンスＳＱの）現在の取得画像Ｉｃ各々について、以下のように基準画像Ｉｒｅｆを算出する。
Ｉｒｅｆ＝α＊Ｉｃ＋（１−α）＊Ｉｒｅｆ
αは学習率を指す。
【００６２】
非限定的な一例において、α＝０．０５である。
この学習率は、新たな画像Ｉｃの５％と、前の画像Ｉｒｅｆの９５％を保持することを意味する。
【００６３】
言い換えれば、背景は、画像内の対象物（障害物を含む）の動きに応じて変化する。
【００６４】
なお、第一の基準画像Ｉｒｅｆは、取得したシーケンスＳＱの中の第一の取得画像Ｉであるという点に触れておきたい。
ｂ）背景画像Ｉｒｅｆを画像シーケンスＳＱ内の現在の画像Ｉｃから差し引き、結果画像Ｉｒｅｓを得る。
【００６５】
背景画像Ｉｒｅｆの取得後、第一の取得画像Ｉｃをこの背景画像Ｉｒｅｆから差し引き、結果画像Ｉｒｅｓを得る。
こうしてＩｒｅｓ＝絶対値（Ｉｃ−Ｉｒｅｆ）となる。
この段階を画像シーケンスＳＱの取得画像Ｉ全てに対して行う。
ｃ）結果画像Ｉｒｅｓ内における特定の動きを閾値Ｓｍａｘに応じて識別する。
ある非限定的な実施バリエーションにおいては、結果画像Ｉｒｅｓの各ピクセル輝度を前記閾値Ｓｍａｘと比較する。輝度が閾値Ｓｍａｘを上回っている場合、結果画像Ｉｒｅｓ中に動きがあることを意味する。
ｄ）第二の関心領域ＲＯＩ２を識別により抽出する。
このために、ある非限定的な実施バリエーションにおいては、結果画像を以下の方法により二値化する。
結果画像Ｉｒｅｓの全ピクセルＰｘを、ノイズＢＲを表わす最大輝度閾値Ｓｂｒと比較する。
−ピクセル値Ｐｘがこの輝度閾値Ｓｂｒを下回っている場合、非限定的な一例においては、その値をゼロ（黒）と位置付ける。
−その他の場合、非限定的な一例においては、その値を２５５（白）と位置付ける。
【００６６】
非限定的な一例においては、輝度閾値Ｓｂｒを設定するため、
−各結果画像Ｉｒｅｓから、中間調の最大輝度値を抽出する。
−この最大値のパーセンテージに等しい輝度閾値Ｓｂｒを決める。このパーセンテージはノイズＢＲを表わすものである。
非限定的な一例におけるこのパーセンテージは２０％である。
【００６７】
こうして、結果画像Ｉｒｅｓの二値化によりノイズを消去し、動いている障害物Ｏを表わす第二の関心領域ＲＯＩ２を出現させる。
これにより、動いている障害物Ｏをノイズと区別する。
なお、ノイズＢＲは、例えば風に揺れる木が地上に落とす影、または動く雲に起因する画像上の光強度の変化などの可能性があるという点に触れておきたい。
【００６８】
ある非限定的な実施形態において、第二の検知ＤＥＴ＿ＭＶＴ１は、以下の段階をさらに含む。
ａ）各結果画像Ｉｒｅｓの互いに重なり合う関心領域ＲＯＩ２をグループ化する。互いに重なり合う関心領域ＲＯＩ２は、実際、同じ障害物Ｏを表わす。
ｂ）得られたこれら第二の関心領域ＲＯＩ２の周囲に、長方形を設定する。こうしてこれら長方形が、前記第二の関心領域ＲＯＩ２を設定することになる。
ある非限定的な実施形態においては、長方形を設定するため、関心領域ＲＯＩ２の最小・最大の縁端部を選択する。
【００６９】
ある非限定的な実施形態においては、取得画像Ｉ内の水平特性線ＨＺ（図１４から図１６に記載）より上にある関心領域ＲＯＩ２は考慮されない。事実、歩行者などの障害物は水平線ＨＺの上、すなわち空中には存在しないことが分かっているからである。これにより、実行すべき計算の数を抑えることが可能となる。
【００７０】
３．第三の実施形態
図１７に示す非限定的な第三の実施形態において、画像処理による第一の検知は以下の組み合わせである。
−第一の実施形態に基づく、前記周囲Ｅの取得画像におけるパターン認識による検知。
−前記周囲Ｅの取得画像ＩのシーケンスＳＱ上における、車両Ｖに対する動きの検知。
これにより第一の関心領域ＲＯＩ１と第二の関心領域ＲＯＩ２が得られる。
【００７１】
第四段階（４）において、所与の特徴Ｃとの関係に基づき、関心領域に適用される信頼度指数ＩＣを順に用いて、検知された障害物Ｏを分類する（段階ＣＬＡＳＳ（ＩＣ、Ｃ））。
【００７２】
関心領域ＲＯＩ１、ＲＯＩ２は第三段階において設定された領域であることをここで再確認しておく。
指摘しておく点として、この分類段階に先立ち、２つのタイプの集合（うち１つは歩行者を表わす）を以下に示す方法により設定する。なお、この設定は通常、記述している検知方法の上流段階として実施する点に触れておきたい。
歩行者などの障害物をその一部に含み、別の一部には含まない複数のＭ基準検知枠ＶＩＧＮｒｅｆから、前記検知枠において検知されたエッジ方向により、基準ヒストグラムＨＩＳＴＲＥＦを構築する（下位段階ＣＯＮＳＴ＿ＨＩＳＴＲＥＦ（ＶＩＧＮｒｅｆ））。
【００７３】
例えば、ある非限定的な実施形態において、所与の特徴は輝度勾配方向ヒストグラムである。非限定的な一例においては９方位（３６０°上の９方向に相当）を使用する。これにより計算時間と分類の質が、適度に折り合うことになる。
【００７４】
検知枠ＶＩＧＮｒｅｆのエッジの各ピクセルについて方位を算出し、それが９方位ＯＲのうちどれに属するかを見る。検知枠ＶＩＧＮｒｅｆのエッジのピクセル全体について、方位の基準ＮＯＲＭを累積する。こうして図１９に示す基準ヒストグラムが得られる。
【００７５】
これにより、図２０に２次元（ＤＩ１、ＤＩ２）で概略的に示すように、２つのタイプの集合（歩行者がいる集合または歩行者のいない集合）に分かれるＭ基準ヒストグラムが得られる。なお、「ヒストグラム」ベクトルがここでは９つの次元を持つため、より適切な表示は９次元であるという点に触れておきたい。ここでは、簡素化のため２次元のみを表示している。これら２つの集合を分離するため、学習アルゴリズムが決定境界を設定する。
【００７６】
ある非限定的な実施形態においては、当該分野の技術者によく知られた「ＳＶＭ」法（英語で「Ｓｕｐｐｏｒｔ−Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ」）と称する方法（ボストンＫｌｕｗｅｒ  Ａｃａｄｅｍｉｃ  Ｐｕｂｌｉｓｈｅｒｓ出版、Ｃｏｒｉｎｎａ  Ｃｏｒｔｅｓ、Ｖｌａｄｉｍｉｒ  Ｖａｐｎｉｋ著）、すなわちサポートベクターマシンによりこの境界を構築する。境界ＤＧは、非限定的に多項式関数（例えば図２０）またはガウス関数（例えば図２１）となり得る。
【００７７】
分類段階は、以下の下位段階を含む。
ａ）（第一の実施形態ＤＥＴ＿ＭＶＴ１によるパターン認識と動き検知により）前段階で特定された関心領域ＲＯＩ１およびＲＯＩ２から特徴ベクトル（Ｃ）を作成し、輝度勾配方向ＣヒストグラムＨＩＳＴを構築する（図１８に示す下位段階ＣＯＮＳＴ＿ＨＩＳＴ（ＲＯＩ１、ＲＯＩ２））。非限定的な一例においては、９つの輝度勾配Ｃが使用され、９次元の「ヒストグラム」ベクトルが得られる。
ｂ）前記特徴ベクトルＣを、（既述のとおり）学習段階において事前に設定された決定境界ＤＧとの比較により分類する（図１８に示す下位段階ＣＯＭＰ（ＨＩＳＴ、ＤＧ））。
【００７８】
このために、得られた「ヒストグラム」ベクトルと決定境界ＤＧとを比較する。境界から離れれば離れるほど、いずれかの集合に属する確率が高くなる。一方、境界に接近すればするほど、いずれかの集合への所属は曖昧になる。
ｃ）前記決定境界ＤＧからの特徴ベクトルの距離に応じて、対応する信頼度指数ＩＣを設定する（図１８に示す下位段階ＤＥＴ（ＩＣ１、ＩＣ２））。
【００７９】
ここで、第一の関心領域ＲＯＩ１および第二の関心領域ＲＯＩ２、すなわち構築された「ヒストグラム」ベクトルＨＩＳＴにそれぞれ適用される第一と第二の信頼度指数ＩＣ１、ＩＣ２を設定する。
「ヒストグラム」ベクトルＨＩＳＴが境界ＤＧに近付くにつれ、付される信頼度指数ＩＣは例えば０．５に接近していく（信頼度指数の値が０から１の間にある場合）。
【００８０】
逆に、「ヒストグラム」ベクトルＨＩＳＴが領域ＰＯＰ１内において境界ＤＧから遠ざかるにつれて、集合ＰＯＰ１への所属を示す信頼度指数ＩＣ１は高くなり、集合ＰＯＰ２への所属を示す信頼度指数ＩＣ２は低くなる。
【００８１】
図２０および図２１に取り上げた非限定的な例において、第一の集合ＰＯＰ１は歩行者を代表する第一の集合を表わす。この場合、「ヒストグラム」ベクトルが境界ＤＧから遠くに位置するとともにこの領域ＰＯＰ１内にあれば、信頼度指数ＩＣ１は１に近付く。
【００８２】
以上のように、「ヒストグラム」ベクトルＨＩＳＴとの関係で、第一の関心領域ＲＯＩ１と第二の関心領域ＲＯＩ２にそれぞれ適用される信頼度指数ＩＣ１、ＩＣ２を用いて障害物Ｏの分類を行う。この分類により、障害物が属するカテゴリー（ここでは歩行者またはその他）を特定することができる。
【００８３】
第五段階（５）において、第一の閾値Ｓ１を下回る検知範囲でセンサによる障害物Ｏの第二の検知を行い、位置ＰＯＳを特定する（段階ＤＥＴ＿ＣＡＰＴ（ＰＯＳ、Ｓ１））。
−第一の実施形態
図２２に示す非限定的な第一の実施形態において、第二の検知は超音波センサＵＬＳを用いて行われる（段階ＤＥＴ＿ＣＡＰＴ１（ＰＯＳ、Ｓ１））。第一の閾値Ｓ１は超音波センサＵＬＳの最大検知範囲を表わす。非限定的な一例において、第一の閾値Ｓ１は例えば４メートルである。超音波センサによる検知は当該分野の技術者には公知のものであるため、ここには記述しない。ただし、注目すべき点として、特定された結果位置ＰＯＳは、障害物Ｏと車両Ｖの超音波センサとの間の距離Ｄｕｌｓと、図３１の非限定的な概略例に示す検知領域Ｚｄ（長方形）を含む。
【００８４】
なお、カメラを使った検知（パターン認識または動き検知の別は問わない）と超音波センサによる検知（図２４）の組み合わせにより、カメラのみによる検知（図２３）よりも広い検知領域（図２５）をカバーすることができるという点に触れておきたい。
【００８５】
−第二の実施形態
図２６に示す非限定的な第二の実施形態において、第二の検知はレーダセンサＲＡＤを用いて行われる（段階ＤＥＴ＿ＣＡＰＴ２（ＰＯＳ、Ｓ１））。第一の閾値Ｓ１はレーダセンサＲＡＤの最大検知範囲を表わす。非限定的な一例において、第一の閾値Ｓ１は例えば６０メートルである。レーダセンサによる検知は当該分野の技術者には公知のものであるため、ここには記述しない。ただし、注目すべき点として、特定された結果位置ＰＯＳは、障害物Ｏと車両Ｖのレーダセンサとの間の距離Ｄｒａｄと、図３１の非限定的な概略例に示す、障害物とレーダセンサの軸との間の角度βを含む。
【００８６】
なお、カメラを使った検知（パターン認識または動き検知の別は問わない）とレーダセンサによる検知（図２７）の組み合わせにより、カメラのみによる検知（図２３）よりも広い検知領域（図２８）をカバーすることができるという点に触れておきたい。さらに注目すべき点として、これにより、レーダセンサＲＡＤのみを使用した場合に障害物Ｏが検知されない死角Ｚｍを消すことができる。
【００８７】
−第三の実施形態
図２９に示す非限定的な第三の実施形態において、第三の検知は超音波センサＵＬＳとレーダセンサＲＡＤを用いて行われる。この場合、第三の検知は、同一の障害物Ｏに対して超音波センサＵＬＳとレーダセンサＲＡＤを用いてそれぞれ行った各検知のグループ化段階を含む（図２９に示す下位段階ＧＲＯＵＰ）。
【００８８】
ある非限定的な実施形態において、グループ化は各センサにより得られた距離ＤｕｌｓとＤｒａｄの間の比較により行われ、ここで各距離Ｄｕｌｓと各距離Ｄｒａｄとをそれぞれ比較する。比較により得られた距離差Ｄｉｆｆ１が所定の閾値Ｓ４を下回る場合、２タイプのセンサＵＬＳとＲＡＤによりそれぞれ検知された障害物Ｏは同一であるとみなされる。非限定的な一例において、閾値Ｓ４は５０ｃｍである。
この場合（Ｄｉｆｆ≦Ｓ４）、ある非限定的な実施形態においては、レーダセンサＲＡＤが検知した位置ＰＯＳのみを保持する（一般的に、レーダセンサによる検知は超音波センサＵＬＳによる検知よりも精度が高い）。
【００８９】
逆の場合（Ｄｉｆｆ＞Ｓ４）、各検知は同一の障害物Ｏに対応しないものと考え、他の検知とグループ化できない限り、これら各検知をそのまま保持する。
【００９０】
このようにして、二重検知を取り除いた検知障害物Ｏのリストが得られる。
【００９１】
注目すべき点として、超音波センサＵＬＳとレーダセンサＲＡＤの同時使用に基づく、センサを用いた障害物の検知により、より広い範囲の検知が可能となる。事実、図３０を見れば分かるとおり、超音波による検知範囲Ｚｕｌｓは車両近辺および車両前方をカバーし、他方の検知範囲Ｚｒａｄは車両からより離れた領域および車両横の領域をカバーする。なお、このレーダーによる検知においては、同様に死角と称する非検知領域Ｚｍが存在することを指摘しておく。
【００９２】
２タイプのセンサＵＬＳとＲＡＤを使用した検知により、図２７に示す死角Ｚｍがカバーされる。
【００９３】
さらに注目すべき点として、カメラを使った検知（パターン認識または動き検知の別を問わない）とセンサによる検知の組み合わせにより、超音波センサＵＬＳのみとの組み合わせによる検知（図２５）、レーダセンサＲＡＤのみとの組み合わせによる検知（図２８）、または超音波とレーダーの両センサとの組み合わせによる検知（図３０）の別を問わず、検知障害物の位置を車両座標系上でより正確に特定できる。
【００９４】
なお、画像処理による第一の検知として第三の実施形態と、第二の検知として動き検知が使用される場合、図３２に示すように、以下が得られるという点に触れておきたい。
−以下を含む、画像処理による検知。
−パターン認識による検知ＤＥＴ＿ＦＯＲＭ（ＲＯＩ１、Ｉ）
−動き検知ＤＥＴ＿ＭＶＴ１（Ｉｒｅｆ、ＩＳ、Ｓｍａｘ、Ｈ）
−以下を含む、センサによる検知。
−超音波センサによる検知ＵＬＳ  ＤＥＴ＿ＣＡＰＴ１（ＰＯＳ、Ｓ１）
−レーダーセンサによる検知ＲＡＤ  ＤＥＴ＿ＣＡＰＴ２（ＰＯＳ、Ｓ１）
【００９５】
第六段階（６）において、特定された位置ＰＯＳを基準座標系ＣＯＯＲｅｆの中に投影する（段階ＰＲＯＪ＿Ｐ１（ＰＯＳ、ＣＯＯＲｅｆ））。
【００９６】
ある非限定的な実施形態において、基準座標系ＣＯＯＲｅｆは画像座標系ＸＩ；ＹＩである。これにより、車両座標系を考慮した解決法とは異なり、画像内の障害物Ｏの距離算出に際し、検知ミスの影響を最小限に抑えることが可能となる。
【００９７】
なお、非限定的な一例において、画像座標系ＸＩ；ＹＩに位置ＰＯＳを投影するためには、画像座標系における位置と車両座標系Ｘｖ、Ｙｖにおける位置との間の対応が分かれば良いという点に触れておきたい。
投影は、以下の射影行列ＭＰに従って実施する。
【００９８】
遷移行列ＭＰ：
−３．３５３８５８  ３．３３２７１９  １０２９．７３２６６６
−０．０７７００５  １．１５９６９３  ４６７．４２５９６４
−０．０００２３３  ０．００９１８１  １．００００００
方程式〔ＸＩ、ＹＩ〕＝ｆ（Ｘｖ、Ｙｖ）
ｘｉ’＝Ｘｖ＊５０
ｙｉ’＝Ｙｖ＊５０−２００
ｗ  ＝１／（ｘｉ’＊ＭＰ（３、１）＋ｙｉ’＊ＭＰ（３、２）＋ＭＰ（３、３））
ｘｉ  ＝（ｘｉ’＊ＭＰ（１、１）＋ｙｉ’＊ＭＰ（１、２）＋ＭＰ（１、３））＊ｗ）
ｙｉ  ＝（ｘｉ’＊ＭＰ（２、１）＋ｙｉ’＊ＭＰ（２、２）＋ＭＰ（２、３））＊ｗ）
【００９９】
図３３および図３４に概略的に示すとおり、第一の投影ＰＪ１が得られる。この投影は、センサ（超音波センサＵＬＳおよび／またはレーダセンサＲＡＤの別は問わない）により位置ＰＯＳが検知された障害物Ｏに相当する。
【０１００】
なお、超音波センサＵＬＳにより特定された障害物Ｏの位置ＰＯＳの投影ＰＪ１は長方形で表わされる、という点に触れておきたい。図３３に示す例においては、４つの長方形ＰＪ１１、ＰＪ１３、ＰＪ１５、ＰＪ１７がある（点線表示）。
【０１０１】
他方、レーダセンサＲＡＤにより特定された障害物Ｏの位置ＰＯＳの投影ＰＪ１は点で表わされる。図３４に示す例においては４つの点ＰＪ１２、ＰＪ１４、ＰＪ１６、ＰＪ１８がある。
このことは、２つのタイプのセンサ（レーダーおよび超音波）が使用された場合にも同様である。
【０１０２】
２つの場合（超音波センサまたはレーダセンサ）において、この位置ＰＯＳ投影段階は、付された投影領域ＰＪ１ｐを、投影ＰＪ１をもとに特定する下位段階をさらに含む。
ある非限定的な実施形態において、投影領域ＰＪ１ｐは投影ＰＪ１に対し横方向に中心を合わせられており、投影領域の底辺は、図３４に示すとおり投影点ＰＪ１（点の場合）に接しているか、または図３３に示すとおり投影長方形ＰＪ１の底辺（長方形の場合）に接している。
【０１０３】
非限定的な一例において、投影領域のサイズを高さ１．７ｍ、幅０，７ｍとする。この投影領域ＰＪ１ｐのサイズは、歩行者のサイズに見合うように設定される。
【０１０４】
こうして図３３に示す例においては、それぞれ４つの長方形ＰＪ１１、ＰＪ１３、ＰＪ１５、ＰＪ１７に対応する４つの投影領域ＰＪ１１ｐ、ＰＪ１３ｐ、ＰＪ１５ｐ、ＰＪ１７ｐがある。
【０１０５】
こうして図３４に示す例においては、それぞれ４つの投影点ＰＪ１２、ＰＪ１４、ＰＪ１６、ＰＪ１８に対応する４つの投影領域ＰＪ１２ｐ、ＰＪ１４ｐ、ＰＪ１６ｐ、ＰＪ１８ｐがある。
【０１０６】
第七段階（７）において、前記基準座標系ＣＯＯＲｅｆの中に関心領域ＲＯＩを投影し、その関連付けに従って、分類された障害物Ｏに特定された位置ＰＯＳを付与する（段階ＰＲＯＪ＿Ｐ２（ＲＯＩ））。
【０１０７】
図３３および図３４に概略的に示すように、認証された関心領域ＲＯＩに対応する第二の投影ＰＪ２が得られる。なお、投影ＰＪ２は長方形であるという点に触れておきたい。図示例においては、対応する３つの長方形ＰＪ２１、ＰＪ２２、ＰＪ２３（実線表示）がある。
【０１０８】
関心領域ＲＯＩは、第三段階（３）で特定された関心領域ＲＯＩ１とＲＯＩ２であることをここで再確認しておく。
【０１０９】
第八段階（８）において、得られた２つの投影ＰＪ１およびＰＪ２の関連付けを行う（段階ＣＯＲＲＥＬ（ＰＪ１、ＰＪ２））。
【０１１０】
ある非限定的な実施形態において、関連付けは以下の基準に応じて実施される２つの投影ＰＪ１とＰＪ２との間の比較である。
−２つの投影ＰＪ１とＰＪ２が重なる面Ｓｒ
−２つの投影ＰＪ１とＰＪ２のサイズ間における高さの比率Ｒｔ
−２つの投影ＰＪ１とＰＪ２との間の距離の差Ｄｉｆｆ２
【０１１１】
なお、投影ＰＪ１の距離はセンサＣＡＰＴにより付与された距離ＤｕｌｓまたはＤｒａｄである点に触れておきたい。
他方、投影ＰＪ２の距離は、関心領域ＲＯＩの画像Ｉ内に検知され、車両Ｖ座標系において射影行列により再計算された距離である。
【０１１２】
非限定的な各例において、
−重なる面Ｓｒは７０％である。
−比率Ｒｔは０．５から１．５の間である。
−差Ｄｉｆｆ２は１メートルである。
【０１１３】
ここで再確認しておくべきこととして、センサによる検知の投影ＰＪ１は、前述の投影領域ＰＪ１ｐにより表わされている。よって実際には、比較は投影領域ＰＪ１ｐと投影ＰＪ２の間で行われる。
【０１１４】
こうして、これら全ての基準が満たされている場合、２つの投影ＰＪ１とＰＪ２との間の関連性は「ポジティブ」であると考えられる。逆の場合には、それぞれ別の投影ＰＪ２、ＰＪ１との関連性が見つかるまで、投影ＰＪ１、ＰＪ２を保持する。
いかなる関連性も見つからない場合には「ネガティブ」であるとみなされる。
【０１１５】
図３３の概略例において、
投影ＰＪ２１とＰＪ１１ｐは、
−互いに重なり合う。
−Ｓｒ＞７０％。
−Ｒｔは０．５から１．５の間。
−Ｄｉｆｆ２＜１ｍ。
−投影ＰＪ２２とＰＪ１３ｐは、
−互いに重なり合う。
−Ｓｒ＜７０％。
−Ｒｔは０．５から１．５の間。
−Ｄｉｆｆ２＞１ｍ。
−投影ＰＪ２３とＰＪ１５ｐは、
−互いに重なり合う。
−Ｓｒ＜７０％。
−Ｒｔは０．５から１．５の間。
−Ｄｉｆｆ２＜１ｍ。
図３４の概略例において、
−投影ＰＪ２１とＰＪ１２ｐは、
−互いに重なり合う。
−Ｓｒ＞７０％。
−Ｒｔは０．５から１．５の間。
−Ｄｉｆｆ２＜１ｍ。
−投影ＰＪ２３とＰＪ１６ｐは、
−互いに重なり合う。
−Ｓｒ＜７０％。
−Ｒｔは０．５から１．５の間。
−Ｄｉｆｆ２＞１ｍ。
【０１１６】
関連付けに従って、分類された障害物Ｏに特定された位置ＰＯＳを付与する。
【０１１７】
例えば、関連性が「ポジティブ」である場合、対応する障害物Ｏは歩行者であると結論付けられ、ある非限定的な実施形態においては、この障害物に以下を付与する。
−センサにより検知された、対応する位置ＰＯＳ。
−分類の結果得られた、対応する関心領域ＲＯＩ。
他方、ある非限定的な実施形態においては、対応する信頼度指数ＩＣを高くする。非限定的な一例においては、新たな信頼度指数ＩＣ＝ＩＣ＋（１−ＩＣ）／２である。
【０１１８】
別の実施形態において、障害物に以下を付す。
−（対応する関心領域の）車両座標系における推定位置
−対応する特定された投影領域ＰＪ１ｐ
【０１１９】
ただし、ここで注意すべき点として、センサにより検知された位置ＰＯＳは推定位置よりも正確で、また関心領域ＲＯＩも特定された投影領域より正確である。
【０１２０】
投影ＰＪ１またはＰＪ２について、いかなる関連性もみられなかった場合、
−ある非限定的な実施形態においては、以下のテストを実施する。
−投影がセンサ投影ＰＪ１である場合、検知された障害物Ｏは歩行者ではないと結論付ける。
−投影が関心領域ＲＯＩの投影ＰＪ２である場合、
以下のようになる。
−これに対応する信頼度指数ＩＣが信頼度閾値Ｓｃを上回る場合、
−検知された障害物Ｏは歩行者であると結論付ける。
−それ以外の場合、検知された障害物は歩行者ではないと結論し、その信頼度指数ＩＣを０と位置付ける。
【０１２１】
非限定的な一例においては、信頼度閾値Ｓｃ＝０．７である。
【０１２２】
第九段階（９）において、取得した画像のシーケンスＳＱ上で分類された関心領域ＲＯＩのトラッキングを行う（段階ＴＲＡＣＫ（ＰＯＳ））。
【０１２３】
非限定的な一例においては、当該分野の技術者によく知られた「ＥＳＭ」と称する方法（「ｅｆｆｉｃｉｅｎｔ  Ｓｅｃｏｎｄ  Ｏｒｄｅｒ  Ｍｅｔｈｏｄ」）を使用する。これはＩＮＲＩＡ（フランス国立情報学自動制御研究所）により開発され、文献『Ｒｅａｌ−ｔｉｍｅ  ｉｍａｇｅ−ｂａｓｅｄ  ｔｒａｃｋｉｎｇ  ｏｆ  ｐｌａｎｅｓ  ｕｓｉｎｇ  ｅｆｆｉｃｉｅｎｔ  ｓｅｃｏｎｄ−ｏｒｄｅｒ  ｍｉｎｉｍｉｚａｔｉｏｎ』（Ｂｅｎｈｉｍａｎｅ、Ｅ．Ｍａｌｉｓ著、ＩＥＥＥ／ＲＳＪ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｉｎｔｅｌｌｉｇｅｎｔ  Ｒｏｂｏｔｓ  Ｓｙｓｔｅｍｓ、仙台、日本、２００４年）に記述されている方法である。
この方法は取得画像ＩのシーケンスＳＱ中、より詳しくは現在の画像と基準画像との間における同一パターンの検索、およびシーケンスＳＱの所定数の画像Ｉ内にあるこのパターンの反復をベースとしている。これにより、障害物ＯがシーケンスＳＱのある画像Ｉには検知されておらず、一方でその他の画像Ｉには検知されているような場合に、障害物Ｏの検知漏れを回避する。
【０１２４】
Ｂ．第二の実施形態
本発明による自動車の周囲に存在する障害物の検知方法を、図３５に示す第二の非限定的な実施形態に記述する。
【０１２５】
図１に示す第一の実施形態（およびその各実施バリエーション）に記述した全段階に加え、この第二の実施形態によると、検知方法は、第一の検知時および／または分類時に特定された関心領域ＲＯＩおよび信頼度指数ＩＣとの関係に基づき、検知された物体に対して行う分類を認証する、という補足的段階（第十段階）を含む。前記認証段階は、前述の第九段階（分類された障害物Ｏに対する特定位置ＰＯＳの付与段階）の前、および以下に見ていくとおり、前述の第七段階（７）（関心領域ＲＯＩの基準座標系ＣＯＯＲｅｆへの投影）の前に実施される。
【０１２６】
ある非限定的な実施形態において、認証は図３６に示すとおり以下の下位段階を含む。
【０１２７】
１０（ａ）ある画像Ｉに対応する確率マップＰ＿ＭＡＰを構築する。分類された各関心領域ＲＯＩ１、ＲＯＩ２が、ここに確率分布として表わされる（図３６に示す下位段階ＣＯＮＳＴ＿Ｐ＿ＭＡＰ（ＩＣ、Ｄｉｍ））。
すなわち、累積ガウス関数Ｇ全体をベースに確率マップＰ＿ＭＡＰを作成するが、ここでガウス関数Ｇは以下をもとに構築される。
−信頼度指数ＩＣ。ガウス関数Ｇの最大値を表わす指数。
−ガウス関数Ｇの広がりを表わす関心領域ＲＯＩのサイズＤｉｍ。非限定的な一例において、採用されるサイズは幅である。採用されるサイズは高さと幅である。
こうして、ガウス関数Ｇを数式で表わすと以下のようになる。
【０１２８】
【数１】
2011023002.tif 000003
【０１２９】
ここで、ｅはオイラー数である。
【０１３０】
ガウス関数Ｇは、釣鐘型の対称曲線のグラフで表わされる。
ここで、
−ａ＝釣鐘の高さ。信頼度指数ＩＣにより表わされる。
−ｃ＝釣鐘の幅。関心領域ＲＯＩのサイズ（幅）により表わされる。
−ｂ＝曲線頂点の位置
【０１３１】
確率マップＰ＿ＭＡＰは複数のガウス関数Ｇを含むが、このうちいくつかは図３８の非限定的な一例に示すように重なることがある。
【０１３２】
なお、パターン認識による検知（ＤＥＴ＿ＦＯＲＭ（ＲＯＩ１、Ｉ））および動き検知（ＤＥＴ＿ＭＶＴ１（Ｉｒｅｆ、Ｉｒｅｓ、Ｓｍａｘ、Ｈ））を使用する場合、確率マップＰ＿ＭＡＰは、図３７に示すように、先に見つかっている第一の関心領域ＲＯＩ１および第二の関心領域ＲＯＩ２をもとに構築されるという点に触れておきたい。
【０１３３】
ｂ）確率マップ（Ｐ＿ＭＡＰ）において重なる前記確率分布を累積し、少なくとも１つの極大値を得る（図３６に示す下位段階ＡＤＤ＿Ｇ（Ｇ＿ＭＡＰ、ＩＣＦ））。
こうして複数の極大値から複数の結果信頼度指数ＩＣＦを得る。極大値は、障害物Ｏ（ここでは歩行者）のいる確率が最も高い位置の特定を可能とするものである。
【０１３４】
図３８の概略例に示すとおり、ガウス関数Ｇの極大値３つが得られる。
なお、ある非限定的な実施形態においては、結果信頼度指数ＩＣＦの上限は１であるという点に触れておきたい。
【０１３５】
ｃ）確率マップＰ＿ＭＡＰの各極大値に最も近い関心領域ＲＯＩ１、ＲＯＩ２を認証する（図３６に示す下位段階ＶＡＬＩＤ＿ＣＬＡＳＳ（ＲＯＩ、ＩＣＦ））。
ある非限定的な実施バリエーションにおいては、各極大値について、その頂点が前記極大値に最も近い関心領域ＲＯＩ（その信頼度指数は極大値について使用されている）を選択し、これに対応する信頼度指数ＩＣに、結果信頼度指数ＩＣＦを付与する。このバリエーションにより、前段階において予め特定されている既存の関心領域ＲＯＩの参照が可能となり、障害物Ｏの位置特定の精度を保つことができる（既存の関心領域は障害物Ｏと中心を合わせられている）。
【０１３６】
例えば、（簡略化のため二次元で表わす）図３９の説明例において、２つのガウス関数ｇ１、ｇ２とそれらの極大値ｇｃがある。ガウス関数ｇ２は、その頂点が極大値に最も近い関数である。よって、対応する関心領域ＲＯＩが認証されることとなる。
【０１３７】
別の非限定的な実施バリエーションにおいて、ガウス関数の累積の結果信頼度指数ＩＣＦを用いることができる。この時、関心領域ＲＯＩの選択は、この信頼度指数に中心を合わせられた関心領域ＲＯＩとなる。
【０１３８】
関心領域ＲＯＩは第三段階で特定された領域ＲＯＩ１、ＲＯＩ２で、信頼度指数ＩＣは第四段階で（分類の結果として）特定された信頼度指数ＩＣ１、ＩＣ２であることを再確認しておく。
【０１３９】
ｄ）重なっているガウス関数の極大値を、検知閾値ＳＧと比較する（図３６に示す下位段階ＣＯＭＰ（Ｇ、ＳＧ））。
各極大値（高さ）がこの閾値を下回る場合、結果信頼度指数ＩＣＦはゼロであるとみなされる。つまり、歩行者は一人も検知されておらず、ガウス関数はノイズまたは誤検知に相当するものとみなされる。この場合、累積に使用された関心領域ＲＯＩはいずれも保持されない。
【０１４０】
このような分類の認証により、分類段階の結果として得られた関心領域ＲＯＩ（その各々が歩行者を表わしている）の中から採用される分類済み関心領域ＲＯＩを選択することが可能となる。
【０１４１】
この時、第七段階（７）で基準座標系ＣＯＯＲｅｆに投影される関心領域ＲＯＩは、認証された関心領域である。
【０１４２】
他方、第九段階（９）で、関連付けと認証に従って、分類された障害物Ｏに特定された位置ＰＯＳを付与する。例えば、関連付けが「ポジティブ」である時、検知された障害物Ｏに、認証された関心領域を付す。
【０１４３】
なお、画像処理による第一の検知として第三の実施形態と、第二の検知として動き検知が使用される場合、図４０に示すように、以下が得られるという点に触れておきたい。
−以下を含む、画像処理による検知。
−パターン認識による検知ＤＥＴ＿ＦＯＲＭ（ＲＯＩ１、Ｉ）。
−第一の実施形態による動き検知ＤＥＴ＿ＭＶＴ１（Ｉｒｅｆ、ＩＳ、Ｓｍａｘ、Ｈ）。
−以下を含む、センサによる検知。
−超音波センサによる検知ＵＬＳ  ＤＥＴ＿ＣＡＰＴ１（ＰＯＳ、Ｓ１）。
−レーダーセンサによる検知ＲＡＤ  ＤＥＴ＿ＣＡＰＴ２（ＰＯＳ、Ｓ１）。
【０１４４】
以上、記述した方法により、画像処理による検知だけではなく、死角を最小限に抑えたセンサによる検知も利用することで、歩行者またはその他である障害物Ｏの信頼度の高い検知を行うことが可能となる。
【０１４５】
本発明による方法は、自動車の周囲Ｅに存在する障害物Ｏの検知装置ＤＩＳＰにより実施される。図４１は、前記装置を概略的に表わしたものである。
【０１４６】
この装置ＤＩＳＰは、自動車Ｖに組み込まれる。
【０１４７】
この装置ＤＩＳＰは、以下を実行可能である。
−画像処理による障害物Ｏの第一の検知を行い、少なくとも１つの関心領域ＲＯＩを特定すること。
−所与の特徴Ｃとの関係に基づき、関心領域ＲＯＩに適用される信頼度指数を用いて、検知された障害物Ｏを分類すること。
−第一の閾値Ｓ１を下回る検知範囲でセンサによる障害物Ｏの第二の検知を行い、位置ＰＯＳを特定すること。
−特定された位置ＰＯＳを基準座標系ＣＯＯＲｅｆの中に投影すること。
−前記基準座標系ＣＯＯＲｅｆの中に関心領域ＲＯＩを投影すること。
−得られた２つの投影ＰＪ１、ＰＪ２の関連付けを行い、その関連付けに従って、分類された障害物Ｏに特定された位置ＰＯＳを付与すること。
【０１４８】
非限定的な実施形態において、検知装置ＤＩＳＰはさらに以下を実施可能である。
−パターン認識による第一の検知時に、
−取得した画像Ｉのダウンサンプリングの繰り返しにより画像ピラミッドＩｓｒを構築すること。
−各ダウンサンプリング画像Ｉｓｒに対し、
−所定の障害物Ｏを表わす検知枠ＶＩＧＮを用いて、前記画像Ｉｓｒをスキャンすること。
−前記画像Ｉｓｒ内の検知枠ＶＩＧＮの連続する各位置に対し、Ｃｌｓ、Ｃｌｗなどの識別器群を用いて内容を分析すること。前記識別器は、事前の学習段階において設定される。
【０１４９】
−パターン認識による第一の検知時に、ダウンサンプリング画像Ｉｓｒにおいてスキャン領域Ｚｂを設定すること。
【０１５０】
−第一の動き検知時に、
−画像シーケンスＳＱの各画像Ｉについて再計算された背景画像Ｉｒｅｆを構築すること。
−背景画像Ｉｒｅｆを画像シーケンスＳＱ内の現在の画像Ｉｃから差し引き、結果画像Ｉｒｅｓを得ること。
−結果画像Ｉｒｅｓ内における特定の動きを閾値Ｓｍａｘに応じて識別すること。
−第二の関心領域ＲＯＩ２を識別により抽出すること。
【０１５１】
−分類段階において、
−関心領域ＲＯＩから特徴ベクトルＣを作成すること。
−前記特徴ベクトルＣを、学習段階において事前に設定された決定境界ＤＧとの比較により分類すること。
−前記決定境界からの特徴ベクトルの距離に応じて、付される信頼度指数ＩＣを設定すること。
【０１５２】
−認証段階において、
−ある画像Ｉに対応する確率マップＰ＿ＭＡＰを構築すること。分類された各関心領域ＲＯＩ１、ＲＯＩ２が、ここに確率分布として表わされる。
−確率マップＰ＿ＭＡＰにおいて重なる前記確率分布を累積し、少なくとも１つの極大値を得ること。
−確率マップ（Ｐ＿ＭＡＰ）の各極大値に最も近い関心領域ＲＯＩ１、ＲＯＩ２を認証すること。
【０１５３】
−取得した画像Ｉのパースペクティブを変更すること。
【０１５４】
−取得した画像ＩのシーケンスＳＱ上で分類された関心領域のトラッキングを行うこと。
【０１５５】
ある非限定的な実施形態において、装置ＤＩＳＰは、上記各段階を実行可能な制御ユニットを少なくとも１つ含む制御ユニットＵＣアセンブリを含む。ある非限定的なバリエーションにおいて、アセンブリは複数の制御ユニットＵＣ１、ＵＣ２、ＵＣ３を含む。これにより、非限定的な各実施バリエーションにおいて、制御ユニットＵＣをカメラＣＡＭ、プロジェクタＰＪ、センサＵＬＳ、ＲＡＤ、または車両コンピュータＥＣＵの中に分散させることができる。
【０１５６】
図４１に示す非限定的な例において、画像処理による第一の検知機能はカメラＣＡＭに、センサによる第二の検知機能はセンサＣＡＰＴに、その他の機能はコンピュータＥＣＵに、それぞれ分散されている。
【０１５７】
ある非限定的な実施形態において、カメラＣＡＭはＶＧＡまたはＷＧＡタイプで、それぞれサイズ６４０＊４８０ピクセル、または７５２＊４８０ピクセルの画像の取得を可能とするものである。非限定的な一例において、開口角φは４０°である。もちろん、これ以外の特徴を備えたその他のタイプのカメラも使用可能である。
【０１５８】
なお、上に説明した検知方法の実行は、マイクロプログラム方式の装置「ソフトウェア」、配線論理および／または電子構成コンポーネント「ハードウェア」を用いて行うことができるという点に触れておきたい。
例えば、調整装置ＤＩＳＰは、マイクロプロセッサなどの情報処理ユニット、マイクロコントローラ処理ユニット、特定用途向け集積回路（ＡＳＩＣ）、またはコンピュータなどにより実行可能な１つまたは複数の命令シーケンスを含むコンピュータプログラムＰＧを、１つまたは複数含むことができる。前記命令シーケンスの実行により記述している方法の実施が可能となる。
【０１５９】
この種のコンピュータプログラムＰＧは、ＲＯＭタイプの書き込み可能な不揮発性メモリ、またはＥＥＰＲＯＭやＦＬＡＳＨタイプのリライト可能な不揮発性メモリの中に書き込むことができる。前記コンピュータプログラムＰＧは、工場での製造段階におけるメモリへの書き込み、メモリへのロード、またはメモリへの遠隔ダウンロードが可能である。命令シーケンスについては、機械命令シーケンスまたは実行時に処理ユニットが解読する制御言語のシーケンスとすることができる。
【０１６０】
図４１の非限定的な例においては、複数のコンピュータプログラムＰＧ１、ＰＧ２およびＰＧ３が存在し、これらプログラムは、装置ＤＩＳＰの制御ユニットＵＣ１、ＵＣ２およびＵＣ３のメモリに書き込まれる。
【０１６１】
もちろん、本発明は上述の実施形態や各例に限定されるものではない。
例えば、歩行者の検知が認証された時、車両の近くにおける歩行者の存在を車両Ｖの運転手に警告するとともに、この運転手にブレーキをかけさせることができる警告システムを備えることが可能である。また、この種の検知に続く自動ブレーキ装置を備えることも可能である。
【０１６２】
このように、この検知方法は自動車Ｖの後方および／または前方の検知のために使用することができる。
【０１６３】
以上のことから、本発明にはとりわけ以下に示す長所がある。
−以下により、実行すべき処理数が減少すること。
−限定された検知領域（水平線の下またはスキャン領域）内で関心領域を特定。
−個別の関心地点を用いて、車両に対する障害物の移動を確認。
−分類段階を全画像に適用するのではなく、パターン認識と動きにより検知された障害物のみに限定（カテゴリー別に分散させる方法による）。
−以下の組み合わせにより、歩行者検知の精度が高まること。
−歩行者をその全体として認識可能な、パターン認識による検知。
−動く障害物、とりわけ動く身体の一部しか見えない歩行者を認識可能な動き検知。
−センサによる検知。
−カメラ、超音波検知器またはレーダー検知器など、ごく一般的に自動車に搭載されているコンポーネントを使用していること。
−パターン認識と動き認識により検知された障害物を全て分類するため、これら障害物をカテゴリー別に分散させる方法を使用しており、これにより歩行者検知がより確実なものとなること。
−認証段階の存在が歩行者検知に関する信頼度指数を高め、これにより必要に応じて次の段階で処理すべき検知数を減少させること。
−ある画像において検知された障害物が、第一および第二の検知で他の画像から検知されなくなった時、この障害物検知を画像シーケンス上で確認すること。
【図１】
2011023002.tif 000004
【図２】
2011023002.tif 000005
【図３】
2011023002.tif 000006
【図４】
2011023002.tif 000007
【図５】
2011023002.tif 000008
【図６】
2011023002.tif 000009
【図７】
2011023002.tif 000010
【図８】
2011023002.tif 000011
【図９】
2011023002.tif 000012
【図１０】
2011023002.tif 000013
【図１１】
2011023002.tif 000014
【図１２】
2011023002.tif 000015
【図１３】
2011023002.tif 000016
【図１４】
2011023002.tif 000017
【図１５】
2011023002.tif 000018
【図１６】
2011023002.tif 000019
【図１７】
2011023002.tif 000020
【図１８】
2011023002.tif 000021
【図１９】
2011023002.tif 000022
【図２０】
2011023002.tif 000023
【図２１】
2011023002.tif 000024
【図２２】
2011023002.tif 000025
【図２３】
2011023002.tif 000026
【図２４】
2011023002.tif 000027
【図２５】
2011023002.tif 000028
【図２６】
2011023002.tif 000029
【図２７】
2011023002.tif 000030
【図２８】
2011023002.tif 000031
【図２９】
2011023002.tif 000032
【図３０】
2011023002.tif 000033
【図３１】
2011023002.tif 000034
【図３２】
2011023002.tif 000035
【図３３】
2011023002.tif 000036
【図３４】
2011023002.tif 000037
【図３５】
2011023002.tif 000038
【図３６】
2011023002.tif 000039
【図３７】
2011023002.tif 000040
【図３８】
2011023002.tif 000041
【図３９】
2011023002.tif 000042
【図４０】
2011023002.tif 000043
【図４１】
2011023002.tif 000044
【手続補正書】
【提出日】平成22年7月9日(2010.7.9)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】図３
【補正方法】変更
【補正の内容】
【図３】
2011023002.tif 000045