(57)【特許請求の範囲】
【請求項１】
車両の乗員を検出する方法において、
ａ）前記乗員のステレオ画像対である第１のイメージおよび第２のイメージを、ステレオカメラの対によって取り込むステップと、
ｂ）前記第１のイメージから頭部および肩部の構成要素を検出するために頭部および肩部用の検出器を適用して、該第１のイメージをスキャンして該第１のイメージの複数の位置の特徴の分類スコアを計算するステップと、
ｃ）前記第１のイメージ内の特徴の分類スコアが所定の閾値を上回る場合には、該特徴は前記構成要素であると決定するステップと、
ｄ）前記構成要素が検出された場合、前記検出器によって、前記所定の閾値を超えた分類スコアを有する前記第１のイメージ内の特徴の位置に相応する前記第２のイメージ内の領域を位置検出するステップと、
ｅ）前記第２のイメージ内の位置検出された領域内の特徴の分類スコアに基づいて、該第２のイメージ内で頭部および肩部の構成要素が検出されたか否かを決定するステップと、
ｆ）前記第１のイメージおよび前記第２のイメージで頭部および肩部の構成要素が検出された場合、該頭部および肩部の構成要素に基づいて、該第１のイメージと該第２のイメージとのステレオマッチングを行うステップと、
ｇ）前記ステレオマッチングにより、前記第１のイメージおよび前記第２のイメージにおいて検出された構成要素間の相関関係を表す第１の一致情報を得るステップと、
ｈ）前記第１の一致情報を前記検出器へフィードバックするステップと、
ｉ）前記第１の一致情報を使用して、前記第１のイメージおよび前記第２のイメージの検出領域を狭くし、ステップｂ）〜ｇ）を実施して第２の一致情報を生成するステップと、
ｊ）前記第１の一致情報と前記第２の一致情報との間に収束を得るまで、ステップｅ），ｆ），ｇ），ｈ）を繰り返すステップと
を有することを特徴とする方法。
【請求項２】
前記ステップｆ）において、頭部および肩部の構成要素の視差マップを形成する、請求項１記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の乗員を検出する方法に関する。
【背景技術】
【０００２】
人の有無を検出するための認識アルゴリズムが数多く存在する。顔のみが検出されるケースが幾つかあれば、別の例では、人の身体全体が検出される。このような検出アルゴリズムは数多くのアプリケーションで使用され、たとえばドライバモニタリング、ユーザ識別、および車両の乗員に関する情報を供給するためのアプリケーションで使用されるが、これらのアプリケーションに制限されない。後者の例では、乗員検出および乗員に関する情報は、エアバッグ展開等の車両の制御面で使用される。
【０００３】
乗員の有無が検出される場合、エアバッグを展開する必要があるか否かに関して初期の決定が行われる。占有されていない座席では、エアバッグを展開する必要がない。さらに、乗員のサイズおよびダッシュボードに対する該乗員の相対的な位置が検出される場合、エアバッグの設定を調節して、乗員に対する保護の適切な程度を供給することができる。たとえば、乗員が子供であるかまたはダッシュボードの近傍に着席している場合、エアバッグを調節して、大人またはダッシュボードから適正な距離に着席する乗員より小さい量の力で展開することができる。
【０００４】
ドライバモニタリングの場合、別の有利なアプリケーションに、ドライバ等の車両乗員の頭部ポーズを検出するアプリケーションがある。頭部ポーズに属する情報を使用して、ドライバの状態に関して想定を行うことができる。たとえば頭部が傾斜している場合、このことはドライバが居眠りをしているか、または運転能力を失っていることを示唆する。また、頭部が方向転換している場合、このことはドライバが道路に注意していないことを示唆する。頭部ポーズの推定は、１つまたは複数のビデオストリームから人間の頭部のポーズの発見を扱う。ここでの問題は、顔検出に関連する。というのも顔の位置が既知であれば、ポーズを検出するのが比較的簡単になるからである。また、ポーズが既知であれば、顔を検出するのも比較的容易になる。２つ以上のカメラを使用する場合、異なるビデオストリームからの情報の融合によって、頭部ポーズ推定の重要なソースが表される。
【０００５】
頭部ポーズを推定するための最も普通のアプローチは、特徴点ベースの手法、マルチビュー法および顔の３次元（３Ｄ）モデリングによるものである。特徴点ベースの手法は特徴ベース幾何法（feature-based geometrical method）とも称され、顔の目印ポイントの位置決定を行い、これらの目印ポイントの位置から顔の方向を計算することを目的とする。一般的な顔モデルがすべての顔に対して想定され、顔対称性および比のコンシステンシーが考慮される場合、２次元（２Ｄ）の特徴点情報だけでポーズを推定することができる。幾つかの手法では、目および口の近傍のポイントとこれらのポイントの同一平面の制約とを使用して、ポーズを推定する。別の手法では、目の近傍の領域に所属するポイントと鼻の先端のポイントとを使用するだけである。
【０００６】
別のアプローチでは、３Ｄの目印位置を計算するための多重カメラが含まれる。ここで重要な問題とされているのは、特徴点を精確に位置検出し、一致関係の誤りを最小にして、精確な３Ｄ位置を形成することである。特徴点検出を行う際には、テンプレートマッチング、ウェーブレット分析、またはさらに複雑な検出手段が使用される。これらの手法を使用することによって連続的なポーズ推定が可能になるが、人の顔が表情を変える場合、合成できる特徴点を位置検出するのは困難である。さらに、このような技術を複数回行うことで、特徴点を手動で初期化する必要がある。
【０００７】
頭部ポーズを検出するために通常使用される別のアプローチに、マルチビューベースの手法がある。マルチビューベースの手法は外観学習ベース法（appearance learning based method）とも称され、顔全体を高次元空間内のベクトルとして扱い、特徴点を見つける必要がない。訓練用の顔例は離散的な観察面で収集され、たとえば０°、１０°、２０°等の偏揺れ角度で収集される。各観察面またはポーズは、異なる人および異なる照明条件から得られる。このようにすると、このタスクは観察面分類の問題に簡略化される。異なる外観学習法を使用して、異なる観察面を判別することができる。
【０００８】
幾つかのケースでは、サポートベクトルマシン（ＳＶＭ）を使用して観察面を分類する。別の手法では、サブスペース変換が行われる。大幅なポーズ変化を伴う顔認識を解く場合、アプローチの１つに、まず顔のポーズを検出した後、観察面ごとの固有空間を使用して顔を認識するアプローチがある。主成分分析（ＰＣＡ）を各観察面に対して適用することにより、観察面ごとに固有空間を得た後、入力イメージを各観察面の固有空間に投影して、最小の残留エラーを有する観察面を、入力された顔の推定上のポーズとする。一般的にマルチビューアプローチは、ステレオ情報を必要としない。しかし、このような学習法は、多数のポーズ分類された例を有する大きな訓練データベースを必要とする。
【０００９】
３次元モデルベースの手法は、合成による分析（analysis by synthesis）とも称され、通常は一般的な３Ｄの顔／頭部のモデルを想定する。入力されたイメージは、モデルと繰り返しマッチングされ、こうすることによってマッチングエラーを最小にする。ただし、このモデルは特定の人に適合しているものでも適合していないものでもよい。プロシージャが収束すると、ポーズが求められる。３次元モデルベースの手法は、典型的には多数の特徴点を使用する。これらの手法では、測定された特徴点位置にノイズが含まれることを想定しており、モデルと繰り返しマッチングする場合、この方法はさらにロバストになる。一致プロシージャが収束した場合、この結果は精確である。しかし、これらの手法は計算上高コストであり、非常に低速であり、良好な初期化を行わないとターゲットを完全に見失うことがある。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明の課題は、ステレオカメラ対から取り込まれた人のイメージの対によって車両の乗員を検出する方法を提供することである。
【課題を解決するための手段】
【００１１】
前記課題は、
ａ）人のイメージの対を、ステレオカメラの対から取り込むステップと、
ｂ）頭部および肩部用の検出器を適用して、一方のイメージから頭部および肩部を識別するステップと、
ｃ）該イメージの対のうち第１のイメージにおいて、高い分類スコアを有する位置を検出するステップと、
ｄ）第１のイメージの１つの位置における分類スコアが所定の閾値を上回る場合、該イメージの対のうち第２のイメージ内で相応の領域を位置検出するステップと、
ｅ）第２のイメージ内で頭部および肩部の構成要素が検出されたか否かを決定するステップと、
ｆ）ステレオイメージ対内の相応の位置で頭部および肩部の構成要素が検出された場合、該頭部および肩部の構成要素を、ステレオマッチングのために初期のマッチングポイントとして使用するステップと、
ｇ）前記頭部および肩部の構成要素でステレオマッチングを実行し、一致情報を得るステップと、
ｈ）前記一致情報を検出モジュールへフィードバックするステップと、
ｉ）前記一致情報を使用して、イメージの対内の検出イメージの精度を向上し、新たな検出情報を生成するステップと、
ｊ）一致情報と検出情報との間に収束を得るまで、ステップｅ），ｆ），ｇ），ｈ）を繰り返すステップと、
ｋ）前記検出情報に基づいて、乗員が存在するか否かを検出するステップ
とを有する方法によって解決される。
【図面の簡単な説明】
【００１２】
【図１】頭部ポーズを推定し、および／または車両内の乗員を検出するための、本発明によるシステムのシステムブロック図である。
【図２】本発明にしたがって、本システムの学習フェーズ中およびリアルタイム検出中に収集されるイメージおよびステレオ構成要素を図解するための例である。
【図３】頭部ポーズを検出するために使用されるステレオ構成要素を備えたデータベースを訓練するための、本発明によるステップを示すフローチャートである。
【図４】頭部ポーズを検出するための、本発明によるステップを図解するフローチャートである。
【図５】乗員を検出するための本発明によるシステムを図解する概略図である。
【図６】本発明の占有状態検出にしたがって、ステレオ検出器を共同で訓練する方法を図解するブロック図である。
【図７】本発明にしたがって乗員を検出してポーズを推定する方法の実施に関するフローチャートである。
【図８】連結された本発明による身体モデルを示す図である。
【図９】個人の頭部と、本発明にしたがって特定の頭部ポーズを表す動きの可能な範囲とを示す図である。
【図１０】２つのカメラによって取り込まれた本発明によるイメージの対と、イメージ対においてステレオ構成要素を識別する、本発明による方法とを示す図である。
【図１１】頭部ポーズを検出するための、本発明による方法を示す概略図である。
【発明を実施するための形態】
【００１３】
本発明は、個人の頭部ポーズを検出するための方法に関する。人のイメージの対をステレオカメラの対から取り込み、このイメージの対を同時にスキャンし、該イメージの対において少なくとも１つの構成要素を位置検出する。少なくとも１つの構成要素に対してそれぞれ、３次元（３Ｄ）位置を計算し、これらの３Ｄ位置を使用して頭部ポーズを推定する。
【００１４】
本発明の別の側面では、訓練されたステレオ検出器によってデータベースにロードし、リアルタイムの頭部ポーズ検出で使用するためのシステムおよび方法を開示する。個人の頭部のイメージの対を受信し、その際には、イメージの各対が表す頭部ポーズは異なる。別の個人の頭部のイメージの対も受信し、その際には、イメージの各対は異なる頭部ポーズを表す。構成要素のセットを、イメージの各対ごとに識別し、識別された各構成要素に所属するデータに索引を付与し、索引付与されたデータをデータベースに記憶する。識別された各構成要素に所属する複数の特徴を定義し、各構成要素ごとに、肯定的な構成要素例を最良に判別する特徴のサブセットを決定する。
【００１５】
本発明の別の側面によれば、車両の乗員を検出するためのシステムおよび方法を開示する。人のイメージの対を、ステレオカメラの対から取り込む。イメージの対の第１のイメージ内で強い応答の位置が検出され、該イメージの対の第２のイメージにおいて相応の領域が位置検出される。頭部および肩部の構成要素が検出されたか否かに関して決定が行われ、頭部および肩部の構成要素が検出されると、該頭部および肩部の構成要素はステレオマッチングのための初期のマッチングポイントとして使用される。頭部および肩部の構成要素でステレオマッチングが行われ、一致情報が得られる。この一致情報は、検出モジュールへフィードバックされる。この一致情報を使用して検出情報が生成され、一致情報と検出情報との間で収束が得られるまで、一致情報は連続的に検出モジュールへ供給される。この検出情報に基づいて、乗員が存在するか否かが決定される。
【実施例】
【００１６】
本発明は、ステレオ検出器を使用して乗員および該乗員の頭部の位置またはポーズを検出するためのシステムおよび方法に関する。図１は、ステレオ検出器を使用して乗員および頭部ポーズを検出するための、本発明によるシステムの上位のブロック図である。このようなシステムをたとえば車両において使用し、乗員の有無または車両のドライバおよび／または乗員に関する別の情報を検出することができる。当業者であれば、監視または安全性に関わるアプリケーション等の別の環境において本発明を使用できることが理解できる。
【００１７】
本発明は図１に示されているように、カメラ１０２，１０４によって取り込まれた２つのステレオ構成要素間の相関関係を利用する。ステレオ構成要素は、該システムによって検出された肯定的な特徴の対であり、乗員の有無および頭部ポーズの双方を検出するために使用される。ステレオ構成要素の例には、左目、右目、鼻、口、左耳および右耳のステレオイメージが含まれる。
【００１８】
ステレオカメラ１０２，１０４は相互に相対的な既知の角度および位置で配置され、特定のターゲットを取り込むように方向づけられる。この特定のターゲットは、たとえば車両のドライバである。２つのカメラ１０２，１０４間の位置関係が既知であることにより、これらのカメラによって取り込まれたイメージを分析して、複数のステレオ構成要素を検出できる。これらのステレオ構成要素は、各カメラの観察面に対して相対的に、特定のステレオ構成要素の予測上のパースペクティブに基づいて、対としてまとめられる。
【００１９】
たとえば、ドライバがカメラ１０２に直接面している場合、検出されるステレオ構成要素、たとえば該ドライバの鼻は、正面の観察面に現れる。しかし、カメラ１０４によって取り込まれる同一のステレオ構成要素（鼻）のイメージは、横顔の観察面として現れる。ステレオ構成要素のデータを対としてまとめることにより、ドライバの頭部ポーズを検出することができる。このデータをさらに分析し、さらにアクションをとるべきか否かを決定することができる。たとえばこのデータが、たとえば居眠りまたは運転能力を失ったためにドライバが運転に注意していないことを示唆する場合、プロセッサ１０６は警報をトリガして鳴らし、ドライバの注意を道路に集中させるようにすることができる。
【００２０】
異なるポーズを有する人の頭部のデータベース１０８が、ステレオ構成要素の肯定的な例を形成するために使用される。このような種々の肯定的な例は共同して、構成要素の外観をとらえ、ステレオ対相互間の固有の関係をとらえる。ステレオ構成要素間の依存性を利用することにより、この技術によって、２つのカメラを独立して使用する場合より高い信頼性の検出を行うことができる。データベース１０８には訓練データがロードされ、この訓練データは、リアルタイムの頭部ポーズ検出中に使用される。ブースティング等の学習技術がプロセッサ１０６によって使用され、分類器（分類手段）が形成され、これによって肯定的な対と否定的な例とが判別される。図２Ａおよび２Ｂには、プロセッサ１０６によって学習ステージ中に集められるデータと、リアルタイム検出中に取り込まれるイメージとが示されている。データベース１０８に、訓練された分類器がロードされ、これらの分類器はリアルタイムの頭部ポーズ検出中に使用される。リアルタイム検出中には、ステレオカメラ１０２，１０４によって捕捉された２つのビデオフレームが、訓練中に指定されたステレオ構成要素に対して探索される。ステレオ構成要素間の依存性を利用することにより、この技術で行われる検出は、２つのカメラを独立して使用する場合よりもさらに高い信頼性を有するようになる。
【００２１】
図３を参照すると、データベース１０８を訓練するための本発明によるステップを示すフローチャートが記載されている。多数の異なる頭部ポーズをとって、個人の頭部のイメージの対が取り込まれる（ステップ３０２）。この訓練ステージでは、ステレオ構成要素を識別し、該ステレオ構成要素に索引付与する必要がある。図５に示されたのと類似するセットアップを使用して、イメージ対は取り込まれる。当業者であれば、カメラを実際の車両に設置するか、シミュレートして車両内のカメラの位置および相対的な配置を模擬できることが理解できる。
【００２２】
個人の頭部のイメージの対（すなわち、各カメラから同時に撮影された各１つのイメージ）は、所定の数および所定の種類の頭部ポーズで取り込まれる。頭部ポーズは、図９に示されているように、動きの３つの一般的な方向によって定義される。動きの第１の方向は、頭部が垂直軸を中心として回転する偏揺れ方向である。典型的には、０°の角度が正面観察面として定義される（ここでは、個人は車両のフロントガラスに直接面している）。矢印９０２によって示されたような頭部の各偏揺れ角（たとえば、−９０°〜＋９０°の間の角度）は、異なるポーズを意味する。
【００２３】
考えられる動きの第２の方向は、矢印９０４によって示されたような、頭部の縦揺れである。この縦揺れは、横軸を中心とする回転に相応する。縦揺れの基準となる０°の角度は、頭部が前方を向いている場合である。頭部の縦揺れ（たとえば、−９０°〜＋９０°）は、異なるポーズを意味する。
【００２４】
考えられる動きの第３の方向は、矢印９０６によって示されたような、頭部の横揺れである。動きのこの方向は、長手軸を中心とする回転に相応する。基準となる０°の角度は、直立状態の顔に相応する。頭部の横揺れ（たとえば、−９０°〜＋９０°）は、異なるポーズを意味する。
【００２５】
特定の個人の各所望のポーズごとにイメージの対が撮影された後、別の個人のイメージの同様のセットが撮影される（ステップ３０４）。このことは、各個人ごとに同じポーズが撮像されることを意味する。すべての訓練イメージが取り込まれ、データベース１０８に記憶された後、イメージの各対が分析されてステレオ構成要素のセットが識別される（ステップ３０６）。上記で説明したように、構成要素は顔の区別特徴であり、たとえば左目、右目等である。ステレオ構成要素の識別は、各構成要素に正方形によってマーキングすることにより、手動で行われる。このことは図２Ｂに示されている。
【００２６】
構成要素の各対が識別されると、該構成要素に所属する相応のデータに索引付与され、該データはデータベース１０８に記憶される（ステップ３０８）。索引付与されたデータはとりわけ、上記の３つの特性によって定義されたような種類の構成要素および頭部ポーズを含むことができる。識別された構成要素の各対は、肯定的な例とも称される。肯定的な例が識別された後、否定的な例または非構成要素が収集され、データベースに記憶される（ステップ３１０）。非構成要素は、構成要素として識別されなかった頭部の特徴、または人間以外のオブジェクトのイメージである。
【００２７】
肯定的な例に関して、各構成要素対に対して複数の特徴が定義される（ステップ３１２）。典型的には、各構成要素はたとえば、該構成要素に所属する５０，０００個の特徴を有する。特徴の強さを、構成要素を識別する際の有用性の点で決定するため、各特徴に対して１つの値が関連づけられる。値が高いほど特徴は強い。ブースティング等の技術を使用して、肯定的な例と否定的な例とを判別するために使用される特徴のサブセットを識別することができる（ステップ３１４）。たとえば、１つの構成要素が５０，０００個の特徴を有する場合、サブセットは１００〜２００個の特徴を有する。各構成要素に対する特徴のサブセットが識別された後は、テスト用基準または強い分類器を、各構成要素に対して定義することができる（ステップ３１６）。
【００２８】
テストはイメージの各対ごとに行われ、イメージ対に存在する肯定的な例またはステレオ構成要素が識別される。所定のサイズのウィンドウを使用して、イメージ中の画素の一部がサンプリングされる。このことは図１０に示されている。ウィンドウ１００６が第１のイメージ１００２内に配置され、アルゴリズムを使用して、該ウィンドウ１００６において特定の構成要素に相応する特徴スコアが計算される。この特徴スコアが所定の閾値を上回る場合、ウィンドウは構成要素を含む（すなわち、肯定的な例である）ことが検出される。特徴スコアが所定の閾値を下回る場合、ウィンドウは特定の構成要素を含んでいないと検出される。ウィンドウは隣接する空間１００６ａへ、小さいステップサイズだけスライドされ、特徴スコアが再び計算される。ウィンドウが特定の構成要素の存在を示す場合、第２のウィンドウ１００８が対の第２のイメージ１００４内に配置され、ステレオ構成要素が見つけられる。スライドされるウィンドウは、隣接する位置にオーバラップすることができる。
【００２９】
同様のプロシージャが第２のウィンドウ１００８によって、肯定的なスコアに到達するまで実行される。当業者であれば、第２のウィンドウ１００８の配置に関して、評価される構成要素に基づいて制約を定義できることが理解できる。たとえば構成要素が左目である場合、該構成要素が第１のイメージ１００２において識別された後は、両イメージの相互関係に起因して、探索すべき第２のイメージ１００４の領域が必然的に制約される。このようにして、第１のイメージの左上の象限において左目が位置検出された場合、第２のイメージ中の既知の領域を決定して、この領域で、構成要素を同様に見つけることができる。本発明において制約を使用することにより、ステレオ構成要素を識別するために必要な計算量を格段に低減することができる。
【００３０】
当業者であれば、構成要素が異なれば、該構成要素に関連する制約が異なるようにすることを想到できる。このような制約は、構成要素の特性および両イメージの相互関係の双方によって定義される。同様に、１つの構成要素が識別された後、別の構成要素を位置検出するためにさらに制約を適用することができる。たとえば左目が識別された場合、人の鼻を位置検出するのを支援するために制約を定義することができる。
【００３１】
特徴評価に関しては、構成要素を評価することにより、構成要素のどのような組み合わせが頭部ポーズを識別するのに最も強い判別手段であるかが決定される。最も強い判別手段に関するデータはデータベースに記憶され、リアルタイム検出で使用される。これらの構成要素は検出フェーズで、個人の頭部をリアルタイムイメージで検出し、頭部ポーズを検出するために使用される。検出された頭部を計算するために、第２のレベルの処理が行われる。ここでは、異なる顔構成要素に対する第１のレベルのステレオ検出器の応答が融合され、たとえば別の学習アルゴリズムを使用して、顔ポーズが推定される。
【００３２】
図４を参照すると、頭部ポーズを検出するための本発明によるステップを図解するフローチャートが示されている。車両内に配置されたカメラの対によって取り込まれたイメージの各対ごとに、該イメージはウィンドウによってスキャンされ、特徴スコアが上記のように計算され、ステレオ構成要素のサブセットが識別される（ステップ４０２）。構成要素のサブセットが識別された後は、所与のイメージ内で各構成要素の位置が検出される（ステップ４０４）。
【００３３】
図１１は、イメージの対１１０２，１１０４、および該イメージの対で検出されたステレオ構成要素１１０６，１１０８の対を図解する概略図である。各構成要素対１１０６，１１０８の位置は三角測量によって検出され、個人１１１２の実際の位置が検出される（ステップ４０６）。同様に、この三角測量によって特定の構成要素１１１０の実際の位置が得られる。個人の頭部１１１２の奥行および位置を検出し、検出された構成要素をそれぞれ、頭部１１１２上に位置付けすることにより、個人の頭部ポーズを検出することができる（ステップ４０８）。
【００３４】
本発明の別の実施形態によれば、マルチビュー学習技術を使用して、顔の異なるポーズに関連して視差マップを学習することができる。この視差マップは、強度イメージに直接適用することができる。しかし強度イメージは、照明条件および陰影が異なるのに伴って大きく変動するので、学習の効率は低減してしまう。視差マップを学習する利点は、照明の変化に対して頑強であることだ。
【００３５】
訓練ステージでは、顔の視差マップを得るために、既知のポーズを使用して、３Ｄの顔モデルを所望の観察面へ計算によって回転させるか、または実際の訓練用のデータを使用する。視差マップは、個人の構成要素に関する奥行情報と、個人の頭部の位置および頭部ポーズを決定するのに使用されるデータとを供給する。イメージの各対に対して生成された視差マップは、異なる表面ポイントおよび該表面ポイントの奥行の相関関係に基づいて構成要素を識別する。アダブースティング（AdaBoosting）等の学習技術を使用して、１つの観察面と他のすべての観察面とを判別することができる。専用のポーズにそれぞれ適した、異なるポーズ検出器のセットが得られる。
【００３６】
検出ステージでは、視差マップが粗から細へと形成される。こうするために可能な手段は、マルチスケールオプティカルフロー法（multi-scale optical flow method）の修正バージョンを使用して視差マップを得ることである。粗い頭部位置は視差マップに得られており、たとえば頭部は背景よりもカメラの方に近接しているので、ポーズ推定は小さい探索領域に制限される。視差マップは、離散的なポーズ検出器のバンクへ供給され、ポーズ検出器の応答は融合されて、ポーズ推定が得られる。
【００３７】
頭部ポーズの検出の他に付加的に、本発明は、ステレオ検出器の共同訓練に基づいて行う乗員検出にも関する。このような技術は、車両の乗員を検出し、検出された乗員に関する情報を得るために使用される。この情報はたとえば、エアバッグ展開を調節するために使用される。図５に、車両内部の乗員を検出するためのシステムのセットアップの一例が示されている。対のカメラ５０４，５０６は、潜在的な乗員５０２のいずれかの側部に配置されている。乗員は、ドライバまたは車両内の同乗者である。エアバッグ５０８は、車両のダッシュボード（図示されていない）に取り付けられている。カメラ５０４，５０６は、乗員のイメージを取り込む。
【００３８】
相互に相対的な双方のカメラの構成、および乗員５０２の位置に対して相対的なカメラの構成は既知であるから、乗員のステレオイメージを収集し、対としてまとめて、該乗員に関する情報を供給することができる。このような情報には、乗員の有無、乗員の大きさ、およびダッシュボードに対する乗員の相対的位置が含まれる。共同訓練は、イメージのステレオ対相互間の相関関係を構成要素検出器にエンコードするために使用される。
【００３９】
カメラの対を使用すると、該対の間の相関関係によって、たとえば乗員等のオブジェクトクラスに付加的な制約が課される。より詳細には、カメラ５０４，５０６を次のように構成することができる。すなわち、顔がカメラ５０４の正面観察面に現れた場合、カメラ５０６はこの顔を横顔観察面でとらえるように構成することができる。両カメラ５０４，５０６が、横顔観察面または正面観察面を同時に観察することはできない。このようにして、共同的な外観はカメラのセットアップによって制約される。相関付けられた外観を共同で処理することにより、別個の外観検出器の性能を拡大することができる。
【００４０】
本発明は、ステレオ検出器をステレオ例から学習するための共同訓練方法に関する。この共同訓練方法は、図６に示されている。オブジェクト例６０２，６０４が、ステレオ対のイメージから収集される。ブースティングによる共同訓練で使用される特徴セットＸ＝ＸＬ  ∪ ＸＲが、（左、右）イメージ対から抽出された特徴セット（ＸＬ，ＸＲ）の統合体として定義される。非対象例または否定的な対６０６，６０８が、乗員以外のイメージまたは背景イメージから取られる。このようなカメラ構成により、オブジェクト外観の複数の不適切な組み合わせが否定的な例に含まれ、ステレオセットアップに起因する制約が強くなる。
【００４１】
ブースティングによる訓練６１０により、ステレオオブジェクト検出器は、ブースティングされた分類器によって実現される：
ｆ（ｘＬ，ｘＲ）＝オブジェクトまたは非オブジェクト    （１）
ここで、（ｘＬ，ｘＲ）は共同で選択された特徴である。ＸＬとＸＲとの間の相関関係は、特徴の選択および決定の組み合わせでエンコードされる。ブースティングされた分類器は線形に、弱い決定を組み合わせるので、最終的な決定は構成要素レベルで結合解除される：
ｆ（ｘＬ，ｘＲ）＝ｆＬ（ｘＬ）＋ｆＲ（ｘＲ）
すなわち、この処理は一方のイメージで実行された後、他方のイメージに移行される。ただ１つのカメラ検出とは対照的に、「構成要素」という用語は、異なるカメラによって観察された同一のオブジェクト部分の外観を指す。
【００４２】
本発明では、図７に、占有状態検出およびポーズ推定を実行するための方法を図解するフローチャートが示されている。ステレオ検出器を使用し、頭部‐肩部検出を使用して、乗員が車両内に存在するか否かを識別する。最初に、ステレオ構成要素に対する分類器がステレオ検出器によって受信される。この分類器は、入力されたオブジェクトイメージ対と比較され、乗員の頭部および肩部の有無が検出される（ステップ７０２）。人体の上体部分において、頭部および肩部によって定義された構成要素が、乗員イメージと背景イメージとを分類するために最も特徴的な情報を含む。
【００４３】
ステレオ検出器は、占有状態検出において頭部‐肩部領域を位置決定するために使用される。このステレオ検出器を訓練するために、ポーズ、髪型、顔の付属物、照明および人の間の相違の十分な変化を例示する、乗員イメージのステレオイメージ対が収集される。頭部‐肩部領域のイメージの対は手動で切り取られ、訓練データセットを形成するために整合される。ブースティングによる訓練を行うことにより、共同の強い分類器が得られ、これによって対にある両イメージの特徴が組み合わされる。その後、検出が連続的に行われる。最初に、一方のイメージ内で強い応答の位置が位置検出される。次に、他方のイメージ内で相応の領域がチェックされる。両イメージ内の構成要素の位置間の一致関係は、例からも学習される。
【００４４】
頭部および肩部が検出されると、相応の頭部‐肩部イメージが、ステレオマッチングのための初期のマッチングポイントとして使用される。次に、ステレオマッチング７０４が実行される。これによって、視差／奥行マップが形成される。ステレオマッチングで得られた一致情報はその後、検出モジュールへフィードバックされ、これによって検出が改善される。この方法は、ステレオ検出とステレオマッチングとの間に収束が得られるまで、ステレオ検出器とステレオマッチングとの間で繰り返される。検出モジュールは、ステレオマッチングアルゴリズムに対して良好な初期化を実現し、マッチングモジュールによって得られた頭部‐肩部領域の一致関係では、検出モジュールに対して有用な制約が得られる。検出モジュールとマッチングモジュールとの間でインタラクションが実現されることにより、検出結果およびマッチング結果の双方がさらに改善される。乗員の有無が確認されると、ポーズ推定モジュール７０８は、身体の位置およびポーズ７１０等の別の有用な情報を検出する。
【００４５】
図８に示されたような、連結された身体モデル８０２が、ポーズ推定を求めるために使用される。この身体モデルは２つの部分を含み、頭部‐肩部分８０４および上体の胴体部分８０６を含む。連結された身体モデル８０２は、３次元空間で回転または並進等の剛性運動が行われ、複数の対象ポーズ（pose of interest）に焦点が配置される。これらの対象ポーズは、エアバッグ展開において注意深い制御を必要とする異常な身体位置を示す。たとえばこのような対象ポーズには、身体ポーズが前面に過度に近接しているケース、身体が過度に小さい（たとえば子供）ケース、または身体が傾斜しているケースが含まれる。
【００４６】
対象ポーズ（ＰＯＩ）を検出するためには、確率的なアプローチが使用される。頭部および肩部の外観、ステレオ一致関係、および視差／奥行マップが測定結果ｍであり、ＰＯＩによって得られた測定結果の確率が、ｐ（ｍ｜ＰＯＩ）によって確立される。多重の対象ポーズによって、多重的な特徴的属性としてモデリングされる。確率スコアｐ（ｍ｜ＰＯＩ）からポーズを決定するために、異なるポーズ推定基準を適用することができる。１つの例が、最大尤度（ＭＬ）推定である。ここでは、最大の確率を引き起こす特定のポーズが身体ポーズとして決定される。
【００４７】
乗員および頭部ポーズを検出および追跡する方法の実施形態を説明したが、当業者であれば上記の思想を鑑みて、修正および変更を行えることを述べておく。したがって、ここに開示された特定の実施形態で、添付された請求の範囲で定義された本発明の範囲および思想に沿った変更を行えることが理解できる。特許法で要求されている詳細な説明によって本発明を説明したが、文書によって請求され特許による保護が要求されている事項は、添付の請求の範囲に記載されている。
【図１】
0004848022.tif 000002
【図２】
0004848022.tif 000003
【図３】
0004848022.tif 000004
【図４】
0004848022.tif 000005
【図５】
0004848022.tif 000006
【図６】
0004848022.tif 000007
【図７】
0004848022.tif 000008
【図８】
0004848022.tif 000009
【図９】
0004848022.tif 000010
【図１０】
0004848022.tif 000011
【図１１】
0004848022.tif 000012