(57)【要約】本発明は自動車の乗員の三次元位置を決定する方法に関する。本発明の方法は、非ステレオモードで動作できるように配置された少なくとも２つのカメラ（１、２、１’、２’）の助けで自動車の乗員を観察し、ビデオデータから乗員の適切な特性を抽出し、頭部モデルによって追跡を開始し、パターン認識によって前記抽出された特性を検証し、さらに前記頭部モデルによって前記検証された特性を追跡することにある。前記方法を実行するために使用される、記録装置の制御装置を基礎にした本発明の装置も開示されている。
2006510076.tif 000002
【特許請求の範囲】
【請求項１】
自動車乗員の三次元位置を決定する方法であって、
非ステレオモードで動作できるように配置された少なくとも２つのカメラ（１、２、１’、２’）によって前記自動車乗員を観察するステップと、
前記自動車乗員の記録されたビデオデータから適切な特性を抽出するステップと、
頭部モデルによって追跡方法を開始するステップと、
パターン認識によって前記抽出された特性を検証するステップと、
前記頭部モデルによって前記検証された特性を追跡するステップと
を含む方法。
【請求項２】
前記特性は、前記乗員の顔面又は形状の特性から成るグループから選択されることを特徴とする請求項１に記載の方法。
【請求項３】
前記顔面又は形状の特性は、目、鼻孔、口の隅、眉毛又は髪の生え際を含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記カメラ（１、２、１’、２’）は、同期化される必要がないことを特徴とする請求項１〜３のいずれか一項に記載の方法。
【請求項５】
異なる視野を有する前記カメラ（１、２、１’、２’）は、運転者（４）の一方の目が常に視野に入るように位置決めされていることを特徴とする請求項１〜４のいずれか一項に記載の方法。
【請求項６】
乗員の頭部姿勢を決定するステップをさらに含むことを特徴とする請求項１〜５のいずれか一項に記載の方法。
【請求項７】
乗員の視野の方向を決定するステップをも含むことを特徴とする請求項１〜６のいずれか一項に記載の方法。
【請求項８】
乗員の瞼の状態を決定するステップをも含むことを特徴とする請求項１〜７のいずれか一項に記載の方法。
【請求項９】
前記追跡ステップは前記カメラ（１、２、１’、２’）の全ての記録された特性のカルマンフィルタリングに基づき、前記カメラは非同期で動作できることを特徴とする請求項１〜８のいずれか一項に記載の方法。
【請求項１０】
前記頭部モデルは人体測定モデルであることを特徴とする請求項１〜９のいずれか一項に記載の方法。
【請求項１１】
前記パターン認識は統計的パターン認識であることを特徴とする請求項１〜１０のいずれか一項に記載の方法。
【請求項１２】
自動車乗員の三次元位置を決定する装置であって、
非ステレオモードで動作できるように配置された、前記自動車乗員を観察する少なくとも２台のカメラ（１、２、１’、２’）と、
前記自動車乗員の記録されたビデオデータから適切な特性を抽出する手段、
頭部モデルによって追跡ステップを開始する手段、
パターン認識によって前記抽出された特性を検証する手段、および
前記頭部モデルによって前記検証された特性を追跡する手段
を具備する制御装置（３）と
を具備する装置。
【請求項１３】
前記特性は、前記乗員の顔面又は形状の特性から成るグループから選択されることを特徴とする請求項１２に記載の装置。
【請求項１４】
前記顔面又は形状の特性は、目、鼻孔、口の隅、眉毛又は髪の生え際を含むことを特徴とする請求項１３に記載の装置。
【請求項１５】
前記カメラ（１、２、１’、２’）は同期化される必要がないことを特徴とする請求項１２〜１４のいずれか一項に記載の装置。
【請求項１６】
異なる視野を有する前記カメラ（１、２、１’、２’）は、運転者（４）の一方の目が常に視野に入るように位置決めされていることを特徴とする請求項１２〜１５のいずれか一項に記載の装置。
【請求項１７】
乗員の頭部姿勢を決定する手段をも具備することを特徴とする請求項１２〜１６のいずれか一項に記載の装置。
【請求項１８】
乗員の瞼の状態を決定する手段をも具備することを特徴とする請求項１２〜１７のいずれか一項に記載の装置。
【請求項１９】
追跡のための前記手段は前記カメラ（１、２、１’、２’）の全ての記録された特性のカルマンフィルタリングを実行するように構成され、前記カメラは非同期で動作できることを特徴とする請求項１２〜１８のいずれか一項に記載の装置。
【請求項２０】
前記カメラ（１、２）が自動車（１０）の前部領域に配置されたことを特徴とする請求項１２〜１９のいずれか一項に記載の装置。
【請求項２１】
一方のカメラ（１’）が自動車（１０）の前部領域に配置され、他方のカメラが自動車（１０）の側部領域に配置されたことを特徴とする請求項１２〜１９のいずれか一項に記載の装置。
【請求項２２】
前記制御装置（３）は、検出された頭部位置により、エアバッグの解放及び／又はヘッドレスト（５）の調整及び／又は自動車のシートの調整を制御する手段をも具備することを特徴とする請求項１２〜２１のいずれか一項に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広く三次元位置を決定する方法及び装置に関し、特に、自動車の運転者又は乗員の三次元の頭部位置及び／又は頭部姿勢を決定する方法及び装置に関する。本発明による方法及び本発明による装置はそれぞれ、特に自動車の運転者又は乗員の視野の方向を認識し、疲労を検出するのに適している。さらに、本発明による方法及び本発明による装置はそれぞれ、自動車の運転者又は乗員の瞼の状態を決定する可能性を提供する。
【背景技術】
【０００２】
多数のセンサを結びつけて空間内の物体の三次元位置を決定する方法は、いわゆる仮想現実方法との関連で知られている。これらの方法では、例えば、電磁追跡装置が、一方で、使用者の頭部位置および視野の方向を記録し、これは頭部追跡と呼ばれている。他方で、電磁追跡装置は、三次元入力装置（例えば、ペン、三次元ジョイスティック、データグローブなど）の位置を記録する。これらの三次元入力装置は、データと直接やりとりする能力を使用者に与える、すなわち、使用者は仮想世界で移動し、データオブジェクトに触れ、それらを回転させ、さらに拡大縮小させる可能性を有する。
【０００３】
従来技術から、自動車乗員の視野の方向を検出するステレオ方法も知られている。例えばシーイングマシンズ（ＳｅｅｉｎｇＭａｃｈｉｎｅｓ）社のフェースラブＴＭ（ＦａｃｅＬａｂＴＭ）。
【０００４】
特許文献１から、１つ又は多数のＩＲセンサを使用して、自動車の運転者又は乗員の位置を検出及び決定する方法が知られている。ＩＲセンサは、監視されるべき自動車運転者の検出に使用される。エアバッグ解放の制御に運転者又は乗員の位置を利用するために、その検出情報が所定のパターンによって評価される。この種類の制御は、事故に関わるエアバック解放の場合に運転者又は乗員が負傷するのを防ぐことを目的とする。パターン認識は、自動車乗員を検出するニューラルネットワーク又はニューラルファジーシステムの支援で行われる。特許文献１による応用例では、パターン認識システムは、検出された画像との比較を可能にする画像ライブラリーを備えており、その結果、着席している自動車の乗員の位置の比較的正確な決定が可能となり、頭部位置の検出が不要となる。
【０００５】
センサから乗員の頭部までの視線を遮る物体がある場合でも自動車乗員の頭部位置を決定する装置が、特許文献２から知られている。特許文献２に記載の装置は、後続の自動車との衝突の場合に乗員が負傷するのを防ぐために、ステッピングモータによって、乗員の頭部位置に対する自動車のヘッドレストの位置を最適に位置決めするように構成される。特許文献２の１つの実施の形態において、自動車乗員の頭部位置を決定するセンサ装置は、自動車のヘッドレストに全て取り付けられる超音波送信機、超音波受信機及び接触センサからなる。超音波センサは、ヘッドレストからの頭部の距離を決定し、その距離が最小値をとるまでその位置を調整する。超音波センサは、ヘッドレストの乗員頭部までの距離の長さをも決定する。後者の決定は、超音波センサとの頭部の不正確な位置関係のため、又は例えば、乗員の帽子、襟又はヘアスタイルのような、障害物によって誤った結果を与え得る。この誤差源は、頭部が接触センサに接触した時にヘッドレストの運動を停止させることによって排除される。ヘッドレストの最適位置を決定することが、ゆえに可能となる。変更した実施の形態において、特許文献２は、１つの超音波送信機と３つの超音波受信機とを設け、頭部位置は、ニューラルネットワーク又はもう１つのパターン認識システムによって決定される。ヘッドレスト上の多数の位置に配置される多数の超音波受信機を具備するこの配置構成により、上述のような障害物が存在しても頭部位置の検出が可能となる。
【０００６】
【特許文献１】米国特許明細書第６  ３２４  ４５３号
【特許文献２】米国特許明細書第６  ０８８  ６４０号
【発明の開示】
【発明が解決しようとする課題】
【０００７】
従来技術を踏まえて、複数のカメラを使用することによって、確実且つ簡単に自動車乗員の頭部位置を決定する三次元位置を決定する方法及び装置を提供することが本発明の目的である。
【０００８】
上記目的の中で、本発明の他の目的は、自動車の乗員の視野の方向を検出する方法及び装置を提供することにある。さらに、本発明の追加的な目的は、自動車乗員の瞼を検出し、追跡する方法及び装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的及び以下の説明に見られる他の目的は、自動車乗員の三次元位置を決定する方法によって得られ、その方法は以下のステップを含む、すなわち、非ステレオモードで動作できるように配置された少なくとも２つのカメラによって自動車乗員を観察するステップ、自動車乗員の検出されたビデオデータから適切な特性を抽出するステップ、頭部モデルによって追跡ステップを開始するステップ、パターン認識によって抽出された特性を検証するステップ、及び頭部モデルによって検証された特性を追跡するステップ。
【００１０】
自動車乗員の三次元位置を決定する本発明による装置は次のものを具備する、すなわち、非ステレオモードで動作できるように配置された、自動車乗員を観察する少なくとも２つのカメラ、及び、自動車乗員の検出されたビデオデータから適切な特性を抽出する手段と、頭部モデルによって追跡ステップを開始する手段と、パターン認識によって抽出された特性を検証する手段と、頭部モデルによって検証された特性を追跡する手段とを具備する制御装置。
【００１１】
本発明の他の有利な特徴は、添付の従属請求項に記載されている。
【発明を実施するための最良の形態】
【００１２】
本発明の他の特徴や利点、及び本発明の多様な実施の形態の構造や動作は、添付図面を参照して以下で説明される。添付図面は、本発明を例示し、その説明と共に、本発明の原理を説明し、当業者が本発明を実施し、使用できるようにするためにも使用される。
【００１３】
図１に、自動車乗員の頭部位置を決定する本発明による装置の第１の実施の形態が示され、ここでは２つのカメラ１及び２が、概略的に示された自動車１０の前部領域に図示のように取り付けられている。本発明の特に好ましい実施の形態において、カメラはまた、それらが運転者の視野の直ぐ前に来るように取り付けられ、特にインストルメントパネルに取り付けられている。カメラ１及び２は、図示されない作動モータの助けで運転者及び乗員に永久的に位置合わせされるか又はそれぞれ位置合わせされる。この場合、カメラは、例えばチェッカー盤パターンの助けで校正されなければならないか、又はカメラの相互位置及び向きが既知でなければならない。それぞれ一対のカメラを運転者及び乗員用に用意することが考えられる。カメラ１及び２は、適当な接続又は伝送リンク（例えば、ガラス繊維、ブルートゥース、ＷＬＡＮ、配線など）によって、例えば、自動車１０の車載コンピュータに実装できる、点線で示された制御装置３に接続されている。
【００１４】
本発明の重要な態様によれば、カメラ１及び２を、必ずしもステレオモードで動作させる必要がない。カメラ１及び２も必ずしも同期化される必要がない。したがって、異なる視野を有するカメラ１及び２を、運転者４の一方の目が常に視野に入るように位置決めすることが可能となる。本発明によれば、この位置決め方法は、上述のように一対のカメラ１及び２の視野が必ずしもステレオモードに対応する必要がなく、視野をステレオモードの場合よりも遥かに大きくできるので、問題ではない。
【００１５】
例えば、カメラ１及び２は、可視域又はＩＲ域で動作できる。但し、本発明による動作と同じように、他の波長域で動作する画像センサを使用することも可能である。
【００１６】
制御装置３は、カメラ１及び２からビデオデータを受信し、乗員の適切な顔面又は形状の特性（例えば、目、鼻孔、口の隅、眉毛、髪の生え際など）を抽出し、さらに、本発明による装置の動作と併せて以下に続く文書で説明されるそれ自体が既知の追跡方法を実行する。
【００１７】
図２に、自動車乗員の頭部位置を決定する本発明による装置の第２の実施の形態が示され、ここでは第１のカメラ１’は、概略的に示された自動車１０の前部領域に取り付けられ、第２のカメラ２’は自動車１０の側部領域に図示のように取り付けられている。
【００１８】
図１と同じように、図２のカメラ１’及び２’は、永久的に位置合わせされるか又はそれぞれ、図示されない作動モータの助けで運転者、乗員または他の乗員に位置合わせされる。本発明によれば、図２のカメラ１’及び２’もまた、非ステレオモードで動作できるように配置され、必ずしも同期化される必要がない。したがって、図１の配置構成と比べて、より大きな視野が提供される。
【００１９】
以下で説明されるように図１及び２の実施の形態の動作は同一である。
【００２０】
最初に、本発明による第１のステップにおいて、自動車の一人又は複数の乗員は、非ステレオモードで動作できるように配置されたカメラで記録される。このように、カメラは必ずしも同期化される必要がない。
【００２１】
第２のステップにおいて、自動車の一人又は複数の乗員の顔面又は形状の特性、特に目、鼻孔、口の隅、眉毛、髪の生え際などが本発明により抽出される。
【００２２】
さらなるステップにおいて、追跡方法は、頭部の人体測定モデルによって開始される。本発明によれば、「ＳＣＡＡＴ：インクリメンタルトラッキング  ウイズ  インコンプリートインフォメーション（ＳＣＡＡＴ：Ｉｎｃｒｅｍｅｎｔａｌ  Ｔｒａｃｋｉｎｇ  ｗｉｔｈ  Ｉｎｃｏｍｐｌｅｔｅ  Ｉｎｆｏｒｍａｔｉｏｎ）」、１９９６年、ノースカロライナ大学、チャペルヒル、ＣＢ３１７５、シターソンホール、チャペルヒル、ＮＣ、２７５９９−３１７５または「ワンステップ  アット  ア  タイム  トラッキング（Ｏｎｅ−Ｓｔｅｐ−ａｔ−ａ−Ｔｉｍｅ  Ｔｒａｃｋｉｎｇ）」、１９９６年、ノースカロライナ大学、チャペルヒル、ＣＢ３１７５、シターソンホール、チャペルヒル、ＮＣ、２７５９９−３１７５で説明されている、グレッグウエック（Ｇｒｅｇ  Ｗｅｃｈ）及びゲイリービショップ（Ｇａｒｙ  Ｂｉｓｈｏｐ）による追跡方法が特に有利であることが分かっている。従来技術のこれらの追跡方法は、必ずしも同期化される必要のない多数のセンサ（カメラ）から生じるデータを組み合わせるために、遥かに改良された評価速度及び待ち時間、改良された精度、及び改良された構成を提供する。ウエックその他による２つの上述の出版物の内容は、引用によって本発明に完全に盛り込まれる。両出版物は、ｗｗｗ．ｃｓ．ｕｎｃ．ｅｄｕ／において、それぞれＴＲ９６−０５１及びＴＲ９６−０２１として入手できる。
【００２３】
本発明によれば、追跡は、全ての記録された特性についてのカルマンフィルタリングに基づいており、カメラは、ステレオモードの場合のように必ずしも同期化される必要がない。多数のカメラを使用する非同期動作の場合、多数の画像をカメラの台数に従って都合良く同時に記録できる。
【００２４】
本発明によれば、さらなるステップにおいて、検出された特性は、統計的パターン認識の方法によって検証される。この場合、本明細書の導入部で記述された従来技術に従い部分的に実施される、例えば、ニューラルネットワーク、ニューラルファジーシステム及び画像ライブラリーを有するパターン認識システムのような、既知のパターン認識方法が使用される。
【００２５】
検証ステップの後に、頭部モデルによる検証された特性の追跡ステップが続く。  
【００２６】
本発明による方法の他の実施の形態において、一人又は複数の乗員の視野の方向の検出又は瞼の状態の決定は、既知の方法によって実行される。これから、対応する警告ステップと関連する疲労の検出を得ることもできる。本発明による方法の他の態様によれば、一人又は複数の乗員の頭部姿勢を検出できる。
【００２７】
本発明は、多数の実用的用途を有し、その一部は、以下の文書で例として列挙される。
【００２８】
したがって、運転者又は乗員の三次元の頭部位置の決定は、例えば、所定状況に従ってエアバッグを解放させることを可能にする。エアバッグの解放は、制御装置３によって検出された位置に依存して、その位置では運転者又は乗員を負傷させる危険性がある場合には、阻止される。
【００２９】
自動車で通常使用される環境センサと協力して、乗員の頭部姿勢及び視野の方向のそれぞれの決定により、運転者及び恐らく乗員に所定状況に従って警告を与えることが可能となる。
【００３０】
目の状態（開いた／閉じた状態）の認識は、疲労の検出に使用できる。ビデオデータから抽出された目の瞬きの割合もこの目的に使用できる。
【００３１】
三次元の頭部位置の精密な決定により、個々に乗員安全性を最適化するようにヘッドレスト５を適応して調整することが可能となる。本発明による装置及び本発明による方法は、特許文献２から知られているセンサとの頭部の不正確な位置合わせ又は障害物が原因で起こり得る問題を克服する。
【００３２】
さらに、目の位置が認識されると、シート６を自動的に個々に調整できる。
【００３３】
さらに、本発明は、車内でのテレマティック用途のテレビ電話を動作させるのに使用できる。認証目的用の運転者の顔面の特性の認識も考えられる。
【００３４】
本発明は多様に変更できる。したがって、例えば、図１及び２に示されたカメラの台数及び位置は、本発明の保護範囲から逸脱することなく変更できる。これに関しては、各対が自動車乗員の一人を向き、それらが非ステレオモードで動作できるように配置された２対以上のカメラを使用することも考えられる。すでに記載のように、回転できる複数対のカメラを使用することも考えられる。
【００３５】
請求項の特徴に符号が付されている場合、それらの符号はそこでは請求項がより良く理解されるようにするだけのものである。したがって、このような符号は、例としてのみこのような符号によって特徴付けられたこのような要素の保護範囲に、いかなる制限も表すものではない。
【図面の簡単な説明】
【００３６】
【図１】本発明による装置の第１の実施の形態の概略図を示す。
【図２】本発明による装置の第２の実施の形態の概略図を示す。
【図１】
2006510076.tif 000003
【図２】
2006510076.tif 000004
【手続補正書】
【提出日】平成17年1月31日(2005.1.31)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
自動車乗員の三次元位置を決定する方法であって、
非ステレオモードで動作するように配置された少なくとも２つのカメラ（１、２、１’、２’）によって前記自動車乗員を観察するステップと、
前記自動車乗員の記録されたビデオデータから適切な特性を抽出するステップと、
頭部モデルによって追跡方法を開始するステップと、
パターン認識によって前記抽出された特性を検証するステップと、
前記頭部モデルのみによって前記検証された特性を追跡するステップと
を含む方法。
【請求項２】
前記特性は、前記乗員の顔面又は形状の特性から成るグループから選択されることを特徴とする請求項１に記載の方法。
【請求項３】
前記顔面又は形状の特性は、目、鼻孔、口の隅、眉毛又は髪の生え際を含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記カメラ（１、２、１’、２’）は、同期化される必要がないことを特徴とする請求項１〜３のいずれか一項に記載の方法。
【請求項５】
異なる視野を有する前記カメラ（１、２、１’、２’）は、運転者（４）の一方の目が常に視野に入るように位置決めされていることを特徴とする請求項１〜４のいずれか一項に記載の方法。
【請求項６】
乗員の頭部姿勢を決定するステップをさらに含むことを特徴とする請求項１〜５のいずれか一項に記載の方法。
【請求項７】
乗員の視野の方向を決定するステップをも含むことを特徴とする請求項１〜６のいずれか一項に記載の方法。
【請求項８】
乗員の瞼の状態を決定するステップをも含むことを特徴とする請求項１〜７のいずれか一項に記載の方法。
【請求項９】
前記追跡ステップは前記カメラ（１、２、１’、２’）の全ての記録された特性のカルマンフィルタリングに基づき、前記カメラは非同期で動作できることを特徴とする請求項１〜８のいずれか一項に記載の方法。
【請求項１０】
前記頭部モデルは人体測定モデルであることを特徴とする請求項１〜９のいずれか一項に記載の方法。
【請求項１１】
前記パターン認識は統計的パターン認識であることを特徴とする請求項１〜１０のいずれか一項に記載の方法。
【請求項１２】
自動車乗員の三次元位置を決定する装置であって、
非ステレオモードで動作するように配置された、前記自動車乗員を観察する少なくとも２台のカメラ（１、２、１’、２’）と、
前記自動車乗員の記録されたビデオデータから適切な特性を抽出する手段、
頭部モデルによって追跡ステップを開始する手段、
パターン認識によって前記抽出された特性を検証する手段、および
前記頭部モデルのみによって前記検証された特性を追跡する手段
を具備する制御装置（３）と
を具備する装置。
【請求項１３】
前記特性は、前記乗員の顔面又は形状の特性から成るグループから選択されることを特徴とする請求項１２に記載の装置。
【請求項１４】
前記顔面又は形状の特性は、目、鼻孔、口の隅、眉毛又は髪の生え際を含むことを特徴とする請求項１３に記載の装置。
【請求項１５】
前記カメラ（１、２、１’、２’）は同期化される必要がないことを特徴とする請求項１２〜１４のいずれか一項に記載の装置。
【請求項１６】
異なる視野を有する前記カメラ（１、２、１’、２’）は、運転者（４）の一方の目が常に視野に入るように位置決めされていることを特徴とする請求項１２〜１５のいずれか一項に記載の装置。
【請求項１７】
乗員の頭部姿勢を決定する手段をも具備することを特徴とする請求項１２〜１６のいずれか一項に記載の装置。
【請求項１８】
乗員の瞼の状態を決定する手段をも具備することを特徴とする請求項１２〜１７のいずれか一項に記載の装置。
【請求項１９】
追跡のための前記手段は前記カメラ（１、２、１’、２’）の全ての記録された特性のカルマンフィルタリングを実行するように構成され、前記カメラは非同期で動作できることを特徴とする請求項１２〜１８のいずれか一項に記載の装置。
【請求項２０】
前記カメラ（１、２）が自動車（１０）の前部領域に配置されたことを特徴とする請求項１２〜１９のいずれか一項に記載の装置。
【請求項２１】
一方のカメラ（１’）が自動車（１０）の前部領域に配置され、他方のカメラが自動車（１０）の側部領域に配置されたことを特徴とする請求項１２〜１９のいずれか一項に記載の装置。
【請求項２２】
前記制御装置（３）は、検出された頭部位置により、エアバッグの解放及び／又はヘッドレスト（５）の調整及び／又は自動車のシートの調整を制御する手段をも具備することを特徴とする請求項１２〜２１のいずれか一項に記載の装置。
【国際調査報告】
2006510076.tif 000005
2006510076.tif 000006
2006510076.tif 000007
2006510076.tif 000008
2006510076.tif 000009
2006510076.tif 000010