(57)【要約】  車両の運転者の状態を推定するコンピュータシステムに関連するシステム及び方法が開示される。システムは、深度並びに随意的なＩＲ強度画像及びＲＧＢカラー画像を含む画像を深度センサから取得するステップと、運転者頭部に属するピクセルを特定するステップと、強度モデルと、深度、グレースケール、及び、色情報に関する変動推定値とを含む頭部の３Ｄモデルを形成するステップと、主要な頭部姿勢と中立顔表情とを推定するステップと、主要な頭部姿勢に対する現在の相対的な頭部姿勢を推定するステップと、深度、グレースケール、又は、色情報、或いは、これらの任意の組合せに関して中立顔モデルと適合しないピクセルを特定するステップと、特定された偏差を用いてピクセルをクラスタリングするステップと、空間的及び時間的なパターンを分類して運転者状態及び注意散漫事象を特定するステップとを含む。
2019527448.tif 000002
【特許請求の範囲】
【請求項１】
リアルタイムの運転者状態監視のための方法であって、
画像処理システムを動作させて深度センサから一連の深度画像を受けることを含み、前記各深度画像がシーンの画像を表す画像データを含み、前記画像データが深度センサからの距離を示す深度値を含み、
前記画像処理システムは、前記一連の画像を使用して前記シーン内の人間の頭部を特定し、
前記画像処理システムは、前記深度画像を用いて、人間の頭部が頭部モデルを規定するべく３Ｄ表面としてモデル化されるとともに平均中立顔モデルを得るべく経時的に連続的に適合される主要な位置及び方向に対する人間の頭部の位置及び姿勢を追跡し、
前記画像処理システムは、前記中立顔からの深度偏差を特定し、
前記画像処理システムは、そのような深度偏差を異なる運転者状態として分類する、
方法。
【請求項２】
グレースケール画像又はカラー画像を含む補足画像が、前記深度センサから、又は、前記深度画像にピクセル単位で位置合わせされた付加的なセンサから得られる請求項１に記載の方法。
【請求項３】
頭部ピクセルを除く全てのピクセルが車内のＣＡＤモデルにしたがって排除される請求項１に記載の方法。
【請求項４】
人間の頭部がランダム決定フォレストを適用することによって特定される請求項１に記載の方法。
【請求項５】
人間の頭部がスキンカラーによって特定される請求項１に記載の方法。
【請求項６】
人間の頭部が顔検出方法によって特定される請求項１に記載の方法。
【請求項７】
前記頭部モデルが反復最近接点適合によって得られる請求項１に記載の方法。
【請求項８】
前記中立顔が変更履歴を含むデータベースに記憶される請求項１に記載の方法。
【請求項９】
深度変動が特定の運転者に関して前記データベースに記憶された前記変更履歴と比較され、この比較が運転者状態検出のための特徴を抽出するために使用される請求項８に記載の方法。
【請求項１０】
リアルタイムの運転者状態監視のためのシステムにおいて、
シーンの深度画像を捕捉して前記シーンの画像を表す画像データを生成する深度センサであって、前記画像データが前記深度センサからの距離を示す深度値を含む、深度センサと、
前記センサから一連の深度画像を受けるように前記センサに動作可能に接続される画像処理システムであって、前記一連の画像を使用して前記シーン内の人間の頭部を特定するようにプログラムされて、前記深度画像を用いて、人間の頭部が頭部モデルを規定するべく３Ｄ表面としてモデル化されるとともに平均中立顔モデルを得るべく経時的に連続的に適合される主要な位置及び方向に対する人間の頭部の位置及び姿勢を追跡するとともに、前記中立顔からの深度偏差を特定して、そのような深度偏差を異なる運転者状態として分類する、画像処理システムと、
を備えるシステム。
【請求項１１】
前記画像処理システムは、グレースケール画像又はカラー画像を含む補足画像を、前記深度センサから、又は、前記深度画像にピクセル単位で位置合わせされた付加的なセンサから受ける請求項１０に記載のシステム。
【請求項１２】
前記画像処理システムは、頭部ピクセルを除く全てのピクセルが車内のＣＡＤモデルにしたがって排除されるようにプログラムされる請求項１０に記載のシステム。
【請求項１３】
前記画像処理システムは、人間の頭部がランダム決定フォレストを適用することによって特定されるようにプログラムされる請求項１０に記載のシステム。
【請求項１４】
前記画像処理システムは、人間の頭部がスキンカラーによって特定されるようにプログラムされる請求項１０に記載のシステム。
【請求項１５】
前記画像処理システムは、人間の頭部が顔検出方法によって特定されるようにプログラムされる請求項１０に記載のシステム。
【請求項１６】
前記画像処理システムは、前記頭部モデルが反復最近接点適合によって得られるようにプログラムされる請求項１０に記載のシステム。
【請求項１７】
前記画像処理システムは、前記中立顔が変更履歴を含むデータベースに記憶されるようにプログラムされる請求項１０に記載のシステム。
【請求項１８】
前記画像処理システムは、深度変動が特定の運転者に関して前記データベースに記憶された前記変更履歴と比較され、この比較が運転者状態検出のための特徴を抽出するために使用される請求項１７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願との相互参照
適用なし。
【０００２】
本出願は、３Ｄセンサを使用することによる運転者状態及び運転者頭部姿勢の特定に関する。
【背景技術】
【０００３】
ＮＨＴＳＡによれば、米国における致命的な衝突の１０％は運転者の注意散漫によるものであり、この場合、２０１４年には、３１７９人が死亡し、推定４３１，０００人が負傷した（テクニカルレポートの交通安全実情：注意散漫運転２０１４において公表されたＮＨＴＳＡのＮａｔｉｏｎａｌ  Ｃｅｎｔｅｒ  ｆｏｒ  Ｓｔａｔｉｓｔｉｃｓ  ａｎｄ  Ａｎａｌｙｓｉｓによる）。したがって、運転者の注意散漫レベルを監視することは、次世代の車両の重要な成功要因となる。頭部姿勢、顔表情、及び、眼瞼の動きの全てが運転者の注意散漫レベルの全体的な評価に寄与し得る。
【０００４】
２０１５年３月の欧州新車評価プログラム２０２０年ロードマップテクニカルレポートは、仮想運転助手コンセプトの促進及び運転者状態監視の分野における革新のためのスケジュールを含む。車両製造業者には、これらの業者がそのような安全技術を付加的な特徴としてではなく標準として提供する場合、信用度が与えられる。
【０００５】
自動運転車では、運転者が危機的な又は複雑な状況で制御を引き継がなければならない。しかしながら、引き継ぎの決定は運転者の状態にも依存し、そのため、自動運転車は運転者状態監視に依存しなければならない。
【０００６】
車両衝突時の致命的な怪我を減らすための社会的な義務により、自動車製造業者とその供給業者は、自動車の外界を観察するだけでなく自動車の内部、特に機械の運転者の状態も監視するセンサシステムを構築することを余儀なくされてきた。
【０００７】
視覚センサに基づく運転者状態監視のための一般的なシステムは、センサを特定の場所、例えば米国特許出願公開第２０１００００２０７５号明細書のようにステアリングホイールに装着する必要があり、そのため、そのようなシステムの設計プロセスに厳しい制約が課される。
【０００８】
例えば米国特許第５，８１５，０７０号明細書（自動車用運転状態監視装置）に開示されているように、運転者状態監視のための別のシステムは、非常に異なる特徴及び入力源、例えば運転者の操縦挙動、或いは、米国特許第６，１５４，１２３号明細書（運転者警戒監視システム）のような質問信号に応答できる運転者の能力に基づく。米国特許第６，０４９，７４７号明細書（運転者監視装置）に開示されるシステムは、運転者の顔上に輝点のパターンを投影することによって３Ｄデータを得る特定の方法に焦点を合わせる。米国特許第７，１３８，９２２号明細書のような更なるシステムは、眠気運転者検出器の存在を仮定し、人間の操作者に関与することによって眠気運転者と通信する方法に焦点を合わせる。
【０００９】
運転者状態監視はしばしば顔検出に関連する。二次元画像中の顔を検出する方法は多数の科学出版物に記載されており、その中で最も頻繁に引用されているものは、Ｐａｕｌ  Ｖｉｏｌａ及びＭｉｃｈａｅｌ  Ｊ．Ｊｏｎｅｓによって開発された標準的な方法である（Ｒｏｂｕｓｔ  ｒｅａｌ−ｔｉｍｅ  ｆａｃｅ  ｄｅｔｅｃｔｉｏｎ．Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ、５７（２）：１３７−１５４、２００４）。更なる方法は、例えば、Ｓｔｅｉｎｂｅｒｇ等による国際特許出願ＰＣＴ／ＥＰ２００７／００６５４０号パンフレット及びＣｏｒｃｏｒａｎ等による米国特許出願第１４／５６３，９７２号明細書に開示される。
【００１０】
顔検出及び頭部追跡のための殆どの方法は、顔特徴又は目印に依存する。一般的なワークフローは、目印の位置を含む内部物体モデルを維持することである。新たな画像ごとに、物体とセンサとの間の相対位置を得るために内部モデルの目印がセンサからの現在の視野と適合される。そのような方法は、目印が見えなくなったとき（例えば、ユーザがセンサから離れるとき）又は目印が一時的に閉鎖されるとき（例えば、ユーザが自分の鼻を掻くとき）に失敗する場合がある。ある場合には、例えば、特定の種類の眼鏡、髪の毛、及び、顎ひげスタイルに関して、そのような目印を全く検出できない。更に、照明の変動、眼鏡、サングラス及びコンタクトレンズからの光の反射が、有効な目印の検出を妨げる場合がある。
【００１１】
一般に、目印に基づく方法は、正面を向くセンサに依存している。すなわち、センサは、操作者の顔が初期設定位置にあるセンサの方へ直接に向くように装着される。しかしながら、車両の運転者の挙動を監視する最も代表的な用途では、センサ位置が、Ａビーム、リアミラー位置、又は、センターコンソールなどの非対向位置に装着される可能性が最も高い。
【００１２】
国際特許出願第ＰＣＴ／ＡＵ２００８／０００，２９０号パンフレットにおいて、Ｔｅｌｌは、目印に基づく方法における典型的なワークフローを開示し、このワークフローでは、三次元物体がレンダリングされ、目立った点特徴又は目印が三次元物体モデルから抽出され、対応する特徴が画像中で局所化され、新たな物体方向が物体モデルの目印と視野との間の対応関係から導き出される。しかしながら、この方法は、所定数の位置にあって最も高いエッジ性を有するように規定される点特徴に焦点を合わせる。所定の位置の一部の閉鎖は、適用を妨げる場合があり、また、画像シーケンスの解像度は、必要な性能レベルを達成するために重要である。
【００１３】
頭部姿勢推定は、最も一般的には、カメラの視野に対する頭部の向きを推測できる能力として解釈される。手頃な価格の３Ｄセンサの開発前、初期のヘッドトラッキング技術はグレースケール又はカラー画像シーケンスの使用に限定されていた。これらの方法の良好な概要は、Ｅｒｉｋ  Ｍｕｒｐｈｙ−ＣｈｕｔｏｒｉａｎとＭｏｈａｎ  Ｍａｎｕｂｈａｉ  Ｔｒｉｖｅｄｉによる出版物に掲載されている（コンピュータビジョンにおける頭部姿勢推定：概説パターン解析と機械知能に関するＩＥＥＥ議事録、３１（４）：６０７−６２６、２００９）。
【００１４】
米国特許出願第１１／４２０，８６４号明細書において、Ｖｉｃｔｏｒ等は、眠気が筋肉の弛緩をもたらし、筋肉の弛緩が頭部姿勢検出によって特定され得る特定の頭部動作をもたらすという仮定に基づく眠気検出のための方法を開示する。
【００１５】
注意レベルを測定するための測定基準は、国際特許出願第ＰＣＴ／ＡＵ２００９／００１．５４７号パンフレットにおいてＬａｎｇｄａｌｅ−Ｓｍｉｔｈ等により開示されており、顔や目の向き、特定の関心領域を見ている期間、関心領域に向いている期間、顔の反応、及び、顔表情の相対的な変化を含み得る。しかしながら、この発明は、必要な特徴、例えば顔の表情を検索して定量化するための技術的に実行可能な方法を開示しない。
【００１６】
国際特許出願第ＰＣＴ／ＡＵ２０１０／０００，１４２号パンフレットにおいて、Ｌａｎｇｄａｌｅ−Ｓｍｉｔｈ等は、車両の動きに対する機械の操作者の注意力を監視するための方法を開示する。彼らは、操作者の頭部の三次元位置のみを考慮に入れており、顔の表情を考慮しない。
【００１７】
顔で動作する殆どの方法は、素顔を観察することが想定されるセンサを必要とする。しかしながら、一般に、運転者又は機械の操作者は、眼鏡、ヘルメット、又は、顔の目印を部分的に塞ぐ他の保護器具を着用する場合がある。したがって、米国特許出願第１０／９５１，０８１号明細書においてＬｏｙ等により開示されるような局所画像演算子を使用することによって分類前に顔特徴を向上させる方法でさえ失敗する可能性が高い。加えて、そのような方法は、目印の視覚的外観を予め知っている必要がある。機械の操作者の保護器具は、視覚的追跡のための優れた特徴を与える可能性が高いが、外観が事前に分かっておらず、外観がオペレータ間で大きく異なる可能性がある。
【００１８】
顔を検出するだけでなく、幾つかの方法は、例えば、頭部又は目の位置から注視方向を導き出す（米国特許出願第１０／３５０，８３５号明細書及び米国特許第７，０４３，０５６号明細書）又は目及び唇から顔の表情を導き出す（米国特許出願第１４／６８０，９７７号明細書）ために顔を更に処理する。アイトラッキング及び眠気検出に専ら焦点を当てている幾つかの運転者監視システムが提案された。米国特許出願第１４／４８４，８７５号明細書において、Ｓｅｏｋ等は、車両内のヘッドアップディスプレイを制御するための注視追跡及び指検出の組合せ方法を開示する。
【００１９】
米国特許第５，２２９，７５４号明細書におけるような他の方法は、頭部姿勢にしたがってヘッドアップディスプレイなどのディスプレイを適合させる。
【００２０】
アイトラッキングに代わる一般的な方法は、運転者が注視している場所の近似としての運転者の頭部姿勢の監視である。そのような方法は、米国特許第５，６９１，６９３号明細書、国際特許出願第ＰＣＴ／ＵＳ２００１／０４７，６１２号パンフレット、米国特許出願第１１／３１７，４３１号明細書、及び、米国特許出願第１１／７９６，８０７号明細書で提案されたが、十分に正確ではない。
【００２１】
Ｋｉｎｅｃｔ  Ｆｕｓｉｏｎと呼ばれる低価格消費者向け深度センサを使用して硬質物体を再構成するための最初の方法のうちの１つがＳｈａｈｒａｍ  Ｉｚａｄｉ等によって提案された（Ｋｉｎｅｃｔｆｕｓｉｏｎ：リアルタイム３Ｄ再構成及び移動深度カメラを使用する相互作用。ユーザインタフェースソフトウェア及び技術に関する第２４回ＡＣＭシンポジウムの議事録、５５９〜５６８頁、２０１１年）。米国特許第９，２５１，５９０号明細書、米国特許出願第１３／０１７，４７４号明細書、及び、米国特許出願第１３／０１７，５８７号明細書では、表面を再構成してその表面に対する現在のカメラ位置を推定するためにＭｉｃｒｏｓｏｆｔ社のＫｉｎｅｃｔ  ＲＧＢＤセンサからのデータが使用された。最初に、これらの方法は、ＩＣＰベースの方法（反復最近接点）を使用することによって現在の画像を統合画像（一連の前の画像を統合することによって得られる）と位置合わせすることによってカメラ位置を繰り返し追跡する。その後、ボリュームが統合され、再構成された表面の視野がレイキャスティングによって推定される。ここでは、モデルからの偏差がノイズと見なされるが、我々の方法では、それらの偏差が物体状態を区別するために使用され得る情報として扱われる。
【００２２】
幾つかの拡張は、走査中に物体が変形される場合でも物体表面を推定することができる（Ｒｉｃｈａｒｄ  Ａ．Ｎｅｗｃｏｍｂｅ、Ｄｉｅｔｅｒ  Ｆｏｘ、及び、Ｓｔｅｖｅｎ  Ｍ．Ｓｅｉｔｚ．Ｄｙｎａｍｉｃ  ｆｕｓｉｏｎ：非剛体シーンのリアルタイムでの再構成及び追跡、及び、Ｍｉｎｇｓｏｎｇ  Ｄｏｕ、Ｊｏｎａｔｈａｎ  Ｔａｙｌｏｒ、Ｈｅｎｒｙ  Ｆｕｃｈｓ、Ａｎｄｒｅｗ  Ｆｉｔｚｇｉｂｂｏｎ、Ｓｈａｈｒａｍ  Ｉｚａｄｉ．単一のｒｇｂｄセンサを用いた変形可能物体の３Ｄ走査；いずれもコンピュータビジョン及びパターン認識に関する２０１５年のＩＥＥＥ会議で公開された）。したがって、変形関数が走査プロセス中に継続的に更新される。しかしながら、ここでの目的は、変形を補償して、更に処理される付加的な有用情報を抽出しないことである。
【先行技術文献】
【特許文献】
【００２３】
【特許文献１】米国特許出願公開第２０１００００２０７５号明細書
【特許文献２】米国特許第５，８１５，０７０号明細書
【特許文献３】米国特許第６，１５４，１２３号明細書
【特許文献４】米国特許第６，０４９，７４７号明細書
【特許文献５】米国特許第７，１３８，９２２号明細書
【特許文献６】国際特許出願ＰＣＴ／ＥＰ２００７／００６５４０号パンフレット
【特許文献７】米国特許出願第１４／５６３，９７２号明細書
【特許文献８】国際特許出願第ＰＣＴ／ＡＵ２００８／０００，２９０号パンフレット
【特許文献９】米国特許出願第１１／４２０，８６４号明細書
【特許文献１０】国際特許出願第ＰＣＴ／ＡＵ２００９／００１．５４７号パンフレット
【特許文献１１】国際特許出願第ＰＣＴ／ＡＵ２０１０／０００，１４２号パンフレット
【特許文献１２】米国特許出願第１０／９５１，０８１号明細書
【特許文献１３】米国特許出願第１０／３５０，８３５号明細書
【特許文献１４】米国特許第７，０４３，０５６号明細書
【特許文献１５】米国特許出願第１４／６８０，９７７号明細書
【特許文献１６】米国特許出願第１４／４８４，８７５号明細書
【特許文献１７】米国特許第５，２２９，７５４号明細書
【特許文献１８】米国特許第５，６９１，６９３号明細書
【特許文献１９】国際特許出願第ＰＣＴ／ＵＳ２００１／０４７，６１２号パンフレット
【特許文献２０】米国特許出願第１１／３１７，４３１号明細書
【特許文献２１】米国特許出願第１１／７９６，８０７号明細書
【特許文献２２】米国特許第９，２５１，５９０号明細書
【特許文献２３】米国特許出願第１３／０１７，４７４号明細書
【特許文献２４】米国特許出願第１３／０１７，５８７号明細書
【発明の概要】
【発明が解決しようとする課題】
【００２４】
この出願は、運転者状態及び運転者頭部姿勢を特定するためのシステム及び方法の改良について記載する。
【課題を解決するための手段】
【００２５】
本明細書中に記載されるように、システム及び方法は、深度データを利用して、運転者の状態及び運転者の頭部姿勢を特定する。
【００２６】
本発明の１つの態様では、リアルタイムの運転者状態監視のための方法が提供される。この方法は、深度センサから一連の深度画像を受けるように画像処理システムを動作させることを含む。各深度画像は、シーンの画像を表す画像データを含む。画像データは、深度センサからの距離を示す深度値を含む。画像処理システムは、一連の画像を使用してシーン内の人間の頭部を特定する。画像処理システムは、深度画像を使用して、主要な位置及び方向に対する人間の頭部の位置及び方向を追跡し、この場合、人間の頭部は、頭部モデルを規定するべく３Ｄ表面としてモデル化され、平均中立顔モデルを含むように経時的に連続的に適合される。画像処理システムは、中立顔からの深度偏差を特定し、そのような深度偏差を異なる運転者状態として分類する。
【００２７】
グレースケール画像又はカラー画像を含む補足画像が、深度センサから、又は、深度画像にピクセル単位で位置合わせされた付加的なセンサから得られることが特徴である。
【００２８】
頭部ピクセルを除く全てのピクセルが車内のＣＡＤモデルにしたがって排除されることが他の特徴である。
【００２９】
人間の頭部がランダムな決定フォレストを適用することによって又はスキンカラーによって又は顔検出方法によって特定されることが更に他の特徴である。
【００３０】
頭部モデルが反復最近接点適合によって得られることが更に別の特徴である。
【００３１】
中立顔が変更履歴を含むデータベースに記憶されることが依然として更なる特徴である。  深度変動が特定の運転者に関してデータベースに記憶された変更履歴と比較されてもよく、この比較が運転者状態検出のための特徴を抽出するために使用される。
【００３２】
他の態様によれば、リアルタイムな運転者状態監視のためのシステムが開示される。このシステムは、あるシーンの深度画像を捕捉してそのシーンの画像を表す画像データを生成するために深度センサを備える。画像データは、センサからの距離を示す深度値を含む。画像処理システムは、センサから一連の深度画像を受けるためにセンサに動作可能に結合される。画像処理システムは、一連の画像を使用してシーン内の人間の頭部を特定するようにプログラムされて、深度画像を用いて、人間の頭部が頭部モデルを規定するべく３Ｄ表面としてモデル化されるとともに平均中立顔モデルを得るべく経時的に連続的に適合される主要な位置及び方向に対する人間の頭部の位置及び姿勢を追跡するとともに、中立顔からの深度偏差を特定して、そのような深度偏差を異なる運転者状態として分類する。
【００３３】
更なる特徴及び利点は、本明細書から及び図面から容易に明らかになる。
【図面の簡単な説明】
【００３４】
【図１Ａ】本明細書中に記載される、車両の運転者の状態を監視するためのシステムを示すブロック図である。
【図１Ｂ】運転者の位置に対して車両内のセンサを位置決めする図である。
【図２】運転者状態及び頭部姿勢を特定するために図１Ａの処理ユニットで実施されるプログラムのフローチャートである。
【図３Ａ】運転者の注意散漫及び閉鎖のシナリオの例を示す。
【図３Ｂ】運転者の注意散漫及び閉鎖のシナリオの例を示す。
【図３Ｃ】運転者の注意散漫及び閉鎖のシナリオの例を示す。
【図３Ｄ】運転者の注意散漫及び閉鎖のシナリオの例を示す。
【図３Ｅ】運転者の注意散漫及び閉鎖のシナリオの例を示す。
【図４Ａ】中立顔モデルを得るために図２のフロー図を使用して得られる画像データを示す。
【図４Ｂ】中立顔モデルを得るために図２のフロー図を使用して得られる画像データを示す。
【図４Ｃ】中立顔モデルを得るために図２のフロー図を使用して得られる画像データを示す。
【図４Ｄ】中立顔モデルを得るために図２のフロー図を使用して得られる画像データを示す。
【図４Ｅ】中立顔モデルを得るために図２のフロー図を使用して得られる画像データを示す。
【図５Ａ】図２のフローチャートの異なるステップにおける画像データを示す。
【図５Ｂ】図２のフローチャートの異なるステップにおける画像データを示す。
【図５Ｃ】図２のフローチャートの異なるステップにおける画像データを示す。
【図５Ｄ】図２のフローチャートの異なるステップにおける画像データを示す。
【図５Ｅ】図２のフローチャートの異なるステップにおける画像データを示す。
【図５Ｆ】図２のフローチャートの異なるステップにおける画像データを示す。
【図６】様々な顔の表情、閉鎖、及び、注意散漫の要因を示す。
【発明を実施するための形態】
【００３５】
開示された方法及びシステムは、注意散漫及び疲労レベルを推定できるようにする特徴を含む車両の運転者の状態を特定することに関する。
【００３６】
この発明は車両の運転者の状態に関するものであるが、当業者に明らかなように、疲労、注意散漫、不注意、又は、ストレスがシステムの劇的な機能不良を引き起こす又は任意の種類の傷害を引き起こす場合がある任意の移動機械又は静止機械の操作者の状態を監視するために全く同じ方法を適用することができる。そのような機械は、航空機、船舶、建設機械、クレーン、及び、製造設備を含むがこれらに限定されない。
【００３７】
更なる他の実施形態において、本発明は、患者の監視などの監視業務をサポートしてもよい。
【００３８】
注意力、疲労、注意散漫、及び、覚醒のレベルなどの用語によって定義される運転者の抽象的状態は、頭部姿勢、眼瞼の動き、顔の表情、及び、それらの空間的及び時間的な漸進的変化などの物理的な兆候から導き出され得る。しかしながら、一つ一つの態様は、運転者の状態の有効な分類が行動を潜在的に無視して自動運転システムに制御を引き継がせるのに十分でない場合がある。したがって、この発明は、複数の特徴を単一のシステムによって与えることができる運転者監視への全体的なアプローチを提供することを目的としている。
【００３９】
例示的な実施形態では、図１Ａに示されるように、運転者の状態及び頭部姿勢を特定するために画像処理システム２０が使用される。システム２０は、処理ユニット２２と、処理ユニット２２に接続されるセンサ２４とを含む。センサ２４は三次元（３Ｄ）センサを備える。センサ２４は、例えば図１Ｂに示されるように、車両内の任意の所望の向き又は位置に装着可能である。頭部追跡が特定の顔特徴に依存しないため、センサ２４をより一層多くの柔軟性を伴って装着することができる。センサ２４は、既製のセンサ又は特殊用途のセンサであってもよい。更に、処理ユニット２２は、センサ２４及び第２のセンサ２４’などの複数のセンサ、並びに、図示しない付加的なセンサに接続されてもよい。また、画像処理システム２０は、処理ユニット２２からの出力ブロック２６も含む。出力ブロック２６は、特定された運転者状態及び運転者頭部姿勢などの情報を出力するために使用される。この出力は、必要に応じて又は望み通りに、車両内の他のプログラム又は装置によって或いは遠隔ユニットによって使用され得る。この出願は、そのようなデータがどのように使用されるのかに関するものではなく、むしろ、そのようなデータの決定に関するものである。
【００４０】
処理ユニット２２は、以下に記載されるように、メモリ２８に記憶されるカスタムプログラムにしたがって動作する例えばパーソナルコンピュータ、サーバ等のようなプログラムされたプロセッサを備える。プログラムは、後述する図２のフロー図に大まかに示される。メモリ２８は、ＲＡＭ、ＲＯＭ、ハードドライブ、光学ドライブ、サーバなどの内部メモリ及び／又は外部メモリであってもよく、或いは、更なるプロセッサに関連付けられてもよい。本明細書中に示されるシステム２０は、該システム２０によって実施される方法論が多数の異なるハードウェア構成で実施されてもよいため、任意の特定のハードウェア構成に限定されるように意図されない。
【００４１】
例示的な例では、人間の頭部Ｈがセンサ２４に近接して位置される。センサ２４は、シーン内の画像データを捕捉するように動作可能である。シーンは、例えば図１Ｂに示されるように、センサ２４の視野内の周囲環境によって規定される。
【００４２】
本明細書中に記載されるように、運転者を監視するための方法は、センサ２４から画像データを受信するために、処理ユニット２２を使用して画像処理システム２０を動作させることを含む。画像データは、物体としての運転者頭部Ｈを伴うシーンの画像を表す。画像データはピクセルの二次元配列を含み、各ピクセルは、センサ２４からの距離を示す深度値を含む。画像処理システムは、一連の画像を用いてシーン内の人間の頭部Ｈを特定する。システム２０は、深度画像を使用して、主要な位置及び方向に対する頭部Ｈの位置及び方向を追跡し、この場合、頭部Ｈは、頭部モデルを規定するべく３Ｄ表面としてモデル化され、中立顔モデルを含むように経時的に連続的に適合される。システム２０は、中立顔からの深度偏差を特定し、そのような深度偏差を異なる運転者状態として分類する。
【００４３】
方法は、深度センサ２４によって与えられるデータを使用する。これは、３Ｄカメラとしての３Ｄセンサ又は距離センサと称されてもよい。３Ｄセンサによって与えられるデータは、距離データ又は深度データと呼ばれる。センサは、画像平面内にあってそこにインデックス（ｉ、ｊ）により指標付けされるピクセルを有する。それぞれのピクセル（ｉ、ｊ）ごとに、センサは、ピクセルからセンサの前方の３Ｄ空間内の撮像された３Ｄポイントまでの距離を表す距離値（物体までの距離）を与える。画像平面内に位置する（ｘ、ｙ）軸を伴う座標フレーム（画像平面と光軸との交点に中心付けられる）内で、感知された３Ｄポイントは、座標（Ｘ、Ｙ、Ｚ）を有するとともに、ベクトルとして表され得る。様々なタイプの３Ｄセンサが存在する。これらのセンサは、距離データを取得するために使用され得る様々な方法に基づく。第１の違いは直接方法と間接方法との間の違いである。
【００４４】
最も重要な直接方法は、光が光源から物体に到達してセンサに戻るまでに必要な時間を測定することである。これらのセンサは、飛行時間型センサ、すなわち、ＴｏＦセンサと呼ばれる。時間は、光のパルスを送信することによって、或いは、光源を変調して放射光と反射光との間の位相シフトを測定することによって測定され得る。
【００４５】
殆どの間接方法は、三角測量、つまり、物体上の３Ｄポイントが異なる既知の視点から照らされる及び／又は撮像されることに基づき、視点は、３Ｄポイントと共に、３Ｄポイントまでの距離を決定できる三角形を規定する。この方法は、様々な種類のセンサで使用される。例えば、第１のＭｉｃｒｏｓｏｆｔ  Ｋｉｎｅｃｔセンサは、赤外光プロジェクタとカメラとを異なる位置で使用する。伝統的なアプローチは、付加的な光源が必要とされないとい利点を伴って２つ以上のカメラを使用することであるが、ある場合には付加的な光源が使用される。
【００４６】
センサが異なれば距離を測定できる精度が異なるが、提供できる３Ｄデータポイントの数に関しても異なる。ＴｏＦセンサは、物体が十分な光を反射する限り距離を測定できるが、標準的なステレオシステムは、物体が２つ（又はそれ以上）の画像内で適合され得る幾つかの構造を有することを要する。
【００４７】
本明細書中に開示される方法は、それが十分に密度の高い一群の３Ｄポイントと深度画像と位置合わせされる多数の補足画像とを与える限り、任意の３Ｄセンサを利用することができる。そのような補足画像は、飛行時間型センサの振幅画像などのグレースケール画像又はＲＧＢカラー画像のいずれかであってもよい。開示される方法は、センサの視野内にいる人の状態を監視する。この発明の範囲内において、状態とは、現実世界の座標における頭部位置と頭部方位角（ロール、ピッチ、ヨー）とを含む頭部姿勢のことであり、また、中立顔とは異なる部位に基づいて認識される多くの特定の運転者状態のことである。
【００４８】
開示される方法は、簡単のため、単一の深度センサ２４の使用に言及する。しかしながら、カバレッジ、精度、又は、ロバスト性を高めるために並行して動作する複数の深度センサに同じアプローチを適用できることは明らかなはずである。
【００４９】
以下でより詳しく記載されるように、システム及び方法は、図１Ａのシステムを使用して運転者及び運転者頭部姿勢の様々な状態を決定するために使用される。図１Ｂは通常の運転者状態を示すが、注意散漫シナリオ及び閉鎖シナリオの例は図面の他の図に示される。例えば、図３Ａは、運転者が眠っている可能性があるシナリオを示す。この画像では、運転者頭部が下を向いている。図３Ｂは、上の方を見るなど、注意散漫な運転者の一例を示す。図３Ｃは、自分の頭部を一方側に向けるなどして運転者の注意がそらされていることを示す。図３Ｄは、飲酒運転者の一例を示す。図３は、眼鏡をかけている運転者の一例を示す。
【００５０】
図２を参照すると、フロー図は、運転者の状態を監視するために図１Ａの処理ユニット２２で実施されるプログラムの動作を示す。
【００５１】
プログラムはデータ取得ブロック１０１から始まる。このブロックは、処理ユニット２２が深度センサ２４から深度画像を取得することを含む。ピクセル位置（ｉ、ｊ）ごとに、その位置におけるピクセルに関する対応する水平、垂直及び距離情報を有する３次元ベクトルが利用可能であると想定される。場合によっては、深度画像と適切に位置合わせされる補足画像（例えば、振幅、強度、ＲＧＢ、又は、その他）が取得されてもよい。すなわち、深度画像内のピクセルは、二次画像内の対応するピクセルと同じ３Ｄポイントを捕捉する。幾つかの適切なセンサは、初期設定によりそのようなデータを配信する（例えば、飛行時間型センサ）。他のセンサに関しては、２つの画像を位置合わせする方法が存在する（例えば、第２の非深度画像センサが取り付けられたＫｉｎｅｃｔなどの構造化光センサ又はステレオセンサに関して）。図４Ａは、ブロック１０１のデータ取得ステップから得られる深度画像を示す。
【００５２】
関心領域、すなわち、頭部に属するピクセルのセットは、ブロック１０２で様々な手段によって得られる。図４Ｂは、頭部に属するピクセルとして特定される深度画像の部分をより明るい影で表す関心領域を示す。最も単純な場合、センサ２４は、物理的に装着されるとともに、ユーザの頭部Ｈだけが見えるようにレンズの視野に対して拘束される。更に、利用可能であれば、スキンピクセルを特定するために二次カラー画像が使用されてもよい。米国特許第５，９３０，３９２号に開示されているようなランダム決定フォレスト又は良く知られているＶｉｏｌａ−Ｊｏｎｅｓ法（米国特許第７，０９９，５１０）に基づく方法も同様に頭部ピクセルを特定するために使用されてもよい。加えて、任意の更なる処理のために特定の領域内のピクセルを除外するべく環境の物理モデルが使用されてもよい。例えば、車両の内部の静止画像がメモリ２８に記憶されてもよく、また、これを使用して、残っているのがユーザの画像となるように画像内の対応するデータを排除してもよい。
【００５３】
その後、プログラムは平均中立顔モデルを得るようになっている。中立顔は、通常の注意散漫でない運転状態にある運転者の画像を含む基準画像と考えることができる。初期段階では、中立顔及び主頭部姿勢の両方が決定される。中立顔は、運転者状態特徴をその後に得るために使用され、頭部姿勢は、その後、主頭部姿勢に対して連続的に更新される。中立顔及び主頭部姿勢の両方は、ユーザがこれに気付くことなく得られる。
【００５４】
決定ブロック１０３は、プログラムが中立顔に収束したかどうかを判定する。これは安定した中立顔が得られたかどうかに基づく。そうでなければ、ブロック１０４で表面再構成ステップが実行される。これは、再構成されるようになっている動きセンサを物体に取り付けることを必要としないが、観察された画像シーケンスの２つの連続するフレームに対する物体の相対的な動き（並進及び回転）の推定に専ら依存する。表面は、米国特許第９，２５１，５９０号、米国特許出願第１３／０１７，４７４号、又は、米国特許出願第１３／０１７，５８７号の方法などの前述の方法、或いは、別の既知の方法を使用することによって再構成され得る。その後、ブロック１０５において中立顔が再構成される。図４Ｃは、中立顔に関する振幅画像を示す。図４Ｄは、再構成された３Ｄ中立顔を示し、また、図４Ｅは、ブロック１０４，１０５の表面再構成及び中立顔再構成によってもたらされる再構成された振幅中立顔を示す。
【００５５】
決定ブロック１０３で決定されるように、中立顔モデルが収束へと適応された後、決定ブロック１０６は、絶対頭部姿勢が推定されたかどうかを決定する。そうでなければ、その後、ブロック１０７で主頭部姿勢推定が行われる。そうである場合、又は、ブロック１０７における主頭部姿勢推定の後、ブロック１０８は頭部姿勢追跡を実施する。プログラムの主ループでは、頭部姿勢だけが追跡される。これは、前の位置に対する頭部の現在の位置を推定する。姿勢におけるこれらの相対的な変化はブロック１０９において絶対姿勢を得るために統合されるが、主姿勢と呼ばれる初期姿勢に依存する。主姿勢は、開始時にブロック１０７で決定される。主姿勢を決定するために、様々な方法を使用することができる。例えば、上記の背景技術で説明した顔特徴又は目印に依存する既知の方法のうちの１つが使用されてもよい。他の方法は、運転者が最も頻繁に前方の道路を見た後にこの正面視姿勢に対する姿勢を追跡すると仮定することによってシステムを較正することである。
【００５６】
頭部Ｈに対するセンサ２４の位置及び向きは、回転行列Ｒｋ及び並進ベクトルｔｋを含む変換行列
【数１】
2019527448.tif 000003
によって表される。
【数２】
2019527448.tif 000004
【００５７】
回転パラメータ及び並進パラメータは、前述の方法又は別の方法を使用することによって推定され得る。そのような方法が経時的な姿勢変化を統合することによって姿勢を得ることに留意されたい。これが主姿勢を必要とする理由である。
【００５８】
決定ブロック１０９で決定されるように、推定された頭部姿勢が視野の外側にあるか又は生理学的制約よりも速く変化するときはいつでも、内部頭部モデルがブロック１１０でリセットされるとともに、ブロック１０１に戻って始まることによって新たな主頭部姿勢が推定される。そうでなければ、ブロック１１１で、グレースケール又はカラー情報などの二次画像情報が深度マップに位置合わせされる。すなわち、二次画像情報が対応する深度値と同じボクセルに関連付けられる。
【００５９】
反復最近接点（ＩＣＰ）は、データを位置合わせする既知の方法である。本出願との関連において、現在の顔は、既に位置合わせされた顔上にわたって統合することにより得られる「統合顔」と位置合わせされる。異常値は位置合わせされた顔同士の間の差である。顔は頭部姿勢に起因して異なる場合がある。頭部姿勢が方程式から取り出された時点で、残りの差が異常値である。頭部モデル又は頭部姿勢は、中立顔を得ることに関与している。中立顔モデルが得られる前述の初期段階では、異常値がノイズ異常値と見なされ、プログラムはそのようなノイズ異常値の確率を推定する。後に、中立顔モデルが安定すると、そのとき、異常値は、例えば顔表情の変化に起因し得る特徴であると見なされる。ノイズ異常値の最初に推定された確率は、特徴異常値があるか否かを決定するために使用される。これは、ノイズがここでは恒久的であるとともに非中立顔表情がノイズレベル、すなわち、前述のノイズ異常値に依存する確率で中立顔から逸脱するかなり稀な事象であるという仮定に基づく。この確率は特定の顔によって異なる。
【００６０】
決定ブロック１０３と同様に、決定ブロック１０３Ａは、中立顔モデルが収束したままであるかどうかを決定する。更新された中立顔モデルを決定する必要がある場合、プログラムは前述したブロック１０１にループバックする。そうでなければ、その後、ブロック１１２において、中立顔に関する深度、振幅、及び、色の異常値の特定が得られる。図５Ａは、深度異常値の例を示す。図５Ｂは、振幅異常値の例を示す。
【００６１】
中立顔の表面異常値は、後に変化の有意性を定量化するために使用される。再構成されたボリュームは、使用される深度検知技術のノイズ特性に起因する異常値の確率が高い領域を含む場合がある（例えば、飛行時間型センサは深度エッジで不正確になってこれらの位置で高い分散を伴うピクセルを生成する傾向がある）。したがって、中立顔からの偏差を測定する場合、プログラムは異常値を生成する確率が高い領域を排除する。これは、各表面パッチが中立顔に関してさえ異常値を生成する確率を得るべく経時的にＩＣＰ異常値マップを統合することによって行われる。
【００６２】
中立顔に関するＩＣＰ異常値としてマークされた現在の全てのＩＣＰ異常値は、それらが中立姿勢に関してさえ高い変動性を有する領域内にあるため、ブロック１１３で破棄される。
【００６３】
残りのＩＣＰ異常値に基づいて、非剛体運動及び変形が検出される。これらは、センサ平面内のピクセル座標のセットによって表され、これらのピクセル座標は、姿勢推定ステップで見出される対応する対には含まれず、したがって、異常値マップに保存されてしまっている。理論的根拠は、異常値がノイズと不確かな測定値とによって或いは非剛体運動と変形とによって引き起こされ得るということである。ノイズ異常値は、表面がセンサ平面の法線ベクトルと略直交する深度セグメントのエッジにおいて主に顕著である。図５Ｃは、目を閉じた状態での振幅異常値の例を示す。図５Ｄは、中立顔にマークされた異常値の除去後における目を閉じた状態での異常値を示す。図５Ｅは、運転者のあくびを伴う深度異常値の例を示す。図５Ｆは、中立顔における異常値を除去した後におけるあくびをしている運転者の異常値を示す。
【００６４】
異常値は、その後、ブロック１１４において、頭部モデルにマッピングされ、再構成された表面の前方又は後方のいずれかにあるとしてマークされる。
【００６５】
異常値を特徴として確実に特定することがこの発明の核心である。これらの一般的な特徴に基づいて、様々な既知の方法を使用して、ブロック１１５において意味的顔特徴を特定できるとともに、ブロック１１６において所定のカテゴリーにしたがって運転者の状態を分類できる。カテゴリー、すなわち、検出されるようになっている運転者状態は用途に依存する。状態が規定された時点で、これらの状態を表すデータベースが形成され、また、分類子を訓練するために機械学習技術が使用され、分類子は、その後、決定された特徴とデータベースで規定された状態とを比較することによって正しい状態を自動的に決定できる。用途の複雑さに応じて、単純な適応閾値化Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ又はディープネットワークが分類子として使用される。
【００６６】
図６は、例えばデータベースに含まれ得るような多くの運転者注意散漫シナリオを示し、この場合、前述した特徴のうちの１つ以上が運転者の状態を分類できるようにする。
【００６７】
ブロック１０８に関して前述したように、運転者の頭部姿勢を追跡することによって、システムは、図６において全体的に３００として示される平均中立顔モデルからの偏差を定量化することができる。これらの変動は、例えば、３０１における不適切な着座姿勢、３０２における眠気に起因する特徴的なうなずきパターン、及び、３０３に示される覚醒のパターンを含む。
【００６８】
中立顔３００よりもセンサ２４に近接して見えるより大きな領域は、３０４での電話で話している又は３０９での新聞を読んでいる一般的な注意散漫を示し得る。３１０におけるような特定の顔表情に関連する不快なジェスチャもまた検出され得る。
【００６９】
顔領域内でセンサ２４により近接して見える小さな領域は、３１１におけるサングラス又は他の着用物を着用している運転手として、或いは、３０８における運転中に喫煙している運転者として分類され得る。
【００７０】
中立顔に対してセンサ２４から更に離れて見える小さな領域は、３０５におけるように運転者が話していることを示し得る。目の位置における振幅又は色の情報の突然の変化と組み合わせて、３０６におけるショック状態が検出され得る。
【００７１】
３０７における微妙な顔表情は、深度、グレースケール、及び／又は、色の情報を含む全特徴セットの解析を必要とする。
【００７２】
ある場合には、大きな変化は、注意散漫に直接関係しないかもしれないが、３１２で運転者が帽子をかぶる場合又は３１３で髪の房の特定の変化の場合のように中立顔モデルのリセットを引き起こすはずである。
【００７３】
３１４における顔の色の変化も、全体的な運転者状態推定に寄与し得るとともに、ストレスや覚醒などの状態を示し得る。
【００７４】
例えば、図６に示される状態を使用して、運転者状態がブロック１１６において分類された時点で、運転者状態及び頭部姿勢がブロック１１７で出力される。この出力は、その後、図１Ａのブロック２６を介して、運転者の状態に適切に作用するために他のプログラム又は警告システムなどによって使用され得る。
【００７５】
したがって、本明細書中で説明されるように、システム及び方法は、車両の運転者の状態を推定するコンピュータシステムに関する。これは、空間的及び時間的パターンの分類によってそのように行って運転者状態及び注意散漫事象を特定する。
【００７６】
フローチャート及びブロック図に関して本システム及び方法を説明してきた。フローチャート及び図の各ブロックをコンピュータプログラム命令によって実施できることが理解される。これらのプログラム命令がマシンを生成するためにプロセッサに与えられ、それにより、プロセッサ上で実行される命令がブロックで指定される機能を実施するための手段を形成してもよい。コンピュータプログラム命令は、命令が実行してプロセッサがブロックで指定される機能を実施するためのステップを与えるように一連の動作ステップがプロセッサにより実行されるようにしてコンピュータ実施プロセスをもたらすべくプロセッサによって実行されてもよい。したがって、これらの図は、特定の機能を果たすための手段の組合せ及びこれらの特定の命令を実行するためのステップの組合せをサポートする。また、各ブロック及びブロックの組合せが、特定の機能又はステップを実行する専用ハードウェアベースのシステム或いは専用ハードウェアとコンピュータ命令との組合せによって実施され得ることも理解される。本明細書中に開示される様々な態様に係る方法のいずれも、任意の特定の順序でそのステップを実行することに限定されない。
【図１Ａ】
2019527448.tif 000005
【図１Ｂ】
2019527448.tif 000006
【図２−１】
2019527448.tif 000007
【図２−２】
2019527448.tif 000008
【図３Ａ】
2019527448.tif 000009
【図３Ｂ】
2019527448.tif 000010
【図３Ｃ】
2019527448.tif 000011
【図３Ｄ】
2019527448.tif 000012
【図３Ｅ】
2019527448.tif 000013
【図４ａ】
2019527448.tif 000014
【図４ｂ】
2019527448.tif 000015
【図４ｃ】
2019527448.tif 000016
【図４ｄ】
2019527448.tif 000017
【図４ｅ】
2019527448.tif 000018
【図６】
2019527448.tif 000019
【国際調査報告】
2019527448.tif 000020
2019527448.tif 000021