(57)【要約】  ドライバ行動監視システムは、ビデオカメラ（１００）、画像処理システム（１０２）、およびドライバ警告システム（１０４）を含む。ビデオカメラはドライバの行動を記録し、画像処理システムは、ドライバの行動を（ｉ）不注意行動および（ｉｉ）事故行動のうちの少なくとも１つとして認識および分類するために、記録されたビデオコンテンツを分析する。認識および分類に基づいて、ドライバ警告システムはドライバへの警告、当局への警告などの様々な動作を実行することができる。
2017505477.tif 000002
【特許請求の範囲】
【請求項１】
車両用のドライバ行動監視システムであって、
ドライバ行動ビデオコンテンツをサンプリングすることによって代表的画像フレームのセットを生成するように構成されたフレームサンプリング回路（１０２１）と、
代表的画像フレームのセットにおける各代表的画像フレームの前景部分のベクトル表現を生成するように構成された特徴識別回路（１０２６）であって、前景部分がドライバ行動を不注意または事故行動として認識および分類することに関連した特徴を含む、特徴識別回路と、
ベクトル表現に基づいて、ドライバ行動を不注意または事故行動として認識および分類するための決定規則のセットを生成するように構成された認識および分類回路（１０２８）であって、決定規則の各々が不注意または事故行動に関連付けられた異なる概念、動き、またはアクションに対応する、認識および分類回路と、
を備える、ドライバ行動監視システム。
【請求項２】
特徴識別回路が、
各代表的画像フレームの前景部分の特徴検出を実行すること、
検出された特徴に基づいて各代表的画像フレームに関連付けられた特徴記述子を算出すること、および、
算出された特徴記述子に基づいてベクトル表現を生成すること、
を実行するようにさらに構成された、請求項１に記載のドライバ行動監視システム。
【請求項３】
検出された特徴が、空間および時間の顕著な特徴周辺のドライバの動きの空間および時間の特徴をキャプチャする、請求項２に記載のドライバ行動監視システム。
【請求項４】
ベクトル表現が、代表的画像フレーム内の静的および動的特徴の両方を表す、請求項１に記載のドライバ行動監視システム。
【請求項５】
特徴識別回路が、代表的画像フレームのセット内の代表的画像フレーム間の静的特徴のポジションを追跡することによって動的特徴を識別するように構成された、請求項４に記載のドライバ行動監視システム。
【請求項６】
ドライバ行動がドライバによる複数のサブアクションまたは動きによって特徴付けられ、決定規則の各々が複数のサブアクションまたは動きの中のサブアクションまたは動きに対応する、請求項１に記載のドライバ行動監視システム。
【請求項７】
ドライバ行動を監視するための方法であって、
ドライバ行動ビデオコンテンツをサンプリングすることによって代表的画像フレームのセットを生成すること（Ｓ２０４）、
代表的画像フレームのセットにおける各代表的画像フレームの前景部分のベクトル表現を生成することであって、前景部分がドライバ行動を不注意または事故行動として認識および分類することに関連した特徴を含む、生成すること（Ｓ２１０）、
ベクトル表現に基づいて、ドライバ行動を不注意または事故行動として認識および分類するための決定規則のセットを生成することであって、決定規則の各々が不注意または事故行動に関連付けられた異なる概念、動き、またはアクションに対応する、生成すること（Ｓ２１２）、および、
生成された決定規則のセットをメモリ（１０２８０）内に記憶すること、
を含む、方法。
【請求項８】
ドライバ行動がドライバによる複数のサブアクションまたは動きによって特徴付けられ、決定規則の各々が複数のサブアクションまたは動きの中のサブアクションまたは動きに対応する、請求項７に記載の方法。
【請求項９】
車両用のドライバ行動監視システムであって、
ドライバ行動ビデオコンテンツをサンプリングすることによって代表的画像フレームのセットを生成するように構成されたフレームサンプリング回路（１０２１）と、
代表的画像フレームのセットにおける各代表的画像フレームの前景部分のベクトル表現を生成するように構成された特徴識別回路（１０２６）であって、前景部分がドライバ行動を不注意または事故行動として認識および分類することに関連した特徴を含む、特徴識別回路と、
ベクトル表現ならびにドライバ行動を認識および分類するための決定規則のセットに基づいて、ドライバ行動を認識および分類するように構成された認識および分類回路（１０２８）であって、決定規則の各々が不注意または事故行動に関連付けられた異なる概念、動き、またはアクションに対応し、認識および分類回路が認識および分類されたドライバ行動に対応する通知信号を出力するようにさらに構成された、認識および分類回路と、
通知信号に応答して選択的に警告するように構成されたドライバ警告システム（１０４）と、
を備える、ドライバ行動監視システム。
【請求項１０】
ドライバ行動がドライバによる複数のサブアクションまたは動きによって特徴付けられ、決定規則の各々が複数のサブアクションまたは動きの中のサブアクションまたは動きに対応する、請求項９に記載のドライバ行動監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ドライバ行動監視システムおよびドライバ行動監視のための方法に関する。
【背景技術】
【０００２】
近年、不注意運転が多くの車両衝突の主な要因となってきている。ラジオ局の変更、車両外部の出来事の観察、電子デバイスの使用などを含む、多くのドライバの不注意がある。これらの不注意の中でも、最も一般的な不注意は、携帯電話の使用および携帯メールの打電の２つである。多くの州で運転中のハンドヘルド携帯電話の使用を禁じており、初心者およびスクールバスのドライバによるすべての電子デバイスの使用も制約しているにもかかわらず、ドライバの行動を監視するためのリソース不足により、警察官が法律を執行することは困難である。さらに地域によって法律が大幅に異なる可能性があるため、法律によって特定の行動が制約されている場所にいることを人々が理解することは困難である。
【０００３】
さらに、事故が夜間または視界の悪い日中に発生した場合、結果として玉突き衝突事故が発生する可能性がある。従来の車両内の事故報告システムは、車両によって講じられた措置（例えばエアバッグの展開）に基づくものである。しかしながら、これらの措置は事故に応答して講じられるものであり、事故は、さらなる事故（例えば結果として生じる玉突き衝突事故）を防ぐのに役立つほど迅速には報告されない。
【発明の概要】
【課題を解決するための手段】
【０００４】
例示の実施形態は、ドライバ行動監視システムおよびドライバによる異常行動（例えば不注意および／または事故）を検出できる方法を提供する。ドライバ行動分析結果を他の車両センサ情報（例えばエンジン情報、速度センサ、位置情報など）と組み合わせて、事故の発生および位置を決定することができる。システムは、車の位置に基づく全地球測位システム（ＧＰＳ）情報および／またはワイヤレスマルチキャスティング技法を活用することによって、当局、緊急時対応要員、またはすぐ近くの他のドライバに、事故を報告することができる。システムは、自動的に事故を報告するため、および、すぐ近くのドライバに警告することによってさらなる玉突き衝突事故の発生を抑制するための、両方の機能を提供することができる。
【０００５】
少なくとも１つの例示の実施形態は、ドライバ行動ビデオコンテンツをサンプリングすることによって代表的画像フレームのセットを生成するように構成されたフレームサンプリング回路と、代表的画像フレームのセットにおける各代表的画像フレームの前景部分のベクトル表現を生成するように構成された特徴識別回路であって、前景部分がドライバ行動を不注意または事故行動として認識および分類することに関連した特徴を含む、特徴識別回路と、ベクトル表現に基づいて、ドライバ行動を不注意または事故行動として認識および分類するための決定規則のセットを生成するように構成された認識および分類回路であって、決定規則の各々が不注意または事故行動に関連付けられた異なる概念、動き、またはアクションに対応する、認識および分類回路とを含む、ドライバ行動監視システムを提供する。
【０００６】
少なくとも１つの他の例示の実施形態はドライバ行動を監視するための方法を提供し、方法は、ドライバ行動ビデオコンテンツをサンプリングすることによって代表的画像フレームのセットを生成すること、代表的画像フレームのセットにおける各代表的画像フレームの前景部分のベクトル表現を生成することであって、前景部分がドライバ行動を不注意または事故行動のうちの少なくとも１つとして認識および分類することに関連した特徴を含む、生成すること、ベクトル表現に基づいて、ドライバ行動を不注意または事故行動として認識および分類するための決定規則のセットを生成することであって、決定規則の各々が不注意または事故行動に関連付けられた異なる概念、動き、またはアクションに対応する、生成すること、および、生成された決定規則のセットをメモリ内に記憶すること、を含む。
【０００７】
少なくとも１つの他の例示の実施形態は、ドライバ行動ビデオコンテンツをサンプリングすることによって代表的画像フレームのセットを生成するように構成されたフレームサンプリング回路と、代表的画像フレームのセットにおける各代表的画像フレームの前景部分のベクトル表現を生成するように構成された特徴識別回路であって、前景部分がドライバ行動を不注意または事故行動として認識および分類することに関連した特徴を含む、特徴識別回路と、ベクトル表現ならびにドライバ行動を認識および分類するための決定規則のセットに基づいて、ドライバ行動を認識および分類するように構成された認識および分類回路であって、決定規則の各々が不注意または事故行動に関連付けられた異なる概念、動き、またはアクションに対応し、認識および分類回路が認識および分類されたドライバ行動に対応する通知信号を出力するようにさらに構成される、認識および分類回路と、通知信号に応答して車両のドライバに選択的に警告するように構成されたドライバ警告システムとを含む、ドライバ行動監視システムを提供する。
【０００８】
本発明は、本明細書の下記および添付の図面に記載される詳細な説明からより完全に理解され、ここでは同じ要素が同じ参照番号によって表され、単なる例として与えられるため本発明を限定することがない。
【図面の簡単な説明】
【０００９】
【図１】例示の実施形態に従ったドライバ行動監視システムを示す図である。
【図２】ドライバ行動監視システムをトレーニングするための方法の例示の実施形態を示すフローチャートである。
【図３】例示の実施形態に従ってドライバ行動を監視するための方法を示すフローチャートである。
【図４】図１に示されるビデオカメラの例示のポジションを示す図である。
【発明を実施するための形態】
【００１０】
これらの図が、特定の例示の実施形態で使用される方法、構成、および／または材料の一般的な特徴を示すこと、ならびに、以下に提供される文書による説明を補足することが意図されていることに留意されたい。しかしながらこれらの図は一定の縮尺ではなく、任意の所与の実施形態の精密な構造または性能上の特徴を精密に反映していない場合があり、例示の実施形態によって包含される値またはプロパティの範囲を定義または限定するものと解釈されるべきではない。様々な図において同様または同一の参照番号を使用することは、同様または同一の要素または特徴の存在を示すことが意図される。
【００１１】
次に、いくつかの例示の実施形態が示される添付の図面を参照しながら、様々な例示の実施形態がより完全に説明される。
【００１２】
本明細書では、詳細な例示的実施形態が開示される。しかしながら本明細書で開示される特定の構造および機能上の詳細は、例示の実施形態を説明するための単なる代表である。しかしながら本発明は多くの代替形式で具体化され得、本明細書に記載される実施形態のみに限定されるものと解釈されるべきではない。
【００１３】
したがって、例示の実施形態は様々な修正および代替形式が可能であるが、実施形態は図面内で例として示されており、本明細書で詳細に説明される。しかしながら、例示の実施形態を開示された特定の形式に限定することは意図されていないことを理解されたい。それどころか、例示の実施形態は本開示の範囲内にあるすべての修正、均等物、および代替をカバーするものである。図面の記述全体にわたって同じ番号は同じ要素を指す。
【００１４】
第１、第２などの用語は本明細書では様々な要素を説明するために使用され得るが、これらの要素はこれらの用語によって限定されるべきではない。これらの用語は１つの要素を別の要素と区別するためにのみ使用される。例えば、本開示の範囲を逸脱することなく、第１の要素を第２の要素と呼ぶことが可能であり、同様に第２の要素を第１の要素と呼ぶことが可能である。本明細書で使用される場合、「および／または」という用語は、関連付けられた列挙アイテムのうちの１つまたは複数の任意およびすべての組合せを含む。
【００１５】
要素が別の要素に「接続」または「結合」されていると言及される場合、他方の要素に直接接続または結合されていることが可能であるか、あるいは介在要素が存在し得る。これに対して、要素が別の要素に「直接接続」または「直接結合」されていると言及される場合、介在要素は存在しない。要素間の関係を説明するために使用される他の語は、同様に解釈されるべきである（例えば「間で」と「間で直接に」、「隣接した」と「直接隣接した」など）。
【００１６】
本明細書で使用される用語は特定の実施形態を説明するためのみのものであり、限定的であることは意図されていない。本明細書で使用される場合、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が明確に示していない限り複数形も含むことが意図されている。「備える」、「備えている」、「含む」、および／または「含んでいる」という用語は、本明細書で使用される場合、記載される特徴、整数、ステップ、動作、要素、および／または構成要素の存在を指定するが、１つまたは複数の他の特徴、整数、ステップ、動作、要素、構成要素、および／またはそれらのグループの存在または追加を除外するものではないことをさらに理解されよう。
【００１７】
いくつかの代替の実装において、示された機能／動作は、図に示された順序以外で発生し得ることにも留意されたい。例えば連続して示される２つの図は、実際にはほぼ同時に実行され得るか、または関与する機能／動作に応じて、ときには逆順で実行され得る。
【００１８】
以下の説明において、例示の実施形態を完全に理解するために特定の細部が提供される。しかしながら当業者であれば、例示の実施形態はこれらの特定の細部なしで実施され得ることを理解されよう。例えばシステムは、不要な細部で例示の実施形態を不明瞭にしないように、ブロック図で示され得る。他の例では、よく知られたプロセス、構造、および技法は、例示の実施形態を不明瞭にしないために、不要な細部なしで示され得る。
【００１９】
以下の説明において、例示の実施形態は、特定のタスクを実行するかまたは特定の抽象データ型を実装する、ルーチン、プログラム、オブジェクト、構成要素、データ構造などを含むプログラムモジュールまたは機能プロセスとして実装され得、１つまたは複数の中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）コンピュータなどのハードウェアを使用して実装され得る、動作および操作の記号表現（例えばフローチャート、フロー図、データフロー図、構造図、ブロック図などの形）を参照しながら説明されることになる。
【００２０】
フローチャートは動作を順次プロセスとして説明する場合があるが、動作の多くは並列、同時、または一斉に実行され得る。加えて、動作の順序は再配置され得る。プロセスはその動作が完了したときに終了し得るが、図に含まれない追加のステップも有し得る。プロセスは、方法、関数、手順、サブルーチン、サブプログラムなどに対応し得る。プロセスが関数に対応する場合、その終了は、呼び出し関数またはメイン関数への関数の戻りに対応し得る。
【００２１】
本明細書で開示される場合、「記憶媒体」、「コンピュータ可読記憶媒体」、または「一時的でないコンピュータ可読記憶媒体」という用語は、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ＲＡＭ、コアメモリ、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、および／または情報を記憶するための他の有形機械可読媒体を含む、データを記憶するための１つまたは複数のデバイスを表すことができる。「コンピュータ可読媒体」という用語は、ポータブルまたは固定の記憶デバイス、光記憶デバイス、ならびに、命令および／またはデータを記憶、包含、または搬送することが可能な様々な他の媒体を含むことが可能であるが、これらに限定されない。
【００２２】
さらに例示の実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組合せによって実装され得る。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実装される場合、必要なタスクを実行するためのプログラムコードまたはコードセグメントは、コンピュータ可読記憶媒体などの機械またはコンピュータ可読媒体内に記憶され得る。ソフトウェア内に実装された場合、プロセッサが必要なタスクを実行することになる。
【００２３】
コードセグメントが、手順、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、あるいは、任意の組合せの命令、データ構造、またはプログラムステートメントを表すことができる。コードセグメントは、情報、データ、引数、パラメータ、またはメモリコンテンツのパッシングおよび／または受信によって、別のコードセグメントまたはハードウェア回路に結合され得る。情報、引数、パラメータ、データなどは、メモリ共有、メッセージパッシング、トークンパッシング、ネットワーク伝送などを含む任意の好適な手段を介して、パッシング、転送、または伝送され得る。
【００２４】
例示の実施形態は、ドライバ行動監視システムおよびこれを操作するドライバ行動を監視する方法を提供する。
【００２５】
少なくとも１つの例示の実施形態によれば、ドライバ行動監視システムは、ビデオカメラ、画像処理システム、およびドライバ警告システムを含む。ドライバ行動監視システムは、全地球測位システム（ＧＰＳ）受信器および速度センサをさらに含むことができる。
【００２６】
ビデオカメラはドライバの行動を記録し、画像処理システムは記録されたビデオコンテンツを分析して、ドライバの行動を（ｉ）不注意行動および（ｉｉ）事故行動のうちの１つとして認識および分類する。ビデオコンテンツの分類に基づき、ドライバ警告システムは、ドライバへの警告、当局への警告などの様々な動作を実行することができる。
【００２７】
少なくともいくつかの例示の実施形態によれば、不注意行動は、例えば運転中の携帯電話の使用、運転中の携帯メールの打電、前進運転中に正面を向かないことなどを含むことができる。事故行動は、頭部のドア衝突、頭部のハンドル衝突、ドライバの居眠り、エアバッグの膨張などを含むことができる。
【００２８】
図１は、ドライバ行動監視システムの例示の実施形態を示す。
【００２９】
図１を参照すると、ドライバ行動監視システムは、カメラ（例えばビデオカメラ）１００、画像処理システム１０２、全地球測位システム（ＧＰＳ）受信器１０８、速度センサ１０６、およびドライバ警告システム１０４を含む。これら構成要素の各々は、以下でより詳細に考察されることになる。
【００３０】
カメラ１００は、ドライバの腕、手、および頭のポジションの動きを含むドライバ行動のビデオコンテンツおよび／または画像をキャプチャするように、車両内に装着される。カメラ１００は、ドライバに対して正面からまたはある角度のいずれかで向かうように位置決めされ得る。一例では、カメラ１００はドライバに向かって車両の内部に取り付けられ得る。別の例では、カメラ１００は車両のバックミラーに取り付けまたは装着され得る。カメラ１００は、ドライバおよびドライバ背後の車両の背景のビデオをキャプチャ／取得する。少なくともいくつかの例示の実施形態によれば、カメラ１００は、ある頻度でビデオフレームをキャプチャするように構成されたビデオカメラとすることができる。
【００３１】
図４は、図１に示されたビデオカメラ１００に関する例示のポジションを示す。図４に示されるように、ビデオカメラ１００は、ドライバに対して正面に向かうように車両４００のルーフに、ドライバに対してある角度で向かうようにバックミラーに、またはドライバに対してある角度で向かうようにドライバ側ドアの内部に装着され得る。図４に示されたビデオカメラ１００のポジションは単なる例であり、ビデオカメラ１００は任意の好適なポジションに配置され得ることを理解されたい。
【００３２】
画像処理システム１０２は、運転時のドライバによる不注意および／または事故行動を検出するために使用可能なドライバ行動分類器を生成するために、ドライバ行動ビデオコンテンツを分析する。画像処理システム１０２は、運転時の不注意および／または事故行動を検出し、検出された結果をドライバ警告システム１０４に（例えば通知信号の形で）出力する。ドライバ警告システム１０４は、検出された結果に応答して必要であれば警告を出力する。
【００３３】
図１に示されるように、画像処理システム１０２は、前処理回路１０２０、フレームサンプリング回路１０２１、背景減算回路１０２２、特徴識別回路１０２６、ならびに認識および分類回路１０２８を含む。認識および分類回路１０２８はメモリ１０２８０を含む。これら構成要素の各々およびそれらの機能を含む画像処理システム１０２は、図２および図３に関連して以下でより詳細に論じられる。
【００３４】
ドライバ警告システム１０４は、画像処理システム１０２からの認識結果に基づいて警告を出力する。一例において、ドライバ警告システム１０４は、画像処理システム１０２が不注意または事故行動を検出したときに、可聴および／または可視警報を出力することができる。別の例において、ドライバ警告システム１０４は、事故行動が検出された場合、必要な当局および／または救急サービス（例えば警察、消防、救急医療システム（ＥＭＳ）など）に警告を出すことができる。
【００３５】
さらに図１を参照すると、ＧＰＳ受信器１０８は車両の位置を追跡し、画像処理システム１０２およびドライバ警告システム１０４に位置情報（例えば経度／緯度、交差点、住所、街路／道路、マイル標などを含む）を出力する。ＧＰＳ受信器はよく知られているため、簡潔のために詳細な考察は省略する。
【００３６】
速度センサ１０６は、いずれの時点でも車両の移動速度を追跡する。速度センサ１０６は、ドライバ警告システム１０４に速度情報を出力する。一例において、速度センサ１０６は、ドライバ行動監視システムが設置されている車両の速度計であってよい。別の例において、速度センサ１０６は、ＧＰＳ受信器１０８からのＧＰＳ情報に基づいて車両の速度を独立して計算することができる。このような速度センサはよく知られているため、より詳細な考察は省略する。
【００３７】
少なくとも１つの例示の実施形態によれば、ドライバ行動監視システムは異なるタイプのドライバ行動を認識するようにトレーニングされる。少なくとも１つの他の例示の実施形態によれば、ドライバ行動監視システムはドライバ行動を認識し、必要に応じて警告を出力する。
【００３８】
図２は、ドライバ行動を検出するようにドライバ行動監視システムをトレーニングするための方法の例示の実施形態を示すフローチャートである。図２に示される方法は、図１に示されたドライバ行動監視システムに関連して説明される。
【００３９】
図１および図２を参照すると、ステップＳ２０２で、カメラ１００は所与のドライバ行動に関連付けられたドライバ行動ビデオコンテンツを取得する。カメラ１００は、取得したドライバ行動ビデオコンテンツを画像処理システム１０２に出力する。
【００４０】
この例において、ドライバ行動ビデオコンテンツは少なくとも１つのドライバ行動トレーニングビデオを含む。単一のドライバ行動トレーニングビデオに関して考察されるが、所与のドライバ行動に関するドライバ行動ビデオコンテンツは、任意数の異なる車両の異なるドライバを含む、任意の期間にわたって獲得された任意数のドライバ行動トレーニングビデオを含むことができる。
【００４１】
一例において、ドライバ行動ビデオコンテンツは、腕、手、および頭のポジション、これら四肢に関連付けられた動き、ならびに所与のドライバ行動に関連するオブジェクト（例えば携帯電話、ウォータボトルなど）を含む。
【００４２】
ステップＳ２０３で、前処理回路１０２０は、カメラ１００によって取得されたドライバ行動ビデオコンテンツに関するラベル情報を生成する。一例において、ドライバ行動ビデオコンテンツに関するラベル情報は、所与のドライバ行動に関する開始フレーム識別子および終了フレーム識別子、ならびにビデオ内のキャプチャされたドライバ行動を識別するラベルを含むことができる。ドライバ行動および／またはフレーム識別情報に関するラベルは、人間のオペレータによって入力され得る。
【００４３】
別の例示の実施形態において、前処理回路１０２０は、所与のドライバ行動に関連付けられた姿勢を含むドライバのラベリングされた比較的少数の画像を使用して、ラベル情報を生成することができる。ラベリングされた静的画像の前および／または後の画像を外挿するために、姿勢の変化の傾向を研究することによって、それらの静的画像からアクションカテゴリが学習または取得され得る。例えばフレームが、自分の耳に携帯電話を当てているドライバを示し、（例えば人間のオペレータによって）そのように識別された場合、前処理回路１０２０は、携帯電話を識別するために既存のオブジェクト認識アルゴリズムと、手および頭のポジションを見つけるために姿勢認識アルゴリズムとを活用することができる。この画像フレームは参考になるため、画像フレームは携帯電話を使用する行動をトレーニングするための代表的画像として選択される。行動の連続により、ドライバが携帯電話を手に取るアクションおよび下に置くアクションを含む、選択されたフレームの前および後のフレームは、呼び出し行動に関するものとして自動的にラベリングされ得る。
【００４４】
図２に戻り、前処理回路１０２０は、生成されたラベル情報を所与のドライバ行動に関するドライバ行動ビデオコンテンツに付加し、ドライバ行動ビデオコンテンツをラベル情報と共にフレームサンプリング回路１０２１に出力する。
【００４５】
ステップＳ２０４で、フレームサンプリング回路１０２１は、所与のドライバ行動ビデオコンテンツに関する代表的画像フレームのセットを取得するために、ドライバ行動ビデオコンテンツをサンプリングする。一例において、フレームサンプリング回路１０２１は、ドライバ行動ビデオコンテンツの５連続フレームごとに１フレームをサンプリングすることができる。フレームサンプリング回路１０２１は、代表的画像フレームのセットを背景減算回路１０２２に出力する。
【００４６】
ステップＳ２０６で、背景減算回路１０２２は、所与のドライバ行動に関する代表的前景画像のセットを生成するために、各代表的画像フレームから背景部分を減算する。代表的前景画像は、代表的画像フレームの前景部分とも呼ばれ得る。
【００４７】
この例において、代表的前景画像は、ドライバの姿勢および所与のドライバ行動に関連するオブジェクト（例えば携帯電話、ウォータボトルなど）を含む代表的画像フレームの部分を指す。言い換えれば代表的前景画像は、不注意および事故行動のうちの少なくとも１つを含む所与のドライバ行動の検出および／または認識に関連する情報を含む。代表的画像フレームの背景部分は、代表的画像フレームの残りの部分を指す。
【００４８】
一例において、背景減算回路１０２２は、所与の代表的画像フレームの背景部分を識別するために、カメラ１００によって取得された車の内部構造（例えば、ドアの位置および形状、窓、ハンドル、内部テクスチャ、色、などを含む）の記録された背景（例えば静的）画像を利用する。本明細書で考察される場合、記録された背景画像は基準背景画像とも呼ばれ得る。背景減算回路１０２２は、各代表的画像フレームから背景部分を除去するために背景減算を実行する。
【００４９】
別の例において、背景減算回路１０２２は、基準背景画像と代表的画像フレームとの間のフレーム差分を使用して、代表的画像フレームの背景部分から前景部分を分離させる。この例では、基準背景画像はグレースケール画像として表される。背景減算回路１０２２は各代表的画像フレームをグレースケール画像に変換し、各ピクセルの強度値の差異は比較された２つの画像間の変化を表す。前景部分はピクセルの強度値の差異においてより大きな変化を示すが、基準背景画像と同様のピクセル強度値はより小さな変化を示す。
【００５０】
背景減算回路１０２２は、代表的前景画像のセットを特徴識別回路１０２６に出力する。
【００５１】
ステップＳ２１０で、特徴識別回路１０２６は、代表的前景画像のセット内に各代表的前景画像のベクトル表現を生成する。一例において、特徴識別回路１０２６は、Ｂａｇ−ｏｆ−Ｆｅａｔｕｒｅｓ（ＢＯＦ）手法を使用して代表的前景画像のベクトル表現を生成する。知られているように、ＢＯＦ法に従い、各代表的前景画像は、各「視覚語」が代表的前景画像内の視覚的特徴を記述する量子化局所特徴記述子である、視覚語オカレンスのグローバルヒストグラムに変換される。例示の実施形態はＢＯＦ法に関して考察されるが、例示の実施形態はこの例示の実装のみに限定されないことを理解されたい。
【００５２】
さらに、例示の実施形態は特定のヒストグラム例に関して考察され得るが、視覚的特徴を記述する特徴記述子は特徴を記述するために使用される特定の技法に依存し得、例えばＯＲＢ記述子は２進文字列であり、ＳＩＦＴ／ＳＵＲＦ記述子は整数のベクトルであり、ＳＴＩＰ記述子はＨＯＧおよびＨＯＦのベクトルである。
【００５３】
話を簡潔にするために、ベクトル表現の生成は単一の代表的前景画像に関連して考察されることになる。しかしながら、所与のドライバ行動に関するベクトル表現を生成するために、代表的前景画像のセット内の各代表的前景画像について、同じかまたはほぼ同じプロセスが実行されることを理解されたい。
【００５４】
さらに図２のステップＳ２１０を参照すると、特徴識別回路１０２６は代表的前景画像の特徴検出を実行する。これを実行する際、特徴識別回路１０２６は、代表的前景画像の各ポイントまたはピクセルに画像特徴が存在するかどうかを決定する。知られているように、画像特徴は本質的に画像の「関心ある」部分、すなわちオブジェクトが存在し得る画像のピクセルである。画像特徴のタイプは、エッジ、コーナー／関心ポイント、小塊（ｂｌｏｂ）、隆起（ｒｉｄｇｅ）などを含む。特徴識別回路１０２６は、画像特徴が代表的前景画像内に主要もしくは関心あるピクセルとして存在するピクセルを識別する。
【００５５】
一例において、特徴識別回路１０２６は、Ｆｅａｔｕｒｅｓ  ｆｒｏｍ  Ａｃｃｅｌｅｒａｔｅｄ  Ｓｅｇｍｅｎｔ  Ｔｅｓｔ（ＦＡＳＴ）、Ｏｒｉｅｎｔｅｄ  ＦＡＳＴ  ａｎｄ  Ｒｏｔａｔｅｄ  ＢＲＩＥＦ（ＯＲＢ）、Ｓｐｅｅｄｅｄ  Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ（ＳＵＲＦ）、Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ（ＳＩＦＴ）などの、よく知られた局所特徴検出器を使用して、代表的前景画像内の特徴を検出することができる。
【００５６】
知られているように、ＳＩＦＴは、スケール、ノイズ、および照明における変化の下でオブジェクトを検出するために、信頼できる特徴認識を実行する。ＳＩＦＴから発想を得て、ＳＵＲＦは２Ｄハールウェーブレット応答の合計に基づき、積分画像を効率的に利用する。ＦＡＳＴは高速コーナー検出のための機械学習を使用する。ＯＲＢはＦＡＳＴ特徴検出器に基づき、検出された特徴を表すために２進記述子を使用する。
【００５７】
特徴検出を実行した後、検出された各特徴について、特徴識別回路１０２６は、検出された特徴ピクセル周辺およびこれを含む局所画像パッチを抽出する。次いで特徴識別回路１０２６は、局所画像パッチをベクトルとして表す特徴記述子を生成する。特徴識別回路１０２６は、前述のような技法（例えば、ｈｉｓｔｏｇｒａｍ  ｏｆ  ｏｒｉｅｎｔｅｄ  ｇｒａｄｉｅｎｔ（ＨＯＧ）、ｈｉｓｔｏｇｒａｍ  ｏｆ  ｏｐｔｉｃａｌ  ｆｌｏｗ（ＨＯＰ）特徴など）を使用して特徴記述子を算出することができる。一例において、正規化されたヒストグラムはＨＯＧおよびＨＯＦ記述子ベクトルに連結される。
【００５８】
代表的前景画像内の検出された特徴は、空間および時間の顕著な特徴周辺のドライバの動きの空間および時間の両方の特徴をキャプチャする。したがって代表的前景画像内で検出される特徴は、静的および運動（または動的）の両方の特徴を含む。各個別の代表的前景画像における静的特徴は、ドライバの姿勢（例えば、ドライバの手およびそのポジション、ドライバの頭およびそのポジションなど）および／またはオブジェクト（例えば携帯電話、ウォータボトルなど）の空間特徴を有する。
【００５９】
空間および時間特徴は、特徴識別回路１０２６が、代表的前景画像全体にわたるオブジェクトおよび／またはドライバの動きを検出できるようにするものである。一例において、特徴識別回路１０２６は、セット内の代表的前景画像間（例えば１つの代表的前景画像から後続の代表的前景画像まで）で検出された静的特徴のポジションを追跡することによって、代表的前景画像内の動的アクション（または運動）特徴を識別する。一例において、特徴識別回路１０２６は動的特徴を識別し、当分野でよく知られた、オプティカルフロー手法を使用して、またはＳｐａｃｅ−Ｔｉｍｅ  Ｉｎｔｅｒｅｓｔ  Ｐｏｉｎｔｓ（ＳＴＩＰ）などの時空特徴記述子を使用して、これらの動的特徴を表す特徴記述子を生成する。
【００６０】
特徴識別回路１０２６は、生成された特徴記述子を視覚語にマッピングし、ここで各視覚語は代表的前景画像全体にわたり同様の局所画像パッチを表す。このコンテキストでは、前述のように、各「視覚語」は画像の特徴を記述する量子化局所特徴記述子を指す。特徴記述子は、ｋ平均、階層ｋ平均、および近似ｋ平均などの様々なクラスタ化アルゴリズムを使用して、視覚語にマッピングされ得る。特徴記述子に対応するすべての可能な視覚語のセットは、視覚語彙と呼ばれる。したがって少なくともこの例示の実施形態によれば、視覚語彙は動的アクション特徴と静的特徴の両方を含み、ｋ平均、階層ｋ平均、および近似ｋ平均などの様々なクラスタ化アルゴリズムを介して学習される。視覚語彙はその後、局所特徴を量子化するために使用される。ベクトル量子化器は特徴ベクトルを取り、特徴を視覚語彙内で最も近い視覚語のインデックスにマッピングする。
【００６１】
視覚語彙を構築すると、特徴識別回路１０２６は、代表的前景画像内の視覚語オカレンスのグローバルヒストグラムの形で代表的前景画像のベクトル表現を生成する。一例において、ベクトル表現は、電話を取る、電話を保持する、脇道を見るなどの、異なるドライバの動きに対応する。
【００６２】
特徴識別回路１０２６は、生成されたベクトル表現をラベル情報と共に認識および分類回路１０２８に出力する。
【００６３】
ステップＳ２１２で、認識および分類回路１０２８は、特徴識別回路１０２６からのベクトル表現およびラベル情報に基づいて、ドライバ行動分類器／決定規則を生成する。一例において、認識および分類回路１０２８はサポートベクトルマシン（ＳＶＭ）とすることができる。
【００６４】
より詳細には、異なるドライバの動きに対応するベクトル表現が与えられると、認識および分類回路１０２８は、画像のベクトル表現を異なるアクションクラスに割り当てるために、決定規則のセット（分類器とも呼ばれる）を学習または生成し、ここで各決定規則は、携帯電話、手を振る、電話を保持するなどの、特定のドライバ行動の一概念、動き、またはアクションを分類する。各個別の決定規則は、独立した決定を行うために使用され、その後、特定のドライバ行動が検出されるかどうかに関する最終決定は、所与のドライバ行動に関するすべての決定規則の一体化（ｆｕｓｅ）またはコラボレーションである。決定規則は、図３に関して後でより詳細に考察されるように、認識および分類回路１０２８がドライバ行動を認識および分類できるようにするものである。
【００６５】
認識および分類回路１０２８は、最近傍分類器（例えばＫ平均分類器）またはサポートベクトルマシン（ＳＶＭ）などの分類技法を使用して、決定規則を学習または生成することができる。一例において、ＳＶＭは、正の例と負の例との間のマージンを最大にする超平面を見つける。これらのような分類技法はよく知られているため、より詳細な考察は省略する。
【００６６】
認識および分類回路１０２８は、所与のドライバ行動に関する高水準特徴表現を生成するために、これらの比較的単純な概念、ドライバアクション、および／または動きをまとめて組み合わせるかまたはグループ化する。一例において、高水準特徴表現は、静的背景情報、ＨＭＭ、行動の高水準セマンティック表現などに関連付けられた、ドライバアクションまたは動きの階層とすることができる。高水準特徴表現は、ドライバ行動分類情報とも呼ばれ得る。
【００６７】
一例において、所与のドライバ行動に関するドライバ行動分類情報は、ドライバによるサブアクションまたは動きのシーケンスを含む。認識および分類回路１０２８は、特定のドライバ行動を表すためのサブアクションの順序付けをモデル化するために、高水準表現を利用する。
【００６８】
前述の例において、認識および分類回路１０２８は統計的ＨＭＭモデルを用いて、ドライバ行動に関連付けられた各サブアクションの確率、および一つのサブアクションから次のサブアクションへの状態遷移確率を取得することができる。認識および分類回路１０２８は、取得された確率を使用して、ドライバ行動を認識および分類することができる。それらサブアクションの時間的順序は、人間のオペレータによって自動的または半自動的に、人間のオペレータの入力を用いて指定され得る。
【００６９】
認識および分類回路１０２８は、識別されたドライバ行動に関連付けられたサブアクションおよびサブアクションの階層を含むドライバ行動分類情報を、メモリ１０２８０などのメモリ内に記憶する。一例において、認識および分類回路１０２８は、ドライバ行動を検出する際に使用するための分類ラベルに関連して、ドライバ行動分類情報を記憶する。分類ラベルは、前処理回路１０２０によって生成されたラベル情報から取得され得る。一例において、ドライバ行動分類情報は、分類ラベルに関連してルックアップテーブルの形でメモリ１０２８０などの不揮発性メモリに記憶され得る。
【００７０】
次に、図２に示された方法のより特定の例を、ドライバが携帯電話で話しているのを認識および検出するようにドライバ行動監視システムをトレーニングすることに関して説明する。本明細書で考察される場合、このドライバ行動は携帯電話不注意ドライバ行動とも呼ばれ得る。この例では、携帯電話不注意ドライバ行動に関するドライバ行動ビデオコンテンツは、（ｉ）自分の手を携帯電話の方向に動かす、（ｉｉ）電話を取る、（ｉｉｉ）電話を自分の耳の近くに移動する、（ｉｖ）電話を自分の耳で保持する、（ｖ）電話を下に置く、というアクションを実行するドライバのビデオを含むことが想定される。しかしながら、例示の実施形態はこの例のみに限定されるものではない。
【００７１】
図１および図２を参照すると、ステップＳ２０２で、カメラ１００は前述のドライバのビデオを含むドライバ行動ビデオコンテンツを取得する。
【００７２】
ステップＳ２０３で、前処理回路１０２０はドライバ行動ビデオコンテンツに関するラベル情報を生成する。例えば前処理回路１０２０は、ドライバが自分の手を電話の方向に動かすフレームに関する開始フレーム識別子、および、ドライバが呼び出し後に電話を下に置くフレームに関する終了フレーム識別子を識別する。さらに前処理回路１０２０は、ドライバ行動に関するラベルをドライバ行動ビデオコンテンツに関連付ける。この場合、ラベルは、「ドライバが運転中に携帯電話を使用」または「携帯電話不注意ドライバ行動」とすることができる。
【００７３】
前処理回路１０２０は、ドライバ行動ビデオコンテンツをラベル情報と共にフレームサンプリング回路１０２１に出力する。
【００７４】
ステップＳ２０４で、フレームサンプリング回路１０２１は、前述のように携帯電話不注意ドライバ行動に関する代表的画像フレームのセットを取得するために、ドライバ行動ビデオコンテンツをサンプリングする。フレームサンプリング回路１０２１は、代表的画像フレームのセットを背景減算回路１０２２に出力する。この例では、代表的画像フレームのセットは、前述の（ｉ）から（ｖ）までの、すなわち（ｉ）自分の手を携帯電話の方向に動かす、（ｉｉ）電話を取る、（ｉｉｉ）電話を自分の耳の近くに移動する、（ｉｖ）電話を自分の耳で保持する、（ｖ）電話を下に置く、というドライバの動きの各々に対応するフレームを含むことが想定される。
【００７５】
ステップＳ２０６で、背景減算回路１０２２は、携帯電話不注意ドライバ行動に関する代表的前景画像のセットを生成するために、各代表的画像フレームから背景部分を減算する。
【００７６】
この例において代表的前景画像は、ドライバの姿勢、およびドライバの携帯電話などの関連するオブジェクトを含む。背景減算回路１０２２は、代表的前景画像のセットを特徴識別回路１０２６に出力する。
【００７７】
ステップＳ２１０で、特徴識別回路１０２６は前述のように、携帯電話不注意ドライバ行動に関する代表的前景画像のセット内の各代表的前景画像のベクトル表現を生成する。視覚語彙を構築すると、特徴識別回路１０２６は、視覚語オカレンスのグローバルヒストグラムの形で、携帯電話不注意ドライバ行動に関するベクトル表現を生成する。特徴識別回路１０２６は、セット内の代表的前景画像のベクトル表現を、ラベル情報と共に認識および分類回路１０２８に出力する。
【００７８】
ステップＳ２１２で、認識および分類回路１０２８は、特徴識別回路１０２６からのベクトル表現に基づいて、前述の動き（ｉ）から（ｖ）の各々に関するドライバ行動分類器を生成する。
【００７９】
この例において、携帯電話不注意ドライバ行動に関するサブアクションまたは動きのシーケンスは、（ｉ）自分の手を携帯電話の方向に動かす、（ｉｉ）電話を取る、（ｉｉｉ）電話を自分の耳の近くに移動する、（ｉｖ）電話を自分の耳で保持する、（ｖ）電話を下に置く、ということを含む。前述のように、認識および分類回路１０２８は、携帯電話不注意ドライバ行動を表すためのサブアクションの順序付けをモデル化するために、高水準表現を利用する。
【００８０】
この例に関してより詳細には、認識および分類回路１０２８は、携帯電話不注意ドライバ行動の認識に関する決定規則のセットを学習または生成する。一例において、決定規則のセットは、前述の（ｉ）から（ｖ）のアクションの各々に対応する決定規則を含むことができる。決定規則は、ドライバ行動検出中に取得された画像のベクトル表現を異なるアクションクラスに割り当てるために使用され、ここで各決定規則は概念（例えば、（ｉ）自分の手を携帯電話の方向に動かす、（ｉｉ）電話を取る、（ｉｉｉ）電話を自分の耳の近くに移動する、（ｉｖ）電話を自分の耳で保持する、および（ｖ）電話を下に置く）を分類する。生成された決定規則の各々は、概念を分類する独立した決定を行うために使用され、携帯電話不注意ドライバ行動が検出されるかどうかに関する最終決定は、決定規則の大多数であるかすべてであるかに基づく。一例において、すべての必要な概念（例えば（ｉ）から（ｖ）まで）がベクトル表現内に存在する場合、認識および分類回路１０２８は携帯電話不注意ドライバ行動を検出する。
【００８１】
認識および分類回路１０２８は、携帯電話不注意ドライバ行動に関連するサブアクションおよびサブアクションの階層を含むドライバ行動分類情報を、メモリ１０２８０内に記憶する。
【００８２】
図３は、例示の実施形態に従ったドライバ行動の監視および警告の方法を示すフローチャートである。図３に示される方法は、図２に示される例示の実施形態に従ってトレーニングされた図１に示されるドライバ行動監視システムに関して説明される。
【００８３】
図１および図３を参照すると、ステップＳ３０２で、カメラ１００は運転時のドライバ行動ビデオコンテンツを取得する。ドライバ行動ビデオコンテンツは図２に関して上記で考察されたものと同じであり、同じ様式で取得される。カメラ１００は取得されたドライバ行動ビデオコンテンツを画像処理システム１０２に出力する。
【００８４】
ステップＳ３０４でフレームサンプリング回路１０２１は、代表的画像フレームのセットを生成するために図２のステップＳ２０４に関して上記で考察されたものと同じ様式で、ドライバ行動ビデオコンテンツをサンプリングする。フレームサンプリング回路１０２１は、代表的画像フレームを背景減算回路１０２２に出力する。
【００８５】
ステップＳ３０６で、背景減算回路１０２２は、ステップＳ２０６に関して上記で考察されたものと同じ様式で代表的前景画像を生成するために、各代表的画像フレームから背景部分を減算する。背景減算回路１０２２は、代表的前景画像を特徴識別回路１０２６に出力する。
【００８６】
ステップＳ３０８で、特徴識別回路１０２６は、図２のステップＳ２１０に関して上記で考察されたものと同じ様式で、代表的前景画像のセット内の各代表的前景画像のベクトル表現を生成する。特徴識別回路１０２６は、ベクトル表現を認識および分類回路１０２８に出力する。
【００８７】
ステップＳ３１２で、認識および分類回路１０２８は、ステップＳ３０８で生成されたベクトル表現、およびメモリ１０２８０に記憶されたドライバ行動分類情報（例えば決定規則およびラベル情報を含む）に基づいて、不注意および／または事故ドライバ行動（ドライバ行動ビデオコンテンツ内に存在する場合）を認識および分類する。次いで認識および分類回路１０２８は、認識されたドライバ行動をドライバ警告システム１０４に通知する。一例において、認識および分類回路１０２８は通知信号をドライバ警告システム１０４に出力する。
【００８８】
一例において、認識および分類回路１０２８は、ステップＳ３０８で取得されたベクトル表現を、前述の決定規則を使用して異なるアクションクラスに割り当てるかまたは分類し、ここで各決定規則は概念を分類する。前述のように、生成された決定規則の各々が、１つまたは複数のベクトル表現を分類する独立した決定を行うために使用される。次いで、認識および分類回路１０２８は、特定のドライバ行動に関するすべての必要な概念（例えばアクション、オブジェクトなど）がベクトル表現内に存在する場合、不注意および／または事故ドライバ行動が存在するかどうかを決定する。さらに認識および分類回路１０２８は、記憶されたラベル情報に基づいて検出されたドライバ行動としてドライバ行動を分類する。
【００８９】
前述の携帯電話不注意ドライバ行動に関連して、例えば認識および分類回路１０２８は、ドライバ行動ビデオコンテンツが、（ｉ）自分の手を携帯電話の方向に動かす、（ｉｉ）電話を取る、（ｉｉｉ）電話を自分の耳の近くに移動する、（ｉｖ）電話を自分の耳で保持する、および（ｖ）電話を下に置く、というドライバによるアクションを含むかどうかを決定するために、決定規則のセットを使用することができる。この例において、認識および分類回路１０２８が、これら概念のすべてがベクトル表現内に存在するものと決定した場合、認識および分類回路１０２８は不注意ドライバ行動を検出し、行動を携帯電話不注意ドライバ行動として分類する。
【００９０】
図３に戻ると、前述のように不注意および／または事故ドライバ行動が検出された場合、認識および分類回路１０２８は認識されたドライバ行動をドライバ警告システム１０４に通知する。一例において、認識および分類回路１０２８は、通知信号をドライバ警告システム１０４に出力する。通知信号は、認識されたドライバ行動を示すものとすることができる。
【００９１】
ドライバ警告システム１０４は認識されたドライバ行動の通知を受信し、認識されたドライバ行動に基づいて警告を発するかどうかを決定する。警告を発する際、ドライバ警告システム１０４は通知信号に基づいて警告を選択的に出力する。
【００９２】
一例において、ステップＳ３１４で通知信号を受信すると、ドライバ警告システム１０４は速度センサ１０６からの速度情報に基づいて、認識されたドライバ行動が正常であるかどうかを決定する。例えば認識されたドライバ行動が前述の携帯電話不注意ドライバ行動である場合、車両が移動していない（例えば、０  ＭＰＨ）旨を速度センサ１０６からの速度情報が示せば、ドライバ警告システム１０４はこの行動が正常であるものと決定することができる。他方で、車両が移動している旨を速度センサ１０６からの速度情報が示せば、ドライバ警告システム１０４は携帯電話不注意ドライバ行動が正常でないものと決定する。
【００９３】
認識されたドライバ行動が正常であるものとドライバ警告システム１０４が決定した場合、ステップＳ３１８でドライバ警告システム１０４は、ＧＰＳ受信器１０８からの位置情報に基づいて、認識されたドライバ行動が制約されている場所に車両がいるかどうかを決定する。例えばいくつかの州では、運転中にハンズフリー操作なしで携帯電話を使用することは違法である。認識されたドライバ行動が上記の携帯電話不注意ドライバ行動であり、ＧＰＳ受信器１０８からの位置情報が、こうした行動が違法である地域に車両がいることを示す場合、ドライバ警告システム１０４は、認識されたドライバ行動が運転地域内で制約されているものと決定する。
【００９４】
さらにステップＳ３１８を参照すると、ドライバ警告システム１０４が、認識されたドライバ行動が制約されている地域に車両が位置するものと決定した場合、ドライバ警告システム１０４はステップＳ３１６で警告を出力する。
【００９５】
ステップＳ３１８に戻り、ドライバ警告システム１０４が、認識されたドライバ行動が制約されていないものと決定した場合、ドライバ警告システム１０４はステップＳ３２０でドライバなどにいかなる警告も送信しない。
【００９６】
少なくともいくつかの例示の実施形態によれば、ドライバ警告システム１０４からのドライバ警告出力は認識されたドライバ行動に依存し得る。一例において、ドライバ警告システム１０４は、車両の現在の位置に基づいて認識されたドライバ行動が制約されている旨をドライバに通知するために、可視または可聴警告を出力することができる。別の例において、事故行動（例えば、ハンドルへの頭部の衝突、エアバッグの展開など）の場合、ドライバ警告システム１０４は、事故行動および車両の位置を緊急時対応要員に通知することができる。ドライバ警告システム１０４は、よく知られているワイヤレス通信マルチキャストサービスを介してマルチキャスト警告を発することによって、その地域に近づいているときにルート変更および／または警戒できるように、すぐ近くの他のドライバにも事故行動を警告することができる。
【００９７】
図３のステップＳ３１４に戻り、認識されたドライバ行動が正常でないものとドライバ警告システム１０４が決定した場合、ステップＳ３１６でドライバ警告システムは前述のように警告を出力する。
【００９８】
例示の実施形態の前述の説明は、例示および説明の目的で行われたものである。網羅的であることまたは本開示を限定することは意図されていない。特定の例示の実施形態の個別の要素または特徴は一般にその特定の実施形態に限定されないが、適用可能であれば交換可能であり、たとえ具体的に図示または説明されていない場合であっても、選択された実施形態で使用することができる。同様に、多くの方法で変形も可能である。こうした変形は本開示を逸脱するものとは見なされず、すべてのこうした修正は本開示の範囲内に含まれることが意図される。
【図１】
2017505477.tif 000003
【図２】
2017505477.tif 000004
【図３】
2017505477.tif 000005
【図４】
2017505477.tif 000006
【国際調査報告】
2017505477.tif 000007
2017505477.tif 000008
2017505477.tif 000009