"輸送手段の安全運転を補助する装置であって,前記輸送手段は輸送手段環境を有し,前記装置は,前記輸送手段環境内の危険事情を検出し,危険事情データを供給できる環境感知器システムと,視線軌跡を含むドライバ認知データを供給できるドライバ監視器と,前記危険事情データと前記視線軌跡とを比較することによって,認知された危険事情と認知されていない危険事情とを特定する注意評価モジュールと,を備え,前記注意評価モジュールは前記認知されていない危険事情に関する警告信号を供給する,装置。前記警告信号を受信したとき,警告を発する危険事情警報器を更に備える請求項1に記載の装置。前記危険事情データは危険事情位置データを含み,認知されていない危険事情は,前記視線軌跡から所定の距離外の危険事情位置にある,請求項1に記載の装置。前記所定の距離は前記視線軌跡からの所定の角距離である,請求項3に記載の装置。前記危険事情位置データは第1所定時間期間の危険事情位置に対応し,前記ドライバ認知データは第2所定時間期間のドライバ認知に対応し,前記第1及び第2所定時間期間はそれぞれ,約0.01秒と約0.1秒との間の期間を有する,請求項3に記載の装置。前記ドライバ認知データは凝視時間データを更に含み,少なくともいくつかの危険事情は認知された危険事情として特定されるために十分な凝視時間を必要とする,請求項1に記載の装置。前記環境感知器システムはレーダ感知器を含む,請求項1に記載の装置。前記危険事情は前記輸送手段環境内のほかの輸送手段を含む,請求項1に記載の装置。前記ドライバ監視器は,画像データを供給する少なくとも一つの画像感知器と,前記画像データから視線方向を判定できる処理モジュールと,を含む,請求項1に記載の装置。認知されていない危険事情に反応して輸送手段の運転を調整することができる輸送手段制御モジュールを更に備える請求項1に記載の装置。前記注意評価モジュールはプロセッサを備えた電子回路を含み,前記プロセッサは危険事情位置データと前記視線軌跡とを比較するアルゴリズムを実行でき,前記電子回路はさらにドライバ記憶のモデルを用いてドライバ認知を推定できる,請求項1に記載の装置。輸送手段の安全運転を補助する装置であって,前記輸送手段は輸送手段環境を有し,前記装置は,前記輸送手段環境内の危険事情を検出し,危険事情データを供給できる環境感知器システムであって,前記危険事情データは危険事情位置データを含み,前記危険事情は前記輸送手段環境内のほかの輸送手段を含む,環境感知器システムと,視線追跡器を含み,視線軌跡を含む視線軌跡データを供給するドライバ監視器と,前記危険事情データ及び前記視線軌跡データを受信し,前記危険事情位置と前記視線軌跡とを比較することによって,認知されていない危険事情を特定できる注意評価モジュールと,前記認知されていない危険事情に関してドライバに警告する危険事情警報器と,を備える装置。前記環境感知器システムは前記輸送手段によって支持されるレーダ感知器を含み,前記ドライバ監視器は前記ドライバに関する画像から視線軌跡を判定できるコンピュータビジョンシステムを含み,前記輸送手段は陸上輸送手段である,請求項12に記載の装置。前記注意評価モジュールは,所定の時間期間に記危険位置と前記視線軌跡とを比較することによって,認知された危険事情と認知されていない危険事情とを識別し,認知された危険事情は前記所定の時間期間に前記視線軌跡から所定の距離内にあり,前記所定の距離は所定の分離角である,請求項12に記載の装置。前記視線軌跡データは前記ドライバに関する凝視データを含み,前記注意評価モジュールは,前記危険事情位置と前記凝視データとを比較することによって,認知されていない危険事情を特定できる,請求項12に記載の装置。ドライバによる輸送手段の安全運転を補助する方法であって,危険事情データを取得するために,前記輸送手段によって支持される環境感知器を用いて輸送手段環境を監視するステップと,視線方向データを含むドライバ認知データを取得するために,前記ドライバを監視するステップと,認知されていない危険事情を特定するために,前記危険事情データと前記ドライバ認知データとを比較するステップと,前記認知されていない危険事情に関して,前記ドライバに警告するステップと,を有する方法。前記視線方向データは所定時間期間の視線軌跡を含み,前記視線軌跡は前記所定時間期間に認知された危険事情に固着する,請求項16に記載の方法。前記視線方向データは凝視データを含み,前記方法は,前記危険事情位置データと凝視データとを比較して,認知されていない危険事情を特定するステップを含む,請求項16に記載の方法。輸送手段の安全性は,輸送手段環境内の危険事情hazardを運転手に気付きやすくすることによって向上させることができる。しかし,すべての潜在的危険事情を輸送手段運転手に警告しようとすると警告の数が過剰になり,そのようなシステムはそれ自身を危険なまでに乱し,無視されるか,停止させられることになる。危険事情警告の有効性は,その警告が輸送手段運転手が気付いていない危険事情に関するものであるとき,高められる。輸送手段安全システムの例は,環境感知器システム,輸送手段運転手監視器例えば,ドライバ監視器,注意評価モジュール,及び警告システムである。注意評価モジュールは,環境感知器システムによって検出された環境内の危険事情と,ドライバの認知とを比較する。ドライバの認知は,視線追跡gazetrackingを用いてどの危険事情をドライバが認知されたか判定することによって推定してもよい。危険事情警告の数は,ドライバが見ていないか,又は気付いていないと分かる危険事情に対して,選択的に危険事情警告を行うことによって大いに減少させることができる。警告の数を減らすことによって,装置の有効性が大いに高まる。不必要な警告を無くすことによって,出された警告はドライバにより有用なものとなり,ドライバがシステムを停止させたり,無視したりすることは少なくなる。したがって,改善された事故防止システムは,内向きinward-facing感知器と,ドライバ監視と,輸送手段環境を監視する外向きoutward-facing感知器と,の組合せを用いて提供することができる。ここで,内向き感知器はドライバの方に向けられ,外向き感知器は輸送手段の外部環境に向けられている。輸送手段運転手とは,自動車のような陸上の輸送手段のドライバであってよく,簡潔にするため以降の例においてはドライバの用語を用いる。しかし,本発明の実施例は,船,飛行機,など,ほかの輸送手段の輸送手段安全システムも含む。輸送手段の安全運転を補助する装置の例は,輸送手段環境内の危険事情を検出する環境感知器システムと,ドライバを監視し,注目点に関するデータのようなドライバ認知データを提供するドライバ監視器と,危険事情データとドライバ認知データとを比較することによって,認知された例えば目視した危険事情と認知されていない危険事情とを特定する注意評価モジュールと,を含む。認知された危険事情とは,ドライバが気付いているもの,又はドライバ認知データに基づいて,ドライバの認知が合理的に推定又は推論できるもの,である。危険事情データは,タイムスタンプ付き危険事情位置データのような,時間に応じた特定の危険事情に対する危険事情位置を含んでもよい。危険事情についての予測された位置データもまた使うことができる。ドライバ認知データは,視線軌跡gazetrackのようなドライバ認知の中心方向に関するデータを含む。特に,視線軌跡の測定によって認知された危険事情及び認知されていない危険事情すなわち,十分に観察されている危険事情及び観察が不十分な危険事情の推測又は特定が可能になる。視線軌跡データは,ドライバの視線軌跡を含んでもよく,かつドライバの凝視方向及び期間を含む凝視データを含んでもよい。任意選択の危険事情警告を,ドライバに警告をするために用いてもよい。ここで,観察されていない危険事情及び/又は隠ぺいされた認知されていない危険事情に優先度が与えられる。危険事情は次の二つのクラス,十分に感知された若しくは十分に感知されていない,又は十分に観察された若しくは十分に観察されていないに分類することができる。いくつかの実施例においては,危険事情は2以上の範ちゅう,例えば認知された危険事情への視線又は危険事情への視線ベクトルがある及び認知されていない危険事情への視線又は危険事情への視線ベクトルがないに分類することができる。任意選択の追加範ちゅうは十分に認知されていない危険事情である。十分に認知されていない危険事情は,視線ベクトルが危険事情に向けられているが,妨害物によって当該危険事情全体が認知できない,隠ぺいされた危険事情を含む。一例は,歩行者が駐車している輸送手段のかげから道路に近づき,駐車した輸送手段が歩行者をはっきり見えないようにしている場合である。範ちゅう十分に認知されていないはまた,何かを一時的に凝視したが,輸送手段感知器が捕捉したものに対して十分に正確な心理モデルが形成できない場合も含む。例えば,人がほかの輸送手段を一べつ瞥したが,輸送手段の相対速度を認知するには十分長くない場合である。環境感知と,ドライバ監視と,これらのシステムからのデータの比較との新規な組合せによって,ドライバが危険に気付かないであろう潜在的に危険な状況について情報を与えることができる。利点には不必要な警告の減少と,与えられた警告の有効性の向上とが含まれる。例えば,ドライバ監視器が,ドライバが接近する輸送手段又はほかの危険事情を見たとき,ドライバがまだ観察していない危険事情の振る舞いに変化がない限り,接近する輸送手段又はほかの危険事情に関しては,追加の警告をする必要はない。環境感知器システムは,ほかの輸送手段,交通信号,歩行者などのような環境内の物体を感知及び検出するように構成される。いくつかの実施例において,すべての検出された物体は危険事情と考えてもよい。いくつかの実施例において,危険事情はすべての検出された物体,例えば,大きさ,輸送手段に対する相対位置,輸送手段の予想走行経路例えば道路に対する相対位置,速度,加速度,及び/又はほかの要因,のような要因によって判定される輸送手段へ脅威を与える物体,のサブセットである。環境感知器システムは,例えばレーダ,レーザ測距器,映像感知器,などのような1又は複数の感知器を備えてもよい。環境感知器システムは,感知器信号を受信して,環境内の1又は複数の危険事情を検出する処理モジュールを更に含んでもよい。ドライバ監視器は車室内に向かって内向きに向けられた1又は複数の感知器を備えてもよく,またカメラ,3次元飛行時間感知器,などのような,視線追跡用に構成できる感知器を含んでもよい。頭又は身体の姿勢のようなドライバに関するほかの情報もまた,ドライバの状態及び環境の知識を推定できるようにする。姿勢に関しては,カメラからだけではなく,ドライバの重量及び応力の分布を示すシート,ハンドル,又はドライバが触れる可能性があるほかの場所における圧力感知器,ドライバがそばにいる可能性がある超音波,容量,光又はほかの近接感知システム,身体が発する蒸気又は化学物質例えば神経過敏の際の汗,又はドライバが飲酒しているときのアルコールを検出できる化学物質感知器,又はほかの感知器のような感知器からも推定することができる。感知器は,ドライバの姿勢,医学的若しくはほかの身体的状態,感情状態,又はほかの状態を監視することができる。環境感知器は,適応型走行制御感知器のようなほかの機能のためにも用いられる感知器を含んでもよい。これらはレーダ感知器を含んでもよい。例えばレーダ感知器は,輸送手段に対する相対速度が変化する輸送手段を特定するために用いてもよい。衝突又はドライバに与えられる警告を避けるように輸送手段の速度を調整してもよい。ドライバ監視器は1又は複数の感知器,例えばコンピュータビジョンアルゴリズムによるドライバ監視を用いることができる。このような感知システムは,疲労又は注意散漫のようなドライバの問題を検出するためにも用いることができる。ドライバ監視器を,通常のコンピュータビジョンアルゴリズムを用いて,頭及び目の動きを追跡するために用いてもよい。例えば,人の視線軌跡が危険事情を通過するか,又は危険事情のそば例えば,危険事情からの分離角及び/又は分離距離のような一定のしきい値内にあるを通過する必要がある。例えば,認知されていない危険事情は,視線軌跡から所定の分離角である1°~10°の外にあることがある。ドライバ監視器は,画像データを供給するビデオカメラのような少なくとも一つの画像感知器を含んでもよく,ドライバ監視器処理モジュールは画像データから視線方向を判定することができる。例えば,頭の方向及び/又は目の方向を検出して視線軌跡を判定するために用いてもよい。ドライバ認知データは,視線軌跡内の凝視に関係する凝視時間データを更に含んでもよい。いくつかの実施例において,視線は一定のしきい値時間固定している必要がある。例えば,少なくともいくつかの危険事情は,認知された危険事情として特定されるまでかなりの凝視時間を必要とする。これらの危険事情は,輸送手段に対して大いなる危険を生じさせ,危険な状態を避けるためにそれ自身が行動を起こすことがあり得ない重大な危険事情を含む。例えば,重大な危険事情は,一時停止標識,赤色交通信号,走行車線内に停止した輸送手段,動物,走行車線内の歩行者,などを含む。視線軌跡が危険事情又は危険事情の近く,例えば危険事情からのしきい値分離角以内を通過したとき,危険事情はドライバが気付いている認知された危険事情として特定してもよい。認知されていない危険事情は,視線軌跡から所定の距離だけ外にある危険事情であってもよい。以降述べる種々の例において,認知された危険事情及び認知されていない危険事情が説明されるが,ドライバ監視器は,ドライバ認知のほかの量を更に又は代替で追跡してもよい。いくつかの実施例において,凝視は,目の動きの完全な停止を必要としない。凝視は,衝動性運動間間隔intersaccadicintervalとして判定され,衝動性運動間間隔は視線追跡器によって検出することができる。視線は物体から物体へ,若しくは場所から場所へ跳躍する衝動性運動saccadeと呼ばれるか,又は物体若しくは位置に留まる凝視fixationと呼ばれる。しかし,物体が動いているときであっても,目が大きな速い跳躍をする必要がなく,適度によく物体を追跡できる限り,凝視中も視線は物体に留まることができる。凝視は,衝動性運動間の期間,すなわち衝動性運動間間隔中に起こる。視線が観察者に対して動いている物体に留まるとき,目は,視線が物体上に維持されている間の物体の動きを強調するための物体追跡又は動いている物体の凝視双方を指す滑動性追従運動を用いて,緊密に物体運動を追う。移動物体に関する凝視という用語は,目の動きの完全な停止を必要としない。むしろ,脳の滑動性追従システムを用いて移動物体を追跡する,目で追跡可能な相対速度で目標物が移動するときであっても,一つの目標物の選択である。したがって,衝動性運動間に静止又は準静止画像が観察されるとき,衝動性眼球運動間の衝動性運動間間隔も凝視期間と呼んでよい。認知された危険事情は,ドライバの視線が危険事情を通過した後も,例えば所定の時間,例えば1~10秒の間は認知されたに分類され続ける。環境感知器システムが危険事情は予測不能な振る舞いをしていると判定したときは,認知された危険事情は認知されていないに再分類される。物体の予測不能な振る舞いとは,最後の視線配置において構築されたモデルから振る舞いを変えること,又は最後の視線配置にかかわらず予測不能な振る舞いをすることを含む。予測不能な振る舞いは,最後の観察における危険事情の状態に比べた危険事情の加速,減速,又は方向の変化の結果として生じる。認知された危険事情もまた,ドライバが最後に危険事情を見た後,所定時間が経過した後に認知されていないに再分類される。さらに,既存の物体から新たに現れた振る舞い予測していない振る舞いに対しても警告してよい。これらは,振る舞いを予測する全体能力が限られている場合,又は物体が新規である場合と同様に危険かつ重要である。例えば,別の輸送手段が予測不能に速度を上げ,速度を下げ,方向を変えたとき,ドライバ監視に基づいてドライバに警告が行われる。さらに,認知された危険事情は,当該危険事情の周囲の環境によって振る舞いの変更が必要であり,またドライバが危険事情の状態を評価して危険事情の振る舞いについてのドライバのモデルを更新するために当該危険事情を再検査したとき,認知状態を認知された危険事情から予期しない危険事情の状態に偏移させることが必要であるほど変化しても,予測可能に自己の振る舞いを変化させることができないことがある例えば,環境内の一時停止標識又は停止信号があるにもかかわらず停止するために減速しない,又は道路が曲がっているにもかかわらず,転回を開始できない。注意評価処理モジュールは,環境感知器及びドライバ監視感知器からのデータを結合して,ドライバが潜在的な危険事情それぞれに十分な注意を払っているかどうかを評価する。出力は潜在的な危険事情について一組の警告を有し,ドライバが各危険事情に気付いているかどうかに応じてこれらの警告を選択する。例えば,危険な状況について,人間‐機械インタフェースを介してドライバに警告を与えることができる。警告は,1又は複数の危険事情パラメータに関係する情報を含んでもよい。危険事情パラメータは,距離,相対速度,方向例えば走行方向のような基準方向に対する角度,大きさ,危険事情識別情報,又はほかの情報を含んでもよい。例えば危険事情に対する方向は,可聴警告の発生源の見掛けの方向で示してもよいし,視覚識別可能な矢印を用いて示してもよい。いくつかの実施例においては,輸送手段制御モジュールを用いて,危険事情に反応して,例えばブレーキ,エンジン速度制御,操舵,又はほかの輸送手段制御信号を用いて輸送手段の軌跡を調整することができる。注意評価モジュールは計算機のような電子回路であってよく,環境感知器システムによって検出された環境内の危険事情と,ドライバの環境の認知とを比較するように動作することができる。ドライバの認知は,ドライバの視線がそばを通過したか,通過した環境内の危険事情として判定してもよい。いくつかの実施例において,例えば視線追跡によって判定されたとき,ドライバが見た危険事情にドライバは気付いていると見なされる。しかし,ドライバの見たことのある物体であるが,ドライバが当該物体の現在の動き及び/又は状態を正しく予測していなかったと思われるため,ドライバに追加の警告が必要な物体がある。注意評価モジュールは,ドライバが認知しなかった,十分よく認知しなかった,又は物体がその振る舞いを変え始めたために認知しなかったとドライバ監視器が判定した環境内の危険事情について選択的に警告を与えることができる。装置はさらに,潜在的に危険な運転状況が特定されたとき,可聴,可視及び/又は触覚による警告のような警告信号を供給することができる。これらの潜在的に危険な運転状況には,外向き感知器によって検出された危険事情であって,内向き感知器によってドライバが気付いていないと判定された危険事情がある状況を含む。警告は,ドライバに追加の安全情報を与える警告のような人間‐機械インタフェース,又は輸送手段が危険事情及びすべての同時に発生するその他のものを自立的に避けるために自動的に反応する保護システムのいずれかにおいて,使用される可能性がある。後者の例又は類似のその他のものにおいて,注意評価モジュールからの信号は輸送手段制御モジュールに送信され,例えばブレーキ,アクセル又はハンドル調整を作動させて,輸送手段の運転を調整するために用いることができる。ドライバによる輸送手段の安全運転を補助する例示方法は,危険事情データを取得するために,輸送手段によって提供される環境感知器を用いて輸送手段環境を監視するステップと,視線方向データを含むドライバ認知データを取得するためにドライバを監視するステップと,危険事情データとドライバ認知データとを比較して,認知された危険事情と認知されていない危険事情とを特定するステップと,認知されていない危険事情に関してドライバに警告を与えるステップと,を含む。視線方向データは,所定の時間期間の視線軌跡であって,所定の時間期間に認知されていない危険事情を通過又は十分近くを通過しなかった視線軌跡を含む。本発明の実施例において,環境のモデルは,輸送手段と関係し,輸送手段環境に向かってドライバに対して外向きに向けられた感知器のような1又は複数の環境感知器を用いて生成することができる。処理モジュールを用いて,環境感知器レーダ感知器,レーザ感知器,などを含んでもよいを用いて検出された環境内の物体を追跡することができる。ドライバの視線が監視され,視線軌跡と環境内で特定された物体,例えば環境モデル内で追跡された物体とが関係付けられる。例えば,ドライバは車線変更の操縦をする前に左を見て,次にその操縦を実行することがある。左斜線にはほかの輸送手段がある可能性がある。システムは最初に,位置及び相対速度に基づいて,第2の輸送手段が危険事情かどうかを判定する。視線追跡を用いてドライバが第2の輸送手段に気付いているかどうかを判定することができ,ドライバが当該危険事情に気付いているときは警告は出されない。しかしいくつかの実施例においては,視線追跡が,ドライバが第2の輸送手段のような危険事情に気付いていないことを示すことがあり,それによって有用な警告を与えることができる。いくつかの実施例において,例えば危険事情が前の観察以降に,前の行動又は状態と比べて例えば方向を変える,減速する,又は加速するといった予測不能な又は予測していなかった振る舞いをしたとき,認知された危険事情と分類された危険事情が認知されていない危険事情に再分類されることがある。本発明の実施例による方法は,不必要な警告を無くし,適切ならば制御システムを引き継ぐことができるようにする。例示装置は,1又は複数の環境感知器と,危険事情のリストを生成できる環境感知器処理モジュールと,1又は複数のドライバ監視感知器と,人間の注目点位置を推定するドライバ監視感知器処理モジュールと,を備える。その位置には時間ラベルが与えられる。注意評価情報処理モジュールは次に,環境監視システムからのデータとドライバ監視器からのデータとを比較し,潜在的な各危険事情に対して人が十分に注意を払ったかどうかを評価するように構成されている。図1はドライバ認知輸送手段安全システムの例のブロック図である。この装置は,感知器12のような複数の環境感知器10を備える。環境感知器データは第1処理モジュール14に渡され,第1処理モジュールは輸送手段環境内の危険事情を検出するように動作する。ドライバ監視器は感知器22のような複数のドライバ監視感知器20を備える。1又は複数の感知器があってもよく,複数感知器は同一であってもよいし,異なっていてもよく,互いに類似の情報を発生してもよいし,異なる情報を発生してもよい。ドライバ監視感知器からの感知器データは第2処理モジュール16へ送信される。注意評価モジュール18は,感知システム10によって検出された,環境内のどの危険事情をドライバが認識していないかを判定するために,第1処理モジュールの出力と第2処理モジュールの出力とを比較する。注意評価モジュール18からの出力を,ドライバ警告システム24及び/又は輸送手段制御安全システム26に渡してもよい。この例において,環境感知器システムは複数の環境感知器及び第1処理モジュールを含み,ドライバ監視器は複数のドライバ監視感知器及び第2処理モジュールを含む。しかし,感知器処理及び注意評価モジュールの比較は,プロセッサ,メモリ,クロック及びほかの通常の部品を含む計算機のような単一電子回路によって実行してもよい。図2はドライバ42のいる輸送手段40を示している。1又は複数の内向きの感知器44が,時間に応じたドライバの注目点を推定するために,ドライバの頭の位置,目の位置,又はほかの関連するドライバの身体姿勢要素を監視する。このようにして視線軌跡が測定される。46,48,50及び52のような複数の外向き感知器が,輸送手段の外部環境を感知するために用いられる。感知器の例は,VelodyneTMレーザ測距LIDAR感知器VelodyneLidarIncMorganHillカリフォルニア及びSick登録商標レーザ距離計SickAGWaldkirchドイツを含む。例えば,環境感知器は,レーダ感知器,レーザ感知器,光学画像感知器,ほかの感知器,又はこれらの任意の組合せを含む。内向き感知器は,映像感知器,飛行時間感知器,ドライバに関する情報を提供するほかの感知器であってよい。この図はまた,環境及びドライバ監視に関係する処理モジュールから感知器データ又はデータを受信する計算モジュール54も示している。処理モジュール及び注意評価モジュールの機能は,上記計算モジュールのような1又は複数の電子回路のような,1又は複数の部品によって提供され,かつ計算機のような単位デバイスに結合されてもよい。図2はまたスピーカ56も示しており,該スピーカを用いて,例えば危険事情に関係する方位情報を提供するためにステレオ効果又は4チャネル効果を用いてドライバに音声又はほかの可聴警告を提供することができる。矢印,点滅灯などのような視覚警告もまた,この部品上の画像要素又は局所モジュールからヘッドアップ表示装置に至るまでのほかの種類の表示装置によって提供してよい。図3は,ほかの輸送手段82,84,86及び88,歩行者90及び92,並びに一時停止標識94を有する代表的な輸送手段環境内の輸送手段80を示している。輸送手段安全システムの形態の装置は輸送手段80と関係付けられ,環境監視システムと,ドライバ監視器と,例えば図1に示すとおりの注意評価モジュールと,を備える。輸送手段80の環境監視システムは感知器96のような感知器を備え,比較的短時間に複数の危険事情を特定し,それら危険事情を動的追跡のためにラベル付けすることができる。感知器は,輸送手段外のより広い視野を提供するために,図示したものより多くの方向を向いていてもよい。さらに,環境監視システムは,識別された物体の速度,方向及び/又は加速度の変化のような環境内の動的変化に素早く反応する。反対に,輸送手段のドライバは環境内の変化をそれほど素早くは特定できないことがある。例えば,輸送手段の環境感知器システムは,環境内にあるほかの物体と共に,すべてのラベル付けされた危険事情を検出し,追跡することができてもよい。木98のような静止物体は,輸送手段の予測される経路にないときは,危険事情として特定する必要はないが,特定してもよい。ドライバ監視器を用いて取得された視線軌跡を用いて,注意評価モジュールはドライバが見なかった危険事情見えない危険事情を特定し,ドライバが最近知識又は情報を更新していない危険事情を含む,どの危険事情の状態及び位置にドライバが最近気付いていない可能性が高いかを指示することができる。例えば,ドライバの注意を監視することによって,ドライバが一時停止標識94に気付かなかったことを検出することができる。この場合,一時停止標識94の存在に特に向けられた警告が与えられる。さらに,88のような輸送手段は最初は隠れていて,輸送手段環境に突然現れることがある。輸送手段感知器環境監視システムは新規の危険事情を,ほとんど直ちに,例えば0.1秒未満で,検出することができる。警告は直ちに与えてもよいし,いくつかの実施例においては,警告を与える前に,新たに現れた輸送手段を見るために所定の時間期間をドライバに許可してもよい。図4はドライバ補助システムの例の更なるブロック図であって,実時間環境感知に基づく世界モデルと,ドライバの観察の監視及び任意選択のドライバ記憶モデルに基づいたドライバ認知推定とが比較される。装置は,環境感知器100と,環境モデル102と,世界状態推定システム104と,鑑別機械differencingmachine106と,ドライバ知識推定システム108と,ドライバ感知器のモデル110と,環境の心理表現112と,を備える。ドライバの認知を推定するために,環境のモデルを,検出された物体114と,検出された動き116と,記憶118とについて作ることができる。環境モデル102は,地図,過去に記録された経験,伝送された情報を含む種々の情報源からの,環境に関する情報を含んでもよい。環境についての推定されたドライバの心理モデル112は,自己認知の推定と,物体認知当該物体が危険事情かどうかの危険事情認知を含むと,例えば見掛けのオプチカルフロー及び見掛け上,一貫性のあるcoherent動きからの,物体の相対運動に対するドライバの認知の推定と,を含んでもよい。推定されたドライバの心理モデルは,長期記憶のモデル118,例えばドライバがどのように環境を地図に描くかと,物体の種類及びその行動の保持のための記憶モデルと,を含んでもよい。例えば人は一定速度で移動している,環境内の危険事情を感知することができる。ドライバ認知推定システムは,人が前の観察に基づいて危険事情の動きに気付くと推定する。しかし,ほかの輸送手段のような危険事情が,例えば予測したときと異なる時間に方向を変え,又は加速するなど現在の予測と異なる振る舞いを始めたとき,環境モデル104は,ドライバが更に危険事情を観察しない限り,モデル化された認知とは異なるであろう。このような例において,実際の環境モデル104とドライバの認知の推定108との差を測定して,ドライバへ警告を与えることができる。図4の例において,注意評価モジュールの機能は,環境の推定104とドライバの認知108とを比較する鑑別機械106によって提供される。感知システムの処理モジュールは,簡潔性のために図示していないが,この機能は関係する推定システムに含めてもよいし,感知器と連携させてもよい。鑑別機械は,記号的,数学的又は状態進行stateprogression鑑別機械のような1又は複数の比較器機能を含んでもよい。いくつかの実施例において,ドライバの認知は,物体の検出,動きの認知並びに空間関係及び環境に関係する類似の事実及び行動に関する人の記憶によって,それ自身がモデル化されてもよい。図5Aはドライバ支援のための視線に基づく認知システムのブロック図である。この図は,輸送手段外のカメラシステム144によって検出された環境140を示している。追加感知器142が提供されてもよい。輸送手段感知器データは感知器融合システム148を介して3次元環境再構築152に渡される。再構築152はまた,コンピュータビジョンデータベース154のような外部データベースからもデータを受信してよい。環境再構築の出力は運転に関係する環境構成要素の表現160を形成するために用いられる。これらの構成要素は必ずしも危険ではないが,より単純に危険事情と呼んでもよい。視線追跡システム146は輸送手段運転手の視線方向を追跡する。視線追跡システムの出力は,例えば視線軌跡データとして,環境内で検査された物体の推定156を提供する。環境内の位置と視線との位置合わせ150が提供される。ドライバの記憶のモデル158は任意選択で用いられる。作業記憶モデル158は156から物体の推定を受け取り,ドライバの知識の推定164を供給するために用いる。ドライバの推定された知識は比較器162において160からの危険事情の表現と比較される。ドライバが見なかった危険事情はどれもこの比較において検出され,ドライバ対話モジュール166を介して適切な警告がされるか又は行動が取られる。図5Bはドライバモデルを更に詳細に示すものであり,処理ブロック170が,ドライバによって検査された物体を記録し,優先度が付けられる。利用者の経験を保存するために用いられる記憶172が示され,局所地図の推定174が可能になる。地図推定174の出力は,記憶からのドライバの推定知識の具体化164に提供される。この図において,構成要素156,158,164及び162は図5Aに示されたものである。図5Cはわずかにより高度化されたドライバ及び環境モデルを示している。環境再構築152は,180で輸送手段の推定及びドライバ振る舞いモデルと結合される。このモデルはドライバ専用にしてもよいし,及び/又は特定輸送手段専用にしてもよい。さらに,物体振る舞いに用いられる推定モデル182が提供される。180からの自己振る舞いモデルと,182からの物体振る舞いモデルとの組合せがタスク推定器184で結合されて,ドライバが現在取り組んでいるタスクの推定を与える。これによって,実行すべきタスクの認知モデル186が提供できる。これらのモデルは危険事情の表現160を改善するために用いることができる。この図において,構成要素152,160及び162は図5Aで示されたものである。運転及び環境の経験は,環境に対するドライバの認知に影響することがある。図6Aは,慣れた環境内の熟練したドライバが環境を効率よく視覚的に走査し,ほとんどの危険事情を検出することを示している。この図は,204で示すような凝視点と共に,環境200の視線軌跡202を示している。視線追跡システムは,視線軌跡を追跡し,凝視時間を検出及び定量化することができる。各凝視点の円の大きさは,ドライバ監視システムによって測定することができる凝視時間と関係付けられる。いくつかの実施例において,人が危険事情を認知するには,所定のしきい値より長い凝視時間が必要なことがある。図6Bは,慣れた環境内の初心者レベルドライバが関連する空間のよく認識できる運転上の手掛かりに偏ることを示している。場所の知識が凝視点を導く運転による偏りはない。図6Cは,あまり慣れていない環境内の初心者レベルドライバを示している。このような例においては,ドライバの視線は時々環境内をあちこち無作為に動き,輸送手段に対する危険事情と関係のなさそうな点を凝視することがある。例えば,ドライバは自然のコントラスト,色,などに基づいて物体を見ることがある。凝視点は慣れた場所と新規な場所とによって偏る。輸送手段への危険は,未経験なドライバの場合,又は慣れていない環境内の経験のあるドライバの場合に高まることがある。環境を視覚的に観察するパターンからドライバの経験を検出するように,システムをプログラムしてもよい。また,例えばGPSデータのような位置データから輸送手段が慣れていない環境にあるかどうかを判定するように,システムを構成してもよい。このようなより危険な状況においては,警告の数は増加することがある。環境内で感知された危険事情についてのドライバの世界の推定は,最近の視線軌跡から判定することができる。視線追跡を用いて,環境の状態についてのドライバの現在の観察及び知識を推定することができる。いくつかの実施例において,ドライバの技能を評価し,また見逃した危険事情の検出を容易にするためにドライバの視線軌跡を熟練ドライバの視線軌跡と比較してもよい。これは改善されたドライバの評価,免許取得又は訓練の一部となり得る。例えば,経験のあるドライバが環境を運転し,その経験のあるドライバの視線を追跡する。軌跡及び凝視点がデータベースに記憶される。同一の環境を通過する第2の輸送手段はこのデータベースからデータを取得して,危険事情の検出を容易にすることができる。<アルゴリズム>あるアルゴリズムを用いて,ドライバが気付いていない輸送手段外の潜在的に危険な状況があるかどうかを判定することができる。環境感知器を用いて,過去の時間間隔内に輸送手段外の潜在的に危険な状況を検出する。次に第2時間間隔内のドライバの注視位置を測定する。環境感知器によって検出された危険事情であって,過去の時間間隔内のドライバの注視位置集合内になかった危険事情に対して警告を与えることができる。環境感知器によって測定された輸送手段環境は,極めて速いペースで動的に更新されることがある。例えば,1秒又はそれより短い時間間隔で更新が起こることがある。ドライバの記憶は,人は第2時間間隔内の危険事情の存在を記憶するものとしてモデル化され,又は推定される。ドライバ認知の領域は,視線軌跡から一定の距離範囲内の,環境内の領域として推定することができる。使用する距離関数は,ユークリッド距離,分離角,又は使用する感知器方式modalityに有用な任意のほかの距離関数であってよい。いくつかの実施例において,感知器が危険事情を検出したとき直ちには警告が出されない。例えば1~3秒の間,ドライバは視覚的に危険事情に気付くようになるまで時間期間を与えられる。システムは,関係する時間期間を現在のモデルから将来に延長できるようにして,ドライバに潜在的な危険事情を認識する機会を与えることができる。例示システムは,1又は複数の外向き感知器のような環境感知器システムと,およその位置及び時間ラベルを有する,輸送手段外の危険事情の集合を生成する外向き感知器処理モジュールとを備える。システムはさらに,複数の内向き感知器のようなドライバ監視器と,時間ラベルを有する人の注目点の位置を推定する内向き監視器処理モジュールと,外向き処理モジュールからのデータと,内向き処理モジュールからのデータを結合し,人間の運転手例えばドライバが危険な状況危険事情それぞれに十分な注意を払ったかどうかを評価できる注意評価モジュールと,を備える。注意評価モジュールは,次のアルゴリズムを用いて,人が気付いていない輸送手段の外の潜在的に危険な状況があるかどうかを判定することができる。1.過去の時間間隔tD内の輸送手段外の潜在的に危険な状況の集合Dを入力する2.過去の時間間隔tF内のドライバの注視点位置の集合Fを入力する3.D内の状況dごとに次を実行する4.Ldをdのおよその位置とし,Tdをdの時間とし,Warnd=trueに設定する5.F内の注視点範囲fごとに次を実行する6.Lfをfのおよその位置とし,Tfをfの時間とする7.距離DLd,Lf<切り捨て値cutoffD,かつ時間差ETd,Tf<切り捨て値Tであるとき,Warnd=falseに設定8.繰り返し終了9.繰り返し終了10.Warnd==trueであるdごとに,dを認知されていない危険な状況として返す上記の例示アルゴリズムにおいて,距離関数Dはユークリッド距離,角距離例えば視野内の分離角,又は使用した感知器方式に有用なほかの距離関数であってよい。使用される時間差関数Eは多くの形態を取ることができ,例えば単に絶対値であってもよいが,追加機能用に選択してもよい。例えば,Td<Tfのとき,又はTd>Tfのとき,別個の値を返すものであってもよい。切り捨て値は,危険な状況の潜在的なひどさに応じて変えてもよい。時間間隔tD及びtFは,必ずしも現在時刻で終了しなくてもよい。例えば,システムは,tDを現在時刻に対して[-5,1]秒の間に設定して,警告を発生する前に輸送手段運転手が脅威を認識する機会を与えてもよい。状況に応じて,所定の時間期間は,例えば輸送手段速度及び/又は危険事情が現実例えば衝突となるまでの時間に逆相関となるように可変であってもよい。例えば,危険事情位置データは第1所定時間期間の危険事情位置を含んでもよく,ドライバ認知データは第2所定時間期間のドライバ認知に対応してもよく,第1及び第2所定時間期間はそれぞれ約0.01秒と約10秒との間の期間を有してもよい。30Hzの平均視覚フリッカ融合二つの閃光がぼやけて一つの広がった閃光として観察される,霊長類視覚の視覚統合速度は約0.03秒の時間窓に対応し,したがって,0.01秒の窓は,100Hzと同様の極めて良い視覚時間識別を提供する。<環境感知器システム>輸送手段の外部環境を測定するために用いられる環境感知器は,ビデオカメラ,LIDARのようなレーザ感知器,レーダ,その他の画像に基づく感知器,ソナー,等を含んでもよい。環境感知器システムは,輸送手段環境の詳細な表現を生成することができる。例えば,複数のレーダ感知器で輸送手段を取り囲んでもよい。いくつかの実施例において,輸送手段は近隣の輸送手段から,例えば同一車線及び隣接内の近隣の輸送手段からの速度データ及び進路データなどの車線データを受信してもよい。環境感知器は,ほかの輸送手段及び歩行者,看板signage,等の道路際の物体を含む,環境内の物体を検出するように構成することができる。環境感知器システムは,感知器信号を分析し,環境内の物体の位置を測定するために用いられる,計算機又はほかの電子回路のような処理モジュールを更に備えてもよい。処理モジュールはさらに,現在の輸送手段の振る舞いと,現在の輸送手段の対する物体の相対位置と,相対速度,方向,加速度,などのような物体の振る舞いと,に基づいて潜在的に危険な物体を特定してもよい。環境は3次元でモデル化してもよいし,2次元表現としてモデル化してもよい。2次元表現の方が計算上単純になることがある。いくつかの実施例において,地図データを含むネットワークデータのような所定のデータを輸送手段に伝送することができる。このような例においては,データ受信機構は輸送手段の環境に関係するデータを受信するため,環境感知器の機能に対応する。例えば,以前に収集された街路風景を,交通管制信号のような固定した危険事情の検出に用いることができる。環境感知器システムは,感知器信号を受信し,環境内の物体を検出する,感知器処理モジュールを含んでもよい。すべて又はいくつかの特定された物体を危険事情として特定してもよい。処理モジュールの出力は,環境内の危険事情の位置の集合,例えば第1時間期間内に検出された危険事情を含んでもよい。第1時間期間は過去の開始時刻例えば現在時刻の1~10秒前から現在時刻まで出会ってもよいし,又はいくつかの実施例においては直近の時間期間を除いてもよい。<ドライバ監視器>ドライバ監視器は1又は複数のドライバ監視感知器を備えてもよく,映像感知器例えばCMOS感知器,超音波又はレーザ感知器のような飛行時間感知器を含んでもよい。ドライバに赤外IR又はほかの照明を当ててドライバ監視器の感度を高めてもよい。ドライバ監視器はドライバ認知データを出力し,該データは所定の時間期間に渡るドライバの認知中心例えば視線方向の測定値であってよい。したがって,ドライバ認知データは当該ドライバの視線軌跡データを含んでもよい。いくつかの実施例において,コンピュータビジョンシステムを用いてドライバの頭の方向を監視することができる。投影された視線方向と感知された環境とを位置合わせすることによって,ドライバがどの危険事情に気付いているか,及びどの危険事情がドライバの意識外であるか,を推定することができる。環境の方を向いた外向きのカメラ及び目の方を向いた更なる画像感知器を備えた眼鏡のような装置を用いて,視線追跡を正確に行うことができる。このような装置は日常の使用には扱いづらく,ドライバ監視のためのコンピュータビジョンシステム又はほかの画像に基づくシステムの較正に用いてもよい。代替の視線追跡システムは,代わりに,ドライバの方を向いて搭載され,輸送手段がある外部環境を観察する監視システムに対して位置合わせされた1又は複数のカメラを用いてもよい。又は,視線追跡システムは,頭及び目の方向,又は輸送手段若しくは環境の基準フレームに対する目の方向を測定するために合理的に用いられる,コンタクトレンズ及び無線周波RF送信信号を生成する,フレーム内に埋め込まれたimpregnatedコイル,又はほかの類似システムのような追加の視線及び頭部方向検出モードを用いてもよい。多くの種類の方向付けシステムが標準視線追跡システム技術としてよく知られているが,ここで説明した視線追跡器のどの説明も,本発明の実施例において説明したより大きな安全システムの視線検出機能にかなうように選択された追跡器の選択を制限するものではない。いくつかの実施例において,輸送手段のダッシュボードに搭載された外向きカメラを用いて,ドライバが見た輸送手段環境を推定してもよい。この画像を,外部輸送手段感知器を用いて生成された環境モデルと比較してもよい。標準の座標変換を用いて,ドライバの視点と,輸送手段感知器が生成した環境モデルとを位置合わせすることができる。環境モデル内の視線追跡の制度は15度以内,いくつかの実施例においては10度以内,そしていくつかの実施例においては5度以内であってよい。視線軌跡データがより正確であればあるほど,ドライバ認知の推定がより信頼できる。いくつかの実施例において,計器盤instrumentgaugeに関する輸送手段運転手の注意もまた監視することができ,輸送手段運転手が計器盤に表示された警告を見なかったとき,追加の警告が与えられる。いくつかの実施例において,輸送手段のダッシュボード上のカメラを視線軌跡の粗い近似として用いることができる。<注意評価モジュール>注意評価モジュールの例は,環境内の危険事情に関する危険事情データと,ドライバの認知に関するドライバ認知データとを受信するように構成される。注意評価モジュールは検出された危険事情とドライバ認知データとを比較して,ドライバ認知内の認知された危険事情及びドライバ認知外の認知されていない危険事情を判定する。注意評価モジュールの例は次に,認知されていない危険事情に関してだけ警告信号を生成し,認知された危険事情には生成しない。いくつかの実施例において,警告信号はまた,例えば危険事情の危険が極端であるとき,認知された危険事情も含んでよい。したがって,注意評価モジュールは複数の範ちゅうの危険事情,例えば認知された危険事情及び認知されていない危険事情,並びに任意選択で十分に認知されていない危険事情を特定してもよい。例えば,凝視時間は第1しきい値例えば危険事情の存在を認知するために必要と推定されるより長く,完全な認知に必要な第2しきい値例えば危険事情を十分に認識するために必要と推定される時間より短い未満であってもよい。十分に認知されていない危険事情は見えているが,相対速度のような危険事情パラメータは認知されないことがある。したがって,危険事情の分類は認知された対認知されていないの二つの分類であってもよいし,中間範ちゅうを含んでもよく,また,認知程度に応じて連続的な段階を含んでもよい。検出程度が測定できるときは,十分に認知された又は十分に認知されていないのような二つの状態に区別してもよく,認知された及び認知されていないと均等に用いてもよい。危険事情範ちゅうは,完全に認知されたと,完全に認知されていないとの間の中間状態として存在してもよい。また,あいまいな危険事情に視線ベクトルが向いているとき,別の物体がドライバと危険事情との間にあってもよいように,危険事情はあいまいな状態で存在してもよい。あいまいな危険事情は,あいまいさの程度と,危険事情の振る舞いと,潜在的危険事情の程度とに応じて,認知された,認知されていない,又は十分に認知されていないという中間範ちゅうに分類してもよい。十分に認知されていない危険事情は観察期間が十分でない状態,すなわち視線が物体の上又は近傍のどこかに向いたが,当該物体を認識するために十分な空間的特徴を観察静的危険事情識別認識する前に,又は当該物体の振る舞いパターンを正しく予測するために十分な時間的特徴を経験動的動きモデル構築/認識する前に移動した状態を有することがある。注意評価モジュールは,プロセッサと,メモリと,クロックと,入出力部品とを備えた計算機のような電子回路によって提供してもよい。同一の電子回路を感知器データ処理を行うために用いることもできる。<警告及び輸送手段の反応>いくつかの実施例において,ドライバに,認識していない危険事情のようなドライバにとって意外な状況を警告するために装置を用いることができる。例えばこれらの警告は,新たに現れた輸送手段,又は前の観察からは予測できない輸送手段の振る舞いに関する警告を含んでもよい。装置は,認識していない危険事情に関して選択的に警告を行う危険事情警報器を備えてもよい。危険事情が検出された後,ビープ音のような可聴警告をドライバに与えてもよい。いくつかの実施例において,輸送手段の意図は,例えば経路計画によって予め定められ,危険な状態を避けるために人間の入力を自動制御が無視してもよい。例えば,輸送手段は,自動走行制御システムに用いられるものと同一の方法で減速又は加速してもよい。いくつかの実施例において,このような自動化システムに用いられる感知器は,本発明の実施例の環境モデルを決定するために用いてもよい。本発明の実施例の利点は警告の減少を含み,したがって不必要な警告でドライバを圧倒することが避けられる。ドライバが外部の危険事情に気付いていることが分かったときは,警告を出す必要はないいくつかの実施例において,危険事情が特にひどい場合以外は。例えばドライバが危険事情の方向を見ていなかったとき,又は例えば危険事情が新たに環境に現れたとき,又は環境内の最近の変化がまだ観察されていない潜在的危険状況を起こしたときなど,警告が真に有用になることをシステムが判定したときだけ与えられる。いくつかの実施例において,システムは計器のような輸送手段のシステムによって出された警告をドライバが認知したかを監視してもよい。例えばシステムはドライバが速度計を見たかどうかを判定して,輸送手段速度が局所速度制限を越えたとき,警告してもよい。しかし,ドライバが現在の速度に気付いており,この情報を無視したことが分かったときは,警告はされない。いくつかの実施例において,例えば輸送手段感知器システムが新たに現れた輸送手段又はほかの極めて危険な状況を検出し,ドライバ監視が,ドライバがその危険な状況に気付いていないことを示したとき,非常ブレーキ又は回避制御の操縦を輸送手段制御に入力してもよい。<ドライバ記憶モデル>任意選択で,ドライバ記憶のモデルを用いてドライバの認知を判定してもよい。例えば,ドライバ記憶モデルは,視線パターンと,認知に必要な最小凝視時間と,記憶保持時間,記憶容量例えば,ドライバが同時に短期記憶に保持できる危険事情の最大数のようなパラメータを含むと,適切なほかのパラメータと,に関する状況認知のモデルを含んでもよい。いくつかの実施例において,ドライバ記憶のモデルと,コンピュータビジョンシステム内で用いられる視線追跡パラメータのようなほかのパラメータとを,1又は複数のドライバに対応する記憶されたデータ集合から選択してもよい。例えば,システムがドライバの正体を認識してよいし,ドライバがそのような識別情報及びデータベースから取得した対応データを入力してもよい。本発明の実施例は,例えばドライバが差し迫った障害物のような危険事情を見たかどうかを分析することによって,ドライバの知識の状態を追跡する装置及び方法を含む。例えばドライバは,注意散漫例えば,携帯電話機の使用,ほかの乗客との会話,又は輸送手段の近くの注意を引く標識の存在,無力例えば疲労,いくつかのほかの注意を払うことの不履行,又はある場合には一時的過失によって,1又は複数の危険事情に気付かないことがある。本発明の実施例は認知欠如の原因にかかわらず,有用な警告を与えることができる。輸送手段の環境感知器は,ほかの輸送手段,歩行者又はほかの危険事情を検出して,感知された外界と,車内感知器のようなドライバ監視器によって測定されたとおりの,ドライバが何を見ていたかの最近の履歴とを比較することができる。例えば,システムがドライバは危険事情に気付いていないと判定したとき,システムはドライバに警告し,実時間で安全軌道safetrajectoriesを計画及び実行することができる。このような反応は必ずしも所定の反応ではないが,ドライバの認知欠如が推測されるときは迅速に例えば50ms未満で計算することができる。本発明の実施例は追加の機能,例えば,視線軌跡,ほかのドライバの振る舞い,又は観察された危険事情に対するドライバの反応,のパラメータからドライバの疲労又はめいてい酩酊を検出する機能を有してもよい。しかし,ドライバの疲労又はめいていを検出する通常の方法とは異なり,本発明の実施例は,ドライバが十分能力があるが過失又は不可避の状況によって危険事情例えば,前にドライバから隠ぺいされた場所から輸送手段環境に入った輸送手段に気付いていないときであっても,有用な警告を行うことができる。ドライバが疲労又はめいていしていないが,何らかの理由でドライバの環境内の何かに気付いていないときであっても危険事情は生じることがあり,本発明の実施例はこのような場合においても適切な警告を与えることができる。本発明の実施例は,ドライバ認知監視と車外環境感知とを組み合わせて,ドライバに対する改良された警告及び任意選択で衝突を避けるための輸送手段制御入力を提供する。本発明の実施例は,認知されていない危険事情が輸送手段環境のどこにあっても,通常の死角検出器に対する多大な改善になる。いずれにしろ,ドライバの状態例えば,通常の姿勢及び十分な認知,携帯電話機での通話中,何かを取ろうとして体を曲げているに応じて,ドライバにとっての真の死角は,輸送手段の屋根支柱によって生じる通常の死角構成とは異なることがある。外部感知器は環境内の多くの,ほとんどの又はすべての物体を追跡し,どの物体が危険事情かを判定し,ドライバの視線軌跡及び物体の振る舞いに基づいて,ドライバが各危険事情に気付いているか否かを動的に追跡することができる。本発明は上述の例示に制限されるものではない。上述の実施例は本発明の範囲を制限するものではない。本発明の範囲は,本願請求項の範囲によって規定される。"