(57)【要約】  注意散漫な運転を検出する、コンピュータにより実装される方法は、１つまたは複数のプロセッサが、環境の表現において一次プレビュー領域（ＰＰＲ）を決定する段階と、１つまたは複数のプロセッサが、ドライバの画像のシーケンスに基づいてドライバの注視点を決定する段階と、１つまたは複数のプロセッサが、注視点はＰＰＲの外部にあると決定することと、ＰＰＲの外部にある決定された注視点とに基づいて、１つまたは複数のプロセッサが、ＰＰＲに対する注意レベルを下げる段階と、ＰＰＲに対する注意レベルに基づいて、１つまたは複数のプロセッサが、警告を生成する段階とを備える。
2021513144.tif 000002
【特許請求の範囲】
【請求項１】
注意散漫な運転を検出する、コンピュータにより実装される方法であって、
１つまたは複数のプロセッサが、環境の表現において一次プレビュー領域（ＰＰＲ）を決定する段階と、
前記１つまたは複数のプロセッサが、ドライバの画像のシーケンスに基づいて前記ドライバの注視点を決定する段階と、
前記１つまたは複数のプロセッサが、前記注視点は前記ＰＰＲの外部にあると決定する段階と、
決定された前記注視点が前記ＰＰＲの外部にあるということに基づいて、前記１つまたは複数のプロセッサが、前記ＰＰＲに対する注意レベルを下げる段階と、
前記ＰＰＲに対する前記注意レベルに基づいて、前記１つまたは複数のプロセッサが、警告を生成する段階と
を備える、方法。
【請求項２】
前記ドライバの第２画像のシーケンスに基づいて、前記ドライバの第２注視点を決定する段階と、
前記第２注視点が前記ＰＰＲの内部にあることに基づいて、前記ＰＰＲに対する前記注意レベルを上げる段階と
をさらに備える、請求項１に記載の方法。
【請求項３】
前記ＰＰＲに対する前記注意レベルを下げる前記段階は、ロジスティック減衰関数を使用して前記注意レベルを決定する段階を有する、請求項１に記載の方法。
【請求項４】
前記ＰＰＲは、第１ＰＰＲであり、複数のＰＰＲのうち１つであり、前記複数のＰＰＲの各ＰＰＲは対応する注意レベルを有し、
前記警告を生成する前記段階はさらに、前記複数のＰＰＲの各ＰＰＲに対する前記注意レベルに基づいており、
前記方法はさらに、
車両および道路情報を使用して将来の経路を推定する段階と、
前記第１ＰＰＲが前記将来の経路に沿っていないと決定する段階と、
前記第１ＰＰＲが前記将来の経路に沿っていないという前記決定に基づいて、前記複数のＰＰＲから前記第１ＰＰＲを除去する段階と
を含む、請求項３に記載の方法。
【請求項５】
前記複数のＰＰＲの各ＰＰＲに対する優先度スコアを決定する段階をさらに含み、
前記複数のＰＰＲの各ＰＰＲに対する前記注意レベルは、前記ＰＰＲに対する前記優先度スコアに基づく、
請求項４に記載の方法。
【請求項６】
１つまたは複数のプロセッサが、前記環境の前記表現に示されるオブジェクトを識別する段階をさらに有し、
前記ＰＰＲを決定する前記段階は、前記オブジェクトの前記ＰＰＲを決定する段階を有する、
請求項１に記載の方法。
【請求項７】
前記オブジェクトの前記ＰＰＲを決定する前記段階は、前記オブジェクトの速度を決定する段階を含む、請求項６に記載の方法。
【請求項８】
前記環境の前記画像に示される前記オブジェクトを識別する前記段階は、トレーニングされた機械学習アルゴリズムを用いて前記画像を分析する段階を有する、請求項１に記載の方法。
【請求項９】
前記ＰＰＲを決定する前記段階は、一次プレビュー点（ＰＰＰ）を決定する段階と、前記ＰＰＰと予め定められた半径とに基づいて前記ＰＰＲを決定する段階とを有する、請求項１に記載の方法。
【請求項１０】
前記環境の前記表現は、赤外線（ＩＲ）カメラにより生成される、請求項１に記載の方法。
【請求項１１】
前記環境の前記表現において前記ＰＰＲを決定する前記段階は、道路の車線を識別する段階を有する、請求項１に記載の方法。
【請求項１２】
前記環境の前記表現は、レーザスキャナにより生成される、請求項１に記載の方法。
【請求項１３】
前記警告を生成する前記段階は、聴覚的警告を生成する段階を有する、請求項１に記載の方法。
【請求項１４】
前記警告を生成する前記段階は、触覚的警告を生成する段階を有する、請求項１に記載の方法。
【請求項１５】
前記警告を生成する前記段階は、車両のブレーキをアクティブ化する段階を有する、請求項１に記載の方法。
【請求項１６】
前記警告を生成する前記段階は、車両方向を変更する段階を有する、請求項１に記載の方法。
【請求項１７】
前記ＰＰＲに対する前記注意レベルを決定する前記段階は、前記ドライバのプロファイルに基づく、請求項１に記載の方法。
【請求項１８】
前記警告を生成する前記段階はさらに、予め定められた閾値に基づく、請求項１に記載の方法。
【請求項１９】
命令を含むメモリストレージと、
前記メモリと通信する１つまたは複数のプロセッサと
を備え、
前記１つまたは複数のプロセッサは、
環境の表現において一次プレビュー領域（ＰＰＲ）を決定する段階と、
ドライバの画像のシーケンスに基づいて前記ドライバの注視点を決定する段階と、
前記注視点が前記ＰＰＲの外部にあると決定する段階と、
決定された前記注視点が前記ＰＰＲの外部にあるということに基づいて、前記ＰＰＲに対する注意レベルを下げる段階と、
前記ＰＰＲに対する前記注意レベルに基づいて警告を生成する段階と
を実行する前記命令を実行する、注意散漫な運転を検出するシステム。
【請求項２０】
１つまたは複数のプロセッサにより実行される場合、前記１つまたは複数のプロセッサに、
環境の表現において一次プレビュー領域（ＰＰＲ）を決定する段階と、
ドライバの画像のシーケンスに基づいて前記ドライバの注視点を決定する段階と、
前記注視点が前記ＰＰＲの外部にあると決定する段階と、
決定された前記注視点が前記ＰＰＲの外部にあるということに基づいて、前記ＰＰＲに対する注意レベルを下げる段階と、
前記ＰＰＲに対する前記注意レベルに基づいて警告を生成する段階と
いった段階を実行させる、注意散漫な運転を検出するコンピュータ命令を記憶する非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願の相互参照］
本願は、２０１８年１月２９日に出願された「Ｐｒｉｍａｒｙ  Ｐｒｅｖｉｅｗ  Ｒｅｇｉｏｎ  ａｎｄ  Ｇａｚｅ  Ｂａｓｅｄ  Ｄｒｉｖｅｒ  Ｄｉｓｔｒａｃｔｉｏｎ  Ｄｅｔｅｃｔｉｏｎ」と題する米国特許出願第１５／８８２，５８１号に基づく優先権を主張し、当該出願はその全体が参照として本明細書に組み込まれる。
【０００２】
本開示は視線検出に関連し、ある特定の実施形態においては、一次プレビュー領域および注視ベースのドライバの注意散漫検出に関連する。
【背景技術】
【０００３】
多くの交通事故が、道路および障害物への注意を怠った注意散漫なドライバにより発生している。これらの注意散漫な運転による交通事故は、経済的損失のみならず、かなりの人命の損失を引き起こす。米国では、交通事故は４番目に多い死因である。
【発明の概要】
【０００４】
詳細な説明において以下でさらに説明される概念のうち選択されたものを簡略化された形態で紹介すべく、ここで様々な例が説明される。当該概要は、クレームされた主題の主要または必須な特徴を特定するよう意図するものでも、クレームされた主題の範囲を限定するために使用するよう意図するものでもない。
【０００５】
本開示の一態様によると、１つまたは複数のプロセッサが、環境の表現において一次プレビュー領域（ＰＰＲ）を決定する段階と、１つまたは複数のプロセッサが、ドライバの画像のシーケンスに基づいてドライバの注視点を決定する段階と、１つまたは複数のプロセッサが、注視点はＰＰＲの外部にあると決定することと、決定された注視点がＰＰＲの外部にあるということに基づいて、１つまたは複数のプロセッサが、ＰＰＲに対する注意レベルを下げる段階と、ＰＰＲに対する注意レベルに基づいて、１つまたは複数のプロセッサが、警告を生成する段階とを含む、注意散漫な運転を検出する、コンピュータにより実装される方法が本明細書に提供される。
【０００６】
任意選択的に、前述の実施形態のいずれかにおいて、方法はさらに、ドライバの画像の第２シーケンスに基づいて、ドライバの第２注視点を決定する段階と、第２注視点がＰＰＲの内部にあることに基づいて、ＰＰＲに対する注意レベルを上げる段階とを含む。
【０００７】
任意選択的に、前述の実施形態のいずれかにおいて、ＰＰＲに対する注意レベルを下げる段階は、ロジスティック減衰関数を使用して注意レベルを決定する段階を含む。 
【０００８】
任意選択的に、前述の実施形態のいずれかにおいて、ＰＰＲは、第１ＰＰＲであり、複数のＰＰＲのうち１つであり、当該複数のＰＰＲの各ＰＰＲは対応する注意レベルを有する。警告を生成する段階はさらに、複数のＰＰＲの各ＰＰＲに対する注意レベルに基づいている。方法はさらに、車両および道路情報を使用して将来の経路を推定する段階と、第１ＰＰＲが将来の経路に沿っていないと決定する段階と、第１ＰＰＲが将来の経路に沿っていないという決定に基づいて、複数のＰＰＲから第１ＰＰＲを除去する段階とを含む。
【０００９】
任意選択的に、前述の実施形態のいずれかにおいて、方法はさらに、複数のＰＰＲの各ＰＰＲに対する優先度スコアを決定する段階を含み、ここで、複数のＰＰＲの各ＰＰＲに対する注意レベルは、ＰＰＲに対する優先度スコアに基づく。
【００１０】
任意選択的に、前述の実施形態のいずれかにおいて、方法はさらに、１つまたは複数のプロセッサが、環境の表現に示されるオブジェクトを識別する段階を含み、ＰＰＲを決定する段階は、オブジェクトのＰＰＲを決定する段階を含む。
【００１１】
任意選択的に、前述の実施形態のいずれかにおいて、オブジェクトのＰＰＲを決定する段階は、オブジェクトの速度を決定する段階を含む。
【００１２】
任意選択的に、前述の実施形態のいずれかにおいて、環境の画像に示されるオブジェクトを識別する段階は、トレーニングされた機械学習アルゴリズムを用いて画像を分析する段階を含む。
【００１３】
任意選択的に、前述の実施形態のいずれかにおいて、ＰＰＲを決定する段階は、一次プレビュー点（ＰＰＰ）を決定する段階と、ＰＰＰと予め定められた半径とに基づいてＰＰＲを決定する段階とを含む。
【００１４】
任意選択的に、前述の実施形態のいずれかにおいて、環境の表現は、赤外線（ＩＲ）カメラにより生成される。
【００１５】
任意選択的に、前述の実施形態のいずれかにおいて、環境の表現においてＰＰＲを決定する段階は、道路の車線を識別する段階を含む。
【００１６】
任意選択的に、前述の実施形態のいずれかにおいて、環境の表現は、レーザスキャナにより生成される。
【００１７】
任意選択的に、前述の実施形態のいずれかにおいて、警告を生成する段階は、聴覚的警告を生成する段階を含む。
【００１８】
任意選択的に、前述の実施形態のいずれかにおいて、警告を生成する段階は、触覚的警告を生成する段階を含む。
【００１９】
任意選択的に、前述の実施形態のいずれかにおいて、警告を生成する段階は、車両のブレーキをアクティブ化する段階を含む。
【００２０】
任意選択的に、前述の実施形態のいずれかにおいて、警告を生成する段階は、車両の方向を変更する段階を含む。
【００２１】
任意選択的に、前述の実施形態のいずれかにおいて、ＰＰＲに対する注意レベルを決定する段階は、ドライバのプロファイルに基づく。
【００２２】
任意選択的に、前述の実施形態のいずれかにおいて、警告を生成する段階はさらに、予め定められた閾値に基づく。
【００２３】
本開示の一態様によると、命令を含むメモリストレージと、メモリと通信する１つまたは複数のプロセッサとを含み、１つまたは複数のプロセッサは、環境の表現において一次プレビュー領域（ＰＰＲ）を決定する段階と、ドライバの画像のシーケンスに基づいてドライバの注視点を決定する段階と、注視点がＰＰＲの外部にあると決定する段階と、決定された注視点がＰＰＲの外部にあるということに基づいて、ＰＰＲに対する注意レベルを下げる段階と、ＰＰＲに対する注意レベルに基づいて警告を生成する段階とを実行する命令を実行する、注意散漫な運転を検出するシステムが本明細書に提供される。
【００２４】
本開示の一態様によると、１つまたは複数のプロセッサにより実行される場合、１つまたは複数のプロセッサに、環境の表現において一次プレビュー領域（ＰＰＲ）を決定する段階と、ドライバの画像のシーケンスに基づいてドライバの注視点を決定する段階と、注視点がＰＰＲの外部にあると決定する段階と、決定された注視点がＰＰＲの外部にあるということに基づいて、ＰＰＲに対する注意レベルを下げる段階と、ＰＰＲに対する注意レベルに基づいて警告を生成する段階といった段階を実行させる、注意散漫な運転を検出するコンピュータ命令を記憶する非一時的コンピュータ可読媒体が本明細書に提供される。
【００２５】
前述の例のいずれか１つは、任意の１つまたは複数の他の前述の例と組み合わされ、本開示の範囲内で新たな実施形態を生成し得る。
【図面の簡単な説明】
【００２６】
【図１】いくつかの例示的な実施形態に係る車両用内装の図である。
【００２７】
【図２】いくつかの例示的な実施形態に係る車両用外装の図である。
【００２８】
【図３】いくつかの例示的な実施形態に係る、フロントガラスを通したドライバの視線の例示的な視線検出点の図である。
【００２９】
【図４】いくつかの例示的な実施形態に係る、いくつかの例示的な一次プレビュー点の図である。
【００３０】
【図５】いくつかの例示的な実施形態に係る、いくつかの例示的な一次プレビュー点の図である。
【００３１】
【図６】いくつかの例示的な実施形態に係る、いくつかの例示的な一次プレビュー点の図である。
【００３２】
【図７】いくつかの例示的な実施形態に係る、注意機能のグラフの図である。
【００３３】
【図８】いくつかの例示的な実施形態に係る、アルゴリズムを実装し方法を実行するデバイスの回路を示すブロック図である。
【００３４】
【図９】いくつかの例示的な実施形態に係る、一次プレビュー領域を使用する注視ベースのドライバ検出に適したデータベーススキーマを示すブロック図である。
【００３５】
【図１０】いくつかの例示的な実施形態に係る、一次プレビュー領域を使用する注視ベースのドライバ検出の方法のフローチャート図である。
【００３６】
【図１１】いくつかの例示的な実施形態に係る、一次プレビュー領域を使用する注視ベースのドライバ検出の方法のフローチャート図である。
【００３７】
【図１２】いくつかの例示的な実施形態に係る、一次プレビュー領域を使用する注視ベースのドライバ検出の方法のフローチャート図である。
【００３８】
【図１３】いくつかの例示的な実施形態に係る、人間の運転者に自動化車両の制御を移転させる方法のフローチャート図である。
【発明を実施するための形態】
【００３９】
以下の説明では、本明細書の一部を形成する添付図面を参照し、図面には、実施され得る特定の実施形態が図により示される。これらの実施形態は、当業者が発明の主題を実施することを可能にするように十分詳細に説明されており、本開示の範囲から逸脱することなく、他の実施形態が利用され得、構造的変更、論理的変更、および電気的変更が行われ得ることを理解されたい。従って、例示的な実施形態の以下の説明は、限定的な意味で捉えられるべきではなく、本開示の範囲は、添付の特許請求の範囲により規定される。
【００４０】
本明細書に説明される機能またはアルゴリズムは、一実施形態ではソフトウェアで実装され得る。ソフトウェアは、コンピュータ可読媒体に記憶されたコンピュータ実行可能命令、または、ローカルもしくはネットワーク接続された、１つまたは複数の非一時的メモリもしくは他の種類のハードウェアベース記憶装置などのコンピュータ可読記憶装置から成り得る。ソフトウェアは、デジタル信号プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、プログラム可能データプレーンチップ、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）、マイクロプロセッサ、またはコンピュータシステムで動作する他の種類のプロセッサで実行され、そのようなコンピュータシステムを具体的にプログラムされた機械に変化させ得る。コンピュータシステムは、車両に統合され得る。
【００４１】
車両は、車両の環境の画像を捕捉する１つまたは複数の外部カメラを含み得る。カメラは、可視光カメラ、赤外線（ＩＲ）カメラ、レーザスキャナ、またはこれらの任意の好適な組み合わせであり得る。捕捉された画像は、環境の三次元（３Ｄ）表現に変換されてもよく、または環境の二次元（２Ｄ）表現として処理されてもよい。
【００４２】
環境の表現は、解析（例えば、トレーニングされた機械学習アルゴリズムにより）され、１つまたは複数の一次プレビュー点（ＰＰＰ）または一次プレビュー領域（ＰＰＲ）を識別する。ＰＰＰは、ドライバが注意を払うべき特定のポイントである。ＰＰＲは、ドライバが注意を払うべき領域である。ＰＰＰは、対応するＰＰＲ内に位置付けられてよい。ＰＰＲという用語は、別途の記載がない限り、ＰＰＰとＰＰＲとの両方を説明するために本明細書で使用される。ＰＰＲは、ドライバが注意を払うべき任意のオブジェクト（例えば、車両、動物、歩行者、標識、くぼみ、隆起、コーン、または倒木）、領域（例えば、車線の消滅点、または道路のカーブ）、または状況（例えば、事故、土砂崩れ、または洪水）に対して識別され得る。
【００４３】
車両はまた、ドライバの画像を捕捉するドライバ向きカメラを含み得る。捕捉されたドライバの画像を捕捉された環境の画像と共に使用して、視線検出システムはドライバの焦点を決定する。ドライバの焦点は、ＰＰＲの各々と比較され、ドライバがＰＰＰに焦点を合わせているか、またはＰＰＲに焦点を合わせているかを決定する。
【００４４】
注意レベルは、各ＰＰＲに対して生成され、ＰＰＲに注意が払われている程度を示し得る。ドライバの焦点がＰＰＲにある期間の間は、ＰＰＲに対する注意レベルが上がる。ドライバの焦点がＰＰＲにない期間の間は、ＰＰＲに対する注意レベルが下がる。ＰＰＲに対する注意レベルが予め定められた閾値以下に低下するとき、警告が生成される。例示的な警告には、車両のヘッドアップディスプレイ（ＨＵＤ）上のＰＰＲをハイライトすること、点滅光の形態の視覚的警告、ハンドルを介して触覚的フィードバックを提供すること、聴覚的警告を提供すること、ブレーキを自動的に作動させること、無視されたＰＰＲを回避するために車両を自動的に操作すること、車両を駐車すること、またはこれらの任意の好適な組み合わせが含まれる。
【００４５】
本明細書に説明されるシステムおよび方法の使用により、車両は、それ以外の場合にドライバが見て反応することに失敗したのであろうオブジェクト、領域、または状況を注意散漫なドライバに警告し得る。警告により、注意散漫なドライバはオブジェクト、領域、または状況に反応し、事故を防ぎ得る。従って、本明細書に説明されるシステムおよび方法の使用は、車両の安全を向上させる。
【００４６】
図１は、いくつかの例示的な実施形態に係る車両用内装１００の図である。車両用内装１００に示されるのは、ドライバ１１０、座席１２０、光源１３０Ａおよび１３０Ｂ、およびカメラ１４０の図である。光源１３０Ａ−１３０Ｂおよびカメラ１４０は、図８に関して以下に説明されるものなどのコンピュータシステムにより制御され得る。
【００４７】
光源１３０Ａ−１３０Ｂは、近赤外線（ＩＲ）光源であり得る。カメラ１４０は、光源１３０Ａ−１３０Ｂにより提供される光の波長（例えば、近ＩＲ）を受容可能であり、ドライバ１１０に焦点を合わせ得る。カメラ１４０により捕捉された画像は、ドライバ１１０の眼の表面から反射する光源１３０Ａ−１３０Ｂにより生成される光により生成される光に基づいて、ドライバ１１０の眼の方向および焦点深度を決定するのに使用され得る。ドライバの頭の向きである頭部姿勢も、カメラ１４０により捕捉される画像から決定され、ドライバの視線の方向および焦点深度を決定するのに使用され得る。加えて、カメラ１４０はドライバ１１０による手のジェスチャを検出し得る。
【００４８】
カメラ１４０は、カメラからのオブジェクトの距離を決定するために立体画像を捕捉する深度カメラを有し得る。例えば、２つの近ＩＲ画像センサは、三次元頭部姿勢を決定するために使用されてもよく、または、カメラ１４０に向かって移動することまたはカメラ１４０から離れるように移動することを含むジェスチャを検出するために使用されてもよい。別の例として、飛行時間カメラは、光源１３０Ａおよび１３０Ｂと協調し、光源からの光の放射と飛行時間カメラにおける光の受容（オブジェクトから反射された後の）との間の時間に基づいて、深度を決定し得る。
【００４９】
図２は、いくつかの例示的な実施形態に係る車両用外装の例示２００である。例示２００は、車両２１０およびカメラ２２０を含む。カメラ２２０は、車両２１０の屋根に取り付けられ、第１カメラである図１のカメラ１４０を制御する同一のシステムにより制御される第２カメラであり得る。カメラ２２０は、広角カメラ、３６０度カメラ、回転カメラ、またはこれらの任意の好適な組み合わせであり得る。カメラ２２０は、車両２１０に統合される（例えば、車両２１０の一部として製造業者により販売され、車両２１０の残りの部分に永続的に取り付けられる）か、車両２１０に確実に取り付けられる（例えば、ボルトまたはねじで）か、または車両２１０に一時的に取り付けられる（例えば、ダッシュボード上のホルダに配置される）場合がある。車両２１０は自動車であるが、本発明はそれに限定されず、航空機、船舶、または列車などの他の乗り物とともに使用され得る。
【００５０】
図３は、いくつかの例示的な実施形態に係る、フロントガラス３１０を通したドライバの視線の例示的な視線検出点３３０の図である。さらに図３に示されるのは、ドライバ向きカメラ１４０である。
【００５１】
ドライバ向きカメラ１４０は、車両のドライバの１つまたは複数の画像を捕捉する。捕捉された画像ごとに、ドライバの眼は識別され、ドライバの視線の焦点が決定される。焦点は、三次元空間におけるポイントである。例えば、瞳の位置と眼の中心線との間の角は、眼ごとに決定され得る。それぞれの眼の中心から瞳を通して光線をトレースして、両眼の焦点の交点を決定することができる。車両環境の表現を、その交点と比較して、視線検出点３３０の位置を、その環境内で決定することができる。
【００５２】
環境の表現がカメラ２２０により捕捉された２Ｄ画像などの２Ｄ表現である場合、視線検出点３３０は、カメラ較正に基づいて、３Ｄ視線角度を２Ｄ画像に投影することにより決定され得る。カメラ較正は、ドライバの顔を捕捉するカメラ（例えば、カメラ１４０）の座標系を、環境を捕捉するカメラ（例えば、カメラ２２０）の座標系と位置合わせする。カメラ較正は、既知点に焦点を合わせるようにドライバに要求し、較正値を更新すべくドライバの視線の測定結果を使用することにより実行され得る。例えば、ハンドルの中心、フロントガラスの角、およびバックミラーは、既知点として使用され得る。
【００５３】
図４は、いくつかの例示的な実施形態に係る、いくつかの例示的な一次プレビュー点の図である。図４に示されるのは、画像４１０、４２０および４４０ならびにＰＰＰ４３０および４５０である。画像４１０、４２０および４４０は、ドライバの車両に統合された１つまたは複数のカメラにより捕捉され得る。例えば、画像は、車両に統合された単一の前方向きカメラ、車両の屋根に取り付けられた回転カメラ、車両に統合されたレーザスキャナ、またはこれらの任意の好適な組み合わせにより捕捉され得る。代替的に、画像４１０、４２０および４４０は、外部カメラにより捕捉され、車両に送信され得る（例えば、Ｗｉ−Ｆｉまたはセルラネットワークを介して）。例えば、道路を使用する全ての車両に環境画像を提供すべく、建物または電柱には固定カメラが取り付けられ得る。別の例として、衛星画像が使用され得る。
【００５４】
画像４１０、４２０および４４０の各々は、車両の環境の２Ｄ表現である。いくつかの例示的な実施形態において、環境の３Ｄ表現が使用される。３Ｄ表現は、ある場面を異なる角度から捕捉する複数の２Ｄ画像から生成され得る。代替的に、３Ｄ表現は、深度画像と組み合わせて２Ｄ画像から生成され得る。いくつかの例示的な実施形態において、車両は仮想車両（例えば、仮想現実（ＶＲ）シミュレーションにおける）であり、環境の３Ｄ表現は仮想車両のＶＲ環境から生成される。
【００５５】
画像４１０は、道路端と４つの中央線を示す。画像４２０は、車線の２つの中央線が収束するまで拡張するように画像４１０を変更した後の道路端と４つの中央線とを示す。車線の境界が収束するポイントは、ＰＰＰ４３０としてマークされる。これは、収束点ＰＰＰと称される。収束点ＰＰＰは、ドライバの視界の１弧度から２弧度だけ拡大され、対応するＰＰＲを生成し得る。
【００５６】
画像４４０は、道路端と中央線とが収束するまで拡張するように画像４１０を変更した後の道路端と４つの中央線とを示す。収束するポイントは、ＰＰＰ４５０とマークされる。ＰＰＰ４５０は、ＰＰＰ４３０と同一であってよい。代替的に、生成された複数の線は単一のポイントにおいて収束しなくてもよく、ＰＰＰ４５０は複数の収束ポイントの幾何学的平均と捉えられてもよい。ＰＰＰ４３０および４５０は、車両の現在の経路に対応する。
【００５７】
画像４１０、４２０および４４０の道路端および中央線は、画像における線を検出する畳み込みニューラルネットワーク（ＣＮＮ）により識別され得る。道路端および中央線に基づいて、ドライバの車両により占有された道路の車線を含む、道路の１つまたは複数の車線が識別され得る。ＰＰＰ４３０および４５０は、線を拡張させて交点を決定する幾何学的アルゴリズムを使用して識別され得る。
【００５８】
図５は、いくつかの例示的な実施形態に係る、いくつかの例示的な一次プレビュー点の図である。図５に示されるのは、画像５１０、５４０および５６０ならびにＰＰＰ５２０、５３０、５５０および５７０である。
【００５９】
画像５１０は、ＰＰＰ５２０および５３０を含むカーブ路を示す。ＰＰＰ５２０および５３０は、ドライバがカーブを通して適切に進むことを可能にすべく、注意が払われるべき道路上のポイントを示すカーブ地点ＰＰＰである。カーブ地点ＰＰＰは、カーブの接線が車両の運動の方向に対して平行であるポイントにおいて、カーブ車線の中心であってよい。カーブ地点ＰＰＰは、ドライバの視界の１弧度から２弧度だけ拡大され、対応するＰＰＲ（例えば、楕円または円形ＰＰＲ）を生成し得る。
【００６０】
画像５４０は、ＰＰＰ５５０を含むカーブ路を示す。ＰＰＰ５５０は、ドライバが車両との衝突を回避することを可能にすべく、注意が払われるべき車両の前方の自動車を示すオブジェクトＰＰＰである。オブジェクトＰＰＰは、オブジェクトの中心にあってよい。オブジェクトＰＰＲは、オブジェクトＰＰＰ（例えば、楕円または円）から拡大されてもよく、または、オブジェクトのバウンディングボックス（例えば、矩形バウンディングボックス）がオブジェクトＰＰＲとして使用されてもよい。画像５６０は、ＰＰＰ５７０を含むカーブ路を示す。ＰＰＰ５７０は、車両の前方におけるゾウを示すオブジェクトＰＰＰである。
【００６１】
ＰＰＰ５２０、５３０、５５０および５７０は、トレーニングされた機械学習アルゴリズム（例えば、ＣＮＮを使用して実装される）の使用によって識別されてよい。例えば、異なる種類のオブジェクトの画像を含むトレーニングデータセットおよびそれらの標識が機械学習アルゴリズムに提供され、機械学習アルゴリズムがオブジェクトを識別し、画像におけるそれらの位置を識別するようトレーニングしてよい。車両の環境の画像は、トレーニングされた機械学習アルゴリズムに提供され、示されたオブジェクトの種類およびそれらの位置を識別する出力を生成し得る。ＰＰＰ選択アルゴリズムは、それらの種類および位置に基づいて、識別されたオブジェクトに対するＰＰＰを識別し得る。例えば、自動車に対するＰＰＰは、自動車の図示の中心に配置され得、その一方、ロバに対するＰＰＰは、ロバの頭の図示に配置され得る。
【００６２】
図６は、いくつかの例示的な実施形態に係る、いくつかの例示的な一次プレビュー点の図である。図６に示されるのは、画像６１０および６３０ならびにＰＰＰ６２０および６４０である。ＰＰＰ６２０および６４０は、トレーニングされた機械学習アルゴリズムの使用によって識別されてよい。
【００６３】
画像６１０は、合流するまたは道路を横断する自動車を画像４１０に追加した道路を示す。ＰＰＰ６２０は、車両の経路に移動してくるオブジェクトを示す合流オブジェクトＰＰＰである。合流オブジェクトＰＰＰは、オブジェクトの中心に、車両の経路に最も近いオブジェクトのポイントに、またはその２つ（ＰＰＰ６２０により示される）の間の位置にあってよい。合流オブジェクトＰＰＲは、合流オブジェクトＰＰＰから拡大され（例えば、ドライバの視界の１弧度から２弧度だけ）てもよく、または、合流オブジェクトのバウンディングボックスが合流オブジェクトＰＰＲとして使用されてもよい。
【００６４】
画像６３０は、車線に合流するまたは道路を横断するラクダを画像４１０に追加した道路を示す。ＰＰＰ６４０は、ＰＰＰ６２０のように、合流オブジェクトＰＰＰである。
【００６５】
ＰＰＰ６２０および６４０は、車両の環境の複数の画像に基づいて決定され得る。例えば、個々の画像は、ある位置においてオブジェクトを示し得、オブジェクトの速度は、画像のシーケンスから決定され得る。オブジェクトのバウンディングボックス内のＰＰＰの位置は、オブジェクトの速度に基づいて選択され得る。例えば、静止オブジェクトに対するＰＰＰは、バウンディングボックスの中心に位置付けられ得、その一方、高速で移動するオブジェクトに対するＰＰＰは、移動の方向においてバウンディングボックスの端に位置付けられ得る。
【００６６】
上記のＰＰＲの各々の形状およびサイズは、ＰＰＰの種類（例えば、カーブ地点ＰＰＰ、収束ＰＰＰ、オブジェクトＰＰＰ、合流オブジェクトＰＰＰ）、オブジェクトのサイズ、車両からのＰＰＰの距離、車両の現在のスピード、ドライバ属性、またはこれらの任意の好適な組み合わせに基づいて決定され得る。ＰＰＲは、ＰＰＰの中心の周りに置かれてもよく、またはオフセットによりシフトされてもよい。例えば、ＰＰＲは隣接するＰＰＰから離れるようにまたは隣接するＰＰＰに向かってシフトされてもよく、隣接する車線に向かってまたは隣接する車線から離れるようにシフトされてもよく、またはこれらの任意の好適な組み合わせでシフトされてもよい。
【００６７】
オブジェクトの識別に基づいて、対応する二次プレビューポイント（ＳＰＰ）または二次プレビュー領域（ＳＰＲ）は、ＰＰＰまたはＰＰＲの代わりに識別され得る。例えば、データベース表は、オブジェクトの種類を優先度スコア（例えば、１−１０の範囲内で）にマッピングし得る。予め定められた閾値（例えば、７）の優先度スコアまたはそれより高い優先度スコアを有するオブジェクトの場合、オブジェクトの検出はＰＰＰまたはＰＰＲをもたらし得る。予め定められた閾値以下の優先度スコアを有するオブジェクトの場合、オブジェクトの検出はＳＰＰまたはＳＰＲをもたらし得る。閾値以下の優先度スコアと関連付けられ得るオブジェクトの例は、周囲の交通、道端のオブジェクト、および道端における交通標識を含む。ＳＰＰおよびＳＰＲは、進行中の運転プロセスに直ちに影響を与えない場合がある。ドライバはそのようなオブジェクトに注意を払うように要求されていないので、そのようなＳＰＰおよびＳＰＲは、注意散漫検出プロシージャに含まれない。
【００６８】
いくつかの例示的な実施形態において、ＳＰＰおよびＳＰＲは、ドライバの注意レベルを評価するのに利用される。ドライバがＳＰＲおよびＳＰＰに十分な注意を払うことは、十分な注意レベルを示す。例えば、疲れており疲労困憊しているドライバは、そのような二次オブジェクトに対してより少ない注意を払い、それに対して、完全に注意しているドライバは、ＳＰＲおよびＳＰＰを含む全ての周囲のオブジェクトに対して高レベルの状況認識を維持する。従って、ＳＰＰおよびＳＰＲのモニタリングに失敗することは、ドライバ固有パラメータを、図７に関して以下に説明される注意機能に変更するのに使用され得る。
【００６９】
図７は、いくつかの例示的な実施形態に係る、注意機能のグラフ７００および７５０の図である。グラフ７００は、時間関数としてのＰＰＲに対する注意レベル７４０を示す。いくつかの実施形態において、上記のように、ＰＰＰが検出された場合、ＰＰＲの表現が生成され得る。ＰＰＲの表現は、注意機能または別のメカニズムと関連付けられて、任意の時点でＰＰＲの現在の注意レベルを決定し得る。注意レベルは、一連の注視点、動的に変化する環境要因、またはこれらの任意の好適な組み合わせによって決まり（または関し）得る。環境要因は、注意機能のパラメータとして使用され得る。
【００７０】
注意レベル７１０は最大注意レベルである。注意レベル７２０は予め定められた閾値であり、注意レベル７４０はそれ以下に低下すべきでない。任意の時点ｔにおいて、減衰度は、減衰度７３０により示されるように、時点ｔにおいて機能する注意レベル７４０の導関数である。グラフ７５０は、時間関数としてのＰＰＲに対する注意レベル７６０を示す。グラフ７５０は、ドライバがＰＰＲに注意を払いはじめる時点７７０のみならず、注意レベル７１０および７２０を含む。
【００７１】
グラフ７００および７５０において、注意レベル関数は、非線形であり、ドライバが続けてＰＰＲに注意を払わないことにつれ増加する減衰度を有する。いくつかの例示的な実施形態において、注意レベル関数は、ロジスティック減衰関数である。ロジスティック減衰関数の例は、以下のとおりである。
式１：
【数１】
2021513144.tif 000003
【００７２】
式１において、最初の値であるＳｖ（ｔ０）は、もはやドライバの視線がＰＰＲに向いていない時点での注意レベルである。いくつかの例示的な実施形態において、Ｓｖは、ＰＰＲが生成された場合に１に初期化され、ｔ０は、視線がＰＰＲから離れた時点であり（例えば、２つの時間インスタンスｔ‐１とｔ０とにおけるＰＰＲに関連する連続的な検出によると、視線は、ｔ‐１ではＰＰＲの内部において、ｔ０ではＰＰＲの外部において識別される）、ｐはＰＰＲの優先度スコアであり、ｅｇは現在の視線位置とＰＰＲとの間の偏差であり、ｋは車線逸脱および車両安定性余裕に関するスケーリング係数であり、ｄ０はドライバに関連付けられる印象減衰係数であり、ｄ１は環境条件に基づくシーンの複雑性パラメータであり、ｔＡはプレビュー時間のスケーリング変数である。いくつかの例示的な実施形態において、ｋ、ｄ０、およびｄ１は１と等しい。
【００７３】
プレビュー時間のスケーリング変数は、最小限のｔＴＴＲ、ｔＴＴＣ、ｔＴＴＧ、ｔｐとして規定され、ここで、ｔＴＴＲ（ｔｉｍｅ  ｔｏ  ｒｅａｃｈ）は、車両およびＰＰＰの相対的位置と運動とに基づいて将来のＰＰＰに達するまでの時間であり、ｔＴＴＣ（ｔｉｍｅ  ｔｏ  ｃｒｏｓｓ）は、ＰＰＰが車両の車線に達するまでの時間であり、ｔＴＴＧ（ｔｉｍｅ  ｔｏ  ｇｏ）は、車両が加速する（例えば、停止標識または光に対して停止した後）場合の予測時間であり、ｔｐ（ｔｉｍｅ  ｔｏ  ｐｒｅｖｉｅｗ）は、ドライバの特性に基づくプレビュー時間定数である。
【００７４】
いくつかの例示的な実施形態において、経験のないドライバは、経験のあるドライバより大きいｄ０の値を有する。ｄ１の値は、１つまたは複数の高速（例えば、時速５０マイルを超える）のオブジェクトが存在する場合またはドライバがＳＰＰおよびＳＰＲを無視しているのが確認された場合に増加し得る。
【００７５】
ｋの値は、ＰＰＰに割り当てられた優先度に基づき、オブジェクト固有であり得る。例えば、優先度は、車両からの距離に基づいて各ＰＰＰに割り当てられ、それにより車両に近いＰＰＰほど高い優先度を有し得る。
【００７６】
グラフ７００において、ドライバがＰＰＲに対して焦点を合わせていない間、注意レベル７４０は０に達するまで減衰する。注意レベル７４０が注意レベル５２０と交差する場合、警告が生成される。
【００７７】
グラフ７５０において、ドライバがＰＰＲに対して焦点を合わせていない間、時点７７０まで注意レベル７６０は減衰し、時点７７０でドライバの注意が戻る。時点７７０の後、注意レベル７６０は、最大注意レベル７１０に達するまで上がる。注意レベル７６０は決して注意レベル７２０に達しないので、警告は生成されない。
【００７８】
ドライバの視線がＰＰＲの内部に入ると、Ｓｖは回復関数に従って１に再び回復しはじめる。最初は回復速度が遅い。しかし、Ｓｖは、ドライバの視線がＰＰＲに最小限の期間の間存在すると急激に回復できる。注意レベルの回復速度は、減衰関数と同様な回復関数で設計され得るが、正の増加速度を有する。例示的な回復関数は、ロジスティック成長関数である。
式２：
【数２】
2021513144.tif 000004
【００７９】
式２は、式１と同じ定数および変数を使用する。しかし、回復関数のｔ０は、ドライバの視線がＰＰＲに戻る時点である。ｃは回復関数のスケーリング係数であり、減衰関数に使用されるスケーリング係数ｋと同じであってもまたは異なってもよい。ｐはＰＰＲの優先度スコアである。ドライバの注意がＰＰＲ間で分割される期間にわたって、各ＰＰＲに対する注意レベルは、減衰関数（ドライバの視線がＰＰＲの外部にある間）と回復関数（ドライバの視線がＰＰＲの内部にある間）との適用を交互に行うことにより調整される。
【００８０】
上記の２つの式は、車線逸脱および車両安定性余裕に関するスケーリング係数であるｋ、ドライバと関連付けられる印象減衰係数であるｄ０、環境条件に基づくシーンの複雑性パラメータであるｄ１、およびプレビュー時間のスケーリング変数であるｔＡなどのパラメータを含む。いくつかの例示的な実施形態において、これらのパラメータの１つまたは複数は、警告を生成するための動的閾値を決定するのに使用される。例えば、警告を生成するための閾値は、運転が下手なドライバ（ｄ１により測定）に対してまたはより安定性の低い車両（ｋで測定）において高くなり得る。
【００８１】
図８は、例示的な実施形態に係る、アルゴリズムを実装し方法を実行する回路を示すブロック図である。全てのコンポーネントが様々な実施形態において使用される必要があるわけではない。例えば、クライアント、サーバ、自律システム、ネットワークデバイス、およびクラウドベースネットワークリソースはそれぞれ、異なるセットのコンポーネントを使用し得、または、例えばサーバの場合、より大容量の記憶装置を使用し得る。
【００８２】
ネットワークデバイス８００（コンピュータ８００、コンピューティングデバイス８００、およびコンピュータシステム８００とも称される）の形での１つの例示的なコンピューティングデバイスは、プロセッサ８０５、メモリストレージ８１０、リムーバブルストレージ８１５、および非リムーバブルストレージ８２０を含み得、これらの全てはバス８４０により接続されている。例示的なコンピューティングデバイスはコンピュータ８００として示され説明されているが、コンピューティングデバイスは異なる実施形態において異なる形であってよい。例えば、コンピューティングデバイスは、代わりにスマートフォン、タブレット、スマートウォッチ、または、図８に関して示され説明されたものと同一または同様の要素を含む別のコンピューティングデバイスであってよい。スマートフォン、タブレット、およびスマートウォッチなどのデバイスは、一般的にまとめて「モバイルデバイス」または「ユーザ機器」と称される。さらに、様々なデータストレージ要素がコンピュータ８００の一部として示されているが、ストレージは、インターネットなどのネットワークを介してアクセス可能なクラウドベースストレージまたはサーバベースストレージを追加的にまたは代替的に含んでよい。
【００８３】
メモリストレージ８１０は、揮発性メモリ８４５および不揮発性メモリ８５０を含み得、プログラム８５５を記憶し得る。コンピュータ８００は、揮発性メモリ８４５、不揮発性メモリ８５０、リムーバブルストレージ８１５、および非リムーバブルストレージ８２０などの様々なコンピュータ可読媒体を含むコンピューティング環境を含んでもよく、またはそれに対してアクセスを有してもよい。コンピュータストレージは、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ）ならびに電気消去可能プログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、フラッシュメモリもしくは他のメモリ技術、コンパクトディスクリードオンリメモリ（ＣＤ  ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）もしくは他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージもしくは他の磁気記憶装置、またはコンピュータ可読命令を記憶が可能な任意の他の媒体を含む。
【００８４】
コンピュータ８００は、入力インタフェース８２５、出力インタフェース８３０、および通信インタフェース８３５を含むコンピューティング環境を含んでもよく、またはそれに対してアクセスを有してもよい。出力インタフェース８３０は、入力デバイスとも機能し得るタッチスクリーンなどの表示デバイスにインタフェースで接続されてもよく、またはそれらを含んでもよい。入力インタフェース８２５は、タッチスクリーン、タッチパッド、マウス、キーボード、カメラ、１つまたは複数のデバイス固有のボタン、有線または無線データ接続を介してコンピュータ８００内に統合されるまたはそれに結合される１つまたは複数のセンサ、および他の入力デバイスのうち１つまたは複数にインタフェースで接続されてもよく、またはそれを含んでもよい。コンピュータ８００は、通信インタフェース８３５を使用してネットワーク接続環境において動作し、データベースサーバなどの１つまたは複数のリモートコンピュータに接続され得る。リモートコンピュータは、パーソナルコンピュータ（ＰＣ）、サーバ、ルータ、スイッチ、ネットワークＰＣ、または、ピアデバイスもしくは他の一般的なネットワークノードなどを含んでよい。通信インタフェース８３５は、ローカルエリアネットワーク（ＬＡＮ）、広域エリアネットワーク（ＷＡＮ）、セルラネットワーク、ＷｉＦｉネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワーク、または他のネットワークに接続してよい。
【００８５】
コンピュータ８００は、各要素８０５−８６５のうち１つだけを有するものとして示されるが、複数の各要素が存在してもよい。例えば、複数のプロセッサ８０５、複数の入力インタフェース８２５、複数の出力インタフェース８３０、および複数の通信インタフェース８３５が存在してもよい。いくつかの例示的な実施形態において、異なる通信インタフェース８３５は異なるネットワークに接続される。
【００８６】
コンピュータ可読媒体に記憶されたコンピュータ可読命令（例えば、メモリストレージ８１０に記憶されたプログラム８５５）は、コンピュータ８００のプロセッサ８０５により実行可能である。ハードドライブ、ＣＤ‐ＲＯＭ、およびＲＡＭは、記憶装置などの非一時的コンピュータ可読媒体を含む物品のいくつかの例である。「コンピュータ可読媒体」および「記憶装置」という用語は、搬送波が一時的すぎるとみなされる範囲の搬送波は含まない。「コンピュータ可読非一時的媒体」は、磁気ストレージ媒体、光ストレージ媒体、フラッシュ媒体、およびソリッドステートストレージ媒体を含む全ての種類のコンピュータ可読媒体を含む。ソフトウェアは、コンピュータにインストールされコンピュータとともに販売され得ることを理解されたい。代替的に、ソフトウェアは、取得されコンピュータにロードされ得る。これは、物理媒体または分布システムによって（例えば、ソフトウェア作成者が所有するサーバから、または、ソフトウェア作成者が所有していないが使用するサーバからを含む）ソフトウェアを取得することを含む。ソフトウェアは、例えばインターネット上での分布のためにサーバ上に記憶されることができる。
【００８７】
プログラム８５５は、視線検出モジュール８６０、ＰＰＲ検出モジュール８６５、注意分析モジュール８７０、および制御移転モジュール８７５を含むものとして示される。本明細書に説明される任意の１つまたは複数のモジュールは、ハードウェア（例えば、機械のプロセッサ、ＡＳＩＣ、ＦＰＧＡ、またはこれらの任意の好適な組み合わせ）を使用して実装されてよい。さらに、これらモジュールのうち任意の２つまたはそれより多くは、単一モジュールに組み合わされてよく、単一モジュールについて本明細書に説明される機能は、複数のモジュールの間で細分されてよい。さらに、様々な例示的な実施形態によると、単一の機械、データベースまたはデバイス内で実装されるものとして本明細書に説明されるモジュールは、複数の機械、データベースまたはデバイスにわたって割り当てられてよい。
【００８８】
視線検出モジュール８６０は、車両のドライバの顔の１つまたは複数の画像を処理して、ドライバの視線を決定する。ドライバの顔の画像は、ドライバ向きカメラ１２０から入力インタフェース８２５を介して受信され得る。二次元または三次元空間において視線推定ポイントを決定する既存の方法は、ドライバの視線を決定するのに使用され得る。例えば、光線は、その起点を眼の中心に有する眼ごとに決定され得、眼の瞳を通過する。光線が交差するポイントは、ドライバの三次元注視点である。二次元注視点を決定すべく、光線はその起点を両眼の間の中間点に有し、三次元注視点で終了するように生成される。環境の画像の二次元投影を有するこの光線の交点は、ドライバの二次元注視点である。
【００８９】
ＰＰＲ検出モジュール８６５は、車両の環境の１つまたは複数の表現を処理して、ＰＰＲを識別する。例えば、環境の画像は１つまたは複数の外装向きカメラから入力インタフェース８２５を介して受信されてもよく、または環境の３Ｄ表現は外装向きカメラから受信される画像に基づいて生成されてもよい。環境の表現におけるオブジェクトは、時々現れたり消えたりし得る。また、それらの外観（例えば、サイズおよび位置）は異なり得る。環境の現在の表現におけるオブジェクトが環境の以前の表現におけるオブジェクトと同一のオブジェクトであると決定すべく、オブジェクト追跡が使用される。まず、環境の各表現において検出されたオブジェクトが受信される。次に、位置および運動継続条件によって、オブジェクトは一時的ドメインにおいて追跡され、環境の現在の表現において検出されたオブジェクトを同一のオブジェクトの以前のインスタンスに関連付ける。カルマンフィルタおよびオブジェクト追跡アルゴリズム（ＤＳＳＴなど）が一般的に使用される。また、特徴は、オンライン学習によってオブジェクトを関連付けることと識別することとに使用され得る。例えば、新たなオブジェクトはシーン境界からまたは特定の閉塞された画像領域からのみ現れ得るので、境界または閉塞された画像領域に隣接していない任意の識別されたオブジェクトは、環境の以前の表現において対応するオブジェクトを有するべきである。新たなオブジェクトは、以前の観察されたオブジェクトのいずれかに関連付けられることができず、注意散漫検出アルゴリズムで分類および登録される。同様に、既存のＰＰＰ関連オブジェクトは、シーン境界を介してまたは閉塞によってのみ消えることができる。特定の予め定められた期間（例えば、３０秒）後、消えるオブジェクトは、オブジェクト登録リストから除去される。従って、オブジェクトの関連ＰＰＲは、もしあれば、削除される。
【００９０】
注意分析モジュール８７０は、検出されたドライバの視線をＰＰＲと比較して、ドライバが各ＰＰＲに十分な注意を払っているかを決定する。１つまたは複数のＰＰＲに対する注意レベルが予め定められた閾値以下に低下するとき、注意分析モジュール８７０は警告を生成させる。例えば、出力インタフェース８３０は、車両のスピーカが聴覚警告を生成するように、またはハンドルの触覚フィードバックデバイスが振動するようにトリガし得る。
【００９１】
制御移転モジュール８７５は、自動化車両の制御をコンピュータと人間の制御との間で移転させる。制御を移転する前に、制御移転モジュール８７５は、注意分析モジュール８７０を介して、人間の運転者が全てのＰＰＲに十分な注意を払っていることを確認し得る。
【００９２】
図９は、いくつかの例示的な実施形態に係る、一次プレビュー領域を使用する注視ベースのドライバ検出に適したデータベーススキーマ９００を示すブロック図である。データベーススキーマ９００は、ＰＰＰ表９０５、ＰＰＲ表９２０、注意レベル表９３５、およびドライバ表９５０を含む。ＰＰＰ表９０５は、表定義９１０を使用し、行９１５Ａ、９１５Ｂおよび９１５Ｃを含む。ＰＰＲ表９２０は、表定義９２５を使用し、行９３０Ａ、９３０Ｂおよび９３０Ｃを含む。注意レベル表９３５は、表定義９４０を使用し、行９４５Ａ、９４５Ｂおよび９４５Ｃを含む。ドライバ表９５０は、表定義９５５を使用し、行９６０Ａおよび９６０Ｂを含む。
【００９３】
ＰＰＰ表９０５の行９１５Ａ−９１５Ｃの各々は、ＰＰＰに対する情報を記憶する。表定義９１０によると、行９１５Ａ−９１５Ｃの各々は、識別子、位置、および種類を含む。識別子は、ＰＰＰの固有識別子であり得、異なる表に記憶された情報を関連付けるのに使用され得る。位置は、相対的または絶対的な位置決定（例えば、緯度、経度、および高度）を使用して記憶された２Ｄまたは３Ｄ位置であり得る。例示的なＰＰＰ表９０５において、位置は、メートルで測定された、車両の前方中心部からの相対的な位置決定を使用して、３Ｄ位置に記憶される。種類は、ＰＰＰが、ドライバが注意を払うべき車両、カーブ、標識、消滅点、動物、歩行者、または任意の他の種類のポイントを表現しているかどうかを示す。
【００９４】
ＰＰＲ表９２０の行９３０Ａ−９３０Ｃの各々は、ＰＰＲの情報を記憶する。表定義９２５によると、行９３０Ａ−９３０Ｃの各々は、識別子、相対的ＰＰＰ位置、およびサイズを含む。いくつかの例示的な実施形態において、各ＰＰＲは、正確に１つのＰＰＰに対応し、同じ識別子がＰＰＲおよびその対応するＰＰＰに使用されることを可能にする。相対的ＰＰＰ位置は、ＰＰＲ内のＰＰＰの位置を示す。相対的ＰＰＰ位置は、例示的ＰＰＲ表９２０に示されるように、種類インジケータとして記憶され、ＰＰＰが中心または端（例えば、ドライバの車両に最も近い端またはＰＰＰの移動方向の前方における端）に位置付けられているかどうかを示し得る。代替的に、相対的ＰＰＰ位置は、ＰＰＲの中心からの２Ｄまたは３Ｄオフセットとして記憶され得る。サイズは、例えば、球体または円の半径を提供することにより、ＰＰＲのサイズを記憶する。代替的に、サイズは、ＰＰＲのバウンディングボックスまたはバウンディングキューブを記憶し得る。
【００９５】
注意レベル表９３５は、行９４５Ａ−９４５Ｃを記憶し、その各々は、識別子、注意レベル、注視ステータス、最後に注意が変化した時点、および遷移注意レベルを含む。識別子は、行の注意レベルデータが適用されるＰＰＲの識別子を示す。注意レベルは、対応するＰＰＲの現在の注意レベルを示す。注視ステータスは、ドライバの注視点が現在ＰＰＲにあるかどうかを示す。最後に注意が変化した時点は、ドライバの注視点が最後にＰＰＲに入ったまたはＰＰＲから離れた時点を示す。遷移注意レベルは、最後に注意が変化した時点におけるＰＰＲの遷移レベルを示す。ドライバの注意レベルを決定すべく式１および２が使用される例示的な実施形態において、使用される式は、注視ステータスに基づいて選択され得、最後に注意が変化した時点はｔ０の値として使用され得、遷移注意レベルはＳｖ（ｔ０）の値として使用され得る。
【００９６】
ドライバ表９５０は、行９６０Ａ−９６０Ｂを記憶し、その各々は、ドライバが現在アクティブ化されているかどうかを示すブーリアン値であって、行が現在のドライバのデータを記憶するときはＴｒｕｅに設定され、それ以外の場合はＦａｌｓｅに設定される、ブーリアン値と、ドライバの反応係数とを含む。追加のデータはドライバ表９５０に記憶され得る。例えば、ドライバの写真は記憶され得、その結果、ドライバは、ドライバ向きカメラ１４０により捕捉された１つまたは複数の画像に基づく画像識別により識別され得る。ドライバの注意レベルを決定するのに式１および２が使用される例示的な実施形態において、ドライバの反応係数はｋの値として使用され得る。
【００９７】
図１０は、いくつかの例示的な実施形態に係る、一次プレビュー領域を使用する注視ベースのドライバ検出の方法１０００のフローチャート図である。方法１０００は、動作１０１０、１０２０、１０３０および１０４０を含む。例としてであって、限定されるわけではないが、方法１０００は、図８に関して上に説明されるように、コンピュータ８００の要素により実行されるものとして説明されており、車両（例えば、図１のフロントガラス１１０およびドライバ向きカメラ１２０を含む車両）に統合される。
【００９８】
動作１０１０において、ＰＰＲ検出モジュール８６５は、環境の表現におけるＰＰＲを決定する。例えば、オブジェクト識別アルゴリズムは、環境の画像に示されるオブジェクトを識別し、オブジェクトのＰＰＰを決定し得る。ＰＰＰとオブジェクトの分類とに基づいて、環境の表現におけるＰＰＲが決定され得る。いくつかの例示的な実施形態において、オブジェクトのＰＰＲは、オブジェクトのバウンディングボックスである。他の例示的な実施形態において、ＰＰＲは、オブジェクトの中心にあるキューブまたは球体である。
【００９９】
動作１０２０において、視線検出モジュール８６０は、ドライバの画像に基づいて、ドライバの注視点を決定する。例えば、ドライバの画像は、ドライバの頭のみならず、ドライバの眼の瞳を示し得る。較正データまたは統計データを使用して、ドライバの眼の中心が推定され得、光線は、その起点を眼の中心に有する眼ごとに決定され得、眼の瞳を通過する。光線が交差するポイントは、ドライバの三次元注視点である。二次元注視点を決定すべく、光線はその起点を両眼の間の中間点に有し、三次元注視点で終了するように生成される。環境の画像の二次元投影を有するこの光線の交点は、ドライバの二次元注視点である。
【０１００】
動作１０３０において、注意分析モジュール８７０は、注視点がＰＰＲの外部にあると決定する。例えば、３Ｄ注視点は３Ｄ  ＰＰＲのボリュームと比較され、注視点がＰＰＲの内部あるか、または外部にあるかを決定し得る。別の例として、２Ｄ注視点は２Ｄ  ＰＰＲのエリアと比較され、注視点がＰＰＲの内部あるか、または外部にあるかを決定し得る。
【０１０１】
動作１０４０において、注意分析モジュール８７０は、決定された注視点がＰＰＲの外部にあるということに基づいて、ＰＰＲに対する注意レベルを下げる。例えば、ドライバの視線がＰＰＲ内にあるかどうかは、図５に示されるように、ＰＰＲに対する注意レベルを調整するのに使用され得る。
【０１０２】
動作１０５０において、注意分析モジュール８７０は、ＰＰＲに対する注意レベルと予め定められた閾値とに基づいて警告を生成する。例えば、０から１の範囲の正規化された注意レベルを使用すると、予め定められた閾値は０．２であり得る。ＰＰＲに対する注意レベルが予め定められた閾値以下に低下するとき、警告が生成される。
【０１０３】
方法１０００を使用して、ドライバは、検出されたオブジェクトに対する注意レベルが不十分な場合に警告を受ける。全ての検出されたオブジェクトに対して動作１０２０−１０４０を繰り返すことにより、ドライバは、任意のオブジェクトに十分な注意が払われないときに警告を受ける。例えば、複数の車両、動物、標識、およびカーブを含む複雑な状況において、ドライバは不注意に、注意が必要なＰＰＲのサブセットに対して過度に焦点を合わせる場合がある。この状況において、方法１０００は、無視されているＰＰＲに関する警告を提供し、おそらく事故を阻止するであろう。
【０１０４】
図１１は、いくつかの例示的な実施形態に係る、一次プレビュー領域を使用する注視ベースのドライバ検出の方法１１００のフローチャート図である。方法１１００は、動作１１１０、１１２０、１１３０、１１４０、１１５０、１１６０および１１７０を含む。例としてであって、限定されるわけではないが、方法１１００は、図８に関して上に説明されるように、コンピュータ８００の要素により実行されるものとして説明されており、車両（例えば、図１から図３に示されるようなフロントガラス３１０およびドライバ向きカメラ１４０を含む車両２００）に統合される。
【０１０５】
動作１１１０において、ＰＰＲ検出モジュール８６５は、環境の画像（例えば、前方向きカメラにより捕捉された画像）からＰＰＰを識別する。例えば、トレーニングされた機械学習アルゴリズムは、入力画像として画像を取得し、画像に示されるオブジェクトの位置およびクラスを識別し得る。
【０１０６】
動作１１２０において、ＰＰＲ検出モジュール８６５は、全てのＰＰＰの特性パラメータに基づいて、全てのＰＰＰの画像にＰＰＲを構築する。特性パラメータは、ＰＰＰに関連付けられるオブジェクトのクラスに基づいてデータベースからアクセスされてよい。例えば、大型車両のクラスに関連付けられるＰＰＰから生成されたＰＰＲは、小さな動物のクラスに関連付けられるＰＰＰから生成されたＰＰＲより大きくてよい。
【０１０７】
動作１１３０において、ＰＰＲ検出モジュール８６５は、ＰＰＲを更新し、追跡処理を使用して、消えたＰＰＲを除去する。追跡処理は、１つの画像から別の画像にオブジェクトを追跡し、その結果、画像を捕捉するカメラに対してオブジェクトが移動すると、オブジェクトは、各画像において別個のオブジェクトとして扱われるのではなく、単一オブジェクトとして維持される。従って、移動するオブジェクトのＰＰＲは維持され、もはや表示されていないオブジェクトついては、以前に記憶されたあらゆるＰＰＲが除去される。
【０１０８】
いくつかの例示的な実施形態において、ＰＰＲ検出モジュール８６５は、車両および道路の情報を使用して将来の経路を推定する。例えば、車両のスピード、現在の方向、車線、方向指示灯、およびハンドルの角度が、車両の将来の推定経路を決定するのに使用され得る。ＰＰＲ検出モジュール８６５は、ＰＰＲが将来の経路に沿っていないことを決定し、第１ＰＰＲが将来の経路に沿っていないという決定に基づいて、第１ＰＰＲを除去し得る。例えば、車両の左側にあり車両から離れるように進行する自転車のＰＰＲは、右折車線上に車両があり右折信号がアクティブ化されている場合に、車両の経路上にないと決定され得る。結果として、自転車のＰＰＲは削除され得、それにより、ドライバが決して自転車に焦点を合わせない場合でも、警告は生成されない。
【０１０９】
動作１１４０において、視線検出モジュール８６０は、ドライバの注視点を推定し、環境の表現（例えば、環境の画像、または環境の画像および他のデータから生成される環境の３Ｄ表現）に注視点を重ね合わせる。この重ね合わせは、動作１１５０において、注意分析モジュール８７０が、ドライバが現在焦点を合わせているＰＰＲ（もしあれば）を決定することを可能にする。動作１１５０において、注意分析モジュール８７０はドライバの焦点の決定に基づいて。各ＰＰＲに対する注意レベルを更新する（例えば、ドライバが焦点を合わせているＰＰＲに対する注意レベルを上げ、他の全てのＰＰＲに対する注意レベルを下げる）。
【０１１０】
いくつかの例示的な実施形態において、注視領域は注視点の代わりに使用される。注視領域は、注視点の推定に対する平均誤差に基づいて決定される半径を有するように、注視点の中心にある円または球体として規定され得る。いくつかの例示的な実施形態において、注視領域は、注視点の推定に対する指向性平均誤差（例えば、ヨーおよびピッチの平均誤差）に基づいて決定される長半径および短半径を有するように、注視点の中心にある楕円として規定される。
【０１１１】
動作１１６０において、注意分析モジュール８７０は、いずれかのＰＰＲが予め定められた閾値以下に低下した注意レベルを有するかを決定する。予め定められた閾値以下に注意レベルが低下した各ＰＰＲに対して、注意分析モジュール８７０は、動作１１７０において、注意散漫状態をトリガし、注意散漫状態から生じる処置を講じる。例えば、警告が生成され得る。動作１１７０が実行（（またはスキップ）された後、ＰＰＲが予め定められた閾値以下の注意レベルを有しないとき、方法１１００は、動作１１１０に戻ることと、更新された画像データで方法１１００を繰り返こととを続ける。例えば、方法１１００はドライバの注意レベルをモニタリングすべく、２００ｍｓごとに実行され得る。
【０１１２】
図１２は、いくつかの例示的な実施形態に係る、一次プレビュー領域を使用する注視ベースのドライバ検出の方法１２００のフローチャート図である。方法１２００は、動作１２１０、１２２０、１２３０、１２４０、１２５０、１２６０、１２７０および１２８０を含む。例としてであって、限定されるわけではないが、方法１２００は、図８に関して上に説明されるように、コンピュータ８００の要素により実行されるものとして説明されており、車両（例えば、図１から図３に示されるようなフロントガラス３１０およびドライバ向きカメラ１４０を含む車両２００）に統合される。方法１２００は、方法１１００の動作１１５０の例示的な実装である。加えてまたは代替的に、方法１２００は、周期的（例えば、１００ｍｓごとに）実行され得る。
【０１１３】
動作１２１０において、注意分析モジュール８７０はループ変数であるｉを０に初期化する。動作１２２０において、注意分析モジュール８７０は、ループ変数を増分する。
【０１１４】
動作１２３０において、注意分析モジュール８７０は、現在のＰＰＲ（ループ変数ｉに対応）がドライバの注視点を含むかを決定する。現在のＰＰＲがドライバの注視点を含むとき、方法１２００は動作１２４０を続ける。それ以外の場合、方法１２００は動作１２６０を続ける。
【０１１５】
動作１２４０において、注意分析モジュール８７０は、現在のＰＰＲの回復関数パラメータを更新する。例えば、式２（図５に関して上記に説明されている）を回復関数として使用して、ドライバがＰＰＲを継続的に注視していた時間の長さである（ｔ‐ｔ０）の値が更新され得る。動作１２５０において、注意分析モジュール８７０は、回復関数を再評価し、ＰＰＲに対する注意レベルを上げる。
【０１１６】
ドライバの注視点が現在のＰＰＲ内にないときに実行される動作１２６０において、注意分析モジュール８７０は、現在のＰＰＲの減衰関数パラメータを更新する。いくつかの例示的な実施形態において、減衰関数パラメータは、回復関数パラメータと同じである。代替的に、回復関数および減衰関数は、別個のパラメータを有する別個の式であってよい。動作１２７０において、注意分析モジュール８７０は、現在のＰＰＲに対して注意の減衰を実行する。従って、ＰＰＲに対する注意レベルは下がる。
【０１１７】
動作１２５０または動作１２７０を実行した後、注意分析モジュールは、全てのＰＰＲが評価されているかを決定する（動作１２８０）。いくつかのＰＰＲが残存するとき、制御は動作１２２０に戻る。従って、全てのＰＰＲに対する注意レベルは、方法１２００の実行により更新される。全てのＰＰＲが処理されると、方法１２００は完了し、全てのＰＰＲに対する注意レベルは更新される。
【０１１８】
図１３は、いくつかの例示的な実施形態に係る、人間の運転者に自動化車両の制御を移転させる方法１３００のフローチャート図である。方法１３００は、動作１３１０、１３２０および１３３０を含む。例としてであって、限定されるわけではないが、方法１３００は、図８に関して上に説明されるように、コンピュータ８００の要素により実行されるものとして説明されており、車両（例えば、図１から図３に示されるようなフロントガラス３１０およびドライバ向きカメラ１４０を含む車両２００）に統合される。
【０１１９】
動作１３１０において、制御移転モジュール８７５は、自動化車両の制御を人間の運転者に移転する要求を受信する。例えば、ドライバはハンドル上のボタンを押して、音声コマンドを発行し、ブレーキペダルをタップして、または、それ以外の方法でドライバが制御の取得を望むということを自動化車両に示し得る。
【０１２０】
動作１３２０において、制御移転モジュール８７５は、人間の運転者が全てのＰＰＲに対して注意していることを確認する。確認は、注意分析モジュール８７０との通信によって実現され得る。例えば、全てのＰＰＲに対するドライバの注意レベルは、予め定められた期間（例えば、１５秒）にわたって決定され得る。予め定められた期間の間に、注意レベルが、警告が生成される閾値以下に低下することが可能でないとき、方法１３００は、動作１３３０を続ける。それ以外の場合、予め定められた期間は再び開始され、全てのＰＰＲに対するドライバの注意レベルのモニタリングは再開される。いくつかの例示的な実施形態において、任意のＰＰＲに対するドライバの注意レベルが不十分なとき、方法１３００は終了される。
【０１２１】
動作１３３０において、制御移転モジュール８７５は、要求に応答して、且つ確認に基づいて、車両の制御を人間の運転者に移転する。制御の移転は、車両の自動制御を解除することと、ドライバに警告を提供して手動制御が作動したことを示すことと、または、これらの任意の好適な組み合わせを含んでよい。
【０１２２】
方法１３００の使用は、道路およびあらゆる障害物または危険に対してドライバが適切な注意を払っていることを確実にすることにより、自動化車両の制御を人間の運転者に移転することの安全を向上させ得る。加えて、偶発的な要求はドライバからの十分な注意を伴う可能性が低いので、方法１３００の使用は、制御の偶発的な移転（例えば、ドライバが偶発的にボタンを押すこと、または、それ以外の方法で制御移転要求を提供することによる）を回避し得る。
【０１２３】
いくつかの実施形態が上記に詳細に説明されているが、他の変更が可能である。例えば、望ましい結果を得るために、図に示された論理フローは、示される特定の順序または順番を必要としない。他の段階が提供されてもよく、または、説明されたフローから段階がなくなってもよい。他のコンポーネントが加えられてもよく、または、説明されたシステムから除去されてもよい。他の実施形態は、以下の特許請求の範囲の範囲内であり得る。
【図１】
2021513144.tif 000005
【図２】
2021513144.tif 000006
【図３】
2021513144.tif 000007
【図４】
2021513144.tif 000008
【図５】
2021513144.tif 000009
【図６】
2021513144.tif 000010
【図７】
2021513144.tif 000011
【図８】
2021513144.tif 000012
【図９】
2021513144.tif 000013
【図１０】
2021513144.tif 000014
【図１１】
2021513144.tif 000015
【図１２】
2021513144.tif 000016
【図１３】
2021513144.tif 000017
【手続補正書】
【提出日】令和2年9月7日(2020.9.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
注意散漫な運転を検出する、コンピュータにより実装される方法であって、
１つまたは複数のプロセッサが、環境の表現において一次プレビュー領域（ＰＰＲ）を決定する段階と、
前記１つまたは複数のプロセッサが、ドライバの画像のシーケンスに基づいて前記ドライバの注視点を決定する段階と、
前記１つまたは複数のプロセッサが、前記注視点は前記ＰＰＲの外部にあると決定する段階と、
決定された前記注視点が前記ＰＰＲの外部にあるということに基づいて、前記１つまたは複数のプロセッサが、前記ＰＰＲに対する注意レベルを下げる段階と、
前記ＰＰＲに対する前記注意レベルに基づいて、前記１つまたは複数のプロセッサが、警告を生成する段階と
を備える、方法。
【請求項２】
前記ドライバの第２画像のシーケンスに基づいて、前記ドライバの第２注視点を決定する段階と、
前記第２注視点が前記ＰＰＲの内部にあることに基づいて、前記ＰＰＲに対する前記注意レベルを上げる段階と
をさらに備える、請求項１に記載の方法。
【請求項３】
前記ＰＰＲに対する前記注意レベルを下げる前記段階は、ロジスティック減衰関数を使用して前記注意レベルを決定する段階を有する、請求項１または２に記載の方法。
【請求項４】
前記ＰＰＲは、第１ＰＰＲであり、複数のＰＰＲのうち１つであり、前記複数のＰＰＲの各ＰＰＲは対応する注意レベルを有し、
前記警告を生成する前記段階はさらに、前記複数のＰＰＲの各ＰＰＲに対する前記注意レベルに基づいており、
前記方法はさらに、
車両および道路情報を使用して将来の経路を推定する段階と、
前記第１ＰＰＲが前記将来の経路に沿っていないと決定する段階と、
前記第１ＰＰＲが前記将来の経路に沿っていないという前記決定に基づいて、前記複数のＰＰＲから前記第１ＰＰＲを除去する段階と
を含む、請求項３に記載の方法。
【請求項５】
前記複数のＰＰＲの各ＰＰＲに対する優先度スコアを決定する段階をさらに含み、
前記複数のＰＰＲの各ＰＰＲに対する前記注意レベルは、前記ＰＰＲに対する前記優先度スコアに基づく、
請求項４に記載の方法。
【請求項６】
１つまたは複数のプロセッサが、前記環境の前記表現に示されるオブジェクトを識別する段階をさらに有し、
前記ＰＰＲを決定する前記段階は、前記オブジェクトの前記ＰＰＲを決定する段階を有する、
請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記オブジェクトの前記ＰＰＲを決定する前記段階は、前記オブジェクトの速度を決定する段階を含む、請求項６に記載の方法。
【請求項８】
前記環境の前記画像に示されるオブジェクトを識別する段階は、トレーニングされた機械学習アルゴリズムを用いて前記画像を分析する段階を有する、請求項１から７のいずれか一項に記載の方法。
【請求項９】
前記ＰＰＲを決定する前記段階は、一次プレビュー点（ＰＰＰ）を決定する段階と、前記ＰＰＰと予め定められた半径とに基づいて前記ＰＰＲを決定する段階とを有する、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
前記環境の前記表現は、赤外線（ＩＲ）カメラにより生成される、請求項１から９のいずれか一項に記載の方法。
【請求項１１】
前記環境の前記表現において前記ＰＰＲを決定する前記段階は、道路の車線を識別する段階を有する、請求項１から１０のいずれか一項に記載の方法。
【請求項１２】
前記環境の前記表現は、レーザスキャナにより生成される、請求項１から９のいずれか一項に記載の方法。
【請求項１３】
前記警告を生成する前記段階は、聴覚的警告を生成する段階を有する、請求項１から１２のいずれか一項に記載の方法。
【請求項１４】
前記警告を生成する前記段階は、触覚的警告を生成する段階を有する、請求項１から１２のいずれか一項に記載の方法。
【請求項１５】
前記警告を生成する前記段階は、車両のブレーキをアクティブ化する段階を有する、請求項１から１２のいずれか一項に記載の方法。
【請求項１６】
前記警告を生成する前記段階は、車両方向を変更する段階を有する、請求項１から１２のいずれか一項に記載の方法。
【請求項１７】
前記ＰＰＲに対する前記注意レベルを下げる前記段階は、前記ドライバのプロファイルに基づく、請求項１から１６のいずれか一項に記載の方法。
【請求項１８】
前記警告を生成する前記段階はさらに、予め定められた閾値に基づく、請求項１から１７のいずれか一項に記載の方法。
【請求項１９】
命令を含むメモリストレージと、
前記メモリストレージと通信する１つまたは複数のプロセッサと
を備え、
前記１つまたは複数のプロセッサは、
請求項１から１８のいずれか一項に記載の方法を実行する前記命令を実行する、注意散漫な運転を検出するシステム。
【請求項２０】
前記１つまたは複数のプロセッサに、
請求項１から１８のいずれか一項に記載の方法を実行させる、プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００８９
【補正方法】変更
【補正の内容】
【００８９】
ＰＰＲ検出モジュール８６５は、車両の環境の１つまたは複数の表現を処理して、ＰＰＲを識別する。例えば、環境の画像は１つまたは複数の外装向きカメラから入力インタフェース８２５を介して受信されてもよく、または環境の３Ｄ表現は外装向きカメラから受信される画像に基づいて生成されてもよい。環境の表現におけるオブジェクトは、時々現れたり消えたりし得る。また、それらの外観（例えば、サイズおよび位置）は異なり得る。環境の現在の表現におけるオブジェクトが環境の以前の表現におけるオブジェクトと同一のオブジェクトであると決定すべく、オブジェクト追跡が使用される。まず、環境の各表現において検出されたオブジェクトが受信される。次に、位置および運動継続条件によって、オブジェクトは一時的ドメインにおいて追跡され、環境の現在の表現において検出されたオブジェクトを同一のオブジェクトの以前のインスタンスに関連付ける。カルマンフィルタおよびオブジェクト追跡アルゴリズム（ＤＳＳＴなど）が一般的に使用される。また、特徴は、オンライン学習によってオブジェクトを関連付けることと識別することとに使用され得る。例えば、新たなオブジェクトはシーン境界からまたは特定の閉塞された画像領域からのみ現れ得るので、境界または閉塞された画像領域に隣接していない任意の識別されたオブジェクトは、環境の以前の表現において対応するオブジェクトを有するべきである。新たなオブジェクトは、以前の観察されたオブジェクトのいずれかに関連付けられることができず、注意散漫検出アルゴリズムで分類および登録される。同様に、既存のＰＰＰ関連オブジェクトは、シーン境界を介してまたは閉塞によってのみ消えることができる。特定の予め定められた期間（例えば、３０秒）後、消えたオブジェクトは、オブジェクト登録リストから除去される。従って、オブジェクトの関連ＰＰＲは、もしあれば、削除される。
【国際調査報告】
2021513144.tif 000018
2021513144.tif 000019