(57)【要約】【課題】自律型車両の運転者に交通状況を知らせる。【解決手段】車両に備えられた外部センサから、前記車両の外部環境をセンシングした値を表すセンサデータを取得する取得ステップと、前記センサデータを分析して、前記車両の外部における交通状況を識別する識別ステップと、前記交通状況に関する情報を視覚的に描写する視覚フィードバックを表示させるためのグラフィックデータを生成する生成ステップと、インタフェース装置に前記視覚フィードバックを表示させるために、前記グラフィックデータを前記インタフェース装置に送信する送信ステップと、を含む。【選択図】図１Ｂ
2018198422.tif 000002
【特許請求の範囲】
【請求項１】
車両に備えられた外部センサから、前記車両の外部環境をセンシングして得られたセンサデータを取得する取得ステップと、
前記センサデータを分析して、前記車両の外部における交通状況を識別する識別ステップと、
前記交通状況に関する情報を視覚的に描写する視覚フィードバックを表示させるためのグラフィックデータを生成する生成ステップと、
インタフェース装置に前記視覚フィードバックを表示させるために、前記グラフィックデータを前記インタフェース装置に送信する送信ステップと、
を含む、方法。
【請求項２】
前記交通状況が、運転者の注意を必要とする交通状況にあることを判定する判定ステップをさらに含み、
前記視覚フィードバックは、前記交通状況が、運転者の注意を必要とする交通状況にあることを示すものである、
請求項１に記載の方法。
【請求項３】
前記インタフェース装置は、前記車両の運転者が前方を向いた状態で視認できる表示装置と、前記車両の運転者が所持するコンピューティングデバイスの双方を含み、
前記視覚フィードバックの内容は、前記インタフェース装置の種類によって異なる、
請求項１または２に記載の方法。
【請求項４】
前記インタフェース装置は、拡張現実（ＡＲ）表示装置であり、
前記視覚フィードバックは、前記車両の運転者の視界に重畳表示される、
請求項１または２に記載の方法。
【請求項５】
前記インタフェース装置は、３次元ヘッドアップディスプレイである、
請求項１または２に記載の方法。
【請求項６】
前記インタフェース装置は、前記車両の運転者が所持するコンピューティングデバイスである、
請求項１または２に記載の方法。
【請求項７】
前記生成ステップでは、前記視覚フィードバックの表示位置をさらに決定し、
前記送信ステップでは、前記表示位置に関する情報をさらに前記インタフェース装置に送信する、
請求項１から６のいずれかに記載の方法。
【請求項８】
前記車両の運転者が視認している対象を判定するステップをさらに含み、
前記生成ステップでは、前記運転者が視認している対象を遮らない位置を前記表示位置とする、
請求項７に記載の方法。
【請求項９】
請求項１から８のいずれかに記載の方法をコンピュータに実行させるためのプログラム。
【請求項１０】
車両に備えられた外部センサから、前記車両の外部環境をセンシングして得られたセンサデータを取得する取得手段と、
前記センサデータを分析して、前記車両の外部における交通状況を識別する識別手段と
、
前記交通状況に関する情報を視覚的に描写する視覚フィードバックを表示させるためのグラフィックデータを生成する生成手段と、
インタフェース装置に前記視覚フィードバックを表示させるために、前記グラフィックデータを前記インタフェース装置に送信する送信手段と、
を含む、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願への相互参照）
本出願は、「TRAFFIC SITUATION AWARENESS FOR AN AUTONOMOUS VEHICLE」と題し、２
０１７年５月２３日に出願された米国特許出願第１５／６０３，１０１号の優先権を主張する。これらの特許出願は、その全体が参照によって本願明細書に援用される。
【０００２】
本明細書は、自律型車両の運転者に交通状況認知を提供することに関する。自律型車両の運転者とは、自律型車両の運転席に着座している人間のユーザである。
【背景技術】
【０００３】
車両制御システムがますます普及しつつある。車両制御システムの一例として、先進運転者支援システムがある。
【０００４】
ＡＤＡＳシステムは、これらのＡＤＡＳシステムを含む車両に１つまたは複数の自律機構を提供する。例えば、ＡＤＡＳシステムは、車両が走行している車線に対する車両の位置を監視することができ、車両がその車線の外側にそれ始めた場合、ＡＤＡＳシステムは是正措置を講じて、車両が車線内にとどまるように車両の位置を変え、または状況を是正する措置を講じる必要があることが車両の運転者にわかるように運転者に通知を提供する。
【０００５】
一部の車両は、自律型車両とみなすのに十分な数および質の自律機構を含んでいる。
【０００６】
自律型車両は、車両の運転者が介入して車両を支援しなければすべての交通状況に対処することができない。また、運転者が自律型車両に交通状況への対処を安心して任せられないような性質の交通状況もある。これらはどちらも、運転者が車道に注意を払い、現在の交通状況についての自分自身の知識を使用して自律型車両の運転に介入する必要があるカテゴリの交通状況である。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
米国運輸省道路交通安全局（ＮＨＴＳＡ）は、異なるレベルの自律型車両、例えば、レベル０〜５を定義している。ある車両が別の車両より高いレベル番号を有する場合（レベル３はレベル２やレベル１より高いレベル番号であるなど）には、高いレベル番号を有する車両は、低いレベル番号を有する車両と比べてより大きい組み合わせおよび数の自律機構を提供する。異なるレベルの自律型車両について以下で簡単に説明する。
【０００８】
レベル０：車両に搭載されたＡＤＡＳシステムは、車両を制御せず、車両の運転者に警告のみを発する。
【０００９】
レベル１：運転者は常に制御する態勢でいなければならない。車両に搭載されたＡＤＡＳシステムは、定速走行・車間距離制御（ＡＣＣ）、自動操舵を伴った駐車支援、および車線維持支援（ＬＫＡ）タイプＩＩのうちの１つまたは複数などの自律機構を任意の組み合わせで提供することができる。
【００１０】
レベル２：運転者は、車道環境内の物体および事象を検出し車両に搭載されたＡＤＡＳシステムが適正に応答しない場合に（運転者の主観的判断に基づいて）対処する義務がある。車両に搭載されたＡＤＡＳシステムは、加速、制動、ステアリングを実行する。車両
に搭載されたＡＤＡＳシステムは、運転者による引き継ぎの直後に無効にすることができる。
【００１１】
レベル３：既知の限られた環境（高速道路など）内で、運転者は運転動作から安全に注意をそらすことができる。ただし、必要に応じて引き続き車両を制御する態勢でいなければならない。
【００１２】
レベル４：車両に搭載されたＡＤＡＳシステムは、荒天など少数の環境を除くすべての環境で車両を制御することができる。運転者が（車両に搭載されたＡＤＡＳシステムで構成されている）自動化システムを有効にできるのは、そうしても安全な場合だけに限られる。自動化システムが有効であるとき、車両が安全に、容認された基準に適合して動作するのに運転者の注意は不要である。
【００１３】
レベル５：目的地の設定とシステムの始動以外に、人間の介入は不要である。自動化システムは、合法的に運転できるどんな場所へでも運転し、独自の判断（車両が位置している管轄区域によって異なりうる）を下すことができる。
【００１４】
自律型車両がレベル２で動作している場合、運転者は大抵、前方を見て交通状況を監視する必要がある。本発明者らの研究によれば、運転者が大抵、前方を見て交通状況を監視しているので、運転者は、交通状況を認知しており、運転者が恐怖を感じる交通状況に車両が遭遇した場合には介入できるため、安全と感じる傾向がある。しかし、自律型車両がレベル３以上で動作している場合、自律型車両は運転者の代わりにほとんどすべての運転動作に対処するので、運転者は、前方を見て交通状況を監視する以外の「個人的作業」を自由に行うことができる（例えば、ビデオゲームをする、本を読む、食べ物を食べる、ラップトップＰＣで作業するなど）。
【００１５】
多くの場合、運転者がこれらの個人的作業をしているとき、運転者は、前方を見たり、交通状況を容易に認知したりする可能性の低い姿勢をとる。例えば、運転者は、自分の電話、本、食べ物、ラップトップＰＣを見下ろす姿勢、サイドウィンドウから景色を眺める姿勢、助手席の乗員や手荷物を見る姿勢、後部座席の乗員や手荷物を見る姿勢などをとる。これらの状況では、運転者は、姿勢を変えずに交通状況を監視することができない（またはその可能性が低い）。また運転者が姿勢を変えたくない場合もある。例えば、運転者がラップトップＰＣで作業している場合、運転者は作業に集中しているため、目を上げたくない場合もある。
【００１６】
たとえレベル３の自律走行システムであっても、運転者が現在の交通状況を理解していない場合、運転者は恐怖を感じうる。というのは、運転者は、自律型車両がいかなる瞬間にも車道で危険な状況（例えば、道路上の悪質な運転者、崖のすぐ隣を走行している、すぐ近くに多数の歩行者がいる、見通しの悪い交差点など）に対処している可能性があるのではないかと心配しており、またはそうした不安を有するからである。その結果、運転者は心配と不安のために本当にリラックスして運転を楽しむことができなくなる。
【課題を解決するための手段】
【００１７】
本明細書に記載するのは、この問題を、（１）自律型車両の運転者の注意または介入を必要とする交通状況の存在を識別すること、（２）例えば、交通状況を記述する視覚フィードバック（視覚通知、グラフィック、オーバーレイなど）を記述するグラフィックデータを決定すること、および（３）インタフェース装置の動作を制御して運転者に視覚フィードバックを提供すること、によって解決する状況認知システムおよび状況認知方法である。
【００１８】
インタフェース装置は、状況認知システムによって生成された視覚フィードバックを表示するように動作する１台または複数の電子機器を含む。状況認知システムによって生成され、インタフェース装置によって表示される視覚フィードバックは、状況認知システムによって判定される以下の種類の情報、すなわち、（１）交通状況（例えば、現在の交通状況や将来の交通状況の推定）、（２）交通状況と関連付けられた推定危険レベル、および（３）交通状況に応じた運転者による推奨される措置、のうちの１つまたは複数を記述する視覚コンテンツを含む。
【００１９】
いくつかの実施形態では、インタフェース装置は、自律型車両の運転者によって自律型車両に持ち込まれた、自律型車両の要素として搭載されたものではない１台または複数の電子コンピューティングデバイスを含みうる。例えば、インタフェース装置は、スマートフォン、ラップトップＰＣ、スマートウォッチ、電子書籍機器（すなわち、電子リーダ、電子書籍リーダ、電子書籍機器）、電子ディスプレイと、図１Ａに関連して後述する無線通信プロトコルのうちの１つを介して車両の通信ユニットから無線メッセージを送受信することを可能にする無線通信機能とを含むタブレット・コンピューティング・デバイスまたは何らかの他のパーソナル電子機器、のうちの１台または複数を含みうる。
【００２０】
いくつかの実施形態では、インタフェース装置は拡張現実（以下「ＡＲ」という）表示装置を含みうる。ＡＲ表示装置は、グラフィックコンテンツ（例えば、グラフィックオーバーレイ、３次元グラフィックオーバーレイ、３次元グラフィックなど）を表示するように動作すると同時に、運転者が現実世界を見ることも可能にする透明電子ディスプレイを有する電子機器を含む。例えば、ＡＲ表示装置は、ＡＲゴーグルや、自律型車両のフロントガラスに搭載された３次元ヘッドアップディスプレイ（以下「３Ｄ−ＨＵＤ」という）（例えば図６を参照）のうちの１つまたは複数を含む。
【００２１】
上述のように、状況認知システムは、自律型車両の要素である。いくつかの実施形態では、自律型車両は、高自律型車両（単数の場合は「ＨＡＶ」、複数の場合は「ＨＡＶｓ」）である。ＨＡＶとは、２０１６年９月に発行された、ＮＨＴＳＡの「Ｆｅｄｅｒａｌ  Ａｕｔｏｍａｔｅｄ  Ｖｅｈｉｃｌｅｓ  Ｐｏｌｉｃｙ：Ａｃｃｅｌｅｒａｔｉｎｇ  ｔｈｅ  Ｎｅｘｔ  Ｒｅｖｏｌｕｔｉｏｎ  ｉｎ  Ｒｏａｄｗａｙ  Ｓａｆｅｔｙ」という名称の政策文書の９ページでＮＨＴＳＡによって定義されているレベル３以上で動作するＡＤＡＳシステムを含む車両である。ＡＤＡＳシステムを本明細書では「ＡＤＡＳシステムセット」と呼ぶ。例えば、図１Ａに示すＡＤＡＳシステムセット１８０を参照されたい。
【００２２】
いくつかの実施形態では、状況認知システムは、運転者が前方を見ていないときにＨＡＶの運転者に交通状況認知を提供するように設計された、ＨＡＶに搭載されたシステムである。本明細書で使用する場合、「前方を見る」とは、運転者が運転席に座ってＨＡＶではない通常の車両を操作するのと同様のやり方で車両のフロントガラスを通して見ることを意味する。状況認知システムは、現実世界における現在の交通状況を監視し、インタフェース装置を介してＨＡＶの運転者に視覚フィードバックを提供する。例えば、状況認知システムは、インタフェース装置の動作を制御して、運転者に現在の交通状況または将来の交通状況の推定を認知させるように構成された視覚フィードバックを運転者に提供する。
【００２３】
いくつかの実施形態では、状況認知システムは、運転者の注意を必要とする異常な交通状況がないか監視し、インタフェース装置の動作を制御して、そうしないと運転者の気が散ることになる場合に異常な交通状況を運転者に認知させて、車両の安全性を高める。
【００２４】
１台または複数のコンピュータのシステムを、動作に際してシステムに特定の操作また
は動作を行わせるソフトウェア、ファームウェア、ハードウェア、またはそれらの組み合わせをシステム上にインストールすることによってそれらの動作を行うように構成することができる。１つまたは複数のコンピュータプログラムを、データ処理装置によって実行された場合に装置に特定の操作または動作を行わせる命令を含むことによってそれらの動作を行うように構成することができる。
【００２５】
１つの一般的な態様は、ＨＡＶによって実施される方法を含み、本方法は、ＨＡＶの１台または複数の外部センサによって記録された、ＨＡＶの外部の物理環境の１つまたは複数の測定値を記述する外部センサデータを分析して交通状況を識別するステップと、交通状況を記述する情報を視覚的に描写する視覚フィードバックを記述するグラフィックデータを生成するステップと、ＨＡＶに通信可能に結合された、ＨＡＶのプロセッサからグラフィックデータを受け取るように動作するインタフェース装置に視覚フィードバックを表示させるために、ＨＡＶのプロセッサが、グラフィックデータをインタフェース装置に提供するステップと、を含む。本態様の他の実施形態は、対応するコンピュータシステム、装置、および方法の動作を行うように各々構成された１台または複数のコンピュータ記憶装置上に記録されたコンピュータプログラムを含む。
【００２６】
各実施態様は以下の特徴のうちの１つまたは複数を含みうる。
インタフェース装置がＡＲ表示装置であり、グラフィックデータがＡＲ表示装置に拡張現実体験を提供させるように動作する方法。
ＡＲ表示装置が、ＡＲゴーグルおよびＡＲグラスを含むグループの中から選択される方法。
ＡＲ表示装置が、ＨＡＶの要素である３Ｄ−ＨＵＤである方法。
インタフェース装置が、スマートフォン、ラップトップＰＣ、タブレットコンピュータ、電子書籍リーダ、およびスマートウォッチを含むグループの中から選択される方法。
視覚フィードバックがインタフェース装置の電子ディスプレイに表示される位置を記述する位置データを生成するステップと、グラフィックデータによって記述される視覚フィードバックが位置データによって記述される位置に表示されるように、位置データおよびグラフィックデータをインタフェース装置に提供するステップとをさらに含む方法。
位置データは、視覚フィードバックがインタフェース装置の電子ディスプレイに表示される位置がＨＡＶの運転者によって見られている物体を遮らないように動作する方法。
前述の技法の各実施態様は、ハードウェア、方法もしくはプロセス、またはコンピュータアクセス可能媒体上のコンピュータソフトウェアを含みうる。
【００２７】
１つの一般的態様はＨＡＶのシステムを含み、本システムは、コンピュータコードを格納した非一時的メモリを含む車載コンピュータシステムであって、コンピュータコードが、車載コンピュータシステムによって実行された場合に車載コンピュータシステムに、ＨＡＶの１台または複数の外部センサによって記録された、ＨＡＶの外部の物理環境の１つまたは複数の測定値を記述する外部センサデータを分析して交通状況を識別させ、交通状況を記述する情報を視覚的に描写する視覚フィードバックを記述するグラフィックデータを生成させ、ＨＡＶに通信可能に結合された、ＨＡＶのプロセッサからグラフィックデータを受け取るように動作するインタフェース装置に視覚フィードバックを表示させるために、ＨＡＶのプロセッサに、グラフィックデータをインタフェース装置に提供させる、車載コンピュータシステム、を含む。本態様の他の実施形態は、対応するコンピュータシステム、装置、および方法の動作を行うように各々構成された１台または複数のコンピュータ記憶装置上に記録されたコンピュータプログラムを含む。
【００２８】
各実施態様は以下の特徴のうちの１つまたは複数を含みうる。
インタフェース装置がＡＲ表示装置であり、グラフィックデータがＡＲ表示装置にＡＲ体験を提供させるように動作するシステム。
ＡＲ表示装置が、ＡＲゴーグルおよび拡張現実グラスを含むグループの中から選択されるシステム。
ＡＲ表示装置が、ＨＡＶの要素である３Ｄ−ＨＵＤであるシステム。
インタフェース装置が、スマートフォン、ラップトップＰＣ、タブレットコンピュータ、電子書籍リーダ、およびスマートウォッチを含むグループの中から選択されるシステム。
非一時的メモリが追加のコンピュータコードを格納しており、コンピュータコードは、車載コンピュータシステムによって実行された場合に車載コンピュータシステムに、視覚フィードバックがインタフェース装置の電子ディスプレイに表示される位置を記述する位置データを生成させ、グラフィックデータによって記述される視覚フィードバックが位置データによって記述される位置に表示されるように、位置データおよびグラフィックデータをインタフェース装置に提供させるシステム。
位置データは、視覚フィードバックがインタフェース装置の電子ディスプレイに表示される位置がＨＡＶの運転者によって見られている物体を遮らないように動作するシステム。
前述の技法の各実施態様は、ハードウェア、方法もしくはプロセス、またはコンピュータアクセス可能媒体上のコンピュータソフトウェアを含みうる。
【００２９】
１つの一般的態様は、車載コンピュータシステムによって実行された場合に車載コンピュータシステムに、ＨＡＶの１台または複数の外部センサによって記録された、ＨＡＶの外部の物理環境の１つまたは複数の測定値を記述する外部センサデータを分析して交通状況を識別させ、交通状況を記述する情報を視覚的に描写する視覚フィードバックを記述するグラフィックデータを生成させ、ＨＡＶに通信可能に結合された、ＨＡＶのプロセッサからグラフィックデータを受け取るように動作するインタフェース装置に視覚フィードバックを表示させるために、ＨＡＶのプロセッサに、グラフィックデータをインタフェース装置に提供させる、コンピュータ実行可能コードを格納したＨＡＶの車載コンピュータシステムの非一時的メモリを含むコンピュータプログラム製品を含む。本態様の他の実施形態は、対応するコンピュータシステム、装置、および方法の動作を行うように各々構成された１台または複数のコンピュータ記憶装置上に記録されたコンピュータプログラムを含む。
【００３０】
各実施態様は以下の特徴のうちの１つまたは複数を含みうる。
インタフェース装置がＡＲ表示装置であり、グラフィックデータがＡＲ表示装置に拡張現実体験を提供させるように動作するコンピュータプログラム製品。
ＡＲ表示装置が、ＡＲゴーグルおよびＡＲグラスを含むグループの中から選択されるコンピュータプログラム製品。
ＡＲ表示装置が、ＨＡＶの要素である３Ｄ−ＨＵＤであるコンピュータプログラム製品。
インタフェース装置が、スマートフォン、ラップトップＰＣ、タブレットコンピュータ、電子書籍リーダ、およびスマートウォッチを含むグループの中から選択されるコンピュータプログラム製品。
非一時的メモリが追加のコンピュータコードを格納しており、コンピュータコードは、車載コンピュータシステムによって実行された場合に車載コンピュータシステムに、視覚フィードバックがインタフェース装置の電子ディスプレイに表示される位置を記述する位置データを生成させ、グラフィックデータによって記述される視覚フィードバックが位置データによって記述される位置に表示されるように、位置データおよびグラフィックデータをインタフェース装置に提供させるコンピュータプログラム製品。
前述の技法の各実施態様は、ハードウェア、方法もしくはプロセス、またはコンピュータアクセス可能媒体上のコンピュータソフトウェアを含みうる。
【００３１】
本発明に係る方法は、
車両に備えられた外部センサから、前記車両の外部環境をセンシングして得られたセンサデータを取得する取得ステップと、前記センサデータを分析して、前記車両の外部における交通状況を識別する識別ステップと、前記交通状況に関する情報を視覚的に描写する視覚フィードバックを表示させるためのグラフィックデータを生成する生成ステップと、インタフェース装置に前記視覚フィードバックを表示させるために、前記グラフィックデータを前記インタフェース装置に送信する送信ステップと、を含む。
【００３２】
また、前記交通状況が、運転者の注意を必要とする交通状況にあることを判定する判定ステップをさらに含み、前記視覚フィードバックは、前記交通状況が、運転者の注意を必要とする交通状況にあることを示すものであることを特徴としてもよい。
また、前記インタフェース装置は、前記車両の運転者が前方を向いた状態で視認できる表示装置と、前記車両の運転者が所持するコンピューティングデバイスの双方を含み、前記視覚フィードバックの内容は、前記インタフェース装置の種類によって異なることを特徴としてもよい。
また、前記インタフェース装置は、拡張現実（ＡＲ）表示装置であり、前記視覚フィードバックは、前記車両の運転者の視界に重畳表示されることを特徴としてもよい。
また、前記インタフェース装置は、３次元ヘッドアップディスプレイであることを特徴としてもよい。
また、前記インタフェース装置は、前記車両の運転者が所持するコンピューティングデバイスであることを特徴としてもよい。
また、前記生成ステップでは、前記視覚フィードバックの表示位置をさらに決定し、前記送信ステップでは、前記表示位置に関する情報をさらに前記インタフェース装置に送信することを特徴としてもよい。
また、前記車両の運転者が視認している対象を判定するステップをさらに含み、前記生成ステップでは、前記運転者が視認している対象を遮らない位置を前記表示位置とすることを特徴としてもよい。
【００３３】
また、本発明に係るシステムは、
センサデータを取得する取得手段と、前記センサデータを分析して、前記車両の外部における交通状況を識別する識別手段と、前記交通状況に関する情報を視覚的に描写する視覚フィードバックを表示させるためのグラフィックデータを生成する生成手段と、インタフェース装置に前記視覚フィードバックを表示させるために、前記グラフィックデータを前記インタフェース装置に送信する送信手段と、を含むことを特徴とする。
【００３４】
本開示は、限定のためではなく例として、添付の図面の各図に示されており、図面において類似した参照符号は類似した要素を指すのに用いられている。
【図面の簡単な説明】
【００３５】
【図１Ａ】いくつかの実施形態によるＨＡＶの状況認知システムの動作環境を示すブロック図である。
【図１Ｂ】いくつかの実施形態による、ＨＡＶの状況認知システムが、ＨＡＶの運転者が前方を見ていない場合の運転者への第１の視覚フィードバックおよび運転者が前方を見ている場合の運転者への第２の視覚フィードバックを提供するためのプロセスを示すブロック図である。
【図２】いくつかの実施形態によるＨＡＶの状況認知システムを含むコンピュータシステムの例を示すブロック図である。
【図３】いくつかの実施形態による交通状況の総合危険レベルの判定を示すブロック図である。
【図４Ａ】インタフェース装置を介して見ているときに状況認知システムによって提供される視覚フィードバックの運転者の視界の例である。
【図４Ｂ】いくつかの実施形態による、インタフェース装置を介して見ているときに状況認知システムによって提供される視覚フィードバックの運転者の視界の例である。
【図５Ａ】いくつかの実施形態による、インタフェース装置を介して見ているときに状況認知システムによって提供される視覚フィードバックの運転者の視界の例である。
【図５Ｂ】いくつかの実施形態による、スマートフォンで見ているときに状況認知システムによって提供される視覚フィードバックの運転者の視界の例である。
【図５Ｃ】いくつかの実施形態による、ラップトップＰＣで見ているときに状況認知システムによって提供される視覚フィードバックの運転者の視界の例である。
【図６】いくつかの実施形態による３Ｄ−ＨＵＤを示すブロック図である。
【図７Ａ】いくつかの実施形態による視覚フィードバックを提供するための方法の流れ図の例である。
【図７Ｂ】いくつかの実施形態による視覚フィードバックを提供するための方法の流れ図の例である。
【図８】いくつかの実施形態による、状況認知システムがインタフェース装置の動作を制御するためのプロセスを示すブロック図である。
【発明を実施するための形態】
【００３６】
本明細書に記載するのは、状況認知システムの実施形態である。状況認知システムは、自律型車両の要素である。いくつかの実施形態では、状況認知システムはＨＡＶの要素である。例えば、状況認知システムを含む自律型車両は、自律型車両にＮＨＴＳＡによって定義されたレベル３以上の自律機構を提供するＡＤＡＳシステムを含む。
【００３７】
自律型車両が（上述の）レベル３以上で動作している場合、運転者は前方を見ておらず、または交通状況を監視しておらず、よって、自律型車両が運転者の支援を必要とする交通状況に入ろうとしていることを知らない可能性が高い。例えば、運転者は、自律型車両が朝の通勤に対処している間に、自分の携帯電話でゲームをしていたり、本を読んでいたりすることができる。また運転者は、交通状況を監視するために決定的な瞬間に個人的な活動（例えば、ゲームや本）から目を離したくはない。本明細書に記載する状況認知システムは、ＨＡＶの運転者に交通状況を知らせ続け、運転者に、運転者の注意を必要とする（または運転者の注意を必要としうる）交通状況を通知するように動作し、しかも、運転者が頭部の向きを変えたり前方を見たりすると自分の個人的活動から目を離さなければならなくなるので、運転者にそうするよう求めない。
【００３８】
いくつかの実施形態では、状況認知システムは、ＨＡＶの１つまたは複数の外部車両センサを使用して現在の交通状況を監視する。外部車両センサは、ＨＡＶの物理環境を測定し、これらの測定値を記述するセンサデータを生成する。このようにして、状況認知システムは、ＨＡＶに近接した現在の交通状況を記述するセンサデータを生成する。
【００３９】
いくつかの実施形態では、状況認知システムは、センサデータを分析して、インタフェース装置に、インタフェース装置の電子ディスプレイを介して運転者に視覚フィードバックを提供させるためのグラフィックデータを生成する（例えば、ＡＲゴーグル、ＡＲグラスまたは３Ｄ−ＨＵＤが交通状況を記述したＡＲ体験を提供してもよく、運転者のスマートフォン、ラップトップＰＣまたはタブレット・コンピューティング・デバイスが交通状況を記述した通知を提供してもよい）。
【００４０】
いくつかの実施形態では、状況認知システムによって提供される視覚フィードバックは、（１）交通状況、（２）交通状況に起因する現在の危険レベルの推定値、および（３）危険レベルを軽減するための運転者による推奨される措置、のうちの１つまたは複数を記述する。
【００４１】
いくつかの実施形態では、状況認知システムは、ＨＡＶの運転者が視界タイプを変更した場合にそれを検出し、それに応じて視覚フィードバックを修正するように動作する。例えば、状況認知システムは、車両の運転者が、前方視以外の視界タイプ（例えば、本、スマートフォン、ラップトップＰＣ、タブレット・コンピューティング・デバイスを見る、サイドウィンドウから外を見る、乗員に話しかける）から、前方視の視界タイプ（例えば、ＨＡＶのフロントガラスを通して実質的に前方を見る）に変化した場合にそれを検出する。視界タイプの変化を検出したことに応答して、状況認知システムは次いで、スマートフォン、ラップトップＰＣまたはタブレット・コンピューティング・デバイス（運転者が前方視以外の視界タイプ状態であるときに運転者が見ているものである）を介した視覚フィードバックの表示から、３Ｄ−ＨＵＤ（運転者が前方視の視界タイプ状態であるときに運転者が見ているものである）を介した視覚フィードバックの表示に切り替わる。
【００４２】
別の例では、運転者は、前方視以外の視界タイプ状態ではＡＲゴーグルを着用しており、状況認知システムは、ＡＲゴーグルに第１のタイプの視覚フィードバックを表示させ、次いで、運転者が前方視の視界タイプに切り替わったことに応答して、状況認知システムはＡＲゴーグルに第２のタイプの視覚フィードバックを表示させる。例えば、図１Ｂを参照されたい。
【００４３】
いくつかの実施形態では、状況認知システムは、運転者の注意の対象を判定し、視覚フィードバックが運転者の注意の対象を遮らないように視覚フィードバックをインタフェース装置の電子ディスプレイ内に位置決めする。例えば、図４Ａおよび図４Ｂを参照されたい。
【００４４】
いくつかの実施形態では、状況認知システムは、運転者の注意を必要とする異常な交通状況がないか監視する。これらの状況では、状況認知システムは、そうしないと運転者の気が散ることになる場合にインタフェース装置を使用して運転者に異常な交通状況について警告して、車両の安全性を高める。例えば、図４Ａ、図４Ｂおよび図５Ａ〜図５Ｃを参照されたい。
【００４５】
いくつかの実施形態では、状況認知システムは、現在の運転状況を分析して、運転者が現在危険にさらされているかどうか判定する。例えば、図３を参照されたい。状況認知システムが、運転者は危険にさらされていないと判定した場合には、状況認知システムはインタフェース装置に、現在の状況が安全であることを指示するメッセージを含む視覚フィードバックを描写させる。本発明者らの研究によれば、この視覚フィードバックは、例えば、視覚フィードバックがない状態と比較して、運転者をより安全に感じさせ、したがってあまり不安に感じさせないため、有益である。本発明者らの研究によれば、一部の運転者は、ＨＡＶで走行しているときに必ずしもすべての運転状況でＨＡＶを信頼できるとは限らないため、安全に感じず、したがって不安に感じ、この視覚フィードバックはこの問題に対処する。その結果、状況認知システムを含むＨＡＶの運転者は、安全であるかどうか心配し、絶えず道路を確認しようとする以外に、他の活動（読書、スマートフォンでのゲームプレーなど）を行って楽しむ可能性がより高くなる。
【００４６】
いくつかの実施形態では、状況認知システムは運転者が危険にさらされていると判定し、状況認知システムは、（１）状況認知システムがインタフェース装置の動作を制御して、インタフェース装置に危険の警告を含む視覚通知を表示させる機能、および（２）状況認知システムがＨＡＶの１つまたは複数のＡＤＡＳシステムの動作を制御して、これら１つまたは複数のＡＤＡＳシステムに、運転者または車両に対する現在のリスクに適した是正措置を開始させる機能のうちの１つまたは複数を提供する。
【００４７】
いくつかの実施形態では、状況認知システムによって提供される視覚フィードバックは、運転者が前方を見ていないときに運転者の周辺視で、例えば運転者の目の隅で見えるように構成される。このようにして、運転者は、絶えず姿勢を変えなくても交通状況が危険になりつつあることに気付くことができる。運転者はその場合、危険が快適レベルを超えたとき、または状況認知システムが視覚フィードバックを介して運転者に介入を促したときに、状況に反応することができる。
【００４８】
（動作環境の例）
図１Ａを参照すると、いくつかの実施形態によるＨＡＶ１２３の状況認知システム１９９の動作環境１００が示されている。
【００４９】
動作環境１００は、ＨＡＶ１２３、気象サーバ１０７、およびインタフェース装置１９８のうちの１つまたは複数を含みうる。これらの要素は、ネットワーク１０５を介して相互に通信可能に結合されうる。図１Ａには、１台のＨＡＶ１２３、１台の気象サーバ１０７、１台のインタフェース装置１９８、および１つのネットワーク１０５が示されているが、実際には、動作環境１００は、１台または複数のＨＡＶ１２３、１台または複数の気象サーバ１０７、１台または複数のインタフェース装置１９８および１つまたは複数のネットワーク１０５を含みうる。
【００５０】
ネットワーク１０５は従来型の有線または無線とすることができ、スター型構成、トークンリング構成、または他の構成を含む多くの異なる構成を有することができる。さらに、ネットワーク１０５は、ローカル・エリア・ネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）（例えばインターネット）、または、複数の機器やエンティティが通信するための他の相互接続データパスを含みうる。いくつかの実施形態では、ネットワーク１０５は、ピアツーピアネットワークを含みうる。またネットワーク１０５は、多種多様な通信プロトコルでデータを送信するための電気通信ネットワークの各部分に結合され、またはこれらを含みうる。いくつかの実施形態では、ネットワーク１０５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信ネットワーク、またはショート・メッセージ・サービス（ＳＭＳ）、マルチメディア・メッセージング・サービス（ＭＭＳ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、直接データ接続、ワイヤレス・アプリケーション・プロトコル（ＷＡＰ）、電子メール、狭域通信（ＤＳＲＣ）、全二重無線通信などによるものを含むデータを送受信するためのセルラ通信ネットワークを含む。またネットワーク１０５は、３Ｇ、４Ｇ、ＬＴＥ、ＬＴＥ−Ｖ２Ｘ、ＶｏＬＴＥまたは任意の他のモバイル・データ・ネットワークもしくはモバイル・データ・ネットワークの組み合わせを含むモバイル・データ・ネットワークも含みうる。さらに、ネットワーク１０５は１つまたは複数のＩＥＥＥ８０２．１１無線ネットワークを含みうる。
【００５１】
いくつかの実施形態では、ＨＡＶ１２３は、ＤＳＲＣ搭載の自律型車両である。ネットワーク１０５は、ＨＡＶ１２３と気象サーバ１０７との間で共有される１つまたは複数の通信路を含みうる。通信路は、ＤＳＲＣ、ＬＴＥ−Ｖ２Ｘ（ＬＴＥ  ｖｅｈｉｃｌｅ  ｔｏ  ｅｖｅｒｙｔｈｉｎｇ）、全二重無線通信または任意の他の無線通信プロトコルを含みうる。例えば、ネットワーク１０５は、ＤＳＲＣメッセージ、ＤＳＲＣプローブ、基本安全メッセージ（ＢＳＭ）、または本明細書に記載するデータのいずれかを含む全二重メッセージを送信するのに使用されうる。
【００５２】
ＨＡＶ１２３は、レベル３以上で動作するＡＤＡＳシステムセット１８０を有する任意の種類の自律型車両である。例えば、ＨＡＶ１２３は、自動車、トラック、スポーツ・ユーティリティ・ビークル、バス、トレーラトラック、ドローンまたは任意の他の車道を走る乗り物の各種のＨＡＶ１２３うちの１つである。
【００５３】
いくつかの実施形態では、ＨＡＶ１２３は、プロセッサ１２５、メモリ１２７、通信ユニット１４５、ＤＳＲＣ準拠のＧＰＳユニット１５１、外部センサ１５５、内部センサ１５９、ＡＤＡＳシステムセット１８０、インタフェース装置１９８、および状況認知システム１９９の各要素のうちの１つまたは複数を含む。ＨＡＶ１２３のこれらの要素は、バス１２０を介して相互に通信可能に結合されている。
【００５４】
（ＨＡＶ１２３）
いくつかの実施形態では、プロセッサ１２５およびメモリ１２７は、車載コンピュータシステム（図２に関連して後述するコンピュータシステム２００など）の要素である。
【００５５】
いくつかの実施形態では、車載コンピュータシステムは、状況認知システム１９９の動作を行わせ、または制御するように動作する。車載コンピュータシステムは、メモリ１２７に格納されたデータにアクセスし、データを実行して、状況認知システム１９９または状況認知システム１９９の要素（例えば図２を参照）について本明細書に記載する機能を提供するように動作する。車載コンピュータシステムは、車載コンピュータシステムに、図７Ａおよび図７Ｂに関連して後述する方法７００のステップのうちの１つまたは複数を実行させる状況認知システム１９９を実行するように動作する。
【００５６】
いくつかの実施形態では、ＤＳＲＣ準拠のＧＰＳユニット１５１は、１つまたは複数の異なる時刻におけるＨＡＶ１２３の１つまたは複数の位置を記述するＧＰＳデータ１８６を取得するように動作する。ＧＰＳデータ１８６は、ＨＡＶ１２３がこの特定の位置にあった時刻を指示するようにタイムスタンプを付されうる。
【００５７】
いくつかの実施形態では、ＤＳＲＣ準拠のＧＰＳユニット１５１は、ＨＡＶ１２３またはＤＳＲＣ準拠のＧＰＳユニット１５１を、その任意の派生または分岐を含む以下のＤＳＲＣ規格のうちの１つまたは複数に準拠させるのに必要な任意のハードウェアまたはソフトウェアを含む：ＥＮ  １２２５３：２００４  Ｄｅｄｉｃａｔｅｄ  Ｓｈｏｒｔ−Ｒａｎｇｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ−Ｐｈｙｓｉｃａｌ  ｌａｙｅｒ  ｕｓｉｎｇ  ｍｉｃｒｏｗａｖｅ  ａｔ  ５．８  ＧＨｚ  （ｒｅｖｉｅｗ）；ＥＮ  １２７９５：２００２  Ｄｅｄｉｃａｔｅｄ  Ｓｈｏｒｔ−Ｒａｎｇｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ（ＤＳＲＣ）−ＤＳＲＣ  Ｄａｔａ  ｌｉｎｋ  ｌａｙｅｒ：Ｍｅｄｉｕｍ  Ａｃｃｅｓｓ  ａｎｄ  Ｌｏｇｉｃａｌ  Ｌｉｎｋ  Ｃｏｎｔｒｏｌ（ｒｅｖｉｅｗ）；ＥＮ  １２８３４：２００２  Ｄｅｄｉｃａｔｅｄ  Ｓｈｏｒｔ−Ｒａｎｇｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ−Ａｐｐｌｉｃａｔｉｏｎ  ｌａｙｅｒ（ｒｅｖｉｅｗ）；ＥＮ  １３３７２：２００４  Ｄｅｄｉｃａｔｅｄ  Ｓｈｏｒｔ−Ｒａｎｇｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ（ＤＳＲＣ）−ＤＳＲＣ  ｐｒｏｆｉｌｅｓ  ｆｏｒ  ＲＴＴＴ  ａｐｐｌｉｃａｔｉｏｎｓ（ｒｅｖｉｅｗ）；ＥＮ  ＩＳＯ  １４９０６：２００４  Ｅｌｅｃｔｒｏｎｉｃ  Ｆｅｅ  Ｃｏｌｌｅｃｔｉｏｎ−Ａｐｐｌｉｃａｔｉｏｎ  ｉｎｔｅｒｆａｃｅ。
【００５８】
いくつかの実施形態では、ＤＳＲＣ準拠のＧＰＳユニット１５１は、車線レベルの精度でＨＡＶ１２３の位置を記述するＧＰＳデータ１８６を提供するように動作する。例えば、ＨＡＶ１２３は、車道環境の車道を走行している。車線レベルの精度とは、ＨＡＶ１２３の走行車線が正確に決定されうるほどＨＡＶ１２３の位置が正確に記述されることを意味する。状況認知システム１９９のコンテキストでは、車線レベルの精度により、状況認知システム１９９は、状況データ１８９、およびＨＡＶ１２３に対する他の有形物の活動によって引き起こされるＨＡＶ１２３の危険レベル（例えば、図３および総合危険レベル３０５を参照）をより正確に決定することができる。本明細書で使用する場合、「他の有形物」は、例えば、車道上または車道環境内の他の車両、車道上または車道環境内の動物、車道上または車道環境内の破片、車道上または車道環境内の液体、車道に影響を及ぼす、または車道環境内のガスなどを含む。
【００５９】
いくつかの実施形態では、ＤＳＲＣ準拠のＧＰＳユニット１５１は、ＤＳＲＣ規格に準拠した精度でＨＡＶ１２３の位置を記述するＧＰＳデータ１８６を取得するためにＧＰＳ衛星と無線通信するハードウェアを含む。ＤＳＲＣ規格は、ＧＰＳデータ１８６が、２台の車両（例えば、そのうち１台がＨＡＶ１２３である）が同時に同じ車線内にあるかどうか推測するのに十分な精度であることを必要とする。車線は車道の車線とすることができる。いくつかの実施形態では、ＤＳＲＣ準拠のＧＰＳユニット１５１は、その２次元位置を、上空に何もない状態での時間の６８％にわたって、ＧＰＳユニット１５１の実際の位置の１．５メートル以内で識別し、監視し、追跡するように動作する。車道の車線は通常は幅３メートル未満であるため、ＧＰＳデータ１８６の２次元誤差が１．５メートル未満であるときには常に、本明細書に記載する状況認知システム１９９はＤＳＲＣ準拠のＧＰＳユニット１５１によって提供されるＧＰＳデータ１８６を分析し、同時に車道上にある２台以上の異なる車両（例えば、そのうちの１台がＨＡＶ１２３である）の相対位置に基づいて、ＨＡＶ１２３が走行している車道の車線を決定することができる。
【００６０】
ＤＳＲＣ準拠のＧＰＳユニット１５１と比較すると、ＤＳＲＣ規格に準拠しない従来のＧＰＳユニットは、ＨＡＶ１２３の位置を車線レベルの精度で決定することができない。例えば、典型的な車道の車線はおおよそ３メートル幅である。しかし、従来のＧＰＳユニットにはＨＡＶ１２３の実際の位置に対して±１０メートルの精度しかない。その結果、そのような従来のＧＰＳユニットは、いくつかの実施形態において状況認知システム１９９が使用するのに十分な精度ではなくなる。というのは、従来のＧＰＳユニットは、ＨＡＶ１２３が位置する車線を正確に反映せず、最終的には状況認知システム１９９は、（１）運転者の注意を得るに値するほどに危険ではない走行状況を運転者に警告し、または（２）状況認知システム１９９の設計目標および仕様に基づいて警告されるべきであった走行状況を運転者に警告することができないことになり、どちらの場合も最終的には、ＨＡＶ１２３の運転者に、状況認知システム１９９の動作を信頼させない結果になって、状況認知システム１９９の目的が損なわれ、ＨＡＶ１２３の運転者による十分な信頼を得られなくなるからである。
【００６１】
いくつかの実施形態では、ＤＳＲＣ準拠のＧＰＳユニット１５１は、ＨＡＶ１２３またはＨＡＶ１２３の運転者にナビゲーション支援を提供する機能を含む。
【００６２】
外部センサ１５５は、ＨＡＶ１２３の外部の物理環境を測定するように動作する１台または複数のセンサを含む。例えば、外部センサ１５５は、ＨＡＶ１２３に近接した物理環境の１つまたは複数の物理特性を記録することができる。外部センサ１５５のセンサは外部センサデータ１８３を生成することができる。外部センサデータ１８３は、外部センサ１５５によって測定された記録を記述することができる。例えば、外部センサ１５５は、カメラによって取り込まれた画像など、外部センサ１５５によって取り込まれた画像を、外部センサデータ１８３としてメモリ１２７に格納することができる。
【００６３】
いくつかの実施形態では、外部センサ１５５には、カメラ、ＬＩＤＡＲセンサ、レーダセンサ、レーザ高度計、赤外線検知器、動き検知器、サーモスタット、聴音器、一酸化炭素センサ、二酸化炭素センサ、酸素センサ、質量空気流量センサ、エンジン冷却剤温度センサ、スロットル位置センサ、クランクシャフト位置センサ、自動車エンジンセンサ、バルブタイマ、空気燃焼比メータ、死角メータ、カーブフィーラ、不具合検出器、ホール効果センサ、マニホールド絶対圧センサ、駐車センサ、レーダガン、速度計、速度センサ、タイヤ空気圧モニタリングセンサ、トルクセンサ、トランスミッション油温センサ、タービン速度センサ（ＴＳＳ）、可変リラクタンスセンサ、車両速度センサ（ＶＳＳ）、水センサ、車輪速度センサ、および任意の他の種類の自動車センサの各車両センサのうちの１台または複数が含まれうる。外部センサデータ１８３は、これらの外部センサ１５５のう
ちの１台または複数によって記録された任意の測定値を記述する。
【００６４】
内部センサ１５９は、運転者の頭部位置を記述する頭部位置データを生成するために、運転者の頭部位置を監視して測定するセンサである。いくつかの実施形態では、内部センサ１５９は、インタフェース装置１９８の一部である。例えば、インタフェース装置１９８は、位置データ１９３を生成するのに使用される頭部位置データを生成するために運転者の頭部位置を監視し測定する組み込み内部センサ１５９を含む３Ｄ−ＨＵＤである。頭部位置データは、内部センサデータ１８５の要素である。位置データ１９３は、視覚フィードバックがインタフェース装置１９８の電子ディスプレイ内のどこに表示されるか記述する。例えば、位置データ１９３は、グラフィック（例えば、視覚フィードバックの一例）が、３Ｄ−ＨＵＤ、ＡＲゴーグル、ＡＲグラス、スマートフォン、スマートウォッチ、ラップトップＰＣ、電子書籍リーダなどのインタフェース装置の表示領域内のどこに表示されるか記述する。
【００６５】
いくつかの実施形態では、頭部位置データは、運転者がインタフェース装置１９８を着用している間の運転者の頭部の向きを記述する。例えば、頭部位置データは、ロール座標、ピッチ座標およびヨー座標を含む回転ベクトルを含みうる。状況認知システム１９９は、内部センサデータ１８５によって記述される頭部位置データに基づいて、運転者がどこを見ているか、およびインタフェース装置１９８に、状況認知システム１９９によって生成され、グラフィックデータ１９１によって記述される視覚フィードバックを位置決めするようどのように命令するか決定する。これは、いくつかの実施形態による、状況認知システム１９９が頭部位置データに基づいて位置データ１９３を決定する一例である。
【００６６】
いくつかの実施形態では、内部センサ１５９は、運転者が何を見ているか（例えば、任意の目に見える物体）監視し、状況認知システム１９９によって生成された視覚フィードバックを表示するのに適さないインタフェース装置１９８の電子ディスプレイの可視領域のサブセットを記述する内部センサデータ１８５を生成する。状況認知システム１９９は、視覚フィードバックが内部センサデータ１８５によって記述されるサブセットを含まない電子ディスプレイの領域に表示されるように構成された内部センサデータ１８５に基づいて位置データ１９３を生成する。このようにして、内部センサデータ１８５は、有益には、視覚フィードバックが運転者の注意を引いている物体を見えにくくしないようにする。例えば、図４Ａ、４Ｂおよび５Ａを参照されたい。インタフェース装置１９８の電子ディスプレイは、インタフェース装置１９８がＡＲ表示装置である場合は透明（または実質的に透明）であるが、インタフェース装置１９８がＡＲ表示装置でない場合は（例えば、インタフェース装置１９８がスマートフォン、ラップトップＰＣ、タブレットコンピュータ、スマートウォッチ、電子リーダなどである場合は）不透明とすることができる。
【００６７】
いくつかの実施形態では、内部センサ１５９は、運転者の頭部位置を識別、追跡し、または運転者が見ている物体を追跡するように動作する１台または複数のカメラ、距離計、または他のセンサを含む。
【００６８】
いくつかの実施形態では、内部センサ１５９は、運転者を監視して運転者の視界タイプが経時的に変化するかどうか追跡する。運転者の視界タイプの変化は、内部センサデータ１８５によって記述される。状況認知システム１９９は、運転者の視界タイプに変化がないか内部センサデータ１８５を監視する。状況認知システム１９９が運転者の視界タイプの変化を検出した場合には、状況認知システム１９９は、プロセッサ１２５によって実行された場合に、プロセッサ１２５に、インタフェース装置１９８によって表示される視覚フィードバックを修正するステップ、インタフェース装置１９８によって表示される視覚フィードバックの配置を修正するステップ、および運転者に視覚フィードバックを提供するのにどのインタフェース装置１９８が使用されるかを修正するステップ、のうちの１つ
または複数を実行させる。例えば、図１Ｂを参照されたい。例えば、運転者は自分のスマートフォン（この例では運転者の第１のインタフェース装置１９８である）を見ており、状況認知システム１９９はスマートフォンに交通状況についての第１の視覚フィードバックを表示させると仮定する（例えば、図５Ｂを参照）。後で運転者がラップトップＰＣを見ているように視界タイプを変更した場合には、状況認知システム１９９はスマートフォンに第１の視覚フィードバックを表示させるのをやめ、ラップトップＰＣ（これはここでは第２のインタフェース装置１９８である）に交通状況についての第２の視覚フィードバックを表示させ始める。続いて運転者が、ＨＡＶ１２３のフロントガラスに対面しているように視界タイプを再び変更した場合には、状況認知システム１９９はラップトップＰＣに第２の視覚フィードバックを表示させるのをやめ、ＡＲ表示装置（これはここでは第３のインタフェース装置１９８である）に交通状況についての第３の視覚フィードバックを表示させ始める。インタフェース装置１９８のオペレーティングシステムのフックは状況認知システム１９９が運転者の視界タイプの変化を識別するのを支援することができる。なお、第１の視覚フィードバック、第２の視覚フィードバック、第３の視覚フィードバックは、装置の種類に応じて異なる内容を有していてもよい。
【００６９】
プロセッサ１２５は、計算処理を行い、表示装置に電子表示信号を提供する算術論理演算装置、マイクロプロセッサ、汎用コントローラ、または何らかの他のプロセッサアレイを含む。プロセッサ１２５はデータ信号を処理し、複雑命令セットコンピュータ（ＣＩＳＣ）アーキテクチャ、縮小命令セットコンピュータ（ＲＩＳＣ）アーキテクチャ、または命令セットの組み合わせを実施するアーキテクチャを含む様々なコンピューティングアーキテクチャを含みうる。ＨＡＶ１２３は、１つまたは複数のプロセッサ１２５を含みうる。他のプロセッサ、オペレーティングシステム、センサ、ディスプレイ、および物理構成も可能である。いくつかの実施形態では、１つまたは複数のプロセッサ１２５は、ＨＡＶ１２３の車載コンピュータまたは電子制御ユニット（ＥＣＵ）の要素である。
【００７０】
メモリ１２７は、プロセッサ１２５によってアクセスおよび実行されうる命令またはデータを格納する非一時的記憶媒体である。命令またはデータは、本明細書に記載する技法を行うためのコードを含みうる。メモリ１２７は、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）・デバイス、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）・デバイス、フラッシュメモリ、または何らかの他のメモリデバイスとすることができる。いくつかの実施形態では、メモリ１２７は、ハード・ディスク・ドライブ、フロッピー・ディスク・ドライブ、ＣＤ−ＲＯＭデバイス、ＤＶＤ−ＲＯＭデバイス、ＤＶＤ−ＲＡＭデバイス、ＤＶＤ−ＲＷデバイス、フラッシュ・メモリ・デバイス、またはより永続的に情報を格納するための何らかの他の大容量記憶装置を含む、不揮発性メモリまたは類似した永続記憶装置および媒体も含む。メモリ１２７の一部分は、バッファまたは仮想ランダム・アクセス・メモリ（仮想ＲＡＭ）として使用するために確保されうる。ＨＡＶ１２３は、１つまたは複数のメモリ１２７を含みうる。
【００７１】
ＨＡＶ１２３のメモリ１２７は、外部センサデータ１８３、内部センサデータ１８５、ＧＰＳデータ１８６、気象データ１８７、ＡＤＡＳデータ１８８、状況データ１８９、グラフィックデータ１９１、および位置データ１９３のうちの１つまたは複数を格納することができる。メモリ１２７のこれらの要素について以下で説明する。
【００７２】
外部センサデータ１８３は、ＨＡＶ１２３の外部センサ１５５によって記録された測定値を記述する。
【００７３】
いくつかの実施形態では、外部センサデータ１８３は、ＡＤＡＳシステムセット１８０および状況認知システム１９９のうちの１つまたは複数への入力として提供され、この入力に少なくとも一部に基づいて出力を生成するのに使用される。
【００７４】
いくつかの実施形態では、状況認知システム１９９は１つまたは複数の入力を受け取り、次いで出力として状況データ１８９を生成する。状況データ１８９は、状況認知システム１９９への１つまたは複数の入力の分析に基づいて状況認知システム１９９によって生成される。状況認知システム１９９への１つまたは複数の入力は、例えば、外部センサデータ１８３、ＧＰＳデータ１８６、気象データ１８７、およびＡＤＡＳデータ１８８のうちの１つまたは複数を含む。
【００７５】
いくつかの実施形態では、状況データ１８９は、状況認知システム１９９への１つまたは複数の入力の分析によって指示される現在の交通状況を記述する。例えば、状況認知システム１９９は、プロセッサ１２５によって実行された場合に、プロセッサ１２５に、状況認知システム１９９への１つまたは複数の入力を受け取るステップ、状況認知システムへの１つまたは複数の入力を分析して、状況認知システム１９９への１つまたは複数の入力によって指示されるＨＡＶ１２３の現在の交通状況を判定するステップ、および出力としてＨＡＶ１２３の現在の交通状況を記述した状況データ１８９を生成するステップ、のうちの１つまたは複数を実行させるコードおよびルーチンを含む。例えば、図８を参照されたい。
【００７６】
いくつかの実施形態では、状況データ１８９は、状況認知システム１９９への１つまたは複数の入力の分析によって指示される推定される将来の交通状況を記述する。例えば、状況認知システム１９９は、プロセッサ１２５によって実行された場合に、プロセッサ１２５に、状況認知システム１９９への１つまたは複数の入力を受け取るステップ、状況認知システム１９９への１つまたは複数の入力を分析して、ＨＡＶ１２３の将来の交通状況を推定するステップ、および出力としてＨＡＶ１２３の将来の交通状況の推定を記述する状況データ１８９を生成するステップ、のうちの１つまたは複数を実行させるコードおよびルーチンを含む。例えば、図８を参照されたい。
【００７７】
いくつかの実施形態では、ＡＤＡＳシステムセット１８０は、１つまたは複数の入力を受け取り、次いで出力として、ＡＤＡＳシステムセット１８０への１つまたは複数の入力に一部は基づいて生成されるＡＤＡＳデータ１８８を生成することができる。ＡＤＡＳシステムセット１８０への１つまたは複数の入力は、例えば、外部センサデータ１８３、ＧＰＳデータ１８６、および気象データ１８７のうちの１つまたは複数を含む。ＡＤＡＳデータ１８８は、ＡＤＡＳシステムセット１８０に含まれるＡＤＡＳシステムのうちの１つまたは複数が現在実行している、または、ＡＤＡＳシステムセット１８０への１つまたは複数の入力に応答して実行する予定である１つまたは複数の動作を記述する。
【００７８】
内部センサデータ１８５は、ＨＡＶ１２３の内部センサ１５９によって記録された測定値を記述する。例えば、内部センサデータ１８５は、運転者の頭部位置を記述した頭部位置データを含む。別の例では、内部センサデータ１８５は、運転者が現在どのオブジェクトを見ているか記述する。また内部センサデータ１８５は、運転者が現在見ているオブジェクトに重なるインタフェース装置１９８の電子ディスプレイの可視領域のサブセットを、このサブセットが位置データ１９３によって記述される領域に含まれないように（例えば、状況認知システムによって提供される視覚フィードバックのために運転者が現在見ている物体が見えにくくなり、運転者を煩わせることのないように）記述することができる。
【００７９】
グラフィックデータ１９１は、状況認知システムによってインタフェース装置１９８を使用してＨＡＶ１２３の運転者に提供される視覚フィードバックを記述するデジタルデータである。グラフィックデータ１９１によって記述される視覚フィードバックの一例は、状況認知システム１９９によってインタフェース装置１９８に提供される命令に基づいて
インタフェース装置１９８の電子ディスプレイによって表示されるグラフィックを含む。例えば、グラフィックデータ１９１は、状況認知システム１９９がインタフェース装置１９８にグラフィックデータ１９１によって記述されるグラフィックを表示させるためにグラフィックデータ１９１をインタフェース装置１９８に提供したことに応答してインタフェース装置１９８の電子ディスプレイ上に表示されるグラフィックを記述する。例えば、図８を参照されたい。
【００８０】
いくつかの実施形態では、グラフィックデータ１９１によって記述される視覚フィードバックは、ＨＡＶ１２３の運転者のための情報、すなわち、（１）状況データ１８９によって記述される交通状況（例えば、現在の交通状況または将来の交通状況の推定）、（２）交通状況と関連付けられた、状況データ１８９によって記述される推定危険レベル、および（３）交通状況（やはり状況データ１８９に含まれうる）に応じた運転者による推奨される措置、のうちの１つまたは複数を記述する。視覚フィードバックの例は、図１Ｂ、図３、図４Ａ、図４Ｂ、図５Ａ、図５Ｂおよび図５Ｃに含まれている。スペースに制約があるため、視覚フィードバックのこれらの例には、本段落に記載されているすべての情報は含まれていない。したがって、図１Ｂ、図３、図４Ａ、図４Ｂ、図５Ａ、図５Ｂ、および図５Ｃに含まれる視覚フィードバックのこれらの例は、本段落に記載されているすべての情報を含まず、限定を目的とするものではない。
【００８１】
いくつかの実施形態では、状況認知システムは、グラフィックデータ１９１の生成をトリガする交通状況を状況認知システム１９９が識別した時間に対して測定された場合、リアルタイムまたは実質的にリアルタイムでグラフィックデータ１９１によって記述される視覚フィードバックを提供するように動作する。
【００８２】
いくつかの実施形態では、グラフィックデータ１９１は、インタフェース装置１９８に、ＨＡＶ１２３の運転者にＡＲ体験を提供させるように動作する。例えば、図１Ｂ、４Ａおよび４Ｂを参照されたい。
【００８３】
ＧＰＳデータ１８６は、ＨＡＶ１２３の地理的位置を記述する。いくつかの実施形態では、ＧＰＳデータ１８６は、ＤＳＲＣ準拠のＧＰＳユニット１５１から受信され、特定の車線内のＨＡＶ１２３の位置がＧＰＳデータ１８６によって識別される精度でＨＡＶ１２３の現在位置を記述する。
【００８４】
気象データ１８７は、ＨＡＶ１２３の地理的位置に存在する気象を記述する。例えば、通信ユニット１４５は、ＨＡＶ１２３の地理的位置に存在する気象を記述する気象データ１８７について、ネットワーク１０５を介して気象サーバ１０７に問い合わせる。問い合わせは、ＨＡＶ１２３の最新または現在のＧＰＳデータ１８６を含む。気象サーバ１０７は、ＧＰＳデータ１８６によって記述される地理的位置と関連付けられた気象データ１８７を返す。例えば、気象サーバ１０７は、地理的位置のリスト（例えば、緯度および経度によって記述される）およびこれらの地理的位置の気象状態を含むデータ構造を含む。気象サーバ１０７は、ＧＰＳデータ１８６を受信し、ＧＰＳデータ１８６によって記述される地理的位置と関連付けられた気象データ１８７を取得する。次いで気象サーバ１０７は、ネットワーク１０５を介して気象データ１８７を通信ユニット１４５に送信する。次いで通信ユニット１４５は、気象データ１８７をメモリ１２７に格納する。このプロセスは、ＧＰＳデータ１８６の新しいインスタンスごとに、または何らかの他の間隔で繰り返されうる。
【００８５】
通信ユニット１４５は、ネットワーク１０５との間で、または別の通信路にデータを送受信する。いくつかの実施形態では、通信ユニット１４５は、ＤＳＲＣ送受信機、ＤＳＲＣ受信機、およびＨＡＶ１２３（または気象サーバ１０７やインタフェース装置１９８な
どの何らかの他の装置）をＤＳＲＣ対応装置にするのに必要な他のハードウェアまたはソフトウェアを含みうる。
【００８６】
いくつかの実施形態では、通信ユニット１４５は、ネットワーク１０５への、または別の通信路への直接物理接続のためのポートを含む。例えば、通信ユニット１４５は、ユニバーサル・シリアル・バス（ＵＳＢ）、セキュアデジタル（ＳＤ）、ＣＡＴ−５、またはネットワーク１０５との有線通信のための類似したポートを含む。いくつかの実施形態では、通信ユニット１４５は、ＩＥＥＥ８０２．１１；ＩＥＥＥ８０２．１６；ＢＬＵＥＴＯＯＴＨ（登録商標）；ＥＮ  ＩＳＯ  １４９０６：２００４  Ｅｌｅｃｔｒｏｎｉｃ  Ｆｅｅ  Ｃｏｌｌｅｃｔｉｏｎ−Ａｐｐｌｉｃａｔｉｏｎ  ｉｎｔｅｒｆａｃｅ；ＥＮ  １１２５３：２００４  Ｄｅｄｉｃａｔｅｄ  Ｓｈｏｒｔ−Ｒａｎｇｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ−Ｐｈｙｓｉｃａｌ  ｌａｙｅｒ  ｕｓｉｎｇ  ｍｉｃｒｏｗａｖｅ  ａｔ
５．８  ＧＨｚ  （ｒｅｖｉｅｗ）；ＥＮ  １２７９５：２００２  Ｄｅｄｉｃａｔｅｄ  Ｓｈｏｒｔ−Ｒａｎｇｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ（ＤＳＲＣ）−ＤＳＲＣ  Ｄａｔａ  ｌｉｎｋ  ｌａｙｅｒ：Ｍｅｄｉｕｍ  Ａｃｃｅｓｓ  ａｎｄ  Ｌｏｇｉｃａｌ
Ｌｉｎｋ  Ｃｏｎｔｒｏｌ（ｒｅｖｉｅｗ）；ＥＮ  １２８３４：２００２  Ｄｅｄｉｃａｔｅｄ  Ｓｈｏｒｔ−Ｒａｎｇｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ−Ａｐｐｌｉｃａｔｉｏｎ  ｌａｙｅｒ（ｒｅｖｉｅｗ）；ＥＮ  １３３７２：２００４  Ｄｅｄｉｃａｔｅｄ  Ｓｈｏｒｔ−Ｒａｎｇｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ（ＤＳＲＣ）−ＤＳＲＣ  ｐｒｏｆｉｌｅｓ  ｆｏｒ  ＲＴＴＴ  ａｐｐｌｉｃａｔｉｏｎｓ（ｒｅｖｉｅｗ）；２０１４年８月２８日に出願された、「Ｆｕｌｌ−Ｄｕｐｌｅｘ  Ｃｏｏｒｄｉｎａｔｉｏｎ
Ｓｙｓｔｅｍ」という名称の米国特許出願第１４／４７１，３８７号明細書に記載されている通信方法；または別の適切な無線通信方法を含む、１つまたは複数の無線通信方法を用いてネットワーク１０５または他の通信路とデータを交換するための無線送受信機を含む。
【００８７】
いくつかの実施形態では、通信ユニット１４５は、米国特許出願第１４／４７１，３８７号明細書に記載されている全二重協調システムを含む。
【００８８】
いくつかの実施形態では、通信ユニット１４５は、ショート・メッセージ・サービス（ＳＭＳ）、マルチメディア・メッセージング・サービス（ＭＭＳ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、直接データ接続、ＷＡＰ、電子メール、または別の適切な種類の電子通信によるものを含む、セルラ通信ネットワーク上でデータを送受信するためのセルラ通信送受信機を含む。いくつかの実施形態では、通信ユニット１４５は有線ポートおよび無線送受信機を含む。また通信ユニット１４５は、ＴＣＰ／ＩＰ、ＨＴＴＰ、ＨＴＴＰＳ、およびＳＭＴＰ、ミリ波、ＤＳＲＣなどを含む標準ネットワークプロトコルを用いたファイルまたはメディアオブジェクトの配布のためのネットワーク１０５への他の従来型の接続も提供する。
【００８９】
ＡＤＡＳシステムセット１８０は、１つまたは複数の先進運転者支援システム（ＡＤＡＳシステム）を含みうる。ＡＤＡＳシステムセット１８０に含まれるＡＤＡＳシステムの例には、ＨＡＶ１２３の、ＡＣＣシステム、アダプティブ・ハイビーム・システム、アダプティブ・ライト・コントロール・システム、自動駐車システム、自動車ナイト・ビジョン・システム、死角モニタ、衝突回避システム、横風安定化システム、運転者居眠り検知システム、運転者モニタリングシステム、緊急時運転者支援システム、前方衝突警告システム、交差点支援システム、速度適応制御システム、車線逸脱警告システム、歩行者保護システム、交通標識認識システム、旋回アシスト、および逆走警告システム、の各要素のうちの１つまたは複数が含まれる。これらの例示的な各ＡＤＡＳシステムはそれぞれ、本明細書で「ＡＤＡＳ機構」または「ＡＤＡＳ機能」と呼ぶ独自の機構および機能を提供する。またこれらの例示的なＡＤＡＳシステムによって提供される機構および機能を、本明
細書ではそれぞれ、「自律機構」または「自律機能」とも呼ぶ。図１Ａに示すように、ＡＤＡＳシステムセット１８０のＡＤＡＳシステムによって提供される自律機構および自律機能は、状況認知システム１９９を含む車両を高自律型車両として分類するのに十分である。
【００９０】
インタフェース装置１９８は、３Ｄ−ＨＵＤ（例えば、図６および図１Ｂに示される第２の視覚フィードバック１７０を参照）、ＡＲヘッドセット、ＡＲゴーグル、ＡＲグラスなどの従来のＡＲ表示装置（例えば、図４Ａ、図４Ｂおよび図５Ａを参照）、スマートフォン（例えば、図５Ｂを参照）、ラップトップＰＣ（例えば、図５Ｃを参照）、電子書籍リーダ、ならびに電子ディスプレイ、状況認知システムとの通信を可能にする通信ユニット、および状況認知システム１９９が電子ディスプレイの動作を制御して、電子機器のユーザにリアルタイムまたは実質的にリアルタイムの視覚フィードバックを提供することを可能にするアプリケーション・プログラミング・インタフェースもしくはグラフィックフックを有する任意の他の電子機器、のうちの１つまたは複数を含む。図１Ａには、ＨＡＶの要素として１台のインタフェース装置１９８のみが描かれているが、実際にはＨＡＶ１２３は、複数のインタフェース装置１９８を含みうる。
【００９１】
いくつかの実施形態では、インタフェース装置１９８は、Ｇｏｏｇｌｅ（商標）  Ｇｌａｓｓ、ＣａｓｔＡＲ、Ｍｏｖｅｒｉｏ  ＢＴ−２００、Ｍｅｔａ、Ｖｕｚｉｘ  Ｍ−１００、Ｌａｓｔｅｒ  ＳｅｅＴｈｒｕ、Ｉｃｉｓ、Ｏｐｔｉｎｖｅｎｔ  ＯＲＡ−Ｓ、ＧｌａｓｓＵＰ、Ａｔｈｅｅｒ  Ｏｎｅ、Ｋ−Ｇｌａｓｓ、およびＭｉｃｒｏｓｏｆｔ（商標）ＨｏｌｏｌｅｎｓなどＡＲ表示装置の例のうちの１台または複数を含む。
【００９２】
いくつかの実施形態では、インタフェース装置１９８の電子ディスプレイは、透明または実質的に透明であるので、ＨＡＶ１２３の運転者は、車道環境またはＨＡＶ１２３の車内を、状況認知システム１９９によって提供され、インタフェース装置１９８によって表示される視覚フィードバックも見ながら見ることができる。例えば、図１Ｂ、図４Ａ、図４Ｂおよび図５Ａ〜図５Ｃを参照されたい。例えば、電子ディスプレイまたはインタフェース装置１９８は、透明または実質的に透明である。
【００９３】
いくつかの実施形態では、インタフェース装置１９８は、ＨＡＶ１２３の運転者がＨＡＶ１２３を操作するときに運転に集中できるように構成されている。いくつかの実施形態では、インタフェース装置１９８は、１台または複数の内部センサ１５９を含み、運転者がインタフェース装置１９８を着用している間に運転者の頭部の向きを表す頭部位置データを生成する。いくつかの実施形態では、インタフェース装置１９８は、運転者がインタフェース装置１９８によって表示される視覚フィードバックの位置を操作し、または運転者が視覚フィードバックを見たという「タッチベースの」確認を（例えば、インタフェース装置１９８によって表示された視覚フィードバックに「触れる」ことによって）提供することを可能にするように動作するＡＲグローブなどの追加の装置を含みうる。
【００９４】
いくつかの実施形態では、インタフェース装置１９８は３Ｄ−ＨＵＤである。３Ｄ−ＨＵＤの例を図６に示す。例えば、ＨＡＶ１２３の運転者は３Ｄ−ＨＵＤを見ることができ、３Ｄ−ＨＵＤは、グラフィックデータ１９１によって記述されるグラフィックオーバーレイを表示することができ、状況認知システム１９９によって生成された視覚フィードバックを提供する。したがって、グラフィックデータ１９１は、図６に示すような３Ｄ−ＨＵＤによって表示されるように動作する１つまたは複数の３次元グラフィックオーバーレイを記述することができる。３Ｄ−ＨＵＤについては、図６に関連して以下でより詳細に説明する。
【００９５】
以下でより詳細に説明するように、インタフェース装置１９８は、状況認知システム１
９９から受信するデータを一時的に格納する非一時的なキャッシュまたはバッファを含みうる。例えば、非一時的なキャッシュまたはバッファは、頻度に基づいて状況認知システム１９９によって決定される頻繁に発生する交通状況についての状況認知システム１９９によって事前に決定されるグラフィックデータ１９１を格納することができる。この機能により有益には、頻繁に発生する交通状況の視覚フィードバックを、リアルタイムまたはほぼリアルタイムにより近い時間量で表示することが可能になる。
【００９６】
図１Ａに示すように、いくつかの実施形態では、インタフェース装置１９８は、ネットワーク１０５および通信ユニット１４５を介して状況認知システム１９９に通信可能に結合されたネットワーク対応デバイスとすることができる。例えば、インタフェース装置１９８は、ネットワーク１０５を介してＨＡＶ１２３に通信可能に結合されたスマートフォン、ラップトップＰＣ、または何らかの他のネットワーク対応電子機器とすることができる。これは、インタフェース装置１９８が図１Ａに２ヵ所示されており、また図１Ａに破線を用いて示されている理由の一例である。実際には、動作環境１００が（インタフェース装置１９８がＨＡＶ１２３の要素であるにせよ、ネットワーク１０５を介してＨＡＶ１２３に通信可能に結合されているにせよ）少なくとも１台のインタフェース装置１９８を常に含む限り、動作環境１００は、ネットワーク１０５を介してＨＡＶ１２３に通信可能に結合された０台以上のインタフェース装置１９８と、ＨＡＶ１２３の要素である０台以上のインタフェース装置１９８とを含みうる。
【００９７】
いくつかの実施形態では、状況認知システム１９９は、プロセッサ１２５によって実行された場合に、プロセッサ１２５に、（１）外部センサ１５５に外部センサデータ１８３を生成させるステップ、（２）ＤＳＲＣ準拠のＧＰＳユニット１５１にＧＰＳデータ１８６を取得させるステップ、（３）通信ユニット１４５に気象データ１８７を取得させるステップ、（４）ＡＤＡＳデータ１８８を受け取るステップ、（５）外部センサデータ１８３、ＧＰＳデータ１８６、気象データ１８７およびＡＤＡＳデータ１８８のうちの１つまたは複数に基づいて、ＨＡＶ１２３の運転者の注意または介入を必要とする１つまたは複数の交通状況を記述する状況データ１８９を決定するステップ、（６）１つまたは複数の交通状況についての視覚フィードバック（例えば、視覚通知、グラフィックまたはグラフィックオーバーレイ）を記述するグラフィックデータ１９１を決定するステップ、（７）内部センサ１５９に内部センサデータ１８５を生成させるステップ、（８）内部センサデータ１８５に基づいて位置データ１９３を決定するステップ、および（９）インタフェース装置１９８の動作を制御して、インタフェース装置１９８に、グラフィックデータ１９１によって記述される視覚フィードバックを、位置データ１９３によって記述されるインタフェース装置１９８の電子ディスプレイの可視領域内の位置に表示させるステップ、のうちの１つまたは複数を含むステップを実行させるコードまたはルーチンを含みうる。
【００９８】
いくつかの実施形態では、状況認知システム１９９は、プロセッサ１２５によって実行された場合に、プロセッサ１２５に、図１Ｂに関連して後述するプロセス１５０の１つまたは複数のステップを実行させるように動作するコードおよびルーチンを含む。
【００９９】
いくつかの実施形態では、状況認知システム１９９は、プロセッサ１２５によって実行された場合に、プロセッサ１２５に、図７Ａおよび図７Ｂに関連して後述する方法７００の１つまたは複数のステップを実行させるように動作するコードおよびルーチンを含む。
【０１００】
いくつかの実施形態では、状況認知システム１９９は、プロセッサ１２５によって実行された場合に、プロセッサ１２５に、図８に関連して後述するプロセス８００の１つまたは複数のステップを実行させるように動作するコードおよびルーチンを含む。
【０１０１】
いくつかの実施形態では、ＨＡＶ１２３の状況認知システム１９９は、フィールド・プ
ログラマブル・ゲート・アレイ（ＦＰＧＡ）または特定用途向け集積回路（ＡＳＩＣ）を含むハードウェアを用いて実施されうる。いくつかの他の実施形態では、状況認知システム１９９は、ハードウェアとソフトウェアとの組み合わせを用いて実施されうる。状況認知システム１９９は機器（例えばサーバや他の機器）の組み合わせに、またはそれらの機器のうちの１台に格納されうる。
【０１０２】
状況認知システム１９９については、図１Ｂ、図２、図３、図４Ａ、図４Ｂ、図５Ａ〜図５Ｃ、図６、図７Ａ、図７Ｂ、および図８に関連して以下でより詳細に説明する。
【０１０３】
（気象サーバ１０７）
気象サーバ１０７は、プロセッサベースのコンピューティングデバイスである。例えば、気象サーバ１０７は、以下の種類のプロセッサベースのコンピューティングデバイス、すなわち、パーソナルコンピュータ、ラップトップＰＣ、メインフレーム、またはサーバとして機能するように動作する任意の他のプロセッサベースのコンピューティングデバイスのうちの１つまたは複数を含みうる。気象サーバ１０７は、ハードウェアサーバを含みうる。
【０１０４】
いくつかの実施形態では、気象サーバ１０７は、プロセッサ、非一時的メモリ、および通信ユニットの各要素のうちの１つまたは複数を含む。気象サーバ１０７のこれらの要素は、ＨＡＶ１２３の要素と同様である。非一時的メモリも、気象サービスを提供するように動作するコードおよびルーチンを格納する。気象サーバ１０７のプロセッサは、気象サーバ１０７の非一時的メモリに格納されたコードおよびルーチンを実行して気象サービスを提供する。
【０１０５】
いくつかの実施形態では、気象サービスは、いくつかの実施形態によれば、ＨＡＶ１２３やインタフェース装置１９８などのネットワーク対応エンティティに気象データ１８７を提供するソフトウェアサービスを含む。気象データ１８７は、気象サーバ１０７の非一時的メモリに格納され、気象サーバ１０７の通信ユニットによってネットワーク対応エンティティに送信されうる。例えば、気象サーバ１０７は、ネットワーク１０５に通信可能に結合された、気象データ１８７をネットワーク１０５に通信可能に結合された他のエンティティに提供するように動作するサーバである。
【０１０６】
次に図１Ｂを参照すると、いくつかの実施形態による、ＨＡＶ１２３の状況認知システム１９９が、ＨＡＶ１２３の運転者が前方を見ていない場合の運転者への第１の視覚フィードバック１６５および運転者が前方を見ている場合の運転者への第２の視覚フィードバック１７０を提供するためのプロセス１５０を例示するブロック図が示されている。
【０１０７】
図示のように、状況認知システム１９９は交通状況１６０を識別する。例えば、近くの車両が、その将来の挙動を予測することが困難な不安定な挙動を示している。状況認知システム１９９は、交通状況１６０は（例えば、図３に示すような交通状況１６０の危険レベルの判定に基づいて）ＨＡＶ１２３の運転者に認知させるべき交通状況に該当すると判定する。状況認知システム１９９は、ＨＡＶ１２３の運転者は作業視界状態であるため、運転者は前方を向いておらず、代わりに本を読む姿勢であると判定する。図示の例では、運転者は、この例では第１のインタフェース装置１９８として働く、ＡＲゴーグルやＡＲグラスなどのＡＲ表示装置を着用している。状況認知システム１９９は、ＡＲ表示装置に、状況認知システム１９９によって識別された交通状況１６０のグラフィック表示を含む第１の視覚フィードバック１６５を表示させる。このようにして、ＨＡＶ１２３の運転者は、たとえ本を読んでいても交通状況を見て理解できるようにする情報を提供される。
【０１０８】
図示の例では、運転者は、本から目を上げて前向きの視界タイプ（ここではこれを「戻
り視界」と呼ぶ）状態になるため、運転者にはＨＡＶ１２３のフロントガラスを通して現実世界が見えている。状況認知システム１９９は、視界タイプの変化を検出し、ＡＲ表示装置または何らかの他のＡＲ表示装置（例えば、ＨＡＶ１２３のフロントガラスに搭載された３Ｄ−ＨＵＤ）に、（１）検出された交通状況１６０、および（２）検出された交通状況１６０を引き起こしている現実世界の車両を視覚的に識別する第２の視覚フィードバック１７０を表示させる（例えば、その不安定な挙動が検出された交通状況１６０を引き起こしている現実世界の車両の周りに描かれた円を参照）。
【０１０９】
（コンピュータシステムの例）
次に図２を参照すると、いくつかの実施形態によるＨＡＶ１２３の状況認知システム１９９を含むコンピュータシステムの例２００を例示するブロック図が示されている。
【０１１０】
いくつかの実施形態では、コンピュータシステム２００は、図７Ａおよび図７Ｂに関連して後述する方法７００の１つまたは複数のステップ、図８に関連して後述するプロセス８００または図１Ｂに関連して上述したプロセス１５０行うようにプログラムされた専用コンピュータシステムを含みうる。
【０１１１】
いくつかの実施形態では、コンピュータシステム２００の１つまたは複数の構成要素は、気象サーバ１０７の一部とすることができる。
【０１１２】
いくつかの実施形態では、コンピュータシステム２００は、ＨＡＶ１２３の車載コンピュータとすることができる。
【０１１３】
いくつかの実施形態では、コンピュータシステム２００は、ＨＡＶ１２３のＥＣＵ、ヘッドユニット、または何らかの他のプロセッサベースのコンピューティングデバイスを含みうる。
【０１１４】
コンピュータシステム２００は、いくつかの例によれば、状況認知システム１９９、プロセッサ１２５、メモリ１２７、通信ユニット１４５、ＤＳＲＣ準拠のＧＰＳユニット１５１、外部センサ１５５、内部センサ１５９、ＡＤＡＳシステムセット１８０、およびインタフェース装置１９８、の各要素のうちの１つまたは複数を含みうる。コンピュータシステム２００のこれらの構成要素はバス１２０によって通信可能に結合されている。
【０１１５】
図示の実施形態において、プロセッサ１２５は信号線２３８を介してバス１２０に通信可能に結合されている。メモリ１２７は信号線２４０を介してバス１２０に通信可能に結合されている。通信ユニット１４５は信号線２４２を介してバス１２０に通信可能に結合されている。ＤＳＲＣ準拠のＧＰＳユニット１５１は信号線２４４を介してバス１２０に通信可能に結合されている。外部センサ１５５は、信号線２４６を介してバス１２０に通信可能に接続されている。内部センサ１５９は、信号線２４８を介してバス１２０に通信可能に接続されている。ＡＤＡＳシステムセット１８０は信号線２５０を介してバス１２０に通信可能に結合されている。インタフェース装置１９８は、信号線２５２を介してバス１２０に通信可能に接続されている。
【０１１６】
コンピュータシステム２００の、プロセッサ１２５、メモリ１２７、通信ユニット１４５、ＤＳＲＣ準拠のＧＰＳユニット１５１、外部センサ１５５、内部センサ１５９、ＡＤＡＳシステムセット１８０、およびインタフェース装置１９８の各要素については、図１Ａに関連して上述したので、ここではそれらの説明を繰り返さない。
【０１１７】
メモリ１２７は、図１Ａに関連して上述したデータ、または図６、図７Ａ、図７Ｂおよび図８に関連して後述するデータのいずれかを格納することができる。メモリ１２７は、
コンピュータシステム２００がその機能を提供するのに必要な任意のデータを格納することができる。
【０１１８】
図１Ａに関連して本明細書に記載する状況認知システム１９９は、車両のＡＤＡＳソフトウェアを「オンにして」、このＡＤＡＳソフトウェアとＡＤＡＳソフトウェアに対応するＡＤＡＳハードウェアとがＡＤＡＳシステムセット１８０の１つまたは複数のＡＤＡＳシステムの機能の一部または全部を提供するよう動作するように動作するコードおよびルーチンを含みうる。
【０１１９】
図２に示す例示の実施形態では、状況認知システム１９９は、通信モジュール２０２と、センサモジュール２０４と、決定モジュール２０６と、グラフィックモジュール２０８とを含む。
【０１２０】
通信モジュール２０２は、状況認知システム１９９とコンピュータシステム２００の他の構成要素との間の通信を処理するためのルーチンを含むソフトウェアである。いくつかの実施形態では、通信モジュール２０２は、状況認知システム１９９とコンピュータシステム２００の他の構成要素との間の通信を処理するための後述する機能を提供する、プロセッサ１２５が実行可能な命令セットとすることができる。いくつかの実施形態では、通信モジュール２０２はコンピュータシステム２００のメモリ１２７に格納することができ、プロセッサ１２５によってアクセス可能、実行可能とすることができる。通信モジュール２０２は、信号線２２２を介してプロセッサ１２５およびコンピュータシステム２００の他の構成要素と協働し、通信するように適合されうる。
【０１２１】
通信モジュール２０２は、通信ユニット１４５を介して、動作環境１００の１つまたは複数の要素との間でデータを送受信する。例えば、通信モジュール２０２は、通信ユニット１４５を介して、メモリ１２７に格納されたデータまたは本明細書に記載されるメッセージのいずれかを受信または送信する。通信モジュール２０２は、通信ユニット１４５を介して本明細書に記載するデータまたはメッセージのいずれかを送信または受信することができる。
【０１２２】
いくつかの実施形態では、通信モジュール２０２は、コンピュータシステム２００の構成要素からデータを受信し、そのデータをメモリ１２７（またはインタフェース装置１９８のバッファもしくはキャッシュ）に格納する。例えば、通信モジュール２０２は、（ネットワーク１０５を介して）通信ユニット１４５からメモリ１２７に関連して上述したデータのいずれかを受信し、そのデータをメモリ１２７（またはインタフェース装置１９８のバッファもしくはキャッシュ）に格納する。
【０１２３】
いくつかの実施形態では、通信モジュール２０２は、状況認知システム１９９の構成要素間の通信を処理することができる。例えば、通信モジュール２０２は、外部センサデータ１８３または内部センサデータ１８５をセンサモジュール２０４から決定モジュール２０６（または状況認知システム１９９の任意の他のモジュール）に送信することができる。
【０１２４】
センサモジュール２０４は、外部センサ１５５および内部センサ１５９の動作を制御し、外部センサデータ１８３および内部センサデータ１８５を生成するためのルーチンを含むソフトウェアである。いくつかの実施形態では、センサモジュール２０４は、外部センサデータ１８３および内部センサデータ１８５を生成し、通信モジュール２０２に、外部センサデータ１８３および内部センサデータ１８５を決定モジュール２０６に提供させるための本明細書に記載する機能を提供する、プロセッサ１２５が実行可能な命令セットとすることができる。いくつかの実施形態では、センサモジュール２０４はコンピュータシ
ステム２００のメモリ１２７に格納することができ、プロセッサ１２５によってアクセス可能、実行可能とすることができる。センサモジュール２０４は、信号線２２４を介してプロセッサ１２５およびコンピュータシステム２００の他の構成要素と協働し、通信するように適合されうる。
【０１２５】
センサモジュール２０４は、外部センサ１５５から外部センサデータ１８３を受信し、またはメモリ１２７から外部センサデータ１８３を取得する。例えば、センサモジュール２０４は、ＨＡＶ１２３の前方の道路の画像を受信する。
【０１２６】
センサモジュール２０４は、内部センサ１５９から内部センサデータ１８５を受信し、またはメモリ１２７から内部センサデータ１８５を取得する。例えば、センサモジュール２０４は、運転者または運転者が見ている物体の画像を受信する。
【０１２７】
いくつかの実施形態では、センサモジュール２０４は、ＤＳＲＣ準拠のＧＰＳユニット１５１の動作を制御し、ＤＳＲＣ準拠のＧＰＳユニット１５１にＧＰＳデータ１８６を受信させるためのルーチンを含むソフトウェアである。いくつかの実施形態では、センサモジュール２０４は、ＧＰＳデータ１８６を取得し、通信モジュール２０２にＧＰＳデータ１８６を決定モジュール２０６に提供させるための本明細書に記載する機能を提供する、プロセッサ１２５が実行可能な命令セットとすることができる。
【０１２８】
いくつかの実施形態では、センサモジュール２０４は、通信ユニット１４５の動作を制御し、ネットワーク１０５から通信ユニット１４５に気象データ１８７を受信させるためのルーチンを含むソフトウェアである。いくつかの実施形態では、センサモジュール２０４は、ネットワーク１０５から気象データ１８７を受信させ、通信モジュール２０２に気象データ１８７を決定モジュール２０６に提供させるための本明細書に記載する機能を提供する、プロセッサ１２５が実行可能な命令セットとすることができる。
【０１２９】
いくつかの実施形態では、センサモジュール２０４は、通信モジュール２０２に、ＡＤＡＳシステムセット１８０の１つまたは複数のＡＤＡＳシステムに入力を提供させ、ＡＤＡＳシステムセット１８０の１つまたは複数のＡＤＡＳシステムからの出力としてＡＤＡＳデータ１８８を受け取らせるためのルーチンを含むソフトウェアである。ＡＤＡＳシステムセット１８０の１つまたは複数のＡＤＡＳシステムに提供される入力は、外部センサデータ１８３、ＧＰＳデータ１８６、および気象データ１８７のうちの１つまたは複数を含む。いくつかの実施形態では、センサモジュール２０４は、ＡＤＡＳデータ１８８の生成および受信を行わせ、通信モジュール２０２にＡＤＡＳデータ１８８を決定モジュール２０６に提供させるための本明細書に記載する機能を提供する、プロセッサ１２５が実行可能な命令セットとすることができる。
【０１３０】
決定モジュール２０６は、通信モジュール２０２から受け取られた１つまたは複数の入力に基づいて、状況データ１８９、視界タイプデータ、インタフェースデータおよび位置データ１９３を生成するためのルーチンを含むソフトウェアである。通信モジュール２０２から受け取られる１つまたは複数の入力は、例えば、外部センサデータ１８３、内部センサデータ１８５、ＧＰＳデータ１８６、気象データ１８７、およびＡＤＡＳデータ１８８のうちの１つまたは複数を含む。
【０１３１】
いくつかの実施形態では、決定モジュール２０６は、状況データ１８９を生成する、視界タイプデータを生成する、インタフェースデータを生成する、位置データ１９３を生成する、運転者の視界タイプの変化を検出する、どの物体が運転者によって見られているか検出する、運転者が、あるインタフェース装置１９８を使用し、または見ている状態から別のインタフェース装置１９８使用し、または見ている状態に切り替わるための事象を検
出するなどのための、上述した、また後述する機能を提供する、プロセッサ１２５が実行可能な命令セットとすることができる。
【０１３２】
いくつかの実施形態では、決定モジュール２０６は、内部センサデータ１８５を受け取り、内部センサデータ１８５に基づいて、運転者の視界タイプを記述する視界タイプデータを決定するための機能を提供する、プロセッサ１２５が実行可能な命令セットとすることができる。例えば、決定モジュール２０６は、内部センサデータ１８５を分析して、運転者が、作業視界状態か、戻り視界状態か、前向きの視界タイプ状態か、前向き以外の視界タイプ状態か、それともＨＡＶ１２３の運転者の何らかの他の視界タイプ状態かを判定することができる。次いで決定モジュール２０６は、運転者の現在の視界タイプを記述する視界タイプデータを生成する。決定モジュール２０６は、運転者の視界タイプが変化した場合を識別するために新しく生成され、受け取られる内部センサデータ１８５を絶えず分析して、グラフィックデータ１９１およびグラフィックデータ１９１を表示するために使用されるインタフェース装置１９８をしかるべく修正できるようにすることができる。
【０１３３】
いくつかの実施形態では、決定モジュール２０６は、インタフェース装置１９８からインタフェースデータを受け取るための機能を提供する、プロセッサ１２５が実行可能な命令セットとすることができる。インタフェースデータは、ＨＡＶ１２３の運転者によって使用されているインタフェース装置の種類を記述するデジタルデータである。オプションで、インタフェース装置の種類がＡＲ表示装置である場合、決定モジュール２０６は、運転者がＡＲ表示装置を介して見ている際に運転者が現実世界において見ている画像も受け取る。この画像が有益なのは、例えば、状況認知システムによって提供された視覚フィードバックがＨＡＶ１２３の運転者が見ている物体を遮らないように構成された位置データ１９３を決定モジュール２０６が決定するのにこの画像が役立つからである。
【０１３４】
いくつかの実施形態では、決定モジュール２０６は、内部センサデータ１８５、視界タイプデータおよびインタフェースデータのうちの１つまたは複数に基づいて位置データ１９３を決定するための機能を提供する、プロセッサ１２５が実行可能な命令セットとすることができる。
【０１３５】
いくつかの実施形態では、決定モジュール２０６は、交通状況のセットおよび交通状況のセットに含まれる交通状況への対応を記述する、メモリ１２７に格納されたデータ構造に基づいて、運転者が状況データ１８９によって記述される交通状況にどのように対応すべきかについての助言を決定することができる。助言は、状況データ１８９に含まれうる。
【０１３６】
いくつかの実施形態では、決定モジュール２０６は、通信モジュール２０２に、状況データ１８９、視界タイプデータ、インタフェースデータ、および位置データ１９３のうちの１つまたは複数をグラフィックモジュール２０８またはメモリ１２７に提供させるためのルーチンを含む。
【０１３７】
いくつかの実施形態では、決定モジュール２０６は、コンピュータシステム２００のメモリ１２７に格納することができ、プロセッサ１２５によってアクセス可能、実行可能とすることができる。決定モジュール２０６は、信号線２２６を介してプロセッサ１２５およびコンピュータシステム２００の他の構成要素と協働し、通信するように適応させることができる。
【０１３８】
グラフィックモジュール２０８は、グラフィックデータ１９１を生成するためのルーチンを含むソフトウェアである。いくつかの実施形態では、グラフィックモジュール２０８は、状況データ１８９、視界タイプデータおよびインタフェースデータのうちの１つまた
は複数に基づいてグラフィックデータ１９１を生成するための後述する機能を提供する、プロセッサ１２５が実行可能な命令セットとすることができる。視界タイプデータによって記述される視界タイプおよびインタフェースデータによって記述されるインタフェースの種類は、グラフィックデータ１９１によって記述される視覚フィードバックのサイズおよび内容に影響を及ぼすことができる。いくつかの実施形態では、グラフィックモジュール２０８はコンピュータシステム２００のメモリ１２７に格納することができ、プロセッサ１２５によってアクセス可能、実行可能とすることができる。グラフィックモジュール２０８は、信号線２２８を介してプロセッサ１２５およびコンピュータシステム２００の他の構成要素と協働し、通信するように適合されうる。
【０１３９】
いくつかの実施形態では、グラフィックモジュール２０８は、通信モジュール２０２または通信ユニット１４５に、グラフィックデータ１９１および位置データ１９３をインタフェースデータによって記述されるインタフェース装置１９８に提供させて、インタフェース装置１９８に、グラフィックデータ１９１によって記述される視覚フィードバックを位置データ１９３によって記述される位置に表示させるためのルーチンを含む。
【０１４０】
次に図３を参照すると、いくつかの実施形態による交通状況の総合危険レベル３０５の判定３００を示すブロック図が示されている。
【０１４１】
いくつかの実施形態では、状況認知システム１９９は、識別された交通状況ごとに運転者に視覚フィードバックを提供しない。代わりに、状況認知システム１９９は、所定の時間枠の間に１つまたは複数の交通状況を識別し、所定の時間枠の間に識別された１つまたは複数の交通状況によって作成された総合危険レベル３０５を判定し、この所定の時間の間に識別された１つまたは複数の交通状況の総合危険レベル３０５が、非一時的メモリ（例えば、メモリ１２７）に格納されたフィードバック閾値データによって記述される所定のフィードバック閾値を満たす場合にのみ運転者に視覚フィードバックを提供する。これは、状況認知システムが、交通状況を識別し、または状況データを生成するステップのサブステップとすることができる。例えば、状況認知システム１９９は、外部センサデータを分析して１つまたは複数の交通状況（例えば、図１Ｂを参照）を識別し、次いで所定の時間枠についての総合危険レベル３０５を判定する。
【０１４２】
いくつかの実施形態では、状況認知システム１９９は、１つまたは複数の危険レベルメトリックに基づいて１つまたは複数の交通状況を分析することができる。図３には、次の６つの異なる危険レベルメトリックの例が示されている。（１）周辺車両の存在および周辺車両の台数、（２）最も近い車両までの距離（例えば、停止距離または何らかの他の距離）、（３）道路内または道路の近くの１人または複数の歩行者（または動物）の存在、（４）自車（自車は状況認知システム１９９を含むＨＡＶ）の近くの危険車両（例えば、不安定な挙動や何らかの他の挙動を示す車両）の存在、（５）（例えば、外部センサデータ、ＧＰＳデータ、気象データおよびＡＤＡＳデータのうちの１つまたは複数の状況認知システム１９９による分析に基づいて）状況認知システムによって交通事故を引き起こす可能性が高いと判定された近くの車両の存在、ならびに、（６）自車が走行している特定の道路と関連付けられた危険（例えば、メモリ１２７は、他の道路と比べて高い事故件数の履歴を有する道路を識別する表を格納しており、この表を状況認知システム１９９がＧＰＳデータと比較して、ＨＡＶ１２３が危険な道路を走行しているかどうか、および他の道路と比べてこの特定の危険な道路の何が相対的に危険なのか識別する）。
なお、ここでは６種類の基準を例示したが、これ以外の基準を用いてもよい。例えば、自律運転車が精度のよい判断を行えなくなる環境にあるほど、危険レベルを高くするようにしてもよい。例えば、西日が正面から差し込んでいるような場合、画像認識による物体検出精度が落ちることを理由として、危険レベルを引き上げるようにしてもよい。
【０１４３】
また図３には、状況認知システム１９９への入力に基づく、例えば、外部センサデータ、ＧＰＳデータ、気象データおよびＡＤＡＳデータのうちの１つまたは複数の状況認知システム１９９による分析に基づく、これらのメトリックの各々についての判定された危険レベルも示されている。例えば、状況認知システム１９９は、状況認知システム１９９への入力の分析に基づいて、メトリック（１）の危険レベル、周辺車両の存在および周辺車両の台数は「３」であると判定する。このメトリックの危険レベルの判定は、状況認知システム１９９がメトリックごとの危険レベルの理由を出力することを含む。例えば、メトリック（１）の危険レベルが「３」であると判定する理由は、（自車に対する）周辺車両の台数が、周辺車両閾値データとして自車の非一時的メモリ（例えば、メモリ１２７）に格納されている危険閾値を超えていることである。これは、状況認知システム１９９によって考察される危険レベルメトリックの各々について繰り返される。危険レベルを判定するこれらの理由は、状況認知システム１９９によって提供される視覚フィードバックに含まれうる。
【０１４４】
また図３には、所定の期間の総合危険レベル３０５の判定も示されている。この場合、総合危険レベル３０５は、１つまたは複数の危険レベルメトリックの最高危険レベルである。いくつかの実施形態では、この総合危険レベル３０５は、非一時的メモリ（例えば、メモリ１２７）に格納されたフィードバック閾値データによって記述される所定のフィードバック閾値を満たさなければならない。
【０１４５】
いくつかの実施形態では、フィードバック閾値が満たされない場合には、状況認知システム１９９は、運転者に、所定の時間枠の間に発生する１つまたは複数の識別された交通状況についての視覚フィードバックを提供しないと決定する。フィードバック閾値が満たされる場合には、状況認知システム１９９は、運転者に、所定の時間枠の間に発生する１つまたは複数の識別された交通状況についての視覚フィードバックを提供すると決定する。いくつかの実施形態では、このプロセスは、ＨＡＶ１２３が動作している間に状況認知システム１９９が提供する分析に含まれない時間が一瞬たりともないように、次々に発生する連続する所定の時間枠にわたって繰り返される。このようにして、総合危険レベルは、状況認知システムが、ＨＡＶ１２３が動作している間に状況認知システム１９９によって考察されない時間を一瞬たりとも残さずに、複数の連続した所定の時間枠にわたって継続的に運転者に視覚フィードバックを提供するどうか識別するのを支援する。
【０１４６】
次に図４Ａを参照すると、インタフェース装置を介して見ているときに状況認知システムによって提供される視覚フィードバック４０５、４１０の運転者の視界４００の例が示されている。図示の実施形態では、インタフェース装置は、ＡＲゴーグルやＡＲグラスなどのＡＲ表示装置である。視覚フィードバック４０５、４１０の位置データは、視覚フィードバック４０５、４１０が、作業視界（非前方視の視界タイプの一例）の状態にある間に運転者が見ている物体（例えば、本）を見えにくくしないように構成される。視覚フィードバック４０５、４１０は、運転者が本などの非電子機器を見ている間にも運転者に視覚フィードバックが引き続き提供されるように、ＡＲグラスやＡＲゴーグルなどのＡＲ表示装置によって提供されることに留意されたい。
【０１４７】
図示の実施形態では、視覚フィードバック４０５は、状況認知システム１９９によって最初に提供される。視覚フィードバック４０５は、ＡＲ表示装置の可視領域の右上隅に位置決めされる。運転者が腕の位置を右に移動させるが、頭部位置は移動させないと、視覚フィードバック４０５により運転者からの本の視界が見えにくくなるはずである。状況認知システム１９９は、内部センサデータを分析してこの変化を検出し、次いで位置データを修正して、運転者からの本の視界を見えにくくしない位置でＡＲ表示装置の電子ディスプレイの可視領域の左上隅に表示される視覚フィードバック４１０を生成する。図示の実施形態では、ＡＲ表示装置を用いて運転者が現実世界で何を見ているか監視するために、
ＡＲ表示装置に搭載された１つまたは複数のカメラによって内部センサデータが測定される。また図示の実施形態は、運転者が現実世界と周辺視の視覚フィードバックとを同時にどのように見ることができるかも示している。
【０１４８】
次に図４Ｂを参照すると、いくつかの実施形態による、インタフェース装置を介して見ているときに状況認知システム１９９によって提供される視覚フィードバック４２０、４２５の運転者の視界４５０の例が示されている。図示の実施形態では、インタフェース装置は、ＡＲゴーグルやＡＲグラスなどのＡＲ表示装置である。視覚フィードバック４２０、４２５の位置データは、視覚フィードバック４２０、４２５が、非前方視の視界タイプの状態にある間に運転者が見ている物体（例えば、ＨＡＶ１２３内の乗員）を見えにくくしないように構成される。
【０１４９】
図示の実施形態では、視覚フィードバック４２０は、状況認知システム１９９によって最初に提供される。視覚フィードバック４２０は、ＡＲ表示装置の可視領域の右上隅に位置決めされる。運転者が自分の頭部位置を右に移動させると、視覚フィードバック４２０により運転者からの乗員の視界が見えにくくなるはずである。状況認知システム１９９は、内部センサデータを分析してこの変化を検出し、次いで位置データを修正して、運転者からの乗員の視界を見えにくくしない位置でＡＲ表示装置の電子ディスプレイの可視領域の左下隅に表示される視覚フィードバック４２５を生成する。図示の実施形態では、ＡＲ表示装置を用いて運転者が現実世界で何を見ているか監視するために、ＡＲ表示装置に搭載された１つまたは複数のカメラによって内部センサデータが測定される。また図示の実施形態は、運転者が現実世界と周辺視の視覚フィードバックとを同時にどのように見ることができるかも示している。
【０１５０】
次に図５Ａを参照すると、いくつかの実施形態による、インタフェース装置を介して見ているときに状況認知システム１９９によって提供される視覚フィードバック５０５の運転者の視界５００の例が示されている。図示の実施形態では、インタフェース装置は、ＡＲゴーグルやＡＲグラスなどのＡＲ表示装置である。視覚フィードバック５０５は、状況認知システム１９９によって検出された現在の交通状況に関する情報を示すグラフィックオーバーレイである。図示の例では、視覚フィードバック５０５は、運転者に横方向の力に備えるよう通知している。言い換えると、現在の交通状況により運転者は、運転者を右に、次いで左に移動させる横方向の力を受けることになる。
【０１５１】
次に図５Ｂを参照すると、いくつかの実施形態による、スマートフォンを見ているときに状況認知システム１９９によって提供される視覚フィードバック５１０の運転者の視界５５０の例が示されている。図示の実施形態では、インタフェース装置はスマートフォンである。視覚フィードバック５１０は、スマートフォンによって表示された、状況認知システム１９９によって検出された現在の交通状況、および現在の交通状況を記述するテキストを示すグラフィック通知バーである。この場合、視覚フィードバック５１０は、「不安定な挙動」という言葉と、現在の交通状況を示すグラフィック画像とを含むグラフィックテキストを含み、（１）現実世界の車道の隣接車線でＨＡＶ１２３のすぐ右を走行しており、（２）不安定な挙動を示している隣接する車両を指し示す矢印を含む。図示の例では、視覚フィードバック５１０は運転者に、（１）ＨＡＶ１２３の操作に介入して、ＨＡＶ１２３の右側の隣接する走行車線を走行している車両の不安定な挙動を含む交通状況に対応し、または（２）ＨＡＶ１２３によって、この交通状況に対応する措置を講じるために備えるべきであると通知している。視覚フィードバック５１０は、運転者が現在自分のスマートフォンで見ているテキストメッセージアプリケーションの運転者の視界を見えにくくしない位置に表示される。
【０１５２】
次に図５Ｃを参照すると、いくつかの実施形態による、ラップトップＰＣを見ていると
きに状況認知システム１９９によって提供される視覚フィードバック５１５の運転者の視界５７５の例が示されている。図示の実施形態では、インタフェース装置はラップトップＰＣである。視覚フィードバック５１５は、ラップトップＰＣによって表示された、状況認知システム１９９によって検出された現在の交通状況、および現在の交通状況を記述するテキストを示すグラフィック通知バーである。この場合、視覚フィードバック５１５は、「不安定な挙動」という言葉と、現在の交通状況を示すグラフィック画像とを含むグラフィックテキストを含み、（１）現実世界の車道の隣接車線でＨＡＶ１２３のすぐ右を走行しており、（２）不安定な挙動を示している隣接する車両を指し示す矢印を含む。図示の例では、視覚フィードバック５１５は運転者に、（１）ＨＡＶ１２３の操作に介入して、ＨＡＶ１２３の右側の隣接する走行車線を走行している車両の不安定な挙動を含む交通状況に対応し、または（２）ＨＡＶ１２３によって、この交通状況に対応する措置を講じるために備えるべきであると通知している。視覚フィードバック５１５は、運転者が現在、自分のラップトップＰＣで見ている文書作成アプリケーションの、運転者の視界を邪魔しない位置に表示される。
【０１５３】
（３Ｄ−ＨＵＤの例）
図６を参照すると、インタフェース装置１９８が３Ｄ−ＨＵＤである実施形態におけるインタフェース装置１９８を例示するブロック図が示されている。
【０１５４】
いくつかの実施形態では、３Ｄ−ＨＵＤは、プロジェクタ６０１、可動スクリーン６０２、スクリーン駆動ユニット６０３、光学系（レンズ６０４、６０６、反射器６０５などを含む）を含む。プロジェクタ６０１は、デジタル・ミラー・デバイス（ＤＭＤ）・プロジェクタ、液晶プロジェクタなど、任意の種類のプロジェクタとすることができる。プロジェクタ６０１は、可動スクリーン６０２上に画像（グラフィック）６０８を投影する。画像６０８は、グラフィックオーバーレイを含みうる。例えば、画像６０８は、図２に関連して上述したような車線境界線を描写するグラフィックオーバーレイとすることができる。
【０１５５】
可動スクリーン６０２は透明板を含み、よって、投影画像の光は可動スクリーン６０２を透過して車両（例えば、ＨＡＶ１２３）のフロントガラス６０７に投影される。フロントガラス６０７に投影された画像は、フロントガラスに投影された物体ではなく、あたかも現実世界の３次元空間に存在する現実物体（６１１ａ、６１１ｂとして示す）であるかのように、運転者６１０に知覚される。
【０１５６】
いくつかの実施形態では、３Ｄ−ＨＵＤは、スクリーン６０２上の投影位置を調整することによって、運転者６１０に対する画像の方向（言い換えると、フロントガラスにおける画像位置）を制御することができる。さらに、スクリーン６０２は、位置６０３ａと位置６０３ｂとの間の範囲でスクリーン駆動ユニット６０３によって移動可能である。スクリーン６０２の位置を調整することにより、現実世界における運転者６１０からの投影画像の深さ（距離）を変えることができる。一例では、スクリーン６０２の可動範囲（位置６０３ａと位置６０３ｂとの間の距離）は５ｍｍであり、これは現実世界での５ｍから無限遠に対応する。３Ｄ−ＨＵＤの使用により、運転者６１０は、投影画像が現実世界（３次元空間）に存在していると知覚することができる。例えば、画像が現実物体（歩行者、自動車など）と同じ３次元位置（または少なくとも実質的に同じ深さ）に投影された場合、運転者は投影画像を見るために目の焦点を調節する必要がなく、現実物体を実ながら投影画像を容易に把握することが可能になる。
【０１５７】
図６に示す３Ｄ−ＨＵＤは例として提供されている。他の例も可能である。これらの例には、図６に示す３Ｄ−ＨＵＤと、程度の差はあるが同様の複雑さを有するヘッドアップディスプレイが含まれうる。例えば、将来においては、可動スクリーン６０２などの可動
部品を必要としないヘッドアップディスプレイが出現することが予想される。例えば、移動しない静止スクリーンも配置されうる。配置されるヘッドアップディスプレイが２次元のヘッドアップ・ディスプレイ・ユニットではない可能性もある。いくつかの実施形態では、状況認知システム１９９およびグラフィックオーバーレイは、そのような構成要素で動作するように設計される。
【０１５８】
（方法の例）
次に図７Ａおよび図７Ｂを参照すると、いくつかの実施形態による視覚フィードバックを提供するための方法７００の流れ図が示されている。方法７００について本明細書に記載するステップのうちの１つまたは複数は、１台または複数のコンピュータシステム２００によって実行されうる。
【０１５９】
次に図７Ａを参照する。ステップ７０５で、外部センサデータを受け取る。ステップ７１０で、ＧＰＳデータを受け取る。ステップ７１５で、気象データを受け取る。外部センサデータ、ＧＰＳデータおよび気象データは、１つまたは複数のＡＤＡＳシステムへの入力として提供されうる。ステップ７２０で、ＡＤＡＳデータを受け取る。例えば、ＡＤＡＳデータは、１つまたは複数のＡＤＡＳシステムに提供された入力への応答として受け取られる。
【０１６０】
ステップ７２５で、外部センサデータ、ＧＰＳデータ、気象データ、およびＡＤＡＳデータの各入力うちの１つまたは複数に基づいて状況データが決定される。例えば、状況認知システムは、例えばステップ７０５、ステップ７１０、ステップ７１５、ステップ７２０に関連して記載した状況認知システムへのこれらの入力のうちの１つまたは複数に基づいて状況データを決定する。
【０１６１】
ステップ７３０で、内部センサデータを受け取る。例えば、内部センサデータは状況認知システムへの入力として受け取られる。ステップ７３５で、運転者の視界タイプを記述する視界タイプデータが決定される。例えば、状況認知システムは、内部センサデータに基づいて視界タイプデータを決定する。視界タイプデータは、例えば、運転者が前方視の視界タイプにあるか、それとも非前方視の視界タイプにあるか記述することができる。
【０１６２】
ステップ７４０で、インタフェースデータを受け取る。例えば、インタフェースデータは状況認知システムへの入力として受け取られる。いくつかの実施形態では、１台または複数のインタフェース装置のオペレーティングシステムまたは無線カードは、通信ユニットにインタフェースデータを提供するフックを含みうる。次いで通信ユニットは、インタフェースデータを状況認知システムに提供する。インタフェースデータは、運転者によって使用されているインタフェース装置の種類を記述する。例えば、インタフェースデータはインタフェース装置を、スマートフォン、ラップトップＰＣ、スマートウォッチ、タブレット・コンピューティング・デバイス、ＡＲゴーグル、ＡＲグラスなどのうちの１つとして識別する。インタフェース装置がＡＲ表示装置である場合には、インタフェースデータは、運転者がＡＲ表示装置を介して見ている際に運転者が現実世界において見ているものの画像を含みうる。
【０１６３】
ステップ７４５で、グラフィックデータが決定される。グラフィックデータは、インタフェース装置によって表示される視覚フィードバックを記述する。いくつかの実施形態では、グラフィックデータは状況認知システムによって決定される。グラフィックデータは、例えば、状況データ、視界タイプデータ、およびインタフェースデータに基づいて決定される。
【０１６４】
ステップ７５０で、位置データが決定される。位置データは、グラフィックデータによ
って記述される視覚フィードバックがインタフェース装置の電子ディスプレイに表示される位置を記述する。いくつかの実施形態では、位置データは状況認知システムによって決定される。位置データは、例えば、内部センサデータ、視界タイプおよびインタフェースデータのうちの１つまたは複数に基づいて決定される。
【０１６５】
ステップ７５５で、グラフィックデータおよび位置データがインタフェース装置に提供され、インタフェース装置に、グラフィックデータによって記述される視覚フィードバックを位置データによって記述される位置に表示させる。いくつかの実施形態では、グラフィックデータおよび位置データは、状況認知システムによって（または状況認知システムによって通信ユニット１４５に提供された命令に基づいて通信ユニット１４５によって）インタフェース装置に提供される。
【０１６６】
次に図７Ｂを参照する。ステップ７６０で、新しい内部センサデータが存在するか監視する。新しい内部センサデータは、ステップ７３０で受け取られた内部センサデータに続いて受け取られる内部センサデータを含む。新しい内部センサデータが検出された場合には、新しい内部センサデータが分析される。例えば、新しい内部センサデータを分析して、運転者の視界タイプが変化したかどうかが判定される。視界タイプが変化したかどうか判定することは、運転者の位置が変化して、ステップ７５５に応答して生成された視覚フィードバックが運転者によって見られている物体を遮るようになったかどうか判定することを含みうる。
【０１６７】
ステップ７６５で、新しい内部センサデータは視界タイプが変化したことを示すかどうかについて判定する。視界タイプが変化していない場合には、方法７００はステップ７６０に進む。視界タイプが変化した場合には、方法７００はステップ７７０に進む。
【０１６８】
ステップ７７０で、新しいインタフェースデータを受け取る。これは、視界タイプの変更は運転者によって使用されているインタフェース装置の変更を必ずしも意味しないので、方法７００のオプションのステップである。それでも、新しいインタフェースデータは、運転者がステップ７６０の前に運転者によって使用されたのと同じインタフェース装置を依然として使用していることを確認するのに使用されうる。
【０１６９】
ステップ７７５で、視界タイプの変化（および、オプションで、新しいインタフェースデータが示す場合には、運転者によって使用されているインタフェース装置の変化）に応答して新しいグラフィックデータを生成する。
【０１７０】
ステップ７８０で、新しい内部センサデータ、新しい視界タイプ、および新しいインタフェースデータのうちの１つまたは複数に基づいて、新しい配置データを決定する。
【０１７１】
ステップ７８５で、新しいグラフィックデータおよび新しい位置データを、運転者によって使用されているインタフェース装置に提供する。
【０１７２】
次に図８を参照すると、いくつかの実施形態による、状況認知システム１９９がインタフェース装置１９８の動作を制御するためのプロセス８００を例示するブロック図が示されている。
【０１７３】
状況認知システム１９９への入力として、外部センサデータ１８３、ＧＰＳデータ１８６、気象データ１８７、およびＡＤＡＳデータ１８８のうちの１つまたは複数を受け取る。状況認知システム１９９は、これらの入力を分析し、この分析に応答して状況データ１８９を出力する。
【０１７４】
状況認知システム１９９は、内部センサデータ１８５を入力として受け取る。状況認知システム１９９は、内部センサデータ１８５を分析し、この分析に基づいて、内部センサデータ１８５の分析によって指示される運転者の視界タイプを記述する視界タイプデータ８０５を出力する。視界タイプデータ８０５は、非一時的メモリ（例えば、メモリ１２７）に格納される。
【０１７５】
状況認知システム１９９への入力として、状況データ１８９（例えば、状況認知システム１９９の上部を参照）、視界タイプデータ８０５、およびインタフェースデータ８１０のうちの１つまたは複数を受け取る。インタフェースデータ８１０は、運転者によって使用されているインタフェース装置を記述する。インタフェースデータ８１０は、非一時的メモリ（例えば、メモリ１２７）に格納されうる。状況認知システム１９９は、これらの入力を分析し、この分析に応答してグラフィックデータ１９１を出力する。
【０１７６】
状況認知システム１９９への入力として、内部センサデータ１８５、視界タイプデータ８０５、およびインタフェースデータ８１０のうちの１つまたは複数を受け取る。状況認知システム１９９は、これらの入力を分析し、この分析に応答して位置データ１９３を出力する。
【０１７７】
状況認知システム１９９は、位置データ１９３およびグラフィックデータ１９１をインタフェース装置１９８への入力として提供して（または、通信ユニット１４５にこれらの入力をインタフェース装置１９８に提供させて）、インタフェース装置１９８に、グラフィックデータ１９１によって記述される視覚フィードバックを、位置データ１９３によって記述されるインタフェース装置１９８の電子ディスプレイ内の位置に表示させる。
【０１７８】
以上の説明では、本発明を十分に理解できるように、多くの詳細について説明した。しかしながら、各実施形態はこれらの具体的な詳細無しでも良いことは当業者にとって明らかであろう。また、説明が不明瞭になることを避けるために、構造や装置をブロック図の形式で表すこともある。たとえば、一実施形態は、ユーザインタフェースおよび特定のハードウェアとともに説明される。しかし、ここでの説明は、データおよびコマンドを受信する任意のタイプのコンピュータシステムおよび任意の周辺機器について適用できる。
【０１７９】
本明細書における「一実施形態」または「ある実施形態」等という用語は、その実施形態と関連づけて説明される特定の特徴・構造・性質が少なくとも本発明の一つの実施形態に含まれることを意味する。「一実施形態における」等という用語は本明細書内で複数用いられるが、これらは必ずしも同一の実施形態を示すものとは限らない。
【０１８０】
以上の詳細な説明の一部は、非一時的（non-transitory）なコンピュータ可読記憶媒体に記憶されたデータビットに対する動作のアルゴリズムおよび記号的表現として提供される。これらのアルゴリズム的な説明および表現は、データ処理技術分野の当業者によって、他の当業者に対して自らの成果の本質を最も効果的に説明するために用いられるものである。なお、本明細書において（また一般に）アルゴリズムとは、所望の結果を得るための論理的な手順を意味する。処理のステップは、物理量を物理的に操作するものである。必ずしも必須ではないが、通常は、これらの量は記憶・伝送・結合・比較およびその他の処理が可能な電気的または磁気的信号の形式を取る。通例にしたがって、これらの信号をビット・値・要素・エレメント・シンボル・キャラクタ・項・数値などとして称することが簡便である。
【０１８１】
なお、これらの用語および類似する用語はいずれも、適切な物理量と関連付いているものであり、これら物理量に対する簡易的なラベルに過ぎないということに留意する必要がある。以下の説明から明らかなように、特に断らない限りは、本明細書において「処理」
「計算」「コンピュータ計算（処理）」「判断」「表示」等の用語を用いた説明は、コンピュータシステムや類似の電子的計算装置の動作および処理であって、コンピュータシステムのレジスタやメモリ内の物理的（電子的）量を、他のメモリやレジスタまたは同様の情報ストレージや通信装置、表示装置内の物理量として表される他のデータへ操作および変形する動作および処理を意味する。
【０１８２】
本発明は、本明細書で説明される動作を実行する装置にも関する。この装置は要求される目的のために特別に製造されるものであっても良いし、汎用コンピュータを用いて構成しコンピュータ内に格納されるプログラムによって選択的に実行されたり再構成されたりするものであっても良い。このようなコンピュータプログラムは、コンピュータのシステムバスに接続可能な、例えばフロッピー（登録商標）ディスク・光ディスク・ＣＤ−ＲＯＭ・磁気ディスクなど任意のタイプのディスク、読み込み専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気または光学式カード、ＵＳＢキーを含む不揮発性フラッシュメモリ、電子的命令を格納するために適した任意のタイプの媒体などの、非一時的なコンピュータ可読記憶媒体に記憶される。
【０１８３】
発明の具体的な実施形態は、完全にハードウェアによって実現されるものでも良いし、完全にソフトウェアによって実現されるものでも良いし、ハードウェアとソフトウェアの両方によって実現されるものでも良い。好ましい実施形態は、ソフトウェアによって実現される。ここでソフトウェアとは、ファームウェア、常駐ソフトウェア、マイクロコードやその他のソフトウェアを含むものである。
【０１８４】
さらに、ある実施形態は、コンピュータが利用あるいは読み込み可能な記憶媒体からアクセス可能なコンピュータプログラムプロダクトの形態を取る。この記憶媒体は、コンピュータや任意の命令実行システムによってあるいはそれらと共に利用されるプログラムコードを提供する。コンピュータが利用あるいは読み込み可能な記憶媒体とは、命令実行システムや装置によってあるいはそれらと共に利用されるプログラムを、保持、格納、通信、伝搬および転送可能な任意の装置を指す。
【０１８５】
プログラムコードを格納・実行するために適したデータ処理システムは、システムバスを介して記憶素子に直接または間接的に接続された少なくとも１つのプロセッサを有する。記憶素子は、プログラムコードの実際の実行に際して使われるローカルメモリや、大容量記憶装置や、実行中に大容量記憶装置からデータを取得する回数を減らすためにいくつかのプログラムコードを一時的に記憶するキャッシュメモリなどを含む。
【０１８６】
入力／出力（Ｉ／Ｏ）装置は、例えばキーボード、ディスプレイ、ポインティング装置などであるが、これらはＩ／Ｏコントローラを介して直接あるいは間接的にシステムに接続される。
【０１８７】
システムにはネットワークアダプタも接続されており、これにより、私的ネットワークや公共ネットワークを介して他のデータ処理システムやリモートにあるプリンタや記憶装置に接続される。モデム、ケーブルモデム、イーサネット（登録商標）は、現在利用可能なネットワークアダプタのほんの一例である。
【０１８８】
最後に、本明細書において提示されるアルゴリズムおよび表示は特定のコンピュータや他の装置と本来的に関連するものではない。本明細書における説明にしたがったプログラムを有する種々の汎用システムを用いることができるし、また要求された処理ステップを実行するための特定用途の装置を製作することが適した場合もある。これら種々のシステムに要求される構成は、以上の説明において明らかにされる。さらに、本発明は、特定のプログラミング言語と関連づけられるものではない。本明細書で説明される本発明の内容
を実装するために種々のプログラミング言語を利用できることは明らかであろう。
【０１８９】
実施形態の前述の説明は、例示と説明を目的として行われたものである。したがって、開示された実施形態が本発明の全てではないし、本発明を上記の実施形態に限定するものでもない。本発明は、上記の開示にしたがって、種々の変形が可能である。本発明の範囲は上述の実施形態に限定解釈されるべきではなく、特許請求の範囲にしたがって解釈されるべきである。本発明の技術に詳しい者であれば、本発明はその思想や本質的特徴から離れることなくその他の種々の形態で実現できることを理解できるであろう。同様に、モジュール・処理・特徴・属性・方法およびその他の本発明の態様に関する名前付けや分割方法は必須なものでものないし重要でもない。また、本発明やその特徴を実装する機構は異なる名前や分割方法や構成を備えていても構わない。さらに、当業者であれば、モジュール・処理・特徴・属性・方法およびその他の本発明の態様は、ソフトウェア、ハードウェア、ファームウェアもしくはこれらの組合せとして実装できることを理解できるであろう。また、本発明をソフトウェアとして実装する場合には、モジュールなどの各要素は、どのような様式で実装されても良い。例えば、スタンドアローンのプログラム、大きなプログラムの一部、異なる複数のプログラム、静的あるいは動的なリンクライブラリー、カーネルローダブルモジュール、デバイスドライバー、その他コンピュータプログラミングの当業者にとって既知な方式として実装することができる。さらに、本発明の実装は特定のプログラミング言語に限定されるものではないし、特定のオペレーティングシステムや環境に限定されるものでもない。以上のように、上記の本発明の説明は限定的なものではなく例示的なものであり、本発明の範囲は添付の特許請求の範囲にしたがって定められる。
【符号の説明】
【０１９０】
１０５  ネットワーク
１０７  気象サーバ
１２３  高自律型車両（ＨＡＶ）
１２５  プロセッサ
１２７  メモリ
１４５  通信ユニット
１５１  ＤＳＲＣ準拠ＧＰＳユニット
１５５  外部センサ
１５９  内部センサ
１６０  交通状況
１６５  第１の視覚フィードバック
１７０  第２の視覚フィードバック
１８０  ＡＤＡＳシステムセット
１８３  外部センサデータ
１８５  内部センサデータ
１８６  ＧＰＳデータ
１８７  気象データ
１８８  ＡＤＡＳデータ
１８９  状況データ
１９１  グラフィックデータ
１９３  位置データ
１９８  インタフェース装置
１９９  状況認知システム
【図１Ａ】
2018198422.tif 000003
【図１Ｂ】
2018198422.tif 000004
【図２】
2018198422.tif 000005
【図３】
2018198422.tif 000006
【図４Ａ】
2018198422.tif 000007
【図４Ｂ】
2018198422.tif 000008
【図５Ａ】
2018198422.tif 000009
【図５Ｂ】
2018198422.tif 000010
【図５Ｃ】
2018198422.tif 000011
【図６】
2018198422.tif 000012
【図７Ａ】
2018198422.tif 000013
【図７Ｂ】
2018198422.tif 000014
【図８】
2018198422.tif 000015