(57)【特許請求の範囲】
【請求項１】
コンピュータによって実装される方法であって、
１つまたは複数のプロセッサによって、路上物体を監視するステップと、
１つまたは複数のプロセッサによって、路上物体を検出するステップと、
前記路上物体をヘッドアップディスプレイ上で強調するように構成されたグラフィカルデータを生成するステップと、
ユーザが路上物体を見たかどうか決定するステップと、
ユーザが路上物体を見逃した場合に、路上物体が重要かどうかを決定するステップと、
路上物体が重要である場合に、ユーザの注意を引くようにヘッドアップディスプレイ上のグラフィック出力を増強するステップと、
を含み、
ユーザが見逃した路上物体を強調する方法と、他のドライバが見逃した路上物体を強調する方法は異なる、
方法。
【請求項２】
コンピュータによって実装される方法であって、
１つまたは複数のプロセッサによって、路上物体を監視するステップと、
１つまたは複数のプロセッサによって、路上物体を検出するステップと、
前記路上物体をヘッドアップディスプレイ上で強調するように構成されたグラフィカルデータを生成するステップと、
ユーザが路上物体を見たかどうか決定するステップと、
ユーザが路上物体を見逃した場合に、路上物体が重要かどうかを決定するステップと、
路上物体が重要である場合に、ユーザの注意を引くようにヘッドアップディスプレイ上のグラフィック出力を増強するステップと、
ドライバによって見逃された路上物体を表すデータを解析するステップと、
ドライバによって見逃された路上物体を決定するステップと、
ドライバによって見逃された路上物体のクラスタを決定するステップと、
ドライバによって見逃された路上物体を記述する地図を生成するステップと、
見逃された路上物体を表す地図を用いて道路安全を向上させる方法を決定するステップと、
を含む方法。
【請求項３】
地図を用いて道路安全を向上させる方法は、見逃された路上物体をヘッドアップディスプレイ上でハイライトすることを含む、
請求項２に記載の方法。
【請求項４】
ユーザが見逃した路上物体を強調する方法と、他のドライバが見逃した路上物体を強調する方法は異なる、
請求項２または３に記載の方法。
【請求項５】
路上物体が重要であるかどうかの決定は、さらに、路上物体を見逃す確率、運転履歴、交通違反履歴の少なくともいずれかを含むユーザの過去の振る舞いにも基づいて行われる、
請求項１から４のいずれか１項に記載の方法。
【請求項６】
ユーザの注意を引くようにヘッドアップディスプレイ上のグラフィック出力を増強した後に、ユーザが路上物体を見たかどうかを決定するステップと、
ユーザが路上物体を見逃した場合に、ヘッドアップディスプレイ上のグラフィック出力を増強する方法を決定するステップと、
をさらに含む、
請求項１から５のいずれか１項に記載の方法。
【請求項７】
前記ユーザが路上物体を見たかどうかを決定するステップは、さらに、
運転中のユーザを記録した第１の記録と、道路を記録した第２の記録と、を受け取る工程と、
第１の記録においてユーザの眼の動きを特定する工程と、
第１の記録における眼の動きと第２の記録における路上物体とを関連付けて、ユーザが路上物体を見たかどうかを決定する工程と、
を含む、
請求項１から６のいずれか１項に記載の方法。
【請求項８】
前記路上物体が重要であるかどうかを決定するステップは、さらに、
クライアント装置と路上物体によって参照される地点との間の距離を決定する工程と、
前記距離が閾値よりも小さければ、路上物体が重要であると決定する工程と、
を含む、
請求項１から７のいずれか１項に記載の方法。
【請求項９】
ヘッドアップディスプレイ上のグラフィカルデータは、路上物体の角度θ、角度φ、距離半径を表す球面座標系におけるユーザの視野を表すことを含む、
請求項１から８のいずれか１項に記載の方法。
【請求項１０】
路上物体は、道路上の運転に適用される規則を示す道路交通標識である、
請求項１から９のいずれか１項に記載の方法。
【請求項１１】
路上物体が重要であるかどうかの決定は、さらに、ソーシャルネットワークアプリケーションからの最新情報にも基づく、
請求項１から１０のいずれか１項に記載の方法。
【請求項１２】
コンピュータによって実行されたときに、当該コンピュータに請求項１から１１のいずれか１項に記載の方法を実行させるためのコンピュータプログラム。
【請求項１３】
プロセッサと、
実行されたときにシステムに請求項１から１１のいずれか１項に記載の方法を実行させる命令を格納したメモリと、
を備える、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書は、ユーザに路上物体について警告を与えるヘッドアップディスプレイを乗り物（vehicle）内に提供することに関する。特に、本明細書は、ユーザが見なかった路上
物体がどれであるかを判定し、見なかった路上物体を含むヘッドアップディスプレイを提供することに関する。
【背景技術】
【０００２】
ドライバが交通標識に気づかないことはよく起きる。これは安全上の問題を生じ、ドライバが交通違反による出頭命令書の交付を受けることまたは事故を引き起こすことにつながりかねない。既存技術は、ディスプレイ（例えば、ＧＰＳ（全地球測位システム）装置の液晶ディスプレイ（ＬＣＤ））に交通標識を表示することによってこの問題を改善しようと試みる。しかし、ＬＣＤ上の情報を解釈するためにユーザは道路への意識の集中を中断してＬＣＤに意識を集中する必要がある。これは新たな安全リスクを生じる恐れがある。また、交通標識に関する情報はあまりにも限られている。この他の既存技術として、すべての道路交通標識に対応したヘッドアップディスプレイ（ＨＵＤ）を生成することによってこの問題の改善を試みるものがある。しかし、無関係な情報によってユーザの注意がそれる恐れがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１２１５２７号公報
【発明の概要】
【０００４】
本開示が記載する主題の革新的な一態様によれば、ユーザに路上物体について警告を与えるヘッドアップディスプレイを乗り物内に提供するシステムは、プロセッサと、命令を格納するメモリと、を含み、命令は、実行されると、１つまたは複数のプロセッサによって路上物体がないか監視（monitor）するステップと、１つまたは複数のプロセッサによ
って路上物体を検出するステップと、路上物体をヘッドアップディスプレイ上で強調（emphasize）するように構成されたグラフィカルデータを生成するステップと、路上物体を
ユーザが見ているかどうかを判定するステップと、路上物体をユーザが見逃している場合に路上物体が重要（critical）かどうかを判定するステップと、路上物体が重要である場合に、ユーザの注意を引くようにヘッドアップディスプレイ上のグラフィック出力を増強（enhance）するステップと、をシステムに実行させる。
【０００５】
一般に、本開示が記載する主題の革新的な別の態様は、ユーザの注意を引くようにヘッドアップディスプレイ上のグラフィック出力を増強した後に、ユーザが路上物体を見たかどうかを決定するステップと、ユーザが路上物体を見逃している場合に、ヘッドアップディスプレイ上のグラフィック出力を増強する方法を決定するステップと、運転中のユーザの第１の記録と道路の第２の記録とを受信するステップと、第１の記録においてユーザの眼の動きを特定するステップと、第１の記録における眼の動きを第２の記録における路上物体と関連づけて、ユーザが路上物体を見たかどうかを判定するステップと、を含む方法において実現されうる。
【０００６】
上記および他の実施形態は、下記の動作および特徴の１つまたは複数を任意選択で含んでいてもよい。例えば、特徴の例として、球面座標系でのユーザの視野の表示、シータの角度とファイの角度と半径の距離とによる路上物体の表示を含む、ヘッドアップディスプレイ上のグラフィカルデータが挙げられる。このとき、路上物体は、路上での運転に適用
される規則を示す道路交通標識である。
【０００７】
いくつかの実施形態において、動作は次のことを含みうる。クライアント装置と路上物体によって示される位置との距離を決定するステップ、および距離が閾値より小さいときに路上物体が重要であると認定するステップ、によって路上物体が重要であるかどうかを決定するステップと、ドライバらによって見落とされる路上物体を記述するデータを解析するステップと、ドライバらによって見落とされる１つまたは複数の路上物体を決定するステップと、ドライバらによって見落とされる路上物体のクラスタを決定するステップと、ドライバらによって見落とされる路上物体を記載した地図を生成するステップと、道路安全を向上させる方法を、見落とされる路上物体を記載した地図を用いて決定するステップ。いくつかの例において、地図を用いて道路安全を向上させる方法は、見落とされる路上物体をユーザのヘッドアップディスプレイ上でハイライトするステップを含む。いくつかの実施形態において、路上物体が重要であるかどうかを決定するステップは、さらにソーシャルネットワークアプリケーションからの最新情報（update）にも基づく。
【０００８】
その他の態様は、上記および他の革新的態様における、対応する方法、システム、装置、およびコンピュータプログラム製品を含む。
【０００９】
本開示はいくつかの点において特に有利である。例えば、システムは、ユーザらが見逃した路上物体についてユーザらに警告を与えることが可能である。また、システムは、ユーザらがよく見過ごす路上物体を強調することが可能である。さらに、システムは、重要な路上物体を強調することが可能である。こうしたことにより、ユーザを潜在的な危険から守り、ユーザが目的地に定刻に到達することを助ける。また、違反切符の回避にも役立つだろう。
【図面の簡単な説明】
【００１０】
【図１】ユーザに路上物体について警告を与えるヘッドアップディスプレイを乗り物内に提供するシステムの例を示すブロック図である。
【図２Ａ】行路指示（direction）を生成する地図アプリケーションの例を示すブロック図である。
【図２Ｂ】ヘッドアップディスプレイを生成する安全アプリケーションの例を示すブロック図である。
【図３】ヘッドアップディスプレイの図表示である。
【図４】路上物体に関する重要度順位の例を示す図である。
【図５Ａ】路上物体の記号をユーザに提示する方法例のフローチャートである。
【図５Ｂ】路上物体の記号をユーザに提示する方法例のフローチャートである。
【図６】路上物体の記号をクラスタリングに基づいてユーザに強調する方法例のフローチャートである。
【図７】ヘッドアップディスプレイの例を示す図である。
【発明を実施するための形態】
【００１１】
本開示は添付の図面の各図を用いて例示するものであり、それによって制限されるものではない。図中、同じ要素は同じ参照番号を用いて表す。
【００１２】
＜システム概要＞
図１は、ユーザに路上物体について警告を与えるヘッドアップディスプレイを乗り物内に提供するシステム１００の一実施形態のブロック図を示したものである。システム１００は、第１のクライアント装置１０３、モバイル型クライアント装置１８８、ソーシャルネットワークサーバ１０１、第２のサーバ１９８、および地図サーバ１９０を含む。第１のクライアント装置１０３およびモバイル型クライアント装置１８８は、それぞれ信号線
１２２および１２４を介してユーザ１２５ａおよび１２５ｂ（本明細書では個別に、および総称して、ユーザ１２５ともいう）によってアクセスすることができる。図示した実施形態において、システム１００の上記エンティティ（entity）はネットワーク１０５を介して通信可能に結合されうる。システム１００は図１に示されない他のサーバもしくは装置（例えば、トラフィックデータを提供するトラフィックサーバ、気象データを提供する気象サーバ、電力使用量サービス（例えば、課金サービス）を提供する電力サービスサーバ、および地図データを提供する地図サーバ、等を含む）を含んでいてもよい。
【００１３】
図１の第１のクライアント装置１０３およびモバイル型クライアント装置１８８は、１つの例として用いることができる。図１には２つのクライアント装置１０３および１８８を示しているが、本開示は１つまたは複数のクライアント装置１０３、１８８を有するシステムアーキテクチャを対象としている。また、図１には第１のクライアント装置１０３、モバイル型クライアント装置１８８、ソーシャルネットワークサーバ１０１、第２のサーバ１９８、および地図サーバ１９０に結合されたネットワーク１０５を１つ示しているが、実際にはこれらのエンティティに１つまたは複数のネットワーク１０５を接続することができる。さらに、図１は１つのソーシャルネットワークサーバ１０１、１つの第２のサーバ１９８、および１つの地図サーバ１９０を含んでいるが、システム１００は１つまたは複数のソーシャルネットワークサーバ１０１、１つまたは複数の第２のサーバ１９８、および１つまたは複数の地図サーバ１９０を含みうるだろう。
【００１４】
ネットワーク１０５は従来型の有線または無線とすることができ、スター構成、トークンリング構成、または他の構成を含む多様な構成を有しうる。また、ネットワーク１０５は、ＬＡＮ（ローカルエリアネットワーク）、ＷＡＮ（ワイドエリアネットワーク）（例えば、インターネット）、または複数装置が通信を行いうる、相互接続された他のデータ経路を含みうる。いくつかの実施形態において、ネットワーク１０５はピアツーピアネットワークでありうる。さまざまに異なる通信プロトコルを用いてデータを送信するために、ネットワーク１０５は電気通信ネットワークの一部に結合されうる、または電気通信ネットワークの一部を含みうる。いくつかの実施形態において、ネットワーク１０５はデータの送受信のためにＢｌｕｅｔｏｏｔｈ（登録商標）通信ネットワークまたは移動体通信ネットワークを含む。かかるデータの送受信は、ＳＭＳ（ショートメッセージサービス）、ＭＭＳ（マルチメディアメッセージングサービス）、ＨＴＴＰ（ハイパーテキスト転送プロトコル）、ダイレクトデータコネクション、ＷＡＰ、電子メール等を介して行われる。いくつかの実施形態において、ネットワーク１０５は、第１のクライアント装置１０３またはモバイル型クライアント装置１８８に対してＧＰＳナビゲーションを提供するＧＰＳ衛星を含みうる。いくつかの実施形態において、ネットワーク１０５は、第１のクライアント装置１０３またはモバイル型クライアント装置１８８に対してＧＰＳナビゲーションを提供するＧＰＳ衛星を含みうる。ネットワーク１０５は３Ｇ、４Ｇ、ＬＴＥ、Ｖｏｉｃｅ‐ｏｖｅｒ-ＬＴＥ（ＶｏＬＴＥ）、または任意の他のモバイルデータネットワーク
等のモバイルデータネットワーク、またはモバイルデータネットワークの組み合わせでありうる。
【００１５】
いくつかの実施形態において、第１のクライアント装置１０３において安全アプリケーション１９９ａを動作可能とすることができる。第１のクライアント装置１０３はバッテリシステムを備えたモバイル型クライアント装置とすることができる。例えば、第１のクライアント装置１０３は、乗り物（例えば、自動車、バス）、生体工学的移植物（bionic
implant）、または非一時的なコンピュータ電子部品およびバッテリシステムを備えた任意の他のモバイルシステム、のいずれかとすることができる。いくつかの実施形態において、第１のクライアント装置１０３は、メモリおよびプロセッサを備えた計算装置を含みうる。図示した実施形態において、第１のクライアント装置１０３は信号線１０８を介してネットワーク１０５と通信可能に結合される。
【００１６】
他の実施形態において、モバイル型クライアント装置１８８において安全アプリケーション１９９ｂを動作可能とすることができる。モバイル型クライアント装置１８８は、メモリおよびプロセッサを備えた可搬式計算装置（例えば、ラップトップコンピュータ、タブレットコンピュータ、携帯電話機、ＰＤＡ（携帯情報端末）、携帯型電子メール端末、ポータブルゲームプレーヤー、ポータブル音楽プレーヤー、またはネットワーク１０５にアクセス可能なその他の携帯型電子機器）でありうる。いくつかの実施形態において、安全アプリケーション１９９ｂは、その一部は第１のクライアント装置１０３に格納されうるシンクライアントアプリケーションとして、また別の一部はモバイル型クライアント装置１８８に格納されうるコンポーネントとして動作しうる。図示した実施形態において、モバイル型クライアント装置１８８は信号線１１８を介してネットワーク１０５と通信可能に結合される。
【００１７】
いくつかの実施形態において、第１のクライアント装置１０３は、１つまたは複数のセンサ（図示せず）を含みうる。かかるセンサの例として、ナビゲーションセンサ（例えば、ＧＰＳ（全地球測位システム）センサ）、赤外線検出器、動き検出器、サーモスタット、サウンド検出器、および任意の他の種類のセンサが挙げられる。例えば、第１のクライアント装置１０３は、現在時刻、位置（例えば、位置の緯度、経度、および高度）、乗り物の加速度、乗り物の速度、燃料タンクの液位、および乗り物のバッテリ残量等の１つまたは複数を測定するためのセンサ類を含みうる。センサは乗り物データ１８１の生成に使用できる。乗り物データ１８１は、移動中に得た情報、あるいはソーシャルネットワークサーバ１０１、第２のサーバ１９８、地図サーバ１９０、またはモバイル型クライアント装置１８８から受信した情報、も含むことができる。
【００１８】
いくつかの実施形態において、第１のユーザ１２５ａと第２のユーザ１２５ｂとは、第１のクライアント装置１０３およびモバイル型クライアント装置１８８の両方とインタラクトする同一のユーザ１２５とすることができる。例えば、ユーザ１２５は、第１のクライアント装置１０３（例えば、乗り物）に乗車してモバイル型クライアント装置１８８（例えば、スマートフォン）で操作を行う同乗者またはドライバとすることができる。いくつかの他の実施形態において、第１のユーザ１２５ａと第２のユーザ１２５ｂとが異なるユーザ１２５であり、それぞれが第１のクライアント装置１０３およびモバイル型クライアント装置１８８とインタラクトしてもよい。
【００１９】
安全アプリケーション１９９は、路上物体がないか監視し、第１のクライアント装置１０３に関連づけられた路上物体をヘッドアップディスプレイ上で強調するように構成されたグラフィカルデータを生成するソフトウェアとすることができる。いくつかの実施形態において、安全アプリケーション１９９は、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）を含むハードウェアを用いて実現できる。いくつかの他の実施形態において、安全アプリケーション１９９は、ハードウェアとソフトウェアとの組み合わせを用いて実現できる。安全アプリケーション１９９は装置とサーバとを組み合わせて格納してもいいし、装置またはサーバのいずれか１つに格納してもよい。
【００２０】
ソーシャルネットワークサーバ１０１は、プロセッサ、メモリ、およびネットワーク通信機能を備えたハードウェアサーバとすることができる。図示した実施形態において、ソーシャルネットワークサーバ１０１は、信号線１０４を介してネットワーク１０５に結合されている。ソーシャルネットワークサーバ１０１は、システム１００の他のエンティティとネットワーク１０５を介してデータの送受信を行う。ソーシャルネットワークサーバ１０１はソーシャルネットワークアプリケーション１１１を備えている。ソーシャルネットワークとは、ユーザ１２５がある共通の特徴によってつながりうる一種の社会構造と考
えることができる。共通の特徴の例として、関係性もしくは親類関係（例えば、友人、家族、仕事、興味等）が挙げられる。共通の特徴は、１つまたは複数のソーシャルネットワーキングシステムによって提供されるものでありえ、明示的に定義された関係のほか、関係によってソーシャルグラフが形成される、他のオンラインユーザとのソーシャルなつながりによる暗黙の関係を含む。いくつかの例において、ソーシャルグラフは、それらのユーザとユーザ間で可能な関係とのマッピングを反映することができる。
【００２１】
いくつかの実施形態において、ソーシャルネットワークアプリケーション１１１は、最新のトラフィック情報の決定に使用しうるソーシャルネットワークを生成する。例えば、ソーシャルネットワークアプリケーション１１１は、主要な高速道路における事故について投稿するマイクロブログや、ユーザが速度違反の取り締まりについてやりとりするフォーラム、地上道路の渋滞について友人らと話すソーシャルネットワーク等とすることができる。いくつかの実施形態において、安全アプリケーション１９９は、ソーシャルネットワークアプリケーション１１１から最新情報を受信し、どの路上物体を強調するかをある程度はその最新情報に基づいて決定する。
【００２２】
なお、ソーシャルネットワークサーバ１０１およびソーシャルネットワークアプリケーション１１１は１つのソーシャルネットワークの代表と考えることができ、ネットワーク１０５に結合された複数のソーシャルネットワークが存在し、それぞれが自身のサーバ、アプリケーション、およびソーシャルグラフを有していてもよい。例えば、第１のソーシャルネットワークはよりビジネスネットワーキング向きであり、第２のそれは、より学術研究向きか学術研究を中心に置くものであり、第３のそれはよりローカルビジネス向きであり、第４のそれが出会いを対象とし、それ以外は一般大衆または特定のテーマ向きであってもよい。
【００２３】
地図サーバ１９０は、プロセッサ、メモリ、および ネットワーク通信機能を備えたハ
ードウェアサーバとすることができる。図示した実施形態において、地図サーバ１９０は、信号線１１４を介してネットワーク１０５に結合されている。地図サーバ１９０は、システム１００の他のエンティティとネットワーク１０５を介してデータの送受信を行う。地図サーバ１９０は地図アプリケーション１９１を備えている。地図アプリケーション１９１はユーザに対して地図と行路指示を生成しうる。一実施形態において、安全アプリケーション１９９は、位置Ａから位置Ｂに移動するための行路指示の要求をユーザ１２５から受信し、その要求を地図サーバ１９０に送信する。地図アプリケーション１９１は行路指示および地図を生成し、ユーザに向けて表示するためにその行路指示および地図を安全アプリケーション１９９に送信する。
【００２４】
いくつかの実施形態において、システム１００は信号線１９７を介してネットワークに結合された第２のサーバ１９８を含む。第２のサーバ１９８は、安全アプリケーション１９９によって使用される追加情報（例えば、インフォテインメント、音楽等）を格納しうる。いくつかの実施形態において、第２のサーバ１９８はデータ（例えば、映画や音楽をストリーミングするためのデータ等）の要求を安全アプリケーション１９９から受信し、データを生成し、そのデータを安全アプリケーション１９９に送信する。
【００２５】
＜地図アプリケーションの例＞
ここで図２Ａを参照すると、地図アプリケーション１９１の例がより詳細に示されている。図２Ａはいくつかの例に係る計算装置２００のブロック図であり、計算装置２００は、地図アプリケーション１９１、プロセッサ２２５、メモリ２２７、および通信装置２４５を備えている。計算装置２００の構成要素どうしはバス２２０によって通信可能に結合されている。いくつかの実施形態において、計算装置２００は地図サーバ１９０、第１のクライアント装置１０３、またはモバイル型クライアント装置１８８のいずれかとするこ
とができる。
【００２６】
プロセッサ２２５は、論理演算装置、マイクロプロセッサ、汎用コントローラ、または演算を行い電子的な表示信号を表示装置に供給する何らかの他のプロセッサアレイ、を含む。プロセッサ２２５は他の構成要素と通信するために信号線２３６を介してバス２２０に結合されている。プロセッサ２２５はデータ信号を処理する。また、プロセッサ２２５はさまざまな演算アーキテクチャ（例えば、ＣＩＳＣ（複合命令セットコンピュータ）アーキテクチャ、ＲＩＳＣ（縮小命令セットコンピュータ）アーキテクチャ、または命令セットの組み合わせを実現するアーキテクチャ）を含みうる。図２Ａはシングルプロセッサ２２５を含むが、マルチプロセッサ２２５を含んでもよい。上記以外のプロセッサ、オペレーティングシステム、センサ、ディスプレイ、および物理構成も可能でありうる。
【００２７】
メモリ２２７は、プロセッサ２２５によって実行されうる命令またはデータを格納する。メモリ２２７は他の構成要素と通信するために信号線２３８を介してバス２２０に結合されている。命令またはデータは、本明細書に記載する技術を実施するためのコードを含みうる。メモリ２２７は、ＤＲＡＭ（ダイナミックランダムアクセスメモリ）デバイス、ＳＲＡＭ（スタティックランダムアクセスメモリ）デバイス、フラッシュメモリ、または何らかの他のメモリデバイスでありうる。いくつかの実施形態では、メモリ２２７の例として、不揮発性メモリまたは同様の永久記憶装置、さらにはハードディスクドライブ、フロッピーディスクドライブ、ＣＤ-ＲＯＭデバイス、ＤＶＤ-ＲＯＭデバイス、ＤＶＤ-Ｒ
ＡＭデバイス、ＤＶＤ-ＲＷデバイス、フラッシュメモリデバイス、または情報をより永
久的に記憶する何らかの他の大容量記憶装置を含む媒体、も挙げられる。
【００２８】
図２Ａに示すように、メモリ２２７は地図データ２９３を格納する。地図データ２９３は、特定の位置を記述するデータとすることができる。例えば、地図データ２９３は、あるエリアの道路地図、あるエリアの衛星写真、あるエリアのストリートビュー等を含みうる。地図データ２９３は、ある特定の地理的位置（米国、コロラド州、サンノゼ）に限定してもいいし、全世界を含んでもよい。いくつかの実施形態において、地図データ２９３は位置Ａから位置Ｂに到達するための行路指示を含む。
【００２９】
通信装置２４５は、安全アプリケーション１９９が格納されている場所に応じて、第１のクライアント装置１０３およびモバイル型クライアント装置１８８の少なくとも一方との間でデータを送受信する。通信装置２４５は信号線２４６を介してバス２２０に結合されている。いくつかの実施形態において、通信装置２４５は、ネットワーク１０５または別の通信チャネルとの直接的な物理的接続のためのポートを備えている。例えば、通信装置２４５は、第１のクライアント装置１０３との有線通信のためにＵＳＢ、ＳＤ、ＣＡＴ-５、または同様のポートを備えている。いくつかの実施形態において、通信装置２４５
は、第１のクライアント装置１０３または他の通信チャネルとの間でデータ交換を行うために無線送受信機を備えている。かかるデータ交換には、ＩＥＥＥ８０２．１１、ＩＥＥＥ８０２．１６、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または別の好適な無線通信方法を含む、１つまたは複数の無線通信方法が用いられる。
【００３０】
いくつかの実施形態において、通信装置２４５は、移動体通信ネットワーク上でデータを送受信するために移動体通信用送受信機を備える。かかるデータの送受信は、ＳＭＳ（ショートメッセージサービス）、ＭＭＳ（マルチメディアメッセージングサービス）、ＨＴＴＰ（ハイパーテキスト転送プロトコル）、ダイレクトデータコネクション、ＷＡＰ、電子メール、または別の好適な種類の電子通信を介して行われる。いくつかの実施形態において、通信装置２４５は有線ポートと無線送受信機とを備えている。通信装置２４５はネットワーク１０５との他の従来型接続をも提供する。それにより、ＴＣＰ／ＩＰ、ＨＴＴＰ、ＨＴＴＰＳ、およびＳＭＴＰ等を含む標準的なネットワークプロトコルを用いてフ
ァイルまたはメディアオブジェクトを配信する。
【００３１】
地図アプリケーション１９１は通信モジュール２０２および地図モジュール２０４を含む。通信モジュール２０２は、地図アプリケーション１９１と計算装置２００の他の構成要素との通信を処理するルーチンを含む、ソフトウェアとすることができる。いくつかの実施形態において、通信モジュール２０２は、プロセッサ２２５によって実行可能な命令のセットとすることができる。それにより、地図アプリケーション１９１と計算装置２００の他の構成要素との通信を処理するための下記の機能を提供する。いくつかの実施形態において、通信モジュール２０２は第１のクライアント装置１０３のメモリ２２７に格納することができ、プロセッサ２２５によるアクセスおよび実行を可能とすることができる。
【００３２】
通信モジュール２０２は地図モジュール２０４との間でデータの送受信を行う。例えば、安全アプリケーション１９９のユーザ１２５は、ユーザ１２５の位置の地図を要求しうる。通信装置２４５は要求を受信するとその要求を通信モジュール２０２に送信し、通信モジュール２０２はその要求を地図モジュール２０４に送信する。地図モジュール２０４が地図を作成すると、地図モジュール２０４はその地図を通信モジュール２０２に送信する。通信モジュール２０２は地図を通信装置２４５に送信し、さらに通信装置２４５は地図をネットワーク１０５経由で安全アプリケーション１９９に送信する。
【００３３】
通信モジュール２０２は第１のクライアント装置１０３またはモバイル型クライアント装置１８８と通信することができる。上記の例において、安全アプリケーション１９９の要求がもしユーザの位置を含んでいない場合、通信モジュール２０２は位置データを安全アプリケーション１９９に要求することもありうる。
【００３４】
地図モジュール２０４は、計算装置２００上で地図を作成するためのコードおよびルーチンを含む。例えば、地図アプリケーション１９１は安全アプリケーション１９９から（通信モジュール２０２を介して）行路指示の要求を受信する。地図アプリケーション１９１は行路指示の始点および終点を決定し、地図データ２９３をメモリ２２７から受信し、地図データ２９３に基づいて行路指示を生成する。
【００３５】
＜安全アプリケーションの例＞
ここで図２Ｂを参照すると、安全アプリケーション１９９の例がより詳細に示されている。図２Ｂは第１のクライアント装置１０３のブロック図であり、第１のクライアント装置１０３は、安全アプリケーション、ヘッドアップディスプレイ２３１、カメラ２３３、プロセッサ２３５、メモリ２３７、および通信装置２３９を備えている。第１のクライアント装置１０３の構成要素どうしはバス２４０によって通信可能に結合されている。図２Ｂは安全アプリケーション１９９を第１のクライアント装置１０３に格納されるものとして描いているが、安全アプリケーション１９９をモバイル型クライアント装置１８８に格納できることは当業者にはわかるだろう。ただし、ハードウェアによっては適用できないものがありうる。例えば、モバイル型クライアント装置１８８はヘッドアップディスプレイ２３１またはカメラ２３３を備えていないかもしれない。他の実施形態において、安全アプリケーション１９９はその一部を第１のクライアント装置１０３に、また他の一部をモバイル型クライアント装置１８８に格納することができる。例えば、モバイル型クライアント装置１８８側の安全アプリケーション１９９がユーザ入力を受信するが、ユーザ入力の処理は第１のクライアント装置１０３側の安全アプリケーション１９９によって実行するようにすることができるだろう。
【００３６】
ヘッドアップディスプレイ２３１は、ユーザの面にグラフィカルデータを表示するハードウェアを含む。このとき、道路から目をそらさなくてもグラフィカルデータを目視でき
るようにする。例えば、ヘッドアップディスプレイ２３１は物理的なスクリーンを含んでもいいし、第１のクライアント装置１０３のフロントガラスの一部もしくはリフレクタレンズの一部である透明フィルム上にグラフィカルデータを投影してもよい。いくつかの実施形態において、ヘッドアップディスプレイ２３１は第１のクライアント装置１０３の一部として製造工程中に備え付けられるか、または製造後に取り付けられる。他の実施形態において、ヘッドアップディスプレイ２３１は取り外し可能な装置である。いくつかの実施形態において、グラフィカルデータは輝度レベルを調整して環境条件（例えば、夜間、日中、曇天、明るさ等）に適応させる。ヘッドアップディスプレイは信号線２３２を介してバス２４０に結合されている。
【００３７】
ここで図７を参照すると、ヘッドアップディスプレイ２３１の構成例が詳細に示されている。ヘッドアップディスプレイ２３１は、プロジェクタ１００１、可動スクリーン１００２、スクリーン駆動装置１００３、光学系（レンズ１００４および１００６、反射器１００５等を含む）を備えている。プロジェクタ１００１は、ＤＭＤ（デジタルミラーデバイス）投影、液晶プロジェクタ等、任意の種類のプロジェクタでありうる。プロジェクタ１００１は可動スクリーン１００２上に像（グラフィック）１００８を投影する。可動スクリーンは透明プレートを含むため、投影像の光はスクリーン１００２を透過して乗り物（第１のクライアント装置１０３）のフロントガラス１００７に投影される。フロントガラス１００７に投影された像は、ドライバ１０１０にはあたかも実空間に存在する実際の物体（１０１１ａ，１０１１ｂ）であるかのように知覚される。
【００３８】
ヘッドアップディスプレイ２３１は、スクリーン１００２上での投影位置を調整することにより、ドライバ１０１０に対する像の方向（言い換えれば、フロントガラスにおける像の位置）を制御することができる。また、スクリーン１００２は位置１００３ａと位置１００３ｂとの範囲内でスクリーン駆動装置１００３によって移動することができる。スクリーン１００２の位置を調整することで、実空間におけるドライバ１０１０からの投影像の奥行き（距離）を変えることができる。一例において、スクリーン１００２の可動範囲（位置１００３ａと位置１００３ｂとの距離）は５ｍｍでありうる。これは実空間において５ｍ先から無限遠までの範囲に相当する。ヘッドアップディスプレイ２３１の使用により、ドライバ１０１０は投影像が実空間（三次元空間）内に存在するかのように知覚できる。例えば、像が実際の物体（例えば、歩行者、車等）と同じ三次元位置（または少なくとも実質的に同じ奥行き）に投影される場合、ドライバは投影像を目視するために眼の焦点を調節する必要がなく、実際の物体に目をやりながら投影像を容易に理解することができる。
【００３９】
ヘッドアップディスプレイ２３１は表示のためのグラフィカルデータを安全アプリケーション１９９から受信する。例えば、ヘッドアップディスプレイ２３１は、路上物体（例えば、速度制限標識またはヒッチハイカー）を強調するためのグラフィカルデータを受信する。路上物体には、路上での運転に適用される規則を示す道路交通標識も含まれる。路上物体は、道路上もしくは道路脇の人工物体、自然物体、または人等、任意の物体でありうる。カメラ２３３は信号線２４０を介してバスに結合されている。
【００４０】
カメラ２３３は、ユーザを記録する少なくとも１つの内部カメラ２３３と、道路を記録する少なくとも１つの外部カメラ２３３とを含む。内部カメラ２３３はユーザの顔、特にユーザの両眼を記録する。記録内容は、外部カメラ２３３の記録内容と同期するためのタイムスタンプを含む。内部カメラ２３３は記録内容を安全アプリケーション１９９に送信する。いくつかの実施形態において、複数の内部カメラ２３３が使用される場合、内部カメラ２３３はユーザの顔を異なる角度で撮影するように配置しうる。いくつかの実施形態において、道路をユーザの視点から記録するために追加的な内部カメラ２３３が使用される。例えば、内部カメラ２３３を道路に向けてユーザの頭上に置くことが考えられる。
【００４１】
外部カメラ２３３は車の前方部分に配置され、路上物体を記録する。例えば、外部カメラ２３３はユーザの目に見えるものをすべて記録するように配置される。記録内容は、内部カメラ２３３の記録内容と同期するためのタイムスタンプを含む。外部カメラ２３３は記録内容を安全アプリケーション１９９に送信する。いくつかの実施形態において、複数の外部カメラ２３３が使用される場合、外部カメラ２３３は道路の視野が最大になるように配置しうる。例えば、外部カメラをフロントグリルの各側に置くことが考えられる。
【００４２】
プロセッサ２３５および通信装置２３９は、図２Ａを参照して説明したプロセッサ２２５および通信装置２４５と同様である。したがって、ここでは説明を繰り返さない。
【００４３】
メモリ２３７は、プロセッサ２３５によって実行されうる命令またはデータを格納する。メモリ２３７は他の構成要素と通信するために信号線３３８を介してバス２４０に結合されている。命令またはデータは、本明細書に記載する技術を実施するためのコードを含みうる。メモリ２３７は、ＤＲＡＭ（ダイナミックランダムアクセスメモリ）デバイス、ＳＲＡＭ（スタティックランダムアクセスメモリ）デバイス、フラッシュメモリ、または何らかの他のメモリデバイスでありうる。いくつかの実施形態では、メモリ２３７の例として、不揮発性メモリまたは同様の永久記憶装置、さらにはハードディスクドライブ、フロッピーディスクドライブ、ＣＤ-ＲＯＭデバイス、ＤＶＤ-ＲＯＭデバイス、ＤＶＤ-Ｒ
ＡＭデバイス、ＤＶＤ-ＲＷデバイス、フラッシュメモリデバイス、または情報をより永
久的に記憶する何らかの他の大容量記憶装置を含む媒体、も挙げられる。このメモリは信号線２４２を介してバス２４０に結合されている。
【００４４】
図２Ｂに示すように、メモリ２３７は地図データ２９３、記録内容２９５、物体データ２９７、行程データ２９８、およびクラスタデータ２９９のうちの任意のものを格納しうる。いくつかの実施形態において、先の情報は、図１に示すように第１のクライアント装置１０３に関連づけられた乗り物データ１８１に分類される。いくつかの実施形態において、地図データ２９３は、地図アプリケーション１９１から受信される地図データ２９３の任意の部分を含む。他の実施形態において、地図データ２９３は地図アプリケーション１９１からの最新の地図を含む。
【００４５】
記録内容２９５はカメラ２３３から受信される。例えば、記録内容２９５は内部カメラ２３３からの映像および外部カメラからの映像を含む。物体データ２９７は路上物体に関する情報を含む。例えば、物体データ２９７は、外部カメラ２３３からの記録内容２９５内にある、物体ディテクタ２２２によって見分けられた路上物体や、その路上物体の増強グラフィックイメージ等を含みうるだろう。
【００４６】
行程データ２９８は、ユーザの行程に関する情報（例えば、過去の行程に関わる出発点、目的地、所要時間、経路等）を含む。例えば、行程データ２９８は、第１のクライアント装置１０３が訪れたすべての位置、ユーザ１２５が訪れたすべての位置（例えば、第１のクライアント装置１０３とモバイル型クライアント装置１８８との両方に関わる位置）、ユーザ１２５が要求した位置、等のログを含みうるだろう。クラスタデータ２９９は路上物体に対するユーザ１２５の反応に関する情報を含む。例えば、クラスタデータ２９９は、ユーザがある特定位置においてある路上物体を見過ごす頻度に関する統計情報を含む。
【００４７】
いくつかの実施形態において、安全アプリケーション１９９は、通信モジュール２２１、物体ディテクタ２２２、ユーザ目視ディテクタ２２４、重要性モジュール２２６、ＧＵＩ（グラフィカルユーザインタフェース）エンジン２２８、および解析エンジン２３０を含む。
【００４８】
通信モジュール２２１は、安全アプリケーション１９９と第１のクライアント装置１０３の他の構成要素との通信を処理するルーチンを含む、ソフトウェアとすることができる。いくつかの実施形態において、通信モジュール２２１は、プロセッサ２３５によって実行可能な命令のセットとすることができる。それにより、安全アプリケーション１９９と第１のクライアント装置１０３の他の構成要素との通信を処理するための下記の機能を提供する。いくつかの実施形態において、通信モジュール２２１は第１のクライアント装置１０３のメモリ２３７に格納することができ、プロセッサ２３５によるアクセスおよび実行を可能とすることができる。
【００４９】
通信モジュール２２１は、安全アプリケーション１９９が格納されている場所に応じて、第１のクライアント装置１０３、モバイル型クライアント装置１８８、地図サーバ１９０、ソーシャルネットワークサーバ１０１、および第２のサーバ１９８の１つまたは複数との間で通信装置２３９を介してデータの送受信を行う。例えば、通信モジュール２２１は、最近発生した交通事故に関する最新情報をソーシャルネットワークサーバ１０１から通信装置２３９経由で受信し、ヘッドアップディスプレイ２３１に埋め込むためにその最新情報をＧＵＩエンジン２２８に送信する。別の例において、通信モジュール２２１は、ユーザインタフェースをユーザに提供するためのグラフィカルデータをＧＵＩエンジン２２８から受信し、そのグラフィカルデータをヘッドアップディスプレイ２３１に送信することによってヘッドアップディスプレイ２３１がユーザインタフェースをユーザに提示可能にする。
【００５０】
いくつかの実施形態において、通信モジュール２２１は安全アプリケーション１９９の構成要素からデータを受信し、そのデータをメモリ２３７に格納する。例えば、通信モジュール２２１は物体ディテクタ２２２によって決定された物体データ２９７を受信し、そのデータをメモリ２３７に格納する。
【００５１】
いくつかの実施形態において、通信モジュール２２１は安全アプリケーション１９９の構成要素どうしの通信を処理しうる。例えば、通信モジュール２２１は、物体を記述するデータを物体ディテクタ２２２から受信し、そのデータを解析エンジン２３０に送信する。
【００５２】
物体ディテクタ２２２は、路上物体を特定するためのルーチンを含む、ソフトウェアとすることができる。いくつかの実施形態において、物体ディテクタ２２２は、プロセッサ２３５によって実行可能な命令のセットとすることができる。それにより、路上物体を特定するための下記の機能を提供する。いくつかの実施形態において、物体ディテクタ２２２は第１のクライアント装置１０３のメモリ２３７に格納することができ、プロセッサ２３５によるアクセスおよび実行を可能とすることができる。
【００５３】
いくつかの実施形態において、物体ディテクタ２２２は、道路の記録内容２９５をカメラ２３３から受信するか、またはメモリ２３７からの記録内容２９５を取得し、物体データ２９７としてメモリ２３７に格納されている記録内容２９５内の路上物体を特定する。例えば、物体ディテクタ２２２は、路上で遭遇しがちな物体の寸法のテンプレート（例えば、一時停止標識を表す八角形状、速度制限標識を表す四角形、等）を有しうるだろう。テンプレートは色および位置情報によって補足することもできる。例えば、路上物体に対して八角形状が使用できる場合、標識が赤色であることから物体ディテクタ２２２はその八角形状が一時停止標識であるとさらに確定できる。別の例において、四角形の物体がマイル単位の時速、または高速道路における次の出口までの距離を表す可能性がある場合、路上物体が道路脇にあれば、路上物体は速度制限標識であると物体ディテクタ２２２は判定し、標識が陸橋に設けられていれば距離表示板であると判定することができる。
【００５４】
いくつかの実施形態において、物体ディテクタ２２２は、標識上の文言を特定するために路上物体に対してＯＣＲ（光学式文字認識）を実施する。例えば、物体ディテクタ２２２はＯＣＲを実施して文言が「ＳＴＯＰ」であると判断することによってその八角形状が一時停止標識であることをさらに確定する。ＯＣＲ結果の確定を補助するため、物体ディテクタ２２２は路上物体の一般的な文言の辞書と文言とを比較してもよい。別の例において、物体ディテクタ２２２はユーザを補佐するためにＯＣＲを実施してメタデータを生成する。例えば、物体ディテクタ２２２は距離表示板に対してＯＣＲを実施し、第１のクライアント装置１０３と次の出口との距離を特定する。重要性モジュール２２６は、路上物体が重要かどうかを判定するためにこの情報を用いることができる。なぜなら、次の出口がわずか０．２５マイル先であり、ユーザはその出口を利用する必要があり、ユーザが左車線（右側通行を仮定する）にいるのであれば、路上物体をヘッドアップディスプレイ上で強調するべきだからである。いくつかの実施形態において、物体ディテクタ２２２は、すべての路上物体をヘッドアップディスプレイ上で強調するように構成されたグラフィカルデータを生成するようにＧＵＩエンジン２２８に指示する。
【００５５】
ユーザ目視ディテクタ２２４は、ユーザが路上物体を見たかどうかを判定するルーチンを含む、ソフトウェアとすることができる。いくつかの実施形態において、ユーザ目視ディテクタ２２４は、プロセッサ２３５によって実行可能な命令のセットとすることができる。それにより、ユーザが路上物体を見たかどうかを決定するための下記の機能を提供する。いくつかの実施形態において、ユーザ目視ディテクタ２２４は第１のクライアント装置１０３のメモリ２３７に格納することができ、プロセッサ２３５によるアクセスおよび実行を可能とすることができる。
【００５６】
ユーザ目視ディテクタ２２４は、運転中のユーザの記録内容２９５をカメラ２３３から受信するか、またはメモリ２３７からの記録内容２９５を取得（retrieve）する。ユーザ目視ディテクタ２２４は物体データ２９７を物体ディテクタ２２２から受信するか、またはメモリ２３７からの物体データ２９７を取得する。ユーザ目視ディテクタ２２４は、ユーザが路上物体の方向を見ていたかどうかを判定することによって、ユーザが路上物体を目視したかどうかを決定する。例えば、ユーザ目視ディテクタ２２４は、ユーザが道路のどこを注視しているかを決定するため、フレーム内におけるユーザの両眼の位置を特定する。次に、ユーザ目視ディテクタ２２４は、ユーザの視界と、同じタイムスタンプにおける外部カメラ２３３からの記録内容２９５のあるフレームによる路上物体の位置と、を比較する。
【００５７】
ユーザ目視ディテクタ２２４は、ユーザが見ている方向の決定を追加的データによって補うことができる。例えば、ユーザ目視ディテクタ２２４は、ユーザがある特定の方向を見ている時間の長さに対して閾値時間（例えば、１秒、５秒等）を適用した後、ユーザ目視ディテクタ２２４はユーザがその物体を目視したと判定する。別の例において、ユーザ目視ディテクタ２２４は、ユーザの瞳孔が開いたとき（これは関心があるしるしである）にユーザが物体を目視したと確定する。別の実施形態において、ユーザ目視ディテクタ２２４は追加的なユーザ行動を利用する。例えば、路上物体が警察車であり、かつユーザが警察車の方向を見たあとに減速する場合、ユーザ目視ディテクタ２２４はユーザが路上物体を目視したと判定する。いくつかの実施形態において、ユーザが路上物体を目視したとユーザ目視ディテクタ２２４が判定したら、ユーザ目視ディテクタ２２４は、グラフィック出力の強調を解除するか、またはグラフィック出力を削除するようにＧＵＩエンジン２２８に指示する。
【００５８】
いくつかの実施形態において、ユーザが路上物体を見たかどうかを判定するために、ユーザ目視ディテクタ２２４は学習処理（training）を利用してユーザ応答の基準（baseli
ne）を決定する。学習処理の対象はユーザ一般とすることもできるし、具体的に第１のクライアント装置１０３の第１のユーザ１２５ａとすることもできる。学習処理は、外部カメラ２３３および内部カメラ２３３が記録内容２９５を作成しながらユーザが第１のクライアント装置１０３において運転することを含みうる。ユーザ目視ディテクタ２２４はユーザが路上物体を目視したかどうかを判定する。ユーザ目視ディテクタ２２４がこの判定を行ったあと（または訓練の終了後）に、ユーザが見たとユーザ目視ディテクタ２２４が判定した物体をユーザが実際に見たかどうかを確認するようにユーザは求められる。ユーザ目視ディテクタ２２４の誤判定率が高い（すなわち、ユーザが見たとユーザ目視ディテクタ２２４が判定したものをユーザは実際には見ていなかった）場合、ユーザ目視ディテクタ２２４は設定値を変更する。例えば、物体の注視に関する閾値時間が２秒の場合、ユーザ目視ディテクタ２２４は閾値時間を３秒に延ばす。
【００５９】
重要性モジュール２２６は、路上物体が重要かどうかを判定するルーチンを含む、ソフトウェアとすることができる。いくつかの実施形態において、重要性モジュール２２６は、プロセッサ２３５によって実行可能な命令のセットとすることができる。それにより、路上物体が重要かどうかを判定するための下記の機能を提供する。いくつかの実施形態において、重要性モジュール２２６は第１のクライアント装置１０３のメモリ２３７に格納することができ、プロセッサ２３５によるアクセスおよび実行を可能とすることができる。
【００６０】
いくつかの実施形態において、重要性モジュール２２６は、路上物体が強調された後もユーザは依然として路上物体を見逃しているとの通知をユーザ目視ディテクタ２２４から受信する。重要性モジュール２２６はそれに応答して、路上物体が重要かどうかを判定した後、グラフィック出力をさらに増強するようにＧＵＩエンジン２２８に指示する。いくつかの実施形態において、物体データ２９７は、当該路上物体が重要かどうかについての表示を路上物体ごとに含みうるだろう。例えば、交通事故および速度制限の表示はすべて重要としてマーキングされる。
【００６１】
いくつかの実施形態において、路上物体が重要かどうかの判定はユーザの個人的好み（personal preference）に基づく。例えば、ＧＵＩエンジン２２８はユーザが好みを指定
するユーザインタフェースを生成できる。これは、いくつかの種類の路上物体を重要であるとマーキングすることを含む。別の例において、重要性モジュール２２６は、路上物体が重要かどうかをユーザの挙動履歴（historical user behavior）に基づいて決定する。例えば、ユーザがある種類の路上物体を見逃す率が７０％である場合、重要性モジュール２２６は当該種類の路上物体を重要であるとマーキングすることができる。いくつかの実施形態において、重要性モジュール２２６はユーザに関係する追加情報（例えば、ユーザの運転履歴や出頭命令書の一覧）を使用する。例えば、ユーザがある閾値回数を超える速度違反（例えば、３回の速度違反切符）を行っている場合、重要性モジュール２２６は速度制限標識を重要であると指定する。別の例において、ユーザがある閾値回数の駐車違反切符を交付されている場合、重要性モジュール２２６は駐車禁止標識が重要であると判定する。いくつかの実施形態において、重要性モジュール２２６は、ソーシャルネットワークアプリケーション１１１における他のユーザからの第１のユーザに関わる最新情報を含む情報に基づいて、重要かどうかの判定を補足することもできるだろう。例えば、第１のユーザの友人が第１のユーザの近くで行われている速度違反の取り締まりについて投稿すると、重要性モジュール２２６はその速度違反の取り締まりを重要であると判定する。
【００６２】
いくつかの実施形態において、重要性モジュール２２６は、状況変化に基づいて路上物体を重要であると指定する。例えば、出口をユーザに知らせる道路交通標識は、ユーザが出口から１マイル未満の距離に来るまでは重要でないとされうる。第１のクライアント装置１０３と路上交通物体（traffic object）によって示される位置との距離がある閾値距
離を下回ると、重要性モジュール２２６は路上物体が重要であると判定し、グラフィック出力を増強するようにＧＵＩエンジン２２８に指示する。
【００６３】
いくつかの実施形態において、重要性モジュール２２６は、路上物体の種類別重要度ランキングに基づいて路上物体が重要かどうかを判定する。例えば、重要性モジュール２２６は、駐車禁止標識よりマイル数標識、マイル数標識より速度制限標識、速度制限標識より事故通知のほうが重要度が高く、かつ事故通知は速度違反の取り締まり通知と重要度が同じであると指定することができる。いくつかの実施形態において、ＧＵＩエンジン２２８は、どの路上物体が重要であるかの判定をユーザが変更できるユーザインタフェースを生成する。
【００６４】
ＧＵＩ（グラフィカルユーザインタフェース）エンジン２２８は、ユーザインタフェースを提供するグラフィカルデータを生成するルーチンを含む、ソフトウェアとすることができる。いくつかの実施形態において、ＧＵＩエンジン２２８はプロセッサ２３５によって実行可能な命令のセットとすることができる。それにより、ユーザインタフェースを提供するグラフィカルデータを生成するための下記の機能を提供する。いくつかの実施形態において、ＧＵＩエンジン２２８は第１のクライアント装置１０３のメモリ２３７に格納することができ、プロセッサ２３５によるアクセスおよび実行を可能とすることができる。
【００６５】
いくつかの実施形態において、ＧＵＩエンジン２２８はヘッドアップディスプレイ２３１のためのグラフィカルデータを生成する。例えば、ＧＵＩエンジン２２８は、路上物体に関する物体ディテクタ２２２からの情報および／または物体データ２９７を受信し、路上物体を表示するためのグラフィカルデータを生成する。ＧＵＩエンジン２２８はそのグラフィカルデータをヘッドアップディスプレイ２３１に送信し、ヘッドアップディスプレイ２３１はそのデータを第１のクライアント装置１０３のヘッドアップディスプレイに表示する。
【００６６】
別の実施形態において、ＧＵＩエンジン２２８は、ヘッドアップディスプレイの一部である路上物体をユーザが目視しなかったという判定をユーザ目視ディテクタ２２４から受信する。ＧＵＩエンジン２２８はそれらの路上物体を強調するグラフィカルデータを生成する。例えば、ＧＵＩエンジン２２８は、より大きいアイコン、ハイライトされたアイコン、カラーアイコン、点滅アイコン等を提供する。いくつかの実施形態において、ＧＵＩエンジン２２８は、ユーザが最終的に物体を見ているという通知をユーザ目視ディテクタ２２４から受信し、それに従ってアイコンの強調を解除するか、またはアイコンを削除する。
【００６７】
いくつかの実施形態において、ＧＵＩエンジン２２８は、強調するべき路上物体に関する指示を解析エンジン２３０から受信する。例えば、ある路上物体を８０％のユーザが見逃している場合、解析エンジン２３０は当該路上物体をすべてのユーザに対して強調するべきだと判定する。ＧＵＩエンジン２２８は上記の例または当業者に知られた他の例を用いて路上物体を強調する。
【００６８】
ＧＵＩエンジン２２８は、路上物体を球面座標系で表示するためのグラフィカルデータを生成する。その場合、ユーザは物体を目視するために焦点を合わせ直さなくてもヘッドアップディスプレイ内の路上物体を目視することができる。ＧＵＩエンジン２２８はドライバの視野を球面座標系上に表現する。その場合、物体（例えば、道路標識）の位置は距離半径（ｒ）および角度シータ（θ）と角度ファイ（φ）とによって表すことができる。距離半径はドライバの視認位置から路上物体までの距離を表す。シータは、ある決まった天頂方向から測定した極角（すなわち、ｚ方向と半径の方向とが成す角度）である。ファ
イは、原点を通るある基準面であってその平面上のある決まった基準方向から測定したときに天頂と垂直になる平面、への垂直投影の方位角である。
【００６９】
いくつかの実施形態において、ＧＵＩエンジン２２８は、路上物体の大きさを第１のクライアント装置１０３と路上物体との距離の関数として表示する。例えば、ＧＵＩエンジン２２８は第１のクライアント装置１０３が近づくと路上物体の大きさを大きくする。
【００７０】
解析エンジン２３０は、ドライバらによって見落とされる路上物体を記述するデータを解析し、道路安全を向上させる方法を決定するルーチンを含むソフトウェアとすることができる。いくつかの実施形態において、解析エンジン２３０はプロセッサ２３５によって実行可能な命令のセットとすることができる。それにより、ドライバらによって見落とされる路上物体を記述するデータを解析し、道路安全を向上させる方法を決定するための下記の機能を提供する。いくつかの実施形態において、解析エンジン２３０は第１のクライアント装置１０３のメモリ２３７に格納することができ、プロセッサ２３５によるアクセスおよび実行を可能とすることができる。
【００７１】
一実施形態において、解析エンジン２３０は、ドライバらによって見落とされる路上物体を記述するデータを受信する。例えば、解析エンジン２３０は、すべての安全アプリケーション１９９から、またはドライバらによって見落とされた路上物体に関するデータを記録している中央サーバ（図示せず）から、物体データ２９７を受信する。いくつかの実施形態において、データは匿名化され、物体データ２９７は、当該路上物体、その物体（人や道路交通標識等）を特定する情報、路上物体に関わる文言、路上物体の位置、および路上物体を見落とすドライバのパーセンテージを含む。
【００７２】
いくつかの実施形態において、解析エンジン２３０は、ドライバらによって見落とされる路上物体のクラスタを決定する。例えば、解析エンジン２３０はクラスタ解析を行って路上物体をグループ化する。そのグループは、例えば、照明条件が悪い、あるいは近くに活発な動きが多すぎてドライバらがこのクラスタを見過ごすため、物体が見えにくくなっているエリアに位置するいくつかの路上物体を含みうるだろう。このグループが１つの路上物体しか含まないこともありうるだろう。
【００７３】
解析エンジン２３０は地図を生成するか、または地図アプリケーション１９１に地図を要求する。解析エンジン２３０は、ドライバらによって見落とされる路上物体を地図上に示す。地図は路上物体、路上物体の位置、および路上物体に関する情報（例えば、その路上物体が道路交通標識、人であるか等）を含む。解析エンジン２３０は地図を例えばメモリ２３７に格納する。解析エンジン２３０は、道路安全を向上させる方法を、見落とされる路上物体を記載した地図を用いて決定する。例えば、解析エンジン２３０は、ヘッドアップディスプレイ上のグラフィック出力を増強するようにＧＵＩエンジン２２８に指示し、ユーザが運転中に目にするがよく見落とされる路上物体を強調する。いくつかの実施形態において、解析エンジン２３０は、他のドライバらが見落とす路上物体とユーザがこれまでに見落とした路上物体とを区別するために異なるグラフィックを使用するようにＧＵＩエンジン２２８に指示する。例えば、ヘッドアップディスプレイの路上物体を異なる色、異なるアイコン等でハイライトすることが挙げられうる。
【００７４】
＜ヘッドアップディスプレイの例＞
図３は、ハンドル３０１の正面で道路３０２を見下ろすユーザの視点から見たヘッドアップディスプレイのグラフィック表示３００である。本実施形態において、ＧＵＩエンジン２２８は、路上物体を強調するグラフィカルデータを表示するようにヘッドアップディスプレイ２３１に指示する。路上物体の例として、ユーザが見なかったとユーザ目視ディテクタ２２４が判定した物体、あるいは他のユーザがよく見逃すと解析エンジン２３０が
判定した物体が挙げられうる。路上物体の例として、道路交通標識（例えば、速度制限標識３０３）、または関心のある他の物体（例えば、ヒッチハイカー３０４および事故物体３０５）が挙げられる。いくつかの実施形態において、ＧＵＩエンジン２２８はヘッドアップディスプレイ内の物体の大きさを、物体からの距離の関数として決定する。本例において、ヒッチハイカー３０４および速度制限標識３０３は近く、事故物体３０５はそれよりかなり遠い。いくつかの実施形態において、路上物体は球面座標系に基づいて表される。
【００７５】
＜路上物体における重要度順位の例＞
図４は路上物体の重要度の順位例４００である。一実施形態において、重要性モジュール２２６はユーザの好みまたは行動に基づいて路上物体の順位を決定する。別の実施形態において、重要性モジュール２２６はある所定のランキングに基づいて路上物体の順位を決定する。本例において、重要性モジュール２２６は、スクールゾーン４０２が最高順位を有し、以下、横断歩道標識４０４、一時停止標識４０６、道路状況（例えば、濡れたら滑りやすい）４０８と続き、速度制限標識４１０が最後に来る。
【００７６】
＜方法＞
図５Ａおよび図５Ｂは、路上物体をユーザに提示する方法例５００のフローチャートである。一実施形態において、ステップは、物体ディテクタ２２２と、ユーザ目視ディテクタ２２４と、重要性モジュール２２６と、ＧＵＩエンジン２２８とを備えた安全アプリケーション１９９によって実行される。
【００７７】
物体ディテクタ２２２は路上物体がないか監視する（５０２）。例えば、物体ディテクタ２２２は、道路の記録内容２９５を外部カメラ２３３から受信する。物体ディテクタ２２２は記録内容２９５において路上物体を検出する（５０４）。物体ディテクタ２２２は、路上物体をヘッドアップディスプレイ上で強調するように構成されたグラフィカルデータを生成する（５０６）ようにＧＵＩエンジン２２８に指示する。例えば、ＧＵＩエンジン２２８は、路上物体のアイコンを生成し、大きさや色等に基づいてそれを強調する。ＧＵＩエンジン２２８は表示のためにそのグラフィカルデータをヘッドアップディスプレイ２３１に送信する。
【００７８】
ユーザ目視ディテクタ２２４は、ユーザが路上物体をヘッドアップディスプレイ上で見たことを確認するためにユーザの両眼を監視する（５０８）。例えば、ユーザ目視ディテクタ２２４は、ユーザの両眼を撮影する少なくとも１つの内部カメラ２３３から記録内容２９５を受信する。ユーザ目視ディテクタ２２４は、ユーザの両眼が見ている方向を決定し、ユーザが路上物体を見たかどうか判定する（５１０）。例えば、路上に複数の路上物体が存在する場合、ユーザ目視ディテクタ２２４は、ユーザが見ている方向と、外部カメラ２３３による記録内容２９５中の路上物体とを比較し、路上物体のうちのどれをユーザが見ているかを決定する。いくつかの実施形態において、ユーザ目視ディテクタ２２４は、ユーザが路上物体を見たことを確認するために追加的な信号を使用する。例えば、ユーザ目視ディテクタ２２４は、ユーザが路上物体を見たことを、ある特定の方向を閾値時間にわたって注視したことに基づいて、両眼の見開きに呼応して、等によって判定する。ユーザが路上物体を見たら処理は終了する。
【００７９】
ユーザが路上物体を見ていなかった場合、重要性モジュール２２６は路上物体が重要かどうかを判定する（５１２）。例えば、重要性モジュール２２６は、メモリ２３７に格納された物体データ２９７が路上物体を重要であると指定しているかどうか判定する。路上物体が重要でなければ処理は終了する。路上物体が重要である場合、重要性モジュール２２６は、ユーザの注意を引くためにヘッドアップディスプレイ上のグラフィック出力を増強する（５１４）ようにＧＵＩエンジン２２８に指示する。例えば、ＧＵＩエンジン２２
８は、路上物体の大きさを大きくする、路上物体のアイコンを点滅させる、路上物体のアイコンを明るくする、等のグラフィカルデータを生成することが考えられるだろう。重要性モジュール２２６は、ユーザが路上物体を見たかどうかを判定する（５１６）。見ていない場合、重要性モジュール２２６は、ヘッドアップディスプレイ上のグラフィック出力の増強方法を決定する（５１８）ようにＧＵＩエンジン２２８に指示する。いくつかの実施形態において、メモリ２３７は、ヘッドアップディスプレイ上のグラフィック出力を増強するさまざまな方法のリストを格納し、ユーザが重要な路上物体を見逃すごとに、ＧＵＩエンジン２２８はリスト上の異なる手法を使用する。例えば、路上物体のアイコンを作成する手法が成功しなかった場合、ＧＵＩエンジン２２８はアイコンを点滅させる手法を次に試みる。これらのステップはユーザが路上物体を見るまで続けられる。
【００８０】
図６は、道路交通標識をクラスタリングに基づいてユーザに提示する別の方法例６００のフローチャートである。一実施形態において、ステップは、ＧＵＩエンジン２２８と解析エンジン２３０とを備えた安全アプリケーション１９９によって実行される。
【００８１】
解析エンジン２３０は、ドライバらによって見落とされる路上物体を記述するデータを解析し（６０２）、ドライバらによって見落とされる１つまたは複数の路上物体を決定する（６０４）。例えば、解析エンジン２３０は記録内容２９５および物体データ２９７をすべての安全アプリケーション１９９から受信して一般化を可能にする。解析エンジン２３０はドライバらによって見落とされる路上物体のクラスタを決定する（６０６）。例えば、照明が暗いことにより、ユーザはあるグループの路上物体をすべて見過ごしうる。クラスタは１つの路上物体しか含まないと解釈することもできる。いくつかの実施形態において、解析エンジン２３０はメモリ２３７に格納されたクラスタデータ２９９を用いて、ドライバらによって見落とされる路上物体のクラスタを決定する。
【００８２】
解析エンジン２３０は、ドライバらによって見落とされる路上物体を記載した地図を生成し（６０８）、その地図を例えばメモリ２３７に格納する（６１０）。いくつかの実施形態において、解析エンジン２３０は地図サーバ１９０の地図アプリケーション１９１から地図を受信する。解析エンジン２３０は、道路安全を向上させる方法を、見落とされる路上物体を記載した地図を用いて決定する（６１２）。例えば、解析エンジン２３０は、他のドライバらが頻繁に見落とす路上物体を強調する、ヘッドアップディスプレイ用のグラフィカルデータを生成するように、ＧＵＩエンジン２２８に指示する。いくつかの実施形態において、解析エンジン２３０は、どの路上物体を強調するべきかを閾値を用いて決定する。例えば、解析エンジン２３０は、他のドライバら７５％の時間において見過ごす路上物体を表示するグラフィカルデータを生成するよう、ＧＵＩエンジン２２８に指示する。
【００８３】
本明細書の実施形態は、ここで説明した動作を実行する装置にも関連する。この装置は要求される目的のための特別に製造されるものであっても良いし、汎用コンピュータを用いて構成しコンピュータ内に格納されるプログラムによって選択的に実行されたり再構成されたりするものであっても良い。このようなコンピュータプログラムは、コンピュータ可読記憶媒体に格納されてもよい。コンピュータ可読記憶媒体は、コンピュータのシステムバスに接続可能な、フロッピー（登録商標）ディスク・光ディスク・ＣＤ−ＲＯＭ・磁気ディスク、読み込み専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード、光学式カード、非一時的なメモリを有するUSBキー
を含むフラッシュメモリ、電子的命令を格納するのに適したその他の任意のメディア媒体を含むが、これらに限定される訳ではない。
【００８４】
本明細書は、全体にハードウェアによる実施形態、全体にソフトウェアによる実施形態、ハードウェアとソフトウェア要素の両方を含む実施形態の形式をとることができる。い
くつかの好ましい実施形態では、本明細書はソフトウェアによって実装される。ソフトウェアは、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むが、これらには限定されない。
【００８５】
さらに、ある実施形態は、コンピュータが利用あるいは読み込み可能な記憶媒体からアクセス可能なコンピュータプログラムプロダクトの形態を取る。この記憶媒体は、コンピュータや任意の命令実行システムによってあるいはそれらと共に利用されるプログラムコードを提供する。コンピュータが利用あるいは読み込み可能な記憶媒体とは、命令実行システムや装置によってあるいはそれらと共に利用されるプログラムを、保持、格納、通信、伝搬および転送可能な任意の装置を指す。
【００８６】
プログラムコードを格納・実行するために適したデータ処理システムは、システムバスを介して記憶素子に直接または間接的に接続された少なくとも１つのプロセッサを有する。記憶素子は、プログラムコードの実際の実行に際して使われるローカルメモリや、大容量記憶装置や、実行中に大容量記憶装置からデータを取得する回数を減らすためにいくつかのプログラムコードを一時的に記憶するキャッシュメモリなどを含む。
【００８７】
入力／出力（Ｉ／Ｏ）装置は、例えばキーボード、ディスプレイ、ポインティング装置などであるが、これらはＩ／Ｏコントローラを介して直接あるいは間接的にシステムに接続される。
【００８８】
システムにはネットワークアダプタも接続されており、これにより、私的ネットワークや公共ネットワークを介して他のデータ処理システムやリモートにあるプリンタや記憶装置に接続される。モデム、ケーブルモデム、イーサネット（登録商標）は、現在利用可能なネットワークアダプタのほんの一例である。
【００８９】
最後に、本明細書において提示されるアルゴリズムおよび表示は特定のコンピュータや他の装置と本来的に関連するものではない。本明細書における説明にしたがってプログラムを有する種々の汎用システムを用いることができるし、また要求された処理ステップを実行するための特定用途の装置を製作することが適した場合もある。これら種々のシステムに要求される構成は、以下の説明において明らかにされる。さらに、 本発明は、任意
の特定のプログラミング言語と関連づけられるものではない。本明細書で説明される内容を実装するために、種々のプログラミング言語を利用できることは明らかであろう。
【００９０】
実施形態の前述の説明は、例示と説明を目的として行われたものである。したがって、開示された実施形態が本発明の全てではないし、本発明を上記の実施形態に限定するものでもない。本発明は、上記の開示にしたがって、種々の変形が可能である。本発明の範囲は上述の実施形態に限定解釈されるべきではなく、特許請求の範囲にしたがって解釈されるべきである。本発明の技術に詳しい者であれば、本発明はその思想や本質的特徴から離れることなくその他の種々の形態で実現できることを理解できるであろう。同様に、モジュール・処理・特徴・属性・方法およびその他の本発明の態様に関する名前付けや分割方法は必須なものでものないし重要でもない。また、本発明やその特徴を実装する機構は異なる名前や分割方法や構成を備えていても構わない。さらに、当業者であれば、モジュール・処理・特徴・属性・方法およびその他の本発明の態様は、ソフトウェア、ハードウェア、ファームウェアもしくはこれらの組合せとして実装できることを理解できるであろう。また、本発明をソフトウェアとして実装する場合には、モジュールなどの各要素は、どのような様式で実装されても良い。例えば、スタンドアローンのプログラム、大きなプログラムの一部、異なる複数のプログラム、静的あるいは動的なリンクライブラリー、カーネルローダブルモジュール、デバイスドライバー、その他コンピュータプログラミングの当業者にとって既知な方式として実装することができる。さらに、実施形態は特定のプロ
グラミング言語に限定されるものではないし、特定のオペレーティングシステムや環境に限定されるものでもない。以上のように、上記の本発明の説明は限定的なものではなく例示的なものであり、本発明の範囲は添付の特許請求の範囲にしたがって定められる。
【図１】
0006358390.tif 000002
【図２Ａ】
0006358390.tif 000003
【図２Ｂ】
0006358390.tif 000004
【図３】
0006358390.tif 000005
【図４】
0006358390.tif 000006
【図５Ａ】
0006358390.tif 000007
【図５Ｂ】
0006358390.tif 000008
【図６】
0006358390.tif 000009
【図７】
0006358390.tif 000010