(57)【要約】【課題】ドライバが容易かつ迅速に道路上の物体を検出・認識できるようにする。【解決手段】プロセッサベースの演算装置によって実行される方法であって、エンティティについてのセンサデータを受信するステップと、前記エンティティをカテゴリに分類するステップと、車両データ、カテゴリーデータ、およびエンティティの位置に基づいて、前記エンティティの危険インデックスを推定するステップと、前記危険インデックスを含むエンティティデータを生成するステップと、前記エンティティデータに基づいて前記エンティティを表示するためのグラフィックを特定するステップと、前記危険インデックスに基づいて前記グラフィックの表示モダリティを決定するステップと、ユーザのアイフレームに対応するように前記グラフィックを配置するステップと、を含む。【選択図】図２
2016048547.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサベースの演算装置によって実行される方法であって、
エンティティについてのセンサデータを受信するステップと、
前記エンティティをカテゴリに分類するステップと、
車両データ、カテゴリーデータ、およびエンティティの位置に基づいて、前記エンティティの危険インデックスを推定するステップと、
前記危険インデックスを含むエンティティデータを生成するステップと、
前記エンティティデータに基づいて前記エンティティを表示するためのグラフィックを特定するステップと、
前記危険インデックスに基づいて前記グラフィックの表示モダリティを決定するステップと、
ユーザのアイフレームに対応するように前記グラフィックを配置するステップと、
を含む、方法。
【請求項２】
前記グラフィックを、前記ヘッドアップディスプレイ上に三次元デカルト座標で表示するステップ、をさらに含む、請求項１に記載の方法。
【請求項３】
前記グラフィックは、前記エンティティの単純化された表現である、請求項１または２に記載の方法。
【請求項４】
ユーザのアイフレームに対応するように前記グラフィックを配置する前記ステップは、
センサフレームからアイフレームへの第１の変換を計算するステップと、
前記第１の変換に対して、グラフィックからセンサフレームへの変換である第２の変換を掛けて、グラフィックからアイフレームへの変換である第３の変換を取得するステップと、
グラフィックからアイフレームへの変換ポーズに置かれたビューポートに前記グラフィックを投影するステップと、
をさらに含む、請求項１から３のいずれか１項に記載の方法。
【請求項５】
エンティティについてのセンサデータを受信する前記ステップは、さらに、センサフレームにおける前記エンティティの位置と、前記エンティティのバウンディングボックスと、を決定するステップをさらに含む、請求項１から４のいずれか１項に記載の方法。
【請求項６】
前記車両データは、前記車両の現在の速度または予測される速度と、ライトがオンであるかどうかを含む、
請求項１から５のいずれか１項に記載の方法。
【請求項７】
前記エンティティは移動物体である、請求項１から６のいずれか１項に記載の方法。
【請求項８】
前記危険インデックスを推定するステップは、前記危険インデックスが所定の閾値確率を超えるか否かを決定するステップを含む、請求項１から７のいずれか１項に記載の方法。
【請求項９】
前記危険インデックスを推定するステップは、過去のエンティティデータに基づいて前記エンティティと関連付けられた動きを推定するステップを含む、請求項１から８のいずれか１項に記載の方法。
【請求項１０】
前記グラフィックの表示モダリティを決定するステップは、危険インデックスの増加に応じてより目立つモダリティを決定するステップを含む、請求項１から９のいずれか１項
に記載の方法。
【請求項１１】
請求項１から１０のいずれか１項に記載の方法の各ステップをコンピュータに実行させるためのプログラム。
【請求項１２】
エンティティについてのセンサデータを受信する受信手段と、
前記エンティティをカテゴリに分類する分類手段と、
車両データ、カテゴリーデータ、およびエンティティの位置に基づいて、前記エンティティの危険インデックスを推定する推定手段と、
前記危険インデックスを含むエンティティデータを生成する生成手段と、
前記エンティティデータに基づいて前記エンティティを表示するためのグラフィックを特定する特定手段と、
前記危険インデックスに基づいて前記グラフィックの表示モダリティを決定する決定手段と、
ユーザのアイフレームに対応するように前記グラフィックを配置する配置手段と、
を備える、システム。
【請求項１３】
前記グラフィックを、前記ヘッドアップディスプレイ上に三次元デカルト座標で表示する表示手段、をさらに備える、請求項１２に記載のシステム。
【請求項１４】
前記グラフィックは、前記エンティティの単純化された表現である、請求項１２または１３に記載のシステム。
【請求項１５】
前記配置手段は、
センサフレームからアイフレームへの第１の変換を計算し、
前記第１の変換に対して、グラフィックからセンサフレームへの変換である第２の変換を掛けて、グラフィックからアイフレームへの変換である第３の変換を取得し、
グラフィックからアイフレームへの変換ポーズに置かれたビューポートに前記グラフィックを投影する、
請求項１２から１４のいずれか１項に記載のシステム。
【請求項１６】
前記受信手段は、さらに、センサフレームにおける前記エンティティの位置と、前記エンティティのバウンディングボックスと、を決定する
請求項１２から１５のいずれか１項に記載のシステム。
【請求項１７】
前記車両データは、前記車両の現在の速度または予測される速度と、ライトがオンであるかどうかを含む、
請求項１２から１６のいずれか１項に記載のシステム。
【請求項１８】
前記エンティティは移動物体である、請求項１２から１７のいずれか１項に記載のシステム。
【請求項１９】
前記推定手段は、前記危険インデックスが所定の閾値確率を超えるか否かを決定する、
請求項１２から１８のいずれか１項に記載のシステム。
【請求項２０】
前記推定手段は、過去のエンティティデータに基づいて前記エンティティと関連付けられた動きを推定する、
請求項１２から１９のいずれか１項に記載のシステム。
【請求項２１】
前記決定手段は、危険インデックスの増加に応じてより目立つモダリティを決定する、
請求項１２から２０のいずれか１項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書は、ヘッドアップディスプレイ用の空間情報を生成することに関する。
【背景技術】
【０００２】
今日の車両は、例えばレーダー、ライダー、カメラなどの複数のセンサを備えている。これらのセンサは、レーンキープ、衝突警告、コンフォートドライブ（たとえば、先進クルーズコントロール）のような車両システムのためにしばしば用いられる。センサ情報にしたがって動作する車両システムも存在するが、大部分の安全システムはユーザによる介入を必要とする。
【０００３】
そのような車両システムは、ユーザに対して道路から眼をそらして通知を見ることを要求するので、問題を含む。ドライバが切迫した危険な状態にあるならば、道路から眼をそらして通知に対して焦点合わせするのに時間がかかると、事故の可能性が増加する。そのうえ、提示される通知は複雑なものであることも多く、情報を処理するために更なる時間を要することが多い。その結果、車両システムによって安全性が改善されないこともある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、ドライバが容易かつ迅速に道路上のエンティティを検出・認識できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本開示において説明される発明主題の革新的な一態様は、エンティティについてのセンサデータを受信する受信手段と、前記エンティティをカテゴリに分類する分類手段と、車両データ、カテゴリーデータ、およびエンティティの位置に基づいて、前記エンティティの危険インデックスを推定する推定手段と、前記危険インデックスを含むエンティティデータを生成する生成手段と、前記エンティティデータに基づいて前記エンティティを表示するためのグラフィックを特定する特定手段と、前記危険インデックスに基づいて前記グラフィックの表示モダリティを決定する決定手段と、ユーザのアイフレームに対応するように前記グラフィックを配置する配置手段と、を備える、システムである。
【０００６】
一般に、本開示において説明される発明主題の別の革新的な一態様は、プロセッサベースの演算装置によって実行される方法であって、エンティティについてのセンサデータを受信するステップと、前記エンティティをカテゴリに分類するステップと、車両データ、カテゴリーデータ、およびエンティティの位置に基づいて、前記エンティティの危険インデックスを推定するステップと、前記危険インデックスを含むエンティティデータを生成するステップと、前記エンティティデータに基づいて前記エンティティを表示するためのグラフィックを特定するステップと、前記危険インデックスに基づいて前記グラフィックの表示モダリティを決定するステップと、ユーザのアイフレームに対応するように前記グラフィックを配置するステップと、を含む、方法である。
【０００７】
これらおよびその他の実施形態は、それぞれ以下の処理や特徴の一つまたは複数を付随的に含むことができる。たとえば、グラフィックは、前記エンティティの単純化された表現とすることができる。また、ユーザのアイフレームに対応するように前記グラフィックを配置する前記ステップは、センサフレームからアイフレームへの第１の変換を計算するステップと、前記第１の変換に対して、グラフィックからセンサフレームへの変換である
第２の変換を掛けて、グラフィックからアイフレームへの変換である第３の変換を取得するステップと、グラフィックからアイフレームへの変換ポーズに置かれたビューポートに前記グラフィックを投影するステップと、をさらに含むことができる。また、前記車両データは、前記車両の現在の速度または予測される速度と、ライトがオンであるかどうかを含むことができる。また、カテゴリーデータは、エンティティが移動物体であるかどうかを含むことができる。
【０００８】
ある実施形態においては、以下の付加的な処理を含むこともできる。たとえば、前記グラフィックを、前記ヘッドアップディスプレイ上に三次元デカルト座標で表示すること；センサフレームにおける前記エンティティの位置と、前記エンティティのバウンディングボックスと、前記エンティティの種類を決定すること；前記危険インデックスが所定の閾値確率を超えるか否かを決定すること；危険インデックスの増加に応じてより目立つモダリティを決定すること、を含むことができる。
【０００９】
他の態様は、これらもしくはその他の態様に対応する方法、システム、装置、およびコンピュータプログラムプロダクトを含む。
【発明の効果】
【００１０】
本開示は、特にいくつかの点で有利である。たとえば、本システムは、理解が容易なグラフィクスを用いて、ユーザに危険な状況を警告することができる。加えて、ヘッドアップディスプレイは、目の焦点を道路とグラフの間で変えることをドライバに要求しないグラフィクスを生成する。その結果、ユーザはより速く反応することができて、衝突を避けることができる。
【図面の簡単な説明】
【００１１】
以下の説明および添付の図面は本発明を説明するための例示であり、本発明を限定するものではない。図面においては、同様の要素には同一の参照符号を付してある。
【００１２】
【図１】図１は、ヘッドアップディスプレイ用の空間情報生成システムの例を示すブロック図である。
【図２】図２は、空間情報を生成するための安全アプリケーションの例を示すブロック図である。
【図３Ａ】図３Ａは、エンティティを囲んでいる境界ボックスの例の図式表示である。
【図３Ｂ】図３Ｂは、決定された危険インデックスつきのカテゴリ化されたエンティティの例の図式表示である。
【図３Ｃ】図３Ｃは、グラフィック選択過程の図式表示例である。
【図３Ｄ】図３Ｄは、ヘッドアップディスプレイの図式表示例である。
【図４】図４は、ヘッドアップディスプレイ用の空間情報を生成する例示的な方法のフローチャートである。
【図５】図５は、ヘッドアップディスプレイの構成例である。
【発明を実施するための形態】
【００１３】
＜例示的なシステムの概要＞
図１は、ヘッドアップディスプレイ用の空間情報生成システム１００の一実施形態のブロック図を示す。システム１００は、第１のクライアント装置１０３、モバイルクライアント装置１８８、ソーシャルネットワークサーバ１０１、第２のサーバ１９８および地図サーバ１９０を含む。第１のクライアント装置１０３とモバイルクライアント装置１８８は、それぞれ、信号線１２２と１２４を介して、ユーザ１２５ａと１２５ｂ（以下では、個々におよび集合的に、ユーザ１２５とも称する）によってアクセスされることができる
。本実施形態においては、システム１００のこれらのエンティティは、ネットワーク１０５を介して通信可能に結合されることができる。システム１００は、たとえば、交通データを提供するための交通サーバ、気象データを提供するための気象サーバおよび電力使用サービス（例えば課金サービス）を提供するための電力サービスサーバなどを含む、図１に示されない他のサーバまたは装置を含むことができる。
【００１４】
図１における第１のクライアント装置１０３とモバイルクライアント装置１８８は、一例として用いられることができる。図１は２つのクライアント装置１０３，１８８を例示するが、本開示は一つまたは複数のクライアント装置１０３，１８８を有するシステムアーキテクチャーに適用することができる。さらに、図１は、第１のクライアント装置１０３、モバイルクライアント装置１８８、ソーシャルネットワークサーバ１０１、第２のサーバ１９８と地図サーバ１９０に結合する１つのネットワーク１０５を例示するが、実際には、一つまたは複数のネットワーク１０５を接続することができる。図１は、１台のソーシャルネットワークサーバ１０１、１台の第２のサーバ１９８と１台の地図サーバ１９０を含むが、システム１００は、一つまたは複数のソーシャルネットワークサーバ１０１、一つまたは複数の第２のサーバ１９８と一つまたは複数の地図サーバ１９０を含むことができる。
【００１５】
ネットワーク１０５は、有線ネットワークであっても無線ネットワークであっても良く、また、スター型、トークンリング型や当業者に知られているその他の構成を取ることができる。さらにまた、ネットワーク１０５はＬＡＮ（Ｌｏｃａｌ  Ａｒｉａ  Ｎｅｔｗｏｒｋ），ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）（例えばインターネット）や、複数の装置が通信可能な相互接続データパスを含むことができる。ある実施形態では、ネットワーク１０５はピアツーピアネットワークであることができる。ネットワーク１０５は、種々の異なる通信プロトコルでデータを送る電気通信網の一部に結合されたり当該一部を含んでもよい。ある実施形態では、ネットワーク１０５は、ブルートゥース（登録商標）通信ネットワークや携帯電話通信ネットワークを含み、ＳＭＳ（ショートメッセージサービス）、ＭＭＳ（マルチメディアメッセージサービス）、ＨＴＴＰ（ハイパーテキスト転送プロトコル）、直接データ接続、ＷＡＰ、電子メールなどのデータを送受信する。ある実施形態では、ネットワーク１０５は、ＧＰＳナビゲーションを第１のクライアント装置１０３またはモバイルクライアント装置１８８に提供するためのＧＰＳ衛星を含むことができる。ネットワーク１０５は、３Ｇ、４Ｇ、ＬＴＥ、Ｖｏｉｃｅ−ｏｖｅｒ−ＬＴＥ（ＶｏＬＴＥ）のような任意のモバイルデータネットワークまたはモバイルデータネットワークの組合せであることができる。
【００１６】
ある実施形態では、安全アプリケーション１９９ａは、第１のクライアント装置１０３上で実行可能である。第１のクライアント装置１０３は、バッテリシステム搭載のモバイルクライアント装置でありえる。たとえば、第１のクライアント装置１０３は、非一時的なコンピュータエレクトロニクスとバッテリシステムを含む車両（例えば自動車、バス）、体内埋込装置やその他のモバイルシステムのうちのいずれかでありえる。ある実施形態では、第１のクライアント装置１０３は、メモリとプロセッサを含むコンピュータを含むことができる。図示される実施形態では、第１のクライアントデバイス１０３は信号線１０８を介してネットワーク１０５と通信可能に結合されている。
【００１７】
他の実施形態では、安全アプリケーション１９９ｂは、モバイルクライアント装置１８８上で実行可能である。モバイルクライアント装置１８８は、たとえば、ダッシュボードに搭載される車両装置、ラップトップコンピュータ、タブレットコンピュータ、携帯電話、パーソナル携帯情報機器（ＰＤＡ）、モバイル電子メール装置、携帯ゲームプレーヤー、携帯音楽プレーヤー、ネットワーク１０５にアクセス可能なその他の携帯電子デバイスのような、メモリとプロセッサを含む携帯型コンピュータであることができる。ある実施
形態では、安全アプリケーション１９９ｂは、部分的に第１のクライアント装置１０３の上に格納されるシンクライアントとして振る舞い、部分的にモバイルクライアント装置１８８に格納されるコンポーネントとして振る舞う。図示される実施形態では、モバイルクライアントデバイス１８８は信号線１１８を介してネットワーク１０５と通信可能に結合されている。
【００１８】
ある実施形態では、第１のユーザ１２５ａと第２のユーザ１２５ｂは、第１のクライアント装置１０３とモバイルクライアント装置１８８の両方と相互作用する同一のユーザ１２５でありえる。たとえば、ユーザ１２５は、第１のクライアント装置１０３（例えば車両）内に座っていて、モバイルクライアント装置１８８（例えばスマートフォン）を操作しているドライバでありえる。ある他の実施形態では、第１のユーザ１２５ａと第２のユーザ１２５ｂは、それぞれ、第１のクライアント装置１０３とモバイルクライアント装置１８８と相互作用する異なるユーザ１２５でありうる。たとえば、第１のユーザ１２５ａは、第１のクライアント装置１０３を運転するドライバであり、第２のユーザ１２５ｂはモバイルクライアント装置１８８と相互作用する乗客でありえる。
【００１９】
安全アプリケーション１９９は、ヘッドアップディスプレイ用に空間情報を生成するためのソフトウェアでありえる。安全アプリケーション１９９は、エンティティについてのセンサデータを受信する。たとえば、安全アプリケーション１９９は、エンティティの位置と特徴に関する情報を受信する。安全アプリケーション１９９は、エンティティに対してカテゴリを割り当てる。カテゴリの一例は、歩行者であり、より一般には移動物体である。安全アプリケーション１９９は、車両データ、カテゴリーデータ、およびエンティティの位置に基づいてエンティティの危険インデックスを推定する。たとえば、車両が走行している道路を渡り始める歩行者がエンティティである場合は、危険インデックスは、車両が同じ速度で移動した場合の衝突の可能性を反映する。安全アプリケーションは、危険インデックスを含むエンティティデータを生成する。たとえば、安全アプリケーションは、エンティティが歩行者であり、危険インデックスに基づいて衝突の可能性が高いと決定する。安全アプリケーションは、エンティティを表示するためのグラフィックをエンティティデータに基づいて特定する。たとえば、グラフィックは歩行者の棒線画である。安全アプリケーションは、グラフィックの表示モダリティ（表示態様）を危険インデックスに基づいて決定する。たとえば、歩行者が車両に近い場合は、棒線画の周囲を赤く点滅する境界で表示するモダリティが用いられる。安全アプリケーション１９９は、ユーザのアイフレームに対応させてグラフィックを配置する。その結果、眼の再焦点合わせを行うことなく、グラフィックを見ることができる。
【００２０】
ある実施形態では、安全アプリケーション１９９は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向け集積回路（ＡＳＩＣ）を含むハードウェアを用いて実施されることができる。別の実施形態では、安全アプリケーション１９９はハードウェアとソフトウェアの両方を用いて実装される。ある実施形態では、安全アプリケーション１９９は、装置とサーバの両方に格納されてもよいし、装置とサーバのいずれかのみに格納されてもよい。
【００２１】
ソーシャルネットワークサーバ１０１は、プロセッサ、メモリとネットワーク通信能力を含むハードウェアサーバである。本実施形態においては、ソーシャルネットワークサーバ１０１は、信号線１０４を介してネットワーク１０５に結合されている。ソーシャルネットワークサーバ１０１は、ネットワーク１０５を介してシステム１００の他のエンティティとの間でデータを送受信する。ソーシャルネットワークサーバ１０１は、ソーシャルネットワークアプリケーション１１１を含む。ソーシャルネットワークは、ユーザ１２５が共通の特徴によって繋がることができる一種の社会構造（ｓｏｃｉａｌ  ｓｔｒｕｃｔｕｒｅ）である。共通機能は、例えば、友好関係、家族、仕事、関心などの関係や繋がり
を含む。共通の特徴は、明示的に定義された関係や、他のオンラインユーザとの間の社会的繋がりによって暗示される関係を含む一つまたは複数のソーシャルネットワークシステムによって提供されることができ、このような関係がソーシャルグラフを形成する。ある実施例では、ソーシャルグラフは、これらのユーザの対応や、これらのユーザがどのような関係であるかを反映する。
【００２２】
ある実施形態では、ソーシャルネットワークアプリケーション１１１は、エンティティデータを生成するために用いられるソーシャルネットワークを生成する。たとえば、第１のクライアント装置１０３と類似した経路を走行している他の車両は、第１のクライアント装置が遭遇するエンティティについての情報を特定することができる。たとえば、エンティティが歩行者である場合、他の車両は歩行者の速度と方向を決定することができる。エンティティデータは、歩行者の危険インデックスをより正確に決定するために、安全アプリケーション１９９により用いられる。
【００２３】
地図サーバ１９０は、プロセッサ、メモリとネットワーク通信能力を含むハードウェアサーバである。本実施形態においては、地図サーバ１９０は、信号線１１４を介してネットワーク１０５に結合されている。地図サーバ１９０は、ネットワーク１０５を介してシステム１００の他のエンティティとの間でデータを送受信する。地図サーバ１９０は、地図アプリケーション１９１を含む。地図アプリケーション１９１は、ユーザのために地図と方向を生成することができる。一実施形態においては、安全アプリケーション１９９は、点Ａから点Ｂまで旅行するユーザ１２５から方向案内の要求を受信し、この要求を地図サーバ１９０に送信する。地図アプリケーション１９１は、方向案内と地図を生成して、この方向案内と地図を表示するために安全アプリケーション１９９に送る。ある実施形態では、方向案内は第１のモバイル装置１０３の経路を決定するために用いることができるので、コンテンツアプリケーション１９９は方向案内を車両データ２９３に加える。
【００２４】
ある実施形態では、システム１００は、信号線１９７を介してネットワークに結合される第２のサーバ１９８を含む。第２のサーバ１９８は、安全アプリケーション１９９により用いられる追加情報（例えばインフォテインメント（ｉｎｆｏｔａｉｎｍｅｎｔ）、音楽など）を格納することができる。ある実施形態では、第２のサーバ１９８は、安全アプリケーション１９９からデータ（例えば、映画や音楽などをストリーミングするためのデータ）を求める要求を受信して、データを生成して、データを安全アプリケーション１９９に発信する。
【００２５】
＜例示的な地図アプリケーション＞
次に図２を参照して、安全アプリケーション１９９の例が更に詳細に示される。図２は、一実施例にかかる、安全アプリケーション１９９、プロセッサ２２５、メモリ２２７、グラフィクスデータベース２２９、ヘッドアップディスプレイ２３１、カメラ２３３、通信ユニット２４５、およびセンサ２４７を含む第１のクライアント装置１０３のブロック図である。コンピュータ２００の各構成要素は、バス２４０を介して通信可能に結合される。
【００２６】
図２では安全アプリケーション１９９は第１のクライアント装置１０３に保存されているが、当業者であれば安全アプリケーション１９９の構成要素が、特定のハードウェアが適用不可能なモバイルクライアント装置１８８に保存されても良いことを理解できるだろう。たとえば、モバイルクライアント装置１８８は、ヘッドアップディスプレイ２３１やカメラ２３３を含まないかもしれない。安全アプリケーション１９９がモバイルクライアント装置１８８に保存される実施形態では、安全アプリケーション１９９は、第１のクライアント装置１０３上のセンサから情報を受信し、当該情報を利用してヘッドアップディスプレイ２３１用のグラフィックを決定し、第１のクライアント装置１０３上のヘッドア
ップディスプレイ２３１に当該グラフィックデータを送ることができる。ある実施形態では、安全アプリケーション１９９は、一部が第１のクライアント装置１０３上に、そして、一部がモバイルクライアント装置１８８上に格納される。
【００２７】
プロセッサ２２５は、演算論理ユニット、マイクロプロセッサ、汎用制御装置や、その他のプロセッサアレイを有し、計算を実行したり、表示装置に電子表示信号を提供したりする。プロセッサ２２５は、バス２４０に結合され、信号線２３６を介して他の構成要素と通信する。プロセッサ２２５はデータ信号を処理する。プロセッサのアーキテクチャは、ＣＩＳＣ（Ｃｏｍｐｌｅｘ  Ｉｎｓｔｒｕｃｔｉｏｎ  Ｓｅｔ  Ｃｏｍｐｕｔｅｒ）、ＲＩＳＣ（Ｒｅｄｕｃｅｄ  Ｉｎｓｔｒｕｃｔｉｏｎ  Ｓｅｔ  Ｃｏｍｐｕｔｅｒ）、これら両方の命令セットの組合せとして実装されたアーキテクチャなど様々なアーキテクチャが可能である。図２には１つのプロセッサ２２５だけが示されるが、複数のプロセッサ２２５が含まれてもよい。上記以外のプロセッサ、オペレーティングシステム、センサ、表示装置、あるいは物理的構成も採用可能である。
【００２８】
メモリ２２７は、プロセッサ２２５が実行可能な命令やデータを格納する。メモリ２２７は、バス２４０に結合され、信号線２３８を介して他の構成要素と通信する。格納される命令やデータは、ここに表される技術を実行するためのコードを含む。メモリ２２７は、ＤＲＡＭ、ＳＲＡＭ、フラッシュメモリやその他の既存のメモリ装置である。ある実施形態においては、メモリ２２７は、ハードディスクドライブ、フロッピー（登録商標）ディスクドライブ、ＣＤ−ＲＯＭ装置、ＤＶＤ−ＲＯＭ装置、ＤＶＤ−ＲＡＭ装置、ＤＶＤ−ＲＷ装置、フラッシュメモリ装置や情報記憶の分野において既知のその他の大容量記憶装置などの、非一時的（ｎｏｎ−ｖｏｌａｔｉｌｅ）メモリや永久記憶装置を含んでも良い。
【００２９】
図２に示すように、メモリ２２７は、車両データ２９３、カテゴリーデータ２９５、エンティティデータ２９７、および旅行データ２９８を格納する。車両データ２９３は、車両の速度、ライトがオンであるかオフであるか、地図サーバ１９０によって提供される意図された経路の、などのような第１のクライアント１０３についての情報を含む。ある実施形態では、センサ２４７は、車両データ２９３を決定するためのハードウェアを含むことができる。車両データ２９３は、各エンティティについての危険インデックスを決定するために、危険評価モジュール２２６により用いられる。
【００３０】
カテゴリーデータ２９５は、エンティティの複数のカテゴリと、各カテゴリのエンティティがどのように振る舞うかについての情報とを含む。たとえば、カテゴリは、静止物体と移動物体のように包括的ものであってもよいし、静止した人物、移動している人物、静止している車両、移動している車両などのようにより具体的なものであってもよい。また、交通標識、道路に関連した物体、情報を提供する物体などであってもよい。例えば、車両のカテゴリーデータ２９５は最低速度、最高速度、平均速度を含むことができ、これらの情報は新しい車両情報が特定される度にそれぞれ更新される。カテゴリーデータ２９５は、エンティティの危険インデックスを決定するために危険評価モジュール２２６によって用いられる。
【００３１】
エンティティデータ２９７は、エンティティに関する情報を含む。たとえば、エンティティデータ２９７は、センサフレーム内でのエンティティの位置と方向、エンティティのバウンディングボックス、エンティティの動きの方向とその速度を含む。ある実施形態では、エンティティデータ２９７は、エンティティがどのように振る舞うかについての履歴データも含む。
【００３２】
旅行データ２９８は、ユーザの旅行に関する情報、例えば、過去の旅行と関連付いた始
点、目的地、期間、経路などを含む。たとえば、旅行データ２９８は、第１のクライアント装置１０３によって訪問される全ての位置、ユーザ１２５によって訪問される全ての位置（例えば、第１のクライアント装置１０３とモバイルクライアント装置１８８の両方に関連した位置）、ユーザ１２５によってリクエストされる位置などのログを含むことができる。
【００３３】
グラフィクスデータベース２２９は、グラフィクス情報を格納するためのデータベースを含む。グラフィクスデータベース２２９は、異なるエンティティを表す予め生成された二次元および三次元グラフィクスのセットを含む。たとえば、二次元のグラフィックは２Ｄピクセルマトリックスであり、三次元グラフィックは３Ｄボクセルマトリックスであることができる。グラフィクスは、ユーザの認識負荷を減少させるために、エンティティの簡略化表現であってもよい。たとえば、現実的な描写として歩行者を表現する代わりに、歩行者のグラフィックはステッキの図案を含んでもよい。ある実施形態では、グラフィクスデータベース２２９は、問い合わせに応じるリレーショナルデータベースである。たとえば、グラフィクス選択モジュール２２８は、エンティティデータ２９７に合致するグラフィクスを、グラフィクスデータベース２２９に問い合わせる。
【００３４】
ヘッドアップディスプレイ２３１は、ユーザがグラフィックデータを見るために視線を道路からそらす必要がないように、３次元（３Ｄ）グラフィックデータをユーザの前方に表示するためのハードウェアを含む。たとえば、ヘッドアップディスプレイ２３１は、物理的な表示面を含んでもよいし、第１のクライアント装置１０３のフロントガラスの一部や反射レンズの一部である透明膜にグラフィックデータを投影しても良い。ある実施形態では、ヘッドアップディスプレイ２３１は、製作過程において第１のクライアント装置１０３の一部として含まれてもよいし、後で設置されてもよい。他の実施形態では、ヘッドアップディスプレイ２３１は取り外し可能な装置である。ある実施形態では、グラフィックデータは、例えば夜間、昼間、曇り、晴れなどの環境条件を考慮して、輝度レベルが調整される。ヘッドアップディスプレイは、信号線２３２を介してバス２４０に結合されている。
【００３５】
ヘッドアップディスプレイ２３１は、安全アプリケーション１９９から表示用のグラフィックデータを受信する。たとえば、ヘッドアップディスプレイ２３１は、安全アプリケーション１９９から透明な態様（モダリティ）を持つ車両のグラフィックを受信する。ヘッドアップディスプレイ２３１は、三次元デカルト座標（例えば、ｘ，ｙ，ｚ座標）を用いてグラフィクスを表示する。
【００３６】
図５は、ヘッドアップディスプレイ２３１の構成例を示す図である。ヘッドアップディスプレイは、プロジェクタ１００１、可動スクリーン１００２、スクリーン駆動部１００３、光学系（レンズ１００４，１００６や反射板１００５など）を有する。プロジェクタ１００１は画像１００８を可動スクリーン１００２上に投影し、投影された画像は、光学系を介して、車両（第１のクライアント装置１０３）のフロントガラス１００７に投影される。フロントガラス１００７に投影された画像は、フロントガラス１００７の前方の実空間内に存在する物体（１０１１ａ、１０１１ｂなど）としてドライバ１０１０によって知覚される。
【００３７】
ヘッドアップディスプレイ２３１は、プロジェクタ１００１による可動スクリーン１００２上への画像の投影位置を調整することで、実空間内における投影像のドライバ１０１０に対する方向を制御できる。また、可動スクリーン１００２は、スクリーン駆動部１００３によって位置１００３ａから位置１００３ｂの範囲で移動可能である。可動スクリーンの位置を調整することで、実空間における投影像のドライバ１０１０からの距離を調整できる。この移動範囲（位置１００３ａと位置１００３ｂの間の距離）は本実施形態では
５ｍｍであるが、これは実空間での距離は５ｍから無限遠に対応する。本実施形態におけるヘッドアップディスプレイ２３１を用いることで、ドライバ１０１０は、投影像が実空間（３次元空間）内にあるものと知覚できる。例えば、実空間における実物体（例えば歩行者や他の車両など）と同じ３次元空間位置に画像を投影すると、ドライバ１０１０は、実物体と投影像を見るときに眼の焦点を変える必要がなく、実物体を見ている状況で投影像を容易に認識できる。
【００３８】
カメラ２３３は、第１のクライアント装置１０３の外の画像を撮影するためのハードウェアであり、この画像は、物体を特定するために検知モジュール２２２により用いられる。ある実施形態では、カメラ２３３は道路のビデオ録画を撮影する。カメラ２３３は、第１のクライアント装置１０３の内部にあってもよいし、第１のクライアント装置１０３の外にあってもよい。ある実施形態では、カメラ２３３は車両の前面部分に配置されて、道路上もしくはその付近の物体を記録する。たとえば、カメラ２３３は、ユーザが見ることができるすべてのものを記録できるように配置される。カメラ２３３は、画像を安全アプリケーション１９９に送る。図では、１台のカメラ２３３だけが示されているが、複数のカメラ２３３を用いることもできる。複数のカメラ２３３が用いられる実施形態では、カメラ２３３は道路の視野範囲を最大化するように配置されることが好ましい。たとえば、カメラ２３３はグリルの両側に配置することができる。カメラは、信号線２３４を介してバス２４０に結合される。
【００３９】
安全アプリケーション１９９の格納場所に応じて、通信ユニット２４５は、第１のクライアント装置１０３とモバイルクライアント装置１８８のうちの少なくとも１つとの間でデータを送受信する。通信ユニット２４５は、信号線２４６を介してバス２４０に結合されている。ある実施形態では、通信ユニット２４５は、ネットワーク１０５や他の通信チャネルへの直接的な物理的接続のためのポート（接合部）を含む。たとえば、通信ユニット２４５は、第１のクライアント装置１０３との有線通信のためのＵＳＢ、ＳＤ、ＣＡＴ−５または類似のポートを含む。ある実施形態では、通信ユニット２４５は、ＩＥＥＥ  ８０２．１１、ＩＥＥＥ  ８０２．１６、ＢＬＵＥＴＯＯＴＨ（登録商標）、または他の適切な無線通信方式を含む一つまたは複数の無線通信方式を用いて、クライアント装置１０３や他の通信チャネルとデータを交換するための無線送受信部を含むことができる。
【００４０】
ある実施形態では、通信ユニット２４５は、携帯電話ネットワークを介して、ショートメッセージサービス（ＳＭＳ）、マルチメディアメッセージサービス（ＭＭＳ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、直接的データ接続、ＷＡＰ、電子メールやその他の適切な種類の電子的通信を含むデータを送信するための携帯無線送受信機を含む。ある実施形態では、通信ユニット２４５は、有線ポートと無線送受信機を含みうる。通信ユニット２４５は、ＴＣＰ／ＩＰ、ＨＴＴＰ、ＨＴＴＰＳ、ＳＭＴＰなどを含む標準ネットワークプロトコルを用いて、ファイルやメディアオブジェクトを配布するために、ネットワーク１０５への従来の接続も提供する。
【００４１】
センサ２４７は、物理的変化を感知する任意の装置である。第１のクライアント装置１０３は、１種類または多種類のセンサ２４７を有することができる。センサ２４７は、信号線２４８を介してバス２２０に結合される。
【００４２】
一実施形態においては、センサ２４７は、ライダー（ＬＩＤＡＲ：光検出測距）のような、第１のクライアント１０３周囲の環境の３次元マップを生成するために用いられるレーザー式センサである。ライダーは、レーザーから対象物に向けてエネルギーバーストを放出し、戻り光を測定して距離を計算することによって、第１のクライアント装置１０３の視覚として機能する。別の実施形態においては、センサ２４７はレーダーを含む。レーダーはライダーと類似の機能を有するが、距離決定のためにマイクロ波パルスを用い、よ
り遠くの距離にあるより小さい物体を検出可能である。
【００４３】
別の実施形態においては、センサ２４７は、第１のクライアント装置１０３についての車両データ２９３を決定するためのハードウェアを含む。たとえば、センサ２４７は、例えば第１のクライアント装置１０３の加速度を測定するために用いられる加速度計のようなモーション検出器である。別の例では、センサ２４７は、例えばグローバルポジショニングシステム（ＧＰＳ）、ワイヤレスネットワークを介した三角測量による位置検出などの位置検出器を含む。さらに別の例では、センサ２４７は、ライトがオンであるかオフであるか、ワイパーがオンであるかオフであるかを決定するための装置のような、第１のクライアント１０３の状態を決定するための装置を含む。ある実施形態に、センサ２４７は、通信モジュール２０２を介して車両データ２９３を検知モジュール２２２または危険評価モジュール２２６に送る。他の実施形態では、センサ２４７は、車両データ２９３の一部として位置情報をメモリ２２７に格納する。
【００４４】
ある実施形態では、センサ２４７は深度（ｄｅｐｔｈ）センサを含む。深度センサは、赤外レーザー光のスペックルパターンのようなパターン投影を用いて深度を決定する。別の実施形態においては、深度センサは、光信号がカメラ２３３と物体の間を進むのに要する時間に基づいて深度を決定するＴＯＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ）技術を用いて深度を決定する。たとえば、深度センサは、レーザー測距器である。深度センサは、通信モジュール２０２を介して深度情報を検知モジュール２２２に送ってもよいし、センサ２４７は、車両データ２９３の一部として深度情報をメモリ２２７に格納しても良い。
【００４５】
他の実施形態に、センサ２４７は、赤外検出器、モーション検出器、サーモスタット、音検出器、その他のタイプの任意のセンサを含むことができる。たとえば、第１のクライアント装置１０３は、現在時刻、位置（例えば、位置の緯度・経度・高度）、車両の加速度、速度、燃料タンクレベル、バッテリーレベルの速さなどの一つ以上を測定するためのセンサを含むことができる。センサは、車両データ２９３を生成するために用いられる。車両データ２９３は、旅行中に取得される任意の情報や、ソーシャルネットワークサーバ１０１、第２のサーバ１９８、地図サーバ１９０またはモバイルクライアント装置１８８から受信される任意の情報を含むこともできる。
【００４６】
＜例示的な安全アプリケーション＞
ある実施形態では、安全アプリケーション１９９は、通信モジュール２２１、物体検出器２２２、カテゴリ化モジュール２２４、危険評価モジュール２２６、グラフィクス選択モジュール２２８、およびシーン計算モジュール２３０を含む。
【００４７】
通信モジュール２２１は、安全アプリケーション１９９と第１のクライアント装置１０３の他の構成要素との間の通信を処理するためのルーチンを含むソフトウェアである。ある実装形態では、通信モジュール２２１は、プロセッサ２３５で実行可能な一組の命令であり、安全アプリケーション１９９と第１のクライアント装置１０３の他の要素との間の通信を処理するために下記の機能を提供する。ある実施形態では、通信モジュール２２１は、第１のクライアント装置１０３のメモリ２３７に格納され、プロセッサ２３５によってアクセスおよび実行可能である。
【００４８】
通信モジュール２２１は、通信ユニット２４５を介して、安全アプリケーション１９９が格納される場所に応じて、第１のクライアント装置１０３、モバイルクライアント装置１８８、地図サーバ１９０、ソーシャルネットワークサーバ１０１、および第２のサーバ１９８の一つまたは複数との間でデータを送受信する。たとえば、通信モジュール２２１は、通信ユニット２４５を介して、第１のクライアント装置１０３の意図された経路に関する地図データを地図サーバ１９０から受信する。通信モジュール２２１は、第１のモバ
イル装置１０３の経路と検出されたエンティティの経路とを比較するために、地図にデータを危険評価モジュール２２６に送る。
【００４９】
ある実施形態では、通信モジュール２２１は、安全アプリケーション１９９の構成要素からデータを受信して、データをメモリ２３７に格納する。たとえば、通信モジュール２２１は、センサ２４７からデータを受信して、検知モジュール２２２によって決定されるように車両データとしてメモリ２３７に格納する。
【００５０】
ある実施形態では、通信モジュール２２１は、安全アプリケーション１９９の構成要素の間の通信を処理することができる。たとえば、通信モジュール２２１は、カテゴリ化モジュール２２４からカテゴリーデータ２９５を受信して、危険評価モジュール２２６に送る。
【００５１】
検知モジュール２２２は、エンティティに関するデータをセンサ２４７から受信するためのルーチンを含むソフトウェアである。ある実装形態では、検知モジュール２２２は、プロセッサ２３５で実行可能な一組の命令であり、センサ２４７からセンサデータを受信するための下記の機能を提供する。ある実施形態では、検知モジュール２２２は、第１のクライアント装置１０３のメモリ２３７に格納され、プロセッサ２３５によってアクセスおよび実行可能である。
【００５２】
ある実施形態では、検知モジュール２２２は、センサ２４７またはカメラ２３３のうちの少なくとも１台からセンサデータを受信して、エンティティに関するエンティティデータ２９７を生成する。たとえば、検知モジュール２２２は、センサ２４７またはカメラ２３３と相対的なエンティティの位置を決定する。別の例では、検知モジュール２２２は、カメラ２３３から画像またはビデオを受信して、歩行者や、建物、レーンマーカー、障害物などの静止物などのエンティティの位置を特定する。
【００５３】
エンティティと第１のクライアント装置１０３の間の距離を決定するために、検知モジュール２２２は、センサ２４７から生成される車両データ２９３（例えばＧＰＳによって決定される位置）を用いることができる。別の例では、センサ２４７はライダーやレーダーを含み、第１のクライアント装置１０３とエンティティの間の距離を決定するために用いられることができる。検知モジュール２２２は、センサフレーム（ｘ，ｙ，ｚ）内でのエンティティの位置を含むｎ個組（ｎ−ｔｕｐｌｅ）を返す。ある実施形態では、検知モジュール２２２は、エンティティの経路を決定するために位置情報を用いる。検知モジュール２２２は、経路をエンティティデータ２９７に加える。
【００５４】
検知モジュール２２２は、ソーシャルネットワークサーバ１０１からエンティティについての情報を受信する。たとえば、他の第１のクライアント装置１０３が同一あるいは類似した経路を旅行する前に第１のクライアント装置１０３がエンティティを検出した場合、ソーシャルネットワークサーバ１０１はこの物体に関する情報を安全アプリケーション１９９に送信する。たとえば、検知モジュール２２２は、ソーシャルネットワークサーバ１０１からエンティティの速度に関する情報を受信する。
【００５５】
ある実施形態では、検知モジュール２２２は、エンティティの空間位置を決定して、エンティティを囲むバウンディングボックス（境界ボックス）を生成する。たとえば、検知モジュール２２２は、円柱形状のバウンディングボックスを生成する。バウンディングボックスの形状は円柱以外であってもよく、たとえば、非対称な物体を説明するために不規則な形状なバウンディングボックスを用いてもよい。ある実施形態では、検知モジュール２２２は、エンティティのバウンディングボックスの位置（ｘｂ，ｙｂ，ｚｂ）ｓを含むｎ個組を返す。ここで、添字ｂはバウンディングボックスの座標がセンサに対する座標で
あることを示す。
【００５６】
ある実施形態では、検知モジュール２２２は、エンティティの種類を決定する。たとえば、検知モジュール２２２は、エンティティが、特定の物体、未知の障害物、人、自転車、車両、特定の交通信号、レーンマーカー、商業看板であるなどと決定する。ある実施形態では、検知モジュール２２２は、ｎ個組の一部としてエンティティの種類を出力する。たとえば、検知モジュール２２２は、センサフレームにおけるエンティティの位置、エンティティのバウンディングボックス、およびタイプを［（ｘ，ｙ，ｚ）ｓ，（ｘｂ，ｙｂ，ｚｂ）ｓ，Ｔ］として出力する。
【００５７】
図３Ａは、通りを横断している人３０１を含む車道の図式表示３００である。センサ２４７やカメラ２３３は、車道に関する情報を取得して、当該情報を検知モジュール２２２に送る。第１のクライアント装置１０３のダッシュボード３０４から発せられる線３０６は、センサ２４７やカメラ２３３によって取得される部分を表現する。
【００５８】
検知モジュール２２２は、人３０１、歩道３０２、およびレーンマーカー３０３を検出する。検知モジュール２２２は、人３０１、歩道３０２、およびレーンマーカー３０３のエンティティデータ２９７を生成する。検知モジュール２２２は、歩行者３０１を囲むバウンディングボックス３０５を生成する。この例では、バウンディングボックスは円柱である。
【００５９】
カテゴリ化モジュール２２４は、エンティティを分類するためのルーチンを含むソフトウェアである。ある実装形態では、カテゴリ化モジュール２２４は、プロセッサ２３５で実行可能な一組の命令であり、エンティティを分類するための下記の機能を提供する。ある実施形態では、カテゴリ化モジュール２２４は、第１のクライアント装置１０３のメモリ２３７に格納され、プロセッサ２３５によってアクセスおよび実行可能である。
【００６０】
カテゴリ化モジュール２２４は、エンティティのカテゴリを生成して、当該カテゴリをカテゴリーデータ２９５として格納する。カテゴリ化モジュール２２４は、検知モジュール２２２からエンティティデータ２９７を受信するか、メモリ２２７からエンティティデータ２９７を取得する。カテゴリ化モジュール２２４は、エンティティのカテゴリを決定して、当該情報をエンティティデータ２９７に加える。たとえば、カテゴリ化モジュール２２４は、人を静止した人または歩行者にカテゴリ化する。他のカテゴリは、交通情報、移動車両などを含む。カテゴリ化モジュール２２４は、各々のカテゴリに対して、平均速度、動きの予測可能性、平均的な大きさなどについての情報を付加してもよい。ある実施形態では、カテゴリ化モジュール２２４は、［（ｘ，ｙ，ｚ）ｓ，（ｘｂ，ｙｂ，ｚｂ）ｓ，Ｔ，Ｃ］のようにエンティティ情報にカテゴリＣを追加する。
【００６１】
図３Ｂは、決定された危険インデックスを含むカテゴリ化されたエンティティの図式表示３１０である。カテゴリ化モジュール２２４は、人３０１を、歩行者であり歩いているエンティティであると分類する。
【００６２】
危険評価モジュール２２６は、車両データ２９３、カテゴリーデータ２９５、エンティティデータ２９７に基づいてエンティティの危険インデックスを推定するためのルーチンを含むソフトウェアである。ある実装形態では、危険評価モジュール２２６は、プロセッサ２３５で実行可能な一組の命令であり、エンティティの危険インデックスを推定するための下記の機能を提供する。ある実施形態では、危険評価モジュール２２６は、第１のクライアント装置１０３のメモリ２３７に格納され、プロセッサ２３５によってアクセスおよび実行可能である。
【００６３】
ある実施形態では、危険評価モジュール２２６は、車両データ２９３、カテゴリーデータ２９５、エンティティデータ２９７に基づいてエンティティの危険インデックスを推定する。たとえば、危険評価モジュール２２６は、第１のクライアント装置１０３の速度の決定、エンティティが移動するカテゴリの一部であるかどうかの（カテゴリーデータ２９５に基づく）決定、第１のクライアント装置１０３がどの程度エンティティに近いかの決定を行う。エンティティが移動している場合は、危険評価モジュール２２６は、エンティティの経路と速度とを決定し、衝突が発生するかどうかおよびいつ衝突が発生するかを、第１のクライアント装置１０３およびエンティティの速度に基づいて決定する。
【００６４】
ある実施形態では、カテゴリーデータ２９５はエンティティの動きに関する過去の情報を含み、危険評価モジュール２２６はこの情報を考慮する。ある他の実施形態では、危険インデックスは、第１のクライアント装置１０３の状態にも基づいて決定される。たとえば、第１のクライアント装置１０３のフロントワイパーが作動中であるならば、危険評価モジュール２２６は、より高い危険インデックスを割り当てる。これは、フロントワイパーが作動していることは、劣悪な気象条件を示唆するためである。ある実施形態では、危険評価モジュール２２６は、危険インデックスを決定するための要因として、エンティティの予測経路も用いる。
【００６５】
危険インデックスは確率的であり、衝突の可能性を反映する。たとえば、危険インデックスは、ｄｍａｘを１００として、ｄ／ｄｍａｘによって計算される。５１／１００のスコアは、５１％の衝突確率を反映する。ある実施形態では、危険評価モジュール２２６は、重み付き計算を用いて危険インデックスを決定する。たとえば、危険評価モジュール２２６は、以下の情報の組み合わせを用いる。
ｄ＝ｆ（ｗ１（車両の速度），ｗ２（気象状況），ｗ３（カテゴリーデータ），ｗ４（エンティティデータ））    ・・・（１）
【００６６】
ここで、ｗ１は第１の重み、ｗ２は第２の重み、ｗ３は第３の重み、ｗ４は第４の重みである。危険インデックスは、車両とエンティティの移動方向を解析して両者が交差するかどうかを決定することによって計算することができる。両者の推定経路が交差する場合は、システムは両者の速度を調べて、衝突の危険があるかどうか、および与えられた路面条件および気象条件の下で車両が停止可能であるかどうかを決定する。
【００６７】
ある実施形態では、危険評価モジュール２２６は、危険インデックスを複数の異なるレベルに分割する。例えば、０−４０％は衝突の危険なし、４１％−６０％は経度の危険、６１％−８０％は重大な危険、８１％−１００％は切迫した危険、にそれぞれ分類される。その結果、危険インデックスが特定のカテゴリに分類されるならば、グラフィクス選択モジュール２２８は、危険インデックスと危険のレベルをグラフィクス選択モジュール２２８に提供し、グラフィクス選択モジュール２２８が対応するモダリティ（態様）を利用できるようにする。ある実施形態では、危険評価モジュール２２６は、［（ｘ，ｙ，ｚ）ｓ，（ｘｂ，ｙｂ，ｚｂ）ｓ，Ｔ，Ｃ，ｄ／ｄｍａｘ］のように危険インデックスｄ／ｄｍａｘをエンティティデータ２９７に加える。
【００６８】
図３Ｂの説明を続ける。危険評価モジュール２２６は、歩いている歩行者の３０１の動きと第１のクライアント装置１０３の経路に基づいて、衝突の危険を反映する危険インデックスを計算する。この例では、危険評価モジュール２２６は、危険アイコン３１２によって表現されるように、歩行者３０１と第１のクライアント装置１０３の間での衝突の可能性が高いことを示す危険インデックスを決定する。そして、危険評価モジュール２２６は、危険インデックスをグラフィクス選択モジュール２２８に送ったり、危険インデックスをメモリに保存されているエンティティデータ２９７に加えたりする。
【００６９】
グラフィクス選択モジュール２２８は、エンティティを表現するためにグラフィックおよびモダリティを選択するためのルーチンを含むソフトウェアである。ある実装形態では、グラフィクス選択モジュール２２８は、プロセッサ２３５で実行可能な一組の命令であり、エンティティを表現用のグラフィックとモダリティを選択するための下記の機能を提供する。ある実施形態では、グラフィクス選択モジュール２２８は、第１のクライアント装置１０３のメモリ２３７に格納され、プロセッサ２３５によってアクセスおよび実行可能である。
【００７０】
ある実施形態では、グラフィクス選択モジュール２２８は、合致するグラフィックをグラフィクスデータベース２２９に問い合わせる。ある実施形態に、グラフィクス選択モジュール２２８は、検知モジュール２２２によって決定されたエンティティの識別子を提供する。たとえば、グラフィクス選択モジュール２２８は、バスのグラフィックをグラフィクスデータベース２２９に問い合わせる。別の実施形態においては、グラフィクス選択モジュール２２８は、１８本のタイヤを有する移動車両などのような複数の属性に基づいて、グラフィクスデータベース２２９に問い合わせる。
【００７１】
ある実施形態では、グラフィクス選択モジュール２２８は、危険インデックスに基づいてモダリティを要求する。モダリティは、エンティティのグラフィックの一部であっても良いし、別個のグラフィックであっても良い。モダリティは、エンティティに関連した危険を反映する。たとえば、グラフィクス選択モジュール２２８は、危険が差し迫っているならば、エンティティのアウトラインとして赤く点滅するアウトラインを要求することができる。反対に、グラフィクス選択モジュール２２８は、危険が差し迫っていないならば、エンティティの透明画像を要求することができる。ある実施形態では、モダリティは、危険評価モジュール２２６によって決定される危険レベルに対応する。たとえば、０−４０％は透明なモダリティに対応し、４１％−６０％はオレンジ色のモダリティに対応し、６１％−８０％は赤く点滅するモダリティに対応し、８１％−１００％は赤の塗り潰しで点滅するモダリティに対応する。
【００７２】
ある実施形態では、グラフィクス選択モジュール２２８は、エンティティの位置に基づいてモダリティを決定する。たとえば、エンティティが道路沿いの歩道を歩いている歩行者である場合、グラフィクス選択モジュール２２８はモダリティをライトグラフィック（ｌｉｇｈｔ  ｇｒａｐｈｉｃ）に決定する。グラフィクス選択モジュール２２８は、グラフィックＧｇをグラフィクスデータベース２２９から取得する。
【００７３】
図３Ｃは、グラフィック選択処理の図式表示３２０の例を示す。この例では、グラフィクス選択モジュール２２８は、歩行者の単純化されたバージョンであるグラフィック３２１を選択する。単純化バージョンは、曲がった腕や顔を有する歩行者ではなく、棒線画で描画される。ある実施形態では、グラフィック３２１は、重要性を伝えるために明るい赤のモダリティを含む。
【００７４】
シーン計算モジュール２３０は、ユーザのアイフレーム（ｅｙｅ  ｆｒａｍｅ）に対応する位置にグラフィックを配置するためのルーチンを含むソフトウェアである。ある実施形態では、シーン計算モジュール２３０は、プロセッサ２３５で実行可能な一組の命令であり、ユーザのアイフレームに対応する位置にグラフィックを配置するために下記の機能を提供する。ある実施形態では、シーン計算モジュール２３０は、第１のクライアント装置１０３のメモリ２３７に格納され、プロセッサ２３５によってアクセスおよび実行可能である。
【００７５】
一実施形態においては、シーン計算モジュール２３０は、ドライバのアイボックスにあわせてグラフィックとモダリティを変形する。アイボックスは、ドライバの視野の中にあ
るヘッドアップディスプレイ２３１によって生成された投影画像を含む領域である。ドライバが頭を動かしてもグラフィックを見ることができるように、アイボックスフレームは十分に大きく設計されている。ドライバの眼がアイボッス内で大きく左または右に動いた場合には、グラフィクスは視界から消える。アイボックスはドライバの視野の中にあるので、グラフィックスを見るためにドライバは焦点合わせをする必要がない。ある実施形態では、シーン計算モジュール２３０は、眼の高さや眼間距離（すなわちドライバの眼の間の距離）の差異を調整するための補正によって、各ユーザに対して異なるアイボックスを生成する。
【００７６】
シーン計算モジュール２３０は、ドライバの視野およびセンサとドライバのアイボックスの間の距離に合わせてグラフィックを調整する。一実施形態においては、シーン計算モジュール２３０は、第１のクライアント装置１０３に対する相対的な空間位置（ｘ，ｙ，ｚ）とグラフィクスＧｇに基づいて、アイフレームＧｅｙｅ内におけるグラフィクスを計算する。まず、センサフレームからアイフレームへの変換（Ｔｓ−ｅ）が計算される。次いで、シーン計算モジュール２３０は、Ｔｓ−ｅにグラフィックからセンサフレームへの変換（Ｔｇ−ｓ）を掛けて、グラフィックからアイフレームへの変換（Ｔｇ−ｅ）を得る。次いで、グラフィクスＧｇは、Ｔｇ−ｅポーズ（Ｔｇ−ｅ  ｐｏｓｅ）に置かれたビューポートに投影される。シーン計算モジュール２３０は、道路の凝視とグラフィクスの凝視を切り替えた場合にドライバが焦点あわせをする必要がないように、アイフレームを計算する。その結果、ドライバの焦点を同じに保つようにグラフィクスを表示することにより、０  ．５〜１秒の反応時間を節約することができる。これは、第１のクライアント装置１０３が９０ｋｍ／ｈで移動している場合には、１２．５〜２５メートルに相当する。
【００７７】
ある実施形態では、シーン計算モジュール２３０は、グラフィクスをエンティティの位置に重畳表示することを命じるヘッドアップディスプレイ２３１に対する命令を生成する。別の実施形態においては、シーン計算モジュール２３０は、別の位置にグラフィクスを表示したり、エンティティの現実位置への重畳表示に加えてグラフィクスを表示したりすることを命じるヘッドアップディスプレイ２３１に対する命令を生成する。たとえば、ヘッドアップディスプレイ画像の最下部または最上部に、ユーザが道路上で探しているグラフィクスの概要を含ませることができる。
【００７８】
ある実施形態では、シーン計算モジュール２３０は、両視眼を提供するために眼ごとに視野を決定する。たとえば、シーン計算モジュール２３０は、両方の眼が同時に見ることができるヘッドアップディスプレイ２３１の最大角度範囲である、オーバーラップ両眼視野を決定する。ある実施形態では、シーン計算モジュール２３０は、眼間距離とドライバ高さにおける変化を補正するために、各ドライバ用に両眼視野を調整する。
【００７９】
図３Ｄは、ヘッドアップディスプレイ３３１の例示的な図式表示３３０である。この例においては、シーン計算モジュール２３０は、第１のクライアント装置１０３に対する相対的な空間位置（ｘ，ｙ，ｚ）に基づいて、アイフレーム３３２を計算し、範囲情報が埋め込まれ眼の位置に投影される投影像を生成する。その結果、シーン計算モジュール２３０は、ドライバが眼の再焦点合わせをする必要がないように、グラフィック３３３を３次元配置する。
【００８０】
＜例示的な方法＞
図４は、ヘッドアップディスプレイ用に空間情報を生成する例示的な方法のフローチャートである。ある実施形態では、方法４００は、第１のクライアント装置１０３またはモバイルクライアント装置１８８に格納された安全アプリケーション１９９のモジュールによって実行される。たとえば、安全システム１９９は、検知モジュール２２２、カテゴリ化モジュール２２４、危険評価モジュール２２６、グラフィクス選択モジュール２２８、
およびシーン計算モジュール２３０を含む。
【００８１】
検知モジュール２２２は、エンティティについてのセンサデータを受信する（４０２）。たとえば、検知モジュール２２２は、カメラ２３３から画像、ＧＰＳセンサ２４７から位置情報、ライダーセンサ２４７から距離情報をそれぞれ受信する。検知モジュール２２２は、エンティティを特定し、センサデータに基づいてエンティティデータ２９７を生成する。検知モジュール２２２は、センサフレームにおけるエンティティの位置、エンティティのバウンディングボックス、エンティティの種類も決定する。
【００８２】
カテゴリ化モジュール２２４は、エンティティにカテゴリを割り当てる（４０４）。危険評価モジュール２２６は、車両データ、カテゴリーデータ、エンティティデータに基づいてエンティティの危険インデックスを推定する（４０６）。危険評価モジュール２２６は、危険インデックスがあらかじめ定められた閾値確率を超えるかどうかを決定してもよい。
【００８３】
グラフィクス選択モジュール２２８は、エンティティの表示するためのグラフィックを特定する（４０８）。たとえば、グラフィックは、車両を表現するための車のアイコンのような、エンティティの簡略化された表現である。グラフィクス選択モジュール２２８は、危険インデックスに基づいてグラフィックの表示モダリティを決定する（４１０）。危険インデックスが大きいほど、グラフィックはより注意を引く表示モダリティとすることができる。たとえば、このようなモダリティは、明るい色を含んでいてもよいし、塗りつぶされていてもよいし、点滅するグラフィックであってもよい。モダリティは、物体のグラフィックの一部であっても良いし、別個のグラフィックであっても良い。シーン計算モジュール２３０は、ユーザのアイフレームに対応させてグラフィックを配置する（４１２）。シーン計算モジュール２３０は、エンティティの実際の位置にグラフィックを配置し、ユーザがグラフィックとエンティティを見るときに実質的に同じ眼の焦点を維持できるようにする。これにより、応答時間を短縮することができる。なぜならば、視線を物体からグラフィックに切り替えたときに、ユーザは眼の焦点あわせを再度行う必要がないからである。ある実施形態では、本方法は、グラフィックを三次元デカルト座標として表示するヘッドアップディスプレイ２３１を含む。
【００８４】
本明細書の実施形態は、ここで説明された操作を実行する装置にも関する。この装置は、要求される目的のために特別に作られたものであっても良いし、あるいは、コンピュータに格納されたコンピュータプログラムによって選択的に起動されたり再構成されたりする汎用コンピュータを含んでも良い。このようなコンピュータプログラムは、コンピュータ可読記憶媒体に格納されてもよい。コンピュータ可読記憶媒体は、コンピュータのシステムバスに接続可能な、フロッピー（登録商標）ディスク・光ディスク・ＣＤ−ＲＯＭ・磁気ディスク、読み込み専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード、光学式カード、非一時的なメモリを有するＵＳＢキーを含むフラッシュメモリ、電子的命令を格納するのに適したその他の任意のメディア媒体を含むが、これらに限定される訳ではない。
【００８５】
発明の具体的な実施形態は、完全にハードウェアによって実現されるものでも良いし、完全にソフトウェアによって実現されるものでも良いし、ハードウェアとソフトウェアの両方によって実現されるものでも良い。好ましい実施形態では、本明細書はソフトウェアによって実装される。ソフトウェアは、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むが、これらには限定されない。
【００８６】
さらに、ある実施形態は、コンピュータが利用あるいは読み込み可能な記憶媒体からアクセス可能なコンピュータプログラムプロダクトの形態を取る。この記憶媒体は、コンピ
ュータや任意の命令実行システムによってあるいはそれらと共に利用されるプログラムコードを提供する。コンピュータが利用あるいは読み込み可能な記憶媒体とは、命令実行システムや装置によってあるいはそれらと共に利用されるプログラムを、保持、格納、通信、伝搬および転送可能な任意の装置を指す。
【００８７】
プログラムコードを格納・実行するために適したデータ処理システムは、システムバスを介して記憶素子に直接または間接的に接続された少なくとも１つのプロセッサを有する。記憶素子は、プログラムコードの実際の実行に際して使われるローカルメモリや、大容量記憶装置や、実行中に大容量記憶装置からデータを取得する回数を減らすためにいくつかのプログラムコードを一時的に記憶するキャッシュメモリなどを含む。
【００８８】
入力／出力（Ｉ／Ｏ）装置は、例えばキーボード、ディスプレイ、ポインティング装置などであるが、これらはＩ／Ｏコントローラを介して直接あるいは間接的にシステムに接続される。
【００８９】
システムにはネットワークアダプタも接続されており、これにより、私的ネットワークや公共ネットワークを介して他のデータ処理システムやリモートにあるプリンタや記憶装置に接続される。モデム、ケーブルモデム、イーサネット（登録商標）は、現在利用可能なネットワークアダプタのほんの一例である。
【００９０】
最後に、本明細書において提示されるアルゴリズムおよび表示は特定のコンピュータや他の装置と本来的に関連するものではない。本明細書における説明にしたがってプログラムを有する種々の汎用システムを用いることができるし、また要求された処理ステップを実行するための特定用途の装置を製作することが適した場合もある。これら種々のシステムに要求される構成は、以下の説明において明らかにされる。さらに、本発明は、任意の特定のプログラミング言語と関連づけられるものではない。本明細書で説明される内容を実装するために、種々のプログラミング言語を利用できることは明らかであろう。
【００９１】
実施形態の前述の説明は、例示と説明を目的として行われたものである。したがって、開示された実施形態が本発明の全てではないし、本発明を上記の実施形態に限定するものでもない。本発明は、上記の開示にしたがって、種々の変形が可能である。本発明の範囲は上述の実施形態に限定解釈されるべきではなく、特許請求の範囲にしたがって解釈されるべきである。本発明の技術に詳しい者であれば、本発明はその思想や本質的特徴から離れることなくその他の種々の形態で実現できることを理解できるであろう。同様に、モジュール・処理・特徴・属性・方法およびその他の本発明の態様に関する名前付けや分割方法は必須なものでものないし重要でもない。また、本発明やその特徴を実装する機構は異なる名前や分割方法や構成を備えていても構わない。さらに、当業者であれば、モジュール・処理・特徴・属性・方法およびその他の本発明の態様は、ソフトウェア、ハードウェア、ファームウェアもしくはこれらの組合せとして実装できることを理解できるであろう。また、本発明をソフトウェアとして実装する場合には、モジュールなどの各要素は、どのような様式で実装されても良い。例えば、スタンドアローンのプログラム、大きなプログラムの一部、異なる複数のプログラム、静的あるいは動的なリンクライブラリー、カーネルローダブルモジュール、デバイスドライバー、その他コンピュータプログラミングの当業者にとって既知な方式として実装することができる。さらに、実施形態は特定のプログラミング言語に限定されるものではないし、特定のオペレーティングシステムや環境に限定されるものでもない。以上のように、上記の本発明の説明は限定的なものではなく例示的なものであり、本発明の範囲は添付の特許請求の範囲にしたがって定められる。
【符号の説明】
【００９２】
１０３  第１のクライアント装置
１８８  モバイルクライアント装置
１９９  安全アプリケーション
２２１  通信モジュール
２２２  検知モジュール
２２４  カテゴリ化モジュール
２２６  危険評価モジュール
２２８  グラフィック選択モジュール
２３０  シーン計算モジュール
３０１  人
３０２  歩道
３０３  レーンマーカー
３０４  ダッシュボード
３０５  バウンディングボックス（境界ボックス）
３１２  危険アイコン
３２１  グラフィック
３３１  ヘッドアップディスプレイ
３３２  アイフレーム
３３３  グラフィック
【図１】
2016048547.tif 000003
【図２】
2016048547.tif 000004
【図３Ａ】
2016048547.tif 000005
【図３Ｂ】
2016048547.tif 000006
【図３Ｃ】
2016048547.tif 000007
【図３Ｄ】
2016048547.tif 000008
【図４】
2016048547.tif 000009
【図５】
2016048547.tif 000010