(57)【特許請求の範囲】
【請求項１】
拡張現実提示の視知覚を向上させるための方法であって、前記方法は、
位置測定ユニットによってユーザの位置を検出する手順と、
見通し線検出器によって前記ユーザの見通し線（ＬＯＳ）を検出する手順と、
検出された位置および検出されたＬＯＳに少なくとも基づいて、シースルー頭部搭載型ディスプレイ（ＨＭＤ）を通して前記ユーザが見る未来の背景環境を予測する手順と、
１つの視野（ＦＯＶ）サイズおよび複数のＦＯＶ方向を有する複数のカメラ、または、単一のカメラを用いて可能であるＦＯＶよりも広範囲の全体ＦＯＶを撮像する複数のカメラによって、リアルタイムで取り込まれた前記背景環境の現在の画像に基づいて、前記ユーザのＬＯＳに対応する背景位置における前記未来の背景環境の少なくとも１つの色属性を予測する手順と、
前記背景位置における前記未来の背景環境の予測された色属性を、前記背景位置において前記未来の背景環境のビューの上に重ねて前記ＨＭＤに投射されることになる、シンボル、テキスト、またはグラフィックの予定の前景補足画像の少なくとも１つの色属性と比較する手順と、
前記未来の背景環境の前記予測された色属性と、前記予定の前景補足画像の前記色属性との間に不適合状態が検出された場合、前記不適合状態を最小限にするように前記予定の前景補足画像の少なくとも１つの視覚パラメータを調整し、前記背景位置において前記ＨＭＤに前記調整後の視覚パラメータを有する前記予定の前景補足画像を投射する手順と、
を備える、方法。
【請求項２】
前記背景位置における前記未来の背景環境の少なくとも１つの色属性を予測する前記手順は、
少なくとも１つの過去に取り込まれた前記背景環境の画像、および
前記背景環境に関する環境情報
から成るリストから選択される少なくとも１つのデータソースに更に基づいて実行される、請求項１に記載の方法。
【請求項３】
前記色属性は、
明度、
色相、
彩度、
色度、
放射輝度、
輝度、および
上記の任意の組み合わせ
から成るリストから選択される、請求項１に記載の方法。
【請求項４】
少なくとも１つの視覚パラメータの調整は、
前記予定の前景補足画像の少なくとも一部の予定色の明度、色相、および彩度の少なくとも１つを変更すること、
前記予定の前景補足画像の少なくとも一部を囲む輪郭を投射すること、
前記予定の前景補足画像の少なくとも一部を強調またはハイライトすること、
前記予定の前景補足画像の少なくとも一部を省略すること、
前記予定の前景補足画像の形状を変更すること、
前記予定の前景補足画像の少なくとも一部を代替の画像位置に投射すること、および
上記の任意の組み合わせ
から成るリストから選択される少なくとも１つの調整を備える、請求項１に記載の方法。
【請求項５】
ユーザ色覚データを取得する手順を更に備え、
前記不適合状態は、前記ユーザ色覚データに従って決定される、請求項１に記載の方法。
【請求項６】
前記ユーザ色覚データは、
ユーザ色覚能力を決定するように適合された人工知能技術、
ユーザ色覚能力を決定するように適合された配色組み合わせのシミュレーションに基づくユーザフィードバック、および
前記ユーザの目または視力に関する身体的特徴の分析
から成るリストから選択される少なくとも１つの技術によって取得される、請求項５に記載の方法。
【請求項７】
拡張現実提示の視知覚を向上させるためのシステムであって、前記システムは、
ユーザによって装着され、前記ユーザが背景環境を見ることを可能にし、前記背景環境のビューの上に重ねて前景画像を表示するように構成されたシースルー頭部搭載型ディスプレイ（ＨＭＤ）と、
前記ユーザの位置を検出するように構成された位置測定ユニットと、
前記ユーザの見通し線（ＬＯＳ）を検出するように構成された見通し線検出器と、
１つの視野（ＦＯＶ）サイズおよび複数のＦＯＶ方向を有する複数のカメラ、または、単一のカメラを用いて可能であるＦＯＶよりも広範囲の全体ＦＯＶを撮像する複数のカメラであって、前記複数のカメラは、前記背景環境の画像を取り込むように構成される、複数のカメラと、
前記ＨＭＤ、前記位置測定ユニット、および前記見通し線検出器に結合されたプロセッサであって、前記プロセッサは、検出された位置および検出されたＬＯＳに基づいて前記ＨＭＤを通して前記ユーザが見る未来の背景環境を予測するように構成され、前記プロセッサは、前記複数のカメラによってリアルタイムで取り込まれた前記背景環境の現在の画像に基づいて、前記ユーザのＬＯＳに対応する背景位置における前記未来の背景環境の少なくとも１つの色属性を予測するように更に構成され、前記プロセッサは、前記背景位置における前記未来の背景環境の予測された色属性を、前記背景位置において前記未来の背景環境のビューの上に重ねて前記ＨＭＤに投射されることになる、シンボル、テキスト、またはグラフィックの予定の前景補足画像の少なくとも１つの色属性と比較するように更に構成され、前記プロセッサは、前記未来の背景環境の前記予測された色属性と前記予定の前景補足画像の前記色属性との間に不適合状態が検出された場合、前記不適合状態を最小限にするように前記予定の前景補足画像の少なくとも１つの視覚パラメータを調整し、それによって、前記調整後の視覚パラメータを有する前記予定の前景補足画像が前記背景位置において前記ＨＭＤに投射されるように更に構成される、プロセッサと、
を備える、システム。
【請求項８】
過去に取り込まれた実世界環境の画像を備えるデータベースを更に備え、
前記プロセッサは、前記データベースから検索される前記背景環境の少なくとも１つの過去に取り込まれた画像に基づいて前記背景位置における前記未来の背景環境の前記少なくとも１つの色属性を予測するように構成される、請求項７に記載のシステム。
【請求項９】
前記見通し線検出器は、
前記ユーザの頭部の向きを少なくとも検出するように構成されたヘッドトラッカと、
前記ユーザの視線の方向を検出するように構成されたアイトラッカと
から成るリストから選択される、請求項７に記載のシステム。
【請求項１０】
前記色属性は、
明度、
色相、
彩度、
色度、
放射輝度、
輝度、および
上記の任意の組み合わせ
から成るリストから選択される、請求項７に記載のシステム。
【請求項１１】
前記視覚パラメータは、
前記予定の前景補足画像の少なくとも一部の予定色の明度、色相、および彩度の少なくとも１つを変更すること、
前記予定の前景補足画像の少なくとも一部を囲む輪郭を投射すること、
前記予定の前景補足画像の少なくとも一部を強調またはハイライトすること、
前記予定の前景補足画像の少なくとも一部を省略すること、
前記予定の前景補足画像の形状を変更すること、
前記予定の前景補足画像の少なくとも一部を代替の画像位置に投射すること、および
上記の任意の組み合わせ
から成るリストから選択される方法で調整される、請求項７に記載のシステム。
【請求項１２】
前記背景環境に関する環境情報を取得するように構成された少なくとも１つのデータソースを更に備え、
前記プロセッサは、前記環境情報に基づいて前記背景位置における前記未来の背景環境の前記少なくとも１つの色属性を予測するように構成される、請求項７に記載のシステム。
【請求項１３】
前記データベースは、前記実世界環境に関する更新された情報に従って前記過去に取り込まれた画像を更新するように構成された適応型データベースである、請求項８に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概してシースルーディスプレイおよびカラー画像投射に関し、特にシースルーディスプレイにおける視知覚の向上に関する。
【背景技術】
【０００２】
ヘッドアップディスプレイ（ＨＵＤ）は、ビューアが現在の視点から視線をそらすことを必要とせずにビューアに視覚情報を提示する透明またはシースルー電子ディスプレイである。ＨＵＤという用語は、たとえば航空機の操縦士などのユーザが、下を向いて下方のインストルメントパネルに視線を向ける代わりに頭部を「上に（アップ）」したまま前方に視線を向けて情報を見ることができることに由来する。ＨＵＤは、たとえば航空機の操縦室に搭載された、据置型ディスプレイ部品を有し得る。またＨＵＤは、ユーザの頭部の位置および向きに伴って動くディスプレイ部品を特色としてもよい。可動式ディスプレイを有するＨＵＤは、頭部搭載型ディスプレイまたはヘルメット搭載型ディスプレイ（ＨＭＤ）としても知られている。
【０００３】
一般的なＨＵＤは、プロジェクタユニット、コンバイナ、およびビデオ生成コンピュータという３つの主要部品を含む。ＨＵＤ内の投射ユニットは、陰極線管を有する凸面レンズまたは凹面鏡、発光ダイオード、またはその焦点における液晶ディスプレイといった光コリメータ装置である。コンバイナは一般に、ビューアの正面に直接位置する角度を有する平面ガラス片である。この平面ガラス片は、ビームスプリッタとして機能し、ビューアが、投射される画像と同時に彼の視野内の背景シーンを見ることができるように、投射される画像の方向を変える。コンピュータは、ＨＵＤの投射ユニットとインタフェース接続し、投射ユニットによって表示される画像およびシンボロジーを生成する。一般的な航空機ＨＵＤは、たとえば対気速度、高度、水平線、進路、旋回、バンク、スリップ、およびスキッドパラメータなどの飛行データを表すシンボルまたは指示器を表示する。リアルタイム飛行情報に加えて、他の種類のシンボルおよびデータも航空機ＨＵＤに提示されてよい。たとえば軍事的用途では、たとえば攻撃目標地、閉鎖速度、距離、発射容認、見通し線、および兵器ステータスなどの兵器システムおよびセンサデータを表すシンボルが含まれる。
【０００４】
ＨＵＤを通して見える背景環境特徴の色（または色関連特性）はしばしば、背景ビューに重畳されてＨＵＤに表示されるシンボルと衝突または干渉し合うことがある。たとえば、背景領域の特定の色または他の色彩特性（たとえば色相、明度、彩度）とシンボルの特定の色または他の色彩特性とが組み合わさると、ビューアが背景に対してシンボルを正確に知覚することへの問題または課題が生じ得る。具体的には、色の組み合わせによって、背景からシンボルを区別することが難しくなり、またはシンボルの本来意図される色とは異なる別の色が実際にはビューアによって知覚される結果がもたらされ得る。特定の状況において、表示されるシンボロジーは時間依存性であるか、あるいはビューアにとって決定的に重要なもの（たとえば、リアルタイム飛行情報の指示）であってよく、その場合、表示される情報がビューアによって不正確に知覚され、または誤って理解されると、有害な事象が生じ得る。
【０００５】
“Ａｕｔｏｍａｔｉｃ  ｃｏｌｏｒ  ｃｏｎｔｒａｓｔ  ａｄｊｕｓｔｅｒ”と題されたＢａｔｅｓらの米国特許第６，８０９，７４１号は、現在の色の組み合わせが問題のある色の組み合わせである場合、現在の色の組み合わせに基づいてテキストおよび背景に新たな色の組み合わせを自動的に選択し適用する色コントラスト調整器を開示する。テキストは、任意のテキストオブジェクトであってよく、背景は、その色が決定され得る任意の背景オブジェクトであってよい。色コントラスト調整器は、複数の問題および各ユーザにとって好適な色の組み合わせを格納し、問題のある色の組み合わせと好適な色の組み合わせとを入れ替えることができる。色コントラスト調整器は、色の組み合わせの例をユーザに提供し、ユーザがより良い色の組み合わせを選択することを可能にし、好適な組み合わせおよび問題のある組み合わせをユーザ嗜好に追加することができる。
【０００６】
“Ａｄａｐｔｉｖｅ  ｃｏｌｏｒ  ｓｃｈｅｍｅｓ”と題されたＳｈｕｍらの米国特許第７，１８４，０６３号は、表示された前景色と抽出された背景色との間に対立が検出された場合、表示された前景色を適応的に変更するための技術を開示する。そのような対立を検出すると、既定の可読性条件に従って新たな前景色が選択される。色プール候補は、抽出された背景色に関する候補色の可読性値が既定の可読性閾値を上回る場合、実行可能な前景色であると見なされてよい。
【０００７】
“Ｄｉｓｐｌａｙ  ａｐｐａｒａｔｕｓ  ａｎｄ  ｄｉｓｐｌａｙ  ｍｅｔｈｏｄ  ｆｏｒ  ｉｍｐｒｏｖｉｎｇ  ｖｉｓｉｂｉｌｉｔｙ  ｏｆ  ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ  ｏｂｊｅｃｔ”と題されたＫｉｍらの米国特許出願第２０１２／００９２３６９号は、背景と異なるように各オブジェクトを表示することによって各拡張現実オブジェクトの可視性を向上させることを開示する。ディスプレイ装置および表示方法は、重なり合ったオブジェクトまたは重なり合ったオブジェクトのマップを出力すること、あるいはオブジェクトが密集して配置された複雑なエリアを拡大してオブジェクトの重複を低減させることによって、可視性を向上させ得る。
【０００８】
“Ｓｅｌｅｃｔｉｏｎ  ｏｆ  ｆｏｒｅｇｒｏｕｎｄ  ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ  ｂａｓｅｄ  ｏｎ  ｂａｃｋｇｒｏｕｎｄ”と題されたＧｕｎｄａｖａｒａｐｕの米国特許出願第２０１２／０１２７１９８号は、テキストが上に重ねて表示される１または複数の背景色に基づいて前景テキスト色を自動的に設定するテキスト色付けシステムを開示する。テキスト色付けシステムは、テキストのストリングの各画素に隣り合う背景色を識別する。画素領域ごとに、システムは、１または複数の色付け基準を満たすように色を選択する。システムは、選択された色に基づいて各領域にテキスト色を設定する。その後システムは、たとえばコンピュータディスプレイまたはモバイルデバイスディスプレイを通してユーザに階層画像を表示する。
【０００９】
“Ｄｉｓｐｌａｙ  ｏｆ  ｓｈａｄｏｗｓ  ｖｉａ  ｓｅｅ−ｔｈｒｏｕｇｈ  ｄｉｓｐｌａｙ”と題されたＬａｍｂの米国特許出願第２０１３／０１４７８２６号は、シースルースクリーン備えたディスプレイデバイスを操作する方法を開示する。オブジェクトの画像がディスプレイスクリーンに表示されると同時に、オブジェクトによって掛かる陰の画像が背景シーンの上に表示される。背景シーンの画像内で陰の位置が決定される。陰の内側の明度に比べて陰に隣接する領域の相対的明度を増すことによって背景シーンの高度な画像が描写され、高度な画像が表示される。
【００１０】
“Ｏｂｊｅｃｔ  ｄｉｓｐｌａｙ  ｄｅｖｉｃｅ  ａｎｄ  ｏｂｊｅｃｔ  ｄｉｓｐｌａｙ  ｍｅｔｈｏｄ”と題されたモリナガらの米国特許出願第２０１３／０２２２４２４号は、画像分析ユニットによって取得されたオブジェクトのサイズおよび色に関する情報および実空間における画像の色に関する情報に基づいて、実空間における画像から、実空間の画像においてオブジェクトが上に重ねて表示される場合にオブジェクトが容易に視知覚される領域を抽出するパターン抽出ユニットを備えたディスプレイデバイスを開示する。表示位置補正ユニットは、オブジェクトの視知覚を容易にし、たとえば情報性などの様々な効果を向上させるために、オブジェクトの表示位置をその領域に補正する。
【００１１】
“Ｔｒａｎｓｐａｒｅｎｔ  ｄｉｓｐｌａｙ  ａｐｐａｒａｔｕｓ  ａｎｄ  ｍｅｔｈｏｄ  ｔｈｅｒｅｏｆ”と題されたＹｕｎらの米国特許出願第２０１３／０２６５２３２号は、透明ディスプレイの裏側に見えるオブジェクトのビューにおいて表示された要素をユーザがより良く見分けることができるように透明ディスプレイに情報を表示するための方法および装置を開示する。少なくとも１つのセンサが、オブジェクトの位置およびユーザの位置を検知する。オブジェクトの位置およびユーザの位置に基づいて、ディスプレイを通してユーザがオブジェクトを見ることができるディスプレイエリアが決定され、決定されたエリアに基づいて透明ディスプレイに情報が表示される。
【００１２】
“Ｖｅｈｉｃｌｅ  ｄｒｉｖｅ  ａｓｓｉｓｔ  ｓｙｓｔｅｍ”と題されたスズキらの米国特許出願第２００７／００１３４９５号は、好ましくない環境条件下で車線マーカをより良く認識することができるように、運転者の車両の走行車線を示す車線マーカを表示するためのシステムを開示する。システムコントローラは、たとえばカメラによって取り込まれた路面の画像、サーミスタによって検知された温度、および検知された温度に基づく雪の状態およびＡＢＳユニットによって示されるスリップ率など、様々なソースからの車線情報を取得する。視線検知システムは、運転者の視点位置を検出する。車両のフロントガラスを通して運転者の視点から見える走行車両の両側縁部に対応する２つの車線ガイドの画像が、検出された視点位置および取得された車線情報に基づいて生成される。ディスプレイユニットは、車両フロントガラスに、またはそれを通して画像を表示する。車両ガイドの背景色（路面）が検出され、検出された背景色に対してコントラストが高くなるように車両ガイドの表示色が設定される。
【００１３】
“Ｈｅａｄｕｐ  ｄｉｓｐｌａｙ，  ｄｉｓｐｌａｙ  ｍｅｔｈｏｄ  ｆｏｒ  ｈｅａｄｕｐ  ｄｉｓｐｌａｙ，  ａｎｄ  ｐｒｏｇｒａｍ  ｆｏｒ  ｈｅａｄｕｐ  ｄｉｓｐｌａｙ”と題されたババグチの米国特許出願第２０１４／０２５３５７９号は、元の表示色を反映しつつ視知覚性を改善するように意図されたヘッドアップディスプレイ（ＨＵＤ）を開示する。第１の表示色に初期設定された規定情報が、ユーザの視線方向に配置されたディスプレイボードに投射される。ディスプレイボードを通してユーザによって視知覚される背景色が検出される。検出された背景色に基づいて第１の表示色が調整され、規定の情報は調整後の色で表示される。具体的には、第１の表示色は、検出された背景色と第１の表示色との差に対応する第２の表示色に調整され、ここでは差は濃淡差を表してよく、または他の色情報に基づいてよい。たとえば、第２の表示色は、背景色に対して最も容易に視知覚可能な補色と第１の表示色とを混合することによって得られてよく、混合は算出された混合比に基づいてよい。
【発明の概要】
【課題を解決するための手段】
【００１４】
本発明の１つの態様によると、拡張現実提示の視知覚を向上させるための方法が提供される。方法は、位置測定ユニットによってユーザの位置を検出する手順と、見通し線検出器によってユーザの見通し線（ＬＯＳ）を検出する手順とを含む。方法は更に、少なくとも検出された位置および検出されたＬＯＳに基づいて、シースルー頭部搭載型ディスプレイ（ＨＭＤ）を通してユーザが見る未来の背景環境を予測する手順を含む。方法は更に、ユーザのＬＯＳに対応する背景位置における未来の背景環境の少なくとも１つの色属性を予測する手順を含む。方法は更に、未来の背景環境の予測された色属性と、背景位置において未来の背景環境のビューの上に重ねてＨＭＤに投射される予定の、シンボル、テキスト、またはグラフィックもしくは視覚画像の前景補足画像の少なくとも１つの色属性とを比較する手順を含む。方法は更に、未来の背景画像の色属性と予定の前景補足画像の色属性との間に不適合状態が検出された場合、不適合状態を最小限にするように補足画像の少なくとも１つの視覚パラメータを調整し、調整後の視覚パラメータを有する補足画像を背景位置においてＨＭＤに投射する手順を含む。
【００１５】
本発明の他の態様によると、拡張現実提示の視知覚を向上させるためのシステムが提供される。システムは、ユーザが装着するシースルー頭部搭載型ディスプレイ（ＨＭＤ）、位置測定ユニット、見通し線検出器、およびプロセッサを含む。ＨＭＤは、ユーザが背景環境を見ることを可能にし、背景環境のビューの上に重ねられる前景に画像を表示するように構成される。位置測定ユニットは、ユーザの位置を検出するように構成される。見通し線検出器は、ユーザの見通し線（ＬＯＳ）を検出するように構成される。プロセッサは、少なくとも検出された位置および検出されたＬＯＳに基づいて、ユーザがＨＭＤを通して見る未来の背景環境を予測するように構成される。プロセッサは更に、ユーザのＬＯＳに対応する背景位置における未来の背景環境の少なくとも１つの色属性を予測するように構成される。プロセッサは更に、背景位置における未来の背景環境の予測された色属性と、背景位置において未来の背景環境のビューの上に重ねてＨＭＤに投射される予定の、シンボル、テキスト、またはグラフィックもしくは視覚画像の前景補足画像の少なくとも１つの色属性とを比較するように構成される。未来の背景環境の予測された色属性と予定の前景補足画像の色属性との間に不適合状態が検出された場合、プロセッサは更に、不適合状態を最小限にするように補足画像の少なくとも１つの視覚パラメータを調整するように構成され、調整後の視覚パラメータを有する補足画像が背景位置においてＨＭＤに投射されるようにする。
【００１６】
本発明は、図面と関連して示される以下の詳細な説明によってより深く理解および認識されるものである。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に従って構成され動作可能な、拡張現実提示の視知覚を向上させるためのシステムの概略図である。
【図２Ａ】本発明の実施形態に従って動作可能な、図１のディスプレイを通して見た時のシーンの典型的なビューの概略図である。
【図２Ｂ】本発明の実施形態に従って動作可能な、図２Ａのシーンの典型的な画像の概略図である。
【図３Ａ】本発明の実施形態に従って動作可能な、図２Ａのビューにおいて選択されたオブジェクトの上に重ねられる初期未変更シンボルの概略図である。
【図３Ｂ】本発明の実施形態に従って動作可能な、第１の例示的な視覚的変更後の図３Ａの重ねシンボルの概略図である。
【図３Ｃ】本発明の他の実施形態に従って動作可能な、第２の例示的な視覚的変更後の図３Ａの重ねシンボルの概略図である。
【図３Ｄ】本発明の更に他の実施形態に従って動作可能な、第３の例示的な視覚的変更後の図３Ａの重ねシンボルの概略図である。
【図４Ａ】本発明の他の実施形態に従って動作可能な、図２Ａのビューにおいて選択されたオブジェクトの上に部分的に重ねられた初期未変更シンボルの概略図である。
【図４Ｂ】本発明の他の実施形態に従って動作可能な、例示的な視覚的変更後の図４Ａの重ねシンボルの概略図である。
【図５】本発明の実施形態に従って動作可能な、拡張現実提示の視知覚を向上させるための方法のフロー図である。
【発明を実施するための形態】
【００１８】
本発明は、表示される補足画像コンテンツの視知覚を向上させるためのシステムおよび方法を提供することによって、従来技術の欠点を克服するものである。システムは、シースルーディスプレイ上に重ねられるシンボルまたは他の前景補足画像の色属性と、ビューアの見通し線に対応する、シンボルが表示される位置における実世界シーンでの背景環境の色属性との間に不適合性がある場合それを検出する。不適合性は、背景からシンボルを知覚または区別することが困難であること、または背景の上に重ねられた場合シンボルの外観が異なって知覚されることであってよい。不適合性が検出されると、シンボルは、たとえばシンボルの色属性を変更することなどによって、不適合を最小限にするように視覚的に変更され、視覚的に変更されたシンボルがディスプレイ上に投射される。システムは、ユーザの現在の視野（ＦＯＶ）に向けられたカメラによって取り込まれた画像、または同一ユーザまたは他のユーザによって取り込まれた過去に取得された画像、あるいは３次元地理モデルから、関連背景環境に関する色情報を取得してよい。またシステムは、背景環境に関する環境情報も取得してよく、これは潜在的な色不適合性を決定する際に考慮され得る。システムは更に、ユーザのリアルタイム位置データ、リアルタイム環境情報、および利用可能な画像および画像メタデータに基づいて、未来のユーザ位置および見通し線に関連する潜在的な色不適合性を決定してよい。
【００１９】
ここで、本発明の実施形態に従って構成され動作可能な、拡張現実提示の視知覚を向上させるための、全体として１００と示されるシステムの概略図である図１が参照される。システム１００は、カメラ１０４、ディスプレイ１０６、プロセッサ１０８、見通し線（ＬＯＳ）検出器１１０、位置測定ユニット１１６、ユーザインタフェース１１８、およびデータベース１２０を含む。ＬＯＳ検出器１１０は、ヘッドトラッカ１１２および／またはアイトラッカ１１４を含む。プロセッサ１０８は、カメラ１０４、ディスプレイ１０６、ＬＯＳ検出器１１０、位置測定ユニット１１６、ユーザインタフェース１１８、およびデータベース１２０と通信可能に結合される。
【００２０】
カメラ１０４は、１０２と示されるユーザが見ている実世界シーンの画像を取得するように構成される。カメラ１０４は、ユーザ１０２の頭部（または他の身体部位）に装着されるか、あるいはたとえばユーザ１０２が装着している装着型ヘッドギア（たとえばヘルメット、ヘッドバンド、ゴーグルなど）に取り付けられるなど、頭部（または他の身体部位）上にまたは隣接して取り付けられてよい。あるいはカメラ１０４は、屋内または屋外環境において、たとえば安定台の上に載置されるなど、ユーザ１０２の近傍に搭載されてもよい。たとえばカメラ１０４は、車両または航空機の操縦室内に搭載され、操縦室のフロントガラスを貫通する波長で作動する、外向きの画像センサであってよい。あるいはカメラ１０４は、ユーザ１０２によって、またはユーザ１０２の近傍にいる別の人物によって携帯されてもよい。概してカメラ１０４は、カメラ１０４のＬＯＳが、ユーザ１０２が向いているおおよその方向をまっすぐ向くように配置され、それによってカメラ１０４はユーザ１０２のＦＯＶ内の環境の画像を取り込むことができる。システム１００は、たとえば立体画像を生成するように構成された一対のカメラ１０４など、複数のカメラ１０４を含んでよい。またシステム１００は、単一のカメラを用いて可能であるＦＯＶよりも広範囲の全体ＦＯＶの撮像が可能であるように、様々なＦＯＶを有する複数のカメラを含んでもよい。
【００２１】
カメラ１０４は、シーンの色情報が導出され得る（可視および非可視波長を含む）任意の範囲の波長で任意の形式の電磁放射を取得することを含む、実世界シーンの画像表現を取得および格納することができる任意の種類のセンサデバイスであってよい。たとえばカメラ１０４は、多色機能（たとえば多色ＦＰＡ）を備えた前方監視赤外線（ＦＬＩＲ）カメラであってよく、あるいはマルチスペクトル画像データを融合させてよい。カメラ１０４は、後続する処理および／または送信のために電気信号に変換され得る、ビデオ画像を表現する連続画像フレームのシーケンスなど、少なくとも１つの画像フレームを取得するように動作可能である。したがって、本明細書で使用される「画像」という用語は、任意のスペクトル領域で取得されるシーンの任意の光表現またはデジタル表現を含む、上述した画像センサからの任意の形式の出力を指し、単一画像フレームおよび画像フレームのシーケンス（すなわち「ビデオ画像」）の両方を包含するものである。
【００２２】
ディスプレイ１０６は、ユーザ１０２に画像コンテンツ（たとえばビデオ画像）を表示するように構成される。表示された画像は、たとえばユーザ１０２が見ることができる背景環境の画像などの主要画像コンテンツとともに、たとえばシンボロジー、テキスト、または他の形式のグラフィックイメージまたは視覚イメージなどの補足画像コンテンツを含んでよく、補足画像コンテンツは主要画像コンテンツの上に前景として重ねられる。ディスプレイ１０６は、少なくとも部分的に透明（たとえば「シースルー」ディスプレイ）であってよく、それによってディスプレイ１０６を見ているユーザは、ディスプレイを通した物理的環境のビューとともにディスプレイ上に重畳された画像または他の視覚コンテンツを同時に観察することができる。また透明ディスプレイによってユーザは、自身の環境の状況認識が可能である。ディスプレイ１０６は、たとえばヘルメット、ヘッドバンド、バイザー、眼鏡、ゴーグルなど、ユーザ１０２が装着する装着型装置に組み込まれたディスプレイを含む頭部搭載型ディスプレイ（ＨＭＤ）であってよい。あるいはディスプレイ１０６は、たとえばヘッドアップディスプレイ（ＨＵＤ）、ポータブルまたはハンドヘルドディスプレイ、モバイルコンピューティングデバイスのディスプレイスクリーンなど、他の種類のディスプレイであってもよい。ディスプレイ１０６は、ユーザ１０２が見ることができるディスプレイスクリーン上にビデオ画像を投射するプロジェクタを含んでよい。ディスプレイの光学系は、投射される（主要および補足）画像コンテンツを直視型で提供するためにユーザ１０２のＬＯＳに直接的に位置付けられてよく、あるいは投射される画像コンテンツのグランスビューまたは周辺ビューを提供するためにユーザ１０２のＬＯＳから外れた位置にあってもよい。
【００２３】
ＬＯＳ検出器１１０は、ユーザの頭部の位置／向きに基づいて、および／またはユーザの視線の方向に基づいて、ユーザ１０２の概略ＬＯＳの指示を提供する。ＬＯＳ検出器１１０は、ヘッドトラッカ１１２およびアイトラッカ１１４の少なくとも１つを含む。ヘッドトラッカ１１２は、たとえばヘッドトラッキングデバイスまたは当該技術において既知のメカニズムなどを介してユーザ１０２の頭部の方向を（たとえばリアルタイムで）決定するように構成される。アイトラッカ１１４は、たとえばアイトラッキングデバイスおよび当該技術において既知のメカニズムなどを介して角膜または目蓋に対する瞳孔の中心の位置を決定することによって、ユーザ１０２の視線の方向を（たとえばリアルタイムで）決定するように構成される。
【００２４】
位置測定ユニット（ＬＭＵ）１１６は、ユーザ１０２の実世界の位置および／またはユーザ１０２が現在見ているシーンの実世界の位置の指示を提供する。たとえばＬＭＵ１１６は、基準座標系に対するユーザ１０２のグローバル位置および方位座標を決定する。ＬＭＵ１１６は、たとえばグローバルポジショニングシステム（ＧＰＳ）、コンパス、慣性航法システム（ＩＮＳ）、慣性測定ユニット（ＩＭＵ）、移動センサまたは回転センサ（たとえば加速度計、ジャイロスコープ、磁力計）、距離計など、ユーザ１０２の位置および向き（視野方向）を測定するように構成された１または複数のデバイスまたは計器によって具現化され得る。
【００２５】
ユーザインタフェース１１８は、ユーザ１０２またはシステム１００の他のユーザが、システム１００の構成要素に関連する様々なパラメータまたは設定を制御することを可能にする。たとえばユーザインタフェース１１８は、ユーザ１０２が、カメラ１０４のパラメータまたは設定を調整すること（たとえば、カメラＬＯＳをシフトまたは回転させる、解像度レベルを増加／低減させる、ズームイン／ズームアウトすることなど）、および／またはディスプレイ１０６のパラメータまたは設定を調整する（たとえば、表示される画像の焦点またはＦＯＶをシフトさせる）ことを可能にし得る。ユーザインタフェース１１８は、カーソルまたはタッチスクリーンメニューインタフェース、および／またはユーザ１０２が音声コマンドによって命令またはデータを入力することができる音声認識機能を含んでよい。
【００２６】
データベース１２０は、画像フレームおよびシステム１００の動作に関連する他の種類のデータの格納を提供する。データベース１２０は、たとえば少なくともユーザ１０２が位置すると予想される環境など、実世界環境の背景画像のコレクションを含む。たとえば、ユーザ１０２が航空機の操縦士である場合、データベース１２０は、様々な空港の滑走路および着陸ゲートの周辺エリアの画像を含んでよい。背景画像は、地球、または対象である特定のエリア、領域、または地域の３次元表現を含む３Ｄ地理モデル１２２によって提供され得る。３Ｄモデル１２２は概して、人工的特徴（たとえば建物、記念碑など）を含む地理的特徴および地形に関連する、たとえばそのような特徴および（たとえば衛星画像や航空写真、および／またはストリートレベルビューによって取得される）それらの様々なビューの位置座標などの画像およびテクスチャデータを含む。たとえば３Ｄモデル１２２は、（たとえばズーム、回転、傾きなどの操作動作を可能にすることによって）様々な位置および視野角で対象の領域の地形の複数の視覚表現を提供し得る。３Ｄモデル１２２は、私有の、および／または（たとえばオープンソースプラットフォームを介して）公的にアクセス可能なモデルを含んでよく、または少なくとも部分的にプライベートまたは制限されたモデルを含んでもよい。データベース１２０は、実際の背景画像および／または関連する背景シーンの再構築または分析を可能にする画像データを含んでよい。データベース１２０は、たとえばカメラ１０４によって過去に取り込まれた画像など、予め組み込まれた画像を含んでよい。またデータベース１２０は、様々な実世界シーンのビューの上に重ねて表示される例示的な補足画像コンテンツ（たとえばシンボロジー、テキスト、グラフィックデザインおよび視覚デザイン）も格納してよい。
【００２７】
プロセッサ１０８は、システム１００の構成要素から命令およびデータを受け取る。プロセッサ１０８は、（カメラ１０４によって取得され、またはデータベース１２０から検索された）画像フレームに任意の必要な画像処理を実行し、ディスプレイ１０６に表示するための最終的なシンボル画像を生成する。プロセッサ１０８は、システム１００の他の構成要素から離れた位置に設置されてよい。たとえばプロセッサ１０８は、通信媒体またはネットワークを介してアクセス可能な、たとえば遠隔コンピュータや遠隔コンピューティングシステムまたはマシンなどのサーバの一部であってよい。あるいはプロセッサ１０８は、ユーザ１０２の近傍に設置され、および／またはシステム１００の他の構成要素に統合されてもよい。たとえばプロセッサ１０８は、無線接続を介してシステム１００の構成要素に結合されてよく、あるいはプロセッサ１０８は、カメラ１０４および／またはディスプレイ１０６に関連するコンピュータに組み込まれてもよい。
【００２８】
システム１００の構成要素は、ハードウェア、ソフトウェア、またはそれらの組み合わせに基づいてよい。システム１００の個々の構成要素の各々に関連する機能は、単一の位置または複数の位置に存在し得る複数の構成要素に分散されてもよいことが理解される。たとえばプロセッサ１０８に関連する機能は、（たとえば画像処理機能のための専用画像プロセッサなどの）複数の処理ユニット間で分散されてよい。システム１００は任意選択的に、開示される主題事項の実装を可能にするための図１には示されない追加の構成要素に関連付けられ、および／またはそれを含んでよい。たとえばシステム１００は、様々な構成要素に動力を供給するための電源（不図示）を含んでよく、画像フレームまたは他の種類のデータを一時的に格納するための追加のメモリまたはストレージユニット（不図示）を更に含んでよい。ただし、システム１００の構成要素のいくつかは任意選択である。たとえば本発明の（後述される）１つの実施形態において、システム１００はカメラ１０４を含まない（あるいは、少なくとも使用しない）。
【００２９】
次に、航空機を操縦する操縦士の場合の例示的な目的に関してシステム１００の動作が説明される。操縦士は、本明細書においてシステム１００のユーザ１０２として考えられる。ここでは、本発明の実施形態に従って動作可能な、図１のディスプレイ１０６を通して見える、２００と示されたシーンの例示的なビューの概略図である図２Ａが参照される。図２Ａの例において、ユーザ１０２は頭部搭載型ディスプレイ（ＨＭＤ）１０６を装着しており、それを通してユーザ１０２は実世界シーン２００を見る。シーン２００は、たとえば雲、木、および他の航空機などの様々な環境特徴を含む。環境特徴は、少なくとも１つの選択された（例示的な目的に関して木の１つにより表現される）オブジェクト２０４を含み、その上に、選択されたオブジェクト２０４に関する関連情報をユーザ１０２に提示するためにシンボルまたは他の補足画像が重畳される。たとえば補足画像は、たとえば木２０４が現在の標的を表すことをユーザ１０２に指示するための、（例示的な目的に関して十字で表現される）シンボル２０６であってよい。またディスプレイ１０６は、たとえば関連するリアルタイム飛行情報（たとえば、対気速度、航空機の進路、上昇／下降速度、高度、気圧示度などの指示）など、シーン２００の背景ビューの上に重ねられる追加の補足コンテンツも提示する。
【００３０】
航空機の飛行路において、カメラ１０４は、シーン２００の画像領域２０２の少なくとも１つの画像を取り込む。本発明の実施形態に従って動作可能な、全体として２１０と示される、図２Ａのシーンの例示的な画像の概略図である図２Ｂが参照される。カメラ画像２１０は、たとえばピクセル値単位で、取り込んだシーンのデジタル信号表現に変換されてよく、それがプロセッサ１０８に転送される。プロセッサ１０８は次に、ＨＭＤ１０６上の選択されたオブジェクト２０４の上に重畳される予定の対象シンボルの色特性について、画像２１０を分析する。特に、プロセッサ１０８は、画像領域２１２として示されたオブジェクト２０４の近傍に存在するシーン２００の環境特徴の色属性と、予定のシンボル２０６の色属性とを比較する。色属性は、色値、明度、色相、彩度、色度、放射輝度、輝度、および／またはビューアの視知覚に影響を及ぼし得る他の任意の関連特性または属性の少なくとも１つを含んでよい。画像２１０において、１つの画像部分の色属性は網掛け模様２１４によって描写され、他の画像部分の色属性は網掛け模様２１６によって描写される。
【００３１】
本発明の実施形態に従って動作可能な、図２Ａのビューにおいて選択されたオブジェクト２０４の上に重ねられる、２２０と示された初期未変更シンボルの概略図である図３Ａが参照される。シンボル２２０は、例示的な目的に関して円で表現される。オブジェクト２０４の画像領域２１６は、「ＣＬＲ−Ａ」と表された少なくとも第１の色属性によって特徴付けられ、オブジェクト２０４の周囲の画像領域２１４は、「ＣＬＲ−Ｂ」と表された少なくとも第２の色属性によって特徴付けられる。初期シンボル２２０は、少なくとも第１の色属性ＣＬＲ−Ａによって特徴付けられる。
【００３２】
プロセッサ１０８は、シンボル２２０の色属性と周囲画像領域２１６の色属性とを比較し、これらの色属性が互いに不適合であるかを決定する。具体的には、プロセッサ１０８は、画像領域２１６内のオブジェクト２０４の色属性のセットとシンボル２２０の色属性のセットとが組み合わさると不適合状態をもたらすかを決定する。「不適合状態」という用語は本明細書において、背景環境（すなわちオブジェクト２０４）に重ねて表示された場合、たとえば２つの画像を明確に区別することが難しい状態など、前景画像（すなわちシンボル２２０）の視知覚を大幅に妨げまたは損ない得る任意の状態として定義される。たとえば、ユーザによって知覚されるような前景画像と背景環境との間のコントラストが不十分である場合、あるいは背景環境の上に投射された場合の前景画像の色外観と基準色消し背景上での予定色の外観とを比較した場合、ユーザによって知覚されるような過剰な不一致が存在する場合が不適合状態であってよい。不適合状態の他の例は、背景環境の上に投射された場合の前景画像の外観に、ユーザによって知覚されるような視覚的歪み（たとえば不明瞭さ、色収差）が存在することである。不適合状態の更なる例は、背景環境の上に投射された場合の、ユーザによって知覚されるような前景画像の少なくとも１つの色属性の不均一な外観である。
【００３３】
図３Ａに示す事例において、画像領域２１６およびシンボル２２０の両方が共通の色属性（ＣＬＲ−Ａ）を有するので、不適合であると考えられる。比較を説明するためにここでは各画像の単一の色属性が用いられるが、通常、不適合性が存在するかを決定する際、各画像の一連の属性（たとえば色値、明度、色相、彩度、色度など）が考慮される。たとえば、オブジェクト２０４およびシンボル２２０はいずれも、たとえば青色などほぼ同じ色、または同様の色合いの青色であり（たとえば、青い空や水域の背景の上に青色シンボルが重ねて表示され）、その結果、シンボルと背景とを区別することが難しくなり得る。他の例として、シンボル２２０は、たとえば緑色背景の上の青色シンボルなど、重ねられた場合にオブジェクト２０４と調和しない、またはオブジェクト２０４を不明瞭にする色であり得る。更なる例として、シンボル２２０の明度レベルが、実質的に明るい色（たとえば白色または黄色）のオブジェクト２０４に重ねられた場合にシンボル２２０を知覚することが難しくなる程度であり得る。
【００３４】
シンボル２２０の色属性と周囲画像領域２１６の色属性とが不適合であることが決定された後、プロセッサ１０８は次に、不適合を実質的に最小限にするまたは排除するシンボル２２０の少なくとも１つの視覚的変更を決定する。その後シンボル２２０は、そのように視覚的に変更され、ディスプレイ１０６上に投射される。次に図３Ｂ、図３Ｃ、および図３Ｄが参照される。図３Ｂは、本発明の実施形態に従って動作可能な、２２２と示される、第１の例示的な視覚的変更後の図３Ａの重ねシンボル２２０の概略図である。図３Ｃは、本発明の他の実施形態に従って動作可能な、２２４と示される、第２の典型的な視覚的変更後の図３Ａの重ねシンボル２２０の概略図である。図３Ｄは、本発明の更に追加の実施形態に従って動作可能な、２２６と示される、第３の典型的な視覚的変更後の図３Ａの重ねシンボル２２０の概略図である。図３Ｂを参照すると、シンボル２２２は、初期の色属性ＣＬＲ−Ａとは異なる「ＣＬＲ−Ｃ」で表される新たな色属性を備えて投射される。たとえば、画像領域２１６が緑色背景であり初期シンボル２２０もまた緑色である場合、変更後のシンボル２２２は、代わりに橙色または黄色に投射されてよい。図３Ｃを参照すると、シンボル２２４とオブジェクト２０４とを視覚的に識別するために、シンボル２２４は、太線の輪郭または異なる色の輪郭を備えてオブジェクト２０４の上に投射される。たとえば、画像領域２１６が緑色背景であり初期シンボル２２０もまた緑色であった場合、変更後のシンボル２２４の内側は実質的に緑色のままであるが、たとえば「ハロー」視覚効果をもたらすように、たとえば太線の輪郭または異なる色（たとえば橙色や黄色）の輪郭を投射することなどによって、シンボル２２４の境界領域がハイライトされる。図３Ｄを参照すると、シンボル２２０が投射される予定の画像位置（図３Ａ）とは異なる、ディスプレイ１０６上の別の画像位置の上にシンボル２２６が投射される。たとえば、画像領域２１６および初期シンボル２２０がいずれも緑色であった場合、シンボル２２０は当初はオブジェクト２０４のほぼ中心部に重ねて投射される予定であったが、変更後のシンボル２２６は代わりに、オブジェクト２０４に対してずらした位置に投射される。具体的には、シンボル２２６は、（緑色）シンボル２２６の大部分が、不適合が存在する画像領域２１６の（緑色）背景の上ではなく、オブジェクト２０４に隣接した画像領域２１４の（白色）背景の上に重ねられるように、オブジェクト２０４の中心から右上に位置をずらされる。
【００３５】
シンボル２２０は、並進および／または回転移動、サイズ変更（すなわち、オブジェクト２０４に対してシンボル２２０のサイズを増減させること）、形状の変更（たとえば、円形シンボルを三角形または菱形または十字形に変更すること）、初期色の色合いまたは強度の変更、色関連パラメータ（たとえば、明度／色相／彩度／輝度／放射輝度）の調整、シンボルの少なくとも一部の強調またはハイライト、シンボルの少なくとも一部の省略、シンボルの種類の全体的変更、およびそれらの任意の組み合わせを含むがこれに限定されない、追加の種類の視覚的操作および変更を受けてもよい。概して、シンボル２２０の視覚的変更は、ユーザ１０２による変更後のシンボル（２２２、２２４、２２６）の知覚が、初期シンボル２２０の予定された知覚と可能な限り（不適合性を最小限にしながらも）酷似するようなものであってよい。たとえば、初期シンボルが緑色の予定であり、青色背景の上に投射されることが予定され、その結果シンボルと背景とを区別することが困難になる（コントラストが不十分である）場合、代わりに黄色シンボルが投射されてよく、黄色と青色との色の組み合わせによって結果的に緑色シンボルが知覚される。
【００３６】
またプロセッサ１０８は、画像２１０の色分析を実行する際、たとえば予定されるシンボルを上に重ねて表示する可能性がある関連背景画像領域（２１４、２１６）を識別するために、ＬＯＳ検出器１１０を用いて決定されたようなユーザ１０２の見通し線を考慮してもよい。たとえば、視覚的変更後のシンボル（２２２、２２４、２２６）は、ユーザ１０２の現在のＬＯＳと一致する位置でディスプレイ１０６上に投射される。
【００３７】
いくつかの場合、初期シンボルの一部のみが変更され、初期シンボルの他の部分は同じままであってよい。ここで図４Ａおよび図４Ｂが参照される。図４Ａは、本発明の他の実施形態に従って動作可能な、図２Ａのビューにおいて選択されたオブジェクト２０４の上に部分的に重ねられる初期未変更シンボル２２０の概略図である。図４Ｂは、本発明の他の実施形態に従って動作可能な、２２８と示された、例示的な視覚的変更後の図４Ａの重ねシンボルの概略図である。図４Ａにおいて、初期シンボル２２０の一部はオブジェクト２０４の画像領域２１６の上に重ねられることが予定されるが、シンボル２２０の残りの部分は、オブジェクト２０４の範囲外の画像領域２１４の上に重ねられることが予定される。したがって、両方が共通の色属性「ＣＬＲ−Ａ」によって特徴付けられることにより、画像領域２１６の上に重ねられたシンボル２２０の一部（たとえば右半分）のみに不適合状態が存在し、シンボル２２０のその他の部分（たとえば左半分）には不適合状態が存在しない。したがって図４Ｂにおいて、変更後のシンボル２２８は、画像領域２１６（オブジェクト２０４内）に重ねられた部分が、オブジェクト２０４の色属性（「ＣＬＲ−Ａ」）とは異なる色属性（「ＣＬＲ−Ｃ」）に変更され、画像領域２１４（オブジェクト２０４の範囲外）に重ねられた部分は、画像領域２１４の色属性（「ＣＬＲ−Ｂ」）と既に異なる色属性（「ＣＬＲ−Ａ」）と同じまま維持されるように投射される。たとえば、画像領域２１６および初期シンボル２２０がいずれも緑色であるが画像領域２１４は白色であった場合、変更後のシンボル２２８の右半分は橙色または黄色に投射されてよく、シンボル２２８の左半分は緑色に維持される。
【００３８】
本発明の代替実施形態によると、予定のシンボルの色属性と（ディスプレイ１０６上でシンボルが投射される）シーン２００の周囲環境特徴の色属性との比較は、カメラ１０４によって取得された画像に基づいてではなく、他の手段によって取得された実世界シーン２００の情報に基づいて実行されてよい。具体的には、システム１００は、（ＬＯＳ検出器１１０によって取得される）ユーザ１０２の見通し線および（ＬＭＵ１１６によって取得される）ユーザ１０２の実世界位置によって提供される特定のシーン２００の指示を併用して、３Ｄ地理モデル１２２を用いてシーン２００の合成画像を生成してよい。たとえばプロセッサ１０８は、ＬＭＵ１１６から、ユーザ１０２の現在のグローバル位置および方位座標を受け取り、ＬＯＳ検出器１１０から、ユーザ１０２の現在の頭部の方向および／または視線の方向を受け取る。取得した情報に基づいて、プロセッサ１０８は、ユーザ１０２の位置／方位座標および頭部方向／視線方向に基づいて、ユーザ１０２が現在（たとえば特定の空港の着陸領域に接近しながら）特定の位置にいること、およびその位置から現在特定のシーンを見ていること（たとえば空港の着陸滑走路の部分を見ていること）を決定する。プロセッサ１０８はその後、３Ｄ地理モデル１２２に含まれる画像のコレクションから、決定された現在見ているシーンの少なくとも１つの（カラー）画像を検索し、あるいは、３Ｄ地理モデル１２２に含まれる関連情報に基づいて決定されたシーンの画像を生成してよい。プロセッサ１０８は続いて、３Ｄモデルベースの画像を分析し、予定のシンボル（２２０）の色属性とシンボル２２０が表示される画像位置（２１６）の色属性とを比較し、図２Ａおよび図２Ｂを参照して上述したように、不適合状態が存在するかを決定する。ただし、プロセッサ１０８は代替的に、必ずしもシーン２００の合成画像を分析する必要なく、たとえば３Ｄモデル１２２から背景領域２１４、２１６の色属性を直接取得することによって、３Ｄモデル１２２から取得した関連情報のみを用いて不適合状態の決定を実行してもよい。概して、色属性の比較および／または不適合状態の決定は、たとえば処理効率を最適化するために任意の適切な処理技術またはプロセスを用いて任意の適切な方法で実行されてよい。
【００３９】
更に代替として、予定のシンボル（２２０）の色属性と背景領域（２１６）の色属性との間の不適合状態の決定は、（ＬＯＳ検出器１１０、ＬＭＵ１１６、および３Ｄモデル１２２によって提供される情報を用いて生成された）合成画像に加えてカメラ画像（２１０）にも基づいて実行されてよい。たとえばプロセッサ１０８は、カメラ画像２１０においてシンボル２２０の色属性と背景領域２１６の色属性との第１の比較を実行し、次に、合成画像において現れるシンボル２２０の色属性と背景領域２１６の色属性との第２の比較を実行してよい。プロセッサ１０８はその後、各比較に異なる重み値または定性値（たとえば、カメラ画像に７０％および合成画像に３０％）を割り当て、それに応じて不適合状態の存在を決定する。各比較に関する重み付けスキームは、たとえばリアルタイムデータに基づいて（たとえば高解像度カメラが代用される場合は合成画像に比べてカメラ画像の定性値を高くし）、または（たとえば適切なメトリックを用いて過去の比較の成功率を決定する）履歴分析に基づいて更新されるなど、適応性があってよい。
【００４０】
本発明の更に追加の実施形態によると、色属性の比較および／または不適合状態の決定は、様々なユーザの特有の視知覚特性に従ってパーソナライズされてよい。たとえばシステム１００は、個々のユーザとユーザ独自の色覚特性および他の関連情報のセットとを関連付ける情報をデータベース１２０に格納してよく、これはその後、その特定のユーザに関する不適合状態の存在を決定する際に考慮され得る。たとえば、ユーザのペアは、所与の背景に重ねられた所与の前景色が第１のユーザにとっては不適合であり、第２のユーザにとっては不適合であると見なされないように、特定の色（または色特性の特定のセット）を知覚し得る。システム１００の各ユーザは、一意な識別子にリンクされてよく、これは、初期設定段階におけるユーザの識別および認証のために用いられ、それによってシステム１００は、提供されたユーザ識別子に関連する必要な情報を検索する。ユーザ知覚特性は、たとえばユーザが様々な色パターンおよび色の組み合わせのシミュレーションを提示されシミュレーションへの関連応答を提供することによるユーザフィードバック、または、システム１００によって表示された過去の視覚的変更後の（または未変更の）前景画像のユーザ知覚に関連するユーザフィードバック（すなわち、履歴性能データ）に基づいて取得されてよい。システム１００は、どのように異なるユーザが異なる色の組み合わせを知覚するかを経時的に学習するために、たとえば機械学習およびパターン認識などの人工知能技術を実装してよい。たとえばシステム１００は、たとえば隠れマルコフモデルを用いて、色シミュレーションに対するユーザフィードバックに基づき、初期訓練段階において様々な色パターンまたは色の組み合わせに関する確立的モデルを実装してよい。パーソナライズユーザ情報は、たとえばアイトラッカ１１４を介して取得されたユーザの目（複数可）の分析を取り入れてもよい。
【００４１】
またシステム１００は、各ユーザ１０２のそれぞれの視知覚特性およびそれぞれのＬＯＳに従って、複数のユーザ（１０２Ａ、１０２Ｂ、１０２Ｃ）にそれぞれの（視覚的変更後の）シンボルを同時に表示してもよい。たとえばプロセッサ１０８は、航空機の操縦士（１０２Ａ）および副操縦士（１０２Ｂ）に関連するユーザ知覚特性を取得し、それぞれのディスプレイ（１０６Ａ、１０６Ｂ）を通して見える背景シーン２００に対する操縦士１０２Ａおよび副操縦士１０２ＢのＬＯＳの指示を受け取ってよい。次にプロセッサ１０８は、操縦士１０２ＡのＬＯＳにリンクされた第１の背景領域２１６Ａおよび副操縦士１０２ＢのＬＯＳにリンクされた第２の背景領域２１６Ｂを決定する。最終的にプロセッサ１０８は、各ユーザ（操縦士１０２Ａおよび副操縦士１０２Ｂ）のために表示される予定のシンボルに関して不適合状態が存在するかを決定し、適宜、それぞれのシンボルを視覚的に変更する。具体的にはプロセッサ１０８は、操縦士１０２Ａに表示されることが予定された第１のシンボル（２２０Ａ）の色属性と、操縦士１０２ＡのＬＯＳにリンクされた第１の背景領域２１６Ａの色属性とを比較し、不適合性が検出された場合、操縦士ディスプレイ１０６Ａに、第１のシンボル２２０Ａの視覚的変更後の形態（２２２Ａ）を表示する。同様にプロセッサ１０８は、副操縦士１０２Ｂに表示されることが予定された第２のシンボル（２２０Ｂ）の色属性と、副操縦士１０２ＢのＬＯＳにリンクされた第２の背景領域２１６Ｂの色属性とを比較し、不適合性が検出された場合、副操縦士用ディスプレイ１０６Ｂに、第２のシンボル２２０Ｂの視覚的変更後の形態（２２２Ｂ）を表示する。
【００４２】
潜在的な不適合状態を決定するための色属性の分析は、任意選択的に、どのように異なる色の組み合わせが知覚され得るかに影響を及ぼし得る、たとえばシーン２００内に存在する周辺光条件などの追加の情報を考慮してもよい。たとえばカメラ１０４および／またはシステム１００の専用周辺光検出器（図１には不図示）は、シーン２００における、特にディスプレイ１０６上でシンボル２０６が重ねられる選択されたオブジェクト２０４の近傍における周辺光のレベルの指示を提供してよい。周辺光検出器によって受け取られる光の量または強度は、時間帯、季節、気候、地勢、地理、および様々な他の要因の関数であってよく、これらもまた考慮され得る。たとえば周辺光検出器は、日中と比べて夜間の方が少ない光を検出する傾向がある。周辺光検出器は、光検出器（たとえばフォトダイオード）、または可視範囲における光を検出するように動作可能な他の任意の種類のセンサによって具現化され得る。シーン２００における周辺光のレベルは、カメラ画像２１０から取得されてもよい。ただし、シーン２００の周辺光（および／または他の関連環境条件）は、色分析がカメラ１０４によって取り込まれた画像に基づいて実行されるかデータベース１２０から検索された画像に基づいて実行されるかにかかわらず、色分析および潜在的な不適合状態の決定に適宜含まれてよい。
【００４３】
ただし、ディスプレイ１０６に投射される視覚的変更後のシンボルは、条件および環境の変化に基づいてリアルタイムで更新されてよい。したがって、カメラ１０４は、シーン２００の追加の画像を継続的に取り込んでよく、プロセッサ１０８は、前景画像を更新する必要があるかを決定するために、関連前景画像に関して、連続した画像における関連背景環境（たとえば画像領域２１４、２１６）の色属性を監視する。たとえば、背景環境が変化した結果、視覚的変更後のシンボルの色属性と、シンボルが重ねられる新たな背景環境の色属性との間に新たな不適合状態が生じた場合、シンボルは（新たな不適合性を最小限にするために）更なる視覚的変更を受けてよい。変化した背景環境が、初期の予定のシンボル（２２０）に対して不適合状態ではないものであった場合、視覚的変更後のシンボル（２２２、２２４、２２６）は、初期シンボル（２２０）に戻されて表示されてもよい。
【００４４】
データベース１２０は、新たな情報に従って画像のコレクションを継続的に更新し、環境条件を変更する、適応性があり動的なデータベースであってよい。データベース１２０は、画像を直接アップロードし、および／またはデータベース１２０内の既存の画像を修正または削除することが許可され得る、世界中の様々なユーザ１０２から実世界環境の画像を取得してよい。たとえば、多数のユーザによってそれぞれのカメラで取り込まれた一連の画像がデータベース１２０にアップロードされてよく、様々なユーザ１０２は同じ概略位置における異なる画像を提供し、画像の各セットは様々な撮像パラメータ（たとえば様々な視野角、焦点距離、ＦＯＶ、照明条件、解像度レベルなど）によって特徴付けられる。画像のコレクション全体は最終的に、たとえば一連のストリートレベルの全景など、様々な位置および角度からの様々な実世界環境の全景を形成し得る。様々なユーザ１０２によって取り込まれた画像は、ほぼリアルタイムでデータベース１２０にアップロードされてよい。システム１００は、たとえばデータベース１２０において現在利用可能な画像がわずかである（または全くない）地理的位置などの選択された基準を備えた画像、または特定の撮像視野および／または照明条件で取り込まれた環境の画像を提供するように様々なユーザへ要求を送信してよい。データベース１２０に提供される画像は、画像の識別および分類を支援するためのメタデータ（すなわち「タグ」）を含んでよい。たとえば、データベース１２０内の画像は、様々な基準（たとえば、シーンの地理的位置、画像の視野または視野角、画像が取り込まれた時の照明および天候条件、画像取込みの時間帯、画像を提供したユーザの個人情報など）に従ってカテゴリ分けされ、検索可能であってよい。プロセッサ１０８は、（システム１００によって定められ、またはユーザ１０２によって提供される）画像基準を満たす最適な背景画像（または複数の画像）をデータベース１２０から色分析のために選択してもよい。データベース１２０は、たとえば特定の出来事や機会に関連する画像など、限定された期間に利用可能である画像を含んでもよい。したがって、データベース画像は、画像コンテンツに関連する特定の出来事の時間（および位置）を示す一時的メタデータを含んでもよい。たとえばコンサートやスポーツイベントが行われる競技場またはアリーナの画像がデータベース１２０にアップロードされてよく、これらの画像は、そのコンサートやスポーツイベントに立ち会っているユーザのためにしか（すなわち、色分析および潜在的な不適合状態の決定のために）アクセスされない。またユーザ１０２は、データベース１２０に含まれる画像および／またはシステム１００によって生成された視覚的変更後のシンボル（２２２、２２４、２２６）に関するフィードバックを提供してもよい。たとえばユーザフィードバックは、システム１００によって生成される様々な種類の視覚変更の批評または定性的格付けを含んでよい。
【００４５】
本発明の実施形態によると、システム１００は、表示される前景画像を更新するか、およびどのように更新するかを決定するために予測データを利用してよい。具体的には、システム１００は、ＬＭＵ１１６およびＬＯＳ検出器１１０（および／または他のデータソース）から取得した情報に基づいて、ユーザ１０２の未来の位置を予測し、ディスプレイ１０６において予定のシンボル（または他の前景画像）が投射される未来の背景環境を予測し得る。システム１００はその後、予定のシンボルと予測される背景環境との間に不適合状態が検出された場合、リアルタイムカメラ画像またはモデルベース画像の色分析を実行する前でも、必要であれば使用されるように、予定のシンボルの視覚的変更後の形態を生成してよい。たとえば、ユーザ１０２が航空機を操縦している場合、システム１００は、（たとえば、ＬＭＵ１１６、３Ｄモデル１２２、および／または航空機ナビゲーションシステムから取得した情報に基づいて）航空機に関する位置データおよび飛行軌跡データを用いて、航空機が現在山岳域上空を飛行しているが間もなく海上を通過するということを決定してよい。その結果、システム１００は、航空機が関連位置に到達すると適用されるように、山岳背景よりも海洋背景の上に表示するために適した、予定のシンボルの視覚的変更後の形態を準備してよい。
【００４６】
またシステム１００は、たとえばその位置における背景色の変化など、リアルタイムでの環境条件の変化を考慮に入れつつ、ユーザ位置を動的に予測してもよい。たとえば第１のユーザ１０２Ａは、特定の日に都市部の特定のストリートセクションに沿って歩行しながら、一連の画像をデータベース１２０へアップロードしてよい。アップロードされた画像は、関連パラメータ（たとえば、シーン位置、画像取込み中の照明および天候条件、画像取込みの日時）に画像をリンクするメタデータを含む。第２のユーザ１０２Ｂが、後日、同じストリートセクションに沿って歩行し得る。プロセッサ１０８はその後、第１のユーザ１０２Ａによって先日取り込まれたストリートセクションの画像に基づいて、第２のユーザ１０２Ｂに向けて予定のシンボルが上に重ねて表示される第２のユーザ１０２Ｂのリアルタイム背景環境を決定してよい。たとえばシステム１００は、背景環境の外部ビューを維持する、第２のユーザ１０２Ｂが装着したシースルーＨＭＤ１０６にシンボロジーを投射してよい。投射されるシンボロジーは、（たとえばナビゲーション命令または環境内の特徴に関する一般情報を表す）たとえば橙色シンボルなど、特定の色属性によって特徴付けられる。ＬＭＵ１１６およびＬＯＳ検出器１１０とともに、データベース１２０からの情報（たとえば、第１のユーザ１０２Ａによって取り込まれた同じストリートセクションの画像）を用いることによって、プロセッサ１０８は、たとえば茶色の建物など、投射されるシンボルと不適合である色属性を有する建物に第２のユーザ１０２Ｂが接近していることを決定し得る。その後システム１００は、第２のユーザ１０２Ｂが茶色の建物に到達した（かつ彼のＬＯＳがそこに向けられた）瞬間に、たとえばシンボルを橙色から白色に変更することによって、シンボルの視覚的変更後の形態を投射してよい。またプロセッサ１０８は、背景環境の潜在的な不適合状態を動的に決定または予測する際、たとえば日時または天候条件などの関連環境情報を利用してもよい。そのような環境情報は、データベース１２０に格納された画像メタデータから、および／または外部データソース（たとえば周辺光検出器、内部クロック、天候アプリケーションソースなど）から取得されてよい。たとえばプロセッサ１０８は、日中および／または明るく晴れた条件の下で茶色の建物の画像（複数可）が第１のユーザ１０２Ａによって取り込まれたが、第２のユーザ１０２Ｂは夜間または暗い／曇った天候条件下で同じ建物の位置に存在しているので、予定の橙色シンボルが不適合性をもたらすことなく、（たとえば、第２のユーザ１０２Ｂには「黒色」背景として知覚される）建物のビューに重ねて投射され得ることを決定し得る。また他の例において、プロセッサ１０８は、第１のユーザ１０２Ａによって取り込まれた画像から、ストリートセクションに沿った背景位置が第１の色属性（たとえば赤色）によって特徴付けられることを決定し得るが、他のユーザ１０２によって取り込まれた他の画像は、同一の背景位置が異なる色属性（たとえば白色）を有することを示す。プロセッサ１０８は更に、特定のオブジェクト（たとえば通行中の赤い車両）によって関連背景位置が隠されている間に第１のユーザ１０２Ａによって画像が取り込まれたこと、および「真の」背景色属性は他の画像によって提供されるものであることを決定してよい。その結果プロセッサ１０８は、背景位置の第２の色属性が第２のユーザ１０２Ｂのリアルタイム環境条件に関連することを決定し、それに応じて第２のユーザ１０２Ｂのための色分析を実行する。
【００４７】
本発明の更に追加の実施形態によると、システム１００は、背景環境に対するシンボルの視覚的変更の実行に関する情報を格納してよい。たとえば格納される情報（たとえばメタデータ）は、ユーザ位置、日時、周辺光、および視覚的変更が行われた時点の他の環境条件を含んでよい。また視覚的変更は、定性メトリックにもリンクされてよく、これは、プロセッサ１０８による視覚的変更後のシンボルのその後の画像分析および／またはユーザ１０２からのフィードバックに基づいてよい。したがってそのような情報は、様々な種類の視覚的変更を様々なパラメータおよび条件にリンクする「色属性調整関数」を定義してよく、これはデータベース１２０に保存され、および／またはユーザ１０２へ直接送信されてよい。プロセッサ１０８は、後に検出される色属性の不適合性が、過去のものと少なくともいくつかの同じ条件によって特徴付けられる場合（たとえば、同じユーザ１０２または別のユーザ１０２が概ね同様の地理的位置に存在し、概ね同様のＬＯＳを有する場合）、今後の視覚的変更のためにそのような色属性調整関数を利用してよい。プロセッサ１０８は更に、同一近辺に存在する他のユーザ１０２に関する視覚的調整のためにリアルタイムでそのような色属性調整関数を利用してよい。たとえば色属性調整関数は、様々な色調整と航路に沿った様々な地理位置情報とをリンクすることによって一般的な航路に適用され、その後、ユーザ１０２による同じ航路に沿ったその後の飛行中に利用されてよい。このようにシステム１００は、必ずしもカメラ画像または３Ｄモデルベース画像における色分析を実行せずとも、背景環境に対するシンボルのその後の視覚的変更を実行してよく、これは、処理を最適化し応答時間を早めるために役立ち得る。
【００４８】
次に、本発明の実施形態に従って動作可能な、拡張現実提示の視知覚を向上させるための方法のフロー図である図５が参照される。手順２５０において、シースルーディスプレイを通してユーザが見ている背景環境に関する情報が取得される。手順２５０は、サブ手順２５２、２５４、２５６、および２５８の少なくとも１つを介して実行されてよい。
【００４９】
サブ手順２５２において、シースルーディスプレイを通してユーザが見ている背景環境の少なくとも１つの画像が取得される。図１、図２Ａ、および図２Ｂを参照すると、カメラ１０４は、シースルーディスプレイ１０６を通してユーザ１０２が見ているシーン２００の画像領域２０２の画像２１０を取り込む。画像領域２０２は、ディスプレイ１０６において補足前景画像（シンボル２０６）が重畳される選択されたオブジェクト（木２０４）の近傍にある環境特徴を少なくとも含む。
【００５０】
サブ手順２５４において、ユーザのＬＯＳが検出される。図１を参照すると、ＬＯＳ検出器１１０は、ヘッドトラッカ１１２によって決定されるようなユーザ１０２の頭部の位置および向きに基づいて、および／またはアイトラッカ１１４によって決定されるようなユーザ１０２の視線の方向に基づいて、ユーザ１０２の概略見通し線を決定する。
【００５１】
サブ手順２５６において、ユーザの位置が検出される。図１を参照すると、ＬＭＵ１１６は、参照座標系に対するユーザ１０２のグローバル位置および方位座標を決定する。
【００５２】
サブ手順２５８において、少なくとも１つの過去に取得された背景環境の画像および関連データが検索される。図１および図２Ａを参照すると、プロセッサ１０８は、（ＬＭＵ１１６から取得されるような）ユーザ１０２の位置／方位座標および（ＬＯＳ検出器１１０から取得されるような）ユーザ１０２のＬＯＳに基づいてユーザ１０２が見ている実世界シーン２００を決定し、決定されたシーン２００の合成カラー画像をデータベース１２０から検索または生成する。画像は、３Ｄ地理モデル１２２から取得されてよい。あるいは画像は、様々な撮像パラメータおよび環境条件で複数のユーザ１０２によって過去に取り込まれたシーン２００の画像のセットから取得されてもよい。ただし、画像は、シーン２００の近傍にいる他のユーザ１０２によってほぼリアルタイムで取り込まれ、データベース１２０にアップロードされてもよい。プロセッサ１０８は更に、取得された画像に関連する関連パラメータ（たとえばシーン位置、画像取込み中の照明および天候条件、画像取込みの日時）を示すメタデータを取得してよい。プロセッサ１０８は更に、データベース１２０に格納されている過去に取り込まれた画像から、シーン２００の背景環境の関連色属性を抽出してよい。
【００５３】
任意選択手順２６０において、背景環境における周辺光条件が検出される。図１および図２Ａを参照すると、シーン２００における、特に選択されたオブジェクト２０４の近傍（たとえば画像領域２１４、２１６）における周辺光のレベルの指示を提供するために、カメラ１０４または別の周辺光検出器（不図示）が用いられる。周辺光条件は、特定の色の組み合わせをユーザ１０２がどのように知覚するかに影響を及ぼし得る。より一般的には、たとえば、（たとえば内部クロックおよび／または画像タイムスタンプからの）日時情報、（たとえば天候アプリケーションソースおよび／または画像メタデータからの）天候または気候情報など、背景環境に関する任意の関連環境情報が、利用可能なデータソースから取得されてもよい。
【００５４】
任意選択手順２６２において、ユーザ色覚特性が検索される。図１を参照すると、データベース１２０は、たとえば色覚特性の個別化セットなど、様々なユーザに関連するパーソナライズ情報を含んでよい。パーソナライズ情報は、様々な色のパターンおよび組み合わせのシミュレーションに対するユーザ応答、および／またはシステム１００によって表示された過去の前景画像と背景画像との色の組み合わせのユーザ知覚に関するフィードバックなどのユーザフィードバックを含んでよく、またはそれに基づいてよい。パーソナライズ情報は、アイトラッカ１１４から取得され得るユーザの目または視力の特性を含んでよく、またはそれに基づいてもよい。パーソナライズ情報は、ユーザフィードバックおよび履歴データに基づいて様々なユーザの色覚特性を自動的に学習するために用いられる人口知能技術によって取得または更新されてよい。
【００５５】
手順２６４において、選択された位置の近傍における背景環境の少なくとも１つの色属性と、選択された位置における背景環境のビューの上に重ねてディスプレイ上に投射される予定の前景補足画像の色属性とが比較される。図１および図２Ｂを参照すると、プロセッサ１０８は、オブジェクト２０４の近傍（すなわち画像領域２１２内）に存在するシーン２００の環境特徴の色属性と、予定のシンボル２０６の色属性とを比較する。色属性は、色値、明度、色相、彩度、色度、放射輝度、輝度、および／またはビューアの視知覚に影響を及ぼし得る他の任意の関連特性または属性の少なくとも１つを含んでよい。図３Ａを参照すると、オブジェクト２０４は、シンボル２２０が重ねられる画像領域２１６内の色属性「ＣＬＲ−Ａ」によって（少なくとも）特徴付けられ、シンボル２２０もまた（少なくとも）同じ色属性「ＣＬＲ−Ａ」によって特徴付けられる。プロセッサ１０８は任意選択的に、不適合性が存在するかを決定する際、シーン２００における周辺光条件および／または他の関連環境条件（手順２６０）、および／またはパーソナライズユーザ情報（手順２６２）を考慮してよい。またプロセッサ１０８は、未来のユーザ位置を動的に予測し、その後、前景画像と予測位置における背景環境との間の潜在的な不適合状態を決定してよい。動的な予測は、データベース１２０に格納されている過去に取得された画像およびメタデータ、ＬＭＵ１１６からのデータとともに、画像メタデータおよび／または外部データソースから取得される環境情報に基づいてよく、（たとえば、予測位置における様々な色属性をもたらす）環境条件の変化がリアルタイムで考慮されることを可能にする。
【００５６】
手順２６６において、背景環境の色属性と、予定の前景補足画像の色属性との間に不適合状態が検出されると、不適合状態を最小限にするように前景画像の少なくとも１つの視覚パラメータが調整され、調整された視覚パラメータを有する前景画像がディスプレイ上に投射される。図１および図３Ａを参照すると、プロセッサ１０８は、シンボル２２０およびオブジェクト２０４の画像領域２１６がいずれも共通の色属性（ＣＬＲ−Ａ）によって特徴付けられるためにそれらが不適合であることを決定し、シンボル２２０の視覚的変更後の形態を生成する。シンボル２２０の視覚的変更は、色全体の変更または色合いや色相／明度／彩度レベルの調整を含んでよい。図３Ｂを参照すると、異なる色属性「ＣＬＲ−Ｃ」を有する更新後のシンボル２２２がオブジェクト２０４に重ねて（たとえば緑色シンボル２２０ではなく橙色または黄色シンボル２２２が緑色オブジェクト２０４の上に重ねて）表示される。シンボル２２０の他の視覚的変更は、太字のまたはハイライトされた境界部を設けることを含む。図３Ｃを参照すると、太字または異なる色の境界領域を有する更新後のシンボル２２４がオブジェクト２０４に重ねて表示される（たとえば、シンボル２２４は黄色の境界部を有するが緑色の内側を保ったまま緑色のオブジェクト２０４の上に重ねられる）。シンボル２２０のまた別の視覚的変更は、オブジェクト２０４に対して異なる画像位置に投射することを含む。図３Ｄを参照すると、更新後のシンボル２２６は、（たとえば緑色の）シンボル２２６の大部分が（たとえば緑色の）オブジェクト２０４の上ではなく画像領域２１４の（たとえば白色の）背景の上に重ねて表示されるように、オブジェクト２０４の中心から右上へずらされた位置に投射される。視覚的変更後のシンボル（２２２、２２４、２２６）は、ＬＯＳ検出器１１０によって決定されたようなユーザ１０２のＬＯＳに従ってディスプレイ１０６上に表示されてよい。
【００５７】
当業者が本発明を実施することができるように、開示された主題事項の特定の実施形態が説明されたが、上記説明は説明目的にすぎないことが意図される。上記説明は、開示される主題事項の範囲を限定するために用いられてはならず、その範囲は以下の特許請求の範囲を参照することによって決定されるべきである。
【図１】
0006751401.tif 000002
【図２Ａ】
0006751401.tif 000003
【図２Ｂ】
0006751401.tif 000004
【図３Ａ】
0006751401.tif 000005
【図３Ｂ】
0006751401.tif 000006
【図３Ｃ】
0006751401.tif 000007
【図３Ｄ】
0006751401.tif 000008
【図４Ａ】
0006751401.tif 000009
【図４Ｂ】
0006751401.tif 000010
【図５】
0006751401.tif 000011