(57)【要約】【課題】  実空間に存在する対象に関する情報を表示する際に、視認性の低下を低減する技術を提供することを目的とする。【解決手段】  表示制御手段は、付加画像を表示して実空間と付加画像とを同時に使用者に視認させることが可能な表示手段を制御する。設定手段は、表示手段における表示可能領域の一部の領域を、付加画像の表示を制限する制限領域として設定する。表示制御手段は、制限領域に対応する実空間のオブジェクトに関する付加画像の表示を、制限領域において制限する。【選択図】  図１
2017126009.tif 000002
【特許請求の範囲】
【請求項１】
付加画像を表示して実空間と前記付加画像とを同時に使用者に視認させることが可能な表示手段を制御する表示制御手段と、
前記表示手段における表示可能領域の一部の領域を、前記付加画像の表示を制限する制限領域として設定する設定手段と
を具備し、
前記表示制御手段は、前記制限領域に対応する実空間のオブジェクトに関する付加画像の表示を、前記制限領域において制限する
ことを特徴とする表示制御装置。
【請求項２】
前記表示制御手段は、前記制限領域に対応するオブジェクトに関する付加画像を、前記制限領域の外の領域に表示させる
ことを特徴とする請求項１記載の表示制御装置。
【請求項３】
前記設定手段は、前記使用者の視線、前記使用者の身体の軌跡、および、前記使用者による指示具の移動軌跡、の内の少なくとも１つに基づいて、前記制限領域を設定する
ことを特徴とする請求項１又は２に記載の表示制御装置。
【請求項４】
前記設定手段は、前記使用者の指示に基づいて、前記制限領域を設定する
ことを特徴とする請求項１又は２に記載の表示制御装置。
【請求項５】
前記設定手段は、前記使用者の視線の変化に基づいて、前記制限領域を設定する
ことを特徴とする請求項１又は２に記載の表示制御装置。
【請求項６】
前記設定手段は、前記使用者の視線の変化が、所定の時間未満の時間間隔で発生する場合、前記使用者の視線の変化に基づく前記制限領域の設定を実施しない
ことを特徴とする請求項５記載の表示制御装置。
【請求項７】
前記設定手段は、前記使用者の視線の変化が前記制限領域内の視線の変化である場合、前記使用者の視線の変化に基づく前記制限領域の設定を実施しない
ことを特徴とする請求項５又は６に記載の表示制御装置。
【請求項８】
前記設定手段は、前記使用者の視線の変化が前記表示手段が表示される前記付加画像に対応する領域への視線の変化である場合、前記使用者の視線の変化に基づく前記制限領域の設定を実施しない
ことを特徴とする請求項５〜７のいずれか１項に記載の表示制御装置。
【請求項９】
前記設定手段は、前記使用者の視線の変化が前記制限領域および前記付加画像に対応する領域外への視線の変化であって、予め定義した時間内に、前記制限領域および前記付加画像に対応する領域へ視線が変化する場合、前記使用者の視線の変化に基づく前記制限領域の設定を実施しない
ことを特徴とする請求項５〜８のいずれか１項に記載の表示制御装置。
【請求項１０】
前記オブジェクトに関する情報を取得する取得手段を具備し、
前記付加画像は、前記取得手段によって取得される情報から生成される画像である
ことを特徴とする請求項１〜９のいずれか１項に記載の表示制御装置。
【請求項１１】
前記取得手段は、ネットワークを介して、外部の記憶装置から前記情報を検索する
ことを特徴とする請求項１０記載の表示制御装置。
【請求項１２】
付加画像を表示して実空間と前記付加画像とを同時に使用者に視認させることが可能な表示手段を制御する表示制御工程と、
前記表示手段における表示可能領域の一部の領域を、前記付加画像の表示を制限する制限領域として設定する設定工程と
を有し、
前記表示制御工程において、前記制限領域に対応する実空間のオブジェクトに関する付加画像の表示を、前記制限領域において制限する
ことを特徴とする表示制御方法。
【請求項１３】
請求項１〜１１のいずれか１項に記載の表示制御装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、使用者の周囲の実空間と、使用者の周囲の実空間に含まれない情報を同時に使用者が視認することが可能な表示装置の表示を制御する表示制御技術に関する。
【背景技術】
【０００２】
使用者の視野範囲の実空間の一部と重なる位置に情報を表示する機能を有する表示装置が普及しつつある。一例を挙げるならば、自動車のフロントガラスを投影面として使用し、投影面であるフロントガラスに速度表示を始めとした運転者向けの情報を表示する表示装置が知られている。運転者は、投影面であるフロントガラスを透過して視認する実空間と、投影面に表示した情報を同時に視認することが可能である。
【０００３】
また、使用者が装着して用いることができる装着型表示装置が知られている。一例を挙げるならば、眼鏡型やヘルメット型の表示装置である。この装着型の表示装置は、装着者の視野上で、実空間である背景に情報を重畳して表示する。そして、使用者は、実空間である背景とともに情報を同時に視認することが可能である。
【０００４】
このように、視野上で実空間に情報を重畳することで、使用者が背景と情報の双方を同時に視認する表示装置を、ヘッドアップディスプレイ（Ｈｅａｄ  Ｕｐ  Ｄｉｓｐｌａｙ：ＨＵＤ）と呼称している。ヘッドアップディスプレイの内、頭部に装着して使用する表示装置を特に、ヘッドマウントディスプレイ（Ｈｅａｄ  Ｍｏｕｎｔ  Ｄｉｓｐｌａｙ：ＨＭＤ）と呼称している。
【０００５】
視野上で実空間に情報を重畳し使用者が実空間上の対象と情報の双方を同時に視認する表示装置は、情報の表示位置、情報の形状等が不適切であると、実空間上の対象の視認性が低下する課題が存在する。
【０００６】
従来、このような表示装置において、適切に情報を表示することで、視認性の向上および疲労の軽減を図る技術の提案が為されている。特許文献１は、車両の挙動に基づき情報を表示する位置を補正する技術を開示している。また、特許文献２は、投影面を透過して見ることができる背景の映像に対して情報を表示する対象を、使用者の視線方向と車両の速度から決定する技術を開示している。
【０００７】
しかし、特許文献１が開示する技術は、情報の表示位置を車両の挙動で決定し、使用者の挙動、一例を挙げるならば使用者が注視している場所の情報は使用していない。その為、使用者の視線方向とは異なる位置に情報を表示する可能性が存在する。使用者の視線方向と異なる位置に表示した情報は視認性が低下し、また視線の移動も必要となり使用者の疲労が増加する課題が存在する。
【０００８】
また、特許文献２が開示する技術は情報を表示する位置を指定していない。その為、視線方向の近傍で使用者が注目する可能性が高い対象に掛かる位置に情報を表示し、視認性の低下を引き起こす課題が存在する。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１５−０７７８７６号公報
【特許文献２】特開２０１５−０８０９８８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、上記課題を解決する為になされたものである。実空間に情報を重畳し使用者が実空間と情報の双方を同時に視認する表示装置において、視認性の低下を低減することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決する為の一手段として、本発明の表示制御装置は以下の構成を具備する。すなわち、付加画像を表示して実空間と前記付加画像とを同時に使用者に視認させることが可能な表示手段を制御する表示制御手段と、前記表示手段における表示可能領域の一部の領域を、前記付加画像の表示を制限する制限領域として設定する設定手段とを具備し、前記表示制御手段は、前記制限領域に対応する実空間のオブジェクトに関する付加画像の表示を、前記制限領域において制限する。
【発明の効果】
【００１２】
本発明によれば、実空間に情報を重畳し使用者が実空間と情報の双方を同時に視認する表示装置において、視認性の低下を低減することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１実施形態を示す機能ブロック図である。
【図２】本発明の各実施形態が使用する座標系を説明する図である。
【図３】本発明の各実施形態における視線ベクトルを説明する図である。
【図４】本発明の各実施形態における対象を抽出する処理を説明する流れ図である。
【図５】本発明の各実施形態における対象を説明する図である。
【図６】本発明の各実施形態における表示例を説明する図である。
【図７】本発明の第２実施形態を示す機能ブロック図である。
【図８】本発明の第２実施形態における領域の設定方法を説明する図である。
【図９】本発明の第２実施形態において設定された領域を説明する図である。
【図１０】本発明の第３実施形態を示す機能ブロック図である。
【図１１】本発明の第３実施形態に依る、制限領域の設定処理のコマンドと対応した表示装置の動作を示す図である。
【図１２】本発明の各実施形態における表示装置５と表示制御装置１０のハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下、添付の図面に沿って本発明の実施の形態を説明する。ただし、本発明の趣旨およびその範囲から逸脱することなく、実施形態および詳細を変更することは可能である。したがって、本発明の実施形態は記載内容に限定するものではない。また、以下に示す実施形態は、特に限定する場合を除き、ハードウェア上に実装しても、あるいはソフトウェアで実装しても構わない。なお、同一の機能を有する部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
【００１５】
また、各実施形態に係わる視野上で実空間に情報を重畳し使用者が背景と情報の双方を同時に視認する表示装置を、以下の説明では混同の虞がある場合を除き、本発明に係わる表示装置、と記述する。また、各実施形態に係わる表示装置の使用者を、以下の説明では混同の虞がある場合を除き、使用者、と記述する。
【００１６】
本発明の実施形態を説明するに先立ち、以下の説明で使用する座標系を図２を使用して説明する。図２に示す視認平面２１は、本発明の各実施形態に係わる表示装置が表示する情報が結像する位置に定義した、仮想的な表示面である。視認平面２１は使用者の視野範囲内で定義する。以下の説明で使用する座標系は、この視認平面２１の中心を原点（０，０，０）とし、視認平面２１に垂直な方向をｚ軸とした右手系とする。そして、ｚ軸の方向は、使用者の眼球から遠ざかる方向を正の方向とする。
【００１７】
以下の説明において、本発明の各実施形態に係わる表示装置は、背景を使用者に視認させる為に、実空間を使用者に直接視認させてもよいし、実空間を撮像した映像を使用者に視認させてもよい。つまり、各実施形態において、「実空間」とは、実空間そのものであってもよいし、使用者の周囲の実空間を撮像した映像を、本発明の各実施形態に係わる表示装置が実空間に対応する位置に表示したものであってもよい。
【００１８】
また、「情報」は、本発明の各実施形態に係わる表示装置が表示する表示物であり、一例として、テキスト、グラフィックス、静止画像、又は動画像である。また、「情報」は、それらの組み合わせであってもよい。また、以下で説明する、表示部５によって表示される「情報」は「付加画像」の一例である。
＜第１実施形態＞
図１を使用して、第１実施形態における表示装置５と、その表示装置５の表示を制御する表示制御装置１０の動作を説明する。ここで、表示制御装置１０は、設定部１、対象抽出部２、情報取得部３、および表示制御部４を有している。
【００１９】
設定部１は、付加画像である情報の表示を制限する制限領域３２を視認平面２１上に定義する。対象抽出部２は、制限領域３２内に存在する対象（オブジェクト）を抽出する。ここで、対象（オブジェクト）は、例えば、建物や商品等である。情報取得部３は、対象抽出部２が抽出した制限領域３２内に存在する対象に関する情報を取得する。表示制御部４は、情報取得部３が取得した制限領域３２内に存在する対象に関する付加画像である情報の表示位置を、以下に示す条件Ａから条件Ｄの４条件を充足する位置に設定する。なお、条件Ｂ，Ｃは必ずしも満たす必要はないが、条件Ｂ，Ｃを満たすようにすれば、情報の視認性を更に向上することができる。
【００２０】
条件Ａ  制限領域３２外
条件Ｂ  制限領域３２に隣接
条件Ｃ  各情報の表示が重畳しない
条件Ｄ  表示部５の表示可能領域
表示部５は、表示制御部４が設定した表示位置に、情報取得部３が取得した制限領域３２内に存在する対象に関する情報を表示する。
【００２１】
続いて、設定部１の動作を詳細に説明する。本実施形態では、使用者の視線方向を基に制限領域３２を設定する手法を例に挙げ、設定部１の動作を更に説明する。ここで、使用者の視線方向をベクトルで表し、視線ベクトル１０１とする。
【００２２】
図３に、制限領域３２と視線ベクトル１０１の関係を示す。視線ベクトル１０１の方向は、眼球２３から視認平面２１に向かう方向とする。そして、視線ベクトル１０１と視認平面２１が交わる点を交点３１する。本実施形態では、制限領域３２の形状を、交点３１を中心とする半径ｒの円とする。ここで、交点３１の座標を（ｘａ，ｙｂ，０）と置くと、交点３１を中心とする半径ｒの円を表すベクトル方程式は数１である。したがって、制限領域３２は、数２に示す定義式で表す領域である。
【００２３】
【数１】
2017126009.tif 000003
【００２４】
【数２】
2017126009.tif 000004
本実施形態の設定部１は、使用者の指示に基づき制限領域３２の設定処理を開始する。したがって、使用者が新たに制限領域３２の設定開始を指示するまで、表示制御装置１０は制限領域３２を適用する。
【００２５】
本実施形態は、制限領域３２の形状に依存したものではない。したがって、制限領域３２の形状は、円に限定せず、楕円や矩形、あるいは任意形状であってもよく、表示制御装置１０の実施態様に合わせて適宜変更してもよい。
【００２６】
視線ベクトル１０１を基に制限領域３２を設定することから、設定部１は視線ベクトル１０１を検知し出力する視線ベクトル検知部８を有している。本実施形態は、視線ベクトル検知部８の実施形態に依存したものではないので、公知の技術を適用して視線ベクトル検知部８を実施可能である。公知の視線ベクトル検知技術として、白目と黒目の反射率の違いを検出する強膜反射法や、角膜の曲率中心と眼球の回転中心が異なることを利用する角膜反射法、さらに角膜反射法と同一の原理で瞳孔中心を抽出して基準とする瞳孔角膜反射法がある。このうち強膜反射法は、検出器が軽量であることから、頭部に装着するヘッドマウントディスプレイに適している。一方、角膜反射法は、眼球の回転を検出する為に動画を撮影可能な検出器が必要であることから、検出器の装着位置の自由度が高いヘッドアップディスプレイに適している。
【００２７】
次に、対象抽出部２が、制限領域３２内に存在する対象を抽出する手順を、図４に示す流れ図を使用して詳細に説明する。
【００２８】
ステップＳ１０１は、使用者が視認する実空間の映像を取得し、アフィン変換を施して視認平面２１に射影する。本実施形態では、続くステップＳ１０２で射影した実空間の映像からエッジを検出して領域に分割する処理を実施することから、少なくとも実空間の映像はエッジが検出可能な特性を有していればよい。したがって、ステップＳ１０１で取得する実空間の映像は少なくとも輝度情報を有していればよい。勿論、ステップＳ１０２が領域分割に色信号を使用するならば、取得する実空間の映像に色信号を含む必要がある。本実施形態は、上記の実空間の映像を取得する構成に依存したものではない。よって、公知の技術を適用して、実空間の映像を取得する構成を実施可能である。一例を挙げるならば、カメラで実空間の輝度情報を取得する構成を実現可能である。
【００２９】
ステップＳ１０２は、視認平面２１に射影した映像を領域に分割する。本実施形態では、輝度が急激に変化する箇所、つまりエッジに依り領域を分割する。したがって、射影した映像の輝度成分に微分演算を施してエッジを検出し、検出したエッジを適用して領域分割を実施する。領域分割の結果、得た領域の個数を変数ｋに保持する。また、分割して得た領域毎に、少なくとも以下の二属性を記録する。勿論、記録する属性は以下に挙げる二項目に限定したものではなく、任意に追加してよい。
【００３０】
ａ）分割して得た領域を構成する頂点の座標
ｂ）分割して得た領域毎に附加した一意の領域識別子
ステップＳ１０３からステップＳ１０６間でループ１を構成している。変数ｉはループ変数であり、変数ｉの値を１から変数ｋが保持している値まで１づつ更新してループ１を実行する。ループ１は、ステップＳ１０２で分割して得た領域毎に制限領域３２との交わりを判定する。
【００３１】
ループ１のステップＳ１０４は、領域ｉと制限領域３２間の交わりを判定し、交わりが存在するならばステップＳ１０５に分岐する。一方、領域ｉと制限領域３２間に交わりが無ければ、ループ変数ｉの値を更新して、再度ループ１を実行する。ステップＳ１０４は、以下に挙げる手順で交わりを判定する。
【００３２】
Ｓ１０４−１）領域ｉのある頂点と、それに隣接する頂点とを結ぶ線分を表す
方程式Ｓを算出
領域ｉのある頂点の座標を（ｘiｎ，ｙiｎ），
隣接する頂点の座標を（ｘiｎ＋１，ｙiｎ＋１）と置くと、
線分を表す方程式Ｓは数３である
Ｓ１０４−２）算出した線分と制限領域３２の共通な座標点を
方程式Ｓと制限領域３２の定義式１０１から算出
すなわち、数３と数２を連立して解を求める
Ｓ１０４−３）共通な座標点が存在するならば交わりが存在すると判定
Ｓ１０４−４）共通な座標点が存在しなければ交わりは無いと判定
【００３３】
【数３】
2017126009.tif 000005
ループ１のステップＳ１０５は、制限領域３２と交わりが存在する領域の領域識別子を記録する。
【００３４】
ループ１終了後、対象抽出部２はステップＳ１０５で記録した領域識別子を出力する。
【００３５】
続いて、図５を使用して、制限領域３２と対象抽出部２が抽出した対象の関係を説明する。図５（ａ）は、使用者が視認する実空間と制限領域３２との関係を、視認平面２１上で示す図である。使用者の視線を示す視線ベクトル１０１と視認平面２１の交点３１を中心に半径ｒの制限領域３２を設定している。そして、図５（ａ）に示す使用者が視認する実空間と制限領域３２に対して、図４の流れ図に従い対象を抽出した結果を図５（ｂ）に示す。図５（ｂ）において、斜線を施した対象が抽出した対象である。図５（ｂ）に示すとおり、対象抽出部２は、制限領域３２と交わりを有する対象を、制限領域３２内に存在する対象として抽出している。
【００３６】
次に、情報取得部３の動作を詳細に説明する。本実施形態では、情報取得部３は対象抽出部２が抽出した対象に関する情報を、ネットワークを経由して検索する。したがって、情報取得部３はネットワークに接続する機能を有している。公知の技術を適用してネットワーク接続機能を実施可能である。一例を挙げるならば、Ｇ３通信を始めとする携帯電話網を使用したネットワーク接続を適用してもよいし、公衆無線ＬＡＮを使用したネットワーク接続を適用してもよい。
【００３７】
また、本実施形態は、対象抽出部２が抽出した対象の画像データをインデックスに適用した画像検索、画像データから文字認識技術を適用して抽出した検索キーワードを適用したキーワード検索、等で情報を検索してもよい。また、検索に使用する検索エンジンの適用に制限は無い。誰でも自由に情報検索を実施可能な検索ウェブサイトを適用してもよいし、使用者が権限を有しているならば会員限定ウェブサイトの適用を妨げるものではない。
【００３８】
次に、表示制御部４の動作を詳細に説明する。表示制御部４は、情報取得部３が検索した、制限領域３２内に存在する対象に関する情報の表示位置を設定する。表示位置は、制限領域３２外、かつ制限領域３２に隣接し、各情報の表示が重畳せず、かつ表示部５の表示可能領域内の位置とする。
【００３９】
ここで、制限領域３２内に存在する対象の個数をｍとする。また、ｎ番目の制限領域３２内に存在する対象に対し、視認平面２１上でその対象に関する情報を表示する領域を表す方程式をＰｎとする。全てのＰｎが以下の条件１および条件２を満たすように、表示制御部４はＰｎを配置する。
【００４０】
条件１  ｛Ｐｎ｜１＜＝ｎ＜＝ｍ｝が式１と唯一の解を有する
条件２  ｛Ｐｎ｜１＜＝ｎ＜＝ｍ｝が互いに共通な解を有しない
続いて、表示装置５を詳細に説明する。使用者が背景の実空間を視認する方法に依り、表示装置５の実施形態は異なる。
【００４１】
まず、使用者が背景の実空間を直接視認する方法ならば、映像表示デバイス７３は透過型の液晶パネルや有機ＥＬパネル、マクスウェル光学系、あるいはハーフミラーの適用で表示装置５を実施可能である。
【００４２】
透過型の液晶パネルや有機ＥＬパネルを映像表示デバイス７３に適用する実施形態では、映像表示デバイス７３を透過した背景の実空間上に映像表示デバイス７３が表示する情報が重畳した映像を、使用者は視認する。したがって、映像表示デバイス７３は背景の実空間を視認するに十分な透過率を有する必要がある。
【００４３】
マクスウェル光学系を適用した表示装置５ならば、背景の実空間は映像表示デバイス７３やハーフミラー等を経由することなく使用者が視認する。そして、映像表示デバイス７３が表示する情報は直接使用者の網膜に到達する。したがって、この実施形態は、マクスウェル視が可能な光学系を構成可能ならば、映像表示デバイス７３の種類は問わない。
【００４４】
ハーフミラーを適用した表示装置５ならば、ハーフミラーを透過した背景の実空間と、ハーフミラーで反射した映像表示デバイス７３が表示する情報が重畳した映像を使用者が視認する。したがって、この実施形態では、ハーフミラーで反射した後も使用者が視認するに十分な輝度を有する映像表示デバイスを適用する。一例を挙げるならば、液晶パネルや、有機ＥＬパネル、あるいはレーザプロジェクタ、等を適用して実施可能である。
【００４５】
一方、実空間を撮像した映像を使用者が視認する方法ならば、映像表示デバイスは反射型である必要は無く、マクスウェル視が可能である必要も無い。したがって、液晶パネルや、有機ＥＬパネル、あるいはレーザプロジェクタ、等を適用して実施可能である。
【００４６】
続いて、本実施形態に係わる表示装置を適用した実施形態を図６を使用して説明する。図６（ａ）は、表示制御部４が情報を表示する位置を設定していない場合、使用者が視認する映像の一実施形態を示す図である。図６（ａ）で明らかなように、情報の表示が重畳し、視認性が大きく劣化している。図６（ｂ）は、表示制御部４が情報を表示する位置を設定した場合、使用者が視認する映像の一実施形態を示す図である。図６（ｂ）に示すように、表示制御部４は、制限領域３２内の対象に関する情報１０３を、制限領域３２の外部で、かつ制限領域３２に隣接し、各情報が重畳せず、かつ表示部５の表示可能領域内の位置に表示している。
【００４７】
したがって、第１実施形態における表示装置に依れば、全ての制限領域３２内の対象に関する情報１０３を使用者が視認し易い位置に表示可能である。
【００４８】
＜第２実施形態＞
次に、図７を使用して、第２実施形態を説明する。なお、他の実施形態と同一の機能は説明を省略する。
【００４９】
第２実施形態は、制限領域３２の形状および位置の定義に指示具の軌跡を使用する。ここで、指示具は、指や腕を始めとする使用者の身体、あるいはペン形状や棒状の器具、等である。以下、混同の虞がある場合を除き、指示具の移動軌跡を、軌跡と記述する。
【００５０】
第２実施形態における設定部１は、軌跡を取得し、取得した軌跡を基に制限領域３２の形状および位置を設定する。軌跡を表す情報の形式は任意でよい。一例を挙げるならば、視認平面２１上の座標値を使用した、ベクタデータ形式である。このベクタデータ形式は、視認平面２１上で定義している為、ｚ座標の値は常に０である。さらに、設定部１は、取得した軌跡を表す情報を表示制御部４に出力する。表示制御部４は、その情報に基づき視認平面２１上に軌跡５２を表示する。
【００５１】
次に、第２実施形態における設定部１の動作を、指示具として使用者の指を適用し、また図８も使用して詳細に説明する。
【００５２】
図８は、使用者が視認する実空間を示している。図８（ａ）に示すように、使用者は指先５１を右方向から表示制御装置１０の前面に差し出している。ここで使用者が図示を省略するボタンの押下や指先５１による所定の動作に依って軌跡の取得開始を指示すると、設定部１は軌跡の取得を開始する。
【００５３】
設定部１は、実空間撮像部９が撮影する映像からパターンマッチング等の手法に依り、指先５１を認識し、その軌跡を取得する。そして、軌跡を、視認平面２１に射影変換し、ベクタデータ形式で記録する。視認平面２１に射影変換することにより、ｚ成分は常に０であるから、射影変換後のｘ座標値とｙ座標値のみを記録すればよい。また、軌跡の取得を開始する前に、指先５１が指示具であることを設定部１が認識する手順を実施してもよい。一例を挙げるならば、使用者が図示を省略するボタンの押下や指先５１による所定の動作に依り、指示具の認識手順の開始を設定部１に指示する。
【００５４】
設定部１は、取得した軌跡の情報を表示制御部４に送附し、軌跡５２を視認平面２１上に表示する。この表示に依り使用者は、軌跡５２の確認が可能であり、制限領域３２の形状および位置の設定が容易となる。
【００５５】
設定部１は、軌跡が閉じた領域を構成したことを検出すると、軌跡の取得を終了する。なお、始点と終点が乖離して閉じた領域とならなくても軌跡の取得を終了してもよい。一例を挙げるならば、所定の閾値以下の隙間になった時点で終了してもよい。
【００５６】
軌跡の取得を終了した後、設定部１は、軌跡が構成する閉じた領域を基に制限領域３２の形状および位置を定義し、制限領域３２を設定する。ここで、軌跡の取得を終了した後に、軌跡が構成する閉じた領域を制限領域３２の設定に適用するか否かを、使用者に確認する手順を実施してもよい。一例を挙げるならば、所定のメッセージからなるメニュを表示し、使用者は適用の可否を選択する。使用者が適用を選択したならば、設定部１は取得した軌跡を適用して制限領域３２を設定する。反対に使用者が不適用を選択したならば、設定部１は取得した軌跡は破棄し、軌跡の取得開始指示を待合せる。
【００５７】
図９は、軌跡が構成する閉じた領域５３と、第２実施形態が設定する制限領域３２とを示す図である。第２実施形態に係わる設定部１は、軌跡が構成する閉じた領域５３に外接する長方形の領域を制限領域３２と設定する。軌跡が構成する閉じた領域５３に外接する長方形の領域は、取得した軌跡のベクトルデータから、ｘ座標の最大値、ｘ座標の最小値、ｙ座標の最大値、およびｙ座標の最小値から算出する。本実施形態では制限領域３２の形状を長方形としているが、制限領域３２の形状を長方形に限定するものではなく、円、楕円、あるいは多角形であってもよい。また、閉じた領域５３をそのまま制限領域３２としてもよい。
【００５８】
なお、設定部１は、パターンマッチング以外の方法を使用して指示具の軌跡を取得してもよい。一例を挙げるならば、指示具にペン形状や棒状の器具を使用するならば、この器具に磁石あるいは赤外線ＬＥＤを組み込み、磁界の変化や光跡を検出することで、器具の軌跡を取得するようにしてもよい。
【００５９】
したがって、第２実施形態に依れば、使用者の所望する形状の制限領域３２を、使用者が所望する位置に設定することが可能である。
【００６０】
＜第３実施形態＞
次に、第３実施形態を説明する。なお、他の実施形態と同様な部分については説明を省略する。
【００６１】
第３実施形態は、視線ベクトル１０１に基づき制限領域３２を、使用者の指示に依らず、連続して定期的に実施する。第３実施形態の設定部１は、視線ベクトル１０１の変化を検出すると、制限領域３２を再度設定する。したがって、視線ベクトル１０１の変化に伴い、制限領域３２の位置が変化し、対象抽出部２が抽出する制限領域３２内に存在する対象も変化し、さらに取得部３が取得する制限領域３２内に存在する対象の情報も変化する。それ故、第３実施形態では、視線ベクトル１０１の変化に追随して、表示装置５が表示する情報の内容、および情報の表示位置が変化する。
【００６２】
ただし、第３実施形態の設定部１は、以下に示す３つの条件Ａ〜Ｃの内の任意の１つの条件が成立する、あるいは複数の条件が同時に成立するならば、視線ベクトル１０１の変化と看做さず、制限領域３２の設定は更新しない。
【００６３】
条件Ａ  視線ベクトル１０１の変化が、予め定義した時間未満の時間間隔で発生
条件Ｂ  視線ベクトル１０１の移動範囲が、制限領域内３２および情報１０３の表示範囲内
条件Ｃ  視線ベクトル１０１が制限領域３２および情報１０３の領域外に移動の後、
予め定義した時間以内に制限領域３２および情報１０３の範囲内に復帰
以下、上記条件の実施形態を具体的に説明する。
【００６４】
条件Ａが定義する時間をｔ秒とする。第３実施形態の設定部１は、ｔ秒間隔で視線ベクトル１０１の変化を検出する。検出間隔がｔ秒であることから、第３実施形態の設定部１はｔ秒未満の間隔で発生した視線ベクトル１０１の変化を検出しない。したがって、制限領域３２の更新間隔はｔ秒以上であり、表示装置５が表示する情報の内容や表示位置の更新間隔もｔ秒以上である。
【００６５】
条件Ｂは、使用者が制限領域３２内の対象を注目しているか、あるいは情報１０３を参照中ならば制限領域３２の更新を抑止する条件である。
【００６６】
条件Ｃも、条件Ｂに視線ベクトル１０１が制限領域３２外および情報１０３外に移動しても予め定義した時間内に復帰すれば、制限領域３２の更新を抑止する条件を附加している。この付加条件に依り、条件Ｃは条件Ｂに比較して、さらに強力に制限領域３２の更新を抑止する。
【００６７】
なお、制限領域３２の設定の更新を抑止する条件を上記条件Ａ〜Ｃに限定するものではない。表示制御装置１０の実施形態に適応して、任意に条件を定義してもよい。
【００６８】
以上のように、第３実施形態によれば、使用者の視線の変化に適応した制限領域３２の設定が可能である。また、特定の条件を満たすならば、不要な制限領域３２の設定更新の抑止が可能である。
【００６９】
＜第４実施形態＞
次に、第４実施形態を図１０を使用して説明する。なお、他の実施形態と同様な部分については説明を省略する。
【００７０】
図１０に示す、表示装置５は装着型の表示装置で、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）受信器１１、加速度センサ１２、ジャイロセンサ１３、および地磁気センサ１４を有している。
【００７１】
第４実施形態の設定部１は、制限領域３２の設定処理を表示装置５の動作で制御する。予め、制限領域３２の設定処理のコマンドと、そのコマンドに対応した表示装置の動作を下記に定義しておく。また、コマンドと表示装置の動作の一例を図１１に示す。
【００７２】
ａ）制限領域３２の設定開始    表示装置５を上下に所定の速度範囲で一往復する
ｂ）制限領域３２の設定解除    表示装置５を左廻りに所定の速度範囲で一周する
ｃ）制限領域３２の設定保持    表示装置５を右廻りに所定の速度範囲で一周する
ｄ）情報１０３の非表示        表示装置５を左右に所定の速度範囲で一往復する
表示装置５の動作は、加速度センサ１２、およびジャイロセンサ１３を使用して検出する。第４実施形態の設定部１は、検出した表示装置５の動作が、予め定義した制限領域３２の設定処理のコマンドに対応した表示装置の動作であるか否かを判定し、コマンドならば、そのコマンドに対応した制限領域３２の設定処理を実施する。
【００７３】
次に、第４実施形態の対象抽出部２の動作を説明する。第４実施形態の対象抽出部２は、以下に示す、Ｓ２０１からＳ２０４の四手順で対象を抽出する。
【００７４】
ステップＳ２０１は、ＧＰＳ受信器１１、加速度センサ１２、地磁気センサ１４、さらに必要に応じてジャイロセンサ１３の出力から、表示装置５が存在する位置のグローバル座標系座標値と、表示装置５が指向している方向を算出する。
【００７５】
ステップＳ２０２は、ステップＳ２０１で算出した表示装置５のグローバル座標系座標値と表示装置５が指向している方向から、グローバル座標系上で定義した視認平面２１を表すベクトル方程式を算出する。
【００７６】
ステップＳ２０３は、表示装置５のグローバル座標系座標値と視認平面２１のベクトル方程式から、使用者が視認平面２１に射影可能なグローバル座標系の範囲を算出する。
【００７７】
ステップＳ２０４は、ステップＳ２０４で算出した視認平面２１に射影可能なグローバル座標系の範囲に存在する対象を、地図情報から検索する。検索対象の地図情報は、第４実施形態の表示制御装置１０内に保持していてもよいし、第４実施形態の情報取得部３を経由してネットワークから検索してもよい。対象の検索に当たっては、対象の形状、および大きさも加味し、他の対象の陰影に存在するなどで、表示装置５が存在する位置から視認不可能な対象は抽出しない。
【００７８】
以上のように、第４実施形態に依れば、表示装置５が有する各センサに依り、使用者がより簡便に、制限領域３２の設定と情報１０３の表示を制御可能である。また、第４実施形態に依れば、地図情報を参照することで、より高精度で対象を抽出可能である。
【００７９】
＜第５実施形態＞
次に、図１２を使用して表示制御装置１０と表示装置５のハードウェア構成について説明する。図１２は、表示制御装置１０と表示装置５とが別筐体であり、相互に通信を実施する実施形態である。
【００８０】
最初に表示装置５のハードウェア構成について説明する。通信インターフェース７４は、一例を挙げるならば、無線ＬＡＮなどの規格に準拠したものであり、通信部として機能する。
【００８１】
ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）７２は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）７１が実行するコンピュータプログラム、通信インターフェース７４を介して外部から取得したデータを記憶するメモリである。また、ＲＡＭ７２は、ＣＰＵ７１がプログラムの実行時に使用するワークエリアやバッファメモリ、さらには表示する映像を格納するフレームメモリとしても機能する。
【００８２】
ＣＰＵ７１は、ＲＡＭ７２に格納したコンピュータプログラムを実行することで、表示装置５を制御する。ＣＰＵ以外にも、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）等のプロセッサやＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）を使用してもよい。
【００８３】
映像表示デバイス７３は、液晶パネル、有機ＥＬパネル、レーザプロジェクタ等の表示素子である。
【００８４】
ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）受信器１１は、複数のＧＰＳ衛星から信号を受信して、その信号に基づくグローバル座標上の位置情報を出力する。この位置情報には高度を示す情報も含まれる。
【００８５】
加速度センサ１２は、ｘ軸ｙ軸ｚ軸３方向の加速度を検知する。本実施形態では、ｘ軸を装着型表示装置５の左右方向、ｙ軸を装着型表示装置５の上下方向、そしてｚ軸を装着型表示装置５の前後方向とする。加速度センサ１２は、ｘ軸ｙ軸ｚ軸の各軸で重力加速度を検出することで、傾きも併せて検出し出力することが可能である。
【００８６】
バス７５はＣＰＵ７１を始めとした各ハードウェアを繋ぐバスである。
【００８７】
次に、表示制御装置１０のハードウェア構成について説明する。
【００８８】
通信インターフェース８４は、一例を挙げるならば、無線ＬＡＮなどの規格に準拠したものであり、通信部として機能する。
【００８９】
ＲＡＭ８２は、ＣＰＵ８１が実行するコンピュータプログラムや、通信インターフェース７４を介して外部から取得したデータを記憶するメモリである。また、ＲＡＭ８２は、ＣＰＵ８１がプログラムの実行時に使用するワークエリアやバッファメモリとしても機能する。
【００９０】
ＣＰＵ８１は、ＲＡＭ８２に格納したコンピュータプログラムを実行することで、設定部１、対象抽出部２、情報取得部３、および表示制御部４の各機能を実施する。ＣＰＵ以外にも、ＤＳＰ等のプロセッサやＡＳＩＣを使用して、設定部１を始めとする各機能部を実施してもよい。
【００９１】
ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）８３は、オペレーティングシステムのプログラムやデータを記憶する。また、ＨＤＤ８３は、各部の機能をＣＰＵ８１に実現させる為のコンピュータプログラムを記憶する。ＨＤＤ８３の替わりにＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）を使用してもよい。
【００９２】
ＨＤＤ８３に保存されているコンピュータプログラムやデータは、ＣＰＵ８１による制御に従って、適宜、ＲＡＭ８２にロードされ、ＣＰＵ８１によって実行される。
【００９３】
バス８５は各ハードウェアを繋ぐバスである。
【００９４】
また、カメラ８６およびカメラ８７は、眼球撮像部８および実空間撮像部９に対応する。カメラ８６およびカメラ８７は、撮像素子やレンズ、信号処理回路を有している。撮像素子は、レンズを通して結像した光を受光して、その受光した光を電荷に変換して撮像信号を生成する。撮像素子には、一例を挙げるならば、ＣＭＯＳイメージセンサ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  ＳｅｍｉｃＯＮｄｕｃｔｏｒ  Ｉｍａｇｅ  Ｓｅｎｓｏｒ）を用いることができる。また、撮像素子にはＣＣＤイメージセンサ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ  Ｉｍａｇｅ  Ｓｅｎｓｏｒ）を使用してもよい。信号処理回路は、撮像素子で変換された撮像信号をデジタル化して撮像画像データを生成する。信号処理回路は、画像データを圧縮符号化し、圧縮符号化された撮像画像データを生成するようにしてもよい。
【００９５】
なお、本発明は、各実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（一例を挙げるならば、ＡＳＩＣ）によっても実現可能である。また、制限領域３２の外部に情報を表示するようにしたが、次のようにしてもよい。つまり、制限領域３２内において情報を表示する場合、半透明な表示形態で情報を表示するようにしてもよい。
【符号の説明】
【００９６】
１  設定部
２  対象抽出部
３  情報取得部
４  表示制御部
５  表示装置
１０  表示制御装置
３２  制限領域
１０１  視線ベクトル
【図１】
2017126009.tif 000006
【図２】
2017126009.tif 000007
【図３】
2017126009.tif 000008
【図４】
2017126009.tif 000009
【図５】
2017126009.tif 000010
【図６】
2017126009.tif 000011
【図７】
2017126009.tif 000012
【図８】
2017126009.tif 000013
【図９】
2017126009.tif 000014
【図１０】
2017126009.tif 000015
【図１１】
2017126009.tif 000016
【図１２】
2017126009.tif 000017