(57)【特許請求の範囲】
【請求項１】
表示装置を制御する表示制御装置であって、
複数のオブジェクトが静止もしくは移動する仮想空間における視線方向を、前記表示装置の現実空間における向きの変化に応じて変化させる変化部と、
前記仮想空間を前記視線方向に観察した様子を表す画像を生成する生成部と、
前記生成された画像を、前記表示装置が有するディスプレイに表示する表示部と、
前記複数のオブジェクトから、注目オブジェクトを特定する特定部と、
を備え、
前記変化部は、前記注目オブジェクトを中心に、当該視線方向が変化した方向と逆方向に観察位置を変化させ、
前記生成部は、前記仮想空間を前記観察位置から前記視線方向に観察した様子を表す画像を生成し、
前記特定部は、前記複数のオブジェクトが前記画像内にて描画される位置が移動する画像内速度のうち、前記仮想空間内における当該オブジェクトの移動に起因しない速度成分が、所定基準で小さいオブジェクトを、前記注目オブジェクトに特定する、
ことを特徴とする表示制御装置。
【請求項２】
前記変化部は、前記特定部により複数の注目オブジェクトが特定された場合、前記複数の注目オブジェクトのうち前記速度成分が最小のオブジェクトを中心に、前記観察位置を変化させる、
ことを特徴とする請求項1に記載の表示制御装置。
【請求項３】
前記複数のオブジェクトの各オブジェクトについて、
前記視線方向が変化される直前に当該各オブジェクトが前記仮想空間内において存在していた位置の前記視線方向が変化される直前に生成された前記画像内における直前位置と、
前記視線方向が変化された直後に生成されるべき前記画像内における直後位置と、
を求め、
前記直後位置と前記直前位置との差を、当該各オブジェクトの前記速度成分とする、
ことを特徴とする請求項1または2に記載の表示制御装置。
【請求項４】
前記速度成分が最小であるオブジェクトは、前記所定基準で小さい、
ことを特徴とする請求項1から3のいずれか一項に記載の表示制御装置。
【請求項５】
前記速度成分が所定閾値以下であるオブジェクトは、前記所定基準で小さい、
ことを特徴とする請求項1から4のいずれか一項に記載の表示制御装置。
【請求項６】
前記向きの変化に対する前記速度成分の比が、所定閾値未満であるオブジェクトは、前記所定基準で小さい、
ことを特徴とする請求項1から5のいずれか一項に記載の表示制御装置。
【請求項７】
前記変化部は、前記視線方向の変化に応じて、前記観察位置を変化させる、
ことを特徴とする請求項1から6のいずれか一項に記載の表示制御装置。
【請求項８】
前記変化部は、前記視線方向の変化量に比例して、前記観察位置を変化させる、
ことを特徴とする請求項7に記載の表示制御装置。
【請求項９】
前記複数のオブジェクトのうち前記注目オブジェクト以外のオブジェクトであって、前記仮想空間を前記視線方向に観察すると前記注目オブジェクトを隠すオブジェクトの透明度を増加させてから、前記画像を生成する、
ことを特徴とする請求項1から8のいずれか一項に記載の表示制御装置。
【請求項１０】
表示制御装置が表示装置を制御する表示制御方法であって、
前記表示制御装置が、複数のオブジェクトが静止もしくは移動する仮想空間における視線方向を、前記表示装置の現実空間における向きの変化に応じて変化させる変化ステップと、
前記表示制御装置が、前記仮想空間を前記視線方向に観察した様子を表す画像を生成する生成ステップと、
前記表示制御装置が、前記生成された画像を、前記表示装置が有するディスプレイに表示する表示ステップと、
前記表示制御装置が、前記複数のオブジェクトから、注目オブジェクトを特定する特定ステップと、
を含み、
前記変化ステップでは、前記注目オブジェクトを中心に、当該視線方向が変化した方向と逆方向に観察位置を変化させ、
前記生成ステップでは、前記仮想空間を前記観察位置から前記視線方向に観察した様子を表す画像を生成し、
前記特定ステップでは、前記複数のオブジェクトが前記画像内にて描画される位置が移動する画像内速度のうち、前記仮想空間内における当該オブジェクトの移動に起因しない速度成分が、所定基準で小さいオブジェクトを、前記注目オブジェクトに特定する、
ことを特徴とする表示制御方法。
【請求項１１】
コンピュータを、
複数のオブジェクトが静止もしくは移動する仮想空間における視線方向を、表示装置の現実空間における向きの変化に応じて変化させる変化部、
前記仮想空間を前記視線方向に観察した様子を表す画像を生成する生成部、
前記生成された画像を、前記表示装置が有するディスプレイに表示する表示部、
前記複数のオブジェクトから、注目オブジェクトを特定する特定部
として機能させるプログラムであって、
前記変化部は、前記注目オブジェクトを中心に、当該視線方向が変化した方向と逆方向に観察位置を変化させ、
前記生成部は、前記仮想空間を前記観察位置から前記視線方向に観察した様子を表す画像を生成し、
前記特定部は、前記複数のオブジェクトが前記画像内にて描画される位置が移動する画像内速度のうち、前記仮想空間内における当該オブジェクトの移動に起因しない速度成分が、所定基準で小さいオブジェクトを、前記注目オブジェクトに特定する、
ように機能させることを特徴とするプログラム。
【請求項１２】
コンピュータを、
複数のオブジェクトが静止もしくは移動する仮想空間における視線方向を、表示装置の現実空間における向きの変化に応じて変化させる変化部、
前記仮想空間を前記視線方向に観察した様子を表す画像を生成する生成部、
前記生成された画像を、前記表示装置が有するディスプレイに表示する表示部、
前記複数のオブジェクトから、注目オブジェクトを特定する特定部
として機能させるプログラムであって、
前記変化部は、前記注目オブジェクトを中心に、当該視線方向が変化した方向と逆方向に観察位置を変化させ、
前記生成部は、前記仮想空間を前記観察位置から前記視線方向に観察した様子を表す画像を生成し、
前記特定部は、前記複数のオブジェクトが前記画像内にて描画される位置が移動する画像内速度のうち、前記仮想空間内における当該オブジェクトの移動に起因しない速度成分が、所定基準で小さいオブジェクトを、前記注目オブジェクトに特定する、
ように機能させることを特徴とするプログラムを記録した非一時的なコンピュータ読取可能な情報記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体に関する。
【背景技術】
【０００２】
従来から、障害物に隠れてユーザの位置からでは視認が困難な領域やオブジェクトを表示する方法として、例えば特許文献1は、運転者の死角領域をカメラで撮像し、撮像した画像を運転者視点からみた画像に変換するとともに、運転者視点から見た車両の半透明画像を重ね合わせて表示する方法を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2010−114618号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一方、仮想現実(Virtual Reality)システムや、拡張現実(Augmented Reality)システム、代替現実システムにおいて、ヘッドマウントディスプレイを装着したユーザの向きを検知し、検知された向きに応じて、3次元空間に対する視線方向を変化させ、3次元空間を視線方向に観察した様子を表す画像を生成してヘッドマウントディスプレイに表示する技術がある。特許文献1の技術では、運転者の死角領域を運転者が注目する領域であると予め想定した上で、死角領域の画像を車両の半透明画像と重ね合わせて表示している。
ここで、表示装置に表示装置の位置を検出する機能があれば、ユーザの頭の移動に応じて、仮想空間における観察位置を移動させる表示制御が可能である。それにより、例えば、ユーザが、他のオブジェクトによって一部が隠されているオブジェクトの隠された部分をのぞき込むように頭を移動させた場合、当該隠された部分を観察することが可能となる。
しかし、表示装置が、現実空間における表示装置の位置を検出する機能を持たない場合、ユーザの頭の移動に応じた表示制御を行うことができず、のぞき込みを実現することができない。また、表示装置が、現実空間における表示装置の位置を検出する機能を持つ場合であっても、その検出精度が低い場合には、適切な位置に観察位置を移動させることができず、適切なのぞき込みを実現することができない恐れがある。【０００５】
本発明は、上記の課題を解決するためのものであり、仮想空間等を当該仮想空間等内の観察位置から観察した様子を表示装置に表示させる表示制御装置において、表示装置の現実空間における位置を検出しなくとも、当該仮想空間等内の当該観察位置を適切に移動させる表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決する本発明の一実施形態に係る表示制御装置は、表示装置を制御するものであり、当該表示制御装置は、
複数のオブジェクトが静止もしくは移動する仮想空間における視線方向を、前記表示装置の現実空間における向きの変化に応じて変化させ、
前記仮想空間を前記視線方向に観察した様子を表す画像を生成し、
前記生成された画像を、前記表示装置が有するディスプレイに表示する。
ここで、当該表示制御装置は、
前記複数のオブジェクトから、注目オブジェクトを特定し、
前記注目オブジェクトを中心に、当該視線方向が変化した方向と逆方向に観察位置を変化させ、
前記仮想空間を前記観察位置から前記視線方向に観察した様子を表す画像を生成する。【０００７】
上記の表示制御装置が実行する表示制御方法は、非一時的なコンピュータ読取可能な情報記録媒体等に記録されたプログラムを、前記表示装置に接続されたコンピュータ、もしくは、前記表示装置と一体に形成されたコンピュータが実行し、前記表示装置を制御する表示制御装置として機能することによって、実現することができる。【０００８】
また、上記情報記録媒体は、コンピュータとは独立して配布・販売することができる。ここで、非一時的な(non-transitory)情報記録媒体とは、有形な(tangible)情報記録媒体をいう。非一時的な情報記録媒体は、例えば、コンパクトディスク、フレキシブルディスク、ハードディスク、磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリである。また、一時的な(transitory)情報記録媒体とは、伝送媒体(伝搬信号)それ自体を示す。一時的な記録媒体は、例えば、電気信号、光信号、電磁波である。なお、一時的な(temporary)記憶領域とは、データやプログラムを一時的に記憶するための領域であり、例えばRAM(Random Access Memory)といった揮発性メモリである。
【発明の効果】
【０００９】
本発明によれば、仮想空間等を当該仮想空間等内の観察位置から観察した様子を表示装置に表示させる表示制御装置において、当該表示装置の現実空間における位置を検出しなくとも、当該仮想空間等内の当該観察位置を適切に移動させることができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係る表示装置のハードウェア構成を示す概略ブロック図である。
【図２】現実空間において表示装置とユーザの向きが変化する前の様子を示す上面図である。
【図３】現実空間において表示装置とユーザの向きが変化した後の様子を示す上面図である。
【図４】現実空間において表示装置とユーザの向きが変化する前の、仮想空間の様子を示す上面図である。
【図５】現実空間において表示装置とユーザの向きが変化した後の、仮想空間の様子を示す上面図である。
【図６】実施形態に係る表示装置の機能構成を示す概略ブロック図である。
【図７Ａ】現実空間において表示装置とユーザの向きが変化する前に仮想空間を観察位置から視線方向に観察した様子を表す画像である。
【図７Ｂ】現実空間において表示装置とユーザの向きが変化した後に仮想空間を観察位置から視線方向に観察した様子を表す画像である。
【図８】視線方向の変化に起因する速度成分を算出する方法を説明するための図である。
【図９】現実空間において表示装置とユーザの向きが変化した後に仮想空間を観察位置から視線方向に観察した様子を表す画像である。
【図１０】実施形態に係る表示装置の制御部により実行される表示処理の流れを表すフローチャートである。
【図１１】変形例に係る現実空間において表示装置とユーザの向きが変化した後の、仮想空間の様子を示す上面図である。
【図１２】別の変形例に係る現実空間において表示装置とユーザの向き及び位置が変化した後の様子を示す上面図である。
【図１３】別の変形例に係る現実空間において表示装置とユーザの向き及び位置が変化した後の、仮想空間の様子を示す上面図である。
【発明を実施するための形態】
【００１１】
以下に本発明の実施形態を説明する。なお、本実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。従って、当業者であればこれらの各要素若しくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。また、本願発明の実施形態を図面を参照して説明するにあたり、図中同一又は相当する部分には同一符号を付す。
【００１２】
図1は、本実施形態に係る表示装置100のハードウェア構成を示す概略ブロック図である。表示装置100は、例えば、各種のセンサや制御装置を備えたヘッドマウントディスプレイにより構成される。
スマートフォンやタブレットコンピュータ、ファブレット等をアタッチメントに装着することにより、ヘッドマウントディスプレイが構築されてもよい。この場合には、スマートフォン等のコンピュータを上記各部として機能させるためのプログラムを、当該スマートフォン等にて実行させることにより、表示装置100が実現される。
このほか、各種センサと表示画面を備えたヘッドマウントディスプレイと、当該ヘッドマウントディスプレイを制御するために有線通信もしくは無線通信により接続されたコンピュータと、により、表示装置100を実現することもできる。この態様では、コンピュータは、ヘッドマウントディスプレイから各種センサにて検知された測定値を取得し、当該測定値に基いて画像を生成し、当該画像をヘッドマウントディスプレイの表示画面に表示させる。
図1に示すように、表示装置100は、制御部101と、ROM(Read Only Memory)102と、RAM 103と、ディスプレイ104と、センサ部105と、操作部106とから構成され、各部は、バス107により接続されている。
【００１３】
制御部101は、例えばCPU(Central Processing Unit)から構成され、表示装置100全体を制御する。
【００１４】
ROM 102は、制御部101が表示装置100全体を制御するためのプログラムや各種データを格納する不揮発性メモリである。
【００１５】
RAM 103は、制御部101が生成した情報や、その情報の生成に必要なデータを一時的に格納するための揮発性メモリである。
【００１６】
ディスプレイ104は、LCD(Liquid Crystal Display)およびバックライト等を備え、制御部101による制御の下、例えば、制御部101から出力された画像を表示する。
【００１７】
センサ部105は、姿勢センサや加速度センサを備え、表示装置100の向き、すなわち、ディスプレイ104の向きを検知する。なお、センサ部105は、向きそのものを検知するのではなく、向きの変化を検知することとしても良い。
【００１８】
操作部106は、ボタン、キーボード、タッチパネル等の入力装置から構成される。操作部106は、表示装置100のユーザからの操作入力を受け付け、受け付けた操作入力に対応する信号を制御部101に出力する。
上記の例では、ROM 102, RAM 103と協働して表示装置100を制御する制御部101により、本実施形態の表示制御装置が実現され、表示装置100と表示制御装置とは一体に構成され、前者が後者を包含する。
このほか、制御部101, ROM 102, RAM 103を、ヘッドマウントディスプレイと通信可能に接続された外部のコンピュータにより実現し、ディスプレイ104およびセンサ部105は当該コンピュータに接続されたヘッドマウントディスプレイが備えるものを利用し、操作部106として、当該コンピュータに接続された入力装置を利用することとしても良い。この態様では、本実施形態の表示制御装置は、制御部101がROM 102, RAM 103と協働することにより、ヘッドマウントディスプレイの外部に実現され、表示制御装置がヘッドマウントディスプレイのディスプレイ104やセンサ部105を含む表示装置100を制御する。
【００１９】
次に、本実施形態での現実空間201と、表示装置100に表示される仮想空間(3次元空間)301と、における表示装置100及びユーザ202の位置関係について説明する。図2は、現実空間201において表示装置100とユーザ202の向きが変化する前(時刻ta)の様子を示す上面図である。図4は、現実空間201において表示装置100とユーザ202の向きが変化する前(時刻ta)の、仮想空間301の様子を示す上面図である。また、図3は、現実空間201において表示装置100とユーザ202の向きが変化した後(時刻tb)の様子を示す上面図である。図5は、現実空間201において表示装置100とユーザ202の向きが変化した後(時刻tb)の、仮想空間301の様子を示す上面図である。以下、これらの図を参照して説明する。なお、これらの図においては、時刻taから時刻tbまでの時間の経過を表すために、英小文字を適宜付与している。以下の説明では、当該英小文字を適宜省略して説明する。
【００２０】
図2及び3に示すように、現実空間201において、ユーザ202は、表示装置100を眼前に装着している。ユーザ202が表示装置100を装着しているときには、表示装置100の表示方向203は、ユーザ202が表示装置100を見る視線方向と逆向きになる。
【００２１】
図4及び5に示すように、仮想空間301において、静止もしくは移動する複数のオブジェクト401〜404が配置されている。なお、本実施形態においては、オブジェクト402, 403は、静止しており、オブジェクト401は矢印A方向に、オブジェクト404は矢印B方向に、それぞれ仮想空間301内を移動している。オブジェクト401〜404は、コンピュータグラフィックスにより作成されており、仮想空間301内の位置や大きさ、形状、オブジェクト401, 404の移動速度は予め設定されているものとする。一例として、表示装置100がコンピュータグラフィックスにより再現された駅のホームを表示する場合、オブジェクト401, 404は、電車や人等、駅のホームにおいて移動するオブジェクトであり、オブジェクト402, 403は、柱や看板等、駅のホームにおいて静止しているオブジェクトである。
【００２２】
なお、現実空間201における方位211と仮想空間301における方位311とは、ずれてもよいし、一致させてもよい。本実施形態において、両者はずれている。
【００２３】
図6は、本発明の実施形態に係る表示装置100の機能構成を示す概略ブロック図である。図6に示すように、表示装置100は、検知部111と、変化部112と、生成部113と、特定部114と、表示部115と、ディスプレイ104とを備える。
【００２４】
検知部111は、表示装置100の現実空間201における向きの変化を検知する。例えば、検知部111は、センサ部105による測定結果から、現実空間201における基準軸に対する表示装置100の表示方向203の変化を検知する。現実空間201における基準軸としては、現実空間201における重力方向、または表示装置100のディスプレイ104の上下方向を採用するのが典型的である。
【００２５】
本実施形態において、制御部101およびセンサ部105が協働することにより、検知部111として機能する。
【００２６】
変化部112は、検知部111により検知された表示装置100の向きに応じて、仮想空間301に対する視線方向303を変化させる。例えば、まず、変化部112は、時刻taから時刻tbまでの間の検知部111により検知された表示装置100の表示方向203の変化について、現実空間201における基準軸周りの回転量θを取得する。具体的には、図2において、ユーザ202が頭の向きを変える前は、表示方向203aは、表示装置100aからユーザ202aに向かっている。また、図3において、ユーザ202が頭の向きを変えた後は、表示方向203bは、表示装置100bからユーザ202bに向かっている。表示方向203aと表示方向203bとがなす角が基準軸周りの回転量θである。回転量θは、いわゆるヨー角に相当する。図3において、ユーザ202は、頭を左に回転させている。
【００２７】
時刻taから時刻tbまでの時間間隔は、用途に応じて定めることができる。例えば、この時間間隔は、表示装置100のディスプレイ104のリフレッシュ間隔(例えば、垂直同期周期)とすることができる。また、後述するように、処理は繰り返し行われるので、ある繰り返し単位における時刻tbは、次の繰り返し単位における時刻taとして解釈される。
【００２８】
そして、変化部112は、視線方向303aを仮想空間301における観察位置302aの基準軸周りに回転量θだけ回転させることにより、視線方向303aを視線方向303bに変化させる。
【００２９】
本実施形態において、制御部101が、変化部112として機能する。
【００３０】
生成部113は、仮想空間301を観察位置302から視線方向303に観察した様子を表す画像を生成する。例えば、生成部113は、オブジェクト401〜404の仮想空間301内における所定の位置及び形状に基づいて、透視投影等の技術を用いて、観察位置302から視線方向303に見たときの画像を生成する。
【００３１】
特定部114は、複数のオブジェクト401〜404が生成部113により生成された画像内にて描画される位置が移動する画像内速度のうち、仮想空間301内における当該オブジェクトの移動に起因しない速度成分が、所定基準で小さいオブジェクトを、注目オブジェクトに特定する。
【００３２】
以下、画像内速度と、オブジェクトの移動に起因しない速度成分について、図7A及び7Bを用いて説明する。図7Aは、時刻taにおいて仮想空間301を観察位置302から視線方向303に観察した様子を表す画像501aであり、図7Bは、時刻tbにおいて仮想空間301を観察位置302から視線方向303に観察した様子を表す画像501bを示す。複数のオブジェクト401〜404のうち、仮想空間301内において静止しているオブジェクト402, 403では、視線方向303が変化すると、その視線方向303の変化に起因する速度成分を画像内速度として、生成された画像501a, 501b内で描画される位置が移動する。例えば、オブジェクト402では、視線方向303の変化に起因する速度成分S2xを画像内速度V2として、生成された画像501a, 501b内で描画される位置が移動する。また、仮想空間301内において移動しているオブジェクト401, 404では、視線方向303が変化すると、その視線方向303の変化に起因する速度成分と、自身の移動に起因する速度成分との合成速度を画像内速度として、生成された画像内で描画される位置が移動する。例えば、オブジェクト401では、視線方向303の変化に起因する速度成分S1xと、自身の移動に起因する速度成分Axとの合成速度を画像内速度V1として、生成された画像501a, 501b内で描画される位置が移動する。一般的に、ユーザは、移動するオブジェクトに注目している場合、そのオブジェクトを視野、すなわち生成された画像内の中心にとらえた状態でそのオブジェクトの移動に伴って視線方向303を変化させると考えられる。その結果、ユーザが注目しているオブジェクト、すなわち注目オブジェクトにおいては、視線方向303が変化しても、視線方向303の変化に起因する速度成分、すなわち画像内速度のうち、注目オブジェクトの移動に起因しない速度成分は、他のオブジェクトよりも小さいと考えられる。従って、本実施形態では、複数のオブジェクトのうち、オブジェクトの移動に起因しない速度成分が、所定基準で小さいオブジェクトを注目オブジェクトとして特定する。
【００３３】
具体的には、まず、特定部114は、各オブジェクト401〜404について、視線方向303が変化される直前に各オブジェクト401〜404が仮想空間301内において存在していた位置の、視線方向303が変化される直前に生成された画像内における直前位置と、視線方向303が変化される直後に生成されるべき画像内における直後位置とを求める。具体的には、特定部114は、直前位置を、仮想空間301内におけるオブジェクト401〜404の既知の位置や移動速度、観察位置302及び視線方向303から算出する。また、特定部114は、直後位置を、直前位置、変化後の観察位置302、及び変化後の視線方向303から算出する。そして、特定部114は、直後位置と直前位置との差を、視線方向303の変化に起因する速度成分、すなわちオブジェクトの移動に起因しない速度成分として算出する。なお、特定部114は、オブジェクト401〜404の代表点(例えば、中心点や重心点)の位置を、オブジェクト401〜404の位置とする。
【００３４】
以下、オブジェクト401を例として、図8を用いて視線方向303の変化に起因する速度成分を算出する方法について説明する。例えば、図4に示すように時刻taにおいて、オブジェクト401がPaに位置しているとする。このとき、まず特定部114は、Pa、観察位置302及び視線方向303に基づいて、時刻taにおいて生成された画像501a内におけるPaの位置Piaを算出する。そして、特定部114は、Pa、時刻tbにおける観察位置302、及び時刻tbにおける視線方向303に基づいて、時刻tbにおいて生成されるべき画像501b内におけるPaの位置Pibを算出する。そして、特定部114は、PibとPiaとの差を、視線方向303の変化に起因する速度成分S1xとして算出する。すなわち、特定部114は、オブジェクト401が静止していると仮定したときのPibとPiaとの差、すなわち画像内速度を視線方向303の変化に起因する速度成分S1xとして算出する。特定部114は、このようにして仮想空間301内のオブジェクト401〜404それぞれについて、視線方向303の変化に起因する速度成分を算出する。
【００３５】
そして、特定部114は、オブジェクトの移動に起因しない速度成分が、所定基準で小さいか否かを判定する。ここで、オブジェクトの移動に起因しない速度成分が所定基準で小さいか否かを判定する方法の一例として、特定部114は、オブジェクト401〜404それぞれについて求められた視線方向303の変化に起因する速度成分のうち、最小の速度成分が所定基準で小さいと判定する。そして、特定部114は、視線方向303の変化に起因する速度成分が最小であるオブジェクト401〜404を注目オブジェクトに特定する。例えば、特定部114は、オブジェクト401〜404の視線方向303の変化に起因する速度成分のうち、オブジェクト401に係る速度成分S1xが最小であるとき、オブジェクト401を注目オブジェクトとして特定する。なお、他の例として、視線方向303の変化に起因する速度成分が所定閾値以下、または所定閾値未満であるとき、特定部114は、その速度成分は所定基準で小さいと判定してもよい。また、特定部114は、検知された視線方向303の変化に対する速度成分の比が、所定閾値未満であるとき、その速度成分は所定基準で小さいと判定してもよい。具体的には、特定部114は、視線方向303の変化に起因する速度成分を、検知された視線方向303の変化の速度で除した値が、所定閾値未満のとき、その速度成分は所定基準で小さいと判定してもよい。
【００３６】
本実施形態において、制御部101が、特定部114として機能する。
【００３７】
そして、生成部113は、画像を生成する際、オブジェクト401〜404のうち、特定部114により特定された注目オブジェクト以外のオブジェクトであって、仮想空間301を視線方向303に観察すると注目オブジェクトを隠すオブジェクトの透明度を増加させてから、画像を生成する。例えば、生成部113は、背景を所定の背景色(例えば黒)で描画し、観察位置302から遠いオブジェクトから順に描画する。そして、注目オブジェクト以外の他のオブジェクトを描画すべきピクセルが背景色以外の色で描画されていた場合、生成部113は、そのピクセルは、すでに注目オブジェクトの色で描画されている、すなわち当該他のオブジェクトによって隠される注目オブジェクトのピクセルであると判定する。そして、生成部113は、当該他のオブジェクトを注目オブジェクトを隠すオブジェクトであると判定し、当該他のオブジェクトの透明度を増加させてから、画像を生成する。例えば、特定部114によりオブジェクト401が注目オブジェクトとして特定されたとき、生成部113は、オブジェクト402がオブジェクト401を隠すオブジェクトであると判定すると、図9に示すようにオブジェクト402の透明度を増加させてから、画像501bを生成する。生成部113は、オブジェクト402の透明度を増加させることにより、ユーザが注目する、オブジェクト402によって隠されたオブジェクト401の部分を視認しやすい画像を生成することができる。なお、注目オブジェクトが他の注目オブジェクトにより隠される場合、生成部113は、注目オブジェクトを隠す他の注目オブジェクトの透明度を増加させずに画像を生成する。
【００３８】
本実施形態において、制御部101が、生成部113として機能する。
【００３９】
表示部115は、生成部113により生成された画像を、ディスプレイ104に表示する。例えば、表示部115は、時刻taにおいて図7Aに示すような画像501a、時刻tbにおいて図9に示すような画像501b、をそれぞれディスプレイ104に表示する。
【００４０】
本実施形態において、制御部101が、表示部115として機能する。
【００４１】
次に、本発明の実施形態にかかる表示装置100の動作について説明する。図10は、表示装置100の制御部101により実行される表示処理の流れを表すフローチャートである。本処理は、例えば、操作部106を介して本処理の開始指示を受け付けたことを契機として開始する。
【００４２】
まず、表示装置100は、仮想空間301内において、観察位置302及び視線方向303を予め定められた初期状態に設定する(ステップS101)。
【００４３】
次に、表示装置100は、仮想空間301を初期化する(ステップS102)。この初期化の際には、表示装置100は、例えば、仮想空間301内に配置されるオブジェクトの位置、形状、向き、外観を取得、設定したり、仮想空間301の無限遠方に配置されると想定される背景の画像等を取得、設定する。
【００４４】
次に、表示装置100は、表示装置100の向きを検知し、ディスプレイ104の表示方向が、現実空間201において基準軸周りに回転した回転量θを取得する(ステップS103)。ステップS103は、繰り返し実行されるので、ここで取得される回転量θは、センサ等により前回測定された表示方向203と、今回測定された表示方向203と、の差分に相当する。
【００４５】
次に、表示装置100は、取得された回転量θに応じて、視線方向303を更新する(ステップS104)。
【００４６】
そして、表示装置100は、仮想空間301内のオブジェクト401〜404について、視線方向303の変化に起因する速度成分を算出していないオブジェクトを選択する(ステップS105)。
【００４７】
表示装置100は、ステップS105において選択されたオブジェクトの直前位置及び直後位置を算出する(ステップS106)。
【００４８】
そして、表示装置100は、ステップS106において算出された直後位置と直前位置との差を、選択されたオブジェクトの、視線方向303の変化に起因する速度成分として算出する(ステップS107)。そして、表示装置100は、全てのオブジェクト401〜404について視線方向303の変化に起因する速度成分を算出したか否かを判定する(ステップS108)。表示装置100は、全てのオブジェクト401〜404について視線方向303の変化に起因する速度成分を算出していないとき(ステップS108;No)、ステップS105の処理に戻る。
【００４９】
表示装置100は、全てのオブジェクト401〜404について視線方向303の変化に起因する速度成分を算出したとき(ステップS108;Yes)算出された速度成分のうち、最小の速度成分に係るオブジェクトを注目オブジェクトとして特定する(ステップS109)。
【００５０】
表示装置100は、ステップS109において特定された注目オブジェクトを隠すオブジェクトがあるか否かを判定する(ステップS110)。表示装置100は、注目オブジェクトを隠すオブジェクトがないとき(ステップS110;No)、ステップS112の処理に進む。
【００５１】
注目オブジェクトを隠すオブジェクトがあるとき(ステップS110;Yes)、表示装置100は、注目オブジェクトを隠すオブジェクトの透明度を所定の度合だけ増加させる(ステップS111)。
【００５２】
そして、表示装置100は、観察位置302から視線方向303に仮想空間301を観察した様子を表す画像を生成する(ステップS112)。
【００５３】
この後、表示装置100は、ディスプレイ104の垂直同期割込が生じるまで待機してから(ステップS113)、生成された画像をディスプレイ104に転送してユーザに提示する(ステップS114)。
【００５４】
そして、表示装置100は、仮想空間301の状態を更新する(ステップS115)。例えば、仮想空間301が時間の経過に応じて変化するコンピュータグラフィックスにより構成される場合には、オブジェクトの位置や向きを、当該オブジェクトに設定された速度、加速度、角速度、角加速度等により更新する物理シミュレーションを行ったり、予め定められた条件に基づいてオブジェクトを変形させる。
【００５５】
そして、表示装置100は、ステップS103の処理に戻る。表示装置100は、例えば操作部106を介して本処理の終了指示を受け付けるまで、繰り返し上記の処理を実行する。なおステップS113において待機することから、この処理の繰り返し周期は、垂直同期周期となる。
【００５６】
以上説明したように、本発明の実施形態に係る表示装置100は、表示装置100の現実空間201における向きが変化すると、仮想空間301における視線方向303を変化させ、仮想空間301内のオブジェクト401〜404の画像内速度のうち、オブジェクト401〜404の移動に起因しない速度成分が所定基準で小さいオブジェクトを注目オブジェクトに特定する。そのため、ユーザが仮想空間301内の移動するオブジェクトを目で追っているとき、表示装置100は自身の位置を検知できなくても、自身の向きの変化を検知することにより、ユーザが注目するオブジェクトを特定することができる。
【００５７】
また、表示装置100は、特定された注目オブジェクトが他のオブジェクトによって隠されている場合、注目オブジェクトを隠すオブジェクトの透明度を増加させてから、画像を生成する。従って、表示装置100は、他のオブジェクトによって隠されている注目オブジェクトの部分を視認可能にすることができる。
【００５８】
以上に本発明の実施形態について説明したが、上記実施形態は一例であり、本発明の適用範囲はこれに限られない。即ち、本発明の実施形態は種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。
【００５９】
例えば、上記の実施形態において、表示装置100は、視線方向303の変化に応じて観察位置302を変化させることにより、注目オブジェクトののぞき込みを実現してもよい。例えば、図11に示すように、観察位置302aから視線方向303aに注目オブジェクト401aを見ると、注目オブジェクト401aの一部がオブジェクト404aにより隠されるとする。このとき、ユーザは、オブジェクト404aにより隠されている注目オブジェクト401aの部分を覗き込もうとして、現実空間201において頭を回転させるとともに、頭の位置を移動させると想定される。ただし、表示装置100が自身の位置を検知できないときには、ユーザが頭を移動させても、その移動を検知することができない。このような状況において、表示装置100は、頭の回転、すなわち表示装置100の向きの変化を検知し、その向きの変化に応じて仮想空間301における視線方向303aを変化させるとともに、視線方向303aの変化に応じて観察位置302aを変化させてもよい。
【００６０】
具体的には、上記の実施形態において、変化部112は、変化させた視線方向303の変化に応じて、当該視線方向303が変化した方向と逆方向に観察位置302を変化させてもよい。例えば、時刻taから時刻tbまでの間に、図2に示す状態から図3に示すようにユーザが頭を反時計回りにθ回転させたとき、変化部112は、検知部111により検知された表示装置100の表示方向203の変化について、現実空間201における基準軸周りの回転量θを取得する。そして、図11に示すように、変化部112は、視線方向303aを仮想空間301における観察位置302aの基準軸周りに回転量θだけ回転させることにより、視線方向303aを視線方向303bに変化させる。また、変化部112は、特定部114により特定された注目オブジェクト401aの位置Paを中心に、観察位置302aを回転量θだけ視線方向303が変化した方向と逆方向に回転移動させることにより、観察位置302aを観察位置302bに変化させる。図11に示す例では、視線方向303aは、反時計回りに回転することにより、視線方向303bに変化しているため、変化部112は、観察位置302aを時計回りに回転量θだけ回転移動させることにより、観察位置302bに変化させる。これにより、表示装置100が表示装置100の位置を検出する機能を持たない場合であっても、変化させた視線方向303に応じて、視線方向303が変化した方向と逆方向に観察位置302を変化させることにより、ユーザ202の違和感を抑制しつつ観察位置302を注目オブジェクトののぞき込みに適切な位置に変化させることができる。
【００６１】
なお、複数の注目オブジェクトが特定された場合には、変化部112は、複数の注目オブジェクトのうち、自身の移動に起因しない速度成分、すなわち視線方向303の変化に起因する速度成分が最小のオブジェクトを中心に観察位置302を視線方向303が変化した方向と逆方向に変化させればよい。また、変化部112が観察位置302を視線方向303が変化した方向と逆方向に回転させる量は、視線方向303の回転量θと同じ量に限られない。例えば、変化部112は、視線方向303の回転量θに比例する回転量で、観察位置302を視線方向303が変化した方向と逆方向に変化させてもよい。
【００６２】
また、上記の実施形態では、表示装置100が表示装置100の向きの変化を検知し、その変化に基づいて、注目オブジェクトを特定する例について説明した。しかし、表示装置100は、さらに表示装置100の位置を検知する機能を備えてもよい。この場合、変化部112は、検知された表示装置100の位置に応じて、仮想空間301における観察位置302を変化させてもよい。
【００６３】
例えば、図12に示すように、変化部112は、時刻taから時刻tbまでの間の検知部111により検知された表示装置100の位置204の変化について、移動量dを取得する。具体的には、図12において、ユーザ202が頭の向きを変える前は、表示装置100の代表点(例えば、中心点や重心点)は、位置204aに位置する。また、図12において、ユーザ202が頭の向きを変えた後は、表示装置100の代表点は、位置204bに位置する。従って、表示装置100の移動量dは、位置204aと位置204bの差分ベクトルである。そして、変化部112は、図13に示すように、仮想空間301において観察位置302aを移動量dだけ移動させることにより、観察位置302aを観察位置302bに変化させる。そして、生成部113は、仮想空間301を観察位置302bから視線方向303bに観察した様子を表す画像を生成する。そして、特定部114は、上記の実施形態と同様に、生成部113に生成される画像内でオブジェクトが描画される位置が移動する画像内速度のうち、オブジェクトの移動に起因しない速度成分が所定基準で小さいオブジェクトを注目オブジェクトに特定する。
【００６４】
一般的に、表示装置100が自身の向きだけでなく位置も検知できる場合には、ユーザが注目オブジェクトを視野の中心に入れた状態で視線方向を変化させることを想定して、変化前後の視線方向303の交点にあるオブジェクトを注目オブジェクトに特定すると考えられる。しかし、表示装置100の向きや位置の検知精度が低い場合には、その交点を正しく特定できないおそれがある。一方、特定部114は、生成部113に生成される画像内でオブジェクトが描画される位置が移動する画像内速度のうち、オブジェクトの移動に起因しない速度成分が所定基準で小さいオブジェクトを注目オブジェクトに特定するため、表示装置100の向きや位置の検知精度が低い場合であっても、注目オブジェクトを特定することができる。
【００６５】
また、上記の実施形態では、表示装置100の向きの変化を検知したとき、注目オブジェクトを特定する例について説明した。すなわち、上記の実施形態では、表示装置100の向きが変化しない間は、表示装置100は注目オブジェクトを特定しない。しかし、表示装置100は、例えば表示装置100の向きの変化を最後に検知してから所定期間、最後に特定された注目オブジェクトを注目オブジェクトとして特定してもよい。表示装置100の向きの変化が検知されなくなったことは、ユーザがすでに表示装置100を注目オブジェクトを観察しやすい向きに移動させたためと考えられる。そのため、表示装置100は、表示装置100の向きの変化を最後に検知してから所定期間について、表示装置100の向きの変化が検知されていなくても、最後に特定された注目オブジェクトを注目オブジェクトとして特定することができる。
【００６６】
また、上記の実施形態では、特定部114は、生成部113に生成される画像内でオブジェクトが描画される位置が移動する画像内速度のうち、オブジェクトの移動に起因しない速度成分が最小のオブジェクトを注目オブジェクトに特定する例について説明した。このように、特定部114が1つの注目オブジェクトを特定する場合、状況によっては頻繁に注目オブジェクトが入れ替わる可能性がある。このように注目オブジェクトが頻繁に入れ替わることを防ぐため、例えば表示装置100は、注目オブジェクトを特定してから所定期間は、他のオブジェクトを注目オブジェクトとして特定しないこととしてもよい。
【００６７】
また、上記の実施形態において、表示装置100の向きについて、ヨー角の変化を検知する例について説明した。しかし、表示装置100の向きの変化はこれに限られず、例えばロール角やピッチ角の変化を検知してもよい。
【００６８】
なお、表示装置100としては、上記各機能を、各種の電気・電子機器からなるハードウェアによって構成することができる。また、既存のパーソナルコンピュータや情報端末機器等が有する電気・電子回路や制御装置等によって、上記各機能を実現し、表示装置100を実現することもできる。
また、表示装置100のディスプレイ104およびセンサ部105を、ヘッドマウントディスプレイにより実現し、表示装置100の制御部101、ROM 102、RAM 103を有する表示制御装置を、ヘッドマウントディスプレイに接続されたパーソナルコンピュータや情報端末機器等により実現することも可能である。
さらに、上記実施形態で例示した表示装置100による各機能構成を実現させるためのプログラムを、既存のパーソナルコンピュータや情報端末機器を制御するCPU等が実行できるように、既存のパーソナルコンピュータや情報端末機器に適用することで、そのパーソナルコンピュータや情報端末機器を表示装置100として機能させることができる。ここで、CPU等がプログラムを実行することによって、表示装置100を制御する表示制御方法を実現することができる。
【００６９】
また、このようなプログラムは、上記に限られず、任意の方法で適用可能である。プログラムを、例えば、コンピュータが読取可能な記録媒体(CD−ROM(Compact Disc Read-Only Memory)、DVD(Digital Versatile Disc)、MO(Magneto Optical disc)等)に格納して適用できる他、インターネット等のネットワーク上のストレージにプログラムを格納しておき、これをダウンロードさせることにより適用することもできる。
【００７０】
(まとめ)
以上説明したように、本発明の一実施形態に係る表示制御装置は、表示装置を制御し、
複数のオブジェクトが静止もしくは移動する仮想空間における視線方向を、前記表示装置の現実空間における向きの変化に応じて変化させる変化部と、
前記仮想空間を前記視線方向に観察した様子を表す画像を生成する生成部と、
前記生成された画像を、前記表示装置が有するディスプレイに表示する表示部と、
前記複数のオブジェクトから、注目オブジェクトを特定する特定部と、
を備え、
前記変化部は、前記注目オブジェクトを中心に、当該視線方向が変化した方向と逆方向に観察位置を変化させ、
前記生成部は、前記仮想空間を前記観察位置から前記視線方向に観察した様子を表す画像を生成する。
【００７１】
また、本発明の一実施形態に係る表示制御装置において、
前記特定部は、前記複数のオブジェクトが前記画像内にて描画される位置が移動する画像内速度のうち、前記仮想空間内における当該オブジェクトの移動に起因しない速度成分が、所定基準で小さいオブジェクトを、前記注目オブジェクトに特定する、
ように構成することができる。
【００７２】
また、本発明の一実施形態に係る表示制御装置において、
前記変化部は、前記特定部により複数の注目オブジェクトが特定された場合、前記複数の注目オブジェクトのうち前記速度成分が最小のオブジェクトを中心に、前記観察位置を変化させる、
ように構成することができる。
【００７３】
また、本発明の一実施形態に係る表示制御装置において、
前記複数のオブジェクトの各オブジェクトについて、
前記視線方向が変化される直前に当該各オブジェクトが前記仮想空間内において存在していた位置の前記視線方向が変化される直前に生成された前記画像内における直前位置と、
前記視線方向が変化された直後に生成されるべき前記画像内における直後位置と、
を求め、
前記直後位置と前記直前位置との差を、当該各オブジェクトの前記速度成分としてもよい。
【００７４】
また、本発明の一実施形態に係る表示制御装置において、
前記速度成分が最小であるオブジェクトは、前記所定基準で小さくくてもよい。
【００７５】
また、本発明の一実施形態に係る表示制御装置において、
前記速度成分が所定閾値以下であるオブジェクトは、前記所定基準で小さくてもよい。
【００７６】
また、本発明の一実施形態に係る表示制御装置において、
前記向きの変化に対する前記速度成分の比が、所定閾値未満であるオブジェクトは、前記所定基準で小さくてもよい。
【００７７】
また、本発明の一実施形態に係る表示制御装置において、
前記変化部は、前記視線方向の変化に応じて、前記観察位置を変化させてもよい。
【００７８】
また、本発明の一実施形態に係る表示制御装置において、
前記変化部は、前記視線方向の変化量に比例して、前記観察位置を変化させてもよい。
【００７９】
また、本発明の一実施形態に係る表示制御装置において、
前記複数のオブジェクトのうち前記注目オブジェクト以外のオブジェクトであって、前記仮想空間を前記視線方向に観察すると前記注目オブジェクトを隠すオブジェクトの透明度を増加させてから、前記画像を生成してもよい。
【００８０】
本発明の一実施形態に係る表示制御方法は、表示制御装置が表示装置を制御し、
前記表示制御装置が、複数のオブジェクトが静止もしくは移動する仮想空間における視線方向を、前記表示装置の現実空間における向きの変化に応じて変化させる変化ステップと、
前記表示制御装置が、前記仮想空間を前記視線方向に観察した様子を表す画像を生成する生成ステップと、
前記表示制御装置が、前記生成された画像を、前記表示装置が有するディスプレイに表示する表示ステップと、
前記表示制御装置が、前記複数のオブジェクトから、注目オブジェクトを特定する特定ステップと、
を含み、
前記変化ステップでは、前記注目オブジェクトを中心に、当該視線方向が変化した方向と逆方向に観察位置を変化させ、
前記生成ステップでは、前記仮想空間を前記観察位置から前記視線方向に観察した様子を表す画像を生成する。
【００８１】
本発明の一実施形態に係るプログラムは、コンピュータを、
複数のオブジェクトが静止もしくは移動する仮想空間における視線方向を、表示装置の現実空間における向きの変化に応じて変化させる変化部、
前記仮想空間を前記視線方向に観察した様子を表す画像を生成する生成部、
前記生成された画像を、前記表示装置が有するディスプレイに表示する表示部、
前記複数のオブジェクトから、注目オブジェクトを特定する特定部
として機能させ、
前記変化部は、前記注目オブジェクトを中心に、当該視線方向が変化した方向と逆方向に観察位置を変化させ、
前記生成部は、前記仮想空間を前記観察位置から前記視線方向に観察した様子を表す画像を生成する
ように機能させる。
【００８２】
本発明の一実施形態に係るコンピュータ読取可能な非一時的な情報記録媒体は、
コンピュータを、
複数のオブジェクトが静止もしくは移動する仮想空間における視線方向を、表示装置の現実空間における向きの変化に応じて変化させる変化部、
前記仮想空間を前記視線方向に観察した様子を表す画像を生成する生成部、
前記生成された画像を、前記表示装置が有するディスプレイに表示する表示部、
前記複数のオブジェクトから、注目オブジェクトを特定する特定部
として機能させるプログラムを記録し、
前記変化部は、前記注目オブジェクトを中心に、当該視線方向が変化した方向と逆方向に観察位置を変化させ、
前記生成部は、前記仮想空間を前記観察位置から前記視線方向に観察した様子を表す画像を生成する、
ように機能させる。
【００８３】
なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、本発明の範囲を限定するものではない。即ち、本発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
【産業上の利用可能性】
【００８４】
本発明によれば、仮想空間等を当該仮想空間等内の観察位置から観察した様子を表示装置に表示させる表示制御装置において、当該表示装置の現実空間における位置を検出しなくとも、当該仮想空間等内の当該観察位置を適切に移動させる表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体を提供することができる。
【符号の説明】
【００８５】
100 (100a, 100b) 表示装置
101 制御部
102 ROM
103 RAM
104 ディスプレイ
105 センサ部
106 操作部
107 バス
111 検知部
112 変化部
113 生成部
114 特定部
115 表示部
201 現実空間
202 (202a, 202b) ユーザ
203 (203a, 203b) 表示方向
204 (204a, 204b) 表示装置の位置
211 現実空間の方位
301 仮想空間
302 (302a, 302b) 観察位置
303 (303a, 303b) 視線方向
311 仮想空間の方位
401〜404 (401a〜404a, 401b〜404b) オブジェクト
501a, 501b 画像
【要約】
表示装置(100)が有するセンサ部(105)は、表示装置(100)が有するディスプレイ(104)の現実空間における向きの変化を検知する。制御部(101)により実現される表示制御装置は、複数のオブジェクトが静止もしくは移動する仮想空間における視線方向を、検知された向きの変化に応じて変化させ、仮想空間を視線方向に観察した様子を表す画像を生成する。生成された画像は、ディスプレイ(104)に表示される。ここで、制御部(101)により実現される表示制御装置は、複数のオブジェクトから、注目オブジェクトを特定し、注目オブジェクトを中心に、視線方向が変化した方向と逆方向に観察位置を変化させ、仮想空間を観察位置から視線方向に観察した様子を表す画像を生成する。【図１】
0006713591.tif 000002
【図２】
0006713591.tif 000003
【図３】
0006713591.tif 000004
【図４】
0006713591.tif 000005
【図５】
0006713591.tif 000006
【図６】
0006713591.tif 000007
【図７Ａ】
0006713591.tif 000008
【図７Ｂ】
0006713591.tif 000009
【図８】
0006713591.tif 000010
【図９】
0006713591.tif 000011
【図１０】
0006713591.tif 000012
【図１１】
0006713591.tif 000013
【図１２】
0006713591.tif 000014
【図１３】
0006713591.tif 000015