(57)【要約】【課題】  現実空間画像と仮想空間画像とを違和感無く合成するための技術を提供すること。【解決手段】  画像合成部１１１は現実空間画像と仮想空間画像の合成画像を表示部１０４に出力する。画像合成部１１１は、現実空間画像の撮像時刻と仮想空間画像の生成完了予測時刻との差分の半分を差分情報として求める。三次元位置姿勢センサ１０５は位置姿勢情報を取得する。差分情報、位置姿勢情報、は画像処理装置１０２に送信される。視線位置予測部１０８は、従前の差分情報を受信した差分情報を用いて更新し、受信時刻から更新した差分情報分だけ先の時刻を生成完了予測時刻として求め、求めた生成完了予測時刻における視点の位置姿勢を、受信した位置姿勢情報を用いて予測する。予測された位置姿勢に基く仮想空間画像、生成完了予測時刻はＶＨＭＤ１０１に送信される。【選択図】  図１
2010039556.tif 000002
【特許請求の範囲】
【請求項１】
現実空間を撮像する撮像部と、画像を表示するための表示部とを有する頭部装着型表示装置と、
前記表示部に表示させるための画像を生成する画像処理装置と、
で構成されているシステムであって、
前記頭部装着型表示装置は、
前記撮像部が撮像した現実空間画像と、前記画像処理装置から送信されてきた仮想空間画像とを合成することで合成画像を生成する合成手段と、
前記合成画像を前記表示部に出力する手段と、
前記現実空間画像の撮像時刻と、前記画像処理装置から送信されてきた前記仮想空間画像の生成完了予測時刻と、の差分を計算し、計算した差分に対して予め設定された割合を乗じた結果を差分情報として求める計算手段と、
視点の位置姿勢を示す位置姿勢情報を取得する手段と、
前記差分情報と前記位置姿勢情報とを前記画像処理装置に送信する送信手段とを備え、
前記画像処理装置は、
前記送信手段により送信された情報群を受信し、従前の差分情報を、受信した差分情報を用いて更新し、前記情報群を受信した時刻から当該更新した差分情報が示す時間分だけ先の時刻を前記生成完了予測時刻として求め、求めた前記生成完了予測時刻における前記視点の位置姿勢を、受信した前記位置姿勢情報を用いて予測する予測手段と、
前記予測手段により予測された位置姿勢を有する視点に基づいて仮想空間画像を生成する生成手段と、
前記予測手段が求めた生成完了予測時刻と、前記生成手段が生成した仮想空間画像とを前記頭部装着型表示装置に送信する手段と
を備えることを特徴とするシステム。
【請求項２】
前記画像処理装置が有する各手段、前記頭部装着型表示装置が有する各手段は、フレーム毎に処理を繰り返すことを特徴とする請求項１に記載のシステム。
【請求項３】
前記計算手段は、前記現実空間画像の撮像時刻から前記生成完了予測時刻を差し引いた結果を前記差分として計算し、計算した差分に対して予め設定された割合を乗じた結果を差分情報として求めることを特徴とする請求項１に記載のシステム。
【請求項４】
前記予測手段は、従前の差分情報に対して、受信した差分情報を減算することで、差分情報を更新することを特徴とする請求項１に記載のシステム。
【請求項５】
現実空間を撮像する撮像部と、画像を表示するための表示部とを有する頭部装着型表示装置と、
前記表示部に表示させるための画像を生成する画像処理装置と、
で構成されているシステムであって、
前記頭部装着型表示装置は、
前記撮像部が撮像した現実空間画像と、前記画像処理装置から送信されてきた仮想空間画像とを合成することで合成画像を生成する合成手段と、
前記合成画像を前記表示部に出力する手段と、
前記撮像部が撮像を行う毎に１カウントアップするカウンタがカウントした前記現実空間画像のカウント値と、前記画像処理装置から送信されてきた前記仮想空間画像に対するカウント値と、の差分を差分情報として求める計算手段と、
前記差分情報が示す値が１以上であれば１／２に補正し、−１以下であれば−１／２に補正し、−１より大きく１未満である場合には０に補正することで前記差分情報を更新する補正手段と、
前記撮像部のフレームレートの２倍のレートで視点の位置姿勢を計測するセンサから位置姿勢情報を取得すると共に、前記センサが計測を行う毎に１／２カウントアップするカウンタがカウントした前記位置姿勢情報のカウント値を取得する取得手段と、
前記補正手段により更新された差分情報と、前記位置姿勢情報と、前記位置姿勢情報のカウント値と、を前記画像処理装置に送信する送信手段とを備え、
前記画像処理装置は、
前記送信手段により送信された情報群を受信する受信手段と、
前記受信手段が受信した情報群に基づいて仮想空間画像を生成する生成手段であって、当該生成手段が生成を行う毎に１カウントアップした後に、カウントアップ後のカウント値に対して前記受信手段が受信した差分情報を加算したカウント値をカウント結果として求め、求めたカウント値と同じ値のカウント値と共に前記受信手段が受信した位置姿勢情報を特定し、特定した位置姿勢情報が示す位置姿勢を有する視点に基づいて仮想空間画像を生成する生成手段と、
前記生成手段により生成された仮想空間画像と、当該仮想空間画像に対して前記生成手段がカウント結果として求めたカウント値と、を前記頭部装着型表示装置に対して送信する手段と
を備えることを特徴とするシステム。
【請求項６】
画像を表示するための表示部を有する頭部装着型表示装置と、
前記表示部に表示させるための画像を生成する画像処理装置と、
で構成されているシステムであって、
前記頭部装着型表示装置は、
前記画像処理装置から送信されてきた仮想空間画像を前記表示部に出力する手段と、
現在時刻と、前記画像処理装置から送信されてきた前記仮想空間画像の生成完了予測時刻と、の差分を計算し、計算した差分に対して予め設定された割合を乗じた結果を差分情報として求める計算手段と、
視点の位置姿勢を示す位置姿勢情報を取得する手段と、
前記差分情報と前記位置姿勢情報とを前記画像処理装置に送信する送信手段とを備え、
前記画像処理装置は、
前記送信手段により送信された情報群を受信し、従前の差分情報を、受信した差分情報を用いて更新し、前記情報群を受信した時刻から当該更新した差分情報が示す時間分だけ先の時刻を前記生成完了予測時刻として求め、求めた前記生成完了予測時刻における前記視点の位置姿勢を、受信した前記位置姿勢情報を用いて予測する予測手段と、
前記予測手段により予測された位置姿勢を有する視点に基づいて仮想空間画像を生成する生成手段と、
前記予測手段が求めた生成完了予測時刻と、前記生成手段が生成した仮想空間画像とを前記頭部装着型表示装置に送信する手段と
を備えることを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現実空間画像と仮想空間画像との合成技術に関するものである。
【背景技術】
【０００２】
近年、現実世界と仮想世界をリアルタイムかつシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術を実現するシステムとして、主に二つのシステムが提案されている。一つは光学シースルー型ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用するＭＲシステム、もう一つはビデオシースルー型ＨＭＤを利用するＭＲシステムである。光学シースルー型ＨＭＤを用いたシステムは、ＨＭＤ装着者が観察する現実空間を光学系を介して瞳に結像すると共に、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を光学系を介して重畳表示した複合現実画像をＨＭＤ装着者に提供する。また、ビデオシースルー型ＨＭＤを用いたシステムは、ＨＭＤ装着者の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像し、その撮像画像にＣＧを重畳表示した複合現実画像をＨＭＤ装着者に提供する。
【０００３】
上述した何れのＭＲシステムも、ＨＭＤに搭載されたセンサ等の出力信号をＰＣ等を用いて演算することによりＨＭＤ装着者の視点の位置姿勢を検出している。そして、その検出結果に基づいてＨＭＤ装着者が観察している現実空間の所定位置に重畳するＣＧをＰＣ内で生成し、生成したＣＧを現実画像にクロマキー合成手法などを用いて合成している。これにより、上述したＭＲシステムは、現実感を向上させている。しかしながら、ＨＭＤ装着者の視点の位置姿勢の検出及びＣＧの生成には少なからぬ時間を要する。従って、殆ど処理時間を必要としない現実空間画像に対してＣＧを合成する場合、それぞれの画像間には時間的ずれが生じてしまう。特に、ＨＭＤ装着者の視点の姿勢（向き）が変化した場合には、時間ずれに起因する現実空間画像とＣＧとの相対的な位置に関するずれが生じてしまい、現実感が損なわれると感じる場合がある。
【０００４】
このような問題に対して、特許文献１では、ＨＭＤ装着者の頭部方位を検出し、その検出結果に基づいてＣＧを生成する際に要する時間内にＨＭＤ装着者の頭部が移動した量だけ、ＣＧを水平垂直方向にシフトして現実空間画像に合成する方法が提案されている。
【特許文献１】特開２００４−１０９９９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら上述した従来技術においては、以下のような課題があった。
【０００６】
現実空間画像に合成するＣＧが立体物である場合、ＣＧ生成に要する時間内にＨＭＤ装着者の頭部が移動した量だけＣＧを水平垂直方向にシフトするだけでは、ＣＧの奥行きを表す立体的な角度と現実空間画像上の合成位置に矛盾が生じてしまう。このために、現実感が損なわれるという欠点を生じる。
【０００７】
本発明は以上の問題に鑑みて成されたものであり、現実空間画像と仮想空間画像とを違和感無く合成するための技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の目的を達成するために、例えば、本発明のシステムは以下の構成を有する。
【０００９】
即ち、現実空間を撮像する撮像部と、画像を表示するための表示部とを有する頭部装着型表示装置と、
前記表示部に表示させるための画像を生成する画像処理装置と、
で構成されているシステムであって、
前記頭部装着型表示装置は、
前記撮像部が撮像した現実空間画像と、前記画像処理装置から送信されてきた仮想空間画像とを合成することで合成画像を生成する合成手段と、
前記合成画像を前記表示部に出力する手段と、
前記現実空間画像の撮像時刻と、前記画像処理装置から送信されてきた前記仮想空間画像の生成完了予測時刻と、の差分を計算し、計算した差分に対して予め設定された割合を乗じた結果を差分情報として求める計算手段と、
視点の位置姿勢を示す位置姿勢情報を取得する手段と、
前記差分情報と前記位置姿勢情報とを前記画像処理装置に送信する送信手段とを備え、
前記画像処理装置は、
前記送信手段により送信された情報群を受信し、従前の差分情報を、受信した差分情報を用いて更新し、前記情報群を受信した時刻から当該更新した差分情報が示す時間分だけ先の時刻を前記生成完了予測時刻として求め、求めた前記生成完了予測時刻における前記視点の位置姿勢を、受信した前記位置姿勢情報を用いて予測する予測手段と、
前記予測手段により予測された位置姿勢を有する視点に基づいて仮想空間画像を生成する生成手段と、
前記予測手段が求めた生成完了予測時刻と、前記生成手段が生成した仮想空間画像とを前記頭部装着型表示装置に送信する手段と
を備えることを特徴とする。
【００１０】
本発明の目的を達成するために、例えば、本発明のシステムは以下の構成を有する。
【００１１】
即ち、現実空間を撮像する撮像部と、画像を表示するための表示部とを有する頭部装着型表示装置と、
前記表示部に表示させるための画像を生成する画像処理装置と、
で構成されているシステムであって、
前記頭部装着型表示装置は、
前記撮像部が撮像した現実空間画像と、前記画像処理装置から送信されてきた仮想空間画像とを合成することで合成画像を生成する合成手段と、
前記合成画像を前記表示部に出力する手段と、
前記撮像部が撮像を行う毎に１カウントアップするカウンタがカウントした前記現実空間画像のカウント値と、前記画像処理装置から送信されてきた前記仮想空間画像に対するカウント値と、の差分を差分情報として求める計算手段と、
前記差分情報が示す値が１以上であれば１／２に補正し、−１以下であれば−１／２に補正し、−１より大きく１未満である場合には０に補正することで前記差分情報を更新する補正手段と、
前記撮像部のフレームレートの２倍のレートで視点の位置姿勢を計測するセンサから位置姿勢情報を取得すると共に、前記センサが計測を行う毎に１／２カウントアップするカウンタがカウントした前記位置姿勢情報のカウント値を取得する取得手段と、
前記補正手段により更新された差分情報と、前記位置姿勢情報と、前記位置姿勢情報のカウント値と、を前記画像処理装置に送信する送信手段とを備え、
前記画像処理装置は、
前記送信手段により送信された情報群を受信する受信手段と、
前記受信手段が受信した情報群に基づいて仮想空間画像を生成する生成手段であって、当該生成手段が生成を行う毎に１カウントアップした後に、カウントアップ後のカウント値に対して前記受信手段が受信した差分情報を加算したカウント値をカウント結果として求め、求めたカウント値と同じ値のカウント値と共に前記受信手段が受信した位置姿勢情報を特定し、特定した位置姿勢情報が示す位置姿勢を有する視点に基づいて仮想空間画像を生成する生成手段と、
前記生成手段により生成された仮想空間画像と、当該仮想空間画像に対して前記生成手段がカウント結果として求めたカウント値と、を前記頭部装着型表示装置に対して送信する手段と
を備えることを特徴とする。
【００１２】
本発明の目的を達成するために、例えば、本発明のシステムは以下の構成を有する。
【００１３】
即ち、画像を表示するための表示部を有する頭部装着型表示装置と、
前記表示部に表示させるための画像を生成する画像処理装置と、
で構成されているシステムであって、
前記頭部装着型表示装置は、
前記画像処理装置から送信されてきた仮想空間画像を前記表示部に出力する手段と、
現在時刻と、前記画像処理装置から送信されてきた前記仮想空間画像の生成完了予測時刻と、の差分を計算し、計算した差分に対して予め設定された割合を乗じた結果を差分情報として求める計算手段と、
視点の位置姿勢を示す位置姿勢情報を取得する手段と、
前記差分情報と前記位置姿勢情報とを前記画像処理装置に送信する送信手段とを備え、
前記画像処理装置は、
前記送信手段により送信された情報群を受信し、従前の差分情報を、受信した差分情報を用いて更新し、前記情報群を受信した時刻から当該更新した差分情報が示す時間分だけ先の時刻を前記生成完了予測時刻として求め、求めた前記生成完了予測時刻における前記視点の位置姿勢を、受信した前記位置姿勢情報を用いて予測する予測手段と、
前記予測手段により予測された位置姿勢を有する視点に基づいて仮想空間画像を生成する生成手段と、
前記予測手段が求めた生成完了予測時刻と、前記生成手段が生成した仮想空間画像とを前記頭部装着型表示装置に送信する手段と
を備えることを特徴とする。
【発明の効果】
【００１４】
本発明の構成によれば、現実空間画像と仮想空間画像とを違和感無く合成することができる。
【発明を実施するための最良の形態】
【００１５】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１６】
［第１の実施形態］
先ず、本実施形態で用いる頭部装着型表示装置としてのＨＭＤについて説明する。図１４は、ＨＭＤ装着者２１０１がビデオシースルー型ＨＭＤ（以下、ＶＨＭＤ）１０１を装着した状態を示した図である。ＶＨＭＤ１０１には、ＨＭＤ装着者２１０１の視点の位置姿勢を計測するための不図示の三次元位置姿勢センサが内蔵されている。三次元位置姿勢センサは、ジャイロセンサ、加速度センサ、磁気センサ等で構成されている。ＶＨＭＤ１０１内にはこの他にも、現実空間の動画像を撮像するための撮像部、画像を表示するための表示部も内蔵されている。
【００１７】
図４は、ＶＨＭＤ１０１を側面から見た場合の内部構成例を示す図である。
【００１８】
ＶＨＭＤ１０１は左右対称な形状をしているため、図４では片目分の内部構成を示す。４０８はＨＭＤ装着者２１０１の目である。１０３は撮像部で、撮像光学系４０９と撮像素子４１０とで構成されている。撮像光学系４０９は、現実空間の像を撮像素子４１０に結像する。１０４は表示部で、液晶パネル４０３とバックライト４０４とで構成されている。表示部１０４は、撮像素子４１０に結像された画像（撮像画像）に後述する仮想空間画像を合成した合成画像を表示する。バックライト４０４は、液晶パネル４０３を照射する。これにより、液晶パネル４０３に表示された画像は光束４０６として凸面鏡４０２に射出される。凸面鏡４０２は、液晶パネル４０３から射出された光束４０６を反射し、ＨＭＤ装着者２１０１の目４０８に結像する。
これにより、ＨＭＤ装着者２１０１の眼前には、係る合成画像が提供されることになる。
【００１９】
次に、本実施形態に係るシステムについて説明する。
【００２０】
図１は、本実施形態に係るシステムの機能構成例を示すブロック図である。図１に示す如く、本実施形態に係るシステムは、画像処理装置１０２とＶＨＭＤ１０１とで構成されており、それぞれは互いにデータ通信が可能なように接続されている。接続形態については特に限定するものではなく、有線、無線の何れであっても良い。
【００２１】
先ず、ＶＨＭＤ１０１について説明する。図１に示す如く、ＶＨＭＤ１０１は、撮像部１０３、表示部１０４、画像合成部１１１、Ｉ／Ｆ（インターフェース）１０６、三次元位置姿勢センサ１０５を有する。なお、撮像部１０３と表示部１０４は共に、１秒間に６０枚の静止画像を撮像、表示するように動作する（６０ｆｐｓ）ものとして説明する。
【００２２】
撮像部１０３は、ＶＨＭＤ１０１を頭部に装着する装着者の目の位置近傍から、装着者の視線方向の現実空間の動画像を撮像可能なようにＶＨＭＤ１０１に取り付けられたもので、ビデオカメラにより構成されている。ここで、撮像部１０３は、ステレオ画像を生成するための右目用、左目用の二組の撮像素子と光学系および後段の画像処理を行うためのＤＳＰから構成されているが、左右で同じ動作を行うので、ここでは一方の目に対するもののみを示す。
【００２３】
撮像部１０３は、現実空間の動画像を撮像すると共に、動画像を構成する各フレームの画像（現実空間画像）の撮像時刻を計時している。そして撮像部１０３は、撮像した各フレームの画像と共に、各フレームの撮像時刻を示す撮像時刻情報を、画像合成部１１１に送出する。撮像部１０３から１枚の現実空間画像と、この現実空間画像の撮像時刻情報とを出力する際の出力方法には様々なものが考えられるが、本実施形態では、現実空間画像の一部の領域上に、撮像時刻情報を重畳させる。
【００２４】
図９は、現実空間画像上に、この現実空間画像の撮像時刻情報を重畳させる方法を説明する為の図である。図９において、９０１は現実空間画像であり、例えば、ＳＸＧＡサイズの撮像素子で現実空間を撮像すると、係る現実空間画像９０１のサイズは、１２４０画素×１０２４画素となる。９０２は、係る現実空間画像９０１の最上ラインにおいて、撮像時刻情報を重畳させる（埋め込む）対象となる領域を示しており、係る領域は最上ラインの先頭数画素により構成されている。係る領域９０２内の数画素の画素値を変更することで撮像時刻情報を重畳（埋め込む）する方法については特に限定するものではない。例えば、撮像時刻がＰ時Ｑ分（Ｘ／１０＋Ｙ／１００＋Ｚ／１０００）秒を示す場合、領域９０２を構成する画素群のうち先頭画素の画素値を数値Ｐに更新し、先頭から２番目の画素の画素値を数値Ｑに更新する。更に、先頭から３番目の画素の画素値を数値Ｘに更新し、先頭から４番目の画素の画素値を数値Ｙに更新し、先頭から５番目の画素の画素値を数値Ｚに更新する。これにより、領域９０２の先頭から５画素を用いて、係る撮像時刻情報を現実空間画像９０１に埋め込むことができる。なお、係る領域９０２、若しくは最上ラインを表示する場合には、黒画素などを用いて表示する様にする。
【００２５】
三次元位置姿勢センサ１０５は、自身の位置姿勢を計測するためのものであり、ジャイロセンサ、加速度センサ、磁気センサ等で構成されている。係る三次元位置姿勢センサ１０５は、ＶＨＭＤ１０１の装着者の視点（ここでは撮像部１０３）の位置姿勢を計測するためのものであるので、撮像部１０３の位置近傍に位置するようにＶＨＭＤ１０１に取り付けられている。もちろん、撮像部１０３と三次元位置姿勢センサ１０５との位置姿勢関係を予め計測しておけば、三次元位置姿勢センサ１０５による計測結果に係る位置姿勢関係を加えることで、撮像部１０３（視点）の位置姿勢を求めることができる。
【００２６】
なお、ジャイロセンサでは、ＶＨＭＤ１０１のＸＹＺ三方向の回転動作を検出し、加速度センサでは、ＶＨＭＤ１０１のＸＹＺ三方向の水平方向の動作を検出し、磁気センサではＶＨＭＤ１０１のＸＹＺ三次元の位置座標及び向きを検出する。なお、各センサは同じタイミングで計測結果を出力するものとする。三次元位置姿勢センサ１０５は、視点の位置姿勢を示す位置姿勢情報をＩ／Ｆ１０６を介して画像処理装置１０２に対して送出する。
【００２７】
画像合成部１１１は、撮像部１０３から受けた現実空間画像とＩ／Ｆ１０６を介して画像処理装置１０２から受けた仮想空間画像とを合成することで合成画像を生成する。そして、画像合成部１１１は、この生成した合成画像を、表示部１０４に対して送出する。これにより、表示部１０４の表示画面上には、現実空間画像と仮想空間画像との合成画像が表示されることになる。
【００２８】
また画像合成部１１１は、Ｉ／Ｆ１０６を介して画像処理装置１０２から受けた生成完了予測時刻（後述）から、現実空間画像と共に撮像部１０３から受けた撮像時刻情報が示す時刻を差し引いた結果（差分）を計算する。そして、計算した差分に対して１００％未満の割合を乗じた結果を差分情報として求める。そして、求めた差分情報をＩ／Ｆ１０６を介して画像処理装置１０２に対して送出する。
【００２９】
Ｉ／Ｆ１０６、及び後述するＩ／Ｆ１０７は、有線ＵＳＢやＩＥＥＥ１３９４のメタル線、ＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ(登録商標)等の光ファイバ等有線系のＩ／Ｆであっても良いし、光通信を含む無線系Ｉ／Ｆであっても良い。
【００３０】
次に、画像処理装置１０２について説明する。図１に示す如く、画像処理装置１０２は、Ｉ／Ｆ１０７、視線位置予測部１０８、ＣＧ生成部１１０、コンテンツＤＢ（データベース）１０９により構成されている。
【００３１】
視線位置予測部１０８は、Ｉ／Ｆ１０７を介してＶＨＭＤ１０１から送信された情報群（位置姿勢情報、差分情報）を受けると、次のように動作する。先ず、１つ前（従前）のフレームの処理時に用いた差分情報（最初は初期値）に対して、今回受信した差分情報を減算することで差分情報を更新する。そして、視線位置予測部１０８がこれらの情報を受信した時刻から、更新した差分情報が示す時間だけ経過した時刻を、生成完了予測時刻として求める。そして、ＶＨＭＤ１０１から受けた位置姿勢情報に基づいて、生成完了予測時刻における視点の位置姿勢を予測する。係る予測のための技術については周知であるので、これについての説明は省略する。ここで、生成完了予測時刻は本来は、画像処理装置１０２側で生成された仮想空間画像が、ＶＨＭＤ１０１が有する画像合成部１１１によって合成される時刻を指し示す。
【００３２】
しかし、三次元位置姿勢センサ１０５が位置姿勢情報を取得し、取得した位置姿勢情報をＩ／Ｆ１０６、１０７を介して視線位置予測部１０８に送出する為に要する時間は数μｓ程度である。また、ＣＧ生成部１１０が生成した仮想空間画像がＩ／Ｆ１０７、１０６を介して画像合成部１１１に送出されるまでに要する時間は数百μｓ程度である。即ち、これら二つの時間は何れも、仮想空間画像を生成して画像合成部１１１に送出する為に行う様々な処理で要する時間と比べても極めて小さいため、無視することができる。従って、生成完了予測時刻は、視線位置予測部１０８が位置姿勢情報を受信した時刻に対して、視線位置予測部１０８が要する処理時間と、ＣＧ生成部１１０が要する処理時間との合計時間を加えた時刻として良い。
【００３３】
なお、ＶＨＭＤ１０１と画像処理装置１０２との間の距離が大きい場合には、ＣＧ生成部１１０が生成した仮想空間画像が画像合成部１１１に受信されるまでに要する時間が大きくなることがあるため、生成完了予測時刻に所定値を加算しても良い。加算する所定値は、ユーザ指示に基づき設定しても良いし、ＶＨＭＤ１０１と画像処理装置１０２との間の距離に応じて、視線位置予測部１０８が算出しても良い。
【００３４】
上述したように、三次元位置姿勢センサ１０５による位置姿勢情報の取得からＣＧ生成部１１０による仮想空間画像の生成完了までに要する時間分だけ、仮想空間画像は現実空間画像から遅延した画像となる。本実施形態に係るシステムは、ＨＭＤ装着者２１０１の動作を予測し、撮像部１０３が現実空間画像を撮像した時刻に略一致した時刻に三次元位置姿勢センサ１０５が取得した位置姿勢情報に基づく仮想空間画像を取得する。そして、それぞれ略同時刻の現実空間画像と仮想空間画像とを合成することで、現実感が損なわれない合成画像を提供することができる。具体的には、視線位置予測部１０８で要する時間は約１０数ｍｓ程度である。また、ＣＧ生成部１１０で要する時間は、生成する仮想空間画像のサイズに大きく依存し、１０〜数百ｍｓ程度の範囲にばらつく。
【００３５】
視線位置予測部１０８は、生成完了予測時刻を示す情報と、予測した視点の位置姿勢情報と、をＣＧ生成部１１０に送出する。
【００３６】
コンテンツＤＢ１０９には、仮想空間を構成する各仮想物体に係るデータが登録されている。１つの仮想物体に係るデータは、例えば仮想物体がポリゴンでもって構成されている場合には、各ポリゴンの法線ベクトルデータや色データ、１つのポリゴンを構成する各頂点の座標値データ、仮想物体の配置位置姿勢データ等で構成されている。
【００３７】
図１３は、コンテンツＤＢ１０９に登録されている情報について説明する図である。２２００は、コンテンツＤＢ１０９に登録されているデータを用いて構築される仮想空間である。２１０６，２１０８，２１０９は何れも、仮想空間を構成する仮想物体である。仮想物体の位置は、例えば仮想物体２１０６の場合、その中心の位置Ｑ（ｘ１，ｙ１，ｚ１）として与えられる。
【００３８】
ＣＧ生成部１１０は、コンテンツＤＢ１０９に登録されているデータを用いて、図１３に例示するような仮想空間を構築する。そして、視線位置予測部１０８から受けた位置姿勢情報が示す位置姿勢を有する視点から見える仮想空間の画像を生成する。所定の位置姿勢を有する視点から見える仮想空間の画像の生成方法については周知の技術であるので、これについては説明を省略する。
【００３９】
図１０は、ＣＧ生成部１１０の内部構成例を示すブロック図である。図１０に示す如く、ＣＧ生成部１１０は、グラフィックプロセッシングユニット（ＧＰＵ）１１０１、メモリで構成されるバッファユニットＡ（ＢｕｆＡ）１１０２、バッファユニットＢ（ＢｕｆＢ）１１０３、予測時間重畳部１１０４により構成されている。
【００４０】
ＧＰＵ１１０１は、コンテンツＤＢ１０９に登録されているデータ群を用いて仮想空間を構築し、構築した仮想空間を、視線位置予測部１０８から受けた位置姿勢情報が示す位置姿勢を有する視点から見た場合に見える画像を仮想空間画像として生成する。生成した仮想空間画像はフレーム毎に、交互にＢｕｆＡ１１０２、ＢｕｆＢ１１０３に出力する。そして、ＢｕｆＡ１１０２、ＢｕｆＢ１１０３からは、後に書き込まれた仮想空間画像から出力される。即ち、ＢｕｆＡ１１０２、ＢｕｆＢ１１０３からは交互に仮想空間画像が出力される。
【００４１】
予測時間重畳部１１０４は、ＢｕｆＡ１１０２、ＢｕｆＢ１１０３から出力される仮想空間画像上に、視線位置予測部１０８が求めた生成完了予測時刻を示す情報を重畳する。係る重畳処理は、撮像部１０３が、現実空間画像上に撮像時刻情報を重畳させた処理と同様にして行う。しかし、ＣＧ生成部１１０から仮想空間画像と生成完了予測時刻とが出力されるのであれば、この出力形態については撮像部１０３と同様、係る重畳処理に限定するものではない。
【００４２】
そしてＣＧ生成部１１０は、生成完了予測時刻が重畳された仮想空間画像を、Ｉ／Ｆ１０７を介してＶＨＭＤ１０１に送出する。
【００４３】
ここで、撮像部１０３、表示部１０４に加えて、画像合成部１１１、ＣＧ生成部１１０は同期して動作を行うように制御されており、１秒間に６０フレームの画像を出力している。また、三次元位置姿勢センサ１０５は画像取得に同期しており、１秒間に６０回の位置姿勢情報を出力している。
【００４４】
図８は、画像処理装置１０２とＶＨＭＤ１０１とが行う処理のフローチャートである。
【００４５】
先ず、ステップＳ８０１では、視線位置予測部１０８は、画像処理装置１０２が有する不図示のメモリに予め登録されている差分情報の初期値を読み出し、これを以下の処理の初期値として設定する。例えば、処理時間として無視できない量である視線位置予測部１０８が要する処理時間１６ｍｓと、比較的小さなＣＧを生成するためにＣＧ生成部１１０が要する処理時間１０ｍｓとの合計時間である２６ｍｓを、差分情報の初期値として設定する。
【００４６】
一方、ステップＳ８５１では、ＶＨＭＤ１０１が有する三次元位置姿勢センサ１０５は、自身の位置姿勢を計測することで、計測結果を位置姿勢情報として取得する。
【００４７】
ステップＳ８５２では、三次元位置姿勢センサ１０５は、取得した位置姿勢情報を、Ｉ／Ｆ１０６を介して画像処理装置１０２に送出する。
【００４８】
ステップＳ８０２では、視線位置予測部１０８は、ステップＳ８５２で送出された位置姿勢情報をＩ／Ｆ１０７を介して受信する。
【００４９】
そしてステップＳ８０３では、視線位置予測部１０８は、ステップＳ８０２で位置姿勢情報を受信した時刻から、ステップＳ８０１で設定した差分情報が示す時間だけ経過した時刻を、生成完了予測時刻として求める。
【００５０】
ステップＳ８０４では、視線位置予測部１０８は、ステップＳ８０２で受信した位置姿勢情報に基づいて、ステップＳ８０３で求めた生成完了予測時刻における視点の位置姿勢を予測する。
【００５１】
ステップＳ８０５では、ＣＧ生成部１１０は、コンテンツＤＢ１０９に登録されているデータを用いて、仮想空間を構築する。そして、ステップＳ８０４において視線位置予測部１０８が求めた位置姿勢情報が示す位置姿勢を有する視点から見える仮想空間の画像を生成する。
【００５２】
ステップＳ８０６では、ＣＧ生成部１１０は、ステップＳ８０５において生成した仮想空間画像に対して、ステップＳ８０３において求めた生成完了予測時刻を示す情報を重畳させる。
【００５３】
そしてステップＳ８０７では、ＣＧ生成部１１０は、生成完了予測時刻が重畳された仮想空間画像を、Ｉ／Ｆ１０７を介してＶＨＭＤ１０１に送出する。
【００５４】
一方、ステップＳ８５３では、撮像部１０３は現実空間を撮像することで現実空間画像を取得すると共に、この撮像の時刻を計時する。
【００５５】
次に、ステップＳ８５４では、撮像部１０３は、撮像した現実空間画像上に、この現実空間画像を撮像した時刻を示す撮像時刻情報を重畳させる。
【００５６】
次に、ステップＳ８５５では、ステップＳ８０７において画像処理装置１０２から送信された「生成完了予測時刻が重畳された仮想空間画像」を受信する。
【００５７】
次に、ステップＳ８５６では、画像合成部１１１は、ステップＳ８５４で現実空間画像上に重畳された撮像時刻情報を読み取る。また、画像合成部１１１は、ステップＳ８５５で受信した仮想空間画像上に重畳された生成完了予測時刻を読み取る。そして、読み取った生成完了予測時刻から撮像時刻情報を差し引いた差分を計算する。そして、計算した差分に対して１００％未満の割合を乗じた結果を差分情報として求める。例えば、計算した差分の半分の時間を差分情報として求める。
【００５８】
例えば、ＣＧ生成部１１０が仮想空間画像を生成するために要した時間が６０ｍｓとなり、初期設定時に想定した２０ｍｓより４０ｍｓ長くなったとする。この場合、この生成された仮想空間画像は６０Ｈｚの周波数で画像合成部１１１に転送されるため、現実空間画像を撮像した時間と、合成対象のこの仮想空間画像との間に、６０Ｈｚで更新される画像の３フレーム分である約５０ｍｓの時間ずれが発生する。そこでこの場合、画像合成部１１１は、時間ずれ量５０ｍｓの半分の２５ｍｓを差分情報として視線位置予測部１０８に送信する。なお、ここではズレの半分を差分情報としている。しかし、ずれ量を大きく左右する要因の１つである仮想空間画像生成処理に要する時間は、コンテンツＤＢ１０９に格納されているデータや、ＨＭＤ装着者２１０１の動作速度に依存する。従って、ずれ量に対して乗じる割合は半分（５０％）に限定するものではなく、コンテンツＤＢ１０９に登録されているデータの量（例えば仮想物体の大きさや複雑度）や、ＨＭＤ装着者２１０１の使用状況に応じて、５％、１０％、２５％等に設定しても良い。一般的に、この割合を大きくしすぎると、処理が発振してしまうため、この割合はあまり大きくしない方が良い。
【００５９】
次に、ステップＳ８５７では、画像合成部１１１は、ステップＳ８５６において求めた差分情報を、Ｉ／Ｆ１０６を介して画像処理装置１０２に対して送信する。
【００６０】
ステップＳ８０８では、視線位置予測部１０８は、ステップＳ８５７で画像合成部１１１が送信した差分情報を受信すると、１つ前のフレームの処理時に用いた差分情報（最初は初期値）に対して、今回受信した差分情報を減算することで差分情報を更新する。そしてこの更新した差分情報を、次に使用する差分情報として設定する。即ち、次のフレームにおけるステップＳ８０３では、視線位置予測部１０８は、ステップＳ８０２で位置姿勢情報を受信した時刻から、ステップＳ８０８で更新した差分情報が示す時間だけ経過した時刻を、生成完了予測時刻として求めることになる。
【００６１】
次に、本処理の終了条件が満たされた場合、若しくは本処理の終了指示が外部から入力された場合には、ステップＳ８０９を介して本処理は終了する。一方、本処理の終了条件は満たされていないし、本処理の終了指示も外部から入力されていない場合には、処理はステップＳ８０９を介してステップＳ８０２に戻り、次のフレームにおける仮想空間画像を生成すべく、以降の処理を行う。
【００６２】
一方、ステップＳ８５８では、画像合成部１１１は、ステップＳ８５４で生成された現実空間画像と、ステップＳ８０７で画像処理装置１０２から受信した仮想空間画像とを合成することで合成画像を生成する。そして、画像合成部１１１は、この生成した合成画像を、表示部１０４に対して送出する。もちろん、上述の通り、情報が埋め込まれていた画素については黒画素でもって表示したり、情報が埋め込まれている画素のラインのみを非表示にするなど、適宜対処する。
【００６３】
次に、本処理の終了条件が満たされた場合、若しくは本処理の終了指示が外部から入力された場合には、ステップＳ８５９を介して本処理は終了する。一方、本処理の終了条件は満たされていないし、本処理の終了指示も外部から入力されていない場合には、処理はステップＳ８５９を介してステップＳ８５１に戻り、次のフレームにおける合成画像を生成すべく、以降の処理を行う。
【００６４】
以上説明した、本実施形態に係る処理によれば、ＣＧ生成部１１０で生成された仮想空間画像が画像合成部１１１で現実空間画像と合成されるまでには、１フレーム分以上の時間を要する。そのため、差分情報が視線位置予測部１０８に通知され、係る差分情報が反映された仮想空間画像がＣＧ生成部１１０によって生成されるのは、２フレーム後となる。しかし、表示画像は毎秒６０フレームの速度で更新されるため、ＨＭＤ装着者２１０１の動作が多少早くとも、仮想空間画像がフレーム間で大きく変化することはあまり無いと想定できる。そのため、上記処理を繰り返すことで、現実空間画像と仮想空間画像との間の時間的なずれ量はほぼ無くなることになる。
【００６５】
［第２の実施形態］
第１の実施形態では、撮像時刻、生成完了予測時刻を用いて、仮想空間画像と現実空間画像との時間的なズレを求めていた。本実施形態では、視線位置予測部１０８の内部にカウンタを設け、このカウンタによるカウント値を用いて、この時間的なズレを求める。なお、係るカウンタは、画像フレームレートである６０Ｈｚの周波数でカウントするように動作しているものとする。また、本実施形態では、三次元位置姿勢センサ１０５は、画像フレームレートの２倍、即ち、１２０Ｈｚで動作しているものとする。もちろん、各フレームの画像に対する位置姿勢情報は求めている（画像と同期している）。
【００６６】
なお、以下では、本実施形態において、第１の実施形態と異なる点のみについて説明する。
【００６７】
図５は、本実施形態において、時間ズレを解消すべく、現実空間画像と合成する仮想空間画像を生成するための処理を説明するための図である。以下の説明では、説明を分かりやすくするため、撮像部１０３に対するカウンタは、自身が管理しているカウント値を現実空間画像の撮像毎に１カウントアップする。また、視線位置予測部１０８に対するカウンタは、自身が管理しているカウント値を位置姿勢情報の出力毎（仮想空間画像の生成毎）に１カウントアップする。撮像部１０３（現実空間画像の撮像）、視線位置予測部１０８（位置姿勢情報の出力）は何れも、６０Ｈｚのフレームレートで動作しているものとする。また、三次元位置姿勢センサ１０５に対するカウンタは、自身が管理しているカウント値を位置姿勢情報の計測毎に０．５カウントアップ（１／２カウントアップ）している。三次元位置姿勢センサ１０５は、１２０Ｈｚのレートで動作しているものとする。
【００６８】
図５において横軸は時間を示しており、時間は紙面右方向に経過している。また、図５において、「Ｎ」は自然数である。
【００６９】
図５において、５０２は撮像部１０３が撮像したそれぞれの現実空間画像に対して付される番号（撮像画像Ｎｏ．）であり、撮像部１０３が撮像を行う毎に１カウントアップするカウンタによるカウント値である。係るカウンタは撮像部１０３内に備わっているものとする。
【００７０】
５０１は三次元位置姿勢センサ１０５が計測したそれぞれの位置姿勢情報に対して付される番号（位置姿勢情報Ｎｏ．）であり、三次元位置姿勢センサ１０５が計測を行う毎に０．５カウントアップするカウンタによるカウント値である。係るカウンタは三次元位置姿勢センサ１０５内に備わっているものとする。
【００７１】
５０３はＣＧ生成部１１０が生成した仮想空間画像に対して付される番号（ＣＧ画像Ｎｏ．）であり、ＣＧ生成部１１０が仮想空間画像を生成する毎に１カウントアップするカウンタによるカウント値である。係るカウンタは視線位置予測部１０８内に備わっているものとする。ＣＧ生成部１１０については第１の実施形態で説明したように、ＢｕｆＡ１１０２、ＢｕｆＢ１１０３に書き込まれた仮想空間画像のうち、最後に書き終わった仮想空間画像を出力する。従って、仮想空間画像に対するカウント値は、視線位置予測部１０８によるカウント値からは２フレーム分遅れていることになる。
【００７２】
以上のことから、撮像部１０３は、現実空間画像を撮像すると、この現実空間画像に対して、この現実空間画像の撮像時にカウンタがカウントしたカウント値を重畳し、カウント値が重畳された現実空間画像を画像合成部１１１に送出する。重畳の方法については第１の実施形態と同様にして行う。
【００７３】
一方、Ｉ／Ｆ１０６を介して画像処理装置１０２からは、仮想空間画像が送出される。係る仮想空間画像には、この仮想空間画像の生成時にカウンタがカウントしたカウント値が重畳されている。係る仮想空間画像は画像合成部１１１に入力される。そして画像合成部１１１は、第１の実施形態で説明したように、この現実空間画像と仮想空間画像とを合成することで、合成画像を生成する。一方、画像合成部１１１は、現実空間画像に重畳されているカウント値を読み取ると共に、仮想空間画像に重畳されているカウント値を読み取る。
【００７４】
図５において５０４１は、現実空間画像から読み取ったカウント値を示し、５０４２は、仮想空間画像から読み取ったカウント値を示している。画像合成部１１１は、現実空間画像から読み取ったカウント値から、仮想空間画像から読み取ったカウント値を差し引いた結果を差分情報として求める。図５において５０４３は、差分情報を示している。
【００７５】
図５において５０５は、画像合成部１１１による差分情報の補正結果である。画像合成部１１１は、差分情報が１以上であれば０．５に補正し、差分情報が−１以下であれば−０．５に補正し、−１より大きく１未満である場合には０に補正する。
【００７６】
そして、ＶＨＭＤ１０１からは、Ｉ／Ｆ１０６を介して、位置姿勢情報、この位置姿勢情報に対するカウント値、そして、補正後の差分情報が画像処理装置１０２に対して送出される。
【００７７】
５０６は視線位置予測部１０８によるカウント値を示している。視線位置予測部１０８は自身が管理しているカウント値を１カウントアップした後、このカウントアップ後のカウント値に対して、Ｉ／Ｆ１０７を介してＶＨＭＤ１０１から受信した補正後の差分情報を加算する。この加算後のカウント値（カウント結果）が５０６である。視線位置予測部１０８は、この加算後のカウント値を管理することになり、次回のカウントアップの対象となる。
【００７８】
図６は、視線位置予測部１０８の内部構成例を示すブロック図である。
【００７９】
図６に示す如く、視線位置予測部１０８は、カウンタ１０８２と算出部１０８１とを有する。カウンタ１０８２は、自身が管理しているカウント値を１カウントアップした後、Ｉ／Ｆ１０７を介してＶＨＭＤ１０１から受信した補正後の差分情報を加算する。そしてこれにより更新されたカウント値を後段の算出部１０８１に送出する。算出部１０８１は、カウンタ１０８２から受けたカウント値と同じ値のカウント値と共にＶＨＭＤ１０１から過去に受信した位置姿勢情報を特定し、特定した位置姿勢情報と、カウンタ１０８２から受けたカウント値とを、後段のＣＧ生成部１１０に送出する。
【００８０】
ＣＧ生成部１１０の動作については、仮想空間画像に対して重畳するものが異なるのみで、それ以外については第１の実施形態と同じである。
【００８１】
図５では、カウント値Ｎの現実空間画像までは、現実空間画像と仮想空間画像との間に時間ずれは無かった。しかし、ＨＭＤ装着者２１０１が視線の向きを変えたため、サイズの大きい仮想物体をレンダリングすることになり、その結果、カウント値Ｎの仮想空間画像から６０Ｈｚでは生成しきれず、３０Ｈｚの周波数でしか生成できなくなった。以下では、係るケースについて説明する。
【００８２】
ＣＧ生成部１１０は、カウント値Ｎの仮想空間画像の生成に多くの時間を要したため、カウント値（Ｎ＋１）の仮想空間画像が１フレーム期間内で生成し切れない。このため、５００４に示す如く、画像合成部１１１には２フレーム連続でカウント値Ｎの仮想空間画像が転送されることになる。ここで、カウント値（Ｎ＋１）の現実空間画像との合成対象は、カウント値Ｎの仮想空間画像となるため、差分値５０４３は１となり、５００６に示すように、カウント値５０６には０．５が加えられ、カウント値５０６は（Ｎ＋３．５）となる。しかしながら、カウント値（Ｎ＋３．５）に対応する位置姿勢情報に基づく仮想空間画像は、１つ前に生成されたカウント値（Ｎ＋２）の仮想空間画像を生成する為に要した時間が長すぎるため、画像合成部１１１には出力されない。このため、５００８に示すように、カウント値５０６には更に０．５が加えられている。
【００８３】
次に、カウント値（Ｎ＋４）、（Ｎ＋５）の現実空間画像との合成対象の仮想空間画像は、５００７に示すようにカウント値（Ｎ＋４．５）に対応する位置姿勢情報に基づく仮想空間画像となる。この結果、カウント値（Ｎ＋４）、（Ｎ＋５）の差分値５０４３はそれぞれ、−０．５、０．５となり、補正結果は双方とも０となる。
【００８４】
次にカウント値（Ｎ＋６）、（Ｎ＋７）の現実空間画像との合成対象の仮想空間画像は、５００９に示すようにカウント値（Ｎ＋７）の位置姿勢情報に基づく仮想空間画像となる。この結果、５０１０に示すように、カウント値（Ｎ＋６）の差分値５０４３は−１となり、補正結果は−０．５となる。また、カウント値（Ｎ＋７）の差分値５０４３は０となり、補正結果は０となる。
【００８５】
次に、カウント値（Ｎ＋８）、（Ｎ＋９）の現実空間画像との合成対象の仮想空間画像は、５０１１に示すようにカウント値（Ｎ＋８．５）の位置姿勢情報に基づく仮想空間画像となる。この結果、カウント値（Ｎ＋８）、（Ｎ＋９）の差分値５０４３はそれぞれ、−０．５、０．５となり、補正結果は双方とも０となる。
【００８６】
以降、上述したような、カウント値５０６を用いたフィードバックを繰り返すことにより、現実空間画像と仮想空間画像との時間的なずれ量を補正しつづける。
【００８７】
上記説明ではカウンタのｂｉｔ数は特に規定していない。上述の通り、仮想空間画像の生成に要する時間は、コンテンツＤＢ１０９に格納されているデータの量に依存する。従って、コンテンツＤＢ１０９に格納されたデータの量から、仮想空間画像の生成に要する最長時間を予測し、その最長時間に合わせたｂｉｔ数のカウンタを用いればよい。具体的には、表示領域一面に表示されるような仮想空間画像を生成するのに０．２５秒要するのであれば、係る時間は６０ｆｐｓの１５フレーム分に相当するため、マージンを持たせても６ｂｉｔのカウンタで構成すれば十分である。
【００８８】
また、上記説明では、三次元位置姿勢センサ１０５の検出周波数を画像フレームの２倍とした場合について説明したが、三次元位置姿勢センサ１０５の検出周波数は、画像フレームレートより低くても、更には４倍以上であっても良い。但し、三次元位置姿勢センサ１０５の検出周波数は画像フレームレートより高い方が合成画像の現実感が高まるため、三次元位置姿勢センサ１０５の検出周波数は高い方が良い。
【００８９】
［第３の実施形態］
第１の実施形態では、頭部装着型表示装置としてビデオシースルータイプのＨＭＤを用いた。本実施形態では、頭部装着型表示装置に光学シースルータイプのものを用いる。以下では、本実施形態が第１の実施形態と異なる点のみについて説明する。
【００９０】
図７は、光学シースルータイプの頭部装着型表示装置（ＯＨＭＤ）を側面から見た場合の内部構成例を示す図である。図７において、図４と同じ部分については同じ参照番号を付しており、これについての説明は省略する。
【００９１】
７０２はハーフミラーで、現実空間からの光束７０５と、表示部１０４からの光束４０６を合成し、合成画像の光束４０７としてＨＭＤ装着者２１０１の目４０８に結像する。
【００９２】
図２は、本実施形態に係るシステムの機能構成例を示すブロック図である。図２において、図１と同じ部分については同じ参照番号を付けており、その説明は省略する。本実施形態に係るシステムは、画像処理装置１０２と、ＯＨＭＤ７０１とで構成されている。画像処理装置１０２については第１の実施形態と同じであるので、ここではＯＨＭＤ７０１についてのみ説明する。
【００９３】
ＯＨＭＤ７０１は図２に示す如く、ハーフミラー７０２、Ｉ／Ｆ１０６、表示部７０３、三次元位置姿勢センサ１０５により構成されている。
【００９４】
表示部７０３は、Ｉ／Ｆ１０６を介して画像処理装置１０２から受けた仮想空間画像上に重畳されている生成完了予測時刻から、自身が計時している現在時刻を差し引いた結果（差分）を計算する。そして、計算した差分に対して１００％未満の割合を乗じた結果を差分情報として求める。そして、求めた差分情報をＩ／Ｆ１０６を介して画像処理装置１０２に対して送出する。また、表示部７０３は、係る仮想空間画像を自身が有する液晶画面に表示することで、この表示した画像をハーフミラー７０２に光束として照射する。
【００９５】
図１１は、画像処理装置１０２とＯＨＭＤ７０１のそれぞれが行う処理のフローチャートである。図１１において、図８と同じステップには同じステップ番号を付しており、その説明は省略する。また、画像処理装置１０２が行う処理については第１の実施形態と同じであるので、ここでは、ＯＨＭＤ７０１が行う処理のみについて説明する。
【００９６】
ステップＳ１１０１では、表示部７０３は、ステップＳ８８５で受信した仮想空間画像上に重畳されている生成完了予測時刻から、自身が計時している現在時刻を差し引いた差分を計算する。そして、計算した差分に対して１００％未満の割合を乗じた結果を差分情報として求める。例えば、計算した差分の半分の時間を差分情報として求める。ステップＳ８５７では、係る差分情報を画像処理装置１０２に対して送信することになる。
【００９７】
ステップＳ１１０２では、表示部７０３は、ステップＳ８５５で受信した仮想空間画像を自身が有する液晶画面に表示することで、この表示した画像をハーフミラー７０２に光束として照射する。
【００９８】
なお、本実施形態においても、第２の実施形態を適用することは可能である。即ち、画像フレームレートである６０Ｈｚの周波数でカウントされるカウント値を用いて、生成完了予測時刻と現在時刻とのずれを補正する方法も可能である。
【００９９】
［第４の実施形態］
第１、第２の実施形態では、時間に関する情報を画像に重畳する方法を用いて説明したが、時間に関する情報は画像とは分離して転送することも可能である。
【０１００】
また、上記第１、第２の実施形態では、ＨＭＤ装着者２１０１の視点の位置姿勢を検出するために三次元位置姿勢センサ１０５を用いている。しかし、視点の位置姿勢の測定は係る方法に限定するものではない。例えば、塗りつぶしパターンが全て異なる指標を現実空間上に適当な配分で配置し、係る指標を撮像部１０３を用いて撮像し、撮像した画像を用いて視点の位置姿勢を求めるという公知の技術を用いても良い。
【０１０１】
図１２は、指標を用いて、視点の位置姿勢を求める処理を説明するための図である。図１２に示す如く、ＨＭＤ装着者２１０１が属する現実空間に、予め座標及び向きが規定された指標２１０２〜２１０６を適当な配分で配置する。指標２１０２〜２１０６は塗りつぶしパターン（以下、指標パターン）が全て異なっており、指標パターンから個々の指標を特定することができる。そこで、ＶＨＭＤ１０１に内蔵された撮像部１０３を用いて係る現実空間を撮像することで得られる現実空間画像中の指標領域を解析することにより、ＨＭＤ装着者２１０１の視点の位置姿勢を求める。また、上記で説明した指標領域を解析してＨＭＤ装着者２１０１の視点の位置姿勢を求める方法、三次元位置姿勢センサ１０５を用いて視点の位置姿勢を求める方法を併用してＨＭＤ装着者２１０１の視点の位置姿勢を求めても良い。
【０１０２】
更に、上記第１、第２、第３の実施形態では、ＨＭＤ装着者２１０１の予測時間後の視点の位置姿勢に応じた仮想空間画像を生成し、生成した仮想空間画像を現実空間画像と合成することになる。そのため、上記予測が外れた場合、現実空間画像と仮想空間画像との間に空間的なずれが生じ、現実感が損なわれる場合もある。そのような場合には、現実空間画像と仮想空間画像との合成の際に、仮想空間画像の合成位置を水平、垂直方向にシフトすることにより、予測外れによる現実感の損失を補足することも可能である。
【０１０３】
［第５の実施形態］
画像処理装置１０２にはＰＣ等のコンピュータを適用しても良い。図３は、画像処理装置１０２に適用可能なコンピュータのハードウェア構成例を示すブロック図である。
【０１０４】
ＣＰＵ３０１は、ＲＡＭ３０２やＲＯＭ３０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、画像処理装置１０２が行うものとして上述した各処理を実行する。
【０１０５】
ＲＡＭ３０２は、外部記憶装置３０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ１０７を介してＶＨＭＤ１０１やＯＨＭＤ７０１から受信したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ３０２は、ＣＰＵ３０１が各種の処理を実行する際に用いるワークエリアも有する。即ち、ＲＡＭ３０２は、各種のエリアを適宜提供することができる。
【０１０６】
ＲＯＭ３０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。
【０１０７】
操作部３０４は、キーボードやマウスなどにより構成されており、本コンピュータの操作者が操作することで、各種の指示をＣＰＵ３０１に対して入力することができる。
【０１０８】
表示部３０５は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ３０１による処理結果を画像や文字などでもって表示することができる。
【０１０９】
外部記憶装置３０６は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置３０６には、ＯＳ（オペレーティングシステム）や画像処理装置１０２が行うものとして上述した各処理をＣＰＵ３０１に実行させるためのコンピュータプログラムやデータが保存されている。係るコンピュータプログラムには、視線位置予測部１０８、ＣＧ生成部１１０、のそれぞれの機能をＣＰＵ３０１に実現させるためのコンピュータプログラムが含まれている。また、外部記憶装置３０６には、コンテンツＤＢ１０９も登録されている。外部記憶装置３０６に保存されているコンピュータプログラムやデータは、ＣＰＵ３０１による制御に従って適宜ＲＡＭ３０２にロードされ、ＣＰＵ３０１による処理対象となる。
【０１１０】
３０８は上述の各部を繋ぐバスである。
【０１１１】
［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【０１１２】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１３】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１４】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【０１１５】
【図１】本発明の第１の実施形態に係るシステムの機能構成例を示すブロック図である。
【図２】本発明の第３の実施形態に係るシステムの機能構成例を示すブロック図である。
【図３】画像処理装置１０２に適用可能なコンピュータのハードウェア構成例を示すブロック図である。
【図４】ＶＨＭＤ１０１を側面から見た場合の内部構成例を示す図である。
【図５】本発明の第２の実施形態において、時間ズレを解消すべく、現実空間画像と合成する仮想空間画像を生成するための処理を説明するための図である。
【図６】視線位置予測部１０８の内部構成例を示すブロック図である。
【図７】光学シースルータイプの頭部装着型表示装置（ＯＨＭＤ）を側面から見た場合の内部構成例を示す図である。
【図８】画像処理装置１０２とＶＨＭＤ１０１とが行う処理のフローチャートである。
【図９】現実空間画像上に、この現実空間画像の撮像時刻情報を重畳させる方法を説明する為の図である。
【図１０】ＣＧ生成部１１０の内部構成例を示すブロック図である。
【図１１】画像処理装置１０２とＯＨＭＤ７０１のそれぞれが行う処理のフローチャートである。
【図１２】指標を用いて、視点の位置姿勢を求める処理を説明するための図である。
【図１３】コンテンツＤＢ１０９に登録されている情報について説明する図である。
【図１４】ＨＭＤ装着者２１０１がビデオシースルー型ＨＭＤ（以下、ＶＨＭＤ）１０１を装着した状態を示した図である。
【図１】
2010039556.tif 000003
【図２】
2010039556.tif 000004
【図３】
2010039556.tif 000005
【図４】
2010039556.tif 000006
【図５】
2010039556.tif 000007
【図６】
2010039556.tif 000008
【図７】
2010039556.tif 000009
【図８】
2010039556.tif 000010
【図９】
2010039556.tif 000011
【図１０】
2010039556.tif 000012
【図１１】
2010039556.tif 000013
【図１２】
2010039556.tif 000014
【図１３】
2010039556.tif 000015
【図１４】
2010039556.tif 000016