(57)【特許請求の範囲】
【請求項１】
現実空間を撮像する撮像部と、前記撮像部による撮像画像の画像処理装置への送信を含む前記画像処理装置との通信を行うための無線通信部と、及び前記画像処理装置で合成された前記撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部とを有する画像表示装置と、
前記画像表示装置の位置姿勢情報を生成する生成部と、前記位置姿勢情報に基づいて仮想画像を生成する仮想画像生成部と、前記撮像画像と前記仮想画像を合成する合成部と、及び前記合成部で合成した合成画像の前記画像表示装置への送信を含む前記画像表示装置との通信を行うための通信部とを有する画像処理装置と、
前記画像表示装置と前記画像処理装置との間で通信を行うための複数の無線アクセスポイントと
を備える画像表示システムであって、
前記画像処理装置は、
前記画像表示装置の位置に応じて、前記画像表示装置との通信に使用している第１無線アクセスポイントから第２無線アクセスポイントへの切替が必要であるか否かを判断する判断手段と、
前記判断手段の判断の結果、前記切替が必要な場合には切替指示を前記第１無線アクセスポイント及び前記第２無線アクセスポイントへ送信する切替指示手段とを備え、
前記画像表示装置は、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御手段と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記撮像部から取得し続けている前記撮像画像を前記表示部に表示する表示制御手段とを備える
ことを特徴とする画像表示システム。
【請求項２】
現実空間を撮像する撮像部と、前記撮像部による撮像画像の画像処理装置への送信を含む前記画像処理装置との通信を行うための無線通信部と、前記画像処理装置で合成された前記撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部と、及び前記表示部の表示画像にメッセージ画像を重畳表示する画像重畳表示部とを有する画像表示装置と、
前記画像表示装置の位置姿勢情報を生成する生成部と、前記位置姿勢情報に基づいて仮想画像を生成する仮想画像生成部と、前記撮像画像と前記仮想画像を合成する合成部と、前記合成部で合成した合成画像の前記画像表示装置への送信を含む前記画像表示装置との通信を行うための通信部とを有する画像処理装置と、
前記画像表示装置と前記画像処理装置との間で通信を行うための複数の無線アクセスポイントと
を備える画像表示システムであって、
前記画像処理装置は、
前記画像表示装置の位置に応じて、前記画像表示装置との通信に使用している第１無線アクセスポイントから第２無線アクセスポイントへの切替が必要であるか否かを判断する判断手段と、
前記判断手段の判断の結果、前記切替が必要な場合には切替指示を前記第１無線アクセスポイント及び前記第２無線アクセスポイントへ送信する切替指示手段とを備え、
前記画像表示装置は、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御手段と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記画像重畳表示部を用いて前記表示部での表示画像に前記メッセージ画像を重畳表示する表示制御手段とを備える
ことを特徴とする画像表示システム。
【請求項３】
現実空間を撮像する撮像部と、仮想画像を格納する格納部と、前記撮像部が撮像した撮像画像と前記格納部に格納されている仮想画像を合成する合成部と、前記合成部で合成した合成画像を表示する表示部と、及び画像処理装置からの仮想画像の受信を含む前記画像処理装置と通信を行うための無線通信部とを有する画像表示装置と、
前記画像表示装置の位置姿勢情報に基づいて仮想画像を生成する仮想画像生成部と、前記仮想画像の前記画像表示装置への送信を含む前記画像表示装置との通信を行うための通信部とを有する画像処理装置と、
前記画像表示装置と前記画像処理装置との間で通信を行うための複数の無線アクセスポイントと
を備える画像表示システムであって、
前記画像処理装置は、
前記画像表示装置の位置に応じて、前記画像表示装置との通信に使用している第１無線アクセスポイントから第２無線アクセスポイントへの切替が必要であるか否かを判断する判断手段と、
前記判断手段の判断の結果、前記切替が必要な場合には切替指示を前記第１無線アクセスポイント及び前記第２無線アクセスポイントへ送信する切替指示手段とを備え、
前記画像表示装置は、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御手段と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記切替の直前に前記画像処理装置から受信して前記格納部に格納された仮想画像と前記撮像画像とを用いて前記合成部が合成した合成画像を前記表示部に表示する表示制御手段とを備える
ことを特徴とする画像表示システム。
【請求項４】
前記画像表示装置は、
前記表示部の表示画像にメッセージ画像を重畳表示する画像重畳表示部を更に備え、
前記表示制御手段は、更に、前記画像重畳表示部を用いて前記表示部での表示画像に前記メッセージ画像を重畳表示する
ことを特徴とする請求項３に記載の画像表示システム。
【請求項５】
前記メッセージ画像の重畳表示の切替選択を指示するための入力部を前記画像表示装置あるいは前記画像処理装置に備える
ことを特徴とする請求項２又は４に記載の画像表示システム。
【請求項６】
前記合成部による合成時の前記画像表示装置の位置姿勢情報に基づいて、前記格納部に格納されている仮想画像の補正処理を実行する
ことを特徴とする請求項３に記載の画像表示システム。
【請求項７】
前記補正処理は、前記仮想画像の位置を平行移動する処理である
ことを特徴とする請求項６に記載の画像表示システム。
【請求項８】
前記補正処理は、前記仮想画像の拡大処理または縮小処理である
ことを特徴とする請求項６に記載の画像表示システム。
【請求項９】
前記画像表示装置は、
前記表示部の表示画像にメッセージ画像を重畳表示する画像重畳表示部を更に備え、
前記補正処理を実行できない場合、前記表示制御手段は、更に、前記画像重畳表示部を用いて前記表示部での表示画像に前記メッセージ画像を重畳表示する
ことを特徴とする請求項６に記載の画像表示システム。
【請求項１０】
前記合成部は、クロマキー処理による画像合成、または、αチャネルを使用した半透明画像合成を実行する
ことを特徴とする請求項３に記載の画像表示システム。
【請求項１１】
現実空間を撮像する撮像部と、画像処理装置で合成された前記撮像部が撮像した撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部とを備える画像表示装置であって、
複数の無線アクセスポイントのいずれかを介して、前記画像処理装置との通信を行うための無線通信手段と、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御手段と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記撮像部から取得し続けている前記撮像画像を前記表示部に表示する表示制御手段と
を備えることを特徴とする画像表示装置。
【請求項１２】
現実空間を撮像する撮像部と、画像処理装置で合成された前記撮像部が撮像した撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部と、前記表示部の表示画像にメッセージ画像を重畳表示する画像重畳表示部とを備える画像表示装置であって、
複数の無線アクセスポイントのいずれかを介して、前記画像処理装置との通信を行うための無線通信手段と、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御手段と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記画像重畳表示部を用いて前記表示部での表示画像に前記メッセージ画像を重畳表示する表示制御手段と
を備えることを特徴とする画像表示装置。
【請求項１３】
現実空間を撮像する撮像部と、仮想画像を格納する格納部と、前記撮像部が撮像した撮像画像と前記格納部に格納されている仮想画像を合成する合成部と、前記合成部で合成した合成画像を表示する表示部とを備える画像表示装置であって、
複数の無線アクセスポイントのいずれかを介して、画像処理装置との通信を行うための無線通信手段と、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御手段と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記切替の直前に前記画像処理装置から受信して前記格納部に格納された仮想画像と前記撮像画像とを用いて前記合成部が合成した合成画像を前記表示部に表示する表示制御手段と
を備えることを特徴とする画像表示装置。
【請求項１４】
現実空間を撮像する撮像部と、画像処理装置で合成された前記撮像部が撮像した撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部と、複数の無線アクセスポイントのいずれかを介して前記画像処理装置との通信を行うための無線通信部とを備える画像表示装置の制御方法であって、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御工程と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記撮像部から取得し続けている前記撮像画像を前記表示部に表示する表示制御工程と
を備えることを特徴とする画像表示装置の制御方法。
【請求項１５】
現実空間を撮像する撮像部と、画像処理装置で合成された前記撮像部が撮像した撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部と、前記表示部の表示画像にメッセージ画像を重畳表示する画像重畳表示部と、複数の無線アクセスポイントのいずれかを介して前記画像処理装置との通信を行うための無線通信部とを備える画像表示装置の制御方法であって、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御工程と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記画像重畳表示部を用いて前記表示部での表示画像に前記メッセージ画像を重畳表示する表示制御工程と
を備えることを特徴とする画像表示装置の制御方法。
【請求項１６】
現実空間を撮像する撮像部と、仮想画像を格納する格納部と、前記撮像部が撮像した撮像画像と前記格納部に格納されている仮想画像を合成する合成部と、前記合成部で合成した合成画像を表示する表示部と、複数の無線アクセスポイントのいずれかを介して画像処理装置との通信を行うための無線通信部とを備える画像表示装置の制御方法であって、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御工程と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記切替の直前に前記画像処理装置から受信して前記格納部に格納された仮想画像と前記撮像画像とを用いて前記合成部が合成した合成画像を前記表示部に表示する表示制御工程と
を備えることを特徴とする画像表示装置の制御方法。
【請求項１７】
現実空間を撮像する撮像部と、画像処理装置で合成された前記撮像部が撮像した撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部と、複数の無線アクセスポイントのいずれかを介して前記画像処理装置との通信を行うための無線通信部とを備える画像表示装置の制御をコンピュータに実行させるためのコンピュータプログラムであって、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御工程と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記撮像部から取得し続けている前記撮像画像を前記表示部に表示する表示制御工程と
をコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項１８】
現実空間を撮像する撮像部と、画像処理装置で合成された前記撮像部が撮像した撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部と、前記表示部の表示画像にメッセージ画像を重畳表示する画像重畳表示部と、複数の無線アクセスポイントのいずれかを介して前記画像処理装置との通信を行うための無線通信部とを備える画像表示装置の制御をコンピュータに実行させるためのコンピュータプログラムであって、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御工程と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記画像重畳表示部を用いて前記表示部での表示画像に前記メッセージ画像を重畳表示する表示制御工程と
をコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項１９】
現実空間を撮像する撮像部と、仮想画像を格納する格納部と、前記撮像部が撮像した撮像画像と前記格納部に格納されている仮想画像を合成する合成部と、前記合成部で合成した合成画像を表示する表示部と、複数の無線アクセスポイントのいずれかを介して画像処理装置との通信を行うための無線通信部とを備える画像表示装置の制御をコンピュータに実行させるためのコンピュータプログラムであって、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御工程と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記切替の直前に前記画像処理装置から受信して前記格納部に格納された仮想画像と前記撮像画像とを用いて前記合成部が合成した合成画像を前記表示部に表示する表示制御工程と
をコンピュータに実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置から受信する画像を、無線アクセスポイントを介して画像表示装置が受信して表示する画像表示システム、画像表示装置及びその制御方法、コンピュータプログラムに関するものである。
【背景技術】
【０００２】
近年、現実世界と仮想世界をリアルタイムかつシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の１つに、ビデオシースルー型ＨＭＤを利用して、ＨＭＤ使用者の瞳位置から観察される被写体と略一致する被写体を撮像装置で撮像し、その撮像画像にＣＧ画像を重畳表示した複合現実画像をＨＭＤ使用者が観察できる技術が知られている。
【０００３】
ここで、ＨＭＤは、Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙの略称である。また、ＣＧは、Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓの略称である。
【０００４】
図１０は、無線による画像伝送を行う一般的なビデオシースルー型複合現実システムの機能ブロック図である。この図を使用して、その動作の概要を説明する。
【０００５】
１００１は、画像表示装置であり、例えば、ビデオシースルー型ＨＭＤである。画像表示装置１００１は、撮像部１００４、三次元位置姿勢計測センサ１００５、無線通信Ｉ／Ｆ１００６及び表示部１００７を有する。
【０００６】
撮像部１００４は、ＨＭＤ使用者の視線位置と略一致する外界の観察画像を撮像する撮像部である。この撮像部１００４は、ステレオ画像を生成するための右目用及び左目用の二組の撮像素子と光学系及び後段の画像処理を行うためのＤＳＰ等による信号処理回路から構成される。
【０００７】
三次元位置姿勢計測センサ１００５は、ＣＧ画像の描画位置を算出するための計測対象物の三次元位置姿勢を計測する。例えば、三次元位置姿勢計測センサ１００５は、ＨＭＤ使用者（画像表示装置１００１）の三次元位置姿勢情報（以下、位置姿勢情報と略称する）を取得する。この三次元位置姿勢計測センサ１００５は、磁気センサやジャイロセンサ（加速度、角速度）で実現される。
【０００８】
無線通信Ｉ／Ｆ１００６は、無線アクセスポイント１００２ａや１００２ｂとのデータ送受信を行う。無線通信Ｉ／Ｆ１００６は、例えば、撮像部１００４による撮像画像と位置姿勢情報とをまとめて無線アクセスポイント１００２ａへ伝送し、一方で、合成されたＭＲ画像を受信する。この無線通信Ｉ／Ｆ１００６には、リアルタイム性が求められかつ大容量の伝送が可能なＵＷＢやＩＥＥＥ８０２．１１ｎ等の高速無線規格が使用される。
【０００９】
表示部１００７は、ＣＧ画像が重畳されたＭＲ画像を表示する。表示部１００７は、右目用及び左目用の二組の表示デバイスと光学系から構成される。表示デバイスは、小型の液晶ディスプレイやＭＥＭＳによる網膜スキャンタイプのデバイスが使用される。
【００１０】
１００２ａ及び１００２ｂは、画像表示装置１００１との間で情報伝送を無線通信によって行う無線アクセスポイント（ＡＰ）である。より具体的には、画像表示装置１００１との間で撮像画像と合成画像である表示画像及び三次元位置姿勢計測センサ１００５の出力情報の送受信を無線通信で行う。
【００１１】
１００３は、画像処理装置である。この画像処理装置１００３は、画像表示装置１００１から受信する撮像画像及び位置姿勢情報に基づいてＣＧ画像を描画し、撮像画像と合成処理を実行する。この画像処理装置１００３は、一般には、パーソナルコンピュータやワークステーション等の高性能な演算処理機能やグラフィック表示機能を有する装置によって実現される。
【００１２】
画像処理装置１００３は、通信Ｉ／Ｆ１００８、位置姿勢情報生成部１００９、ＣＧ描画部１０１０、コンテンツ記憶部１０１１及び画像合成部１０１２を有する。
【００１３】
通信Ｉ／Ｆ１００８は、画像処理装置１００３側の通信Ｉ／Ｆである。通信Ｉ／Ｆ１００８は、リアルタイム性が求められかつ大容量の伝送が可能な、ＵＳＢやＩＥＥＥ１３９４のメタル線、ＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の光ファイバが使用される。
【００１４】
位置姿勢情報生成部１００９は、受信した撮像画像及び位置姿勢情報から、画像表示装置１００１の装着者の位置姿勢情報を生成する。画像表示装置１００１の三次元位置姿勢計測センサ１００５からの情報の他、撮像画像からマーカーを抽出して補正情報として使用する形態もある。
【００１５】
ＣＧ描画部１０１０は、位置姿勢情報とコンテンツ記憶部１０１１から取得するコンテンツによりＣＧ画像を描画する。コンテンツ記憶部１０１１は、仮想空間における仮想画像を生成するためのコンテンツを記憶する。
【００１６】
画像合成部１０１２は、受信した撮像画像とＣＧ描画部１０１０で生成した仮想画像を合成する。ここで得られた合成画像であるＭＲ画像（複合画像）を通信Ｉ／Ｆ１００８を介して無線アクセスポイント１００２ａや１００２ｂへ送信する。その後、無線アクセスポイント１００２ａや１００２ｂは、無線通信によって画像表示装置１００１へＭＲ画像を送信する。これにより画像表示装置１００１の表示部１００７にＭＲ画像が表示される。
【００１７】
以上の構成及び処理により、ビデオシースルー型ＨＭＤを装着することで、現実世界と仮想世界とがリアルタイムかつシームレスに融合した複合現実世界を体験することができる。
【００１８】
一般的なＭＲ技術及びシステムの構成については、特許文献１や非特許文献１に開示されている。
【００１９】
ここで、マーカーを利用した位置姿勢情報の生成概念を、図１１を用いて説明する。
【００２０】
図１１において、マーカー１１０３は、あらかじめ撮像装置と位置関係が対応付けられているものとする。現実空間画像１１０１にマーカー１１０３が表示されている場合、位置姿勢計測部は、画像データ中からマーカー１１０３を検出する。そして、その検出したマーカー１１０３の大きさや形、塗りつぶしのパターン等の情報から、マーカー１１０３と撮像装置本体の相対的位置関係及びＨＭＤ使用者がマーカーを観察している方向に関する位置姿勢情報を算出することができる。
【００２１】
図１１中では、例として、マーカー１１０３の中心部を原点とする三次元座標系を想定しているが、座標系の原点はマーカー１１０３上に設定する必要はない。座標系の原点とマーカー１１０３との相対的位置関係を対応付けることにより、任意の位置に設定することができる。また、位置姿勢情報生成に用いるマーカー１１０３は単独ではなく、複数のマーカーを同時に用いることも可能である。複数のマーカーを同時に用いる場合、各マーカーの位置関係をあらかじめ定義しておくことによって、それらの相対的位置関係から、マーカーを観察している方向を算出することが可能となる。
【００２２】
従って、図１１に示すような内部の塗りつぶしパターンによって方向まで識別が可能なマーカー１１０３ではなく、例えば、カラーマーカーや、ＬＥＤ等の発光素子のような方向性の情報を持たない一次元の情報を持つマーカーを利用することも可能である。また、マーカー１１０３ではなく、テーブルの輪郭線１１０４のような画像中の特徴点や、画像中の特定の色等を抽出し、それらを用いて位置姿勢情報を算出することも可能である。同一種類のマーカーを複数用いたり、数種類のマーカーを同時に用いたり、マーカー情報と画像中の特徴点の情報を組み合わせて用いることによって、より高い精度の位置情報を生成できる。さらには、複数のマーカーや特徴点の位置関係が対応付けられているため、すべてのマーカーや特徴点が画像内に表示されていなくても、それぞれのマーカーや特徴点の位置を推定することも可能である。
【００２３】
尚、マーカー利用によるＭＲ技術の実現は、非特許文献１において公開されている。
【００２４】
図１０に示すシステムでは、ＨＭＤ使用者が広域を移動する場合、複数存在する無線アクセスポイントの切替が必要となる。無線アクセスポイントの切替（ハンドオーバー）方法には、移動体自体が複数のアンテナを持ち、エリアの切替の前に、切替先の基地局とリンクを確立してから以前のリンクを切断し、常にどこかの基地局とは無線通信の可能な状況にしておく構成がある。この構成の一例としては、特許文献２がある。
【００２５】
特許文献２では、エリアの切替を、現在リンク状態の基地局と、これからリンクを確立する基地局との通信範囲が重なり合う範囲で行う構成が開示されている。
【００２６】
また、何らかの原因により無線による画像伝送が途切れたときに、伝送されてこない映像を補間する手法が、特許文献３に開示されている。
【００２７】
特許文献３では、赤外線を使用したワイヤレス伝送において、何らかの原因により赤外線が遮断されたとき、予め用意された静止画の映像信号に切り替えて表示する構成が開示されている。
【特許文献１】特開平１１−８８９１３号公報（図７、段落［００３５］）
【特許文献２】特開平１０−１６４６４号公報（図１）
【特許文献３】特開平５−７６０７８号公報
【非特許文献１】Ｋａｔｏ，  Ｈ．，  Ｂｉｌｌｉｎｇｈｕｒｓｔ，  Ｍ．（１９９９）  Ｍａｒｋｅｒ  Ｔｒａｃｋｉｎｇ  ａｎｄ  ＨＭＤ  Ｃａｌｉｂｒａｔｉｏｎ  ｆｏｒ  ａ  ｖｉｄｅｏ−ｂａｓｅｄ  Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ  Ｃｏｎｆｅｒｅｎｃｉｎｇ  Ｓｙｓｔｅｍ．  Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ２ｎｄ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ（ＩＷＡＲ  ９９）．  Ｏｃｔｏｂｅｒ，  ＳａｎＦｒａｎｃｉｓｃｏ，  ＵＳＡ
【発明の開示】
【発明が解決しようとする課題】
【００２８】
しかしながら、上述の従来技術においては、以下のような問題があった。
【００２９】
無線通信機能を備えたＨＭＤが広域を移動する場合、ハンドオーバーに要する時間はＨＭＤ使用者によって無視し得ない時間である。そのため、ハンドオーバーが完了するリンクが切断されてから次のリンクが確立されるまでの間、また新たなリンクが確立されてから表示用の画像を受信するまでの間は画像が途切れることになる。
【００３０】
複数のアンテナの切替によって常に少なくとも一つのリンクを確立する構成は、移動体側でアンテナや通信のための回路を複数の備える必要があり、装置構成や回路規模の増大を招く。また、同時に複数のリンク状態となるため、通信のための帯域の割当が必要となり、空間全体で使用できる帯域を圧迫することになる。これは同じ無線アクセスポイントを使用するＨＭＤの台数が制限されることになる。さらには、途切れることを前提に特定の静止画像を表示する場合には、ＨＭＤ使用者の視界を妨げることとなり、移動を前提としたシステムとしては安全面で課題が残る。
【００３１】
本発明は上記の課題を解決するためになされたものである。その目的は、無線アクセスポイントの切替が生じる場合でも、観察者に違和感を与えることなく複合現実感環境を提供することができる画像表示システム、画像表示装置及びその制御方法、コンピュータプログラムを提供することにある。
【課題を解決するための手段】
【００３２】
上記の目的を達成するための本発明による画像表示システムは以下の構成を備える。即ち、
現実空間を撮像する撮像部と、前記撮像部による撮像画像の画像処理装置への送信を含む前記画像処理装置との通信を行うための無線通信部と、及び前記画像処理装置で合成された前記撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部とを有する画像表示装置と、
前記画像表示装置の位置姿勢情報を生成する生成部と、前記位置姿勢情報に基づいて仮想画像を生成する仮想画像生成部と、前記撮像画像と前記仮想画像を合成する合成部と、及び前記合成部で合成した合成画像の前記画像表示装置への送信を含む前記画像表示装置との通信を行うための通信部とを有する画像処理装置と、
前記画像表示装置と前記画像処理装置との間で通信を行うための複数の無線アクセスポイントと
を備える画像表示システムであって、
前記画像処理装置は、
前記画像表示装置の位置に応じて、前記画像表示装置との通信に使用している第１無線アクセスポイントから第２無線アクセスポイントへの切替が必要であるか否かを判断する判断手段と、
前記判断手段の判断の結果、前記切替が必要な場合には切替指示を前記第１無線アクセスポイント及び前記第２無線アクセスポイントへ送信する切替指示手段とを備え、
前記画像表示装置は、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御手段と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記撮像部から取得し続けている前記撮像画像を前記表示部に表示する表示制御手段とを備える。
【００３３】
上記の目的を達成するための本発明による画像表示システムは以下の構成を備える。即ち、
現実空間を撮像する撮像部と、前記撮像部による撮像画像の画像処理装置への送信を含む前記画像処理装置との通信を行うための無線通信部と、前記画像処理装置で合成された前記撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部と、及び前記表示部の表示画像にメッセージ画像を重畳表示する画像重畳表示部とを有する画像表示装置と、
前記画像表示装置の位置姿勢情報を生成する生成部と、前記位置姿勢情報に基づいて仮想画像を生成する仮想画像生成部と、前記撮像画像と前記仮想画像を合成する合成部と、前記合成部で合成した合成画像の前記画像表示装置への送信を含む前記画像表示装置との通信を行うための通信部とを有する画像処理装置と、
前記画像表示装置と前記画像処理装置との間で通信を行うための複数の無線アクセスポイントと
を備える画像表示システムであって、
前記画像処理装置は、
前記画像表示装置の位置に応じて、前記画像表示装置との通信に使用している第１無線アクセスポイントから第２無線アクセスポイントへの切替が必要であるか否かを判断する判断手段と、
前記判断手段の判断の結果、前記切替が必要な場合には切替指示を前記第１無線アクセスポイント及び前記第２無線アクセスポイントへ送信する切替指示手段とを備え、
前記画像表示装置は、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御手段と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記画像重畳表示部を用いて前記表示部での表示画像に前記メッセージ画像を重畳表示する表示制御手段とを備える。
【００３４】
上記の目的を達成するための本発明による画像表示システムは以下の構成を備える。即ち、
現実空間を撮像する撮像部と、仮想画像を格納する格納部と、前記撮像部が撮像した撮像画像と前記格納部に格納されている仮想画像を合成する合成部と、前記合成部で合成した合成画像を表示する表示部と、及び画像処理装置からの仮想画像の受信を含む前記画像処理装置と通信を行うための無線通信部とを有する画像表示装置と、
前記画像表示装置の位置姿勢情報に基づいて仮想画像を生成する仮想画像生成部と、前記仮想画像の前記画像表示装置への送信を含む前記画像表示装置との通信を行うための通信部とを有する画像処理装置と、
前記画像表示装置と前記画像処理装置との間で通信を行うための複数の無線アクセスポイントと
を備える画像表示システムであって、
前記画像処理装置は、
前記画像表示装置の位置に応じて、前記画像表示装置との通信に使用している第１無線アクセスポイントから第２無線アクセスポイントへの切替が必要であるか否かを判断する判断手段と、
前記判断手段の判断の結果、前記切替が必要な場合には切替指示を前記第１無線アクセスポイント及び前記第２無線アクセスポイントへ送信する切替指示手段とを備え、
前記画像表示装置は、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御手段と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記切替の直前に前記画像処理装置から受信して前記格納部に格納された仮想画像と前記撮像画像とを用いて前記合成部が合成した合成画像を前記表示部に表示する表示制御手段とを備える。
【００３５】
また、好ましくは、前記画像表示装置は、
前記表示部の表示画像にメッセージ画像を重畳表示する画像重畳表示部を更に備え、
前記表示制御手段は、更に、前記画像重畳表示部を用いて前記表示部での表示画像に前記メッセージ画像を重畳表示する。
【００３６】
また、好ましくは、前記メッセージ画像の重畳表示の切替選択を指示するための入力部を前記画像表示装置あるいは前記画像処理装置に備える。
【００３７】
また、好ましくは、前記合成部による合成時の前記画像表示装置の位置姿勢情報に基づいて、前記格納部に格納されている仮想画像の補正処理を実行する。
【００３８】
また、好ましくは、前記補正処理は、前記仮想画像の位置を平行移動する処理である。
【００３９】
また、好ましくは、前記補正処理は、前記仮想画像の拡大処理または縮小処理である。
【００４０】
また、好ましくは、前記画像表示装置は、
前記表示部の表示画像にメッセージ画像を重畳表示する画像重畳表示部を更に備え、
前記補正処理を実行できない場合、前記表示制御手段は、更に、前記画像重畳表示部を用いて前記表示部での表示画像に前記メッセージ画像を重畳表示する。
【００４１】
また、好ましくは、前記合成部は、クロマキー処理による画像合成、または、αチャネルを使用した半透明画像合成を実行する。
【００４２】
上記の目的を達成するための本発明による画像表示装置は以下の構成を備える。即ち、
現実空間を撮像する撮像部と、画像処理装置で合成された前記撮像部が撮像した撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部とを備える画像表示装置であって、
複数の無線アクセスポイントのいずれかを介して、前記画像処理装置との通信を行うための無線通信手段と、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御手段と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記撮像部から取得し続けている前記撮像画像を前記表示部に表示する表示制御手段と
を備える。
【００４３】
上記の目的を達成するための本発明による画像表示装置は以下の構成を備える。即ち、
現実空間を撮像する撮像部と、画像処理装置で合成された前記撮像部が撮像した撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部と、前記表示部の表示画像にメッセージ画像を重畳表示する画像重畳表示部とを備える画像表示装置であって、
複数の無線アクセスポイントのいずれかを介して、前記画像処理装置との通信を行うための無線通信手段と、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御手段と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記画像重畳表示部を用いて前記表示部での表示画像に前記メッセージ画像を重畳表示する表示制御手段と
を備える。
【００４４】
上記の目的を達成するための本発明による画像表示装置は以下の構成を備える。即ち、
現実空間を撮像する撮像部と、仮想画像を格納する格納部と、前記撮像部が撮像した撮像画像と前記格納部に格納されている仮想画像を合成する合成部と、前記合成部で合成した合成画像を表示する表示部とを備える画像表示装置であって、
複数の無線アクセスポイントのいずれかを介して、画像処理装置との通信を行うための無線通信手段と、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御手段と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記切替の直前に前記画像処理装置から受信して前記格納部に格納された仮想画像と前記撮像画像とを用いて前記合成部が合成した合成画像を前記表示部に表示する表示制御手段と
を備える。
【００４５】
上記の目的を達成するための本発明による画像表示装置の制御方法は以下の構成を備える。即ち、
現実空間を撮像する撮像部と、画像処理装置で合成された前記撮像部が撮像した撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部と、複数の無線アクセスポイントのいずれかを介して前記画像処理装置との通信を行うための無線通信部とを備える画像表示装置の制御方法であって、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御工程と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記撮像部から取得し続けている前記撮像画像を前記表示部に表示する表示制御工程と
を備える。
【００４６】
上記の目的を達成するための本発明による画像表示装置の制御方法は以下の構成を備える。即ち、
現実空間を撮像する撮像部と、画像処理装置で合成された前記撮像部が撮像した撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部と、前記表示部の表示画像にメッセージ画像を重畳表示する画像重畳表示部と、複数の無線アクセスポイントのいずれかを介して前記画像処理装置との通信を行うための無線通信部とを備える画像表示装置の制御方法であって、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御工程と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記画像重畳表示部を用いて前記表示部での表示画像に前記メッセージ画像を重畳表示する表示制御工程と
を備える。
【００４７】
上記の目的を達成するための本発明による画像表示装置の制御方法は以下の構成を備える。即ち、
現実空間を撮像する撮像部と、仮想画像を格納する格納部と、前記撮像部が撮像した撮像画像と前記格納部に格納されている仮想画像を合成する合成部と、前記合成部で合成した合成画像を表示する表示部と、複数の無線アクセスポイントのいずれかを介して画像処理装置との通信を行うための無線通信部とを備える画像表示装置の制御方法であって、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御工程と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記切替の直前に前記画像処理装置から受信して前記格納部に格納された仮想画像と前記撮像画像とを用いて前記合成部が合成した合成画像を前記表示部に表示する表示制御工程と
を備える。
【００４８】
上記の目的を達成するための本発明によるコンピュータプログラムは以下の構成を備える。即ち、
現実空間を撮像する撮像部と、画像処理装置で合成された前記撮像部が撮像した撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部と、複数の無線アクセスポイントのいずれかを介して前記画像処理装置との通信を行うための無線通信部とを備える画像表示装置の制御をコンピュータに実行させるためのコンピュータプログラムであって、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御工程と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記撮像部から取得し続けている前記撮像画像を前記表示部に表示する表示制御工程と
をコンピュータに実行させる。
【００４９】
上記の目的を達成するための本発明によるコンピュータプログラムは以下の構成を備える。即ち、
現実空間を撮像する撮像部と、画像処理装置で合成された前記撮像部が撮像した撮像画像と仮想画像との合成画像を前記画像処理装置から受信して表示する表示部と、前記表示部の表示画像にメッセージ画像を重畳表示する画像重畳表示部と、複数の無線アクセスポイントのいずれかを介して前記画像処理装置との通信を行うための無線通信部とを備える画像表示装置の制御をコンピュータに実行させるためのコンピュータプログラムであって、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御工程と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記画像重畳表示部を用いて前記表示部での表示画像に前記メッセージ画像を重畳表示する表示制御工程と
をコンピュータに実行させる。
【００５０】
上記の目的を達成するための本発明によるコンピュータプログラムは以下の構成を備える。即ち、
現実空間を撮像する撮像部と、仮想画像を格納する格納部と、前記撮像部が撮像した撮像画像と前記格納部に格納されている仮想画像を合成する合成部と、前記合成部で合成した合成画像を表示する表示部と、複数の無線アクセスポイントのいずれかを介して画像処理装置との通信を行うための無線通信部とを備える画像表示装置の制御をコンピュータに実行させるためのコンピュータプログラムであって、
前記画像処理装置との通信に使用している第１無線アクセスポイントから通信の切替指示を受信した場合、前記第１無線アクセスポイントとの通信を切断するとともに、前記切替指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、前記第２無線アクセスポイントへ送信する通信制御工程と、
通信先の切替として、前記第１無線アクセスポイントから前記第２無線アクセスポイントへの切替が終了するまでの間、前記切替の直前に前記画像処理装置から受信して前記格納部に格納された仮想画像と前記撮像画像とを用いて前記合成部が合成した合成画像を前記表示部に表示する表示制御工程と
をコンピュータに実行させる。
【発明の効果】
【００５１】
本発明によれば、無線アクセスポイントの切替が生じる場合でも、観察者に違和感を与えることなく複合現実感環境を提供することができる画像表示システム、画像表示装置及びその制御方法、コンピュータプログラムを提供できる。
【発明を実施するための最良の形態】
【００５２】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【００５３】
（実施形態１）
図１は本発明の実施形態１の画像表示システムの機能ブロック図である。
【００５４】
１０１は、画像表示装置であり、例えば、ビデオシースルー型のＨＭＤを想定している。画像表示装置１０１は、撮像部１０４、三次元位置姿勢計測センサ１０５、無線通信Ｉ／Ｆ（無線通信部）１０６、表示制御部１０７、フレームバッファ（格納部）１０８及び表示部１０９を有する。
【００５５】
ここで、撮像部１０４、三次元位置姿勢計測センサ１０５、無線通信Ｉ／Ｆ１０６、及び表示部１０９はそれぞれ、図１０の撮像部１００４、三次元位置姿勢計測センサ１００５、無線通信Ｉ／Ｆ１００６及び表示部１００７に対応する。また、無線ＡＰ１０２ａ及び１０２ｂ（第１無線アクセスポイント及び第２無線アクセスポイント）はそれぞれ、図１０の無線ＡＰ１００２ａ及び１００２ｂに対応する。従って、図１の説明は、図１０の構成との相違点について説明する。
【００５６】
三次元位置姿勢計測センサ１０５は、ＨＭＤ使用者の頭部の動きや位置姿勢を把握するための情報を出力する。ここでは、画像表示装置１０１内部に組み込まれる構成を想定しているが、撮像画像中のマーカーから位置姿勢が把握できるアプリケーションの場合は、必須ではない。
【００５７】
無線通信Ｉ／Ｆ１０６は、撮像画像（現実空間画像）と位置姿勢情報を無線アクセスポイント（ＡＰ）１０２ａや１０２ｂへ送信し、また、無線ＡＰ１０２ａや１０２ｂを介して画像処理装置１０３で生成された合成画像を受信する。また、無線通信Ｉ／Ｆ１０６は、無線アクセスポイントとの間で、次のような通信制御を行う。つまり、無線通信Ｉ／Ｆ１０６は、画像処理装置１０３との通信に使用している第１無線アクセスポイントから通信の切断指示を受信した場合、第１無線アクセスポイントとの通信を切断する。そして、無線通信Ｉ／Ｆ１０６は、その切断指示に含まれる新たな通信先となる第２無線アクセスポイントとの通信を確立するためのリンク要求を、第２無線アクセスポイントへ送信する。
【００５８】
ここで、無線通信Ｉ／Ｆ１０６は、リアルタイム性が求められ、かつ大容量の伝送が可能な通信規格を採用するのが望ましい。例えば、ＩＥＥＥ８０２．１１のワイヤレスＬＡＮ、ＩＥＥＥ８０２．１５のワイヤレスＰＡＮ規格に準拠した高速無線通信が使用される。ここでは、ＵＷＢ（Ｕｌｔｒａ  Ｗｉｄｅ  Ｂａｎｄ）を想定している。ＵＷＢの伝送レートは数百Ｍｂｐｓである。
【００５９】
表示制御部１０７は、無線ＡＰ切替処理であるハンドオーバー時の表示制御を行う。この処理の詳細に関しては、後述する。フレームバッファ１０８は、受信したＭＲ画像をフレーム単位で格納するメモリである。格納されたＭＲ画像の用いられ方についても後述する。
【００６０】
１０３は、画像処理装置である。この画像処理装置１０３は、画像表示装置１０１から受信する撮像画像及び位置姿勢情報に基づいてＣＧ画像を描画し、撮像画像との合成画像を生成するための合成処理を実行する。
【００６１】
画像処理装置１０３は、通信Ｉ／Ｆ（通信部）１１０、位置姿勢情報生成部１１１、ＣＧ描画部１１２、コンテンツ記憶部１１３、画像合成部１１４、切替判断・指示部１１５及び無線ＡＰ位置情報記憶部１１６を備える。
【００６２】
通信Ｉ／Ｆ１１０は、無線ＡＰ１０２ａや１０２ｂとのデータ通信を行う通信Ｉ／Ｆである。通信Ｉ／Ｆ１１０は、無線ＡＰ１０２ａや１０２ｂが受信した撮像画像と位置姿勢情報と、画像処理装置１０３で生成した合成画像の伝送に使用する。また、通信Ｉ／Ｆ１１０は、ＬＡＮ１１７を介さずに、無線ＡＰ１０２ａや１０２ｂと直接無線通信が可能な無線通信Ｉ／Ｆであっても良い。
【００６３】
位置姿勢情報生成部１１１は、受信した撮像画像から、ＨＭＤ使用者の位置姿勢情報を生成する。特に、位置姿勢情報生成部１１１は、撮像画像からマーカーやマーカーの代わりとなる特徴点を抽出して、位置姿勢情報を生成する。また、客観視点（不図示）による撮像画像や、画像表示装置１０１の三次元位置姿勢計測センサ１０５による情報を補足的に使用することで精度を上げ、撮像画像中に使用すべきマーカーや特徴点がない場合でも対応することが可能である。
【００６４】
ＣＧ描画部（仮想画像生成部）１１２は、位置姿勢情報とコンテンツ記憶部１１３から取得するコンテンツにより仮想画像であるＣＧ画像を描画する。コンテンツ記憶部１１３は、ＣＧ画像を生成するためのコンテンツを記憶する。画像合成部１１４は、画像表示装置１０１で撮像された撮像画像を背景に、ＣＧ描画部１１２で生成した仮想画像を合成する。
【００６５】
切替判断・指示部１１５は、複数の無線ＡＰ１０２ａ及び１０２ｂと画像表示装置１０１とのそれぞれの位置関係から各装置間の距離を算出する。切替判断・指示部１１５は、その算出結果に基づいて、無線ＡＰ１０２の通信エリアから外れ、他の無線ＡＰ１０２の通信エリアに切り替える必要があるか否かを判断する。判断の結果、切替の必要がある場合には、切替判断・指示部１１５は、無線ＡＰ１０２の切替指示を、現在リンク状況にある無線ＡＰ１０２と画像表示装置１０１と、及びこれからリンクを確立する無線ＡＰに対して送信する。
【００６６】
無線ＡＰ位置情報記憶部１１６は、無線ＡＰ１０２の位置情報を格納したデータテーブルである。設置位置の情報を格納する構成で更新が可能である。
【００６７】
１１７は、複数の無線ＡＰ１０２と画像処理装置１０３とを接続するＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）である。実施形態１では、無線ＡＰ１０２ａ及び１０２ｂが２台、画像処理装置１０３が１台接続される構成であるが、ＨＭＤ使用者の移動範囲によって、無線ＡＰ１０２がカバーできるエリア範囲によってその台数は変わる。同様に、一台の画像処理装置では処理負荷が大きい場合は、ＬＡＮ１１７に対して複数の画像処理装置を接続し、負荷分散を実現することができる。
【００６８】
実施形態１では、画像表示装置１０１内の各機能ブロックが一つの装置内に収まっている前提で説明を行っているが、機能を分離して二つ以上の装置構成とした場合でも同様の機能を実現することができる。
【００６９】
画像処理装置１０３は、撮像画像と、及び三次元位置姿勢計測センサ１０５の位置姿勢情報とを合わせて、無線通信Ｉ／Ｆ１０６を介して現在リンク中の無線ＡＰ１０２ａへ送信する。
【００７０】
無線ＡＰ１０２ａは、ＬＡＮ１１７を介して、受信した撮像及び位置姿勢情報を画像処理装置１０３へ送信する。
【００７１】
画像処理装置１０３では、受信した撮像画像及び位置姿勢情報を用いて画像表示装置１０１の位置姿勢を把握し、ＨＭＤ使用者の視線位置を決定する。得られた位置姿勢情報とＣＧ描画のためのコンテンツから所望のＣＧ画像を生成し、受信した撮像画像上に重畳する。得られた合成画像は、通信Ｉ／Ｆ１１０を介して無線ＡＰ１０２ａへ送信する。
【００７２】
その後、無線ＡＰ１０２ａは、受信した合成画像を無線通信によって画像表示装置１０１へ送信する。
【００７３】
画像表示装置１０１では、正常に合成画像が受信できた場合には表示部１０９を介してその合成画像をＨＭＤ使用者に表示する。以上が一般的な画像形成のプロセスである。
【００７４】
次に、切替時の動作について説明する。
【００７５】
ＨＭＤ使用者が無線エリア内を移動すると現在リンクを張っている無線ＡＰ１０２ａの通信エリアの範囲から外れる場合がある。通信エリアから外れるか否かの判断は、無線ＡＰの無線ＡＰ位置情報記憶部１１６に記憶している無線ＡＰ１０２の位置情報と、画像表示装置１０１の位置情報から算出される距離情報をもとに行われる。
【００７６】
現在リンク状態の無線ＡＰ１０２ａから無線ＡＰ１０２ｂへ切り替える必要があるか否かは、それぞれの無線ＡＰまでの距離によって行われるが、時間変化からの予測を加えても構わない。例えば、現在リンク中の無線ＡＰ１０２ａから離れ、他の無線ＡＰ１０２ｂとの距離が近づいていることが判断できれば、切替の指示をリンク中とこれからリンクを確立する双方の無線ＡＰ１０２に対して行う。画像表示装置１０１に対しても無線ＡＰ１０２ａを介してその指示を送信する。
【００７７】
指示を受信した画像表示装置１０１は、ハンドオーバー（切替が終了するまで）の間は合成画像の受信ができなくなるため、その間、リアルタイムに取得している撮像画像に切り替えて表示する。また、リンクが確立された後も、新たな合成画像の受信が行われるまでは、撮像画像の表示を続ける。その他の表示制御を含めて、詳細については後述する。
【００７８】
以上の構成及び処理のプロセスにより、ハンドオーバーの間、合成画像の送信が途切れても、ＨＭＤ使用者の視界を確保し、かつ複合現実感を損なわない画像の表示が可能となる。
【００７９】
次に、画像表示装置１０１、無線ＡＰ１０２ａ及び１０２ｂ、及び画像処理装置１０３の各装置間のデータフロー及び処理内容について、図２を用いて説明する。
【００８０】
図２は本発明の実施形態１の各装置間のデータフロー及び処理内容を示したシーケンス図である。
【００８１】
図２では、特に、現在、無線ＡＰ１０２ａ（以下、ＡＰ１）と無線通信している状態から、ＨＭＤ使用者の移動により無線ＡＰ１０２ｂ（以下、ＡＰ２）へリンク先を切り替える際の処理の流れを示している。
【００８２】
ステップＳ２０１で、画像表示装置１０１からリンク状態であるＡＰ１に対して取得した撮像画像と三次元位置姿勢計測センサのセンサ情報を送信する。尚、画像表示装置１０１では、周期的に撮像画像及びセンサ情報を取得するため、他の装置の処理とは非同期にこれらのデータをＡＰ１に対して送信する（ステップＳ２０１ａからステップＳ２０１ｄ）。
【００８３】
ステップＳ２０２で、ＡＰ１は、受信した撮像画像とセンサ情報を画像処理装置１０３に送信する。
【００８４】
ステップＳ２０３で、画像処理装置１０３は、受信した撮像画像中の特徴点を抽出して位置姿勢情報を生成する。ここでの生成方法は、センサ情報をもとに位置姿勢を算出する構成でも、センサ情報を補助的に使用する構成でも構わない。ステップＳ２０４で、画像処理装置１０３は、生成した位置姿勢情報をもとに仮想画像であるＣＧ画像を生成する。ステップＳ２０５で、画像処理装置１０３は、受信した撮像画像上に生成したＣＧ画像を重畳して合成し、得られる合成画像である複合現実画像（ＭＲ画像）を生成する。ステップＳ２０６で、画像処理装置１０３は、生成した合成画像をＡＰ１に送信する。
【００８５】
ステップＳ２０７で、ＡＰ１は、受信した合成画像を画像表示装置１０１に送信する。これにより、画像表示装置１０１は、受信した合成画像を表示する。
【００８６】
ステップＳ２０８で、画像処理装置１０３は、画像表示装置１０１の位置とＡＰ１及びＡＰ２との位置から各装置間の距離を算出し、ＡＰの切替が必要であるか否かを判断する。この例では、ＨＭＤ使用者がＡＰ１とＡＰ２のエリア範囲に存在し、かつ現在リンク状態にあるＡＰ１のエリアを外れ、ＡＰ２のエリアに入ることが予想されると判断しているものとする。この場合、画像処理装置１０３は、ＡＰ１からＡＰ２への切替判断を行う。
【００８７】
ステップＳ２０９で、画像処理装置１０３は、ＡＰ切替の判断結果に従い、現在リンク中であるＡＰ１に対してリンクの切替指示（切断）を送信する。送信する情報としては、切断の指示と次の切替先である無線ＡＰの物理的なＩＤや使用しているチャネル情報等が含まれる。ここで、使用しているチャネル番号は必須ではないが、予め把握しておくことでリンク確立までの時間を短縮することが可能である。
【００８８】
ステップＳ２１０で、ＡＰ１は、画像処理装置１０３からの切替指示を画像表示装置１０１に送信する。画像表示装置１０１では、先に送信した撮像画像（ステップＳ２０１ｂ以降）に対応する合成画像の受信までは合成画像の表示を続ける。尚、画像表示装置１０１側での表示制御処理の内容については、別のフローチャートを使用して後述する。
【００８９】
ステップＳ２１１で、画像処理装置１０３は、次にリンクを確立するＡＰ２に対して、切替指示（リンク）を送信する。実際には、この指示を受けてリンクの確立を行うわけではないが、通信先である画像表示装置１０１の物理ＩＤ等を送信し把握させておくことで、リンク確立までの時間を短縮することが可能である。
【００９０】
ステップＳ２０６ｄで、画像処理装置１０３は、ＡＰ１を介して画像表示装置１０１から受信した最後の撮像画像に対応する合成画像をＡＰ１に送信する。
【００９１】
ステップＳ２０７ｄで、ＡＰ１は、受信した合成画像を画像表示装置１０１に送信する。
【００９２】
ステップＳ２１２で、画像表示装置１０１は、ＡＰ１とのリンクを切断し、新たにリンクを確立するＡＰ２に対してリンク要求を送信する。
【００９３】
ステップＳ２１３で、ＡＰ２は、画像表示装置１０１からのリンク要求を受けて、リンクを確立し、その旨を画像表示装置１０１に送信する。
【００９４】
ステップＳ２１４で、ステップＳ２０７ｄでＡＰ１を介して受信した最後の合成画像の表示の更新前に、表示制御を行い、ハンドオーバーが終了し、新たにリンクを確立したＡＰ２からの合成画像を受信までの間、表示する画像を切り替える。この表示制御の詳細は後述する。
【００９５】
ステップＳ２１５で、画像表示装置１０１は、取得した撮像画像とセンサ情報をＡＰ２に送信する。
【００９６】
ステップＳ２１６で、ＡＰ２は、受信した撮像画像とセンサ情報を画像処理装置１０３に送信する。
【００９７】
ステップＳ２１７で、画像処理装置１０３は、受信した撮像画像中の特徴点を抽出して位置姿勢情報を生成する。この内容は、ステップＳ２０３と同様である。ステップＳ２１８で、画像処理装置１０３は、生成した位置姿勢情報をもとに仮想画像であるＣＧ画像を生成する。この内容は、ステップＳ２０４と同様である。ステップＳ２１９で、画像処理装置１０３は、受信した撮像画像上に生成したＣＧ画像を重畳して合成し、得られる合成画像である複合現実画像（ＭＲ画像）を生成する。この内容は、ステップＳ２０５と同様ある。ステップＳ２２０で、画像処理装置１０３は、生成した合成画像をＡＰ２に送信する。
【００９８】
ステップＳ２２１で、ＡＰ２は、受信した合成画像を画像表示装置１０１に送信する。
【００９９】
ステップＳ２２２で、画像表示装置１０１は、表示すべき合成画像が得られたことを受けて、表示画像の切替制御を終了し、受信した合成画像を表示する。
【０１００】
以上が、無線ＡＰ切替時の主なシーケンスである。
【０１０１】
次に、図２のステップ２１４における、画像表示装置１０１による表示画像切替処理について、図３を用いて説明する。
【０１０２】
図３は本発明の実施形態１の画像表示装置における表示画像切替処理を示すフローチャートである。
【０１０３】
ステップＳ３０１で、画像表示装置１０１は、無線ＡＰを介して、画像処理装置１０３からの切替指示を受信したか否かを判断する。切替指示を受信した場合（ステップＳ３０１でＹＥＳ）、ステップＳ３０２へ進む。一方、切替指示を受信していない場合（ステップＳ３０１でＮＯ）、ステップＳ３１４へ進む。尚、この切替指示には、次に接続する無線ＡＰを示す接続先情報を含んでいる。
【０１０４】
ステップＳ３０２で、画像表示装置１０１は、切替指示を受信するまでの間、既に送信した撮像画像に対応する合成画像をすべて受信したか否かを判断する。すべての合成画像を受信した場合（ステップＳ３０２でＹＥＳ）、ステップＳ３０３へ進む。一方、受信していない合成画像がある場合（ステップＳ３０２でＮＯ）、すべての合成画像を受信するまで待機する。
【０１０５】
ステップＳ３０３で、画像表示装置１０１は、すべての合成画像の受信を終了したことを受けて、切替制御を開始する。具体的には、現在リンク中の無線ＡＰとのリンクを切断し、新たにリンクを確立する無線ＡＰとのネゴシエーションを開始する。
【０１０６】
ステップＳ３０４で、画像表示装置１０１は、リンク切断の直前に取得した合成画像を、新たなリンク確立とその後の表示用画像（合成画像）の受信まで表示するか否かを判断する。
【０１０７】
尚、この判断は、例えば、合成画像にＣＧ画像が含まれているか否か、リンク切断時にＨＭＤ使用者が大きく（所定距離以上）移動しているかによって行う。合成画像にＣＧ画像が含まれていない場合は、撮像画像をそのまま表示した方が望ましいため、合成画像の表示を選択しない。また、移動中の場合は、ＨＭＤ使用者に表示されるべき現実世界と合成画像とが大きくかけ離れたものになる可能性があるため、同様に合成画像の表示は選択しない。
【０１０８】
このような判断の下、合成画像を表示する場合（ステップＳ３０４でＹＥＳ）、ステップＳ３０５へ進む。一方、合成画像を表示しないで撮像画像をそのまま表示する場合（ステップＳ３０４でＮＯ）、ステップＳ３０６へ進む。尚、表示する画像の選択は、表示画像の更新タイミング御値に合成画像を表示するか否かを判断しても、ハンドオーバー開始の最初に判断してから表示切替が終了するまで維持し続けても、どちらでも構わない。
【０１０９】
ステップＳ３０５で、画像表示装置１０１は、リンク切断の直前に取得しているフレームバッファ１０８に格納されている合成画像の読出を行う。
【０１１０】
ステップＳ３０６で、画像表示装置１０１は、撮像画像を取得する。その後、ステップＳ３１０で、画像表示装置１０１は、撮像画像を表示部１０９に表示する。
【０１１１】
ステップＳ３０７で、画像表示装置１０１は、現在の位置姿勢情報を算出する。具体的には、ＨＭＤ使用者の頭部の位置姿勢情報を三次元位置姿勢計測センサの出力情報から算出する。
【０１１２】
ステップＳ３０８で、画像表示装置１０１は、合成画像に補正処理を実施するか否かを判断する。この合成画像の補正処理は、ＨＭＤ使用者の位置姿勢の変化に伴い行うものである。補正処理を実施する場合（ステップＳ３０８でＹＥＳ）、ステップＳ３０９へ進む。一方、補正処理を実施しない場合（ステップＳ３０８でＮＯ）、ステップＳ３１０へ進む。
【０１１３】
ステップＳ３０９で、画像表示装置１０１は、左右上下への移動時には合成画像をそれぞれ所望の方向へ移動した画像を生成する補正処理を実行する。前後への移動の場合には、合成画像の解像度変換を行う。移動方向が複数に渡り行われる場合には、それらの組み合わせによって補正処理を実行する。
【０１１４】
ステップＳ３１０で、画像表示装置１０１は、補正処理された合成画像、補正処理されてない合成画像及び撮像画像の何れかを、新たな無線ＡＰとのリンクが確立され合成画像を受信するまでの間、更新しながら表示部１０９に表示する。
【０１１５】
ステップＳ３１１で、画像表示装置１０１は、新たなリンクが確立したか否かを判断する。リンクが確立し、撮像画像の伝送が開始となっている場合（ステップＳ３１１でＹＥＳ）、ステップＳ３１２へ進む。一方、リンクがまだ確立しておらず、ハンドオーバー中の場合（ステップＳ３１１でＮＯ）、ステップＳ３０４へ戻る。
【０１１６】
ステップＳ３１２で、画像表示装置１０１は、ハンドオーバーが終了して、新たにリンクを確立した無線ＡＰに対して送信した撮像画像に対応する合成画像を受信したか否かを判断する。これは撮像画像の取得・送信から合成画像の生成を経て受信するまで時間差が存在するためである。新たにリンクを確立した無線ＡＰより合成画像を受信している場合（ステップＳ３１２でＹＥＳ）、ステップＳ３１３へ進む。一方、受信していない場合（ステップＳ３１２でＮＯ）、ステップＳ３０４へ戻る。
【０１１７】
ステップＳ３１３で、画像表示装置１０１の表示制御部１０７は、表示すべき合成画像の受信を受けて、表示画像の切替を行う。具体的には、それまで表示していた補正処理された合成画像、補正処理されていない合成画像及び撮像画像の何れかの表示制御を終了する。
【０１１８】
ステップＳ３１４で、画像表示装置１０１は、受信した合成画像を表示部１０９に表示する。表示後は再度無線ＡＰの切替が発生するまでの間は、受信し続けている合成画像を表示部１０９に表示する。
【０１１９】
以上説明したように、実施形態１によれば、無線ＡＰの切替時に、リアルタイムに撮像している撮像画像を表示することで、次の無線ＡＰとのリンクが確立されまでのハンドオーバーの間、ＨＭＤ使用者の視界を確保することができる。また、リンク切断前の合成画像をＨＭＤの位置姿勢に合わせて補正して表示することで、複合現実感を失うことなく表示を続けることができる。
【０１２０】
（実施形態２）
実施形態１では、次の無線ＡＰとのリンクが確立し、合成画像を受信するまでの間、リアルタイムに取得し続けている撮像画像を表示画像として表示制御する構成を説明した。これに対し、実施形態２では、同様の表示制御を行いつつ、ＨＭＤ使用者に対して注意を促すメッセージを重畳して提示する構成について説明する。
【０１２１】
まず、実施形態２における画像表示装置の機能構成について説明する。
【０１２２】
図４は本発明の実施形態２の画像表示装置の機能ブロック図である。
【０１２３】
４０１は、画像表示装置であり、例えば、ビデオシースルー型のＨＭＤを想定している。画像表示装置４０１は、撮像部４０４、三次元位置姿勢計測センサ４０５、無線通信Ｉ／Ｆ４０６、表示制御部４０７、フレームバッファ４０８、表示部４０９及びＯＳＤ部４１０を有する。
【０１２４】
ここで、撮像部４０４、三次元位置姿勢計測センサ４０５及び無線通信Ｉ／Ｆ４０６はそれぞれ、図１の撮像部１０４、三次元位置姿勢計測センサ１０５及び無線通信Ｉ／Ｆ１０６に対応する。また、表示制御部４０７、フレームバッファ４０８及び表示部４０９はそれぞれ、図１の表示制御部１０７、フレームバッファ１０８及び表示部１０９に対応する。従って、これらの詳細説明については省略し、新たな構成であるＯＳＤ部４１０について説明する。また、画像表示装置４０１と、図１の画像処理装置１０３、無線ＡＰ１０２ａ及び１０２ｂとによって画像表示システムが実現される。
【０１２５】
ＯＳＤ部４１０は、表示画像に対して、文字や画像等から構成されるメッセージ画像を重畳表示するＯＳＤ（Ｏｎ  Ｓｃｒｅｅｎ  Ｄｉｓｐｌａｙ）部（画像重畳表示部）４０６である。表示する内容の例及び処理フローについては後述する。特に、このＯＳＤ部４１０により、ＨＭＤ使用者が大きく移動している最中にハンドオーバーが発生した場合、無線ＡＰの切替が終了し、合成画像が受信できるようになるまでの間、使用者に注意を促す目的でメッセージを表示することが可能となる。
【０１２６】
ここで、ＯＳＤ部４１０による表示例について、図５Ａ及び図５Ｂを用いて説明する。
【０１２７】
図５Ａ及び図５Ｂは本発明の実施形態２の画像表示装置のＯＳＤ部によって表示するメッセージ画像の例を示す図である。
【０１２８】
図５Ａは、無線ＡＰの切替中であることを示すメッセージの例である。実際には、リンクが確立されてから撮像画像を送信し、送信した撮像画像に対応する合成画像を受信するまでの間表示し続ける。背景である表示画像は、実施形態１と同様に、撮像画像、合成画像または補正処理された合成画像である。
【０１２９】
ＨＭＤ使用者に表示されている画像中にＣＧ画像が含まれている場合、表示画像を撮像画像に切り替えることによって、急にＣＧ画像が消えることになる。また、合成画像は一定の処理を経て表示されるため、撮像画像に対して遅延が生じている。そこで、実施形態２では、これらの切替に伴う違和感が何によって生じているものかを使用者に提示することによって、使用者の安心感を生むことができる。
【０１３０】
図５Ｂは、切替中であるメッセージと共に、使用者に注意を促すメッセージを追加した表示例である。表示画像切替処理が終了するまでの間、エリアの移動を制限することで、使用者の安全を確保することができる。
【０１３１】
次に、実施形態２の画像表示装置４０１による表示画像切替処理について、図６を用いて説明する。
【０１３２】
図６は本発明の実施形態２の画像表示装置における表示画像切替処理を示すフローチャートである。
【０１３３】
尚、図６において、ステップＳ６０１〜ステップＳ６０９と、ステップＳ６１０〜ステップＳ６１４は、実施形態１の図３のステップＳ３０１〜ステップＳ３０９と、ステップＳ３１０〜ステップＳ３１４に対応し、その詳細説明は省略する。
【０１３４】
図６では、ステップＳ６０９ａで、画像表示装置１０１は、ＨＭＤ使用者に注意を促すメッセージを表示する注意表示処理を実施するか否かを判断する。メッセージ表示の切替選択は、ＨＭＤ使用者が画像表示装置４０１に設けられたスイッチ等の入力部から行っても、画像処理装置１０３の入力部から行っても構わない。注意表示処理を実施する場合（ステップＳ６０９ａでＹＥＳ）、ステップＳ６０９ｂへ進む。一方、注意表示処理を実施しない場合（ステップＳ６０９ａでＮＯ）、ステップＳ６１０へ進む。
【０１３５】
ステップＳ６０９ｂで、画像表示装置４０１は、注意表示処理を実行する。具体的には、予め用意した注意を促すメッセージをＯＳＤ部４１０によって表示画像へ重畳する。
【０１３６】
以上説明したように、実施形態２によれば、無線ＡＰの切替時に、リアルタイムに撮像している撮像画像もしくは切断前に取得した合成画像を表示する際に使用者に対してメッセージを提示することで、その行動の制限や注意を促すことができる。ここで、このメッセージとしては、ハンドオーバー中であることを示すメッセージがある。
【０１３７】
（実施形態３）
実施形態１及び２では、画像表示装置から撮像画像を画像処理装置へ送信し、画像処理装置でＣＧ画像が重畳された合成画像を画像表示装置が受信して表示する構成を説明した。これに対して、実施形態３では、画像表示装置からは少なくとも位置姿勢情報を画像処理装置へ送信し、それをもとに画像処理装置で生成されたＣＧ画像を画像表示装置が受信した後、画像表示装置で撮像画像とＣＧ画像との合成処理を行う構成について説明する。
【０１３８】
図７は本発明の実施形態３の画像表示システムの機能ブロック図である。
【０１３９】
７０１は、画像表示装置であり、例えば、ビデオシースルー型のＨＭＤを想定している。画像表示装置７０１は、撮像部７０４、三次元位置姿勢計測センサ７０５、無線通信Ｉ／Ｆ７０６、フレームバッファ７０７及び７０８、表示部７０９、ＯＳＤ部７１０を備える。更に、画像表示装置７０１は、補正処理部７１１、補正処理判断部７１２、セレクタ７１３、画像合成部７１４及び位置姿勢情報生成部７１５を備える。
【０１４０】
ここで、撮像部７０４、三次元位置姿勢計測センサ７０５及び無線通信Ｉ／Ｆ７０６はそれぞれ、図４の撮像部４０４、三次元位置姿勢計測センサ４０５及び無線通信Ｉ／Ｆ４０６に対応する。また、表示部４０９及びＯＳＤ部４１０はそれぞれ、図４の表示部４０９及びＯＳＤ部４１０に対応する。従って、これらの詳細説明については省略し、新たな構成について説明する。
【０１４１】
また、無線ＡＰ７０２ａ及び７０２ｂ、ＬＡＮ７１１７はそれぞれ、図１の無線ＡＰ１０２ａ及び１０２ｂ、ＬＡＮ１１７に対応する。
【０１４２】
画像表示装置７０１において、無線通信Ｉ／Ｆ７０６は、位置姿勢情報を無線ＡＰ７０２ａや７０２ｂへ送信し、また無線ＡＰ７０２ａや７０２ｂを介して画像処理装置７０３で生成されたＣＧ画像を受信する。ここでは、画像表示装置７０１からの送信を位置姿勢情報としているが、合わせて撮像画像を送信する構成でも構わない。
【０１４３】
フレームバッファ７０７は、取得した撮像画像をフレーム単位で格納するメモリである。フレームバッファ７０８は、画像処理装置７０３から受信したＣＧ画像をフレーム単位で格納するメモリである。
【０１４４】
補正処理部７１１は、ＣＧ画像の表示位置を補正する。この詳細説明については後述する。補正処理判断部７１２は、位置姿勢情報に基づき、仮想画像に対して表示位置の補正を行うことが可能か否か、補正を行う場合はどのような補正を行うかを判断する。この詳細説明については後述する。
【０１４５】
セレクタ７１３は、撮像画像と合成するためのＣＧ画像を選択するセレクタである。通常は、受信したＣＧ画像を選択する。ハンドオーバーに伴う切替処理中は、フレームバッファ７０８に格納した既に取得済のＣＧ画像またはその表示位置補正後のＣＧ画像を選択する。
【０１４６】
画像合成部７１４は、撮像画像とＣＧ画像を合成する画像合成部である。画像合成部７１４は、一度フレームバッファ７０７に格納された撮像画像を使用して、その撮像画像に対応するＣＧ画像と合成することができる。あるいは、画像合成部７１４は、リアルタイムに取得し続けている撮像画像上に、合成時のタイミングを考慮して表示位置を予測して生成したＣＧ画像と合成することもできる。
【０１４７】
位置姿勢情報生成部７１５は、撮像画像や三次元位置姿勢計測センサ７０５からの出力情報によって、ＨＭＤ使用者の位置姿勢情報を生成する。
【０１４８】
７０３は、画像処理装置である。この画像処理装置７０３は、画像表示装置７０１から受信する位置姿勢情報に基づきＣＧ画像を描画する。
【０１４９】
画像処理装置７０３は、通信Ｉ／Ｆ７１１０、ＣＧ描画部７１１２、コンテンツ記憶部７１１３、切替判断・指示部７１１５、無線ＡＰ位置情報記憶部７１１６及び位置補正部７１７を備える。
【０１５０】
ここで、通信Ｉ／Ｆ７１１０、ＣＧ描画部７１１２及びコンテンツ記憶部７１１３はそれぞれ、図１の通信Ｉ／Ｆ１１０、ＣＧ描画部１１２及びコンテンツ記憶部１１３に対応する。また、切替判断・指示部７１１５及び無線ＡＰ位置情報記憶部７１１６はそれぞれ、図１の切替判断・指示部１１５及び無線ＡＰ位置情報記憶部１１６に対応する。従って、これらの詳細説明については省略し、新たな構成について説明する。
【０１５１】
位置補正部７１７は、画像表示装置７０１で生成した位置姿勢情報を画像合成時のタイミングに合わせて補正処理する。例えば、時系列的に把握した過去の位置姿勢情報から画像合成時の位置姿勢情報へ補正処理を行う。処理は、一般的な予測手法で構わず、良く知られた手法ではカルマンフィルタを用いたものがある。ここでは、画像合成時のタイミングと合わせているが、合成画像表示時のタイミングに合わせる構成でも構わない。その場合、撮像画像に関しては、取得から表示まで若干のタイムラグが生じるが、ＣＧ画像に関しては予測が大幅にずれない限り、リアルタイム性を保証しているように見せることができる。
【０１５２】
次に、ＣＧ画像の補正処理を伴わない場合の処理について説明する。
【０１５３】
撮像部７０４での撮像画像は、フレームバッファ７０７に格納される。一方、この撮像画像は、三次元位置姿勢計測センサ７０５の出力と併せて位置姿勢情報生成部７１５において、画像表示装置７０１の位置姿勢情報を算出するために使用される。
【０１５４】
生成された位置姿勢情報は、無線通信Ｉ／Ｆ７０６から無線ＡＰ７０２ａを介して画像処理装置７０３に送信される。画像処理装置７０３では、受信した位置姿勢情報に基づきＣＧ画像をＣＧ描画部７１１２で描画し、通信Ｉ／Ｆ７１１０から無線ＡＰ７０２ａを介して画像表示装置７０１へ送信する。その際、画像合成をクロマキー処理で行う場合は、ＣＧ描画時に使用していないクロマキー合成のために使用する特定色（クロマキー色）を併せて情報として送付する。特定色の指定が一フレーム毎に行われない場合には、予め画像表示装置７０１との間でネゴシエーションを行い、一定の期間内は同じ特定色を使用する。
【０１５５】
画像表示装置７０１では、受信したＣＧ画像とフレームバッファ７０７に格納されている撮像画像とが特定色を元に画像合成部７１４でクロマキー合成する。尚、ＣＧ画像と対応づけられる撮像画像は、そのＣＧ画像の生成に用いた位置姿勢情報を取得するために使用した画像である。αチャネルを使用して画像合成（半透明画像合成）を行う場合については、各画素のα値（マット値）による二次元データであるαチャネルをＣＧ画像と併せ画像処理装置７０３が送信する。得られる合成画像であるＭＲ画像は、表示部７０９で表示され、使用者に複合現実感をもたらす。
【０１５６】
このような構成では、撮像画像を画像表示装置７０１から無線ＡＰ７０２ａへ送信する必要がなくなる。そのため、例えば、撮像画像とＣＧ画像の解像度、階調表現、フレームレートが同一の場合には、従来例に示す一般的なＭＲのシステム構成と比べて、送信するデータ量は半分程度になる。実際にはＣＧ画像と併せてクロマキー色またはαチャネルが送信されるため、半分よりは多くなる。
【０１５７】
また、合成の際に採用する撮像画像は、ＣＧ画像の生成を行う際に計測した位置姿勢情報を算出するために用いた撮像画像であるため、撮像画像とＣＧ画像の遅れが生じず、違和感のないＭＲ画像を提供することができる。さらには、画像処理装置７０３で合成タイミングに合わせて表示位置を予測して、ＣＧ画像を生成することで、現実世界との遅延を少なくする構成でも可能である。
【０１５８】
以上の構成及び処理により、ＭＲ画像表示のために撮像画像の伝送が不要となり、かつ同等の表示品質を維持することが可能となる。
【０１５９】
次に、画像表示装置７０１による表示画像切替処理について、図８を用いて説明する。
【０１６０】
図８は本発明の実施形態３の画像表示装置における表示画像切替処理を示すフローチャートである。
【０１６１】
ステップＳ８０１で、画像表示装置７０１は、無線ＡＰを介して、画像処理装置７０３が判断した切替指示を受信したか否かを判断する。切替指示を受信した場合（ステップＳ８０１でＹＥＳ）、ステップＳ８０２へ進む。一方、切替指示を受信していない場合（ステップＳ８０１でＮＯ）、ステップＳ８１４へ進む。
【０１６２】
ステップＳ８０２で、画像表示装置７０１は、切替指示を受信するまでの間、既に送信した位置姿勢情報に対応するＣＧ画像をすべて受信したか否かを判断する。すべてのＣＧ画像を受信した場合（ステップＳ８０２でＹＥＳ）、ステップＳ８０３へ進む。一方、受信していないＣＧ画像がある場合（ステップＳ８０２でＮＯ）、すべてのＣＧ画像を受信するまで待機する。
【０１６３】
ステップＳ８０３で、画像表示装置７０１は、すべてのＣＧ画像の受信を終了したことを受けて、切替制御を開始する。
【０１６４】
ステップＳ８０４で、画像表示装置７０１は、リンク切断の直前に取得しているフレームバッファ７０８に格納されたＣＧ画像の読出を行う。
【０１６５】
ステップＳ８０５で、画像表示装置７０１は、ＣＧ画像の補正処理を行うか否かを判断する。補正処理を行う場合（ステップＳ８０５でＹＥＳ）、ステップＳ８０６へ進む。一方、補正処理を行わない場合（ステップＳ８０５でＮＯ）、ステップＳ８０７へ進む。
【０１６６】
ステップＳ８０６で、画像表示装置７０１は、ＣＧ画像の補正処理を行う。補正処理の詳細については、別のフローチャートを使用して後述する。
【０１６７】
ステップＳ８０７で、画像表示装置７０１は、ＨＭＤ使用者に注意を促すメッセージを表示する注意表示処理を実施するか否かを判断する。注意表示処理を実施する場合（ステップＳ８０７でＹＥＳ）、ステップＳ８０８へ進む。一方、注意表示処理を実施しない場合（ステップＳ８０７でＮＯ）、ステップＳ８０９へ進む。
【０１６８】
ステップＳ８０８では、画像表示装置７０１は、注意表示処理を実行する。この処理は、実施形態２の図６のステップＳ６０９ｂと同様である。
【０１６９】
ステップＳ８０９で、画像表示装置７０１は、ＣＧ画像と撮像画像の合成処理を行う。ステップＳ８１０で、画像表示装置７０１は、生成した合成画像を新たな無線ＡＰとのリンクが確立するまでの間更新しながら表示部７０９に表示する。
【０１７０】
ステップＳ８１１で、画像表示装置７０１は、新たなリンクが確立したか否かを判断する。リンクが確立し、位置姿勢情報の伝送が開始となっている場合（ステップＳ８１１でＹＥＳ）、ステップＳ８１２へ進む。一方、リンクがまだ確立しておらず、ハンドオーバー中の場合（ステップＳ８１１でＮＯ）、ステップＳ８０４へ戻る。
【０１７１】
ステップＳ８１２で、画像表示装置７０１は、ハンドオーバーが終了して、新たにリンクを確立した無線ＡＰに対して送信した位置姿勢情報に対応するＣＧ画像を受信したか否かを判断する。新たにリンクを確立した無線ＡＰよりＣＧ画像を受信している場合（ステップＳ８１２でＹＥＳ）、ステップＳ８１３へ進む。一方、受信していない場合（ステップＳ８１２でＮＯ）、ステップＳ８０４へ戻る。
【０１７２】
ステップＳ８１３で、画像表示装置７０１は、受信したＣＧ画像と撮像画像の合成処理を行う。ステップＳ８１４で、画像表示装置７０１は、生成した合成画像を表示部７０９に表示する。
【０１７３】
次に、ステップ８０６のＣＧ補正処理の詳細について、図９を用いて説明する。
【０１７４】
図９は本発明の実施形態３のステップ８０６のＣＧ補正処理の詳細を示すフローチャートである。
【０１７５】
ステップＳ９０１で、画像表示装置７０１は、フレームバッファ７０８に格納してあるリンク切断直前に取得したＣＧ画像の位置を算出する。ステップＳ９０２で、画像表示装置７０１は、三次元位置姿勢計測センサ７０５からのセンサ情報に基づき現在の位置姿勢情報を生成する。
【０１７６】
ステップＳ９０３で、画像表示装置７０１は、ＨＭＤ使用者が現在どの方向に移動しているか、または視線位置を向けているのかを把握し、上下・左右への移動か否かを判断する。上下・左右への移動または同様の視線位置の移動である場合（ステップＳ９０３でＹＥＳ）、ステップＳ９０４へ進む。そうでない場合（ステップＳ９０３でＮＯ）、ステップＳ９０５へ進む。
【０１７７】
ステップＳ９０４で、画像表示装置７０１は、ＣＧ画像の移動が可能であるか否かを判断する。具体的には、ＣＧ画像の取得時点の位置から、現時点の位置までの移動量を算出し、ＣＧ画像を移動量に合わせて表示位置をずらした際に不都合がないか否かを判断する。ここで、本来、存在するＣＧ画像表示領域の内、取得しているＣＧ画像以外の表示の可能性がある場合や、回転等の運動を伴い得られたＣＧ画像の背面や左右の画像を求められる場合等が、ＣＧ画像の移動が可能であると判断する。ＣＧ画像の移動が可能である場合（ステップＳ９０４でＹＥＳ）、ステップＳ９０６へ進む。ＣＧ画像の移動が不可能である場合（ステップＳ９０４でＮＯ）、ステップＳ９０７へ進む。
【０１７８】
ステップＳ９０５で、画像表示装置７０１は、ＨＭＤ使用者が前後への移動を行っているか否かを判断する。前後に移動している場合（ステップＳ９０５でＹＥＳ）、ステップＳ９０８へ進む。前後に移動していない場合（ステップＳ９０５でＮＯ）、ステップＳ９０７へ進む。
【０１７９】
ステップＳ９０６で、画像表示装置７０１は、上下・左右への移動が可能であることを受けて、ＣＧ画像を平行移動する。
【０１８０】
ステップＳ９０７で、画像表示装置７０１は、ＣＧ画像の移動が不可能であることを受けて、注意メッセージを表示部７０９に表示する。
【０１８１】
ステップＳ９０８で、画像表示装置７０１は、前後への移動が可能であることを受けて、ＣＧ画像の拡大処理または縮小処理を行う。特に、ＣＧ画像が描画されている前方へ近づいている場合は拡大処理を、遠ざかっている場合は縮小処理を行う。尚、ここでは説明していないが、上下・左右と前後の運動が組み合わされている場合は、それぞれの処理を実施する。
【０１８２】
ステップＳ９０９で、画像表示装置７０１は、それぞれ位置が補正されたＣＧ画像を出力する。
【０１８３】
以上説明したように、実施形態３によれば、画像表示装置で撮像画像とＣＧ画像を合成処理する場合においても、大きな移動を伴わなければリアルタイムに撮像している撮像画像上にそのときの位置姿勢に合わせたＣＧ画像を合成して表示することが可能である。また、ＣＧ画像の補正が適わない場合には、実施形態１と同じく撮像画像を表示することも、実施形態２と同じく注意メッセージを使用者に提示することもできる。
【０１８４】
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１８５】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０１８６】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１８７】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【０１８８】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスクがある。また、更に、記録媒体としては、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０１８９】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、その接続先のホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１９０】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１９１】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。また、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１９２】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【０１９３】
【図１】本発明の実施形態１の画像表示システムの機能ブロック図である。
【図２】本発明の実施形態１の各装置間のデータフロー及び処理内容を示したシーケンス図である。
【図３】本発明の実施形態１の画像表示装置における表示画像切替処理を示すフローチャートである。
【図４】本発明の実施形態２の画像表示装置の機能ブロック図である。
【図５Ａ】本発明の実施形態２の画像表示装置のＯＳＤ部によって表示するメッセージ画像の例を示す図である。
【図５Ｂ】本発明の実施形態２の画像表示装置のＯＳＤ部によって表示するメッセージ画像の例を示す図である。
【図６】本発明の実施形態２の画像表示装置における表示画像切替処理を示すフローチャートである。
【図７】本発明の実施形態３の画像表示システムの機能ブロック図である。
【図８】本発明の実施形態３の画像表示装置における表示画像切替処理を示すフローチャートである。
【図９】本発明の実施形態３のステップ８０６のＣＧ補正処理の詳細を示すフローチャートである。
【図１０】従来例におけるビデオシースルー型複合現実無線システムの機能ブロック図である。
【図１１】従来例におけるマーカーを利用した位置姿勢情報生成の概念を示す図である。
【符号の説明】
【０１９４】
１０１  画像表示装置
１０２ａ、１０２ｂ  無線ＡＰ（アクセスポイント）
１０３  画像処理装置
１０４  撮像部
１０５  三次元位置姿勢計測センサ
１０６  無線通信Ｉ／Ｆ
１０７  表示制御部
１０８  フレームバッファ
１０９  表示部
１１０  通信Ｉ／Ｆ
１１１  位置姿勢情報生成部
１１２  ＣＧ描画部
１１３  コンテンツ記憶部
１１４  画像合成部
１１５  切替判断・指示部
１１６  無線ＡＰ位置情報記憶部
１１７  ＬＡＮ
【図１】
0004989417.tif 000002
【図２】
0004989417.tif 000003
【図３】
0004989417.tif 000004
【図４】
0004989417.tif 000005
【図５Ａ】
0004989417.tif 000006
【図５Ｂ】
0004989417.tif 000007
【図６】
0004989417.tif 000008
【図７】
0004989417.tif 000009
【図８】
0004989417.tif 000010
【図９】
0004989417.tif 000011
【図１０】
0004989417.tif 000012
【図１１】
0004989417.tif 000013