(57)【要約】【課題】複数のユーザが合成画像を体験する場合に、各ユーザが自分の視点を自在に変更しながら複合現実感を体験することができる複合現実感表示システム等を提供する。【解決手段】画像提供サーバと複数のクライアント端末とが通信可能に構成された通信可能な複合現実感表示システムであって、画像提供サーバは、仮想物体を描画し、描画した仮想物体と、全方位画像取得カメラにて撮影された全方位画像を合成する合成手段と、合成画像情報を複数のクライアント端末に向けて配信する。クライアント端末は、当該クライアント端末を観察するユーザの視線を定義する位置姿勢情報に基づいて、画像提供サーバから受信した合成画像情報が示す合成画像から部分領域画像を抽出し、表示する。【選択図】図３
2012048597.tif 000002
【特許請求の範囲】
【請求項１】
画像提供サーバと複数の表示装置とが通信可能に構成された複合現実感表示システムであって、
前記画像提供サーバは、
仮想物体を描画する仮想物体描画手段と、
前記仮想物体描画手段が描画した仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された現実空間画像を合成する合成手段と、
前記合成手段が合成して得た合成画像情報を前記複数の表示装置に向けて配信する配信手段と、を有し、
前記表示装置は、
前記画像提供サーバから前記合成画像情報を受信する受信手段と、
前記表示装置を観察するユーザの視線を定義する位置情報又は姿勢情報の少なくともいずれか一方を取得する位置姿勢情報取得手段と、
前記位置姿勢情報取得手段が取得した前記位置情報又は／及び前記姿勢情報に基づいて、前記受信手段が受信した前記合成画像情報が示す合成画像から部分領域画像を抽出する抽出手段と、
前記抽出手段が抽出した前記部分領域画像を表示する表示手段と、
を有することを特徴とする複合現実感表示システム。
【請求項２】
画像提供サーバと複数の表示装置とが通信可能に構成された複合現実感表示システムに含まれる前記画像提供サーバであって、
仮想物体を描画する仮想物体描画手段と、
前記仮想物体描画手段が描画した仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された現実空間画像を合成する合成手段と、
前記合成手段が合成して得た合成画像情報を前記複数の表示装置に向けて配信する配信手段と、を有し、
前記仮想物体描画手段は、前記現実空間画像情報に含まれる光源環境情報に基づいて光源分布を推定し、仮想物体の陰影を作成して前記仮想物体を描画することを特徴とする画像提供サーバ。
【請求項３】
複数の前記カメラからそれぞれ取得した前記現実空間画像に写る障害物を除去する除去手段を有し、
前記合成手段は、前記除去手段による障害物除去後の各前記現実空間画像を合成し、合成後の現実空間画像と前記仮想物体を合成して前記合成画像情報を得ることを特徴とする請求項２に記載の画像提供サーバ。
【請求項４】
画像提供サーバと複数の表示装置とが通信可能に構成された複合現実感表示システムに含まれる前記表示装置であって、
仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された現実空間画像と、を合成した合成画像を前記画像提供サーバから受信する受信手段と、
前記表示装置を観察するユーザの視線を定義する位置情報又は姿勢情報の少なくともいずれか一方を取得する位置姿勢情報取得手段と、
前記位置姿勢情報取得手段が取得した前記位置情報又は／及び前記姿勢情報に基づいて、前記受信手段が受信した前記合成画像情報が示す合成画像から部分領域画像を抽出する抽出手段と、
前記抽出手段が抽出した前記部分領域画像を表示する表示手段と、
を有することを特徴とする表示装置。
【請求項５】
表示範囲の指定を受け付ける指示入力手段を備え、
前記抽出手段は、前記指示入力手段からの表示範囲指定情報に従って前記合成画像から前記部分領域画像を抽出し、
前記表示手段は、前記抽出手段が抽出した前記部分領域画像を表示することを特徴とする請求項４に記載の表示装置。
【請求項６】
コンピュータを、請求項４又は５に記載の表示装置として機能させること特徴とする複合現実感表示プログラム。
【請求項７】
複数の表示装置にて、仮想物体と現実空間画像を合成した画像を表示する複合現実感表示方法であって、
前記画像提供サーバが、前記仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された前記現実空間画像を合成するステップと、合成後の合成画像情報を、前記複数の表示装置に向けて配信するステップと、を有し、
前記表示装置が、当該表示装置を観察するユーザの視線を定義する位置情報又は姿勢情報の少なくともいずれか一方を取得するステップと、前記位置情報又は／及び前記姿勢情報に基づいて、前記画像提供サーバから受信した前記合成画像情報が示す合成画像から部分領域画像を抽出するステップと、前記部分領域画像を表示するステップと、を有することを特徴とする複合現実感表示方法。
【請求項８】
画像提供サーバと複数の表示装置とが通信可能に構成された複合現実感表示システムであって、
前記画像提供サーバは、
仮想物体を描画する仮想物体描画手段と、
前記仮想物体描画手段が描画した仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された現実空間画像を合成する合成手段と、
前記表示装置から、当該表示装置を観察するユーザの視線を定義する位置情報又は姿勢情報の少なくともいずれか一方を取得する位置姿勢情報取得手段と、
前記位置姿勢情報取得手段が取得した前記位置情報又は／及び前記姿勢情報に基づいて、前記合成手段が合成して得た合成画像から部分領域画像を抽出する抽出手段と、
前記抽出手段が抽出した前記部分領域画像を、前記複数の表示装置のうち前記位置情報又は／及び前記姿勢情報の送信元である前記表示装置に送信する送信手段と、を有し、
前記表示装置は、
前記画像提供サーバに前記位置情報又は前記姿勢情報の少なくともいずれか一方を送信する送信手段と、
前記画像提供サーバから前記部分領域画像を受信する受信手段と、
前記受信手段が受信した前記部分領域画像を表示する表示手段と、
を有することを特徴とする複合現実感表示システム。
【請求項９】
画像提供サーバと複数の表示装置とが通信可能に構成された複合現実感表示システムに含まれる前記画像提供サーバであって、
仮想物体を描画する仮想物体描画手段と、
前記仮想物体描画手段が描画した仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された現実空間画像を合成する合成手段と、
前記表示装置から、当該表示装置を観察するユーザの視線を定義する位置情報又は姿勢情報の少なくともいずれか一方を取得する位置姿勢情報取得手段と、
前記位置姿勢情報取得手段が取得した前記位置情報又は／及び前記姿勢情報に基づいて、前記合成手段が合成して得た合成画像から部分領域画像を抽出する抽出手段と、
前記抽出手段が抽出した前記部分領域画像を、前記複数の表示装置６のうち前記位置情報又は／及び前記姿勢情報の送信元である前記表示装置に送信する送信手段と、
を有することを特徴とする画像提供サーバ。
【請求項１０】
前記仮想物体描画手段は、前記現実空間画像情報に含まれる光源環境情報に基づいて光源分布を推定し、仮想物体の陰影を作成して前記仮想物体を描画することを特徴とする請求項９に記載の画像提供サーバ。
【請求項１１】
複数の前記カメラからそれぞれ取得した前記現実空間画像に写る障害物を除去する除去手段を有し、
前記合成手段は、前記除去手段による障害物除去後の各前記現実空間画像を合成し、合成後の現実空間画像と前記仮想物体を合成して前記合成画像情報を得ることを特徴とする請求項８乃至１０のいずれか一項に記載の画像提供サーバ。
【請求項１２】
複数の表示装置にて、仮想物体と現実空間画像を合成した画像を表示する複合現実感表示方法であって、
前記画像提供サーバが、前記仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された前記現実空間画像を合成するステップと、前記表示装置から送信された当該表示装置を観察するユーザの視線を定義する位置情報又は姿勢情報の少なくともいずれか一方を取得するステップと、取得した前記位置情報又は／及び前記姿勢情報に基づいて、合成後の合成画像から部分領域画像を抽出するステップと、前記部分領域画像を前記前記位置情報又は／及び前記姿勢情報の送信元の表示装置に送信するステップと、を有し、
前記表示装置が、前記画像提供サーバから受信した前記部分領域画像を表示するステップと、を有することを特徴とする複合現実感表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現実空間画像と仮想物体を合成して表示する複合現実感表示システム等に関し、特に、画像提供サーバにて作成された合成画像を、観察者側の表示装置に切り出して表示する複合現実感表示システム等に関する。
【背景技術】
【０００２】
現実世界の撮影画像に、コンピュータグラフィックス（ＣＧ）描画された仮想物体を重ね合せて、観察者の表示装置に表示することにより、ＣＧ描画された仮想物体が現実世界に出現したかのように見せることが可能となる表示システムに関する研究が活発に行われている。このような表示システムは、複合現実感（Mixed Reality）又は拡張現実感（Augmented Reality）等と呼ばれる（以下、複合現実感表示システムと言う）。
【０００３】
複合現実感表示システムでは、現実世界の画像を撮影するためのカメラと、撮影画像に仮想物体を合成する処理装置と、合成画像を表示するディスプレイが必要となる。したがって、カメラ、処理装置、ディスプレイが一体となったパーソナルコンピュータ（ＰＣ）又は携帯端末（携帯電話、ＰＤＡ、スマートフォン等）、ヘッドマウントディスプレイ（ＨＭＤ）などのスタンドアローンデバイスを用いることが一般的である。一方で、ＨＭＤから送信された撮影画像を、画像処理装置を介して複数人で共有しあうシステムも開示されている（特許文献１参照）。また、非特許文献１には、現実世界の光源環境を用いて仮想物体の陰影を作成する技術について開示されている。
【０００４】
複合現実感をより好適に表現するためには、三次元ＣＧ物体の影を、より現実世界の光源環境を適正に反映させなければならない。特許文献２には、ＨＭＤのカメラを移動させて光源推定する方法が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−３７４８７号公報
【特許文献２】特開２００８−３３５３１号公報
【非特許文献】
【０００６】
【非特許文献１】角田哲也、大石岳史、池内克史、”影付け平面を用いた複合現実感における高速陰影表現手法” 映像情報メディア学会誌 62(5), 788-795, 2008-05-01
【発明の概要】
【発明が解決しようとする課題】
【０００７】
このような複合現実感表示システムを、イベントや観光案内などで複数のユーザが合成画像を同時体験する場面では、ユーザ数分のスタンドアローンデバイスが必要となりコスト的に高額となる問題がある。
【０００８】
また、１台のカメラで現実世界の画像を撮影し、画像合成装置で仮想物体と合成した後、合成画像を複数のユーザの表示デバイスに分配すれば、専用のカメラと画像合成装置は一台で足りる。しかし、この方法では、複数のユーザが同じ合成画像を共有体験するに留まり、各ユーザが視点変更することはできない。
【０００９】
本発明の目的は、このような問題等に鑑みて、複数のユーザが合成画像を体験する場合に、各ユーザが自分の視点を自在に変更しながら複合現実感を体験することができる複合現実感表示システム等を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の複合現実感表示システムは、画像提供サーバと複数の表示装置とが通信可能に構成された複合現実感表示システムであって、前記画像提供サーバは、仮想物体を描画する仮想物体描画手段と、前記仮想物体描画手段が描画した仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された現実空間画像を合成する合成手段と、前記合成手段が合成して得た合成画像情報を前記複数の表示装置に向けて配信する配信手段と、を有し、前記表示装置は、前記画像提供サーバから前記合成画像情報を受信する受信手段と、前記表示装置を観察するユーザの視線を定義する位置情報又は姿勢情報の少なくともいずれか一方を取得する位置姿勢情報取得手段と、前記位置姿勢情報取得手段が取得した前記位置情報又は／及び前記姿勢情報に基づいて、前記受信手段が受信した前記合成画像情報が示す合成画像から部分領域画像を抽出する抽出手段と、前記抽出手段が抽出した前記部分領域画像を表示する表示手段と、を有することを特徴とする。
【００１１】
本発明の画像提供サーバは、画像提供サーバと複数の表示装置とが通信可能に構成された複合現実感表示システムに含まれる前記画像提供サーバであって、仮想物体を描画する仮想物体描画手段と、前記仮想物体描画手段が描画した仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された現実空間画像を合成する合成手段と、前記合成手段が合成して得た合成画像情報を前記複数の表示装置に向けて配信する配信手段と、を有し、前記仮想物体描画手段は、前記現実空間画像情報に含まれる光源環境情報に基づいて光源分布を推定し、仮想物体の陰影を作成して前記仮想物体を描画することを特徴とする。
【００１２】
複数の前記カメラからそれぞれ取得した前記現実空間画像に写る障害物を除去する除去手段を有し、前記合成手段は、前記除去手段による障害物除去後の各前記現実空間画像を合成し、合成後の現実空間画像と前記仮想物体を合成して前記合成画像情報を得てもよい。
【００１３】
本発明の表示装置は、画像提供サーバと複数の表示装置とが通信可能に構成された複合現実感表示システムに含まれる前記表示装置であって、仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された現実空間画像と、を合成した合成画像を前記画像提供サーバから受信する受信手段と、前記表示装置を観察するユーザの視線を定義する位置情報又は姿勢情報の少なくともいずれか一方を取得する位置姿勢情報取得手段と、前記位置姿勢情報取得手段が取得した前記位置情報又は／及び前記姿勢情報に基づいて、前記受信手段が受信した前記合成画像情報が示す合成画像から部分領域画像を抽出する抽出手段と、前記抽出手段が抽出した前記部分領域画像を表示する表示手段と、を有することを特徴とする。
【００１４】
表示範囲の指定を受け付ける指示入力手段を備え、前記抽出手段は、前記指示入力手段からの表示範囲指定情報に従って前記合成画像から前記部分領域画像を抽出し、前記表示手段は、前記抽出手段が抽出した前記部分領域画像を表示してもよい。
【００１５】
本発明の複合現実感表示プログラムは、コンピュータを、前記表示装置として機能させること特徴とする。
【００１６】
本発明の複合現実感表示方法は、複数の表示装置にて、仮想物体と現実空間画像を合成した画像を表示する複合現実感表示方法であって、前記画像提供サーバが、前記仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された前記現実空間画像を合成するステップと、合成後の合成画像情報を、前記複数の表示装置に向けて配信するステップと、を有し、前記表示装置が、当該表示装置を観察するユーザの視線を定義する位置情報又は姿勢情報の少なくともいずれか一方を取得するステップと、前記位置情報又は／及び前記姿勢情報に基づいて、前記画像提供サーバから受信した前記合成画像情報が示す合成画像から部分領域画像を抽出するステップと、前記部分領域画像を表示するステップと、を有することを特徴とする。
【００１７】
本発明の複合現実感表示システムは、画像提供サーバと複数の表示装置とが通信可能に構成された複合現実感表示システムであって、前記画像提供サーバは、仮想物体を描画する仮想物体描画手段と、前記仮想物体描画手段が描画した仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された現実空間画像を合成する合成手段と、前記表示装置から、当該表示装置を観察するユーザの視線を定義する位置情報又は姿勢情報の少なくともいずれか一方を取得する位置姿勢情報取得手段と、前記位置姿勢情報取得手段が取得した前記位置情報又は／及び前記姿勢情報に基づいて、前記合成手段が合成して得た合成画像から部分領域画像を抽出する抽出手段と、前記抽出手段が抽出した前記部分領域画像を、前記複数の表示装置のうち前記位置情報又は前記姿勢情報の送信元である前記表示装置に送信する送信手段と、を有し、前記表示装置は、前記画像提供サーバに前記位置情報又は姿勢情報の少なくともいずれか一方を送信する送信手段と、前記画像提供サーバから前記部分領域画像を受信する受信手段と、前記受信手段が受信した前記部分領域画像を表示する表示手段と、を有することを特徴とする。
【００１８】
本発明の画像提供サーバは、画像提供サーバと複数の表示装置とが通信可能に構成された複合現実感表示システムに含まれる前記画像提供サーバであって、仮想物体を描画する仮想物体描画手段と、前記仮想物体描画手段が描画した仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された現実空間画像を合成する合成手段と、前記表示装置から、当該表示装置を観察するユーザの視線を定義する位置情報又は姿勢情報の少なくともいずれか一方を取得する位置姿勢情報取得手段と、前記位置姿勢情報取得手段が取得した前記位置情報又は／及び前記姿勢情報に基づいて、前記合成手段が合成して得た合成画像から部分領域画像を抽出する抽出手段と、前記抽出手段が抽出した前記部分領域画像を、前記複数の表示装置のうち前記位置情報又は前記姿勢情報の送信元である前記表示装置に送信する送信手段と、を有することを特徴とする。
【００１９】
前記仮想物体描画手段は、前記現実空間画像情報に含まれる光源環境情報に基づいて光源分布を推定し、仮想物体の陰影を作成して前記仮想物体を描画してもよい。
【００２０】
複数の前記カメラからそれぞれ取得した前記現実空間画像に写る障害物を除去する除去手段を有し、前記合成手段は、前記除去手段による障害物除去後の各前記現実空間画像を合成し、合成後の現実空間画像と前記仮想物体を合成して前記合成画像情報を得てもよい。
【００２１】
本発明の複合現実感表示方法は、複数の表示装置にて、仮想物体と現実空間画像を合成した画像を表示する複合現実感表示方法であって、前記画像提供サーバが、前記仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された前記現実空間画像を合成するステップと、前記表示装置から送信された当該表示装置を観察するユーザの視線を定義する位置情報又は姿勢情報の少なくともいずれか一方を取得するステップと、取得した前記位置情報又は／及び前記姿勢情報に基づいて、合成後の合成画像から部分領域画像を抽出するステップと、前記部分領域画像を前記前記位置情報又は／及び前記姿勢情報の送信元の表示装置に送信するステップと、を有し、前記表示装置が、前記画像提供サーバから受信した前記部分領域画像を表示するステップと、を有することを特徴とする。
【発明の効果】
【００２２】
本発明の複合現実感表示システムによれば、表示装置に処理負担をかけることなく、各ユーザが自分の視点を自在に変更しながら、複合現実感を体験することができる。
【００２３】
本発明の画像提供サーバによれば、光源環境情報を取得するための魚眼レンズ付きカメラや鏡面球などの特殊な光源情報取得手段を別途用意する必要がなく、仮想物体に適切な陰影付けを行なった合成画像を表示装置に提供できる。
【００２４】
本発明の表示装置によれば、少ない処理負担で、ユーザが自分の視点を自在に変更しながら、複合現実感を体験することができる。
【００２５】
本発明の複合現実感表示方法によれば、表示装置に処理負担をかけることなく、各ユーザが自分の視点を自在に変更しながら、複合現実感を体験することができる。
【００２６】
さらに、本発明の画像提供サーバによれば、表示装置に処理負担をかけることなく、各ユーザに対し複合現実感を体験することができる部分領域画像を提供できる。
【図面の簡単な説明】
【００２７】
【図１】本発明の複合現実感表示システムの概略説明図である。
【図２】第１実施例における複合現実感表示システムＳ１の構成例を示すブロック図である。
【図３】第１実施例の概略説明図である。
【図４】（Ａ）は指示入力装置４の説明図である。（Ｂ）及び（Ｃ）は指示入力装置４の表示範囲指定インターフェース例である。
【図５】第１実施例の画像提供サーバ１の全方位合成画像配信処理を示すフローチャートである。
【図６】第１実施例のクライアント端末３の表示処理を示すフローチャートである。
【図７】第２実施例における複合現実感表示システムＳ２の構成例を示すブロック図
【図８】第２実施例の概略説明図である。
【図９】第２実施例の画像提供サーバ５の部分領域画像送信処理を示すフローチャートである。
【図１０】複数の全方位画像取得カメラを備えた場合の概略説明図である。
【発明を実施するための形態】
【００２８】
以下、本発明の実施の形態を説明する。なお、本実施形態では、複合現実感表示システムに備えたクライアント端末に本発明の表示装置を適用する場合について説明する。
【００２９】
図１は、本発明の複合現実感表示システムの概略説明図である。
複合現実感表示システムは、画像提供サーバ、全方位画像取得カメラ、及び複数のクライアント端末等により構成される。クライアント端末は、ＨＭＤ（Head
Mounted Display）、デジタルサイネージ端末、モバイル端末（携帯電話、ＰＤＡ、スマートフォン等）などである。複合現実感表示システムは、例えば、イベント開催地、観光地等様々な場所で屋外屋内を問わず構成設置することができる。
【００３０】
全方位画像取得カメラは、現実世界の画像を撮影するための装置である。画像提供サーバは、全方位画像取得カメラが撮影した全方位画像（本発明の現実空間画像の一例であり、実物体が撮影された画像）に、コンピュータグラフィックス（ＣＧ）描画された仮想物体を重ね合せて合成画像を得る。そして、クライアント端末は、画像提供サーバから合成画像を受信して表示する。これにより、ユーザは、ＣＧ描画された仮想物体が現実世界に出現したかのような画像を体験することができる。
【００３１】
本発明の第１実施例と第２実施例について説明する。第１実施例は、ブロードキャストによる複合現実感表示システムＳ１の例であり、画像提供サーバが複数のクライアント端末に合成画像を配信する。第２実施例は、ユニキャストによる複合現実感表示システムＳ２の例であり、画像提供サーバが各クライアント端末からの画像送信要求に応じて合成画像を送信する。
【００３２】
＜第１実施例＞
図２は、第１実施例における複合現実感表示システムＳ１の構成例を示すブロック図であり、図３は、第１実施例の概略説明図である。
【００３３】
複合現実感表示システムＳ１は、画像提供サーバ１と、全方位画像取得カメラ２と、複数のクライアント端末３と、指示入力装置４（本発明の指示入力手段の一例）等により構成される。なお、図２では図示を簡単にするためクライアント端末３は１台とした。
【００３４】
画像提供サーバ１は、演算機能を有するＣＰＵ、作業用ＲＡＭ、各種データ及びプログラムを記憶するＲＯＭ等から構成された制御部１１、ハードディスクドライブ等を備える記憶部１２、各種ネットワーク（ＬＡＮ（Local Area Network）を含む）を介して、全方位画像取得カメラ２、クライアント端末３、他の装置又は各種周辺機器等と通信を行なうための通信部１３を備えて構成されている。各構成部材はバスを介して相互に接続されている。
【００３５】
記憶部１２は、陰影情報データベース（ＤＢ）１２１、ＣＧ情報データベース（ＤＢ）１２２等を記憶する。陰影情報ＤＢ１２１には、三次元物体陰影情報が登録されている。三次元物体陰影情報は、三次元ＣＧ物体に陰影づけを行うために必要な基礎データ等の各種情報である。ＣＧ情報ＤＢ１２２には、文化財建造物、完成後予測建造物、注釈、道案内、キャラクター、広告等の三次元ＣＧ物体を作成するためのＣＧ情報が登録されている。
【００３６】
制御部１１は、三次元物体描画手段１１１、合成手段１１２等を備える。三次元物体描画手段１１１は、本発明の仮想物体描画手段の一例であり、陰影情報ＤＢ１２１及びＣＧ情報ＤＢ１２２Ｃの情報に基づいて、仮想物体の一例である三次元ＣＧ物体を描画する。合成手段１１２は、全方位画像取得カメラ２からの全方位画像と、三次元物体描画手段１１１が作成した三次元ＣＧ物体とを重ね合せて全方位合成画像を作成する。
【００３７】
なお、三次元ＣＧ物体への陰影付け、三次元ＣＧ物体の描画、及び画像合成の具体的な手法は、上記非特許文献１及び本願出願人による特願２００９−２１１８９１に詳細に開示されているため、説明を省略する。
【００３８】
全方位画像取得カメラ２は、所定方位角範囲を撮影可能である。例えば、天頂部も含む全方位の撮影が可能であることが好ましい。全方位画像取得カメラ２は、例えば、数十分の１秒ごとに繰り返し撮影を行い、その都度全方位画像情報（本発明の現実空間画像情報の一例）を画像提供サーバ１へ送信する。
【００３９】
画像提供サーバ１の三次元物体描画手段１１１は、全方位画像取得カメラ２から受信した全方位画像情報に含まれる現実世界の光源環境情報に基づいて、三次元ＣＧ物体に対して適切な陰影付を行ったうえで、全方位画像と重ね合せて全方位合成画像を作成する。画像提供サーバ５の三次元物体描画手段１１１及び合成手段１１２は、全方位画像取得カメラ２から新しい全方位画像情報を受信するたびに、全方位合成画像を作成する。作成された全方位合成画像は、複数のクライアント端末３へ一斉配信される。
【００４０】
クライアント端末３は、演算機能を有するＣＰＵ、作業用ＲＡＭ、各種データ及びプログラム（本発明の複合現実感表示プログラムを含む）を記憶するＲＯＭ等から構成された本発明のコンピュータとしての制御部３１、モニタ等の表示画面を備える表示部３２、各種ネットワーク（ＬＡＮ（Local Area Network）を含む）を介して、画像提供サーバ１又は他の装置又は指示入力装置４等の各種周辺機器と通信を行なうための通信部３３を備えて構成されている。各構成部材はバスを介して相互に接続されている。
【００４１】
制御部３１は、位置姿勢情報取得手段３１１、抽出手段３１２等を備える。
【００４２】
位置姿勢情報取得手段３１１は、ユーザの視線を定義する位置姿勢情報を取得する。位置姿勢情報は、例えば、クライアント端末３がＨＭＤの場合、ＨＭＤを装着するユーザの位置と姿勢（向き）によって変化する。位置姿勢情報取得手段３１１は、ジャイロセンサ、磁気センサ、ＧＰＳ（Global Positioning System）、加速度センサ等のいずれか、又はこれらを組み合わせて構成される。なお、センサハードウェアの組み合わせ以外に、カメラと２次元マーカー、ＬＥＤマーカー、可視光マーカー、不可視(再帰性反射材)マーカーや、画像特徴点を用いた光学トラッキングによる位置合わせ等の組み合わせ手法によって位置姿勢情報を取得してもよい。また、位置姿勢情報は、当該ユーザの位置情報及び姿勢情報のいずれか一方でもよい。
【００４３】
抽出手段３１２は、画像提供サーバ１から受信した全方位合成画像から、部分領域画像を抽出する。具体的に、位置情報取得手段３１１が取得した位置姿勢情報に基づいて、位置姿勢情報が示す位置と方向の領域を全方位合成画像から切り出して抽出する。抽出された部分領域画像は、表示部３２のモニタ等に表示される。よって、ユーザは、全方位合成画像から自己の位置姿勢に応じた部分領域画像を観察することができる。
【００４４】
クライアント端末３は、例えば数十分の１秒ごとに画像提供サーバ１から全方位合成画像を受信する。また、位置姿勢情報取得手段３１１は、例えば数十分の１秒〜数分の一秒ごとに位置姿勢情報を取得する。そして、抽出手段３１２は、新しい全方位合成画像又は新しい位置姿勢情報を受信（取得）するたびに、部分領域画像を抽出して表示画像を更新する。
【００４５】
指示入力装置４は、ユーザから指示を受け付け当該指示に応じた指示信号を通信部３３を介してクライアント端末３に送信する。図４（Ａ）は指示入力装置４の説明図である。図４（Ａ）に示すように、指示入力装置４は、ＨＭＤがクライアント端末３である場合に、ユーザが首からぶら下げるなどして携帯する。
【００４６】
図４（Ｂ）及び（Ｃ）は指示入力装置４の表示範囲指定インターフェース例である。ＨＭＤの表示部３２で観察している画像の表示範囲（視点）を変更する際の指示入力装置４の操作例であり、ユーザが指示入力装置４のパネル上をタップして上下左右に表示範囲を指定（図４（Ｂ））したり、或いは、指示入力装置４自身を傾けたり揺らして表示範囲を指定（図４（Ｃ））する。そして、指示入力装置４は、指定に従い表示範囲指定情報を生成する。生成された表示範囲指定情報はネットワークや近距離無線通信を通じて、ＨＭＤに送信され位置姿勢情報取得手段３１１が通信部３３を介して取得する。
【００４７】
指示入力装置４は、画面上でタップして表示範囲を指定する構成に限定されず、指示入力装置４に備えたマイクを介してユーザが音声により表示範囲を指定指示してもよい。また、カメラ（例えば、ＨＭＤに取り付けたカメラ）で眼球運動を追跡し、ユーザの視線を検知し、検知した視線方向に従って表示範囲を指定指示してもよい。
【００４８】
図５は、画像提供サーバ１の全方位合成画像配信処理を示すフローチャートである。全方位合成画像配信処理は、制御部１１が実行する処理である。
【００４９】
まず、画像提供サーバ１の制御部１１は、全方位画像取得カメラ２から全方位画像情報を取得する（ステップＳ１）。次に、制御部１１の三次元物体描画手段１１１は、光源分布推定処理を行なう。ステップＳ１で取得した全方位画像情報に含まれる現実世界の光源環境情報に基づいて、光源分布推定処理を行い、推定光源分布を取得する（ステップＳ２）。全方位画像情報に含まれる現実世界の光源環境情報は、例えば全方位画像情報が示す全方位画像の上端から数％〜十数％程度の範囲の明度情報等を採用する。
【００５０】
続いて、制御部１１の三次元物体描画手段１１１は、陰影情報ＤＢ１２１を参照し、ステップＳ２で取得された推定光源分布に基づいて、陰影情報を生成する（ステップＳ３）。
【００５１】
次に、制御部１１の三次元物体描画手段１１１は、ＣＧ情報ＤＢ１２２のＣＧ情報に対し、ステップＳ３で生成された陰影情報に基づいて、陰影付け処理を施し、三次元ＣＧ物体を作成（描画）する（ステップＳ４）。
【００５２】
次に、制御部１１の合成手段１１２は、ステップＳ１で取得した全方位画像情報が示す全方位画像と、ステップＳ４で作成された三次元ＣＧ物体とを重ね合せて全方位合成画像を作成する（ステップＳ５）。そして、制御部１１は、ステップＳ５で作成した全方位合成画像を示す全方位合成画像情報を複数のクライアント端末３に配信する（ステップＳ６）。
【００５３】
続いて、制御部１１は、全方位画像取得カメラ２から次の全方位画像情報を取得したか否かを判定し（ステップＳ７）、判定の結果、取得した場合（ステップＳ７：Ｙｅｓ）には、ステップＳ２に移行して、次の全方位画像情報に対してステップＳ２〜ステップＳ７の処理を繰り返し行う。
【００５４】
一方、判定の結果、取得していない場合（ステップＳ７：Ｎｏ）には、終了指示があったか否かを判定する（ステップＳ８）。判定の結果、終了指示がない場合（ステップＳ８：Ｎｏ）には、ステップＳ７に移行して、全方位画像取得カメラ２からの次の全方位画像情報の受信を待機する。
【００５５】
一方、画像提供サーバ１の入力部（不図示）から処理終了が指示された場合、又は遠隔のサーバ管理者からネットワークを通じて終了指示信号を受信した場合など、終了指示があった場合（ステップＳ８：Ｙｅｓ）には、処理を終了する。
【００５６】
図６は、クライアント端末３の表示処理を示すフローチャートである。表示処理は、制御部３１が実行する処理である。
【００５７】
まず、クライアント端末３の制御部３１は、画像提供サーバ１から全方位合成画像情報を取得し（ステップＳ１１）、制御部３１の位置姿勢情報取得手段３１１は、位置姿勢情報を取得する（ステップＳ１２）。
【００５８】
次に、制御部３１の抽出手段３１２は、ステップＳ２で取得した位置姿勢情報に基づいて、ステップＳ１で取得した全方位合成画像情報が示す全方位合成画像から、部分領域画像を抽出する（ステップＳ１３）。制御部３１は、抽出した部分領域画像をモニタ等の表示画面に表示する（ステップＳ１４）。
【００５９】
続いて、制御部３１は、位置姿勢情報取得手段３１１が次の位置姿勢情報を取得したか否かを判定する（ステップＳ１５）。判定の結果、取得した場合（ステップＳ１５：Ｙｅｓ）には、ステップＳ１３に移行して、次の位置姿勢情報に対してステップＳ１３〜ステップＳ１５の処理を繰り返し行う。
【００６０】
一方、ステップＳ１５の判定の結果、取得していない場合（ステップＳ１５：Ｎｏ）には、制御部３１は、画像提供サーバ１から次の全方位合成画像情報を取得したか否かを判定（ステップＳ１６）する。判定の結果、取得した場合（ステップＳ１６：Ｙｅｓ）には、ステップＳ１３に移行して、次の全方位合成画像情報に対してステップＳ１３〜ステップＳ１６の処理を繰り返し行う。
【００６１】
一方、ステップＳ１６の判定の結果、取得していない場合（ステップＳ１６：Ｎｏ）には、終了指示があったか否かを判定する（ステップＳ１７）。判定の結果、判定の結果、終了指示がない場合（ステップＳ１７：Ｎｏ）には、ステップＳ１５に移行して、画像提供サーバ１からの次の全方位合成画像情報の受信、又は、位置姿勢情報取得手段３１１による次の位置姿勢情報の取得を待機する。
【００６２】
一方、ステップＳ１７の判定の結果、クライアント端末３の入力部（不図示）から処理終了が指示された場合、又は指示入力装置４から通信部２３を介して終了指示信号を受信した場合など、終了指示があった場合（ステップＳ１７：Ｙｅｓ）には、処理を終了する。
【００６３】
以上、説明したように、第１実施例では、画像提供サーバ１は、仮想物体を描画し、当該仮想物体と全方位画像を合成し、全方位合成画像情報を複数のクライアント端末３に配信した。クライアント端末３は、画像提供サーバ１から全方位合成画像を受信すると、位置姿勢情報に基づいて、部分領域画像を抽出し、モニタ等の表示画面に表示するよう構成した。よって、クライアント端末３に処理負担をかけることなく、各ユーザが自分の視点を自在に変更しながら、複合現実感を体験することができる。
【００６４】
さらに、画像提供サーバ１の三次元物体描画手段１１１は、全方位画像情報に含まれる光源環境情報に基づいて光源分布を推定し、仮想物体の陰影を作成して仮想物体を描画した。これにより、光源環境情報を取得するための魚眼レンズ付きカメラや鏡面球などの特殊な光源情報取得手段を別途用意する必要がなく、全方位画像情報に含まれる光源環境情報に基づいて、適切な陰影付けを行うことができる。
【００６５】
さらに、指示入力装置４を備え、抽出手段３１２は、指示入力装置４からの表示範囲指定情報をに従って部分領域画像を抽出するよう構成した。これにより、ユーザは、指示入力装置４で所望の表示範囲を指定できる。
【００６６】
＜第２実施例＞
図７は、第２実施例における複合現実感表示システムＳ１の構成例を示すブロック図であり、図８は、第１実施例の概略説明図である。第１実施例と同様の構成については説明を省略する。
【００６７】
複合現実感表示システムＳ２は、画像提供サーバ５と、全方位画像取得カメラ２と、複数のクライアント端末６と、指示入力装置４等により構成される。全方位画像取得カメラ２と指示入力装置４は第１実施例と同様の構成である。
【００６８】
画像提供サーバ５は、演算機能を有するＣＰＵ、作業用ＲＡＭ、各種データ及びプログラムを記憶するＲＯＭ等から構成された制御部５１、ハードディスクドライブ等を備える記憶部５２、各種ネットワーク（ＬＡＮ（Local Area Network）を含む）を介して、全方位画像取得カメラ２、クライアント端末６、他の装置、又は各種周辺機器と通信を行なうための通信部５３を備えて構成されている。各構成部材はバスを介して相互に接続されている。
【００６９】
記憶部５２は、陰影情報データベース（ＤＢ）５２１、ＣＧ情報データベース（ＤＢ）５２２等を記憶する。陰影情報ＤＢ５２１は第１実施例の陰影情報ＤＢ１２１と同様の構成である。ＣＧ情報ＤＢ５２２は、第１実施例のＣＧ情報ＤＢ１２２と同様の構成である。
【００７０】
制御部５１は、三次元物体描画手段５１１、合成手段５１２、位置姿勢情報取得手段５１３、抽出手段５１４等を備える。三次元物体描画手段５１１は第１実施例の三次元物体描画手段１１１と同様の構成である。合成手段５１２は、第１実施例の合成手段１１２と同様の構成である。
【００７１】
位置姿勢情報取得手段５１３は、通信部５３を介してクライアント端末６から当該クライアント端末６の位置姿勢情報を取得する。
【００７２】
抽出手段５１４は、合成手段５１２が作成した全方位合成画像から、部分領域画像を抽出する。具体的に、合成手段５１２が作成した全方位合成画像に基づいて、位置姿勢情報が示す方向の領域を全方位合成画像から切り出して抽出する。抽出された部分領域画像は、部分領域画像情報として通信部５３を介してクライアント端末６へ送信され、クライアント端末６にて表示される。よって、ユーザは、全方位合成画像から自己の位置姿勢に応じた部分領域画像を観察することができる。
【００７３】
クライアント端末６は、演算機能を有するＣＰＵ、作業用ＲＡＭ、各種データ及びプログラムを記憶するＲＯＭ等から構成された制御部６１、モニタ等の表示画面を備える表示部６２、各種ネットワーク（ＬＡＮ（Local Area Network）を含む）を介して、画像提供サーバ５又は他の装置又は指示入力装置４等の各種周辺機器と通信を行なうための通信部６３を備えて構成されている。各構成部材はバスを介して相互に接続されている。
【００７４】
制御部６１は、位置姿勢情報取得手段６１１等を備える。位置姿勢情報取得手段６１１は、第１実施例の位置姿勢情報取得手段３１１と同様の構成である。クライアント端末６は、位置姿勢情報取得手段６１１が位置姿勢情報を取得すると、当該位置姿勢情報を画像提供サーバ５へ送信する。そして、クライアント端末６は、位置姿勢情報に応じた部分領域画像情報を画像提供サーバ５から受信し、表示部６２の表示画面に表示する。
【００７５】
全方位画像取得カメラ２は、例えば、数十分の１秒ごとに繰り返し撮影を行い、その都度取得された全方位画像情報を、画像提供サーバ５へ送信する。画像提供サーバ５の三次元物体描画手段５１１及び合成手段５１２は、新しい全方位画像を受信するたびに、全方位合成画像を作成する。また、クライアント端末６の位置姿勢情報取得手段６１１は、例えば、数十分の１秒〜数分の一秒ごとに位置姿勢情報を取得し、画像提供サーバ５へ送信する。そして、画像提供サーバ５の位置姿勢情報取得手段５１３はこれを受信（取得）する。抽出手段５１４は、新しい全方位合成画像が作成されるたびに、又は新しい位置姿勢情報を取得するたびに、抽出処理を行なう
【００７６】
図９は、画像提供サーバ５の部分領域画像送信処理を示すフローチャートである。部分領域画像送信処理は、制御部５１が実行する処理であり、位置姿勢情報取得手段５１３がクライアント端末３からの位置姿勢情報を受信したときに開始する。
【００７７】
ステップＳ２１乃至ステップＳ２５の処理は、第１実施例のステップＳ１乃至ステップＳ５と同様の処理のため説明を省略する。
【００７８】
次に、制御部５１は、位置姿勢情報取得手段５１３が取得した位置姿勢情報に基づいて、ステップＳ２５で作成した全方位合成画像から部分領域画像を抽出する（ステップＳ２６）。制御部５１は、抽出した部分領域画像を位置姿勢情報の送信元のクライアント端末６へ送信する（ステップＳ２７）。
【００７９】
続いて、制御部５１は、位置姿勢情報取得手段５１３がクライアント端末６からの次の位置姿勢情報を取得したか否かを判定する（ステップＳ２８）。判定の結果、取得した場合（ステップＳ２８：Ｙｅｓ）には、ステップＳ２６に移行して、次の位置姿勢情報に対してステップＳ２６〜ステップＳ２８の処理を繰り返し行う。
【００８０】
一方、ステップＳ２８の判定の結果、取得していない場合（ステップＳ２８：Ｎｏ）には、制御部５１は、全方位画像取得カメラ２から次の全方位画像情報を取得したか否かを判定する（ステップＳ２９）。判定の結果、取得した場合（ステップＳ２９：Ｙｅｓ）には、ステップＳ２２に移行して、次の全方位画像情報に対してステップＳ２２〜ステップＳ２９の処理を繰り返し行う。
【００８１】
一方、ステップＳ２９の判定の結果、取得していない場合（ステップＳ２９：Ｎｏ）には、終了指示があったか否かを判定する（ステップＳ３０）。判定の結果、終了指示がない場合（ステップＳ３０：Ｎｏ）には、ステップＳ２８に移行して、全方位画像取得カメラ２からの次の全方位画像情報の受信、又は位置姿勢情報取得手段５１３による次の位置姿勢情報の取得を待機する。
【００８２】
一方、ステップＳ３０の判定の結果、画像提供サーバ５の入力部（不図示）から処理終了が指示された場合、又は遠隔のサーバ管理者からネットワークを通じて終了指示信号を受信した場合など、終了指示があった場合（ステップＳ３０：Ｙｅｓ）には、処理を終了する。
【００８３】
以上、説明したように、第２実施例によれば、クライアント端末６に処理負担をかけることなく、各ユーザが自分の視点を自在に変更しながら、複合現実感を体験することができる。特に、画像提供サーバ５が、陰影付け、合成、抽出を行うため、クライアント端末６に対し複合現実感を体験することができる部分領域画像を提供できる。
【００８４】
なお、上述した各実施例では、クライアント端末３（又はクライアント端末６）とネットワークを通じて情報の授受が可能な指示入力装置４を本発明の指示入力手段の一例としたが、指示入力手段をクライアント端末内部に備えてもよい。
【００８５】
また、ＣＧ情報ＤＢ１２２に複数種類のＣＧ情報を登録しておき、複数種類の三次元ＣＧ物体による合成画像を鑑賞することができるよう構成することもできる。ＣＧ情報の種類が、例えば、「Ａ社提供の広告」、「Ｂ社提供の広告」、「文化財建造物」、「道案内」の場合、指示入力装置４の表示パネルに「Ａ社提供の広告」、「Ｂ社提供の広告」、「文化財建造物」、「道案内」の指示ボタンを表示する。三次元物体描画手段１１１（又は三次元物体描画手段５１１）は、ユーザにより選択された指示ボタンのＣＧ情報に基づいて、三次元ＣＧ物体を作成し、合成手段１１２（又は合成手段５１２）が、三次元ＣＧ物体を全方位画像と合成して全方位合成画像を作成する。この構成により、ユーザは所望の仮想物体を鑑賞することができる。
【００８６】
また、本発明は、図５、図６、図９のフローチャートには限定されない。例えば、ステップＳ７、Ｓ８、Ｓ１５〜Ｓ１７、Ｓ２８〜Ｓ３０の各判断処理は、各装置の処理において他の処理と並行して実行してもよい。具体的には、ステップＳ１５で次の位置姿勢情報を取得した場合に次の位置姿勢情報に対するステップＳ１３〜１５の処理を実行中に、次の全方位合成画像情報を受信したか否かの判断処理を行ってもよい。
【００８７】
（応用例）
複数の全方位画像取得カメラを備えてもよい。図１０は、複数の全方位画像取得カメラを備えた場合の概略説明図である。
【００８８】
例えば、現実世界に、写したくない障害物（例えば、視界を防ぐ物、特定企業の広告、公序良俗に反する物等）がある場合、全方位画像取得カメラ２Ａの全方位画像と、全方位画像取得カメラ２Ｂの全方位画像から障害物を除去して合成して、一つの全方位画像を作成してもよい。
【００８９】
画像提供サーバ１（又は画像提供サーバ５）の制御部１１（又は制御部５１）が、全方位画像取得カメラ２Ａと２Ｂのそれぞれから全方位画像を取得し、両全方位画像から障害物を除去し、両全方位画像を合成して一つの全方位画像を作成する。
【００９０】
本発明の適用範囲は上記実施形態に限定されることはない。本発明は、複合現実感を表示するシステムに広く適用することができる。
【符号の説明】
【００９１】
１  画像提供サーバ
１１１  三次元物体描画手段
１１２  合成手段
２  全方位画像取得カメラ
３  クライアント端末
３１１  位置姿勢情報取得手段
３１２  抽出手段
３２  表示部
４  指示入力装置
５  画像提供サーバ
５１１  三次元物体描画手段
５１２  合成手段
５１３  位置姿勢情報取得手段
５１４  抽出手段
６  クライアント端末
６２  表示部
【図１】
2012048597.tif 000003
【図２】
2012048597.tif 000004
【図４】
2012048597.tif 000005
【図５】
2012048597.tif 000006
【図６】
2012048597.tif 000007
【図７】
2012048597.tif 000008
【図９】
2012048597.tif 000009
【図３】
2012048597.tif 000010
【図８】
2012048597.tif 000011
【図１０】
2012048597.tif 000012