【手続補正書】
【提出日】平成25年8月29日(2013.8.29)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】複合現実感表示システム、画像提供サーバ、表示装置及び表示プログラム
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像提供サーバと複数の表示装置とが通信可能に構成された複合現実感表示システムであって、
前記画像提供サーバは、
仮想物体を描画する仮想物体描画手段と、
前記仮想物体描画手段が描画した仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された現実空間画像を合成する合成手段と、
前記合成手段が合成して得た合成画像情報を前記複数の表示装置に向けて配信する配信手段と、を有し、
前記表示装置は、
前記画像提供サーバから前記合成画像情報を受信する受信手段と、
前記表示装置を観察するユーザの視線を定義する位置情報又は姿勢情報の少なくともいずれか一方を取得する位置姿勢情報取得手段と、
前記位置姿勢情報取得手段が取得した前記位置情報又は／及び前記姿勢情報に基づいて、前記受信手段が受信した前記合成画像情報が示す合成画像から部分領域画像を抽出する抽出手段と、
前記抽出手段が抽出した前記部分領域画像を表示する表示手段と、
を有することを特徴とする複合現実感表示システム。
【請求項２】
画像提供サーバと複数の表示装置とが通信可能に構成された複合現実感表示システムに含まれる前記画像提供サーバであって、
仮想物体を描画する仮想物体描画手段と、
前記仮想物体描画手段が描画した仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された現実空間画像を合成する合成手段と、
前記合成手段が合成して得た合成画像情報を前記複数の表示装置に向けて配信する配信手段と、を有し、
前記仮想物体描画手段は、前記現実空間画像情報に含まれる光源環境情報に基づいて光源分布を推定し、仮想物体の陰影を作成して前記仮想物体を描画することを特徴とする画像提供サーバ。
【請求項３】
複数の前記カメラからそれぞれ取得した前記現実空間画像に写る障害物を除去する除去手段を有し、
前記合成手段は、前記除去手段による障害物除去後の各前記現実空間画像を合成し、合成後の現実空間画像と前記仮想物体を合成して前記合成画像情報を得ることを特徴とする請求項２に記載の画像提供サーバ。
【請求項４】
画像提供サーバと複数の表示装置とが通信可能に構成された複合現実感表示システムに含まれる前記表示装置であって、
仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された現実空間画像と、を合成した合成画像を前記画像提供サーバから受信する受信手段と、
前記表示装置を観察するユーザの視線を定義する位置情報又は姿勢情報の少なくともいずれか一方を取得する位置姿勢情報取得手段と、
前記位置姿勢情報取得手段が取得した前記位置情報又は／及び前記姿勢情報に基づいて、前記受信手段が受信した前記合成画像情報が示す合成画像から部分領域画像を抽出する抽出手段と、
前記抽出手段が抽出した前記部分領域画像を表示する表示手段と、
を有することを特徴とする表示装置。
【請求項５】
表示範囲の指定を受け付ける指示入力手段を備え、
前記抽出手段は、前記指示入力手段からの表示範囲指定情報に従って前記合成画像から前記部分領域画像を抽出し、
前記表示手段は、前記抽出手段が抽出した前記部分領域画像を表示することを特徴とする請求項４に記載の表示装置。
【請求項６】
コンピュータを、請求項４又は５に記載の表示装置として機能させることを特徴とする複合現実感表示プログラム。
【請求項７】
複数の表示装置にて、仮想物体と現実空間画像を合成した画像を表示する複合現実感表示方法であって、
画像提供サーバが、前記仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された前記現実空間画像を合成するステップと、合成後の合成画像情報を、前記複数の表示装置に向けて配信するステップと、を有し、
前記表示装置が、当該表示装置を観察するユーザの視線を定義する位置情報又は姿勢情報の少なくともいずれか一方を取得するステップと、前記位置情報又は／及び前記姿勢情報に基づいて、前記画像提供サーバから受信した前記合成画像情報が示す合成画像から部分領域画像を抽出するステップと、前記部分領域画像を表示するステップと、を有することを特徴とする複合現実感表示方法。
【請求項８】
画像提供サーバと複数の表示装置とが通信可能に構成された複合現実感表示システムであって、
前記画像提供サーバは、
仮想物体を描画する仮想物体描画手段と、
前記仮想物体描画手段が描画した仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された現実空間画像を合成する合成手段と、
前記表示装置から、当該表示装置を観察するユーザの視線を定義する位置情報又は姿勢情報の少なくともいずれか一方を取得する位置姿勢情報取得手段と、
前記位置姿勢情報取得手段が取得した前記位置情報又は／及び前記姿勢情報に基づいて、前記合成手段が合成して得た合成画像から部分領域画像を抽出する抽出手段と、
前記抽出手段が抽出した前記部分領域画像を、前記複数の表示装置のうち前記位置情報又は／及び前記姿勢情報の送信元である前記表示装置に送信する送信手段と、を有し、
前記表示装置は、
前記画像提供サーバに前記位置情報又は前記姿勢情報の少なくともいずれか一方を送信する送信手段と、
前記画像提供サーバから前記部分領域画像を受信する受信手段と、
前記受信手段が受信した前記部分領域画像を表示する表示手段と、
を有することを特徴とする複合現実感表示システム。
【請求項９】
画像提供サーバと複数の表示装置とが通信可能に構成された複合現実感表示システムに含まれる前記画像提供サーバであって、
仮想物体を描画する仮想物体描画手段と、
前記仮想物体描画手段が描画した仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された現実空間画像を合成する合成手段と、
前記表示装置から、当該表示装置を観察するユーザの視線を定義する位置情報又は姿勢情報の少なくともいずれか一方を取得する位置姿勢情報取得手段と、
前記位置姿勢情報取得手段が取得した前記位置情報又は／及び前記姿勢情報に基づいて、前記合成手段が合成して得た合成画像から部分領域画像を抽出する抽出手段と、
前記抽出手段が抽出した前記部分領域画像を、前記複数の表示装置のうち前記位置情報又は／及び前記姿勢情報の送信元である前記表示装置に送信する送信手段と、
を有することを特徴とする画像提供サーバ。
【請求項１０】
前記仮想物体描画手段は、前記現実空間画像情報に含まれる光源環境情報に基づいて光源分布を推定し、仮想物体の陰影を作成して前記仮想物体を描画することを特徴とする請求項９に記載の画像提供サーバ。
【請求項１１】
複数の前記カメラからそれぞれ取得した前記現実空間画像に写る障害物を除去する除去手段を有し、
前記合成手段は、前記除去手段による障害物除去後の各前記現実空間画像を合成し、合成後の現実空間画像と前記仮想物体を合成して前記合成画像情報を得ることを特徴とする請求項８乃至１０のいずれか一項に記載の画像提供サーバ。
【請求項１２】
複数の表示装置にて、仮想物体と現実空間画像を合成した画像を表示する複合現実感表示方法であって、
画像提供サーバが、前記仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された前記現実空間画像を合成するステップと、前記表示装置から送信された当該表示装置を観察するユーザの視線を定義する位置情報又は姿勢情報の少なくともいずれか一方を取得するステップと、取得した前記位置情報又は／及び前記姿勢情報に基づいて、合成後の合成画像から部分領域画像を抽出するステップと、前記部分領域画像を前記前記位置情報又は／及び前記姿勢情報の送信元の表示装置に送信するステップと、を有し、
前記表示装置が、前記画像提供サーバから受信した前記部分領域画像を表示するステップと、を有することを特徴とする複合現実感表示方法。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
本発明の複合現実感表示方法は、複数の表示装置にて、仮想物体と現実空間画像を合成した画像を表示する複合現実感表示方法であって、画像提供サーバが、前記仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された前記現実空間画像を合成するステップと、合成後の合成画像情報を、前記複数の表示装置に向けて配信するステップと、を有し、前記表示装置が、当該表示装置を観察するユーザの視線を定義する位置情報又は姿勢情報の少なくともいずれか一方を取得するステップと、前記位置情報又は／及び前記姿勢情報に基づいて、前記画像提供サーバから受信した前記合成画像情報が示す合成画像から部分領域画像を抽出するステップと、前記部分領域画像を表示するステップと、を有することを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
本発明の複合現実感表示方法は、複数の表示装置にて、仮想物体と現実空間画像を合成した画像を表示する複合現実感表示方法であって、画像提供サーバが、前記仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された前記現実空間画像を合成するステップと、前記表示装置から送信された当該表示装置を観察するユーザの視線を定義する位置情報又は姿勢情報の少なくともいずれか一方を取得するステップと、取得した前記位置情報又は／及び前記姿勢情報に基づいて、合成後の合成画像から部分領域画像を抽出するステップと、前記部分領域画像を前記前記位置情報又は／及び前記姿勢情報の送信元の表示装置に送信するステップと、を有し、前記表示装置が、前記画像提供サーバから受信した前記部分領域画像を表示するステップと、を有することを特徴とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
【図１】本発明の複合現実感表示システムの概略説明図である。
【図２】第１実施例における複合現実感表示システムＳ１の構成例を示すブロック図である。
【図３】第１実施例の概略説明図である。
【図４】（Ａ）は指示入力装置４の説明図である。（Ｂ）及び（Ｃ）は指示入力装置４の表示範囲指定インターフェース例である。
【図５】第１実施例の画像提供サーバ１の全方位合成画像配信処理を示すフローチャートである。
【図６】第１実施例のクライアント端末３の表示処理を示すフローチャートである。
【図７】第２実施例における複合現実感表示システムＳ２の構成例を示すブロック図である。
【図８】第２実施例の概略説明図である。
【図９】第２実施例の画像提供サーバ５の部分領域画像送信処理を示すフローチャートである。
【図１０】複数の全方位画像取得カメラを備えた場合の概略説明図である。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００６１
【補正方法】変更
【補正の内容】
【００６１】
一方、ステップＳ１６の判定の結果、取得していない場合（ステップＳ１６：Ｎｏ）には、終了指示があったか否かを判定する（ステップＳ１７）。判定の結果、終了指示がない場合（ステップＳ１７：Ｎｏ）には、ステップＳ１５に移行して、画像提供サーバ１からの次の全方位合成画像情報の受信、又は、位置姿勢情報取得手段３１１による次の位置姿勢情報の取得を待機する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００６６
【補正方法】変更
【補正の内容】
【００６６】
＜第２実施例＞
図７は、第２実施例における複合現実感表示システムＳ１の構成例を示すブロック図であり、図８は、第２実施例の概略説明図である。第１実施例と同様の構成については説明を省略する。