(57)【要約】  第１画像処理装置は、第１撮像部から第１撮像画像を取得する取得部と、この第１撮像画像から既知の共通実オブジェクトを検出する検出部と、共通実オブジェクトに基づいて３次元座標空間を設定する設定部と、当該３次元座標空間の３次元位置情報を第２画像処理装置に送信する送信部とを有し、第２画像処理装置は、第２撮像部から第２撮像画像を取得する取得部と、この第２撮像画像から既知の上記共通実オブジェクトを検出する検出部と、この共通実オブジェクトに基づいて第１画像処理装置において設定される３次元座標空間と同じ３次元座標空間を設定する設定部と、第１画像処理装置から上記３次元位置情報を受信する受信部と、この３次元位置情報を用いて、第２撮像画像に合成される仮想３次元オブジェクトデータを処理する処理部とを有する。
2014016986.tif 000002
【特許請求の範囲】
【請求項１】
第１画像処理装置及び第２画像処理装置を含む３次元環境共有システムにおいて、
前記第１画像処理装置は、
第１撮像部から第１撮像画像を取得する第１画像取得部と、
前記第１画像取得部により取得される前記第１撮像画像から既知の共通実オブジェクトを検出する第１オブジェクト検出部と、
前記第１オブジェクト検出部により検出される前記共通実オブジェクトに基づいて、３次元座標空間を設定する第１座標設定部と、
前記３次元座標空間の３次元位置情報を前記第２画像処理装置に送信する送信部と、
を備え、
前記第２画像処理装置は、
前記第１撮像部とは異なる位置及び異なる向きに配置され、かつ、前記第１撮像部と撮像領域が少なくとも一部重複する第２撮像部から、第２撮像画像を取得する第２画像取得部と、
前記第２画像取得部により取得される前記第２撮像画像から既知の前記共通実オブジェクトを検出する第２オブジェクト検出部と、
前記第２オブジェクト検出部により検出される前記共通実オブジェクトに基づいて、前記第１画像処理装置において設定される前記３次元座標空間と同じ３次元座標空間を設定する第２座標設定部と、
前記第１画像処理装置から前記３次元位置情報を受信する受信部と、
前記受信部により受信される前記３次元位置情報を用いて、前記第２撮像画像に合成される仮想３次元オブジェクトデータを処理するオブジェクト処理部と、
を備える３次元環境共有システム。
【請求項２】
前記第１画像処理装置は、
前記第１オブジェクト検出部により検出される前記共通実オブジェクトに基づいて、前記第１撮像部の位置及び向きを算出する第１基準設定部と、
前記第１撮像部の位置及び向き並びに前記３次元座標空間に基づいて、前記３次元位置情報に対応する前記３次元座標空間内の位置に配置される仮想３次元オブジェクトを前記第１撮像画像に合成する第１画像合成部と、
前記第１画像合成部により得られる合成画像を第１表示部に表示させる第１表示処理部と、
を更に備え、
前記第２画像処理装置は、
前記第２オブジェクト検出部により検出される前記共通実オブジェクトに基づいて、前記第２撮像部の位置及び向きを算出する第２基準設定部と、
前記第２撮像部の位置及び向き並びに前記３次元座標空間に基づいて、前記オブジェクト処理部により処理された仮想３次元オブジェクトデータに対応する仮想３次元オブジェクトを前記第２撮像画像に合成する第２画像合成部と、
前記第２画像合成部により得られる合成画像を第２表示部に表示させる第２表示処理部と、
を更に備える請求項１に記載の３次元環境共有システム。
【請求項３】
前記第１撮像部は、３次元センサであり、
前記第１画像取得部は、前記第１撮像画像と共に、前記第１撮像部から前記第１撮像画像に対応する深度情報を更に取得し、
前記第１画像処理装置は、
前記第１オブジェクト検出部により検出される前記共通実オブジェクトに基づいて、前記第１撮像部の位置及び向きを算出する第１基準設定部と、
前記第１撮像画像及び前記深度情報を用いて、前記第１撮像画像に含まれる特定被写体の３次元位置情報を取得し、該取得された特定被写体の３次元位置情報を前記第１基準設定部により算出される前記第１撮像部の位置及び向き並びに前記３次元座標空間に基づいて、前記３次元座標空間の３次元位置情報に変換する位置算出部と、
を更に備え、
前記第２画像処理装置は、
前記第２オブジェクト検出部により検出される前記共通実オブジェクトに基づいて、前記第２撮像部の位置及び向きを算出する第２基準設定部と、
前記第２撮像部の位置及び向き並びに前記３次元座標空間に基づいて、前記オブジェクト処理部により処理された仮想３次元オブジェクトデータに対応する仮想３次元オブジェクトを前記第２撮像画像に合成する第２画像合成部と、
前記第２画像合成部により得られる合成画像を第２表示部に表示させる第２表示処理部と、
を更に備える、
請求項１に記載の３次元環境共有システム。
【請求項４】
第１画像処理装置及び第２画像処理装置により実行される３次元環境共有方法において、
前記第１画像処理装置が、
第１撮像部から第１撮像画像を取得し、
前記取得される第１撮像画像から既知の共通実オブジェクトを検出し、
前記検出される共通実オブジェクトに基づいて、３次元座標空間を設定し、
前記３次元座標空間の３次元位置情報を前記第２画像処理装置に送信し、
前記第２画像処理装置が、
前記第１撮像部とは異なる位置及び異なる向きに配置され、かつ、前記第１撮像部と撮像領域が少なくとも一部重複する第２撮像部から、第２撮像画像を取得し、
前記取得される第２撮像画像から既知の前記共通実オブジェクトを検出し、
前記検出される共通実オブジェクトに基づいて、前記第１画像処理装置において設定される前記３次元座標空間と同じ３次元座標空間を設定し、
前記第１画像処理装置から前記３次元位置情報を受信し、
前記受信される３次元位置情報を用いて、前記第２撮像画像に合成される仮想３次元オブジェクトデータを処理する、
ことを含む３次元環境共有方法。
【請求項５】
前記第１画像処理装置が、
前記検出される共通実オブジェクトに基づいて、前記第１撮像部の位置及び向きを算出し、
前記第１撮像部の位置及び向き並びに前記３次元座標空間に基づいて、前記３次元位置情報に対応する前記３次元座標空間内の位置に配置される仮想３次元オブジェクトを前記第１撮像画像に合成し、
前記合成により得られる合成画像を第１表示部に表示させ、
前記第２画像処理装置が、
前記検出される共通実オブジェクトに基づいて、前記第２撮像部の位置及び向きを算出し、
前記第２撮像部の位置及び向き並びに前記３次元座標空間に基づいて、前記処理された仮想３次元オブジェクトデータに対応する仮想３次元オブジェクトを前記第２撮像画像に合成し、
前記合成により得られる合成画像を第２表示部に表示させる、
ことを更に含む請求項４に記載の３次元環境共有方法。
【請求項６】
前記第１撮像部は、３次元センサであり、
前記第１画像処理装置が、
前記第１撮像部から前記第１撮像画像に対応する深度情報を取得し、
前記検出された共通実オブジェクトに基づいて、前記第１撮像部の位置及び向きを算出し、
前記第１撮像画像及び前記深度情報を用いて、前記第１撮像画像に含まれる特定被写体の３次元位置情報を取得し、
前記取得された特定被写体の３次元位置情報を前記第１撮像部の位置及び向き並びに前記３次元座標空間に基づいて、前記３次元座標空間の３次元位置情報に変換し、
前記第２画像処理装置が、
前記検出される共通実オブジェクトに基づいて、前記第２撮像部の位置及び向きを算出し、
前記第２撮像部の位置及び向き並びに前記３次元座標空間に基づいて、前記処理された仮想３次元オブジェクトデータに対応する仮想３次元オブジェクトを前記第２撮像画像に合成し、
前記合成により得られる合成画像を第２表示部に表示させる、
ことを更に含む請求項４に記載の３次元環境共有方法。
【請求項７】
前記第１画像処理装置及び前記第２画像処理装置に、請求項４から６のいずれか１項に記載の３次元環境共有方法を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータ上での３次元環境実現技術に関する。
【背景技術】
【０００２】
近年、３ＤＣＧ（３次元コンピュータグラフィックス）や拡張現実（ＡＲ）等のような、コンピュータ上で３次元環境を実現する技術が盛んに実用化されている。ＡＲ技術は、スマートフォン等の携帯機器のカメラやヘッドマウントディスプレイ（ＨＭＤ）を介して得られる現実世界上の対象物に仮想オブジェクトやデータを重畳的に表示させる。このような表示技術により、ユーザは、３次元映像を視認することができる。【０００３】
下記特許文献１には、深度検知カメラを使用してシーン内でのユーザの識別およびトラッキングを行い、その結果に応じて、そのユーザの移動を模擬するアバターアニメーションをそのシーン内に表示させることが提案されている。また、下記特許文献２には、アームカバーやグローブ等の付加的装備を必要とせずに、ユーザに、ナチュラルな３次元環境におけるコンピュータインタラクション経験を提供する技術が提案されている。この提案では、ユーザと対向する位置に深度カメラが設置され、その深度カメラで写されたユーザと共にバーチャルオブジェクトが挿入された画像をディスプレイに表示させつつ、そのユーザとバーチャルオブジェクトとの間のインタラクションが検出される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２０１１−５１５７３６号公報
【特許文献２】特許第４２７１２３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の各特許文献で提案される手法は、１台の撮像装置で撮像される撮像画像を用いてコンピュータ上の３次元環境を実現しているに過ぎず、複数の撮像装置で撮像される複数の撮像画像を用いることを全く想定していない。【０００６】
本発明は、上述のような事情に鑑みてなされたものであり、異なる位置及び異なる方向から撮像された各撮像画像を処理する複数の画像処理装置間で１つの３次元環境を共有する技術を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の各態様では、上述した課題を解決するために、それぞれ以下の構成を採用する。【０００８】
第１の態様は、第１画像処理装置及び第２画像処理装置を含む３次元環境共有システムに関する。第１画像処理装置は、第１撮像部から第１撮像画像を取得する第１画像取得部と、この第１画像取得部により取得される第１撮像画像から既知の共通実オブジェクトを検出する第１オブジェクト検出部と、この第１オブジェクト検出部により検出される共通実オブジェクトに基づいて、３次元座標空間を設定する第１座標設定部と、当該３次元座標空間の３次元位置情報を第２画像処理装置に送信する送信部と、を有する。第２画像処理装置は、第１撮像部とは異なる位置及び異なる向きに配置され、かつ、第１撮像部と撮像領域が少なくとも一部重複する第２撮像部から、第２撮像画像を取得する第２画像取得部と、この第２画像取得部により取得される第２撮像画像から既知の上記共通実オブジェクトを検出する第２オブジェクト検出部と、この第２オブジェクト検出部により検出される上記共通実オブジェクトに基づいて、第１画像処理装置において設定される３次元座標空間と同じ３次元座標空間を設定する第２座標設定部と、第１画像処理装置から上記３次元位置情報を受信する受信部と、この受信部により受信される３次元位置情報を用いて、第２撮像画像に合成される仮想３次元オブジェクトデータを処理するオブジェクト処理部とを有する。【０００９】
本発明の第２態様は、第１画像処理装置及び第２画像処理装置により実行される３次元環境共有方法に関する。３次元環境共有方法は、第１画像処理装置が、第１撮像部から第１撮像画像を取得し、取得された第１撮像画像から既知の共通実オブジェクトを検出し、検出された共通実オブジェクトに基づいて、３次元座標空間を設定し、この３次元座標空間の３次元位置情報を第２画像処理装置に送信し、第２画像処理装置が、第１撮像部とは異なる位置及び異なる向きに配置され、かつ、第１撮像部と撮像領域が少なくとも一部重複する第２撮像部から、第２撮像画像を取得し、取得された第２撮像画像から既知の上記共通実オブジェクトを検出し、検出された共通実オブジェクトに基づいて、第１画像処理装置において設定される３次元座標空間と同じ３次元座標空間を設定し、第１画像処理装置から３次元位置情報を受信し、受信された３次元位置情報を用いて、第２撮像画像に合成される仮想３次元オブジェクトデータを処理する、ことを含む。【００１０】
なお、本発明の他の態様としては、上記第１態様に含まれる各構成を各コンピュータにそれぞれ実現させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。
【発明の効果】
【００１１】
上記各態様によれば、異なる位置及び異なる方向から撮像された各撮像画像を処理する複数の画像処理装置間で１つの３次元環境を共有する技術を提供することができる。
【図面の簡単な説明】
【００１２】
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施形態、およびそれに付随する以下の図面によってさらに明らかになる。【００１３】
【図１】第１実施形態における３次元環境共有システムのハードウェア構成例を概念的に示す図である。
【図２】第１実施形態における３次元環境共有システムの利用形態の例を示す図である。
【図３】ＨＭＤの外観構成の例を示す図である。
【図４】第１実施形態におけるセンサ側装置の処理構成例を概念的に示す図である。
【図５】第１実施形態における表示側装置の処理構成例を概念的に示す図である。
【図６】ＨＭＤに表示される合成画像の例を示す図である。
【図７】第１実施形態における３次元環境共有システムの動作例を示すシーケンスチャートである。
【図８】第２実施形態における３次元環境共有システムのハードウェア構成例を概念的に示す図である。
【図９】第２実施形態における第１画像処理装置の処理構成例を概念的に示す図である。
【図１０】第２実施形態における第２画像処理装置の処理構成例を概念的に示す図である。
【図１１】第２実施形態における３次元環境共有システムの動作例を示すシーケンスチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について説明する。なお、以下に挙げる各実施形態はそれぞれ例示であり、本発明は以下の各実施形態の構成に限定されない。
【００１５】
本実施形態における３次元環境共有システムは、第１画像処理装置及び第２画像処理装置を含む。第１画像処理装置は、第１撮像部から第１撮像画像を取得する第１画像取得部と、この第１画像取得部により取得される第１撮像画像から既知の共通実オブジェクトを検出する第１オブジェクト検出部と、この第１オブジェクト検出部により検出される共通実オブジェクトに基づいて、３次元座標空間を設定する第１座標設定部と、当該３次元座標空間の３次元位置情報を第２画像処理装置に送信する送信部と、を有する。第２画像処理装置は、第１撮像部とは異なる位置及び異なる向きに配置され、かつ、第１撮像部と撮像領域が少なくとも一部重複する第２撮像部から、第２撮像画像を取得する第２画像取得部と、この第２画像取得部により取得される第２撮像画像から既知の上記共通実オブジェクトを検出する第２オブジェクト検出部と、この第２オブジェクト検出部により検出される上記共通実オブジェクトに基づいて、第１画像処理装置において設定される３次元座標空間と同じ３次元座標空間を設定する第２座標設定部と、第１画像処理装置から上記３次元位置情報を受信する受信部と、この受信部により受信される３次元位置情報を用いて、第２撮像画像に合成される仮想３次元オブジェクトデータを処理するオブジェクト処理部とを有する。
【００１６】
本実施形態における３次元環境共有方法は、第１画像処理装置及び第２画像処理装置により実行される。本３次元環境共有方法は、第１画像処理装置が、第１撮像部から第１撮像画像を取得し、取得された第１撮像画像から既知の共通実オブジェクトを検出し、検出された共通実オブジェクトに基づいて、３次元座標空間を設定し、この３次元座標空間の３次元位置情報を第２画像処理装置に送信し、第２画像処理装置が、第１撮像部とは異なる位置及び異なる向きに配置され、かつ、第１撮像部と撮像領域が少なくとも一部重複する第２撮像部から、第２撮像画像を取得し、取得された第２撮像画像から既知の前記共通実オブジェクトを検出し、検出された共通実オブジェクトに基づいて、第１画像処理装置において設定される３次元座標空間と同じ３次元座標空間を設定し、第１画像処理装置から３次元位置情報を受信し、受信された３次元位置情報を用いて、第２撮像画像に合成される仮想３次元オブジェクトデータを処理する、ことを含む。
【００１７】
本実施形態では、第１画像処理装置では第１撮像部から第１撮像画像が取得され、第２画像処理装置では第２撮像部から第２撮像画像が取得される。ここで、第２撮像部は、第１撮像部とは異なる位置及び異なる向きに配置され、かつ、第１撮像部と撮像領域が少なくとも一部重複する。これにより、第１撮像画像及び第２撮像画像は、現実世界の或る空間又は或る被写体が異なる位置及び異なる方向からそれぞれ撮像されることで得られる画像である。
【００１８】
本実施形態では、第１画像処理装置及び第２画像処理装置において、第１撮像画像及び第２撮像画像から、既知の共通実オブジェクトがそれぞれ検出され、各々検出された共通実オブジェクトに基づいて、共通の３次元座標空間がそれぞれ設定される。共通実オブジェクトとは、現実世界に配置された画像や物であり、ＡＲ（Augmented Reality）マーカ等と呼ばれる。本実施形態は、この共通実オブジェクトから、参照方向によらず、或る基準点及びこの基準点からの相互に直交する３つの方向を一定に得ることができるのであれば、この共通実オブジェクトの具体的形態を制限しない。第１画像処理装置及び第２画像処理装置は、その共通実オブジェクトが示す形状、サイズ、色などについての情報を予め保持しており、このような既知の情報を用いて、共通実オブジェクトを各画像から検出する。また、３次元座標空間は、３次元座標で示される３次元空間を示す。
【００１９】
このように、本実施形態によれば、共通実オブジェクトを用いることで、第１画像処理装置及び第２画像処理装置間で１つの３次元座標空間を共有することができる。本実施形態では、このように共有された３次元座標空間における３次元位置情報が第１画像処理装置から第２画像処理装置に送られ、第２画像処理装置において、その受信された３次元位置情報を用いて、第２撮像画像に合成される仮想３次元オブジェクトデータが処理される。
【００２０】
第１画像処理装置から第２画像処理装置に送信される３次元位置情報は、例えば、第１撮像画像及び第２撮像画像の両方に含まれている現実世界の被写体に関する位置情報である。その３次元位置情報は、第１画像処理装置及び第２画像処理装置で共有される３次元座標空間を用いて示されているため、本実施形態によれば、第２撮像画像に含まれるその被写体と任意の位置関係に配置される仮想３次元オブジェクトを生成することができる。
【００２１】
また、当該３次元位置情報は、第１撮像画像に合成される仮想３次元オブジェクトに関する位置情報であってもよい。この場合には、第２画像処理装置で生成されるデータに対応する仮想３次元オブジェクトが、第１画像処理装置及び第２画像処理装置で共有される当該３次元座標空間における、第１画像処理装置において第１撮像画像に合成される仮想３次元オブジェクトと同じ位置に配置され得る。従って、各仮想３次元オブジェクトを第１撮像画像及び第２撮像画像にそれぞれ合成し、各合成画像をそれぞれ各ユーザに提示すれば、各ユーザは、１つの仮想３次元オブジェクトを各方向からそれぞれ見ているような感覚を得ることができる。
【００２２】
以下、上述の実施形態について更に詳細を説明する。
［第１実施形態］
〔装置構成〕
図１は、第１実施形態における３次元環境共有システム１のハードウェア構成例を概念的に示す図である。第１実施形態における３次元環境共有システム１は、大きく、センサ側構成と表示側構成とを持つ。センサ側構成は、３次元センサ（以降、３Ｄセンサと表記する）８及びセンサ側装置１０から形成される。センサ側装置１０は、本発明の第１画像処理装置に相当する。表示側構成は、ヘッドマウントディスプレイ（以降、ＨＭＤと表記する）９及び表示側装置２０から形成される。表示側装置２０は、本発明の第２画像処理装置に相当する。以降、３次元を３Ｄと適宜省略して表記する。
【００２３】
図２は、第１実施形態における３次元環境共有システム１の利用形態の例を示す図である。図２に示されるように、３Ｄセンサ８は、対象者（ユーザ）の特定部位を検出できる位置に配置される。特定部位とは、対象者がＨＭＤ９に表示される仮想３Ｄオブジェクトを操作するために用いる体の一部である。本実施形態は、この特定部位を制限しない。この対象者の特定部位は、３Ｄセンサ８で得られる３Ｄ情報に含まれる２次元画像の被写体を示すため、特定被写体と呼ぶこともできる。ＨＭＤ９は、対象者（ユーザ）の頭部に装着され、対象者の視線に対応する視線映像と共に、その視線映像に合成された仮想３Ｄオブジェクトを対象者に視認させる。
【００２４】
３Ｄセンサ８は、対象者の特定部位の検出などのために利用される３Ｄ情報を検出する。３Ｄ情報は、可視光により得られる対象者の２次元画像と、３Ｄセンサ８からの距離（深度）の情報とを含む。即ち、３Ｄセンサ８は、例えば、Ｋｉｎｅｃｔ（登録商標）のように、可視光カメラ及び距離画像センサにより実現される。距離画像センサは、深度センサとも呼ばれ、レーザから近赤外光のパターンを対象者に照射し、そのパターンを近赤外光を検知するカメラで撮像して得られる情報から距離画像センサから対象者までの距離（深度）が算出される。なお、３Ｄセンサ８自体の実現手法は制限されず、３Ｄセンサ８は、複数の可視光カメラを用いる３次元スキャナ方式で実現されてもよい。また、図１では、３Ｄセンサ８が１つ要素で図示されるが、３Ｄセンサ８は、対象者の２次元画像を撮像する可視光カメラ及び対象者までの距離を検出するセンサといった複数の機器で実現されてもよい。３Ｄセンサ８は、深度情報に加えて、２次元画像も取得するため、撮像部と呼ぶこともできる。３Ｄセンサ８は、本発明の第１撮像部に相当する。
【００２５】
図３は、ＨＭＤ９の外観構成の例を示す図である。図３には、ビデオシースルー型と呼ばれるＨＭＤ９の構成が示されている。図３の例では、ＨＭＤ９は、２つの視線カメラ９ａ及び９ｂ、２つのディスプレイ９ｃ及び９ｄを有する。各視線カメラ９ａ及び９ｂは、ユーザの各視線に対応する各視線画像をそれぞれ撮像する。これにより、ＨＭＤ９は撮像部と呼ぶこともできる。各ディスプレイ９ｃ及び９ｄは、ユーザの視野の大部分を覆う形に配置され、各視線画像に仮想３Ｄオブジェクトが合成された合成３Ｄ画像を表示する。ＨＭＤ９は、本発明の第２撮像部に相当する。
【００２６】
センサ側装置１０及び表示側装置２０は、バスなどで相互に接続される、ＣＰＵ（Central Processing Unit）２、メモリ３、通信装置４、入出力インタフェース（Ｉ／Ｆ）５などをそれぞれ有する。メモリ３は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ハードディスク、可搬型記憶媒体などである。
【００２７】
センサ側装置１０の入出力Ｉ／Ｆ５は、３Ｄセンサ８と接続され、表示側装置２０の入出力Ｉ／Ｆ５は、ＨＭＤ９と接続される。入出力Ｉ／Ｆ５と３Ｄセンサ８との間、及び、入出力Ｉ／Ｆ５とＨＭＤ９との間は無線により通信可能に接続されてもよい。各通信装置４は、無線又は有線にて、他の装置（センサ側装置１０、表示側装置２０など）と通信を行う。本実施形態は、このような通信の形態を制限しない。また、センサ側装置１０及び表示側装置２０の具体的ハードウェア構成についても制限されない。
【００２８】
〔処理構成〕
〈センサ側装置〉
図４は、第１実施形態におけるセンサ側装置１０の処理構成例を概念的に示す図である。第１実施形態におけるセンサ側装置１０は、３Ｄ情報取得部１１、第１オブジェクト検出部１２、第１基準設定部１３、位置算出部１４、状態取得部１５、送信部１６などを有する。これら各処理部は、例えば、ＣＰＵ２によりメモリ３に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力Ｉ／Ｆ５を介してインストールされ、メモリ３に格納されてもよい。
【００２９】
３Ｄ情報取得部１１は、３Ｄセンサ８により検出された３Ｄ情報を逐次取得する。３Ｄ情報取得部１１は、本発明の第１画像取得部に相当する。
【００３０】
第１オブジェクト検出部１２は、３Ｄ情報取得部１１により取得された３Ｄ情報から既知の共通実オブジェクトを検出する。共通実オブジェクトとは、現実世界に配置された画像や物であり、ＡＲ（Augmented Reality）マーカ等と呼ばれる。本実施形態は、この共通実オブジェクトから、参照方向によらず、或る基準点及びこの基準点からの相互に直交する３つの方向を一定に得ることができるのであれば、この共通実オブジェクトの具体的形態を制限しない。第１オブジェクト検出部１２は、その共通実オブジェクトが示す形状、サイズ、色などについての情報を予め保持しており、このような既知の情報を用いて、共通実オブジェクトを３Ｄ情報から検出する。
【００３１】
第１基準設定部１３は、第１オブジェクト検出部１２により検出される共通実オブジェクトに基づいて、３Ｄ座標空間を設定し、かつ、この３Ｄ座標空間における３Ｄセンサ８の位置及び向きを算出する。例えば、第１基準設定部１３は、共通実オブジェクトから抽出される基準点を原点とし、その基準点からの相互に直交する３方向を各軸とする３Ｄ座標空間を設定する。第１基準設定部１３は、共通実オブジェクトに関する既知の形状及びサイズ（本来の形状及びサイズに相当）と、３Ｄ情報から抽出された共通実オブジェクトが示す形状及びサイズ（３Ｄセンサ８からの見え方に相当）との比較により、３Ｄセンサ８の位置及び向きを算出する。第１基準設定部１３は、本発明の第１座標設定部に相当する。
【００３２】
位置算出部１４は、３Ｄ情報取得部１１により逐次取得される３Ｄ情報を用いて、対象者の特定部位に関する上記３Ｄ座標空間上の３Ｄ位置情報を逐次算出する。第１実施形態では、位置算出部１４は、具体的に次のように当該３Ｄ位置情報を算出する。位置算出部１４は、まず、３Ｄ情報取得部１１により取得される３Ｄ情報から対象者の特定部位の３Ｄ位置情報を抽出する。ここで抽出される３Ｄ位置情報は、３Ｄセンサ８のカメラ座標系に対応する。そこで、位置算出部１４は、第１基準設定部１３により算出される３Ｄセンサ８の位置及び向き並びに３Ｄ座標空間に基づいて、３Ｄセンサ８のカメラ座標系に対応する３Ｄ位置情報を第１基準設定部１３で設定された３Ｄ座標空間上の３Ｄ位置情報に変換する。この変換は、３Ｄセンサ８のカメラ座標系から、上記共通実オブジェクトに基づき設定される３Ｄ座標系への変換を意味する。
【００３３】
ここで、検出すべき対象者の特定部位は複数であってもよい。例えば、複数の特定部位として対象者の両手が利用される形態があり得る。この場合、位置算出部１４は、３Ｄ情報取得部１１により取得される３Ｄ情報から、複数の特定部位の３Ｄ位置情報をそれぞれ抽出し、この各３Ｄ位置情報を３Ｄ座標空間上の各３Ｄ位置情報にそれぞれ変換する。また、特定部位とは、対象者が表示部に表示される仮想３Ｄオブジェクトを操作するために用いる体の一部であるため、或る程度の面積又は体積を有する。よって、位置算出部１４により算出される３Ｄ位置情報は、当該特定部位の中の或る１点の位置情報であってもよいし、複数点の位置情報であってもよい。
【００３４】
状態取得部１５は、対象者の特定部位の状態情報を取得する。この特定部位は、位置算出部１４で検出対象とされる特定部位と同一である。本実施形態は、検出可能な範囲で、この状態情報が示し得る状態の数を制限しない。また、複数の特定部位が利用される場合には、状態取得部１５は、各特定部位に関する状態情報をそれぞれ取得する。
【００３５】
状態取得部１５は、例えば、当該特定部位の識別すべき各状態に対応する画像特徴情報を予めそれぞれ保持しておき、３Ｄ情報取得部１１により取得される３Ｄ情報に含まれる２次元画像から抽出される特徴情報と、その予め保持される各画像特徴情報との比較により、当該特定部位の状態情報を取得する。また、状態取得部１５は、当該特定部位に装着されたひずみセンサ（図示せず）から得られる情報から、当該特定部位の状態情報を取得してもよい。また、状態取得部１５は、対象者の手で操作される入力マウス（図示せず）からの情報から、当該状態情報を取得してもよい。更に、状態取得部１５は、マイクロフォン（図示せず）により得られる音声を認識することで当該状態情報を取得してもよい。
【００３６】
送信部１６は、対象者の特定部位に関する、位置算出部１４により算出された当該３Ｄ座標空間上の３Ｄ位置情報、及び、状態取得部１５により取得された状態情報を表示側装置２０に送る。
【００３７】
〈表示側装置〉
図５は、第１実施形態における表示側装置２０の処理構成例を概念的に示す図である。第１実施形態における表示側装置２０は、視線画像取得部２１、第２オブジェクト検出部２２、第２基準設定部２３、仮想データ生成部２４、操作特定部２５、オブジェクト処理部２６、画像合成部２７、表示処理部２８などを有する。これら各処理部は、例えば、ＣＰＵ２によりメモリ３に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力Ｉ／Ｆ５を介してインストールされ、メモリ３に格納されてもよい。
【００３８】
視線画像取得部２１は、ＨＭＤ９から対象者の特定部位が写る視線画像を取得する。この特定部位も、センサ側装置１０で検出対象とされる特定部位と同一である。本実施形態では、視線カメラ９ａ及び９ｂが設けられているため、視線画像取得部２１は、左目及び右目の各々に対応する各視線画像をそれぞれ取得する。なお、各処理部は、左目及び右目に対応する両視線画像に対してそれぞれ同様に処理されるため、以下の説明では、１つの視線画像を対象に説明する。視線画像取得部２１は、本発明の第２画像取得部に相当する。
【００３９】
第２オブジェクト検出部２２は、視線画像取得部２１により取得される視線画像から既知の共通実オブジェクトを検出する。この共通実オブジェクトは、上述のセンサ側装置１０で検出されたオブジェクトと同一である。第２オブジェクト検出部２２の処理は、上述のセンサ側装置１０の第１オブジェクト検出部１２と同様であるため、ここでは詳細説明を省く。なお、視線画像に含まれる共通実オブジェクトは、３Ｄセンサ８で得られる３Ｄ情報に含まれる共通実オブジェクトとは、撮像方向が異なる。
【００４０】
第２基準設定部２３は、第２オブジェクト検出部２２により検出される共通実オブジェクトに基づいて、センサ側装置１０の第１基準設定部１３により設定された３Ｄ座標空間を設定し、かつ、ＨＭＤ９の位置及び向きをそれぞれ算出する。第２基準設定部２３の処理についても、センサ側装置１０の第１基準設定部１３と同様であるため、ここでは詳細説明を省く。第２基準設定部２３により設定される３Ｄ座標空間も、センサ側装置１０の第１基準設定部１３により設定される３Ｄ座標空間と同じ共通実オブジェクトに基づいて設定されるため、結果として、３Ｄ座標空間がセンサ側装置１０と表示側装置２０との間で共有されることになる。第２基準設定部２３は、本発明の第２座標設定部に相当する。
【００４１】
仮想データ生成部２４は、第２基準設定部２３によりセンサ側装置１０と共有される３Ｄ座標空間に配置される仮想３Ｄオブジェクトデータを生成する。仮想データ生成部２４は、この仮想３Ｄオブジェクトデータと共に、仮想３Ｄオブジェクトが配置される仮想３Ｄ空間のデータを生成してもよい。
【００４２】
操作特定部２５は、対象者の特定部位に関する当該３Ｄ座標空間上の３Ｄ位置情報及び状態情報をセンサ側装置１０から受信し、この状態情報と３Ｄ位置情報の変化との組み合わせに基づいて、複数の所定処理の中からオブジェクト処理部２６により実行される１つの所定処理を特定する。操作特定部２５は、本発明の受信部に相当する。３Ｄ位置情報の変化は、前回の処理の際に得られた３Ｄ位置情報との関係から算出される。また、複数の特定部位（例えば、両手）が利用される場合には、操作特定部２５は、センサ側装置１０から取得される複数の３Ｄ位置情報から、複数の特定部位間の位置関係を算出し、算出された複数の特定部位間の位置関係の変化及び複数の状態情報に基づいて、複数の所定処理の中から１つの所定処理を特定する。複数の所定処理には、移動処理、回転処理、拡大処理、縮小処理、及び、機能メニューの表示データの付加処理等がある。
【００４３】
より具体的には、操作特定部２５は、次のような所定処理を特定する。例えば、対象者の特定部位が片手の場合、操作特定部２５は、対象者の片手が特定状態（例えば握った状態）を維持している間におけるその片手の直線移動量に対応する距離分、移動させる処理を特定する。また、操作特定部２５は、片手が特定状態を維持している間におけるその片手の移動前後において、仮想３Ｄオブジェクトの特定点からの距離が変わらない場合には、所定処理として、対象者の片手と仮想３Ｄオブジェクトの特定点とを結ぶ線分の立体角変化量で仮想３Ｄオブジェクトのその特定点を基準点とした回転処理を特定する。ここでの仮想３Ｄオブジェクトの特定点とは例えば中心点である。また、操作特定部２５は、状態情報と３次元位置情報とが変化しない期間を計測し、この計測された期間が所定期間を超える場合に、仮想３Ｄオブジェクトが配置される仮想３Ｄ空間のデータに機能メニューの表示データを付加する処理を特定する。
【００４４】
対象者の複数特定部位が両手の場合、操作特定部２５は、次のような所定処理を特定する。操作特定部２５は、対象者の両手が特定状態（例えば、握られた状態）を維持した状態でのその両手間の距離の変化量に対応する拡大率で対象者の片手の位置を基準点とした拡大処理を特定する。また、操作特定部２５は、対象者の両手が特定状態（例えば、握られた状態）を維持した状態でのその両手間の距離の変化量に対応する縮小率で対象者の片手の位置を基準点とした縮小処理を特定する。また、操作特定部２５は、対象者の両手が特定状態（例えば、握られた状態）を維持した状態でのその両手間を結ぶ線分の立体角変化量で対象者の片手の位置を基準点とした回転処理を特定する。
【００４５】
更に、操作特定部２５は、対象者の特定部位の３次元位置情報から、仮想３Ｄオブジェクトを基準とした所定３Ｄ範囲内にその特定部位が存在しているか否かを判定し、この判定結果に応じて、オブジェクト処理部２６による所定処理の実行の可否を決定する。具体的には、操作特定部２５は、特定部位が所定３Ｄ範囲内に存在する場合には、オブジェクト処理部２６に当該所定処理を実行させ、特定部位が所定３Ｄ範囲外に存在する場合には、オブジェクト処理部２６に当該所定処理を実行させない。この所定３Ｄ範囲内に特定部位が存在するか否かの判定は、対象者の特定部位が仮想３Ｄオブジェクトにアクセスしているか否かの判定を模擬するものである。本実施形態では、この所定３Ｄ範囲を用いて所定処理の実行の可否を決定することにより、対象者の直感的操作感を向上させる。
【００４６】
操作特定部２５は、当該所定処理として、上記所定３Ｄ範囲内から上記所定３Ｄ範囲外への対象者の特定部位の移動を検出し、移動前後における上記所定３Ｄ範囲内の位置と上記所定３Ｄ範囲外の位置との間の移動距離及び移動方向に応じた移動処理又は回転処理を特定するようにしてもよい。これにより、仮想３Ｄオブジェクトに対する操作が不可能となる直前までの操作により、対象者は、仮想３Ｄオブジェクトを惰性的に移動又は回転させることができる。このような惰性的操作は、設定により有効と無効とが切り替えられてもよい。
【００４７】
操作特定部２５は、上述のような各所定処理を識別するためのＩＤをそれぞれ保持しており、所定処理に対応するＩＤを選択することにより、所定処理の特定を実現する。操作特定部２５は、オブジェクト処理部２６にその選択されたＩＤを渡すことで、オブジェクト処理部２６にその所定処理を実行させる。
【００４８】
オブジェクト処理部２６は、仮想データ生成部２４により生成された仮想３Ｄオブジェクトデータに対して、操作特定部２５により特定された所定処理を適用する。オブジェクト処理部２６は、サポートする複数の所定処理を実行可能に実現される。
【００４９】
画像合成部２７は、第２基準設定部２３により算出されるＨＭＤ９の位置及び向き並びに３Ｄ座標空間に基づいて、視線画像取得部２１により取得される視線画像に、オブジェクト処理部２６により所定処理が施された仮想３Ｄオブジェクトデータに対応する仮想３Ｄオブジェクトを合成する。なお、画像合成部２７による合成処理には、拡張現実（ＡＲ）等で用いられる周知の手法が利用されればよいため、ここでは説明を省略する。
【００５０】
表示処理部２８は、画像合成部２７により得られる合成画像をＨＭＤ９に表示させる。本実施形態では、対象者の各視線に対応する２つの視線画像が上述のようにそれぞれ処理されるため、表示処理部２８は、各視線画像と合成された各合成画像をそれぞれＨＭＤ９のディスプレイ９ｃ及び９ｄに表示させる。
【００５１】
図６は、ＨＭＤ９に表示される合成画像の例を示す図である。図６の例に示される合成画像は、仮想３Ｄ空間に含まれる平面ＶＡ上に配置された球形の仮想３ＤオブジェクトＶＯを含む。ユーザは、ＨＭＤ９でこの画像を見ながら、自身の両手を動かすことにより、その画像に含まれる仮想３ＤオブジェクトＶＯを操作することができる。図６では、球形の仮想３ＤオブジェクトＶＯが例示されたが、仮想３Ｄオブジェクトの形状等は制限されない。
【００５２】
〔動作例〕
以下、第１実施形態における３次元環境共有方法について図７を用いて説明する。図７は、第１実施形態における３次元環境共有システム１の動作例を示すシーケンスチャートである。
【００５３】
センサ側装置１０は、３Ｄセンサ８から３Ｄ情報を逐次取得する（Ｓ７１）。センサ側装置１０は、所定のフレームレートの当該３Ｄ情報に対して次のように動作する。
【００５４】
センサ側装置１０は、当該３Ｄ情報から共通実オブジェクトを検出する（Ｓ７２）。
続いて、センサ側装置１０は、検出された共通実オブジェクトに基づいて、３Ｄ座標空間を設定し、かつ、この３Ｄ座標空間における３Ｄセンサ８の位置及び向きを算出する（Ｓ７３）。
【００５５】
更に、センサ側装置１０は、当該３Ｄ情報を用いて、対象者の特定部位の３Ｄ位置情報を算出する（Ｓ７４）。更に、センサ側装置１０は、工程（Ｓ７３）で算出された３Ｄセンサ８の位置及び向き並びに３Ｄ座標空間に基づいて、工程（Ｓ７４）で算出された３Ｄ位置情報を工程（Ｓ７３）で設定された３Ｄ座標空間上の３Ｄ位置情報に変換する（Ｓ７５）。
【００５６】
また、センサ側装置１０は、対象者の特定部位に関する状態情報を取得する（Ｓ７６）。
【００５７】
センサ側装置１０は、対象者の特定部位に関し、工程（Ｓ７５）で得られた３Ｄ位置情報、及び、工程（Ｓ７６）で得られた状態情報を表示側装置２０に送る（Ｓ７７）。
【００５８】
図７では、説明の便宜のため、３Ｄ情報の取得（Ｓ７１）と状態情報の取得（Ｓ７６）とがシーケンシャルに実行される例が示されるが、特定部位の状態情報が３Ｄ情報以外から得られる場合には、工程（Ｓ７１）及び（Ｓ７６）は並列に実行される。図７では、工程（Ｓ７２）及び（Ｓ７３）が３Ｄ情報の所定のフレームレートで実行される例が示されるが、工程（Ｓ７２）及び（Ｓ７３）はキャリブレーション時のみ実行されるようにしてもよい。
【００５９】
一方で、表示側装置２０は、３Ｄ情報の取得（Ｓ７１）とは非同期で、ＨＭＤ９から視線画像を逐次取得している（Ｓ８１）。表示側装置２０は、所定のフレームレートの当該視線画像に対して次のように動作する。
【００６０】
表示側装置２０は、当該視線画像から共通実オブジェクトを検出する（Ｓ８２）。
続いて、表示側装置２０は、検出された共通実オブジェクトに基づいて、３Ｄ座標空間を設定し、かつ、この３Ｄ座標空間におけるＨＭＤ９の位置及び向きを算出する（Ｓ８３）。
【００６１】
表示側装置２０は、設定された３Ｄ座標空間に配置される仮想３Ｄオブジェクトデータを生成する（Ｓ８４）。
【００６２】
表示側装置２０は、センサ側装置１０から、対象者の特定部位に関する３Ｄ位置情報及び状態情報を受信すると（Ｓ８５）、当該特定部位の３Ｄ位置情報の変化及び状態情報の組み合わせに応じて、対象者のジェスチャに対応する所定処理を特定する（Ｓ８６）。特定部位が複数存在する場合には、表示側装置２０は、複数の特定部位間の位置関係の変化と複数の状態情報との組み合わせに応じて、所定処理を特定する。
【００６３】
表示側装置２０は、工程（Ｓ８４）で生成された仮想３Ｄオブジェクトデータに対して、工程（Ｓ８６）で特定された所定処理を適用する（Ｓ８７）。続いて、表示側装置２０は、所定処理が施された仮想３Ｄオブジェクトデータに対応する仮想３Ｄオブジェクトと視線画像とを合成し（Ｓ８８）、表示データを生成する。
【００６４】
表示側装置２０は、その合成により得られた画像をＨＭＤ９に表示させる（Ｓ８９）。
【００６５】
図７では、説明の便宜のため、センサ側装置１０から送られる対象者の特定部位に関する情報に対する処理（工程（Ｓ８５）から工程（Ｓ８７））と、仮想３Ｄオブジェクトデータの生成処理（工程（Ｓ８２）から工程（Ｓ８４））とがシーケンシャルに実行される例が示される。しかしながら、工程（Ｓ８５）から工程（Ｓ８７）と、工程（Ｓ８２）から工程（Ｓ８４）とは並列に実行される。また、図７では、工程（Ｓ８２）から（Ｓ８４）が視線画像の所定のフレームレートで実行される例が示されるが、工程（Ｓ８２）から（Ｓ８４）はキャリブレーション時のみ実行されるようにしてもよい。
【００６６】
〔第１実施形態の作用及び効果〕
第１実施形態では、対象者の視線画像を得るためのＨＭＤ９と、対象者の特定部位の位置を得るための３Ｄセンサ８とが別々に設けられる。これにより、第１実施形態によれば、対象者の特定部位の３Ｄ位置を正確に測定し得る位置に３Ｄセンサ８を配置することができる。これは、測定対象からの距離が或る程度離れていないと、測定対象の位置を正確に測定できない３Ｄセンサ８が存在し得るからである。
【００６７】
第１実施形態では、共通実オブジェクトを用いて、別々に設けられたセンサ（３Ｄセンサ８及びＨＭＤ９）により得られる情報から、各センサ間で共通の３Ｄ座標空間が設定される。このように第１実施形態によれば、異なる位置及び異なる方向から撮像された２次元画像（３Ｄ情報に含まれる）及び視線画像を処理する、３Ｄセンサ８及びＨＭＤ９間で１つの３次元環境を共有することができる。
【００６８】
そして、この共通の３Ｄ座標空間を用いて、対象者の特定部位の位置が判定され、かつ、仮想３Ｄオブジェクトデータが生成及び処理される。更に、第１実施形態では、共通の３Ｄ座標空間を用いて、仮想３Ｄオブジェクトを基準とした所定３Ｄ範囲内に対象者の特定部位が存在するか否かが判定され、この判定結果でその仮想３Ｄオブジェクトに対する操作の可否が決定される。従って、第１実施形態によれば、対象者に、仮想３Ｄオブジェクトと自身の特定部位の位置との関係を直感的に認識させることができ、結果、対象者に、あたかも直接触っているかのような、仮想３Ｄオブジェクトに対する直感的操作感を与えることができる。
【００６９】
なお、上述の第１実施形態では、対象者の特定部位に関する位置変化及び状態の組み合わせに応じて、仮想３Ｄオブジェクトデータに所定処理が適用されたが、状態は考慮されなくてもよい。この場合、センサ側装置１０の状態取得部１５は不要となり、センサ側装置１０から表示側装置２０へ送信される情報は、対象者の特定部位に関する３Ｄ位置情報のみでよい。
【００７０】
［第２実施形態］
第２実施形態における３次元環境共有システム１は、複数の対象者（ユーザ）の各々が装着する各ＨＭＤ９で撮像される各視線画像に、仮想３Ｄオブジェクトをそれぞれ合成し、各合成画像をＨＭＤ９にそれぞれ表示させることで、複数のユーザ間での仮想３Ｄオブジェクトの共有を可能とする。
〔装置構成〕
図８は、第２実施形態における３次元環境共有システム１のハードウェア構成例を概念的に示す図である。第２実施形態における３次元環境共有システム１は、第１画像処理装置３０及び第２画像処理装置４０並びに２つのＨＭＤ９を有する。第１画像処理装置３０はＨＭＤ９（＃１）に接続され、第２画像処理装置４０はＨＭＤ９（＃２）に接続される。
【００７１】
第２実施形態では、ＨＭＤ９（＃１）が本発明の第１撮像部に相当し、ＨＭＤ９（＃２）が本発明の第２撮像部に相当する。このように、第２実施形態では、各ユーザに装着されたＨＭＤ９（＃１）及び（＃２）により各ユーザの視線画像がそれぞれ撮像される。以降、ＨＭＤ９（＃１）で撮像された視線画像を第１視線画像と表記し、ＨＭＤ９（＃２）で撮像された視線画像を第２視線画像と表記する。なお、第１画像処理装置３０及び第２画像処理装置４０は、第１実施形態の表示側装置２０と同様のハードウェア構成を有するため、ここでは説明を省略する。
【００７２】
〔処理構成〕
〈第１画像処理装置〉
図９は、第２実施形態における第１画像処理装置３０の処理構成例を概念的に示す図である。第２実施形態における第１画像処理装置３０は、第１視線画像取得部３１、第１オブジェクト検出部３２、第１基準設定部３３、仮想データ生成部３４、第１画像合成部３５、第１表示処理部３６、送信部３７などを有する。これら各処理部は、例えば、ＣＰＵ２によりメモリ３に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力Ｉ／Ｆ５を介してインストールされ、メモリ３に格納されてもよい。
【００７３】
第１視線画像取得部３１は、ＨＭＤ９（＃１）で撮像された第１視線画像を取得する。第１オブジェクト検出部３２は、この第１視線画像に対して処理を行う。第１視線画像取得部３１、第１オブジェクト検出部３２及び第１基準設定部３３の詳細処理は、第１実施形態における視線画像取得部２１、第２オブジェクト検出部２２及び第２基準設定部２３と同様であるため、ここでは説明を省略する。第１視線画像取得部３１は本発明の第１画像取得部に相当し、第１基準設定部３３は、本発明の第１座標設定部及び第１基準設定部に相当する。
【００７４】
仮想データ生成部３４は、第１基準設定部３３により設定される３Ｄ座標空間に基づいて、その３Ｄ座標空間に配置される仮想３Ｄオブジェクトデータを生成する。仮想データ生成部３４は、この仮想３Ｄオブジェクトデータと共に、仮想３Ｄオブジェクトが配置される仮想３Ｄ空間のデータを生成してもよい。仮想３Ｄオブジェクトデータには、仮想３Ｄオブジェクトに関する３次元位置情報、向き情報、形状情報、色情報等が含まれる。
【００７５】
第１画像合成部３５は、第１基準設定部３３により算出されたＨＭＤ９（＃１）の位置及び向き並びに３Ｄ座標空間に基づいて、仮想データ生成部３４により生成された仮想３Ｄオブジェクトデータに対応する仮想３Ｄオブジェクトを第１視線画像取得部３１により取得される第１視線画像に合成する。
【００７６】
第１表示処理部３６は、第１画像合成部３５により生成された合成画像をＨＭＤ９のディスプレイ９ｃ及び９ｄに表示させる。
【００７７】
送信部３７は、仮想データ生成部３４により生成された仮想３Ｄオブジェクトデータに含まれる３次元位置情報を第２画像処理装置４０に送信する。ここでは、仮想３Ｄオブジェクトデータそのものが送信されてもよい。
【００７８】
〈第２画像処理装置〉
図１０は、第２実施形態における第２画像処理装置４０の処理構成例を概念的に示す図である。第２実施形態における第２画像処理装置４０は、第２視線画像取得部４１、第２オブジェクト検出部４２、第２基準設定部４３、受信部４４、オブジェクト処理部４５、第２画像合成部４６、第２表示処理部４７等を有する。これら各処理部は、例えば、ＣＰＵ２によりメモリ３に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力Ｉ／Ｆ５を介してインストールされ、メモリ３に格納されてもよい。
【００７９】
第２視線画像取得部４１は、ＨＭＤ９（＃２）で撮像された第２視線画像を取得する。第２オブジェクト検出部４２は、この第２視線画像に対して処理を行う。なお、第２視線画像取得部４１、第２オブジェクト検出部４２及び第２基準設定部４３の詳細処理は、第１実施形態における視線画像取得部２１、第２オブジェクト検出部２２及び第２基準設定部２３と同様であるため、ここでは説明を省略する。第２視線画像取得部４１は本発明の第２画像取得部に相当し、第２基準設定部４３は、本発明の第２座標設定部及び第２基準設定部に相当する。
【００８０】
受信部４４は、第１画像処理装置３０から送信される３Ｄ座標空間の３Ｄ位置情報を受信する。上述したように、受信部４４は、仮想３Ｄオブジェクトデータを受信するようにしてもよい。
【００８１】
オブジェクト処理部４５は、受信部４４により受信された３次元位置情報を用いて、第２視線画像に合成される仮想３Ｄオブジェクトデータを処理する。例えば、オブジェクト処理部４５は、既に保持される仮想３Ｄオブジェクトデータに対して、その受信された３次元位置情報を反映させる。既に保持される、３次元位置情報以外の仮想３Ｄオブジェクトデータは、第１画像処理装置３０から取得されてもよいし、他の装置から取得されてもよいし、予め保持されていてもよい。
【００８２】
第２画像合成部４６は、ＨＭＤ９（＃２）の位置及び向き並びに３Ｄ座標空間に基づいて、オブジェクト処理部４５により処理された仮想３Ｄオブジェクトデータに対応する仮想３Ｄオブジェクトを第２視線画像に合成する。
【００８３】
第２表示処理部４７は、第２画像合成部４６により得られる合成画像をＨＭＤ９のディスプレイ９ｃ及び９ｄに表示させる。
【００８４】
〔動作例〕
以下、第２実施形態における３次元環境共有方法について図１１を用いて説明する。図１１は、第２実施形態における３次元環境共有システム１の動作例を示すシーケンスチャートである。
【００８５】
第１画像処理装置３０により実行される工程（Ｓ１１１）から工程（Ｓ１１３）と、第２画像処理装置４０により実行される工程（Ｓ１２１）から工程（Ｓ１２３）とは、処理対象（第１視線画像及び第２視線画像）が異なるのみで、内容は同じである。また、工程（Ｓ１１１）から工程（Ｓ１１３）及び工程（Ｓ１２１）から工程（Ｓ１２３）の内容自体も、上述した図７の工程（Ｓ８１）から工程（Ｓ８３）と同様である。即ち、第１画像処理装置３０は、ＨＭＤ９（＃１）で撮像される第１視線画像を用いて、ＨＭＤ９（＃１）の位置及び向き並びに３Ｄ座標空間を算出し、第２画像処理装置４０は、ＨＭＤ９（＃２）で撮像される第２視線画像を用いて、ＨＭＤ９（＃２）の位置及び向き並びに３Ｄ座標空間を算出する。
【００８６】
続いて、第１画像処理装置３０は、３Ｄ座標空間に配置される仮想３Ｄオブジェクトデータを生成する（Ｓ１１４）。第１画像処理装置３０は、そのデータで示される仮想３Ｄオブジェクトの３Ｄ位置情報を第２画像処理装置４０に送信する（Ｓ１１５）。ここで送信される仮想３Ｄオブジェクトの３Ｄ位置情報は、３Ｄ座標空間を用いて示される。
【００８７】
第１画像処理装置３０は、ＨＭＤ９（＃１）で撮像された第１視線画像とそのデータに対応する仮想３Ｄオブジェクトとを合成し（Ｓ１１６）、その合成画像をＨＭＤ９（＃１）に表示させる（Ｓ１１７）。
【００８８】
一方、第２画像処理装置４０は、第１画像処理装置３０から３Ｄ位置情報を受信すると（Ｓ１２４）、受信された３Ｄ位置情報を当該仮想３Ｄオブジェクトデータに反映させる（Ｓ１２５）。
【００８９】
第２画像処理装置４０は、その仮想３ＤオブジェクトとＨＭＤ９（＃２）で撮像された視線画像とを合成し（Ｓ１２６）、その合成画像をＨＭＤ９（＃２）に表示させる（Ｓ１２７）。
【００９０】
なお、図１１の例では、第１画像処理装置３０から第２画像処理装置４０へ、３次元位置情報のみが送信されたが、工程（Ｓ１１４）で生成された仮想３Ｄオブジェクトデータが第１画像処理装置３０から第２画像処理装置４０へ送られてもよい。この場合、第２画像処理装置４０は、受信された仮想３Ｄオブジェクトデータを用いて、第２視線画像に合成すべき形態を示す仮想３Ｄオブジェクトデータを生成する。
【００９１】
〔第２実施形態の作用及び効果〕
このように、第２実施形態では、ＨＭＤ９（＃１）及び（＃２）が２人のユーザに装着され、各ＨＭＤ９で異なる視線画像がそれぞれ撮像される。そして、各視線画像に含まれる共通実オブジェクトを用いて、各ＨＭＤ９間で共通の３Ｄ座標空間が設定される。このように第２実施形態によれば、異なる位置及び異なる方向から撮像された視線画像を処理するＨＭＤ９（＃１）及び（＃２）間で１つの３次元環境を共有することができる。
【００９２】
第２実施形態では、この共通の３Ｄ座標空間を用いて、仮想３Ｄオブジェクトデータが生成され、そのデータに対応する仮想３Ｄオブジェクトが第１視線画像に合成され、その合成画像が一方のＨＭＤ９で表示される。一方、その仮想３Ｄオブジェクトの少なくとも３Ｄ位置情報が第１画像処理装置３０から第２画像処理装置４０に送られ、その３Ｄ位置情報が反映された仮想３Ｄオブジェクトが第２視線画像に合成され、その合成画像が他方のＨＭＤ９で表示される。
【００９３】
このように、第２実施形態では、各視線画像を用いて共通の３Ｄ座標空間が設定され、かつ、この共通の３Ｄ座標空間を用いて仮想３Ｄオブジェクトが各視線画像に合成されるため、視線画像間で、写しだされる実世界の３Ｄ空間を一致させることが出来ると共に、その実世界の３Ｄ空間に仮想３Ｄオブジェクトを疑似的に配置させることができる。これにより、第２実施形態によれば、ＨＭＤ９を装着する各ユーザに、１つの仮想３Ｄオブジェクトを共有させることができるだけでなく、それを各視線画像で視認される実世界の３Ｄ空間に実在するように感じさせることができる。
【００９４】
上述の第２実施形態では、２組のＨＭＤ９及び画像処理装置が示されたが、３次元環境共有システム１は、３組以上のＨＭＤ９及び画像処理装置で構成されてもよい。この場合には、３人以上のユーザで仮想３Ｄオブジェクトを共有することができる。
【００９５】
［変形例］
上述の第１実施形態及び第２実施形態では、図３に示されるように、ＨＭＤ９が、対象者（ユーザ）の両目に対応して、視線カメラ９ａ及び９ｂ、並びに、ディスプレイ９ｃ及び９ｄを有したが、視線カメラ及びディスプレイを１つずつ持つようにしてもよい。この場合、１つのディスプレイは、対象者の片目の視野を覆うように配置されてもよいし、対象者の両目の視野を覆うように配置されてもよい。この場合、仮想データ生成部２４及び仮想データ生成部３４は、仮想３Ｄ空間に含まれる表示物を３ＤＣＧで表示させることができるように、周知の３ＤＣＧ技術を用いて仮想３Ｄオブジェクトデータを生成すればよい。
【００９６】
また、上述の第１実施形態及び第２実施形態では、視線画像を得るためにビデオシースルー型のＨＭＤ９が用いられたが、光学シースルー型のＨＭＤ９が用いられてもよい。この場合には、ＨＭＤ９にはハーフミラーのディスプレイ９ｃ及び９ｄが設けられ、このディスプレイ９ｃ及び９ｄに仮想３Ｄオブジェクトが表示されるようにすればよい。但し、この場合、対象者の視線方向で共通実オブジェクトを検出するための画像を得るためのカメラがＨＭＤ９の対象者の視野を遮らない箇所に設けられる。
【００９７】
なお、上述の説明で用いたシーケンスチャートでは、複数の工程（処理）が順番に記載されているが、本実施形態で実行される工程の実行順序は、その記載の順番に制限されない。本実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。
【００９８】
また、上述の各実施形態及び各変形例は、内容が相反しない範囲で組み合わせることができる。例えば、第１実施形態と第２実施形態とを組み合わせた形態として、３次元環境共有システム１は、第２実施形態の構成に、第１実施形態で示される少なくとも１つのセンサ側装置１０を含むようにしてもよい。この場合には、第１画像処理装置３０及び第２画像処理装置４０は、少なくとも１つのセンサ側装置１０から各ユーザの特定部位の３Ｄ位置情報をそれぞれ取得し、この３Ｄ位置情報により各視線画像に合成される各仮想３Ｄオブジェクトを第１実施形態のようにそれぞれ操作できるようにしてもよい。
【００９９】
この出願は、２０１２年７月２７日に出願された日本特許出願特願２０１２−１６７１０２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図１】
2014016986.tif 000003
【図２】
2014016986.tif 000004
【図３】
2014016986.tif 000005
【図４】
2014016986.tif 000006
【図５】
2014016986.tif 000007
【図６】
2014016986.tif 000008
【図７】
2014016986.tif 000009
【図８】
2014016986.tif 000010
【図９】
2014016986.tif 000011
【図１０】
2014016986.tif 000012
【図１１】
2014016986.tif 000013
【国際調査報告】
2014016986.tif 000014
2014016986.tif 000015
2014016986.tif 000016
2014016986.tif 000017