(57)【要約】【課題】移動可能な情報処理装置（例えばＨＭＤ）の位置姿勢の検出精度の低下を抑えつつ、情報処理装置から映像処理装置に伝送する映像のデータ量を削減する。【解決手段】可搬型の情報処理装置と、情報処理装置から受信した映像に仮想画像を合成する映像処理装置とを有する映像処理システムにおいて、情報処理装置は、情報処理装置の位置姿勢を判定するために用いられる映像を、映像処理装置へ通信部を介して送信し、映像処理装置は、受信した映像に基づいて情報処理装置の位置姿勢を判定する。ここで、映像は、異なる空間に対応した複数の映像を含み、通信部の利用可能な通信帯域と、判定された位置姿勢とに基づいて、情報処理装置から映像処理装置へ送信される複数の映像のデータ量の比率が制御される。【選択図】  図９
2017010120.tif 000002
【特許請求の範囲】
【請求項１】
可搬型の情報処理装置と、前記情報処理装置から受信した映像に仮想画像を合成する映像処理装置とを有する映像処理システムであって、
前記情報処理装置の位置姿勢を判定するために用いられる第１の映像を、前記情報処理装置から前記映像処理装置へ通信手段を介して送信する第１の送信手段と、前記第１の映像は、異なる空間に対応した複数の映像を含み、
前記第１の映像に基づいて前記情報処理装置の位置姿勢を判定する判定手段と、
前記通信手段の前記第１の送信手段が利用可能な通信帯域と、前記判定手段により判定された位置姿勢とに基づいて、前記第１の送信手段により送信される前記複数の映像のデータ量の比率を制御する制御手段と、を備えることを特徴とする映像処理システム。
【請求項２】
前記第１の映像は、位置姿勢の検出のための指標を含み、
前記制御手段は、前記判定手段により判定された前記情報処理装置の位置姿勢に基づいて、前記複数の映像のそれぞれに含まれる指標の量を判定し、判定された指標の量に応じて前記比率を制御することを特徴とする請求項１に記載の映像処理システム。
【請求項３】
前記制御手段は、映像に含まれる指標の量が多いほど送信されるデータ量が多くなるように前記比率を設定することを特徴とする請求項２に記載の映像処理システム。
【請求項４】
前記判定手段は、前記第１の送信手段により次に送信される第１の映像が撮像されるタイミングにおける、前記情報処理装置の位置姿勢を判定することを特徴とする請求項１乃至３のいずれか１項に記載の映像処理システム。
【請求項５】
前記情報処理装置の移動回転量を示す動き情報を取得する取得手段をさらに備え、
前記判定手段は、前記第１の送信手段により送信された前記第１の映像と前記取得手段により取得された前記動き情報に基づいて、前記タイミングにおける前記情報処理装置の位置姿勢を判定することを特徴とする請求項４に記載の映像処理システム。
【請求項６】
前記情報処理装置は、前記第１の映像に含まれる前記複数の映像を撮影するための複数の撮影装置を備えることを特徴とする請求項１乃至５のいずれか１項に記載の映像処理システム。
【請求項７】
前記情報処理装置は、１つの撮影装置により撮像された前記第１の映像を複数の部分映像に分割することにより前記複数の映像を得ることを特徴とする請求項１乃至６のいずれか１項に記載の映像処理システム。
【請求項８】
前記情報処理装置はヘッドマウントディスプレイであることを特徴とする請求項１乃至７のいずれか１項に記載の映像処理システム。
【請求項９】
前記情報処理装置から前記映像処理装置へ、前記仮想画像が合成される第２の映像を、前記通信手段を介して送信する第２の送信手段と、
前記映像処理装置において、前記判定手段により判定された位置姿勢に基づいて、前記第２の映像に仮想画像が合成された合成映像を生成する生成手段と、をさらに備えることを特徴とする請求項１乃至８のいずれか１項に記載の映像処理システム。
【請求項１０】
可搬型の情報処理装置であって、
前記情報処理装置の位置姿勢を判定するために用いられる第１の映像を撮影する第１の撮影手段と、前記第１の映像は、異なる空間に対応した複数の映像を含み、
前記第１の映像を通信手段を介して外部装置へ送信する第１の送信手段と、
前記外部装置から、前記第１の映像に基づいて生成された前記複数の映像の各々の優先度を表す優先度情報を取得する取得手段と、
前記通信手段の前記第１の送信手段が利用可能な通信帯域と、前記優先度情報とに基づいて、前記第１の送信手段により送信される前記複数の映像のデータ量の比率を制御する制御手段と、を備えることを特徴とする情報処理装置。
【請求項１１】
可搬型の情報処理装置であって、
前記情報処理装置の位置姿勢を判定するために用いられる第１の映像を撮影する第１の撮影手段と、前記第１の映像は、異なる空間に対応した複数の映像を含み、
前記第１の映像を通信手段を介して外部装置へ送信する第１の送信手段と、
前記外部装置から、前記第１の映像に基づいて判定された、前記情報処理装置の位置姿勢を取得する取得手段と、
前記取得手段により取得された前記位置姿勢と、前記通信手段の前記第１の送信手段が利用可能な通信帯域に基づいて、前記複数の映像の各々の優先度を表す優先度情報を生成する生成手段と、
前記通信手段の前記第１の送信手段が利用可能な通信帯域と、前記優先度情報とに基づいて、前記第１の送信手段により送信される前記複数の映像のデータ量の比率を制御する制御手段と、を備えることを特徴とする情報処理装置。
【請求項１２】
仮想画像が合成される第２の映像を撮影する第２の撮影手段と、
前記第２の映像を前記通信手段を介して前記外部装置へ送信する第２の送信手段と、をさらに備えることを特徴とする請求項１０または１１に記載の情報処理装置。
【請求項１３】
前記情報処理装置の移動回転量を検出する検出手段をさらに備え、
前記第１の送信手段は、さらに、前記検出手段により検出された前記移動回転量を示す動き情報を前記外部装置へ送信することを特徴とする請求項１０に記載の情報処理装置。
【請求項１４】
前記情報処理装置の移動回転量を検出する検出手段を更に備え、
前記生成手段は、
前記取得手段により取得された前記位置姿勢と、前記検出手段により検出された前記移動回転量を示す動き情報とに基づいて、次に伝送される第１の映像が撮像されるタイミングにおける前記情報処理装置の位置姿勢を推定し、
前記推定された位置姿勢と、前記利用可能な通信帯域に基づいて、前記優先度情報を生成することを特徴とする請求項１１に記載の情報処理装置。
【請求項１５】
前記制御手段は、前記優先度情報に基づいて、前記複数の映像から前記第１の送信手段が送信する映像を選択することを特徴とする請求項１０乃至１４のいずれか１項に記載の情報処理装置。
【請求項１６】
前記制御手段は、前記優先度情報に基づいて前記複数の映像の各々に対する圧縮率を決定し、前記複数の映像の各々を決定された圧縮率で圧縮して圧縮データを取得し、
前記第１の送信手段は、前記圧縮データを送信することを特徴とする請求項１０乃至１４のいずれか１項に記載の情報処理装置。
【請求項１７】
前記第１の撮影手段は、前記第１の映像に含まれる前記複数の映像を撮影するための複数の撮影装置を備えることを特徴とする請求項１０乃至１６のいずれか１項に記載の情報処理装置。
【請求項１８】
前記第１の撮影手段は、撮影された映像を複数の部分映像に分割することにより前記複数の映像を得ることを特徴とする請求項１０乃至１７のいずれか１項に記載の情報処理装置。
【請求項１９】
外部装置から送信された映像を処理する映像処理装置であって、
前記外部装置から、前記外部装置の位置姿勢を判定するために用いられる第１の映像を、通信手段を介して受信する第１の受信手段と、前記第１の映像は、異なる空間に対応した複数の映像を含み、
前記第１の映像に基づいて前記外部装置の位置姿勢を判定する判定手段と、
前記第１の受信手段が利用可能な前記通信手段の通信帯域と、前記判定手段により判定された位置姿勢とに基づいて、前記第１の受信手段により受信される前記複数の映像の優先度を示す優先度情報を生成する生成手段と、
前記優先度情報を前記外部装置へ送信する送信手段と、を備えることを特徴とする映像処理装置。
【請求項２０】
前記外部装置から、仮想画像が合成される第２の映像を、前記通信手段を介して受信する第２の受信手段と、
前記判定手段により判定された位置姿勢に基づいて、前記第２の映像に仮想画像が合成された合成映像を生成する合成手段と、をさらに備えることを特徴とする請求項１９に記載の映像処理装置。
【請求項２１】
前記第１の映像は、位置姿勢の検出のための指標を含み、
前記生成手段は、前記判定手段により判定された前記外部装置の位置姿勢に基づいて、前記複数の映像のそれぞれに含まれる指標の量を判定し、判定された指標の量に基づいて前記優先度情報を生成することを特徴とする請求項１９または２０に記載の映像処理装置。
【請求項２２】
前記生成手段は、映像に含まれる指標の量が多いほど優先度が高くなるように前記優先度情報を生成することを特徴とする請求項２１に記載の映像処理装置。
【請求項２３】
前記判定手段は、次に伝送される前記第１の映像が撮像されるタイミングにおける前記外部装置の位置姿勢を判定することを特徴とする請求項１９乃至２２のいずれか１項に記載の映像処理装置。
【請求項２４】
前記外部装置の動きを示す動き情報を取得する取得手段をさらに備え、
前記判定手段は、前記第１の受信手段により受信された前記第１の映像と前記取得手段により取得された前記動き情報に基づいて、前記タイミングにおける前記外部装置の位置姿勢を判定することを特徴とする請求項２３に記載の映像処理装置。
【請求項２５】
可搬型の情報処理装置と、前記情報処理装置から受信した映像に仮想画像を合成する映像処理装置とを有する映像処理システムの制御方法であって、
前記情報処理装置の位置姿勢を判定するために用いられる第１の映像を、前記情報処理装置から前記映像処理装置へ通信手段を介して送信する第１の送信工程と、前記第１の映像は、異なる空間に対応した複数の映像を含み、
前記第１の映像に基づいて前記情報処理装置の位置姿勢を判定する判定工程と、
前記通信手段の前記第１の送信工程において利用可能な通信帯域と、前記判定工程で判定された位置姿勢とに基づいて、前記第１の送信工程で送信される前記複数の映像のデータ量の比率を制御する制御工程と、を有することを特徴とする映像処理システムの制御方法。
【請求項２６】
可搬型の情報処理装置の制御方法であって、
前記情報処理装置の位置姿勢を判定するために用いられる第１の映像を撮影する第１の撮影工程と、前記第１の映像は、異なる空間に対応した複数の映像を含み、
前記第１の映像を通信手段を介して外部装置へ送信する第１の送信工程と、
前記外部装置から、前記第１の映像に基づいて生成された前記複数の映像の各々の優先度を表す優先度情報を取得する取得工程と、
前記通信手段の前記第１の送信工程で利用可能な通信帯域と、前記優先度情報とに基づいて、前記第１の送信工程で送信される前記複数の映像のデータ量の比率を制御する制御工程と、を有することを特徴とする情報処理装置の制御方法。
【請求項２７】
可搬型の情報処理装置の制御方法であって、
前記情報処理装置の位置姿勢を判定するために用いられる第１の映像を撮影する第１の撮影工程と、前記第１の映像は、異なる空間に対応した複数の映像を含み、
前記第１の映像を通信手段を介して外部装置へ送信する第１の送信工程と、
前記外部装置から、前記第１の映像に基づいて判定された、前記情報処理装置の位置姿勢を取得する取得工程と、
前記取得工程で取得された前記位置姿勢と、前記通信手段の前記第１の送信工程で利用可能な通信帯域に基づいて、前記複数の映像の各々の優先度を表す優先度情報を生成する生成工程と、
前記通信手段の前記第１の送信工程で利用可能な通信帯域と、前記優先度情報とに基づいて、前記第１の送信工程で送信される前記複数の映像のデータ量の比率を制御する制御工程と、を有することを特徴とする情報処理装置の制御方法。
【請求項２８】
外部装置から送信された映像を処理する映像処理装置の制御方法であって、
前記外部装置から、前記外部装置の位置姿勢を判定するために用いられる第１の映像を、通信手段を介して受信する第１の受信工程と、前記第１の映像は、異なる空間に対応した複数の映像を含み、
前記第１の映像に基づいて前記外部装置の位置姿勢を判定する判定工程と、
前記第１の受信工程で利用可能な前記通信手段の通信帯域と、前記判定工程で判定された位置姿勢とに基づいて、前記第１の受信工程で受信される前記複数の映像の優先度を示す優先度情報を生成する生成工程と、
前記優先度情報を前記外部装置へ送信する送信工程と、を有することを特徴とする映像処理装置の制御方法。
【請求項２９】
請求項２５乃至２８のいずれか１項に記載された制御方法の各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば複合現実技術を実現する情報処理装置、映像処理装置、およびそれらの制御方法、ならびに映像処理システムに関する。
【背景技術】
【０００２】
現実世界と仮想世界をリアルタイムかつシームレスに融合させる技術として、複合現実感（ＭＲ：Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ）技術が知られている。ＭＲシステムを実現する方法の一つとして、ビデオシースルー型ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）を利用するものがある。このＭＲシステムでは、ＨＭＤ使用者の視界領域をカメラで撮像し、その撮像映像にＣＧ（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）を合成した映像をＨＭＤの装着者（以下、ＨＭＤ使用者）に提示する。特許文献１では、ビデオシースルー型ＨＭＤを用いたＭＲシステムとして、ＨＭＤ使用者の視界領域を撮像する第一のカメラと、ＨＭＤの位置姿勢を検出するための映像を撮像する第二のカメラとを備えたＨＭＤを用いる技術が提案されている。
【０００３】
撮像映像からＨＭＤの位置姿勢を取得する処理、及びＨＭＤの位置姿勢に応じたＣＧを生成する処理は計算処理コストが大きいため、これらの処理をＨＭＤと接続される外部装置としての映像処理装置に実行させている。この場合、外部装置としてのＰＣ等の映像処理装置とＨＭＤとが接続され、ＨＭＤから撮像映像が映像処理装置に送信される。そして、映像処理装置上でＨＭＤの位置姿勢の検出、ＨＭＤ位置姿勢に応じたＣＧの生成、撮像画像へのＣＧの合成が実行され、ＣＧが合成された撮像画像がＨＭＤに送り返され、表示される。このようなＭＲシステムにおいて、ＨＭＤ使用者が自由に動きながらＭＲ空間を体験できるようにするために、ＨＭＤと映像処理装置とは無線通信により接続されることが望ましい。しかし、一般的に、無線通信は有線通信と比較して通信帯域が狭いため、無線伝送するデータ量を削減する必要がある。また、ＨＭＤはバッテリー等で駆動するため、電力消費の観点からも伝送データ量を削減することが望ましい。
【０００４】
伝送する映像データ量を削減する技術として、映像符号化技術によりデータを圧縮する方法が知られている。また、特許文献２では、受信装置で測定されたパケットロス率・遅延時間から有効通信帯域を算出し、有効通信帯域に応じて映像符号化の送信レートを制御する技術が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２０５７１１
【特許文献２】特開２００６−１２８９９７
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したビデオシースルー方式のＭＲシステムでは、映像処理装置は、ＨＭＤから受信した撮像映像からマーカまたは自然特徴点等の指標を画像解析により抽出することで、ＨＭＤの位置姿勢を検出する。この検出処理においては、高精細な映像データが必要であり、特許文献２のように映像データを大幅に圧縮してしまうと必要十分な映像品質が得られず、ＨＭＤの位置姿勢の検出精度が低下してしまうという課題がある。
【０００７】
本発明は上述の課題に鑑みてなされたものであり、例えばＭＲシステムのような映像処理そステムにおいて、移動可能な情報処理装置（例えばＨＭＤ）の位置姿勢の検出精度の低下を抑えつつ、情報処理装置から映像処理装置に伝送する映像のデータ量を削減することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するための、本発明の一態様による映像処理システムは、以下の構成を備える。すなわち、
可搬型の情報処理装置と、前記情報処理装置から受信した映像に仮想画像を合成する映像処理装置とを有する映像処理システムであって、
前記情報処理装置の位置姿勢を判定するために用いられる第１の映像を、前記情報処理装置から前記映像処理装置へ通信手段を介して送信する第１の送信手段と、前記第１の映像は、異なる空間に対応した複数の映像を含み、
前記映像処理装置において、前記第１の映像に基づいて前記情報処理装置の位置姿勢を判定する判定手段と、
前記通信手段の前記第１の送信手段が利用可能な通信帯域と、前記判定手段により判定された位置姿勢とに基づいて、前記第１の送信手段により送信される前記複数の映像のデータ量の比率を制御する制御手段と、を備える。
【発明の効果】
【０００９】
本発明によれば、移動可能な情報処理装置の位置姿勢の検出精度の低下を抑えつつ、情報処理装置から映像処理装置に伝送される映像のデータ量を削減することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】実施形態によるＭＲシステムの構成図。
【図２】ＭＲシステムにおいて、指標として利用可能な自然特徴点の例を示す図。
【図３】ＭＲシステムにおいて、指標として利用可能なマーカの配置例とサブカメラの撮像範囲の例を示す図。
【図４】第１実施形態によるＨＭＤの機能構成例を示すブロック図。
【図５】第１実施形態によるＰＣの機能構成例を示すブロック図。
【図６】映像データおよび動き情報の生成タイミングを示す図。
【図７】通信フレームの構成を示す図。
【図８】通信フレームの構成を示す図。
【図９】第１実施形態によるＨＭＤとＰＣ間の通信動作を示すシーケンス図。
【図１０】第１実施形態によるＨＭＤの動作を示すフローチャート。
【図１１】第１実施形態によるＰＣの動作を示すフローチャート。
【図１２】第２実施形態によるＨＭＤの機能構成例を示すブロック図。
【図１３】第２実施形態によるＰＣの機能構成例を示すブロック図。
【図１４】第２実施形態によるＨＭＤとＰＣ間の通信動作を示すシーケンス図。
【図１５】第２実施形態によるＨＭＤの動作を示すフローチャート。
【図１６】第２実施形態によるＰＣの動作を示すフローチャート。
【発明を実施するための形態】
【００１１】
以下、添付の図面を参照して、本発明の好適な実施形態のいくつかについて詳細に説明する。
【００１２】
＜第１実施形態＞
図１は、第１実施形態に関わるＭＲシステムの構成例を示す図である。ＭＲシステムは、使用者が携帯することによりその使用者とともに移動が可能な、可搬型の情報処理装置と、その情報処理装置から受信した映像に仮想画像を合成する映像処理装置とを有する映像処理システムである。本実施形態のＭＲシステムは、使用者とともに移動が可能な情報処理装置としての、使用者が装着するビデオシースルー型の頭部搭載型の表示装置であるヘッドマウントディスプレイ（以下、ＨＭＤ１０１）と、映像処理装置としてのＰＣ１３０を備える。マーカ１２０は、映像データからＨＭＤ１０１の３次元位置姿勢（以下、位置姿勢）を検出するのに用いられる。マーカ１２０の実空間における配置位置は既知である。
【００１３】
ＨＭＤ１０１は、ＨＭＤ使用者の視界領域を撮像して仮想画像が合成される映像を撮像するための右メインカメラ１０５と左メインカメラ１０６と、位置姿勢の検出に用いられる映像を撮像するための上サブカメラ１０７と下サブカメラ１０８を備える。本実施形態では、撮像範囲を広げてマーカ１２０が撮像される可能性を高めるように、上下２つのサブカメラを使用している。但し、サブカメラの数は３つ以上であっても良い。このように、複数のサブカメラにより、異なる空間に対応した複数の映像が取得されることになる。以下、右メインカメラ１０５と左メインカメラ１０６を総称してメインカメラ、上サブカメラ１０７と下サブカメラ１０８を総称してサブカメラと記載する。またＨＭＤ１０１はジャイロセンサや加速度センサのような慣性センサを備え、ＨＭＤ１０１の移動回転量を所定のサンプリング周波数で定常的に測定し、動き情報として出力する。
【００１４】
メインカメラ及びサブカメラで撮像されたメイン映像データ、サブ映像データ及び慣性センサ１０９により測定された移動回転量情報（動き情報）は通信リンク１２５を介してＰＣ１３０へ伝送される。通信リンク１２５の伝送方式としては、例えばＧｉｇａｂｉｔ  Ｅｔｈｅｒｎｅｔ（登録商標）、ＩＥＥＥ１３９４等の有線方式、ＩＥＥＥ８０２．１１ｎやＩＥＥＥ８０２．１１ａｃ等の無線方式が挙げられるが、これらに限定されるものではない。
【００１５】
ＰＣ１３０では、受信したサブ映像データを使用して、画像解析によりマーカ１２０を検出し、ＨＭＤ１０１の位置姿勢を検出する。より詳細には、ＰＣ１３０はサブ映像データ中からマーカを検出し、マーカの大きさや形、塗りつぶしのパターンなどの情報を取得する。ＰＣ１３０は、これらの取得された情報から、位置姿勢検出用のマーカ１２０とＨＭＤ１０１の相対的な位置関係、およびＨＭＤ１０１がマーカを撮像している方向に関する三次元位置姿勢情報を算出することができる。なお、本実施形態では、複数のマーカ１２０を使用し、各マーカの位置関係を指標配置情報としてあらかじめ定義しておき、それらの相対的位置関係から、ＨＭＤ１０１がマーカを観察（撮像）している方向を算出している。したがって、内部の塗りつぶしパターンによって方向まで識別が可能なマーカではなく、例えば、カラーマーカや、ＬＥＤなどの発光素子のような方向の情報を持たないマーカを利用することが可能となる。
【００１６】
また、図１で示すようなマーカではなく、図２（ａ）に示すドア２００、テーブル２０５、窓２１０の輪郭線のような、画像中の自然特徴点、画像中の特定の色などを抽出し、それらを用いて位置姿勢情報を算出することも可能である。図２（ｂ）において、マーク２５０、２５５は、ドア２００の特徴点の一部を示している。同一種類のマーカを複数用いたり、数種類のマーカを同時に用いたり、マーカから得られる情報と画像中の特徴点の情報とを組み合わせて用いることによって、より高い精度の位置姿勢情報を生成できる。さらには、複数のマーカや特徴点の位置関係が対応付けられているため、すべてのマーカや特徴点が画像内に表示されていなくても、それぞれのマーカや特徴点の位置を推定することも可能である。
【００１７】
さらに、ＰＣ１３０は受信した、ＨＭＤ１０１の動きを示す動き情報（移動回転量情報）を用いて、位置姿勢を推定する。例えばサブカメラの撮像範囲にマーカが含まれていない場合にも、ＰＣ１３０が過去にサブカメラ映像を使用して検出した位置姿勢情報と、積分した移動回転量情報を組み合わせることにより、現在の位置姿勢を推定することが可能である。ＰＣ１３０は、ＨＭＤ１０１の位置姿勢を検出または推定すると、検出または推定した位置姿勢に応じて仮想画像としてのＣＧを生成し、生成したＣＧをメインカメラ映像上に合成し、ＣＧ合成映像を生成する。ＰＣ１３０は生成したＣＧ合成映像をＨＭＤ１０１に通信リンク１３５を介して送信し、ＨＭＤ１０１は受信したＣＧ合成映像を表示する。
【００１８】
図３はＨＭＤ１０１の位置と、上サブカメラ１０７、下サブカメラ１０８の撮像範囲の例を示す図である。図３において、撮像範囲３１０および撮像範囲３１５は、ＨＭＤがＰ１に位置するときの上サブカメラ１０７および下サブカメラの撮像範囲である。上サブカメラ１０７の撮像範囲３１０には１つのマーカが、下サブカメラ１０８の撮像範囲３１５には２つのマーカが含まれている。また、撮像範囲３２０および撮像範囲３２５は、ＨＭＤがＰ２に移動したときの上サブカメラ１０７および下サブカメラ１０８の撮像範囲である。下サブカメラ１０８の撮像範囲３２５には１つのマーカが、上サブカメラ１０７の撮像範囲３２０には３つのマーカが含まれている。このようにＨＭＤ１０１の位置姿勢の変化に伴って、上サブカメラ１０７および下サブカメラ１０８の各々の撮像範囲に含まれるマーカ数は変化する。そして、このマーカ数は、マーカの配置情報とＨＭＤ１０１の位置姿勢から判定することが可能である。
【００１９】
図４は第１実施形態によるＨＭＤ１０１の機能ブロック図である。図４において、第１撮像部４００は、ＨＭＤ１０１を装着している使用者が見ている現実空間映像を撮像するためのメインカメラであり、左メインカメラ１０６と右メインカメラ１０５を含む。第１圧縮部４０５は、第１撮像部４００の左メインカメラ１０６と右メインカメラ１０５により撮像された左右のメインカメラ映像を所定の符号化方式で圧縮する。符号化方式としては例えば、Ｍｏｔｉｏｎ−ＪＰＥＧやＨ．２６４／ＡＶＣ等が挙げられるが、これら以外の方式でもよい。第１圧縮部４０５により圧縮された左右のメインカメラ映像は通信部４０６を介してＰＣ１３０へ送信される。
【００２０】
第２の撮像部４１０は、ＨＭＤ１０１の位置姿勢を検出するための映像を撮像するための上サブカメラ１０７と下サブカメラ１０８を含み、上下のサブカメラ映像を出力する。優先度情報取得部４１５は、サブカメラ映像の伝送の優先度を含む優先度情報をＰＣ１３０から通信部４０６を介して取得する。優先度情報については後述する。帯域判定部４２０は、通信部４０６を介して、サブカメラにより取得されたサブカメラ映像（位置姿勢の検出に用いられる映像）の送信に利用可能な通信帯域の過不足を判定する。例えば通信部４０６として無線通信を利用している場合には、ＨＭＤ１０１の移動に伴い通信部４０６が利用可能な通信帯域が大きく変化することが想定される。帯域判定部４２０は、通信部４０６が利用するそのような無線通信の通信帯域（通信可能なデータ伝送量）を監視し、通信帯域が十分か不足しているかを判定する。
【００２１】
比率決定部４２５は、帯域判定部４２０で取得した通信帯域の過不足の判定と優先度情報取得部４１５で取得した優先度情報に基づき、上サブカメラ１０７と下サブカメラ１０８で取得された映像の伝送データ量の比率を決定する。例えば、上サブカメラ１０７の映像の優先度が高く、利用可能な通信帯域が不足していると判定されたとする。この場合、上サブカメラ１０７と下サブカメラ１０８の映像の伝送データ量の比率を１：０にすれば、通信帯域の全てを上サブカメラ１０７の映像の伝送に割り当てることになる。利用可能な通信帯域が十分にある場合には、伝送データ量の比率は１：１となり、上下サブカメラの両方の映像の伝送に均等に通信帯域を割り当てることが可能となる。
【００２２】
第２圧縮部４３０は、第２の撮像部４１０にて撮像された上下のサブカメラ映像を、比率決定部４２５で決定された伝送データ量の比率に従って所定の符号化方式で圧縮する。本実施形態では、第１圧縮部４０５と第２圧縮部４３０を別々のブロックとしているが、共通のブロックとしても良い。動き検出部４３５は、ジャイロセンサや加速度センサのような慣性センサ１０９から受信した信号から動き情報を生成する。動き検出部４３５は、慣性センサ１０９を用いてＨＭＤ１０１の移動回転量を所定のサンプリング周波数で定常的に測定している。動き検出部４３５で測定された移動回転量は、所定のサンプル数分まとめられて、動き情報として通信部４０６を介してＰＣ１３０へ送信される。合成映像伸長部４４０は通信部４０６を介してＰＣ１３０から受信した、圧縮されたＣＧ合成映像を伸長する。伸長されたＣＧ合成映像は表示部４４５により表示され、ＨＭＤ１０１の使用者（装着者）に対して提示される。尚、図４に示す各機能部は、ハードウェア又はソフトウェアとして装置に実装される。これらの機能部がソフトウェアとして実装される場合には、これらの機能を実行するためのプログラムが、ＨＭＤ１０１が備える記憶部（ＲＯＭ，ＲＡＭ等のメモリ）に記憶されることになる。そして、ＨＭＤ１０１が備えるＣＰＵが、記憶部に記憶されたプログラムを実行することにより、これらの機能部が提供する機能が実現されることになる。
【００２３】
図５はＰＣ１３０の機能ブロック図である。第１伸長部５０５は、通信部５００を介して受信した、圧縮されたメインカメラ映像（左メインカメラ１０６および右メインカメラ１０５により撮像された映像）を伸長する。第２伸長部５１０は、通信部５００を介して受信した、圧縮されたサブカメラ映像を伸長する。受信されるサブカメラ映像は、上述したように、上サブカメラ１０７、下サブカメラ１０８の両方またはいずれか一方の映像である。また、上サブカメラ１０７の映像と下サブカメラ１０８の映像で圧縮率が異なる場合もある。なお、本実施形態では、第１伸長部５０５と第２伸長部５１０を別々のブロックとしているが、共通のブロックとしても良い。
【００２４】
指標検出部５１５は伸長されたサブカメラ映像を画像解析して、マーカ１２０などの指標を検出する。指標配置情報５２０は、複数の指標とその位置関係を定義した情報であり、ＭＲシステムの開始前に全ての指標を撮像することによって予め構築されたものである。なお、指標配置情報５２０はサブカメラ映像の解析に従ってアップデートされるようにしても良い。位置姿勢検出部５２５は、指標配置情報５２０と指標検出部５１５により検出された指標の情報に基づいて、ＨＭＤ１０１の位置姿勢を検出する。ＣＧ生成部５３０は検出されたＨＭＤの位置姿勢に基づいてＣＧを生成する。ＣＧ合成部５３５は、ＣＧ生成部５３０により生成されたＣＧと、第１伸長部５０５により伸長されたメインカメラ映像とを合成してＣＧ合成映像を生成する。ＣＧ合成部５３５により生成されたＣＧ合成映像は、合成映像圧縮部５４０により所定の符号化方式で圧縮され、通信部５００を介してＨＭＤ１０１に送信される。
【００２５】
動き取得部５５０は、通信部５００を介して、ＨＭＤ１０１の動き検出部４３５が出力した動き情報（移動回転量情報）を取得する。優先度情報生成部５４５は、取得された動き情報（移動回転量情報）と位置姿勢検出部５２５により検出された現在の位置姿勢情報から、次に伝送されるサブカメラ映像の撮影時のＨＭＤ１０１の位置姿勢を推定する。上述したように、マーカ等の指標から判定された現在の位置姿勢に、動き情報（１フレーム分の移動回転量）の積分を加味することで、次のフレームにおけるＨＭＤ１０１の位置姿勢を推定することができる。そして、優先度情報生成部５４５は、推定されたＨＭＤ１０１の位置姿勢と、指標配置情報５２０に基づき、次に伝送されるサブカメラ映像の優先度情報を生成する。例えば、ＨＭＤ１０１の次の推定された撮影位置が図３のＰ２であり、ＨＭＤ１０１の位置姿勢に基づいたサブカメラの撮像範囲は撮像範囲３２０と撮像範囲３２５であるとする。この場合、指標配置情報５２０に基づき、上サブカメラ１０７映像には３個のマーカが含まれ、下サブカメラ１０８の映像には１個のマーカが含まれることがわかる。したがって、優先度情報生成部５４５は、上サブカメラ１０７の映像の優先度を高くした優先度情報を生成する。生成された優先度情報は、通信部５００を介して、ＨＭＤ１０１に送信される。尚、図５に示す各機能部は、ハードウェア又はソフトウェアとして装置に実装される。これらの機能部がソフトウェアとして実装される場合には、これらの機能を実行するためのプログラムが、ＰＣ１３０が備える記憶部（ＲＯＭ，ＲＡＭ等のメモリ）に記憶されることになる。そして、ＰＣ１３０が備えるＣＰＵが、記憶部に記憶されたプログラムを実行することにより、これらの機能部が提供する機能が実現されることになる。
【００２６】
図６はＨＭＤ１０１におけるサブカメラの映像、メインカメラの映像、動き情報（移動回転量情報）のデータ生成タイミングを示す図である。期間６００は映像フレーム（Ｎ）、期間６０５は映像フレーム（Ｎ＋１）の生成タイミングを示している。例えばフレームレートが６０Ｈｚである場合には、約１６ｍｓごとに映像フレームが生成され、ＰＣ１３０へ伝送されることになる。各映像フレームの期間において上サブカメラ１０７からの上サブカメラ映像データ６１５、下サブカメラ１０８からの下サブカメラ映像データ６２０が送信される。また、各映像フレーム期間において、左メインカメラ１０６からの左メインカメラ映像データ６２５、右メインカメラ１０５からの右メインカメラ映像データ６３０が送信される。６１０は映像フレーム（Ｎ）のデータが、６１１は映像フレーム（Ｎ＋１）のデータが生成される間にサンプリングされる動き情報（移動回転量）のデータを示している。映像データと比較すると動き情報の１サンプル当たりのデータ量は少なく、図６で示すように動き情報のサンプリング周波数は、映像のフレームレートよりも高い。本実施形態では、図７で示すように１つの映像フレームを生成する間にサンプリングされた複数の動き情報をまとめて、映像フレームデータと共に通信フレームに格納して伝送している。尚、図５に示す各機能部は、ハードウェア又はソフトウェアとして装置に実装される。これらの機能部がソフトウェアとして実装される場合には、これらの機能を実行するためのプログラムが、ＰＣ１３０が備える記憶部（ＲＯＭ，ＲＡＭ等のメモリ）に記憶されることになる。そして、ＰＣ１３０が備えるＣＰＵが、記憶部に記憶されたプログラムを実行することにより、これらの機能部が提供する機能が実現されることになる。
【００２７】
図７はＨＭＤ１０１からＰＣ１３０へ伝送される通信フレームの構成を示す図である。７００、７０５、７１０、７１５、７２０は映像フレーム（Ｎ）を伝送するときに、通信帯域が十分に与えられている場合の通信フレームの例を示している。帯域判定部４２０によって通信帯域が十分であると判定された場合、本実施形態では以下の通信フレームが含まれる。
・上サブカメラ１０７からの上サブカメラ映像データ７００および下サブカメラ１０８からの下サブカメラ映像データ７０５、
・左メインカメラ１０６からの左メインカメラ映像データ７１０および右メインカメラ１０５からの右メインカメラ映像データ７１５、
・１つの映像フレームを生成する間にサンプリングされた複数の動き情報７２０。
【００２８】
以上のように、帯域判定部４２０が、通信帯域が十分に与えられていると判定した場合には、上下のサブカメラ映像が伝送される。この場合、ＰＣ１３０の位置姿勢検出部５２５は上サブカメラ映像データ７００、下サブカメラ映像データ７０５を画像解析してＨＭＤ１０１の位置姿勢を検出する。更に、優先度情報生成部５４５は、検出された位置姿勢と動き情報７２０（移動回転量情報）を使用して、次に送信すべきサブカメラ映像をサブカメラが撮像するタイミングにおけるＨＭＤ１０１の位置姿勢を予測し、優先度情報を生成し、ＨＭＤ１０１へ伝送する。
【００２９】
他方、図７の７２５、７３０、７３５、７４０は映像フレーム（Ｎ＋１）を伝送するときに、通信帯域が不足した場合の通信フレームの例を示している。この場合、ＰＣ１３０から伝送される優先度情報に基づいて、ＨＭＤ１０１は優先度の高い下サブカメラ１０８からの下サブカメラ映像データを伝送し、上サブカメラ１０７からの上サブカメラ映像データは伝送しないように制御する。したがって、Ｎ＋１番目の映像フレームでは、下サブカメラ映像データ７２５、左メインカメラ映像データ７３０および右メインカメラ映像データ７３５、Ｎ＋１番目の映像フレームを生成する間にサンプリングされた複数の動き情報７４０が伝送される。なお上記実施形態では時分割伝送を用いる構成を示しているが、周波数分割伝送などのその他の多重化方式を用いる構成であっても良いことは当業者には明らかである。
【００３０】
図８はＨＭＤ１０１からＰＣ１３０へ伝送される通信フレームの他の構成例を示す図である。図８では、図７と異なり、上下のサブカメラ映像どちらか一方を選択するのではなく、優先度情報に基づき、上下のサブカメラ映像を圧縮するときの圧縮率を変えることにより伝送される映像データの符号量を変えている。上サブカメラ映像データ８００は、優先度情報により優先度が低いことが示されている上サブカメラ１０７により撮像された映像データを高い圧縮率で圧縮して得られた圧縮データである。これに対し、下サブカメラ映像データ８０５は、優先度情報により優先度が高いことが示されている下サブカメラ１０８により撮像された映像データを、低い圧縮率で圧縮して得られた圧縮データである。上サブカメラ映像データ８００と下サブカメラ映像データ８０５の符号量は、帯域判定部４２０により判定された通信帯域の不足の状態（不足量）と優先度情報に応じて設定される。以上のように、通信待機が不足すると判定された場合に、優先度情報にしたがって符号量の比率を決定する場合は、
・サブカメラ映像の符号量の合計が使用可能な通信帯域で伝送可能な範囲であり、
・上サブカメラ映像と下サブカメラ映像の符号量の比が優先度情報により示される比率に一致するように、圧縮率が設定される。
【００３１】
図９は本実施形態のＨＭＤ１０１とＰＣ１３０との間のデータの送受信の内容を示すシーケンス図である。このシーケンス図では、映像フレーム（Ｎ）のデータ伝送時には、通信帯域が十分にあり、映像フレーム（Ｎ＋１）以降のデータ伝送時には、通信帯域が不足している状況を示している。また映像フレーム（Ｎ＋１）を撮像する際にＨＭＤ１０１は図３のＰ１に位置し、映像フレーム（Ｎ＋２）を撮像する際にはＨＭＤ１０１は図３のＰ２に移動していることを想定している。
【００３２】
まずＨＭＤ１０１は、撮像した映像フレーム（Ｎ）のサブカメラ映像を伝送する（Ｓ９００）。このとき通信帯域は十分にあるため、上下両方のサブカメラ映像が伝送される。次に、ＨＭＤ１０１は、映像フレーム（Ｎ）のメインカメラ映像を伝送する（Ｓ９０５）。次に、ＨＭＤ１０１は、映像フレーム（Ｎ）の生成時にサンプリングされた移動回転量情報（動き情報）を伝送する（Ｓ９１０）。ＰＣ１３０は、上下サブカメラ映像を元に、ＨＭＤ１０１の現在の位置姿勢を検出し、検出した位置姿勢に基づいてＣＧ合成映像を生成して伝送する（Ｓ９１５）。またＨＭＤ１０１の現在の位置姿勢と、移動回転量情報を元に、映像フレーム（Ｎ＋１）を撮影するタイミングにおけるＨＭＤ１０１の位置姿勢を推定する。ＰＣ１３０は、推定されたＨＭＤ１０１の位置姿勢（Ｐ１）から、上サブカメラ１０７の撮像範囲３１０より下サブカメラ１０８の撮像範囲３１５にマーカが多く配置されていることを認識する。これにより、ＰＣ１３０は、下サブカメラ１０８の映像の優先度を上サブカメラ１０７の映像の優先度より高めた優先度情報をＨＭＤ１０１へ伝送する（Ｓ９２０）。
【００３３】
次に映像フレーム（Ｎ＋１）のデータ伝送時にＨＭＤ１０１は通信帯域不足であることを検出する。そのためＨＭＤ１０１はＰＣ１３０から受信した優先度情報に従い、優先度の高い下サブカメラ１０８の映像を送信対象に選択し、映像フレーム（Ｎ＋１）のサブカメラ映像として伝送する（Ｓ９２５）。次に、ＨＭＤ１０１は、映像フレーム（Ｎ＋１）のメインカメラ映像を伝送する（Ｓ９３０）。次に、ＨＭＤ１０１は、映像フレーム（Ｎ＋１）生成時にサンプリングされた移動回転量情報（動き情報）をまとめて伝送する（Ｓ９３５）。ＰＣ１３０は、Ｓ９２５で送信された下サブカメラ１０８の映像データを元に、ＨＭＤ１０１の現在の位置姿勢を検出し、検出した位置姿勢に基づいてＣＧ合成映像を生成し、伝送する（Ｓ９４０）。また、ＰＣ１３０は、ＨＭＤ１０１の現在の位置姿勢と、移動回転量情報を元に、次のＮ＋１フレームの映像を撮影するタイミングにおけるＨＭＤ１０１の位置姿勢を推定する。ＰＣ１３０は推定されたＨＭＤ１０１の位置姿勢（Ｐ２）から、下サブカメラ１０８の撮像範囲３２５より上サブカメラ１０７の撮像範囲３２０にマーカが多く配置されていることを認識する。これにより、ＰＣ１３０は、上サブカメラ１０７の映像の優先度を下サブカメラ１０８の映像の優先度より高めた優先度情報を生成し、ＨＭＤ１０１へ伝送する（Ｓ９４５）。
【００３４】
次に映像フレーム（Ｎ＋２）のデータ伝送時において、ＨＭＤ１０１は通信帯域不足が継続していることを検出する。そのためＨＭＤ１０１はＰＣ１３０から受信した優先度情報に従い、優先度の高い上サブカメラ１０７の映像を選択し、映像フレーム（Ｎ＋２）のサブカメラ映像として伝送する（Ｓ９５０）。Ｓ９５５〜Ｓ９７０の処理は、上サブカメラ１０７の映像データを用いることを除いて、Ｓ９３０〜Ｓ９７０の処理と同等である。
【００３５】
以上のように映像フレームと移動回転量情報を伝送する度に、ＰＣ１３０側で次の映像フレーム伝送時のＨＭＤ１０１の位置を推定することにより、サブカメラ映像の優先度を判断し、位置検出に適したサブカメラ映像が優先的に伝送されるようにしている。以下では、図９で説明したＨＭＤ１０１とＰＣ１３０の動作を実現するための、図４、図５に示した各機能部の処理について図１０、図１１のフローチャートの参照により説明する。
【００３６】
図１０は映像フレーム単位のＨＭＤ１０１の部動作を示すフローチャートである。まず、Ｓ１０００において、ＨＭＤ１０１は、移動回転量情報（動き情報）を動き検出部４３５（慣性センサ）から、上下サブカメラ映像を第２の撮像部４１０（サブカメラ）から、メインカメラ映像を第１撮像部４００（メインカメラ）から取得する。次に、Ｓ１００５で、帯域判定部４２０は、通信部４０６が現在利用可能な通信帯域を取得する。
【００３７】
Ｓ１００６で、帯域判定部４２０は、帯域判定部４２０により判定された通信帯域に基づいて、使用可能な通信帯域が不足しているか否かを判定する。通信帯域が十分にあると判定された場合には、処理はＳ１０１１へ分岐し、比率決定部４２５は上下サブカメラ映像の伝送データ量の比率を均等にする。他方、通信帯域が不足していると判定された場合には、処理はＳ１０１０へ分岐する。Ｓ１０１０において、比率決定部４２５は、帯域判定部４２０が取得した通信帯域と、前回の映像フレーム処理時に優先度情報取得部４１５が取得した優先度情報から、上下サブカメラ映像の伝送データ量の比率を決定する。その場合、優先度情報が示す優先度の高いサブカメラ映像ほど、伝送データ量の比率を上げ優先的に送信できるようにする。伝送比率が１：０の場合には、優先度の高い片方のサブカメラ映像がＨＭＤ１０１からＰＣ１３０へ送信され、もう一方のサブカメラ映像は送信されない。
【００３８】
次にＳ１０１５で、第２圧縮部４３０は、比率決定部４２５が決定した伝送データ量の比率に従ってサブカメラ映像を圧縮する。また、Ｓ１０２０において、第１圧縮部４０５は第１撮像部４００から取得されたメインカメラ映像を圧縮する。Ｓ１０２５において、通信部４０６は、Ｓ１０００で取得された移動回転量情報と、Ｓ１０１５で圧縮されたサブカメラ映像と、Ｓ１０２０で圧縮されたメインカメラ映像をＰＣ１３０へ送信する。次にＳ１０３０では、Ｓ１０２５で、通信部４０６は、ＰＣ１３０へ送信した情報を元に生成されたＣＧ合成映像と優先度情報をＰＣ１３０から受信する。優先度情報は次の映像フレーム処理時に、Ｓ１０１０で使用される。Ｓ１０３５において、合成映像伸長部４４０は、Ｓ１０３０で受信したＣＧ合成映像を伸長し、Ｓ１０４０において、表示部４４５が伸長されたＣＧ合成映像を表示する。
【００３９】
図１１は映像フレーム単位のＰＣ１３０の動作を示すフローチャートである。まずＳ１１００において、通信部５００は、ＨＭＤ１０１がＳ１０２５で送信した移動回転量情報（動き情報）、サブカメラ映像、メインカメラ映像を受信する。なお、受信されるサブカメラ映像は上下両方の場合も、上下のうちのいずれか片方の場合もある。メインカメラ映像とサブカメラ映像は通信部５００を介して第１伸長部５０５と第２伸長部５１０に供給される。また、移動回転量情報は、動き取得部５５０により、通信部５００を介して、動き情報として取得される。Ｓ１１０５において、第２伸長部５１０は通信部５００が受信したサブカメラ映像を伸長し、Ｓ１１１０において、第１伸長部５０５は通信部５００が受信したメインカメラ映像を伸長する。
【００４０】
Ｓ１１１５において、指標検出部５１５は、Ｓ１１０５で伸長されたサブカメラ映像を解析してマーカ等の指標を検出する。Ｓ１１２０において、位置姿勢検出部５２５は、Ｓ１１０５で検出されたマーカと、各マーカの位置関係を定義する指標配置情報５２０に基づいて、ＨＭＤ１０１の現在の位置姿勢を検出する。Ｓ１１２５において、優先度情報生成部５４５は、ＨＭＤ１０１の現在の位置姿勢と、動き取得部５５０が取得した移動回転量とに基づいて、上下サブカメラ映像の優先度を決定し、優先度情報を生成し、送信する。上下サブカメラ映像の優先度の決定方法について説明する。優先度情報生成部５４５は、まず、次に伝送されるサブカメラ映像を得るためにサブカメラが撮像を実行するタイミングにおけるＨＭＤ１０１の位置姿勢を、ＨＭＤ１０１の現在の位置姿勢と、動き取得部５５０が取得した移動回転量から推定する。そして、優先度情報生成部５４５は、推定されたＨＭＤ１０１の位置姿勢と指標配置情報５２０から、上下サブカメラ映像の優先度を決定し、優先度情報を生成する。本実施形態では、推定された位置姿勢から判定される撮像範囲にマーカ（指標）が多く含まれるサブカメラの優先度が高く設定される。なお、位置姿勢検出に適した映像を判定する方法はこれに限られず、例えば図２のようにマーカの代わりに自然特徴点を位置姿勢検出に利用するＭＲシステムの場合には、自然特徴点の数で優先度の判定を行っても良い。
【００４１】
Ｓ１１３０において、ＣＧ生成部５３０はＳ１１２０で検出されたＨＭＤの位置姿勢に基づいてＣＧを生成する。そして、ＣＧ合成部５３５が、Ｓ１１１０で伸長したメインカメラ映像と生成されたＣＧをＳ１１２０で検出されたＨＭＤの位置姿勢に基づいて合成し、ＣＧ合成映像を生成する。Ｓ１１３５において、合成映像圧縮部５４０は、ＣＧ合成部５３５が生成したＣＧ合成映像を圧縮する。Ｓ１１４０において、通信部５００は、合成映像圧縮部５４０により圧縮されたＣＧ合成映像と、Ｓ１１２５で優先度情報生成部５４５により生成された優先度情報をＨＭＤ１０１へ送信する。
【００４２】
以上のように、第１実施形態によれば、利用可能な通信帯域に合わせてＨＭＤ１０１の位置検出に適したサブカメラ映像を優先的に伝送するので、通信帯域が不足する場合であっても位置検出精度を保つことが可能となる。更には伝送する映像データを削減し、ＨＭＤのデータ送信時間を減らすことで、ＨＭＤの電力消費を抑えることが可能となる。
【００４３】
＜第２実施形態＞
第１実施形態では伝送すべきサブカメラ映像の優先度をＰＣ１３０側で判断しているが、これに限られるものではない。第２実施形態では、ＰＣ１３０側で検出した位置姿勢情報をＨＭＤ１０１に伝送することにより、ＨＭＤ１０１側でサブカメラ映像の優先度を判断する構成について説明する。
【００４４】
図１２は、第２実施形態におけるＨＭＤ１０１の機能構成を示すブロック図である。第１実施形態の機能構成（図４）と比較して、通信部４０６ａの内容が変更となり、位置姿勢取得部１２０５、指標配置情報１２１０、優先度決定部１２１５が追加されている。位置姿勢取得部１２０５は、通信部４０６ａを介してＰＣ１３０側で検出した位置姿勢情報を取得する。この位置姿勢情報は、前回（直前）の映像フレーム伝送時におけるＨＭＤ１０１の位置姿勢を示す。
【００４５】
指標配置情報１２１０はＰＣ１３０側の指標配置情報５２０（図５）と同様、複数の指標とその位置関係を定義した情報であり、ＭＲシステムの実行開始前に全ての指標を撮像することによって予め構築される。また、指標配置情報はＰＣ１３０側のサブカメラ映像の解析に従いアップデートされ、所定の周期でＨＭＤ１０１側に伝送されるようにしても良い。優先度決定部１２１５は、優先度情報生成部５４５（図５）と同様の処理によりサブカメラの映像の優先度を決定する。すなわち、優先度決定部１２１５は、動き検出部４３５が取得した動き情報（移動回転量情報）と、位置姿勢取得部１２０５が取得した位置姿勢情報と、指標配置情報１２１０とに基づき、現在の映像フレーム伝送時の位置姿勢を推定する。そして、優先度決定部１２１５は、推定された位置姿勢に基づいて、現在の映像フレーム伝送において伝送するサブカメラ映像の優先度を決定する。このように、第１実施形態とは異なり、第２実施形態では、ＨＭＤ１０１側でサブカメラ映像の優先度を判断する構成となっている。
【００４６】
図１３は第２実施形態におけるＰＣ１３０の機能構成例を示すブロック図である。第１実施形態における機能構成（図５）と比較して、動き取得部５５０と優先度情報生成部５４５が省略され、位置姿勢検出部５２５ａと通信部５００ａの内容が変更されている。位置姿勢検出部５２５ａは、位置姿勢を検出した後、通信部５００ａを介してＨＭＤ１０１へ位置姿勢情報を伝送する。このように、第２実施形態では、サブカメラ映像の優先度をＰＣ１３０側で判断せずＨＭＤ１０１側で判断させるために、必要な位置姿勢情報をＰＣ１３０がＨＭＤ１０１へ伝送する構成となっている。
【００４７】
図１４は第２実施形態におけるＨＭＤ１０１とＰＣ１３０との間のデータ伝送を示すシーケンス図である。このシーケンス図では、映像フレーム（Ｎ）のデータ伝送時には、通信帯域が十分にあり、映像フレーム（Ｎ＋１）以降のデータ伝送時には、通信帯域が不足している状況を示している。またＨＭＤ１０１は映像フレーム（Ｎ＋１）を撮像する際には図３のＰ１に位置し、映像フレーム（Ｎ＋２）を撮像する際には図３のＰ２へ移動していることを想定している。
【００４８】
ＨＭＤ１０１は、撮像した映像フレーム（Ｎ）のサブカメラ映像をＰＣ１３０へ伝送する（Ｓ１４００）。このとき通信帯域が十分であるため、上下両方のサブカメラ映像が伝送される。次に、ＨＭＤ１０１は、映像フレーム（Ｎ）のメインカメラ映像をＰＣ１３０へ伝送する（Ｓ１４０５）。ＰＣ１３０は上下サブカメラ映像を元に、ＨＭＤ１０１の位置姿勢を検出し、検出された位置姿勢に基づいてＣＧ合成映像を生成し、生成したＣＧ合成映像をＨＭＤ１０１へ伝送する（Ｓ１４１０）。また、ＰＣ１３０は、検出したＨＭＤ１０１の位置姿勢情報を伝送する（Ｓ１４１５）。
【００４９】
次に、映像フレーム（Ｎ＋１）のデータ伝送時にＨＭＤ１０１は通信帯域不足であることを検出する。そのためＨＭＤ１０１は、Ｓ１４１５においてＰＣ１３０より送信された位置姿勢とＨＭＤ１０１に蓄積された移動回転量情報を元に、現在のＨＭＤ１０１の位置姿勢を推定する。ＨＭＤ１０１は、推定された位置姿勢がＰ１であると認識し、Ｐ１では上サブカメラ１０７の撮像範囲３１０よりも下サブカメラ１０８の撮像範囲３１５に多くのマーカが配置されていることから、下サブカメラ映像の優先度を高める。本実施形態では、ＨＭＤ１０１は下サブカメラ１０８の映像のみを選択し、映像フレーム（Ｎ＋１）のサブカメラ映像としてＰＣ１３０へ伝送する（Ｓ１４２０）。次に、ＨＭＤ１０１は、映像フレーム（Ｎ＋１）のメインカメラ映像をＰＣ１３０へ伝送する（Ｓ１４２５）。ＰＣ１３０は、Ｓ１４２０で伝送された下サブカメラ映像を元に、ＨＭＤ１０１の位置姿勢を検出し、検出した位置姿勢に基づいてＣＧ合成映像を生成し、これをＨＭＤ１０１へ伝送する（Ｓ１４３０）。また、ＰＣ１３０は、検出されたＨＭＤ１０１の位置姿勢情報をＨＭＤ１０１へ伝送する（Ｓ１４３５）。
【００５０】
次に映像フレーム（Ｎ＋２）のデータ伝送時にＨＭＤ１０１は通信帯域不足が継続していることを検出する。そのためＨＭＤ１０１は、Ｓ１４１５においてＰＣ１３０より送信された位置姿勢とＨＭＤ１０１に蓄積された移動回転量情報を元に、現在のＨＭＤ１０１の位置姿勢を推定する。ＨＭＤ１０１は、現在の位置がＰ２であると認識すると、下サブカメラ１０８の撮像範囲３２５より上サブカメラ１０７の撮像範囲３２０にマーカが多く配置されていることから、上サブカメラ１０７の映像の優先度を高める（Ｓ１３４６）。本実施形態ではＨＭＤ１０１は上サブカメラ映像のみを選択し、映像フレーム（Ｎ＋２）のサブカメラ映像として伝送する（Ｓ１４４０）。Ｓ１４４５〜Ｓ１４５５の処理は、上サブカメラ１０７の映像データを用いることを除いて、Ｓ１４２５〜Ｓ１４３５の処理と同等である。
【００５１】
以上のように、第２実施形態のＨＭＤ１０１は、映像フレームを伝送する度に、ＰＣ１３０から受信した前回のＨＭＤ１０１の位置情報と今回の動き情報（移動回転量情報）から、自身の現在の位置を推定する。そして、ＨＭＤ１０１は、推定された現在の位置からサブカメラ映像の優先度を判断し、位置検出に適したサブカメラ映像を優先的に伝送する。
【００５２】
以下では、図１４で説明したＨＭＤ１０１とＰＣ１３０の動作を実現するための、図１２、図１３に示した各機能部の処理について、図１５、図１６のフローチャートの参照により説明する。図１５は映像フレーム単位のＨＭＤ１０１の動作を示すフローチャートである。Ｓ１５００において、ＨＭＤ１０１は、移動回転量情報を動き検出部４３５（慣性センサ）から、上下サブカメラ映像を第２の撮像部４１０（サブカメラ）から、メインカメラ映像を第１撮像部４００（メインカメラ）から取得する。Ｓ１５０５において、帯域判定部４２０は、現在利用可能な通信帯域を取得する。
【００５３】
Ｓ１５０６において、帯域判定部４２０は、現在利用可能な通信帯域が不足しているかどうかを判定する。通信帯域が十分にあると判定された場合、処理はＳ１５１１へ進み、比率決定部４２５は上下サブカメラ映像の伝送データ量の比率を均等に設定する。通信帯域が不十分と判定された場合には、処理はＳ１５１０へ進み、優先度決定部１２１５が、上下サブカメラの映像の優先度を決定する。優先度の決定において、優先度決定部１２１５は、まずＳ１５００で取得した移動回転量情報と、前回の映像フレーム処理時にＰＣから受信した前回のＨＭＤ１０１の位置姿勢情報から、ＨＭＤ１０１の現在の位置姿勢を推定する。そして、推定された位置姿勢と指標配置情報１２１０から、上下のサブカメラの各撮像範囲に存在するマーカの量に基づいて上下サブカメラの映像の優先度を決定する。次にＳ１５１５において、比率決定部４２５は、Ｓ１５０５で取得された通信帯域と、Ｓ１５１０で決定された優先度から、上下のサブカメラ映像の伝送データ量の比率を決定する。
【００５４】
次に、Ｓ１５２０において、第２圧縮部４３０は、比率決定部４２５が決定した（Ｓ１５１５）伝送データ量の比率に従って、最２の撮像部４１０からのサブカメラ映像を圧縮する。また、Ｓ１５２５において、第１圧縮部４０５は、第１撮像部４００からのメインカメラ映像を圧縮する。Ｓ１５３０において、通信部４０６ａは、Ｓ１５２０で圧縮されたサブカメラ映像とＳ１５２５で圧縮されたメインカメラ映像をＰＣ１３０へ送信する。Ｓ１５３５において、通信部４０６ａは、ＰＣ１３０へ送信した（Ｓ１５３０）サブカメラ映像を元に判定されたＨＭＤ１０１の位置姿勢情報とＣＧ合成映像をＰＣ１３０から受信する。この位置姿勢情報は次の映像フレーム処理時にＳ１５１０で使用される。Ｓ１５４０において合成映像伸長部４４０は受信したＣＧ合成映像を伸長し、Ｓ１５４５において表示部４４５がＣＧ合成映像を表示する。
【００５５】
図１６は映像フレーム単位のＰＣ１３０の動作を示すフローチャートである。Ｓ１６００において、通信部５００ａは、サブカメラ映像、メインカメラ映像をＨＭＤ１０１から受信する。ここで受信されるサブカメラ映像は、上下両方の場合も、上下のいずれか一方の場合もある。Ｓ１６０５において、第２伸長部５１０は、受信したサブカメラ映像を伸長し、Ｓ１６１０において、第１伸長部５０５は、受信したメインカメラ映像を伸長する。Ｓ１６１５において、指標検出部５１５は、Ｓ１６０５で伸長されたサブカメラ映像を解析してマーカ等の指標を検出する。
【００５６】
Ｓ１６２０において、位置姿勢検出部５２５ａは、Ｓ１６１５で検出されたマーカと、各マーカの位置関係を定義する指標配置情報５２０からＨＭＤ１０１の位置姿勢を検出する。Ｓ１６２５において、ＣＧ生成部５３０は、Ｓ１６２０で検出されたＨＭＤ１０１の位置姿勢に基づいてＣＧを生成し、ＣＧ合成部５３５は、Ｓ１６１０で伸長されたメインカメラ映像とＣＧをＳ１６２０で検出されたＨＭＤ１０１の位置姿勢に基づいて合成する。Ｓ１６３０において、合成映像圧縮部５４０は、ＣＧ合成映像を圧縮し、Ｓ１６３５において、Ｓ１６３０で圧縮されたＣＧ合成映像とＳ１６２０で検出された位置姿勢情報をＨＭＤ１０１へ送信する。
【００５７】
以上のように第２実施形態では、サブカメラの映像優先度をＨＭＤ１０１側で決定している。このような第２実施形態においても、第１実施形態と同様に、利用可能な通信帯域に合わせてＨＭＤ１０１に位置検出に適したサブカメラ映像を優先的に伝送することができる。そのため、通信帯域が不足する場合であっても位置検出精度を保つことが可能となる。更には伝送する映像データを削減し、ＨＭＤのデータ送信時間を減らすことで、ＨＭＤの電力消費を抑えることが可能となる。
【００５８】
なお、上記の各実施形態では、複数のサブカメラ映像を複数のサブカメラから得る構成を説明した。すなわち複数のサブカメラから得られる複数のサブカメラ映像が、ＨＭＤ１０１の位置姿勢の検出のための、異なる空間に対応した複数の映像となる。しかしながら、本発明はこれに限られるものではない。例えば、１台のサブカメラから得られる映像を複数の部分映像に分割して複数のサブカメラ映像を得るようにしてもよい。この場合、複数の部分映像が、ＨＭＤ１０１の位置姿勢の検出のための、異なる空間に対応した複数の映像となる。
【００５９】
また、上記実施形態では、サブカメラ映像の優先度を決定するために撮像範囲に含まれるマーカや自然特徴等の指標の個数を条件としたが、これに代えて、又は追加して、撮像範囲に含まれる指標の大きさや鮮明度等のその他の条件を適宜使うようにしても構わない。更に、上述したサブカメラ映像の選択処理は、利用可能な通信帯域が少なくなったときに実行するものとしたが、ＨＭＤ１０１のバッテリ残量が少なくなったとき等の別の条件下において動作するように構成してもよい。または、ＨＭＤ１０１に省電力モード等の動作モードを備え、ＨＭＤ装着者がこのモードを選択したときのみ、本実施形態の動作を行うように構成してもよい。
【００６０】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６１】
１０１：ＨＭＤ、１０５：右メインカメラ、１０６：左メインカメラ１０６、１０７：上サブカメラ、１０８：下サブカメラ、１０９：慣性センサ、１２０：マーカ、１２５，１３５：通信リンク、１３０：ＰＣ、
【図１】
2017010120.tif 000003
【図２】
2017010120.tif 000004
【図３】
2017010120.tif 000005
【図４】
2017010120.tif 000006
【図５】
2017010120.tif 000007
【図６】
2017010120.tif 000008
【図７】
2017010120.tif 000009
【図８】
2017010120.tif 000010
【図９】
2017010120.tif 000011
【図１０】
2017010120.tif 000012
【図１１】
2017010120.tif 000013
【図１２】
2017010120.tif 000014
【図１３】
2017010120.tif 000015
【図１４】
2017010120.tif 000016
【図１５】
2017010120.tif 000017
【図１６】
2017010120.tif 000018