(57)【要約】【課題】視覚的に影響がでない範囲で画質を維持しつつ、能動的な通信量の制御を可能にすることを課題とする。【解決手段】位置姿勢検出部１１３は、ＨＭＤ１０１から伝送された情報を基にＨＭＤ１０１の位置姿勢の変化を検出する。ＣＧ重畳位置決定部１１４とＣＧ生成部１１６は、位置姿勢の変化に基づきＣＧ画像を生成する。画像合成部１１７は、ＨＭＤ１０１で撮像された実写画像にＣＧ画像を合成して合成画像を生成する。符号化パラメータ決定部１１５は、少なくとも実写画像の領域については、位置姿勢の変化量に応じた符号化パラメータを設定して、ＣＧ画像の領域と実写画像の領域とで個別に符号化パラメータを設定する。画像圧縮部１１８は、符号化パラメータを用いて合成画像を圧縮する。そして、画像処理装置１１１は、圧縮した合成画像をＨＭＤ１０１へ伝送する。【選択図】図１
2019083466.tif 000002
【特許請求の範囲】
【請求項１】
撮像部を有する表示装置と双方向通信する情報処理装置であって、
前記表示装置から伝送された情報を基に、前記表示装置の装着者の動きに伴う当該表示装置の位置姿勢の変化を検出する検出手段と、
前記位置姿勢の変化に基づきコンピュータグラフィクス画像を生成する生成手段と、
前記撮像部により撮像された実写画像に、前記コンピュータグラフィクス画像を合成して合成画像を生成する合成手段と、
少なくとも前記実写画像の領域については、前記位置姿勢の変化量に応じた符号化パラメータを設定して、前記コンピュータグラフィクス画像の領域と前記実写画像の領域とで個別に符号化パラメータを設定する決定手段と、
前記符号化パラメータを用いて前記合成画像を圧縮する圧縮手段と、を有し、
前記圧縮した前記合成画像を前記表示装置へ伝送することを特徴とする情報処理装置。
【請求項２】
前記決定手段は、前記実写画像の領域に対し、前記位置姿勢の単位時間当たりの変化量に応じた前記符号化パラメータを設定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記決定手段は、前記合成画像の中の前記実写画像の領域の方が、前記圧縮手段での圧縮率が高くなるような前記符号化パラメータを設定することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記決定手段は、前記合成画像の中の前記実写画像の領域について、前記位置姿勢の変化の方向とは反対の方向になるほど、前記圧縮手段での圧縮率が高くなるような前記符号化パラメータを設定することを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
【請求項５】
前記決定手段は、前記位置姿勢の変化の方向に合わせて、前記実写画像の領域を複数の分割領域に分け、前記位置姿勢の変化の方向とは反対の方向の分割領域ごとに、前記圧縮率が段階的に高くなるような前記符号化パラメータを設定することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記決定手段は、前記合成画像の中の前記コンピュータグラフィクス画像の領域について、前記位置姿勢の変化の方向とは反対の方向になるほど、前記圧縮手段での圧縮率が高くなるような前記符号化パラメータを設定することを特徴とする請求項４または５に記載の情報処理装置。
【請求項７】
前記決定手段は、前記位置姿勢の変化の方向に合わせて、前記コンピュータグラフィクス画像の領域を複数の分割領域に分け、前記位置姿勢の変化の方向とは反対の方向の分割領域ごとに、前記圧縮率が段階的に高くなるような前記符号化パラメータを設定することを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記決定手段は、前記合成画像の中の前記実写画像の領域と前記コンピュータグラフィクス画像の領域のうち、前記位置姿勢の変化の方向と直交する方向の領域については、前記実写画像の領域の方が、前記圧縮率が高くなるような前記符号化パラメータを設定することを特徴とする請求項３から７のいずれか１項に記載の情報処理装置。
【請求項９】
前記合成手段は、前記位置姿勢の変化に応じて前記コンピュータグラフィクス画像に対して動きブレを付与した後に、前記実写画像と合成して前記合成画像を生成することを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記表示装置から伝送された実写画像から所定のマーカーを検出する手段を有し、
前記検出手段は、前記検出されたマーカーを用いて前記表示装置の位置姿勢の変化を検出することを特徴とする請求項１から９のいずれか１項に記載の情報処理装置。
【請求項１１】
情報処理装置と双方向通信する、撮像部を備えた表示装置であって、
前記表示装置の装着者の動きに伴う当該表示装置の位置姿勢の変化を検出する検出手段と、
前記撮像部により撮像した実写画像のうち、所定のマーカーの領域についてはマーカー用の符号化パラメータを設定し、マーカー外の領域については前記位置姿勢の変化量に応じた符号化パラメータを設定する決定手段と、
前記設定した符号化パラメータを用いて前記実写画像を圧縮する圧縮手段と、を有し、
前記圧縮した実写画像を前記情報処理装置へ伝送することを特徴とする表示装置。
【請求項１２】
前記決定手段は、前記撮像した前記実写画像のうち、前記マーカー外の領域の方が、前記圧縮手段での圧縮率が高くなるような符号化パラメータを設定することを特徴とする請求項１１に記載の表示装置。
【請求項１３】
前記決定手段は、前記情報処理装置が前記実写画像から検出して転送してきた所定のマーカーを基に、前記符号化パラメータの設定を行うことを特徴とする請求項１１または１２に記載の表示装置。
【請求項１４】
撮像部を有する表示装置と、
請求項１から１０のいずれか１項に記載の情報処理装置と、を有し、
前記表示装置と前記情報処理装置とで双方向通信を行うことを特徴とする情報処理システム。
【請求項１５】
請求項１１または１２に記載の表示装置と、
請求項１から９のいずれか１項に記載の情報処理装置と、を有し、
前記表示装置と前記情報処理装置とで双方向通信を行うことを特徴とする情報処理システム。
【請求項１６】
請求項１３に記載の表示装置と、
請求項１０に記載の情報処理装置と、を有し、
前記表示装置と前記情報処理装置とで双方向通信を行うことを特徴とする情報処理システム。
【請求項１７】
撮像部を有する表示装置と双方向通信する情報処理装置が実行する情報処理方法であって、
前記表示装置から伝送された情報を基に、前記表示装置の装着者の動きに伴う当該表示装置の位置姿勢の変化を検出する検出工程と、
前記位置姿勢の変化に基づきコンピュータグラフィクス画像を生成する生成工程と、
前記撮像部により撮像された実写画像に、前記コンピュータグラフィクス画像を合成して合成画像を生成する合成工程と、
少なくとも前記実写画像の領域については、前記位置姿勢の変化量に応じた符号化パラメータを設定して、前記コンピュータグラフィクス画像の領域と前記実写画像の領域とで個別に符号化パラメータを設定する決定手段と、
前記符号化パラメータを用いて前記合成画像を圧縮する圧縮工程と、を有し、
前記圧縮した前記合成画像を前記表示装置へ伝送することを特徴とする情報処理方法。
【請求項１８】
情報処理装置と双方向通信する、撮像部を備えた表示装置が実行する情報処理方法であって、
前記表示装置の装着者の動きに伴う当該表示装置の位置姿勢の変化を検出する検出工程と、
前記撮像部により撮像した実写画像のうち、所定のマーカーの領域についてはマーカー用の符号化パラメータを設定し、マーカー外の領域については前記位置姿勢の変化量に応じた符号化パラメータを設定する決定工程と、
前記設定した符号化パラメータを用いて前記実写画像を圧縮する圧縮工程と、を有し、
前記圧縮した実写画像を前記情報処理装置へ伝送することを特徴とする情報処理方法。
【請求項１９】
コンピュータを、請求項１から１０のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【請求項２０】
コンピュータを、請求項１１から１３のいずれか１項に記載の表示装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複合現実感（ＭＲ（Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ）技術に関する。
【背景技術】
【０００２】
現実世界と仮想世界をリアルタイムかつシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ）技術が知られている。ユーザに対してＭＲを提供する装置の一つとして、頭部装着型表示装置（ヘッドマウンテッドディスプレイ、以下、ＨＭＤとする。）がある。ＨＭＤ（表示装置）を用いたＭＲシステムでは、ＨＭＤに実装した撮像ユニットにより取得若しくは外部より入力された現実空間画像にＣＧ画像を合成し、その合成画像をＨＭＤの表示ユニットに表示することでユーザにＭＲ空間を提示する。また、ＨＭＤでは、左目用の合成画像と右目用の合成画像を別系統で生成し、それぞれ左目用表示ユニット、右目用表示ユニットに表示することにより、ユーザにＭＲのステレオ動画像を提供することが可能である。
【０００３】
ここで、ユーザに装着されたＨＭＤの位置姿勢の動きを検出し、その動きに応じたＣＧ画像を生成して現実空間画像に合成するような場合、処理負担が大きくなる。このため、ＨＭＤの撮像ユニットで撮影したステレオ動画像をＰＣや専用機に転送し、それらＰＣ等でＣＧ画像と合成したステレオ合成画像を、再びＨＭＤに伝送して表示するＭＲシステムが実運用されている。なお、ＨＭＤとＰＣ等との間の双方向通信は、専用ケーブル、有線ネットワークもしくは無線により行われる。
【０００４】
ただし、ＨＭＤの位置姿勢の動きが大きいと、ＨＭＤとＰＣ等の間で伝送されるステレオ動画像のデータ圧縮率が下がり、ネットワークや無線帯域の負荷が大きくなる。このようなデータ伝送時の負荷を軽減可能にする技術として、ＣＢＲ（Ｃｏｎｓｔａｎｔ  Ｂｉｔｒａｔｅ）のように、伝送される画像サイズを基にフィードバックを行ってビットレートを一定に保つ技術が知られている。例えば、特許文献１には、ネットワークカメラにおいて、過去に旋回した際にＣＢＲ制御で用いたパラメータを記憶しておき、次回旋回時に過去のパラメータを用いた制御を行うことで通信帯域を定常状態に保つ技術が開示されている。また特許文献２には、入力画像から複数のオブジェクトを分離し、分離した第１のオブジェクトを第１の符号化方法で符号化し、当該符号化した第１のオブジェクトの符号化データに応じて第２のオブジェクトの符号化処理を制御する方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−２２９６８号公報
【特許文献２】特開平１１−２２５３２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、撮像部を有する表示装置の位置姿勢が刻々と変化し、変化量が大きなＭＲを利用するようなユースケースの場合には、ＣＢＲ等のビットレートを一定に保つ制御により高い画質を維持する必要性が低く、より能動的な通信量制御が望まれる。
【０００７】
そこで、本発明は、視覚的に影響がでない範囲で画質を維持しつつ、能動的な通信量の制御を可能にすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、撮像部を有する表示装置と双方向通信する情報処理装置であって、前記表示装置から伝送された情報を基に、前記表示装置の装着者の動きに伴う当該表示装置の位置姿勢の変化を検出する検出手段と、前記位置姿勢の変化に基づきコンピュータグラフィクス画像を生成する生成手段と、前記撮像部により撮像された実写画像に、前記コンピュータグラフィクス画像を合成して合成画像を生成する合成手段と、少なくとも前記実写画像の領域については、前記位置姿勢の変化量に応じた符号化パラメータを設定して、前記コンピュータグラフィクス画像の領域と前記実写画像の領域とで個別に符号化パラメータを設定する決定手段と、前記符号化パラメータを用いて前記合成画像を圧縮する圧縮手段と、を有し、前記圧縮した前記合成画像を前記表示装置へ伝送することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、視覚的に影響がでない範囲で画質を維持しつつ、能動的な通信量の制御が可能となる。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態のＭＲシステムの構成例を示すブロック図である。
【図２】第１実施形態における合成画像と符号化の説明に用いる図である。
【図３】第１実施形態の符号化パラメータ設定処理のフローチャートである。
【図４】マーカーにより位置姿勢を検出する場合の構成例のブロック図である。
【図５】第２実施形態における合成画像と符号化の説明に用いる図である。
【図６】第２実施形態における合成画像と符号化の詳細説明に用いる図である。
【図７】第２実施形態の符号化パラメータ設定処理のフローチャートである。
【図８】第３実施形態のＭＲシステムの構成例を示すブロック図である。
【図９】第３実施形態におけるデータ生成のタイミングを表す図である。
【図１０】ＨＭＤにおける符号化パラメータ決定処理のフローチャートである。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して本発明の好適な実施形態について説明する。
本実施形態では、現実世界と仮想世界をリアルタイムかつシームレスに融合させる技術の一つであるＭＲ（Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ）技術を用いて、ユーザに複合現実感を提供する情報処理システム（以下、ＭＲシステムとする。）を例に挙げる。本実施形態のＭＲシステムは、例えば、撮像部を備えた頭部装着型表示装置（ヘッドマウンテッドディスプレイ、以下、ＨＭＤとする。）と、当該ＨＭＤと双方向通信を行う情報処理装置とを有して構成されている。情報処理装置は、ＨＭＤの撮像部により撮像された実写映像を受信し、その実写映像にコンピュータグラフィクス画像（ＣＧ画像）を合成してＨＭＤに伝送する画像処理装置となされている。本実施形態のＭＲシステムにおける情報処理装置としては、専用の画像処理装置であっても良いし、汎用パーソナルコンピュータ（ＰＣ）、タブレット端末やスマートフォン等の情報処理装置であっても良い。ＨＭＤと情報処理装置との間の双方向通信は、有線ネットワークや無線ネットワーク、或いは専用通信インターフェイス等を介して行われる。
【００１２】
＜第１実施形態＞
以下、第１実施形態のＭＲシステムについて図１〜図４を参照しながら説明する。
第１実施形態のＭＲシステムは、ＨＭＤ１０１と画像処理装置１１１とを有して構成されている。
ＨＭＤ１０１は、画像入力部１０２、画像圧縮部１０３、画像伸張部１０４、画像表示部１０５を有して構成されている。なお、ＨＭＤ１０１の画像入力部１０２は、左右両目に相当する位置から動画の実写映像を撮影可能な撮像ユニット（ステレオカメラ）を備えているとする。また、ＨＭＤ１０１の画像表示部１０５は、左右の目にそれぞれ対応した表示を行える表示ユニットを備えているとする。画像処理装置１１１は、画像伸張部１１２、位置姿勢検出部１１３、ＣＧ重畳位置決定部１１４、符号化パラメータ決定部１１５、ＣＧ生成部１１６、画像合成部１１７、画像圧縮部１１８を有して構成されている。
【００１３】
ＨＭＤ１０１と画像処理装置１１１とは、有線ネットワークや無線ネットワーク、或いは専用通信インターフェイス等を介して双方向通信が可能となされている。ＨＭＤ１０１は、撮像ユニットにより動画の実写映像を撮像し、その動画の実写映像のフレーム毎の画像データを画像処理装置１１１に伝送する。画像処理装置１１１は、ＨＭＤ１０１から受信した実写映像にＣＧ画像を重畳するようにして合成し、その合成画像をＨＭＤ１０１に伝送する。なお、画像処理装置１１１は、ＨＭＤ１０１の撮像ユニットで撮像された左右両目に相当する画像データに対して、それぞれ同様の処理を行うため、以降では何れか一方の目（片目）に相当する画像処理についてのみ説明する。
【００１４】
ＨＭＤ１０１は、画像入力部１０２で取得した動画の実写映像のフレーム毎の画像（以下、実写画像とする。）のデータを画像処理装置１１１へ伝送するが、このとき伝送量を低減するために、画像圧縮部１０３にて実写画像データを圧縮してから送信する。画像処理装置１１１は、当該圧縮された実写画像データを画像伸張部１１２にて伸張し、その伸張後の実写画像データを、位置姿勢検出部１１３と画像合成部１１７とに送る。
【００１５】
位置姿勢検出部１１３は、過去（前フレーム）と現在（現フレーム）の実写画像を比較して、装着者の動きに伴うＨＭＤ１０１の位置姿勢の変化を検出する。具体的には、位置姿勢検出部１１３は、前フレームと現フレームの実写画像についてそれぞれ特徴点を抽出して対応点のマッチングをとって移動ベクトルを算出することにより、位置姿勢の前後左右、上下、回転方向の変化量（移動量）を検出する。このように、位置姿勢検出部１１３は、ＨＭＤ１０１の位置姿勢の変化を表す情報（位置姿勢情報）として、前後左右、上下、回転方向の変化量（移動量）の情報を検出する。位置姿勢検出部１１３にて検出された位置姿勢の変化量の情報は、ＣＧ重畳位置決定部１１４に送られる。また、位置姿勢検出部１１３にて検出された位置姿勢情報は、画像伸張部１１２で伸張された画像データとともに符号化パラメータ決定部１１５に送られる。
【００１６】
ＣＧ重畳位置決定部１１４は、位置姿勢検出部１１３からの位置姿勢情報と、前フレームで決定済みのＣＧ重畳位置とを基に、今回のフレームの実写画像に対してＣＧ画像を重畳する際の座標（ＣＧ重畳位置）を決定する。ＣＧ重畳位置決定部１１４にて決定されたＣＧ重畳位置の情報は、位置姿勢検出部１１３にて検出された位置姿勢情報とともにＣＧ生成部１１６に送られる。また、ＣＧ重畳位置決定部１１４にて決定されたＣＧ重畳位置の情報は、符号化パラメータ決定部１１５にも送られる。
【００１７】
ＣＧ生成部１１６は、ＨＭＤ１０１の位置姿勢情報（位置姿勢の変化量の情報）と、ＣＧ重畳位置決定部１１４にて決定されたＣＧ重畳位置の情報とを基に、今回のフレームの実写画像に重畳するＣＧ画像を生成する。ＣＧ生成部１１６により生成されたＣＧ画像のデータは画像合成部１１７に送られる。
画像合成部１１７は、画像伸張部１１２で伸張された実写画像に対し、ＣＧ生成部１１６で生成されたＣＧ画像を重畳（つまり合成）して合成画像を生成する。なお、ＣＧ画像に注目した場合、実写画像は背景画像に相当すると考えることができる。この合成画像データは画像圧縮部１１８に送られる。
【００１８】
符号化パラメータ決定部１１５は、位置姿勢検出部１１３からの位置姿勢情報（変化量の情報）と、ＣＧ重畳位置決定部１１４からのＣＧ重畳位置の情報とに基づき、画面内（フレーム内）のマクロブロック単位で符号化パラメータを決定する。符号化パラメータ決定部１１５は、フレーム内のマクロブロックが、実写画像の一部であるか、またはＣＧ画像が重畳される領域であるかどうかにより、マクロブロック単位で符号化パラメータを決定する。すなわち本実施形態において、符号化パラメータ決定部１１５は、実写画像の領域と、ＣＧ画像が重畳される領域とで、それぞれ個別に符号化パラメータを設定する。符号化パラメータ決定部１１５における符号化パラメータの設定の詳細は後述する。符号化パラメータ決定部１１５によりマクロブロック単位で設定された符号化パラメータの情報は、画像圧縮部１１８に送られる。
【００１９】
画像圧縮部１１８は、画像合成部１１７から供給された合成画像データに対し、符号化パラメータ決定部１１５で設定されたマクロブロック単位の符号化パラメータに基づく圧縮符号化を行う。画像圧縮部１１８による圧縮後の合成画像データは、ＨＭＤ１０１に伝送される。
このように、画像処理装置１１１からＨＭＤ１０１へは、実写画像にＣＧ画像を合成した合成画像データが伝送されるが、このときも伝送量を低減するために、画像圧縮部１１８により圧縮した合成画像データが伝送される。
【００２０】
ＨＭＤ１０１では、画像処理装置１１１にて圧縮されて伝送されてきた合成画像データを画像伸張部１０４において伸張する。当該画像伸張部１０４で伸張された合成画像データは、画像表示部１０５に送られる。
これにより、ＨＭＤ１０１の画像表示部１０５には、画像処理装置１１１から送られてきた各フレームの合成画像からなる映像、つまり画像入力部１０２で取得した実写映像に画像処理装置１１１でＣＧ画像が合成された合成映像が表示される。
【００２１】
画像処理装置１１１における前述した画像処理は、画像入力部１０２のステレオカメラで取得された左右両目に相当する画像についてそれぞれ同様に行われ、画像表示部１０５では左右両目に対応した映像が表示される。これにより、ＨＭＤ１０１の装着者には、立体的なＭＲ映像が観えることになる。
【００２２】
図２（ａ）は、ＨＭＤ１０１の装着者の周りの外景２０１のうち、ある瞬間にＨＭＤ１０１の画像入力部１０２で取得された画像（撮影された実写画像２０２ａ）と、その実写画像２０２ａにＣＧ画像２０３ａが合成された状態を表した図である。ＨＭＤ１０１の画像表示部１０５には実写画像２０２ａの中にＣＧ画像２０３ａが合成された画像が表示される。図２（ａ）中の矢印２０５ａは、ＨＭＤ１０１の位置姿勢が右方向に変化することで、外景２０１の中で撮影される範囲（実写画像の範囲）が右方向に移動することを表している。図２（ｂ）は、図２（ａ）の矢印２０５ａの方向にＨＭＤ１０１の位置姿勢が変化して画像入力部１０２の撮影範囲が右方向に移動した際に撮影された実写画像２０２ｂに、ＣＧ画像２０３ｂが合成された状態を表した図である。同様に、図２（ｃ）は、図２（ｂ）の状態から更に矢印２０５ｂの方向にＨＭＤ１０１の位置姿勢が変化して画像入力部１０２の撮影範囲が右方向に移動した際に撮影された実写画像２０２ｃに、ＣＧ画像２０３ｃが合成された状態を表した図である。このように、ＨＭＤ１０１の装着者の動きによりＨＭＤ１０１の位置姿勢が変化すると、外景２０１の中で撮影された実写画像は、図２（ａ）の実写画像２０２ａから図２（ｂ）の実写画像２０２ｂ、更に図２（ｃ）の実写画像２０２ｃのように変化する。また、ＨＭＤ１０１の位置姿勢の変化に応じてＣＧ重畳位置が決定されるため、合成画像は、図２（ａ）〜図２（ｃ）に示すように、実写画像２０２ａ〜２０２ｃの中にそれぞれＣＧ画像２０３ａ〜２０３ｃが重畳された画像となる。
【００２３】
本実施形態の画像処理装置１１１は、図２（ａ）〜図２（ｃ）のように、装着者の動きによりＨＭＤ１０１の位置姿勢が変化して実写画像が変化する場合、その変化量に応じて合成画像を圧縮してデータ伝送量を減らすようにする。本実施形態の場合、画像処理装置１１１の符号化パラメータ決定部１１５は、ＨＭＤ１０１の位置姿勢の変化量に応じて、合成画像のうちＨＭＤ１０１で撮像された実写画像の領域に対しては圧縮率が高くなるような符号化パラメータを設定する。例えば、ＨＭＤ１０１の位置姿勢の単位時間当たりの変化量（例えば移動速度）が大きくなるほど、実写画像の領域の圧縮率が高くなるような符号化パラメータを設定する。例えばＨＭＤ１０１の位置姿勢の変化が図２（ｂ）の矢印２０５ｂのように、図２（ｂ）の実写画像２０２ｂから図２（ｃ）の実写画像２０２ｃとなる大きい変化量である場合、実写画像２０２ｃの領域の圧縮率が高くなるような符号化パラメータが設定される。一方、符号化パラメータ決定部１１５は、合成画像のうちＣＧ画像２０３ａ〜２０３ｃの領域については圧縮率を高くせずに高画質を維持可能な符号化パラメータを設定する。したがって、画像圧縮部１１８では、実写画像の領域についてはＨＭＤ１０１の位置姿勢の変化量（移動速度）に応じて高くした圧縮率による圧縮が行われ、ＣＧ画像の領域については低い圧縮率による画質を維持した圧縮が行われる。このように本実施形態においては、画像処理装置１１１からＨＭＤ１０１への伝送量が、ＨＭＤ１０１の変化量に応じて能動的に調整され、変化量が大きい場合には伝送量が少なくなるように調整される。
【００２４】
次に、図３のフローチャートを参照しながら、画像処理装置１１１の符号化パラメータ決定部１１５における符号化パラメータの設定処理について説明する。
本実施形態では、ＪＰＥＧの場合には符号化単位であるマクロブロック単位で、あるいは、Ｈ．２６４等の場合にはＭＣＵと呼ばれる単位で、符号化パラメータを設定する。以下、ＪＰＥＧのマクロブロック単位で符号化パラメータを設定する場合を例に挙げて説明する。
なお、以下の説明では、図３のフローチャートの各処理ステップＳ３０１〜ステップＳ３０７をＳ３０１〜Ｓ３０７と略記する。この図３のフローチャートの処理は、ソフトウェア構成またはハードウェア構成により実行されても良いし、一部がソフトウェア構成で残りがハードウェア構成により実現されても良い。ソフトウェア構成により処理が実行される場合、例えばＲＯＭ等に記憶されている本実施形態に係るプログラムをＣＰＵ等が実行することにより実現される。本実施形態に係るプログラムは、ＲＯＭ等に予め用意されていても良く、また着脱可能な半導体メモリ等から読み出されたり、不図示のインターネット等のネットワークからダウンロードされたりしても良い。これらのことは、後述する他のフローチャートにおいても同様であるとする。
【００２５】
先ず、Ｓ３０１において、符号化パラメータ決定部１１５は、符号化の対象となるマクロブロック（以下、対象マクロブロックとする。）が、ＣＧ画像の重畳位置（以下、ＣＧ表示位置とする。）のマクロブロックであるかどうかを判定する。このＳ３０１での判定は、例えばＣＧ重畳位置決定部１１４で決定したＣＧ表示位置データＤ３１１を用いて行うことができる。
【００２６】
そして、対象マクロブロックがＣＧ表示位置のマクロブロックであると判定した場合、符号化パラメータ決定部１１５は、Ｓ３０７において、符号化パラメータをコンピュータグラフィクス用（ＣＧ用）のパラメータとして決定する。ここで、ＣＧ画像が表示されるＣＧ表示位置は、ＨＭＤ１０１の装着者にとって注目領域になると考えられる。このため、符号化パラメータ決定部１１５は、ＣＧ表示位置については全体として高画質が得られるような符号化パラメータ、つまり低い圧縮率となるような符号化パラメータを設定する。Ｓ３０７の後、符号化パラメータ決定部１１５は、Ｓ３０４に処理を進める。
【００２７】
一方、Ｓ３０１で対象マクロブロックがＣＧ表示位置でないと判定した場合、つまりＣＧ画像に対して背景となる実写画像の領域と判定した場合、符号化パラメータ決定部１１５は、Ｓ３０２において、ＨＭＤ１０１の位置姿勢が変化中かどうかを判定する。このＳ３０２での判定は、例えば位置姿勢検出部１１３で検出された位置姿勢に基づく変化量データＤ３１２を用いて行うことができる。
【００２８】
そして、位置姿勢が変化中であると判定した場合、符号化パラメータ決定部１１５は、Ｓ３０６において、ＣＧ画像に対して背景となる実写画像の領域に対する符号化パラメータを、位置姿勢の変化量に応じたパラメータとする。具体的には、符号化パラメータ決定部１１５は、Ｓ３０６において、予め位置姿勢変化量と符号化パラメータとを対応付けた位置姿勢変化量・符号化パラメータテーブルＤ３１３を参照して、位置姿勢の変化量に応じた符号化パラメータを設定する。Ｓ３０６の後、符号化パラメータ決定部１１５は、Ｓ３０４に処理を進める。
【００２９】
一方、位置姿勢に変化が無いか、もしくは変化量が閾値未満のように少ないため、Ｓ３０２で位置姿勢変化中と判定されなかった場合、符号化パラメータ決定部１１５は、Ｓ３０３において符号化パラメータを通常の実写画像用の符号化パラメータに設定する。通常の実写画像用の符号化パラメータは、予め決められたパラメータでも良いし、例えば実写画像の特徴量等に応じたパラメータでも良い。Ｓ３０３の後、符号化パラメータ決定部１１５は、Ｓ３０４に処理を進める。
【００３０】
Ｓ３０４に進むと、符号化パラメータ決定部１１５は、フレーム内の全てのマクロブロックに対する符号化パラメータの設定が終了したか否か判定する。そして、符号化パラメータ決定部１１５は、全てのマクロブロックへの符号化パラメータの設定が終了したと判定した場合には、図３のフローチャートの処理を終了する。一方、符号化パラメータが未設定のマクロブロックがある場合、符号化パラメータ決定部１１５は、Ｓ３０５において、対象マクロブロックを次のマクロブロック（つまり符号化パラメータが未設定のマクロブロック）とし、Ｓ３０１に処理を戻す。これにより、符号化パラメータが未設定の対象マクロブロックについて前述した処理が行われて符号化パラメータの設定が行われることになる。
【００３１】
以上により、本実施形態によれば、ＨＭＤ１０１の位置姿勢の変化量（特に移動速度）に応じて、画像処理装置１１１とＨＭＤ１０１と間の画像伝送帯域（データ通信量）を、能動的に制御することができる。特にＨＭＤ１０１の位置姿勢の変化量が大きい場合、動画における実写画像の画質がユーザの視覚に与える影響は少なく、詳細に表示する必要性は低いと考えられる。このため、例えば実写画像の圧縮率を大幅に下げたとしても、ユーザから観える動画の実写映像は視覚的にさほど違和感のない映像になると考えられる。したがって、本実施形態の画像処理装置１１１は、ＨＭＤ１０１の位置姿勢の変化量が大きい場合、実写画像の圧縮率を大幅に下げることで、通信帯域への負荷を下げるようにする。すなわち、本実施形態によれば、ＨＭＤを装着したユーザが移動・首振り等して位置姿勢が変化した際の変化量に基づいて、視覚的な影響を抑えつつ通信帯域への負荷を低減するような、能動的な通信量制御が可能となる。一方で、合成画像の中のＣＧ画像はユーザが注目する領域になることが多い。このため、ＣＧ画像については、実写画像の場合のように位置姿勢の変化量に応じて圧縮率を高めるような符号化パラメータの制御は行わず、低い圧縮率となる符号化パラメータを用いて高い画質を確保する。
【００３２】
前述した実施形態の場合、位置姿勢検出部１１３は、前フレームと現フレームの実写画像の特徴点を用いて位置姿勢変化を検出する方式を挙げたが、例えば所定のマーカーを用いて位置姿勢の変化を検出しても良い。図４は、位置姿勢の変化の検出に所定のマーカーを用いる場合のＭＲシステムの構成例を示した図である。図４において、前述した図１と同一の構成については同じ参照符号を付して、それらの説明は省略する。
【００３３】
図４に示したＭＲシステムにおいて、画像処理装置１１１はマーカー検出部４０９を有している。マーカー検出部４０９は、画像伸張部１１２と位置姿勢検出部１１３との間に設けられており、画像伸張部１１２の出力は前述した画像合成部１１７に送られるとともに、マーカー検出部４０９にも送られる。マーカー検出部４０９は、画像伸張部１１２で伸張された実写画像、つまりＨＭＤ１０１から伝送された動画のフレームごとの実写画像の中からマーカーの画像を検出する。そして、マーカー検出部４０９は、動画のフレームごとに検出したマーカーの位置情報（以下、マーカー検出情報とする。）を、実写画像とともに位置姿勢検出部１１３に送る。図４の場合の位置姿勢検出部１１３は、マーカー検出部４０９により検出された動画のフレームごとのマーカーの位置の変化（移動）を追尾することで、位置姿勢の変化を検出する。位置姿勢検出部１１３以降の各構成の動作は前述の図１と同様であるため説明は省略する。
【００３４】
また前述の実施形態では、合成画像の中のＣＧ画像は、ＨＭＤ１０１の位置姿勢の変化量に関係なく、一定の符号化パラメータを用いて符号化される。ここで、ＣＧ画像については、ＨＭＤ１０１の位置姿勢の変化量（例えば移動速度）に応じて動きブレ（モーションブラー）を付加した後に実写画像と合成しても良い。変化量に応じたモーションブラーをＣＧ画像に付加する処理は、例えば画像合成部１１７において行われるとする。またこの例の場合、画像圧縮部１１８では、モーションブラーが付与されたＣＧ画像と実写画像とが合成された合成画像について前述のように設定された符号化パラメータを用いた圧縮が行われる。
この例によれば、ＨＭＤ１０１の位置姿勢の変化が装着者の首振り等による場合、前述同様に画像伝送量を低減しつつ、首振りによる移動において視覚的に違和感の少ないＣＧ画像が重畳された合成画像をＨＭＤ１０１の画像表示部１０５に表示できる。
また例えば、外的な要因等により通信帯域が一時的に減少した場合には、符号量（通信量）が更に小さくなるように符号化パラメータを設定しても良く、これにより通信帯域の余裕を増やすことができる。
【００３５】
＜第２実施形態＞
次に、第２実施形態のＭＲシステムについて図５から図７を参照して説明する。第２実施形態におけるＭＲシステムの構成は第１実施形態の図１と同様であり、以下、第１実施形態とは異なる動作について説明する。
ここで、ＨＭＤ１０１の装着者からみてフレームアウトするような画像は、当該装着者にとって注目領域にならなくなる可能性が高い。したがって、フレームアウトする画像については、積極的に圧縮率を高くして符号量を落としたとしても、ＨＭＤ１０１の装着者にとって視覚的にさほど気にならないと考えられる。そこで、第２実施形態においては、ＨＭＤ１０１の位置姿勢の変化量（移動量）とともに、その変化の方向（移動の方向）をも加味した符号化パラメータの設定を行う。
【００３６】
第１実施形態の場合、符号化パラメータ決定部１１５は、ＨＭＤ１０１の位置姿勢の変化量に応じた符号化パラメータを設定しており、その符号化パラメータは実写画像の領域内においては一様なパラメータとなっている。
これに対し、第２実施形態の場合、符号化パラメータ決定部１１５は、ＨＭＤ１０１の位置姿勢の変化量（移動量）とともに、その変化の方向（移動の方向）をも加味することで、実写画像の領域内で符号化パラメータを変えるようにする。第２実施形態の場合、符号化パラメータ決定部１１５は、実写画像の領域を複数に分割し、それら各分割領域についてそれぞれ異なる符号化パラメータを設定する。すなわち、符号化パラメータ決定部１１５は、これら分割領域について、変化量と変化の方向に応じて圧縮率が段階的に変化するような符号化パラメータを設定する。
【００３７】
また、第１実施形態の場合、ＣＧ画像に対しては、ＨＭＤ１０１の位置姿勢の変化に関わらずに符号化パラメータが設定されている。
これに対し、第２実施形態の場合、実写画像に対する符号化パラメータ設定と同様に、ＨＭＤ１０１の位置姿勢変化時の変化量と変化の方向とに応じて、ＣＧ画像の領域内で符号化パラメータを変えるようにする。第２実施形態の場合、符号化パラメータ決定部１１５は、ＣＧ画像の領域を複数に分割し、それら各分割領域についてそれぞれ異なる符号化パラメータを設定する。このように、符号化パラメータ決定部１１５は、ＣＧ画像の領域を分けた分割領域についても、変化量と変化の方向に応じて圧縮率が段階的に変化するような符号化パラメータを設定する。
【００３８】
図５（ａ）〜図５（ｃ）は前述した図２（ａ）〜図２（ｃ）と同様に表した図である。ただし、図５（ｂ）と図５（ｃ）に示した例の場合、ＣＧ画像５０３ｂ、５０３ｃの位置は、図２（ｂ）、図２（ｃ）の例とは異なっているとする。図５（ｂ）と図５（ｃ）の場合、ＨＭＤ１０１の位置姿勢の変化（移動）により、撮影範囲である実写画像２０２ｂ、２０２ｃからＣＧ画像５０３ｂ、５０３ｃが徐々にフレームアウトする例が表されている。また、図６は図５（ｂ）の例における実写画像２０２ｂとＣＧ画像５０３ｂを拡大して示した図である。この図６は、ＨＭＤ１０１の位置姿勢変化により矢印２０５ｂに示す方向へ撮影範囲が移動する一瞬の時点における実写画像２０２ｂとＣＧ画像５０３ｂの様子を表している。
【００３９】
第２実施形態の場合、符号化パラメータ決定部１１５は、図６に示すように、実写画像２０２ｂの領域内を、矢印２０５ｂで示す変化の方向に対して階層となる領域６０１ａ，６０１ｂ，６０１ｃに分け、それら分割領域ごとに符号化パラメータを設定する。これら領域６０１ａ〜６０１ｃに対して設定する符号化パラメータは、矢印２０５ｂで示す変化の方向とは反対の方向の順番、つまり領域６０１ａ，６０１ｂ，６０１ｃの順番で段階的に圧縮率が高くなるようなパラメータとする。なお、領域６０１ａ，６０１ｂ，６０１ｃにおける矢印２０５ｂの方向の領域幅は、矢印２０５ｂで示す変化の方向とは反対の方向ほど狭くなるようになされる。
【００４０】
同様に、第２実施形態の場合、符号化パラメータ決定部１１５は、ＣＧ画像２０３ｂの領域内を、矢印２０５ｂで示す変化の方向に対して階層となる領域６０２ａ，６０２ｂ，６０２ｃに分け、それら分割領域ごとに符号化パラメータを設定する。これら領域６０２ａ〜６０２ｃに対して設定する符号化パラメータは、矢印２０５ｂで示す変化の方向とは反対の方向の順番、つまり領域６０２ａ，６０２ｂ，６０２ｃの順番で段階的に圧縮率が高くなるようなパラメータとする。なお、領域６０２ａ，６０２ｂ，６０２ｃにおける矢印２０５ｂの方向の領域幅は、矢印２０５ｂで示す変化の方向とは反対の方向ほど狭くなるようになされる。
【００４１】
また、符号化パラメータ決定部１１５は、実写画像２０２ｂとＣＧ画像５０３ｂの各分割領域の中で、矢印２０５ｂで示す変化の方向に対し直交する方向については、ＣＧ画像よりも実写画像の方の圧縮率が高くなるような符号化パラメータを設定する。つまり、ＣＧ画像と実写画像とでは、ＣＧ画像の方が装着者にとって注目され易いため、符号化パラメータ決定部１１５は、変化の方向に対し直交する方向については、ＣＧ画像の方が実写画像よりも圧縮率が低くなるような符号化パラメータを設定する。
【００４２】
図７は、第２実施形態の符号化パラメータ決定部１１５における符号化パラメータ設定処理のフローチャートである。なお、図７のフローチャートにおいて、前述した図３のフローチャートと同一の処理ステップには同じ参照符号を付してその詳細は省略し、以下、異なる部分についてのみ説明する。
第２実施形態の場合、Ｓ３０１において対象マクロブロックがＣＧ表示位置のマクロブロックに該当すると判定した場合、符号化パラメータ決定部１１５は、Ｓ７０７に処理を進める。Ｓ７０７に進むと、符号化パラメータ決定部１１５は、ＣＧ画像の領域を前述のように分割した分割領域ごとに、位置姿勢の変化の方向と変化量に応じたコンピュータグラフィクス用（ＣＧ用）の符号化パラメータを設定する。ここで、ＣＧ画像が表示されるＣＧ表示位置は、ＨＭＤ１０１の装着者にとって注目領域になると考えられるため、ＣＧ表示位置については全体として高画質が得られるような符号化パラメータが設定される。つまり、ＣＧ表示位置については、実写画像の領域よりも低い圧縮率となるような符号化パラメータを設定する。このときの符号化パラメータは、位置姿勢の変化の方向および変化量と符号化パラメータとが予め対応付けられている符号化パラメータテーブルＤ７１３を参照することにより決定される。Ｓ７０７の後、符号化パラメータ決定部１１５は、Ｓ３０４に処理を進める。
【００４３】
一方、Ｓ３０１において対象マクロブロックがＣＧ表示位置のマクロブロックに該当しない、つまりＣＧ画像に対して背景となる実写画像のマクロブロックであると判定した場合、符号化パラメータ決定部１１５は、前述同様にＳ３０２に処理を進める。そして、Ｓ３０２において、位置姿勢変化中であると判定した場合、符号化パラメータ決定部１１５は、Ｓ７０６に処理を進める。Ｓ７０６に進むと、符号化パラメータ決定部１１５は、実写画像の領域を前述のように分割した分割領域ごとに、位置姿勢の変化の方向と変化量に応じた実写画像用の符号化パラメータを設定する。ここで、ＨＭＤ１０１の装着者の注目領域はＣＧ画像になると考えられるため、実写画像については、ＣＧ画像の領域よりも高い圧縮率となるような符号化パラメータを設定する。このときの符号化パラメータについても、前述同様、符号化パラメータテーブルＤ７１３を参照することにより決定される。Ｓ７０６の後、符号化パラメータ決定部１１５は、Ｓ３０４に処理を進める。Ｓ３０３とＳ３０４以降の処理は前述の図３の例と同様であるため説明を省略する。
【００４４】
以上のように、第２実施形態によれば、位置姿勢の変化量と変化の方向に応じて符号化パラメータを調整することで、例えばフレームアウトする領域の符号量を減らす制御が可能となる。すなわち、ＨＭＤ１０１の装着者から観てフレームアウトする領域は注目領域にはならなくなるため、そのフレームアウトする領域の圧縮率を高くして符号量を低減することで、ＨＭＤ１０１と画像処理装置１１１との間の通信帯域を確保することが可能となる。
なお、本実施形態では、実写画像とＣＧ画像をそれぞれ３分割する例を挙げて説明したが、分割数や分割する割合、変化の方向における各分割領域の幅については前述の例に限定されるものではない。例えば、分割の単位は、マクロブロック単位や画素単位になされても良い。
【００４５】
＜第３実施形態＞
次に、第３実施形態のＭＲシステムについて図８から図１０を参照しながら説明する。
図８は第３実施形態におけるＭＲシステムの構成例を示した図である。なお、図８において、図１と同様に動作する構成には図１と同じ参照符号を付して、その説明は省略する。
第１、第２実施形態では、画像処理装置１１１により生成された合成画像をＨＭＤ１０１に伝送する際の符号量を制御する方法を説明したが、第３実施形態においては、更に、ＨＭＤ１０１から画像処理装置１１１に転送する画像の符号量制御をも行う。
【００４６】
図８に示した第３実施形態の構成の場合、ＨＭＤ１０１の内部に、簡易位置姿勢検出部８０６と符号化パラメータ決定部８０７とが設けられている。
ＨＭＤ１０１の簡易位置姿勢検出部８０６は、前のフレームの実写画像が取得されてから次のフレームの実写画像が取得されるまでの間のＨＭＤ１０１の位置姿勢の動きを検出して、ＨＭＤ１０１内の符号化パラメータ決定部８０７に送信する。簡易位置姿勢検出は、ジャイロセンサ等の検出出力を取得して、ＨＭＤ１０１における単位時間あたりの変化量を検出できる構成により実施する。
【００４７】
ＨＭＤ１０１の画像入力部１０２で取得された実写画像は、ＨＭＤ１０１の符号化パラメータ決定部８０７で後述するように設定された符号化パラメータを用いて画像圧縮部１０３により圧縮された後、画像処理装置１１１に伝送される。そして、画像処理装置１１１の画像伸張部１１２により伸張された実写画像データは、マーカー検出部４０９と画像合成部１１７に送られる。
【００４８】
図８の場合、ＨＭＤ１０１の位置姿勢の変化は前述の図４の例と同様に、マーカー検出部４０９により検出されるマーカーを用いて行われる例を挙げている。マーカー検出部４０９は、図４で述べたように、画像伸張部１１２で伸張された実写画像の中からマーカーの画像を検出して、そのマーカー検出情報（マーカーの位置情報）を、実写画像とともに位置姿勢検出部１１３に送る。位置姿勢検出部１１３は、マーカー検出部４０９により検出された、動画のフレームごとのマーカーの位置の変化（移動）を追尾することで、位置姿勢の変化を検出する。位置姿勢検出部１１３以降の各構成の動作は前述の実施形態と同様であるため説明は省略する。
また、第３実施形態の場合、マーカー検出部４０９で検出されたマーカー検出情報は、ネットワークまたは通信インターフェイスを通じて、ＨＭＤ１０１の符号化パラメータ決定部８０７に転送される。
【００４９】
ここで、マーカー検出部４０９からのマーカー検出情報がＨＭＤ１０１の符号化パラメータ決定部８０７に通知されるまでには、実写画像の圧縮、転送、伸張等が行われるため、少なくともそれらに要する時間分の遅延が生ずることになる。また、ＨＭＤ１０１の簡易位置姿勢検出部８０６で位置姿勢の変化を検出する際にも、前のフレームの実写画像が取得されてから次のフレームの実写画像が取得されるまでに相当する１フレーム分の遅延が生ずる。
【００５０】
図９は、画像入力部１０２が取得した実写画像のフレーム、マーカー検出部４０９によるマーカー検出、簡易位置姿勢検出部８０６による簡易位置姿勢検出、および符号化パラメータ決定部８０７での符号化パラメータ決定のタイミングを表した図である。
図９の例では、画像入力部１０２が取得した実写画像のフレーム番号をｎ，ｎ＋１，ｎ＋２，ｎ＋３，・・・で表している。また、図９では、簡易位置姿勢検出部８０６による位置姿勢情報をｅ（ｎ＋１），ｅ（ｎ＋２），・・・で表している。簡易位置姿勢検出部８０６では、実写画像のフレームに対して１フレームの時間分だけ遅延して位置姿勢の変化が検出されるため、例えばフレーム番号ｎ＋１の実写画像が取得されたタイミングと位置姿勢情報ｅ（ｎ＋１）のタイミングはほぼ同期している。
【００５１】
一方、マーカー検出部４０９によるマーカー検出は、前述したように実写画像の圧縮、転送、伸張の後に行われるため、それらに要する時間分だけの遅延が生じる。図９の例では、マーカー検出部４０９での検出されるマーカー検出情報をｍ（ｎ），ｍ（ｎ＋１），・・・で表しており、これらのタイミングは実写画像の圧縮、転送、伸張に要する時間分だけの遅延している。そして、マーカー検出情報は、ＨＭＤ１０１の符号化パラメータ決定部８０７に伝送されるために、当該マーカー検出情報についてもフレーム単位の遅延が生じていることになる。図９には、マーカー検出情報に、ほぼ１フレーム分の遅延が生じている例が示されている。
したがって、符号化パラメータ決定部８０７では、図９に示すように、例えば位置姿勢情報ｅ（ｎ＋１）とマーカー検出情報ｍ（ｎ）のタイミングで、符号化パラメータが決定される。
【００５２】
次に、ＨＭＤ１０１の符号化パラメータ決定部８０７において、例えばフレーム番号ｎ＋１の実写画像に対する符号化パラメータを生成する際の処理の流れを、図１０のフローチャートを用いて説明する。
先ずＳ１００１において、符号化パラメータ決定部８０７は、簡易位置姿勢検出部８０６からの位置姿勢情報ｅ（ｎ＋１）と、マーカー検出部４０９からのマーカー検出情報ｍ（ｎ）とを基に、フレーム番号ｎ＋１におけるマーカー位置を推定する。この際、符号化パラメータ決定部８０７は、フレーム番号ｎで検出されたマーカー検出情報ｍ（ｎ）から、位置姿勢情報ｅ（ｎ＋１）分の位置を写像することで、簡易的にフレーム番号ｎ＋１の実写画像内のマーカー位置ｖ（ｎ＋１）を推定する。
【００５３】
次に、符号化パラメータ決定部８０７は、フレーム番号ｎ＋１の実写画像内の先頭のマクロブロックから最終のマクロブロックまでについて、以下のＳ１００２からＳ１００８の処理を行う。
Ｓ１００２において、符号化パラメータ決定部８０７は、符号化パラメータを決定する対象マクロブロックが、マーカー位置に相当するマクロブロックかどうかを判定する。ここで、対象マクロブロックがマーカー位置に相当するマクロブロックであると判定した場合、符号化パラメータ決定部８０７は、Ｓ１００８において、符号化パラメータをマーカー用のパラメータとする。マーカー用の符号化パラメータは予め決められたパラメータとなされる。
【００５４】
一方、Ｓ１００２において対象マクロブロックがマーカー位置のマクロブロックでないと判定した場合、つまりマーカー外であった場合、符号化パラメータ決定部８０７は、Ｓ１００３において、位置姿勢変化中であるかどうかを判定する。このＳ１００３の処理は、前述したＳ３０２と同様の処理であり、簡易位置姿勢検出部８０６で検出した位置姿勢に基づく変化量データを用いて、ＨＭＤ１０１の位置姿勢変化中かどうかを判定する処理である。
【００５５】
そして、位置姿勢変化中であると判定した場合、符号化パラメータ決定部８０７は、Ｓ１００７において、マーカー外の実写画像の領域に対する符号化パラメータを、位置姿勢の変化量に応じたパラメータとする。具体的には、符号化パラメータ決定部８０７は、Ｓ１００７において、予め位置姿勢変化量と符号化パラメータとを対応付けた位置姿勢変化量・符号化パラメータテーブルＤ１０１３を参照して、位置姿勢の変化量に応じた符号化パラメータを設定する。すなわち、第３実施形態において、ＨＭＤ１０１の符号化パラメータ決定部８０７は、実写画像のうち、検出されたマーカーの領域よりも、マーカー外の領域について圧縮率が高くなるような符号化パラメータを設定する。Ｓ１００７の後、符号化パラメータ決定部８０７は、Ｓ１００５に処理を進める。
【００５６】
一方、位置姿勢に変化が無いか、もしくは変化量が閾値未満のように少ないため、Ｓ１００３で位置姿勢変化中と判定されなかった場合、符号化パラメータ決定部８０７は、Ｓ１００４において符号化パラメータを通常の実写画像用の符号化パラメータに設定する。通常の実写画像用の符号化パラメータは、前述同様に予め決められたパラメータでも良いし、例えば実写画像の特徴量等に応じたパラメータでも良い。Ｓ１００４の後、符号化パラメータ決定部８０７は、Ｓ１００５に処理を進める。
【００５７】
Ｓ１００５に進むと、符号化パラメータ決定部８０７は、フレーム内の全てのマクロブロックに対する符号化パラメータの設定が終了したか否か判定する。そして、符号化パラメータ決定部８０７は、全てのマクロブロックへの符号化パラメータの設定が終了したと判定した場合には、図１０のフローチャートの処理を終了する。一方、符号化パラメータが未設定のマクロブロックがある場合、符号化パラメータ決定部８０７は、Ｓ１００６において、対象マクロブロックを次のマクロブロック（つまり符号化パラメータが未設定のマクロブロック）とし、Ｓ１００２に処理を戻す。これにより、符号化パラメータが未設定の対象マクロブロックについて前述した処理が行われて符号化パラメータの設定が行われることになる。
【００５８】
前述のように、第３実施形態によれば、ＨＭＤ１０１の符号化パラメータ決定部８０７は、実写画像のうち、検出されたマーカーの領域よりも、マーカー外の領域について圧縮率が高くなるような符号化パラメータを設定している。これにより、第３実施形態の場合、ＨＭＤ１０１から画像処理装置１１１へ伝送する画像は、マーカー位置に相当する画像が高画質となされ、マーカー位置以外の画像の符号量を減らした動画となされる。第３実施形態によれば、画像処理装置１１１では高画質のマーカーを用いた正確な位置姿勢検出を行え、また、ＨＭＤ１０１と画像処理装置１１１との間の通信量を減らすことも可能である。
【００５９】
なお、図８の場合、ＨＭＤ１０１の符号化パラメータ決定部８０７は、画像処理装置１１１のマーカー検出部４０９が検出したマーカー位置を基に、マーカー外の領域の圧縮率が高くなるような符号化パラメータを設定している。その他の例として、ＨＭＤ１０１がマーカー検出部を備えていて、符号化パラメータ決定部８０７は、そのマーカー検出部で検出したマーカー位置を基に、マーカー外の領域の圧縮率が高くなるような符号化パラメータを設定しても良い。この場合、画像処理装置１１１は、前述の図１に示したようにマーカー検出部を備えていない構成であっても良い。
【００６０】
＜その他の実施形態＞
なお、上述の各実施形態では、ＭＲシステムを構成する表示装置に関し、ＨＭＤ（頭部装着型表示装置）の例を示したが、表示装置はこれに限られない。例えば、表示装置は、把持型表示装置（ハンドヘルドディスプレイ（ＨＨＤ））であっても良い。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００６１】
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００６２】
１０１  ＨＭＤ、１０２：画像入力部、１０３，１１８：画像圧縮部、１０４，１１２：画像伸張部、１０５：表示部、１１３：位置姿勢検出部、１１４：ＣＧ重畳位置決定部、１１５，８０７：符号化パラメータ決定部、１１６：ＣＧ生成部、１１７：画像合成部、４０９：マーカー検出部、８０６：簡易位置姿勢検出部
【図１】
2019083466.tif 000003
【図２】
2019083466.tif 000004
【図３】
2019083466.tif 000005
【図４】
2019083466.tif 000006
【図５】
2019083466.tif 000007
【図６】
2019083466.tif 000008
【図７】
2019083466.tif 000009
【図８】
2019083466.tif 000010
【図９】
2019083466.tif 000011
【図１０】
2019083466.tif 000012