(57)【要約】 【課題】撮像画像データを送信するＨＭＤ側で、マーカー領域やＣＧ重畳領域等の領域毎に符号化レート制御や誤り訂正符号化制御を行う必要があるが、十分な画像解析能力を持たないＨＭＤは領域を識別することができない。【解決手段】ＣＧを重畳する外部装置側において、次フレームのマーカー領域やＣＧ重畳領域等の領域を画像解析によって識別、推定し、それぞれの領域毎に重要度を設定したマップをＨＭＤ側に送信する。【選択図】  図３
2016081440.tif 000002
【特許請求の範囲】
【請求項１】
表示装置に接続された画像処理装置であって、
前記表示装置から、時間方向に連続した複数の画像を受信する受信手段と、
前記複数の画像のうちの着目画像から、少なくとも一つ以上の予め定義された特徴領域を抽出する抽出手段と、
前記着目画像よりも以降の画像における前記特徴領域の位置を推定する推定手段と、
前記推定された前記特徴領域に重要度を設定する設定手段と、
前記設定された重要度に基づいて、重要度マップを生成する生成手段と、
前記生成された前記領域重要度マップを、前記表示装置に送信する送信手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記受信手段によって過去に受信された以前の画像における特徴領域の位置を記憶する記憶手段と、
前記記憶手段に記憶されている以前の画像における特徴領域の位置と、前記着目画像における特徴領域の位置とから、前記以前の画像における特徴領域の位置から前記着目画像における特徴領域の位置までの動き量を算出する動き量算出手段と、をさらに備え、
前記推定手段は、算出された前記動き量から、前記着目画像よりも以降の画像における特徴領域の位置を推定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記受信手段は、前記着目画像よりも以前の画像からの領域の動き量も受信し、
前記推定手段は、受信された前記動き量から、前記着目画像よりも以降の画像における特徴領域の位置を推定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記生成手段により最後に領域重要度マップが生成された際の特徴領域の位置を記憶する位置記憶手段と、
前記推定手段によって推定された特徴領域の位置と、前記位置記憶手段によって記憶されている特徴領域の位置との差分を算出する差分算出手段と、をさらに備え、
前記生成手段は、前記差分算出手段によって算出された特徴領域の位置の差分が予め設定された閾値を超えた場合に領域重要度マップを生成することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記受信手段によって画像が受信された時間から遅延を算出する遅延算出手段と、をさらに備え、
前記設定手段は、前記遅延算出手段によって算出された遅延時間が予め設定された閾値を超えた場合に前記特徴領域以外の領域の重要度を下げることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記遅延時間が予め設定された閾値を超えたために前記特徴領域以外の領域の重要度が下げられた後であって、
前記特徴領域以外の領域の重要度が下げられたままになっている場合であって、且つ
前記遅延時間が予め設定された閾値以下となった場合に、
前記設定手段は、
前記特徴領域以外の領域の重要度を上げることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記生成手段は、前記設定手段によって特徴領域の重要度が変更された場合に領域重要度マップを生成することを特徴とする請求項５又は６に記載の画像処理装置。
【請求項８】
前記生成手段は、前記抽出手段によって抽出された特徴領域の抽出数が減少した場合に領域重要度マップを生成することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記生成手段は、複数の領域が重なる位置に対して、当該複数の領域のそれぞれに付与されている重要度の中で最も高い重要度を付与して、領域重要度マップを生成することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
領域重要度マップの送信先であり、且つ前記画像データの送信元である画像データ送信元装置との間のパケットの通信時間を計測する通信時間計測手段と、をさらに備え、
前記以降の画像として、何枚先の画像を使用するかを前記通信時間計測手段によって計測された通信時間から決定することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記以前の画像として、何枚前の画像を使用するかを前記通信時間計測手段によって計測された通信時間から決定することを特徴とする請求項２から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
表示装置と、請求項１〜１１のいずれか１項に記載の画像処理装置とを備える画像処理システム。
【請求項１３】
表示装置に接続された画像処理装置において画像を処理する方法であって、
前記表示装置から、時間方向に連続した複数の画像を受信する受信工程と、
前記複数の画像のうちの着目画像から、少なくとも一つ以上の予め定義された特徴領域を抽出する抽出工程と、
前記着目画像よりも以降の画像における前記特徴領域の位置を推定する推定工程と、
前記推定された前記特徴領域に重要度を設定する設定工程と、
前記設定された重要度に基づいて、重要度マップを生成する生成工程と、
前記生成された前記領域重要度マップを、前記表示装置に送信する送信工程とを有することを特徴とする画像処理方法。
【請求項１４】
請求項１から１１のいずれか１項に記載の画像処理装置が有する各手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理システム、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
現在、現実世界と仮想空間をリアルタイム且つシームレスに融合するＭＲ（Mixed Reality: 複合現実）システムが利用されてきている。ＭＲシステムを実現する方法の一つとして、ビデオシースルー方式がある。ビデオシースルー方式の一例として、ＨＭＤ（Head Mounted Display）に付属しているビデオカメラでＨＭＤ使用者の視界領域を撮像し、その撮像画像にＣＧを重畳した画像をＨＭＤに付属しているディスプレイによって観察する技術がある。ＣＧはComputer Graphicsを意味する。
【０００３】
撮像画像にＣＧを重畳する処理は計算処理コストが大きいため、ＨＭＤをＰＣなどの外部装置に接続し、撮像画像をＨＭＤから外部装置に一旦送信し、外部装置上でＣＧを重畳し、ＣＧが重畳された撮像画像をＨＭＤに送り返し、ＨＭＤにおいて表示したりする。このような場合に、ＨＭＤ使用者は自由に動きながらＭＲ空間を体験するために、ＨＭＤとＣＧを重畳する外部装置とは無線伝送で通信することが望ましい。
【０００４】
しかし、一般的に、無線通信は有線通信に比較して通信帯域が狭く、無線伝送上でのパケットロスによる遅延も発生しやすい。従って、ＭＲ空間をリアルタイム且つ安定的に体験するためには、撮像画像データを映像符号化技術によって圧縮し、通信データ量を削減したり、誤り訂正符号技術によってエラー耐性を高めたりする必要がある。
【０００５】
一方で、ＣＧを重畳する外部装置においては、ＨＭＤの位置・姿勢を取得するためのキャリブレーションを行うために、受信した撮像画像からマーカー（幾何学的特徴オブジェクト）を画像解析によって抽出する必要がある。正確なキャリブレーションを行うためには、高精細な画像データが必要であるが、撮像画像データを大幅に圧縮してしまうと必要十分な画像品質が得られず、正確なキャリブレーションを行えないという問題がある。また、エラー耐性を高めるための誤り訂正符号の付加によって、撮像画像データに割り当てることができる通信帯域が狭くなることで、更なる撮像画像の画像品質低下に繋がり、正確なキャリブレーションを行うことが出来ない可能性がある。
【０００６】
利用可能な帯域が限られた環境で、正確なキャリブレーションを行い、リアルタイム且つ安定的なＭＲシステムを実現する方法として、撮像画像データの中の重要度の低い領域と高い領域とを区別し、それぞれ割り当てるデータ量を動的に変更する方法がある。例えば、撮像画像データの中でＣＧが重畳される領域のように復号化時に使われないような領域に関しては、送信しない、又は圧縮率を高くする。一方で、キャリブレーションを行うためのマーカー領域のように重要度の高い領域に関しては、圧縮率を低くする、又は誤り訂正符号を生成してエラー耐性を高める。
【０００７】
１つの映像フレームを複数の領域に分割し、各領域の重要度の高低に応じて各領域の符号化の圧縮率を変えることによって送信データ量を削減する方法は一般的に知られた技術である。
特許文献１では、映像データのオブジェクト符号化方式におけるオブジェクト毎の位置関係や優先度に応じて符号化を行うか否か、又は符号化の圧縮率を変えることによって、低レート下での主観画質を向上させている
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第４６１３４５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１の方法は、符号化を行う際にオブジェクト毎の位置や優先度を映像送信装置が把握していることが前提である。ここで、先に述べたＭＲシステムにおいては、画像解析を行い、ＣＧが重畳される領域やマーカーが含まれる領域等の異なる領域の重要度を把握できるのは外部装置側である。しかし、撮像画像データを符号化したり、誤り訂正符号を生成してエラー耐性を高めたりするのはＨＭＤ側であるため、特許文献１の方法では適用することができない。
本発明は上記課題に鑑みなされたものであり、ＨＭＤ側で画像解析を行わずに、各領域の重要度を把握し、重要度に応じて各領域の符号化圧縮率の制御や誤り訂正符号の生成制御を可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の画像処理装置は以下の構成を備える。
すなわち、表示装置に接続された画像処理装置であって、
前記表示装置から、時間方向に連続した複数の画像を受信する受信手段と、
前記複数の画像のうちの着目画像から、少なくとも一つ以上の予め定義された特徴領域を抽出する抽出手段と、
前記着目画像よりも以降の画像における前記特徴領域の位置を推定する推定手段と、
前記推定された前記特徴領域に重要度を設定する設定手段と、
前記設定された重要度に基づいて、重要度マップを生成する生成手段と、
前記生成された前記領域重要度マップを、前記表示装置に送信する送信手段とを備えることを特徴とする。
【発明の効果】
【００１１】
以上の構成からなる本発明の画像処理装置によれば、ＨＭＤ側で画像解析を行わずとも、ＨＭＤ側において異なる重要度の領域を把握し、領域毎に映像符号化制御や誤り訂正符号化制御を行うことができる。これにより、限られた通信帯域下においてもリアルタイム且つ安定的なＭＲシステムを実現することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に関わるＭＲシステム構成図である。
【図２】本発明の実施形態に関わるＨＭＤの機能ブロック図である。
【図３】本発明の実施形態１に関わるＰＣの機能ブロック図である。
【図４】フレーム間の動き量を示す図である。
【図５】次フレームの推定ＣＧ重畳画像と推定入力撮像画像を示す図である。
【図６】領域重要度マップを示す図である。
【図７】本発明の実施形態１に関わる領域重要度マップ生成条件のフローチャート図である。
【図８】本発明の実施形態２に関わるＰＣの機能ブロック図である。
【図９】領域重要度マップの重要度設定変更を示す図である。
【図１０】本発明の実施形態２に関わる領域重要度マップ生成条件のフローチャート図である。
【発明を実施するための形態】
【００１３】
以下、添付の図面を参照して、本発明の画像処理装置をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
［実施形態１］
図１は、本発明の実施の形態に関わるＭＲシステム（画像処理システム）の構成例を示す図である。
図１において、ＭＲシステムを利用している利用者１０１がビデオシースルー型の頭部搭載型の表示装置（以下、ＨＭＤ）１０２を装着し、人物１０３、マーカー１（１０４）、マーカー２（１０５）を視界内に含んでいる。マーカーの数は一個でもよいし、三個以上でもよい。これら視界領域はＨＭＤ１０２に付属する撮像装置によって撮像され、撮像画像データとしてパケット化される。
【００１４】
パケット化された撮像画像データは、ＨＭＤ１０２に付属する無線アンテナなどの無線インタフェース１０６より無線中継機器１０７に対して無線伝送される。無線伝送方式として、例えばＩＥＥＥ８０２．１１ｎやＩＥＥＥ８０２．１１ａｃ等が挙げられるが、これらに限定されない。
無線中継機器１０７に送信された撮像画像データは、有線ネットワークを介して外部装置となるＰＣ１０８に伝送される。有線ネットワークの規格として、例えばＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）やＩＥＥＥ１３９４等が挙げられるが、これらに限定されない。無線中継機器１０７とＰＣ１０８との間の伝送方式は、無線伝送方式でもよい。
【００１５】
ＰＣ１０８では、受信した撮像画像１０９のデータに対し、画像解析によってマーカー１（１０４）、マーカー２（１０５）を検出し、検出したマーカーからＨＭＤ１０２の位置・姿勢を推定する。具体的には、マーカーの大きさや形、塗りつぶしのパターン等の情報から、マーカーの位置情報と、マーカーに対する視方向に関する三次元位置情報を生成する。位置情報生成に用いるマーカーは一個でもよいが、図１に示すように、複数のマーカーを同時に使用することもできる。複数のマーカーを同時に使用する場合、各マーカーの位置関係を予め定義しておき、それらの位置関係からマーカーに対する視方向を算出することができる。
【００１６】
また、カラーマーカーやＬＥＤ等の発光素子のようなマーカーを使用することもできるし、自然物体の特徴点や画像中の特定の色等を抽出し、それらを使用して位置情報を生成することもできる。同一種類のマーカーを複数使用したり、複数種類のマーカーを同時に使用したり、マーカー情報と画像中の特徴点の情報を組み合わせて使用したりすることで、より高い精度の位置情報を生成することができる。更に、複数のマーカーや特徴点の位置関係を予め定義しておくことで、全てのマーカーや特徴点が画像内に含まれていなくてもそれぞれのマーカーや特徴点の位置を推定することができる。
【００１７】
ＨＭＤ１０２の位置・姿勢を推定すると、ＰＣ１０８は推定した位置・姿勢に応じて撮像画像１０９の上にＣＧを重畳し、ＣＧ重畳画像１１０を生成する。ＰＣ１０８は生成したＣＧ重畳画像１１０を無線中継機器１０７に送信する。更に、特定の条件下において、ＰＣ１０８は領域重要度マップを生成し、生成した領域重要度マップを無線中継機器１０７に送信する。尚、領域重要度マップを生成する条件、領域重要度マップの生成方法、構成等に関する詳細は後述する。
【００１８】
無線中継機器１０７は、受信したＣＧ重畳画像１１０及び領域重要度マップをＨＭＤ１０２に対して無線ネットワーク、無線アンテナなどの無線インタフェース１０６を介して送信する。
ＨＭＤ１０２は、受信したＣＧ重畳画像１１０をＨＭＤ１０２に付属するディスプレイに表示することで、ＭＲシステム利用者１０１はＣＧ重畳画像を見る。また、ＨＭＤ１０２は、受信した領域重要度マップを参照し、重要度の異なる領域毎に映像符号化制御や誤り訂正符号化制御を行い、次フレームの生成、送信を行う。
【００１９】
図２は、図１に示したＭＲシステムにおける本発明の実施形態１を実現するために必要なＨＭＤ１０２の機能を示す機能ブロック図である。ここに示す構成はハードウェアとソフトウェアの組み合わせによって実現できるものであって、一つの機能ブロックが一つのハードウェアに対応するものではない。
撮像部２０１は、ＭＲシステム利用者１０１が見ている現実空間画像を撮像する。
撮像画像エンコード部２０２は、撮像された現実空間画像を、任意の符号化方式にて符号化する。符号化方式としては、例えば、Ｍｏｔｉｏｎ−ＪＰＥＧやＨ．２６４／ＡＶＣ等が挙げられるが、これら以外の方式でもよい。
【００２０】
領域重要度マップ受信部２０３は、無線インタフェース１０６を介してＰＣ１０８より領域重要度マップを受信する。
領域重要度マップデコード部２０４は、受信された領域重要度マップを、デコードし、撮像画像エンコード部２０２に入力する。
撮像画像エンコード部２０２は、撮像画像を符号化する際に、領域重要度マップから取得した領域毎の重要度に応じて映像符号化レート制御や、誤り訂正符号の生成制御等を行う。例えば、重要度の高い領域に対しては量子化ステップ幅を短くして高精細化しつつ、重要度の低い領域に対しては量子化ステップ幅を長くしてデータサイズを抑える。また、重要度の高い領域に対しては誤り訂正符号を多く割り当ててエラー耐性を高めつつ、重要度の低い領域に対しては誤り訂正符号を少なく割り当てる、または割り当てないことでデータサイズを抑える。更に、重要度の高い領域を重要度の低い領域よりも先に送信する、等の方法が挙げられる。これら以外の方法を適用してもよい。
【００２１】
撮像画像送信部２０５は、符号化された撮像画像データや誤り訂正符号データを、通信プロトコルに適合するようにパケット化する。パケット化されたデータは、無線インタフェース１０６を介してＰＣ１０８に送信される。通信プロトコルは、例えばＲＴＰ（Real-time Transport Protocol）／ＵＤＰ（User Datagram Protocol）を用いる方法があるが、ＴＣＰでもよいし、ＩＰを用いなくてもよい。ＴＣＰはTransmission Control Protocolを意味し、ＩＰはInternet Protocolを意味する。
【００２２】
ＣＧ重畳画像受信部２０６では、無線インタフェース１０６を介してＰＣ１０８よりＣＧ重畳画像を受信する。受信したＣＧ重畳画像は、ＣＧ重畳画像デコード部２０７にてデコードされ、表示部２０８にてＨＭＤに付属するディスプレイ装置等に表示される。
これらの構成によって、ＭＲシステム利用者１０１は、リアルタイムに撮像した画像にＣＧを重畳した合成画像を見ることが可能となる。
【００２３】
図３は、図１に示したＭＲシステムにおける本発明の実施形態１を実現するために必要なＰＣ１０８の機能を示す機能ブロック図である。ここに示す構成はハードウェアとソフトウェアの組み合わせによって実現できるものであって、一つの機能ブロックが一つのハードウェアに対応するものではない。
撮像画像受信部３０２は、有線インタフェース３０１を介してＨＭＤ１０２から撮像画像データ（時間方向に連続した複数の画像のデータ）を受信する。
撮像画像デコード部３０３は、受信された撮像画像データ（時間方向に連続した複数の画像のデータ）を復号化する。
領域抽出部３０４は、復号化された撮像画像データ（時間方向に連続した複数の画像のデータ）を解析し、予め定義されたマーカー領域（特徴領域）を抽出する。抽出方法は前述した方法でもよいし、それ以外の方法でもよい。マーカー領域（特徴領域）は、形状に基づく特徴量、色に基づく特徴量又は輝度に基づく特徴量のうちの少なくとも一つを含む。
【００２４】
位置・姿勢算出部３０５は、抽出されたマーカー領域を利用してＨＭＤ１０２の位置・姿勢を算出する。
ＣＧ画像重畳部３０６は、算出されたＨＭＤ１０２の位置・姿勢からＣＧを重畳する場所、方向等を決定し、コンテンツＤＢ３０７から取得したＣＧデータを使用し、撮像画像デコード部３０３から取得した撮像画像にＣＧを重畳する。
ＣＧ重畳画像エンコード部３０８は、撮像画像にＣＧを重畳したＣＧ重畳画像を任意の符号化方式にて符号化する。
【００２５】
ＣＧ重畳画像送信部３０９は、符号化されたＣＧ重畳画像を通信プロトコルに適合するようにパケット化し、有線インタフェース３０１を介してＨＭＤ１０２に送信する。
動き量算出部３１０は、領域抽出部３０４において抽出されたマーカー領域と、前フレームにおけるマーカー領域との差分からＨＭＤ１０２の動き量を算出する。
【００２６】
図４は、前フレーム（過去に受信された以前の画像）におけるマーカー領域（特徴領域）４０１と、今フレーム（着目画像）におけるマーカー領域（特徴領域）４０２と、これらの差分から得られるマーカーの動き量４０３を表す。動き量はマーカー領域だけでなく、その他の領域、オブジェクトから取得してもよいし、複数の領域、オブジェクトから取得してもよい。更に、算出した動き量から次フレームにおける当該領域、オブジェクトの位置を推定する。推定する方法として、前フレームから今フレームへの動き量と同じ動き量を想定してもよいし、過去数フレーム分の動き量から統計的に判断してもよい。
【００２７】
ＣＧ重畳領域や透過処理領域については、まず、次フレームにおけるマーカー領域を推定し、推定したマーカー領域から次フレームにおけるＨＭＤ１０２の位置・姿勢を推定する。次フレームにおけるＨＭＤ１０２の推定位置・姿勢からＣＧを重畳する領域、透過処理領域を算出する。推定した次フレームにおけるそれぞれの領域位置を領域重要度マップ生成部３１１に入力する。
【００２８】
尚、「次フレーム」とは、今フレーム（着目画像）に対して少なくとも一フレーム以上未来のフレーム（着目画像よりも以降の画像）のことを指し、ＨＭＤ１０２が、後述する領域重要度マップを受信し、参照する時間分未来のフレームであることが望ましい。例えば、ＲＴＴ（Round Trip Time：往復遅延時間）に代表されるパケットの、通信時間計測部（不図示）によって計測された通信時間等から何フレーム先のフレーム（何枚先の画像）を推定するかが決定される。
また、「前フレーム」は、今フレーム（着目画像）に対して少なくとも一フレーム以上過去のフレーム（着目画像よりも以前の画像）のことを指し、例えば、パケットの通信時間等から何フレーム前のフレーム（何枚前の画像）を参照するかが決定される。
領域重要度マップ生成部３１１では、動き量算出部３１０から入力された次フレームにおける推定領域位置から領域重要度マップを生成する。
領域重要度マップ送信部３１２は、生成された領域重要度マップを、有線インタフェース３０１を介してＨＭＤ１０２に送信する。ＨＭＤ１０２は、領域重要度マップの送信先であり、且つ画像データの送信元（画像データ送信元装置）である。
【００２９】
図５は、次フレームの推定ＣＧ重畳画像５０１と、次フレームにおける予め定義した特定領域を抽出した推定入力撮像画像５０３とを示す。推定ＣＧ重畳画像５０１では、例えば車のＣＧ画像５０２を重畳した画像を示している。ここで、
１）マーカーが含まれる領域（以下、マーカー領域とも記載する）、
２）透過処理される領域（以下、透過処理領域とも記載する）、
３）ＣＧが重畳されない領域（以下、非ＣＧ重畳領域とも記載する）、
４）ＣＧが重畳される領域（以下、ＣＧ重畳領域とも記載する）
の４種類の領域を予め特定領域として定義しておき、それぞれ挙げた順番に高い重要度を設定しているものとして説明する。
【００３０】
予め定義する特定領域としては、その他の領域を追加してもよいし、これよりも少なくてもよい。領域を表す最小単位のブロックは、例えば１６×１６ピクセルで構成される。ブロックのサイズはこれよりも大きくても小さくてもよいし、ＨＭＤ１０２に対してブロックサイズを毎回通知する形態にすれば、ブロックサイズを可変にすることもできる。また、符号化、復号化する上での画素単位で決定してもよい。
予め定義した特定領域を区切る際に、複数の領域が重なるブロックが存在する場合、このブロックには重なった複数の領域の中で重要度が最も高い領域の重要度が付与される。
例えば、ブロック８−ｂは、マーカー領域でもあり、ＣＧ重畳領域でもある。つまり、マーカー領域とＣＧ重畳領域とが重なるブロックである。マーカー領域は、ＣＧ重畳領域よりも重要度が高い。このような場合、ブロック８−ｂはマーカー領域として区分けされる（ブロック８−ｂには、マーカー領域に付与されている重要度が付与される）。
【００３１】
図６は、領域重要度マップの一例である。図６は、推定入力撮像画像５０３において、マーカー領域５０４を重要度３、透過処理領域５０５を重要度２、非ＣＧ重畳領域５０７を重要度１、ＣＧ重畳領域５０６を重要度０と設定した領域重要度マップの例である。
【００３２】
領域重要度マップ生成部３１１は、最後に領域重要度マップが生成された際の領域位置（直前の領域位置）を記憶する位置記憶部としても機能する。
動き量算出部３１０は、最後に領域重要度マップが生成された際の領域位置（直前の領域位置）と次フレームにおける推定領域位置とを比較し、動き量（差分）を算出する差分算出部としても機能する。
動き量が閾値以下ならば、領域重要度マップ生成部３１１は、新規の領域重要度マップを生成しない。また、その場合、領域重要度マップ送信部３１２においても、領域重要度マップの送信も行わない。
【００３３】
図７は、領域重要度マップ生成部３１１において、領域重要度マップを生成する条件をフローにした図である。
Ｓ７０１で、送受信の終了を確認し、終了していなければＳ７０２に移行する。
Ｓ７０２で、撮像画像データの受信を確認し、１フレーム分の撮像画像データが受信された場合はＳ７０３に移行し、受信されていない場合はＳ７０１に戻る。
Ｓ７０３で、最終領域位置情報の有無を確認する。最初の撮像画像データを受信した場合のみ最終領域位置情報が存在しないため、Ｓ７０５に移行し、それ以外の場合は、Ｓ７０４に移行する。
【００３４】
Ｓ７０４で、差分算出部（不図示）によって、最終領域位置と次フレームにおける領域位置との差分を算出し、閾値以下であれば、Ｓ７０１に戻り、閾値を超えていたらＳ７０５に移行する。
Ｓ７０５で、領域重要度マップを生成し、Ｓ７０６に移行する。
Ｓ７０６で、最終領域位置情報を更新し、Ｓ７０１に戻る。
領域重要度マップ生成部３１１で生成された領域重要度マップは、領域重要度マップ送信部３１２において、通信プロトコルに適合するようにパケット化され、有線インタフェース３０１を介してＨＭＤ１０２に送信される。
【００３５】
本実施形態では、ＨＭＤで撮像した画像にＣＧを重畳する外部装置側において、画像解析を行い、重要度の異なる領域毎に重要度を設定した領域重要度マップを生成する。そして、生成された領域重要度マップをＨＭＤに通知（送信）することによって、ＨＭＤは画像解析を行うことなく、重要度の異なる領域を把握できる。それにより、ＨＭＤは重要度の異なる領域毎に映像符号化制御や誤り訂正符号化制御を行うことによって、限られた通信帯域下においてもリアルタイム且つ安定的なＭＲシステムを実現することが可能となる。
また、最後に領域重要度マップを生成した際の領域位置と次フレームの推定領域位置とを比較し、動き量が閾値以下の場合は領域重要度マップの生成・送信を回避することで、領域重要度マップの生成処理コスト及び送信データ量を削減することができる。
【００３６】
［実施形態２］
実施形態１では、ＣＧを重畳する外部装置側において、画像解析を行い、重要度の異なる領域毎に重要度を設定した領域重要度マップを生成し、ＨＭＤに通知する方法について説明した。本実施形態では、ネットワークの状況に応じて重要度を変更する方法について説明する。
本発明の実施の形態に関わるＭＲシステムの構成例については、実施形態１で説明した図１と同様のため説明を省略する。
図１に示したＭＲシステムにおける本発明の実施の形態を実現するために必要なＨＭＤ１０２の機能を示す機能ブロック図については、実施形態１で説明した図２と同様のため説明を省略する。
【００３７】
図８は、図１に示したＭＲシステム（画像処理システム）における本発明の実施の形態を実現するために必要なＰＣ１０８の機能を示す機能ブロック図である。ここに示す構成はハードウェアとソフトウェアの組み合わせによって実現できるものであって、一つの機能ブロックが一つのハードウェアに対応するものではない。
遅延算出部８０１は、撮像画像受信部３０２にて受信された撮像画像パケットから遅延を算出する。遅延算出方法としては、例えば、受信パケットの受信時刻の間隔から所謂遅延ゆらぎを調べる方法がある。パケット毎の受信時刻の間隔ではなく、１フレーム分の撮像画像パケットを受信した時刻と前フレームの最後に受信した撮像画像パケットを受信した時刻との間隔から遅延を算出してもよいし、これら以外の方法でもよい。
【００３８】
算出した遅延を、予め定義した閾値、または過去の遅延時間に予め定義した定数を足した閾値、または過去の遅延時間に予め定義した定数を掛けた閾値と比較する。過去の遅延時間とは、前回測定した遅延時間でもよいし、過去数回に測定した遅延時間から統計的に算出した時間でもよい。閾値との比較によって、遅延時間が閾値を超えていた場合、領域重要度マップ生成部３１１に遅延発生を通知する。
【００３９】
領域重要度マップ生成部３１１は、遅延算出部８０１より遅延発生通知を受け取ると、新規に領域重要度マップを生成する。新規の領域重要度マップを生成する際に、発生した遅延を解消するために、それぞれの領域の重要度設定を変更する。ここで、重要度の異なる複数の領域の中で、ＨＭＤ１０２の位置・姿勢を算出するキャリブレーションに必要となるマーカー領域については、重要度を維持し、その他の領域の重要度を一段階下げる。
【００４０】
図９は、遅延発生前に生成した領域重要度マップ６０１と、遅延発生時にマーカー領域以外の領域の重要度を一段階下げた領域重要度マップ９０１の例である。ここで、例えば、ＨＭＤ１０２は、この領域重要度マップを参照し、重要度に応じてレート制御を行う。これにより、撮像画像データ全体の送信データ量を削減しつつ、マーカー領域に割り当てられる絶対的な帯域量は維持、または割当て帯域の削減量を抑えられることで、高精細を維持することができる。
【００４１】
マーカー領域を高精細に維持することで、ＨＭＤ１０２の位置・姿勢を算出するキャリブレーションの精度を維持できるため、ＭＲシステム全体の品質の低下を抑えることが可能となる。尚、本実施形態では、マーカー領域の重要度だけを維持したが、その他の領域の重要度を維持してもよいし、重要度の上げ下げの幅を領域毎に変えてもよい。
【００４２】
遅延算出部８０１は、遅延発生を通知した後、遅延が解消された際に遅延解消を通知する。例えば、前述した方法で遅延を算出し、前述した閾値との比較によって、閾値以下となった場合、領域重要度マップ生成部３１１に遅延解消を通知する。
領域重要度マップ生成部３１１は、遅延算出部８０１より遅延解消通知を受け取ると、新規に領域重要度マップを生成する。遅延解消通知を受けてすぐに領域重要度設定を元に戻してもよいし、複数回の遅延解消通知を受け取ってから領域重要度設定を元に戻してもよい。
【００４３】
図１０は、領域重要度マップ生成部３１１において、領域重要度マップを生成する条件をフローにした図である。
Ｓ７０１、Ｓ７０２、Ｓ７０５、Ｓ７０６については、実施形態１に関する図７と同様であるため、説明は省略する。
Ｓ１００１で、遅延を算出し、Ｓ１００２に移行する。
Ｓ１００２で、算出した遅延量と閾値とを比較し、算出した遅延量が閾値を超えていた場合はＳ１００３に移行し、算出した遅延量が閾値以下ならＳ１００５に移行する。
【００４４】
Ｓ１００３で、遅延発生を示すフラグを立て、Ｓ１００４に移行し、新規に領域重要度マップを生成する。
Ｓ１００４で、重要度の異なる複数の領域の中で、ＨＭＤ１０２の位置・姿勢を算出するキャリブレーションに必要となるマーカー領域（特徴領域）については、重要度を維持し、その他の領域（特徴領域以外の領域）の重要度を一段階下げる（図９参照）。
Ｓ１００５で、遅延発生を示すフラグが立っているかどうかを確認し、フラグが立っている場合はＳ１００６に移行し、フラグが立っていない場合はＳ７０１に戻る。
Ｓ１００６で、遅延発生を示すフラグを下げ、Ｓ７０５に移行し、新規に領域重要度マップを生成する。
【００４５】
本実施形態では、ＣＧを重畳する外部装置側において、ネットワークの状況を監視し、ネットワーク状況に応じて領域毎の重要度設定を変更する。これにより、例えばマーカー領域のようにＨＭＤの位置・姿勢を算出する精度に関わる重要な領域の重要度を維持しつつ、その他の領域の重要度を下げることで、ネットワーク状況に追随するとともに重要度の高い領域の品質を維持することが可能となる。
【００４６】
また、ネットワーク状況の変化だけでなく、マーカー領域の抽出数が減少してしまった場合にも重要度設定を変更するようにしてもよい。例えば、一部のマーカー領域が撮像画像領域外に消えた場合や、抽出できていたマーカー領域の品質が十分でなく、抽出できなくなった場合等が挙げられる。
マーカー領域が撮像画像領域外に消えた場合は、その他のマーカー領域の重要度が相対的に上がるため、その他のマーカー領域の重要度を上げるようにしてもよい。また、抽出できていたマーカー領域が抽出できなくなった場合は、過去のフレームと動き量からマーカー領域があると推測される領域の重要度を上げるようにしてもよい。
【００４７】
［その他の実施形態］
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【００４８】
尚本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される。なお、この場合のプログラムとは、コンピュータ読取可能であり、実施形態において図に示したフローチャートに対応したプログラムである。
【００４９】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタによって実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
プログラムを供給するための記録媒体としては、以下に示す媒体がある。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。
【００５０】
プログラムの供給方法としては、以下に示す方法も可能である。すなわち、クライアントコンピュータのブラウザからインターネットのホームページに接続し、そこから本発明のコンピュータプログラムそのもの(又は圧縮され自動インストール機能を含むファイル)をハードディスク等の記録媒体にダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００５１】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせることも可能である。すなわち該ユーザは、その鍵情報を使用することによって暗号化されたプログラムを実行し、コンピュータにインストールさせることができる。
【００５２】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、実行されることによっても、前述した実施形態の機能が実現される。すなわち、該プログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行うことが可能である。
【符号の説明】
【００５３】
１０１  ＭＲシステム利用者
１０２  ＨＭＤ
１０３  人
１０４  マーカー１
１０５  マーカー２
１０６  無線インタフェース
１０７  無線中継機器
１０８  ＰＣ
１０９  撮像画像
１１０  ＣＧ重畳画像
４０１  前フレームにおけるマーカー
４０２  今フレームにおけるマーカー
４０３  前フレームから今フレームへのマーカーの動き量
５０１  次フレームにおける推定ＣＧ重畳画像
５０２  車のＣＧ画像
５０３  次フレームにおける推定入力撮像画像
５０４  マーカー領域
５０５  透過処理領域
５０６  ＣＧ重畳領域
５０７  非ＣＧ重畳領域
６０１  領域重要度マップ
９０１  重要度設定変更後の領域重要度マップ
【図１】
2016081440.tif 000003
【図２】
2016081440.tif 000004
【図３】
2016081440.tif 000005
【図４】
2016081440.tif 000006
【図５】
2016081440.tif 000007
【図６】
2016081440.tif 000008
【図７】
2016081440.tif 000009
【図８】
2016081440.tif 000010
【図９】
2016081440.tif 000011
【図１０】
2016081440.tif 000012