(57)【要約】      （修正有）【課題】圧縮で伝送帯域を低減した上で、画質劣化によるマーカー検出率低下の影響を抑止することが可能となるシステム、プログラム、装置及び制御方法を提供する。【解決手段】表示装置（ＨＭＤ部１００）は、撮像画像を分割した複数領域の其々に対し第１の指標情報の検出し、第１の指標情報検出手段の検出結果に基づいて、領域毎に圧縮画像の生成を行い、画像処理装置１１０に、第１の指標情報が検出された領域については第１の指標情報および圧縮画像を、検出されなかった領域については圧縮画像を送信する。画像処理装置は、表示装置から第１の指標情報および圧縮画像を受信し、画像伸張を行い、伸張画像の第１の指標情報が検出されなかった領域から第２の指標情報を検出し、第１及び第２の指標情報から表示装置の位置姿勢情報を生成する位置計測を行い、位置姿勢情報に基づいて生成されたＣＧを伸張画像に合成して合成画像を生成する。【選択図】図１
2016082528.tif 000002
【特許請求の範囲】
【請求項１】
表示装置と画像処理装置とを備えるシステムであって、
前記表示装置は、
現実空間を撮像して撮像画像を生成する撮像手段と、
前記撮像画像を分割して得られる複数の領域のそれぞれに対して第１の指標情報の検出処理を行う第１の指標情報検出手段と、
前記第１の指標情報検出手段の検出結果に基づいて、前記撮像画像を前記領域ごとに圧縮することにより圧縮画像を生成する画像圧縮手段と、
前記第１の指標情報が検出された領域については前記第１の指標情報および前記圧縮画像を送信し、前記第１の指標情報が検出されなかった領域については前記圧縮画像を送信する第１のネットワーク通信手段と、
表示手段と、
を備え、
前記画像処理装置は、
前記第１のネットワーク通信手段から前記圧縮画像を受信する第２のネットワーク通信手段と、
前記圧縮画像を伸張して伸張画像を生成する画像伸張手段と、
前記伸張画像の前記第１の指標情報が検出されなかった領域から第２の指標情報を検出する、前記第１の指標情報検出手段とは異なる第２の指標情報検出手段と、
前記第１の指標情報および前記第２の指標情報から前記表示装置の位置姿勢情報を生成する位置計測手段と、
前記位置姿勢情報に基づいて生成されたＣＧを前記伸張画像に合成して合成画像を生成するＣＧ合成手段と、
を備え、
前記第２のネットワーク通信手段は、前記合成画像を前記第１のネットワーク通信手段に送信し、
前記第１のネットワーク通信手段は、前記第２のネットワーク通信手段から前記合成画像を受信し、
前記表示手段は、前記合成画像を表示する
ことを特徴とするシステム。
【請求項２】
前記第１のネットワーク通信手段は、
前記第１の指標情報が検出された領域については、前記第１の指標情報および前記圧縮画像を送信し、
前記第１の指標情報が検出されなかった領域については、前記第１の指標情報を送信せず前記圧縮画像のみを送信する
ことを特徴とする請求項１に記載のシステム。
【請求項３】
前記画像圧縮手段は、
前記第１の指標情報検出手段によって指標情報が検出された領域の圧縮率が、
前記第１の指標情報検出手段によって指標情報が検出されなかった領域の圧縮率よりも高くなるように圧縮条件を設定する
ことを特徴とする請求項１又は２に記載のシステム。
【請求項４】
前記画像圧縮手段は、
前記第１の指標情報検出手段によって指標情報が検出されなかった第１の領域であって、第１の領域以外の領域から検出された指標情報に基づいて推定した結果、指標情報が含まれると推定される第１の領域の圧縮率が、
前記第１の指標情報検出手段によって指標情報が検出されなかった第２の領域であって、第２の領域以外の領域から検出された指標情報に基づいて推定した結果、指標情報が含まれると推定されない第２の領域の圧縮率よりも低くなるように圧縮条件を設定することを特徴とする請求項３に記載のシステム
【請求項５】
前記第１の指標情報検出手段は、
空間周波数取得手段をさらに備え、
前記空間周波数取得手段によって取得された空間周波数が閾値以上の領域に対して、優先的に指標情報検出処理を行うことを特徴とする請求項３に記載のシステム。
【請求項６】
前記第１の指標情報検出手段は、
前記撮像画像を分割して得られる複数の領域のそれぞれに対して指標情報を検出するための前処理を行い、指標情報の一部を前記第１の指標情報として検出し、
前記画像圧縮手段は、
前記第１の指標情報が検出された領域の圧縮率が、
前記第１の指標情報が検出されなかった領域の圧縮率よりも低くなるように圧縮条件を設定し、
前記第２の指標情報検出手段は、
前記第１の指標情報検出手段によって前記第１の指標情報が検出された領域に対して、前記第１の指標情報検出手段によって行われた前処理の後処理を行い、前記第１の指標情報検出手段によって検出されなかった指標情報の残部を前記第２の指標情報として検出し、前記第１の指標情報と前記第２の指標情報とによって一つの指標情報を生成することを特徴とする請求項１に記載のシステム。
【請求項７】
前記第１および第２の指標情報は現実空間に配置されたマーカーであることを特徴とする請求項１乃至６のいずれか１項に記載のシステム。
【請求項８】
前記第１および第２の指標情報は現実空間に配置された自然特徴であることを特徴とする請求項１乃至６のいずれか１項に記載のシステム。
【請求項９】
前記第１の指標情報検出手段が指標情報の探索時に行う処理は、前記第２の指標情報検出手段が指標情報の探索時に行う処理の一部を省略又は制限した簡易な処理であることを特徴とする請求項１乃至８のいずれか１項に記載のシステム。
【請求項１０】
前記表示装置は、使用者の頭部または顔面に装着されることを特徴とする請求項１乃至８のいずれか１項に記載のシステム。
【請求項１１】
請求項１乃至８の何れか１項に記載のシステムの各手段としてコンピュータを機能させるためのプログラム。
【請求項１２】
圧縮画像を受信する第２のネットワーク通信手段と、前記圧縮画像を伸張して伸張画像を生成する画像伸張手段と、前記伸張画像のうち、第１の指標情報検出手段により検出される第１の指標情報が検出されなかった領域から第２の指標情報を検出する、前記第１の指標情報検出手段とは異なる第２の指標情報検出手段と、前記第１の指標情報および前記第２の指標情報から表示装置の位置姿勢情報を生成する位置計測手段と、前記位置姿勢情報に基づいて生成されたＣＧを前記伸張画像に合成して合成画像を生成するＣＧ合成手段とを備える画像処理装置に接続された表示装置であって、
現実空間を撮像して撮像画像を生成する撮像手段と、
前記撮像画像を分割して得られる複数の領域のそれぞれに対して第１の指標情報の検出処理を行う前記第１の指標情報検出手段と、
前記第１の指標情報検出手段の検出結果に基づいて、前記撮像画像を前記領域ごとに圧縮することにより圧縮画像を生成する画像圧縮手段と、
前記第１の指標情報が検出された領域については前記第１の指標情報および前記圧縮画像を、前記第１の指標情報が検出されなかった領域については前記圧縮画像を、前記第２のネットワーク通信手段に送信する第１のネットワーク通信手段と、
前記合成画像を取得して表示する表示手段と、
を備えることを特徴とする表示装置。
【請求項１３】
現実空間を撮像して撮像画像を生成する撮像手段と、前記撮像画像を分割して得られる複数の領域のそれぞれに対して第１の指標情報の検出処理を行う第１の指標情報検出手段と、前記第１の指標情報検出手段の検出結果に基づいて、前記撮像画像を前記領域ごとに圧縮することにより圧縮画像を生成する画像圧縮手段と、前記圧縮画像を、第２のネットワーク通信手段に送信する第１のネットワーク通信手段とを備える表示装置に接続された画像処理装置であって、
前記第１の指標情報が検出された領域については前記第１の指標情報および前記圧縮画像を、前記第１の指標情報が検出されなかった領域については前記圧縮画像を、前記第１のネットワーク通信手段から受信する前記第２のネットワーク通信手段と、
前記圧縮画像を伸張して伸張画像を生成する画像伸張手段と、
前記伸張画像の前記第１の指標情報が検出されなかった領域から第２の指標情報を検出する、前記第１の指標情報検出手段とは異なる第２の指標情報検出手段と、
前記第１の指標情報および前記第２の指標情報から前記表示装置の位置姿勢情報を生成する位置計測手段と、
前記位置姿勢情報に基づいて生成されたＣＧを前記伸張画像に合成して合成画像を生成するＣＧ合成手段と、
を備えることを特徴とする画像処理装置。
【請求項１４】
表示装置と画像処理装置とを備えるシステムの制御方法であって、
前記表示装置において、
撮像手段が、現実空間を撮像して撮像画像を生成する撮像工程と、
第１の指標情報検出手段が、前記撮像画像を分割して得られる複数の領域のそれぞれに対して第１の指標情報の検出処理を行う第１の指標情報検出工程と、
画像圧縮手段が、前記第１の指標情報検出手段の検出結果に基づいて、前記撮像画像を前記領域ごとに圧縮することにより圧縮画像を生成する画像圧縮工程と、
第１のネットワーク通信手段が、前記第１の指標情報が検出された領域については前記第１の指標情報および前記圧縮画像を送信し、前記第１の指標情報が検出されなかった領域については前記圧縮画像を送信する第１のネットワーク通信工程と、
を有し、
前記画像処理装置において、
第２のネットワーク通信手段が、前記第１のネットワーク通信手段から前記圧縮画像を受信する第２のネットワーク通信工程と、
画像伸張手段が、前記圧縮画像を伸張して伸張画像を生成する画像伸張工程と、
第２の指標情報検出手段が、前記伸張画像の前記第１の指標情報が検出されなかった領域から第２の指標情報を検出する、前記第１の指標情報検出工程とは異なる第２の指標情報検出工程と、
位置計測手段が、前記第１の指標情報および前記第２の指標情報から前記表示装置の位置姿勢情報を生成する位置計測工程と、
ＣＧ合成手段が、前記位置姿勢情報に基づいて生成されたＣＧを前記伸張画像に合成して合成画像を生成するＣＧ合成工程と、
を有し、
前記第２のネットワーク通信手段が、前記合成画像を前記第１のネットワーク通信手段に送信し、
前記第１のネットワーク通信手段が、前記第２のネットワーク通信手段から前記合成画像を受信し、
前記表示装置において、表示手段が、前記合成画像を表示する
ことを特徴とするシステムの制御方法。
【請求項１５】
圧縮画像を受信する第２のネットワーク通信手段と、前記圧縮画像を伸張して伸張画像を生成する画像伸張手段と、前記伸張画像のうち、第１の指標情報検出手段により検出される第１の指標情報が検出されなかった領域から第２の指標情報を検出する、前記第１の指標情報検出手段とは異なる第２の指標情報検出手段と、前記第１の指標情報および前記第２の指標情報から表示装置の位置姿勢情報を生成する位置計測手段と、前記位置姿勢情報に基づいて生成されたＣＧを前記伸張画像に合成して合成画像を生成するＣＧ合成手段とを備える画像処理装置に接続された表示装置の制御方法であって、
撮像手段が、現実空間を撮像して撮像画像を生成する撮像工程と、
前記第１の指標情報検出手段が、前記撮像画像を分割して得られる複数の領域のそれぞれに対して第１の指標情報の検出処理を行う第１の指標情報検出工程と、
画像圧縮手段が、前記第１の指標情報検出手段の検出結果に基づいて、前記撮像画像を前記領域ごとに圧縮することにより圧縮画像を生成する画像圧縮工程と、
第１のネットワーク通信手段が、
前記第１の指標情報が検出された領域については前記第１の指標情報および前記圧縮画像を、前記第１の指標情報が検出されなかった領域については前記圧縮画像を、前記第２のネットワーク通信手段に送信する工程と、
前記合成画像を、前記第２のネットワーク通信手段から受信する工程と、
表示手段が、受信した前記合成画像を表示する表示工程と、
を有することを特徴とする表示装置の制御方法。
【請求項１６】
現実空間を撮像して撮像画像を生成する撮像手段と、前記撮像画像を分割して得られる複数の領域のそれぞれに対して第１の指標情報の検出処理を行う第１の指標情報検出手段と、前記第１の指標情報検出手段の検出結果に基づいて、前記撮像画像を前記領域ごとに圧縮することにより圧縮画像を生成する画像圧縮手段と、前記圧縮画像を、第２のネットワーク通信手段に送信する第１のネットワーク通信手段とを備える表示装置に接続された画像処理装置の制御方法であって、
前記第２のネットワーク通信手段が、
前記第１の指標情報が検出された領域については前記第１の指標情報および前記圧縮画像を、前記第１の指標情報が検出されなかった領域については前記圧縮画像を、前記第１のネットワーク通信手段から受信する第２のネットワーク通信工程と、
画像伸張手段が、前記圧縮画像を伸張して伸張画像を生成する画像伸張工程と、
第２の指標情報検出手段が、前記伸張画像の前記第１の指標情報が検出されなかった領域から第２の指標情報を検出する、前記第１の指標情報検出手段が行う検出工程とは異なる第２の指標情報検出工程と、
位置計測手段が、前記第１の指標情報および前記第２の指標情報から前記表示装置の位置姿勢情報を生成する位置計測工程と、
ＣＧ合成手段が、前記位置姿勢情報に基づいて生成されたＣＧを前記伸張画像に合成して合成画像を生成するＣＧ合成工程と、
前記第２のネットワーク通信手段が、前記合成画像を前記第１のネットワーク通信手段に送信する工程と、
を有することを特徴とする画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２つの画像を合成するシステム、プログラムおよび画像処理装置ならびにそのような画像処理装置から画像を受け取り表示する表示装置に関し、特にＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）を用いる仮想現実技術、複合現実技術に関する。
【背景技術】
【０００２】
近年、現実世界と仮想世界をリアルタイムにシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の１つに、ビデオシースルーＨＭＤを利用した技術が知られている。これは、ＨＭＤ使用者の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像し、その撮像画像にＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）を重畳表示した画像をＨＭＤ使用者が観察できる技術である。
【０００３】
図２は、無線による画像伝送を行う一般的なビデオシースルー型複合現実システムの機能ブロック図である。本システムは外界の撮像および使用者に画像を表示するＨＭＤと、ＣＧ重畳表示した画像を作成する画像処理装置で構成されている。ＨＭＤを使用して自由に動きながらＭＲ空間を体験するには、ＨＭＤとＰＣなどの外部装置とは無線伝送で通信した方がよい。しかし一般的に、無線による通信は有線での通信と比べて通信帯域が狭く、不安定である。これを解決する方法として、特許文献１では、画像データを圧縮して送信することに加えて、通信ネットワークの状況に応じて画像の圧縮率を変更しデータ量を調節することで、安定した画像データの送信を可能にしている。
【０００４】
図２において、ビデオシースルー型複合現実システムは、頭部搭載型の表示装置部（以下、ＨＭＤ部２００）と、画像処理部２１０から構成されている。画像処理部２１０は、一般にはパソコンやワークステーション等の高性能な演算処理機能やグラフィック表示機能を有する装置を用いる。ＨＭＤ部２００は、撮像手段２０１と、画像圧縮手段２０３と、第１のネットワーク通信手段２０４と、画像表示手段２０５とから構成されている。
図２の構成では伸張画像、すなわち伸張された撮像画像から指標情報を検出しているが、指標情報の検出処理を圧縮前の画像で行う、すなわちＨＭＤ側で指標情報を検出する構成を考えることも可能である。
【０００５】
図３は、ＨＭＤ側で指標情報を検出する、無線による画像伝送を行う一般的なビデオシースルー型複合現実システムの機能ブロック図である。図３において、ビデオシースルー型複合現実システムは、ＨＭＤ部３００と、画像処理部３１０から構成されている。ＨＭＤ部３００は、撮像手段３０１と、指標情報検出手段３０２と、画像圧縮手段３０３と、第１のネットワーク通信手段３０４と、画像表示手段３０５とから構成されている。画像処理部３１０は、第２のネットワーク通信手段３１１と、画像伸張手段３１２と、位置計測手段３１４と、ＣＧ合成手段３１５とから構成されている。
【０００６】
図２又は３に示したビデオシースルーＨＭＤを装着することで、現実世界と仮想世界とがリアルタイムかつシームレスに融合した複合現実世界を体験することができる。
一般的なＭＲ技術およびシステムの構成については特許文献２に開示されている。
【０００７】
図７を用いて、指標情報としてマーカーを利用した撮像画像からの位置姿勢情報の生成概念を説明する。
マーカー７０３は、あらかじめ撮像装置と位置関係が対応付けられているものとする。現実空間画像７０１にマーカー７０３が表示されている場合、指標情報検出手段および位置計測手段は、画像データ中からマーカー７０３を検出し、マーカー７０３の大きさや形、塗りつぶしのパターンなどの情報を取得する。この情報から、マーカー７０３と撮像手段本体（ＨＭＤ）の相対的位置関係およびＨＭＤ使用者がマーカーを観察している方向に関する三次元位置姿勢情報を算出することができる。
【０００８】
図７中では、例として、マーカー７０３の中心部を原点とする三次元座標系を想定している。しかし、座標系の原点はマーカー７０３上に設定する必要はなく、座標系の原点とマーカー７０３との相対的位置関係を対応付けることにより、任意の位置に設定することができる。また、位置姿勢情報生成に用いるマーカーは単独ではなく、複数のマーカーを同時に用いることも可能である。複数のマーカーを同時に用いる場合、各マーカーの位置関係をあらかじめ定義しておくことによって、それらの相対的位置関係から、マーカーを観察している方向を算出することが可能となる。
【０００９】
したがって、図７に示したような内部の塗りつぶしパターンによって方向まで識別が可能なマーカーではなく、例えば、カラーマーカーや、ＬＥＤなどの発光素子のような方向性の情報を持たない一次元の情報を持つマーカーを利用することも可能となる。また、マーカーではなく、テーブルの輪郭線７０４のような画像中の特徴点や、画像中の特定の色などを抽出し、それらを用いて位置姿勢情報を算出することも可能である。同一種類のマーカーを複数用いたり、数種類のマーカーを同時に用いたり、マーカーの情報と画像中の特徴点の情報を組み合わせて用いることによって、より高い精度の位置姿勢情報を生成できる。さらには、複数のマーカーや特徴点の位置関係が対応付けられているため、すべてのマーカーや特徴点が画像内に表示されていなくても、それぞれのマーカーや特徴点の位置を推定することも可能である。
マーカー利用によるＭＲ技術の実現は、非特許文献１において公開されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特許第３９４４７２６号公報
【特許文献２】特開平１１−８８９１３号公報
【非特許文献】
【００１１】
【非特許文献１】Ｋａｔｏ，  Ｈ．，  Ｂｉｌｌｉｎｇｈｕｒｓｔ，  Ｍ．（１９９９）  Ｍａｒｋｅｒ  Ｔｒａｃｋｉｎｇ  ａｎｄ  ＨＭＤ  Ｃａｌｉｂｒａｔｉｏｎ  ｆｏｒ  ａ  ｖｉｄｅｏ−ｂａｓｅｄ  Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ  Ｃｏｎｆｅｒｅｎｃｉｎｇ  Ｓｙｓｔｅｍ．  Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ２ｎｄ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ（ＩＷＡＲ  ９９）．  Ｏｃｔｏｂｅｒ，  ＳａｎＦｒａｎｃｉｓｃｏ，  ＵＳＡ
【発明の概要】
【発明が解決しようとする課題】
【００１２】
特許文献１の手法は、画像データを非可逆圧縮することが前提であり、送信画像は元画像に対して何かしら情報が失われ、画質が劣化する。そのため、図２の構成のような、伸張画像、すなわち伸張された撮像画像からマーカー等の指標情報を検出する場合、検出精度が低下し、正確な位置姿勢の計算が出来ない場合がある。
【００１３】
図４を用いて、指標情報の検出処理における画質劣化の影響について説明する。図４において、圧縮前の撮像画像４００中にはマーカーが４つ（４０１，４０２，４０３，４０４）配置されている。撮像画像４００を圧縮し生成した、圧縮後の撮像画像４１０において、図４から明らかなようにマーカー４０１に対応するマーカーは４１１である。マーカー４０１および４１１をそれぞれ拡大したものがマーカー（拡大）４０５およびマーカー（拡大）４１５である。マーカー（拡大）４０５に対してマーカー（拡大）４１５は明らかに画質が劣化していることがわかる。このような画質劣化のため、マーカー４１１に代表される圧縮後の撮像画像中の指標情報は、正しく認識されず、結果として検出されない可能性がある。
【００１４】
図３の構成のように、ＨＭＤ側で圧縮前の撮像画像を用いて指標情報の検出処理を行うことで、画像の圧縮伝送による検出精度の低下を考慮する必要はなくなる。しかしながら、ＨＭＤが人体に装着する機器であり軽量・コンパクト性が重要であることを考えると、実際に画像処理部で実施していた指標情報の検出処理すべてをＨＭＤ側で行うことは困難である。すなわちＨＭＤ側のみで指標情報を検出した場合でも、検出精度や検出速度が低下することとなる。
【課題を解決するための手段】
【００１５】
上記目的を達成するために、本発明のシステムは、以下の構成を備える。すなわち、表示装置と画像処理装置とを備えるシステムであって、
前記表示装置は、
現実空間を撮像して撮像画像を生成する撮像手段と、
前記撮像画像を分割して得られる複数の領域のそれぞれに対して第１の指標情報の検出処理を行う第１の指標情報検出手段と、
前記第１の指標情報検出手段の検出結果に基づいて、前記撮像画像を前記領域ごとに圧縮することにより圧縮画像を生成する画像圧縮手段と、
前記第１の指標情報が検出された領域については前記第１の指標情報および前記圧縮画像を送信し、前記第１の指標情報が検出されなかった領域については前記圧縮画像を送信する第１のネットワーク通信手段と、
表示手段と、
を備え、
前記画像処理装置は、
前記第１のネットワーク通信手段から前記圧縮画像を受信する第２のネットワーク通信手段と、
前記圧縮画像を伸張して伸張画像を生成する画像伸張手段と、
前記伸張画像の前記第１の指標情報が検出されなかった領域から第２の指標情報を検出する、前記第１の指標情報検出手段とは異なる第２の指標情報検出手段と、
前記第１の指標情報および前記第２の指標情報から前記表示装置の位置姿勢情報を生成する位置計測手段と、
前記位置姿勢情報に基づいて生成されたＣＧを前記伸張画像に合成して合成画像を生成するＣＧ合成手段と、
を備え、
前記第２のネットワーク通信手段は、前記合成画像を前記第１のネットワーク通信手段に送信し、
前記第１のネットワーク通信手段は、前記第２のネットワーク通信手段から前記合成画像を受信し、
前記表示手段は、前記合成画像を表示する
ことを特徴とするシステム。
【発明の効果】
【００１６】
本発明によれば、圧縮で伝送帯域を低減した上で、画質劣化によるマーカー検出率低下の影響を抑止することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態にかかわる画像処理装置の構成例を示すブロック図。
【図２】従来例における画像処理装置の構成例を示すブロック図。
【図３】従来例における画像処理装置の構成例を示すブロック図。
【図４】従来例における指標情報の検出処理における画質劣化の影響を示す図。
【図５】第１の実施形態における撮像画像の圧縮方法を示したフローチャート。
【図６】第２の実施形態における撮像画像の圧縮方法を示したフローチャート。
【図７】マーカーの一例を示す図。
【図８】第４の実施形態における画像処理装置の構成例を示すブロック図。
【図９】第４の実施形態における圧縮方法を示したフローチャート。
【図１０】第５の実施形態における画像処理装置の構成例を示すブロック図。
【図１１】第５の実施形態における圧縮方法を示したフローチャート。
【図１２】第１の実施形態における撮像画像の各領域の状態遷移の一例を示す図。
【図１３】第２の実施形態における撮像画像の各領域の状態遷移の一例を示す図。
【図１４】第４の実施形態における撮像画像の各領域の状態遷移の一例を示す図。
【図１５】第５の実施形態における撮像画像の各領域の状態遷移の一例を示す図。
【発明を実施するための形態】
【００１８】
以下に本発明の実施形態について図面を参照して説明する。
【００１９】
［第１の実施形態］
本発明の実現する第１の実施形態について、図１に従って説明する。
図１はビデオシースルー型複合現実システムの機能ブロック図である。図１において、本実施形態の画像処理装置は、頭部搭載型の表示装置部（以下、ＨＭＤ部１００）と、画像処理部１１０から構成されている。本実施形態は、使用者の頭部に装着されるとして説明するが、例えば眼鏡型の表示装置のように使用者の顔面に装着される構成であってもよい。
ＨＭＤ部１００は、撮像部１０１と、第１の指標情報検出部１０２と、画像圧縮部１０３と、第１のネットワーク通信部１０４と、画像表示部１０５とから構成されている。
画像処理部１１０は、第２のネットワーク通信部１１１と、画像伸張部１１２と、第２の指標情報検出部１１３と、位置計測部１１４と、ＣＧ合成部１１５とから構成されている。
ＨＭＤ部１００と画像処理部１１０は、第１のネットワーク通信部１０４と、第２のネットワーク通信部１１１と、を介して接続される。
ＨＭＤ部１００と画像処理部１１０は、ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ  Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）やＷＰＡＮ（Ｗｉｒｅｌｅｓｓ  Ｐｅｒｓｏｎａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）のような小規模ネットワークを介して通信する。ＨＭＤ部１００と画像処理部１１０との間は無線による通信に限らず、有線通信方式を利用してもよい。
【００２０】
撮像部１０１は、ＨＭＤ使用者の視線位置と略一致する外界の観察画像を撮像し撮像画像を生成する。ステレオ画像を生成するための右目用、左目用の二組の撮像素子と光学系および後段の画像処理を行うためのＤＳＰなどによる信号処理回路から構成される。
第１の指標情報検出部１０２は、撮像画像から、ＨＭＤ使用者の位置姿勢情報を生成するために必要な指標情報を検出する。
画像圧縮部１０３は、撮像画像を圧縮し、元の撮像画像に対してデータ量を減じた圧縮画像を作成する。
第１のネットワーク通信部１０４は、圧縮画像（撮像画像）と指標情報とを無線アクセスポイントを介して画像処理部１１０へ送信し、また無線アクセスポイントを介して画像処理部１１０で生成された合成画像を受信する。
表示部１０５は、合成されたＭＲ画像を表示する。こちらも撮像部１０１と同様、右目用、左目用の二組の表示デバイスと光学系から構成される。表示デバイスは小型の液晶ディスプレイやＭＥＭＳによる網膜スキャンタイプのデバイスが使用される。
【００２１】
第２のネットワーク通信部１１１は、ＣＧ合成部１１５で生成された合成画像を無線アクセスポイントを介してＨＭＤ部１００へ送信し、またＨＭＤ部１００から圧縮画像（撮像画像）と指標情報とを無線アクセスポイントを介して受信する。
画像伸張部１１２は、ＨＭＤ部１００から送信された圧縮画像を伸張（デコード）し、伸張画像、すなわち伸張された撮像画像を生成する。
第２の指標情報検出部１１３は、伸張画像、すなわち伸張された撮像画像から、ＨＭＤ使用者の位置姿勢情報を生成するために必要な指標情報を検出する。
位置計測部１１４は、第１および第２の指標情報から、ＨＭＤ使用者の位置姿勢情報を生成する。指標情報を用いた位置姿勢計測については背景技術の項で述べた内容と同一であるため、ここでは説明を割愛する。
ＣＧ合成部１１５は、撮像画像と位置姿勢情報とから撮像画像にＣＧを合成した合成画像を作成する。
【００２２】
ＨＭＤ部１００中の撮像部１０１で撮像された撮像画像から、画像圧縮部１０３により圧縮画像が生成される。同様に撮像画像から、第１の指標情報検出部１０２が第１の指標情報を検出し、圧縮画像と第１の指標情報とは、第１のネットワーク通信部１０４により画像処理部１１０へ送信される。
【００２３】
画像処理部１１０では、第２のネットワーク通信部１１１で受信した圧縮画像を画像伸張部１１２で伸張（デコード）し、伸張された撮像画像を生成する。第２の指標情報検出部１１３は伸張された撮像画像から第２の指標情報を検出し、位置計測部１１４は第１の指標情報および第２の指標情報からＨＭＤ使用者の位置姿勢情報を生成する。ＣＧ合成部１１５は、伸張された撮像画像ＨＭＤ使用者の位置姿勢情報から、撮像画像にＣＧを合成した合成画像を生成し、第２のネットワーク通信部１１１を介してＨＭＤ部１００へ合成画像を送信する。ＨＭＤ部１００中の第１のネットワーク通信部１０４で受信した合成画像は、画像表示部１０５を介してＨＭＤ使用者に表示される。
【００２４】
ここで、軽量・コンパクト性が求められるＨＭＤ部の特性を考慮すると、第１の指標情報検出部１０２の処理は、第２の指標情報検出部１１３の処理と比較して簡易なものとする必要がある。例えば、指標情報の探索時に、指標情報の変形や回転を考慮しない（省略する）、あるいは考慮する範囲を制限する（正面正立した指標のみを探索する等）ことが考えられる。
【００２５】
図５を用いて、第１の実施形態のＨＭＤ部における画像圧縮処理の流れについて説明する。ＭＰＥＧ−２やＨ．２６４といった標準的な画像符号化圧縮方式では、画像を縦１６画素×横１６画素の領域（マクロブロック）毎に分割し、マクロブロック単位に所望の圧縮率で画像を圧縮可能である。本実施形態においても同様に撮像画像をマクロブロック単位に分割して圧縮するものとする。
【００２６】
まず、Ｓ５０１において、領域（マクロブロック）単位に分割した撮像画像を１つ（通常、左上端から右下端の順で、左から右へ、右端へ到達すると左端に戻り１マクロブロック行分下へ移動するというラスタースキャン順番）選択する。
次に、Ｓ５０２において、選択したマクロブロック中に、第１の指標情報検出部１０２で検出した第１の指標情報が含まれるかどうかを検査し、含まれる場合はＳ５０３へ、含まれない場合はＳ５０４へ進む。
【００２７】
Ｓ５０３では、指標情報が含まれているため、画像処理部１１０で、当該マクロブロックでこれ以上の指標情報検出処理を行う必要がないと判断し、画質パラメータをＱ２（低画質）に設定する。すなわち圧縮条件を低画質に設定する。
反対にＳ５０４では、指標情報が含まれておらず（指標情報を検出できず）、画像処理部１１０で指標検出処理を行う必要があるため、圧縮による画像劣化の影響を抑えるべく画質パラメータをＱ１（高画質）に設定する。すなわち圧縮条件を高画質に設定する。本実施形態では画質パラメータ（圧縮条件）として、量子化スケーリング値を想定しているが、これに限定するものではない。
【００２８】
次に、Ｓ５０５では、Ｓ５０３およびＳ５０４で設定された画質パラメータを用いて、選択されたマクロブロックを圧縮する。
以下、Ｓ５０６で、全てのマクロブロックの圧縮処理が終了したと判定されるまで、Ｓ５０１〜Ｓ５０５を繰り返す。
【００２９】
図４を用いて、領域（マクロブロック）毎の画質制御に関して説明する。
圧縮前の撮像画像４００を用いた第１の指標情報検出処理によって、マーカー４０１が検出されなかった場合、マーカー４０１周辺のマクロブロックの符号化の際は、Ｓ５０４で画質パラメータはＱ１（高画質）に設定されるため、圧縮後の画質劣化が抑えられる。すなわち、マーカー（拡大）４１５のような、第２の指標情報検出処理での検出が望めない程の低画質で圧縮されることは避けられる。
【００３０】
反対に、第１の指標情報検出処理によって、マーカー４０１を検出した場合、マーカー４０１周辺のマクロブロックはＳ５０３で画質パラメータをＱ２（低画質）に設定される。すなわち圧縮後のデータレートが抑制されることとなり、ネットワークの利用帯域を削減することが可能となる。マーカーは既に検出済みであるため、圧縮による画質劣化が第２の指標情報検出処理に与える影響を気にする必要はない。
【００３１】
図１２に、第１の実施形態における各領域の状態遷移の一例を示す。説明を簡単にするために撮像画像１２１０は同図（ａ１）に示すように、４つの領域１２１１〜１２１４に分割されて処理されるものとする。
同図（ａ１）〜（ａ３）はＨＭＤ部における処理を説明するための図であり、同図（ａ４）〜（ａ５）は画像処理部における処理を説明するための図である。
【００３２】
まず、領域１２１１が選択され、第１の指標情報検出処理が行われ（図１２（ａ１））、領域１２１１から第１の指標情報が検出され（図１２（ａ２））、画質パラメータＱ２（低画質）で圧縮される（図１２（ａ３））。
次に、領域１２１２が選択され、第１の指標情報検出処理が行われ（図１２（ａ１））、領域１２１２からは第１の指標情報が検出されず（図１２（ａ２））、画質パラメータＱ１（高画質）で圧縮される（図１２（ａ３））。
同様に、領域１２１３及び１２１４についても、第１の指標情報検出処理が行われ（図１２（ａ１））、領域１２１２からは第１の指標情報が検出されず（図１２（ａ２））、画質パラメータＱ１（高画質）で圧縮される（図１２（ａ３））。
【００３３】
画像処理部では、第１の指標情報が検出されなかった領域（高画質で圧縮された領域）１２１２〜１２１４に対して第２の指標情報検出処理が行われ（図１２（ａ４））、例えば、領域１２１４から第２の指標情報が検出される（図１２（ａ５））。
【００３４】
以上のように本実施形態によれば、一部の指標情報はＨＭＤ部において検出され、指標情報が検出された領域は低画質で圧縮され、指標情報が検出されなかった領域は高画質で圧縮されて、画像処理部へ送られる。このように撮像画像の圧縮を行うことで、ネットワークの利用帯域を削減しつつ、圧縮画像が劣化することによる指標情報検出処理精度の低下を抑止することが可能となる。
【００３５】
［第２の実施形態］
第１の実施形態では、第１の指標情報検出部１０２による指標情報検出の有無に応じて、画質パラメータの制御を行っていた。つまり、第１の指標情報検出部１０２によって指標情報が検出されなかった領域に対しては画質パラメータの制御を行っていなかった。しかし、第１の指標情報検出部１０２によって指標情報が検出されなかった領域は、次の２種類に分けることができる。すなわち、指標情報が存在しないから指標情報が検出されなかった領域と、指標情報が存在するにもかかわらず指標情報が検出されなかった領域である。
【００３６】
本実施形態では、第１の指標情報検出部１０２によって指標情報が検出されなかった領域に対しても画質パラメータの制御を行う方法について述べる。
例えば、第１の指標情報検出部によって指標情報が検出されなかった領域であって、当該領域以外の領域から検出された指標情報に基づいて推定した結果、指標情報が含まれると推定される領域を、第１の領域とする。
第１の領域は、指標情報が存在するにもかかわらず、第１の指標情報検出部が指標情報を検出できなかった領域である可能性が高い。
【００３７】
第１の指標情報検出部によって指標情報が検出されなかった領域であって、当該領域以外の領域から検出された指標情報に基づいて推定した結果、指標情報が含まれると推定されない領域を、第２の領域とする。
第２の領域は、指標情報が存在しないから、第１の指標情報検出部が指標情報を検出できなかった領域である可能性が高い。
【００３８】
図６を用いて、第２の実施形態のＨＭＤ部における画像圧縮処理の流れについて説明する。
Ｓ６０１は図５のＳ５０１と同じであるため、説明を省略する。
Ｓ６０２において、選択したマクロブロック中に、第１の指標情報検出部１０２で検出した第１の指標情報が含まれるかどうかを検査する。
含まれる場合はＳ６０４へ進み、画質パラメータをＱ３（低画質）にする。すなわち圧縮条件を低画質に設定する。
指標情報が含まれない（第１の指標情報を検出できなかった）場合はＳ６０３へ進む。
【００３９】
Ｓ６０３では、選択したマクロブロック中に指標情報が含まれる可能性を判断する。判断する方法としては、過去において検出済みの指標情報、および現在の撮像画像で検出済みの指標情報から位置関係を計算することが考えられる。例えば、ＨＭＤ部１００で現在の撮像画像から既にいくつか指標情報を検出している場合、当該指標情報を過去において検出された指標情報と照らし合わせ、今回検出できなかったが、指標情報が存在しうる個所を予測可能である。
【００４０】
例えば、第１の指標情報検出部１０２が、時刻Ｔ１に検出した指標情報の集合に、指標情報１−１−１、１−１−２および１−１−３が含まれ、
指標情報１−１−３の位置は、「指標情報１−１−１の位置」と「指標情報１−１−２の位置」との中間であるとする。
そして、第１の指標情報検出部１０２が、時刻Ｔ２に検出した指標情報の集合に、指標情報１−２−１と１−２−２が含まれ、
「指標情報１−１−１の位置」と「指標情報１−２−１の位置」とがほぼ同じであり、かつ
「指標情報１−１−２の位置」と「指標情報１−２−２の位置」とがほぼ同じであるとする。
しかし、時刻Ｔ２に検出された指標情報の集合には、「指標情報１−２−１の位置」と「指標情報１−２−２の位置」との中間に位置する指標情報が含まれていないとする。
この場合、時刻Ｔ２に検出された指標情報の集合には、「指標情報１−２−１の位置」と「指標情報１−２−２の位置」との中間に位置する指標情報は含まれていないが、当該中間には指標情報が存在する可能性が高いと判断（推定）することができる。
【００４１】
このように指標情報の位置を推定し、推定結果に応じて、対応する領域の圧縮条件を設定することが可能である。過去の指標情報は、以前の検出結果や、ＨＭＤ部の初期化・セットアップ時に使用したキャリブレーションデータをＨＭＤ部１００内に格納していてもよいし、画像処理部１１０から送信してもよい。
【００４２】
選択したマクロブロック中に指標情報が含まれる可能性が低いと判断（推定）した場合、Ｓ６０５へ進み、画質パラメータをＱ２（中画質）にする。すなわち圧縮条件を低画質と高画質の間、もしくは低画質と同等に設定する。
予測により選択したマクロブロック中に指標情報が含まれる可能性が高いと判断した場合、Ｓ６０６へ進み、画質パラメータをＱ１（高画質）にする。すなわち圧縮条件を高画質に設定する。
【００４３】
本実施形態では画質パラメータとして、量子化スケーリング値を想定しているが、これに限定するものではない。ここで、量子化スケーリング値を想定したときの各画質パラメータの関係は、Ｑ１≦Ｑ２≦Ｑ３となるものとする。
次に、Ｓ６０７では、Ｓ６０４，Ｓ６０５およびＳ６０６で設定された画質パラメータを用いて、選択されたマクロブロックを圧縮する。以下、Ｓ６０８で、全てのマクロブロックの圧縮処理が終了したと判定されるまで、Ｓ６０１〜Ｓ６０７を繰り返す。
【００４４】
図４を用いて、領域（マクロブロック）毎の画質制御に関して説明する。
時刻Ｔ１に撮像された、圧縮前の撮像画像４００を用いて、第１の指標情報検出部によって、指標情報検出処理を行い、マーカー４０１，４０２，４０３，４０４が検出されたとする。
一方、圧縮前の撮像画像４００と撮像部の位置姿勢がほぼ同じという条件下で、時刻Ｔ２（Ｔ１+ΔＴ＝Ｔ２）に撮像された、圧縮前の撮像画像（図示せず）を用いて第１の指標情報検出部によって指標画像検出処理を行った。この指標画像検出処理によって、マーカー４０２，４０３，４０４が検出され、マーカー４０１が検出されなかったとする。
時刻Ｔ１（過去）に撮像された画像から検出された指標情報の集合（時刻Ｔ１の指標情報の集合）と、時刻Ｔ２（現在）に撮像された画像から検出された指標情報の集合（時刻Ｔ２の指標情報の集合）とを比較する。そして、時刻Ｔ１の集合と時刻Ｔ２の集合との差分から、マーカー４０１が「存在すると思われる」領域（図４中のマーカー４０１周辺）を推定し、画質パラメータＱ１（高画質）に設定してマーカー４０１が「存在すると思われる」領域を圧縮する。
同様に、マーカーが「存在しないと思われる」領域、すなわちマーカー４０１，４０２，４０３，４０４の周辺以外の領域を、画質パラメータＱ２（中画質）に設定して圧縮する。
マーカー４０２，４０３，４０４の周辺は、画質パラメータＱ３（低画質）に設定して圧縮する。
【００４５】
このような画質制御を行うことで、マーカー４０１（周辺）を圧縮後の画像からでも検出できる画質にするとともに、マーカー４０１〜４０４の周辺以外の領域に対しては、過度に画質を上げることによるデータレートの増大を抑止することが可能となる。
【００４６】
図１３に、第２の実施形態における各領域の状態遷移の一例を示す。説明を簡単にするために撮像画像１３１０は同図（ｂ１）に示すように、４つの領域１３１１〜１３１４に分割されて処理されるものとする。
同図（ｂ１）〜（ｂ４）はＨＭＤ部における処理を説明するための図であり、同図（ｂ５）〜（ｂ６）は画像処理部における処理を説明するための図である。
【００４７】
まず、領域１３１１が選択され、第１の指標情報検出処理が行われ（図１３（ｂ１））、領域１３１１から第１の指標情報が検出され（図１３（ｂ２））、その後、領域１３１２と１３１４に指標情報が含まれると推定される（図１３（ｂ３））。
第１の指標情報が検出された領域１３１１は低画質で圧縮され、指標情報が含まれると推定された領域１３１２と１３１４は高画質で圧縮される。そして、第１の指標情報が検出されず、かつ指標情報が含まれると推定されなかった領域１３１３は中画質で圧縮される（図１３（ｂ４））。
【００４８】
画像処理部では、第１の指標情報が検出されなかった領域１３１２〜１３１４に対して第２の指標情報検出処理が行われ（図１３（ｂ５））、例えば、領域１３１４から第２の指標情報が検出される（図１３（ｂ６））。
【００４９】
以上のように本実施形態によれば、第１の指標情報検出部１０２によって指標情報が検出されなかった領域に対して、指標情報が含まれると推定されるか否かに応じて、画像圧縮の画質パラメータを変える。このようにすることで、ビデオシースルー型複合現実システムにおいて、撮像画像の圧縮を行うことで、ネットワークの利用帯域を削減しつつ、圧縮画像が劣化することによる指標情報検出処理精度の低下をより一層抑止することが可能となる。
【００５０】
［第３の実施形態］
第１および第２の実施形態では、第１および第２の指標情報検出部として、マーカー検出を用いていた。第３の実施形態では、指標情報として自然特徴を用いた方法について述べる。機能ブロックの構成及び圧縮方法のフローチャートに関しては第１および第２の実施形態と同じであるため、説明を省略する。
現実空間中には、ＨＭＤ部１００内の撮像部１０１によって撮像するための１つまたは複数の指標Ｐが配置される。ここで現実空間の１点を原点として定義し、更に互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義する座標系を世界座標系と称する。この世界座標系における位置が既知である指標Ｐｋ（ｋ＝１，，，Ｋ）が配置されている。指標Ｐｋは、撮像部１０１によって、少なくとも３個以上の点の情報が観測されるように設置されているとよい。指標Ｐｋは、例えば、それぞれが異なる色を有する円形状のマーカーによって構成してもよいし、それぞれが異なる特徴を有する自然特徴等の特徴点によって構成してもよい。また、ある程度の面積を有する四角形領域によって形成されるような四角形指標を用いることも可能である。撮像画像上における画像座標が検出可能であって、かついずれの指標であるかが識別可能であるような指標であれば、何れの形態であってもよい。
以上のように本実施形態によれば、ビデオシースルー型複合現実システムにおいて、自然特徴を用いた指標情報検出が可能となる。
【００５１】
［第４の実施形態］
第１および第２の実施形態では、第１および第２の指標情報検出部として、処理能力に違いはあるものの、同様の独立した手法を想定していた。つまり、第１指標情報検出部１０２と第２の指標情報検出部１１３とはそれぞれ独立して指標情報を検出するものであった。具体的には、指標情報が含まれる領域ではあるが、第１指標情報検出部１０２が指標情報を検出できなかった領域から、第２の指標情報検出部１１３が指標情報を検出するものであった。
しかし、第４の実施形態では、第１の指標情報検出部８０２は、指標情報が含まれると推定される領域に関して、第２の指標情報検出部８１３の前処理となる処理を行うのみである。
例えば、第１の指標情報検出部８０２は、指標情報の一部として、マーカーの外枠のみを検出する。そして、第２の指標情報検出部８１３は、指標情報の残部として、マーカーの外枠の中の模様を検出する。
第４の実施形態では、第１の指標情報検出部８０２が検出する指標情報の一部（例えば、マーカーの外枠）を第１の指標情報と称し、第２の指標情報検出部８１３が検出する指標情報の残部（例えば、マーカーの外枠の中の模様）を第２の指標情報と称する。
【００５２】
図８は、第４の実施形態におけるビデオシースルー型複合現実システムの機能ブロック図であり、ＨＭＤ部８００と画像処理部８１０から構成される。
ＨＭＤ部８００は、撮像部８０１と、第１の指標情報検出部８０２と、画像圧縮部８０３と、第１のネットワーク通信部８０４と、画像表示部８０５とから構成されている。撮像部８０１と、画像圧縮部８０３と、第１のネットワーク通信部８０４と、画像表示部８０５の各機能の説明は図１中の撮像部１０１と、画像圧縮手段１０３と、第１のネットワーク通信部１０４と、画像表示部１０５と同じであるため説明を省略する。
【００５３】
第１の指標情報検出部８０２は、前記の如く、指標情報が含まれると推定される領域に関して、第２の指標情報検出部の前処理となる処理を行うのみである。例えば、第１の指標情報検出部８０２は、指標情報の一部のみを検出する。指標情報の一部とは、例えば、指標情報（マーカー）の外形部（矩形領域）である。第１の指標情報検出部８０２は、第２の指標情報検出部８１３における指標情報検出処理の前処理として、圧縮前の撮像画像から指標情報（マーカー）の外形部（矩形領域）のみを検出する。
第１の指標情報検出部８０２による前処理の結果は、第２の指標情報検出部８１３へ送られる。
第２の指標情報検出部８１３は、第１の指標情報検出部８０２による前処理の結果を利用することによって、指標情報検出処理の一部を省略することができる。
【００５４】
画像圧縮部８０３は、第１の指標情報検出部８０２によって指標情報が含まれると推定された領域の画像を、画質パラメータを高画質に設定して圧縮する。指標情報が含まれると推定された領域の画像は、第２の指標情報検出部８１３によって指標情報検出処理が行われる。
一方、画像圧縮部８０３は、第１の指標情報検出部８０２によって指標情報が含まれると推定されなかった領域の画像を、画質パラメータを中画質に設定して圧縮する。指標情報が含まれると推定されなかった領域の画像は、第２の指標情報検出部８１３によって指標情報検出処理が行われない。
【００５５】
画像処理部８１０は、第２のネットワーク通信部８１１と、画像伸張部８１２と、第２の指標情報検出部８１３と、位置計測部８１４と、ＣＧ合成部８１５とから構成されている。第２のネットワーク通信部８１１と、画像伸張部８１２と、ＣＧ合成部８１５の各機能の説明は図１中の第２のネットワーク通信部１１１と、画像伸張部１１２と、ＣＧ合成部１１５と同じであるため説明を省略する。
ただし、第２の指標情報検出部８１３が伸張された撮像画像に加えて第１の指標情報を利用して第２の指標情報を検出する点と、位置計測部８１４が第２の指標情報のみから位置姿勢情報を生成する点が異なる。
【００５６】
ＨＭＤ部８００中の撮像部８０１で撮像された撮像画像から、画像圧縮部８０３により圧縮画像が生成される。
同様に撮像画像から、第１の指標情報検出部８０２が第１の指標情報検出処理を行う。ここで、第１の指標情報検出処理は、たとえばマーカーの外形部（矩形領域）の検出といった、実際に指標情報を決定する前段階の処理とする。
圧縮画像と第１の指標情報は、第１のネットワーク通信部８０４により画像処理部８１０へ送信される。
【００５７】
画像処理部８１０では、第２のネットワーク通信部８１１で受信した圧縮画像を画像伸張部８１２で伸張（デコード）し、伸張された撮像画像を生成する。
第２の指標情報検出部８１３は、伸張された撮像画像および第１の指標情報から第２の指標情報を検出する。例えば、第１の指標情報として検出した矩形領域を含む領域に対して、この矩形領域がマーカーであるかどうかの判定処理を行う。
位置計測部８１４は第２の指標情報からＨＭＤ使用者の位置姿勢情報を生成する。
ＣＧ合成部８１５は、伸張された撮像画像に、ＨＭＤ使用者の位置及び姿勢から見たＣＧを合成した合成画像を生成する。
第２のネットワーク通信部８１１は、ＣＧ合成部８１５によって生成された合成画像をＨＭＤ部８００へ送信する。ＨＭＤ部８００中の第１のネットワーク通信部８０４で受信した合成画像は、画像表示部８０５を介してＨＭＤ使用者に表示される。
【００５８】
図９を用いて、第４の実施形態のＨＭＤ部における画像圧縮処理の流れについて説明する。第１の実施形態で用いた図５と同じ部分については説明を省略し、異なる部分について説明する。具体的には、Ｓ９０１はＳ５０１と、Ｓ９０３はＳ５０３と、Ｓ９０４はＳ５０４と、Ｓ９０６はＳ５０６と、処理内容が同じため説明を省略し、Ｓ９０２について説明する。
【００５９】
Ｓ９０２では、Ｓ９０１で選択された領域が「指標情報が含まれると推定される領域」か、すなわち第１の指標情報検出処理（第２の指標情報検出処理の前処理）によって指標情報の一部などが検出される領域かを判断する。指標情報が含まれると推定された領域であればＳ９０４に進み、指標情報が含まれると推定された領域でなければＳ９０３に進む。
【００６０】
例えば指標情報（マーカー）の外形部と同一形状の図形が検出された領域は、指標情報が含まれる領域と推定される。指標情報の外形部と同一形状の図形が検出されただけでは、その外形部が指標情報の一部なのか、別の図形の一部なのかは判断できない。第１の指標情報検出部８０２は外形部のみを検出し、その外形部が指標情報の一部なのか、別の図形の一部なのかは第２の指標情報検出部８１３が判断する。
【００６１】
図１４に、第４の実施形態における各領域の状態遷移の一例を示す。説明を簡単にするために撮像画像１４１０は同図（ｃ１）に示すように、４つの領域１４１１〜１４１４に分割されて処理されるものとする。
同図（ｃ１）〜（ｃ３）はＨＭＤ部における処理を説明するための図であり、同図（ｃ４）〜（ｃ５）は画像処理部における処理を説明するための図である。
【００６２】
まず、領域１４１１が選択され、第１の指標情報検出処理（第２の指標情報検出の前処理）が行われ（図１４（ｃ１））、領域１４１１から第１の指標情報が検出され（図１４（ｃ２））、画質パラメータＱ１（高画質）で圧縮される（図１４（ｃ３））。
次に、領域１４１２が選択され、第１の指標情報検出処理（第２の指標情報検出の前処理）が行われるが（図１４（ｃ１））、領域１４１２からは第１の指標情報が検出されず（図１４（ｃ２））、画質パラメータＱ２（中画質）で圧縮される（図１４（ｃ３））。
【００６３】
次に、領域１４１３が選択され、第１の指標情報検出処理（第２の指標情報検出の前処理）が行われるが（図１４（ｃ１））、領域１４１３からも第１の指標情報が検出されず（図１４（ｃ２））、画質パラメータＱ２（中画質）で圧縮される（図１４（ｃ３））。
次に、領域１４１４が選択され、第１の指標情報検出処理（第２の指標情報検出の前処理）が行われ（図１４（ｃ１））、領域１４１４から第１の指標情報が検出され（図１４（ｃ２））、画質パラメータＱ１（高画質）で圧縮される（図１４（ｃ３））。
【００６４】
画像処理部では、第１の指標情報が検出された領域（高画質で圧縮された領域）１４１１及び１４１４に対して第２の指標情報検出処理（後処理）が行われ（図１４（ｃ４））、領域１４１１及び１４１４から第２の指標情報が検出される（図１４（ｃ５））。
【００６５】
以上のように本実施形態によれば、第１の指標情報検出部は、第２の指標情報検出部における検出処理の前処理を行い、第２の指標情報検出部は、第１の指標情報検出部の前処理の結果を利用して指標情報検出処理を行う。また、第１の指標情報が検出された領域については圧縮条件が高画質に設定され、第１の指標情報が含まれると推定されなかった領域については圧縮条件が中画質に設定される。
このようにすることで、軽量・コンパクト性が求められるＨＭＤ部の特性を考慮した簡易な指標情報検出処理のみをＨＭＤ部で行った上で、ネットワークの利用帯域を削減しつつ、圧縮による指標情報検出処理精度の劣化をより一層抑止することが可能となる。
【００６６】
［第５の実施形態］
本実施形態では、撮像画像の画像特性に応じた第１の指標情報検出の対象領域の優先度について述べる。
図１０は、第５の実施形態におけるビデオシースルー型複合現実システムの機能ブロック図であり、ＨＭＤ部１０００と画像処理部１０１０から構成される。
ＨＭＤ部１０００は、撮像部１００１と、第１の指標情報検出部１００２と、画像圧縮部１００３と、第１のネットワーク通信部１００４と、画像表示部１００５とから構成されている。第１の指標情報検出部１００２は、空間周波数取得部を備える。
撮像部１００１と、画像圧縮部１００３と、第１のネットワーク通信部１００４と、画像表示部１００５の機能は、図１中の撮像部１０１と、画像圧縮部１０３と、第１のネットワーク通信部１０４と、画像表示部１０５と同じであるため説明を省略する。
【００６７】
空間周波数取得部は、圧縮前の撮像画像の空間周波数をマクロブロック単位ごとに求める。求められた空間周波数は閾値と比較される。
第１の指標情報検出部１００２は、空間周波数取得部によって求められた空間周波数が閾値以上の場合、そのマクロブロックを優先して指標情報検出処理を行い、空間周波数が閾値未満の場合、そのマクロブロックに関して通常の指標情報検出処理を行う。
「優先して指標情報検出処理を行う」とは、例えば、通常の（つまり、通常の）指標情報検出処理と比較して、長い時間をかけて指標情報検出処理を行うことなどを意味する。
【００６８】
図１１を用いて、第５の実施形態のＨＭＤ部における画像圧縮処理の流れについて説明する。
Ｓ１１０１では、撮像画像を分割した領域（マクロブロック）単位の１つ（通常、左上端から右下端の順で、左から右へ、右端へ到達すると左端に戻り１マクロブロック行分下へ移動するというラスタースキャン順番）を選択する。
【００６９】
Ｓ１１０２では、各マクロブロック単位の空間周波数を取得し、取得された空間周波数と閾値を比較し、取得された空間周波数が以上かを調べる。取得された空間周波数が以上であればＳ１１０３に進み、取得された空間周波数が未満であればＳ１１０４に進む。
Ｓ１１０３では、優先的な指標情報検出処理を行い、Ｓ１１０４では、通常の（つまり、優先的ではない）指標情報検出処理を行う。
Ｓ１１０５はＳ５０１と、Ｓ１１０６はＳ５０３と、Ｓ１１０７はＳ５０４と、Ｓ１１０８はＳ５０５と、Ｓ１１０９はＳ５０６と同じであるから説明を省略する。
【００７０】
図７にマーカーの一例を示す。マーカーは、図７のマーカー７０３で示されるような、白黒の塗りつぶしのパターンで表されることが多い。このようなエッジ情報を含む空間周波数の高い領域は画像圧縮により先鋭度が失われやすいため、圧縮後に行う第２の指標情報検出に際し検出精度の劣化が懸念される。
【００７１】
図１５に、第５の実施形態における各領域の状態遷移の一例を示す。説明を簡単にするために撮像画像１５１０は同図（ｄ１）に示すように、４つの領域１５１１〜１５１４に分割されて処理されるものとする。
同図（ｄ１）〜（ｄ４）はＨＭＤ部における処理を説明するための図であり、同図（ｄ５）〜（ｄ６）は画像処理部における処理を説明するための図である。
【００７２】
まず、領域１５１１が選択され、空間周波数が閾値以上であると判断され（図１５（ｄ１））、領域１５１１に対して優先的な第１の指標情報検出処理が行われ（図１５（ｄ２））、第１の指標情報が検出される（図１５（ｄ３））。第１の指標情報が検出された領域１５１１は画質パラメータＱ２（低画質）で圧縮される（図１５（ｄ４））。
次に、領域１５１２が選択され、空間周波数が閾値未満であると判断され（図１５（ｄ１））、領域１５１２に対して通常の第１の指標情報検出処理が行われ（図１５（ｄ２））、第１の指標情報が検出されない（図１５（ｄ３））。第１の指標情報が検出されなかった領域１５１２は画質パラメータＱ１（高画質）で圧縮される（図１５（ｄ４））。
【００７３】
次に、領域１５１３が選択され、空間周波数が閾値未満であると判断され（図１５（ｄ１））、領域１５１３に対して通常の第１の指標情報検出処理が行われ（図１５（ｄ２））、第１の指標情報が検出されない（図１５（ｄ３））。第１の指標情報が検出されなかった領域１５１３は画質パラメータＱ１（高画質）で圧縮される（図１５（ｄ４））。
次に、領域１５１４が選択され、空間周波数が閾値以上であると判断され（図１５（ｄ１））、領域１５１４に対して優先的な第１の指標情報検出処理が行われたが（図１５（ｄ２））、第１の指標情報が検出されなかった（図１５（ｄ３））。第１の指標情報が検出されなかった領域１５１４は画質パラメータＱ１（高画質）で圧縮される（図１５（ｄ４））。
【００７４】
画像処理部では、第１の指標情報が検出されなかった領域１５１２〜１３１４に対して第２の指標情報検出処理が行われ（図１５（ｄ５））、例えば、領域１５１４から第２の指標情報が検出される（図１５（ｄ６））。
【００７５】
第５の実施形態では、空間周波数が閾値以上であるか否かに基づいて、圧縮によって先鋭度が失われる領域か否かを判断し、圧縮によって先鋭度が失われる領域については圧縮前に、ＨＭＤ部の第１の指標情報検出部によって優先して指標情報検出処理を行う。
以上のように、圧縮による画像の劣化が予想される領域（圧縮後の画像から指標情報を検出することが難しい領域）の指標情報の検出処理を圧縮前画像において優先的に実施する。このようにすることで、ネットワークの利用帯域を削減しつつ、指標情報検出処理精度の低下を抑止することが可能となる。
【００７６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
例えば、ＨＭＤの代わりにＨＵＤ（Ｈｅａｄ  Ｕｐ  Ｄｉｓｐｌａｙ）、ＨＨＤ（Ｈａｎｄ  Ｈｅｌｄ  Ｄｉｓｐｌａｙ）を用いた複合現実システムにも適用可能である。
また、本発明は、光学シースルー型のＨＭＤを用いた複合現実システムにも同様に適用可能である。その場合、画像処理部１１０は合成画像のうちＣＧ部分のみをＨＭＤ部１００に送信する。もしくは、合成画像中の撮像画像（背景）とＣＧとを識別する情報を合成画像と併せてＨＭＤ部１００に送信する。表示部１０５は、撮像画像に対応する現実空間を透過して視認可能となっており、受信した合成画像（ＣＧ）を現実空間に重畳して表示する。
【００７７】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００７８】
１００  ＨＭＤ部
１０１  撮像部
１０２  第１の指標情報検出部
１０３  画像圧縮部
１０４  ネットワーク通信部
１０５  画像表示部
１１０  画像処理部
１１１  ネットワーク通信部
１１２  画像伸張部
１１３  第２の指標情報検出部
１１４  位置計測部
１１５  ＣＧ合成部
【図１】
2016082528.tif 000003
【図２】
2016082528.tif 000004
【図３】
2016082528.tif 000005
【図５】
2016082528.tif 000006
【図６】
2016082528.tif 000007
【図７】
2016082528.tif 000008
【図８】
2016082528.tif 000009
【図９】
2016082528.tif 000010
【図１０】
2016082528.tif 000011
【図１１】
2016082528.tif 000012
【図１２】
2016082528.tif 000013
【図１３】
2016082528.tif 000014
【図１４】
2016082528.tif 000015
【図１５】
2016082528.tif 000016
【図４】
2016082528.tif 000017