(57)【要約】【課題】撮像画像と撮像画像以外の画像（ＣＧ画像等）との合成画像を表示する場合において、モアレの発生を効果的に抑制し、かつＣＧ画像等も鮮明に表示できるようにする。【解決手段】画像処理装置１００は、撮像により生成された第１の画像と撮像以外の方法で生成された第２の画像とが合成された合成画像に対してローパスフィルタ処理を行う処理手段１２２Ｌを有する。処理手段は、合成画像のうち第１の画像の領域と第２の画像の領域に対して互いに異なるカットオフ周波数のローパスフィルタ処理を行う。【選択図】図１
2008078959.tif 000002
【特許請求の範囲】
【請求項１】
撮像により生成された第１の画像と撮像以外の方法で生成された第２の画像とが合成された合成画像に対してローパスフィルタ処理を行う処理手段を有し、
該処理手段は、前記合成画像のうち前記第１の画像の領域と前記第２の画像の領域に対して互いに異なるカットオフ周波数のローパスフィルタ処理を行うことを特徴とする画像処理装置。
【請求項２】
撮像により生成された第１の画像と撮像以外の方法で生成された第２の画像とを合成する合成手段と、
画像に対してローパスフィルタ処理を行う処理手段とを有し、
該処理手段は、前記第１の画像と前記第２の画像に対して互いに異なるカットオフ周波数のローパスフィルタ処理を行い、
前記合成手段は、それぞれ前記処理手段によるローパスフィルタ処理が行われた前記第１の画像と前記第２の画像を合成することを特徴とする画像処理装置。
【請求項３】
前記処理手段は、前記第１の画像の領域に対するローパスフィルタ処理のカットオフ周波数を第１のカットオフ周波数に設定し、前記第２の画像の領域に対するカットオフ周波数を、前記第１のカットオフ周波数よりも高い第２のカットオフ周波数に設定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記合成画像から前記第１の画像の領域と前記第２の画像の領域とを分離する分離手段と、
前記処理手段によりローパスフィルタ処理が行われた前記第１及び第２の画像の領域を再合成して合成画像を生成する再合成手段とを有することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
撮像により生成された第１の画像と撮像以外の方法で生成された第２の画像とが合成された合成画像に対してローパスフィルタ処理を行う処理手段を有し、
該処理手段は、前記合成画像のうち前記第２の画像の領域に対してローパスフィルタ処理を行わず、前記第１の画像の領域に対してローパスフィルタ処理を行うことを特徴とする画像処理装置。
【請求項６】
前記合成画像から前記第１の画像の領域と前記第２の画像の領域とを分離する分離手段と、
前記処理手段によりローパスフィルタ処理が行われた前記第１の画像の領域と前記分離された第２の画像の領域とを再合成して合成画像を生成する再合成手段とを有することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
撮像により生成された第１の画像と撮像以外の方法で生成された第２の画像とを合成する合成手段と、
画像に対してローパスフィルタ処理を行う処理手段とを有し、
該処理手段は、前記第１の画像に対してローパスフィルタ処理を行い、かつ前記第２の画像に対してはローパスフィルタ処理を行わず、
前記合成手段は、前記処理手段による前記ローパスフィルタ処理が行われた前記第１の画像と前記ローパスフィルタ処理が行われていない前記第２の画像を合成することを特徴とする画像処理装置。
【請求項８】
前記第１の画像を記憶するメモリを有し、
前記分離手段は、該メモリに記憶された前記第１の画像と前記合成画像とを比較して前記第１の画像の領域と前記第２の画像の領域とを分離することを特徴とする請求項４又は６に記載の画像処理装置。
【請求項９】
請求項１から８のいずれか１つに記載の画像処理装置と、
前記第１の画像を生成するための撮像を行う撮像系と、
前記合成画像を表示する表示素子とを有することを特徴とする画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像により得られた画像とコンピュータグラフィックス（ＣＧ）等により生成された画像とを合成する画像処理装置、及びこれを備えたヘッドマウントタイプ又はハントヘルドタイプの画像表示装置に関する。
【背景技術】
【０００２】
観察者の眼に対応する位置にて撮像した画像とＣＧ画像との合成画像を表示素子に表示して観察者に観察させる、いわゆるビデオシースルータイプのヘッドマウントディスプレイやハンドヘルドディスプレイ等の画像表示装置が種々提案されている（特許文献１参照）。
【０００３】
このようなビデオシースルータイプの画像表示装置では、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子を用いて生成した撮像画像をパーソナルコンピュータ等の処理装置に出力する。処理装置では、ＣＧ等により製作された画像（以下、ＣＧ画像という）を撮像画像に合成して再び画像表示装置に出力する。画像表示装置では、入力された合成画像に対して、解像度変換やフレーム周波数変換処理等を行った後、さらに観察される画像のモアレを低減するために、ローパスフィルタ処理を行う。
【特許文献１】特開２００６−１７１６３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のビデオシースルータイプの画像表示装置においては、合成画像に対するローパスフィルタ処理のカットオフ周波数を、画面全体で一様にしていた。
【０００５】
この場合において、カットオフ周波数を高めに設定すると、一般に画面の多くの部分を占める撮像画像の領域でモアレが発生してしまうことが多い。また、カットオフ周波数を低めに設定すると、高精細に描画したＣＧ画像や文字等のエッジ部がぼけて、見づらい画像となってしまうという問題がある。
【０００６】
本発明は、撮像画像と撮像画像以外の画像（ＣＧ画像等）との合成画像を表示する場合において、モアレの発生を効果的に抑制し、かつＣＧ画像等も鮮明に表示できるようにした画像処理装置及び撮像型画像表示装置を提供することを目的としている。
【課題を解決するための手段】
【０００７】
本発明の一側面としての画像処理装置は、撮像により生成された第１の画像と撮像以外の方法で生成された第２の画像とが合成された合成画像に対してローパスフィルタ処理を行う処理手段を有する。そして、処理手段は、合成画像のうち第１の画像の領域と第２の画像の領域に対して互いに異なるカットオフ周波数のローパスフィルタ処理を行うことを特徴とする。
【０００８】
また、本発明の他の側面としての画像処理装置は、撮像により生成された第１の画像と撮像以外の方法で生成された第２の画像とを合成する合成手段と、画像に対してローパスフィルタ処理を行う処理手段とを有する。そして、該処理手段は、第１の画像と第２の画像に対して互いに異なるカットオフ周波数のローパスフィルタ処理を行い、合成手段は、それぞれ処理手段によるローパスフィルタ処理が行われた第１の画像と第２の画像を合成することを特徴とする。
【０００９】
また、本発明の他の側面としての画像処理装置は、撮像により生成された第１の画像と撮像以外の方法で生成された第２の画像とが合成された合成画像に対してローパスフィルタ処理を行う処理手段を有する。そして、処理手段は、合成画像のうち第２の画像の領域に対してローパスフィルタ処理を行わず、第１の画像の領域に対してローパスフィルタ処理を行うことを特徴とする。
【００１０】
また、本発明の他の側面としての画像処理装置は、撮像により生成された第１の画像と撮像以外の方法で生成された第２の画像とを合成する合成手段と、画像に対してローパスフィルタ処理を行う処理手段とを有する。そして、該処理手段は、第１の画像に対してローパスフィルタ処理を行い、かつ第２の画像に対してはローパスフィルタ処理を行わず、合成手段は、処理手段によるローパスフィルタ処理が行われた第１の画像と該ローパスフィルタ処理が行われていない第２の画像を合成することを特徴とする。
【００１１】
さらに、被写体を撮像して第１の画像を生成する撮像系と、上記画像処理装置と、処理手段にてローパスフィルタ処理が行われた合成画像を表示する表示素子とを有する撮像型画像表示装置も本発明の他の側面を構成する。
【発明の効果】
【００１２】
本発明によれば、合成画像のうち撮像画像の領域とＣＧ等で生成された画像の領域とのそれぞれに又は撮像画像の領域のみに最適なローパスフィルタ処理のカットオフ周波数を設定することができる。したがって、撮像画像領域でのモアレの発生を抑制することができるとともに、ＣＧ画像等の領域を鮮明に表示することが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００１４】
図５には、本発明の実施例１であるビデオシースルータイプのヘッドマウントディスプレイ本体（以下、ＨＭＤ本体という）１０００の構成を示している。
【００１５】
図５において、１１０はＣＣＤセンサやＣＭＯＳセンサ等により構成される撮像素子である。６１１は撮像プリズムであり、撮像素子１１０の位置を観察者の眼球６２２の位置に可能な限り近づけるよう外界（被写体）からの光束６１０を複数回の反射を利用して折り畳み、コンパクトでありながらも必要な光路長を確保している。６１２は撮像プリズム６１１からの光束を撮像素子１１０上に結像させるための結像レンズである。撮像プリズム及び結像レンズ６１２により撮像光学系が構成され、さらに該撮像光学系と撮像素子１１０により撮像部（撮像系）が構成される。
【００１６】
１２５はＬＣＤやＣＲＴ，ＥＬ素子等により構成される表示素子である。６２０は表示素子１２５から射出された光束６２１を拡大しつつ観察者の眼球６２２に導くため観察プリズム（表示光学系）である。観察者は、観察プリズム６２０を覗くことにより、表示素子１２５に表示された映像の虚像を観察することが可能となる。表示素子１２５及び観察プリズム６２０により、表示部が構成される。
【００１７】
本実施例のＨＭＤ本体１０００は、上記撮像部と表示部とを内蔵した撮像表示ユニットを左右一対有する。これにより、観察者は、左右の眼で左右の撮像ユニットにより取得された撮像画像（及び後述する合成画像）を左右の表示ユニットを介して観察することができる。
【００１８】
図６には、本実施例のＨＭＤ本体１００及びこれに接続される制御ユニット（画像処理装置）の外観を示している。図６において、７０１は観察者の頭部である。１０１Ｌ，１０１Ｒは左右の撮像表示ユニットである。これら撮像表示ユニット１０１Ｌ，１０１Ｒは、頭部装着装置１０３に固定されており、頭部装着装置１０３を観察者の頭部７０１に装着することで、撮像表示ユニット１０１Ｌ，１０１Ｒを観察者の眼前に配置することができる。これにより、観察者が実際に眼で見るのとほぼ一致する映像を観察することが可能となる。ただし、本実施例では、撮像映像に、ＣＧ映像や文字映像等の撮像以外の方法で生成された映像が合成された合成映像を観察する。
【００１９】
また、１００はＨＭＤ本体１０００を制御する制御ユニットであり、１０２はＨＭＤ本体１０００と制御ユニット１００を接続するためのケーブルである。ＨＭＤ本体１０００と制御ユニット１００とは使用上一体不可分の関係にあり、本発明にいう画像表示装置とは、ＨＭＤ本体１０００と制御ユニット１００を含む意味である。
【００２０】
２００は制御ユニット１００にケーブルや無線等を介して接続されたパーソナルコンピュータやワークステーション等のコンピュータである。コンピュータ２００は、ＣＧ映像の作成が可能であるとともに、後述するように制御ユニット１００から入力された撮像映像とＣＧ映像とを合成した合成映像も作成する。作成された合成映像は、制御ユニット１００に出力される。
【００２１】
図１には、本実施例のＨＭＤ本体１０００及び制御ユニット１００の電気回路の構成を示す。なお、図１において、各符号（数字）の後に付けられたＲ，Ｌの文字は、右眼用，左眼用を意味している。ただし、右眼用と左眼用の回路構成は共通であるので、以下の説明では、Ｒ，Ｌを省く。また、図１において、図５及び図６に示した構成要素と同じものには、同符号を付している。
【００２２】
図１において、１１１は撮像素子１１０から出力されたアナログ信号に対してＡＧＣ（自動利得制御）、ＣＤＳ（相関２重サンプリング）及びＡＤＣ（アナログ−ディジタル変換）等を行うアナログ画像処理部である。
【００２３】
１１２はアナログ画像処理部１１１から出力されたデジタル信号に対してγ（ガンマ）補正、色相補正、輪郭補正、撮像光学系に対する歪補正等の画像処理を行うデジタル画像処理部である。
【００２４】
１１３はデジタル画像処理部１１２で画像処理された信号を、所定のビデオフォーマットに変換して出力するＩＥＥＥ１３９４インタフェース等の映像出力部である。映像出力部１１３から出力された撮像映像は、前述したコンピュータ２００に入力される。
【００２５】
１１４はデジタル画像処理部１１２で画像処理された撮像映像を所定の複数フレーム画像ずつ蓄積する撮像映像用フレームメモリである。
【００２６】
１２０はコンピュータ２００で作成された、撮像映像と撮像映像以外の映像であるＣＧ映像との合成映像を取り込むＤＶＩ（ディジタル・ビデオ・インタフェース）レシーバ等の映像入力部である。
【００２７】
１２１は映像入力部１２０から入力された合成映像と撮像映像用フレームメモリ１１４に蓄積されたフレーム画像を比較して、撮像画像とＣＧ画像とを分離する映像分離部である。
【００２８】
１２２は映像分離部１２１で分離された撮像画像とＣＧ画像の各々に対して、解像度やフレーム周波数を表示素子１２５に合わせて変換し、さらに表示光学系に対する歪の補正処理を行う映像変換部である。この映像変換部１２２では、さらにモアレ除去等を目的とするローパスフィルタ処理を行う。このローパスフィルタ処理については、後に詳しく説明する。
【００２９】
１２３は映像変換部１２２で各処理が行われた撮像画像とＣＧ画像とを再び合成する映像再合成部である。
【００３０】
１２４は映像再合成部１２３から再合成映像の入力を受けて、表示素子１２５を駆動する表示素子駆動部である。これにより、映像再合成部１２３で再合成された映像（合成画像）が表示素子１２５に表示され、観察者は合成映像を観察することができる。
【００３１】
１３０は制御ユニット１００及びＨＭＤ本体１０００の動作の制御を司るＣＰＵ等の制御部である。
【００３２】
１３１は撮像光学系に対する歪み補正データを記憶した歪補正テーブル部、１３２は表示光学系に対する歪補正データを記憶した歪補正テーブル部である。なお、光学系で発生する画像の歪は、光学部品の個体差や組立公差等の影響により異なる。したがって、撮像光学系に対する歪補正テーブル部１３１および表示光学系に対する歪補正テーブル部１３２は、個々のＨＭＤ本体における撮像部及び表示部ごとに歪データを測定して、それぞれの補正データを書き込む。
【００３３】
図２Ａには、撮像映像（撮像フレーム画像）を示している。また、図２Ｂには、コンピュータ２００から入力された撮像映像とＣＧ映像（ＣＧフレーム画像）との合成映像（合成フレーム画像）を示す。さらに、図２Ｃ及び図２Ｄにはそれぞれ、合成映像から分離された撮像フレーム画像領域とＣＧフレーム画像領域を示す。
【００３４】
前述したように、ＨＭＤ本体１０００の撮像部にて撮像され、制御ユニット１００内で各種画像処理が施された撮像映像（図２Ａ）は、コンピュータ２００に送られる。コンピュータ２００では、入力された撮像映像に対して、図２Ｄに示すＣＧ映像を重畳（合成）した合成映像（図２Ｂ）を生成する。生成された合成映像は、コンピュータ２００の標準映像出力端子からＤＶＩ等の所定のフォーマットで出力される。コンピュータ２００からの合成映像は、制御ユニット１００の映像入力部１２０においてＤＶＩレシーバ等で受信され、その後段の処理回路で使用可能なデジタルビデオ信号へと変換される。
【００３５】
映像分離部１２１では、映像入力部１２０からの合成映像（合成フレーム画像）と、撮像映像用フレームメモリ１１４に合成処理時間分だけ前に蓄積された撮像映像（撮像フレーム画像）とを比較する。これにより、合成フレーム画像内での撮像フレーム画像領域（図２Ｃ）とＣＧフレーム画像領域（図２Ｄ）とを判別する。
【００３６】
ここで、合成処理時間とは、制御ユニット１００において撮像フレーム画像が生成されてから、コンピュータ２００に送られ、ＣＧ画像と合成されて合成画像として制御ユニット１００に再入力されるまでの時間である。このため、合成フレーム画像と比較する撮像フレーム画像（フレームメモリ１１４に蓄積された画像）は、該合成フレーム画像の生成に用いられた撮像フレーム画像に一致する。これにより、合成フレーム画像内での撮像フレーム画像領域とＣＧフレーム画像領域とを正確に特定することができる。
【００３７】
映像分離部１２１では、合成フレーム画像から撮像フレーム画像領域とＣＧフレーム画像領域とを分離する。そして、撮像フレーム画像領域のみの画像である分離撮像フレーム画像とＣＧフレーム画像領域のみの画像である分離ＣＧフレーム画像とを映像変換部１２２に入力する。
【００３８】
映像変換部１２２では、分離撮像フレーム画像と分離ＣＧフレーム画像のそれぞれに対して、表示素子１２５に合わせた解像度変換やフレーム周波数変換を行う。また、表示光学系に対応する歪補正テーブル部１３２に格納されたデータに基づいて、表示光学系で発生する画像の歪とは逆方向の歪みを表示画像に与える処理が行われる。
【００３９】
さらに、映像変換部１２２では、これらの画像処理が行われた分離撮像フレーム画像と分離ＣＧフレーム画像のそれぞれに対してローパスフィルタ処理を行う。このとき、分離撮像フレーム画像に対しては、例えば通常、撮像映像でのモアレ除去用に設定される第１のカットオフ周波数でローパスフィルタ処理を行う。一方、分離ＣＧフレーム画像に対しては、第１のカットオフ周波数よりも高く設定された第２のカットオフ周波数でローパスフィルタ処理を行う。すなわち、分離撮像フレーム画像と分離ＣＧフレーム画像のそれぞれに対して、互いに異なるカットオフ周波数でローパスフィルタ処理を行っている。
【００４０】
これにより、映像再合成部１２３にて再合成された合成映像が表示素子１２５に表示されたときに、撮像映像の領域において現れることが多いモアレの発生を抑制することができるとともに、ＣＧ映像の領域を鮮明に表示することができる。
【００４１】
ローパスフィルタ処理を含む各種画像処理が施された分離撮像フレーム画像と分離ＣＧフレーム画像は、映像再合成部１２３に送られ、ここで合成されて再び１つの合成フレーム画像が生成される。合成フレーム画像は順次、表示素子駆動部１２４において表示素子１２５を駆動するのに適した信号に加工され、表示素子１２５に出力される。これにより、合成映像が表示され、観察者による観察が可能となる。
【実施例２】
【００４２】
図３Ａ，３Ｂ及び図４Ａ，４Ｂには、上述した合成処理時間が分からなかったり、変動したりするような場合における映像分離部１２１での画像分離の方法について示している。
【００４３】
図３Ａ及び図３Ｂには、撮像フレーム画像の画像データ列にフレーム番号データを書き込む場合の例を示している。図３Ａには、デジタル画像処理部１１２において、画像処理を施された撮像フレーム画像の画像データ列を示している。ここでは、分かり易いように、画像データ列の先頭部のみを示している。
【００４４】
図３Ｂには、図３Ａに示した画像データ列の先頭部を、フレーム番号データ（Ｆ．Ｎｏ）に置き換えた例を示している。
【００４５】
また、図４Ａ及び図４Ｂには、合成フレーム画像の画像データ列にフレーム番号データを書き込む場合の例を示している。図４Ａには、コンピュータ２００から入力される合成フレーム画像の画像データ列を示している。ここでは、分かり易いように、画像データ列の先頭部のみを示している。
【００４６】
図４Ｂは、図４Ａに示した映像データ列からフレーム番号データを除去した状態の画像データ列を示している。
【００４７】
図３Ａ，３Ｂ及び図４Ａ，４Ｂに示すフレーム番号データを用いる場合における実施例１との動作上の違いについて説明する。
【００４８】
まず、撮像映像の生成に関しては、デジタル画像処理部１１２までの動作は実施例１と同じである。デジタル画像処理部１１２において画像処理を施された図３Ａで示される撮像フレーム画像の画像データ列に対して、映像出力部１１３において以下の処理を行う。まず、図３Ｂで示したように、画像データ列の先頭部である最初の１バイトのデータ、すなわち、図３Ａにおいては「Ｕ０．５」データをフレーム番号データ（Ｆ．Ｎｏ）に書き換える。なお、撮像映像用フレームメモリ１１４には、図３Ａで示される撮像フレーム画像（画像データ列）を蓄積し、フレーム番号データに対応付けて管理する。
【００４９】
次に、映像出力部１１３から出力された図３Ｂで示されるフレーム番号データ付きの撮像フレーム画像（画像データ列）は、コンピュータ２００に送られる。コンピュータ２００は、フレーム番号データを取り除いた状態で画像データ列をＲＧＢデータに変換し、ＣＧフレーム画像と合成する。
【００５０】
合成フレーム画像を生成した後、コンピュータ２００は、図４Ａに示したように、合成フレーム画像におけるＲ（レッド）データの最初の１バイトのデータ、すなわち「Ｒ０」を先に取り除いたフレーム番号データに書き換える。そして、このフレーム番号データ付きの合成フレーム画像を制御ユニット１００の映像入力部１２０に送る。
【００５１】
コンピュータ２００から映像入力部１２０に入力された図４Ａに示すフレーム番号データ付きの合成フレーム画像は、映像分離部１２１に送られる。映像分離部１２１は、Ｒデータの最初の１バイトに書き込まれているフレーム番号データを読み出し、撮像映像用フレームメモリ１１４に蓄積された複数の撮像フレーム画像のうち、読み出したフレーム番号データに対応する撮像フレーム画像を読み出す。そして、読み出した撮像フレーム画像と合成フレーム画像とを比較して、撮像フレーム画像領域とＣＧフレーム画像領域とを分離する。
【００５２】
この際、Ｒデータの最初の１バイト目を「Ｒ０」データに戻す処理を行い、図４Ｂに示した合成フレーム画像（画像データ列）に変換する。
【００５３】
この変換方法は、以下の通りである。まず、撮像映像用フレームメモリ１１４に蓄積されている、フレーム番号データに対応する撮像フレーム画像における画像データ列のうち、最初の２画素のデータを算出する。すなわち、図３Ａ中の「Ｕ０．５」，「Ｙ０」，「Ｖ０．５」，「Ｙ１」から「Ｒ０」，「Ｒ１」，「Ｇ０」，「Ｇ１」，「Ｂ０」，「Ｂ１」を算出する。
【００５４】
次に、算出した最初の２画素のデータのうち、「Ｒ０」を除いた他の５色のデータ値と、コンピュータ２００から入力された合成フレーム画像の画像データ列のうち、「Ｒ０」を除いた他の５色のデータ値とを比較する。これら５色のデータ値の全てが等しい（又は差が所定範囲内に収まっている）場合は、１画素目は撮像フレーム画像のデータであると判断し、上記算出した「Ｒ０」値をそのまま本来の「Ｒ０」の位置に書き込まれている「Ｆ．Ｎｏ」と置き換える。
【００５５】
一方、上記５色のデータ値のうち少なくとも１つが等しくない場合は、１画素目はＣＧフレーム画像のデータであると判断し、コンピュータ２００から入力された画像データ列の「Ｒ１」値を本来の「Ｒ０」位置に書き込まれている「Ｆ．Ｎｏ」と置き換える。なお、映像分離部１２１以降は、実施例１と同じ動作を行う。
【００５６】
すなわち本実施例では、少なくとも１つの撮像フレーム画像（第１の画像）を記憶するメモリと、撮像フレーム画像にフレーム番号データを書き込む手段とを有する。さらに、合成フレーム画像を生成するときに該合成フレーム画像に該フレーム番号データを書き込む手段を有する。そして、合成フレーム画像に書き込まれたフレーム番号データに基づいて、メモリから該合成フレーム画像と比較する撮像フレーム画像を選択する。
【００５７】
また、本実施例では、合成フレーム画像へのフレーム番号データの書き込みにより消去された該合成フレーム画像の画像データに対し、該画像データが撮像フレーム画像の画像データか合成フレーム画像の画像データかを判断する手段を有する。撮像フレーム画像の画像データと判断した場合は、上記選択された撮像フレーム画像に基づいて、該消去された画像データを生成する。また、合成フレーム画像の画像データと判断した場合は、該画像データが消去された画素に隣接する画素の画像データを該消去された画像データに代えて用いる。
【００５８】
なお、本実施例では、フレーム番号データを画像データ列の１バイト目又はＲデータの最初の１バイト目に書き込む場合について説明したが、必ずしもこれに限るものでない。例えば、最後の１バイトや途中の１バイト、或いはＧ（グリーン）データやＢ（ブルー）データ中にフレーム番号データを書き込んでもよい。
【００５９】
また、本実施例では、撮像フレーム画像をＹＵＶ４２２データとして、また合成フレーム画像をＲＧＢパラレルデータとして説明しているが、必ずしもこれに限るものではなく、他の画像データフォーマットでもよい。
【００６０】
また、本実施例では、「Ｒ０」のデータ再生の際に、５色のデータの全てで比較する場合について説明したが、必ずしもこれに限るものでなく、例えば、「Ｇ０」，「Ｂ０」の２色やそれ以外の色数で比較してもよい。
【００６１】
さらに、上記実施例１，２では、コンピュータ２００への映像出力信号をＩＥＥＥ１３９４により、またコンピュータ２００からの映像入力信号をＤＶＩにより行う場合について説明したが、必ずしもこれに限るものではない。例えば、デジタルインタフェースであるＵＳＢや、他の信号でもよい。
【００６２】
また、上記実施例１，２では、右眼用の撮像表示ユニット及び左眼用の撮像表示ユニットを備えた両眼用のＨＭＤについて説明したが、本発明は、片眼用のＨＭＤやハンドヘルドタイプの画像表示装置にも適用することができる。
【実施例３】
【００６３】
図７には、本発明の実施例３の制御ユニット１００′の一部を示す。上記実施例１，２では、制御ユニット１００から撮像映像は一旦コンピュータ２００に送られ、コンピュータ２００で撮像映像とＣＧ映像とが合成され、該合成画像が制御ユニット１００に入力される場合について説明した。
【００６４】
これに対し、本実施例は、コンピュータ２００からＣＧ映像のみが制御ユニット１００′に入力される場合の例である。この場合、制御ユニット１００′は、撮像映像をコンピュータ２００に出力する必要はなく、撮像フレーム画像をそのまま撮像映像用フレームメモリ１１４に蓄積する。また、本実施例では、実施例１，２で説明した映像分離部１２１も不要である。
【００６５】
コンピュータ２００から映像入力部１２０に入力されたＣＧ映像（ＣＧフレーム画像）と、撮像映像用フレームメモリ１１４に蓄積された撮像フレーム画像には、映像変換部１２２で、表示素子１２５に合わせた解像度変換やフレーム周波数変換が行われる。また、実施例１と同様に、表示光学系に対応する歪補正テーブル部１３２に格納されたデータに基づいて、表示光学系で発生する画像の歪とは逆方向の歪みを表示画像に与える処理が行われる。
【００６６】
さらに、映像変換部１２２では、これらの画像処理が行われた撮像フレーム画像とＣＧフレーム画像のそれぞれに対してローパスフィルタ処理を行う。これら各フレーム画像に対するローパスフィルタ処理でのカットオフ周波数は、実施例１と同じである。
【００６７】
ローパスフィルタ処理を含む各種画像処理が施された撮像フレーム画像とＣＧフレーム画像は、映像合成部１４３に送られ、ここで合成されて合成フレーム画像が生成される。合成フレーム画像は順次、図１に示す表示素子駆動部１２４において表示素子１２５を駆動するのに適した信号に加工され、表示素子１２５に出力される。これにより、合成映像が表示され、観察者による観察が可能となる。
【００６８】
本実施例においても、映像合成部１４３にて合成された合成映像が表示素子１２５に表示されたときに、撮像映像の領域において現れることが多いモアレの発生を抑制することができるとともに、ＣＧ映像の領域を鮮明に表示することができる。
【実施例４】
【００６９】
実施例１〜３では、撮像フレーム画像に対して第１のカットオフ周波数でローパスフィルタ処理を行うとともに、ＣＧフレーム画像に対しても、第１のカットオフ周波数より高い第２のカットオフ周波数でローパスフィルタ処理を行う場合について説明した。しかし、ＣＧフレーム画像に対しては、ローパスフィルタ処理を行わなくてもよい。
【００７０】
この場合の制御ユニット１００の構成は、実施例１（図１）と同じであるので、図１を用いて本実施例を説明する。
【００７１】
本実施例では、映像分離部１２１で分離された分離撮像フレーム画像と分離ＣＧフレーム画像は映像変換部１２２に入力される。
【００７２】
映像変換部１２２では、分離撮像フレーム画像と分離ＣＧフレーム画像のそれぞれに対して、表示素子１２５に合わせた解像度変換やフレーム周波数変換を行う。また、表示光学系に対応する歪補正テーブル部１３２に格納されたデータに基づいて、表示光学系で発生する画像の歪とは逆方向の歪みを表示画像に与える処理が行われる。
【００７３】
さらに、映像変換部１２２では、これらの画像処理が行われた分離撮像フレーム画像と分離ＣＧフレーム画像のうち分離撮像フレーム画像に対しては、実施例１で説明した第１のカットオフ周波数でローパスフィルタ処理を行う。そして、ローパスフィルタ処理後の分離撮像フレーム画像は、映像再合成部１２３に出力される。一方、分離ＣＧフレーム画像には、ローパスフィルタ処理が行われずに、映像再合成部１２３に出力される。
【００７４】
映像再合成部１２３では、ローパスフィルタ処理が行われてモアレの発生が抑えられた分離撮像フレーム画像と、ローパスフィルタ処理が行われずに鮮明なままの分離ＣＧフレーム画像とが再合成され、該合成画像が表示素子１２５に表示される。
【００７５】
本実施例でも、撮像映像の領域において現れることが多いモアレの発生を抑制することができるとともに、ＣＧ映像の領域を鮮明に表示することができる。
【実施例５】
【００７６】
実施例３で説明したように、コンピュータからＣＧ映像のみが制御ユニットに入力される場合でも、実施例４で説明したように、撮像映像に対してはローパスフィルタ処理を行い、ＣＧ映像に対してはローパスフィルタ処理を行わないとすることもできる。
【００７７】
この場合の制御ユニット１００′の構成は、実施例３（図７）と同じであるので、図７を用いて本実施例を説明する。
【００７８】
コンピュータ２００から映像入力部１２０に入力されたＣＧ映像（ＣＧフレーム画像）と、撮像映像用フレームメモリ１１４に蓄積された撮像フレーム画像には、映像変換部１２２で、表示素子１２５に合わせた解像度変換やフレーム周波数変換が行われる。また、実施例１と同様に、表示光学系に対応する歪補正テーブル部１３２に格納されたデータに基づいて、表示光学系で発生する画像の歪とは逆方向の歪みを表示画像に与える処理が行われる。
【００７９】
さらに、映像変換部１２２では、撮像フレーム画像のみに対してローパスフィルタ処理を行う。すなわち、ＣＧフレーム画像に対してはローパスフィルタ処理を行わない。
【００８０】
そして、ローパスフィルタ処理を含む各種画像処理が施された撮像フレーム画像と、ローパスフィルタ処理を除いた各種画像処理が施されたＣＧフレーム画像は、映像合成部１４３に送られ、ここで合成されて合成フレーム画像が生成される。
【００８１】
合成フレーム画像は順次、図１に示す表示素子駆動部１２４において表示素子１２５を駆動するのに適した信号に加工され、表示素子１２５に出力される。これにより、合成映像が表示され、観察者による観察が可能となる。
【００８２】
本実施例においても、映像合成部１４３にて合成された合成映像が表示素子１２５に表示されたときに、撮像映像の領域において現れることが多いモアレの発生を抑制することができるとともに、ＣＧ映像の領域を鮮明に表示することができる。
【図面の簡単な説明】
【００８３】
【図１】本発明の実施例１（及び実施例４）であるＨＭＤ及び制御ユニットの電気的構成を示すブロック図。
【図２Ａ】実施例１における撮像画像の例を示す図。
【図２Ｂ】実施例１における合成画像の例を示す図。
【図２Ｃ】実施例１における合成画像のうち撮像映像の領域を示す図。
【図２Ｄ】実施例１における合成画像のうちＣＧ映像の領域を示す図。
【図３Ａ】本発明の実施例２における撮像フレーム画像の画像データ列を示す図。
【図３Ｂ】図３Ａの画像データ列にフレーム番号データが書き込まれた様子を示す図。
【図４Ａ】実施例２における合成フレーム画像の画像データ列にフレーム番号データが書き込まれた様子を示す図。
【図４Ｂ】図４Ａの画像データ列のフレーム番号データが、画像データに書き替えられた様子を示す図。
【図５】実施例１のＨＭＤ本体の構成を示す断面図。
【図６】実施例１のＨＭＤ本体及び制御ユニットの外観を示す図。
【図７】本発明の実施例３（及び実施例５）である制御ユニットの電気的構成の一部を示すブロック図。
【符号の説明】
【００８４】
１００  制御ユニット
１０００  ＨＭＤ本体
１０１Ｒ  右眼用撮像表示ユニット
１０１Ｌ  左眼用撮像表示ユニット
１１０Ｒ，１１０Ｌ  撮像素子
１１１Ｒ，１１１Ｌ  アナログ画像処理部
１１２Ｒ，１１２Ｌ  デジタル画像処理部
１１３Ｒ，１１３Ｌ 映像出力部
１１４Ｒ，１１４Ｌ 撮像映像用フレームメモリ
１２０Ｒ，１２０Ｌ 映像入力部
１２１Ｒ，１２１Ｌ 映像分離部
１２２Ｒ，１２２Ｌ 映像変換部
１２３Ｒ，１２３Ｌ 映像再合成部
１２４Ｒ，１２４Ｌ 表示素子駆動部
１２５Ｒ，１２５Ｌ 表示素子
１３０  制御部
１３１Ｒ，１３１Ｌ，１３２Ｒ、１３２Ｌ  歪補正テーブル部
１４３Ｌ  映像合成部
【図１】
2008078959.tif 000003
【図２Ａ】
2008078959.tif 000004
【図２Ｂ】
2008078959.tif 000005
【図２Ｃ】
2008078959.tif 000006
【図２Ｄ】
2008078959.tif 000007
【図３Ａ】
2008078959.tif 000008
【図３Ｂ】
2008078959.tif 000009
【図４Ａ】
2008078959.tif 000010
【図４Ｂ】
2008078959.tif 000011
【図５】
2008078959.tif 000012
【図６】
2008078959.tif 000013
【図７】
2008078959.tif 000014