(57)【要約】    【課題】  ステンシルバッファを使用しないで、肌色領域に対するＣＧ描画の禁止を実現するとともに、実写映像とＣＧ映像との境界における画像品質の向上を図る。    【解決手段】  実写映像とＣＧ映像とを合成して合成画像を生成する画像合成装置において、実写映像にＣＧ映像を上書きして映像１００を生成し、また、実写映像において肌色を持つ画像部分を検出する。そして、該検出された画像部分を、映像１００に上書きして合成映像１０３を作成する。なお好ましくは、前記検出された画像部分の輪郭部をぼかした上で、映像１００に上書きする。【選択図】      図８
2006211281.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像と第２の画像とを合成して合成画像を生成する画像合成装置において、
前記第１の画像に前記第２の画像を上書きして第３の画像を生成する生成手段と、
前記第１の画像において所定の色を持つ画像部分を検出する検出手段と、
前記検出手段によって検出された画像部分を、前記第３の画像に上書きする上書手段と
を有することを特徴とする画像合成装置。
【請求項２】
前記上書手段は、前記検出手段によって検出された画像部分の輪郭部をぼかした上で、前記第３の画像に上書きすることを特徴とする請求項１記載の画像合成装置。
【請求項３】
前記第１の画像は、所定の撮像装置によって撮影された実写映像であり、前記第２の画像は、画像処理装置によって作成された仮想映像であることを特徴とする請求項１記載の画像合成装置。
【請求項４】
前記所定の色は肌色であることを特徴とする請求項１記載の画像合成装置。
【請求項５】
前記上書手段は、前記第１の画像をＲＧＢプレーンとし、前記検出手段によって検出された画像部分をアルファプレーンとした画像を、前記第３の画像に上書きすることを特徴とする請求項１記載の画像合成装置。
【請求項６】
前記上書手段は、前記検出手段によって検出された画像部分の輪郭部に対してアンシャープ処理を施してからアルファプレーンとして使用することを特徴とする請求項５記載の画像合成装置。
【請求項７】
第１の画像と第２の画像とを合成して合成画像を生成する画像合成方法において、
前記第１の画像に前記第２の画像を上書きして第３の画像を生成する生成ステップと、
前記第１の画像において所定の色を持つ画像部分を検出する検出ステップと、
前記検出ステップによって検出された画像部分を、前記第３の画像に上書きする上書ステップと
を有することを特徴とする画像合成方法。
【請求項８】
前記上書ステップでは、前記検出ステップによって検出された画像部分の輪郭部をぼかした上で、前記第３の画像に上書きすることを特徴とする請求項７記載の画像合成方法。
【請求項９】
前記上書ステップでは、前記第１の画像をＲＧＢプレーンとし、前記検出ステップにおいて検出された画像部分をアルファプレーンとした画像を、前記第３の画像に上書きすることを特徴とする請求項７記載の画像合成方法。
【請求項１０】
前記上書ステップでは、前記検出ステップにおいて検出された画像部分の輪郭部に対してアンシャープ処理を施してからアルファプレーンとして使用することを特徴とする請求項９記載の画像合成方法。
【請求項１１】
第１の画像と第２の画像とを合成して合成画像を生成する画像合成方法を、コンピュータに実行させるためのプログラムにおいて、
前記第１の画像に前記第２の画像を上書きして第３の画像を生成する生成ステップと、
前記第１の画像において所定の色を持つ画像部分を検出する検出ステップと、
前記検出ステップによって検出された画像部分を、前記第３の画像に上書きする上書ステップと
を有することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像合成装置、画像合成方法、及びプログラムに関し、特に、第１の画像と第２の画像とを合成して合成画像を生成する画像合成装置、該画像合成装置に適用される画像合成方法、及び該画像合成方法をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
従来、ユーザの目前を撮影した実写映像とＣＧ（Computer Graphics）映像とを合成し、ＣＧ映像で表す仮想の物体がユーザの目前に存在するかのように見せるＭＲ（Mixed Reality）技術またはＡＲ（Augmented Reality）技術が知られている。
【０００３】
ＭＲ技術の典型的な実現例では、ユーザがビデオシースルー型のＨＭＤ（Head Mount Display）を頭部に装着する。ＨＭＤ内のディスプレイには、ＨＭＤに搭載されたカメラがユーザ前方を撮影した映像と、計算機が作成されたＣＧ映像との合成映像が表示される。具体的には、ＣＧ映像で表す仮想物体とほぼ同じ形状をもち、仮想物体の空間位置や姿勢を指定するための手持ちセンサを用い、この手持ちセンサを含んだユーザ前方の実写映像において、手持ちセンサの映像に代わってＣＧ映像を重ね合わせる。そして、ユーザが空間位置を移動しても、ＣＧ映像が表す仮想物体が常にユーザの視点側から見た映像となるように該ＣＧ映像を描画するため、ユーザには、あたかも現実空間に上記の仮想物体が存在するかのように見える。
【０００４】
図１３は、実写映像とＣＧ映像との合成映像の一例を示す図である。
【０００５】
図１３（Ａ）は実写映像の一例であり、この実写映像において５１００は手持ちセンサである。図１３（Ｂ）はＣＧ映像の一例であり、４１００は、カメラのＣＡＤ（Computer Aided Design）モデルである。図１３（Ｃ）は、図１３（Ａ）に示す実写映像において、手持ちセンサ５１００の位置にＣＡＤ４１００が単純に上書きされ作成された合成画像である。
【０００６】
ここで図１３（Ｃ）に示すように、実写映像にＣＧ映像を単純に上書きした場合、実写映像中において手持ちセンサ５１００よりもユーザ側にある実写物体（ユーザの両親指）がＣＧ映像により書きつぶされ、オクルージョンが狂ってしまう。
【０００７】
この問題を解決するために、従来、図１４に示すように、実写映像（Ａ）から肌色の領域（Ｃ）を検出してステンシルバッファに設定し、肌色の領域でのＣＧ映像の描画を禁止した状態（Ｂ）で合成映像（Ｄ）を作成していた。図１４は、肌色の領域でのＣＧ映像の描画を禁止するようにして、ＣＧ映像による実写画像の不自然な書きつぶしを防止するようにした場合における、実写映像とＣＧ映像との従来の合成映像の一例を示す図である。
【特許文献１】特開２０００−２０１２９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記従来のように、ステンシルバッファにより実写映像の肌色領域に対してＣＧ描画を禁止するようにした場合、実写映像とＣＧ映像との境界線が荒くなるという問題があった。
【０００９】
例えば、図１４（Ｄ）に示す合成映像を拡大して示す図１５において、ユーザの指とＣＧ映像との境界がぎざぎざになり、実写映像とＣＧ映像とがきれいに融合しない。これは、肌色領域の検出が必ずしも正確でなく、ある程度のノイズを含んでいるため、また実写映像を肌色領域と肌色領域でない領域との２つに分けたために発生するジャギーに起因する。
【００１０】
この境界線の荒さは、実写映像とＣＧ映像との画質の差を強調することとなり、表示画像の品質を低下させていた。
【００１１】
なお、ステンシルバッファを備えない装置もあり、また、実写映像の肌色領域に対してＣＧ描画を禁止するために、上記のようにステンシルバッファを使用することはせず、他の目的に使いたい場合もある。すなわち、ステンシルバッファは、ＣＧ描画時のいろいろな処理に使われ得る。したがって、ステンシルバッファを使用しないで、肌色領域に対するＣＧ描画の禁止を実現することが求められていた。
【００１２】
本発明はこのような問題点に鑑みてなされたものであって、ステンシルバッファを使用しないで、肌色領域に対するＣＧ描画の禁止を実現するとともに、実写映像とＣＧ映像との境界における画像品質の向上を図った画像合成装置、画像合成方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、請求項１記載の発明によれば、第１の画像と第２の画像とを合成して合成画像を生成する画像合成装置において、前記第１の画像に前記第２の画像を上書きして第３の画像を生成する生成手段と、前記第１の画像において所定の色を持つ画像部分を検出する検出手段と、前記検出手段によって検出された画像部分を、前記第３の画像に上書きする上書手段とを有することを特徴とする画像合成装置が提供される。
【００１４】
また、請求項２記載の発明によれば、前記上書手段は、前記検出手段によって検出された画像部分の輪郭部をぼかした上で、前記第３の画像に上書きすることを特徴とする。
【００１５】
また、請求項７記載の発明によれば、第１の画像と第２の画像とを合成して合成画像を生成する画像合成方法において、前記第１の画像に前記第２の画像を上書きして第３の画像を生成する生成ステップと、前記第１の画像において所定の色を持つ画像部分を検出する検出ステップと、前記検出ステップによって検出された画像部分を、前記第３の画像に上書きする上書ステップとを有することを特徴とする画像合成方法が提供される。
【００１６】
さらに、上記画像合成方法をコンピュータに実行させるためのプログラムが提供される。
【発明の効果】
【００１７】
本発明によれば、第１の画像に第２の画像を上書きして第３の画像を生成するとともに、前記第１の画像において所定の色を持つ画像部分を検出する。そして、この検出された画像部分を前記第３の画像に上書きする。
【００１８】
これにより、ステンシルバッファを使用しないで、所定の色（肌色）領域に対するＣＧ描画を禁止することができる。すなわち、ユーザの手を描きつぶすことなく、第１の画像（実写映像）と第２の画像（ＣＧ映像）とを合成することができる。
【００１９】
また、前記検出された画像部分の輪郭部をぼかした（アンシャープ処理を施した）上で、前記第３の画像に上書きするようにする。
【００２０】
これにより、第１の画像（実写映像）と第２の画像（ＣＧ映像）との境界にアンチエイリアシングがかかり、この境界においてジャギーが低減され、高画質な合成画像を得ることができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明を実施するための最良の形態について、図面を参照して説明する。
【００２２】
図１は、本発明の一実施の形態に係る画像合成装置の構成を示す図である。
【００２３】
図１において、ＨＭＤ（Head Mount Display）１１００は、ユーザ１０００の頭部に装着されるビデオシースルー方式の頭部装着表示装置である。ＨＭＤ１１００には計算機１３００及び３次元位置センサ本体１２００が接続され、計算機１３００には３次元位置センサ本体１２００が接続され、３次元位置センサ本体１２００には、３次元位置センサ固定局１２１０及び手持ちセンサ５０００が接続される。計算機１３００は、ＣＧ（Computer Graphics）映像を作成し、ＨＭＤ１１００に供給する。本実施の形態におけるＣＧ映像は、スチールカメラのＣＡＤ（Computer Aided Design）モデルの３次元映像である。手持ちセンサ５０００は、ＣＧ映像が表す仮想物体と概略同じ形状をもち、仮想物体の空間位置や姿勢を指定するものであり、ユーザ１０００の手によって取り扱われる。
【００２４】
図２は、図１に示すＨＭＤ１１００の使用形態の一例である工業デザインの検証作業を示す図である。
【００２５】
この検証作業によれば、ユーザ１０００が、ＨＭＤ１１００を目の前に装着するとともに手持ちセンサ５０００を手にもつと、計算機１３００が、ＭＲ（Mixed Reality）技術を用いて、現実には存在しない物体、例えばカメラのＣＡＤモデル４０００を、手持ちセンサ５０００の代わりにユーザ１０００が手にもっているかのようにＨＭＤ１１００に表示する。これによって、まだ製品化されていない工業デザインを、仮想の３次元空間において容易に検証することができる。
【００２６】
図３は、図１に示すＨＭＤ１１００を２方向から見た外観図である。
【００２７】
ＨＭＤ１１００は、該ＨＭＤ１１００を装着したユーザの両眼からの視野に相当する前方ビデオ映像を取得するための左目カメラ１１１０、右目カメラ１１１１、該ＨＭＤ１１００の空間位置を検出するためのＨＭＤ内蔵位置センサ１１２０、ユーザの両眼に対して映像表示を行うための右目ＬＣＤ（Liquid Crystal Display）１１３０、左目ＬＣＤ１１３１から構成される。
【００２８】
図４は、手持ちセンサ５０００の構成を示す内部透視図である。
【００２９】
手持ちセンサ５０００には、手持ちセンサ内蔵位置センサ５００１が埋め込まれていて、該手持ちセンサ内蔵位置センサ５００１によって検出された手持ちセンサ５０００の空間位置や姿勢を表す情報が、３次元位置センサ本体１２００を介して計算機１３００に送られる。
【００３０】
図５は、図１に示す画像合成装置によって行なわれる画像合成の概要を示す図である。
【００３１】
図５（Ａ）に示す実写映像における手持ちセンサ５０００に、図５（Ｂ）に示すＣＧ映像のＣＡＤモデル４０００が重畳（合成）されて、図５（Ｃ）に示すような合成映像が作成され、この合成画像がＨＭＤ１１００に表示される。手持ちセンサ５０００の位置や姿勢を変えると、それに追随してＣＡＤモデル４０００の表示される位置や姿勢も変わる。
【００３２】
すなわち、ＨＭＤ１１００に内蔵されたカメラ１１１０，１１１１で撮影された映像は、計算機１３００によりキャプチャされ、図５（Ａ）に示す実写映像となる。計算機１３００は、キャプチャされた実写映像の上に、図５（Ｂ）に示すＣＡＤモデル４０００を上書きし、ユーザ１０００から仮想的に見えるはずの、図５（Ｃ）のような合成映像を作成する。作成された合成映像はＨＭＤ１１００に送られ、ＨＭＤ１１００に内蔵されたＬＣＤ１１３０，１１３１に表示される。なお、図５（Ｃ）に示すような合成映像の詳細な作成方法については後述する。
【００３３】
図６は、図１に示す画像合成装置各部の詳細な構成を示すブロック図である。
【００３４】
計算機１３００は、ＣＰＵ１３０１、メモリ１３０２、ＰＣＩブリッジ１３０３、シリアルＩ／Ｏ１３１０、ビデオキャプチャカード１３２０，１３２１、ビデオボード１３３０，１３３１からなる。
【００３５】
３次元位置センサ本体１２００には、３次元位置センサ固定局１２１０とＨＭＤ内蔵位置センサ１１２０と手持ちセンサ５０００（手持ちセンサ内蔵位置センサ５００１）が接続される。３次元位置センサ固定局１２１０、ＨＭＤ内蔵位置センサ１１２０、および手持ちセンサ５０００は、相互の相対位置を測定する。３次元位置センサ固定局１２１０の絶対位置は、事前に正確に測定しておく。こうした測定値を受け取った３次元位置センサ本体１２００は、ＨＭＤ内蔵位置センサ１１２０および手持ちセンサ５０００の絶対位置（x, y, z）を算出し、シリアルＩ／Ｏ１３１０を介して計算機１３００に送信する。また、ＨＭＤ内蔵位置センサ１１２０および手持ちセンサ５０００は、各自の姿勢（roll, pitch, yaw）を検出し、３次元位置センサ本体１２００を介して計算機１３００に送信する。
【００３６】
図７は、計算機１３００におけるＣＰＵ１３０１が、メモリ１３０２に記憶された制御プログラムを実行することによって行われる画像合成処理の手順を示すフローチャートである。この画像合成処理は、右目ＬＣＤ１１３０および左目ＬＣＤ１１３１にそれぞれ表示されるべき２つの合成映像に対して行われるが、それらは同一の処理内容であるので、ここでは、例えば右目ＬＣＤ１１３０に表示されるべき合成映像に対しての処理のみを説明する。図７に示す処理は、例えば（１／６０）秒ごとに繰り返し実行される。
【００３７】
まず計算機１３００は、ＨＭＤ１１００に内蔵されたビデオ用の右目カメラ１１１０からの実写映像を、ビデオキャプチャカード１３２０を介して取り込む（Ｓ１００）。このときの実写映像は、１フィールド分（６４０＊２４０ピクセル）の画像である。
【００３８】
一方、計算機１３００は、シリアルＩ／Ｏ１３１０を介して３次元位置センサ本体１２００から、ＨＭＤ１１００および手持ちセンサ５０００の位置姿勢情報を獲得する（Ｓ１０１）。ＨＭＤ１１００及び手持ちセンサ５０００の空間位置は、ワールド座標に変換してからメモリ１３０２に格納する。ワールド座標は、例えば図１に示す机１５００の机上の中心を原点とした座標系であり、本実施の形態の全体で使用する。ワールド座標への変換は、予め測定してある３次元位置センサ固定局１２１０の絶対位置を用いることで簡単に行うことができる。
【００３９】
なお、実写映像をキャプチャしたタイミングにできるだけ近いタイミングで検出された位置姿勢情報を取得したいため、実写映像のキャプチャ直後に位置姿勢情報を取得し、その後にステップＳ１０２を実行する。
【００４０】
計算機１３００は、ステップＳ１００で取り込んだ実写映像を、メモリ１３０２内のビデオバッファに書き込む（Ｓ１０２）。このビデオバッファは、処理途中の映像を一時格納するための作業領域であり、ビデオバッファに実写映像を書き込むことで、実写映像をＣＧ映像の背景画像とすることができる。
【００４１】
次に計算機１３００は、ステップＳ１０１で取得したＨＭＤ１１００の位置姿勢情報とあらかじめ測定しておいたＨＭＤ１１００のカメラパラメータとを基にして、ＣＧ映像の描画に必要な変換行列Viewing Matrix を作成する（Ｓ１０３）。また、ステップＳ１０１で取得した手持ちセンサ５０００の位置姿勢情報を基にして、ＣＧ映像の描画に必要な変換行列Modeling Matrix を作成する（Ｓ１０４）。
【００４２】
この作成された変換行列 Viewing Matrix，Modeling Matrix を用い、ＣＡＤモデル４０００をビデオバッファに上書きする（Ｓ１０５）。すなわち、ビデオバッファに既に書き込まれている実写映像のうち、手持ちセンサ５０００の映像上に、ＣＧ映像であるＣＡＤモデル４０００を上書きする。
【００４３】
図８は、本実施の形態において合成画像が作成される過程を示す図であり、映像１００が、ステップＳ１０５によって作成された映像である。この映像１００では、実写映像にＣＡＤモデル４０００が単純に上書きされているので、ユーザの両親指の画像が消えてしまっている。
【００４４】
次に計算機１３００は、ステップＳ１００で取り込んだ実写映像（図８の映像１０１）における肌色の領域を検出して、マスク画像を作成する（Ｓ１０６）。肌色領域の判定は、ＲＧＢ画像としての実写映像の各画素をＹ，Ｃｂ，Ｃｒ情報に変換し、Ｃｂ，Ｃｒ空間上で肌色にあたる領域に実写映像を構成する画素が存在するか否かによって行う。
【００４５】
図９は、Ｃｂ，Ｃｒ空間上の肌色にあたる領域１０４を示す図である。領域１０４は、Ｃｂ，Ｃｒ空間において、人間の肌色に相当する領域であり、この領域１０４に実写映像の画素が存在するならば、該画素は肌色を呈していると判別できる。なお、この判定では、Ｙ（輝度）情報を使用せず、Ｃｂ，Ｃｒ情報だけで色判定を行うので、照明の明るさによらずに肌色の部分を判定することができる。
【００４６】
そして、肌色を呈していると判定された画素に対して値「１．０」を割り当て、肌色を呈していないと判定された画素に対して値「０．０」を割り当て、アルファプレーン（アルファ値）用のマスク画像を作成する。
【００４７】
つぎに、計算機１３００は、ステップＳ１０６で作成されたマスク画像に対してアンシャープ処理を加える（Ｓ１０７）。アンシャープ処理は、マスク画像の各画素に対して割り当てられた値を基に、隣接の画素の割り当て値との間で平均値をとることで実現する。こうした平均値を取ることにより、割り当て値「１．０」の画素領域と割り当て値「０．０」の画素領域との境界が、値「１．０」から値「０．０」まで緩やかに変化するようになる。
【００４８】
図１０は、アンシャープ処理の行われたマスク画像を示す図である。
【００４９】
図１０において、各ブロックが画素を表わす。隣接の画素どうしで割り当て値の平均値を算出することによって、割り当て値「１．０」の画素１０５と、割り当て値「０．０」の画素１０６とに対して、それらの値の中間の値をもつ画素１０７を発生させることができる。
【００５０】
このようにして作成したマスク画像における割り当て値「１．０」の画素を黒、割り当て値「０．０」の画素を白とし、割り当て値に応じた階調をもつマスク画像として表した画像が、図８の画像１０２である。
【００５１】
計算機１３００は、ステップＳ１００で取り込んだ実写映像（図８の映像１０１）をＲＧＢプレーン（ＲＧＢ値）とし、ステップＳ１０７においてアンシャープ処理を加えられたマスク画像（図８の映像１０２）をアルファプレーン（アルファ値）とした画像（実写映像における肌色を呈しているユーザの両手画像）を、ステップＳ１０５で作成した合成映像（図８の映像１００）に、ビデオバッファ上において上書きする（Ｓ１０８）。これによって、図８に示す映像１０３が作成される。
【００５２】
これで、メモリ１３０２内のビデオバッファ上におけるＣＧ描画が終了し、計算機１３００は、ビデオバッファに格納されている映像１０３を、ビデオボード１３３０内のフレームバッファに転送し、これによって、映像１０３が、ＨＭＤ１１００内の右目ＬＣＤ１１３０に表示される（Ｓ１０９）。
【００５３】
以上にように、本実施の形態では、実写映像（図８の映像１０１）をＲＧＢ画像とし、アンシャープ処理を加えられたマスク画像（図８の映像１０２）をアルファ値とすることによって得られた映像、すなわち、実写映像における肌色を呈しているユーザの両手画像を、実写映像上にＣＧ映像を単純に上書きした合成映像（図８の映像１００）に、ビデオバッファ上において上書きし、これによって、図８に示す映像１０３が作成される。
【００５４】
かくして、本実施の形態では、ステンシルバッファを使用しなくとも、肌色領域に対してＣＧ描画をしない合成映像を得ることができる。
【００５５】
また、マスク画像に対してアンシャープ処理を加えることによって、実写映像（この場合、ユーザの両手画像）とＣＧ映像（カメラのＣＡＤモデル）との境界においてアンチエイリアシングが行われ、ジャギーを低減することができ、この結果、画像品質が向上する。
【００５６】
図１１は、図８における映像１０２を拡大して示す図であり、図１２は、図８における映像１０３を拡大して示す図である。
【００５７】
なお、特許文献１（特開２０００−２０１２９８号公報）に示す画像処理装置では、実写映像とＣＧ映像とを合成する際に、アルファブレンディングによってアンチエイリアシングを実現している。これは、距離画像に基づいて透明度を設定し、実写映像とＣＧ映像のオクルージョンの正しい映像を得るというものである。
【００５８】
特許文献１に示す画像処理装置と本実施の形態における画像合成装置とを比較した場合、実写映像とＣＧ映像との合成にアルファブレンディングを使っていることは共通しているものの、特許文献１に示す画像処理装置では、実写映像の上にアルファブレンディングによりＣＧ映像を直接重ねており、一方、本実施の形態における画像合成装置では、実写映像をＣＧ映像の上に単純に上書きして得られた合成映像（図８に示す映像１００）の上に、再度アルファブレンディングにより実写映像を上書きしている。このため、本実施の形態における画像合成装置は、特許文献１に示す画像処理装置が呈し得ないところの下記特徴を有している。
【００５９】
すなわち、特許文献１に示す画像処理装置では、実写映像の距離画像が処理に必須であるが、本実施の形態における画像合成装置では、距離画像を必要としない。一般に実写映像の距離画像を取得することは困難であるため、本実施の形態における距離画像を必要としないという特徴は、重大な効果をもたらす。
【００６０】
また特許文献１に示す画像処理装置では、半透明のＣＧ映像を描画するために複雑な処理手順を踏む必要があるが、本実施の形態における画像合成装置では、通常のＣＧ描画の処理を行うだけでアルファブレンディングを実現できる。
【００６１】
〔他の実施の形態〕
本発明の目的は、上記の実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。
【００６２】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００６３】
また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。または、プログラムコードをネットワークを介してダウンロードしてもよい。
【００６４】
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００６５】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００６６】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も、本発明に含まれることは言うまでもない。
【００６７】
この場合、上記プログラムは、該プログラムを記憶した記憶媒体から直接、又はインターネット、商用ネットワーク、若しくはローカルエリアネットワーク等に接続された不図示の他のコンピュータやデータベース等からダウンロードすることにより供給される。
【図面の簡単な説明】
【００６８】
【図１】本発明の一実施の形態に係る画像合成装置の構成を示す図である。
【図２】図１に示すＨＭＤの使用形態の一例である工業デザインの検証作業を示す図である。
【図３】図１に示すＨＭＤを２方向から見た外観図である。
【図４】手持ちセンサの構成を示す内部透視図である。
【図５】図１に示す画像合成装置によって行なわれる画像合成の概要を示す図である。
【図６】図１に示す画像合成装置各部の詳細な構成を示すブロック図である。
【図７】計算機におけるＣＰＵが、メモリに記憶された制御プログラムを実行することによって行われる画像合成処理の手順を示すフローチャートである。
【図８】本実施の形態において合成画像が作成される過程を示す図である。
【図９】Ｃｂ，Ｃｒ空間上の肌色にあたる領域を示す図である。
【図１０】アンシャープ処理の行われたマスク画像を示す図である。
【図１１】図８における映像１０２を拡大して示す図である。
【図１２】図８における映像１０３を拡大して示す図である。
【図１３】実写映像とＣＧ映像との合成映像の一例を示す図である。
【図１４】肌色の領域でのＣＧ映像の描画を禁止するようにして、ＣＧ映像による実写画像の不自然な書きつぶしを防止するようにした場合における、実写映像とＣＧ映像との従来の合成映像の一例を示す図である。
【図１５】図１４（Ｄ）に示す合成映像を拡大して示す図である。
【符号の説明】
【００６９】
１０００  ユーザ
１１００  ＨＭＤ
１１１０，１１１１  ビデオカメラ
１１２０  ＨＭＤ内蔵位置センサ
１１３０，１１３１：  ＬＣＤ（液晶ディスプレイ）
１２００  ３次元位置センサ本体
１２１０  ３次元位置センサ固定局
１３００  計算機（画像合成装置、生成手段、検出手段、上書手段）
１３０１  ＣＰＵ
１３０２  メモリ
１３０３  ＰＣＩブリッジ
１３１０  シリアルＩ／Ｏ
１３２０，１３２１  ビデオキャプチャボード
１３３０，１３３１  ビデオボード
４０００  ＣＡＤモデル
５０００  手持ちセンサ
５００１  手持ちセンサ内蔵３次元位置センサ
【図１】
2006211281.tif 000003
【図２】
2006211281.tif 000004
【図３】
2006211281.tif 000005
【図４】
2006211281.tif 000006
【図５】
2006211281.tif 000007
【図６】
2006211281.tif 000008
【図７】
2006211281.tif 000009
【図８】
2006211281.tif 000010
【図９】
2006211281.tif 000011
【図１０】
2006211281.tif 000012
【図１１】
2006211281.tif 000013
【図１２】
2006211281.tif 000014
【図１３】
2006211281.tif 000015
【図１４】
2006211281.tif 000016
【図１５】
2006211281.tif 000017