(57)【要約】【課題】合成する画像の一部の色に変化が生じている場合に、より違和感の少ない合成画像を生成できるようにする。【解決手段】復号化部５０９は、ＨＭＤインタフェース５０５を介してＣＧ画像を受信し、符号化されたＣＧ画像を復号化する。そして、画素値差分算出部５１０は、復号化されたＣＧ画像の各画素の画素値とクロマキー色の画素値との色差を算出する。続いて、合成比制御部５１１は、画素値差分算出部５１０で算出されたクロマキー色の画素値との色差に基づいて、撮像部５０１で取得された撮像画像と、復号化部５０９で復号されたＣＧ画像との合成比を制御する。そして、合成部５１２は、合成比制御部５１１による制御結果に基づいて撮像画像とＣＧ画像とを合成し、合成画像（ＭＲ画像）を表示部５０２に表示する。【選択図】図５
2015191311.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つのオブジェクトを含む第１の画像を入力する入力手段と、
前記入力手段によって入力された第１の画像を構成する各画素について、前記各画素の画素値と所定の色の画素値との差分を算出する算出手段と、
前記算出手段によって算出された差分に基づいて、前記第１の画像と背景を構成する第２の画像との合成比を画素ごとに決定する決定手段と、
前記決定手段によって決定された合成比に基づいて、前記第１の画像と前記第２の画像とを合成する合成手段と、
を有することを特徴とする画像合成装置。
【請求項２】
前記第１の画像は符号化された画像であって、
前記入力手段によって入力された第１の画像を復号化する復号化手段をさらに有し、
前記算出手段は、前記復号化手段により復号化された第１の画像に対して前記画素値の差分を算出することを特徴とする請求項１に記載の画像合成装置。
【請求項３】
前記第１の画像を構成する各画素について、背景領域に属するか前記オブジェクトの領域に属するかを推定する推定手段をさらに有し、
前記決定手段は、さらに前記推定手段によって推定された領域に基づいて、前記第１の画像と前記第２の画像との合成比を画素ごとに決定することを特徴とする請求項１又は２に記載の画像合成装置。
【請求項４】
前記決定手段は、前記推定手段により背景領域に属していると推定された画素については、前記推定手段により前記オブジェクトの領域に属していると推定された画素よりも前記第１の画像の画素の合成比が低くなるように合成比を決定することを特徴とする請求項３に記載の画像合成装置。
【請求項５】
前記第１の画像はＣＧオブジェクトを含むＣＧ画像であり、前記第２の画像は現実空間を撮像した撮像画像であることを特徴とする請求項１〜４の何れか１項に記載の画像合成装置。
【請求項６】
前記決定手段は、所定の合成比のテーブルまたは関数を参照しながら合成比を決定することを特徴とする請求項１〜５の何れか１項に記載の画像合成装置。
【請求項７】
少なくとも１つのオブジェクトを含む第１の画像を入力する入力工程と、
前記入力工程において入力された第１の画像を構成する各画素について、前記各画素の画素値と所定の色の画素値との差分を算出する算出工程と、
前記算出工程において算出された差分に基づいて、前記第１の画像と背景を構成する第２の画像との合成比を画素ごとに決定する決定工程と、
前記決定工程において決定された合成比に基づいて、前記第１の画像と前記第２の画像とを合成する合成工程と、
を有することを特徴とする画像合成方法。
【請求項８】
少なくとも１つのオブジェクトを含む第１の画像を入力する入力工程と、
前記入力工程において入力された第１の画像を構成する各画素について、前記各画素の画素値と所定の色の画素値との差分を算出する算出工程と、
前記算出工程において算出された差分に基づいて、前記第１の画像と背景を構成する第２の画像との合成比を画素ごとに決定する決定工程と、
前記決定工程において決定された合成比に基づいて、前記第１の画像と前記第２の画像とを合成する合成工程と、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、色に変化が生じた画像を違和感なく合成するために用いて好適な画像合成装置、画像合成方法及びプログラム技術に関する。
【背景技術】
【０００２】
従来、現実世界と仮想世界とをリアルタイムかつシームレスに融合させる技術として、複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ）技術が知られている。このＭＲ技術においては、特に撮像機能付表示装置としてＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）を用いたＭＲシステムが知られている。ＭＲシステムでは、ＨＭＤとは異なる画像処理装置において、ＨＭＤの撮像部によって取得した装着者視点の現実空間の撮像画像に、装着者の位置、方向などの三次元位置姿勢情報に基づいてＣＧ画像を重畳する。そして、ＨＭＤの表示部に重畳した画像を表示することによって、ＨＭＤ装着者はＣＧで描画されたオブジェクトが、観察している現実空間内にあたかも存在しているかのような複合現実感を体感することができる。
【０００３】
一般的には、画像処理装置側に合成機能を有するＭＲシステムが広く知られているが、近年では画像合成機能を有するＨＭＤを用いたＭＲシステムも提案されている。その一例として、ＨＭＤ側にクロマキー合成機能を有するＭＲシステムが提案されている。ＨＭＤ側にクロマキー合成機能を有するＭＲシステムでは、画像処理装置側でＣＧオブジェクト領域以外の背景領域を特定のクロマキー色で塗りつぶしたＣＧ画像を生成してＨＭＤに伝送する。そして、ＨＭＤ側で伝送されたＣＧ画像中のクロマキー色の領域を検出し、該領域をＨＭＤで取得した撮像画像に置き換えることによって、撮像画像にＣＧオブジェクトが重畳されたＭＲ画像を生成する。
【０００４】
ＨＭＤ側に合成機能を有するＭＲシステムでは、画像処理装置側で撮像画像を取り込む必要がないため、従来のＭＲシステムよりも画像を取り込む際に生じる遅延が発生しない。また、画像処理装置内での処理負荷が軽減されることによって、処理による遅延も低減することができる。その結果、撮像から表示までの時間遅れを低減し、リアルタイム性を高めることが可能となる。また、画像の合成をＨＭＤ内で実行することによって、ＨＭＤから画像処理装置へ撮像画像を伝送する必要がなくなり、伝送データ量を削減することができる。
【０００５】
このように伝送データ量を減らすことにより画像処理装置とＨＭＤとの間のケーブルを細線化したり、通信を無線化したりすることが可能となり、ＨＭＤ装着者の移動の自由度を向上させることができる。さらに、ＣＧ画像のデータ量を削減すれば、高解像、高精細、かつ高フレームレートの撮像画像を取り扱うことが可能となり、ＨＭＤ装着者に対してよりリアリティの高いＭＲ空間を提供することができる。ＣＧ画像のデータ量を削減する方法としては、ＪＰＥＧやＭＰＥＧなどの画像符号化方式を利用する方法がある。
【０００６】
しかしながら、これらの画像符号化方式は一般的には非可逆圧縮のため、復号化すると画質が劣化し、ＣＧ画像中の各画素の色が変化することがある。特に離散コサイン変換の処理単位であるＮ×Ｎ（典型はＮ＝８）のブロック内にクロマキー色で描画された背景画素とＣＧオブジェクト画素とが同時に含まれる場合に、復号化後の背景画素およびＣＧオブジェクト画素の境界近傍の画素の色が大きく変化する。これにより、背景画素のクロマキー色が変化することによりクロマキー合成時に背景の誤検出を引き起こし、色の変化によって背景として検出されなかった背景部は、画像合成時に撮像画像に置き換えられない。そのため、合成画像においてＣＧ画像と撮像画像との境界近傍にクロマキー色に近い色の領域が残り、ＨＭＤ装着者に違和感を与えることになる。
【０００７】
そこで、このようなクロマキー色の変化による合成時の画像の違和感を軽減する方法として、前景画像と背景画像とを合成する際に検出対象とするクロマキー色にストレッチ範囲を持たせて、クロマキー色に近い色についても背景として検出させる方法がある。
【０００８】
また、画像合成時に前景画像と背景画像との境界領域の合成比を制御することにより、合成画像の画質を向上させる手法も知られている。特許文献１に記載の方法では、デコードされたフレーム画像における透明領域と不透明領域との境界付近を半透明領域に変換して撮像画像と合成している。また、特許文献２に記載の方法では、前景と背景との境界近傍ではα値を"１"に近づけるように補正を行い、前景が背景の影響を受けないようにしている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００５−３３３２８９号公報
【特許文献２】特開２００６−０３３６３９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述した従来の技術には以下のような問題があった。例えば合成時に撮像画像に置き換えられずに残ってしまうことを防止するために、クロマキー色にストレッチ範囲を拡大すると、ＣＧオブジェクト内部の画素が背景として誤検出されてしまう可能性がある。このとき、誤検出されたＣＧオブジェクトの画素は撮像画像に置き換わってしまうため、合成画像の違和感が大きくなる。
【００１１】
また、特許文献１及び２に記載の方法では、境界位置を基準として合成比を制御するため、クロマキー色が変化していない場合であっても半透明処理が実行される。したがって、ＣＧ画像中の背景画素の色の変化が少ない場合には、このような処理を行わないときよりも画質を落としてしまう可能性がある。
【００１２】
本発明は前述の問題点に鑑み、合成する画像の一部の色に変化が生じている場合に、より違和感の少ない合成画像を生成できるようにすることを目的としている。
【課題を解決するための手段】
【００１３】
本発明に係る画像合成装置は、少なくとも１つのオブジェクトを含む第１の画像を入力する入力手段と、前記入力手段によって入力された第１の画像を構成する各画素について、前記各画素の画素値と所定の色の画素値との差分を算出する算出手段と、前記算出手段によって算出された差分に基づいて、前記第１の画像と背景を構成する第２の画像との合成比を画素ごとに決定する決定手段と、前記決定手段によって決定された合成比に基づいて、前記第１の画像と前記第２の画像とを合成する合成手段と、を有することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、合成する画像の一部の色に変化が生じている場合に、より違和感の少ない合成画像を生成することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態における撮像機能付表示装置を利用したＭＲシステムの構成例を示す図である。
【図２】ＭＲシステムによるクロマキー合成を説明するための図である。
【図３】クロマキー色の背景画素に色の変化がない場合のクロマキー合成を説明するための図である。
【図４】クロマキー色の背景画素に色の変化がある場合のクロマキー合成を説明するための図である。
【図５】本発明の第１の実施形態におけるＨＭＤ及び画像処理装置の機能構成例を示すブロック図である。
【図６】本発明の第１の実施形態において、撮像画像とＣＧ画像との合成比の制御を説明するための図である。
【図７】クロマキー色の背景画素に色の変化がある場合に、合成比を制御してクロマキー合成した例を説明するための図である。
【図８】本発明の第２の実施形態におけるＨＭＤ及び画像処理装置の機能構成例を示すブロック図である。
【図９】本発明の第２の実施形態において、撮像画像とＣＧ画像との合成比の制御を説明するための図である。
【発明を実施するための形態】
【００１６】
（第１の実施形態）
以下、本発明の好適な第１の実施形態について図面を参照しながら説明する。
図１は、本実施形態における撮像機能付表示装置を利用したＭＲ（Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ）システムの構成例を示す図である。
本実施形態に係る撮像機能付表示装置を利用したＭＲシステムは、ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）１０１、コントローラ１０２、及びパーソナルコンピュータ（ＰＣ）１０３から構成されている。
【００１７】
ＨＭＤ１０１は、装着者が観察している現実空間の画像を取得するとともに、現実空間画像とＣＧ画像とを合成する機能を有している。さらに、現実空間画像や、ＰＣ１０３から入力された画像、現実空間画像にＰＣ１０３で生成したＣＧ画像を重畳した合成画像などの表示用画像をユーザ（以下、ＨＭＤ装着者）に提供するための画像表示部を備えている。
【００１８】
なお、図１に示す例では、ＨＭＤ１０１とコントローラ１０２との間を有線接続としているが、無線接続としてもよい。また、ＨＭＤ１０１は、コントローラ１０２から電源が供給されることによって駆動するようにしてもよく、バッテリーにより駆動するようにしてもよい。
【００１９】
ＨＭＤ１０１、及びコントローラ１０２のいずれか一方は、ＨＭＤ装着者の三次元位置姿勢情報を生成するための位置姿勢情報を生成する。三次元位置姿勢情報は、ＨＭＤ１０１の撮像部または別途設置した客観カメラで取得した画像情報や、加速度センサやジャイロセンサ、磁気センサ等の各種センサ情報を用いて生成される。コントローラ１０２と接続されたＰＣ１０３は、三次元位置姿勢情報に基づき、ＨＭＤ装着者の視点から観察されるＣＧ画像を描画する。コントローラ１０２は、画像の解像度変換、色空間変換、光学系の歪み補正、画像符号化等の各種画像処理機能、および伝送機能を備えている。
【００２０】
図１に示す例では、コントローラ１０２とＰＣ１０３とを別々のハードウェア構成としているが、コントローラ１０２とＰＣ１０３とがそれぞれ有する機能を集合させた専用の画像処理装置１０４として構成することも可能である。以下、機能的な観点から、コントローラ１０２とＰＣ１０３とがそれぞれ有する機能を組み合わせたものを画像処理装置１０４と表記して説明する。
【００２１】
図２は、ＭＲシステムによるクロマキー合成を説明するための図である。
ＭＲシステムでは、まず、ＨＭＤ１０１で撮像画像２０１を取得する。続いて、三次元位置姿勢情報に基づき、画像処理装置１０４においてＣＧ画像２０２を描画する。ＣＧ画像２０２は、合成画像で表示されるＣＧオブジェクト２０３の領域以外の領域２０４は、任意のクロマキー色で描画されている。クロマキー合成を行う際には、ＣＧ画像２０２からクロマキー色の領域２０４を抽出し、該領域を撮像画像２０１中の同領域の画像と置き換えることにより、合成画像２０５を生成する。
【００２２】
図３は、クロマキー色の背景画素に符号化処理や復号化処理、雑音等による色の変化がない場合のクロマキー合成を説明するための図である。図３（ａ）は、ＣＧ画像２０２の一例を示している。また、図３（ｂ）は、図３（ａ）に示す境界領域の一部３０１におけるクロマキー合成前の拡大画像を示し、図３（ｃ）は、境界領域の一部３０１のクロマキー合成後の拡大画像を示している。
【００２３】
図３（ｂ）において、クロマキー色により背景画素３０２を検出し、該当画素を撮像画素３０４に置き換えることにより、図３（ｃ）に示すようなＣＧオブジェクト画素３０３と撮像画素３０４との合成画像を得ることができる。このように、背景のクロマキー色に符号化処理や復号化処理、雑音等による色の変化がない場合には、ＣＧオブジェクトと撮像画像との境界近傍において背景の誤検出を起こすことなく、理想的な合成画像を得ることが可能である。
【００２４】
図４は、クロマキー色の背景画素に符号化処理や復号化処理、雑音等による色の変化がある場合のクロマキー合成を説明するための図である。図４（ａ）は、符号化処理や復号化処理、雑音等によりクロマキー色の背景画素の一部が変化しているＣＧ画像４０１の一例を示している。図４（ｂ）は、図４（ａ）に示す境界領域の一部４０２におけるクロマキー合成前の拡大画像を示している。また、図４（ｃ）は、クロマキー色にストレッチ範囲を持たせなかった場合の境界領域の一部４０２におけるクロマキー合成後の拡大画像を示し、図４（ｄ）は、クロマキー色にストレッチ範囲を持たせた場合のクロマキー合成後の拡大画像を示している。
【００２５】
図４（ｂ）に示すように、ＪＰＥＧやＭＰＥＧなどの画像符号化を行うと、境界領域の一部４０２では、背景画素３０２およびＣＧオブジェクト画素３０３の色が変化することがある。ここで、色Ａの背景画素４０３は色Ｂの背景画素４０４よりもクロマキー色に近い画素値を有するものとする。また、ＣＧオブジェクトの内部の画素の色の変化については省略している。
【００２６】
この場合、クロマキー色のみから背景を検出してクロマキー合成を行うと、図４（ｃ）に示すように、背景とＣＧオブジェクトとの境界部に存在する色Ａの背景画素４０３及び色Ｂの背景画素４０４は背景として検出されない。このため、これらの画素が合成画像上に残ってしまう。そこで例えば、本来の背景色から色Ａの背景画素４０３までを背景として検出するようにクロマキー色にストレッチ範囲を持たせるようにクロマキー合成を行うと、図４（ｄ）に示すように合成画像における境界部の違和感を軽減することができる。
【００２７】
なお、ストレッチ範囲をさらに拡げることにより色Ｂの背景画素４０４についても背景として検出させることも可能である。ところが、ストレッチ範囲に含まれる色の画素がオブジェクト内部に存在すると、クロマキー合成時にはそれらの画素もすべて撮像画像に置き換えられてしまう。したがって、単純なストレッチ範囲を拡大するとＣＧオブジェクトの内部の画質が低下する可能性があり、また、ＣＧオブジェクト内部で利用可能な色数を制限することに繋がり、合成画像全体としての画質を低下する可能性がある。
【００２８】
図５は、本実施形態におけるＨＭＤ１０１及び画像処理装置１０４の機能構成例を示すブロック図である。
図５において、ＨＭＤ１０１は、撮像部５０１、表示部５０２、三次元位置姿勢センサ５０３、位置姿勢情報生成部５０４、ＨＭＤインタフェース５０５、復号化部５０９、画素値差分算出部５１０、合成比制御部５１１、及び合成部５１２を有する。また、画像処理装置１０４は、画像処理装置インタフェース５０６、ＣＧ描画部５０７、及び符号化部５０８を有する。なお、ＨＭＤインタフェース５０５および画像処理装置インタフェース５０６は、それぞれ送信部と受信部とを有する。
【００２９】
ＨＭＤ１０１の撮像部５０１は、ＨＭＤ装着者の視点に基づいた現実空間の撮像画像を取得する。表示部５０２は、ＨＭＤ装着者に合成画像を表示する。三次元位置姿勢センサ５０３は、ＨＭＤ装着者の視点の位置、方向に関する三次元位置姿勢情報を算出するための情報を取得する。ここで、三次元位置姿勢センサ５０３は、必ずしもＨＭＤ１０１内に有している必要はなく、例えば、ＨＭＤ装着者の周囲に設置した客観カメラの撮像画像から必要な情報を得る構成としてもよい。
【００３０】
位置姿勢情報生成部５０４は、三次元位置姿勢センサ５０３で取得した情報や、撮像部５０１で取得した撮像画像情報、あるいはその両方の情報から三次元位置姿勢情報を算出する。なお、位置姿勢情報生成部５０４を画像処理装置１０４側に有するようにしてもよい。その場合には、ＨＭＤ１０１から画像処理装置１０４に撮像画像を送信せずに、三次元位置姿勢センサ５０３による計測結果のみを送信して三次元位置姿勢情報を生成する構成とする。また、位置姿勢情報生成部５０４が画像処理装置１０４側に有する場合には、位置情報を生成するために必要な情報を撮像画像から生成するようにしてもよい。例えば、撮像画像の輝度信号や二値データのみをＨＭＤ１０１から画像処理装置１０４へ送信することによって伝送量を抑えつつ、位置情報を生成するために撮像画像の情報を利用することが可能となる。
【００３１】
ＨＭＤインタフェース５０５は、画像処理装置１０４との通信インタフェースである。復号化部５０９は、画像処理装置１０４で符号化されたＣＧ画像を復号化する。画素値差分算出部５１０は、ＣＧ画像中の各画素の画素値と背景検出用に設定された背景色の画素値との差分（色差）を算出する。合成比制御部５１１は、算出された色差に基づき、画素ごとにＣＧ画像と撮像画像との合成比を制御（決定）する。合成比制御部５１１における合成比の制御方法としては、所定のパラメータテーブルを参照する方法や、所定の関数に基づいて演算を行う方法などが挙げられる。合成部５１２は、制御された合成比によりＣＧ画像と撮像画像とを合成し、合成画像を生成する。
【００３２】
画像処理装置１０４側の画像処理装置インタフェース５０６は、ＨＭＤ１０１との通信インタフェースである。ＣＧ描画部５０７は、三次元位置姿勢情報に基づいて、背景領域をクロマキー色に描画したＣＧ画像を生成する。符号化部５０８は、生成されたＣＧ画像を符号化する。
【００３３】
本実施形態における処理手順について以下に説明する。まず、ＨＭＤ１０１の位置姿勢情報生成部５０４は、撮像部５０１で取得した撮像画像と三次元位置姿勢センサ５０３で取得した情報とから三次元位置姿勢情報を生成し、ＨＭＤインタフェース５０５を介して画像処理装置１０４に送信する。
【００３４】
続いて、画像処理装置１０４のＣＧ描画部５０７は、画像処理装置インタフェース５０６を介して受信した三次元位置姿勢情報に基づいてＣＧ画像を生成する。そして、ＣＧ画像のデータ量を削減するために符号化部５０８により符号化を行い、画像処理装置インタフェース５０６を介してＨＭＤ１０１へ符号化されたＣＧ画像を送信する。
【００３５】
ＨＭＤ１０１側の復号化部５０９は、ＨＭＤインタフェース５０５を介してＣＧ画像を受信し、符号化されたＣＧ画像を復号化する。そして、画素値差分算出部５１０は、復号化されたＣＧ画像の各画素の画素値とクロマキー色の画素値との色差を算出する。続いて、合成比制御部５１１は、画素値差分算出部５１０で算出されたクロマキー色の画素値との色差に基づいて、撮像部５０１で取得された撮像画像と、復号化部５０９で復号されたＣＧ画像との合成比を制御する。そして、合成部５１２は、合成比制御部５１１による制御結果に基づいて撮像画像とＣＧ画像とを合成し、合成画像（ＭＲ画像）を表示部５０２に表示する。
【００３６】
図６は、本実施形態において、合成比制御部５１１による合成比の制御を説明するための図である。ここで、図６に示すα値とは、撮像画像とＣＧ画像との合成比であり、合成画像における各画素値は下記の式（１）に示す関係となる。
ＶM(m,n)＝ＶR(m,n)×（１−α）＋ＶV(m,n)×α    ・・・（１）
【００３７】
ここで、ＶM(m,n)は合成画像におけるｍ行ｎ列の画素の画素値を表す。同様に、ＶV(m,n)はＣＧ画像におけるｍ行ｎ列の画素の画素値を表し、ＶR(m,n)は撮像画像におけるｍ行ｎ列の画素の画素値を表す。また、０≦α≦１とする。
【００３８】
合成画像中のｍ行ｎ列の画素におけるα値を０とした場合はＶM(m,n)＝ＶR(m,n)となり、合成画像中のｍ行ｎ列の画素は撮像画像のｍ行ｎ列の画素となる。一方、合成画像中のｍ行ｎ列の画素におけるα値を１とした場合はＶM(m,n)＝ＶV(m,n)となり、合成画像中のｍ行ｎ列の画素はＣＧ画像のｍ行ｎ列の画素となる。従来は画素値ＶV(m,n)がクロマキー色か否かによってα値を０か１に制御している。また、クロマキー色にストレッチ範囲を設ける場合も同様に、従来は、画素値ＶV(m,n)とクロマキー色との色差が一定の範囲内の場合はα値を０に制御し、範囲外の場合はα値を１に制御している。
【００３９】
これに対して本実施形態では、画素値ＶV(m,n)とクロマキー色との色差に応じて、ｍ行ｎ列の画素におけるα値を制御するようにしている。図６（ａ）から図６（ｈ）には、画素値ＶV(m,n)とクロマキー色との色差に対するα値の例を示している。以下、それぞれのパターンについて説明する。
【００４０】
図６（ａ）及び図６（ｃ）に示す例では、画素値ＶV(m,n)とクロマキー色との色差が値ａまでの範囲においては、直線６０１または曲線６０３に沿ってα値を制御し、値ａ以上の範囲においてはα値を１に固定している。さらに、図６（ｄ）及び図６（ｅ）に示す例では、線分６０４または線分６０５のように、変化点を有するα値の制御曲線とすることも可能である。また、図６（ｂ）、図６（ｆ）及び図６（ｇ）に示す例では、画素値ＶV(m,n)とクロマキー色との色差が値ｂまでの範囲においてはα値を０とする。そして、値ｂから値ａまでの範囲では直線６０２、曲線６０６または曲線６０７のようにα値を制御し、値ａ以上の範囲ではα値を１としている。なお、図６に示した例以外のテーブルや関数を用いて合成比を制御してもよい。
【００４１】
図７は、クロマキー色との色差に応じてα値を制御した場合のクロマキー合成を説明するための図である。図７（ａ）は、符号化処理や復号化処理、雑音等によりクロマキー色の背景画素の一部が変化しているＣＧ画像４０１の一例を示している。図７（ｂ）は、図７（ａ）に示す境界領域の一部４０２におけるクロマキー合成前の拡大画像を示している。また、図７（ｃ）は、背景画素とクロマキー色との色差に応じてα値を制御した場合の境界領域の一部４０２における画像合成後の拡大画像を示している。
【００４２】
前述したように、ＪＰＥＧやＭＰＥＧのような画像符号化を行うと、境界領域の一部４０２において背景画素３０２およびＣＧオブジェクト画素３０３の色が変化することがある。なお、図４（ｂ）に示した例と同様に、色Ａの背景画素４０３は色Ｂの背景画素４０４よりもクロマキー色に近い画素値を有するものとする。また、ＣＧオブジェクトの内部の画素の色の変化については省略している。
【００４３】
ここで、図６に示した何れかのパターンにより背景画素の色とクロマキー色との差分が小さいほどα値が小さくなるように制御してクロマキー合成すると、図７（ｃ）に示すような画像が得られる。合成画素７０１は、背景とＣＧオブジェクトとの境界部に存在する色Ａの背景画素４０３と撮像画素とを第１のα値を用いて合成されている。そして、合成画素７０２は、色Ｂの背景画素４０４と撮像画素とを第２のα値を用いて合成されている。これらの合成画素７０１、７０２は、ＣＧ画像の背景画素としての色がクロマキー色に近いほど、より撮像画素の画素値の割合が多くなるように合成されている。このため、撮像画像の背景とＣＧオブジェクトとの境界部がなめらかに変化するような画像となる。
【００４４】
また、α値を制御する色差範囲を大きくした結果、α値の制御範囲に含まれる色の画素がＣＧオブジェクトの内部に存在した場合でも、クロマキー合成時に完全に撮像画像に置き換えられることを防止できる。本実施形態ではα値に応じてＣＧオブジェクトの画素としての要素も残るため、合成画像として違和感を抑えることができる。したがって、背景画素として検出する色の範囲を拡げることが可能となる。
【００４５】
以上のように本実施形態によれば、ＣＧ画像に含まれる背景画素の画素値とクロマキー色との色差に応じて合成比を制御することにより、違和感の少ない合成画像を生成することが可能となる。
【００４６】
（第２の実施形態）
以下、本発明の好適な第２の実施形態について図面を参照しながら説明する。第１の実施形態では、ＣＧ画像内の各画素について、クロマキー色との色差に応じて一様な特性でα値を制御した。これに対して本実施形態においては、ＣＧ画像内の各画素が背景画素であるか、オブジェクト画素であるか否かを判定し、その結果に応じて異なるα値の制御を行う。以下、第１の実施形態と異なる点を中心に説明する。
【００４７】
図８は、本実施形態におけるＨＭＤ８０１及び画像処理装置１０４の機能構成例を示すブロック図である。本実施形態に係る画像処理装置１０４の構成は図５と同様であるため、説明は省略する。また、本実施形態におけるＨＭＤ８０１は、第１の実施形態のＨＭＤ１０１と比較して領域推定部８０２をさらに有している。以下、第１の実施形態と異なる点について説明する。
【００４８】
ＨＭＤ８０１の画素値差分算出部５１０により、復号化されたＣＧ画像の各画素の画素値とクロマキー色の画素値との色差が算出されると、領域推定部８０２は、該当画素が背景画素であるかオブジェクト画素であるかを推定する。この処理では、例えば、符号化処理及び復号化処理での同一ブロック内、あるいは周辺画素から構成されるブロック内にクロマキー色の画素が含まれているか否かによって該当画素が背景画素であるかオブジェクト画素であるかを推定する。
【００４９】
通常、クロマキー色にはＣＧオブジェクトで使われることのない色を設定するが、特にＲＧＢの要素で構成される画像においては、ＲＧＢの各要素のうち少なくともいずれかの要素が最大値である色が多く利用される。そのような色をクロマキー色としてＣＧ画像の背景に設定した場合、ＣＧ画像に対して符号化処理または復号化処理を行ったことによって色の変化が発生したとしても、ＣＧオブジェクト内にクロマキー色の画素が発生する可能性は低い。このことから、該当画素の同一ブロック内、あるいは周辺画素から構成されるブロック内にクロマキー色の画素が含まれている場合には、該当画素が背景画素である可能性が高いと推定することができる。なお、本実施形態における領域推定部８０２による推定方法は、これに限ったものではなく、フレーム間の動きベクトルを利用してオブジェクト領域を推定したり、画像の空間周波数を解析して領域を推定したりすることも可能である。
【００５０】
また、合成比制御部５１１は、画素値差分算出部５１０の算出結果と領域推定部８０２の推定結果とに基づき、撮像部５０１で取得された撮像画像と復号化部５０９で復号されたＣＧ画像とを合成する際の合成比を制御する。この時、合成比制御部５１１は、領域推定部８０２における推定結果が背景画素であった場合とオブジェクト画素であった場合とで異なる特性でα値を制御する。合成部５１２の処理については第１の実施形態と同様である。
【００５１】
図９は、本実施形態における合成比の制御を説明するための図である。なお、第１の実施形態と同様、合成画像における画素値ＶM(m,n)は前述した式（１）により算出される。図９（ａ）から図９（ｄ）には、対象となる画素が背景画素である場合と、ＣＧオブジェクトの画素である場合とにおいて、画素値ＶV(m,n)とクロマキー色との色差に対するα値の例を示している。
【００５２】
図９（ａ）には、対象となる画素が背景画素と推定された場合に、直線９０１に沿ってα値を制御し、ＣＧオブジェクトの画素と推定された場合に、直線９０２に沿ってα値を制御する例を示している。このようなα値の制御を行うことにより、背景と推定された画素はより大きい色差内の色に対して撮像画像の画素値ＶR(m,n)を反映し、ＣＧオブジェクトと推定された画素は比較的小さい色差内の色にのみＣＧ画像の画素値ＶV(m,n)を反映する。このため、α値を一様に制御した場合と比較して、より違和感の少ない自然な合成画像を生成することが可能となる。
【００５３】
図９（ｂ）及び（ｃ）に示す例も、対象となる画素が背景画素と推定された場合に、曲線９０３または曲線９０５に沿ってα値を制御し、ＣＧオブジェクトの画素と推定された場合に、曲線９０４または曲線９０６に沿ってα値を制御する例を示している。図９（ａ）から図９（ｃ）はいずれも、α値を０または１とするクロマキー色との色差の範囲が、対象となる画素が背景画素である場合とＣＧオブジェクトの画素である場合とで異なる例を示している。
【００５４】
一方、図９（ｄ）に示す例では、対象となる画素が背景画素と推定された場合に、曲線９０７に沿ってα値を制御し、ＣＧオブジェクトの画素と推定された場合に、曲線９０８に沿ってα値を制御する例を示している。この場合は、α値を０または１とするクロマキー色との色差の範囲が同じであり、対象となる画素が背景画素である場合とＣＧオブジェクトの画素である場合とで、曲線９０７、９０８に示すようにα値の特性のみが異なっている。なお、図９に示した例以外のテーブルや関数を用いて合成比を制御してもよい。
【００５５】
このように図９に示すいずれのパターンにおいても、背景画素と推定された画素については、ＣＧオブジェクトの画素と推定された画素よりも合成比が低くなるように合成比を制している。すなわち、対象となる画素が背景画素と推定された場合は撮像画像の画素値ＶR(m,n)を強く反映し、ＣＧオブジェクトの画素と推定された場合はＣＧ画像の画素値ＶV(m,n)を強く反映するようにα値の制御を行っている。
【００５６】
以上のように本実施形態によれば、第１の実施形態と同様に、ＣＧ画像に含まれる各画素の画素値とクロマキー色との色差に応じてα値を制御することにより、違和感の少ない合成画像を生成することが可能となる。さらに、本実施形態においては、ＣＧ画像内の各画素が背景画素であるかＣＧオブジェクトの画素であるかに応じて異なる特性によって合成比（α値）を制御するようにした。これにより、合成比を一様に制御した場合と比較して、より違和感の少ない自然な合成画像を生成することが可能となる。
【００５７】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００５８】
５０５  ＨＭＤインタフェース
５１０  画素値差分算出部
５１１  合成比制御部
５１２  合成部
【図１】
2015191311.tif 000003
【図２】
2015191311.tif 000004
【図３】
2015191311.tif 000005
【図４】
2015191311.tif 000006
【図５】
2015191311.tif 000007
【図６】
2015191311.tif 000008
【図７】
2015191311.tif 000009
【図８】
2015191311.tif 000010
【図９】
2015191311.tif 000011