(57)【要約】【課題】先に合成された画像の下位階層へ更に画像を合成することができる画像合成装置とその方法、プログラム、ならびに画像再生処理装置を提供する。【解決手段】画像データＩｍＡ、ＩｍＢは、第１の合成部１０においてそれぞれの透明度αＡ、αＢに応じた割合で合成され、その合成画像データＩｍＥの透明度αＥは、透明度決定部４０において透明度αＡ、αＢに応じて決定される。同様に次段の第１の合成部２０においては、画像データＩｍＢの上位階層の画像データＩｍＣと合成画像データＩｍＥとがそれぞれの透明度αＣ、αＥに応じた割合で合成され、その合成画像データＩｍＦの透明度αＦが透明度αＣ、αＥに応じて決定される。第２の合成部３０では、画像データＩｍＣを最下位階層、合成画像データＩｍＦをその上位階層とし、上位階層の透明度αＦに応じた割合で２つの画像データが合成される。【選択図】      図１
2004326456.tif 000002
【特許請求の範囲】
【請求項１】
下位階層の画像に対する透明度がそれぞれ設定された複数の階層の画像を合成する画像合成装置であって、
階層が異なる２つの画像データを、それぞれの上記透明度に応じた割合で合成する第１の合成手段と、
上記第１の合成手段から出力される合成画像データの透明度を、合成元の２つの画像データの透明度に応じて決定する透明度決定手段と、
上記第１の合成手段から出力される合成画像データと最下位階層の画像データとを、上記透明度決定手段において決定される当該合成画像データの透明度に応じた割合で合成する第２の合成手段と、
を有する画像合成装置。
【請求項２】
初段においては、隣接する２つの階層の画像データを入力し、上記初段に続く各段においては、前段から出力される合成画像データと、当該合成画像データの合成元の画像データに対して階層が隣接する画像データとを入力する、縦続接続された複数の上記第１の合成手段と、
上記縦続接続された第１の合成手段の各段から出力される合成画像データの透明度をそれぞれ決定する複数の上記透明度決定手段と、を有する、
請求項１に記載の画像合成装置。
【請求項３】
上記第１の合成手段から出力される合成画像データおよび上記透明度決定手段において決定される当該画像データの透明度を、当該合成画像データの合成元の画像データに対して階層が隣接する画像データとその透明度とともに上記第１の合成手段および上記透明度決定手段へ再び入力する処理を反復し、当該反復の結果として、上記最下位階層より上位の階層の各画像データを合成した合成画像データとその透明度を取得するデータ取得手段を有し、
上記第２の合成手段は、上記データ取得手段において取得される合成画像データと上記最下位階層の画像データとを、上記データ取得手段において取得される透明度に応じた割合で合成する、
請求項１に記載の画像合成装置。
【請求項４】
入力される順序設定信号において画像の重ね合わせ順序が第１の順序に設定される場合、
上記第１の合成手段は、階層が異なる２つの画像データを、それぞれの上記透明度に応じた割合で合成し、
上記第２の合成手段は、上記第１の合成手段から出力される合成画像データと最下位階層の画像データとを、上記透明度決定手段において決定される当該合成画像データの透明度に応じた割合で合成し、
上記順序設定信号において上記重ね合わせ順序が第２の順序に設定される場合、
上記第１の合成手段は、階層が異なる２つの画像データを上位階層の画像データの透明度に応じた割合で合成し、
上記第２の合成手段は、上記第２の順序において最上位階層の画像データと上記第１の合成手段から出力される合成画像データとを、当該最上位階層の画像データの透明度に応じた割合で合成する、
請求項１に記載の画像合成装置。
【請求項５】
初段においては、隣接する２つの階層の画像データを入力し、上記初段に続く各段においては、前段から出力される合成画像データと、当該合成画像データの合成元の画像データに対して階層が隣接する画像データとを入力する、縦続接続された複数の上記第１の合成手段と、
上記縦続接続された第１の合成手段の各段から出力される合成画像データの透明度をそれぞれ決定する複数の上記透明度決定手段と、を有する、
請求項４に記載の画像合成装置。
【請求項６】
上記第１の合成手段から出力される合成画像データおよび上記透明度決定手段において決定される当該画像データの透明度を、当該合成画像データの合成元の画像データに対して階層が隣接する画像データとその透明度とともに上記第１の合成手段および上記透明度決定手段へ再び入力する処理を反復し、当該反復の結果として、上記重ね合わせ順序が上記第１の順序に設定される場合は、上記第１の順序における最下位階層より上位の階層の各画像データを合成した合成画像データとその透明度を取得し、上記重ね合わせ順序が上記第２の順序に設定される場合は、上記第２の順序における最上位階層より下位の階層の各画像データを合成した合成画像データを取得するデータ取得手段を有し、
上記第２の合成手段は、上記重ね合わせ順序が上記第１の順序に設定される場合、上記データ取得手段において取得される合成画像データと上記最下位階層の画像データとを、上記データ取得手段において取得される透明度に応じた割合で合成し、上記重ね合わせ順序が上記第２の順序に設定される場合、上記データ取得手段において取得される合成画像データと上記最上位階層の画像データとを、上記最上位階層の画像データの透明度に応じた割合で合成する、
請求項４に記載の画像合成装置。
【請求項７】
上記第１の合成手段から出力される画像データにデータ変換処理を施すデータ変換処理手段を有する、
請求項４に記載の画像合成装置。
【請求項８】
下位階層の画像に対する透明度がそれぞれ設定された複数の階層の画像を合成する画像合成方法であって、
階層が異なる２つの画像データを、それぞれの上記透明度に応じた割合で合成する合成ステップと、上記合成ステップにおける合成結果の画像データの透明度を、合成元の２つの画像データの透明度に応じて決定する透明度決定ステップとを含み、上記合成ステップにおける合成結果の画像データと、当該画像データの合成元の画像データに対して階層が隣接する画像データとを新たな２階層の画像データとして、上記合成ステップおよび上記透明度決定ステップを反復し、当該反復の結果として、最下位階層より上位の階層の各画像データを合成した画像データとその透明度を取得する第１のステップと、
上記第１のステップにおいて取得される画像データと上記最下位階層の画像データとを、上記第１のステップにおいて取得される透明度に応じた割合で合成する第２のステップと、
を有する画像合成方法。
【請求項９】
下位階層の画像に対する透明度がそれぞれ設定された複数の階層の画像を合成する処理を行う処理装置に、
階層が異なる２つの画像データを、それぞれの上記透明度に応じた割合で合成する合成ステップと、上記合成ステップにおける合成結果の画像データの透明度を、合成元の２つの画像データの透明度に応じて決定する透明度決定ステップとを含み、上記合成ステップにおける合成結果の画像データと、当該画像データの合成元の画像データに対して階層が隣接する画像データとを新たな２階層の画像データとして、上記合成ステップおよび上記透明度決定ステップを反復し、当該反復の結果として、最下位階層より上位の階層の各画像データを合成した画像データとその透明度を取得する第１のステップと、
上記第１のステップにおいて取得される画像データと上記最下位階層の画像データとを、上記第１のステップにおいて取得される透明度に応じた割合で合成する第２のステップと、
を有する処理を実行させるプログラム。
【請求項１０】
画像の重ね合わせ順序を第１の順序または第２の順序に設定する第３のステップと、
階層が異なる２つの画像データを、上位階層の画像データの透明度に応じた割合で合成する合成ステップを含み、上記合成ステップにおける合成結果の画像データと、当該画像データの合成元の画像データに対して上位階層の画像データとを新たな２階層の画像データとして、上記合成ステップの処理を反復し、当該反復の結果として、全階層の画像データを合成した画像データを取得する第４のステップとを有し、
上記第３のステップにおいて上記重ね合わせ順序が上記第１の順序に設定される場合、上記第１のステップおよび上記第２のステップを実行し、上記順序設定信号において上記重ね合わせ順序が第２の順序に設定される場合、上記第４のステップを実行する、
請求項９に記載のプログラム。
【請求項１１】
上記第１のステップおよび上記第４のステップの少なくとも一方に含まれる合成ステップの合成結果に対してデータ変換処理を施すデータ変換処理ステップを含む、
請求項１０に記載のプログラム。
【請求項１２】
下位階層の画像に対する透明度がそれぞれ設定された複数の階層の画像を合成し、合成した画像の再生処理を行う画像再生処理装置であって、
階層が異なる２つの画像データを、それぞれの上記透明度に応じた割合で合成する第１の合成手段と、
上記第１の合成手段から出力される合成画像データの透明度を、合成元の２つの画像データの透明度に応じて決定する透明度決定手段と、
上記第１の合成手段から出力される合成画像データと最下位階層の画像データとを、上記透明度決定手段において決定される当該合成画像データの透明度に応じた割合で合成する第２の合成手段と、
を有する画像再生処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数の画像を合成する画像合成装置とその方法およびプログラムならびに画像再生処理装置に関するものである。
【０００２】
【従来の技術】
複数の画像を合成する方法として、単純には、画像を形成する各画素のデータ（画素データ）を互いに加算する方法がある。たとえば、１つの画素データが赤、青、緑の３色の色データを持っている場合、同一画素の同一色の色データ同士を加算することにより、複数の画像から合成画像を作成することができる。この方法によると、加算後の画素値は必ず大きくなるため、合成する画像の数が多い場合や明度の高い画像を合成する場合において、画素値が飽和し易くなる傾向がある。画素値が飽和すると、元画像の情報が消失してしまうため、画質が損なわれる。
【０００３】
一方、アルファ・ブレンディング（ａｌｐｈａ  ｂｌｅｎｄｉｎｇ）と称される画像合成方法では、ある透明度を持った画像を他方の画像の上に重ねることによって、画像の合成が行われる。ここで透明度は、上位階層の画像を透かして下位階層の画像が見える度合いを意味する。上位階層と下位階層の画像は、上位階層の画像の透明度に応じた割合で合成される。
たとえば、透明度α１（０≦α１≦１）を持つ上位階層の画像を下位階層の画像に重ねる場合、上位階層の画像データＩｍ１と下位階層の画像データＩｍ２とを用いて、合成画像データＩｍ３は次式のように表される。
【０００４】
【数１】
Ｉｍ３＝α１×Ｉｍ１＋（１−α１）×Ｉｍ２  …  （１）
【０００５】
ただし、式（１）における画像データＩｍ１〜Ｉｍ３は、画素データの集合を示す。すなわち、式（１）は、画像データ中に含まれる同一画素の画素データ同士をそれぞれ「α１」対「１−α１」の割合で合成することを表している。
上式から分かるように、透明度α１が小さくなるほど、合成画像データＩｍ３における画像データＩｍ１の割合が小さくなり、下位階層の画像Ｐ２が透けて見え易くなる。
【０００６】
このようなアルファ・ブレンディングによる画像合成方法は、たとえば、デジタル方式のテレビジョン受信機やＤＶＤ（ｄｉｇｉｔａｌ  ｖｅｒｓａｔｉｌｅ  ｄｉｓｃ）再生装置などにおいて、テレビ画面上に文字や図形を表示させるＯＳＤ（ｏｎ  ｓｃｒｅｅｎ  ｄｉｓｐｌａｙ）機能を実現するために広く用いられている。
【０００７】
特許文献１には、アルファ・ブレンディング処理を行う合成手段を備えた画像処理装置に関する技術が記載されている。
【０００８】
【特許文献１】
特開２０００−２８５２５６号公報
【特許文献２】
特開２０００−２００４４号公報
【０００９】
【発明が解決しようとする課題】
図１８は、アルファ・ブレンディングによる画像合成を行うための画像合成装置の一般的な構成例を示す図である。
図１８に示す画像合成装置は、アルファ・ブレンディング処理を行う画像合成部１〜３を有しており、入力される４つの画像データ（Ｉｍ１〜Ｉｍ４）を合成して、合成画像データＩｍ７を出力する。
【００１０】
画像合成部１は、最下位階層の画像データＩｍ１とその上位階層の画像データＩｍ２とのアルファ・ブレンディング処理を行い、合成画像データＩｍ５を出力する。
画像合成部２は、画像データＩｍ２に対する上位階層の画像データＩｍ３と、画像合成部１から出力される合成画像データＩｍ５とのアルファ・ブレンディング処理を行い、合成画像データＩｍ６を出力する。
画像合成部３は、画像データＩｍ３に対する上位階層の画像データＩｍ４と、画像合成部３から出力される合成画像データＩｍ６とのアルファ・ブレンディング処理を行い、画像データＩｍ７を出力する。
【００１１】
画像合成部１〜３から出力される合成画像データＩｍ５〜Ｉｍ７は、それぞれ次式のように表される。
【００１２】
【数２】
Ｉｍ５＝α２×Ｉｍ２＋（１−α２）×Ｉｍ１  …  （２）
Ｉｍ６＝α３×Ｉｍ３＋（１−α３）×Ｉｍ５  …  （３）
Ｉｍ７＝α４×Ｉｍ４＋（１−α４）×Ｉｍ６  …  （４）
【００１３】
ただし、透明度α２，α３，α４は、それぞれ画像データＩｍ２，Ｉｍ３，Ｉｍ４の透明度を示しており、‘０’以上‘１’以下の値を持つ。
【００１４】
ＯＳＤ機能によってテレビ画面上に文字や図形が表示される場合、通常は、下地となる動画像の上に文字や図形などを含んだ静止画像を重ねる処理が行われる。静止画像は、特にインターレース方式の表示装置において表示される場合、動きを持つ動画像に比べてフリッカと称される像のチラツキが目につき易くなる。フリッカを低減する技術として、たとえば特許文献２に記載されているような、アンチフリッカ・フィルタと称される画質改善の技術がある。
【００１５】
図１９は、アンチフリッカ・フィルタによる画質改善処理を行うフィルタ部４を備えた画像合成装置の構成例を示すブロック図であり、図１８と図１９の同一符号は同一の構成要素を示す。
図１９に示す画像合成装置は、図１８に示す画像合成装置の後段に、フィルタ部４を設けたものである。フィルタ部４では、画像合成部３から出力される合成画像データＩｍ７に対してアンチフリッカ・フィルタ処理が行われる。これにより、静止画像のチラツキを抑えた合成画像データＩｍ７Ａが得られる。
【００１６】
ところで、アンチフリッカ・フィルタ処理は、一般に静止画像のチラツキを抑えるための処理であり、これを動画像に対して行うと、画像の鮮明度が失われてしまう問題がある。このため、図１９に示す画像合成装置のように、動画像と静止画像とを合成した結果の画像に対してアンチフリッカ・フィルタ処理を施すと、動画像の部分がぼやけてしまい、画質が劣化してしまう。
【００１７】
そこで、図２０に示す画像合成装置では、静止画のみの合成画像データに対してアンチフリッカ・フィルタ処理が実行されるように、図１９に示す画像合成装置に対してフィルタ部４の挿入位置が変更されている。
すなわち、図２０に示す画像合成装置では、画像合成部２から出力される合成画像データＩｍ６に対してフィルタ部４のアンチフリッカ・フィルタ処理が施され、このフィルタ処理後の合成画像データＩｍ６Ａと最上位階層の画像データＩｍ４とが画像合成部３において合成される。
【００１８】
このような画像合成装置に対し、下位階層の画像データＩｍ１〜Ｉｍ３として静止画像の画像データを入力し、最上位階層の画像データＩｍ４として動画像の画像データを入力すると、アンチフリッカ・フィルタ処理は静止画像のみに行われ、動画像には行われない。このため、上述した動画像の画質劣化を回避することができる。
【００１９】
しかしながら、図２０に示す画像合成装置では、動画像を合成する階層が、フィルタ処理を施される静止画像より上位の階層に限定される不利益がある。
一般に、アルファ・ブレンディングによる画像合成では、合成後の画像の色合いが上位階層の画像に強く影響される傾向があるため、色合いが刻々と変化する動画像が静止画像より上位階層に合成されると、本来一定に表示されるべき静止画像の色合いが、動画像の影響を受けて変化し易くなる場合がある。そのような場合、先に合成された静止画像よりも下位の階層に動画像を合成することが望ましい。しかしながら、画像合成部１〜３のアルファ・ブレンディング処理においては、上位階層の画像の透明度だけを用いて画像合成が行われるため、透明度を持たない合成画像を上位階層に合成することができない。
【００２０】
このように、従来のアルファ・ブレンディングによる画像合成では、先に合成された画像に対して後からその上位階層に画像を合成することはできても、その下位階層に画像を合成することができないという不利益がある。
【００２１】
本発明はかかる事情に鑑みてなされたものであり、その目的は、透明度がそれぞれ設定された複数の画像を合成する場合において、先に合成された画像の下位階層へ更に画像を合成することができる画像合成装置とその方法、そのような画像合成処理を処理装置に実行させるプログラム、ならびに、そのような画像合成装置を備えた画像再生処理装置を提供することにある。
【００２２】
【課題を解決するための手段】
上記の目的を達成するため、本発明の第１の観点の画像合成装置は、第１の合成手段と、透明度決定手段と、第２の合成手段とを有する。
上記第１の合成手段は、階層が異なる２つの画像データを、それぞれの透明度に応じた割合で合成する。
上記透明度決定手段は、上記第１の合成手段から出力される合成画像データの透明度を、合成元の２つの画像データの透明度に応じて決定する。
上記第２の合成手段は、上記第１の合成手段から出力される合成画像データと最下位階層の画像データとを、上記透明度決定手段において決定される当該合成画像データの透明度に応じた割合で合成する。
【００２３】
本発明の第１の観点によると、階層が異なる２つの画像データが、上記第１の合成手段において、それぞれの透明度に応じた割合で合成される。また、上記第１の合成手段から出力される合成画像データの透明度が、上記透明度決定手段において、合成元の２つの画像データの透明度に応じて決定される。そして、上記第１の合成手段から出力される合成画像データと最下位階層の画像データとが、上記第２の合成手段において、上記透明度決定手段が決定した当該合成画像データの透明度に応じた割合で合成される。
【００２４】
また、入力される順序設定信号において、画像の重ね合わせ順序が第１の順序に設定される場合と第２の順序に設定される場合とにおいて、上記第１の合成手段および上記第２の合成手段は、次のような処理を行っても良い。
すなわち、画像の重ね合わせ順序が第１の順序に設定される場合、第１の合成手段は、階層が異なる２つの画像データを、それぞれの透明度に応じた割合で合成し、第２の合成手段は、第１の合成手段から出力される合成画像データと最下位階層の画像データとを、透明度決定手段において決定される当該合成画像データの透明度に応じた割合で合成する。
また、画像の重ね合わせ順序が第２の順序に設定される場合、第１の合成手段は、階層が異なる２つの画像データを上位階層の画像データの透明度に応じた割合で合成し、第２の合成手段は、第２の順序において最上位階層の画像データと第１の合成手段から出力される合成画像データとを、当該最上位階層の画像データの透明度に応じた割合で合成する。
このような処理によると、画像の重ね合わせ順序が第１の順序に設定される場合、第１の合成手段から出力される合成画像データの下位階層には、最下位階層の画像データが合成される。また、画像の重ね合わせ順序が第２の順序に設定される場合、第１の合成手段から出力される合成画像データの上位階層には、最上位階層の画像データが合成される。
【００２５】
本発明の第２の観点の画像合成方法は、第１のステップと第２のステップとを有する。
上記第１のステップは、階層が異なる２つの画像データを、それぞれの透明度に応じた割合で合成する合成ステップと、この合成ステップにおける合成結果の画像データの透明度を、合成元の２つの画像データの透明度に応じて決定する透明度決定ステップとを含む。
上記第１のステップでは、合成ステップにおける合成結果の画像データと、当該画像データの合成元の画像データに対して階層が隣接する画像データとを新たな２階層の画像データとして、上記した合成ステップおよび透明度決定ステップを反復する。この反復の結果として、最下位階層より上位の階層の各画像データを合成した画像データとその透明度を取得する。
上記第２のステップでは、上記第１のステップにおいて取得される画像データと最下位階層の画像データとを、上記第１のステップにおいて取得される透明度に応じた割合で合成する。
【００２６】
また、本発明の第３の観点のプログラムは、下位階層の画像に対する透明度がそれぞれ設定された複数の階層の画像を合成する処理を行う処理装置に、上記した第１のステップと第２のステップとを有する処理を実行させる。
【００２７】
本発明の第２の観点および第３の観点によると、２つの階層の画像データをそれぞれの透明度に応じた割合で合成する合成ステップの合成結果の画像データと、この画像データの合成元の画像データに対して階層が隣接する画像データとが、新たな２階層の画像データとして、上記した合成ステップにより合成される。その際、合成ステップで合成される画像データの透明度は、その合成元となる２つの画像データの透明度に応じて決定される。こうした合成ステップおよび透明度決定ステップが反復されることにより、上記第１のステップにおいて、最下位階層より上位の階層の各画像データを合成した画像データとその透明度が取得される。
上記第１のステップで取得された画像データは、上記第２のステップにおいて、最下位階層の画像データと合成される。その合成割合は、上記第１のステップにおいて取得される透明度に応じた割合に設定される。
【００２８】
本発明の第４の観点の画像再生処理装置は、第１の合成手段と、透明度決定手段と、第２の合成手段とを有する。これらの手段により、下位階層の画像に対する透明度がそれぞれ設定された複数の階層の画像を合成し、合成した画像の再生処理を行う。
上記第１の合成手段は、階層が異なる２つの画像データを、それぞれの上記透明度に応じた割合で合成する。
上記透明度決定手段は、上記第１の合成手段から出力される合成画像データの透明度を、合成元の２つの画像データの透明度に応じて決定する。
上記第２の合成手段は、上記第１の合成手段から出力される合成画像データと最下位階層の画像データとを、上記透明度決定手段において決定される当該合成画像データの透明度に応じた割合で合成する。
【００２９】
本発明の第４の観点によると、階層が異なる２つの画像データが、上記第１の合成手段において、それぞれの透明度に応じた割合で合成される。また、上記第１の合成手段から出力される合成画像データの透明度が、上記透明度決定手段において、合成元の２つの画像データの透明度に応じて決定される。そして、上記第１の合成手段から出力される合成画像データと最下位階層の画像データとが、上記第２の合成手段において、上記透明度決定手段が決定した当該合成画像データの透明度に応じた割合で合成される。
【００３０】
【発明の実施の形態】
本発明の７つの実施形態について、図面を参照して説明する。
【００３１】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る画像合成装置１００の構成の一例を示すブロック図である。
図１に示す画像合成装置１００は、第１の合成手段の実施形態である第１の合成部１０および２０と、第２の合成手段の実施形態である第２の合成部３０と、透明度決定手段の実施形態である透明度決定部４０および５０とを有する。
【００３２】
（第１の合成部１０）
第１の合成部１０は、２つの階層の画像データＩｍＡおよびＩｍＢを、それぞれの透明度αＡおよびαＢに応じた割合で合成する。
【００３３】
図２は、第１の合成部１０の構成例を示すブロック図であり、図２の例に示す第１の合成部１０は、合成割合演算部１１および合成処理部１２を有する。
【００３４】
合成割合演算部１１は、画像データＩｍＡの透明度αＡと画像データＩｍＢの透明度αＢとに応じて、それぞれの画像データの合成割合を演算する。
たとえば、画像データＩｍＢが画像データＩｍＡより上位階層の画像データであるとすると、画像データＩｍＡの合成割合Ｓ１１Ａ、画像データＩｍＢの合成割合Ｓ１１Ｂは、それぞれ次式のように表される。
【００３５】
【数３】
Ｓ１１Ａ＝１−αＢ／（αＡ＋αＢ−αＡ×αＢ）  …  （５）
Ｓ１１Ｂ＝αＢ／（αＡ＋αＢ−αＡ×αＢ）      …  （６）
【００３６】
なお、透明度αＡおよびαＢが共に‘０’の場合、合成割合Ｓ１１Ａは‘１’、合成割合Ｓ１１Ｂは‘０’になるものとする。
合成処理部１２は、画像データＩｍＡおよびＩｍＢを、合成割合演算部１１において演算された合成割合Ｓ１１ＡおよびＳ１１Ｂをもって合成する。合成結果の画像データＩｍＥは、次式のように表される。
【００３７】
【数４】
ＩｍＥ＝Ｓ１１Ａ×ＩｍＡ＋Ｓ１１Ｂ×ＩｍＢ  …  （７）
【００３８】
ここで、式（５）〜式（７）の関係が成立する理由について、図３を参照して説明する。
図３は、２階層の画像データの透明度と合成割合との関係を説明するための図である。
図３（Ａ）は、下位階層から上位階層に向かって画像合成を行う方法を示し、図３（Ｂ）は、上位階層から下位階層に向かって画像合成を行う方法を示す。
【００３９】
図３（Ａ）の方法においては、まず、画像データＩｍＬとその上位階層の画像データＩｍＭとの合成が行われる。この合成方法は、既に述べたアルファ・ブレンディングによる方法と同じであり、上位階層の画像データの透明度（αＭ）のみが合成に用いられる。合成結果の画像データＩｍＳ１は、式（１）の関係を利用すると、次式のように表される。
【００４０】
【数５】
ＩｍＳ１＝αＭ×ＩｍＭ＋（１−αＭ）×ＩｍＬ  …  （８）
【００４１】
次いで、この合成結果の画像データＩｍＳ１と、画像データＩｍＭに対して上位階層の画像データＩｍＵとの合成が行われる。この画像合成においても、上述と同様に、上位階層の画像データの透明度（αＵ）のみが用いられる。合成結果の画像データＩｍＳ２は、次式のように表される。
【００４２】
【数６】
2004326456.tif 000003
【００４３】
一方、図３（Ｂ）の方法においては、まず、画像データＩｍＵとその下位階層の画像データＩｍＭとの合成が行われる。画像データＩｍＵの合成割合β１、画像データＩｍＭの合成割合（１−β１）を用いると、合成結果の画像データＩｍＳ３は次式のように表される。
【００４４】
【数７】
ＩｍＳ３＝β１×ＩｍＵ＋（１−β１）×ＩｍＭ  …  （１０）
【００４５】
次いで、この合成結果の画像データＩｍ３と、画像データＩｍＭに対して下位階層の画像データＩｍＬとの合成が行われる。合成画像データＩｍＳ３の合成割合β２、画像データＩｍＬの合成割合（１−β２）を用いると、合成結果の画像データＩｍＳ４は次式のように表される。
【００４６】
【数８】
2004326456.tif 000004
【００４７】
式（９）に示す合成画像データＩｍＳ２と式（１１）に示す合成画像データＩｍＳ４とが等しいものとすると、次式が成立する。
【００４８】
【数９】
αＵ＝β１×β２  …  （１２）
（１−αＵ）×αＭ＝β２×（１−β１）  …  （１３）
（１−αＵ）×（１−αＭ）＝１−β２  …  （１４）
【００４９】
式（１３）における合成割合β２を式（１２）の関係を用いて消去すると、合成割合β１は、透明度αＵおよびαＭを用いて次式のように表される。
【００５０】
【数１０】
β１＝αＵ／（αＵ＋αＭ−αＵ×αＭ）  …  （１５）
【００５１】
図３における画像データＩｍＵとその下位階層の画像データＩｍＭを、図１における画像データＩｍＢとその下位階層の画像データＩｍＡに置き換えると、透明度αＵ、αＭはそれぞれ透明度αＢ、αＡに置き換えられる。したがって、式（１５）に示す関係から、式（６）に示す画像データＩｍＢの合成割合Ｓ１１Ｂが導かれる。
【００５２】
（第２の合成部２０）
第２の合成部２０は、第１の合成部１０から出力される合成画像データＩｍＥと、合成画像データＩｍＥの合成元の画像データＩｍＢに対して上位階層の画像データＩｍＣとを入力し、入力した２つの画像データ（ＩｍＥ、ＩｍＣ）を、それぞれの透明度αＥおよびαＣに応じた割合で合成する。この合成結果として、画像データＩｍＦを出力する。
【００５３】
第１の合成部２０についても、たとえば図２に示す第１の合成部１０と同様な構成を用いて実現することができる。すなわち、図２に示す第１の合成部１０と同様な構成を有する第１の合成部２０に対して、画像データＩｍＡ、ＩｍＢの代わりに画像データＩｍＥ、ＩｍＣを入力し、透明度αＡ、αＢの代わりに透明度αＥ、αＣを入力することにより、合成結果として画像データＩｍＦを得ることができる。
【００５４】
（第２の合成部３０）
第２の合成部３０は、第１の合成部２０から出力される合成画像データＩｍＦと最下位階層の画像データＩｍＤとを、後述する透明度決定部５０において決定される合成画像データＩｍＦの透明度αＦに応じた割合で合成する。
【００５５】
図４は、第２の合成部３０の構成の一例を示すブロック図である。
図４に示す第２の合成部３０は、合成割合演算部３１および合成処理部３２を有する。
【００５６】
合成割合演算部３１は、合成画像データＩｍＦの透明度αＦに応じて、最下位階層の画像データＩｍＤの合成割合Ｓ３１を演算する。合成割合Ｓ３１は、次式のように表される。
【００５７】
【数１１】
Ｓ３１＝１−αＦ  …  （１６）
【００５８】
合成処理部３２は、合成画像データＩｍＦの合成割合を透明度αＦ、画像データＩｍＤの合成割合を合成割合演算部３１において演算された合成割合Ｓ３１として、これら２つの画像データを合成する。合成結果の画像データＩｍＧは、次式のように表される。
【００５９】
【数１２】
2004326456.tif 000005
【００６０】
式（１７）から分かるように、第２の合成部３０においては、合成画像データＩｍＦを画像データＩｍＤに対する上位階層の画像データとした場合のアルファ・ブレンディングによる画像合成と同等な処理が実行される。
【００６１】
（透明度決定部４０）
透明度決定部４０は、第１の合成部１０から出力される合成画像データＩｍＥの透明度αＥを、合成画像データＩｍＥの合成元の２つの画像データ（ＩｍＡ、ＩｍＢ）の透明度αＡおよびαＢに応じて決定する。すなわち、合成画像データＩｍＥの透明度αＥは、次式のように決定される。
【００６２】
【数１３】
αＥ＝αＡ＋αＢ−αＡ×αＢ  …  （１８）
【００６３】
式（１８）の関係は、図３（Ｂ）において示す合成割合β２が合成画像データＩｍ３の透明度と等価であることから導き出される。すなわち、式（１１）によって演算される合成画像データＩｍＳ４は、合成画像データＩｍ３を上位階層の画像データ、画像データＩｍＬを下位階層の画像データとし、上位階層の画像データＩｍ３が透明度β２を持つものとした場合における、アルファ・ブレンディング処理と等価である。
合成割合β２は、式（１５）を式（１２）へ代入することにより、次式のように求められる。
【００６４】
【数１４】
β２＝αＵ＋αＭ−αＵ×αＭ  …  （１９）
【００６５】
図３における画像データＩｍＵとその下位階層の画像データＩｍＭを、図１における画像データＩｍＢとその下位階層の画像データＩｍＡに置き換えると、透明度αＵ、αＭはそれぞれ透明度αＢ、αＡに置き換えられる。したがって、式（１９）に示す関係から、式（１８）に示す透明度αＥが導かれる。
【００６６】
（透明度決定部５０）
透明度決定部５０は、第１の合成部２０から出力される合成画像データＩｍＦＦの透明度αＦを、合成画像データＩｍＦの合成元の２つの画像データ（ＩｍＥ、ＩｍＣ）の透明度αＥおよびαＣに応じて決定する。
透明度αＦは、透明度決定部４０における透明度αＥの式（１８）と同様の関係を用いて決定される。すなわち、式（１８）における透明度αＡおよびαＢを透明度αＥおよびαＣに置き換えることにより、透明度αＦが得られる。
【００６７】
ここで、上述した構成を有する、図１に示す画像合成装置１００の動作を説明する。
第１の合成部１０では、画像データＩｍＡとその上位階層の画像データＩｍＢとが、それぞれの透明度αＡおよびαＢに応じた割合で合成される。この合成結果として、合成画像データＩｍＥが得られる。
透明度決定部４０では、第１の合成部１０において合成される２つの画像データ（ＩｍＡ、ＩｍＢ）の透明度αＡおよびαＢに応じて、第１の合成部１０から出力される合成画像データＩｍＥの透明度αＥが決定される。
【００６８】
また、第１の合成部２０では、第１の合成部１０から出力される合成画像データＩｍＥと、この合成画像データＩｍＥの合成元の画像データＩｍＢに対して上位階層の画像データＩｍＣとが、それぞれの透明度αＥおよびαＣに応じた割合で合成される。この合成結果として、合成画像データＩｍＦが得られる。
透明度決定部５０では、第２の合成部２０において合成される２つの画像データ（ＩｍＥ、ＩｍＣ）の透明度αＥおよびαＣに応じて、第１の合成部２０から出力される合成画像データＩｍＦの透明度αＦが決定される。
【００６９】
第２の合成部３０では、第１の合成部２０から出力される合成画像データＩｍＦと最下位階層の画像データＩｍＤとが、透明度決定部５０において決定される合成画像データＩｍＦの透明度αＦに応じた割合で合成される。この合成結果として、合成画像データＩｍＧが得られる。
【００７０】
以上説明したように、図１に示す画像合成装置１００によれば、上位階層の３つの画像データ（ＩｍＡ、ＩｍＢ、ＩｍＣ）を合成した結果として得られる合成画像データＩｍＦに対して、これら３つの画像データよりも下位階層に、画像データＩｍＤを合成することができる。すなわち、透明度がそれぞれ設定された複数の画像を合成する場合において、先に合成された画像の下位階層へ更に画像を合成することができる。
これにより、最下位階層の画像データＩｍＤを含まない上位階層の合成画像データＩｍＦを取得することが可能になり、合成画像データを利用した画像処理の自由度を高めることができる。
【００７１】
なお、図１に示す例では、初段の第１の合成部１０に縦続接続されている次段の第１の合成部２０において、初段から出力される合成画像データＩｍＥの上位階層に画像データＩｍＣが合成されているが、これを合成画像データＩｍＥの下位階層に合成することも可能である。この場合、第１の合成部２０においては、式（１５）に示す合成割合β１における透明度αＵ、αＭを透明度αＥ、αＣに置き換えた式を用いて、合成画像データＩｍＥを合成割合β１とし、画像データＩｍＣを合成割合（１−β１）として画像合成を実行すれば良い。
【００７２】
また、図１に示す例では、縦続接続される２つの第１の合成部（１０，２０）を用いて４階層の画像を合成する例が示されているが、縦続接続される第１の合成部の段数を更に増やすことによって、５階層以上の画像を合成することも可能である。この場合も、初段の第１の合成部に縦続接続されている次段以降の第１の合成部において、前段から出力される合成画像データの上位階層または下位階層の何れにも画像データを合成することができる。
また、縦続接続される第１の合成部の段数を１段として、３階層の画像を合成することも可能である。
【００７３】
また、第１の合成部は、画像の重ね合わせ順序を設定する順序設定信号に応じて、合成を行なう２つの画像データの階層（上位階層、下位階層）を変更可能な構成にすることもできる。これにより、最下位階層より上位の階層における画像の重ね合わせ順序を自由に変更することが可能になる。
【００７４】
＜第２の実施形態＞
図５は、本発明の第２の実施形態に係る画像合成装置１００Ａの構成の一例を示すブロック図である。
図５に示す画像合成装置１００Ａは、第１の合成手段の実施形態である第１の合成部１０と、第２の合成手段の実施形態である第２の合成部３０と、透明度決定手段の実施形態である透明度決定部４０と、データ取得手段の実施形態であるデータ取得部６０と、記憶部７０とを有する。なお、図１と図５における同一の符号は同一の構成要素を示す。
【００７５】
上述した第１の実施形態においては、第１の合成部を複数段直列に接続することによって４階層以上の画像合成を行うことが可能であるが、第２の実施形態においては、第１の合成部に対してその合成結果を再入力する処理を反復することにより、４階層以上の画像合成が行われる。
【００７６】
データ取得部６０は、画像データＩｍＡおよびＩｍＢとその透明度αＡおよびαＢを、画像データＩｍ１およびＩｍ２とその透明度α１およびα２として、第１の合成部１０および透明度決定部４０に入力する。そして、この入力に応じて第１の合成部１０から出力される合成画像データＩｍ３と、透明度決定部４０において決定される合成画像データＩｍ３の透明度α３とを、記憶部７０に随時格納する。第１の合成部１０における合成画像データＩｍ３の合成処理ならびに透明度決定部４０における透明度α３の決定処理が完了した後で、記憶部７０に格納したこれらの合成画像データＩｍ３および透明度α３を読み出し、画像データＩｍＢの上位階層の画像データＩｍＣとその透明度αＣとともに、第１の合成部１０へ再び入力する。このような第１の合成部１０および透明度決定部４０に対する再入力処理を反復した結果として、最下位階層より上位の階層の各画像データ（ＩｍＡ、ＩｍＢ、ＩｍＣ）を合成した合成画像データＩｍＦを取得する。
【００７７】
上述した構成を有する画像合成装置１００Ｂについて、データ取得部６０における処理を中心に、その動作を説明する。
図６は、データ取得部６０における処理の流れを説明するためのフローチャートである。
【００７８】
まず、ステップＳＴ１０１において、第１の合成部１０に対する画像データＩｍ１およびＩｍ２の入力、ならびに、透明度決定部４０に対する透明度α１およびα２の入力が行われる。
合成画像データＩｍ３および透明度α３が記憶部７０に格納されていない初期状態においては、外部から与えられる画像データＩｍＡおよびＩｍＢとその透明度αＡおよびαＢが第１の合成部１０および透明度決定部４０に対して入力される。
画像データＩｍＡおよびＩｍＢの合成結果としての合成画像データＩｍ３とその透明度α３が記憶部７０に格納されている状態においては、これらの格納データが記憶部７０から読み出され、画像データＩｍ１および透明度α１として、第１の合成部１０および透明度決定部４０に再び入力される。またこのとき、合成画像データＩｍ３の合成元の画像データＩｍＢに対して上位階層の画像データＩｍＣとその透明度αＣが、画像データＩｍ２および透明度α２として、第１の合成部１０および透明度決定部４０に入力される。
画像データおよび透明度の入力に応じて第１の合成部１０から出力される合成画像データＩｍ３、ならびに、透明度決定部４０において決定される透明度α３は、記憶部７０に随時格納される。
【００７９】
第１の合成部１０における合成画像データＩｍ３の合成処理、ならびに、透明度決定部４０における透明度α３の決定処理が完了すると、次にステップＳＴ１０２において、最下位階層より上位の階層の各画像データ（ＩｍＡ、ＩｍＢ、ＩｍＣ）の合成が完了したか否かが判定される。合成が完了していないと判定された場合は、ステップＳＴ１０１へ処理が戻され、第１の合成部１０および透明度決定部４０に対する画像データＩｍ１、Ｉｍ２、透明度α１、α２の入力が再び反復される。合成が完了したと判定された場合は、データ取得部６０における処理が終了する。
【００８０】
第２の合成部３０においては、データ取得部６０において取得される合成画像データＩｍＦと最下位階層の画像データＩｍＤとが、データ取得部６０において取得される透明度αＦに応じた割合で合成される。この合成結果として、画像データＩｍＡ、ＩｍＢ、ＩｍＣおよびＩｍＤの合成画像データＩｍＧが得られる。
【００８１】
以上説明したように、図５に示す画像データ合成装置１００Ａにおいても、上位階層の３つの画像データ（ＩｍＡ、ＩｍＢ、ＩｍＣ）を合成した結果として得られる合成画像データＩｍＦに対して、これら３つの画像データよりも下位階層に、画像データＩｍＤを合成することができる。すなわち、透明度がそれぞれ設定された複数の画像を合成する場合において、先に合成された画像の下位階層へ更に画像を合成することができる。
【００８２】
なお、上述の説明では、画像データＩｍＡおよびＩｍＢの合成画像データＩｍ３に対して、その上位階層に画像データＩｍＣを合成するものとしたが、下位階層に画像データＩｍＣを合成しても良い。
【００８３】
また、図１に示す例では、第１の合成部１０および透明度決定部４０に対する入力処理を２回繰り返すことにより、４階層の画像を合成する例が示されているが、入力処理の反復回数を更に増やすことによって、５階層以上の画像を合成することも可能である。この場合においても、第１の合成部１０の合成画像データＩｍ３に対して、その上位階層または下位階層の何れにも画像データを合成することができる。
【００８４】
また、データ取得部６０は、順序設定信号に応じて、与えられる画像データと合成画像データＩｍ３との重ね合わせ順序（上位階層、下位階層の順序）をステップＳＴ１０１の入力処理の度に決定しても良い。これにより、最下位階層より上位の階層における画像の重ね合わせ順序を自由に変更することが可能になる。
【００８５】
＜第３の実施形態＞
図７は、本発明の第３の実施形態に係る画像合成装置１００Ｂの構成の一例を示すブロック図である。
図７に示す画像合成装置１００Ｂは、図１に示す画像合成装置１００と同一の構成を有するとともに、データ変換処理手段の実施形態である画質改善処理部８０を有する。
【００８６】
第３の実施形態に係る画像合成装置においては、上述した第１の実施形態に係る画像合成装置の第１の合成部から出力される合成画像データに対して、画質改善処理などのデータ変換処理が施される。
【００８７】
画質改善処理部８０は、第１の合成部２０から出力される合成画像データＩｍＦに対して、たとえばアンチフリッカ・フィルタ処理など、画像の画質改善に係る処理を実行する。
図７の例において、画質改善処理部８０は、第１の合成部２０と第２の合成部３０との間に接続されている。画質改善処理部８０において画質改善処理が施された画像データＩｍＦＡは、第２の合成部３０において画像データＩｍＤと合成される。
【００８８】
上述した構成を有する画像合成装置１００Ｂによれば、画像データＩｍＡ、ＩｍＢおよびＩｍＣの合成画像データに対して画質改善処理を施した上で、その下位階層に画像データＩｍＤを合成することができる。したがって、画像データＩｍＡ、ＩｍＢおよびＩｍＣの合成後の画質を改善することができるとともに、画質改善処理部８０の処理によってかえって画質が劣化してしまうような画像データＩｍＤについては画質改善処理を施すことなく、これを最下位階層に合成することができる。
【００８９】
たとえば、画質改善処理部８０においてアンチフリッカ・フィルタ処理が行われるものとし、画像データＩｍＡ、ＩｍＢ、ＩｍＣとして静止画像データ、画像データＩｍＤとして動画像データが入力されるものとすると、動画像データに対してアンチフリッカ・フィルタ処理を施すことなく静止画像データの画質改善を図ることができるとともに、動画像を静止画像よりも下位の階層に合成することが可能となる。
【００９０】
なお、図７の例においては、画質改善処理部８０が第１の合成部２０と第２の合成部３０との間に挿入されているが、この例に限らず、たとえば第１の合成部１０と第１の合成部２０との間に挿入しても良い。
また、第１の実施形態において述べた画像合成装置１００に対する種々の変形は、画像合成装置１００Ｂについても適用可能である。この変形により第１の合成部の段数が３段以上になる場合においても、画質改善処理部の挿入位置は任意であり、何れの段の出力に挿入しても良い。画質改善処理部の挿入数は任意であり、複数の段に挿入しても良い。
【００９１】
また、画質改善処理部の代わりに、他の種々のデータ変換処理を行うユニットを適用しても良い。これにより、あるデータ変換処理が必要な画像データについて、それらの合成画像データに当該データ変換処理を行ったあと、当該データ処理が不要な画像データを、当該データ変換処理後の合成画像データの下位階層に合成することが可能になる。
【００９２】
＜第４の実施形態＞
図８は、本発明の第４の実施形態に係る画像合成装置１００Ｃの構成の一例を示すブロック図である。
図８に示す画像合成装置１００Ｃは、図５に示す画像合成装置１００Ａと同一の構成を有するとともに、データ変換処理手段の実施形態である画質改善処理部８０Ａを有する。
【００９３】
第４の実施形態に係る画像合成装置においては、上述した第２の実施形態に係る画像合成装置のデータ取得部において取得される合成画像データまたは第１の合成部から出力される合成画像データに対して、画質改善処理などのデータ変換処理が施される。
【００９４】
画質改善処理部８０Ａは、図７に示す画質改善処理部８０と同等の機能を有するユニットであり、データ取得部６０から出力される合成画像データＩｍＦに対して、たとえばアンチフリッカ・フィルタ処理など、画像の画質改善に係る処理を実行する。
図８の例において、画質改善処理部８０Ａは、データ取得部６０と第２の合成部３０との間に接続されている。画質改善処理部８０Ａにおいて画質改善処理が施された画像データＩｍＦＡは、第２の合成部３０において画像データＩｍＤと合成される。
【００９５】
上述した構成を有する画像合成装置１００Ｃにおいても、既に述べた画像合成装置１００Ｂと同様の効果を奏することができる。すなわち、画像データＩｍＡ、ＩｍＢおよびＩｍＣの合成後の画質を改善することができるとともに、画質改善処理部８０Ａの処理によってかえって画質が劣化してしまうような画像データＩｍＤについては画質改善処理を施すことなく、これを最下位階層に合成することができる。
【００９６】
なお、図７の例においては、画質改善処理部８０Ａがデータ取得部６０と第２の合成部３０との間に挿入されているが、この例に限らず、たとえばデータ取得部６０と第１の合成部１０との間に挿入しても良い。
また、第２の実施形態において述べた画像合成装置１００Ａに対する種々の変形は、画像合成装置１００Ｃについても適用可能である。
また、画質改善処理部の代わりに、他の種々のデータ変換処理を行うユニットを適用しても良い。これにより、あるデータ変換処理が必要な画像データについて、それらの合成画像データに当該データ変換処理を行ったあと、当該データ処理が不要な画像データを、当該データ変換処理後の合成画像データの下位階層に合成することが可能になる。
【００９７】
＜第５の実施形態＞
第５の実施形態においては、上述した第１ないし第４の実施形態における第１の合成部および第２の合成部の処理が変更される。すなわち、第２の合成部において最下位階層の画像データの合成を行うか、または最上位階層の画像データの合成を行うかが、順序設定信号に応じて設定される。第１の合成部および第２の合成部における画像データの合成割合は、この順序設定に応じて変更される。
【００９８】
まず、第５の実施形態に係る画像合成装置に含まれる第１の合成部１０Ａ、２０Ａおよび第２の合成部３０Ａについて説明する。
【００９９】
（第１の合成部１０Ａ）
図１、図５、図７、図８に示す画像合成装置における第１の合成部１０は、第５の実施形態に係る画像合成装置において、たとえば図９に示す第１の合成部１０Ａに置き換えられる。
図９は、本発明の第５の実施形態に係る画像合成装置に含まれる第１の合成部１０Ａの構成の一例を示す図である。図９に示す第１の合成部１０Ａは、図２に示す第１の合成部１０と同一の構成を有するとともに、合成割合演算部１３と、選択部１４、１５とを有する。
【０１００】
合成割合演算部１３は、画像データＩｍＢの透明度αＢに応じて、画像データＩｍＡの合成割合Ｓ１３を演算し、選択部１４に出力する。合成割合Ｓ１３は、次式のように表される。
【０１０１】
【数１５】
Ｓ１３＝１−αＢ  …  （２０）
【０１０２】
選択部１４は、合成割合演算部１１において演算される合成割合Ｓ１１Ａと、合成割合演算部１３において演算される合成割合Ｓ１３とを入力し、順序設定信号Ｓｏに応じて何れか一方を選択し、画像データＩｍＡの合成割合Ｓ１４として合成処理部１２に出力する。すなわち、順序設定信号Ｓｏにおいて画像の重ね合わせ順序が第１の順序に設定される場合、合成割合Ｓ１１Ａを選択し、重ね合わせ順序が第２の順序に設定される場合、合成割合Ｓ１３を選択する。
【０１０３】
選択部１５は、合成割合演算部１１において演算される合成割合Ｓ１１Ｂと、画像データＩｍＢの透明度αＢとを入力し、順序設定信号Ｓｏに応じて何れか一方を選択し、画像データＩｍＢの合成割合Ｓ１５として合成処理部１２に出力する。すなわち、順序設定信号Ｓｏにおいて画像の重ね合わせ順序が第１の順序に設定される場合、合成割合Ｓ１１Ｂを選択し、重ね合わせ順序が第２の順序に設定される場合、透明度αＢを選択する。
【０１０４】
（第１の合成部２０Ａ）
図１、図７に示す画像合成装置における第２の合成部２０は、第５の実施形態に係る画像合成装置において、図９に示す第１の合成部１０Ａと同等な構成を有する第１の合成部２０Ａに置き換えられる。
すなわち、図９に示す第１の合成部１０Ａと同等な構成を有する第１の合成部２０Ａに対して、画像データＩｍＡおよびＩｍＢの代わりに画像データＩｍＥおよびＩｍＣを入力し、透明度αＡおよびαＢの代わりに透明度αＥおよびαＣを入力することにより、合成結果として合成画像データＩｍＦが得られる。
【０１０５】
（第２の合成部３０Ａ）
図１、図５、図７、図８に示す画像合成装置における第２の合成部３０は、第５の実施形態に係る画像合成装置において、たとえば図１０に示す第２の合成部３０Ａに置き換えられる。
図１０は、本発明の第５の実施形態に係る画像合成装置に含まれる第２の合成部３０Ａの構成の一例を示す図である。図１０に示す第２の合成部３０Ａは、図４に示す第２の合成部３０と同等の構成を有するとともに、合成割合演算部３３と、選択部３４、３５とを有する。
【０１０６】
合成割合演算部３３は、画像データＩｍＤの透明度αＤに応じて、合成画像データＩｍＦの合成割合Ｓ３３を演算する。合成割合Ｓ３３は、次式のように表される。
【０１０７】
【数１６】
Ｓ３３＝１−αＤ  …  （２１）
【０１０８】
選択部３４は、合成画像データＩｍＦの透明度αＦと、合成割合演算部３３において演算される合成割合Ｓ３３とを入力し、順序設定信号Ｓｏに応じて何れか一方を選択し、画像データＩｍＦの合成割合Ｓ３４として合成処理部３２に出力する。すなわち、順序設定信号Ｓｏにおいて画像の重ね合わせ順序が第１の順序に設定される場合、透明度αＦを選択し、重ね合わせ順序が第２の順序に設定される場合、合成割合Ｓ３３を選択する。
【０１０９】
選択部３５は、画像データＩｍＤの透明度αＤと、合成割合演算部３１において演算される合成割合Ｓ３１とを入力し、順序設定信号Ｓｏに応じて何れか一方を選択し、画像データＩｍＤの合成割合Ｓ３５として合成処理部３２に出力する。すなわち、順序設定信号Ｓｏにおいて画像の重ね合わせ順序が第１の順序に設定される場合、合成割合Ｓ３１を選択し、重ね合わせ順序が第２の順序に設定される場合、透明度αＤを選択する。
【０１１０】
次に、上述した構成を有する第５の実施形態に係る画像合成装置の動作を説明する。
ここでは、図１、図５、図７、図８に示す画像合成装置における第１の合成部１０および２０ならびに第２の合成部３０を、上述した第１の合成部１０Ａおよび２０Ａならびに第２の合成部３０Ａへ置き換えた構成を有する画像合成装置についてそれぞれ説明する。
【０１１１】
（画像合成装置１００＿１）
画像合成装置１００＿１は、図１に示す画像合成装置１００における第１の合成部１０および２０ならびに第２の合成部３０を、上述した第１の合成部１０Ａおよび２０Ａならびに第２の合成部３０Ａへそれぞれ置き換えた構成を有する。
【０１１２】
この画像合成装置１００＿１に対して、画像の重ね合わせ順序を第１の順序に設定する順序設定信号Ｓｏが入力される場合、第１の合成部１０Ａおよび２０Ａにおける選択部１４では、合成割合演算部１１において演算される合成割合Ｓ１１Ａが選択され、選択部１５においては、合成割合演算部１１において演算される合成割合Ｓ１１Ｂが選択されて、合成処理部１２に出力される。また、第２の合成部３０Ａにおける選択部３４では、画像データＩｍＦの透明度αＦが合成割合として選択され、選択部３５では、合成割合演算部１３において演算される合成割合Ｓ３１が選択されて、合成処理部３２に出力される。
この場合、第１の合成部１０Ａおよび２０Ａにおいては上述した第１の合成部１０および２０と同等な合成処理が行われ、第２の合成部３０Ａにおいても上述した第２の合成部３０と同等な合成処理が行われる。
したがって、画像合成装置１００＿１においては、既に述べた画像合成装置１００と同様の画像合成処理が実行される。
【０１１３】
一方、画像合成装置１００＿１に対して、画像の重ね合わせ順序を第２の順序に設定する順序設定信号Ｓｏが入力される場合、第１の合成部１０Ａにおける選択部１４では、合成割合演算部１３において演算される合成割合Ｓ１３が選択され、選択部１５では透明度αＢが選択されて、合成処理部１２に出力される。このため、第１の合成部１０Ａにおいては、画像データＩｍＡを下位階層、画像データＩｍＢを上位階層とする、アルファ・ブレンディングによる画像合成が行われる。同様に、第１の合成部２０Ａにおいては、合成画像データＩｍＥを下位階層、画像データＩｍＣを上位階層とする、アルファ・ブレンディングによる画像合成が行われる。
また、第２の合成部３０Ａにおける選択部３４では、合成割合演算部３３において演算される合成割合Ｓ３３が選択され、選択部３５では透明度αＤが選択されて、合成処理部３２に出力される。このため、第２の合成処理部３０Ａにおいては、合成画像データＩｍＦを下位階層、画像データＩｍＤを上位階層とする、アルファ・ブレンディングによる画像合成が行われる。
したがって、画像合成装置１００＿１においては、画像データＩｍＡ、ＩｍＢ、ＩｍＣの順に下位階層から上位階層へ向かって合成された合成画像データＩｍＦに対して、そのさらに上位階層に、画像データＩｍＤが合成される。
【０１１４】
このように、画像合成装置１００＿１によれば、第２の合成部３０Ａにおいて最下位階層の画像データの合成を行うか、または最上位階層の画像データの合成を行うかを、順序設定信号Ｓｏに応じて設定することができる。これにより、合成画像データを利用した画像処理の自由度をより一層高めることができる。
【０１１５】
（画像合成装置１００Ａ＿１）
画像合成装置１００Ａ＿１は、図５に示す画像合成装置１００Ａにおける第１の合成部１０、第２の合成部３０を、上述した第１の合成部１０Ａ、第２の合成部３０Ａへそれぞれ置き換えた構成を有する。
【０１１６】
この画像合成装置１００Ａ＿１に対して、画像の重ね合わせ順序を第１の順序に設定する順序設定信号Ｓｏが入力される場合、第１の合成部１０Ａにおいては上述した第１の合成部１０と同等な合成処理が行われ、第２の合成部３０Ａにおいても上述した第２の合成部３０と同等な合成処理が行われる。
したがって、画像合成装置１００Ａ＿１においては、既に述べた画像合成装置１００と同様の画像合成処理が実行される。
【０１１７】
一方、画像合成装置１００Ａ＿１に対して、画像の重ね合わせ順序を第２の順序に設定する信号が入力される場合、第１の合成部１０Ａに入力される画像データＩｍＡおよびＩｍＢは、画像データＩｍＡを下位階層、画像データＩｍＢを上位階層とするアルファ・ブレンディング処理によって合成される。この合成画像データは、さらに第１の合成部１０Ａに入力され、その上位階層に画像データＩｍＣを合成するアルファ・ブレンディング処理が実行される。これにより、画像データＩｍＡ、ＩｍＢ、ＩｍＣの合成画像データＩｍＦがデータ取得部６０において取得される。
また、第２の合成部３０Ａでは、データ取得部６０において取得された合成画像データＩｍＦを下位階層、画像データＩｍＤを上位階層とするアルファ・ブレンディングによる画像合成が行われる。
したがって、画像合成装置１００Ａ＿１においては、画像データＩｍＡ、ＩｍＢ、ＩｍＣの順に下位階層から上位階層へ向かって合成された合成画像データＩｍＦに対して、そのさらに上位階層に、画像データＩｍＤが合成される。
【０１１８】
このように、画像合成装置１００Ａ＿１においても、第２の合成部３０Ａにおいて最下位階層の画像データの合成を行うか、または最上位階層の画像データの合成を行うかを、順序設定信号Ｓｏに応じて自由に設定することができる。これにより、合成画像データを利用した画像処理の自由度をより一層高めることができる。
【０１１９】
（画像合成装置１００Ｂ＿１）
画像合成装置１００Ｂ＿１は、図７に示す画像合成装置１００Ｂにおける第１の合成部１０および２０ならびに第２の合成部３０を、上述した第１の合成部１０Ａおよび２０Ａならびに第２の合成部３０Ａへそれぞれ置き換えた構成を有する。
画像合成装置１００Ｂ＿１の動作は、第１の合成部２０Ａの合成画像データＩｍＦに対して画質改善処理が行われる点を除いて、上述した画像合成装置１００＿１と同様であり、これと同等の効果を奏することができる。
また、合成画像データＩｍＦに対して画質改善処理が行われるため、画像データＩｍＡ、ＩｍＢおよびＩｍＣの合成後の画質を改善することができるとともに、画質改善処理部８０の処理によってかえって画質が劣化してしまうような画像データＩｍＤについてはそうした画質改善処理を施すことなく、これを最下位階層または最上位階層に合成することができる。
【０１２０】
（画像合成装置１００Ｃ＿１）
画像合成装置１００Ｃ＿１は、図８に示す画像合成装置１００Ｃにおける第１の合成部１０、第２の合成部３０を、上述した第１の合成部１０Ａ、第２の合成部３０Ａへそれぞれ置き換えた構成を有する。
画像合成装置１００Ｃ＿１の動作は、データ取得部６０の合成画像データＩｍＦに対して画質改善処理が行われる点を除いて、上述した画像合成装置１００Ａ＿１と同様であり、これと同等の効果を奏することができる。
また、合成画像データＩｍＦに対して画質改善処理が行われるため、画像データＩｍＡ、ＩｍＢおよびＩｍＣの合成後の画質を改善することができるとともに、画質改善処理部８０の処理によってかえって画質が劣化してしまうような画像データＩｍＤについてはそうした画質改善処理を施すことなく、これを最下位階層または最上位階層に合成することができる。
【０１２１】
なお、上述した各画像合成装置（１００＿１、１００Ａ＿１、１００Ｂ＿１、１００Ｃ＿１）においては、画像の重ね合わせ順序を第１の順序に設定する順序設定信号Ｓｏが入力される場合、何れにおいても、既に述べた各実施形態に係る画像合成装置（１００、１００Ａ、１００Ｂ、１００Ｃ）と同等な画像合成処理が実現される。したがって、この場合は、第５の実施形態に係る画像合成装置においても、既に述べた各実施形態と同様の効果を奏することが可能である。
また、各実施形態に係る画像合成装置（１００、１００Ａ、１００Ｂ、１００Ｃ）の説明において示唆した各種変形は、第５の実施形態に係る画像合成装置についても適用可能である。
【０１２２】
＜第６の実施形態＞
図１１は、本発明の第６の実施形態に係る画像合成装置１００Ｄの構成の一例を示すブロック図である。
図１１に示す画像合成装置１００Ｄは、処理部９０と、記憶部７０および７１とを有する。
【０１２３】
処理部９０は、記憶部７１に格納されたプログラムに基づいて、それぞれ透明度が設定された画像データＩｍＬ１，ＩｍＬ２，…，ＩｍＬｉ（ｉは、２より大きい任意の整数を示す）に対する後述の画像合成処理を実行し、その処理結果として合成画像データＩｍＨを出力する。処理の過程において一時的に保持することが必要となるデータ、たとえば合成画像データや透明度については、記憶部７０に一時的に格納される。
【０１２４】
処理部９０としては、たとえばＣＰＵやＤＳＰなど、プログラムに基づいて処理を実行する種々のプロセッサを適用することができる。また、記憶部７１としては、たとえばフラッシュＲＯＭやマスクＲＯＭなどの不揮発型の記憶装置を適用することが可能である。記憶部７０としては、たとえば同期ＤＲＡＭなどの高速かつ大容量の記憶装置を適用することが可能である。
【０１２５】
（画像合成処理の第１の例）
図１２は、図１１に示す画像合成装置１００Ｄにおける画像合成処理の第１の例を示すフローチャートである。
【０１２６】
ステップＳＴ２０１〜ＳＴ２０２：
ステップＳＴ２０１においては、階層が異なる２つの画像データが、それぞれの透明度に応じた割合で合成される。合成割合は、たとえば式（１５）に示す関係を用いて決定される。すなわち、２つの画像データのうち上位階層の画像データが透明度αＵ、下位階層の画像データが透明度αＭを有するものとすると、上位階層の画像データは式（１５）に示す合成割合β１で合成され、下位階層の画像データは合成割合（１−β１）で合成される。
【０１２７】
また、ステップＳＴ２０１においては、合成結果の画像データの透明度が、合成元の２つの画像データの透明度に応じて決定される。透明度の決定には、たとえば式（１９）に示す関係が用いられる。すなわち、上位階層の画像データの透明度αＵ、下位階層の画像データの透明度αＭを用いて、式（１９）に示す透明度β２が決定される。
【０１２８】
ステップＳＴ２０１において画像データの合成処理および透明度の決定処理が行われると、次にステップＳＴ２０２において、最下位階層より上位の階層の各画像データ（たとえばＩｍＬ１，ＩｍＬ２，…，ＩｍＬｉ−１）の合成が完了したか否かが判定される。
【０１２９】
ステップＳＴ２０２において上位階層の合成が完了していないと判定された場合は、再びステップＳＴ２０１に戻り、上述した画像データの合成処理および透明度の決定処理が行われる。
この場合、合成される２つの画像データのうちの一方には、前回のステップＳＴ２０１における合成結果の画像データが用いられ、その透明度としては、前回のステップＳＴ２０１において決定された透明度が用いられる。
また、合成される他方の画像データとしては、前回のステップＳＴ２０１における合成結果の画像データの合成元となった画像データに対して階層が隣接する画像データが用いられる。すなわち、ステップＳＴ２０１の処理によって合成された画像データに対し、その上位階層または下位階層に合成すべき新たな画像データとその透明度が処理部９０に入力され、上記した前回の合成結果との合成に用いられる。
【０１３０】
ステップＳＴ２０２において上位階層の合成が完了したと判定された場合は、ステップＳＴ２０３に処理が移る。
【０１３１】
ステップＳＴ２０３：
ステップＳＴ２０３においては、ステップＳＴ２０１およびＳＴ２０２における画像合成処理の反復によって取得される画像データと最下位階層の画像データ（たとえばＩｍＬｉ）とが、ステップＳＴ２０１において取得される当該画像データの透明度に応じた割合で合成される。
【０１３２】
以上説明したように、第６の実施形態に係る画像合成処理の第１の例によれば、上位階層の画像データ（ＩｍＬ１，ＩｍＬ２，…，ＩｍＬｉ−１）を合成した結果として得られる合成画像データに対して、これらの画像データよりも下位階層に、画像データ（ＩｍＬｉ）を合成することができる。すなわち、透明度がそれぞれ設定された複数の画像を合成する場合において、先に合成された画像の下位階層へ更に画像を合成することができる。これにより、合成画像データを利用した画像処理の自由度をより一層高めることができる。
【０１３３】
なお、ステップＳＴ２０１の画像合成処理において、前回の合成結果の画像データと処理部９０に入力される画像データとを合成する場合、どちらの画像データを上位階層とするかは、プログラムにおいて任意に設定可能である。
【０１３４】
（画像合成処理の第２の例）
図１３は、図１１に示す画像合成装置１００Ｄにおける画像合成処理の第２の例を示すフローチャートであり、図１２と図１３の同一符号は同一内容の処理を示す。
【０１３５】
図１３に示すように、画像合成処理の第２の例においては、ステップＳＴ２０２とステップＳＴ２０３との間にステップＳＴ２０４が挿入される。
ステップＳＴ２０４では、ステップＳＴ２０１およびＳＴ２０２における画像合成処理の反復によって取得される画像データに対して、たとえばアンチフリッカ・フィルタ処理など、画像の画質改善に係る処理が実行される。
ステップＳＴ２０４における画質改善処理後の画像データは、既に述べたステップＳＴ２０３の処理によって、最下位階層の画像データと合成される。
【０１３６】
このような画質改善処理を行うステップを設けることにより、上位階層の画像データ（たとえばＩｍＬ１，ＩｍＬ２，…，ＩｍＬｉ−１）の合成後の画質を改善することができるとともに、ステップＳＴ２０４の画質改善処理によってかえって画質が劣化してしまうような画像データ（たとえばＩｍＬｉ）についてはそうした画質改善処理を施すことなく、これを最下位階層に合成することができる。
【０１３７】
たとえば、ステップＳＴ２０４においてアンチフリッカ・フィルタ処理が行われるものとし、画像データＩｍＬ１，ＩｍＬ２，…，ＩｍＬｉ−１として静止画像データ、画像データＩｍＬｉとして動画像データが入力されるものとすると、動画像データに対してアンチフリッカ・フィルタ処理を施すことなく静止画像データの画質改善を図ることができるとともに、動画像を静止画像よりも下位の階層に合成することが可能となる。
【０１３８】
なお、図１３に示すフローチャートでは、最下位階層より上位の階層の合成画像データに対して画質改善処理が施されているが、この例に限らず、たとえばステップＳＴ２０１の画像合成処理が反復される過程において、合成結果の画像データに対して画質改善処理を行うステップを随時挿入しても良い。
また、画質改善処理の代わりに、他の種々のデータ変換処理を行うステップを挿入しても良い。これにより、あるデータ変換処理が必要な画像データについて、それらの合成画像データに当該データ変換処理を行ったあと、当該データ処理が不要な画像データを、当該データ変換処理後の合成画像データの下位階層に合成することが可能になる。
【０１３９】
（画像合成処理の第３の例）
図１４は、図１１に示す画像合成装置１００Ｄにおける画像合成処理の第３の例を示すフローチャートであり、図１２と図１４の同一符号は同一内容の処理を示す。
【０１４０】
ステップＳＴ２０５〜ＳＴ２０６：
まず、ステップＳＴ２０５において、画像の重ね合わせ順序が第１の順序または第２の順序に設定される。たとえば、処理部９０に入力される順序設定信号に応じて、この重ね合わせ順序が設定される。
次いで、ステップＳＴ２０６において、重ね合わせ順序が第１の順序または第２の順序の何れに設定されたかが判定される。第１の順序に設定されたと判定された場合はステップＳＴ２０１〜ＳＴ２０３が実行され、第２の順序に設定されたと判定された場合はステップＳＴ２０７〜ＳＴ２０８が実行される。
【０１４１】
ステップＳＴ２０１〜ＳＴ２０３：
図１２に示すフローチャートと同様の処理が実行される。すなわち、上位階層の画像データの合成結果に対して、最下位階層の画像データが合成される。
【０１４２】
ステップＳＴ２０７〜ＳＴ２０８：
ステップＳＴ２０７においては、階層が異なる２つの画像データが、上位階層の画像データの透明度に応じた割合で合成される。すなわち、透明度α１を有する上位階層の画像データＩｍ１と下位階層の画像データＩｍ２とを合成するものとすると、合成結果の画像データＩｍ３は式（１）の関係を用いて合成される。
【０１４３】
ステップＳＴ２０７において画像データの合成処理が行われると、次にステップＳＴ２０８において、全階層の画像データ（ＩｍＬ１，ＩｍＬ２，…，ＩｍＬｉ）の合成が完了したか否かが判定される。
【０１４４】
ステップＳＴ２０８において全階層の合成が完了していないと判定された場合は、再びステップＳＴ２０７に戻り、上述した画像データの合成処理が行われる。
この場合、合成される２つの画像データのうちの一方には、前回のステップＳＴ２０７における合成結果の画像データが用いられる。
また、合成される他方の画像データとしては、前回のステップＳＴ２０７における合成結果の画像データの合成元となった画像データに対して上位階層の画像データが用いられる。すなわち、ステップＳＴ２０７の処理によって合成された画像データに対し、その上位階層に合成すべき新たな画像データとその透明度が処理部９０に入力され、上記した前回の合成結果との合成に用いられる。
ステップＳＴ２０８において全階層の合成が完了した判定された場合、画像合成処理を終了する。
【０１４５】
以上説明したように、第６の実施形態に係る画像合成処理の第３の例によれば、画像の重ね合わせ順序が第１の順序に設定された場合、上位階層の画像の合成結果に対してその下位階層に画像が合成され、この重ね合わせ順序が第２の順序に設定された場合、下位階層の画像の合成結果に対してその上位階層に画像が合成される。このように、画像の重ね合わせ順序を自由に設定することが可能になり、合成画像データを利用した画像処理の自由度をより一層高めることができる。
【０１４６】
（画像合成処理の第４の例）
図１５は、図１１に示す画像合成装置１００Ｄにおける画像合成処理の第４の例を示すフローチャートであり、図１４と図１５の同一符号は同一内容の処理を示す。
【０１４７】
図１５に示すように、画像合成処理の第４の例では、画像の重ね合わせ順序が第１の順序に設定される場合、既に述べた図１３に示すフローチャートと同等の画像合成処理が実行される。また、画像の重ね合わせ順序が第１の順序に設定される場合は、次に述べるステップＳＴ２０７、ステップＳＴ２０９〜ＳＴ２１１の処理が実行される。
【０１４８】
ステップＳＴ２０７、ＳＴ２０９：
ステップＳＴ２０７においては、階層が異なる２つの画像データが、上位階層の画像データの透明度に応じた割合で合成される。すなわち、２つの画像データが式（１）の関係を用いて合成される。
【０１４９】
ステップＳＴ２０７において画像データの合成処理が行われると、次にステップＳＴ２０９において、最上位階層より下位の階層の画像データの合成が完了したか否かが判定される。
【０１５０】
ステップＳＴ２０９において下位階層の合成が完了していないと判定された場合は、再びステップＳＴ２０７に戻り、上述した画像データの合成処理が行われる。
この場合、合成される２つの画像データのうちの一方には、前回のステップＳＴ２０７における合成結果の画像データが用いられる。
また、合成される他方の画像データとしては、前回のステップＳＴ２０７における合成結果の画像データの合成元となった画像データに対して上位階層の画像データが用いられる。すなわち、ステップＳＴ２０７の処理によって合成された画像データに対し、その上位階層に合成すべき新たな画像データとその透明度が処理部９０に入力され、上記した前回の合成結果との合成に用いられる。
ステップＳＴ２０８において下位階層の合成が完了した判定された場合、ステップＳＴ２１０に処理が移る。
【０１５１】
ステップＳＴ２１０：
ステップＳＴ２１０では、ステップＳＴ２０７およびＳＴ２０９における画像合成処理の反復によって取得される画像データに対して、たとえばアンチフリッカ・フィルタ処理など、画像の画質改善に係る処理が実行される。
【０１５２】
ステップＳＴ２１１：
ステップＳＴ２１０における画質改善処理後の画像データは、最上位階層の画像データと合成される。この合成割合は、最上位階層の画像データの透明度に応じて決定される。
【０１５３】
以上説明したように、第６の実施形態に係る画像合成処理の第４の例によれば、既に述べた第３の例と同様に、画像の重ね合わせ順序を自由に設定することが可能になり、合成画像データを利用した画像処理の自由度をより一層高めることができる。
さらに、ステップＳＴ２０７またはステップＳＴ２０１において合成される画像データに対して画質改善処理が行われるため、これらの画像データに関わる画質を改善することができるとともに、この画質改善処理によってかえって画質が劣化してしまうような画像データについてはそうした画質改善処理を施すことなく、これを最下位階層または最上位階層に合成することができる。
【０１５４】
たとえば、ステップＳＴ２０４、ＳＴ２１０においてアンチフリッカ・フィルタ処理が行われるものとし、画像データＩｍＬ１，ＩｍＬ２，…，ＩｍＬｉ−１として静止画像データ、画像データＩｍＬｉとして動画像データが入力されるものとすると、動画像データに対してアンチフリッカ・フィルタ処理を施すことなく静止画像データの画質改善を図ることができるとともに、動画像を静止画像よりも下位または上位の階層に合成することが可能となる。
【０１５５】
なお、図１５に示すフローチャートでは、最下位階層または最上位階層を除く各階層の合成画像データに対して画質改善処理が施されているが、この例に限らず、たとえばステップＳＴ２０１やステップＳＴ２０７の画像合成処理が反復される過程において、合成結果の画像データに対して画質改善処理を行うステップを随時挿入しても良い。
また、画質改善処理の代わりに、他の種々のデータ変換処理を行うステップを挿入しても良い。これにより、あるデータ変換処理が必要な画像データについて、それらの合成画像データに当該データ変換処理を行ったあと、当該データ処理が不要な画像データを、当該データ変換処理後の合成画像データの上位階層または下位階層に合成することが可能になる。
【０１５６】
＜第７の実施形態＞
図１６は、本発明の第７の実施形態に係る画像再生処理装置１０００の構成の一例を示すブロック図である。
図１６に示す画像再生処理装置１０００は、デコード部２００と、コーデック部３００と、記憶部４００と、ＤＶＤ部５００と、グラフィックス処理部６００と、画像メモリ７００と、制御部８００とを有する。
【０１５７】
（デコード部２００）
デコード部２００は、アンテナ１００の受信信号から復調されるビデオ信号や、ケーブルを介して入力されるビデオ信号ＳＶ−ｉｎを復号し、画像データを再生する。たとえば、ＮＴＳＣ（ｎａｔｉｏｎａｌ  ｔｅｌｅｖｉｓｉｏｎ  ｓｙｓｔｅｍ  ｃｏｍｍｉｔｔｅｅ）方式やＰＡＬ（ｐｈａｓｅ  ａｌｔｅｒｎａｔｉｏｎ  ｂｙ  ｌｉｎｅ）方式のビデオ信号を復号する。また、ビデオ信号ＳＶ−ｉｎとしては、たとえばＳビデオ信号（ｓｅｐａｒａｔｅ  ｖｉｄｅｏ  ｓｉｇｎａｌ）が入力される。
【０１５８】
（コーデック部３００）
コーデック部３００は、デコード部２００において復号された画像データを、記憶部４００やＤＶＤ部５００において格納されるデータの形式に適合した所定の符号化方式で符号化し、これらの装置に出力する。
また、コーデック部３００は、記憶部４００やＤＶＤ部５００に格納される符号化データを読み出して復号し、グラフィックス処理部６００に出力する。
【０１５９】
（記憶部４００）
記憶部４００は、コーデック部３００から出力される符号化データを格納する。また、コーデック部３００からの要求に応じて、格納した符号化データをコーデック部３００に出力する。
記憶部４００としては、たとえば、ハードディスクなどの大容量の記憶装置が適用される。
【０１６０】
（ＤＶＤ部５００）
ＤＶＤ部５００は、コーデック部３００から出力される符号化データをＤＶＤへ書き込む処理を行う。また、コーデック部３００からの要求に応じて、ＤＶＤに書き込まれた符号化データを読み取り、コーデック部３００に出力する。
【０１６１】
（グラフィックス処理部６００）
グラフィックス処理部６００は、デコード部２００やコーデック部３００から出力される画像データに対して種々の画像処理を実行し、その処理結果を再びビデオ信号Ｖ−ｏｕｔ、ＳＶ−ｏｕｔに変換して、ディスプレイ装置などの外部装置に供給する。
画像処理としては、たとえばＯＳＤ機能を実現するための画像合成処理や、画質改善処理などが実行される。
【０１６２】
図１７は、図１６に示す画像再生処理装置１０００におけるグラフィックス処理部６００の構成の一例を示すブロック図である。
図１７に示すグラフィックス処理部６００は、制御バス・インターフェース部６０１と、メモリバス・インターフェース部６０２と、選択部６０３と、画像合成部６０４と、ビデオ信号出力部６０５とを有する。
【０１６３】
制御バス・インターフェース部６０１は、後述の制御部８００から制御バスＢＳ１を介して伝送される各種の制御信号を入力し、グラフィックス処理部６００の各ユニットに出力する。また、グラフィックス処理部６００の各ユニットから制御部８００に向けて出力される信号を入力し、制御バスＢＳ１を介して制御部８００に伝送する。
【０１６４】
メモリバス・インターフェース部６０２は、後述の画像メモリ７００に対するグラフィックス処理部６００の読み書き動作を制御する。画像データは、グラフィックス処理部６００と画像メモリ７００とを接続するメモリバスＢＳ２を介して伝送される。
なお、グラフィックス処理部６００と他のユニット（デコード部２００やコーデック部３００）との間における画像データの伝送に、メモリバスＢＳ２を用いることも可能である。この場合は、これらのユニットにおいても同様なメモリバス・インターフェース部が設けられる。
【０１６５】
選択部６０３は、デコード部２００やコーデック部３００から供給される画像データ（たとえば動画像データＩｍ１、Ｉｍ２）、および、メモリバスＢＳ２を介して画像メモリ７００から読み出される画像データ（たとえば静止画像データＩｍ３〜Ｉｍ６）の中から、画像合成部６０４へ入力する画像データを選択し、画像合成部６０４の適切な画像データ入力端子へ供給する。
選択部６０３におけるこの選択動作は、制御部８００が生成する制御信号により制御される。制御信号は、合成すべき所望の画像データとその所望の重ね合わせ順序に応じて生成される。
【０１６６】
なお、画像メモリ７００に格納される静止画像データとしては、たとえば、制御部８００によって設定される文字や図形の情報に基づいて、図示しない静止画像生成部により生成される画像データを利用しても良いし、あるいは、デコード部２００、コーデック部３００から出力される画像データの一部を利用しても良い。
【０１６７】
画像合成部６０４は、本発明に係る画像合成処理を行うユニットであり、たとえば、既に述べた第１ないし第６の実施形態に係る画像合成装置と同様な処理を実行する。
【０１６８】
なお、第５の実施形態に係る画像合成装置が適用される場合や、第６の実施形態に係る画像処理装置によって図１４または図１５に示すフローチャートの処理が実行される場合は、画像の重ね合わせ順序を設定する順序設定信号が制御部８００によって与えられる。
【０１６９】
また、上述した画像合成装置１００Ｄのように３以上の画像データの合成が並列に実行されない場合には、選択部６０３を省略して、合成に必要な画像データを随時入力する構成としても良い。
【０１７０】
ビデオ信号出力部６０５は、画像合成部６０４において合成された画像データを、たとえばＮＴＳＣ方式やＰＡＬ方式などの所定の方式のビデオ信号に変換して出力する。図１７の例では、画像合成部６０４の合成画像データをコンポジット・ビデオ信号Ｖ−ｏｕｔとＳビデオ信号ＳＶ−ｏｕｔに変換して出力する。
以上が、グラフィックス処理部６００の説明である。
【０１７１】
（画像メモリ７００）
画像メモリ７００は、グラフィックス処理部６００において処理される画像データを一時的に格納するための記憶装置である。画像メモリ７００としては、たとえば同期ＤＲＡＭなどの高速、大容量の記憶装置が適用される。
【０１７２】
（制御部８００）
制御部８００は、コーデック部３００やグラフィックス処理部６００に対して各種の制御信号を出力し、これらの動作を制御する処理を行う。たとえば、グラフィックス部６００において画像合成処理が行われる場合に、画像の重ね合わせ順序を設定する順序設定信号を出力する。また、コーデック部３００における画像データの符号化・復号化方式の設定や、記憶部４００、ＤＶＤ部５００に対するデータの書き込み・読み出し処理の制御を行う。これらの制御信号は、たとえば、図示しないインターフェース部を介して入力されるユーザの操作情報に基づいて生成される。
【０１７３】
次に、上述した構成を有する画像再生処理装置の動作を説明する。
アンテナ１００の受信信号から復調されるビデオ信号や、ケーブルを介して入力されるビデオ信号ＳＶ−ｉｎは、デコード部２００において画像データに復号される。また、記憶部４００に格納される符号化データやＤＶＤ部５００においてＤＶＤから読み取られる符号化データは、コーデック部３００において画像データに復号される。デコード部２００およびコーデック部３００において復号された画像データ、ならびに、画像メモリ７００に格納された画像データは、グラフィックス処理部６００において合成され、ビデオ信号Ｖ−ｏｕｔ、ＳＶ−ｏｕｔに変換されて、ディスプレイ装置などの外部装置に出力される。
【０１７４】
また、グラフィックス処理部６００では、デコード部２００、コーデック部３００、画像メモリ７００から供給される画像データの中から、合成に用いられる画像データが選択部６０３において選択され、所望の重ね合わせ順序が得られるように決定された画像合成装置６０４の入力端子に入力される。
画像合成部６０４では、上述した第１ないし第６の実施形態に係る画像合成装置と同様の画像合成処理が実行される。
画像合成部６０４において合成された画像データは、ビデオ信号出力部６０５においてビデオ信号Ｖ−ｏｕｔ、ＳＶ−ｏｕｔに変換される。
【０１７５】
以上説明したように、図１６に示す画像再生処理装置１０００によれば、グラフィックス処理部６００において、第１ないし第６の実施形態に係る画像合成装置と同様の画像合成処理が実行されるため、透明度がそれぞれ設定された複数の画像を合成する場合において、先に合成された画像の下位階層へ更に画像を合成することができる。これにより、最下位階層の画像データを含まない上位階層の合成画像データを取得することが可能になり、合成画像データを利用した画像処理の自由度を高めることができる。
【０１７６】
たとえば、文字や図形を含む静止画像を動画像の上に重ねるＯＳＤ機能を実現する場合、上位階層の静止画像の合成結果にアンチフリッカ・フィルタ処理を施した後で、その下位階層に動画像を重ねることが可能になる。これにより、静止画像の画質を高めることができるとともに、静止画像の色合いを動画像に影響され難くすることができる。
【０１７７】
また、画像の重ね合わせ順序を自由に設定することが可能になり、合成画像を利用した画像処理の自由度を高めることができる。たとえば、複数の合成画像データにそれぞれ別の画像処理を施した後で、これらをさらに合成する処理も可能である。このように画像処理の自由度を高められることから、再生画像の品質や表現性を高めることができる。
【０１７８】
なお、本発明は上述した実施形態に限定されない。
たとえば、上述した各実施形態において１つの画像データに設定される透明度は１つだけとは限らない。画像データに含まれるそれぞれの画素データに独立の透明度を設定しても良い。
【０１７９】
図１６においてはＤＶＤ装置５００を含む画像再生処理装置の例が示されているが、本発明はこの例に限定されない。ＤＶＤに限らず、他の種々の記録媒体から画像の情報を読み出す構成としても良い。また、コーデック部３００、記憶部４００、ＤＶＤ部５００を省略した構成でも良いし、その逆に、デコード部２００を省略した構成でも良い。その他、複数の画像の合成結果をディスプレイ装置に画像として再生させるための処理を行う種々の画像再生処理装置に本発明を適用するこが可能である。
【０１８０】
【発明の効果】
本発明の画像合成装置、画像合成方法、プログラム、画像再生処理装置によれば、透明度がそれぞれ設定された複数の画像を合成する場合において、先に合成された画像の下位階層へ更に画像を合成することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像合成装置の構成の一例を示すブロック図である。
【図２】第１の合成部の構成の一例を示すブロック図である。
【図３】２階層の画像データの透明度と合成割合との関係を説明するための図である。
【図４】本発明の第１の実施形態に係る第２の合成部の構成の一例を示すブロック図である。
【図５】本発明の第２の実施形態に係る画像合成装置の構成の一例を示すブロック図である。
【図６】データ取得部における処理の流れを説明するためのフローチャートである。
【図７】本発明の第３の実施形態に係る画像合成装置の構成の一例を示すブロック図である。
【図８】本発明の第４の実施形態に係る画像合成装置の構成の一例を示すブロック図である。
【図９】本発明の第５の実施形態に係る画像合成装置に含まれる第１の合成部の構成の一例を示す図である。
【図１０】本発明の第５の実施形態に係る画像合成装置に含まれる第２の合成部の構成の一例を示す図である。
【図１１】本発明の第６の実施形態に係る画像合成装置の構成の一例を示すブロック図である。
【図１２】図１１に示す画像合成装置における画像合成処理の第１の例を示すフローチャートである。
【図１３】図１１に示す画像合成装置における画像合成処理の第２の例を示すフローチャートである。
【図１４】図１１に示す画像合成装置における画像合成処理の第３の例を示すフローチャートである。
【図１５】図１１に示す画像合成装置における画像合成処理の第４の例を示すフローチャートである。
【図１６】本発明の第７の実施形態に係る画像再生処理装置の構成の一例を示すブロック図である。
【図１７】図１６に示す画像再生処理装置におけるグラフィックス処理部の構成の一例を示すブロック図である。
【図１８】アルファ・ブレンディングによる画像合成を行うための画像合成装置の一般的な構成例を示す図である。
【図１９】アンチフリッカ・フィルタによる画質改善処理を行うフィルタ部を備えた画像合成装置の構成例を示すブロック図である。
【図２０】図１９に示す画像合成装置におけるフィルタ部の挿入位置を変更したブロック図である。
【符号の説明】
１０，２０，１０Ａ，２０Ａ…第１の合成部、３０，３０Ａ…第２の合成部、４０，５０…透明度決定部、６０…データ取得部、７０，７１…記憶部、８０…画質改善処理部、９０…処理部、１１，１３，３１，３３…合成割合演算部、１２，３２…合成処理部、１４，１５，３４，３５…選択部、１００，１００Ａ，１００Ｂ，１００Ｃ，１００Ｄ…画像合成装置、２００…デコード部、３００…コーデック部、４００…記憶部、５００…ＤＶＤ部、６００…グラフィックス処理部、６０１…制御バス・インターフェース部、６０２…メモリバス・インターフェース部、６０３…選択部、６０４…画像合成部、６０５…ビデオ信号出力部６０２、７００…画像メモリ、８００…制御部、１０００…画像再生処理装置
【図１】
2004326456.tif 000006
【図２】
2004326456.tif 000007
【図３】
2004326456.tif 000008
【図４】
2004326456.tif 000009
【図５】
2004326456.tif 000010
【図６】
2004326456.tif 000011
【図７】
2004326456.tif 000012
【図８】
2004326456.tif 000013
【図９】
2004326456.tif 000014
【図１０】
2004326456.tif 000015
【図１１】
2004326456.tif 000016
【図１２】
2004326456.tif 000017
【図１３】
2004326456.tif 000018
【図１４】
2004326456.tif 000019
【図１５】
2004326456.tif 000020
【図１６】
2004326456.tif 000021
【図１７】
2004326456.tif 000022
【図１８】
2004326456.tif 000023
【図１９】
2004326456.tif 000024
【図２０】
2004326456.tif 000025