(57)【要約】【課題】  画像を重ね合わせた合成画像における違和感の低減を図る。【解決手段】  フレーム画像を構成するドットマトリックス状の画素画像データを読み込み、フレーム画像における透視領域を決定し、これに対応する合成対象元画像の画像領域を被透視領域として決定する。こうして決定された被透視領域に含まれる合成対象元画像の画像データをサンプリングし、その結果（ヒストグラム）に応じて画像データのデータ処理を行い、画像のコントラスト調整等を行う。こうしたデータ処理済みの画像データに基づいて合成対象の新画像を生成し、この新画像をフレーム画像の下に重なるように合成する。【選択図】  図３
2005244536.tif 000002
【特許請求の範囲】
【請求項１】
画像を重ね合わせて合成画像を生成する画像生成装置であって、
重ね合わせ対象となる第１画像と第２画像が重なり合ったときに下に位置する前記第１画像を加工する画像加工部と、
前記第１画像を透視させる透視領域を有する前記第２画像が前記第１画像の上に重なるように、前記第２画像と前記調整後の第１画像とを合成する合成部とを備え、
前記画像加工部は、
前記第２画像が有する前記透視領域に所定の関係で対応するよう前記第１画像上の所定の対応領域を決定する領域決定部と、
該決定した対応領域における前記第１画像の性質に基づいて、前記第１画像を構成する第１画像データを調整する調整部とを有する
画像生成装置。
【請求項２】
請求項１記載の画像生成装置であって、
前記調整部は、
前記第１画像データに対する補正を行って前記第１画像を調整するに当たり、前記対応領域をサンプリング領域とし、該サンプリング領域の前記第１画像データから得られた画像の統計的特性に基づいた画像データ補正により、前記第１画像を調整する
画像生成装置。
【請求項３】
請求項２記載の画像生成装置であって、
前記調整部は、
前記サンプリング領域の画像データ状況に基づいた画像データ補正を、前記第１画像を構成する前記第１画像データのうち、前記対応領域の前記第１画像データを少なくとも含む画像データについて行う
画像生成装置。
【請求項４】
請求項３記載の画像生成装置であって、
前記調整部は、
前記画像データ補正を、前記第１画像を構成する総ての前記第１画像データについて行う第１補正と、前記第１画像を構成する前記第１画像データのうち、前記対応領域の前記第１画像データについて行う第２補正から選択的に実行する
画像生成装置。
【請求項５】
請求項２ないし請求項４いずれか記載の画像生成装置であって、
更に、
前記透視領域の異なる画像を複数記憶する記憶部と、
該記憶された複数の画像の一つを、前記第２画像として選択する画像選択部とを有する
画像生成装置。
【請求項６】
請求項５記載の画像生成装置であって、
前記記憶部は、外部から前記透視領域の異なる画像の入力が可能とされている
画像生成装置。
【請求項７】
請求項２ないし請求項６いずれか記載の画像生成装置であって、
前記第２画像を構成する第２画像データには、前記対応領域を決定する情報が含まれている
画像生成装置。
【請求項８】
請求項２ないし請求項７いずれか記載の画像生成装置であって、
前記第２画像データには、前記第１画像調整に際して前記第１画像データに対して行う補正の内容に関する補正関与データが含まれ、
前記調整部は、前記補正関与データを反映させて前記第１画像データを補正し、前記第１画像を調整する
画像生成装置。
【請求項９】
請求項２ないし請求項７いずれか記載の画像生成装置であって、
更に、
前記第２画像が有する前記透視領域の周辺の前記第２画像の透視領域周辺画像部位を少なくとも含む第２画像領域について、該第２画像領域を第２画像サンプリング領域として、該第２画像サンプリング領域に含まれる前記第２画像の第２画像データから得られた画像の統計的特性を求める第２画像サンプリング部を備え、
前記調整部は、前記第２画像サンプリング部が求めた前記統計的特性を、前記第１画像データの補正に反映させて前記第１画像を調整する
画像生成装置。
【請求項１０】
複数の画像を重ね合わせて合成画像を生成する画像生成装置であって、
画像合成に際して、第１画像を調整する調整部と、
加工後の第１画像と、その重ね合わせ対象となる第２画像とを合成する合成部とを備え、
前記第２画像は、
前記第１画像の一部領域の画像部分が前記第２画像の上に重なることで前記第１画像の前記画像部分が見えるように定義された重ね合わせ領域を備え、
前記調整部は、
前記重ね合わせ領域に対応する前記第１画像の前記画像部分を切り出す処理と、該切り出し対象となる領域における前記第１画像の性質に基づいた前記第１画像の調整処理とを実行し、
前記合成部は、
前記切り出された前記第１画像の前記一部領域の前記画像部分を、前記第２画像の前記重ね合わせ領域に重ねて合成する
画像生成装置。
【請求項１１】
複数の画像を重ね合わせて合成画像を生成する画像生成方法であって、
（ａ）重ね合わせ対象となる第１画像と第２画像が重なり合ったときに下に位置する前記第１画像について、前記第２画像が前記第１画像を透視させるよう有する透視領域に所定の関係で対応するよう前記第１画像上の所定の対応領域を決定する工程と、
（ｂ）前記第１画像を構成する第１画像データのうち、前記工程（ａ）で決定した前記対応領域をサンプリング領域とし、該サンプリング領域の前記第１画像データから得られた画像の統計的特性に基づいた画像データの補正を行って前記第１画像を調整する工程と、
（ｃ）前記第１画像の上に重なる前記第２画像と前記工程（ｂ）で調整後の前記第１画像とを、前記第２画像が前記第１画像の上になるように合成する工程とを備える
画像生成方法。
【請求項１２】
複数の画像を重ね合わる画像合成処理をコンピュータに実行させるためのコンピュータプログラムであって、
（ａ）重ね合わせ対象となる第１画像と第２画像が重なり合ったときに下に位置する前記第１画像について、前記第２画像が前記第１画像を透視させるよう有する透視領域に所定の関係で対応するよう前記第１画像上の所定の対応領域を決定する機能と、
（ｂ）前記第１画像を構成する第１画像データのうち、前記機能（ａ）で決定した前記対応領域をサンプリング領域とし、該サンプリング領域の前記第１画像データから得られた画像の統計的特性に基づいた画像データの補正を行って前記第１画像を調整する機能と、
（ｃ）前記第１画像の上に重なる前記第２画像と前記機能（ｂ）で調整後の前記第１画像とを、前記第２画像が前記第１画像の上になるように合成する機能と、
を、前記コンピュータに実現させるコンピュータプログラム。
【請求項１３】
請求項１２に記載したコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を重ね合わせて合成画像を生成する技術に関する。
【背景技術】
【０００２】
近年では、デジタルスチルカメラ等の普及により、画像をデジタルデータで簡便に入手できる。こうした状況であるため、画像の表示或いはプリント等に際して、画像の色ずれやカラーバランスを調整する技術が提案されている（例えば、特許文献１）。
【０００３】
【特許文献１】特開平１０−２７１５２４号公報
【０００４】
また、撮影した画像を、いわゆるフレームと重ね合わせる技術も提案されている（例えば、特許文献２）。
【０００５】
【特許文献２】特開２００３−２３３３６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
画像撮影に際しては、その後のフレームとの合成を考慮されることは少ない。よって、撮影済み画像を、その色ずれやカラーバランスを調整した上でフレームと合成すると、合成画像に違和感が生じることがある。例えば、カラーバランス等の調整は、その画像全体について実行されるものの、フレームとの合成画像では、その調整済み画像の一部領域しか視認できない。このため、せっかく行ったバランス調整が、フレームにより画像の視認領域が限定されるような場合には、却ってアンバランスとなることもあった。
【０００７】
本発明は、上記問題点を解決するためになされ、画像を重ね合わせた合成画像における違和感の低減を図ることを目的とする。
【課題を解決するための手段】
【０００８】
かかる課題の少なくとも一部を解決するため、本発明の画像生成装置では、重ね合わせ対象となる第１画像と当該第１画像の透視領域を有する第２画像の両画像を、第２画像が第１画像の上に重なるような合成に先立ち、下に位置する第１画像を加工する。この加工に際しては、第２画像の透視領域に所定の関係で対応するよう第１画像の対応領域を決定した上で、第１画像を構成する第１画像データを、この決定した対応領域における第１画像の性質に基づいて調整する。このため、第２画像の透視領域でしか視認されない第１画像についての画像調整は、この視認される領域、即ち対応領域での第１画像での画像の性質に基づくものとなるので、第１画像が視認される視認領域が第２画像で制限されても、画像調整済みの第１画像の違和感を軽減できる。
【０００９】
こうした本発明の画像生成装置において、第１画像の画像調整を、第１画像を構成する第１画像データに対する補正を行うことで実行するようにし、こうした画像調整に際し、第１画像データに対する補正時のサンプリング領域を第１画像の対応領域とする。そして、このサンプリング領域の第１画像データから得られた統計的特性に基づいて第１画像データを補正して、第１画像を調整するようにすることが好ましい。
【００１０】
こうすれば、対応領域での画像（第１画像）の性質を第１画像データでより的確に把握できるので、第１画像の視認領域が第２画像で制限された場合の画像調整済み第１画像の違和感を、より確実に軽減できる。
【００１１】
また、こうしたサンプリング領域の画像データ状況に基づいた第１画像の画像データ補正を、第１画像を構成する第１画像データのうち、被透視領域の前記第１画像データを少なくとも含む画像データについて行うようにすることが好ましい。この場合、第１画像を構成する総ての第１画像データについて画像データ補正を行ってもよく、第１画像を構成する第１画像データのうち、被透視領域の前記第１画像データ（即ち、サンプリング領域のデータ）について行う画像データ補正を行ってもよい。後者の補正手法であれば、補正対象のデータが少ないことから、処理負荷を軽減できる。
【００１２】
上記の本発明の画像生成装置において、更に、透視領域の異なる画像を複数記憶する記憶部と、この記憶された複数の画像の一つを第２画像として選択する画像選択部とを備えるようにすることもできる。こうすれば、透視領域が相違する第２画像を第１画像に合成した場合にあっても違和感を軽減でき、適用範囲の拡大を図ることができる。しかも、記憶部を外部からの画像入力が可能なものとすれば、より好ましい。
【００１３】
また、第２画像を構成する第２画像データに第１画像の調整のための対応領域を決定する情報を含ませるようにすることができる他、第２画像データに第１画像調整に際して第１画像データに対して行う補正の内容に関する補正関与データを含ませ、この補正関与データを反映させて第１画像データを補正して第１画像を調整するようにすることもできる。このようにすれば、画像調整が簡便となる。
【００１４】
更に、第２画像が有する透視領域の周辺の透視領域周辺画像部位を少なくとも含む第２画像領域について、該第２画像領域を第２画像サンプリング領域として、該第２画像サンプリング領域に含まれる第２画像データから得られた画像の統計的特性を第２画像サンプリング部で求め、この求めた統計的特性を、調整部に夜第１画像データの補正に反映させることもできる。こうすれば、第２画像における透視領域周辺画像部位を少なくとも含む第２画像領域の画像の性質が、第１画像データ調整に反映されるので、第１画像の違和感をより緩和できる。
【００１５】
この他、上記課題の少なくとも一部を解決するため、本発明は次の構成を取るようにもできる。即ち、複数の画像を重ね合わせる画像合成に際して、第１画像を調整し、この加工後の第１画像を、その重ね合わせ対象となる第２画像の上に重ねて両画像を合成する。この際、第２画像を、第１画像の一部領域の画像部分が第２画像の上に重なることで第１画像の当該画像部分が見えるように定義された重ね合わせ領域を備えるものとし、この重ね合わせ領域に対応する第１画像の画像部分の切り出す処理と、該切り出し対象となる領域における第１画像の性質に基づいた第１画像の調整処理とを実行し、画像調整および切り出し済みの第１画像の一部領域の画像部分を、第２画像の重ね合わせ領域に重ねて合成する。
【００１６】
つまり、先に説明した本発明は、第１画像の透視領域を有する第２画像を第１画像の上に重ねるようにしたが、この発明は、その逆の発想であり、第１画像の画像部分が上に重なることで第１画像の当該画像部分を見えるように定義される重ね合わせ領域を有する第２画像に、その重ね合わせ領域において、上記と同様の画像調整を行った第１画像を切り取って重ねる。こうしても、先の発明と同様の効果を奏することができる。
【００１７】
上記した本発明の画像合成は、種々の形態で実現することが可能であり、例えば、画像合成方法はもとより、画像合成装置や方法の機能をコンピュータに実現させるためのコンピュータプログラム、そのプログラムを記録した記録媒体等の形態で実現することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態について、実施例に基づき以下の順序で説明する。
Ａ．第１実施例：
Ａ１．画像処理装置の構成：
Ａ２．画像処理：
Ｂ．第２実施例の画像処理：
Ｃ．第３実施例の画像処理：
Ｄ．変形例：
【００１９】
Ａ．第１実施例：
Ａ１．画像処理装置の構成：
図１は本発明の第１実施例としての画像処理システム１００を示す説明図である。図示するように、この画像処理システム１００は、動画像や静止画像などの画像データを供給する画像データベース２０、画像データベース２０から入力した画像に対して画像処理を実行する画像処理装置としてのパーソナルコンピュータ３０、画像処理の実行をユーザが指示するためのユーザインターフェース４０、画像処理を施した画像を出力するカラープリンタ５０等から構成されている。
【００２０】
画像データベース２０は、デジタルビデオカメラ２１，デジタルスチルカメラ２２，ＤＶＤ２３，ハードディスク２４，携帯電話２５などの画像を取り扱う機器を有し、パーソナルコンピュータ３０へ画像データを供給する。なお、第１実施例の画像データベース２０に保有される画像データは、デジタルスチルカメラ２２で取得した静止画像データである。パーソナルコンピュータ３０は、後述する合成画像を、画像データベース２０のデジタルスチルカメラ２２や携帯電話２５等に出力するよう、構成されている。
【００２１】
パーソナルコンピュータ３０は、画像処理を実行するＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、画像処理のソフトウェアをインストールするハードディスク３４、画像データベース２０，ユーザインターフェース４０やカラープリンタ５０などの外部機器とやり取りするためのＩ／Ｆ回路３５等を有している。ハードディスク３４にインストールされたソフトウェアの画像処理は、入力した複数枚、詳しくは２枚の静止画像を合成して一枚の高解像度の静止画像を生成する処理である。このソフトウェアをインストールしたパーソナルコンピュータ３０は、画像処理装置としての「画像加工部」，「合成部」，「領域決定部」，「調整部」の各機能を有する。なお、この画像処理の流れについては、後に詳しく説明する。
【００２２】
ユーザインターフェース４０は、ユーザが画像処理の実行操作を行なうためのキーボード４１やマウス４２、画像処理を実行する前の画像や合成処理後の静止画像を表示するディスプレイ４３などを備えている。
【００２３】
Ａ２．画像処理：
図２は重ね合わせ対象となる第１画像と第２画像を合成して一の静止画像を生成する第１実施例の画像処理のフローチャート、図３は第１実施例の画像処理の内容を説明するための説明図である。第１画像は、第２画像の下となるように重ねられる画像であり、以下の説明では、合成対象元画像と称する。第２画像は、第１画像（合成対象元画像）の一部領域を透視させる透視領域を有する画像であり、フレーム画像と称する。上述のハード構成を有する画像処理システム１００において、ユーザがキーボード４１やマウス４２を操作することで、パーソナルコンピュータ３０にインストールされた画像処理が開始される。
【００２４】
画像処理が開始すると、パーソナルコンピュータ３０は、画像データベース２０にフレーム画像群として記憶済みの各フレーム画像をディスプレイ４３上で表示する（ステップＳ２００）。この際の表示には、例えばディスプレイ４３の右半分の表示領域に、サムネイル状に一覧表示したり、各画像を一枚ずつ順次表示切り替えしてもよい。ユーザは、所望するフレーム画像をマウス操作等で特定するので、パーソナルコンピュータ３０は、このフレーム画像の選択有無を判定し（ステップＳ２１０）、待機する。
【００２５】
パーソナルコンピュータ３０は、選択されたフレーム画像を構成する画素（例えば、ドットマトリックス状の画素）のデータ（画像データ）を読み込む（ステップＳ２２０）。この画像データは、ＲＧＢの色データの他、画像透過の可否を決定するアルファチャンネルデータを併せ持って構成されている。パーソナルコンピュータ３０は、こうしたフレーム画像の画像データ読み込みにより、アルファチャンネルデータで透過するとされた領域（フレーム画像における透視領域）を決定し、これに所定の関係を持って対応する合成対象元画像の画像領域を被透視領域として決定する（ステップＳ２３０）。
【００２６】
図３を用いて説明すると、パーソナルコンピュータ３０は、マトリックス座標の開始点座標（Ｘｓ，Ｙｓ）から終点座標（Ｘｅ，Ｙｅ）の各画素の画像データを読み込み、座標（Ｘａ１，Ｙｂ１）、（Ｘａ１，Ｙｂｉ）、（Ｘａｉ，Ｙｂ１）、（Ｘａｉ，Ｙｂｉ）で囲まれた矩形形状のフレーム画像の透視領域を合成対象元画像の被透視領域とする。これは、フレーム画像におけるこの矩形領域の画像データは、総て画像透過を行うとしてアルファチャンネルデータを有するからである。また、被透視領域の決定に際しては、上記した矩形形状の頂点座標の他、その位置を定める情報、例えば、開始点座標（Ｘｓ，Ｙｓ）と矩形形状コーナ座標（Ｘａ１，Ｙｂ１）との関係も決定される。この場合、フレーム画像の透視領域が矩形形状であると定まっていれば、対角の座標（Ｘａ１，Ｙｂ１）、（Ｘａｉ，Ｙｂｉ）で合成対象元画像の被透視領域を決定可能である。また、フレーム画像の透視領域が、異形形状であれば、その外郭線に乗った座標を用いれば、異形形状のフレーム画像の透視領域および合成対象元画像の被透視領域を決定できる。これらの場合の透視領域と被透視領域は、その形状が同一であるという関係を持っている。
【００２７】
透視領域およびこれに対応する被透視領域は、フレーム画像が異なれば相違するので、画像合成に用いるフレーム画像ごとに、ステップＳ２３０にて被透視領域を決定するのである。なお、一旦決定した透視領域を、そのフレーム画像の識別データ（例えば、フレーム名称データ）と対応付けてハードディスク３４に記憶させ、次回からはフレーム画像の識別データ判別を経て、フレーム画像の透視領域を読み出し合成対象元画像の被透視領域を決定するように構成することもできる。
【００２８】
パーソナルコンピュータ３０は、フレーム画像の表示・選択待機と同様、画像データベース２０に合成対象元画像群として記憶済みの各合成対象元画像をディスプレイ４３上で表示し（ステップＳ２４０）、ユーザによる合成対象元画像の選択を待機する（ステップＳ２５０）。この場合、本画像合成処理に先立ちこうした合成対象元画像表示を行い、ユーザによる合成対象元画像の選択を受けて、本画像合成処理を実行するように構成することもできる。このように構成すれば、ステップＳ２４０と２５０は省略される。
【００２９】
パーソナルコンピュータ３０は、選択された合成対象元画像を構成する画素（例えば、ドットマトリックス状の画素）のデータ（画像データ）を読み込む（ステップＳ２６０）。そして、この読み込んだ画像データのうち、ステップＳ２３０で定めた被透視領域に含まれる画像データをサンプリングし、このサンプリングの結果として得られる画像の統計的特性に基づいたデータ処理を行う（ステップＳ２７０）。このサンプリング・データ処理を図３で説明すると、ステップＳ２３０で定めた被透視領域を、読み込んだ合成対象元画像に反映させ、具体的には、既述した矩形形状の被透視領域を定める頂点座標とその位置を定める情報に基づき、合成対象元画像に被透視領域を割り当て、その領域に含まれる画素の画像データ（ＲＧＢ色データ）を画素ごとにサンプリングし、その統計的特性として輝度分布のヒストグラムを得る。そして、例えば、このヒストグラム（メジアンｍ０）を、正規分布のヒストグラム（メジアンｍ）に近づくようデータ処理を行い明度調整する。この他、ヒストグラムの最大値・最小値を左右に広げるようなデータ処理を行いコントラスト調整を行うようにすることもできる。なお、こうしたデータ処理を便宜上、補正αと称する。
【００３０】
ステップＳ２７０で求めた輝度分布は、被透視領域に含まれる画素の画像データのものであり、合成対象元画像の画像全体をサンプリング領域として得られたものとは相違する。図で説明すると、合成対象元画像には、図３のように図中右方や上方に背景画像が見られるので、合成対象元画像の画像全体をサンプリングすれば、こうした背景画像の画素の画像データもヒストグラムに乗り、輝度分布に影響を与える。ところが、ステップＳ２７０でのサンプリングは、被透視領域に含まれる画素の画像データに限られるので、背景画像の画素の画像データはヒストグラムに乗らず、輝度分布には反映されない。つまり、ステップＳ２７０でのデータ処理の結果（明度・コントラスト等の調整結果）は、被透視領域をあたかも全画像としたようなものとなるので、この被透視領域を視認した場合にあっては、画像としてのバランスが取れたものとなる。その一方、背景画像を含む合成対象元画像全体のデータ処理結果では、背景画像の画素の画像データが反映したものとなるので、その処理結果の画像を被透視領域で切り取って視認したとすれば、その切り取り画像は、背景画像の影響を受けたバランスを有することから、却ってバランスが崩れがちとなる。
【００３１】
ステップＳ２７０に続いて、パーソナルコンピュータ３０は、上記のデータ処理済みの画像データに基づいて合成対象の新画像を生成する（ステップＳ２８０）。この新画像生成は次のようにすればよい。図３に示すように、データ処理による補正αを合成対象元画像における被透視領域ウィンドウ範囲Ｗａについて行うようにして、この補正α済みの被透視領域ウィンドウ範囲Ｗａの画像を含む新画像として生成することができる。このほか、この被透視領域ウィンドウ範囲Ｗａより拡張した拡張ウィンドウ範囲Ｗｂについて補正αを行った画像を含む新画像として生成することもできる。或いは、補正αを合成対象元画像の全域について行って新画像を生成することができる。これらの新画像の生成手法は、ユーザインターフェース４０のマウス操作等にて決定するようにすればよい。
【００３２】
パーソナルコンピュータ３０は、こうして生成した合成対象新画像と、ステップＳ２１０で選択済みのフレーム画像とを、フレーム画像が上になるように重ねて合成し（ステップＳ２９０）、本ルーチンを終了する。得られた合成画像は、ハードディスク２４等に記憶され、ユーザインターフェース４０からの指示に基づき、カラープリンタ５０に印刷画像として出力されたり、ディスプレイ４３や携帯電話２５の壁紙画像として出力される。
【００３３】
この一連の画像合成処理を行う本実施例では、フレーム画像と合成対象の画像とを重ねて合成するに際して、フレーム画像により視認される被透視領域に含まれる合成対象元画像の画像データをサンプリング対象とし、その統計的特性が反映したデータ処理（補正α）を行い、合成対象となる新画像を生成する（ステップＳ２７０〜２８０）。よって、フレーム画像と合成されて視認される画像は、その視認される被透視領域の画像の性質に基づく補正α（画像調整）を受けたものとなるので、画像のバランスに崩れはなく違和感を軽減できる。また、被透視領域から視認されることになる画像調整は、元画像の画像データのデータ処理によるものであることから、違和感をより確実に軽減できる。
【００３４】
また、本実施例では、被透視領域の合成対象元画像のサンプリング結果に基づくデータ処理（補正α）を、合成対象元画像における被透視領域ウィンドウ範囲Ｗａについて行う第１手法と、被透視領域ウィンドウ範囲Ｗａより拡張した拡張ウィンドウ範囲Ｗｂについて行う第２手法と、合成対象元画像の全域について行う第３手法のいずれかを取れるようにした。よって、この補正αを経た画像生成のバリエーションを増やすことができる。特に、第１手法による新画像生成では、画像データのデータ処理、即ち補正αに処されるデータ数が少なくて済むので、演算負荷を軽減でき好ましい。また、第２手法による新画像生成では、第３手法に比べて演算負荷を軽減できるほか、生成後の新画像の画像領域をフレーム画像が有する透視領域より広くできるので、サンプリング領域としての被透視領域決定の際の演算をラフにでき、その分、演算負荷を軽減できる。
【００３５】
さらに、本実施例では、画像データベース２０に、フレーム画像となり得るフレーム画像を複数記憶させ、その中から選択されたフレーム画像の透視領域に対応する合成対象元画像の被透視領域を決定するようにした（ステップＳ２００〜２３０）。よって、透視領域が相違するフレーム画像を、同一の合成対象元画像に合成した場合にあっても違和感を軽減でき、適用範囲の拡大を図ることができる。しかも、種々のフレーム画像を画像データベース２０のＤＶＤ２３，ハードディスク２４に記憶させておき、その画像を画像合成の際に用いるようにしたので、種々のフレーム画像と合成対象元画像を合成した多様な合成画像を生成できる。なお、種々のフレーム画像をハードディスク３４に記憶させておき、その画像を用いるようにすることもできる。
【００３６】
Ｂ．第２実施例の画像処理：
第２実施例は、そのハード構成は先に説明した第１実施例と変わるものはなく、その画像処理の内容が一部相違する。図４は重ね合わせ対象となる第１画像と第２画像を合成して一の静止画像を生成する第２実施例の画像処理のフローチャート、図５は第２実施例の画像処理の内容を説明するための説明図である。
【００３７】
図４に示すように、この第２実施例にあっても、パーソナルコンピュータ３０は、まず、画像データベース２０にフレーム画像群として記憶済みの各フレーム画像をディスプレイ４３上で表示し（ステップＳ２００）、ユーザによるフレーム画像の選択を待機する（ステップＳ２１０）。フレーム画像が選択されると、パーソナルコンピュータ３０は、選択されたフレーム画像が有する画像データの読み込みとその解析を実行する（ステップＳ２２５）。
【００３８】
この実施例では、フレーム画像が有する画像データ構造に特徴があり、図５に示すように、その画像データは、合成対象元画像の画像処理に関与するデータを含むメータデータと、ＲＧＢ色データ等のフレームイメージデータとを含む。メタデータは、フレーム画像のフレーム名称のデータの他、合成対象元画像の被透視領域決定に必要とされる透視領域データ（既述した開始点座標（Ｘｓ，Ｙｓ）や透視領域の座標（Ｘａ１，Ｙｂ１）、（Ｘａｉ，Ｙｂｉ））と、合成対象元画像の画像処理に関与する補正データとを含む。
【００３９】
本実施例では、フレーム画像は矩形形状の透視領域を有すると仮定しているので、透視領域データとしては、矩形形状の始点座標（Ｘａ１，Ｙｂ１）と終点座標（Ｘａｉ，Ｙｂｉ）を持てば足り、データ構成が単純となる。この場合、透視領域が異形形状であれば、その異形形状の輪郭に沿った座標データがメタデータに蓄積される。補正データは、フレーム画像の図柄の色調、コントラスト等に基づいて、合成対象元画像の画像処理（上記した補正α）を更に補正するデータと、合成対象元画像の画像処理対象となる補正実行領域（既述した被透視領域ウィンドウ範囲Ｗａ、拡張ウィンドウ範囲Ｗｂ、全画像範囲Ｗａｌｌ）を示すデータとを含む。例えば、フレーム画像が明るい色調の図柄である場合には、先に説明した合成対象元画像の被透視領域内の画像データについての補正αにより色調補正する際に、より色調を明るくすうよう補正する（補正α→補正α０）ことを指示するデータ（例えば、補正係数等）が補正データとして格納されている。画像処理対象の補正実行領域データとしては、既述した被透視領域ウィンドウ範囲Ｗａ、拡張ウィンドウ範囲Ｗｂ、全画像範囲Ｗａｌｌのいずれかが格納されている。
【００４０】
パーソナルコンピュータ３０は、こうした諸データを読み込んで解析することで、既述したように合成対象元画像の被透視領域やデータ補正に関するデータを収得すると、画像データベース２０に合成対象元画像群として記憶済みの各合成対象元画像の表示（ステップＳ２４０）、ユーザによる合成対象元画像の選択待機（ステップＳ２５０）を行う。その後、選択合成対象元画像の画像データ読み込みを行い（ステップＳ２６０）、ステップＳ２３５で解析決定した被透視領域に含まれる画像データをサンプリングして、そのデータ処理を行う（ステップＳ２７５）。このサンプリングについては、先のステップＳ２７０と同様、輝度分布のヒストグラムを得る。ところが、このヒストグラムを用いたデータ処理に際しては、その補正αを、ステップＳ２３５で解析した補正データが反映した補正α０とする。これにより、合成対象元画像の被透視領域に含まれる画像データのサンプリングに基づく画像データ補正と、合成対象元画像の被透視領域を取り囲むフレーム画像に基づく画像データ補正とが、新たな画像に反映されることになる。
【００４１】
ステップＳ２７５に続いては、既述したステップＳ２８０とステップＳ２９０の処理を実行して、補正α０を経て生成した合成対象新画像とフレーム画像とを、フレーム画像が上になるように重ねて合成し、本ルーチンを終了する。この場合、ステップＳ２８０での新画像生成は、ステップＳ２２５で取得した補正実行領域データで定まる領域について補正α０を実行することで、新たな画像が生成される。
【００４２】
この一連の画像合成処理を行う本第２実施例にあっても、第１実施例と同様の効果を奏することができる。特に、この第２実施例では、合成対象元画像の被透視領域に含まれる画像データのサンプリングに基づく画像データ補正に、合成対象元画像の被透視領域を取り囲むフレーム画像に基づく画像データ補正を加味するので、合成後の画像全体としても違和感を軽減できる。また、フレーム画像のデータに、合成対象元画像の画像処理についてのデータを含ませているので、簡便である。
【００４３】
Ｃ．第３実施例の画像処理：
第３実施例は、フレーム画像の画像領域に合成対象元画像の一部画像を重ねるよう画像合成する点に特徴があり、ハード構成は先に説明した第１実施例と同様である。図６は重ね合わせ対象となる第１画像と第２画像を合成して一の静止画像を生成する第３実施例の画像処理のフローチャート、図７は第３実施例の画像処理の内容を説明するための説明図である。
【００４４】
図６に示すように、この第３実施例にあっても、パーソナルコンピュータ３０は、まず、画像データベース２０にフレーム画像群として記憶済みの各フレーム画像をディスプレイ４３上で表示し（ステップＳ２００）、ユーザによるフレーム画像の選択を待機する（ステップＳ２１０）。フレーム画像が選択されると、パーソナルコンピュータ３０は、選択されたフレーム画像が有する画像データの読み込みを実行する（ステップＳ２２０）。
【００４５】
この実施例では、フレーム画像が有する画像データ構造に特徴があり、図７に示すように、フレーム画像は、合成後にも視認される視認領域画像ＳＧと、合成対象元画像の一部画像に重なって視認されなくなる被視認領域画像ＨＧとを含む。フレーム画像は、視認領域画像ＳＧと被視認領域画像ＨＧについてそれぞれＲＧＢ色データを有するものの、被視認領域画像ＨＧについては、当該領域が合成対象元画像の一部画像部分が重なることで合成対象元画像のこの一部画像部分を視認させるようにする重ね合わせ領域である旨のデータ（重畳データ）を含んでいる。
【００４６】
パーソナルコンピュータ３０は、読み込んだフレーム画像の画像データに基づいて合成対象元画像の重ね合わせ領域を決定する（ステップＳ３００）。この領域決定手法は、第１実施例で説明した手法と変わるところはなく、図７に示すように、フレーム画像の重畳データで把握される被視認領域画像ＨＧを、合成対象元画像の重ね合わせ領域ＨＧ０に対応させる。この際、第１実施例で説明したように画像領域の開始点座標等のデータが用いられる。
【００４７】
こうして合成対象元画像の重ね合わせ領域ＨＧ０が決定されると、パーソナルコンピュータ３０は、画像データベース２０に合成対象元画像群として記憶済みの各合成対象元画像の表示（ステップＳ２４０）、ユーザによる合成対象元画像の選択待機（ステップＳ２５０）を行う。その後、選択合成対象元画像の画像データ読み込みを行い（ステップＳ２６０）、読み込んだ画像データのうち、合成対象元画像の重ね合わせ領域ＨＧ０に含まれる画像データで得られる画像を、合成対象元画像から切り抜く（ステップＳ３１０）。
【００４８】
パーソナルコンピュータ３０は、この切り抜き済みの画像（切り抜き画像）、即ち合成対象元画像の重ね合わせ領域ＨＧ０に含まれる画像データをサンプリングして、そのデータ処理を行う（ステップＳ３２０）。このサンプリングについては、先のステップＳ２７０と同様、輝度分布のヒストグラムを求め、例えば、そのヒストグラムヒストグラム（メジアンｍ０）を、正規分布のヒストグラム（メジアンｍ）に近づくようにする明度調整や、ヒストグラムの最大値・最小値を左右に広げるようなコントラスト調整のデータ処理（補正β）を行う。
【００４９】
ステップＳ３２０に続き、パーソナルコンピュータ３０は、上記のデータ処理済みの画像データに基づいて合成対象の切り抜き済み新画像を生成する（ステップＳ３３０）。この新画像生成は次のようにすればよい。図７に示すように、データ処理による補正βを、ステップＳ３１０で切り抜き済み画像の画像データについて行い、切り抜き形状での補正済み新画像を生成する。
【００５０】
パーソナルコンピュータ３０は、こうして生成した合成対象の切り抜き済み新画像と、ステップＳ２１０で選択済みのフレーム画像とを、フレーム画像における被視認領域画像ＨＧの領域に合成対象の切り抜き済み新画像が上になるように重ねて合成し（ステップＳ３４０）、本ルーチンを終了する。
【００５１】
この一連の画像合成処理を行う本第３実施例にあっても、第１実施例と同様の効果を奏することができる。
【００５２】
Ｄ．変形例：
以上いくつかの実施例について説明したが、本発明はこれら実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において、種々の態様で実施可能である。例えば、次のような変形も可能である。
【００５３】
図８Ａは合成対象元画像にフレーム画像を上にして重ねる画像合成の際の合成対象元画像の被透視領域決定手法（ステップＳ２３０）の１変形例を説明する説明図、図８Ｂは被透視領域決定手法（ステップＳ２３０）の他の変形例を説明する説明図、図８Ｃは被透視領域決定手法（ステップＳ２３０）のまた別の変形例を説明する説明図である。これら変形例は、フレーム画像の透視領域が異形形状を取る場合に、合成対象元画像の被透視領域を矩形形状として決定する手法を取っている。
【００５４】
図８Ａは、フレーム画像が図示する異形形状の透視領域ＴＲを有する場合、合成対象元画像における矩形形状の被透視領域ＨＴＲを、異形形状の透視領域ＴＲに納まってしまう矩形形状の最大の大きさとする例を示している。また、この変形例は、図１のようにフレーム画像が矩形形状の透視領域を有する場合であっても、合成対象元画像における矩形形状の被透視領域ＨＴＲをフレーム画像の矩形形状の透視領域と必ずしも一致させる必要がないことも意味する。なお、矩形形状を長方形とすれば、その四辺が異形形状の透視領域ＴＲの最も内側で接するような長方形とすることもできる。
【００５５】
こうすれば、ステップＳ２７０における画像データ処理の際のサンプリング領域（即ち、被透視領域ＨＴＲ）を狭くできるので、演算負荷を軽減できる。この場合、データ処理（補正α）を行って新画像を生成するに際しては、補正の対象となる領域を、透視領域ＴＲより広い拡張ウィンドウ範囲Ｗｂとしたり、合成対象元画像の全域とすればよい。なお、拡張ウィンドウ範囲Ｗｂを被透視領域ＨＴＲとすることもでき、この場合は、合成対象元画像における矩形形状の被透視領域ＨＴＲを、異形形状の透視領域ＴＲを取り囲む矩形形状の最小の大きさとする例となる。
【００５６】
図８Ｂは、フレーム画像が図示する異形形状の透視領域ＴＲを有する場合、合成対象元画像における矩形形状の被透視領域ＨＴＲを、異形形状の透視領域ＴＲの外郭線と干渉するようにする例を示している。換言すれば、図８Ａにおいて実線で示す合成対象元画像の最小矩形形状の被透視領域ＨＴＲと、二点鎖線で示す最大矩形形状の被透視領域ＨＴＲの間の中間矩形形状の被透視領域ＨＴＲとする例でもある。
【００５７】
図８Ｃは、フレーム画像が図示する異形形状の透視領域ＴＲを有する場合、合成対象元画像における矩形形状の被透視領域を、図８Ａに実線で示す合成対象元画像の最小矩形形状の被透視領域ＨＴＲ１と、図８Ｂに実線で示す中間矩形形状の被透視領域ＨＴＲ２とを有するようにし、その上で、ステップＳ２３０での被透視領域決定や、ステップＳ２７０でのデータ処理（補正α）に重み付けを施した例を示している。つまり、この図８Ｃにおいて、最小矩形形状の被透視領域ＨＴＲ１に含まれる画像データをステップＳ２３０での被透視領域とし、この被透視領域（最小矩形形状の透視領域ＨＴＲ１）に含まれる画像データについて、ステップＳ２７０におけるサンプリングを行う。そして、最小矩形形状の透視領域ＨＴＲ１に含まれる画像データについての補正αは、その重み付けを１として既述した補正αそのままの手法でデータ処理を行う。ところが、中間矩形形状の被透視領域ＨＴＲ２に含まれ最小矩形形状の被透視領域ＨＴＲ１から離れた領域に含まれる画像データについての補正αは、その重み付けを、例えば０．７というような重み付けをして、データ処理を行う。こうすれば、次のような利点がある。
【００５８】
合成対象元画像をステップＳ２７０でのサンプリング結果に基づきデータ補正する際、フレーム画像の透視領域に干渉せずに当該領域に含まれる画像（最小矩形形状の透視領域ＨＴＲ１に相当する画像）は、重み付けが１で補正αのデータ処理が行われた画像となり、その外側の画像（中間矩形形状の被透視領域ＨＴＲ２と最小矩形形状の被透視領域ＨＴＲ１の間の画像）は、重み付けが異なることから、画像の色調・コントラストを、最小矩形形状の透視領域ＨＴＲ１に相当する画像とフレーム画像での画像の推移に合わせることも可能となる。よって、合成画像における違和感をより軽減することも可能となる。
【００５９】
また、合成対象元画像の被透視領域決定に際しては、フレーム画像における透視領域と合成対象元画像の被透視領域のマトリックス座標の開始点座標（Ｘｓ，Ｙｓ）を同じとしたが、次のようにすることもできる。フレーム画像の透視領域に組み込まれて透視される画像は、人物の顔とされることが一般的である。よって、合成対象元画像が人物画像を有するようなものであれば、ステップＳ２３０における処理を、フレーム画像における透視領域決定の処理と、合成対象元画像が有する人物の顔描写部分の特定処理と、顔描写部分をフレーム画像における透視領域に対応するよう定める適応処理とに分けるようにすることもできる。こうすれば、フレーム画像の透視領域のほぼ中央付近に、合成対象元画像における人物の顔を合成するようにすることができ好ましい。なお、合成対象元画像が有する人物の顔描写部分の特定は、マトリックス状の画素データが肌色データとして縦・横に分布する状態等の解析を経て実行される。
【００６０】
次のような変形例も可能である。第２実施例では、合成対象元画像の被透視領域に含まれる画像データのサンプリングに基づく画像データ補正（補正α）に、合成対象元画像の被透視領域を取り囲むフレーム画像に基づく画像データ補正（補正α０）を加味するに当たり、この補正α０をフレーム画像のデータに含ませた。しかし、こうした補正α０を、フレーム画像そのものから演算算出するよう、変形することができる。
【００６１】
つまり、フレーム画像の透視領域周辺、例えば透視領域周囲の画像部位を少なくとも含むフレーム画像の画像領域をサンプリング領域として、当該領域に含まれる画像データから得られた画像の統計的特性（例えば、輝度分布）を求める。そして、この統計的特性を、第２実施例における補正α０に代えて用い、合成対象元画像の画像データ補正を行う。こうしても、第２実施例と同様の効果を得ることができる。輝度分布の他、統計的特性として得られるフレーム画像における透視領域周辺の画像の色調に応じて、合成対象元画像を補色補正（データ補正）するようにすることもできる。
【図面の簡単な説明】
【００６２】
【図１】本発明の第１実施例としての画像処理システム１００を示す説明図である。
【図２】重ね合わせ対象となる第１画像と第２画像を合成して一の静止画像を生成する第１実施例の画像処理のフローチャートである。
【図３】第１実施例の画像処理の内容を説明するための説明図である。
【図４】重ね合わせ対象となる第１画像と第２画像を合成して一の静止画像を生成する第２実施例の画像処理のフローチャートである。
【図５】第２実施例の画像処理の内容を説明するための説明図である。
【図６】重ね合わせ対象となる第１画像と第２画像を合成して一の静止画像を生成する第３実施例の画像処理のフローチャートである。
【図７】第３実施例の画像処理の内容を説明するための説明図である。
【図８Ａ】合成対象元画像にフレーム画像を上にして重ねる画像合成の際の合成対象元画像の被透視領域決定手法の１変形例を説明する説明図である。
【図８Ｂ】画像の重ね合わせ合成の際の被透視領域決定手法の他の変形例を説明する説明図である。
【図８Ｃ】画像の重ね合わせ合成の際の被透視領域決定手法のまた別の変形例を説明する説明図である。
【符号の説明】
【００６３】
２０...画像データベース
２１...デジタルビデオカメラ
２２...デジタルスチルカメラ
２３...ＤＶＤ
２４...ハードディスク
２５...携帯電話
３０...パーソナルコンピュータ
３４...ハードディスク
３５...Ｉ／Ｆ回路
４０...ユーザインターフェース
４１...キーボード
４２...マウス
４３...ディスプレイ
５０...カラープリンタ
１００...画像処理システム
ＳＧ...視認領域画像
ＨＧ...被視認領域画像
ＴＲ...透視領域
ＨＴＲ...被透視領域
【図１】
2005244536.tif 000003
【図２】
2005244536.tif 000004
【図３】
2005244536.tif 000005
【図４】
2005244536.tif 000006
【図５】
2005244536.tif 000007
【図６】
2005244536.tif 000008
【図７】
2005244536.tif 000009
【図８Ａ】
2005244536.tif 000010
【図８Ｂ】
2005244536.tif 000011
【図８Ｃ】
2005244536.tif 000012