(57)【要約】【課題】自然画像とＣＧ画像との合成画像に対して適切に画像処理を施す。【解決手段】合成画像Ｇ０を自然画像の領域とＣＧ画像の領域とに分離し、自然画像の領域内のデータに基づいて画像処理パラメータＰ０を算出し、合成画像Ｇ０に画像処理を施して中間処理済み合成画像Ｇ１を得る。中間処理済み合成画像Ｇ１に含まれる自然画像に対応する領域および合成画像Ｇ０に含まれるＣＧ画像に対応する領域を合成して、処理済み合成画像Ｇ２を得る。【選択図】　　　　　図１
2004118717.tif 000002
【特許請求の範囲】
【請求項１】
自然画像とＣＧ画像とが合成された合成画像に対して画像処理を施す画像処理方法において、
前記合成画像に含まれる前記自然画像の領域と前記ＣＧ画像の領域とを分離し、
前記自然画像の領域に基づいて前記画像処理のための画像処理パラメータを算出し、
該画像処理パラメータに基づいて前記合成画像に対して画像処理を施して中間処理済み合成画像を取得し、
該中間処理済み合成画像に含まれる前記自然画像の領域と、前記合成画像に含まれる前記ＣＧ画像の領域とを合成して処理済み合成画像を取得することを特徴とする画像処理方法。
【請求項２】
前記合成画像に含まれる前記ＣＧ画像の領域の前記自然画像の領域との境界部分をぼかして、前記合成画像に含まれる前記ＣＧ画像の領域と前記中間処理済み合成画像に含まれる前記自然画像の領域とを合成することを特徴とする請求項１記載の画像処理方法。
【請求項３】
自然画像とＣＧ画像とが合成された合成画像に対して画像処理を施す画像処理装置において、
前記合成画像に含まれる前記自然画像の領域と前記ＣＧ画像の領域とを分離する分離手段と、
前記自然画像の領域に基づいて前記画像処理のための画像処理パラメータを算出するパラメータ算出手段と、
該画像処理パラメータに基づいて前記合成画像に対して画像処理を施して中間処理済み合成画像を取得する処理手段と、
該中間処理済み合成画像に含まれる前記自然画像の領域と、前記合成画像に含まれる前記ＣＧ画像の領域とを合成して処理済み合成画像を取得する合成手段とを備えたことを特徴とする画像処理装置。
【請求項４】
前記合成手段は、前記合成画像に含まれる前記ＣＧ画像の領域の前記自然画像の領域との境界部分をぼかして、前記合成画像に含まれる前記ＣＧ画像の領域と前記中間処理済み合成画像に含まれる前記自然画像の領域とを合成する手段であることを特徴とする請求項３記載の画像処理装置。
【請求項５】
自然画像とＣＧ画像とが合成された合成画像に対して画像処理を施す画像処理方法をコンピュータに実行させるためのプログラムにおいて、
前記合成画像に含まれる前記自然画像の領域と前記ＣＧ画像の領域とを分離する手順と、
前記自然画像の領域に基づいて前記画像処理のための画像処理パラメータを算出する手順と、
該画像処理パラメータに基づいて前記合成画像に対して画像処理を施して中間処理済み合成画像を取得する手順と、
該中間処理済み合成画像に含まれる前記自然画像の領域と、前記合成画像に含まれる前記ＣＧ画像の領域とを合成して処理済み合成画像を取得する手順とを有するプログラム。
【請求項６】
前記合成する手順は、前記合成画像に含まれる前記ＣＧ画像の領域の前記自然画像の領域との境界部分をぼかして、前記合成画像に含まれる前記ＣＧ画像の領域と前記中間処理済み合成画像に含まれる前記自然画像の領域とを合成する手順である請求項５記載のプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮影により取得された自然画像と、テンプレートに含まれるクリップアートのようなＣＧ（コンピュータグラフィック）画像とを合成することにより得られた合成画像に対して画像処理を施す画像処理方法および装置並びに画像処理方法をコンピュータに実行させるためのプログラムに関するものである。
【０００２】
【従来の技術】
例えば、年賀用の文字やイラストと、写真を挿入するための空白領域とからなるテンプレートを利用して写真入り年賀用ポストカードを作成するといったサービスが写真店において古くから行われている。このようなポストカードは、例えばネガフイルム等に記録された画像を読み取ることにより得られた画像データや、ユーザがデジタルカメラにより取得した画像データと、ＣＧ（コンピュータグラフィックス）により作成されたクリップアートや文字を含むテンプレートを表すテンプレートデータとを合成して合成画像データを得、この合成画像データに基づいて合成画像をプリントすることにより作成される。
【０００３】
一方、写真店のみならず、ユーザのパソコンにインストールされた画像の合成や編集を行うアプリケーションにより、ユーザの画像とテンプレートとを合成して合成画像を作成することも行われている。これにより、ユーザレベルでポストカード等を簡単に作成できる。
【０００４】
ところで、画像データをプリント等して再生することにより得られる再生画像の画質を向上させるために、画像データに基づいて濃度補正処理、色補正処理、階調補正処理等の画像処理のための画像処理パラメータを算出し、算出された画像処理パラメータに基づいて画像データに対して画像処理を施すことが行われている。これによれば、高画質の再生画像を得ることができる。
【０００５】
また、上述したようにユーザが被写体を撮影を行うことにより得た画像（自然画像とする）とテンプレートとを合成して合成画像を得る際にも画像処理を施すことにより、高画質の合成画像を得ることができる。
【０００６】
【発明が解決しようとする課題】
ユーザがアプリケーションにより作成した合成画像のプリントを写真店に依頼する場合、写真店においては合成画像から画像処理のための画像処理パラメータが算出されて画像処理が行われる。しかしながら、合成画像には自然画像とテンプレートに含まれるクリップアートのようなＣＧ画像とが混在しているため、算出された画像処理パラメータにより合成画像に対して画像処理を施すと、元々決まった色や明るさによりデザインされたＣＧ画像の色や明るさが変更されてしまうという問題がある。また、ＣＧ画像は自然画像と比較して原色を多用しているため、ＣＧ画像を含む合成画像から算出された画像処理パラメータにより画像処理を施すと、自然画像の画質が却って低下してしまうという問題もある。
【０００７】
本発明は上記事情に鑑みなされたものであり、自然画像とＣＧ画像との合成画像に対して適切に画像処理を施すことを目的とする。
【０００８】
【課題を解決するための手段】
本発明による画像処理方法は、自然画像とＣＧ画像とが合成された合成画像に対して画像処理を施す画像処理方法において、
前記合成画像に含まれる前記自然画像の領域と前記ＣＧ画像の領域とを分離し、
前記自然画像の領域に基づいて前記画像処理のための画像処理パラメータを算出し、
該画像処理パラメータに基づいて前記合成画像に対して画像処理を施して中間処理済み合成画像を取得し、
該中間処理済み合成画像に含まれる前記自然画像の領域と、前記合成画像に含まれる前記ＣＧ画像の領域とを合成して処理済み合成画像を取得することを特徴とするものである。
【０００９】
なお、本発明による画像処理方法においては、前記合成画像に含まれる前記ＣＧ画像の領域の前記自然画像の領域との境界部分をぼかして、前記合成画像に含まれる前記ＣＧ画像の領域と前記中間処理済み合成画像に含まれる前記自然画像の領域とを合成してもよい。
【００１０】
本発明による画像処理装置は、自然画像とＣＧ画像とが合成された合成画像に対して画像処理を施す画像処理装置において、
前記合成画像に含まれる前記自然画像の領域と前記ＣＧ画像の領域とを分離する分離手段と、
前記自然画像の領域に基づいて前記画像処理のための画像処理パラメータを算出するパラメータ算出手段と、
該画像処理パラメータに基づいて前記合成画像に対して画像処理を施して中間処理済み合成画像を取得する処理手段と、
該中間処理済み合成画像に含まれる前記自然画像の領域と、前記合成画像に含まれる前記ＣＧ画像の領域とを合成して処理済み合成画像を取得する合成手段とを備えたことを特徴とするものである。
【００１１】
なお、本発明による画像処理装置においては、前記合成手段を、前記合成画像に含まれる前記ＣＧ画像の領域の前記自然画像の領域との境界部分をぼかして、前記合成画像に含まれる前記ＣＧ画像の領域と前記中間処理済み合成画像に含まれる前記自然画像の領域とを合成する手段としてもよい。
【００１２】
なお、本発明による画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００１３】
【発明の効果】
本発明によれば、合成画像に含まれる自然画像の領域とＣＧ画像の領域とが分離され、自然画像の領域に基づいて画像処理のための画像処理パラメータが算出される。そして、画像処理パラメータに基づいて合成画像に対して画像処理が施されて中間処理済み合成画像が取得され、この中間処理済み合成画像に含まれる自然画像の領域と、画像処理前の合成画像に含まれるＣＧ画像の領域とが合成されて処理済み合成画像が取得される。ここで、画像処理パラメータは合成画像に含まれる自然画像の領域に基づいて算出されているため、中間処理済み合成画像においては自然画像には適切な画像処理が施され、これにより処理済み合成画像に含まれる自然画像を高画質なものとすることができる。
【００１４】
一方、中間処理済み合成画像に含まれるＣＧ画像は画像処理により元々デザインされた色や明るさが変更されてしまっているが、処理済み合成画像は画像処理が施されていない合成画像に含まれるＣＧ画像の領域と中間処理済み合成画像に含まれる自然画像の領域とが合成されたものとなっている。したがって、自然画像の領域については高画質とされ、ＣＧ画像の領域については元々のデザインの画質を維持した処理済み合成画像を得ることができる。
【００１５】
また、請求項２の発明によれば、合成画像に含まれるＣＧ画像の領域の自然画像の領域との境界部分がぼかされて、合成画像に含まれるＣＧ画像の領域と中間処理済み合成画像に含まれる自然画像の領域とが合成される。このため、処理済み合成画像に含まれる自然画像とＣＧ画像との境界部分が不自然となることがなくなり、これにより、自然な印象の処理済み合成画像を得ることができる。
【００１６】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による画像処理装置の構成を示す概略ブロック図である。図１に示すように、本実施形態による画像処理装置１は、ＣＤ−Ｒ、ＤＶＤ−Ｒ、ハードディスク、メモリカード等のメディアに記録された自然画像とＣＧ画像との合成画像を表す合成画像データＧ０（以下合成画像についても参照符号Ｇ０を用いる）をメディアから読み出す読出手段１１と、合成画像Ｇ０に含まれる自然画像の領域とＣＧ画像の領域とを分離する分離手段１２と、後述するように合成画像データＧ０に対して画像処理を施すための画像処理パラメータＰ０を算出するセットアップ手段１３と、画像処理パラメータＰ０に基づいて合成画像データＧ０に対して画像処理を施して中間処理済み合成画像データＧ１（以下中間処理済み合成画像についても参照符号Ｇ１を用いる）を得る画像処理手段１４と、中間処理済み合成画像Ｇ１に含まれる自然画像の領域と、画像処理前の合成画像Ｇ０に含まれるＣＧ画像の領域とを合成して、最終的な処理済み合成画像を表す処理済み合成画像データＧ２（以下処理済み合成画像についても参照符号Ｇ２を用いる）を得る合成手段１５と、種々の表示を行うモニタ１７と、キーボードおよびマウスからなる入力手段１６とを備える。
【００１７】
読出手段１１は、メディアの種類に応じたメディアドライブ、カードリーダ等からなるものである。
【００１８】
分離手段１２は、まず合成画像データＧ０をモニタ１７に表示し、本実施形態による画像処理装置を操作するユーザによる合成画像Ｇ０に含まれる自然画像を含む領域の指定を受け付ける。図２は領域の指定を説明するための図である。図２に示すように、円形の自然画像の領域Ｎ１および自然画像の領域Ｎ１以外のＣＧ画像の領域Ｃ１からなる合成画像Ｇ０がモニタ１７に表示されているすると、ユーザは、図２中破線で示すように入力手段１６を用いて自然画像の領域Ｎ１を含む矩形の領域Ｒ１を指定する。これにより、合成画像Ｇ０は、領域Ｒ１と領域Ｒ１以外の領域Ｒ２（斜線部分）とに分離される。
【００１９】
続いて、分離手段１２は、領域Ｒ１内の全画素から、領域Ｒ２に含まれる画素の色と同一の色を有する画素を抽出する。そして、領域Ｒ１内の全画素のうち領域Ｒ２に含まれる画素の色と同一の色を有する画素をＣＧ画像の画素と判定し、それ以外の画素を自然画像の画素と判定する。
【００２０】
そして、分離手段１２は、領域Ｒ１内の全画素から、領域Ｒ２に含まれる画素の色と同一の色を有する画素を抽出することにより、図３に示すように領域Ｒ１を自然画像に対応する領域Ｒ１１とそれ以外のＣＧ画像に対応する領域Ｒ１２とに分離する。これにより、合成画像Ｇ０は、自然画像に対応する領域Ｒ１１と、領域Ｒ２および領域Ｒ１２とを合わせたＣＧ画像に対応する領域（Ｒ３とする）とに分離される。ここで、領域分割が正確に行われた場合、領域Ｒ１１は自然画像の領域Ｎ１に、領域Ｒ３はＣＧ画像の領域Ｒ２にそれぞれ一致するものとなる。
【００２１】
なお、図４に示すように領域Ｒ１内の自然画像に対応する領域Ｒ１１内に、領域Ｒ２に含まれる画素の色と同一の色を有する画素からなる小領域Ｌ１が存在する場合、逆に、領域Ｒ１内のＣＧ画像に対応する領域Ｒ１２内に領域Ｒ２に含まれる画素の色と同一の色を有さない画素からなる小領域Ｌ２が存在する場合がある。このような場合には、その小領域Ｌ１，Ｌ２の大きさを予め定められた所定のしきい値と比較し、しきい値以上の場合にはその小領域Ｌ１，Ｌ２は自然画像の中に含まれるＣＧ画像またはＣＧ画像の中に含まれる自然画像であると判定して、自然画像の領域Ｒ１１およびＣＧ画像の領域Ｒ１２を決定する。
【００２２】
一方、しきい値未満の場合には、その小領域Ｌ１，Ｌ２はノイズであるとし、領域Ｒ１１内の小領域Ｌ１については、自然画像に対応する領域Ｒ１１に含めるものとする。逆に領域Ｒ１２内の小領域Ｌ２については、ＣＧ画像に対応する領域Ｒ１２に含めるものとする。
【００２３】
なお、自然画像の領域Ｒ１１およびＣＤ画像の領域Ｒ１２の分離結果をモニタ１７に表示し、入力手段１６からの指示により分離結果を修正できるようにしてもよい。
【００２４】
セットアップ手段１３は、分離手段１２により抽出された自然画像に対応する領域Ｒ１１内に、図５に示すように領域Ｒ１１に内接する最大の矩形、すなわち最大矩形領域Ｋ０を設定する。そして、設定された最大矩形領域Ｋ０内の合成画像データＧ０に基づいて、合成画像データＧ０に対して濃度補正処理、色補正処理、階調補正処理等の画像処理を施すための画像処理パラメータＰ０を算出する。
【００２５】
画像処理手段１４は、セットアップ手段１３において算出された画像処理パラメータＰ０に基づいて、合成画像データＧ０に対して画像処理を施して中間処理済み画像データＧ１を取得する。
【００２６】
合成手段１５は、ＣＧ画像に対応する領域Ｒ３の値を２５５（８ビットの場合、以下本実施形態において用いる合成画像データＧ０は８ビットであるものとする）、領域Ｒ１１に対応する領域の値を０としたマスク画像を表すマスク画像データを生成し、このマスク画像データに対してローパスフィルタによるフィルタリング処理を施す。
【００２７】
図６は、領域Ｒ３と領域Ｒ１１との境界付近におけるローパスフィルタによるフィルタリング処理を説明するための図である。図６に示すように、領域Ｒ３と領域Ｒ１１との境界付近においてマスク画像データに対してローパスフィルタによるフィルタリング処理を施すと、図６に破線で示すように、境界付近の信号値が滑らかに変化することとなる。
【００２８】
しかしながら、これでは、フィルタリング処理後のマスク画像においては、領域Ｒ３に対応する領域内に２５５の値を有するマスク部分が少なくなるため、後述するように中間処理済み画像Ｇ１に含まれる自然画像に対応する領域と合成画像Ｇ０に含まれるＣＧ画像に対応する領域とを合成する際に、ＣＧ画像の境界部分がぼけてしまうこととなる。
【００２９】
このため、合成手段１５は、図７に示すように、マスク画像における値が２５５を有する領域をローパスフィルタのフィルタサイズに応じて広げた後に、マスク画像データに対してローパスフィルタによるフィルタリング処理を施してフィルタ処理済みマスク画像データを得る。具体的には、ローパスフィルタのフィルタサイズが５×５である場合、マスク画像における値が２５５の領域を２画素分広げれば、フィルタリング処理後に２５５の値を有するマスク部分を少なくすることなく、フィルタ処理済みマスク画像データを得ることができる。
【００３０】
そして、合成手段１５は、フィルタ処理済みマスク画像データに基づいて、合成画像データＧ０および中間処理済み合成画像データＧ１を合成して処理済み合成画像を表す処理済み合成画像データＧ２を得る。ここで、合成は下記の式（１）により行われる。なお、式（１）において（ｘ，ｙ）は各合成画像データＧ０，Ｇ１，Ｇ２により表される画像上の画素位置を、Ｍはフィルタ処理済みマスク画像データを示す。
【数１】
2004118717.tif 000003
【００３１】
次いで、本実施形態の動作について説明する。図８は本実施形態において行われる処理を示すフローチャートである。まず、読出手段１１によりメディアから合成画像データＧ０が読み出され（ステップＳ１）、分離手段１２により合成画像Ｇ０が自然画像の領域Ｒ１１とＣＧ画像の領域Ｒ３とに分離される（ステップＳ２）。
【００３２】
続いて、セットアップ手段１３により、自然画像に対応する領域Ｒ１１内の合成画像データＧ０に基づいて画像処理パラメータＰ０が算出され（ステップＳ３）、画像処理手段１４により画像処理パラメータＰ０に基づいて合成画像データＧ０に対して画像処理が施されて中間処理済み合成画像データＧ１が取得される（ステップＳ４）。
【００３３】
続いて合成手段１５において、上記式（１）に示すように、フィルタ処理済みマスク画像データに基づいて合成画像データＧ０および中間処理済み合成画像データＧ１が合成されて、処理済み合成画像Ｇ２を表す処理済み合成画像データＧ２が取得され（ステップＳ５）、処理を終了する。処理済み合成画像データＧ２は、プリンタによりプリント出力される。
【００３４】
このように、本実施形態においては、画像処理が施された自然画像に対応する領域Ｎ２と、画像処理が施されていないＣＧ画像に対応する領域Ｃ２とを合成して処理済み合成画像Ｇ２を得るようにしたためものである。ここで、画像処理パラメータＰ０は合成画像Ｇ０に含まれる自然画像の領域Ｎ１に対応する領域Ｒ１１内の合成画像データＧ０に基づいて算出されているため、中間処理済み合成画像Ｇ１に含まれる自然画像には適切な画像処理が施され、これにより中間処理済み合成画像Ｇ１に含まれる自然画像を高画質なものとすることができる。
【００３５】
一方、中間処理済み合成画像Ｇ１に含まれるＣＧ画像は画像処理により元々デザインされた色や明るさが変更されているが、処理済み合成画像Ｇ２は画像処理が施されていない合成画像Ｇ０に含まれるＣＧ画像Ｃ１に対応する領域Ｃ２と中間処理済み合成画像Ｇ１に含まれる自然画像の領域Ｎ２とが合成されたものとなっている。したがって、自然画像の領域については高画質とされ、ＣＧ画像の領域については元々のデザインの画質を維持した処理済み合成画像Ｇ２を得ることができる。
【００３６】
また、フィルタ処理済みマスク画像データにより合成画像Ｇ０にマスク処理を施してＣＧ画像に対応する領域Ｃ２を得ているため、ＣＧ画像に対応する領域Ｃ２の周囲はぼけているものとなる。このため、処理済み合成画像Ｇ２に含まれる自然画像とＣＧ画像との境界部分が不自然となることがなくなり、これにより、自然な印象の処理済み合成画像Ｇ２を得ることができる。
【００３７】
なお、上記実施形態においては、領域Ｒ１１内に最大矩形領域Ｋ０を設定し、最大矩形領域Ｋ０内の合成画像データＧ０に基づいて画像処理パラメータＰ０を算出しているが、領域Ｒ１１内の合成画像データＧ０に基づいて画像処理パラメータＰ０を算出してもよい。
【００３８】
また、上記実施形態においては、分離手段１２において合成画像Ｇ０を自然画像に対応する領域Ｒ１１とＣＧ画像に対応する領域Ｒ３とに分離しているが、分離後の領域Ｒ１１および領域Ｒ３をモニタ１７に表示して、ユーザに領域Ｒ１１および領域Ｒ３の確認を促すようにしてもよい。この場合、入力手段１６からのマニュアル操作により、分離された領域Ｒ１１および領域Ｒ３を設定し直すことができるようにすることが好ましい。
【図面の簡単な説明】
【図１】本発明の実施形態による画像処理装置の構成を示す概略ブロック図
【図２】領域の指定を説明するための図
【図３】領域の分離を説明するための図（その１）
【図４】領域の分離を説明するための図（その２）
【図５】最大矩形領域の設定を説明するための図
【図６】ローパスフィルタによるフィルタリング処理を説明するための図（その１）
【図７】ローパスフィルタによるフィルタリング処理を説明するための図（その２）
【図８】本実施形態において行われる処理を示すフローチャート
【符号の説明】
１　　画像処理装置
１１　　読出手段
１２　　分離手段
１３　　セットアップ手段
１４　　画像処理手段
１５　　合成手段
１６　　入力手段
１７　　モニタ
【図１】
2004118717.tif 000004
【図２】
2004118717.tif 000005
【図３】
2004118717.tif 000006
【図４】
2004118717.tif 000007
【図５】
2004118717.tif 000008
【図６】
2004118717.tif 000009
【図７】
2004118717.tif 000010
【図８】
2004118717.tif 000011