(57)【要約】【課題】作業工数が少ない方法で、２つ以上の画像から作られた合成画像の不自然さを軽減する。【解決手段】合成端部検出手段３０は、合成画像の画像データＰから、画像合成の合成端部を検出し、合成端部情報を生成する。歪み量算出手段４０は、合成画像の画像データＰと合成端部情報を用いて、歪み量を算出し、歪み情報を生成する。画像データ変換手段５０は、歪み情報を用いて合成画像の画像データＰを変換し、修正後の合成画像の画像データＰ’を生成する。【選択図】  図３
2004194225.tif 000002
【特許請求の範囲】
【請求項１】
２つ以上の画像から作られた合成画像データを処理する画像処理方法において、
前記２つ以上の画像が互いに接する境界に関する合成端部情報を取得する合成端部取得工程と、
前記取得された合成端部情報を用いて前記合成画像データを変換する画像データ変換工程と、
を含むことを特徴とする画像処理方法。
【請求項２】
請求項１に記載の画像処理方法において、
前記合成端部情報に基づく画像データ変換工程が、
前記取得された合成端部情報を用いて前記合成画像データの歪み量を算出する歪み量算出工程と、
前記算出された歪み量に基づいて前記合成画像データを変換する画像データ変換工程と、
を含むことを特徴とする画像処理方法。
【請求項３】
請求項１又は２に記載の画像処理方法において、
前記合成端部取得工程が前記合成画像データの合成端部を検出する合成端部検出工程を含むことを特徴とする画像処理方法。
【請求項４】
請求項３に記載の画像処理方法において、
前記合成端部検出工程が前記合成画像データに空間周波数処理を施す空間周波数処理工程を含むことを特徴とする画像処理方法。
【請求項５】
請求項４に記載の画像処理方法において、
前記空間周波数処理工程が多重解像度変換を含むことを特徴とする画像処理方法。
【請求項６】
請求項２に記載の画像処理方法において、
前記合成端部取得工程が多重解像度変換を含み、
前記歪み量算出工程と、前記歪み量に基づく画像データ変換工程と、のうち少なくとも一方が前記合成端部取得工程における多重解像度変換後の画像データへの処理を含むことを特徴とする画像処理方法。
【請求項７】
請求項１〜６のいずれか一項に記載の画像処理方法において、
前記合成端部情報に基づく画像データ変換工程が多重解像度変換を含むことを特徴とする画像処理方法。
【請求項８】
２つ以上の画像から作られた合成画像データを処理する画像処理方法において、
前記２つ以上の画像が互いに接する境界に関する合成端部情報を前記合成画像データから検出することを特徴とする画像処理方法。
【請求項９】
２つ以上の画像から作られた合成画像データを処理する画像処理装置において、
前記２つ以上の画像が互いに接する境界に関する合成端部情報を取得する合成端部取得手段と、
前記取得された合成端部情報を用いて前記合成画像データを変換する画像データ変換手段と、
を備えたことを特徴とする画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置において、
前記合成端部情報に基づく画像データ変換手段が、
前記取得された合成端部情報を用いて前記合成画像データの歪み量を算出する歪み量算出手段と、
前記算出された歪み量に基づいて前記合成画像データを変換する画像データ変換手段と、
を有することを特徴とする画像処理装置。
【請求項１１】
請求項９又は１０に記載の画像処理装置において、
前記合成端部取得手段が前記合成画像データの合成端部を検出する合成端部検出手段を有することを特徴とする画像処理装置。
【請求項１２】
請求項１１に記載の画像処理装置において、
前記合成端部検出手段が前記合成画像データに空間周波数処理を施す空間周波数処理手段を有することを特徴とする画像処理装置。
【請求項１３】
請求項１２に記載の画像処理装置において、
前記空間周波数処理手段が多重解像度変換を行うことを特徴とする画像処理装置。
【請求項１４】
請求項１０に記載の画像処理装置において、
前記合成端部取得手段が多重解像度変換を行い、
前記歪み量算出手段と、前記歪み量に基づく画像データ変換手段と、のうち少なくとも一方が前記合成端部取得手段における多重解像度変換後の画像データへの処理を行うことを特徴とする画像処理装置。
【請求項１５】
請求項９〜１４のいずれか一項に記載の画像処理装置において、
前記合成端部情報に基づく画像データ変換手段が多重解像度変換を行うことを特徴とする画像処理装置。
【請求項１６】
２つ以上の画像から作られた合成画像データを処理する画像処理装置において、
前記２つ以上の画像が互いに接する境界に関する合成端部情報を前記合成画像データから検出する合成端部検出手段を備えたことことを特徴とする画像処理装置。
【請求項１７】
画像データを画像処理するコンピュータに、
２つ以上の画像から作られた合成画像データの前記２つ以上の画像が互いに接する境界に関する合成端部情報を取得する合成端部取得機能と、
前記取得された合成端部情報を用いて前記合成画像データを変換する画像データ変換機能と、
を実現させることを特徴とするプログラム。
【請求項１８】
請求項１７に記載のプログラムにおいて、
前記合成端部情報に基づく画像データ変換機能が、
前記取得された合成端部情報を用いて前記合成画像データの歪み量を算出する歪み量算出機能と、
前記算出された歪み量に基づいて前記合成画像データを変換する画像データ変換機能と、
を含むことを特徴とするプログラム。
【請求項１９】
請求項１７又は１８に記載のプログラムにおいて、
前記合成端部取得機能が前記合成画像データの合成端部を検出する合成端部検出機能を含むことを特徴とするプログラム。
【請求項２０】
請求項１９に記載のプログラムにおいて、
前記合成端部検出機能が前記合成画像データに空間周波数処理を施す空間周波数処理機能を含むことを特徴とするプログラム。
【請求項２１】
請求項２０に記載のプログラムにおいて、
前記空間周波数処理機能が多重解像度変換を含むことを特徴とするプログラム。
【請求項２２】
請求項１８に記載のプログラムにおいて、
前記合成端部取得機能が多重解像度変換を含み、
前記歪み量算出機能と、前記歪み量に基づく画像データ変換機能と、のうち少なくとも一方が前記合成端部取得機能における多重解像度変換後の画像データへの処理を含むことを特徴とするプログラム。
【請求項２３】
請求項１７〜２２のいずれか一項に記載のプログラムにおいて、
前記合成端部情報に基づく画像データ変換機能が多重解像度変換を含むことを特徴とするプログラム。
【請求項２４】
画像データを画像処理するコンピュータに、
２つ以上の画像から作られた合成画像データの前記２つ以上の画像が互いに接する境界に関する合成端部情報を前記合成画像データから検出する合成端部検出機能を実現させることを特徴とするプログラム。
【請求項２５】
２つ以上の画像から作られた合成画像データに画像処理を施して、画像データを記録媒体に記録する画像記録装置において、
前記２つ以上の画像が互いに接する境界に関する合成端部情報を取得する合成端部取得手段と、
前記取得された合成端部情報を用いて前記合成画像データを変換する画像データ変換手段と、
を備えたことを特徴とする画像記録装置。
【請求項２６】
請求項２５に記載の画像記録装置において、
前記合成端部情報に基づく画像データ変換手段が、
前記取得された合成端部情報を用いて前記合成画像データの歪み量を算出する歪み量算出手段と、
前記算出された歪み量に基づいて前記合成画像データを変換する画像データ変換手段と、
を有することを特徴とする画像記録装置。
【請求項２７】
請求項２５又は２６に記載の画像記録装置において、
前記合成端部取得手段が前記合成画像データの合成端部を検出する合成端部検出手段を有することを特徴とする画像記録装置。
【請求項２８】
請求項２７に記載の画像記録装置において、
前記合成端部検出手段が前記合成画像データに空間周波数処理を施す空間周波数処理手段を有することを特徴とする画像記録装置。
【請求項２９】
請求項２８に記載の画像記録装置において、
前記空間周波数処理手段が多重解像度変換を行うことを特徴とする画像記録装置。
【請求項３０】
請求項２６に記載の画像記録装置において、
前記合成端部取得手段が多重解像度変換を含み、
前記歪み量算出手段と、前記歪み量に基づく画像データ変換手段と、のうち少なくとも一方が前記合成端部取得手段における多重解像度変換後の画像データへの処理を行うことを特徴とする画像記録装置。
【請求項３１】
請求項２５〜３０のいずれか一項に記載の画像記録装置において、
前記合成端部情報に基づく画像データ変換手段が多重解像度変換を行うことを特徴とする画像記録装置。
【請求項３２】
２つ以上の画像から作られた合成画像データに画像処理を施して、画像データを記録媒体に記録する画像記録装置において、
前記２つ以上の画像が互いに接する境界に関する合成端部情報を前記合成画像データから検出する合成端部検出手段を備えたことを特徴とする画像記録装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、合成画像データを処理する方法に関し、自然な印象の画質にするための処理に関する。
【０００２】
【従来の技術】
近年、デジタルカメラやスキャナ等の普及により、デジタル画像データを扱う機会が増えている。これらの画像データは、複数の画像データの全体又は一部を合わせて１つの画像データに合成する等、加工が容易である。例えば、画像から人物等の特定部分を抜き出して背景画像に貼り付けたり、車や飛行機等のＣＧ（Computer Graphics）画像を自然画の背景画像に貼り付けたり、自然画から人物等の特定部分を抜き出して架空の室内や未来都市等のＣＧの背景画像に貼り付けたり、店舗写真の看板のデザインを変えたりすることができる。ここで、自然画とは、実在するものを撮影した画像をいう。画像の合成方法としては、画像の一部を置き換える置き換え合成や、一方の画像の一部を他方の画像に重ねる透かし合成等がある。
【０００３】
画像を合成する際には、いかに違和感なく自然な印象の画質にするかが問題となる。例えば、ある画像から人物を抜き出して、別の背景画像へ貼り付けた合成画像において、元画像の粒状特性や鮮鋭度特性を予め調整してから画像を合成する方法が提案されている（例えば、特許文献１参照。）。これにより、合成画像中の領域毎に粒状や鮮鋭度が異なることによる見た目の違和感が解消される。
【０００４】
【特許文献１】
特開平１１−２７５３４３号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、特許文献１に記載の方法では、合成された境界部分に関して画像が調整されていないので、境界の不自然さが残ってしまう。また、合成前に特許文献１に記載の方法のような前処理がなされていても、適切でなかったり、不十分であったりする場合がある。一般の合成画像においては、前処理が合成前になされているとは限らず、前処理がなされているかどうかすらわからない場合がある。
合成後の処理として、合成の境界部にぼかし等の画像処理を手作業で行う方法が知られているが、作業工数が多くかかるという問題がある。
【０００６】
本発明は上記の従来技術における問題に鑑みてなされたものであって、作業工数が少ない方法で、合成画像の不自然さを軽減させることができる画像処理方法、画像処理装置、プログラム及び画像記録装置を提供することを課題とする。
【０００７】
【課題を解決するための手段】
上記の課題を解決するための請求項１記載の発明は、２つ以上の画像から作られた合成画像データを処理する画像処理方法において、前記２つ以上の画像が互いに接する境界に関する合成端部情報を取得する合成端部取得工程と、前記取得された合成端部情報を用いて前記合成画像データを変換する画像データ変換工程と、を含むことを特徴とする画像処理方法である。
【０００８】
請求項１に記載の発明によれば、合成端部情報によって合成画像の境界部やその周辺に対して合成画像データを変換することができるので、合成画像の境界部の不自然さを軽減させることができる。また、合成端部情報によって、合成画像の各領域毎に適切な変換ができるので、合成画像の不自然さを軽減させることができる。
【０００９】
請求項２記載の発明は、請求項１に記載の画像処理方法において、前記合成端部情報に基づく画像データ変換工程が、前記取得された合成端部情報を用いて前記合成画像データの歪み量を算出する歪み量算出工程と、前記算出された歪み量に基づいて前記合成画像データを変換する画像データ変換工程と、を含むことを特徴とする画像処理方法である。
【００１０】
請求項２に記載の発明によれば、合成端部情報を用いて算出された歪み量に基づいて画像データを変換するので、必要な部分に必要な程度の処理を行うことができる。そのため、手作業等の作業工数をほとんどかけずに、合成画像の不自然さを修正することができる。
【００１１】
請求項３記載の発明は、請求項１又は２に記載の画像処理方法において、前記合成端部取得工程が前記合成画像データの合成端部を検出する合成端部検出工程を含むことを特徴とする画像処理方法である。
【００１２】
請求項３に記載の発明によれば、合成端部を検出することにより、合成画像の境界部の不自然さを精度よく修正することができる。また、合成前のそれぞれの画像領域に分けることができ、各画像領域に応じた処理をすることができる。したがって、合成画像をより自然に修正することができる。
【００１３】
請求項４記載の発明は、請求項３に記載の画像処理方法において、前記合成端部検出工程が前記合成画像データに空間周波数処理を施す空間周波数処理工程を含むことを特徴とする画像処理方法である。
【００１４】
請求項４に記載の発明によれば、空間周波数処理により、画像のエッジを容易に検出することができ、エッジの位置や強度等の情報を利用して、より効率よく合成端部を検出することができる。
【００１５】
請求項５記載の発明は、請求項４に記載の画像処理方法において、前記空間周波数処理工程が多重解像度変換を含むことを特徴とする画像処理方法である。
【００１６】
請求項５に記載の発明によれば、多重解像度変換により、解像度が異なる複数の画像データを用いて、エッジの位置や強度等の情報を判別することができる。このエッジ情報を利用して、より精度よく合成端部を検出することができる。そのため、合成画像をより自然に修正することができる。
【００１７】
請求項６記載の発明は、請求項２に記載の画像処理方法において、前記合成端部取得工程が多重解像度変換を含み、前記歪み量算出工程と、前記歪み量に基づく画像データ変換工程と、のうち少なくとも一方が前記合成端部取得工程における多重解像度変換後の画像データへの処理を含むことを特徴とする画像処理方法である。
【００１８】
請求項６に記載の発明によれば、多重解像度変換された画像データを、合成端部情報の検出に用いるとともに、合成画像データの歪み量の算出、歪み量に基づく画像データ変換のうち少なくとも一方に用いることにより、処理を効率化することができる。
【００１９】
請求項７記載の発明は、請求項１〜６のいずれか一項に記載の画像処理方法において、前記合成端部情報に基づく画像データ変換工程が多重解像度変換を含むことを特徴とする画像処理方法である。
【００２０】
請求項７に記載の発明によれば、多重解像度変換により、解像度が異なる複数の画像データを用いて、特定の位置に特定の周波数帯域への処理を行うことで、より精度よく、歪みを修正することができる。そのため、合成画像をより自然に修正することができる。
【００２１】
請求項８記載の発明は、２つ以上の画像から作られた合成画像データを処理する画像処理方法において、前記２つ以上の画像が互いに接する境界に関する合成端部情報を前記合成画像データから検出することを特徴とする画像処理方法である。
【００２２】
請求項８に記載の発明によれば、合成端部情報が外部から得られない場合でも、合成端部情報を検出することにより、合成画像の境界部やその周辺に対して適切な画像処理を施したり、合成画像データの各領域毎に適切な画像処理を行ったりすることができるので、合成画像をより自然に修正することができる。
【００２３】
請求項９記載の発明は、２つ以上の画像から作られた合成画像データを処理する画像処理装置において、前記２つ以上の画像が互いに接する境界に関する合成端部情報を取得する合成端部取得手段と、前記取得された合成端部情報を用いて前記合成画像データを変換する画像データ変換手段と、を備えたことを特徴とする画像処理装置である。
【００２４】
請求項９に記載の発明によれば、合成端部情報によって合成画像の境界部やその周辺に対して合成画像データを変換することができるので、合成画像の境界部の不自然さを軽減させることができる。また、合成端部情報によって、合成画像の各領域毎に適切な変換ができるので、合成画像の不自然さを軽減させることができる。
【００２５】
請求項１０記載の発明は、請求項９に記載の画像処理装置において、前記合成端部情報に基づく画像データ変換手段が、前記取得された合成端部情報を用いて前記合成画像データの歪み量を算出する歪み量算出手段と、前記算出された歪み量に基づいて前記合成画像データを変換する画像データ変換手段と、を有することを特徴とする画像処理装置である。
【００２６】
請求項１０に記載の発明によれば、合成端部情報を用いて算出された歪み量に基づいて画像データを変換するので、必要な部分に必要な程度の処理を行うことができる。そのため、手作業等の作業工数をほとんどかけずに、合成画像の不自然さを修正することができる。
【００２７】
請求項１１記載の発明は、請求項９又は１０に記載の画像処理装置において、前記合成端部取得手段が前記合成画像データの合成端部を検出する合成端部検出手段を有することを特徴とする画像処理装置である。
【００２８】
請求項１１に記載の発明によれば、合成端部を検出することにより、合成画像の境界部の不自然さを精度よく修正することができる。また、合成前のそれぞれの画像領域に分けることができ、各画像領域に応じた処理をすることができる。したがって、合成画像をより自然に修正することができる。
【００２９】
請求項１２記載の発明は、請求項１１に記載の画像処理装置において、前記合成端部検出手段が前記合成画像データに空間周波数処理を施す空間周波数処理手段を有することを特徴とする画像処理装置である。
【００３０】
請求項１２に記載の発明によれば、空間周波数処理により、画像のエッジを容易に検出することができ、エッジの位置や強度等の情報を利用して、より効率よく合成端部を検出することができる。
【００３１】
請求項１３記載の発明は、請求項１２に記載の画像処理装置において、前記空間周波数処理手段が多重解像度変換を行うことを特徴とする画像処理装置である。
【００３２】
請求項１３に記載の発明によれば、多重解像度変換により、解像度が異なる複数の画像データを用いて、エッジの位置や強度等の情報を判別することができる。このエッジ情報を利用して、より精度よく合成端部を検出することができる。そのため、合成画像をより自然に修正することができる。
【００３３】
請求項１４記載の発明は、請求項１０に記載の画像処理装置において、前記合成端部取得手段が多重解像度変換を行い、前記歪み量算出手段と、前記歪み量に基づく画像データ変換手段と、のうち少なくとも一方が前記合成端部取得手段における多重解像度変換後の画像データへの処理を行うことを特徴とする画像処理装置である。
【００３４】
請求項１４に記載の発明によれば、多重解像度変換された画像データを、合成端部情報の検出に用いるとともに、合成画像データの歪み量の算出、歪み量に基づく画像データ変換のうち少なくとも一方に用いることにより、処理を効率化することができる。
【００３５】
請求項１５記載の発明は、請求項９〜１４のいずれか一項に記載の画像処理装置において、前記合成端部情報に基づく画像データ変換手段が多重解像度変換を行うことを特徴とする画像処理装置である。
【００３６】
請求項１５に記載の発明によれば、多重解像度変換により、解像度が異なる複数の画像データを用いて、特定の位置に特定の周波数帯域への処理を行うことで、より精度よく、歪みを修正することができる。そのため、合成画像をより自然に修正することができる。
【００３７】
請求項１６記載の発明は、２つ以上の画像から作られた合成画像データを処理する画像処理装置において、前記２つ以上の画像が互いに接する境界に関する合成端部情報を前記合成画像データから検出する合成端部検出手段を備えたことことを特徴とする画像処理装置である。
【００３８】
請求項１６に記載の発明によれば、合成端部情報が外部から得られない場合でも、合成端部情報を検出することにより、合成画像の境界部やその周辺に対して適切な画像処理を施したり、合成画像データの各領域毎に適切な画像処理を行ったりすることができるので、合成画像をより自然に修正することができる。
【００３９】
請求項１７記載の発明は、画像データを画像処理するコンピュータに、２つ以上の画像から作られた合成画像データの前記２つ以上の画像が互いに接する境界に関する合成端部情報を取得する合成端部取得機能と、前記取得された合成端部情報を用いて前記合成画像データを変換する画像データ変換機能と、を実現させることを特徴とするプログラムである。
【００４０】
請求項１７に記載の発明によれば、合成端部情報によって合成画像の境界部やその周辺に対して合成画像データを変換することができるので、合成画像の境界部の不自然さを軽減させることができる。また、合成端部情報によって、合成画像の各領域毎に適切な変換ができるので、合成画像の不自然さを軽減させることができる。
【００４１】
請求項１８記載の発明は、請求項１７に記載のプログラムにおいて、前記合成端部情報に基づく画像データ変換機能が、前記取得された合成端部情報を用いて前記合成画像データの歪み量を算出する歪み量算出機能と、前記算出された歪み量に基づいて前記合成画像データを変換する画像データ変換機能と、を含むことを特徴とするプログラムである。
【００４２】
請求項１８に記載の発明によれば、合成端部情報を用いて算出された歪み量に基づいて画像データを変換するので、必要な部分に必要な程度の処理を行うことができる。そのため、手作業等の作業工数をほとんどかけずに、合成画像の不自然さを修正することができる。
【００４３】
請求項１９記載の発明は、請求項１７又は１８に記載のプログラムにおいて、前記合成端部取得機能が前記合成画像データの合成端部を検出する合成端部検出機能を含むことを特徴とするプログラムである。
【００４４】
請求項１９に記載の発明によれば、合成端部を検出することにより、合成画像の境界部の不自然さを精度よく修正することができる。また、合成前のそれぞれの画像領域に分けることができ、各画像領域に応じた処理をすることができる。したがって、合成画像をより自然に修正することができる。
【００４５】
請求項２０記載の発明は、請求項１９に記載のプログラムにおいて、前記合成端部検出機能が前記合成画像データに空間周波数処理を施す空間周波数処理機能を含むことを特徴とするプログラムである。
【００４６】
請求項２０に記載の発明によれば、空間周波数処理により、画像のエッジを容易に検出することができ、エッジの位置や強度等の情報を利用して、より効率よく合成端部を検出することができる。
【００４７】
請求項２１記載の発明は、請求項２０に記載のプログラムにおいて、前記空間周波数処理機能が多重解像度変換を含むことを特徴とするプログラムである。
【００４８】
請求項２１に記載の発明によれば、多重解像度変換により、解像度が異なる複数の画像データを用いて、エッジの位置や強度等の情報を判別することができる。このエッジ情報を利用して、より精度よく合成端部を検出することができる。そのため、合成画像をより自然に修正することができる。
【００４９】
請求項２２記載の発明は、請求項１８に記載のプログラムにおいて、前記合成端部取得機能が多重解像度変換を含み、前記歪み量算出機能と、前記歪み量に基づく画像データ変換機能と、のうち少なくとも一方が前記合成端部取得機能における多重解像度変換後の画像データへの処理を含むことを特徴とするプログラムである。
【００５０】
請求項２２に記載の発明によれば、多重解像度変換された画像データを、合成端部情報の検出に用いるとともに、合成画像データの歪み量の算出、歪み量に基づく画像データ変換のうち少なくとも一方に用いることにより、処理を効率化することができる。
【００５１】
請求項２３記載の発明は、請求項１７〜２２のいずれか一項に記載のプログラムにおいて、前記合成端部情報に基づく画像データ変換機能が多重解像度変換を含むことを特徴とするプログラムである。
【００５２】
請求項２３に記載の発明によれば、多重解像度変換により、解像度が異なる複数の画像データを用いて、特定の位置に特定の周波数帯域への処理を行うことで、より精度よく、歪みを修正することができる。そのため、合成画像をより自然に修正することができる。
【００５３】
請求項２４記載の発明は、画像データを画像処理するコンピュータに、２つ以上の画像から作られた合成画像データの前記２つ以上の画像が互いに接する境界に関する合成端部情報を前記合成画像データから検出する合成端部検出機能を実現させることを特徴とするプログラムである。
【００５４】
請求項２４に記載の発明によれば、合成端部情報が外部から得られない場合でも、合成端部情報を検出することにより、合成画像の境界部やその周辺に対して適切な画像処理を施したり、合成画像データの各領域毎に適切な画像処理を行ったりすることができるので、合成画像をより自然に修正することができる。
【００５５】
請求項２５記載の発明は、２つ以上の画像から作られた合成画像データに画像処理を施して、画像データを記録媒体に記録する画像記録装置において、前記２つ以上の画像が互いに接する境界に関する合成端部情報を取得する合成端部取得手段と、前記取得された合成端部情報を用いて前記合成画像データを変換する画像データ変換手段と、を備えたことを特徴とする画像記録装置である。
【００５６】
請求項２５に記載の発明によれば、合成端部情報によって合成画像の境界部やその周辺に対して合成画像データを変換することができるので、合成画像の境界部の不自然さを軽減させることができる。また、合成端部情報によって、合成画像の各領域毎に適切な変換ができるので、合成画像の不自然さを軽減させることができる。
【００５７】
請求項２６記載の発明は、請求項２５に記載の画像記録装置において、前記合成端部情報に基づく画像データ変換手段が、前記取得された合成端部情報を用いて前記合成画像データの歪み量を算出する歪み量算出手段と、前記算出された歪み量に基づいて前記合成画像データを変換する画像データ変換手段と、を有することを特徴とする画像記録装置である。
【００５８】
請求項２６に記載の発明によれば、合成端部情報を用いて算出された歪み量に基づいて画像データを変換するので、必要な部分に必要な程度の処理を行うことができる。そのため、手作業等の作業工数をほとんどかけずに、合成画像の不自然さを修正することができる。
【００５９】
請求項２７記載の発明は、請求項２５又は２６に記載の画像記録装置において、前記合成端部取得手段が前記合成画像データの合成端部を検出する合成端部検出手段を有することを特徴とする画像記録装置である。
【００６０】
請求項２７に記載の発明によれば、合成端部を検出することにより、合成画像の境界部の不自然さを精度よく修正することができる。また、合成前のそれぞれの画像領域に分けることができ、各画像領域に応じた処理をすることができる。したがって、合成画像をより自然に修正することができる。
【００６１】
請求項２８記載の発明は、請求項２７に記載の画像記録装置において、前記合成端部検出手段が前記合成画像データに空間周波数処理を施す空間周波数処理手段を有することを特徴とする画像記録装置である。
【００６２】
請求項２８に記載の発明によれば、空間周波数処理により、画像のエッジを容易に検出することができ、エッジの位置や強度等の情報を利用して、より効率よく合成端部を検出することができる。
【００６３】
請求項２９記載の発明は、請求項２８に記載の画像記録装置において、前記空間周波数処理手段が多重解像度変換を行うことを特徴とする画像記録装置である。
【００６４】
請求項２９に記載の発明によれば、多重解像度変換により、解像度が異なる複数の画像データを用いて、エッジの位置や強度等の情報を判別することができる。このエッジ情報を利用して、より精度よく合成端部を検出することができる。そのため、合成画像をより自然に修正することができる。
【００６５】
請求項３０記載の発明は、請求項２６に記載の画像記録装置において、前記合成端部取得手段が多重解像度変換を含み、前記歪み量算出手段と、前記歪み量に基づく画像データ変換手段と、のうち少なくとも一方が前記合成端部取得手段における多重解像度変換後の画像データへの処理を行うことを特徴とする画像記録装置である。
【００６６】
請求項３０に記載の発明によれば、多重解像度変換された画像データを、合成端部情報の検出に用いるとともに、合成画像データの歪み量の算出、歪み量に基づく画像データ変換のうち少なくとも一方に用いることにより、処理を効率化することができる。
【００６７】
請求項３１記載の発明は、請求項２５〜３０のいずれか一項に記載の画像記録装置において、前記合成端部情報に基づく画像データ変換手段が多重解像度変換を行うことを特徴とする画像記録装置である。
【００６８】
請求項３１に記載の発明によれば、多重解像度変換により、解像度が異なる複数の画像データを用いて、特定の位置に特定の周波数帯域への処理を行うことで、より精度よく、歪みを修正することができる。そのため、合成画像をより自然に修正することができる。
【００６９】
請求項３２記載の発明は、２つ以上の画像から作られた合成画像データに画像処理を施して、画像データを記録媒体に記録する画像記録装置において、前記２つ以上の画像が互いに接する境界に関する合成端部情報を前記合成画像データから検出する合成端部検出手段を備えたことを特徴とする画像記録装置である。
【００７０】
請求項３２に記載の発明によれば、合成端部情報が外部から得られない場合でも、合成端部情報を検出することにより、合成画像の境界部やその周辺に対して適切な画像処理を施したり、合成画像データの各領域毎に適切な画像処理を行ったりすることができるので、合成画像をより自然に修正することができる。
【００７１】
なお、本発明でいう画像データとは、各画素のデータを示し、ヘッダやタグ等の、画素データ以外の付属データは、画像付属データと称す。
また、本発明でいう合成端部情報の取得とは、合成画像の画像データや合成画像の画像付属データから合成端部情報を得ることだけでなく、合成画像以外のデータを用いて、あるいは合成画像と併用して合成端部情報を得ることも含む。
【００７２】
【発明の実施の形態】
以下に本発明の一実施の形態につき図面を参照して説明する。
まず、図１に、本実施の形態の画像記録装置の概観構成を示す。
図１に示すように、画像記録装置１は、操作部５、フィルムスキャナ部６、反射原稿入力部７、画像読込部８、ＣＲＴ（Cathode Ray Tube）９、プリント作成部１０、画像書込部１１、トレー１５、を備える。
【００７３】
次に、図２に、画像記録装置１の機能構成を示す。
図２に示すように、画像記録装置１は、ＣＰＵ（Central Processing Unit）２、ＲＯＭ（Read Only Memory）３、ＲＡＭ（Random Access Memory）４、操作部５、フィルムスキャナ部６、反射原稿入力部７、画像読込部８、ＣＲＴ９、プリント作成部１０、画像書込部１１、記憶部１２、通信部１３、画像処理部１４、を備えて構成される。
【００７４】
ＣＰＵ２は、操作部５や通信部１３から入力される信号に応答して、ＲＯＭ３、あるいは記憶部１２に記憶された各種制御プログラムを読み出してＲＡＭ４に展開し、展開された各制御プログラムとの協働によって各種処理を実行し、画像記録装置１の各部を機能させる。
【００７５】
ＲＯＭ３は、読み出し専用の半導体メモリであり、ＣＰＵ２が実行するプログラムやデータ等が記憶される。
ＲＡＭ４は、データが一時的に保存される記憶媒体であり、ＣＰＵ２が実行するためのプログラムを展開するためのプログラムエリア、通信部１３や操作部５から入力されるデータやＣＰＵ２による各種処理結果等を保存するためのデータエリア、フィルムスキャナ部６、反射原稿入力部７、画像読込部８又は通信部１３から入力される画像データを保存するための画像データエリア、等が形成される。ここで、画像データとは、画像を多数の小領域（画素）に分割して、その画素毎に各色成分の明るさ等を信号強度で表したものをいう。
【００７６】
操作部５は、数字キーや各種機能キーを備えられ、例えば、タッチパネル等で構成される。これらのキーが押下された場合には、その押下信号をＣＰＵ２に出力する。
【００７７】
フィルムスキャナ部６は、透過原稿を読み込む装置である。フィルムスキャナ部６は、ＣＰＵ２の制御に従って、アナログカメラにより撮影され、現像されたカラーネガフィルムやカラーリバーサルフィルム等から画像データを読み込む。
反射原稿入力部７は、反射原稿から画像を読み込む装置である。反射原稿入力部７は、ＣＰＵ２の制御に従って、カラー写真プリントや印刷物等の反射原稿から画像データを読み込む。
【００７８】
画像読込部８には、ＰＣカード用アダプタ８ａ、フロッピー（登録商標）ディスク用アダプタ８ｂ、光ディスク用アダプタ８ｃが備えられ、ＰＣカード、フロッピーディスク、光ディスクが差し込み可能になっている。メディアはこれらに限定されず、ＭＯ（Magneto Optical disk）やＺｉｐ（登録商標）等でもよく、対応するアダプタを備えればよい。各種メディアには、例えば、デジタルカメラで撮像した複数の画像データや画像付属データやオーダー情報（例えば、ＤＰＯＦ（Digital Print Order Format）等）等が記憶されている。また、画像合成等、種々の編集等の処理が施された画像データや画像付属データ等が記憶されている。画像読込部８は、ＣＰＵ２の制御に従って、各種メディアに記録された画像データや画像付属データ等を読み込む。
【００７９】
ＣＲＴ９は、ＣＰＵ２の制御に従って、フィルムスキャナ部６、反射原稿入力部７、画像読込部８から読み込んだ画像データや、通信部１３から受信した画像データを画面に表示する。
【００８０】
プリント作成部１０は、ＣＰＵ２の制御に従って、画像データに基づいて図示しないマガジンから引き出された写真用感光材料に露光し、露光された写真用感光材料を現像処理してプリントを作成する。作成されたプリントはトレー１５に排出される。プリント作成部１０は、読み込んだ画像データから画像を形成するものであればよく、例えば、インクジェット方式、電子写真方式、感熱方式、昇華方式のプリント作成装置であってもよい。
【００８１】
画像書込部１１は、フロッピーディスク用アダプタ１１ａ、ＭＯ用アダプタ１１ｂ、光ディスク用アダプタ１１ｃが備えられ、フロッピーディスク、ＭＯ、光ディスクが差し込み可能になっている。メディアはこれらに限定されず、ＰＣカードやＺｉｐ等でもよく、対応するアダプタを備えればよい。画像書込部１１は、ＣＰＵ２の制御に従って、画像データや画像付属データ等を画像記録メディアに書き込む。なお、画像読込部８と画像書込部１１が１つのアダプタで読み書き兼用になっていてもよい。
【００８２】
記憶部１２は、例えばＨＤＤ（Hard Disk Drive）を備えて構成され、ＣＰＵ２の制御に従って、このＨＤＤ内にプログラムやデータ等を記録する。また、ＣＰＵ２からプログラムやデータの読み出し指示がなされると、その指示された情報をＨＤＤから読み出してＣＰＵ２へ出力する。
【００８３】
通信部１３は、施設内のコンピュータやインターネット等を介した遠方のコンピュータから画像データや画像付属データやプリント命令等を受信する。すなわち、画像記録装置１は、ネットワークプリンタとして機能することが可能である。また、通信部１３は、画像データや画像付属データや付帯するオーダー情報等を、施設内の別のコンピュータや他のネットワークプリンタやインターネット等を介した遠方のコンピュータ等に対して送信する。
【００８４】
画像処理部１４は、フィルムスキャナ部６、反射原稿入力部７又は画像読込部８から読み込んだ画像データや通信部１３から受信された画像データに必要に応じて適切な画像処理を行う。例えば、各入力方法に適した校正処理、グレーバランス調整、コントラスト調整、ネガ原稿の場合にはネガポジ反転処理等が行われる。画像データは、ＲＧＢカラー画像データ、モノクロ画像データ、ＹＭＣＫ４色画像データ等、何でもよい。また、階調数も任意であって、例えば、ＲＧＢカラー画像データの場合、各色８、各色１２bit等、任意の画像データを用いることができる。画像のフォーマット（ＪＰＥＧ，Ｔｉｆｆ，ｂｍｐ等）も何でもよい。ＪＰＥＧやＴｉｆｆ等、画像データと画像付属データがあるフォーマットの場合は、画像データと画像付属データを分離したり、画像付属データから必要な情報を取り出したりする各フォーマットに対応する処理が行われる。
【００８５】
この画像処理部１４は、ＲＯＭ３に格納された画像処理プログラムとＣＰＵ２との協働によってソフトウェア処理で実現される。本発明に係る処理の例の詳細は後述する（図３、図１４〜図２１及び図２４〜図２６）。
【００８６】
また、画像処理部１４では、出力先に対応した画像処理が行われ、画像処理された画像データは、ＣＲＴ９に表示されたり、プリント作成部１０でプリントされたり、画像書込部１１で画像記録メディアに記録されたり、通信部１３から他の機器等に送信されたりする。例えば、各出力方法に適した校正処理、カラーマッチング、画素数変更処理等が行われる。画像データは、ＲＧＢカラー画像データ、モノクロ画像データ、ＹＭＣＫ４色画像データ等、何でもよい。また、階調数も任意であって、例えば、ＲＧＢカラー画像データの場合、各色８、各色１２bit等、任意の画像データを用いることができる。画像のフォーマット（ＪＰＥＧ，Ｔｉｆｆ，ｂｍｐ等）も何でもよい。ＪＰＥＧやＴｉｆｆ等、画像データと画像付属データがあるフォーマットの場合は、画像データと画像付属データを対応するように用い、各フォーマットに対応した処理が行われる。
【００８７】
なお、図１に示す画像記録装置１は、操作部５、ＣＲＴ９、フィルムスキャナ部６、反射原稿入力部７、画像読込部８、プリント作成部１０が、一体となっている装置の構造をとっているが、いずれか１つ以上を別体として設けてもよい。また、他のフィルムスキャナや反射原稿入力装置やプリンタ等を接続してもよい。その場合は、各装置毎の固有の処理が画像処理部１４で行われる。
【００８８】
次に、画像記録装置１の画像処理部１４で実行される画像処理について説明する。
【００８９】
［実施の形態１］
図３に、実施の形態１として画像処理方法の例を示す。画像処理部１４０は、図２における画像記録装置１の画像処理部１４の一例である。
画像処理部１４０は、入力画像変換手段２０と、合成端部検出手段３０と、歪み量算出手段４０と、画像データ変換手段５０と、出力画像変換手段６０と、を備える。
【００９０】
入力画像変換手段２０は、画像読込部８又は通信部１３から入力される合成画像Ｄを、それぞれの画像に対応する手段で変換して合成画像の画像データＰを生成する。画像データＰがＲＧＢの３色であれば、それぞれに対応して以下の処理が行われる。
【００９１】
次に、合成端部検出手段３０について説明する。
合成端部検出手段３０は、合成画像の画像データＰから、画像合成の合成端部を検出し、合成端部情報を生成する。
ここで、合成端部とは、合成画像の境界部又は境界部とその周辺をいう。例えば、図４（ａ）に示すように、背景画像に人物が合成されている場合は、図４（ｂ）に示す人物と背景の境界が合成端部である。
合成端部情報とは、合成端部の画像データ上の画素位置情報(座標)を含むものである。例えば、検出された合成端部以外の画像データを0とした画像データでもよいし、合成端部の画像データを１とし、合成端部以外の画像データを0とした２値画像データでもよい。
合成端部検出手段３０として、空間周波数処理を用いることができる。空間周波数処理とは、コンボリューション等の空間フィルタ処理、多重解像度変換処理等をいう。空間周波数処理により、画像のエッジを容易に検出することができ、エッジの位置や強度等の情報を利用して、より効率よく合成端部を検出することができ、好ましい。
【００９２】
（ａ−１）空間フィルタ処理
合成端部検出手段３０の一例として、空間フィルタ処理を用いた例を示す。空間フィルタを用いて合成画像の画像データＰからエッジを検出し、エッジの大きさを評価して合成端部を検出する。例えば、ラプラシアンフィルタ等の一般的なエッジ検出フィルタで合成画像の画像データＰを変換し、変換後の画像データの大きさが閾値Ｔ１以上の部分を合成端部とする。合成端部の検出方法は、上記の方法に限定されない。
【００９３】
（ａ−２）ウェーブレット変換処理
合成端部検出手段３０の別の例として、ウェーブレット変換処理を用いた例を示す。ウェーブレット変換とは、多重解像度変換のひとつである。
【００９４】
まず、多重解像度変換について説明する。
多重解像度変換とは、ウェーブレット変換、完全再構成フィルタバンク、ラプラシアンピラミッド等で代表される手法の総称をいい、１回の変換操作により入力信号を低周波数帯域成分信号と高周波数帯域成分信号とに分離し、得られた低周波数帯域成分信号に対して同様の操作を行い、周波数帯域が異なる複数の信号からなる多重解像度信号を得る手法である。得られた多重解像度信号を加工せずにそのまま逆多重解像度変換した場合、元の信号が再構成される（“Wavelet and Filter Banks”by G. Strang & T. Nguyen, Wellesley-Cambridge Press（邦訳「ウェーブレット解析とフィルタバンク」, G.ストラング・T.グエン共著,培風館）参照。）。ここでは、代表的な多重解像度変換であるウェーブレット変換の概要を説明する。
【００９５】
ウェーブレット変換とは、図５に例示されるような有限範囲で振動するウェーブレット関数（下記式（１）参照。）を用いて、入力信号ｆ（ｘ）に対するウェーブレット変換係数＜ｆ，ψa,b＞を下記式（２）で求めることにより、入力信号を下記式（３）で示されるウェーブレット関数の総和に分解する変換である。
【数１】
2004194225.tif 000003
【数２】
2004194225.tif 000004
【数３】
2004194225.tif 000005
上記式（３）で、ａはウェーブレット関数のスケールを表し、ｂはウェーブレット関数の位置を示す。図５に例示するように、スケールａの値が大きいほどウェーブレット関数ψa,b（ｘ）の周波数は小さくなり、また位置ｂの値に従ってウェーブレット関数ψa,b（ｘ）が振動する位置が移動する。従って上記式（３）は、入力信号ｆ（ｘ）を種々のスケールと位置を持つウェーブレット関数ψa,b（ｘ）の総和に分解することを意味している。
【００９６】
ウェーブレット変換を行う際に用いられるウェーブレット関数としては、多くのものが知られているが、画像処理分野では特に計算を高速に行うことができる直交ウェーブレット（orthogonal wavelet）変換、双直交ウェーブレット(biorthogonal wavelet)変換が広く用いられている。また、二項ウェーブレット（Dyadic Wavelet）変換は、直交ウェーブレット変換や双直交ウェーブレットと比較すると、画像を間引くことがないので、より高精細に画像を処理することができる。
【００９７】
以下、直交ウェーブレット変換、双直交ウェーブレット変換の概要を説明する。直交ウェーブレット変換及び双直交ウェーブレット変換のウェーブレット関数は下記式（４）のように定義される。
【数４】
2004194225.tif 000006
ただしｉは自然数である。
【００９８】
前記式（４）と前記式（１）とを比較すると、直交ウェーブレット変換、双直交ウェーブレット変換では、スケールａの値が２のｉ乗で離散的に定義され、また位置ｂの最小移動単位が2iで離散的に定義されていることが判る。このｉの値はレベルと呼ばれる。
【００９９】
また実用的にはレベルｉを有限な上限Ｎまでに制限して、入力信号を下記式（５）、式（６）、式（７）のように変換することが行われる。
【数５】
2004194225.tif 000007
【数６】
2004194225.tif 000008
【数７】
2004194225.tif 000009
【０１００】
上記式（５）の第２項は、レベル１のウェーブレット関数ψ1,j（ｘ）の総和で表せない残差の低周波数帯域成分を、レベル１のスケーリング関数φ1,j（ｘ）の総和で表したものである。スケーリング関数はウェーブレット関数に対応して適切なものを用いる。上記式（５）に示す１レベルのウェーブレット変換により入力信号ｆ（ｘ）≡Ｓ0は、レベル１の高周波数帯域成分Ｗ1と低周波数帯域成分Ｓ1に信号分解されたことになる。
【０１０１】
なお、画像においては、高周波数帯域成分は、例えば、髪の毛やまつ毛のような微細な構造を表現する成分であり、低周波数帯域成分は、例えば、頬のように信号強度の変化の緩やかな構造を示す成分である。
【０１０２】
ウェーブレット関数ψi,j（ｘ）の最小移動単位単位は2iなので、入力信号0の信号量に対して高周波数帯域成分Ｗ1と低周波数帯域成分Ｓ1の信号量は各々１／２となり、高周波数帯域成分Ｗ1と低周波数帯域成分Ｓ1の信号量の総和は、入力信号Ｓ0の信号量と等しくなる。レベル１の低周波数帯域成分Ｓ1は式（６）において、レベル２の高周波数帯域成分Ｗ2と低周波数帯域成分Ｓ2に分解され、以下同様にレベルＮ迄の変換を繰り返すことで、入力信号Ｓ0は、式（７）に示すように各レベル１〜Ｎの高周波数帯域成分の総和とレベルＮの低周波数帯域成分の和に分解される。
【０１０３】
ここで、前記式（６）で示す１レベルのウェーブレット変換は、図６に示すようなフィルタ処理で計算することができる。図６において、ＬＰＦはローパスフィルタ、ＨＰＦはハイパスフィルタを示している。ローパスフィルタＬＰＦとハイパスフィルタＨＰＦのフィルタ係数は、ウェーブレット関数に応じて適切に定められる。また、２↓は、信号を１つおきに間引くダウンサンプリング処理を示す。
【０１０４】
画像信号のような２次元信号における１レベルのウェーブレット変換は、図７に示すようなフィルタ処理で計算される。図７に示すように、まず低周波数帯域成分Ｓn-1をｘ方向のローパスフィルタＬＰＦx、ハイパスフィルタＨＰＦxによりフィルタ処理を行い、ｘ方向にダウンサンプリング処理を行う。これにより入力信号Ｓn-1は低周波数帯域成分Ｓｘnと高周波数帯域成分Ｗｘnとに分解される。この低周波数帯域成分Ｓｘnと高周波数帯域成分Ｗｘnに対して、それぞれｙ方向のローパスフィルタＬＰＦy、ハイパスフィルタＨＰＦyによるフィルタ処理を行い、ｙ方向にダウンサンプリング処理を行う。
【０１０５】
この１レベルのウェーブレット変換により、低周波数帯域成分Ｓn-1は３つの高周波数帯域成分Ｗｖn，Ｗｈn，Ｗｄnと１つの低周波数帯域成分Ｓnに分解される。１回のウェーブレット変換により生成されるＷｖn，Ｗｈn，Ｗｄn，Ｓnの各々の信号量は、分解前のＳn-1に比べて縦横ともに１／２となるので、分解後の４成分の信号量の総和は、分解前のＳn-1の信号と等しくなる。
【０１０６】
なお、図７において、ＬＰＦx，ＨＰＦx，２↓xのように添え字で示したｘはｘ方向の処理を示し、ＬＰＦｙ，ＨＰＦｙ，２↓ｙのように添え字で示したｙはｙ方向の処理を示す。
【０１０７】
図８に、入力信号Ｓ0が３レベルのウェーブレット変換で信号分解される過程の模式図を示す。レベル数ｉが増えるに従って、ダウンサンプリング処理により画像信号が間引かれ、分解画像が小さくなっていくことがわかる。
【０１０８】
また、図９に示すように、分解で生成したＷｖn，Ｗｈn，Ｗｄn，Ｓnにフィルタ処理で計算されるウェーブレット逆変換をほどこすことにより、分解前の信号Ｓn-1を完全再構成できることが知られている。図９において、ＬＰＦ’は逆変換用のローパスフィルタ、ＨＰＦ’は逆変換用のハイパスフィルタを示している。この逆変換の際に用いられるフィルタ係数は、直交ウェーブレットの場合にはウェーブレット変換に用いた係数と同じ係数が使用されるが、双直交ウェーブレットの場合にはウェーブレット変換に用いた係数とは異なる係数が使用される。
【０１０９】
なお、２↑は、信号に１つおきにゼロを挿入するアップサンプリング処理を示す。また、ＬＰＦ’x，ＨＰＦ’x，２↑xのように添え字で示したｘはｘ方向の処理を示し、ＬＰＦ’y，ＨＰＦ’y，２↓yのように添え字で示したｙはy方向の処理を示す。
【０１１０】
次に、二項ウェーブレット変換について概要を説明する。
二項ウェーブレット変換のウェーブレット関数は下記式（８）のように定義される。
【数８】
2004194225.tif 000010
ただし、ｉは自然数である。
【０１１１】
前述した直交ウェーブレット変換や双直交ウェーブレット変換のウェーブレット関数はレベルｉにおける位置の最小移動単位が2iで離散的に定義されていたのに対し、二項ウェーブレット変換のウェーブレット関数はレベルｉにかかわらず位置の最小移動単位が一定である。この相違により、二項ウェーブレット変換には下記の特徴が生じる。
【０１１２】
第一の特徴として、下記式（９）に示す１レベルの二項ウェーブレット変換で生成する、高周波数帯域成分Ｗiと低周波数帯域成分Ｓiの各々の信号量は、変換前の信号Ｓi-1と同一である。
【数９】
2004194225.tif 000011
【０１１３】
第二の特徴として、スケーリング関数φi,j（ｘ）とウェーブレット関数ψi,j（ｘ）の間に下記式（１０）の関係が成立する。
【数１０】
2004194225.tif 000012
したがって、二項ウェーブレット変換で生成される高周波数帯域成分Ｗiは、低周波数帯域成分Ｓiの一回微分（勾配）を表す。
【０１１４】
第三の特徴として、ウェーブレット変換のレベルｉに応じて定められた係数γiを高周波数帯域成分に乗じたＷi・γi（以下、これを補正済高周波数帯域成分という。）について、入力信号の信号変化の特異性（singularity）に応じて、該変換後の補正済高周波数帯域成分Ｗi・γiの信号強度のレベル間の関係が一定の法則に従う（“Singularity detection and processing with wavelets” by S.Mallat and W.L.Hwang, IEEE Trans. Inform. Theory 38 617 (1992) 、 “Characterization of signals from multiscale edges” by S.Mallat and S.Zhong, IEEE Trans. Pattern Anal. Machine Intel. 14 710 (1992) 、“A wavelet tour of signal processing 2ed” by S.Mallat, Academic Press参照。）。すなわち、図１０の“１”や“４”に示すようななだらかな（微分可能な）信号変化に対応する補正済高周波数帯域成分Ｗi・γiはレベル数ｉが増大するほど信号強度が増大するのに対して、図１０の“２”に示すステップ状の信号変化に対応する補正済高周波数帯域成分Ｗi・γiはレベル数ｉに関わらず信号強度が一定となり、図１０の“３”に示すδ関数状の信号変化に対応する補正済高周波数帯域成分Ｗi・γiはレベル数ｉが増大するほど信号強度が減少する。
【０１１５】
第四の特徴として、画像信号のような２次元信号における１レベルの二項ウェーブレット変換の方法は、前述の直交ウェーブレット変換や双直交ウェーブレット変換の方法と異なり、図１１に示すような方法で行われる。図１１に示すように、１レベルのウェーブレット変換において、低周波数帯域成分Ｓn-1をｘ方向のローパスフィルタＬＰＦx及びｙ方向のローパスフィルタＬＰＦyで処理することにより、低周波数帯域成分Ｓnが得られる。また、低周波数帯域成分Ｓn-1をｘ方向のハイパスフィルタＨＰＦxで処理することにより、高周波数帯域成分Ｗｘnが得られ、ｙ方向のハイパスフィルタＨＰＦyで処理することにより、高周波数帯域成分Ｗｙnが得られる。
【０１１６】
このように、１レベルの二項ウェーブレット変換により、低周波数帯域成分Ｓn-1は、２つの高周波数帯域成分Ｗｘn，Ｗｙnと１つの低周波数帯域成分Ｓnに分解される。２つの高周波数帯域成分Ｗｘn，Ｗｙnは低周波数帯域成分Ｓnの２次元における変化ベクトルＶnのｘ成分とｙ成分に相当する。変化ベクトルＶnの大きさＭnと偏角Ａnは下記式（１１）、式（１２）で与えられる。
【数１１】
2004194225.tif 000013
【数１２】
2004194225.tif 000014
【０１１７】
二項ウェーブレット変換で得られた２つの高周波数帯域成分Ｗｘn，Ｗｙnと１つの低周波数帯域成分Ｓnに、図１２に示す二項ウェーブレット逆変換を施すことにより、変換前のＳn-1を再構成することができる。
【０１１８】
（ａ−２−１）直交ウェーブレット変換処理の例
合成画像の画像データＰに、上述した直交ウェーブレット変換を施して得られた高周波数帯域成分Ｗｖn，Ｗｈn，Ｗｄnにより合成端部を検出する。例えば、レベル１の高周波数帯域成分Ｗｖ1，Ｗｈ1，Ｗｄ1と、レベル２の高周波数帯域成分Ｗｖ2，Ｗｈ2，Ｗｄ2を比較して急峻なエッジを検出する。すなわち、レベル１の高周波数帯域成分Ｗｖ1，Ｗｈ1，Ｗｄ1の大きさが閾値Ｔ２以上で、かつ、レベル２の高周波数帯域成分Ｗｖ2，Ｗｈ2，Ｗｄ2の大きさが閾値Ｔ３以上で、かつ、レベル１の高周波数帯域成分Ｗｖ1，Ｗｈ1，Ｗｄ1とレベル２の高周波数帯域成分Ｗｖ2，Ｗｈ2，Ｗｄ2の差の絶対値が、閾値Ｔ４以下である部分を合成端部とする。検出方法は、上記の方法に限定されず、例えば、同一レベルの高周波数帯域成分Ｗｖ，Ｗｈ，Ｗｄそれぞれに対して互いに異なる閾値を設定することとしてもよい。なお、各閾値の値は、目的や用途等に応じて適宜設定する。
【０１１９】
（ａ−２−２）二項ウェーブレット変換処理の例
合成画像の画像データＰに、上述した二項ウェーブレット変換を施して得られた高周波数帯域成分Ｗｘn，Ｗｙnにより合成端部を検出する。例えば、レベル１の高周波数帯域成分Ｗｘ1，Ｗｙ1と、レベル２の高周波数帯域成分Ｗｘ2，Ｗｙ2を比較して急峻なエッジを検出する。すなわち、レベル１の高周波数帯域成分Ｗｘ1，Ｗｙ1の大きさが閾値Ｔ５以上で、かつ、レベル２の高周波数帯域成分Ｗｘ2，Ｗｙ2の大きさが閾値Ｔ６以上で、かつ、レベル１の高周波数帯域成分Ｗｘ1，Ｗｙ1とレベル２の高周波数帯域成分Ｗｘ2，Ｗｙ2の差の絶対値が、閾値Ｔ７以下である部分を合成端部とする。検出方法は、上記の方法に限定されず、例えば、同一レベルの高周波数帯域成分Ｗｘ，Ｗｙそれぞれに対して異なる閾値を設定することとしてもよい。なお、各閾値の値は、目的や用途等に応じて適宜設定する。
【０１２０】
直交ウェーブレット変換や二項ウェーブレット変換等の多重解像度変換により、解像度が異なる複数の画像データを用いて、エッジの位置や強度等の情報を判別することができる。このエッジ情報を利用して、精度よく合成端部を検出することができる。そのため、合成画像をより自然に修正することができ、好ましい。
【０１２１】
ウェーブレット変換の中で、二項ウェーブレット変換は、レベル２以上の高周波数帯域成分を用いる場合に高精度でエッジ検出ができる点、閾値Ｔ５と閾値Ｔ６を同じ値にしても実用上問題なく、簡易化できる点で好ましい。また、直交ウェーブレット変換、双直交ウェーブレット変換は、画像サイズが小さくなるので、高速に処理できる点で好ましい。
【０１２２】
なお、上述した（ａ−２−１）直交ウェーブレット変換処理の例、（ａ−２−２）二項ウェーブレット変換処理の例では、レベル２までの高周波数帯域成分を用いた場合を説明したが、レベル１だけでもよいし、より多いレベルまでの高周波数帯域成分を用いて合成端部を検出することとしてもよい。例えば、ｎレベルまでの高周波数帯域成分を用いる場合、１〜ｍ（ｎ＜ｍ）レベルまでは直交エーブレット変換又は双直交ウェーブレット変換を用い、ｍ＋１〜ｎレベルに二項ウェーブレット変換を用いると、精度を大きく落とすことなく、処理速度の低下を抑えることができる。よって、精度と処理速度の両立の点で好ましい。
【０１２３】
合成端部検出手段３０として、（ａ−１）空間フィルタ処理、（ａ−２−１）直交ウェーブレット変換処理の例、（ａ−２−２）二項ウェーブレット変換処理の例を示したが、これらに限定されない。これらのいずれを用いてもよく、組み合わせて用いてもよい。また、多重解像度変換での例として、ウェーブレット変換を示したが、他の多重解像度変換でもよい。
【０１２４】
次に、歪み量算出手段４０について説明する。
歪み量算出手段４０は、合成画像の画像データＰと、合成端部検出手段３０により得られた合成端部情報とを用いて、歪み量を算出し、歪み情報を生成する。
歪み量とは、画像の不自然さと関係したもので、画像データの変化、画像データの勾配の変化、Ｓ／Ｎ比の変化、鮮鋭度の変化等の大きさによって算出されるもの等がある。歪み量が大きいほど、画像は不自然に見える。歪み量が大きいときに不連続という言い方がされることもある。
歪み情報とは、画像データ上の画素位置情報(座標)と、その画素位置での歪み量を含むものである。例えば、合成端部以外の画像データを0とし、合成端部の画像データを歪み量に対応したランク値とした画像データでもよい。
【０１２５】
（ｂ−１）微分フィルタ処理
歪み量算出手段４０として、微分フィルタを用いた例を示す。微分フィルタとしては、ラプラシアンフィルタ等、当業界で知られた種々のフィルタを、目的に合うように適宜使用すればよい。例えば、合成端部情報に記された合成端部の画素位置において、合成画像の画像データＰを微分フィルタ等で変換し、勾配を求める。求めた勾配量をランク分けして、歪み量とする。例えば、勾配量ｋ未満をランク値１とし、勾配量ｋ以上をランク値２とする。ｋの値は、合成画像のサイズや、目的や用途等に応じて適宜設定する。
なお、勾配量のランク分けは２ランクだけでなく、ｎランクにランク分けすることとしてもよい。
また、勾配量をそのままランク値としても良い。
また、歪み情報の画素位置情報としては、合成端部情報に記された合成端部の画素位置と同じでもよいし、合成端部情報に記された合成端部の画素位置のとぎれた部分をつなぐ等、輪郭の形の整形をして、画素位置を変更してもよい。
【０１２６】
次に、画像データ変換手段５０について説明する。
画像データ変換手段５０は、歪み量算出手段４０により得られた歪み情報を用いて、合成画像の画像データＰを変換し、修正後の合成画像の画像データＰ’を生成する。
ここで、合成画像の画像データＰは、歪み量に基づいて変換される。歪み量に基づく変換とは、歪み量と対応した変換条件で行われる変換をいうが、歪み量自身が変換条件であってもよい。歪み量に基づく変換は、歪み量を軽減、除去する変換だけでなく、歪み量は軽減、除去されなくても、見た目に歪み量が減ったように自然に見えるような変換でもよい。この変換は、合成端部及びその周辺等への部分処理や、全体をぼかす等の全体処理がある。
図１３に、図４の合成画像における部分処理の処理領域の例を示す。図１３（ａ）〜（ｄ）において、網点で示す部分に処理が実行されるものとする。図１３（ａ）は人物の内部、図１３（ｂ）は人物と背景の境界及びその周辺部、図１３（ｃ）は背景部を示す。また、図１３（ｄ）に示すように、人物の内部は鮮鋭度を上げる処理、背景部は鮮鋭度を下げる処理を実行する等、領域によって異なる部分処理を実行してもよい。
【０１２７】
（ｃ−１）空間フィルタぼかし処理
画像データ変換手段５０として、空間フィルタを用いた例を示す。例えば、歪み情報に記された画素位置において、合成画像の画像データＰを空間フィルタでぼかす処理を行う。このとき、ぼかし量を歪み量のランクに応じて変える。例えば、５×５のフィルタでぼかす場合は、歪み量のランクに応じてフィルタ係数を変える。空間フィルタとしては、平滑化フィルタ等の当業界で知られた種々のフィルタを目的に合うように適宜使用し、ランクに応じてフィルタ係数等を変えて用いればよい。
【０１２８】
出力画像変換手段６０は、修正後の合成画像の画像データＰ’を出力先に対応した変換を行い、ＣＲＴ９、プリント作成部１０、画像書込部１１又は通信部１３に出力する。
【０１２９】
実施の形態１では、合成端部を検出することにより、合成画像の合成端部の不自然さを精度よく修正することができる。
また、実施の形態１に示した上記の画像データ変換処理は、合成端部の画像データに対する変換の例で、合成端部の不自然さを軽減させるのに効果的である。また、歪み量に基づいて画像データを変換するので、必要な部分に必要な程度の処理を行うことができる。そのため、手作業等の作業工数をほとんどかけずに、合成画像の不自然さを修正することができる。また、部分処理であるので、画像全体の印象を保つことができ、合成画像の微修正に適している。合成前の画像の粒状や鮮鋭度を調整してから合成する前処理を適切に行っても、合成画像の合成端部の不自然さが残る場合が多いが、この処理は合成端部を効果的に修正するのに適している。
【０１３０】
［実施の形態２］
図１４に、実施の形態２として画像処理方法の例を示す。図１４に示す画像処理部１４１は、図２における画像記録装置１の画像処理部１４の一例である。
画像処理部１４１は、入力画像変換手段２０と、輝度／色差変換手段７０と、合成端部検出手段３０と、歪み量算出手段４０と、画像データ変換手段５０と、輝度／色差逆変換手段８０と、出力画像変換手段６０と、を備える。
【０１３１】
実施の形態１では、合成画像の画像データＰを用いて合成端部情報と歪み情報を生成し、合成画像の画像データＰに対して歪み量に基づく変換を行ったが、実施の形態２では、合成画像の画像データＰを輝度データＢと色差データＣに変換後、輝度データＢを用いて合成端部情報と歪み情報を生成し、輝度データＢに対して歪み量に基づく変換を行う。
入力画像変換手段２０、出力画像変換手段６０については、実施の形態１と同様であるので、説明を省略する。
【０１３２】
まず、輝度／色差変換手段７０について説明する。輝度／色差変換手段７０は、合成画像の画像データＰを輝度データＢと色差データＣに変換する。画像データＰを輝度データＢと色差データＣに変換する輝度／色差変換としては、画像データがｓＲＧＢ規格に基づくデータの場合、ＣＩＥ(Commission Internationalede l'Eclairage：国際照明委員会)が１９７６年に推奨したＬ＊ａ＊ｂ＊基底やＬ＊ｕ＊ｖ＊基底等に変換する操作がある。この場合、Ｌ＊が輝度に相当する。また、ｓＲＧＢの平均値を輝度データＢとし、これに直交する２軸を色差信号とするような変換を行ってもよい。また、ｓＲＧＢからｓＹＣＣへ変換してもよい。この場合、Ｙが輝度に相当する。
【０１３３】
合成端部検出手段３０は、合成画像の輝度データＢから、画像合成の合成端部を検出し、合成端部情報を生成する。扱うデータが輝度データＢであること以外は、実施の形態１と同様であるので、説明を省略する。合成端部検出手段３０として、（ａ−１）空間フィルタ処理、（ａ−２−１）直交ウェーブレット変換処理の例、（ａ−２−２）二項ウェーブレット変換処理の例のうち、いずれを用いてもよい。また、他の多重解像度変換を用いてもよい。
【０１３４】
歪み量算出手段４０は、合成画像の輝度データＢと、合成端部検出手段３０により得られた合成端部情報とを用いて、歪み量を算出し、歪み情報を生成する。扱うデータが輝度データＢであること以外は、実施の形態１と同様であるので、説明を省略する。歪み量算出手段４０として、（ｂ−１）微分フィルタ処理を用いるが、他の方法によって歪み量を算出してもよい。
【０１３５】
画像データ変換手段５０は、歪み量算出手段４０により得られた歪み情報を用いて、合成画像の輝度データＢを変換し、修正後の合成画像の輝度データＢ’を生成する。変換するデータが輝度データＢであること以外は、実施の形態１と同様であるので、説明を省略する。画像データ変換手段５０として、（ｃ−１）空間フィルタぼかし処理を用いるが、他の方法を用いてもよい。
【０１３６】
輝度／色差逆変換手段８０は、修正後の輝度データＢ’と色差データＣに輝度／色差逆変換を施し、修正後の画像データＰ’を生成する。この輝度／色差逆変換は、輝度／色差変換手段７０における輝度／色差変換の逆変換である。
【０１３７】
実施の形態２では、合成端部検出手段３０、歪み量算出手段４０及び画像データ変換手段５０において、輝度データＢのみを扱うことにより、合成画像の修正処理を簡素化することができる。そのため、高速に処理することができ、好ましい。
【０１３８】
［実施の形態３］
図１５に、実施の形態３として画像処理方法の例を示す。図１５に示す画像処理部１４２は、図２における画像記録装置１の画像処理部１４の一例である。
画像処理部１４２は、入力画像変換手段２０と、輝度／色差変換手段７０と、合成端部検出手段３０と、歪み量算出手段４０と、画像データ変換手段５０と、輝度／色差逆変換手段８０と、出力画像変換手段６０と、を備える。
【０１３９】
実施の形態２では、合成画像の画像データＰを輝度データＢと色差データＣに変換後、輝度データＢを用いて合成端部情報と歪み情報を生成し、輝度データＢに対して歪み量に基づく変換を行ったが、実施の形態３では、輝度データＢを用いて合成端部情報を生成し、合成端部を検出するために生成された輝度データＢの中間データＢtmp１を用いて歪み情報を生成し、歪み情報を得るために生成された中間データＢtmp２に対して歪み量に基づく変換を行う。
入力画像変換手段２０、輝度／色差変換手段７０、合成端部検出手段３０、輝度／色差逆変換手段８０及び出力画像変換手段６０については、実施の形態２と同様であるので、説明を省略する。
【０１４０】
歪み量算出手段４０は、合成端部検出手段３０により合成端部を検出するために生成された輝度データＢの中間データＢtmp１と、合成端部検出手段３０により得られた合成端部情報とを用いて、歪み量を算出し、歪み情報を生成する。扱うデータが輝度データＢの中間データＢtmp１であること以外は、実施の形態１と同様であるので、説明を省略する。歪み量算出手段４０として、（ｂ−１）微分フィルタ処理を用いるが、他の方法によって歪み量を算出してもよい。
【０１４１】
画像データ変換手段５０は、歪み量算出手段４０により得られた歪み情報を用いて、歪み量算出手段４０によって歪み情報を得るために生成された中間データＢtmp２を変換し、修正後の合成画像の輝度データＢ’を生成する。変換するデータが中間データＢtmp２であること以外は、実施の形態１と同様であるので、説明を省略する。画像データ変換手段５０として、（ｃ−１）空間フィルタぼかし処理を用いるが、他の方法を用いてもよい。
【０１４２】
なお、中間データＢtmp２の替わりに、合成端部を検出するために生成された中間データＢtmp１を用いてもよい。また、中間データＢtmp２と中間データＢtmp１を併用してもよい。
【０１４３】
実施の形態３では、合成端部検出手段３０において輝度データＢを扱い、歪み量算出手段４０において輝度データＢの中間データＢtmp１を扱い、画像データ変換手段５０において輝度データＢの中間データＢtmp２を扱うことにより、各工程毎の結果を順次用いることで、合成画像の修正処理を簡素化することができる。そのため、高速かつ効率的に処理することができ、好ましい。
【０１４４】
［実施の形態４］
図１６に、実施の形態４として画像処理方法の例を示す。図１６に示す画像処理部１４３は、図２における画像記録装置１の画像処理部１４の一例である。
画像処理部１４３は、入力画像変換手段２０と、輝度／色差変換手段７０と、合成端部検出手段３０と、歪み量算出手段４０と、画像データ変換手段５０と、輝度／色差逆変換手段８０と、出力画像変換手段６０と、を備える。
【０１４５】
実施の形態３では、合成画像の画像データＰを輝度データＢと色差データＣに変換後、輝度データＢを用いて合成端部情報を生成し、合成端部を検出するために生成された輝度データＢの中間データＢtmp１を用いて歪み情報を生成し、歪み情報を得るために生成された中間データＢtmp２に対して歪み量に基づく変換を行ったが、実施の形態４では、輝度データＢと色差データＣの両方を用いて合成端部情報を生成し、合成端部を検出するために生成された輝度データＢの中間データＢtmp１と色差データＣの中間データＣtmp１を用いて歪み情報を生成し、歪み情報を得るために生成された輝度データＢの中間データＢtmp２と色差データＣの中間データＣtmp２に対して歪み量に基づく変換を行う。
入力画像変換手段２０、輝度／色差変換手段７０及び出力画像変換手段６０については、実施の形態２と同様であるので、説明を省略する。
【０１４６】
合成端部検出手段３０は、合成画像の輝度データＢと色差データＣから、画像合成の合成端部を検出し、合成端部情報を生成する。扱うデータが輝度データＢと色差データＣであること以外は、実施の形態１と同様であるので、説明を省略する。合成端部検出手段３０として、（ａ−１）空間フィルタ処理、（ａ−２−１）直交ウェーブレット変換処理の例、（ａ−２−２）二項ウェーブレット変換処理の例のうち、いずれを用いてもよい。また、他の多重解像度変換を用いてもよい。
【０１４７】
歪み量算出手段４０は、合成端部検出手段３０により合成端部を検出するために生成された輝度データＢの中間データＢtmp１と色差データＣの中間データＣtmp１と、合成端部検出手段３０により得られた合成端部情報とを用いて、歪み量を算出し、歪み情報を生成する。扱うデータが輝度データＢの中間データＢtmp１と色差データＣの中間データＣtmp１であること以外は、実施の形態１と同様であるので、説明を省略する。歪み量算出手段４０として、（ｂ−１）微分フィルタ処理を用いるが、他の方法によって歪み量を算出してもよい。
【０１４８】
画像データ変換手段５０は、歪み量算出手段４０により得られた歪み情報を用いて、歪み量算出手段４０によって歪み情報を得るために生成された中間データＢtmp２と中間データＣtmp２を変換し、修正後の合成画像の輝度データＢ’と色差データＣ’を生成する。変換するデータが中間データＢtmp２と中間データＣtmp２であること以外は、実施の形態１と同様であるので、説明を省略する。画像データ変換手段５０として、（ｃ−１）空間フィルタぼかし処理を用いるが、他の方法を用いてもよい。
【０１４９】
輝度／色差逆変換手段８０は、修正後の輝度データＢ’と修正後の色差データＣ’に輝度／色差逆変換を施し、修正後の画像データＰ’を生成する。
【０１５０】
実施の形態４では、合成端部検出手段３０、歪み量算出手段４０及び画像データ変換手段５０において、合成画像の輝度データＢと色差データＣの両方について処理を行うので、実施の形態２，３と比較して、合成画像をより自然に修正することが可能であり、好ましい。
【０１５１】
［実施の形態５］
図１７に、実施の形態５として画像処理方法の例を示す。図１７に示す画像処理部１４４は、図２における画像記録装置１の画像処理部１４の一例である。
画像処理部１４４は、入力画像変換手段２０と、輝度／色差変換手段７０と、合成端部検出手段３０と、歪み量算出手段４０と、画像データ変換手段５０と、輝度／色差逆変換手段８０と、出力画像変換手段６０と、を備える。
【０１５２】
実施の形態２では、輝度データＢに対して歪み量に基づく変換を行ったが、実施の形態５では、輝度データＢと色差データＣの両方に対して歪み量に基づく変換を行う。
入力画像変換手段２０、輝度／色差変換手段７０、合成端部検出手段３０、歪み量算出手段４０及び出力画像変換手段６０については、実施の形態２と同様であるので、説明を省略する。また、輝度／色差逆変換手段８０については、実施の形態４と同様であるので、説明を省略する。
【０１５３】
画像データ変換手段５０は、歪み量算出手段４０により得られた歪み情報を用いて、輝度データＢと色差データＣを変換し、修正後の輝度データＢ’と色差データＣ’を生成する。変換するデータが輝度データＢと色差データＣであること以外は、実施の形態１と同様であるので、説明を省略する。画像データ変換手段５０として、（ｃ−１）空間フィルタぼかし処理を用いるが、他の方法を用いてもよい。
【０１５４】
実施の形態５では、画像データ変換手段５０において、合成画像の輝度データＢと色差データＣの両方について処理を行うので、実施の形態２と比較して、合成画像をより自然に修正することが可能であり、好ましい。
【０１５５】
［実施の形態６］
図１８に、実施の形態６として画像処理方法の例を示す。図１８に示す画像処理部１４５は、図２における画像記録装置１の画像処理部１４の一例である。
画像処理部１４５は、入力画像変換手段２０と、輝度／色差変換手段７０と、合成端部検出手段３０と、歪み量算出手段４０と、画像データ変換手段５０と、輝度／色差逆変換手段８０と、出力画像変換手段６０と、を備える。
実施の形態６は、合成画像が画像データＰと画像付属データＡを含む場合に、合成画像の画像データＰだけでなく、画像付属データＡを利用して画像処理を行う例である。
【０１５６】
ここで、画像付属データとは、画像データ（画素データ）以外の付属データであり、例えば、ヘッダやタグ等をいう。例えば、画像付属データとして、貼り付けた画像の重心位置や「中央やや右下」といった位置情報が入っている場合がある。また、画像付属データとして、合成端部情報が含まれている場合もある。
【０１５７】
輝度／色差変換手段７０、歪み量算出手段４０、画像データ変換手段５０、輝度／色差逆変換手段８０については、実施の形態２と同様であるので、説明を省略する。
【０１５８】
入力画像変換手段２０は、画像読込部８又は通信部１３から入力される合成画像Ｄを、それぞれの画像に対応する手段で変換して合成画像の画像データＰと合成画像の画像付属データＡを取得する。
【０１５９】
合成端部検出手段３０は、合成画像の輝度データＢと画像付属データＡを併用して画像合成の合成端部を検出し、合成端部情報を生成する。位置情報等の画像付属データＡに基づいて処理が行われるが、輝度データＢを扱うことについては、基本的には、実施の形態２と同様であるので、説明を省略するが、処理の中で画像付属データＡを適宜用いて、例えば、検出の精度や効率を上げた処理が行われる。
【０１６０】
出力画像変換手段６０は、修正後の合成画像の画像データＰ’をＣＲＴ９、プリント作成部１０、画像書込部１１又は通信部１３のそれぞれ対応する手段で変換して、修正後の合成画像Ｄ’を出力する。このとき、出力画像変換手段６０は、入力画像変換手段２０が取得した合成画像の画像付属データＡも用いる。出力画像が画像付属データＡを必要としないフォーマットの場合等は、画像付属データＡを用いなくてもよい。
【０１６１】
実施の形態６では、合成端部の検出時に合成画像の輝度データＢと画像付属データＡを併用することにより、効率よく合成端部を検出することができる。例えば、おおまかな位置と大きさの情報があれば、検出領域が限定できるので、合成端部の検出効率が上がり、好ましい。また、画像付属データＡとして合成端部情報が含まれている場合には、合成端部情報をそのまま利用することができ、合成端部を検出する必要がないので、効率が上がり、好ましい。
【０１６２】
［実施の形態７］
図１９に、実施の形態７として画像処理方法の例を示す。図１９に示す画像処理部１４６は、図２における画像記録装置１の画像処理部１４の一例である。
画像処理部１４６は、入力画像変換手段２０と、輝度／色差変換手段７０と、合成端部検出手段３０と、歪み量算出手段４０と、画像データ変換手段５０と、輝度／色差逆変換手段８０と、出力画像変換手段６０と、を備える。
【０１６３】
実施の形態７は、実施の形態６と同様に、合成画像の輝度データＢと画像付属データＡを併用して合成端部を検出する例であるが、実施の形態７では、修正後の画像に適するように変更された画像付属データＡ’を修正後の合成画像に用いる。
【０１６４】
入力画像変換手段２０、輝度／色差変換手段７０、合成端部検出手段３０、歪み量算出手段４０、輝度／色差逆変換手段８０については、実施の形態６と同様であるので、説明を省略する。
【０１６５】
画像データ変換手段５０は、歪み量算出手段４０により得られた歪み情報を用いて、合成画像の輝度データＢを変換し、修正後の合成画像の輝度データＢ’を生成するとともに、修正後の合成画像の画像付属データＡ’も生成する。修正後の合成画像の画像付属データＡ’を生成すること以外は、実施の形態２と同様であるので、説明を省略する。
【０１６６】
出力画像変換手段６０は、修正後の合成画像の画像データＰ’をＣＲＴ９、プリント作成部１０、画像書込部１１又は通信部１３のそれぞれに対応する手段で変換して、修正後の合成画像Ｄ’を出力する。このとき、出力画像変換手段６０は、画像データ変換手段５０が生成した修正後の合成画像の画像付属データＡ’を修正後の合成画像Ｄ’とともに出力する。
【０１６７】
実施の形態７では、実施の形態６と同様の効果に加えて、例えば、修正後の合成画像の画像付属データＡ’として、タグへ「合成画像修正変換済み」という情報を書き込むことにより、合成画像Ｄ’が処理済みであることを明示することができる。したがって、処理前か処理済みかがわかるので、処理済み画像にまた処理を試みる等の無駄がなくなり、好ましい。
【０１６８】
［実施の形態８］
図２０に、実施の形態８として画像処理方法の例を示す。図２０に示す画像処理部１４７は、図２における画像記録装置１の画像処理部１４の一例である。
画像処理部１４７は、入力画像変換手段２０と、輝度／色差変換手段７０と、合成端部検出手段３０と、歪み量算出手段４０と、画像データ変換手段５０と、輝度／色差逆変換手段８０と、出力画像変換手段６０と、を備える。
【０１６９】
実施の形態６，７は、画像付属データＡを併用して合成端部を検出したが、実施の形態８では、合成画像以外のデータＥを併用して合成端部を検出する。
合成画像以外のデータとしては、例えば、合成領域のマスク画像データや、合成端部情報（画像付属データに含まれる場合を除く。）がある。合成画像以外のデータＥは、画像読込部８や通信部１３から入力されたり、操作部５から手入力されたりする。
【０１７０】
入力画像変換手段２０、輝度／色差変換手段７０、歪み量算出手段４０、画像データ変換手段５０、輝度／色差逆変換手段８０及び出力画像変換手段６０については、実施の形態２と同様であるので、説明を省略する。
【０１７１】
合成端部検出手段３０は、合成画像の輝度データＢと合成画像以外のデータＥを併用して画像合成の合成端部を検出し、合成端部情報を生成する。合成画像以外のデータＥに基づいて処理が行われるが、輝度データＢを扱うことについては、基本的には、実施の形態２と同様であるので、説明を省略するが、処理の中で合成画像以外のデータＥを適宜用いて、例えば、検出の精度や効率を上げた処理が行われる。
【０１７２】
実施の形態８では、合成端部の検出時に合成画像の輝度データＢと合成画像以外のデータＥを併用することにより、効率よく合成端部を検出することができ、好ましい。例えば、合成領域のマスク画像データにより、合成端部の位置を限定することができるので、合成端部の検出効率が上がり、好ましい。また、合成画像以外のデータＥとして合成端部情報が含まれている場合には、合成端部情報をそのまま利用することができ、合成端部を検出する必要がないので、効率が上がり、好ましい。
【０１７３】
［実施の形態９］
図２１に、実施の形態９として画像処理方法の例を示す。図２１に示す画像処理部１４８は、図２における画像記録装置１の画像処理部１４の一例である。
画像処理部１４８は、入力画像変換手段２０と、輝度／色差変換手段７０と、合成端部検出手段３０と、歪み量算出手段４０と、画像データ変換手段５０と、輝度／色差逆変換手段８０と、出力画像変換手段６０と、を備える。
【０１７４】
実施の形態９は、実施の形態３の一例をより詳細に説明した例である。実施の形態９では、実施の形態３における輝度データＢの中間データＢtmp１，Ｂtmp２として、二項ウェーブレット変換を施して得られた高周波数帯域成分Ｗｘn，Ｗｙnを用いる。
【０１７５】
入力画像変換手段２０、輝度／色差変換手段７０、輝度／色差逆変換手段８０及び出力画像変換手段６０については、実施の形態２と同様であるので、説明を省略する。
【０１７６】
合成端部検出手段３０は、二項ウェーブレット変換手段３１と、合成端部判定手段３２と、から構成される。
【０１７７】
図２２に、実施の形態９における画像信号変換処理の流れを示す。図２２は、二項ウェーブレット変換手段３１と、後述するランク別画像データ変換手段５１と、後述する二項ウェーブレット逆変換手段５２により、合成画像の輝度データＢが変換される手順を示した図である。
【０１７８】
二項ウェーブレット変換手段３１は、合成画像の輝度データＢに２レベルの二項ウェーブレット変換を施す。図２２に示すように、二項ウェーブレット変換において、合成画像の輝度データＢをｘ方向のハイパスフィルタＨＰＦ1ｘで処理することにより、高周波数帯域成分Ｗｘ1が得られ、ｙ方向のハイパスフィルタＨＰＦ1ｙで処理することにより、高周波数帯域成分Ｗｙ1が得られる。また、合成画像の輝度データＢをｘ方向のローパスフィルタＬＰＦ1ｘ及びｙ方向のローパスフィルタＬＰＦ1ｙで処理することにより、低周波数帯域成分Ｓ1が得られる。
続いて、低周波数帯域成分Ｓ1をｘ方向のハイパスフィルタＨＰＦ2ｘで処理することにより、高周波数帯域成分Ｗｘ2が得られ、ｙ方向のハイパスフィルタＨＰＦ2ｙで処理することにより、高周波数帯域Ｗｙ2が得られる。また、合成画像の輝度データＢをｘ方向のローパスフィルタＬＰＦ2ｘ及びｙ方向のローパスフィルタＬＰＦ2ｙで処理することにより、低周波数帯域成分Ｓ2が得られる。
【０１７９】
合成端部判定手段３２は、レベル１の高周波数帯域成分Ｗｘ1，Ｗｙ1と、レベル２の高周波数帯域成分Ｗｘ2，Ｗｙ2とを比較し、合成端部を判定する。合成端部の判定方法については、（ａ−２−２）二項ウェーブレット変換処理の例と同様であるので、説明を省略する。
【０１８０】
（ｂ−２）高周波数帯域データランク分け処理
歪み量算出手段４０として、元画像から二項ウェーブレット変換して得られた高周波数帯域成分Ｗｘn，Ｗｙnの画像データ値に応じてランク分けする方法を用いる。
歪み量算出手段４０は、歪みデータ抽出手段４１と、歪み量ランク分け手段４２と、から構成される。
歪みデータ抽出手段４１は、輝度データＢから求められた高周波数帯域成分Ｗｘ1，Ｗｙ1，Ｗｘ2，Ｗｙ2から歪みデータを抽出する。歪みデータとは、合成端部情報に記された合成端部の画素位置における高周波数帯域成分Ｗｘ1，Ｗｙ1，Ｗｘ2，Ｗｙ2の画像データ値である。
歪み量ランク分け手段４２は、この高周波数帯域成分Ｗｘ1，Ｗｙ1，Ｗｘ2，Ｗｙ2の画像データ値に応じてランク分けし、歪み量とする。なお、画像データ値をそのままランク値としてもよい。
【０１８１】
（ｃ−２）ランク別画像データ変換処理
画像データ変換手段５０として、歪み量のランクに応じて画像データを変換する方法を用いる。
画像データ変換手段５０は、ランク別画像データ変換手段５１と、二項ウェーブレット逆変換手段５２と、から構成される。
【０１８２】
ランク別画像データ変換手段５１は、歪み情報に記された画素位置において、高周波数帯域成分Ｗｘ1，Ｗｙ1，Ｗｘ2，Ｗｙ2の画像データを減少させる処理を行う。このとき、高周波数帯域成分Ｗｘ1，Ｗｙ1，Ｗｘ2，Ｗｙ2の画像データの減少比は、歪み量のランクに応じて変える。この変換が図２２のランク別画像データ変換手段５１における変換に該当する。高周波数帯域成分Ｗｘ1，Ｗｙ1，Ｗｘ2，Ｗｙ2は、それぞれ、変換後の高周波数帯域成分Ｗｘ1’，Ｗｙ1’，Ｗｘ2’，Ｗｙ2’に変換される。
【０１８３】
次に、二項ウェーブレット逆変換手段５２は、前記変換後の高周波数帯域成分Ｗｘ1’，Ｗｙ1’，Ｗｘ2’，Ｗｙ2’に対して二項ウェーブレット逆変換を行う。図２２に示すように、高周波数帯域成分Ｗｘ2’に対してｘ方向における逆変換用のハイパスフィルタＨＰＦ’2ｘ及びｙ方向における逆変換用のローパスフィルタＬＰＦ’２ｙで処理することにより得られた信号と、高周波数帯域成分Ｗｙ2’に対してｘ方向における逆変換用のローパスフィルタＬＰＦ’2ｘ及びｙ方向における逆変換用のハイパスフィルタＨＰＦ’２ｙで処理することにより得られた信号と、低周波数帯域成分Ｓ2に対してｘ方向におけるローパスフィルタＬＰＦ2ｘ及びｙ方向におけるローパスフィルタＬＰＦ2ｙで処理することにより得られた信号と、を加算することによって、低周波数帯域成分Ｓ1’を得ることができる。
続いて、図２２に示すように、高周波数帯域成分Ｗｘ1’に対してｘ方向における逆変換用のハイパスフィルタＨＰＦ’1ｘ及びｙ方向における逆変換用のローパスフィルタＬＰＦ’１ｙで処理することにより得られた信号と、高周波数帯域成分Ｗｙ1’に対してｘ方向における逆変換用のローパスフィルタＬＰＦ’1ｘ及びｙ方向における逆変換用のハイパスフィルタＨＰＦ’１ｙで処理することにより得られた信号と、低周波数帯域成分Ｓ1’に対してｘ方向におけるローパスフィルタＬＰＦ1ｘ及びｙ方向におけるローパスフィルタＬＰＦ1ｙで処理することにより得られた信号と、を加算することによって、修正後の輝度データＢ’を得ることができる。
【０１８４】
なお、図２３（ａ）に、実施の形態９で用いたレベル１の二項ウェーブレット変換のフィルタ係数を示す。ｘ＝０のフィルタ係数は、現在処理している画素に対するフィルタ係数で、ｘ＝−１は１つ前の画素、ｘ＝＋１は１つ後の画素に対するフィルタ係数である。一般的な二項ウェーブレット変換においては、レベル毎にフィルタ係数が異なり、レベルｎのフィルタ係数は、レベル１のフィルタの各係数の間に２n-1−１個のゼロを挿入したものが用いられる。
また、図２３（ｂ）に、二項ウェーブレット変換のレベルｉに応じて定められる補正係数γiを示す。
【０１８５】
実施の形態９示した上記の画像データ変換処理は、二項ウェーブレット変換により得られた解像度が異なる複数の画像データを用いて、特定の位置に特定の周波数帯域への処理を行うことで、より精度よく、歪みを修正することができる。そのため、合成画像をより自然に修正することができ、好ましい。また、部分処理であるから、画像全体の印象を保つことができ、合成画像の微修正に適しているとともに、手作業等の作業工数をほとんどかけずにすみ、処理としては効率的であり、好ましい。
【０１８６】
実施の形態９で用いた二項ウェーブレット変換は、変換時に画像を間引くことがないので、画像を再構成するのに好ましい。そのため、画像を逆変換して戻した後の画像に、アーティファクトが出現しにくく、好ましい。
【０１８７】
なお、実施の形態９において、合成端部判定手段３２が歪みデータ抽出手段４１を含んでもよい。また、合成端部判定手段３２が歪み量算出手段４０とランク別画像データ変換手段５１を含んでもよい。また、歪み量算出手段４０がランク別画像データ変換手段５１を含んでもよい。
【０１８８】
［実施の形態１０］
図２４に、実施の形態１０として画像処理方法の例を示す。図２４に示す画像処理部１４９は、図２における画像記録装置１の画像処理部１４の一例である。
画像処理部１４９は、入力画像変換手段２０と、輝度／色差変換手段７０と、合成端部検出手段３０と、歪み量算出手段４０と、画像データ変換手段５０と、輝度／色差逆変換手段８０と、出力画像変換手段６０と、を備える。
【０１８９】
実施の形態１０は、実施の形態９と同様、実施の形態３の一例をより詳細に説明した例である。実施の形態１０では、実施の形態３における輝度データＢの中間データＢtmp１，Ｂtmp２として、直交ウェーブレット変換を施して得られた高周波数帯域成分Ｗｖn，Ｗｈn，Ｗｄnを用いる。
【０１９０】
入力画像変換手段２０、輝度／色差変換手段７０、輝度／色差逆変換手段８０及び出力画像変換手段６０については、実施の形態２と同様であるので、説明を省略する。
【０１９１】
合成端部検出手段３０は、直交ウェーブレット変換手段３３と、合成端部判定手段３２と、から構成される。
歪み量算出手段４０は、歪みデータ抽出手段４１と、歪み量ランク分け手段４２と、から構成される。
画像データ変換手段５０は、ランク別画像データ変換手段５１と、直交ウェーブレット逆変換５３と、から構成される。
【０１９２】
実施の形態１０は、実施の形態９における二項ウェーブレット変換を直交ウェーブレット変換に置き換えたもので、扱うデータが、直交ウェーブレット変換を施して得られた高周波数帯域成分Ｗｖn，Ｗｈn，Ｗｄnであること以外は、実施の形態９と同様であるので、説明を省略する。
【０１９３】
実施の形態１０は、実施の形態９と同様に、画像全体の印象を保ったまま合成端部の不自然さを効率的に修正するのに効果的であり、好ましい。また、直交ウェーブレット変換を用いているため、処理を高速に行うことができ、好ましい。
【０１９４】
なお、実施の形態１０において行われる直交ウェーブレット変換は双直交ウェーブレット変換でもよい。
また、実施の形態９，１０において、合成端部判定手段３２が歪みデータ抽出手段４１を含んでもよい。この場合、合成端部情報は、一連の処理の内部データとして処理アルゴリズムに含まれる。
また、合成端部判定手段３２が歪み量算出手段４０とランク別画像データ変換手段５１を含んでもよい。この場合、合成端部情報と歪み情報は、一連の処理の内部データとして処理アルゴリズムに含まれる。
また、歪み量算出手段４０がランク別画像データ変換手段５１を含んでもよい。この場合、歪み情報は、一連の処理の内部データとして処理アルゴリズムに含まれる。
【０１９５】
また、実施の形態９，１０では、合成端部検出手段３０がウェーブレット変換手段を含んでいたが、合成端部検出手段３０がウェーブレット変換手段を含まず、合成端部検出手段３０及び歪み量算出手段４０においてウェーブレット変換後のデータを必要としない他の方法を用い、画像データ変換手段５０のランク別画像データ変換手段５１がウェーブレット変換手段を含む構成としてもよい。また、歪み量算出手段４０がウェーブレット変換手段を含む構成でもよい。
実施の形態９，１０では、二項ウェーブレット変換、直交ウェーブレット変換の例をそれぞれ示したが、他の多重解像度変換でもよい。また、複数の多重解像度変換の併用でもよい。
【０１９６】
［実施の形態１１］
図２５に、実施の形態１１として画像処理方法の例を示す。図２５に示す画像処理部１５０は、図２における画像記録装置１の画像処理部１４の一例である。
画像処理部１５０は、入力画像変換手段２０と、合成端部検出手段３０と、歪み量算出手段４０と、画像データ変換手段５０と、出力画像変換手段６０と、を備える。
【０１９７】
実施の形態１１は、実施の形態１の一例であって、合成画像の画質評価値に基づいて歪み情報を生成する場合である。ここで、画質評価値とは、階調性、鮮鋭性、粒状性等をいう。
入力画像変換手段２０、合成端部検出手段３０及び出力画像変換手段６０については、実施の形態１と同様であるので、説明を省略する。
【０１９８】
（ｂ−３）画質評価処理
歪み量算出手段４０として、画質評価値に基づいて、歪み情報を生成する方法を用いる。
歪み量算出手段４０は、画質評価手段４３と、歪み情報算出手段４４と、から構成される。
【０１９９】
画質評価手段４３は、合成端部情報を用いて、適宜目的に応じた画像領域において、合成画像の画像データＰから画質評価値を求める。画質評価値として、階調性については、例えば、合成画像の画像データＰのヒストグラムのコントラストから求める。また、鮮鋭性については、例えば、合成画像の画像データＰをウェーブレット変換して得られた複数の高周波数帯域成分の画像データの大きさを比較して求める。また、粒状性については、例えば、合成画像の画像データＰをウェーブレット変換して得られた複数の高周波数帯域成分の画像データの大きさを比較して求める。なお、画質評価値として階調性、鮮鋭性、粒状性等を求める際に、他の可能な方法を用いてもよい。
【０２００】
歪み情報算出手段４４は、画質評価手段４３により求められた画質評価値に基づいて、歪み情報を算出する。
【０２０１】
画像データ変換手段５０は、各画質評価値に基づく歪み情報に基づき変換を行う。例えば、階調性についていえば、階調変換等を行い、鮮鋭性、粒状性についていえば、例えば、スムージング処理や、アンシャープマスキング処理等の変換を行う。
【０２０２】
実施の形態１１では、合成画像の階調性、鮮鋭性、粒状性等の画質評価値に基づいて歪み情報を生成し、合成画像の不自然さを軽減することができ、好ましい。
【０２０３】
［実施の形態１２］
図２６に、実施の形態１２として画像処理方法の例を示す。図２６に示す画像処理部１５１は、図２における画像記録装置１の画像処理部１４の一例である。
画像処理部１５１は、入力画像変換手段２０と、輝度／色差変換手段７０と、合成端部検出手段３０と、歪み量算出手段４０と、画像データ変換手段５０と、輝度／色差逆変換手段８０と、出力画像変換手段６０と、を備える。
【０２０４】
実施の形態１２は、実施の形態３の一例であり、実施の形態９と同様に、合成端部検出手段３０に二項ウェーブレット変換を用い、画像データ変換手段５０に二項ウェーブレット逆変換を用いた例である。実施の形態１２は、実施の形態１１と同様に、画質評価値に基づいて歪み情報を生成するもう１つの例であり、実施の形態９において、歪みデータ抽出手段４１に、粒状性評価を用いる場合の例である。
入力画像変換手段２０と、輝度／色差変換手段７０と、合成端部検出手段３０と、輝度／色差逆変換手段８０及び出力画像変換手段６０については、実施の形態９と同様であるので、説明を省略する。
【０２０５】
（ｂ−４）領域別処理
この例では、歪み量算出手段４０として、合成端部情報により合成画像データを複数の領域に分けて、領域毎に別の処理を行う方法を用いる。例えば、図１３（ｄ）において背景と人物に領域分けして別々の処理を行う方法が挙げられる。
歪み量算出手段４０は、歪みデータ抽出手段４１と、歪み量ランク分け手段４２と、から構成される。実施の形態１２では、歪みデータ抽出手段４１として、粒状性評価手段４５を用いる。
【０２０６】
粒状性評価手段４５について説明する。
合成画像の輝度データＢを二項ウェーブレット変換して得られたレベル１の高周波数帯域成分Ｗｘ1，Ｗｙ1の画像データと、レベル２の高周波数帯域成分Ｗｘ2，Ｗｙ2の画像データの大きさを比較して、合成端部情報に記された領域毎の粒状性の特性値を求める。
【０２０７】
レベル１の高周波数帯域成分Ｗｘ1，Ｗｙ1の画像データの大きさをAH1とし、レベル２の高周波数帯域成分Ｗｘ2，Ｗｙ2の画像データの大きさをAH2とする。AH1＞AH2×α（０＜α＜１）を満たす画素を、粒状評価画素として各領域毎に抽出する。そして、領域毎に粒状評価画素におけるレベル１の高周波数帯域成分Ｗｘ1，Ｗｙ1の画像データの大きさAH1の平均値を、粒状性評価値ARiとして求める（ｉは領域の番号）。
次に、すべての領域ｉにおける粒状性評価値ARiの平均を取り、粒状性評価平均値ARavgを算出する。粒状性評価値ARiの粒状性評価平均値ARavgに対する割合を比粒状性評価値RRi＝ARi／ARavgとして、各領域毎に求める。
粒状性評価手段４５は、この方法に限定されない。
【０２０８】
歪み量ランク分け手段４２は、比粒状性評価値RRiに応じてランク分けして、各領域毎の歪み量とする。そして、歪み情報として、領域ｉ毎の粒状評価画素の位置と領域ｉ毎の歪み量を生成する。
【０２０９】
画像データ変換手段５０は、ランク別画像データ変換手段５１と、二項ウェーブレット逆変換手段５２と、から構成される。
ランク別画像データ変換手段５１は、歪み量のランクに応じて画像データを変換する。この例においては、領域ｉ毎の歪み量に応じて領域ｉ毎に粒状評価画素の高周波数帯域成分Ｗｘ1，Ｗｙ1，Ｗｘ2，Ｗｙ2に所定の変換を行い、各領域ｉ毎の比粒状性評価値RRiが所定の値内に入るようにする。
二項ウェーブレット逆変換手段５２については、実施の形態９と同様であるので、説明を省略する。
【０２１０】
実施の形態１２では、合成端部情報を利用して合成画像のデータを領域に分けて、領域毎に別の処理を行うことができるので、各領域に適した処理を行うことができる。したがって、合成画像をより自然に修正することができ、好ましい。
なお、この例では、粒状性を評価したが、鮮鋭性、階調性等、他の画質評価値に基づき対応する歪み量を求め、対応する画像データ変換を行ってもよい。
【０２１１】
なお、合成端部検出手段３０中の多重解像度変換の例として二項ウェーブレット変換を示したが、他の多重解像度変換でもよい。
【０２１２】
本発明において、合成端部を取得する際に、上記の実施の形態１〜５のように合成画像の画像データ（それから変換されたデータ（輝度データや色差データ等）も含む。以下、同様とする。）のみを用いてもよく、合成画像の画像データ、合成画像の画像付属データ、合成画像以外のデータのうち１つ以上を用いてもよい。例えば、実施の形態６，７のように合成画像の画像データと画像付属データを併用してもよく、実施の形態８のように合成画像の画像データと合成画像以外のデータを併用してもよい。
【０２１３】
本発明において、歪み量を算出する際に、上記の実施の形態１，２のように合成端部情報と合成画像の画像データを用いてもよく、合成端部情報のみを用いてもよい。また、上記の実施の形態３，４のように、合成端部検出手段３０が求めた中間データを用いてもよい。歪み量の算出は、適切な処理であれば、これらに限定されない。例えば、合成端部情報と合成画像の画像データと合成端部検出手段３０が求めた中間データを併用して歪み量を算出してもよい。
【０２１４】
本発明において、変換するデータとしては、上記の実施の形態１，１１のように画像データを変換してもよく、上記の実施の形態２，６，７，８のように画像データから変換された輝度データを変換してもよく、上記の実施の形態５のように画像データから変換された輝度データと色差データを変換してもよく、上記の実施の形態３，９，１０，１２のように輝度データから変換された中間データを変換してもよく、実施の形態４のように輝度データから変換された中間データと色差データから変換された中間データを変換してもよい。
【０２１５】
本発明において、画像データ変換処理は、変換する画像全体への処理でもよいし、部分処理でもよい。部分処理としては、合成端部及びその周辺だけに処理を行う方法や、合成領域に分離してそれぞれの領域に別の処理を行う方法等がある。また、画像データを輝度データと色差データに分け、輝度は部分処理し、色差は全体処理する等、部分処理と全体処理の組み合わせでもよい。また、歪み情報を用いた適切な変換であれば、これらに限定されない。例えば、合成画像の画像データや中間データを任意に組み合わせて用いてもよい。
【０２１６】
なお、実施の形態１〜１２の各ブロックは、画像処理部の機能の理解を助けるために設けたブロックであり、必ずしも物理的に独立している必要はなく、例えば、単一のＣＰＵにおけるソフトウェア処理の種類のブロックとして実現されてもよい。
【０２１７】
【発明の効果】
上述したように、請求項１、９、１７又は２５に記載の発明によれば、合成端部情報によって合成画像の境界部やその周辺に対して合成画像データを変換することができるので、合成画像の境界部の不自然さを軽減させることができる。また、合成端部情報によって、合成画像の各領域毎に適切な変換ができるので、合成画像の不自然さを軽減させることができる。
合成画像における合成に関する情報がない場合でも、合成画像の不自然さが軽減された画像修正処理を行うことが可能である。また、合成に関する情報がある場合は、その情報も含めて用いることにより、より精度や効率の良い画像修正処理を行うことが可能である。
【０２１８】
上述したように、請求項２、１０、１８又は２６に記載の発明によれば、合成端部情報を用いて算出された歪み量に基づいて画像データを変換するので、必要な部分に必要な程度の処理を行うことができる。そのため、手作業等の作業工数をほとんどかけずに、合成画像の不自然さを修正することができる。
【０２１９】
上述したように、請求項３、１１、１９又は２７に記載の発明によれば、合成端部を検出することにより、合成画像の境界部の不自然さを精度よく修正することができる。また、合成前のそれぞれの画像領域に分けることができ、各画像領域に応じた処理をすることができる。したがって、合成画像をより自然に修正することができる。
【０２２０】
上述したように、請求項４、１２、２０又は２８に記載の発明によれば、空間周波数処理により、画像のエッジを容易に検出することができ、エッジの位置や強度等の情報を利用して、より効率よく合成端部を検出することができる。
【０２２１】
上述したように、請求項５、１３、２１又は２９に記載の発明によれば、多重解像度変換により、解像度が異なる複数の画像データを用いて、エッジの位置や強度等の情報を判別することができる。このエッジ情報を利用して、より精度よく合成端部を検出することができる。そのため、合成画像をより自然に修正することができる。
【０２２２】
上述したように、請求項６、１４、２２又は３０に記載の発明によれば、多重解像度変換された画像データを、合成端部情報の検出に用いるとともに、合成画像データの歪み量の算出、歪み量に基づく画像データ変換のうち少なくとも一方に用いることにより、処理を効率化することができる。
【０２２３】
上述したように、請求項７、１５、２３又は３１に記載の発明によれば、多重解像度変換により、解像度が異なる複数の画像データを用いて、特定の位置に特定の周波数帯域への処理を行うことで、より精度よく、歪みを修正することができる。そのため、合成画像をより自然に修正することができる。
【０２２４】
上述したように、請求項８、１６、２４又は３２に記載の発明によれば、合成端部情報が外部から得られない場合でも、合成端部情報を検出することにより、合成画像の境界部やその周辺に対して適切な画像処理を施したり、合成画像データの各領域毎に適切な画像処理を行ったりすることができるので、合成画像をより自然に修正することができる。
【図面の簡単な説明】
【図１】本実施の形態の画像記録装置の概観構成を示す図である。
【図２】画像記録装置の機能構成を示すブロック図である。
【図３】実施の形態1の画像処理方法を示す図である。
【図４】合成画像の合成端部を説明するための図である。
【図５】ウェーブレット変換において用いられるウェーブレット関数を示した図である。
【図６】直交ウェーブレット変換又は双直交ウェーブレット変換におけるフィルタ処理を示す図である。
【図７】２次元信号における１レベルの直交ウェーブレット変換又は双直交ウェーブレット変換を示す図である。
【図８】３レベルの直交ウェーブレット変換又は双直交ウェーブレット変換で信号分解される過程を示す模式図である。
【図９】直交ウェーブレット変換又は双直交ウェーブレット変換で分解された信号をウェーブレット逆変換により再構成する方法を示す図である。
【図１０】ウェーブレット変換される信号の特性を示す図である。
【図１１】二項ウェーブレット変換を示す図である。
【図１２】二項ウェーブレット逆変換を示す図である。
【図１３】図４の合成画像における部分処理の処理領域の例を示す図である。
【図１４】実施の形態２の画像処理方法を示す図である。
【図１５】実施の形態３の画像処理方法を示す図である。
【図１６】実施の形態４の画像処理方法を示す図である。
【図１７】実施の形態５の画像処理方法を示す図である。
【図１８】実施の形態６の画像処理方法を示す図である。
【図１９】実施の形態７の画像処理方法を示す図である。
【図２０】実施の形態８の画像処理方法を示す図である。
【図２１】実施の形態９の画像処理方法を示す図である。
【図２２】実施の形態９における画像信号変換処理を示す図である。
【図２３】実施の形態９で用いた二項ウェーブレット変換のフィルタ係数と補正係数を示す図である。
【図２４】実施の形態１０の画像処理方法を示す図である。
【図２５】実施の形態１１の画像処理方法を示す図である。
【図２６】実施の形態１２の画像処理方法を示す図である。
【符号の説明】
１    画像記録装置
２    ＣＰＵ
３    ＲＯＭ
４    ＲＡＭ
５    操作部
６    フィルムスキャナ部
７    反射原稿入力部
８    画像読込部
９    ＣＲＴ
１０  プリント作成部
１１  画像書込部
１２  記憶部
１３  通信部
１４  画像処理部
１５  トレー
２０  入力画像変換手段
３０  合成端部検出手段
３１  二項ウェーブレット変換手段
３２  合成端部判定手段
３３  直交ウェーブレット変換手段
４０  歪み量算出手段
４１  歪みデータ抽出手段
４２  歪み量ランク分け手段
４３  画質評価手段
４４  歪み情報算出手段
４５  粒状性評価手段
５０  画像データ変換手段
５１  ランク別画像データ変換手段
５２  二項ウェーブレット逆変換手段
５３  直交ウェーブレット逆変換
６０  出力画像変換手段
７０  輝度／色差変換手段
８０  輝度／色差逆変換手段
【図１】
2004194225.tif 000015
【図２】
2004194225.tif 000016
【図３】
2004194225.tif 000017
【図４】
2004194225.tif 000018
【図５】
2004194225.tif 000019
【図６】
2004194225.tif 000020
【図７】
2004194225.tif 000021
【図８】
2004194225.tif 000022
【図９】
2004194225.tif 000023
【図１０】
2004194225.tif 000024
【図１１】
2004194225.tif 000025
【図１２】
2004194225.tif 000026
【図１３】
2004194225.tif 000027
【図１４】
2004194225.tif 000028
【図１５】
2004194225.tif 000029
【図１６】
2004194225.tif 000030
【図１７】
2004194225.tif 000031
【図１８】
2004194225.tif 000032
【図１９】
2004194225.tif 000033
【図２０】
2004194225.tif 000034
【図２１】
2004194225.tif 000035
【図２２】
2004194225.tif 000036
【図２３】
2004194225.tif 000037
【図２４】
2004194225.tif 000038
【図２５】
2004194225.tif 000039
【図２６】
2004194225.tif 000040