(57)【要約】【課題】同一画角で、異なった合焦距離で撮影された複数の画像より、合焦距離範囲の広い合成画像を生成し、また、合成画像より合焦距離の異なる複数の画像を再生する。【解決手段】合焦距離の異なる画像Ｐ１，Ｐ２，Ｐ３の小領域毎に、輝度コンポーネントのウェーブレット変換係数から高周波成分量を計算する（Ｓ６）。そして、小領域毎に、、高周波数成分量が最大の画像のウェーブレット変換係数の高周波成分を集めて合成画像のウェーブレット変換係数の高周波成分を生成し、また、合成画像の小領域毎に、その小領域で高周波成分が最大の画像の距離情報を付与する（Ｓ６，Ｓ８）。合成画像のウェーブレット変換係数の低周波成分は、画像Ｐ１，Ｐ２，Ｐ３のいずれかのウェーブレット変換係数の低周波成分を用いて生成する（Ｓ９）。【選択図】図２
2005149227.tif 000002
【特許請求の範囲】
【請求項１】
同一の画角で、異なった合焦距離で撮影された複数の画像（以下、元画像と記す）を合成して１つの合成画像を生成する画像処理装置であって、
複数の元画像間で小領域毎に高周波成分量を比較し、小領域毎に高周波成分量が最大の元画像の周波数変換係数の高周波成分を集めて合成画像の周波数変換係数の高周波成分を生成する手段と、
選択した元画像の周波数変換係数の低周波成分を集めて合成画像の周波数変換係数の低周波成分を生成する手段と、
を有することを特徴とする画像処理装置。
【請求項２】
各元画像の周波数変換係数はウェーブレット変換係数であり、その特定のサブバンドの係数が高周波成分として、それ以外のサブバンのド係数が低周波成分として、それぞれ用いられることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
合成画像の各小領域に、該小領域で高周波成分量が最大の元画像の合焦距離を示す距離情報を付与することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
合成画像の周波数変換係数の低周波成分を生成する手段は、複数の元画像の中で中間的な合焦距離で撮影された元画像を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
合成画像の周波数変換係数の低周波成分を生成する手段は、複数の元画像の中で最短の合焦距離で撮影された元画像を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
合成画像の周波数変換係数の低周波成分を生成する手段は、複数の元画像の中で最長の合焦距離で撮影された元画像を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
合成画像の周波数変換係数の低周波成分を生成する手段は、小領域毎に高周波成分量が最大の元画像を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
合成画像の周波数係数の低周波成分を生成する手段により選択される元画像を任意に指定可能であることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
同一の画角で、異なった合焦距離で撮影された複数の画像（以下、元画像と記す）を合成して１つの合成画像を生成する画像処理方法であって、
複数の元画像間で小領域毎に高周波成分量を比較し、小領域毎に高周波成分量が最大の元画像の周波数変換係数の高周波成分を集めて合成画像の高周波成分を生成する処理と、
選択した元画像の周波数変換係数の低周波成分を集めて合成画像の周波数変換係数の低周波成分を生成する処理と、
を含むことを特徴とする画像処理方法。
【請求項１０】
請求項９に記載の方法によって、同一の画角で異なった合焦距離で撮影された複数の画像から合成された、小領域毎に距離情報を付与された合成画像より、異なった合焦距離の複数の再生画像を生成する画像処理装置であって、
合成画像の小領域毎に付与された距離情報を参照し、（ａ）再生画像の合焦距離に一致する距離情報が付与された、合成画像の小領域の周波数変換係数の高周波成分をそのまま用いて当該再生画像の対応小領域の周波数変換係数の高周波成分を生成し、（ｂ）再生画像の合焦距離に不一致の距離情報が付与された、合成画像の小領域の周波数変換係数の高周波成分を、当該距離情報により示される合焦距離と当該再生画像の合焦距離との距離差に応じた量子化パラメータにより量子化したものを用いて、当該再生画像の対応小領域の周波数変換係数の高周波成分を生成する手段と、
合成画像の小領域の周波数変換係数の低周波成分を用いて、再生画像の対応小領域の周波数変換係数の低周波成分を生成する手段と、
を有することを特徴とする画像処理装置。
【請求項１１】
請求項９に記載の方法によって、同一の画角で異なった合焦距離で撮影された複数の画像から合成された、小領域毎に距離情報を付与された合成画像より、異なった合焦距離の複数の再生画像を生成する画像処理方法であって、
合成画像の小領域毎に付与された距離情報を参照し、（ａ）再生画像の合焦距離に一致する距離情報が付与された、合成画像の小領域の周波数変換係数の高周波成分をそのまま用いて当該再生画像の対応小領域の周波数変換係数の高周波成分を生成し、（ｂ）再生画像の合焦距離に不一致の距離情報が付与された、合成画像の小領域の周波数変換係数の高周波成分を、当該距離情報により示される合焦距離と当該再生画像の合焦距離との距離差に応じた量子化パラメータにより量子化したものを用いて、当該再生画像の対応小領域の周波数変換係数の高周波成分を生成する処理と、
合成画像の小領域の周波数変換係数の低周波成分を用いて、再生画像の対応小領域の周波数変換係数の低周波成分を生成する処理と、
を含むことを特徴とする画像処理方法。
【請求項１２】
請求項１乃至８，１０のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させるプログラム。
【請求項１３】
請求項９又は１１に記載の画像処理方法の各処理をコンピュータに実行させるプログラム。
【請求項１４】
請求項１２又は１３に記載のプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。
【請求項１５】
画角を変更することなく合焦距離を変更可能な撮像手段を有する撮像装置において、
レリーズボタンが押下された時の前記撮像手段の合焦距離を含む複数の異なる合焦距離を設定する手段と、
前記撮像手段に対し、同一の画角で、前記設定された複数の合焦距離で順次撮影させるための制御を行う手段と、
前記撮像手段により、同一の画角で異なった合焦距離で撮影された複数の画像（以下、元画像と記す）を合成して１つの合成画像を生成する合成処理手段と、を有し、
前記合成処理手段は、前記複数の元画像間で小領域毎に高周波成分量を比較し、小領域毎に高周波成分量が最大の元画像の周波数変換係数の高周波成分を集めて前記合成画像の周波数変換係数の高周波成分を生成する手段と、前記複数の元画像より選択した元画像の周波数変換係数の低周波成分を集めて合成画像の周波数変換係数の低周波成分を生成する手段とを有することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理に係り、より詳細には、同一の画角で異なった合焦距離で撮影された複数の画像を合成する装置及び方法、並びに、合成画像から合焦距離の異なる複数の画像を再生する装置及び方法に関する。
【背景技術】
【０００２】
画像の蓄積や伝送における問題の１つが、画像のデータ量の多さである。特に、近年のデジタルカメラなどの画像入力機器においては、撮像素子の画素数の飛躍的な増加により画像の高精細化が進み、画像のデータ量が膨大になっている。
【０００３】
このようなデータ量の多い画像については、蓄積あるいは伝送に際し、効率的な圧縮処理を施すことが不可欠である。そして、高精細画像のメリットを損なわないためには、圧縮処理に伴う画質の劣化を極力減らす必要がある。
【０００４】
こうした要求を満たす画像圧縮（符号化）方式の一つが、周波数変換にウェーブレット変換を採用したＪＰＥＧ２０００である。ＪＰＥＧ２０００の概要を次に説明する。
【０００５】
図１０はＪＰＥＧ２０００の圧縮（符号化）・伸長（復号化）処理の基本的な流れを示したブロック図である。
【０００６】
圧縮（符号化）処理について説明する。例えば、ＲＧＢやＣＭＹの３コンポ−ネントで構成されるカラー画像は、各コンポーネント毎に１以上の重複しないタイルに分割され、各コンポーネントの各タイル毎に処理が行われる。まず、各タイル毎に、色空間変換・逆色変換部１００で輝度・色差コンポ−ネントへのコンポ−ネント変換（色空間変換）がなされ、次に２次元ウェーブレット変換・逆変換部１０１で、各コンポーネントの各タイル毎に２次元のウェーブレット変換（離散ウェーブレット変換）がなされる。
【０００７】
ウェーブレット変換の結果を図１１に例示する。この例は、デコンポジションレベル数が３の場合であり、ウェーブレット変換係数はデインターリーブした状態で示されている。１ＬＨ，１ＨＬ，１ＨＨはデコンポジションレベル１のＬＨ，ＨＬ，ＨＨサブバンド、２ＬＨ，２ＨＬ，２ＨＨはデコンポジションレベル２のＬＨ，ＨＬ，ＨＨサブバンド、３ＬＨ，３ＨＬ，３ＨＨ，３ＬＬはデコンポジションレベル３のＬＨ，ＨＬ，ＨＨ，ＬＬサブバンドであり、デコンポジションレベルの低いサブバンドの係数ほど高い周波数成分である。
【０００８】
ウェーブレット変換係数は、サブバンド毎に、必要に応じて量子化・逆量子化部１０２で量子化された後、エントロピー符号化・復号化部１０３でビットプレーンを単位としたエントロピー符号化がなされる（正確には、ビットプレーンは３つのサブビットプレーンに細分化されて符号化される）。そして、符号形成・タグ処理部１０４で、不要な符号をトランケートし、必要な符号をまとめてパケットを生成し、パケットを所定の順序に並べ、必要なタグ又はタグ情報を付加することにより、所定のフォーマットのコードストリーム（符号化データ）が形成される。
【０００９】
なお、色空間変換・逆色変換部１００は必須ではない。また、ＪＰＥＧ２０００では、５×３変換と呼ばれる可逆ウェーブレット変換と、９×７変換と呼ばれる非可逆ウェーブレット変換が規定されている。５×３ウェーブレット変換が用いられる場合、量子化・逆量子化部１０２による量子化（スカラー量子化）は行われないが、符号形成・タグ処理部１０４におけるトランケーションは、係数の量子化と等価であるため、ポスト量子化と呼ばれる。
【００１０】
伸長（復号化）処理は圧縮処理と丁度逆の処理である。コードストリームは符号形成・タグ処理部１０４で各コンポーネントの各タイルのコードストリームに分解され、エントロピー符号化・復号化部１０３でビットプレーン単位でエントロピー復号され、復号されたウェーブレット変換係数は量子化・逆量子化部１０２により逆量子化される。そして、コンポ−ネント毎のウェーブレット変換係数に対して２次元ウェーブレット変換・逆変換部１０１で２次元の逆ウェーブレット変換が施され、その後、色空間変換・逆色変換部１００で逆コンポーネント変換（逆色空間変換）が施されることにより元のＲＧＢやＣＭＹの画素値に戻される。
【００１１】
なお、ウェーブレット変換は、画像圧縮以外の目的にも応用されている。例えば、磁気共鳴断層撮影装置などで撮影された断層画像に３次元のウェーブレット変換を適用し、得られた高周波成分にのみ強度変換関数を作用させることにより、雑音成分を減らし、かつ、３次元画像全体の画質を向上させる技術が知られている（特許文献１参照）。
【００１２】
【特許文献１】特開２０００−３００４４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
デジタルカメラなどでは、合焦距離及びその近傍にある被写体は鮮明に撮影されるが、それより近いか遠い被写体の像にはボケが生じる。このボケの味わいが重視される場合もあるが、逆に、より広い距離範囲内の被写体に合焦した画像が要求される場合がある。
【００１４】
本発明の目的は、同じ画角で、異なった合焦距離で撮影された複数の画像から、広い距離範囲の被写体に合焦した画像を合成する装置及び方法を提供すること、並びに、画像の撮影からその合成までを容易に行うことができる撮像装置を提供することである。本発明の他の目的は、上記装置又は方法により生成された合成画像から合焦距離の異なる複数の画像を再生する装置及び方法を提供することである。
【課題を解決するための手段】
【００１５】
請求項１の発明は、同一の画角で、異なった合焦距離で撮影された複数の画像（以下、元画像と記す）を合成して１つの合成画像を生成する画像処理装置であって、複数の元画像間で小領域毎に高周波成分量を比較し、小領域毎に高周波成分量が最大の元画像の周波数変換係数の高周波成分を集めて合成画像の周波数変換係数の高周波成分を生成する手段と、選択した元画像の周波数変換係数の低周波成分を集めて合成画像の周波数変換係数の低周波成分を生成する手段と、を有することを特徴とする画像処理装置である。
【００１６】
請求項２の発明は、各元画像の周波数変換係数はウェーブレット変換係数であり、その特定のサブバンドの係数が高周波成分として、それ以外のサブバンのド係数が低周波成分として、それぞれ用いられることを特徴とする請求項１の発明による画像処理装置である。
【００１７】
請求項３の発明は、合成画像の各小領域に、該小領域で高周波成分量が最大の元画像の合焦距離を示す距離情報を付与することを特徴とする請求項１の発明による画像処理装置である。
【００１８】
請求項４の発明は、合成画像の周波数変換係数の低周波成分を生成する手段は、複数の元画像の中で中間的な合焦距離で撮影された元画像を選択することを特徴とする請求項１の発明による画像処理装置である。
【００１９】
請求項５の発明は、合成画像の周波数変換係数の低周波成分を生成する手段は、複数の元画像の中で最短の合焦距離で撮影された元画像を選択することを特徴とする請求項１の発明による画像処理装置である。
【００２０】
請求項６の発明は、合成画像の周波数変換係数の低周波成分を生成する手段は、複数の元画像の中で最長の合焦距離で撮影された元画像を選択することを特徴とする請求項１の発明による画像処理装置である。
【００２１】
請求項７の発明は、合成画像の周波数変換係数の低周波成分を生成する手段は、小領域毎に高周波成分量が最大の元画像を選択することを特徴とする請求項１の発明による画像処理装置である。
【００２２】
請求項８の発明は、合成画像の周波数係数の低周波成分を生成する手段により選択される元画像を任意に指定可能であることを特徴とする請求項１の発明による画像処理装置である。
【００２３】
請求項９の発明は、同一の画角で、異なった合焦距離で撮影された複数の画像（以下、元画像と記す）を合成して１つの合成画像を生成する画像処理方法であって、複数の元画像間で小領域毎に高周波成分量を比較し、小領域毎に高周波成分量が最大の元画像の周波数変換係数の高周波成分を集めて合成画像の高周波成分を生成する処理と、選択した元画像の周波数変換係数の低周波成分を集めて合成画像の周波数変換係数の低周波成分を生成する処理と、を含むことを特徴とする画像処理方法である。
【００２４】
請求項１０の発明は、請求項９の発明の方法によって、同一の画角で異なった合焦距離で撮影された複数の画像から合成された、小領域毎に距離情報を付与された合成画像より、異なった合焦距離の複数の再生画像を生成する画像処理装置であって、合成画像の小領域毎に付与された距離情報を参照し、（ａ）再生画像の合焦距離に一致する距離情報が付与された、合成画像の小領域の周波数変換係数の高周波成分をそのまま用いて当該再生画像の対応小領域の周波数変換係数の高周波成分を生成し、（ｂ）再生画像の合焦距離に不一致の距離情報が付与された、合成画像の小領域の周波数変換係数の高周波成分を、当該距離情報により示される合焦距離と当該再生画像の合焦距離との距離差に応じた量子化パラメータにより量子化したものを用いて、当該再生画像の対応小領域の周波数変換係数の高周波成分を生成する手段と、合成画像の小領域の周波数変換係数の低周波成分を用いて、再生画像の対応小領域の周波数変換係数の低周波成分を生成する手段と、を有することを特徴とする画像処理装置である。
【００２５】
請求項１１の発明は、請求項９の発明の方法によって、同一の画角で異なった合焦距離で撮影された複数の画像から合成された、小領域毎に距離情報を付与された合成画像より、異なった合焦距離の複数の再生画像を生成する画像処理方法であって、合成画像の小領域毎に付与された距離情報を参照し、（ａ）再生画像の合焦距離に一致する距離情報が付与された、合成画像の小領域の周波数変換係数の高周波成分をそのまま用いて当該再生画像の対応小領域の周波数変換係数の高周波成分を生成し、（ｂ）再生画像の合焦距離に不一致の距離情報が付与された、合成画像の小領域の周波数変換係数の高周波成分を、当該距離情報により示される合焦距離と当該再生画像の合焦距離との距離差に応じた量子化パラメータにより量子化したものを用いて、当該再生画像の対応小領域の周波数変換係数の高周波成分を生成する処理と、合成画像の小領域の周波数変換係数の低周波成分を用いて、再生画像の対応小領域の周波数変換係数の低周波成分を生成する処理と、を含むことを特徴とする画像処理方法である。
【００２６】
請求項１２の発明は、請求項１乃至８，１０のいずれか１項の発明による画像処理装置の各手段としてコンピュータを機能させるプログラムである。
【００２７】
請求項１３の発明は、請求項９又は１１の発明による画像処理方法の各処理をコンピュータに実行させるプログラムである。
【００２８】
請求項１４の発明は、請求項１２又は１３の発明によるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体である。
【００２９】
請求項１５の発明は、画角を変更することなく合焦距離を変更可能な撮像手段を有する撮像装置において、レリーズボタンが押下された時の前記撮像手段の合焦距離を含む複数の異なる合焦距離を設定する手段と、前記撮像手段に対し、同一の画角で、前記設定された複数の合焦距離で順次撮影させるための制御を行う手段と、前記撮像手段により、同一の画角で異なった合焦距離で撮影された複数の画像（以下、元画像と記す）を合成して１つの合成画像を生成する合成処理手段と、を有し、前記合成処理手段は、前記複数の元画像間で小領域毎に高周波成分量を比較し、小領域毎に高周波成分量が最大の元画像の周波数変換係数の高周波成分を集めて前記合成画像の周波数変換係数の高周波成分を生成する手段と、前記複数の元画像より選択した元画像の周波数変換係数の低周波成分を集めて合成画像の周波数変換係数の低周波成分を生成する手段とを有することを特徴とする撮像装置である。
【発明の効果】
【００３０】
請求項１乃至９の発明によれば、同一の画角で異なった合焦距離で撮影された複数枚の画像から、合焦距離範囲が広い合成画像を生成することができる。また、合成画像のデータ量は合成前の複数枚の画像のデータ量に比べ大幅に小さくなるため、画像のデータ量を削減する効果も得られる。請求項２の発明は、周波数変換係数としてウェーブレット変換係数を用いるため、ＪＰＥＧ２０００のようなウェーブレット変換を用いる圧縮／伸長アルゴリズムとの親和性に優れ、そのような圧縮／伸長アルゴリズムを採用する各種システムにおける実施が容易である。請求項３の発明によれば、合成画像の小領域毎に距離情報が付与されるため、請求項１０，１１の発明によって、合成画像から合焦距離の異なる複数枚の画像（例えば、合成前の画像に近い複数枚の画像）を再生可能となる。請求項４乃至７の発明によれば、中間的合焦距離で撮影された画像の低周波成分を優先した画像合成、最短の合焦距離で撮影された画像の低周波成分を優先した画像合成、最長の合焦距離で撮影された画像の低周波成分を優先した画像合成、又は、高周波成分が最大の画像の低周波成分を優先した画像合成がそれぞれ可能であり、また、請求項８の発明によれば、複数の画像より任意の画像を指定し、その画像の低周波成分を優先させた画像合成を行わせることができる。請求項１２，１３，１４の発明によれば、コンピュータを利用して請求項１乃至１１の発明を容易に実施可能となる。請求項１５の発明によれば、画角が同一で合焦距離の異なる複数枚の画像の撮影を容易に行うことができるとともに、そのような撮影画像の合成処理を撮像装置内で行うことができる、等々の効果を得られる。
【発明を実施するための最良の形態】
【００３１】
図１は本発明に係る画像処理装置の典型的な構成を説明するためのブロック図である。図１において、２００は画像の合成処理などを行う処理部、２０１は処理部２００のための作業記憶域などとして利用される記憶部、２０２はＪＰＥＧ２０００のアルゴリズムにより画像の圧縮又は伸長を行う圧縮／伸長部、２０３は画像のデータなどを蓄積するための大容量の補助記憶部、２０４は外部機器とのデータの入力又は出力のためのデータ入出力部である。このような画像処理装置は、専用のハードウェアにより実現することも、パソコンなどの汎用コンピュータやマイクロコンピュータなどのハードウェア資源を利用して実現することも可能である。
【００３２】
この画像処理装置は、同じ画角で異なった合焦距離で撮影された複数の画像を１つの画像に合成する処理（合成処理）と、合成画像から合焦距離の異なる複数の画像、例えば合成前の画像に近い複数の画像を生成する処理（分離再生処理）を行うことができる。
【実施例１】
【００３３】
まず、合成処理について具体的に説明する。合成処理のための複数の画像は、イメージデータ（画素値データ）として、又は、ＪＰＥＧ２０００のコードストリームとして、データ入出力部２０４を通じて取り込まれ補助記憶部２０３に一旦蓄積される。この際、各画像の距離情報も、画像のデータに埋め込まれた形で、又は、画像のデータとは独立した形で入力されて蓄積される。
【００３４】
合成画像は、イメージデータの形で、又は、圧縮／伸長部２０２により圧縮してコードストリームにした形で補助記憶部２０３に蓄積されるが、この際に合成画像の小領域毎の距離情報も、合成画像のデータに埋め込まれた形で、あるいは、独立した形で蓄積される。合成画像のデータとその距離情報をデータ入出力部２０４を通じて外部へ出力可能であることは当然である。
【００３５】
合成処理においては、複数の画像のそれぞれについて、領域毎の高周波成分量を求めるが、ここに説明する実施の形態においては、圧縮／伸長部２０２を利用して得られるウェーブレット変換係数に基づいて高周波成分量を計算する。ただし、ウェーブレット変換以外の周波数変換を用いて高周波成分量を算出することも可能であり、かかる態様も本発明に包含される。
【００３６】
［合成処理の例１］
図２は合成処理の例１を示すフローフローチャートであり、図３は合成処理の説明のための模式図である。
【００３７】
この合成処理例１では、同一画角で異なった合焦距離で撮影された複数の画像が、イメージデータとして補助記憶部２０３に蓄積されているものとする。また、説明の簡略化のため、図３（Ａ）に示すような合焦距離１，２，３（距離１＜距離２＜距離３）で撮影された３枚の画像Ｐ１，Ｐ２，Ｐ３を合成するものとするが、４枚以上の画像の合成も同様の処理により可能であることは明らかである。
【００３８】
図２のフローチャートに沿って合成処理の内容を説明する。まず、ステップＳ１において、処理部２００の制御により、画像Ｐ１，Ｐ２，Ｐ３のイメージデータ及び距離情報（合焦距離１，２，３）が補助記憶部２０３からメモリ２０１に読み込まれる。
【００３９】
ステップＳ２において、処理部２００の制御にしたがって、圧縮／伸長部２０２は、記憶部２０１より画像Ｐ１，Ｐ２，Ｐ３のイメージデータを順次読み込み、２次元ウェーブレット変換までの圧縮処理を実行する。すなわち、圧縮／伸長部２０２は図１０に示したような基本構成であり、色空間変換／逆変換部１００による色空間変換処理と２次元ウェーブレット変換／逆変換部１０１による２次元ウェーブレット変換処理までを実行する。このようにして生成された画像Ｐ１，Ｐ２，Ｐ３の全コンポーネントのウェーブレット変換係数（例えば、図１１に示すようなデコンポジションレベル１，２，３のサブバンドの係数）は、記憶部２０１に保存される。
【００４０】
ステップＳ３において、処理部２００は、各画像Ｐ１，Ｐ２，Ｐ３を、例えば、２×２画素、４×４画素といった小領域に分割する。図３（Ａ）に各画像の領域分割の様子が模式的に示されている。
【００４１】
ステップＳ４で、処理部２００は、１つの小領域を選ぶ。そして、ステップＳ６において、処理部２００は、選択した小領域に対応した各画像の輝度コンポーネントのウェーブレット変換係数から、当該小領域における各画像の高周波成分量を計算する。本例では、その計算方法を次に述べる計算方法（１）〜（５）の中から選択することができる。
【００４２】
計算方法（１）：小領域に対応したＨＬサブバンド係数の絶対値の総和を、デコンポジションレベル毎に求め、それをデコンポジションレベルに応じた重みを付けて合計することにより、高周波成分量を求める。例えば、デコンポジションレベル１〜３のＨＬサブバンド係数を用いる場合には、高周波成分量は
Yh＝a・Σ|1HL|+b・Σ|2HL|+c・Σ|3HL|                  (1)式
（ただし、ａ，ｂ，ｃは０以上の定数）
により計算される。ＨＬサブバンド係数は水平方向の高周波成分であるため、この計算方法で求められるのは水平方向の高周波成分量である。
【００４３】
計算方法（２）：小領域に対応したＬＨサブバンド係数の絶対値の総和を、デコンポジションレベル毎に求め、それをデコンポジションレベルに応じた重みを付けて合計することにより、高周波成分量を求める。例えば、デコンポジションレベル１〜３のＬＨサブバンド係数を用いる場合には、高周波成分量は
Yv＝d・Σ|1LH|+e・Σ|2LH|+f・Σ|3LH|                  (2)式
（ただし、ｄ，ｅ，ｆは０以上の定数）
により計算される。ＬＨサブバンド係数は垂直方向の高周波成分であるため、この計算方法で求められるのは垂直方向の高周波成分量である。
【００４４】
計算方法（３）：小領域に対応したＨＬ，ＬＨの各サブバンド係数の絶対値の総和をデコンポジションレベル毎に求め、それをデコンポジションレベル及びサブバンドに応じた重みを付けて合計することにより、高周波成分量を求める。例えば、デコンポジションレベル１〜３の係数を用いる場合には、高周波成分量は
Yhv＝a・Σ|1HL|+b・Σ|2HL|+c・Σ|3HL|+d・Σ|1LH|+e・Σ|2LH|+f・Σ|3LH|      (3)式
（ただし、ａ，ｂ，ｃ，ｃ，ｄ，ｅ，ｆは０以上の定数）
により計算される。つまり、水平方向及び水平方向の高周波成分量が求められる。
【００４５】
計算方法（４）：小領域に対応したＨＬ，ＬＨ，ＨＨの各サブバンド係数の絶対値の総和をデコンポジションレベル毎に求め、それをデコンポジションレベル及びサブバンドに応じた重みを付けて合計することにより、高周波成分量を求める。例えば、デコンポジションレベル１〜２の係数を用いる場合には、高周波成分量は
Ｙ＝a・Σ|1HL|+b・Σ|2HL|+c・Σ|1LH|+d・Σ|2LH|+e・Σ|1HH|+f・Σ|2HH|      (4)式
（ただし、ａ，ｂ，ｃ，ｃ，ｄ，ｅ，ｆは０以上の定数）
により計算される。つまり、水平方向、水平方向及び斜め方向の高周波成分量が求められる。
【００４６】
計算方法（５）：デコンポジションレベル２以上のウェーブレット変換係数を用いて、前記計算方法（１），（２），（３）又は（４）と同様の方法で高周波成分量を計算する。このようにデコンポジションレベル１のウェーブレット変換係数を高周波成分量の計算に用いない方法は、低照度環境で撮影された画像のようなノイズの多い画像の合成処理を行う場合に有利である。ノイズ成分の多くはデコンポジションレベル１のウェーブレット変換係数に反映され、上のレベルのウェーブレット変換係数にはノイズ成分があまり反映されないからである。
【００４７】
さて、以上のようにして、選択された小領域における各画像の高周波成分量が算出されると、ステップＳ７において、処理部２００は、算出された各画像の高周波成分量を比較し、その値が最大となった画像を選択する。そして、ステップＳ８において、処理部２００は、前ステップで選択した画像の当該小領域のウェーブレット変換係数の高周波成分を、記憶部２０１上に予め確保した合成画像用記憶域の対応した小領域に複写し、また、記憶部２０１上に予め確保された距離情報用記憶域に、選択された画像の距離情報（合焦距離）を小領域に対応付けて書き込む。なお、ここで高周波成分として書き込まれるウェーブレット変換係数とは、合焦か非合焦かで値の変化が顕著であるとみなされる係数であり、例えば、デコンポジションレベル数３の場合、デコンポジションレベル１，２の全サブバンド係数や、あるいは、３ＬＬサブバンド係数を除いた全てのサブバンド係数が高周波成分として選ばれる。したがって、画像Ｐ１，Ｐ２，Ｐ３の合焦距離や、それらの合焦距離の差の程度、並びに、ウェーブレット変換のデコンポジションレベル数などを考慮して、適切なサブバンド係数を高周波成分に選ぶべきである。
【００４８】
次のステップＳ９で、処理部２００は、複数の画像Ｐ１，Ｐ２，Ｐ３より選んだ画像のの当該小領域のウェーブレット変換係数の低周波成分（高周波成分以外のサブバンド係数）を、合成画像の当該小領域のウェーブレット変換係数の低周波成分として、合成画像用記憶域の対応小領域に書き込む。これで、合成画像の当該小領域のウェーブレット変換係数の全周波成分が生成されたことになる。
【００４９】
このステップＳ９において、画像Ｐ１，Ｐ２，Ｐ３の中からどの画像を選択するかであるが、（１）中間的な合焦距離で撮影された画像（ここではＰ２）を選択する方法、（２）最長の合焦距離で撮影された画像（ここではＰ３）を選択する方法、（３）小領域毎に高周波成分量が最大の画像を選択する方法、又は、（４）ユーザにより任意に指定された画像を選択する方法のいずれかが採用される。方法（３）が採用される場合には、各小領域で、同じ画像（高周波成分が最大の画像）のウェーブレット変換係数の全成分が複写される形になる。
【００５０】
処理部２００は、ステップＳ４〜Ｓ９を各小領域に関して繰り返すことにより、各小領域について、画像Ｐ１，Ｐ２，Ｐ３の中で高周波数成分量が最大の画像のウェーブレット変換画像の高周波成分が合成画像用記憶域の対応領域に順次複写される。図３（Ａ）に示す画像Ｐ１，Ｐ２，Ｐ３の網掛けした小領域の高周波成分量が３画像間で最も大きい場合には、図３（Ｂ）に示すように、合成画像用記憶域に画像Ｐ１，Ｐ２，Ｐ３の網掛けした小領域のウェーブレット変換係数の高周波成分と、同一の画像又は他の選ばれた画像のウェーブレット変換係数の低周波成分が複写されることになる。そして、このようにして生成された合成画像において、画像Ｐ１のウェーブレット変換係数の高周波成分が複写された小領域は合焦距離１に対応した距離情報を付与され、画像Ｐ２のウェーブレット変換係数の高周波成分が複写された小領域は合焦距離２に対応した距離情報が付与され、画像Ｐ３のウェーブレット変換係数の高周波成分が複写された小領域は合焦距離３に対応した距離情報を付与されることになる。
【００５１】
全ての小領域に対する処理が終了すると（ステップＳ５，Ｙｅｓ）、ステップＳ１０において、処理部２００からの指示に従って、圧縮／伸長部２０２により、合成画像用記憶域に生成された合成画像のウェーブレット変換係数に対する圧縮処理（量子化以降の処理）が行われ、そのコードストリームが記憶部２０１に書き込まれる。そして、ステップＳ１１において、処理部２００の制御により、記憶部２０１に記憶されている合成画像のコードストリームとその距離情報が補助記憶部２０３に転送される。
【００５２】
なお、合成画像のコードストリーム中に、合成画像の距離情報を埋め込んでよい。ＪＰＥＧ２０００のコードストリームの場合、例えば、メインヘッダ中に各小領域に対応した距離情報をコメントとして記述するなどの方法を採用できる。
【００５３】
また、合成画像をイメージデータとして補助記憶部２０３に保存することも可能である。この場合は、ステップＳ１０で逆ウェーブレット変換と逆色空間変換が行われ、得られたイメージデータは距離情報とともにステップＳ１１で補助記憶部２０３へ転送されることになる。
【００５４】
以上の説明から理解されるように、この合成処理例１において、圧縮／伸長部２０２は合成前の元画像のウェーブレット変換係数（広義には周波数変換係数）を求める手段として作用する。また、処理部２００は、複数の元画像間で小領域毎に高周波成分量を比較し、小領域毎に高周波成分量が最大の元画像の周波数変換係数の高周波成分を集めて合成画像の周波数変換係数の高周波成分を生成する手段として、また、複数の元画像より選択した元画像の周波数変換係数の低周波成分を集めて合成画像の周波数変換係数の低周波成分を生成する手段として作用する。なお、このような手段を、コンピュータ上で１以上のプログラムにより実現することも可能であることは明白である。かかるプログラム、及び、同プログラムが記録された、コンピュータが読み取り可能な各種の情報記録（記憶）媒体も本発明に含まれる。
【００５５】
［合成処理の例２］
図４は合成処理の例２を示すフローチャートである。この合成処理例２では、同一画角で異なった合焦距離により撮影された複数の画像が、ＪＰＥＧ２０００のコードストリームとして補助記憶部２０３に蓄積されているものとする。また、説明の簡略化のため、図３（Ａ）に示したような合焦距離１，２，３（距離１＜距離２＜距離３）で撮影された３枚の画像Ｐ１，Ｐ２，Ｐ３を合成するものとする。
【００５６】
図４のフローチャートに沿って合成処理の内容を説明する。まず、ステップＳ２１において、処理部２００の制御により、画像Ｐ１，Ｐ２，Ｐ３のコードストリーム及び距離情報（合焦距離１，２，３）が補助記憶部２０３からメモリ２０１に読み込まれる。なお、コードストリームに距離情報が埋め込まれている場合には、コードストリームのみが読み込まれることになる。
【００５７】
ステップＳ２２において、処理部２００からの指示に従って、圧縮／伸長部２０２は、記憶部２０１より画像Ｐ１，Ｐ２，Ｐ３のコードストリームを順次読み込み伸長処理（逆量子化まで）を行う。生成された画像Ｐ１，Ｐ２，Ｐ３のウェーブレット変換係数は記憶部２０１に書き込まれる。距離情報がコードストリームに埋め込まれている場合、伸長処理の過程で距離情報が取り出されて記憶部２０１に書き込まれる。
【００５８】
その後、処理部２００はステップＳ２３〜Ｓ２９を実行し、記憶部２０１に合成画像のウェーブレット変換係数を生成するとともに、合成画像の小領域毎に距離情報を付与する。なお、ステップＳ２３〜Ｓ２９８における処理内容は、図２中の対応ステップＳ３〜Ｓ９と同一であるので、説明を繰り返さない。
【００５９】
そして、ステップＳ３０において、圧縮／伸長部２０２により、合成画像のウェーブレット変換係数に対する圧縮処理（量子化以降の処理）が行われ、そのコードストリームが記憶部２０１に書き込まれる。そして、ステップＳ３１において、処理部２００の制御により、記憶部２０１に記憶されている合成画像のコードストリームとその距離情報が補助記憶部２０３に転送される。
【００６０】
また、合成画像をイメージデータとして補助記憶部２０３に保存することも可能であることは前述の通りである。
【００６１】
以上の説明から理解されるように、この合成処理例２において、圧縮／伸長部２０２は合成前の元画像のウェーブレット変換係数（広義には周波数変換係数）を求める手段として作用する。また、処理部２００は、複数の元画像間で小領域毎に高周波成分量を比較し、小領域毎に高周波成分量が最大の元画像の周波数変換係数の高周波成分を集めて合成画像の周波数変換係数の高周波成分を生成する手段として、また、複数の元画像より選択した元画像の周波数変換係数の低周波成分を集めて合成画像の周波数変換係数の低周波成分を生成する手段として作用する。なお、このような手段を、コンピュータ上で１以上のプログラムにより実現することも可能であることは明白である。かかるプログラム、及び、同プログラムが記録された、コンピュータが読み取り可能な各種の情報記録（記憶）媒体も本発明に含まれる。
【００６２】
［分離再生処理］
以上のようにして生成された合成画像から、その距離情報を利用し、合焦距離の異なる複数の画像を生成することができる。ここでは、合成前の画像Ｐ１，Ｐ２，Ｐ３に近い画像Ｑ１，Ｑ２，Ｑ３を再生するものとして、分離再生処理の具体例を説明する。
【００６３】
［分離再生処理の例１］
図５は分離再生処理の例１を示すフローチャートであり、図６は分離再生処理の説明のための模式図である。ここでは、同一画角で異なった合焦距離により撮影された画像Ｐ１，Ｐ２，Ｐ３から合成された合成画像が、ＪＰＥＧ２０００コードストリームとして補助記憶部２０３に蓄積されているものとする。
【００６４】
図５のフローチャートに沿って分離再生処理の内容を説明する。まず、ステップＳ４１において、処理部２００の制御により、合成画像のコードストリーム及び距離情報が補助記憶部２０３から記憶部２０１に読み込まれる。なお、コードストリームに距離情報が埋め込まれている場合には、コードストリームのみが読み込まれることになる。
【００６５】
ステップＳ４２において、処理部２００からの指示に従って、圧縮／伸長部２０２は、記憶部２０１より合成画像のコードストリームを順次読み込み、逆ウェーブレット変換の手前までの伸長処理を行う。この伸長処理により得られたウェーブレット変換係数は、記憶部２０１に書き込まれる。距離情報がコードストリームに埋め込まれている場合には、復号処理の過程で距離情報が取り出されて記憶部２０１に書き込まれる。
【００６６】
処理部２００は、ステップＳ４３において合成画像の小領域を１つ選択する（合成時の小領域のサイズは既知とする）。次に、処理部２００は、ステップＳ４５において、選択した小領域に関する距離情報を参照し、距離１，距離２，距離３のいずれであるか判定し、距離１ならばステップＳ４６へ、距離２ならばステップＳ４７へ、距離３ならばステップＳ４８へに進む。
【００６７】
ステップＳ４６では、処理部２００は、合成画像の当該小領域のウェーブレット変換係数の高周波成分を、予め記憶部２０１に確保された、合成前画像Ｐ１（距離１）に対応した再生画像Ｑ１用記憶域の対応小領域に書き込む。ステップＳ４７では、処理部２００は、合成画像の当該小領域のウェーブレット変換係数の高周波成分を、予め記憶部２０１に確保された、合成前画像Ｐ２（距離２）に対応した再生画像Ｑ２用記憶域の対応小領域に書き込む。ステップＳ４８では、処理部２００は、合成画像の当該小領域のウェーブレット変換係数の高周波成分を、予め記憶部２０１に確保された、合成前画像Ｐ３（距離３）に対応した再生画像Ｑ３用記憶域の対応小領域に書き込む。
【００６８】
図６（Ａ）に模式的に示した合成画像の場合、その全ての小領域に関してステップＳ２６，Ｓ２７，Ｓ２８の処理を繰り返すことにより、図６（Ｂ）に模式的に示した再生画像Ｑ１，Ｑ２，Ｑ３の網掛けされた小領域に、合成画像の対応した小領域のウェーブレット変換係数の高周波成分がそのまま複写されることになる。再生画像Ｑ１，Ｑ２，Ｑ３の網掛けされていない小領域については、ステップＳ４９〜Ｓ５４によってウェーブレット変換係数の高周波成分が生成される。
【００６９】
ステップＳ４９，Ｓ５０は、選択された小領域が距離１の場合の処理ステップである。ステップＳ４９において、処理部２００は、合成画像の選択された小領域のウェーブレット変換係数の高周波成分を、距離１と距離２の距離差に応じた量子化パラメータを用いて量子化し、量子化後のウェーブレット変換係数の高周波成分を再生画像Ｑ１用記憶域の対応小領域に書き込む。この際、量子化パラメータは、距離差が大きいほど強く量子化するように決定される。また、量子化パラメータはサブバンド毎、コンポーネント毎に決定される。次のステップＳ４９において、処理部２００は、合成画像の選択された小領域のウェーブレット変換係数の高周波成分を、距離１と距離３の距離差に応じた量子化パラメータを用いて量子化し、量子化後のウェーブレット変換係数の高周波成分を再生画像Ｑ３用記憶域の対応小領域に書き込む。このような処理により、再生画像Ｑ２，Ｑ３の１つの小領域のウェーブレット変換係数の高周波成分が生成される。
【００７０】
ステップＳ５１，Ｓ５２は、選択された小領域が距離２の場合の処理ステップである。ステップＳ５１において、処理部２００は、合成画像の選択された小領域のウェーブレット変換係数の高周波成分を、距離１と距離２の距離差に応じた量子化パラメータを用いて量子化し、量子化後のウェーブレット変換係数の高周波成分を再生画像Ｑ１用記憶域の対応小領域に書き込む。次のステップＳ５２において、処理部２００は、合成画像の選択された小領域のウェーブレット変換係数の高周波成分を、距離２と距離３の距離差に応じた量子化パラメータを用いて量子化し、量子化後のウェーブレット変換係数の高周波成分を再生画像Ｑ３用記憶域の対応小領域に書き込む。このような処理により、画像Ｑ１，Ｑ３の１つの小領域のウェーブレット変換係数の高周波成分が生成される。
【００７１】
ステップＳ５３，Ｓ５４は、選択された小領域が距離３の場合の処理ステップである。ステップＳ５３において、処理部２００は、合成画像の選択された小領域のウェーブレット変換係数の高周波成分を、距離１と距離３の距離差に応じた量子化パラメータを用いて量子化し、量子化後のウェーブレット変換係数の高周波成分を再生画像Ｑ１用記憶域の対応小領域に書き込む。次のステップＳ５４において、処理部２００は、合成画像の選択された小領域のウェーブレット変換係数の高周波成分を、距離２と距離３の距離差に応じた量子化パラメータを用いて量子化し、量子化後のウェーブレット変換係数を再生画像Ｑ２用記憶域の対応小領域に書き込む。このような処理により、画像Ｑ１，Ｑ２の１つの小領域のウェーブレット変換係数の高周波成分が生成される。
【００７２】
ステップＳ５０，Ｓ５２，Ｓ５４の次にステップＳ５５に進む。このステップＳ５５において、処理部２００は、合成画像の当該小領域のウェーブレット変換係数の低周波成分を用いて、再生画像Ｑ１，Ｑ２，Ｑ３の当該小領域のウェーブレット変換係数の低周波成分を生成し、それを再生画像Ｑ１，Ｑ２，Ｑ３用記憶域の対応小領域に書き込む。この低周波成分の生成方法として次のような方法を選択することができる。
（１）合成画像の小領域のウェーブレット変換係数の低周波成分をそのまま、全ての再生画像Ｑ１，Ｑ２，Ｑ３の対応小領域のウェーブレット変換係数の低周波成分とする最も簡易な方法。
（２）合成画像の合成時に、特定の合焦距離の画像Ｐｊのウェーブレット変換係数の低周波成分が合成画像のウェーブレット変換係数の低周波成分として用いられた場合に適用される方法であり、合成画像のウェーブレット変換係数の低周波成分を、画像Ｐｊの合焦距離と再生画像Ｑｉの合焦距離の距離差に応じた量子化パラメータにより量子化したものを、再生画像Ｑｉのウェーブレット変換係数の低周波成分とする方法。この方法の場合、各再生画像のウェーブレット変換係数の低周波成分を生成する処理は、図５のステップＳ４６〜Ｓ５４と類似した処理となる。
（３）合成画像の合成時に、小領域毎に、高周波成分量が最大の画像のウェーブレット変換係数の低周波成分が合成画像のウェーブレット変換係数の低周波成分として用いられた場合に適用される方法であり、小領域毎に、合成画像の合焦距離と同じ合焦距離の再生画像のウェーブレット変換係数の低周波成分として、合成画像のウェーブレット変換係数の低周波成分をそのまま（量子化せずに）用い、合成画像の合焦距離と異なる合焦距離の再生画像のウェーブレット変換係数の低周波成分として、その合成距離の距離差に応じた量子化パラメータにより合成画像のウェーブレット変換係数の低周波成分を量子化したものを用いる方法。この方法の場合、各再生画像のウェーブレット変換係数の低周波成分を生成する処理は、図５のステップＳ２５〜Ｓ３４と同じ処理となる。したがって、ステップＳ４６〜Ｓ５４において、ウェーブレット変換係数の高周波成分と低周波成分をまとめて処理することにより、再生画像のウェーブレット変換係数の高周波成分と低周波成分をまとめて生成することができるため、ステップＳ５５を省くことも可能である。
【００７３】
ステップＳ５０，Ｓ５２，Ｓ５４からステップＳ４３に戻り、別の小領域に関し同様の処理が行われる。ステップＳ４３〜Ｓ５５の処理が繰り返され、再生画像Ｑ１，Ｑ２，Ｑ３用記憶域の全ての小領域へのウェーブレット変換係数の書き込みが終わると（ステップＳ４４，Ｙｅｓ）、ステップＳ５６に進み、処理部２００からの指示に従い、圧縮／伸長部２０２において、再生画像Ｑ１，Ｑ２，Ｑ３用記憶域より各再生画像のウェーブレット変換係数が読み込まれ、逆ウェーブレット変換と逆色空間変換が順に行われることにより、再生画像Ｑ１，Ｑ２，Ｑ３のイメージデータが記憶部２０１上に生成される。このような再生画像Ｑ１，Ｑ２，Ｑ３のイメージデータは、合成前の画像Ｐ１，Ｐ２，Ｐ３のイメージデータと完全に同一というわけではないが、かなり近似したものである。このようにして生成された再生画像Ｑ１，Ｑ２，Ｑ３のイメージデータは、ステップＳ５６で、処理部２００の制御により補助記憶部２０３へ転送される。
【００７４】
以上の説明から理解されるように、この分離再生処理例１において、圧縮／伸長部２０２は合成画像のコードストリームから、合成画像のウェーブレット変換係数（広義には周波数変換係数）を生成する手段として作用し、また、各再生画像のウェーブレット変換係数からイメージデータを生成する手段として作用する。また、処理部２００は、合成画像のウェーブレット変換係数（広義には周波数変換係数）から、合成画像の小領域毎に付与された距離情報を参照し、（ａ）再生画像の合焦距離に一致する距離情報が付与された、合成画像の小領域の周波数変換係数の高周波成分をそのまま用いて当該再生画像の対応小領域の周波数変換係数の高周波成分を生成し、（ｂ）再生画像の合焦距離に不一致の距離情報が付与された、合成画像の小領域の周波数変換係数の高周波成分を、当該距離情報により示される合焦距離と当該再生画像の合焦距離との距離差に応じた量子化パラメータにより量子化したものを用いて、当該再生画像の対応小領域の周波数変換係数の高周波成分を生成する手段として作用し、また、合成画像の小領域の周波数変換係数の低周波成分を用いて再生画像の対応小領域の周波数変換係数の低周波成分を生成する手段として作用する。なお、このような手段を、コンピュータ上で１以上のプログラムにより実現することも可能であることは明白である。かかるプログラム、及び、同プログラムが記録された、コンピュータが読み取り可能な各種の情報記録（記憶）媒体も本発明に含まれる。
【００７５】
なお、再生画像Ｑ１，Ｑ２，Ｑ３のイメージデータをデータ入出力部２０４を通じて例えば画像表示装置へ転送して表示させることも可能である。また、ステップＳ５６で、圧縮／伸長部２０２により、画像Ｑ１，Ｑ２，Ｑ３のウェーブレット変換係数に対し量子化以降の圧縮処理を行って各画像のコードストリームを生成し、それを補助記憶部２０３に保存したり、あるいは、データ入出力部２０４を通じて外部へ出力することも可能である。さらに、再生画像のウェーブレット変換係数をそのまま補助記憶部２０３に保存することも可能である。
【００７６】
［分離再生処理の例２］
図７は分離再生処理の例２を示すフローチャートである。ここでは、同一画角で異なった合焦距離により撮影された画像Ｐ１，Ｐ２，Ｐ３から合成された合成画像がイメージデータとして補助記憶部２０３に蓄積されているものとする。
【００７７】
図７のフローチャートに沿って分離再生処理の内容を説明する。まず、ステップＳ６１において、処理部２００の制御により、合成画像のイメージデータ及び距離情報が補助記憶部２０３から記憶部２０１に読み込まれる。
【００７８】
ステップＳ６２において、処理部２００からの指示に従って、圧縮／伸長部２０２は、記憶部２０１より合成画像のイメージデータを読み込み、量子化処理の手前までの圧縮処理を行う。この圧縮処理により得られたウェーブレット変換係数は、記憶部２０１に書き込まれる。
【００７９】
ステップＳ６３において、処理部２００は図５のステップＳ４３〜Ｓ５５と同様の処理を行うことにより、合成前の画像Ｐ１，Ｐ２，Ｐ３に対応する再生画像Ｑ１，Ｑ２，Ｑ３のウェーブレット変換係数の高周波成分及び低周波成分を生成する。そして、ステップＳ６４において、処理部２００からの指示に従い、圧縮／伸長部２０２は、再生画像Ｑ１，Ｑ２，Ｑ３のウェーブレット変換係数に対し逆ウェーブレット変換と逆色空間変換を順に行うことにより、各画像のイメージデータを記憶部２０１上に生成する。このイメージデータは、ステップＳ６５で、処理部２００の制御により補助記憶部２０３へ転送される。
【００８０】
以上の説明から理解されるように、この分離再生処理例２において、圧縮／伸長部２０２は合成画像のイメージデータから、合成画像のウェーブレット変換係数（広義には周波数変換係数）を求める手段として作用し、また、各再生画像のウェーブレット変換係数に対し逆ウェーブレット変換（広義には逆周波数変換）を行ってイメージデータを生成する手段として作用する。また、処理部２００は、合成画像のウェーブレット変換係数（広義には周波数変換係数）から、複数の再生画像のウェーブレット変換係数（広義には周波数変換係数）の高周波成分と低周波成分をそれぞれ生成する手段として作用する。なお、このような手段を、コンピュータ上で１以上のプログラムにより実現することも可能であることは明白である。かかるプログラム、及び、同プログラムが記録された、コンピュータが読み取り可能な各種の情報記録（記憶）媒体も本発明に含まれる。
【００８１】
なお、再生画像Ｑ１，Ｑ２，Ｑ３のイメージデータをデータ入出力部２０４を通じて例えば画像表示装置へ転送して表示させることも可能である。また、ステップＳ６４で、圧縮／伸長部２０２により、再生画像Ｑ１，Ｑ２，Ｑ３のウェーブレット変換係数に対し量子化以降の圧縮処理を行って各画像のコードストリームを生成し、それを補助記憶部２０３に保存したり、あるいは、データ入出力部２０４を通じて外部へ出力することも可能である。
【００８２】
本発明に係る画像処理装置に関する説明は、本発明の画像処理方法の説明でもある。すなわち、図２，図４，図５又は図７のフローチャートは、本発明の画像処理方法の処理手順例を示すものでもある。このような処理手順を、コンピュータを利用しプログラムにより実行することも可能である。そのようなプログラム、及び、同プログラムが記録された各種の情報記録（記憶）媒体も本発明に包含される。
【００８３】
［撮像装置］
さて、前述の画像合成処理を適用するためには、同じ画角で、異なった合焦距離で画像を複数枚撮影する必要があるが、このような撮影を自動的に行う機能は従来のデジタルカメラなどの撮像装置には装備されていない。このような機能と、前述の本発明の画像処理装置の画像合成処理の機能を有する、本発明の撮像装置について図８及び図９を参照し説明する。
【実施例２】
【００８４】
図８はかかる撮像装置の一例を示すブロック図である。図８において、３００は光学レンズ、絞り機構、シャッター機構などから構成される一般的な撮像光学系である。３０１はＣＣＤ型又はＭＯＳ型のイメージャであり、撮像光学系３００により結像される光学像を色分解してから光量に応じた電気信号に変換する。３０２はイメージャ３０１の出力信号をサンプリングしてデジタル信号に変換するＣＤＳ・Ａ／Ｄ変換部であり、相関二重サンプリング（ＣＤＳ）回路とアナログ／デジタル変換回路（Ａ／Ｄ変換回路）からなる。３０３は信号処理部であり、例えばプログラム（マイクロコード）で制御される高速のデジタル信号プロセッサからなる。この信号処理部３０３は、ＣＤＳ・Ａ／Ｄ変換部３０２より入力する画像データに対するガンマ補正処理、ホワイトバランス調整処理、エッジ強調などのためのエンハンス処理のような信号処理のほか、イメージャ３０１、ＣＤＳ・Ａ／Ｄ変換部３０２、表示部３０４を制御し、また、オートフォーカス制御、自動露出制御、ホワイトバランス調整などのための情報の検出などを行う。表示部３０４は例えば液晶表示装置であり、モニタリング画像（スルー画像）や撮影画像などの画像の表示、その他の情報の表示などに利用される。
【００８５】
以上に説明した撮像光学系３００、イメージャ３０１、ＣＤＳ・Ａ／Ｄ変換部３０２及び信号処理部３０３は、全体として、被写体を撮影して画像のイメージデータを取得する撮像手段を構成している。
【００８６】
３０７は例えばＪＰＥＧ２０００準拠の圧縮／伸長部であり、これは撮影された画像のイメージデータの圧縮処理と、圧縮されたコードストリームの伸長処理に利用される。３０８は交換可能な記録媒体（例えば各種のメモリカード）であり、圧縮／伸長部３０７で圧縮されたコードストリームが記録される。３０９は外部インターフェース部であり、これを介して外部のパソコンなどと有線又は無線のネットワーク又は他の伝送路を通じ情報の交換を行うことができる。
【００８７】
３０６は制御部であり、例えばマイクロコンピュータからなる。この制御部３０６は、操作部３１０から入力されるユーザの操作情報や信号処理部３０３から与えられる情報などに応答して、撮像光学系３００のシャッター機構、絞り機構、フォーカス機構や、信号処理部３０３、圧縮／伸長部３０７、記録媒体３０８などの制御を行う。３０５はメモリであり、画像のデータなどの一時記憶域として利用され、また、信号処理部３０３、制御部３０６、圧縮／伸長部３０７の作業記憶域として利用される。操作部３１０は、撮像装置の操作のためのレリーズボタン、その他の操作ボタン（スイッチ）などからなる。
【００８８】
この撮像装置の基本的な動作は従来のデジタルカメラなどと同様であるので、その説明は割愛し、この撮像装置の特有の機能に関連した動作について図９に示すフローチャートを参照し説明する。この動作を制御する手段、すなわち、レリーズボタンが押下された時の前記撮像手段の合焦距離を含む複数の異なる合焦距離を設定する手段と、撮像手段に対し、同一の画角で、前記設定された複数の合焦距離で順次撮影させるための制御を行う手段は、例えば、制御部３０６を構成するマイクロコンピュータにプログラムの形で組み込まれている。
【００８９】
制御部３０６は、操作部３１０のレリーズボタンの押下を検出すると（ステップＳ７１，Ｙｅｓ）、その時点における撮像光学系３００の合焦距離から、当該合焦距離を含む複数の異なる合焦距離Ｄ1，Ｄ2,…,ＤNを設定する（ステップＳ７２）。例えば、レリーズボタンの押下時の合焦距離（オートフォーカス機能により設定された合焦距離又はマニュアル設定された合焦距離）を中心として、予め設定された距離差を持たせるように各合焦距離を設定する。
【００９０】
次に、制御部３０６は、カウンタｉを０に設定し（ステップＳ７３）、撮像光学系３００の合焦距離を合焦距離Ｄiに一致させるようにフォーカス機構を作動させて画像を１枚させる制御を行う（ステップＳ７４）。そして、撮影された画像のイメージデータを圧縮／伸長部３０７で圧縮させ、そのコードストリームを合焦距離Ｄｉの情報とともに記録媒体３０８に書き込ませる（ステップＳ７５）。
【００９１】
次に、制御部３０６はカウンタｉをインクリメントし（ステップＳ７６）、インクリメント後のカウンタｉの値と規定値Ｎとの比較判定を行う（ステップＳ７７）。カウンタｉの値がＮ以下ならば（ステップＳ７７，Ｎｏ）、制御部３０６は、ステップＳ５４以降の制御を行い、別の合焦距離Ｄiで２枚目の画像を撮影させ、その画像のコードストリームを記録媒体３０８に記録させる。
【００９２】
同様の制御により、ステップＳ５２で設定された全ての合焦距離での撮影が終わると、カウンタｉの値は規定値Ｎを越えるため（ステップＳ７７，Ｙｅｓ）、一連の撮影動作を終了させる。なお、いずれの合焦距離による撮影においても画角は同一とする。
【００９３】
なお、撮影された画像のイメージデータを圧縮せずに記録媒体３０８に記録したり、それを外部インターフェース部３０９を介して外部のパソコンなどへ転送することも可能である。
【００９４】
また、この撮像装置には、図１乃至図４により説明した本発明の画像合成のための手段、すなわち、撮像手段により、同一の画角で異なった合焦距離で撮影された複数の画像（元画像）間で小領域毎に高周波成分量を比較し、小領域毎に高周波成分量が最大の元画像の周波数変換係数の高周波成分を集めて前記合成画像の周波数変換係数の高周波成分を生成する手段と、前記複数の元画像より選択した元画像の周波数変換係数の低周波成分を集めて合成画像の周波数変換係数の低周波成分を生成する手段からなる合成処理手段が組み込まれている。このような手段は、例えば、制御部３０６を構成するマイクロコンピュータ、及び／又は、信号処理部３０３を構成するデジタル信号プロセッサに、プロクラムの形で組み込まれている。かかる構成によれば、撮像装置内で、撮影した複数枚の画像に対し前述の合成処理を実行することができる。
【００９５】
なお、前述した合成画像から複数の画像を再生する再生処理のための機能を撮像装置に組み込むことも可能であり、かかる構成の撮像装置も本発明に含まれる。
【図面の簡単な説明】
【００９６】
【図１】本発明に係る画像処理装置を説明するためのブロック図である。
【図２】合成処理の一例を示すフローチャートである。
【図３】合成処理の説明のための模式図である。
【図４】合成処理の他の一例を示すフローチャートである。
【図５】分離再生処理の一例を示すフローチャートである。
【図６】分離再生処理の説明のための模式図である。
【図７】分離再生処理の他の一例を示すフローチャートである。
【図８】同一画角で合焦距離を変化させて撮影する機能を有する撮像装置の一例を示すブロック図である。
【図９】撮像装置の動作を説明するためのフローチャートである。
【図１０】ＪＰＥＧ２０００の圧縮／伸長処理を説明するためのブロック図である。
【図１１】デコンポジションレベル数３のウェーブレット変換によるサブバンド分割を示す図である。
【符号の説明】
【００９７】
２００  処理部
２０１  記憶部
２０２  圧縮／伸長部
２０３  補助記憶部
２０４  データ入出力部
Ｐ１，Ｐ２，Ｐ３  合成前の画像
Ｑ１，Ｑ２，Ｑ３  再生画像
３００  撮像光学系
３０１  イメージャ
３０２  ＣＤＳ・Ａ／Ｄ変換部
３０３  信号処理部
３０６  制御部
３０７  圧縮／伸長部
３０８  記録媒体
３１０  操作部
【図１】
2005149227.tif 000003
【図２】
2005149227.tif 000004
【図３】
2005149227.tif 000005
【図４】
2005149227.tif 000006
【図５】
2005149227.tif 000007
【図６】
2005149227.tif 000008
【図７】
2005149227.tif 000009
【図８】
2005149227.tif 000010
【図９】
2005149227.tif 000011
【図１０】
2005149227.tif 000012
【図１１】
2005149227.tif 000013