(57)【特許請求の範囲】
【請求項１】
被写界深度の異なる光学系を介して撮影された複数の画像データを合成し、所定の鮮明度の画像を得る画像処理装置において、
前記複数の画像データ中の所定位置を占めるある画素の画像データの合成に際して、
前記画素をそれぞれ異なる位置に含む所定サイズの複数の画素ブロック全てについて、各画素ブロックごとに前記複数の画像データの鮮明度を評価し（Ｓ６１／Ｓ６２）、
前記複数の画素ブロック全てについて得られた評価結果を組み合せて前記画素に関する鮮明度の評価値を求め（Ｓ７）、この評価値に基づき前記画素の画像データの合成に前記複数の画像データのいずれを用いるかを決定する（Ｓ８）制御手段を有することを特徴とする画像処理装置。
【請求項２】
前記複数の画素ブロック全てについて行なう前記複数の画像データの鮮明度の各々の評価において、複数の画像データ中の所定位置を占める画素を含む所定サイズの複数の画素ブロック中で前記画素が占める位置に応じて異なる重みを加算して得た評価値を前記画素に関して求め、この評価値を用いてその画素に対応する前記複数の画像データの鮮明度を評価することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画素の評価値を前記複数の画像データごとに求め、前記複数の画像データのうち得られた評価値の高い画像データを用いて前記画素の画像データを合成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記複数の画像データのうち得られた評価値の高い所定の複数の画像データを用いて前記画素の画像データを合成するに際して、合成する画像データのそれぞれの評価値の大小比率に応じて前記画素の画像データを合成することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
被写界深度の異なる光学系を介して撮影された複数の画像データを合成し、所定の鮮明度の画像を得る画像処理方法において、
前記複数の画像データ中の所定位置を占めるある画素の画像データの合成に際して、
前記画素をそれぞれ異なる位置に含む所定サイズの複数の画素ブロック全てについて、各画素ブロックごとに前記複数の画像データの鮮明度を評価し（Ｓ６１／Ｓ６２）、
前記複数の画素ブロック全てについて得られた評価結果を組み合せて前記画素に関する鮮明度の評価値を求め（Ｓ７）、この評価値に基づき前記画素の画像データの合成に前記複数の画像データのいずれを用いるかを決定する（Ｓ８）各制御ステップを含むことを特徴とする画像処理方法。
【請求項６】
前記複数の画素ブロック全てについて行なう前記複数の画像データの鮮明度の各々の評価において、複数の画像データ中の所定位置を占める画素を含む所定サイズの複数の画素ブロック中で前記画素が占める位置に応じて異なる重みを加算して得た評価値を前記画素に関して求め、この評価値を用いてその画素に対応する前記複数の画像データの鮮明度を評価する制御ステップを含むことを特徴とする請求項５に記載の画像処理方法。
【請求項７】
前記画素の評価値を前記複数の画像データごとに求め、前記複数の画像データのうち得られた評価値の高い画像データを用いて前記画素の画像データを合成する制御ステップを含むことを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記複数の画像データのうち得られた評価値の高い所定の複数の画像データを用いて前記画素の画像データを合成するに際して、合成する画像データのそれぞれの評価値の大小比率に応じて前記画素の画像データを合成する制御ステップを含むことを特徴とする請求項７に記載の画像処理方法。
【請求項９】
被写界深度の異なる光学系を介して撮影された複数の画像データを合成し、所定の鮮明度の画像を得る画像処理プログラムにおいて、
前記複数の画像データ中の所定位置を占めるある画素の画像データの合成に際して、
前記画素をそれぞれ異なる位置に含む所定サイズの複数の画素ブロック全てについて、各画素ブロックごとに前記複数の画像データの鮮明度を評価し（Ｓ６１／Ｓ６２）、
前記複数の画素ブロック全てについて得られた評価結果を組み合せて前記画素に関する鮮明度の評価値を求め（Ｓ７）、この評価値に基づき前記画素の画像データの合成に前記複数の画像データのいずれを用いるかを決定する（Ｓ８）各制御ステップを含むことを特徴とする画像処理プログラム。
【請求項１０】
前記複数の画素ブロック全てについて行なう前記複数の画像データの鮮明度の各々の評価において、複数の画像データ中の所定位置を占める画素を含む所定サイズの複数の画素ブロック中で前記画素が占める位置に応じて異なる重みを加算して得た評価値を前記画素に関して求め、この評価値を用いてその画素に対応する前記複数の画像データの鮮明度を評価する制御ステップを含むことを特徴とする請求項９に記載の画像処理プログラム。
【請求項１１】
前記画素の評価値を前記複数の画像データごとに求め、前記複数の画像データのうち得られた評価値の高い画像データを用いて前記画素の画像データを合成する制御ステップを含むことを特徴とする請求項１０に記載の画像処理プログラム。
【請求項１２】
前記複数の画像データのうち得られた評価値の高い所定の複数の画像データを用いて前記画素の画像データを合成するに際して、合成する画像データのそれぞれの評価値の大小比率に応じて前記画素の画像データを合成する制御ステップを含むことを特徴とする請求項１１に記載の画像処理プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、被写界深度の異なる光学系を介して撮影された複数の画像データを合成し、所定の鮮明度の画像を得る画像処理装置、画像処理方法、および画像処理プログラムに関するものである。
【０００２】
【従来の技術】
撮影距離の異なる画像を合成し、遠景から近景までの全ての被写体にピントの合った画像を得る技術が知られている。
【０００３】
この種の技術では、たとえば、近距離（Ｎ：Ｎｅａｒ）、中距離（Ｍ：Ｍｉｄｄｌｅ）、遠距離（Ｆ：Ｆａｒ）にそれぞれ被写界深度を持つよう撮影光学系に対して異なる位置にそれぞれ近距離用、中距離用、遠距離用の撮像素子（ＣＣＤなど）を配置し、各撮像素子から得られたＮ（近距離）、Ｍ（中距離）、Ｆ（遠距離）の各画像を解析し、画像の鮮鋭度などに基づき各画像より適切な部位を抽出して合成する。
【０００４】
【発明が解決しようとする課題】
従来では、上記のようにＮ（近距離）、Ｍ（中距離）、Ｆ（遠距離）の各画像から適切な部分を抽出して合成する際、画素単位でＮ、Ｍ、Ｆの各画像を合成することは不可能であった。
【０００５】
従来では、画像のある部位につきＮ、Ｍ、Ｆの各画像のうちいずれを採用するかを決定するため画像の鮮鋭度などの解析を行なう場合、１６×１６画素のような２次元領域を単位として評価演算を行なう必要があり、その結果を用いて行なう画像の合成も評価演算の単位である２次元領域を単位として行なっていたためである。このような合成では、評価演算の単位である２次元領域のサイズに比して全体の画像の解像度が充分大きくないかぎり画質のよい合成結果を得ることができない。
【０００６】
また、従来では、画像のある部位につきＮ、Ｍ、Ｆの各画像のうちいずれを採用するかを決定する際、画像の鮮鋭度などの解析に基づきＮ、Ｍ、Ｆの各画像のうちいずれか１つを採用し、他の画像は捨ててしまっている。このため、合成後、スムージングなどの処理を行なわない限り、遠景から近景に連続的に分布するような被写体の画質が不自然になる問題がある。
【０００７】
本発明の課題は、撮影距離の異なる画像を合成し、遠景から近景までの全ての被写体にピントの合った画像を得るために、Ｎ（近距離）、Ｍ（中距離）、Ｆ（遠距離）の各画像から画素単位の情報を抽出して合成し、また、その際、Ｎ（近距離）、Ｍ（中距離）、Ｆ（遠距離）の各画像の画素情報のうち適切な複数を用いて画像を合成し、余計な後処理を必要とせず高画質の画像合成を行なえるようにすることにある。
【０００８】
【課題を解決するための手段】
上記の課題を解決するため、本発明によれば、被写界深度の異なる光学系を介して撮影された複数の画像データを合成し、所定の鮮明度の画像を得る画像処理装置、画像処理方法、および画像処理プログラムにおいて、
前記複数の画像データ中の所定位置を占めるある画素の画像データの合成に際して、
前記画素をそれぞれ異なる位置に含む所定サイズの複数の画素ブロック全てについて、各画素ブロックごとに前記複数の画像データの鮮明度を評価し（Ｓ６１／Ｓ６２）、
前記複数の画素ブロック全てについて得られた評価結果を組み合せて前記画素に関する鮮明度の評価値を求め（Ｓ７）、この評価値に基づき前記画素の画像データの合成に前記複数の画像データのいずれを用いるかを決定する（Ｓ８）構成を採用した。
【０００９】
あるいはさらに、前記複数の画素ブロック全てについて行なう前記複数の画像データの鮮明度の各々の評価において、複数の画像データ中の所定位置を占める画素を含む所定サイズの複数の画素ブロック中で占める位置に応じて異なる重みを加算して得た評価値を前記画素に関して求め、この評価値を用いてその画素に対応する前記複数の画像データの鮮明度を評価する構成を採用した。
【００１０】
あるいはさらに、前記画素の評価値を前記複数の画像データごとに求め、前記複数の画像データのうち得られた評価値の高い画像データを用いて前記画素の画像データを合成する構成を採用した。
【００１１】
あるいはさらに、前記複数の画像データのうち得られた評価値の高い所定の複数の画像データを用いて前記画素の画像データを合成するに際して、合成する画像データのそれぞれの評価値の大小比率に応じて前記画素の画像データを合成する制御ステップを含む構成を採用した。
【００１２】
【発明の実施の形態】
以下、図を参照して本発明の実施の形態を説明する。
【００１３】
図１は本発明を採用した撮影装置の構成を示している。図１において符号Ｏは撮影光学系であり、その光軸上にはハーフミラー（あるいはビームスプリッタなど）Ｍ１、Ｍ２、ミラー（あるいはプリズムなど）Ｍ３を配置し、遠距離（Ｆ）、中距離（Ｍ）、および近距離（Ｎ）にそれぞれ被写界深度を持つよう撮影光学系Ｏに対して異なる位置にＣＣＤ１１、１２、および１３を配置してある。
【００１４】
図１では、光学系〜ＣＣＤの距離を判り易くするために全反射ミラーからなるミラーＭ３を図示しているが、このミラーＭ３は必ずしも必要はなく、実際の光学系では多くの場合省略できる。Ｍ１、Ｍ２の透過比率は６６％程度とし、各ＣＣＤに到達する光量にアンバランスが生じないように設定する。
【００１５】
ここでは、撮影光学系Ｏは、遠距離（Ｆ）、中距離（Ｍ）、および近距離（Ｎ）の３つのＣＣＤ１１〜１３に共通したものを用いているが、もちろんそれぞれの撮像素子について異なる光学系を用いてもよい。
【００１６】
ＣＣＤ１１〜１３の出力は、ビデオＩ／Ｆ１４を介して図１右側の画像処理装置に入力される。ビデオＩ／Ｆ１４より右側の画像処理装置は、ＰＣ（パーソナルコンピュータ）などのハードウェアを利用して構成することができる。この画像処理装置は、後述の画像処理を行なうＣＰＵ３０、シャッタボタンなどの操作手段を含む操作部３１、後述の画像処理をＣＰＵ３０のプログラムとして格納するプログラムメモリ３２、画像処理のワークエリアとして用いられるメモリ３５を含む。
【００１７】
図１では、さらに得られた画像データを他の装置と共有するために、ネットワークＩ／Ｆ３３が設けられている。ネットワークＩ／Ｆ３３のＩ／Ｆ方式はイーサネット（商標名）など任意である。その他に、画像をモニタするため、ＬＣＤ（あるいはＣＲＴ）から成るファインダやモニタが設けられていてよい。
【００１８】
図２は図１のＣＰＵ３０が実行する画像処理手順の流れを示したものである。まず、図２のフローチャートを参照して本発明による画像処理の全体の流れを説明する。
【００１９】
操作部３１でシャッタボタン押下などの撮影操作が行われると、図２のステップＳ１において、ビデオＩ／Ｆ１４よりＣＣＤ１１〜１３から画像データを読み込む。画像データの形式は任意であるが、ここではＲＧＢ形式の輝度データであるものとする（１色あたり８〜３２ビット量子化）。また、画像データのディメンジョンも任意であるが、ここでは６４０×４８０画素（ＶＧＡサイズ）程度の縦横比の画像データが各ＣＣＤ１１〜１３から出力されるものとする。
【００２０】
図３、図４、図５は後述の色補正処理を行なう前の輝度データから得た輝度ヒストグラムを示している。図３、図４、図５は、ＣＣＤ１１、１２、１３からそれぞれ得た輝度データＮ（近焦点）、Ｍ（中焦点）、Ｆ（遠焦点）の輝度ヒストグラムである。図３、図４、図５の横軸に示されたＲＧＢのそれぞれの輝度は８ビット幅であり、縦軸は各輝度のポイント数（画素数）を示している。被写体が自然界の画像であれば、ほぼ図３〜図５のような輝度分布を示す。
【００２１】
ステップＳ２では、ＲＧＢ色調補正処理を行なう。この色調補正処理は、被写体やＣＣＤの特性に応じて公知の任意の処理方法で行なう。
【００２２】
ステップＳ３では、距離比例アフィン変換を行ない、ＣＣＤ１１〜１３から入力されたＮ、Ｍ、Ｆのそれぞれの画像データの歪みを補正する。距離比例アフィン変換処理自体は公知であり、Ｎ（近焦点）、Ｍ（中焦点）、Ｆ（遠焦点）の画像の大きさの違いを補正するもので、図６のように行なわれる。距離比例アフィン変換処理では、通常、注目画素Ｐの座標を画面周辺部の基準点Ｐ０の座標に応じて求めた変換量（ｘｄ，ｙｄ）だけ移動することにより歪みの補正が行なわれる。歪み補正後のデータは後段の処理のため、再度１次元データの形でメモリ３５に格納される。
【００２３】
ステップＳ４では、データを１次元化する。この１次元化は、ＣＣＤ１１〜１３から入力されたＮ、Ｍ、Ｆのそれぞれの画像データについて、画面の左上などの画素からジグザグ状に取り出し、メモリ３５のＮ、Ｍ、Ｆごとに画像メモリ領域に配置することにより行なえる。
【００２４】
以上のようにＮ、Ｍ、Ｆごとに得られた１次元データについて、ステップＳ５１またはＳ５２では不要成分除去処理を行ない、ステップＳ６１、Ｓ６２またはＳ６３で後述の鮮明化処理を行なう。
【００２５】
ステップＳ５１、およびＳ５２は、不要成分除去処理のための異なる手法を例示したもので、ステップＳ５１は移動平均法による不要成分除去処理、ステップＳ５２は不図示のＨＰＦ（ハイパスフィルタ）などのハードウェア（あるいはソフトウェア）により中低域の空間周波数成分を除去するものである。ステップＳ５１またはＳ５２の不要成分除去処理はいずれかを実行すればよい。
【００２６】
図７〜図９はステップＳ５１、Ｓ５２の不要成分除去処理のうち、移動平均法による処理を示したものである。図７（Ａ）は説明を容易にするため１６×１６画素（＝２５６画素）の輝度波形モデル（グレースケール）を示したものである。図７の輝度波形データは１次元化されており、各グラフの横軸は走査位置（空間軸）に相当する。図７（Ａ）の原波形データにつき所定のウィンドウ幅で移動平均を取り、原波形との差分を取ると図７（Ｂ）のようになり、さらにこの波形の輝度値を２乗すると図７（Ｃ）のような波形となる。図７（Ｂ）、図７（Ｃ）のような処理を繰り返すことにより、結果的に原波形の空間周波数成分の高域を強調したのと同様の効果を得ることができ、これにより不要成分除去処理を行なうことができる。
【００２７】
図８は、実際の１６×１６画素（＝２５６画素）の輝度波形Ａと、移動平均波形Ｂを、図９は最終的に得られた１１次移動平均波形Ｃを示している。
【００２８】
図２のステップＳ６１、Ｓ６２は、鮮明化処理のための異なる手法を例示したもので、ステップＳ６１は周波数法、ステップＳ６２はパワー法、ステップＳ６３は振幅法による鮮明化処理を示す。鮮明化処理は、これらステップＳ６１〜Ｓ６３の周波数法、パワー法、または振幅法のいずれかにより行なえばよい。
【００２９】
ステップＳ６１〜Ｓ６３の周波数法、パワー法、および振幅法の鮮明化処理は、ブロック単位でそのブロックのＮ、Ｍ、Ｆのいずれの画像が鮮明であるかを決定する処理である。
【００３０】
たとえば、図１１の符号４１ｎ、４１ｍ、４１ｆのように、Ｎ、Ｍ、Ｆの輝度データがあった場合、その１６×１６画素のＮＭＦ判定ブロック４２のウィンドウを１画素づつ左上からずらしながら、鮮明度を判定する。図１１の輝度データ４１ｎ、４１ｍ、４１ｆは、前述の６４０×４８０画素（ＶＧＡサイズ）などの所定縦横比の撮影画面に対応し、２次元的に表現してある。
【００３１】
ステップＳ６３の振幅法では、上記のようにして得た移動平均波形（原波形）に対してその振幅から各ＮＭＦ判定ブロック４２について求められたパワーを比較し、同一位置にあるＮ、Ｍ、ＦのいずれのＮＭＦ判定ブロック４２が最も大きなパワー値を有しているかを判定することにより、Ｎ、Ｍ、ＦのいずれのＮＭＦ判定ブロック４２が鮮鋭（ピントがあっている）であるか判断する。
【００３２】
また、ステップＳ６１およびステップＳ６３の周波数法およびパワー法では、それぞれのＮＭＦ判定ブロック４２についてパワースペクトルを取得し、このパワースペクトルデータに基づき鮮鋭度の判定を行なう。パワースペクトルを得る周波数解析手法としては、
・ＦＦＴ変換
・ＭＥＭ（最大エントロピー法）
・コサイン変換
・ウェーブレット変換
のような手法を用いることができるが、本実施形態ではＦＦＴ変換を用いるものとする。
【００３３】
図１０はＮ、Ｍ、Ｆのそれぞれの同じ位置にあるＮＭＦ判定ブロック４２の１６×１６画素について得たＦＦＴパワースペクトルを示しており、横軸は周波数、縦軸はパワー値である。
【００３４】
このようにパワースペクトルデータを得た後、ステップＳ６１の周波数法では、パワースペクトルの重心位置が高周波（図の右側）にある画像（Ｎ、Ｍ、Ｆのいずれか）が最も鮮鋭（ピントがあっている）と判断し、ステップＳ６２のパワー法ではパワースペクトルの波高（平均やピーク）が最も高い画像（Ｎ、Ｍ、Ｆのいずれか）が最も鮮鋭（ピントがあっている）と判断する。ステップＳ６２のパワー法では、鮮鋭度判定に都合のよい特定の周波数成分のパワーのみを用いて鮮鋭度判定を行なうこともできる。
【００３５】
従来では、Ｎ、Ｍ、Ｆの画像を、隣接しかつオーバラップしないようＮＭＦ判定ブロックにそれぞれ分割し、上記のような鮮明化処理を各ＮＭＦ判定ブロックについて行ない、Ｎ、Ｍ、Ｆの画像の対応する位置のいずれのＮＭＦ判定ブロックが鮮明であるかを判断し、単に最も鮮明であると判断されるＮＭＦ判定ブロックの輝度データを採用してＮＭＦ判定ブロック単位で画像を合成していた。このような手法では、決まったＮＭＦ判定ブロック単位でしか画像を合成することができないので、前述のような問題を生じる。
【００３６】
しかし、本発明では、上記のようにＮＭＦ判定ブロック４２のウィンドウを１画素づつ左上からずらしてそれぞれのＮＭＦ判定ブロック４２の位置において、各ＮＭＦ判定ブロック４２ではＮ、Ｍ、Ｆの画像のいずれが鮮明であるかを判断する。
【００３７】
この１ドット（１画素）づつＮＭＦ判定ブロック４２をシフトしながら得たＮＭＦ判定結果は、たとえば図１１の符号４３のようなＮＭＦ判定結果マップとしてメモリ３５に格納することができる。図１１のＮＭＦ判定結果マップ３５は、「Ｎ」、「Ｍ」、「Ｆ」のような判定結果コードをＮＭＦ判定ブロック４２の基準位置（たとえば最も左上隅の画素位置）に対応するアドレスに格納したものである。
【００３８】
ＮＭＦ判定結果マップ４３は、ＮＭＦ判定ブロック４２の基準位置（たとえば最も左上隅の画素位置）が占める画面上の画素位置に応じた各アドレスに「Ｎ」、「Ｍ」、「Ｆ」のような判定結果コードを格納したものであり、１撮影画面の画素数と同じ数の判定結果コード格納スロットから構成される。
【００３９】
本発明では、図２のステップＳ７において、ＮＭＦスコア化処理を行ない、その結果に基づき、画素単位でＮ、Ｍ、Ｆの輝度データを合成する。
【００４０】
ここでいうＮＭＦスコアとは、ある注目画素Ｐについてその画素の合成に関してＮ、Ｍ、Ｆの輝度データのいずれを用いるかが適当であるか（云いかえればＮ、Ｍ、Ｆの輝度データのいずれが鮮明であるか）を示す評価値である。
【００４１】
本実施形態では、このＮＭＦスコアとしてＮスコア、Ｍスコア、およびＦスコアの各スコアを定義し、上述のようにしてＮＭＦ判定ブロック４２ごとに求めたＮ、Ｍ、Ｆの判定結果を作用させてその注目画素ＰのＮスコア、Ｍスコア、およびＦスコアの各スコアを決定する。
【００４２】
ある注目画素ＰのＮスコア、Ｍスコア、およびＦスコアの決定には、その注目画素Ｐを含む全てのＮＭＦ判定ブロック４２が用いられる。したがって、上記のようにＮＭＦ判定ブロック４２が１６×１６画素のサイズであれば、２５６（１６×１６）個のＮＭＦ判定ブロック４２の「Ｎ」、「Ｍ」、「Ｆ」の判定結果コードを作用させる。
【００４３】
このためには、たとえば注目画素ＰのＮスコア、Ｍスコア、およびＦスコアを格納するメモリアドレスを用意し、これを０でクリアしておく。そして、図１３の（１）〜（６）に示すように注目画素Ｐを含むＮＭＦ判定ブロック４２を１画素づつ左上から移動させ、そのＮＭＦ判定ブロック４２で得られた判定結果が「Ｎ」、「Ｍ」、「Ｆ」のいずれであるかによりＮスコア、Ｍスコア、あるいはＦスコアの値をインクリメントしていく。
【００４４】
このＮスコア、Ｍスコア、あるいはＦスコアのインクリメントの際、いずれのＮＭＦ判定ブロック４２についても同じ値づつインクリメントしてもよいが、本発明では、注目画素ＰがＮＭＦ判定ブロック４２中のどの位置を占めているかによってあるＮＭＦ判定ブロック４２でインクリメントの値を制御する。このために、本発明では、図１１および図１２に符号６１で示すような係数テーブルを用いる。
【００４５】
この係数テーブル６１は、１６×１６画素のＮＭＦ判定ブロック４２のそれぞれの画素位置に応じて、Ｎスコア、Ｍスコア、あるいはＦスコアのための異なるインクリメント値を格納したものである。図１２から明らかなように係数テーブル６１のインクリメント値は、１６×１６画素の中心部ほど大きく、また周辺部では小さくしてある。図１２の右側は、この係数テーブル６１の格納値を３次元的に示している。
【００４６】
あるＮＭＦ判定ブロック４２で得られた判定結果に応じて、Ｎスコア、Ｍスコア、あるいはＦスコアのいずれかをインクリメントする場合、注目画素ＰがＮＭＦ判定ブロック４２のどの位置を占めているかに応じて、同じサイズを有する係数テーブル６１の同じ位置に格納されたインクリメント値を取り出してＮスコア、Ｍスコア、あるいはＦスコアのいずれかをインクリメントする。
【００４７】
このようにして、係数テーブル６１はＮＭＦ判定ブロック４２のそれぞれの画素位置に応じて、Ｎスコア、Ｍスコア、あるいはＦスコアのいずれかをインクリメントする際、異なる重みでそのＮＭＦ判定ブロック４２の判定結果を作用させることができる。
【００４８】
なお、図１３では、説明を容易にするために注目画素Ｐを固定し、その注目画素Ｐを含むＮＭＦ判定ブロック４２を全て処理するようなアルゴリズムを例示したが、実際にこのような処理を行なうと同一のＮＭＦ判定ブロック４２のＮＭＦ判定（あるいは既にＮＭＦ判定結果マップ４３が完成していれば少なくとも対応するその判定結果の参照）を重複して実行するため効率がよくない。
【００４９】
そこで、実際の処理では、図１１に示すようにＮスコア、Ｍスコア、およびＦスコアをそれぞれ格納するＮＭＦスコアテーブル５１ｎ、５１ｍ、５１ｆを用意しておき、これを０クリアする。
【００５０】
そして、ＮＭＦ判定結果マップ４４（理解を容易にするため前述のＮＭＦ判定結果マップ４３と同じものを別に図示したものである）上で１画素づつ係数テーブル６１をシフトさせ、その時の係数テーブル６１の基準位置（上述のＮＭＦ判定ブロック４２を用いてＮＭＦ判定結果マップ４３、４４を作成した時の基準位置：左上隅など）から「Ｎ」、「Ｍ」、「Ｆ」の判定結果コードを読み取る。そしてそのＮＭＦ判定結果マップ４４の値が「Ｎ」、「Ｍ」、「Ｆ」のいずれの判定結果コードであるかに応じて、ＮＭＦスコアテーブル５１ｎ、５１ｍ、５１ｆのいずれをインクリメントすべきかを決定する。
【００５１】
図１１の例では、係数テーブル６１が画面の左上隅にある時、用いるべきＮＭＦ判定結果マップ４３の判定結果コードは左上隅の「Ｎ」であり、その結果、係数テーブル６１を作用させるべきＮＭＦスコアテーブルはＮスコアテーブル５１ｎであることが判明する。そこで、係数テーブル６１をＮスコアテーブル５１ｎのＮＭＦ判定結果マップ４４と同じ位置に置き、係数テーブル６１の値をＮスコアテーブルｎの対応する画素位置にそれぞれ加算する。
【００５２】
以上のように係数テーブル６１をシフトしつつＮＭＦ判定結果に応じてＮ、Ｍ、Ｆスコアテーブル５１ｎ、５１ｍ、５１ｆのいずれかに重みづけしたスコアを加算する処理を繰り返すことにより、全ての画素のＮ、Ｍ、Ｆスコアを得ることができる。
【００５３】
以上のようにして、ある注目画素ＰについてＮ、Ｍ、Ｆスコアテーブル５１ｎ、５１ｍ、５１ｆにＮスコア、Ｍスコア、およびＦスコアが累積される。
【００５４】
そして、図２のステップＳ８において、画像合成を行なうが、その際、累積されたＮスコア、Ｍスコア、およびＦスコアのいずれが大きいかを判定することにより、その画素についてＮ、Ｍ、Ｆいずれの輝度値を採用して画像を合成すればよいかを決定することができる。
【００５５】
このとき、ある注目画素Ｐについて上記のようにして得られたＮ、Ｍ、Ｆスコアのうち最も大きな値を持つものに応じて、輝度データ４１ｎ、４１ｍ、４１ｆからいずれか１つを選択して用いることも考えられるが、本実施形態では、Ｎ、Ｍ、Ｆスコアの値に応じて、輝度データ４１ｎ、４１ｍ、４１ｆから複数を選択し、その輝度データを画像合成に用いる。しかも、その際、採用する複数のＮ、Ｍ、Ｆスコアの値に応じた輝度データの混合を行なう。
【００５６】
たとえば、Ｎ、Ｍ、Ｆスコアのうちたとえば上位の２つに対応する輝度データを採用し、その際の輝度データを混合する比率は採用するＮ、Ｍ、Ｆスコアの大小比率に対応させる。
【００５７】
たとえば、図１１において、Ｎ、Ｍ、Ｆスコアテーブル５１ｎ、５１ｍ、５１ｆ中に示した注目画素ＰのＮ、Ｍ、Ｆの各スコアがＰＳｎ、ＰＳｍ、ＰＳｆで、それらの値がそれぞれ４７、３２、２６であったとする。
【００５８】
Ｎ、Ｍ、Ｆスコアの上位の２つはＰＳｎ＝４７とＰＳｍ＝３２であるので、輝度データ４１ｎおよび４１ｍから注目画素Ｐの画素データＰｎおよびＰｍを採用し、この輝度値をＰＳｎとＰＳｍの比率で合成する。この合成の際用いる演算処理は任意であるが、たとえば、注目画素Ｐの輝度ＰＳは、図１１に示したように
ＰＳ＝（ＰＳｎ＊Ｐｎ＋ＰＳｍ＊Ｐｍ）／（ＰＳｎ＋ＰＳｍ）
として求めることができる。ここで、輝度ＰＳは説明を容易にするためＲＧＢのうち１値のみを示しているが、実際にはＲＧＢの各輝度データについて上記の輝度値合成を行なうのはいうまでもない。
【００５９】
このようなＮ、Ｍ、Ｆの輝度データの合成を各画素について行なえば、撮影距離の異なる画像を合成し、遠景から近景までの全ての被写体にピントの合った画像を得ることができる。合成した画像は図２のステップＳ９でメモリ３５の所定領域に割り当てられた合成画像記憶エリアに格納される。
【００６０】
なお、以上の処理において、画像の周辺部、特に１６×１６画素ぶんのＮＭＦ判定ブロック４２および係数テーブル６１を用いる場合、画像４辺の内側の１６画素については、適切な演算結果を得られない可能性がある。そこで、この部分についてはトリミング対象とし、実際には用いないようにするか、あるいは輝度データ４１ｎ、４１ｍ、４１ｆやＮＭＦ判定結果マップ４３の外側の領域に適当なダミーの輝度データやダミーの判定結果を配置することにより補正を行なうようにすればよい。
【００６１】
本実施形態によれば、Ｎ（近距離）、Ｍ（中距離）、Ｆ（遠距離）の各画像から画素単位の情報を抽出して合成することができる。その際、Ｎ（近距離）、Ｍ（中距離）、Ｆ（遠距離）の各画像の画素情報のうち適切な複数を用いて画像を合成を行なうようにしているので、高画質の画像を得ることができる。
【００６２】
本実施形態には、次のような顕著な特徴がある。
【００６３】
（１）複数画素からなるＮＭＦ判定ブロック４２によりＮＭＦ判定を行なうが、その結果をブロック単位の画像合成に作用させるのではなく画素単位の画像合成に作用させる。その際、ＮＭＦスコアという評価値を用いる。
【００６４】
（２）あるＮＭＦ判定ブロック４２の判定結果をある画素のＮＭＦスコアに作用させる場合、画素がそのブロックの周辺部にあるか、中心部にあるかに応じて異なる重みを定義した係数テーブル６１を用いて演算を行なう。
【００６５】
（３）ある画素につき得られたＮ、Ｍ、Ｆの各スコアの大小関係に応じてその画素のＮ、Ｍ、Ｆの画像情報（輝度情報）のうち必要なものを選択し、合成する。その際Ｎ、Ｍ、Ｆの画像情報のうち１つだけではなくＮ、Ｍ、Ｆの各スコアの大小関係に応じて複数を選択し、合成する。またその際の合成比率には、選択したＮ、Ｍ、またはＦスコアの大小比率を作用させる。
【００６６】
上記のうち、特徴（１）により、従来ブロック単位でしか行なえなかった画像合成を画素単位で行なえるようになり、精密な画像合成を行なえる。また、特徴（２）および（３）により画素の画面上の位置に応じて、適切にＮＭＦ判定結果を作用させることができ、遠景から近景にかけて視覚的に不連続かつ不自然な印象を与えることのない自然な合成画像を得ることができる。
【００６７】
なお、上記実施形態に示した構成の細部はあくまでも一例にすぎず、本発明の特徴を逸脱することなく当業者において適宜変更が可能であるのはいうまでもない。たとえば、図１に示したハードウェア構成は必ずしも一体型の撮影機器として構成されている必要はなく、カメラ部分と画像処理を行なうＰＣなどによる画像処理部のように別体で構成されていてもよい。図２に示したプログラムは、ハードディスクやＲＯＭ、ＭＯ、ＣＤ／ＤＶＤ−ＲＯＭのような任意の記憶媒体に格納して、他のハードウェアとともに、あるいは別途、あるいはネットワークを介して供給することができる。
【００６８】
さらに、以上に示したＮＭＦ判定ブロック４２、ＮＭＦ判定結果マップ４３および係数テーブル６１のサイズ、係数テーブル６１中のインクリメント値（重み値）の分布などは当業者に応じて任意に決定できる。特に、係数テーブル６１中のインクリメント値（重み値）の分布を適宜調整することにより、異なる画像合成特性を得られる。たとえば、係数テーブル６１は、その中心の数ドット（たとえば４〜８ドット程度）のみに非ゼロの重みを付与し、他のドットの重みは０とするような構成であってもよい。このような構成では、図１２に示したものよりもＮＭＦ判定ブロックの中心部にある注目画素の重要度を強調したことになり、そのＮＭＦ判定ブロックの判定結果をより強く中心部にある注目画素の合成に反映させることができる。
【００６９】
【発明の効果】
以上の説明から明らかなように、本発明によれば、被写界深度の異なる光学系を介して撮影された複数の画像データを合成し、所定の鮮明度の画像を得る際、複数の画像データ中の所定位置を占めるある画素の画像データの合成に際して、その画素をそれぞれ異なる位置に含む所定サイズの複数の画素ブロック全てについて、各画素ブロックごとに複数の画像データの鮮明度を評価し、複数の画素ブロック全てについて得られた評価結果を組み合せて前記画素に関する鮮明度の評価値を求め、この評価値に基づき画素の画像データの合成に複数の画像データのいずれを用いるかを決定する構成を採用しているので、精密な画像合成を行なえ、画素の画面上の位置に応じて、適切にＮＭＦ判定結果を作用させることができ、遠景から近景にかけて視覚的に不連続かつ不自然な印象を与えることのない自然な合成画像を得ることができる、という優れた効果が得られる。
【図面の簡単な説明】
【図１】本発明を採用した撮影装置の構成を示したブロック図である。
【図２】図１の装置の画像処理手順を示したフローチャート図である。
【図３】図１の装置で得られた近焦点（Ｎ）のＲＧＢ輝度データを示した説明図である。
【図４】図１の装置で得られた中焦点（Ｍ）のＲＧＢ輝度データを示した説明図である。
【図５】図１の装置で得られた遠焦点（Ｆ）のＲＧＢ輝度データを示した説明図である。
【図６】アフィン変換処理の概略を示した説明図である。
【図７】移動平均法による不要成分除去の概略を示した説明図である。
【図８】移動平均法による実際の画像処理を示した説明図である。
【図９】移動平均法により得られた出力波形を示した説明図である。
【図１０】ＮＭＦ判定ブロックの画像データに対するＮＭＦ判定処理を示した説明図である。
【図１１】本発明によるＮＭＦ判定処理、ＮＭＦスコア化処理、および画像合成処理を示した説明図である。
【図１２】本発明のＮＭＦスコア化処理で用いられる係数テーブルの構成を示した説明図である。
【図１３】ある注目画素Ｐに対する本発明のＮＭＦ判定ないし係数テーブルの作用を示した説明図である。
【符号の説明】
１１〜１３  ＣＣＤ
１４  ビデオＩ／Ｆ
３０  ＣＰＵ
３１  操作部
３２  プログラムメモリ
３３  ネットワークＩ／Ｆ
３５  メモリ
４１ｎ、４１ｍ、４１ｆ  輝度データ
４２  ＮＭＦ判定ブロック
４３  ＮＭＦ判定結果マップ
５１ｎ、５１ｍ、５１ｆ  ＮＭＦスコアテーブル
６１  係数テーブル
Ｍ１、Ｍ２  ハーフミラー
Ｍ３  ミラー
【図１】
0004095323.tif 000002
【図２】
0004095323.tif 000003
【図３】
0004095323.tif 000004
【図４】
0004095323.tif 000005
【図５】
0004095323.tif 000006
【図６】
0004095323.tif 000007
【図７】
0004095323.tif 000008
【図８】
0004095323.tif 000009
【図９】
0004095323.tif 000010
【図１０】
0004095323.tif 000011
【図１１】
0004095323.tif 000012
【図１２】
0004095323.tif 000013
【図１３】
0004095323.tif 000014