(57)【要約】【課題】異なる焦点距離の光学系からなる複眼光学群を有する撮像装置において、簡易な構成でモアレや偽色による画像の劣化を防ぎながらランダムノイズ低減効果を得る。【解決手段】画像処理装置は、少なくとも２つ以上の異なる焦点距離の光学系を有する多眼光学系で撮像された被写体の複数の画像を取得する画像取得手段と、複数の画像の合成画像を生成する画像合成手段と、複数の画像のうち、最も長い焦点距離の光学系で撮像された画像から被写体の空間周波数分布を生成する生成手段と、空間周波数分布を、短い他の焦点距離の光学系で撮像された画像に対応する空間周波数分布に換算する換算手段と、換算された空間周波数分布における空間周波数の分布情報を、換算された空間周波数分布に対応する画像の撮像の条件に基づいて決定される所定の空間周波数に従って取得する分布情報取得手段を備え、画像合成手段は、分布情報に従って複数の画像の合成を制御する。【選択図】図５
2016046765.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも２つ以上の複数の異なる焦点距離の光学系を有する多眼光学系で撮像された被写体の複数の画像を取得する画像取得手段と、
前記複数の画像を合成して合成画像を生成する画像合成手段と、
前記複数の画像のうち、前記異なる焦点距離のうち最も長い焦点距離の光学系で撮像された画像から前記被写体の空間周波数分布を生成する生成手段と、
前記空間周波数分布を、前記最も長い焦点距離より短い他の焦点距離の前記光学系で撮像された画像に対応する空間周波数分布に換算する換算手段と、
前記換算された空間周波数分布における空間周波数の分布情報を、前記換算された空間周波数分布に対応する画像の撮像の条件に基づいて決定される所定の空間周波数に従って取得する分布情報取得手段と、
を備え、
前記画像合成手段は、前記分布情報に従って前記複数の画像の合成を制御することを特徴とする画像処理装置。
【請求項２】
前記分布情報は、前記換算された空間周波数分布において前記所定の空間周波数を越える空間周波数の像があるかどうかについての情報であり、前記画像合成手段は、前記所定の空間周波数を越える空間周波数の像がある場合は、前記像を含む画像を前記合成画像の生成に使用しないことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像合成手段は、前記所定の空間周波数を越える空間周波数の像がある場合は、前記像を含む画像のうち、少なくとも前記所定の空間周波数より高い空間周波数の領域の画像を前記合成画像の生成に使用しないことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記所定の空間周波数は、前記画像を撮像した撮像手段の画素ピッチから決定されるナイキスト周波数であることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記画像合成手段は、取得した各画像の所定の領域の画像を合成し、前記生成手段は、前記最も長い焦点距離の光学系で撮像された画像の前記所定の領域の空間周波数分布を生成し、前記換算手段は、前記最も長い焦点距離の光学系で撮像された画像と他の焦点距離の光学系で撮像された画像の間の画角および焦点距離のいずれかの差に基づいて、前記最も長い焦点距離の光学系で撮像された画像から生成された空間周波数分布を換算することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
少なくとも２つ以上の複数の異なる焦点距離の光学系を有する多眼光学系で撮像された被写体の複数の画像を取得する画像取得手段と、前記複数の画像を合成して合成画像を生成する画像合成手段を有する画像処理装置の制御方法において、
前記複数の画像のうち、前記異なる焦点距離のうち最も長い焦点距離の光学系で撮像された画像から前記被写体の空間周波数分布を生成する生成工程と、
前記空間周波数分布を、前記最も長い焦点距離より短い他の焦点距離の前記光学系で撮像された画像に対応する空間周波数分布に換算する換算工程と、
前記換算された空間周波数分布における空間周波数の分布情報を、前記換算された空間周波数分布に対応する画像の撮像の条件に基づいて決定される所定の空間周波数に従って取得する分布情報取得工程と、
を備え、
前記画像合成手段による前記合成画像の生成は、前記分布情報に従って前記複数の画像の合成を制御する工程を含むことを特徴とする制御方法。
【請求項７】
画像処理装置を制御するためのプログラムであり、前記プログラムは、
コンピュータを、
少なくとも２つ以上の複数の異なる焦点距離の光学系を有する多眼光学系で撮像された被写体の複数の画像を取得する画像取得手段、
前記複数の画像を合成して合成画像を生成する画像合成手段、
前記複数の画像のうち、前記異なる焦点距離のうち最も長い焦点距離の光学系で撮像された画像から前記被写体の空間周波数分布を生成する生成手段、
前記空間周波数分布を、前記最も長い焦点距離より短い他の焦点距離の前記光学系で撮像された画像に対応する空間周波数分布に換算する換算手段、
前記換算された空間周波数分布における空間周波数の分布情報を、前記換算された空間周波数分布に対応する画像の撮像の条件に基づいて決定される所定の空間周波数に従って取得する分布情報取得手段、
として機能させ、
さらに、前記画像合成手段としての機能において、前記分布情報に従って前記複数の画像の合成を制御するよう機能させることを特徴とするプログラム。
【請求項８】
少なくとも２つ以上の複数の異なる焦点距離の光学系を有する多眼光学系と、
各光学系で形成された被写体像を撮像して被写体の複数の画像を生成する複数の撮像手段と、
請求項１から５のいずれか１項に記載の画像処理装置と、
を備えることを特徴とする撮像装置。
【請求項９】
光学ローパスフィルタをさらに備え、前記光学ローパスフィルタは、前記最も長い焦点距離の光学系に対してのみ配置されていることを特徴とする請求項８に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデジタルカメラ等の撮像装置に関し、特に複数の異なる焦点距離の光学系からなる複眼光学群で撮像した画像を合成する画像処理装置を適用可能な撮像装置に関する。
【背景技術】
【０００２】
近年、複数の撮像系で共通の被写体を撮像して取得したそれぞれの画像データをデジタル合成処理することで様々な画像の出力を行う撮像装置が提案されている。その中でも、画角の異なる短焦点レンズと長焦点レンズで被写体の同じ部分を含むように撮像する複眼撮像装置が特許文献１で提案されている。また、共通の被写体を複数枚撮像した画像を加算合成することで、十分な光量が得られない場合に画像に発生するランダムノイズの低減を図る手法が、天文写真の分野においてコンポジット撮影として知られている。同様に複数の画角の異なる短焦点レンズと長焦点レンズで同時に撮影された画像を加算合成することで、ランダムノイズを低減した画像の生成が可能である。また、複数の撮像系を用いて撮像及び画像合成をする際に、精細な画像を取得するために各撮像素子に光学ローパスフィルタを配置しない構成をとる複眼撮像装置が特許文献２で提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３０３６９４号公報
【特許文献２】特開２０１２−１３４８２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記先行例には次のような問題がある。即ち、画角の異なる短焦点レンズと長焦点レンズを用いて同一撮影対象の画像を複数枚撮像して合成することでノイズ低減を図る場合には、一部の画像にモアレや偽色が発生する場合がある。モアレや偽色は、撮像素子の画素サイズに比して空間周波数が高い領域が記録する画像に存在する、つまり細かすぎる周期的なパターンがある場合に、画素が周期パターンを捉えきれないため本来のパターンや色と異なる画像が記録されてしまう。上記構成における望遠の画像が取得できる長焦点レンズは短焦点レンズに比較して撮像対象が大きく見える。つまり長焦点レンズによる像の空間周波数は短焦点レンズのそれより低くなり、同じ撮影対象でも異なる焦点距離のレンズによる撮像画像では、空間周波数分布に差異が生じる。特許文献１のように合成に用いる異なる焦点距離のレンズにより撮像素子上に形成される像の空間周波数に差がある場合には、空間周波数の高い像を形成するレンズにおいてモアレや偽色が出現し易くなる。例えば、長い焦点距離、短い焦点距離の２つの焦点距離のレンズを用いた場合、撮影対象によっては、長い焦点距離のレンズに比して空間周波数の高い像を形成する短い焦点距離のレンズを用いて撮像された画像にのみにモアレや偽色が出現する状況がある。特に、特許文献２のように撮像素子にモアレや偽色防止のための光学ローパスフィルタを配置しない場合には、上記の状況に陥りやすい。このような場合、特許文献１及び特許文献２のように単純に画像全てを重ね合わせて画像合成をすると、ノイズレベルよりはるかに大きいレベルの偽のパターンや色が合成画像に含まれることになり、かえって画質が低下してしまう。
【０００５】
これらのモアレや偽色を防止するために、全ての撮像素子に光学ローパスフィルタを配置する構成が対策として考えられる。しかし、主として水晶板等で作られる前記フィルタは重く、高価であるため、撮像素子を複数含む装置である場合は、軽量化、コスト削減の観点から配置すること自体が難しい。
【０００６】
このような状況においては、複数の撮像系を用いて同時に撮影した画像を合成するに際に、モアレや色による影響を低コストで軽量な構成で除くことが可能な撮像装置が求められる。
【０００７】
上記課題に鑑み、本発明の目的は、複数の異なる焦点距離の光学系からなる複眼光学群を有する撮像装置において、モアレや偽色による画像の劣化を防ぎながら画像合成においてランダムノイズ低減の効果を得ることが可能な画像処理装置を提供することである。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明によれば、画像処理装置は、少なくとも２つ以上の複数の異なる焦点距離の光学系を有する多眼光学系で撮像された被写体の複数の画像を取得する画像取得手段と、複数の画像を合成して合成画像を生成する画像合成手段と、複数の画像のうち、異なる焦点距離のうち最も長い焦点距離の光学系で撮像された画像から被写体の空間周波数分布を生成する生成手段と、空間周波数分布を、最も長い焦点距離より短い他の焦点距離の光学系で撮像された画像に対応する空間周波数分布に換算する換算手段と、換算された空間周波数分布における空間周波数の分布情報を、換算された空間周波数分布に対応する画像の撮像の条件に基づいて決定される所定の空間周波数に従って取得する分布情報取得手段とを備え、画像合成手段は、分布情報に従って複数の画像の合成を制御する。
【発明の効果】
【０００９】
本発明の構成によれば、簡易かつ安価な構成でモアレや偽色による画像の劣化を防ぎながら画像合成におけるランダムノイズ低減効果を向上させることが可能な画像処理装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施例に係わる画像処理装置を適用する撮像装置の例としての多眼カメラとその光学群の概略図である。
【図２】図１の多眼カメラの構成を示すブロック図である。
【図３】図１の多眼カメラによる一回の撮像動作から得られる画像の例を示す図である。
【図４】本発明の第１の実施例に係わる画像処理装置における画像合成の処理動作の概念図である。
【図５】本発明の第１の実施例に係わる画像処理装置における画像合成処理動作のフローチャートを示す図である。
【図６】本発明の第１の実施例に係わる画像合成処理動作における空間周波数分布の測定動作の概念図である。
【図７】本発明の第１の実施例に係わる画像合成処理動作において得られる最長焦点距離画像の空間周波数分布の例を示す図である。
【図８】本発明の第１の施例に係わる画像合成処理動作において得られる空間周波数分布の他の例を示す図である。
【図９】本発明の第１実施例に係わる画像合成処理動作において得られる空間周波数分布の他の例を示す図である。
【図１０】本発明の第１の実施例に係わる画像処理装置を適用した撮像装置の例としての多眼カメラの変形例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１２】
［実施例１］
撮像装置の全体構成 
図１は、本実施例に係わる画像処理装置を適用する多眼光学系を含む撮像装置の例としての多眼デジタルカメラの外観を模式的に示す図である。同図（ａ）はカメラ１１を正面側から見た時の斜視図、同図（ｂ）はカメラ１１を背面側から見た時の斜視図、同図（ｃ）はカメラ１１の光学群１２が有する焦点距離の異なる光学系であるレンズの配置を模式的に示す図である。
【００１３】
図１（ａ）に示すように、カメラ１１の前面には複数のレンズを有する多眼光学群である光学群１２が配され、カメラ１１の上面には撮影の命令を行うレリーズ釦１６が配置される。
【００１４】
また、図１（ｂ）に示すように、カメラ１１の背面には撮影の設定や撮影後の画像を表示する画像表示手段である表示部１４と、撮影の設定や表示部１４に表示された画像を操作する画面操作部１７を有する。
【００１５】
図１（ｃ）に示すように、光学群１２は３ｘ３に配列された９個の焦点距離の異なるレンズを有しており、Ａ、Ｂ、Ｃの記号が同一のレンズは同じ焦点距離のレンズであることを示している。記号Ａのレンズ１２０は最も長い焦点距離を有し、記号Ｂのレンズ１２１〜１２４および記号Ｃのレンズ１３１〜１３４については、ＢのレンズよりＣのレンズの焦点距離がより短いとする。
【００１６】
図２は、図１に示す撮像装置である多眼デジタルカメラの構成を示すブロック図である。同図において、図１と同様の部分は同じ符号を付して示す。
【００１７】
図２において、カメラ１１のカメラシステムは、撮像系、画像処理系、記録再生系、制御系を有する。撮像系は、撮影光学系２３、撮像素子２６を含み、画像処理系は、画像処理部２２を含む。また、記録再生系は、メモリ部２３、表示部１４を含み、制御系は、カメラシステム制御部２１、操作検出部２５、およびレンズ駆動部２７を含む。レンズ駆動部２７は、フォーカスレンズ２４を駆動することができる。また、図２では撮像光学系２３として２３ａと２３ｂの２つしか図示していないが、図１（ｃ）の光学群１２で示したように９個の撮影光学系が存在し、撮影光学系ごとにそれぞれフォーカスレンズ２４と撮像素子２６を有する。
【００１８】
撮像系は、被写体像からの光を、撮影光学系２３を介して撮像素子２６の撮像面に結像する光学処理系である。撮像素子２６を露光することで得られた撮像信号に基づいてフォーカスレンズ２４を移動することで撮影光学系２３を適切に調整して撮像素子２６の近傍に被写体像を結像させる。なお、本実施例では撮像素子２６と撮影光学系２３の間にモアレや偽色を防止する光学ローパスフィルタは配置されていない。
【００１９】
画像生成手段である画像処理部２２は、内部にＡ／Ｄ変換器、ホワイトバランス回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像を生成することができる。メモリ部２３は実際の記録部に加えて記録に必要な処理回路を備えている。メモリ部２３は、記録部へ出力を行うとともに、表示部１４に出力する像を生成、保存する。また、メモリ部２３は、予め定められた記録方式を用いて画像、動画、音声データなどの圧縮し、例えばカメラ１１に装着されている不図示の記録媒体に記録する。
【００２０】
カメラシステム制御部２１は、撮像の際のタイミング信号などを生成して出力するとともに、不図示のメモリに格納された制御プログラムを実行する。これにより、外部操作に対応してカメラ１１の撮像系、画像処理系、記録再生系の各部を制御して本実施例に係わる画像処理装置の機能を含む種種の機能を実現する。例えば、図１（ａ）のレリーズ釦１６の押下を操作検出部２５が検出すると、撮像素子２６の駆動、画像処理部２２の動作、メモリ部２３の圧縮処理などを制御する。さらに表示部１４に画像や情報を表示するよう制御が行われる。また、カメラシステム制御部２１は本実施例に係わる画像処理装置による複数の焦点距離の画像を合成してランダムノイズを低減した新たな画像を生成する動作（詳細は後述する）を実現する。
【００２１】
制御系による光学系の調節動作について説明する。カメラシステム制御部２１には画像処理部２２が接続されており、撮像素子２６からの信号に基づいて適切な焦点位置を求める。カメラシステム制御部２１は焦点位置に従ってレンズ駆動部２７を制御し、それぞれの撮影光学系２３に含まれ焦点調節手段であるフォーカスレンズ２４を駆動してそれぞれの撮影光学系２３の焦点状態を調節する。このように、複数のフォーカスレンズ２４は、それぞれが対応する撮像素子２６に被写体像を適切に結像するように移動される。
【００２２】
画像合成によるノイズ低減処理
次に、本発明の第１の実施例に係わる画像処理装置によるノイズ低減処理について説明する。  
図３は、本発明の第１の実施例におけるカメラ１１により一回の撮像で得られる撮像画像の例を示す図である。最も焦点距離の長いレンズＡの光学系により形成された被写体像の撮像画像が同図（ａ）に示す画像であり、それより短い焦点距離のレンズＢ、Ｃの光学系による撮像画像が焦点距離の長さの順に同図（ｂ）及び（ｃ）に示す画像である。よって、最も焦点距離の短いレンズＣの光学系に形成された被写体像の撮像画像が図３（ｃ）に示す画像である。図３（ａ）〜（ｃ）に示す複数の異なる焦点距離の画像が、カメラ１１により一回のレリーズ動作で同時に撮像される。なお、本実施例では３つの異なる焦点距離の光学系を含む光学群として記述しているが、２つ以上の異なる焦点距離の複数の光学群であれば本発明は適用可能であり、その適用範囲内で任意の数の異なる焦点距離の光学系を用いてよい。上記撮像画像は、例えばカメラ１１に装着されている不図示のストレージに保存される。ストレージとしてはＳＤカードやＣＦカード等の記録媒体が例として挙げられるが、これに限定されるものではない。
【００２３】
低照度下における撮影時等では画像にショットノイズ等の種々の原因によるランダムノイズが目立つことがある。そのため、同一被写体を撮像した複数枚の画像を重ね合わせて合成画像を生成することでノイズを低減する手法が知られている。同一の被写体を撮影した複数の画像を合成することで、被写体の画像は積分されるが、同一箇所に発生する確率はごくわずかである各画像にランダムに含まれるノイズは、画像の合成において相殺されて、ノイズが抑制される。
【００２４】
本実施例では前記ストレージに保存された図３（ａ）〜（ｃ）に示す画像において、Ｐ１、Ｐ２、Ｐ３の点線領域で示した画像の共通部分を合成適用範囲として用いて、画像合成によるノイズ低減手法を実施する。しかしながら、以下に述べるように焦点距離の異なる光学系において同一の被写体を撮像した場合、被写体の空間周波数が各光学系における撮像素子上で異なるために画像合成の際にモアレや偽色の問題が生じる。
【００２５】
一般に、撮像素子においては画素ピッチから決定される固有のナイキスト周波数が決まっている。このナイキスト周波数の値を超える高い空間周波数の像、つまり画素ピッチに比して細かすぎるパターンの像を記録しようとすると、画素が被写体のパターンを捉えきれない。そのため、モアレや偽色といった、本来の画像のパターン及び色とは異なる偽のパターンや偽の色が画像に出現することが知られている。
【００２６】
ここで、本実施例の各光学系で用いられる撮像素子は大きさ、画素数が略同一のものである、つまり撮像条件としての画素ピッチとそこから決定されるナイキスト周波数が略同一のものを使用するとする。このとき、図３（ａ）〜（ｃ）の画像において、画角の違いから、最長焦点距離の光学系による同図（ａ）の画像が点線で示した合成適用範囲Ｐ１の領域を最も精細に写している。同図（ｂ）、（ｃ）の画像は第１の光学系より焦点距離の短い第２の光学系で得られた画像であり、図示しているように撮像素子の一部分が合成適用範囲領域Ｐ２，Ｐ３に含まれず、図３（ａ）に比して合成適用範囲の画素数が相対的に少なくなり、粗い画像となっている。その中でも、図３（ｃ）が最も広角となるため、最も粗い画像となる。このとき、モアレや偽色は最も精細に写る同図（ａ）の画像において最も出現しにくく、同図（ｂ）、（ｃ）の順に画像が粗くなるに従って出現し易くなる。
【００２７】
図３では、画像（ｃ）にのみ偽のパターンが出現する一例を示す。画像（ａ）、（ｂ）に写る人物の背広には画像右上から左下に走る斜線模様が入っているが、画像（ｃ）においては、撮像素子が背広の斜線模様を捉えきれずに、本来のパターンと異なる左上から右下に走る低周波の偽のパターンＭ１がぼんやりと走っている。この例のように、画像合成に用いる複数の画像の内、短い焦点距離の画像にモアレや偽色が出現することが可能性として考えられる。モアレや偽色が出現する画像を合成に使用した場合、ノイズレベルを大きく上回る偽のパターンや色が合成された画像に含まれ、かえって合成画像の画質を悪化させてしまうことが懸念される。なお、上記の偽のパターンであるモアレや偽色の出現形態は一例であり、被写体の形状、パターンの種類、撮影角度、撮影時の絞り等の条件によって種々の形態が出現する可能性があり、これに限られるものではない。本発明はこの問題を回避するため、以下に説明する画像の合成構成を有する画像処理装置を提供する。
【００２８】
図４は本発明の実施例における画像合成によるノイズ低減処理の概念を示す図である。図３で述べた各画像における同一の被写体を含む合成適用範囲領域Ｐ１〜Ｐ３を抽出し、最長焦点距離の光学系で得られた画像Ｐ１はそのまま合成に使用し、他の焦点距離の画像のＰ２，Ｐ３に対しては、合成に使用するか否かの判断をカメラシステム制御部２１が行う。その後、判断に従って画像を重ね合わせて合成し、ランダムノイズが低減された画像を生成する。
【００２９】
図５のフローチャートを用いて本実施例におけるカメラシステム制御部２１が行う前記判断処理を含めた一連の画像合成によるノイズ低減動作について説明する。図５は、本実施例に係わる画像処理装置における多眼デジタルカメラで得られた画像の合成処理動作のフローチャートを示す図である。本合成処理動作は、多眼デジタルカメラ１１の複数の焦点距離のレンズの光学系から得られた同一被写体を撮像した複数の画像が前記ストレージに記憶されていること（画像取得手段）を前提とする。この状態で画像合成処理動作が開始されると、まずステップＳ５０１において、前記ストレージに記憶された最も焦点距離が長い光学系で撮像された画像を読み込む。
【００３０】
次にステップＳ５０２において、ステップＳ５０１で読み込んだ画像データから合成適用範囲内の画像のパターンの細かさの分布である空間周波数分布を取得する。図６に、ステップＳ５０２での空間周波数分布ＳＦＤ１の取得の概念を示す。図３（ａ）に示す最長焦点距離の画像の合成適用範囲領域Ｐ１には、図６（ａ）に図示するように、説明の簡便化のため、主として２つのパターンの領域が見られるとする。１つはＫ０で示した、背景等における特定の周期構造を持たない領域であり、他の１つは、Ｋ１で示した背広の生地の周期パターンがある領域である。この画像の輝度データに対し、フーリエ変換を実施することで、図６（ｂ）に示す空間周波数分布を取得することができる。図６（ｂ）は、ｘ方向、ｙ方向の二方向における空間周波数νｘ、νｙの強度分布を表すグラフである。図６（ｂ）の空間周波数分布において、空間周波数νｘ、νｙが０となるグラフ中央部で山が一つ、中央から離れた箇所にそれとは異なる山が２つ見られる。中央部の山は図６（ａ）の画像における特定の周期構造を持たない、つまり空間周波数が０付近となる領域Ｋ０に対応し、それから離れた２つの山は背広の周期構造を持つ領域Ｋ１に対応し、背広の繊維の周期構造の空間周波数α分だけ中央部から離れている。説明の簡便化のため、これ以降は図６（ｂ）の空間周波数分布を図７に示すように、適当な１次元で代表して表現した分布を用いて説明を続ける。図７に示すように、本画像の空間周波数分布ＳＦＤ１は次の２つの特徴を有している。左端の山は、図６（ａ）の画像における特定の周期構造を持たない、つまり空間周波数が０付近となる領域Ｋ０を表す。また、それより右側の空間周波数が高い側にある山は、背広の周期構造を示す領域Ｋ１を表し、背広の生地の周期構造の空間周波数αの位置にある。
【００３１】
次にステップＳ５０３において、最も焦点距離の長い光学系から得られた撮像画像の空間周波数分布ＳＦＤ１を、既知の画角および焦点距離のいずれかの差を用いて他の焦点距離が短い光学系における空間周波数分布ＳＦＤiに換算する。空間周波数と焦点距離は反比例の関係にあるので、例えば、空間周波数分布ＳＦＤ１において空間周波数が５０本／ｍｍの領域は、焦点距離が最長焦点距離の１／２の光学系の撮像素子上おいては、２倍の１００本／ｍｍに換算される。図８及び図９は図７で示した最長焦点距離の光学系の画像における空間周波数分布ＳＦＤ１を換算して得られた、図３（ｂ）、（ｃ）の焦点距離の画像における合成適用範囲領域Ｐ２及びＰ３の空間周波数分布ＳＦＤ２、空間周波数分布ＳＦＤ３の一例である。図８及び図９のグラフの点線は元になった空間周波数分布ＳＦＤ１を示し、実線は換算された各焦点距離における空間周波数分布ＳＦＤ２、３を示す。
【００３２】
次にステップＳ５０４では、ステップＳ５０３において空間周波数分布ＳＦＤ１から換算された空間周波数分布ＳＦＤiに、対応する光学系における撮像素子の画素ピッチから決まるナイキスト周波数である所定の周波数を超える空間周波数の領域に像があるかどうかを判断する。図７、図８及び図９には一点鎖線によって各焦点距離の光学系の撮像素子における既知のナイキスト周波数Ｎ１，Ｎ２，Ｎ３を示している。各々の撮像素子は画素ピッチが略同一である、つまりＮ１，Ｎ２，Ｎ３が略同一であるとして示してある。本実施例では、図示されたナイキスト周波数を示す一点鎖線より右側、つまりナイキスト周波数を超える領域においてノイズレベルを超える強度の分布が見られる場合にモアレや偽色が発生すると判断する。カメラシステム制御部２１は、換算された空間周波数分布ＳＦＤiにおいて、ナイキスト周波数を超える空間周波数の領域に像があるかどうかの空間周波数の分布情報を取得し、この情報に従って処理の分岐を行う。
【００３３】
図８において、実線で示される空間周波数分布ＳＦＤ２には、この焦点距離の光学系における撮像素子のナイキスト周波数Ｎ２を超える強い分布は見られない。つまり、図３（ｂ）の画像のようにモアレや偽色は発生しないと判断する。同様に、図９に実線で示される空間周波数分布ＳＦＤ３では、この焦点距離の光学系における撮像素子のナイキスト周波数Ｎ３より右側、つまりＮ３を超える領域に、換算後の背広の周期パターンＫ３の山が現れている。このような場合には図３（ｃ）のように、モアレや偽色が発生すると判断される。ステップＳ５０４の分布情報取得でモアレや偽色が発生すると判断された場合にはステップＳ５０８に、そうでない場合にはステップＳ５０５に進む。
【００３４】
モアレや偽色が発生しないと判断された場合は、ステップＳ５０５で、画像の合成に使用する領域をそのまま前記カメラ１１のメモリ部１３に記憶して、ステップＳ５０６に移る。
【００３５】
一方、モアレや偽色が発生すると判断された場合は、ステップＳ５０８で該当画像を合成に使用する画像に含めず、ステップＳ５０６に移る。なお、画像全体を合成対象に含めないのではなく、少なくとも空間周波数が撮像素子のナイキスト周波数を超えている画像領域のみを合成対象に含めないようにする処理構成にしてもよい。この場合は、残りの領域をメモリ部１３に記憶するよう処理動作を行う。
【００３６】
ステップＳ５０６では、最長焦点距離の光学系を除く全ての焦点距離の光学系において得られた画像に対して、上記換算処理および判断処理が行われたかを判断する。全て行われたと判断された場合にはステップＳ５０７に進み、そうでない場合は、ステップＳ５０３に戻り、未処理の光学系の画像の処理動作を繰り返す。
【００３７】
ステップＳ５０７では、前記カメラ１１のメモリ部１３に記憶された全ての合成用画像を読み出して、それらを合成することにより、ノイズが低減された新画像を作成して記憶することで本合成処理動作を終了する。
【００３８】
このように、本実施例に係わる画像処理動作は、合成使用領域に関して最も精細で情報量が多く、モアレや偽色の出にくい最長焦点距離の光学系で得られる画像データから、他の焦点距離の光学系における被写体の空間周波数分布を推測する。そして、既知のナイキスト周波数と推測された空間周波数分布を比較して空間周波数の分布情報を取得することでモアレや偽色発現の有無を推測する。また、前述したように、本実施例では撮像素子の前に光学ローパスフィルタは配置されておらず、最長焦点距離の画像データにも原理的にはモアレや偽色が出現する可能性はある。しかし、近年の撮像素子の高画素化による画素ピッチの狭小化の効果もあり、最もモアレや偽色の出にくい最長焦点距離の光学系に限定すれば、実用上ほぼ出現しないと考えられる。以上より、全ての撮像素子に光学ローパスフィルタを配置することなく、簡易な構成でモアレや偽色が含まれるデータを除くことが可能となる。
【００３９】
以上説明したように、本発明においては焦点距離が異なる複数の光学系により撮像された複数の画像を合成してノイズ低減を図る際に、モアレや偽色が出現するか否かを検出可能な処理動作を組み込んでいる。これにより、出現する場合は少なくとも出現する領域を使用せずに合成を実施する。これにより、簡易な構成で合成後の画像にランダムノイズを大きく超えるモアレや偽色の影響が表れることを防止し、ノイズ低減効果を向上させることができる。
【００４０】
［実施例１の変形例］
第１の実施例では光学ローパスフィルタを除いたカメラ１１の構成例を示したが、撮像素子２６の前にモアレや偽色を防止する光学ローパスフィルタを配置してもよい。その場合の多眼カメラの実施例を、第１の実施例の変形例として図１０に示す。なお、画像処理装置の構成は第１の実施例と同様であり、図５に示すフローチャートに従って画像合成処理動作を行なって画像合成によるノイズ低減を可能にする。
【００４１】
撮像素子２６の前にモアレや偽色を防止する光学ローパスフィルタを配置する場合、後述するように、最も焦点距離の長いレンズの第１の光学系にのみ配置することが好ましい。図１０は、光学ローパスフィルタを配置した場合の撮像装置である多眼デジタルカメラ１００の構成を示すブロック図である。同図において図２と同様の部分は同じ符号を付して示し、特に必要がない限り説明は省略する。
【００４２】
同図において、最も焦点距離の長い光学系を２３ｂとした場合に、光学系２３ｂに含まれる撮像素子６ｂの直前にのみ光学ローパスフィルタ１１８を配置し、光学系２３ａのように光学系を２３ｂより短い焦点距離の光学系には光学ローパスフィルタを配置しない。なお、光学ローパスフィルタ１１８は水晶複屈折板及び位相調整板を複数枚張り合わせた構造が例として挙げられる。しかし、それに限定されるものではなく、他の材質、構造のものを適用してもよい。
【００４３】
第１の実施例で説明したように、本発明に係わる画像処理装置においては、最も焦点距離の長い光学系により撮像された画像を用いて他の焦点距離の光学系により撮像された画像のモアレや偽色が合成画像に混入するのを防止する。従って、本変形例にように、最も焦点距離の長い光学系にのみに光学ローパスフィルタを配置して、その光学系の画像におけるモアレや偽色を防止すれば十分である。それより短い焦点距離の光学系による画像のモアレや偽色に関しては、最長焦点距離の画像の空間周波数分布から換算された空間周波数分布においてモアレや偽色が発生しているかどうかの判断を行う。即ち、第１の実施例と同様に、変換された空間周波数分布においてナイキスト周波数を超える分布が見られる場合には、その光学系の画像にモアレや偽色が発生していると判断して、合成の際に除外する。これにより、合成用に使用する複数の画像にはモアレや偽色を内包する画像が含まれないので、重く、コストの高い光学ローパスフィルタを全ての撮像素子に配置することなく、軽量で安価な構成でノイズ低減効果を向上させることができる。また、最長焦点距離の画像にモアレや偽色が出現する可能性も抑えることができるので、画像合成におけるノイズ低減効果をより高めることが可能となる。
【００４４】
上述した本発明によれば、簡易かつ安価な構成でモアレや偽色による画像の劣化を防ぎながら画像合成におけるランダムノイズ低減効果を向上させることが可能な画像処理装置を提供することができる。なお、上述の実施例およびその変形例では、本発明の画像処理装置を多眼デジタルカメラに適用した例を示したが、これに限るものではない。複数の異なる焦点距離の光学系で撮像した複数の画像が提供される環境下であれば、例えばＰＣなどの情報処理装置に対しても適用可能である。
【００４５】
また、上述した実施の形態の処理は、各機能を具現化したソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に提供してもよい。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって、前述した実施形態の機能を実現することができる。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリーカード、ＲＯＭなどを用いることもできる。
【００４６】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した各実施例の機能が実現される場合も含まれている。
【００４７】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含むものである。
【００４８】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【図１】
2016046765.tif 000003
【図２】
2016046765.tif 000004
【図３】
2016046765.tif 000005
【図４】
2016046765.tif 000006
【図５】
2016046765.tif 000007
【図６】
2016046765.tif 000008
【図７】
2016046765.tif 000009
【図８】
2016046765.tif 000010
【図９】
2016046765.tif 000011
【図１０】
2016046765.tif 000012