(57)【要約】【課題】不具合のあるカメラを使用しない場合、正常として合成することで生じるボケは防げても、使用するカメラの数が少なくなるので正常な状態で合成した場合に対して、Ｓ／Ｎが悪化してしまう。【解決手段】複数の視点からから得られる画像が補正対象か否かを特定し、特定された画像を、前記特定された画像と前記特定された画像を得る際の視点以外の視点で得られた画像とに基づいて補正する。【選択図】図６
2013157713.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点から撮像することにより得られる入力画像データを合成する画像処理装置であって、
前記入力画像データにおける前記各視点から得られる画像が補正対象か否かを特定する特定手段と、
前記特定された画像を、前記特定された画像と前記特定された画像を得る際の視点以外の視点で得られた画像とに基づいて補正する補正手段と、
前記特定手段により特定されなかった画像と、前記補正手段により補正された画像とを合成する合成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記特定手段は、当該視点から得られる画像が補正対象か否かを、前記視点からの撮像に用いられる撮像部の特性に基づいて特定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正手段は、前記特定手段で特定された画像の低周波成分を利用して当該特定された画像を補正することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記補正手段は、前記特定手段で特定された画像を得る際の視点以外の視点で得られた画像の高周波成分を利用して、前記特定手段で特定された画像を補正することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
前記補正手段は、前記特定された画像の周囲の画像を、前記特定された画像を得る際の視点以外の視点で得られた画像として用いることを特徴とする請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
複数の視点から撮像することにより得られる入力画像データを合成する画像処理方法であって、
前記入力画像データにおける前記各視点から得られる画像が補正対象か否かを特定する特定ステップと、
前記特定された画像を、前記特定された画像と前記特定された画像を得る際の視点以外の視点で得られた画像とに基づいて補正する補正ステップと、
前記特定ステップにより特定されなかった画像と、前記補正ステップにより補正された画像とを合成する合成ステップと、
を有することを特徴とする画像処理方法。
【請求項７】
コンピュータを請求項１〜６のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体のライトフィールドを用いて画像処理を行うための画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
一般的なカメラでは、撮像する際に予めフォーカス機構を駆動させ、ピント調整を行い撮像する。この場合、他の部分にピントを合わせたい場合や、間違った場所にピントが合ってしまった場合や、被写界深度を変更したい場合などは再度撮像する必要がある。
【０００３】
そこで、近年、従来のカメラに光学部材を追加することで、被写体のより多くの光情報を取得し、画像処理によって、最終的な結像画像を生成するＣｏｍｐｕｔａｔｉｏｎａｌ  Ｉｍａｇｉｎｇ技術が注目されている。例えば、複数のカメラによって、多視点からの画像を取得する多眼カメラや、レンズが結像する手前にマイクロレンズアレイを配置することで、結像前の光学情報を取得するＰｌｅｎｏｐｔｉｃカメラなどがある。この技術では、被写体の光空間情報（ライトフィールド）を記録するため、撮像後の画像処理によって任意の被写体位置にピントを合わせる（リフォーカス）処理や被写界深度の変更が可能となる。
【０００４】
しかし、この技術では、複数のカメラやマイクロレンズを用いるため、各カメラやマイクロレンズの個体差の影響を受ける。例えば、複数のカメラによる多眼カメラの場合、各カメラの焦点距離やピント位置などの撮像条件ばらつきが生じる。また、Ｐｌｅｎｏｐｔｉｃカメラにおいても、各マイクロレンズの個体差によって、焦点距離やピント位置などが異なる。その結果、各カメラや各マイクロレンズによる取得画像を同一条件で撮像されたものとして合成してしまうと、ボケやＳ／Ｎの悪化を引き起こす。そこで、複数のカメラのうち、ピント位置や焦点距離などが異なるカメラについては、使用しないことで精度悪化を防ぐ技術がある（例えば、特許文献１、および特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−０８９０８２号公報
【特許文献２】特開２００５−３４８３１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来技術のように不具合のあるカメラを使用しない場合、正常として合成することで生じるボケは防げても、使用するカメラの数が少なくなるので正常な状態で合成した場合に対して、Ｓ／Ｎが悪化してしまう。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、複数の視点から撮像することにより得られる入力画像データを合成する画像処理装置であって、前記入力画像データにおける前記各視点から得られる画像が補正対象か否かを特定する特定手段と、前記特定された画像を、前記特定された画像と前記特定された画像を得る際の視点以外の視点で得られた画像とに基づいて補正する補正手段と、前記特定手段により特定されなかった画像と、前記補正手段により補正された画像とを合成する合成手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明は、不具合のある画像情報についても、可能な限り流用することで、合成時のボケの低減およびＳ／Ｎの向上を行うことが可能となる。
【図面の簡単な説明】
【０００９】
【図１】実施例１における画像処理装置の一例を示した図である。
【図２】実施例１における画像処理装置の内部構成を示した図である。
【図３】実施例１における撮像部の内部構成を示した図である。
【図４】実施例１における全体処理のフローチャートである。
【図５】実施例１におけるユーザインタフェースの一例を示した図である。
【図６】実施例１におけるリフォーカス処理部の内部構成を示した図である。
【図７】実施例１におけるマイクロレンズ画像補正部の処理のフローチャートである。
【図８】実施例１におけるマイクロレンズ特性データの一例を示した図である。
【図９】実施例１におけるマイクロレンズ画像補正部の処理のフローチャートである。
【図１０】実施例１におけるマイクロレンズ画像補正処理を説明するための図である。
【図１１】実施例１におけるリフォーカス処理を説明するための図である。
【図１２】実施例２における画像処理装置の内部構成を示した図である。
【図１３】実施例２におけるユーザインタフェースの一例を示した図である。
【図１４】実施例２における全体処理のフローチャートである。
【図１５】実施例３における画像処理装置の一例を示した図である
【発明を実施するための形態】
【００１０】
［実施例１］
図１は本実施例における画像処理装置の一例を示した図である。図１（ａ）は撮像部側の正面図を示し、図１（ｂ）は背面図を示す。画像処理装置１０１の筺体は、レンズなどを含む撮像部１０２を備える。また、画像処理装置１０１の撮像動作を開始するためのシャッターボタン１０３、および、画像処理装置１０１を操作するための操作ボタン１０４を備える。さらに、画像処理装置１０１は、撮像画像やグラフィックユーザーインタフェースを表示するための表示部１０５を備える。また、画像処理装置１０１は、タッチスクリーン機能を有していてもよく、その場合は、表示部１０５上におけるユーザ指示を入力として扱うことも可能である。
【００１１】
図２は、本実施例における画像処理装置１０１の内部構成を示すブロック図である。撮像部１０２は、被写体の光情報を集光し、電気信号に変換する。Ａ／Ｄ変換部２０１では、撮像部１０２にて変換された電気信号をＲＡＷ画像データに変換する。リフォーカス処理部２０２では、Ａ／Ｄ変換部２０１にて変換された被写体のＲＡＷ画像データからリフォーカス画像を生成する。尚、リフォーカス処理部２０２にて行う画像処理の詳細については後述する。メディアＩ／Ｆ２０３は、ＰＣ／メディア２０４（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカード、ＵＳＢメモリなど）につなぐためのインタフェースである。リフォーカス処理部２０２にて生成された画像データは、表示部１０５に表示されたり、メディアＩ／Ｆ２０３を介して、ＰＣ／メディア２０４に記憶されたりする。キャラクタージェネレーション部２０５は、文字やグラフィックなどを生成し、表示部１０５に表示する。ＣＰＵ２０６は、各構成の処理全てに関わり、ＲＯＭ２０７やＲＡＭ２０８に格納された命令を順に読み込み、解釈し、その結果に従って処理を実行する。ＲＯＭ２０７には、画像処理装置１０１を動作させるための命令のほかに、各処理ブロックで用いられるパラメータ等のデータも格納されている。撮像制御部２０９は、撮像部１０２に対して、フォーカスを合わせる、絞りを調整する、シャッターを開く・閉じるなどのＣＰＵ２０６から指示された制御を行う。制御部２１０は、シャッターボタン１０３や操作ボタン１０４からのユーザ指示によって、全体処理の開始及び終了の制御を行う。マイクロレンズ特性記憶部２１１は、後述するマイクロレンズの特性を記憶する。システムバス２１２は、指示データや画像データなどの転送を行う。
【００１２】
図３は、画像処理装置１０１における撮像部１０２の内部構成を示すブロック図である。図３（ａ）は撮像部１０２の内部構成を示している。撮像部１０２はズームレンズ、フォーカスレンズ、ブレ補正レンズなどの主レンズ群３０１、絞り３０２、シャッター３０３、マイクロレンズアレイ３０４、赤外カットフィルタ３０５、光学ローパスフィルタ３０６、カラーフィルタ３０７などを有する。撮像部１０２はさらに、ＣＭＯＳやＣＣＤの撮像センサ３０８から構成され、被写体の光量を電気信号に変換する。また、図３（ｂ）はマイクロレンズアレイ３０４を含む模式図である。マイクロレンズアレイは、撮像センサ３０８の複数画素を覆うように構成されており、ｍ×ｎ個からなる。本実施例では、マイクロレンズアレイのｉ行ｊ列番目のマイクロレンズをＭ（ｉ，ｊ）と呼ぶことにする。また、図３（ｂ）のような格子状に並んで構成された例を示したが、これに限定されるものではなく複数画素を覆うように構成されたマイクロレンズが撮像センサ上に構成される形状であればこれに限定されるものではない。さらに、本実施例におけるマイクロレンズ特性はマイクロレンズアレイに入射した像を本来結像する撮像センサの手前で縮小結像することで、Ｌｉｇｈｔ  Ｆｉｅｌｄデータを取得するものである。
【００１３】
＜全体処理＞
図４は本実施例における画像処理装置１０１の処理フローチャートである。まず、ステップＳ４０１では、主レンズのピント位置と絞り値を設定する。ここで、図５は、ステップＳ４０１におけるピント位置と絞り位置を設定する際のユーザインタフェースの一例を示す。ユーザは表示部１０５に表示されたスライダバー５０２を用いて、絞り値（又は被写界深度）を操作ボタン１０４によって設定する。さらに、ピント位置５０１を操作ボタン１０４によって設定する。ここで、操作の一例として操作ボタン１０４を用いて操作するとしたが、表示部１０５がタッチパネル式の場合、表示部１０５を直接操作するとしても構わない。次に、ステップＳ４０２では、シャッターボタン１０３が押されたかどうかを判定する。押された場合にはステップＳ４０３に進み、押されていない場合には、ステップＳ４０１に戻り、シャッターボタン１０３が押されるまで待機する。ステップＳ４０３では、画像処理装置１０１を動作させ、撮像を行う。この動作により、ＲＡＷ画像データを取得する。ステップＳ４０４では、ステップＳ４０３にて取得したＲＡＷ画像データに対して、リフォーカス処理を行う（詳細は後述する）。ステップＳ４０５では、ステップＳ４０４にて、処理したリフォーカス画像を表示部１０５に表示する。最後にステップＳ４０６では、ステップＳ４０５にて処理したリフォーカス画像をＰＣ／メディア２０４に記憶する。
【００１４】
＜リフォーカス処理＞
図６は画像処理装置１０１のリフォーカス処理部２０２の内部処理ブロック図である。現像処理部６０１では、Ａ／Ｄ変換部２０１にて変換したＲＡＷ画像データを入力画像データとして用いて、現像処理を行う。マイクロレンズ特性判定部６０２では、主レンズのピント位置および絞り値に応じて、マイクロレンズ特性記憶部２１１に格納されているマイクロレンズアレイ３０４の特性データを用いて、処理の判定を行う。詳細については後述する。マイクロレンズ画像補正部６０３では、現像処理部６０１にて処理した現像画像データと、マイクロレンズ特性判定部６０２の判定結果と、主レンズのピント位置及び絞り値に応じたマイクロレンズ特性とを用いて、画像データの補正処理を行う。画像合成部６０４では、マイクロレンズ画像補正部６０３にて補正した画像データと、ユーザによって設定されたリフォーカス用のピント位置及び絞り値とを用いて、合成処理を行う。ガンマ処理部６０５では、画像合成部６０４にて合成した画像データに対して、ガンマ処理を行う。このようなリフォーカス処理部２０２によるリフォーカス処理の結果、合成画像データがリフォーカス処理部２０２から出力される。
【００１５】
図７は、ステップＳ４０４のリフォーカス処理のフローチャートである。まず、ステップＳ７０１では、撮像したＲＡＷ画像データを入力する。ステップＳ７０２では、現像処理部６０１にて、ホワイトバランス、デモザイキング、ノイズリダクション、シャープネスなどの処理を行う。ステップＳ７０３では、主レンズのピント位置および絞り値に応じてマイクロレンズ特性記憶部２１１に記憶しているマイクロレンズ特性を入力する。図８に本実施例において、マイクロレンズ特性として用いるＭＴＦ（Modulation Transfer Function）の例を示す。用いるデータとしては、設計値としてのマイクロレンズのＭＴＦの特性のほか、実際の各マイクロレンズのＭＴＦとする。尚、実際のＭＴＦは予め計測されているものとする。図８（ａ）はマイクロレンズ特性の例をテーブルの形で示したものである。図８（ｂ）は、図８（ａ）のデータをグラフの形で示したものである。なお、図８（ａ）の例では、ＭＴＦ設定値として、全てのＭＴＦに共通の値が１つ格納されているが、各ＭＴＦごとにＭＴＦ設定値を設けても良い。また、ＭＴＦはマイクロレンズ特性を示す一例であり、他の特性データを用いることも可能である。
【００１６】
ステップＳ７０４では探索マイクロレンズ位置を初期化する。探索マイクロレンズとは、以下で説明する補正処理の対象となり得るマイクロレンズのことである。ステップＳ７０５では探索マイクロレンズのマイクロレンズ画像が補正対象かどうかをＳ７０３で入力したマイクロレンズ特性に基づいて判定する(詳細は後述する)。補正対象の場合には、ステップＳ７０６に進み、補正対象ではない場合には、ステップＳ７０７に進む。ステップＳ７０６では、当該マイクロレンズの補正を行う（詳細は後述する）。ステップＳ７０７では、すべてのマイクロレンズに対して処理を行ったかどうかを判定する。すべてのマイクロレンズに対して処理を行った場合には、ステップＳ７０９に進み、そうでない場合にはステップＳ７０８に進む。ステップＳ７０８では、探索マイクロレンズ位置を更新する。ステップＳ７０９では、各マイクロレンズ画像データと、リフォーカス用のピント位置および絞り値とを用いて合成処理を行い、リフォーカス画像データを生成する（詳細は後述する）。ステップＳ７１０ではガンマ処理を行う。ステップＳ７１１では、リフォーカス画像データを出力する。
【００１７】
＜補正対象の判定＞
ステップＳ７０５におけるマイクロレンズの補正対象かどうかの判定について説明する。実際にセンサ上に構成されるマイクロレンズアレイの各マイクロレンズは、製造時ばらつきや取り付け誤差、経時変化などによって、設計時の特性とは異なる場合がある。本処理では、本来の特性とは大きく異なる場合に補正対象として判定するものである。具体的には、主レンズのピント位置および絞り値に応じて、マイクロレンズ特性記憶部２１１に記憶しているマイクロレンズの設計値のＭＴＦと、実際のマイクロレンズのＭＴＦとを比較することで判定する。例えば、式１によって、設計値のＭＴＦと処理位置のマイクロレンズのＭＴＦの面積の比ｆを算出する。
【００１８】
【数１】
2013157713.tif 000003
【００１９】
この時、ｆの値がある閾値よりも小さい場合には、例えば、ｆ＜０．５の場合に補正対象として判定する。しかし、これに限定されないのは言うまでもない。例えば、特定の周波数において、設計値のＭＴＦと探索マイクロレンズのＭＴＦを比較してもかまわない。なお、ＭＴＦは主レンズのピント位置及び絞り値に応じて変化する場合があり得る。
【００２０】
＜マイクロレンズ画像の補正＞
ステップＳ７０６のマイクロレンズ補正処理について説明する。図９はマイクロレンズ画像補正部６０３の処理の流れを示すフローチャートである。以下では、Ｓ７０５で補正対象と判定された探索マイクロレンズを補正処理対象の処理マイクロレンズと称して説明する。まず、ステップＳ９０１では、処理マイクロレンズのマイクロレンズ画像データと、周囲のマイクロレンズのマイクロレンズ画像データを入力する。本実施例では、処理マイクロレンズに隣り合う周囲の８個のマイクロレンズ画像データを入力する。しかし、これに限定されないのは言うまでもなく、入力するマイクロレンズの範囲としては、任意の範囲で良く、例えば、上下左右の4個でも構わない。ステップＳ９０２では、処理画素位置の各マイクロレンズのＭＴＦを入力する。すなわち、処理マイクロレンズのＭＴＦと周囲のマイクロレンズのＭＴＦとを入力する。ステップＳ９０３では、ステップＳ９０１にて入力した周囲のマイクロレンズ画像に対して、ステップＳ９０２にて入力したマイクロレンズの周波数特性を用いて、式２のようにして周囲のマイクロレンズ画像の高周波成分を抽出する。
【００２１】
【数２】
2013157713.tif 000004
【００２２】
ここで、Ｍi,j(x,y)はi行j列のマイクロレンズ画像、Ｍ’i,j(x,y)はi行j列のマイクロレンズ画像の高周波成分、MTFi,j(u)はi行j列のマイクロレンズのＭＴＦ、
【００２３】
【数３】
2013157713.tif 000005
【００２４】
はフーリエ逆変換、*は畳みこみ積分である。ステップＳ８０４では、ステップＳ８０３で算出した周囲のマイクロレンズ画像の高周波成分を用いて、処理位置のマイクロレンズ画像の高周波成分を推定する。図１０は、処理位置のマイクロレンズの高周波成分の推定方法の一例を模式的に示している。簡単のため処理位置の左右のマイクロレンズを用いて推定する。各マイクロレンズ画像にある同一被写体について、それぞれ画素位置をｘ１，ｘ３とし、各マイクロレンズの間隔をＤ、焦点距離をｆとすると、被写体までの距離Ｌは、式３で算出できる。
【００２５】
【数４】
2013157713.tif 000006
【００２６】
さらに、処理位置のマイクロレンズの画素位置ｘ２は式４によって算出することができる。
【００２７】
【数５】
2013157713.tif 000007
【００２８】
ここで、ｘ２の画素は、ｘ１の画素を奥行き情報に基づくシフト量で移動させることで算出できる。すなわち、被写体の奥行きに基づいて決定される各画素のシフト量を用いて、周囲のマイクロレンズ画像を移動させることで処理位置のマイクロレンズ画像の画素を推定することができる。
【００２９】
本実施例では、周囲のマイクロレンズ画像を移動させて算出したマイクロレンズ画像の平均値を処理位置のマイクロレンズ画像の高周波成分Ｍ’’i,j(x,y)とする。
【００３０】
最後に、ステップＳ８０５では、ステップＳ８０６で算出した処理位置のマイクロレンズ画像の高周波成分Ｍ’’i,j(x,y)と処理位置のマイクロレンズ画像Ｍi,j(x,y)とを式５のように合成する。このように合成することで、処理位置のマイクロレンズ画像Ｍ’’’i,j(x,y)を補正する。
【００３１】
【数６】
2013157713.tif 000008
【００３２】
このように、補正処理においては、処理マイクロレンズ画像を、その処理マイクロレンズ画像とその処理マイクロレンズ画像を得る際の視点以外の視点で得られた画像とに基づいて補正することが行われる。
【００３３】
＜合成処理＞
図７のステップＳ７０９の合成処理について詳細に説明する。合成処理は、リフォーカスしたいピント面を設定することで、マイクロレンズ画像の拡大率を算出し、各マイクロレンズ画像を拡大しながら、重ね合わせることで行う。
【００３４】
図１１は、合成処理の概要を説明する図である。主レンズの焦点距離をｆ、主レンズからリフォーカス面までの物体側距離をｓとすると仮想センサ面までのレンズ側距離ｓ‘は式６で表すことができる。
【００３５】
【数７】
2013157713.tif 000009
【００３６】
また、主レンズからマイクロレンズアレイまでの距離をＭ、マイクロレンズアレイと仮想ピント面とを設定したときに結像される位置（空中像面）までの距離をσ、マイクロレンズアレイから撮像センサまでの距離をσ‘とする。すると、マイクロレンズ画像の拡大率Ｋは式７で算出することができる。
【００３７】
【数８】
2013157713.tif 000010
【００３８】
最終的な合成画像は、マイクロレンズ画像Ｍi,j(x,y)と拡大率ｋとを用いて、式８のように表わすことができる。ここで、Ｋは画像をｋ倍に拡大処理するオペレーションである。
【００３９】
【数９】
2013157713.tif 000011
【００４０】
以上説明した処理制御を行うことで、マイクロレンズアレイの各マイクロレンズに焦点距離やピント位置などの違いがあったとしても、周囲のマイクロレンズから補正を行うことで、ボケの改善およびＳ／Ｎの向上を行うことが可能となる。本実施例においては、補正が必要なマイクロレンズに対して、自身のマイクロレンズ画像の成分と、周囲のマイクロレンズ画像の成分とを合成して補正を行っている。すなわち、一部劣化が生じ得る自身のマイクロレンズ画像についても合成処理で使用することによって、よりボケの改善およびＳ／Ｎの向上を行うことが可能となる。例えば、十分な高周波成分が得られないマイクレンズ画像であっても、低周波成分については合成処理として利用することができる。そこで、不足している高周波成分については周囲のマイクロレンズ画像を用い、低周波成分については自身の画像の成分を用いて合成することで、ボケの改善およびＳ／Ｎの向上を行うことができる。
【００４１】
［実施例２］
実施例１では、マイクロレンズアレイを持つ画像処理装置の場合の各マイクロレンズ補正方法について説明した。本実施例においては、すでに画像処理装置１０１を用いて取得したＲＡＷ画像データを入力として、動作する画像処理装置について説明する。
【００４２】
図１２は、本実施例２における画像処理装置１２０１のシステムブロック図である。各構成のうち実施例１の図２と等しいものについては説明を省略する。ＵＩ部１２０２は画像処理装置１２０１を操作するためのユーザインタフェースであり、画像の入出力やパラメータの設定および処理の開始をユーザが操作する。操作部１２０３はユーザが画像処理装置１２０１を操作するためのキーボードやマウスポインタである。ディスプレイ１２０４は、ＵＩ部１２０２を表示する。
【００４３】
図１３は、ディスプレイ１２０４に表示されるＵＩ部１２０２の一例を示す図である。ＵＩ部１２０２には、画像読込ボタン１３０１、マイクロレンズ（ＭＬ）特性読込ボタン１３０２、変換処理実行ボタン１３０３、画像書き込みボタン１３０４、ピント位置の指示ポインタ１３０５、絞り値の設定バー１３０６が表示される。
【００４４】
＜全体処理の流れ＞
図１４は本実施例２の処理のフローチャートである。まず、ステップＳ１４０１では、画像読込ボタン１３０１をユーザが押し、ＲＡＷ画像ファイルを指定することでＲＡＷ画像データを読み込む。ステップＳ１４０２では、ＭＬ特性読込ボタンをユーザが押し、ＭＬ特性ファイルを指定することでＭＬ特性データを読み込む。ステップＳ１４０３ではピント位置の指示ポインタ１３０５および絞り値の設定バー１３０６をユーザが操作することで、リフォーカス用のピント位置と絞り値をセットする。ステップＳ１４０４では、変換処理実行ボタン１３０３をユーザが押すことでリフォーカス処理を実行する。ステップＳ１４０５では、画像書き込みボタン１３０４をユーザが押すことで、書込みファイルを指定し、画像データを書き込む。
【００４５】
以上により、すでに撮像されたＲＡＷ画像に対して、実施例１と同様の処理を行うことが可能となる。
【００４６】
［実施例３］
実施例３では、実施例１のようにマイクロレンズアレイを用いてＬｉｇｈｔ  Ｆｉｅｌｄを取得するのではなく、複数のカメラを持つ多眼カメラにより取得する例である。図１５は本実施例３における画像処理装置１５０１のブロック図を示す。画像処理装置１５０１は、撮像部１５０２〜１５１０を持つ。各撮像部は、主レンズ群３０１、絞り３０２、シャッター３０３、赤外カットフィルタ３０５、光学ローパスフィルタ３０６、カラーフィルタ３０７、及び、ＣＭＯＳやＣＣＤの撮像センサ３０８から構成される。尚、処理内容は実施例１と等しいため省略する。
【００４７】
尚、本実施例では、９個のカメラを持つ多眼カメラを例として挙げたが、これに限定されないのは言うまでもない。３個以上の複数の視点を持つカメラであれば何でもよい。
【００４８】
［実施例４］
実施例１では、マイクロレンズ特性判定部６０２において、予め取得したマイクロレンズ特性を用いるとした。実施例４では、撮像したマイクロレンズ画像から特性を推定する。例えば、式９で示すように、各マイクロレンズ画像をフーリエ変換し、そのパワースペクトル比ｒをマイクロレンズ特性として、判定および補正を行う構成であってもかまわない。
【００４９】
【数１０】
2013157713.tif 000012
【００５０】
［実施例５］
以上の実施例では、合成処理の例としてリフォーカス処理について説明したが、これに限らない。たとえば、ＨＤＲ処理や、３Ｄ再現処理、ノイズリダクション処理にも適用できる。
【００５１】
［実施例６］
以上の実施例では、すべてのマイクロレンズで得られるデータを使用するとした。しかしながら、マイクロレンズのデータの一部が低周波領域においても使えない場合は、このマイクロレンズのデータを使わないとしてもよい。例えば、先に説明した閾値を第１の閾値とすると、第１の閾値よりも小さい第２の閾値を予め設定しておき、ＭＴＦの値が第１の閾値よりも小さい場合に、第２の閾値よりも小さいかを判定することができる。そして、その判定結果、第２の閾値よりも小さい場合には、そのマイクロレンズのデータを使わないという処理を行っても良い。
【００５２】
［実施例７］
本実施例では、現像処理後のマイクロレンズ画像に対して補正処理を行うとしたが、これに限定されるものではない。例えば、ＲＡＷのマイクロレンズ画像に対して、補正処理を行い、その後現像処理を行う処理フローであってもかまわない。
【００５３】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2013157713.tif 000013
【図２】
2013157713.tif 000014
【図３】
2013157713.tif 000015
【図４】
2013157713.tif 000016
【図５】
2013157713.tif 000017
【図６】
2013157713.tif 000018
【図７】
2013157713.tif 000019
【図８】
2013157713.tif 000020
【図９】
2013157713.tif 000021
【図１０】
2013157713.tif 000022
【図１１】
2013157713.tif 000023
【図１２】
2013157713.tif 000024
【図１３】
2013157713.tif 000025
【図１４】
2013157713.tif 000026
【図１５】
2013157713.tif 000027