(57)【要約】      （修正有）【課題】光学特性の異なる複数の撮像素子を用いて合成画像を生成する際に、解像度ムラの発生を抑えることができる複眼撮像装置を提供する。【解決手段】複数の撮像素子で同じ被写体を撮像する際に、各撮像素子の信号レベルが同等になるように調整し、複数の撮像素子それぞれの焦点調整を行ない、画像を分割するブロックごとにコントラスト値を検出する。一対の画像それぞれの、被写体を含む設定領域として、各設定領域が合焦するように複数の撮像素子の焦点調整を行なったときに、一対の画像それぞれの設定領域の信号レベルを一致させて、設定領域以外の領域である非設定領域のコントラスト値を一対の画像間でブロックごとに比較し、コントラスト値の差分が閾値以上であるか否かを判定し、コントラスト値の差分が閾値以上であるブロックの画像を、一方のブロックの画像に置き換える。【選択図】図７
2010135984.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子を複数備え、複数の前記撮像素子で同じ被写体を撮像することで視差のある一対の画像を得て、該一対の画像を合成することで前記被写体を立体的に表現する合成画像を生成することが可能な複眼撮像装置であって、
前記撮像素子に照射される光量を調整し、前記複数の撮像素子間で感度特性に応じて出力される信号レベルが同等になるように調整する光量調整部と、
撮像時に前記複数の撮像素子それぞれの焦点調整を行なう焦点調整部と、
前記画像を分割する複数のブロックの位置情報に基づいて前記ブロックごとにコントラスト値を検出するコントラスト検出部と、
前記一対の画像それぞれの、合成後に視差を生じさせたい被写体を含む領域を設定領域として、各設定領域が合焦するように前記複数の撮像素子の焦点調整を行なったときに、前記一対の画像それぞれの前記設定領域の前記信号レベルが一致するか判定する信号レベル判定部と、
前記信号レベルが一致した状態で、前記設定領域以外の領域である非設定領域の前記コントラスト値を前記一対の画像間で前記ブロックごとに比較し、前記コントラスト値の差分が閾値以上であるか否かを判定するコントラスト判定部と、
前記一対の画像を合成して前記合成画像を生成する画像合成部と、を備え、
前記画像合成部が、前記差分が前記閾値以上であるブロックの画像を、前記一対の画像のうち一方の画像に置き換える複眼撮像装置。
【請求項２】
請求項１に記載の複眼撮像装置であって、
前記コントラスト値が、焦点調整を行なうフォーカスレンズのレンズ位置に応じて変化するオートフォーカス評価値である複眼撮像装置。
【請求項３】
撮像素子を複数備え、複数の前記撮像素子で同じ被写体を撮像することで視差のある一対の画像を得て、該一対の画像を合成することで前記被写体を立体的に表現する合成画像を生成することが可能な複眼撮像装置を用いた撮像方法であって、
前記撮像素子に照射される光量を調整し、前記複数の撮像素子間で感度特性に応じて出力される信号レベルが同等になるように調整するステップと、
撮像時に前記複数の撮像素子それぞれの焦点調整を行なうステップと、
前記画像を分割する複数のブロックの位置情報に基づいて前記ブロックごとにコントラスト値を検出するステップと、
前記一対の画像それぞれの、合成後に視差を生じさせたい被写体を含む領域を設定領域として、各設定領域が合焦するように前記複数の撮像素子の焦点調整を行なったときに、前記一対の画像それぞれの前記設定領域の前記信号レベルが一致するか判定するステップと、
前記信号レベルが一致した状態で、前記設定領域以外の領域である非設定領域の前記コントラスト値を前記一対の画像間で前記ブロックごとに比較し、前記コントラスト値の差分が閾値以上であるか否かを判定するステップと、
前記一対の画像を合成して前記合成画像を生成するステップと、を備え、
前記合成画像を生成するとき、前記コントラスト値の前記差分が前記閾値以上である場合に、前記一対の画像のうち一方の画像の前記コントラスト値が高いブロックの画像を、前記一対の画像のうち一方の画像に置き換える撮像方法。
【請求項４】
請求項３に記載の撮像方法であって、
前記コントラスト値が、焦点調整を行なうフォーカスレンズのレンズ位置に応じて変化するオートフォーカス評価値である撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複眼撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
現在では、ＣＣＤ等の撮像素子を備えた撮像装置が広く用いられている。
また、撮像素子を複数備えた複眼撮像装置が提案されている。複眼撮像装置は、複数の撮像素子で同じ被写体を撮像して視差のある一対の画像を得ることができる。そして、これら一対の画像を合成することで被写体を立体的に表現する合成画像を生成することができる。
【０００３】
複眼撮像装置としては、例えば下記特許文献に記載されたものがある。
【０００４】
【特許文献１】特開２０００−２９５０４４号公報
【特許文献２】特開２０００−３４１７１９号公報
【特許文献３】特開２００７−８１８０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
複眼撮像装置において、単一の撮像素子を備えた撮像装置と同様に、高感度化や高ダイナミックレンジ化による画像の高画質化が、今後要求されると予想されている。このため、複眼撮像装置では、生成する合成画像の画質を向上させることが重要である。
【０００６】
複眼撮像装置では、複数の撮像素子間の光学特性のばらつきが合成画像の画質に大きく影響する。例えば、高感度撮像素子や低感度撮像素子のように感度の異なる撮像素子を用いる場合には、合成画像の画質が劣化する。また、撮像素子の製造ばらつきや撮像素子に光を集光させるレンズを含む光学ユニットのばらつきに起因して、複数の撮像素子間で光学特性にばらつきが生じる場合にも合成画像の画質が劣化する。
【０００７】
特許文献３では、光学特性の異なる撮像素子を用いる場合に、各撮像素子に照射する光の量を絞りによって調整することによって撮像素子間の輝度値の差を補正している。撮影時には本撮影の前に、撮像素子それぞれのオートフォーカスレンズのレンズ位置を調整して、撮影目標である被写体を含む領域、つまり、合成画像において立体表示させたい領域を合焦させる。このとき、被写体を含む領域以外の領域では、各撮像素子で得られる画像間の周波数特性で示されるコントラスト値の差（いわゆる、解像度ムラ）が生じる。このようなコントラスト値の差は絞りによる調整のみでは補正することができない。光学特性の異なる撮像素子から得られた画像を合成して合成画像を生成すると、被写体を含む領域以外の領域ではコントラスト値の差によって合成画像の立体感が損なわれてしまう点で改善の余地があった。
【０００８】
本発明は、上記事情に鑑みてなされたもので、その目的は、光学特性の異なる複数の撮像素子を用いて合成画像を生成する際に、解像度ムラの発生を抑えることができる複眼撮像装置及び撮像方法を提供することにある。
【課題を解決するための手段】
【０００９】
本発明は、撮像素子を複数備え、複数の前記撮像素子で同じ被写体を撮像することで視差のある一対の画像を得て、該一対の画像を合成することで前記被写体を立体的に表現する合成画像を生成することが可能な複眼撮像装置であって、
前記撮像素子に照射される光量を調整し、前記複数の撮像素子間で感度特性に応じて出力される信号レベルが同等になるように調整する光量調整部と、
撮像時に前記複数の撮像素子それぞれの焦点調整を行なう焦点調整部と、
前記画像を分割する複数のブロックの位置情報に基づいて前記ブロックごとにコントラスト値を検出するコントラスト検出部と、
前記一対の画像それぞれの、合成後に視差を生じさせたい被写体を含む領域を設定領域として、各設定領域が合焦するように前記複数の撮像素子の焦点調整を行なったときに、前記一対の画像それぞれの前記設定領域の前記信号レベルが一致するか判定する信号レベル判定部と、
前記信号レベルが一致した状態で、前記設定領域以外の領域である非設定領域の前記コントラスト値を前記一対の画像間で前記ブロックごとに比較し、前記コントラスト値の差分が閾値以上であるか否かを判定するコントラスト判定部と、
前記一対の画像を合成して前記合成画像を生成する画像合成部と、を備え、
前記画像合成部が、前記差分が前記閾値以上であるブロックの画像を、前記一対の画像のうち一方の画像に置き換える複眼撮像装置によって達成される。
【００１０】
また、本発明は、撮像素子を複数備え、複数の前記撮像素子で同じ被写体を撮像することで視差のある一対の画像を得て、該一対の画像を合成することで前記被写体を立体的に表現する合成画像を生成することが可能な複眼撮像装置を用いた撮像方法であって、
前記撮像素子に照射される光量を調整し、前記複数の撮像素子間で感度特性に応じて出力される信号レベルが同等になるように調整するステップと、
撮像時に前記複数の撮像素子それぞれの焦点調整を行なうステップと、
前記画像を分割する複数のブロックの位置情報に基づいて前記ブロックごとにコントラスト値を検出するステップと、
前記一対の画像それぞれの、合成後に視差を生じさせたい被写体を含む領域を設定領域として、各設定領域が合焦するように前記複数の撮像素子の焦点調整を行なったときに、前記一対の画像それぞれの前記設定領域の前記信号レベルが一致するか判定するステップと、
前記信号レベルが一致した状態で、前記設定領域以外の領域である非設定領域の前記コントラスト値を前記一対の画像間で前記ブロックごとに比較し、前記コントラスト値の差分が閾値以上であるか否かを判定するステップと、
前記一対の画像を合成して前記合成画像を生成するステップと、を備え、
前記合成画像を生成するとき、前記コントラスト値の前記差分が前記閾値以上である場合に、前記一対の画像のうち一方の画像の前記コントラスト値が高いブロックの画像を、前記一対の画像のうち一方の画像に置き換える撮像方法によって達成される。
【発明の効果】
【００１１】
本発明によれば、光学特性の異なる複数の撮像素子を用いて合成画像を生成する際に、解像度ムラの発生を抑えることができる複眼撮像装置及び撮像方法を提供できる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施形態を図面に基づいて詳しく説明する。
図１は、複眼撮像装置の構成の一例を示すブロック図である。複眼撮像装置１０は、一対のＣＣＤ型の固体撮像素子１２Ｒ，１２Ｌを備えている。固体撮像素子１２Ｒが右側に配置され、固体撮像素子１２Ｌが左側に配置されている。固体撮像素子１２Ｒが固体撮像素子１２Ｌに比べて高感度であるものとする。このため、複眼撮像装置１０においては固体撮像素子１２Ｒを高感度撮像素子とし、固体撮像素子１２Ｌを低感度撮像素子として説明する。複眼撮像装置１０は、一対の固体撮像素子１２Ｒ，１２Ｌが互いに所定の間隔を置いて配置された構成であり、同じ被写体を撮像することで視差のある一対の画像を得ることができる。なお、一対の画像を得ることができれば、固体撮像素子は２個で一対のものに限定されず、３個以上の複数の固体撮像素子を用いてもよい。また、固体撮像素子は、ＣＣＤ型に限らず、ＣＭＯＳ型のものやその他の撮像素子を用いてもよい。
【００１３】
一対の固体撮像素子１２Ｒ，１２Ｌそれぞれの光軸方向前方に撮像レンズ１３Ｒ，１３Ｌと、絞り（アイリス）１４Ｒ，１４Ｌとが設けられている。
【００１４】
複眼撮像装置１０は、一対の固体撮像素子１２Ｒ，１２Ｌそれぞれの出力信号（画像信号）をアナログ信号処理するＣＤＳＡＭＰ（相関二重サンプリング（ＣＤＳ）、利得制御増幅器（ＡＭＰ））１６と、ＣＤＳＡＭＰ１６の出力信号をデジタル信号に変換するアナログデジタル（Ａ／Ｄ）変換器１８とを備えている。
【００１５】
複眼撮像装置１０は、更に、Ａ／Ｄ変換器１８でデジタル化された画像信号を取り込む画像入力コントローラ２２と、複眼撮像装置１０の全体を統括制御する制御手段（ＣＰＵ）２０と、画像信号を画像処理して画像を生成する画像信号処理回路２４と、一対の固体撮像素子１２Ｒ，１２Ｌからの画像信号に基いて生成された一対の画像を合成することで前記被写体を立体的に表現する合成画像を生成する画像合成回路２５と、固体撮像素子１２Ｒ，１２Ｌから出力されるスルー画像（シャッタボタンが押されていない状態で固体撮像素子１２Ｒ，１２Ｌから出力される画像信号に基いて生成された画像）を解析して焦点位置を自動検出するＡＦ検出回路４２と、スルー画像から露出量，ホワイトバランスを検出するＡＥ＆ＡＷＢ検出回路４４と、画像処理用のメモリとして使用するＳＤＲＡＭ４６と、固体撮像素子１２Ｒ，１２Ｌからの画像信号に基いて生成された一対の画像をそれぞれ区別し、画像プレーンＡ，Ｂとして記録するＶＲＡＭ４８と、画像処理後の画像をＪＰＥＧ画像やＭＰＥＧ画像に圧縮する圧縮処理回路２６と、複眼撮像装置の筐体表面に設けられ、合成画像を表示可能な画像表示装置５４と、画像表示装置５４に合成画像やスルー画像を表示するビデオエンコーダ２８と、記録メディア５６に画像を保存するメディアコントローラ５２と、またこれらを相互接続するバスとを備える。
【００１６】
複眼撮像装置１０は、更に、一対の固体撮像素子１２Ｒ，１２Ｌのそれぞれに駆動タイミングパルス（電子シャッタパルス、読み出しパルス、転送パルス等）を供給するタイミングジェネレータ３２と、撮影レンズ１３Ｒ，１３Ｌのフォーカスレンズ位置を駆動するモータに駆動パルスを供給するレンズ駆動モータドライバ３３と、絞り１４Ｒ，１４Ｌの絞り位置制御を行なう駆動モータに駆動パルスを供給する絞り駆動モータドライバ３４とを備えている。タイミングジェネレータ３２、レンズ駆動モータドライバ３３、絞り駆動モータドライバ３４は、ＣＰＵ２０からの指令に基いて動作する。
【００１７】
複眼撮像装置１０は、更に、シャッタボタンの入力によって撮像を行なう撮像モードと、シャッタボタンの入力によって撮像した画像や合成画像を再生し、画像表示装置５４に表示する再生モードとを切り換えるスイッチ３６を備えている。スイッチ３６を操作することによって操作信号がＣＰＵ２０に入力される。
【００１８】
図２は、画像合成回路の構成を示すブロック図である。
画像合成回路２５は、コントラスト検出部６２と、信号レベル判定部６４と、コントラスト判定部６６と、画像合成部６８とを含む。
【００１９】
コントラスト検出部６２は、一対の固体撮像素子１２Ｒ，１２Ｌによって撮像された一対の画像それぞれを複数のブロックに分割し、各ブロックに設定されている位置情報に基づいて前記ブロックごとにコントラスト値を検出する。ここで、位置情報は、画像を２次元平面としたときのｘ−ｙ座標軸の位置（ｘ，ｙ）で表すことができる。
【００２０】
図３は、複数のブロックに分割された画像の例を示す図である。一対の画像はそれぞれ、同じ数のブロック（例えば、１００個×１００個）で分割されている。各ブロックには、位置情報とそのブロックに相当する画像領域のコントラスト値が設定されている。  
【００２１】
図３に基いて、画像の設定領域と非設定領域について説明する。図３に示すように、設定領域は、合成画像で立体的に表示することを意図して撮像対象とする花を含む領域である。非設定領域は、図３に示す画像においては花以外の山などの背景を含む領域である。このように、画像は、設定領域と非設定領域とに分類することができる。使用者は、設定領域に含まれる花に焦点を合わせて撮像を行なうため、ＡＦモードでは、設定領域が合焦する領域となり、非設定領域が合焦しない領域となる。
【００２２】
一対の画像それぞれの設定領域は、合成されるときに信号レベルの差が小さくなる必要がある。複眼撮像装置１０は、絞り駆動モータドライバを光量調整部として使用し、一対の固体撮像素子１２Ｒ，１２Ｌそれぞれに対応する光学ユニットの絞りを制御することで、該一対の固体撮像素子１２Ｒ，１２Ｌから得られる一対の画像の設定領域の信号レベルが同等になるように調整を行う。しかし、設定領域の信号レベルを同等になるように調整しても、非設定領域はフォーカスレンズ位置が合焦していないため、ボケミなどの解像度ムラが生じ、一対の画像同士を合成した際に、非設定領域の立体感が著しく損なわれてしまう。このため、複眼撮像装置１０は、非設定領域に存在するブロックごとに、解像度を示すコントラスト値を用いて解像度ムラを検出し、解像度ムラが大きいと判断されたブロックについて補正を行った上で合成画像を生成する。
【００２３】
信号レベル判定部６４は、一対の画像それぞれの、合成後に視差を生じさせたい被写体を含む領域を設定領域として、設定領域が合焦するように一対の撮像素子１２Ｒ，１２Ｌの焦点調整を行なったときに、一対の画像それぞれの設定領域の信号レベルが一致するか判定する。
【００２４】
信号レベルとしては、例えば、輝度値を用いることができる。輝度値は、絞り１４Ｒ，１４Ｌの大きさによって決定される。複眼撮像装置１０は、絞りの大きさを絞り駆動モータドライバ３４によって制御する。絞りが大きいほど、固体撮像素子１２Ｒ，１２Ｌに入射する光の量が小さくなる、つまり、絞りの大きさと輝度値とは反比例する。
【００２５】
図４は、露光量に対する信号レベル（輝度値）の関係を、感度の異なる撮像素子ごとに示したグラフである。図５は、一対の固体撮像素子と該一対の固体撮像素子の絞りを示す図である。図４に示すように、高感度撮像素子は、低感度撮像素子に比べて、同じ露光量に対する信号レベルが大きくなる。このため、一対の画像それぞれの設定領域の信号レベルが一致していない場合には、高感度撮像素子である固体撮像素子１２Ｒの絞りを、低感度撮像素子である固体撮像素子１２Ｌの絞りより大きくするように、絞り駆動モータドライバ３４によって制御することができる。絞りの大きさは絞り値で表され、高感度撮像素子である固体撮像素子１２Ｒの絞り値Ｆ１とし、低感度撮像素子である固体撮像素子１２Ｌの絞り値Ｆ２とすると、絞り１４Ｒ，１４Ｌは、Ｆ１＞Ｆ２の相対関係となるように制御される。なお、低感度撮像素子である固体撮像素子１２Ｌの絞りを高感度撮像素子である固体撮像素子１２Ｒの絞りよりも小さくするように制御してもよい。
【００２６】
コントラスト判定部６６は、一対の画像それぞれの設定領域の信号レベルが一致した状態で、設定領域以外の領域である非設定領域のコントラスト値を一対の画像間でブロックごとに比較し、コントラスト値の差分が閾値以上であるか否かを判定する。
【００２７】
例えば、一対の画像のうち、一方の画像の位置（ｘ，ｙ）に相当するブロックのコントラスト値をＣＲ（ｘ，ｙ）とし、他方の同じ位置のブロックのコントラスト値をＣＬ（ｘ，ｙ）としたとき、コントラスト値の差分は、ＣＲ（ｘ，ｙ）−ＣＬ（ｘ，ｙ）の絶対値で表される。予め設定された閾値をＡとしたとき、ＣＲ（ｘ，ｙ）−ＣＬ（ｘ，ｙ）の絶対値が閾値Ａ以上となる場合には、一対の画像間で位置（ｘ，ｙ）のブロックのコントラスト値の差が大きいと判断する。
【００２８】
画像合成部６８は、一対の画像を合成して合成画像を生成する。画像合成部６８は、コントラスト判定部６６においてコントラスト値の差分が閾値以上であると判断されたブロックの画像を、一対の画像のうちコントラスト値が高いブロックの画像に置き換える。このとき、コントラスト値の差分が閾値以上であると判断されたブロックの画像を、一対の画像のうちコントラスト値が低いブロックの画像に置き換えてもよい。
【００２９】
図６は、複眼撮像装置によって合成画像を生成する手順を示すフロー図である。なお、以下では、上記の複眼撮像装置の構成を用いることとし、既に説明した構成については、図面を適宜参照する。なお、図中において「Ｌ」は、左側の固体撮像素子１２Ｌ（左眼）側を意味し、「Ｒ」は、右側の固体撮像素子１２Ｒ（右眼）側を意味する。
【００３０】
最初に、複眼撮像装置１０は、一対の固体撮像素子１２Ｒ，１２Ｌそれぞれの焦点調整を実行することができるＡＦ（オートフォーカス）モードに設定する（ステップＳ１１）。ＡＦモードでは、一対の固体撮像素子１２Ｒ，１２Ｌそれぞれのレンズ１３Ｒ，１３Ｌの位置を独立に制御することができる。そして、ＡＦモードの状態で、固体撮像素子１２ＲからＡＦデータ（画像信号）を取り込み（ステップＳ１２−１）、また、固体撮像素子１２Ｌから、ＡＦデータ（画像信号）を取り込む（ステップＳ１２−２）。
【００３１】
固体撮像素子１２Ｒから得られたＡＦデータに基く画像と固体撮像素子１２Ｌから得られたＡＦデータに基く画像とからなる一対の画像は、それぞれの画像の信号レベルの判定に用いられる。一対の画像それぞれの、合成後に視差を生じさせたい被写体を含む領域を設定領域とする。そして、一対の画像の各設定領域が合焦するように固体撮像素子１２Ｒ，１２Ｌそれぞれの焦点調整を行う（ステップＳ１３）。
【００３２】
次に、一対の画像それぞれの設定領域の信号レベルが一致するか判定する（ステップＳ１４）。信号レベルが一致しないと判定された場合には、低感度の固体撮像素子１２Ｌの絞りを小さくする。絞りの大きさを調整した後、再度、一対の固体撮像素子１２Ｒ，１２ＬからＡＦデータを取得するステップ（ステップＳ１２−１，Ｓ１２−２）に戻る。
【００３３】
ステップＳ１４において、一対の画像それぞれの設定領域の信号レベルが一致すると判定された場合には、複眼撮像装置１０が、焦点調整されたレンズ位置によって一対の固体撮像素子１２Ｒ，１２Ｌから画像信号を取り込む撮像モードに設定される（ステップＳ１５）。
【００３４】
撮像モードに設定された後、固体撮像素子１２Ｌから画像信号を取り込み（ステップＳ１６−１）、また、固体撮像素子１２Ｒから画像信号を取り込む（ステップＳ１６−２）。撮像モードにおいて、固体撮像素子１２Ｌの画像信号に基く画像と固体撮像素子１２Ｒの画像信号に基く画像とからなる一対の画像は、コントラスト値の差分の判定に用いられる。
【００３５】
次に、該一対の画像同士を、設定領域以外の領域にあるブロックごとに比較し、コントラスト値の差分の絶対値が所定の閾値Ａより小さいかを判定する（ステップＳ１７）。
【００３６】
図７は、一対の画像と、生成された合成画像とを説明する図である。固体撮像素子１２Ｒの画像と固体撮像素子１２Ｌの画像とが、同じ数の複数のブロックで分割されている。図中では、一対の画像それぞれが、ｍ個×ｎ個に分割されている。ここで、ｍ，ｎは、１以上の整数とし、ｍとｎとは同じ数としてもよい。各ブロックには、位置情報として位置（ｘｍ，ｙｎ）が設定されている。固体撮像素子１２Ｒの各ブロックのコントラスト値はＣＲ（ｘｍ，ｙｎ）と表すことができ、固体撮像素子１２Ｌの各ブロックのコントラスト値をＣＬ（ｘｍ，ｙｎ）と表すことができる。
【００３７】
上記ステップＳ１７では、各ブロックごとにコントラスト値ＣＲとコントラスト値ＣＬとの差分を閾値Ａと比較する。具体的には、固体撮像素子１２Ｒの画像の位置（ｘ１，ｙ１）のブロックのコントラスト値ＣＲ（ｘ１，ｙ１）と固体撮像素子１２Ｌの画像の同じ位置（ｘ１，ｙ１）のブロックのコントラスト値ＣＬ（ｘ１，ｙ１）との差分の絶対値を｜ＣＲ（ｘ１，ｙ１）−ＣＬ（ｘ１，ｙ１）｜と演算することで算出する。そして、算出された差分の絶対値を閾値Ａと比較する。同様に、固体撮像素子１２Ｒの画像の位置（ｘ２，ｙ１）のブロックのコントラスト値ＣＲ（ｘ２，ｙ１）と固体撮像素子１２Ｌの画像の同じ位置（ｘ２，ｙ１）のブロックのコントラスト値ＣＬ（ｘ２，ｙ１）との差分の絶対値を｜ＣＲ（ｘ２，ｙ１）−ＣＬ（ｘ２，ｙ１）｜と演算することで算出し、算出された差分の絶対値を閾値Ａと比較する。このように、全てのブロックのうち非設定領域のブロックについてコントラスト値の差分を閾値Ａと比較する手順を行なう。
【００３８】
図６に示すように、ステップＳ１７でコントラスト値の差分が閾値Ａより大きいと判断されると、該ブロックを一対の画像のうちいずれかのブロックの画像に置き換える処理に進む（ステップＳ１８）。ステップＳ１８では、コントラスト値の差分が閾値Ａより大きいと判断されたブロックの画像を、高いコントラスト値を有するブロックの画像に置き換える。例えば、｜ＣＲ（ｘ３，ｙ１）−ＣＬ（ｘ３，ｙ１）｜≧閾値Ａとなった場合に、ＣＲ（ｘ３，ｙ１）≧ＣＬ（ｘ３，ｙ１）であれば、固体撮像素子１２Ｒの位置（ｘ３，ｙ１）に相当するブロックの画像を合成画像の位置（ｘ３，ｙ１）の画像に置き換える。このように、全てのブロックのうち非設定領域のブロックについて、閾値Ａより大きいと判断されたブロックを高いコントラスト値のブロックの画像に置き換える。
【００３９】
ステップＳ１９において、非設定領域の全てのブロックに対してコントラスト値の差分の比較が終了すると、撮像モードで得られた一対の画像を合成して合成画像を生成する（ステップＳ２０）。このとき、一対の画像間でブロックのコントラスト値の差分が閾値Ａ以上のものは、置き換えられたブロックの画像が用いられる。
【００４０】
以上説明した複眼撮像装置によれば、合成後に画像の設定領域の立体感を損なうことなく、非設定領域のボケミなどの解像度ムラの発生を抑えることができる。
【００４１】
コントラスト値としては、ＡＦ評価値を用いてもよい。図８は、ＡＦ評価値を示すグラフである。図８に示すように、ＡＦ評価値は、焦点調整を行なうフォーカスレンズのレンズ位置によって変化する値であって、画像の対象となる設定領域の輝度値の周波数成分の積分から計算される画像の鮮明度を示す。例えば、カメラの画角中央の花に焦点を合わせた場合には、花と該花の近傍領域が合焦領域となり、ＡＦ評価値が高くなる。一方で花の周りの背景などを含む非設定領域では、ＡＦ評価値が低くなる。複眼撮像装置は、ＡＦモード時に、ＡＦ検出回路４２によって固体撮像素子１２Ｒ，１２Ｌから画像のブロックごとにＡＦ評価値を取得することができる。そして、ブロックごとにＡＦ評価値の差分を閾値Ａと比較してもよい。
【００４２】
本明細書では、下記の内容を開示している。
（１）撮像素子を複数備え、複数の前記撮像素子で同じ被写体を撮像することで視差のある一対の画像を得て、該一対の画像を合成することで前記被写体を立体的に表現する合成画像を生成することが可能な複眼撮像装置であって、
前記撮像素子に照射される光量を調整し、前記複数の撮像素子間で感度特性に応じて出力される信号レベルが同等になるように調整する光量調整部と、
撮像時に前記複数の撮像素子それぞれの焦点調整を行なう焦点調整部と、
前記画像を分割する複数のブロックの位置情報に基づいて前記ブロックごとにコントラスト値を検出するコントラスト検出部と、
前記一対の画像それぞれの、合成後に視差を生じさせたい被写体を含む領域を設定領域として、各設定領域が合焦するように前記複数の撮像素子の焦点調整を行なったときに、前記一対の画像それぞれの前記設定領域の前記信号レベルが一致するか判定する信号レベル判定部と、
前記信号レベルが一致した状態で、前記設定領域以外の領域である非設定領域の前記コントラスト値を前記一対の画像間で前記ブロックごとに比較し、前記コントラスト値の差分が閾値以上であるか否かを判定するコントラスト判定部と、
前記一対の画像を合成して前記合成画像を生成する画像合成部と、を備え、
前記画像合成部が、前記差分が前記閾値以上であるブロックの画像を、前記一対の画像のうち一方の画像に置き換える複眼撮像装置。
（２）上記（１）に記載の複眼撮像装置であって、
前記コントラスト値が、焦点調整を行なうフォーカスレンズのレンズ位置に応じて変化するオートフォーカス評価値である複眼撮像装置。
（３）撮像素子を複数備え、複数の前記撮像素子で同じ被写体を撮像することで視差のある一対の画像を得て、該一対の画像を合成することで前記被写体を立体的に表現する合成画像を生成することが可能な複眼撮像装置を用いた撮像方法であって、
前記撮像素子に照射される光量を調整し、前記複数の撮像素子間で感度特性に応じて出力される信号レベルが同等になるように調整するステップと、
撮像時に前記複数の撮像素子それぞれの焦点調整を行なうステップと、
前記画像を分割する複数のブロックの位置情報に基づいて前記ブロックごとにコントラスト値を検出するステップと、
前記一対の画像それぞれの、合成後に視差を生じさせたい被写体を含む領域を設定領域として、各設定領域が合焦するように前記複数の撮像素子の焦点調整を行なったときに、前記一対の画像それぞれの前記設定領域の前記信号レベルが一致するか判定するステップと、
前記信号レベルが一致した状態で、前記設定領域以外の領域である非設定領域の前記コントラスト値を前記一対の画像間で前記ブロックごとに比較し、前記コントラスト値の差分が閾値以上であるか否かを判定するステップと、
前記一対の画像を合成して前記合成画像を生成するステップと、を備え、
前記合成画像を生成するとき、前記コントラスト値の前記差分が前記閾値以上である場合に、前記一対の画像のうち一方の画像の前記コントラスト値が高いブロックの画像を、前記一対の画像のうち一方の画像に置き換える撮像方法。
（４）上記（３）に記載の撮像方法であって、
前記コントラスト値が、焦点調整を行なうフォーカスレンズのレンズ位置に応じて変化するオートフォーカス評価値である撮像方法。
【図面の簡単な説明】
【００４３】
【図１】複眼撮像装置の構成の一例を示すブロック図である。
【図２】画像合成回路の構成を示すブロック図である。
【図３】複数のブロックに分割された画像の例を示す図である。
【図４】露光量に対する信号レベル（輝度値）の関係を、感度の異なる撮像素子ごとに示したグラフである。
【図５】一対の固体撮像素子と該一対の固体撮像素子の絞りを示す図である。
【図６】複眼撮像装置によって合成画像を生成する手順を示すフロー図である。
【図７】一対の画像と、生成された合成画像とを説明する図である。
【図８】ＡＦ評価値を示すグラフである。
【符号の説明】
【００４４】
１０    複眼撮像装置
１２Ｒ，１２Ｌ    固体撮像素子
２５    画像合成回路
【図１】
2010135984.tif 000003
【図２】
2010135984.tif 000004
【図３】
2010135984.tif 000005
【図４】
2010135984.tif 000006
【図５】
2010135984.tif 000007
【図６】
2010135984.tif 000008
【図７】
2010135984.tif 000009
【図８】
2010135984.tif 000010