(57)【要約】【課題】  画素のサイズが異なる複数の撮像素子を用いて撮影した画像を合成して１枚の画像を作成する場合に、撮像素子間の画素サイズの差に起因する画質の劣化を防止することが可能な複眼カメラ及び画像処理方法を提供する。【解決手段】  撮像素子２０−１と２０−２はチップサイズ（面積）が等しく、かつ、撮像素子２０−１の方が撮像素子２０−２よりも画素数が少ない。入出力処理回路５２は、撮像素子２０−１のデータを画像処理部５６に入力し、撮像素子２０−２のデータを画素加算処理部５４に入力する。例えば、撮像素子２０−２の画素数が撮像素子２０−１のＮ倍（画素サイズが約Ｎ分の１）とした場合（Ｎ：整数（Ｎ＞１））、画素加算処理部５４は、撮像素子２０−２のＮ画素を加算することにより、撮像素子２０−１と２０−２の間の光量−出力特性を合わせる。画像処理部５６は、撮像素子２０−１のデータと撮像素子２０−２の画素加算処理後のデータとを合成する。【選択図】    図１
2010157863.tif 000002
【特許請求の範囲】
【請求項１】
第１の撮像素子と、
前記第１の撮像素子よりも画素数が多く、感度が低い第２の撮像素子と、
前記第１の撮像素子と前記第２の撮像素子とを同期させて画像の露光及び画像信号の読み出しを行う撮影制御手段と、
前記第２の撮像素子から読み出された第２の画像信号に対して画素加算処理を施す画素加算手段と、
前記第１の撮像素子から読み出された第１の画像信号と、前記画素加算後の第２の画像信号とを合成して合成画像を作成する画像合成手段と、
を備える複眼カメラ。
【請求項２】
前記第１の撮像素子と前記第２の撮像素子はチップサイズが同じで、かつ、前記第２の撮像素子は前記第１の撮像素子よりも画素数が多い請求項１記載の複眼カメラ。
【請求項３】
前記第２の撮像素子の画素数が前記第１の撮像素子の画素数のＮ倍であり（Ｎは１より大きい整数）、
前記画素加算手段は、前記第２の撮像素子から読み出された第２の画像信号をＮ画素分ずつ加算する請求項２記載の複眼カメラ。
【請求項４】
前記第１及び第２の撮像素子の露光時間を設定する露光時間設定手段を更に備え、
前記第２の撮像素子が第１画素群と第２画素群とを含んでおり、
前記画素加算手段は、前記第１画素群の画素と前記第２画素群の画素とを画素加算し、
前記露光時間設定手段は、前記第２画素群の露光時間を調整して、前記第１画素群の画素から読み出された画像信号と前記第２画素群の画素から読み出された画像信号とを画素加算した結果得られる画像信号の出力特性と前記第１の画像信号の出力特性とを一致させる請求項１から３のいずれか１項記載の複眼カメラ。
【請求項５】
前記露光時間設定手段は、前記第１の撮像素子と前記第２の撮像素子の第１画素群の露光時間を同じ値に設定する請求項４記載の複眼カメラ。
【請求項６】
前記第１の画像信号又は前記画素加算後の第２の画像信号に所定のゲインをかけて、前記第１の画像信号と前記画素加算後の第２の画像信号の出力特性を一致させる前記信号増幅手段を更に備える請求項１から３のいずれか１項記載の複眼カメラ。
【請求項７】
前記第１の画像信号と、前記画素加算後の第２の画像信号の飽和時の電荷量を同じ値に設定する飽和電荷量設定手段を更に備える請求項１から６のいずれか１項記載の複眼カメラ。
【請求項８】
前記第１の撮像素子と前記画素加算後における第２の撮像素子の飽和時の電荷量とＯＦＤ電圧の関係を示す飽和特性調整テーブルを更に備え、
前記飽和電荷量設定手段は、前記飽和特性調整テーブルに基づいて、前記ＯＦＤ電圧を調整して、前記第１の画像信号と、前記画素加算後の第２の画像信号の飽和時の電荷量を同じ値に設定する請求項７記載の複眼カメラ。
【請求項９】
前記画素加算処理後の第２の画像信号又は前記第１の画像信号に対して補間又は間引き処理を行って、前記画素加算処理後の第２の画像信号の縦横の画素数と前記第１の画像信号の縦横の画素数を一致させる画素数調整手段を更に備える請求項１から８のいずれか１項記載の複眼カメラ。
【請求項１０】
第１の撮像素子と、前記第１の撮像素子よりも画素数が多く、感度が低い第２の撮像素子とを同期させて画像の露光及び画像信号の読み出しを行う撮影制御工程と、
前記第２の撮像素子から読み出された第２の画像信号に対して画素加算処理を施す画素加算工程と、
前記第１の撮像素子から読み出された第１の画像信号と、前記画素加算後の第２の画像信号とを合成して合成画像を作成する画像合成工程と、
を備える画像処理方法。
【請求項１１】
前記第１の撮像素子と前記第２の撮像素子はチップサイズが同じで、かつ、前記第２の撮像素子の画素数が前記第１の撮像素子の画素数のＮ倍であり（Ｎは１より大きい整数）、
前記画素加算工程において、前記第２の撮像素子から読み出された第２の画像信号をＮ画素分ずつ加算する請求項１０記載の画像処理方法。
【請求項１２】
前記第２画素群の露光時間を調整して、前記第１画素群の画素から読み出された画像信号と前記第２画素群の画素から読み出された画像信号とを画素加算した結果得られる画像信号の出力特性と前記第１の画像信号の出力特性とを一致させる露光時間設定工程を更に備え、
前記画素加算工程において、前記第２の撮像素子に含まれる前記第１画素群の画素と前記第２画素群の画素とを画素加算する請求項１０又は１１記載の画像処理方法。
【請求項１３】
前記第１の撮像素子と前記第２の撮像素子の第１画素群の露光時間を同じ値に設定する請求項１２記載の画像処理方法。
【請求項１４】
前記第１の画像信号又は前記画素加算後の第２の画像信号に所定のゲインをかけて、前記前記第１の画像信号と前記画素加算後の第２の画像信号の出力特性を一致させる前記信号増幅工程を更に備える請求項１０から１３のいずれか１項記載の画像処理方法。
【請求項１５】
前記第１の画像信号と、前記画素加算後の第２の画像信号の飽和時の電荷量を同じ値に設定する飽和電荷量設定工程を更に備える請求項１０から１４のいずれか１項記載の画像処理方法。
【請求項１６】
前記飽和電荷量設定工程において、前記第１の撮像素子と前記画素加算後における第２の撮像素子の飽和時の電荷量とＯＦＤ電圧の関係を示す飽和特性調整テーブルに基づいて、前記ＯＦＤ電圧を調整して、前記第１の画像信号と、前記画素加算後の第２の画像信号の飽和時の電荷量を同じ値に設定する請求項１５記載の画像処理方法。
【請求項１７】
前記画素加算処理後の第２の画像信号又は前記第１の画像信号に対して補間又は間引き処理を行って、前記画素加算処理後の第２の画像信号の縦横の画素数と前記第１の画像信号の縦横の画素数を一致させる画素数調整工程を更に備える請求項１０から１６のいずれか１項記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は複眼カメラ及び画像処理方法に係り、特に複数の異なる撮像素子を備えた複眼カメラ及び画像処理方法に関する。
【背景技術】
【０００２】
特許文献１には、変曲点を境に異なる光電変換特性を有する撮像素子を搭載した撮像装置を２台備えた撮像システムにおいて、一方の撮像素子の撮像信号に所定のゲインを乗算することにより、上記撮像素子間の感度バラツキを補正することが開示されている。
【０００３】
特許文献２には、撮像素子及び信号処理手段を備えた撮像系を複数有するステレオカメラにおいて、単一のタイミング信号発生手段の出力信号を複数の撮像素子及び信号処理手段に接続することにより、各撮像系の出力から輝度のバラツキがない映像を出力可能にすることが開示されている。
【特許文献１】特開２００７−８１８０６号公報
【特許文献２】特開２０００−３４１７１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来、撮像光学系と撮像素子を複数備えた多眼カメラが提案されている。このような多眼カメラを用いて複数枚の画像を撮影して合成することが考えられる。しかしながら、上記複数の撮像素子の間で入射光量と出力との関係（光量−出力特性）が異なる場合（例えば、撮像素子のチップサイズ（面積）が同じで画素数が異なる場合）、この特性の差によって合成後の画像の画質が劣化するおそれがある。
【０００５】
特許文献１に記載の技術は、撮像信号に所定のゲインを乗算することで感度バラツキを補正するものであるが、単にゲインを乗算するだけではノイズが増幅されて、画質が劣化するおそれがある。また、撮像信号を出力レベルが低い方に合わせることも考えられるが、この場合出力レベルが低い方の撮像素子にダイナミックレンジが制限されることになる。また、特許文献２に記載の技術は、複数の撮像素子間の特性差に起因する画像の劣化を防止するためのものではない。
【０００６】
本発明はこのような事情に鑑みてなされたもので、画素のサイズが異なる複数の撮像素子を用いて撮影した画像を合成して１枚の画像を作成する場合に、撮像素子間の画素サイズの差に起因する画質の劣化を防止することが可能な複眼カメラ及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の第１の態様に係る複眼カメラは、第１の撮像素子と、前記第１の撮像素子よりも画素数が多く、感度が低い第２の撮像素子と、前記第１の撮像素子と前記第２の撮像素子とを同期させて画像の露光及び画像信号の読み出しを行う撮影制御手段と、前記第２の撮像素子から読み出された第２の画像信号に対して画素加算処理を施す画素加算手段と、前記第１の撮像素子から読み出された第１の画像信号と、前記画素加算後の第２の画像信号とを合成して合成画像を作成する画像合成手段とを備える。
【０００８】
上記第１の態様によれば、画素数が多く、感度が低い第２の撮像素子から出力された画素データに対して画素加算処理を行って両撮像素子の出力特性を一致させることができ、両撮像素子の光量−出力特性の差に起因する画質の劣化を防ぐことができる。
【０００９】
本発明の第２の態様に係る複眼カメラは、上記第１の態様において、前記第１の撮像素子と前記第２の撮像素子はチップサイズが同じで、かつ、前記第２の撮像素子は前記第１の撮像素子よりも画素数が多い。
【００１０】
本発明の第３の態様に係る複眼カメラは、上記第２の態様において、前記第２の撮像素子の画素数が前記第１の撮像素子の画素数のＮ倍であり（Ｎは１より大きい整数）、前記画素加算手段は、前記第２の撮像素子から読み出された第２の画像信号をＮ画素分ずつ加算するようにしたものである。
【００１１】
上記第３の態様によれば、画素数がＮ倍で、画素サイズが約Ｎ分の１の第２の撮像素子から出力された画素データをＮ画素分ずつ画素加算することにより、両撮像素子の出力特性を一致させることができ、両撮像素子の光量−出力特性の差に起因する画質の劣化を防ぐことができる。
【００１２】
本発明の第４の態様に係る複眼カメラは、上記第１から第３の態様において、前記第１及び第２の撮像素子の露光時間を設定する露光時間設定手段を更に備え、前記第２の撮像素子が第１画素群と第２画素群とを含んでおり、前記画素加算手段は、前記第１画素群の画素と前記第２画素群の画素とを画素加算し、前記露光時間設定手段は、前記第２画素群の露光時間を調整して、前記第１画素群の画素から読み出された画像信号と前記第２画素群の画素から読み出された画像信号とを画素加算した結果得られる画像信号の出力特性と前記第１の画像信号の出力特性とを一致させるようにしたものである。
【００１３】
上記第４の態様によれば、高画素の第２の撮像素子に含まれる画素を２つの画素群に分けて、両画素群の出力の和が第１の撮像素子の出力と等しくなるように、一方の画素群の露光時間を調整することにより、両撮像素子の光量−出力特性の差に起因する画質の劣化を防止することができる。
【００１４】
本発明の第５の態様に係る複眼カメラは、上記第４の態様において、前記露光時間設定手段が、前記第１の撮像素子と前記第２の撮像素子の第１画素群の露光時間を同じ値に設定するようにしたものである。
【００１５】
本発明の第６の態様に係る複眼カメラは、上記第１から第３の態様の構成に加えて、前記第１の画像信号又は前記画素加算後の第２の画像信号に所定のゲインをかけて、前記前記第１の画像信号と前記画素加算後の第２の画像信号の出力特性を一致させる前記信号増幅手段を更に備える。
【００１６】
上記第６の態様によれば、ゲインをかけることにより、前記第１の画像信号と前記画素加算後の第２の画像信号の光量−出力特性を一致させることができる。
【００１７】
本発明の第７の態様に係る複眼カメラは、上記第１から第６の態様の構成に加えて、前記第１の画像信号と、前記画素加算後の第２の画像信号の飽和時の電荷量を同じ値に設定する飽和電荷量設定手段を更に備える。
【００１８】
上記第７の態様によれば、上記各態様の効果に加え、第１の撮像素子と第２の撮像素子の飽和時の電荷量を一致させることができるので、両撮像素子の飽和時電荷量に近い出力を用いて画像を合成する場合の画質の劣化を防止することができる。
【００１９】
本発明の第８の態様に係る複眼カメラは、上記第７の態様において、前記第１の撮像素子と前記画素加算後における第２の撮像素子の飽和時の電荷量とＯＦＤ電圧の関係を示す飽和特性調整テーブルを更に備え、前記飽和電荷量設定手段が、前記飽和特性調整テーブルに基づいて、前記ＯＦＤ電圧を調整して、前記第１の画像信号と、前記画素加算後の第２の画像信号の飽和時の電荷量を同じ値に設定するようにしたものである。
【００２０】
本発明の第９の態様に係る複眼カメラは、上記第１から第８の態様の構成に加えて、前記画素加算処理後の第２の画像信号又は前記第１の画像信号に対して補間又は間引き処理を行って、前記画素加算処理後の第２の画像信号の縦横の画素数と前記第１の画像信号の縦横の画素数を一致させる画素数調整手段を更に備える。
【００２１】
上記第９の態様によれば、第１及び第２の撮像素子の縦横の画素数を一致させることにより、画質を高めることが可能になる。
【００２２】
本発明の第１０の態様に係る画像処理方法は、第１の撮像素子と、前記第１の撮像素子よりも画素数が多く、感度が低い第２の撮像素子とを同期させて画像の露光及び画像信号の読み出しを行う撮影制御工程と、前記第２の撮像素子から読み出された第２の画像信号に対して画素加算処理を施す画素加算工程と、前記第１の撮像素子から読み出された第１の画像信号と、前記画素加算後の第２の画像信号とを合成して合成画像を作成する画像合成工程とを備える。
【００２３】
本発明の第１１の態様に係る画像処理方法は、上記第１０の態様において、前記第１の撮像素子と前記第２の撮像素子はチップサイズが同じで、かつ、前記第２の撮像素子の画素数が前記第１の撮像素子の画素数のＮ倍であり（Ｎは１より大きい整数）、前記画素加算工程において、前記第２の撮像素子から読み出された第２の画像信号をＮ画素分ずつ加算するようにしたものである。
【００２４】
本発明の第１２の態様に係る画像処理方法は、上記第１０又は第１１の態様において、前記第２画素群の露光時間を調整して、前記第１画素群の画素から読み出された画像信号と前記第２画素群の画素から読み出された画像信号とを画素加算した結果得られる画像信号の出力特性と前記第１の画像信号の出力特性とを一致させる露光時間設定工程を更に備え、前記画素加算工程において、前記第２の撮像素子に含まれる前記第１画素群の画素と前記第２画素群の画素とを画素加算するようにしたものである。
【００２５】
本発明の第１３の態様に係る画像処理方法は、上記第１２の態様において、前記第１の撮像素子と前記第２の撮像素子の第１画素群の露光時間を同じ値に設定するようにしたものである。
【００２６】
本発明の第１４の態様に係る画像処理方法は、上記第１０から第１３の構成に加えて、前記第１の画像信号又は前記画素加算後の第２の画像信号に所定のゲインをかけて、前記前記第１の画像信号と前記画素加算後の第２の画像信号の出力特性を一致させる前記信号増幅工程を更に備える。
【００２７】
本発明の第１５の態様に係る画像処理方法は、上記第１０から第１４の態様の構成に加えて、前記第１の画像信号と、前記画素加算後の第２の画像信号の飽和時の電荷量を同じ値に設定する飽和電荷量設定工程を更に備える。
【００２８】
本発明の第１６の態様に係る画像処理方法は、上記第１５の態様の前記飽和電荷量設定工程において、前記第１の撮像素子と前記画素加算後における第２の撮像素子の飽和時の電荷量とＯＦＤ電圧の関係を示す飽和特性調整テーブルに基づいて、前記ＯＦＤ電圧を調整して、前記第１の画像信号と、前記画素加算後の第２の画像信号の飽和時の電荷量を同じ値に設定するようにしたものである。
【００２９】
本発明の第１７の態様に係る画像処理方法は、上記第１０から第１６の態様の構成に加えて、前記画素加算処理後の第２の画像信号又は前記第１の画像信号に対して補間又は間引き処理を行って、前記画素加算処理後の第２の画像信号の縦横の画素数と前記第１の画像信号の縦横の画素数を一致させる画素数調整工程を更に備える。
【発明の効果】
【００３０】
本発明によれば、画素数が多く、感度が低い第２の撮像素子から出力された画素データに対して画素加算処理を行って両撮像素子の出力特性を一致させることができ、両撮像素子の光量−出力特性の差に起因する画質の劣化を防ぐことができる。
【発明を実施するための最良の形態】
【００３１】
以下、添付図面に従って本発明に係る複眼カメラ及び画像処理方法の好ましい実施の形態について説明する。
【００３２】
［複眼カメラの構成］
図１は、本発明の第１の実施形態に係る複眼カメラの主要構成を示すブロック図である。
【００３３】
図１に示すように、複眼カメラ１０は、２つの撮影部１２−１及び１２−２を備えている。なお、撮影部１２は２つ以上設けてもよい。
【００３４】
複眼カメラ１０は、撮影部１２−１及び１２−２によって撮影した２枚の画像データを合成する。例えば、複眼カメラ１０は、撮影部１２−１及び１２−２によって撮影した２枚の視差画像データを合成して３次元表示（立体表示）用の画像の作成及び表示を行う。また、複眼カメラ１０は、撮影部１２−１及び１２−２によって撮影した２枚のパノラマ画像の作成用画像データを合成してパノラマ画像の作成及び表示を行う。複眼カメラ１０は、上記視差画像データ及びパノラマ画像の作成用画像データを、１つの記録用画像ファイル（マルチピクチャファイル）に格納する。また、複眼カメラ１０は、ブラケット撮影時、動画撮影時又は連写時に撮影した複数フレームの画像データをつなぎ合わせて１つの記録用画像ファイル（マルチピクチャファイル）に格納する。
【００３５】
ＣＰＵ（Central Processing Unit）１４は、操作部１６からの入力に基づいて複眼カメラ１０の動作を制御する。
【００３６】
制御バス２８は、ＣＰＵ１４からの指令を複眼カメラ１０の各部に伝送する伝送路である。データバス３０は、画像信号等の各種のデータを伝送する伝送路である。
【００３７】
メインメモリ３４には、ＣＰＵ１４が実行するプログラム及び制御に必要な各種データのほか、ユーザ設定情報等の複眼カメラ１０の動作に関する各種設定情報等が格納される。メモリ制御部３２は、所定のプロトコルに従って、メインメモリ３４からのデータの読み出し、メインメモリ３４へのデータの書き込み、メインメモリ３４内のデータのリフレッシュを行うためのインターフェースである。
【００３８】
記録媒体４０には、撮影された画像ファイル及び各種のデータが記録される。記録媒体４０としては、例えば、ＳＤメモリカード（登録商標）又はｘＤピクチャカード（登録商標）を用いることができる。外部メモリ制御部３８は、所定のプロトコルに従って、記録媒体４０からのデータの読み出し、記録媒体４０へのデータの書き込みを行うためのインターフェースである。
【００３９】
操作部１６は、ユーザが各種の操作入力を行うための操作手段であり、電源のオンとオフの切り替えを行う電源スイッチ、複眼カメラ１０の動作モードの切り替えを行うモードダイヤル、レリーズボタン及びズームボタンを含んでいる。
【００４０】
モードダイヤルは、複眼カメラ１０の動作モードの切り替え入力を行うための操作手段であり、モードダイヤルの設定位置に応じて、２次元の画像（静止画、動画）を撮影する２Ｄモード、３次元の画像（静止画、動画）を撮影する３Ｄモード、パノラマ画像を撮影するためのパノラマ撮影モード及び画像の再生を行う再生モードの間で動作モードが切り替えられる。
【００４１】
レリーズボタンは、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。静止画撮影時には、レリーズボタンが半押しされると（Ｓ１オン）、撮影準備処理（例えば、自動露出調整処理（ＡＥ：Automatic Exposure）、自動焦点合わせ処理（ＡＦ：Auto Focus）、自動ホワイトバランス調整処理（ＡＷＢ：Automatic White Balance））が行われる。そして、レリーズボタンが全押しされると（Ｓ２オン）、静止画の撮影・記録処理が行われる。また、動画撮影時には、レリーズボタンが全押しされると動画の撮影が開始され、再度全押しされると動画の撮影が終了する。なお、静止画撮影用のレリーズボタン及び動画撮影用のレリーズボタンを別々に設けるようにしてもよい。
【００４２】
ズームボタンは、撮影部１２−１及び１２−２のズーミング操作を行うための操作手段であり、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとを備えている。
【００４３】
表示部４４は、例えば、カラー液晶パネル（ＬＣＤ）を備えた表示装置である。表示部４４は、撮影された画像を表示する表示部として機能するとともに、複眼カメラ１０の各種機能に関する設定を行うときに時のユーザインターフェイスとして機能する。また、表示部４４は、撮影モード時に画角を確認するための電子ファインダとして機能する。
【００４４】
表示部４４は、３Ｄモード時に、ユーザが立体視可能な３次元（３Ｄ）画像を表示する機能を有する。３Ｄ画像の表示方式としては、例えば、ライト・ディレクション・コントロール・システム（Light Direction Control System）が採用される。ライト・ディレクション・コントロール・システムでは、左眼用の画像データをＬＣＤに表示して、バックライトパネルによってユーザの左眼に届くように指向性をもたせた照明光をＬＣＤに照射する処理と、右眼用の画像データをＬＣＤに表示して、バックライトパネルによってユーザの右眼に届くように指向性をもたせた照明光をＬＣＤに照射する処理とを交互に（例えば、１／６０秒間隔で）繰り返す。これにより、相互に視差のある左眼用画像と右眼用画像が、ユーザの左右の眼によって交互に観察されるので、ユーザは立体的な画像を観察することができる。
【００４５】
表示制御部４２は、データバス３０を介して入力されるＲ，Ｇ，Ｂの色信号を表示用の信号に変換する。
【００４６】
次に、複眼カメラ１０の撮影機能について説明する。なお、図１では、各撮影部１２−１及び１２−２等にそれぞれ符号１及び２を付して区別しているが、各部の機能は略同様であるため、以下の説明では、符号１及び２を適宜省略して説明する。
【００４７】
各撮影部１２は、撮像光学系１８及び撮像素子２０を含んでいる。撮像光学系１８は、フォーカスレンズ、ズームレンズ、絞り、メカニカルシャッタ及びこれらを駆動する駆動部（アクチュエータ）を備えている。
【００４８】
フォーカスレンズ及びズームレンズは、各撮影部１２の光軸に沿って前後に移動する。ＣＰＵ１４は、撮像光学系１８のフォーカスアクチュエータの動作を制御して、フォーカスレンズの位置を調整してフォーカシングを行う。また、ＣＰＵ１４は、撮像光学系１８のズームアクチュエータの動作を制御して、ズームレンズの位置を調整してズーミングを行う。また、ＣＰＵ１４は、撮像光学系１８の絞り駆動部の駆動を制御することにより、絞りの開口量（絞り値）を調整して撮像素子２０への入射光量を制御する。
【００４９】
メカニカルシャッタは、撮像素子２０からデータを読み出すときに、撮像素子２０に入射する光を遮光するために閉じられる。
【００５０】
ＣＰＵ１４は、３Ｄモード及びパノラマ撮影モード時に、各撮影部１２−１及び１２−２の撮像光学系１８−１及び１８−２を同期させて駆動する。即ち、撮影部１２−１及び１２−２は、３Ｄモード及びパノラマ撮影モード時に、常に同じ焦点距離（ズーム倍率）に設定され、常に同じ入射光量（絞り値）となるように絞りが調整される。更に、３Ｄモード時には、常に同じ被写体にピントが合うように焦点調節が行われる。
【００５１】
ＣＰＵ１４は、３Ｄモード時に、不図示の撮影部駆動機構を制御して、左右の眼に対応する視差画像が得られるように撮影部１２−１及び１２−２の輻輳角（撮像光学系１８−１と１８−２の光軸のなす角）を調整する。また、ＣＰＵ１４は、パノラマ撮影モード時に、ユーザからの入力に応じて所望の範囲が撮影できるように撮影部１２−１及び１２−２の輻輳角を調整する。
【００５２】
撮像素子２０は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサである。撮像素子２０−１と撮像素子２０−２はチップサイズが同じで画素数が相互に異なっている。なお、撮像素子２０としては、他の方式の撮像素子（例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ）を用いることも可能である。
【００５３】
撮像素子２０の受光面には、多数の受光素子（フォトダイオード）が２次元的に配列されており、各フォトダイオードには所定の配列で３色（例えば、Ｒ，Ｇ，Ｂ）のカラーフィルタが配置されている。なお、画素配列は、例えば、ベイヤー配列又はハニカム配列である。
【００５４】
撮影部１２を介して撮像素子２０の受光面上に被写体光が結像されると、この被写体光はフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１４の指令に従って撮像素子駆動部２２から与えられる駆動パルスに基づいて、電荷量に応じた電圧信号（Ｒ，Ｇ，Ｂ信号）として撮像素子２０から順次読み出される。撮像素子２０は、電子シャッター機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッター速度）が制御される。
【００５５】
アナログ信号処理部２４は、撮像素子２０から出力されたＲ，Ｇ，Ｂ信号に含まれるリセットノイズ（低周波）を除去するための相関２重サンプリング回路（ＣＤＳ）、Ｒ，Ｇ，Ｂ信号を増幅して一定レベルの大きさにコントロールするためのＡＧＳ回路を含んでいる。撮像素子２０から出力されるアナログのＲ，Ｇ，Ｂ信号は、アナログ信号処理部２４によって相関２重サンプリング処理されるとともに増幅される。アナログ信号処理部２４におけるＲ，Ｇ，Ｂ信号の増幅ゲインは撮影感度（ＩＳＯ感度）に相当する。ＣＰＵ１４は、被写体の明るさ等に応じて、この増幅ゲインを調整することにより撮影感度を設定する。なお、２つのＣＣＤを用いて画像を撮影する場合（３Ｄモード及びパノラマ撮影モード時）、このゲインはアナログ信号処理部２４−１と２４−２とで同じ値に設定される。
【００５６】
アナログ信号処理部２４から出力されたアナログのＲ，Ｇ，Ｂ信号は、Ａ／Ｄ変換器２６によってデジタルのＲ，Ｇ，Ｂ信号に変換された後、データバス３０を介してデジタル信号処理部３６に入力される。
【００５７】
上記のようにして生成されたデジタルのＲ，Ｇ，Ｂ信号は、デジタル信号処理部３６において、所定の処理（例えば、同時化処理（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理）、ホワイトバランス調整処理、階調変換（ガンマ補正）処理及び輪郭補正処理）が施されて、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）、即ち、Ｙ／Ｃ信号に変換される。
【００５８】
ライブビュー画像（スルー画）を表示部４４に表示する場合、デジタル信号処理部３６において生成されたＹ／Ｃ信号が１フレーム分ずつＲ，Ｇ，Ｂ信号に変換された後表示部４４に出力される。
【００５９】
次に、画像の撮影及び記録処理について説明する。２Ｄモード時には、所定の１つの撮影部（例えば、１２−１）により記録用の画像が撮影される。なお、２Ｄモード時にどちらの撮影部を使用するかはユーザが選択できるようにしてもよい。
【００６０】
２Ｄモード時に、撮影部１２−１によって撮影された画像は圧縮され、所定形式の画像ファイルとして記録媒体４０に記録される。例えば、静止画についてはＪＰＥＧ（Joint Photographic Experts Group）、動画についてはＭＰＥＧ２又はＭＰＥＧ４、Ｈ．２６４規格に準拠した圧縮画像ファイルとして記録される。
【００６１】
３Ｄモード及びパノラマ撮影モード時には、撮影部１２−１及び１２−２によって同期して画像が撮影される。上記３Ｄモード及びパノラマ撮影モード時には、ＡＦ処理及びＡＥ処理は、撮影部１２−１及び１２−２のいずれか一方によって取得された画像信号に基づいて行われる。上記３Ｄモード及びパノラマ撮影モード時には、各撮影部１２−１及び１２−２によって撮影された２視点の画像は、それぞれ圧縮されて１つのマルチピクチャファイルに格納されて記録媒体４０に記録される。マルチピクチャファイルには、２視点の圧縮画像データとともに、被写体距離情報、撮影部１２の撮影レンズの間隔及び輻輳角に関する情報が格納される。
【００６２】
再生モード時には、記録媒体４０に記録されている所定の画像ファイル（例えば、最後に記録された画像ファイル）が読み出されて、非圧縮のＹ／Ｃ信号に伸張され、Ｒ，Ｇ，Ｂ信号に変換された後表示部４４に出力される。これにより、記録媒体４０に記録されている画像ファイルが表示部４４に表示される。
【００６３】
［撮像素子の構成］
図２は、撮像素子２０−１と２０−２に入射する光量と出力の関係（光量−出力特性）を示すグラフである。図２の横軸は一定光量下での露光時間（即ち、入射光量）、縦軸は撮像素子の出力（１画素に蓄積される蓄積電荷量）である。
【００６４】
撮像素子２０−１（例えば、６００万画素）と撮像素子２０−２（例えば、１２００万画素）はチップサイズ（面積）が等しく、かつ、撮像素子２０−１の方が撮像素子２０−２よりも画素数が少ないので、撮像素子２０−１の画素サイズは撮像素子２０−２よりも大きい。
【００６５】
従って、図２に示すように、同じ撮影条件（例えば、露光時間、絞り、ゲイン（撮影感度））で撮影した場合、撮像素子２０−１（曲線Ｌ１）は撮像素子２０−２（曲線Ｌ２）よりも１画素に蓄積可能な電荷量が大きい。即ち、撮像素子２０−１は、撮像素子２０−２よりも感度が高い。また、撮像素子２０−１と２０−２とはダイナミックレンジが異なる。
【００６６】
本実施形態では、撮像素子２０−１と２０−２を用いて撮影した画像を合成する場合（３Ｄモード及びパノラマ撮影モード時）、この光量−出力特性の差分を埋めるため画素加算処理を行う。
【００６７】
［デジタル信号処理部の構成］
次に、デジタル信号処理部３６の構成について、図１を参照して説明する。
【００６８】
制御部５０は、ＣＰＵ１４からの指令に基づいてデジタル信号処理部３６の各部を制御する。
【００６９】
入出力処理回路５２は、低画素撮像素子２０−１から得られたデータを画像処理部５６に入力し、高画素撮像素子２０−２から得られたデータを画素加算処理部５４に入力する。
【００７０】
画素加算処理部５４は、高画素撮像素子２０−２のデータの画素数が低画素撮像素子２０−１のデータの画素数と等しくなるように画素加算処理を行う。例えば、高画素撮像素子２０−２の画素数が低画素撮像素子２０−１のＮ倍（画素サイズが約Ｎ分の１）とした場合（Ｎ：整数（Ｎ＞１））、高画素撮像素子２０−２のＮ画素を加算することにより、低画素撮像素子２０−１と高画素撮像素子２０−２との間の光量−出力特性を合わせることができる。図２に示す例では、高画素撮像素子２０−２（１２００万画素）の画素数が低画素撮像素子２０−１（６００万画素）の２倍（画素サイズが約２分の１）であるため、高画素撮像素子２０−２の２画素を加算することにより、低画素撮像素子２０−１と高画素撮像素子２０−２との間の光量−出力特性を合わせることができる。
【００７１】
なお、高画素撮像素子２０−２の画素数Ｐ２と低画素撮像素子２０−１の画素数Ｐ１の比Ｐ２／Ｐ１が整数ではない場合には、例えば、Ｐ２／Ｐ１に近い整数個分の画素を加算した後に、低画素撮像素子２０−１又は高画素撮像素子２０−２から得られたデータに所定のゲインをかけることにより、低画素撮像素子２０−１の出力と高画素撮像素子２０−２の出力との間の光量−出力特性を合わせるようにすればよい。
【００７２】
また、画素加算処理後に、低画素撮像素子２０−１と高画素撮像素子２０−２のデータの画素数を合わせるために、低画素撮像素子２０−１と高画素撮像素子２０−２に対して画素の補間又は間引き処理を行うようにしてもよい。これにより、両撮像素子から光量−出力特性が同じで、且つ、データの画素数が等しい画像信号を取得することができる。
【００７３】
画像処理部５６は、低画素撮像素子２０−１のデータと、高画素撮像素子２０−２の画素加算処理が施されたデータとを合成する。３Ｄモード時には、画像処理部５６は、低画素撮像素子２０−１のデータと、高画素撮像素子２０−２のデータとを合成して３Ｄ画像を作成する。パノラマ撮影モード時には、画像処理部５６は、低画素撮像素子２０−１のデータと、高画素撮像素子２０−２のデータとを横方向につなぎ合わせてパノラマ画像を作成する。
【００７４】
［画素加算処理］
図３は、本発明の第１の実施形態に係る複眼カメラにおいて、２つの撮像素子を用いて画像を撮影して合成する場合の処理を示すフローチャートである。
【００７５】
まず、レリーズボタンの半押し（Ｓ１オン）に応じて所定の撮影準備処理が実行された後、レリーズボタンが全押しされると（Ｓ２オン）、各撮像素子２０−１及び２０−２が同期して駆動されて露光が開始される（ステップＳ１０）。撮影準備処理により決定された露光時間が経過すると、各撮像素子２０−１及び２０−２からアナログ信号（アナログデータ）が読み出される（ステップＳ１２）。そして、上記アナログデータは所定の処理が施された後、Ａ／Ｄ変換器２６−１及び２６−２によってデジタルの画像信号（データ）に変換され（ステップＳ１４）、デジタル信号処理部３６の入出力処理回路５２に入力される（ステップＳ１６）。
【００７６】
次に、低画素撮像素子２０−１の出力信号から生成されたデータは、画像処理部５６に入力される（ステップＳ１８）。一方、高画素撮像素子２０−２の出力信号から生成されたデータは、入出力処理回路５２から画素加算処理部５４に入力されて（ステップＳ２０）、画素加算処理が行われた後（ステップＳ２２）、画像処理部５６に入力される（ステップＳ２４）。
【００７７】
次に、画像処理部５６において、低画素撮像素子２０−１から得られたデータと高画素撮像素子２０−２から得られたデータに所定の処理が施されて合成される（ステップＳ２６）。また、表示部４４に確認用の画像が表示される。例えば、３Ｄモードの場合には、両撮像素子２０−１及び２０−２から得られたデータが合成されて３Ｄ画像が作成され、３Ｄ画像の表示処理が行われる。また、パノラマ撮影モードの場合には、両撮像素子２０−１及び２０−２から得られたデータがつなぎ合わされて、パノラマ画像の作成及び表示が行われる。そして、作成された画像（３Ｄ画像又はパノラマ画像）が所定の形式のファイルに格納されて記録される（ステップＳ２８）。
【００７８】
本実施形態によれば、画素数が多い高画素撮像素子２０−２から出力された画素データに対して画素加算処理を行うことにより、ゲイン調整のみで画素数が少ない撮像素子に光電変換特性を合わせた場合よりも、両撮像素子の光量−出力特性の差に起因する画質の劣化を防ぐことができる。
【００７９】
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。なお、以下の説明において、上記第１の実施形態と同様の構成については説明を省略する。
【００８０】
本実施形態は、低画素撮像素子２０−１の２倍の画素数を有する高画素撮像素子２０−２の画素を２画素群に分けて、各画素群を異なる露光時間露光して画素加算を行うことにより、両撮像素子２０−１及び２０−２間の光量−出力特性を合わせるようにしたものである。
【００８１】
図４は、本発明の第２の実施形態に係る複眼カメラの主要構成を示すブロック図である。
【００８２】
図４に示すように、本実施形態に係る複眼カメラ１０Ａは、画素加算露光調整係数記録部４６を更に備えている。
【００８３】
画素加算露光調整係数記録部４６は、後述の画素加算露光調整係数αを記録するメモリ（ＲＯＭ）である。
【００８４】
また、本実施形態の高画素撮像素子２０−２に接続される撮像素子駆動部２２−２は画素加算駆動モードを備える。
【００８５】
本実施形態では、高画素撮像素子２０−２（１２００万画素）の画素数が低画素撮像素子２０−１（６００万画素）の画素数の２倍であるため、高画素撮像素子２０−２を第１画素群（６００万画素）と第２画素群（６００万画素）に分けて相互に異なる時間ずつ露光し、両画素群の画素の画素加算処理を行う。
【００８６】
以下、本実施形態に係る画素加算駆動モードにおける処理の流れについて、図５から図７を参照して説明する。図５は、高画素撮像素子２０−２を画素加算駆動するときの駆動信号を示すタイミングチャートである。図６は、画素加算駆動時の画像信号の動きを説明するための平面図である。
【００８７】
まず、レリーズボタンの半押し（Ｓ１オン）に応じて撮影準備処理が行われる。撮影準備処理では、露光時間（低画素撮像素子２０−１と高画素撮像素子２０−２の第１画素群の露光時間）ｔＬが算出される。また、露光時間ｔＬと係数αとから第２画素群の露光時間ｔＳが算出される。
【００８８】
次に、レリーズボタンが全押し（Ｓ２オン）されると、ＶＯＤ（Vertical Overflow Drain）信号が両撮像素子２０−１及び２０−２に入力されて（図５の時間ｔ１）、各画素に蓄積されている不要な電荷が各撮像素子が配設されている基板側に排出される。
【００８９】
次に、両撮像素子２０−１及び２０−２の露光が開始され（図５の時間ｔ２からｔ３）、図６（ａ）に示すように、第１画素群の画素ＰＩＸ１と第２画素群の画素ＰＩＸ２がともに露光される。
【００９０】
第２画素群の画素ＰＩＸ２の露光時間ｔＳが経過すると、第２画素群の画素ＰＩＸ２に駆動信号φ２Ｂが印加されて（図５の時間ｔ３）、図６（ｂ）に示すように、第２画素群ＰＩＸ２に蓄積された電荷が垂直転送路ＶＣＣＤに読み出されて保持される。一方、図６（ｃ）に示すように、第１画素群の画素ＰＩＸ１の露光は継続される（図５の時間ｔ３からｔ４）。
【００９１】
第１画素群の画素ＰＩＸ１の露光時間ｔＬが経過すると、第１画素群の画素ＰＩＸ１に駆動信号φ２Ａが印加されて（図５の時間ｔ４）、図６（ｄ）に示すように、第１画素群ＰＩＸ１に蓄積された電荷が垂直転送路（ＶＣＣＤ）に読み出される。
【００９２】
そして、図６（ｅ）に示すように、第１画素群の画素ＰＩＸ１及び第２画素群の画素ＰＩＸ２から読み出された電荷が垂直転送路ＶＣＣＤ及び水平転送路ＨＣＣＤを転送されて、アナログ信号処理部２４に転送される（図５の時間ｔ５以降）。そして、上記第１の実施形態と同様に、デジタル信号処理部３６において、画素加算処理が行われる。
【００９３】
なお、画素加算処理後に、低画素撮像素子２０−１と高画素撮像素子２０−２のデータの画素数を合わせるために、低画素撮像素子２０−１と高画素撮像素子２０−２に対して画素の補間又は間引き処理を行うようにしてもよい。これにより、両撮像素子から光量−出力特性が同じで、且つ、データの画素数が等しい画像信号を取得することができる。
【００９４】
［露光時間算出処理］
以下、第２画素群の露光時間の算出処理について説明する。
【００９５】
図７は、本発明の第２の実施形態に係る画素加算処理を説明するための図である。図７の横軸は一定光量下での露光時間（即ち、入射光量）、縦軸は撮像素子の出力（１画素に蓄積される蓄積電荷量）である。
【００９６】
上記高画素撮像素子２０−２の第２画素群の露光時間ｔＳは、図７及び下記の式（１）に示すように、第２画素群の出力Ｃが低画素撮像素子２０−１の出力Ａと上記第１画素群の出力Ｂとの差と等しくなるように設定される。
【００９７】
（低画素撮像素子２０−１の出力Ａ）＝（高画素撮像素子２０−２の第１画素群の出力Ｂ）＋（高画素撮像素子２０−２の第２画素群の出力Ｃ）  …（１）
具体的には、図７に示す低画素撮像素子２０−１の光量−出力特性Ｌ１０と高画素撮像素子２０−２の第１画素群の光量−出力特性Ｌ２１を取得し、下記の計算式（２）により画素加算露光調整係数αを算出する。上記係数αは、複眼カメラ１０Ａの出荷時に、光量の関数として画素加算露光調整係数記録部４６に記録される。
【００９８】
α＝｛（出力Ａ）−（出力Ｂ）｝／（出力Ｂ）    …（２）
ＣＰＵ１４は、撮影部１２−１及び１２−２により撮影した画像を合成するモード（３Ｄモード及びパノラマ撮影モード）時に、下記の式（３）に示すように、撮影準備処理により決定された低画素撮像素子２０−１及び高画素撮像素子２０−２の第１画素群の露光時間ｔＬに上記係数αを掛けることで第２画素群の露光時間ｔＳを算出する。
【００９９】
ｔＳ＝ｔＬ×α                                …（３）
これにより、上記式（１）に示すように、図７の曲線Ｌ２２に示すように、第２画素群の出力Ｃが低画素撮像素子２０−１の出力Ａと上記第１画素群の出力Ｂとの差と等しくなるような露光時間ｔＳが求められる。
【０１００】
本実施形態によれば、高画素撮像素子２０−２を２つの画素群に分けて、両画素群の出力の和が低画素撮像素子２０−１の出力と等しくなるように、一方の画素群の露光時間を調整することにより、両撮像素子の光量−出力特性の差に起因する画質の劣化を防止することができる。更に、本実施形態によれば、両撮像素子の特性を一致させるために画素加算後のデータをゲインにより調整する必要がないという利点を有する。
【０１０１】
なお、図６に示す例では、第１画素群の画素の列と第２画素群の画素の列が１列おきに配置されているが、これに限定されるものではない。第１画素群と第２画素群の分け方は、例えば、受光素子上に配置されたカラーフィルタの配列に応じて異なる。
【０１０２】
また、高画素撮像素子２０−２の画素群と低画素撮像素子２０−１の画素数の比に応じて、高画素撮像素子２０−２の画素を３以上の画素群に分けて、各画素群を異なる露光時間露光させてから画素加算することも可能である。
【０１０３】
また、上記の各実施形態では、各撮像素子２０−１及び２０−２からの出力をデジタルデータに変換した後で画素加算処理を行うようにしたが、例えば、各撮像素子２０−１及び２０−２内の転送路（水平転送路）で画素加算処理を行うようにしてもよい。
【０１０４】
［第３の実施形態］
次に、本発明の第３の実施形態について説明する。なお、以下の説明において、上記第１の実施形態と同様の構成については説明を省略する。
【０１０５】
図８は、本発明の第３の実施形態に係る複眼カメラの主要構成を示すブロック図である。
【０１０６】
図８に示すように、本実施形態に係る複眼カメラ１０Ｂは、飽和特性調整テーブル４８を更に備えている。
【０１０７】
飽和特性調整テーブル４８は、低画素撮像素子２０−１と高画素撮像素子２０−２のＯＦＤ（Overflow Drain）電圧と飽和時に画素に蓄積可能な電荷量の関係を示す飽和特性が格納される。この飽和特性調整テーブル４８は、出荷時に複眼カメラ１０Ｂに内蔵される。
【０１０８】
図９は、飽和特性調整テーブル４８を示す図である。図９（ａ）は低画素撮像素子２０−１の飽和時電荷量とＯＦＤ電圧との関係を示しており、図９（ｂ）は高画素撮像素子２０−２の画素加算処理後の（例えば、２画素加算した場合の）飽和時電荷量とＯＦＤ電圧との関係を示している。なお、図９の横軸はＯＦＤ電圧であり、縦軸は飽和時に画素に蓄積可能な電荷量である。
【０１０９】
撮像素子２０−１と２０−２を用いて撮影した画像を合成するモード時（３Ｄモード及びパノラマ撮影モード時）において、上記第１又は第２の実施形態の画素加算を行う場合に、ＣＰＵ１４は、図９に示す飽和特性調整テーブル４８に基づいて低画素撮像素子２０−１の飽和時電荷量（目標飽和値）と高画素撮像素子２０−２の画素加算処理後の（例えば、２画素加算した場合の）飽和時電荷量（目標飽和値）とが等しくなるように、各撮像素子２０−１及び２０−２に印加するＯＦＤ電圧（それぞれＶ１，Ｖ２）を決定する。
【０１１０】
本実施形態によれば、低画素撮像素子２０−１と高画素撮像素子２０−２の飽和特性を一致させることができるので、両撮像素子２０−１及び２０−２の飽和時電荷量に近い出力を用いて画像を合成する場合の画質の劣化を防止することができる。
【図面の簡単な説明】
【０１１１】
【図１】本発明の第１の実施形態に係る複眼カメラの主要構成を示すブロック図
【図２】撮像素子２０−１と２０−２に入射する光量と出力の関係（光量−出力特性）を示すグラフ
【図３】本発明の第１の実施形態に係る複眼カメラにおいて、２つの撮像素子を用いて画像を撮影して合成する場合の処理を示すフローチャート
【図４】本発明の第２の実施形態に係る複眼カメラの主要構成を示すブロック図
【図５】高画素撮像素子２０−２を画素加算駆動するときの駆動信号を示すタイミングチャート
【図６】画素加算駆動時の画像信号の動きを説明するための平面図
【図７】本発明の第２の実施形態に係る画素加算処理を説明するための図
【図８】本発明の第３の実施形態に係る複眼カメラの主要構成を示すブロック図
【図９】飽和特性調整テーブル４８を示す図
【符号の説明】
【０１１２】
１０…複眼カメラ、１２…撮影部、１４…ＣＰＵ、１６…操作部、１８…撮像光学系、２０…撮像素子、２２…撮像素子駆動部、２４…アナログ信号処理部、２６…Ａ／Ｄ変換器、２８…制御バス、３０…データバス、３２…メモリ制御部、３４…メインメモリ、３６…デジタル信号処理部、３８…外部メモリ制御部、４０…記録媒体、４２…表示制御部、４４…表示部、４６…画素加算露光調整係数記録部、４８…飽和特性調整テーブル、５０…制御部、５２…入出力処理回路、５４…画素加算処理部、５６…画像処理部
【図１】
2010157863.tif 000003
【図２】
2010157863.tif 000004
【図３】
2010157863.tif 000005
【図４】
2010157863.tif 000006
【図５】
2010157863.tif 000007
【図６】
2010157863.tif 000008
【図７】
2010157863.tif 000009
【図８】
2010157863.tif 000010
【図９】
2010157863.tif 000011