(57)【特許請求の範囲】
【請求項１】
入射光を複数種類の波長ごとに電気信号に変換する複数の撮像素子と、
前記複数の撮像素子ごとに設けられ、前記複数の撮像素子から出力された複数の波長信号を所定の混合比で混合して輝度信号を生成する輝度信号生成部と、
前記複数の撮像素子の各々に結像した被写体像の相対的位置関係に応じて前記複数の撮像素子ごとに前記複数の波長信号の混合比を変更する混合比制御部と、
前記複数の撮像素子ごとに得られた輝度信号の相関に基づいて被写体までの距離を検出する距離検出部と、を備え、
前記混合比制御部は、前記複数の撮像素子に結像した被写体像の相互の距離が近いときは長波長信号の割合が多く、前記被写体像の相互の距離が遠いときは短波長信号の割合が多くなるように混合比を変更することを特徴とする撮像装置。
【請求項２】
前記複数の撮像素子の各々に結像した被写体像の相対的位置関係を検出する位置検出部を備え、前記混合比制御部は前記位置検出部が検出した前記複数の撮像素子の各々に結像した被写体像の相対的位置関係に応じて前記混合比を変更することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記混合比制御部は前記複数の波長信号の各々に乗算する係数を変更することにより前記混合比を変更することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記混合比制御部は、同一の撮像素子に結像した複数の被写体ごとに前記混合比を変更することを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
【請求項５】
入射光を複数種類の波長ごとに電気信号に変換する複数の撮像素子と、
前記複数の撮像素子ごとに設けられ、前記複数の撮像素子の各々から出力された複数の波長信号の各々を高周波成分と低周波成分とに分離するフィルタと、
前記複数の波長信号ごとの低周波成分を所定の混合比で混合して低域輝度信号を生成する低域輝度信号生成部と、
前記複数の波長信号ごとの高周波成分を所定の混合比で混合して高域輝度信号を生成し、前記高域輝度信号と前記低域輝度信号とを加算して輝度信号を生成する輝度信号生成部と、
前記複数の撮像素子ごとに得られた輝度信号の相関に基づいて被写体までの距離を検出する距離検出部と、
前記複数の撮像素子の各々に結像した被写体像の相対的位置関係を検出する位置検出部と、
前記位置検出部の検出結果に応じて前記高周波成分の混合比を変更する混合比制御部と、を備え、
前記混合比制御部は、前記複数の撮像素子に結像した被写体像の相互の距離が近いときは長波長信号の高周波成分の割合が多く、前記被写体像の相互の距離が遠いときは短波長信号の高周波成分の割合が多くなるように混合比を変更することを特徴とする撮像装置。
【請求項６】
前記低域輝度信号生成部は前記複数の波長信号ごとの前記低周波成分に係数を乗算することにより前記低周波成分を所定の混合比とすることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記混合比制御部は前記複数の波長信号ごとの高周波成分に乗算する係数を変更することにより前記混合比を変更することを特徴とする請求項５に記載の撮像装置。
【請求項８】
入射光を複数種類の波長ごとに電気信号に変換する複数の撮像素子と、
前記複数の撮像素子ごとに設けられ、前記複数の撮像素子の各々から出力された複数の波長信号の各々から高周波成分を分離するフィルタと、
前記複数の撮像素子ごとに前記高周波成分を混合して得られた高域輝度信号の相関に基づいて被写体までの距離を検出する距離検出部と、
前記複数の撮像素子の各々に結像した被写体像の相対的位置関係を検出する位置検出部と、
前記位置検出部の検出結果に応じて前記高周波成分の混合比を変更する混合比制御部と、を備え、
前記混合比制御部は、前記複数の撮像素子に結像した被写体像の相互の距離が近いときは長波長信号の高周波成分の割合が多く、前記被写体像の相互の距離が遠いときは短波長信号の高周波成分の割合が多くなるように混合比を変更することを特徴とする撮像装置。
【請求項９】
前記混合比制御部は、同一の撮像素子に結像した複数の被写体ごとに前記混合比を変更することを特徴とする請求項５、７又は８に記載の撮像装置。
【請求項１０】
前記複数の波長信号は赤信号、緑信号及び青信号であることを特徴とする請求項１乃至９のいずれか一項に記載の撮像装置。
【請求項１１】
入射光を複数種類の波長ごとに電気信号に変換する複数の撮像素子を使用し、
前記複数の撮像素子から出力された複数の波長信号を所定の混合比で混合して前記複数の撮像素子ごとに輝度信号を生成する輝度信号生成工程と、
前記撮像素子の各々に結像した被写体像の相対的位置関係に応じて前記複数の撮像素子ごとに前記複数の波長信号の混合比を変更する混合比制御工程と、
前記複数の撮像素子ごとに得られた輝度信号の相関に基づいて被写体までの距離を検出する距離検出工程と、を有し、
前記混合比制御工程において、前記複数の撮像素子に結像した被写体像の相互の距離が近いときは長波長信号の割合が多く、前記被写体像の相互の距離が遠いときは短波長信号の割合が多くなるように混合比を変更することを特徴とする撮像方法。
【請求項１２】
前記混合比制御工程において、前記複数の撮像素子の各々に結像した被写体像の相対的位置関係を検出する位置検出部を使用し、前記位置検出部が検出した前記複数の撮像素子の各々に結像した被写体像の相対的位置関係に応じて前記混合比を変更することを特徴とする請求項１１に記載の撮像方法。
【請求項１３】
前記混合比制御工程において、前記複数の波長信号の各々に乗算する係数を変更することにより前記混合比を変更することを特徴とする請求項１１又は１２に記載の撮像方法。
【請求項１４】
前記混合比制御工程において、同一の撮像素子に結像した複数の被写体ごとに前記混合比を変更することを特徴とする請求項１１乃至１３のいずれか一項に記載の撮像方法。
【請求項１５】
入射光を複数種類の波長ごとに電気信号に変換する複数の撮像素子と、
前記複数の撮像素子の各々から出力された複数の波長信号の各々を高周波成分と低周波成分とに分離するフィルタとを使用し、
前記複数の波長信号ごとの低周波成分を所定の混合比で混合して低域輝度信号を生成する低域輝度信号生成工程と、
前記複数の波長信号ごとの高周波成分を所定の混合比で混合して高域輝度信号を生成し、前記高域輝度信号と前記低域輝度信号とを加算して輝度信号を生成する輝度信号生成工程と、
前記複数の撮像素子ごとに得られた輝度信号の相関に基づいて被写体までの距離を検出する距離検出工程と、
前記複数の撮像素子の各々に結像した被写体像の相対的位置関係を検出する位置検出部を使用し、前記位置検出部の検出結果に応じて前記高周波成分の混合比を変更する混合比制御工程と、を有し、
前記混合比制御工程において、前記複数の撮像素子に結像した被写体像の相互の距離が近いときは長波長信号の高周波成分の割合が多く、前記被写体像の相互の距離が遠いときは短波長信号の高周波成分の割合が多くなるように混合比を変更することを特徴とする撮像方法。
【請求項１６】
前記複数の波長信号ごとの前記低周波成分に係数を乗算することにより前記低周波成分を所定の混合比とすることを特徴とする請求項１５に記載の撮像方法。
【請求項１７】
前記混合比制御工程において、前記複数の波長信号ごとの高周波成分に乗算する係数を変更することにより前記混合比を変更することを特徴とする請求項１５に記載の撮像方法。
【請求項１８】
入射光を複数種類の波長ごとに電気信号に変換する複数の撮像素子と、
前記複数の撮像素子の各々から出力された複数の波長信号の各々から高周波成分を分離するフィルタとを使用し、
前記複数の撮像素子ごとに前記高周波成分を混合して得られた高域輝度信号の相関に基づいて被写体までの距離を検出する距離検出工程と、
前記複数の撮像素子の各々に結像した被写体像の相対的位置関係を検出する位置検出部を使用し、前記位置検出部の検出結果に応じて前記高周波成分の混合比を変更する混合比制御工程と、を有し、
前記混合比制御工程において、前記複数の撮像素子に結像した被写体像の相互の距離が近いときは長波長信号の高周波成分の割合が多く、前記被写体像の相互の距離が遠いときは短波長信号の高周波成分の割合が多くなるように混合比を変更することを特徴とする撮像方法。
【請求項１９】
前記混合比制御工程において、同一の撮像素子に結像した複数の被写体ごとに前記混合比を変更することを特徴とする請求項１５、１７又は１８に記載の撮像方法。
【請求項２０】
前記複数の波長信号は赤信号、緑信号及び青信号であることを特徴とする請求項１１乃至１９のいずれか一項に記載の撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置及び撮像方法に係り、特に、複数の撮像素子を用いて３次元画像を撮影する撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
従来から、複数の撮像素子により被写体を異なる位置から撮像して撮影画像の相関を求め、同一被写体に対する視差により、撮像素子の位置や焦点距離などのパラメータを用いて被写体の位置（距離）を測る３次元撮像装置が知られている（特許文献１〜特許文献３参照）。【０００３】
このような３次元撮像装置では、被写体の距離の検出に、撮像素子から出力される各波長信号（ＲＧＢ信号など）により求めた輝度信号Ｙが用いられる。輝度信号Ｙは、通常、撮像素子から出力される各波長信号を固定した比率で混合することにより求めていた。例えば、輝度信号Ｙは、ＲＧＢ信号をＹ＝０．３Ｒ＋０．６Ｇ＋０．３Ｂといった所定の比率で混合することにより求めていた。【０００４】
上記の３次元撮像装置では、固定焦点レンズを用いて被写体の距離を測る場合、一般に数１０ｃｍから無限遠まで焦点が合うように設定されている。被写体に焦点が合っているか否かの判断は、輝度信号ＹのＭＴＦ（Modulation Transfer Function）などにより評価しており、被写体の測距精度はこのＭＴＦに依存している。上記の輝度信号Ｙは、Ｇ信号の成分が多いことから、Ｇ信号のＭＴＦ特性に近い特性を持っている。
【特許文献１】特開平７−２４４７１７号公報
【特許文献２】特開２０００−１８６９２９号公報
【特許文献３】特開２０００−３４７１３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、一般に、パンフォーカス（固定焦点）レンズを透過した被写体からの反射光は、波長ごとに焦点が相違する。例えば、図７に示すように、同じ被写体からの光が固定焦点レンズ１６を透過して結像する場合、その結像面は、各波長の光、すなわち赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光によって相違する。また、図８に示すように、レンズ１７ａ〜１７ｃの焦点距離を一定とした場合は、焦点が合う被写体の最適位置（距離）は波長ごとに相違する。すなわち、赤光は緑光と比較して遠い位置の被写体に焦点が合い、青光は緑光と比較して近い位置の被写体に焦点が合う。【０００６】
従って、被写体が数１０ｃｍ以下の至近距離にある場合は、青信号では高いＭＴＦ特性が得られるが、上記のように緑信号の割合が多い輝度信号ＹではＭＴＦ特性が落ちてボケた画像になってしまう。また、被写体が遠景である場合は、赤信号では高いＭＴＦ特性が得られるが、緑信号の割合が多い輝度信号ＹではやはりＭＴＦ特性が落ちてしまう。このように、各波長信号を固定した比率で混合した輝度信号Ｙを用いると、被写体の位置によって高い測距精度が得られない場合があるという問題があった。【０００７】
本発明の課題は、複数の撮像素子を用いた撮像装置及び撮像方法において、被写体の位置に関わらず高精度な測距を行うことを可能とする撮像装置及び撮像方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、請求項１に記載の発明は、撮像装置であって、入射光を複数種類の波長ごとに電気信号に変換する複数の撮像素子と、前記複数の撮像素子ごとに設けられ、前記複数の撮像素子から出力された複数の波長信号を所定の混合比で混合して輝度信号を生成する輝度信号生成部と、前記複数の撮像素子の各々に結像した被写体像の相対的位置関係に応じて前記複数の撮像素子ごとに前記複数の波長信号の混合比を変更する混合比制御部と、前記複数の撮像素子ごとに得られた輝度信号の相関に基づいて被写体までの距離を検出する距離検出部と、を備え、前記混合比制御部は、前記複数の撮像素子に結像した被写体像の相互の距離が近いときは長波長信号の割合が多く、前記被写体像の相互の距離が遠いときは短波長信号の割合が多くなるように混合比を変更することを特徴とする。
【０００９】
請求項１に記載の発明によれば、撮像素子の各々に結像した被写体像の相対的位置関係に応じて各波長信号の混合比を変更し、最適な波長の光を多く利用することにより、各波長信号を固定した比率で混合した輝度信号を用いる場合と比較して、被写体の位置に関わらず高精度な測距を行うことが可能となる。
【００１０】
請求項２に記載の発明は、請求項１に記載の撮像装置であって、前記複数の撮像素子の各々に結像した被写体像の相対的位置関係を検出する位置検出部を備え、前記混合比制御部は前記位置検出部が検出した前記複数の撮像素子の各々に結像した被写体像の相対的位置関係に応じて前記混合比を変更することを特徴とする。
【００１１】
請求項２に記載の発明によれば、複数の撮像素子による被写体像の相対的位置関係を用いることにより、最適な波長の光が多くなるように各波長信号の混合比を変更することが可能となる。
【００１２】
請求項３に記載の発明は、請求項１又は２に記載の撮像装置であって、前記混合比制御部は前記複数の波長信号の各々に乗算する係数を変更することにより前記混合比を変更することを特徴とする。
【００１３】
請求項３に記載の発明によれば、複数の波長信号の各々に乗算する係数を変更することにより、各波長信号の混合比を変更することが可能となる。
【００１４】
なお、請求項１に記載の撮像装置においては、前記混合比制御部は、前記撮像素子と被写体との距離が遠いときは長波長信号の割合が多く、前記撮像素子と被写体との距離が近いときは短波長信号の割合が多くなるように前記混合比を変更するようにしてもよく、これによれば、遠い被写体には長波長の光の焦点が合い、近い被写体には短波長の光の焦点が合うことから、被写体の距離に応じて焦点が合う波長信号の割合を多くすることにより、ＭＴＦ特性の高い輝度信号を得ることが可能となる。被写体に適した高周波成分の割合が多くＭＴＦ特性の高い高域輝度信号を得て高精度な測距を行うことが可能となる。
【００１６】
請求項１に記載の発明において、前記混合比制御部は、前記複数の撮像素子に結像した被写体像の相互の距離が近いときは長波長信号の割合が多く、前記被写体像の相互の距離が遠いときは短波長信号の割合が多くなるように混合比を変更することで、複数の撮像素子に結像した被写体像の相互の距離は、被写体の距離が遠いほど狭くなり、被写体の距離が近いほど広くなることから、被写体像の相互の距離に応じて焦点が合う波長信号の割合を多くすることにより、ＭＴＦ特性の高い輝度信号を得ることが可能となる。
【００１８】
請求項４に記載の発明は、請求項１乃至３のいずれか一項に記載の撮像装置であって、前記混合比制御部は、同一の撮像素子に結像した複数の被写体ごとに前記混合比を変更することを特徴とする。
【００１９】
請求項４に記載の発明によれば、同一フレーム内に存在する複数の被写体について、各波長信号の混合比を最適化することが可能となる。
【００２０】
請求項５に記載の発明は、撮像装置であって、入射光を複数種類の波長ごとに電気信号に変換する複数の撮像素子と、前記複数の撮像素子ごとに設けられ、前記複数の撮像素子の各々から出力された複数の波長信号の各々を高周波成分と低周波成分とに分離するフィルタと、前記複数の波長信号ごとの低周波成分を所定の混合比で混合して低域輝度信号を生成する低域輝度信号生成部と、前記複数の波長信号ごとの高周波成分を所定の混合比で混合して高域輝度信号を生成し、前記高域輝度信号と前記低域輝度信号とを加算して輝度信号を生成する輝度信号生成部と、前記複数の撮像素子ごとに得られた輝度信号の相関に基づいて被写体までの距離を検出する距離検出部と、前記複数の撮像素子の各々に結像した被写体像の相対的位置関係を検出する位置検出部と、前記位置検出部の検出結果に応じて前記高周波成分の混合比を変更する混合比制御部と、を備え、前記混合比制御部は、前記複数の撮像素子に結像した被写体像の相互の距離が近いときは長波長信号の高周波成分の割合が多く、前記被写体像の相互の距離が遠いときは短波長信号の高周波成分の割合が多くなるように混合比を変更することを特徴とする。
【００２１】
請求項５に記載の発明によれば、高周波成分については、各波長の高周波成分のうち被写体に焦点が合う波長の光だけが残ることから、フィルタで高周波成分を分離するのみで、被写体に焦点が合う波長信号の割合が多い混合比の高域輝度信号を得ることができる。これにより、ＭＴＦ特性の高い高域輝度信号を用いて、高精度な測距を行うことが可能となる。
【００２２】
また、各波長信号の高周波成分と低周波成分とを分離して、低周波成分は被写体の距離に関わらず固定された混合比で混合することから、位置検出のための輝度信号をモニタ用信号と共用する場合でも、モニタ画像の色再現性を確保することが可能となる。【００２３】
請求項６に記載の発明は、請求項５に記載の撮像装置であって、前記低域輝度信号生成部は前記複数の波長信号ごとの前記低周波成分に係数を乗算することにより前記低周波成分を所定の混合比とすることを特徴とする。
【００２４】
請求項６に記載の発明によれば、複数の波長信号ごとの低周波成分に係数を乗算することにより、低周波成分を所定の混合比とすることが可能となる。
【００２５】
請求項５に記載の発明において、前記複数の撮像素子の各々に結像した被写体像の相対的位置関係を検出する位置検出部と、前記位置検出部の検出結果に応じて前記高周波成分の混合比を変更する混合比制御部とを備えることで、フィルタで高周波成分を分離すると共に、被写体の距離に応じて高周波成分の混合比を変更することにより、よりＭＴＦ特性の高い高域輝度信号を得て高精度な測距を行うことが可能となる。
【００２７】
また、複数の撮像素子による被写体像の相対的位置関係を用いることにより、最適な波長の光が多くなるように各波長信号の混合比を変更することが可能となる。【００２８】
請求項７に記載の発明は、請求項５に記載の撮像装置であって、前記混合比制御部は前記複数の波長信号ごとの高周波成分に乗算する係数を変更することにより前記混合比を変更することを特徴とする。
【００２９】
請求項７に記載の発明によれば、複数の波長信号ごとの高周波成分に乗算する係数を変更することにより、輝度信号における高周波成分の混合比を変更することが可能となる。
【００３０】
請求項８に記載の発明は、撮像装置であって、入射光を複数種類の波長ごとに電気信号に変換する複数の撮像素子と、前記複数の撮像素子ごとに設けられ、前記複数の撮像素子の各々から出力された複数の波長信号の各々から高周波成分を分離するフィルタと、前記複数の撮像素子ごとに前記高周波成分を混合して得られた高域輝度信号の相関に基づいて被写体までの距離を検出する距離検出部と、前記複数の撮像素子の各々に結像した被写体像の相対的位置関係を検出する位置検出部と、前記位置検出部の検出結果に応じて前記高周波成分の混合比を変更する混合比制御部と、を備え、前記混合比制御部は、前記複数の撮像素子に結像した被写体像の相互の距離が近いときは長波長信号の高周波成分の割合が多く、前記被写体像の相互の距離が遠いときは短波長信号の高周波成分の割合が多くなるように混合比を変更することを特徴とする。
【００３１】
請求項８に記載の発明によれば、高周波成分については、各波長の高周波成分のうち被写体に焦点が合う波長の光だけが残ることから、フィルタで高周波成分を分離するのみで被写体に焦点が合う波長信号の割合が多い混合比の高域輝度信号を得ることができる。これにより、ＭＴＦ特性の高い高域輝度信号を用いて、高精度な測距を行うことが可能となる。また、各波長信号の高周波成分と低周波成分とを分離して、低周波成分は被写体の距離に関わらず固定された混合比で混合することから、位置検出のための輝度信号をモニタ用信号と共用する場合でも、モニタ画像の色再現性を確保することが可能となる。
【００３２】
請求項８に記載の発明において、前記複数の撮像素子の各々に結像した被写体像の相対的位置関係を検出する位置検出部と、前記位置検出部の検出結果に応じて前記高周波成分の混合比を変更する混合比制御部とを備えることで、フィルタで高周波成分を分離すると共に、被写体の距離に応じて高周波成分の混合比を変更することにより、よりＭＴＦ特性の高い高域輝度信号を得て高精度な測距を行うことが可能となる。
【００３４】
なお、請求項５又は８に記載の撮像装置においては、前記混合比制御部は、前記撮像素子と被写体との距離が遠いときは長波長信号の高周波成分の割合が多く、前記撮像素子と被写体との距離が近いときは短波長信号の高周波成分の割合が多くなるように混合比を変更するようにしてもよく、これによれば、遠い被写体には長波長の光の焦点が合い、近い被写体には短波長の光の焦点が合うことから、被写体の距離に応じて焦点が合う波長信号の高周波成分の割合を多くすることによって、ＭＴＦ特性の高い高域輝度信号を得ることが可能となる。被写体に適した高周波成分の割合が多くＭＴＦ特性の高い高域輝度信号を得て高精度な測距を行うことが可能となる。
【００３６】
請求項５又は８に記載の発明において、前記混合比制御部は、前記複数の撮像素子に結像した被写体像の相互の距離が近いときは長波長信号の高周波成分の割合が多く、前記被写体像の相互の距離が遠いときは短波長信号の高周波成分の割合が多くなるように混合比を変更することで、複数の撮像素子に結像した被写体像の相互の距離は、被写体の距離が遠いほど狭くなり、被写体の距離が近いほど広くなることから、被写体像の相互の距離に応じて焦点が合う波長信号の高周波成分の割合を多くすることにより、ＭＴＦ特性の高い高域輝度信号を得ることが可能となる。
【００３８】
請求項９に記載の発明は、請求項５、７又は８に記載の撮像装置であって、前記混合比制御部は、同一の撮像素子に結像した複数の被写体ごとに前記混合比を変更することを特徴とする。
【００３９】
請求項９に記載の発明によれば、同一フレーム内に存在する複数の被写体について、各波長信号の混合比を最適化することが可能となる。
【００４０】
請求項１０に記載の発明は、請求項１乃至９のいずれか一項に記載の撮像装置であって、前記複数の波長信号は赤信号、緑信号及び青信号であることを特徴とする。
【００４１】
請求項１０に記載の発明によれば、複数の波長信号が赤信号、緑信号及び青信号である場合にも、上記の作用を得ることができる。
【００４２】
請求項１１に記載の発明は、撮像方法であって、入射光を複数種類の波長ごとに電気信号に変換する複数の撮像素子を使用し、前記複数の撮像素子から出力された複数の波長信号を所定の混合比で混合して前記複数の撮像素子ごとに輝度信号を生成する輝度信号生成工程と、前記撮像素子の各々に結像した被写体像の相対的位置関係に応じて前記複数の撮像素子ごとに前記複数の波長信号の混合比を変更する混合比制御工程と、前記複数の撮像素子ごとに得られた輝度信号の相関に基づいて被写体までの距離を検出する距離検出工程と、を有し、前記混合比制御工程において、前記複数の撮像素子に結像した被写体像の相互の距離が近いときは長波長信号の割合が多く、前記被写体像の相互の距離が遠いときは短波長信号の割合が多くなるように混合比を変更することを特徴とする。
【００４３】
請求項１１に記載の発明によれば、撮像素子の各々に結像した被写体像の相対的位置関係に応じて各波長信号の混合比を変更し、最適な波長の光を多く利用することにより、各波長信号を固定した比率で混合した輝度信号を用いる場合と比較して、被写体の位置に関わらず高精度な測距を行うことが可能となる。
【００４４】
請求項１２に記載の発明は、請求項１１に記載の撮像方法であって、前記混合比制御工程において、前記複数の撮像素子の各々に結像した被写体像の相対的位置関係を検出する位置検出部を使用し、前記位置検出部が検出した前記複数の撮像素子の各々に結像した被写体像の相対的位置関係に応じて前記混合比を変更することを特徴とする。
【００４５】
請求項１２に記載の発明によれば、複数の撮像素子による被写体像の相対的位置関係を用いることにより、最適な波長の光が多くなるように各波長信号の混合比を変更することが可能となる。
【００４６】
請求項１３に記載の発明は、請求項１１又は１２に記載の撮像方法であって、前記混合比制御工程において、前記複数の波長信号の各々に乗算する係数を変更することにより前記混合比を変更することを特徴とする。
【００４７】
請求項１３に記載の発明によれば、複数の波長信号の各々に乗算する係数を変更することにより、各波長信号の混合比を変更することが可能となる。
【００４８】
なお、請求項１１に記載の発明においては、前記混合比制御工程において、前記撮像素子と被写体との距離が遠いときは長波長信号の割合が多く、前記撮像素子と被写体との距離が近いときは短波長信号の割合が多くなるように混合比を変更するようにしてもよく、これによれば、遠い被写体には長波長の光の焦点が合い、近い被写体には短波長の光の焦点が合うことから、被写体の距離に応じて焦点が合う波長信号の割合を多くすることにより、ＭＴＦ特性の高い輝度信号を得ることが可能となる。被写体に適した高周波成分の割合が多くＭＴＦ特性の高い高域輝度信号を得て高精度な測距を行うことが可能となる。
【００５０】
請求項１１に記載の発明において、前記混合比制御工程において、前記複数の撮像素子に結像した被写体像の相互の距離が近いときは長波長信号の割合が多く、前記被写体像の相互の距離が遠いときは短波長信号の割合が多くなるように混合比を変更することで、複数の撮像素子に結像した被写体像の相互の距離は、被写体の距離が遠いほど狭くなり、被写体の距離が近いほど広くなることから、被写体像の相互の距離に応じて焦点が合う波長信号の割合を多くすることにより、ＭＴＦ特性の高い輝度信号を得ることが可能となる。
【００５２】
請求項１４に記載の発明は、請求項１１乃至１３のいずれか一項に記載の撮像方法であって、前記混合比制御工程において、同一の撮像素子に結像した複数の被写体ごとに前記混合比を変更することを特徴とする。
【００５３】
請求項１４に記載の発明によれば、同一フレーム内に存在する複数の被写体について、各波長信号の混合比を最適化することが可能となる。
【００５４】
請求項１５に記載の発明は、撮像方法であって、入射光を複数種類の波長ごとに電気信号に変換する複数の撮像素子と、前記複数の撮像素子の各々から出力された複数の波長信号の各々を高周波成分と低周波成分とに分離するフィルタとを使用し、前記複数の波長信号ごとの低周波成分を所定の混合比で混合して低域輝度信号を生成する低域輝度信号生成工程と、前記複数の波長信号ごとの高周波成分を所定の混合比で混合して高域輝度信号を生成し、前記高域輝度信号と前記低域輝度信号とを加算して輝度信号を生成する輝度信号生成工程と、前記複数の撮像素子ごとに得られた輝度信号の相関に基づいて被写体までの距離を検出する距離検出工程と、前記複数の撮像素子の各々に結像した被写体像の相対的位置関係を検出する位置検出部を使用し、前記位置検出部の検出結果に応じて前記高周波成分の混合比を変更する混合比制御工程と、を有し、前記混合比制御工程において、前記複数の撮像素子に結像した被写体像の相互の距離が近いときは長波長信号の高周波成分の割合が多く、前記被写体像の相互の距離が遠いときは短波長信号の高周波成分の割合が多くなるように混合比を変更することを特徴とする。
【００５５】
請求項１５に記載の発明によれば、高周波成分については、各波長の高周波成分のうち被写体に焦点が合う波長の光だけが残ることから、フィルタで高周波成分を分離するのみで被写体に焦点が合う波長信号の割合が多い混合比の高域輝度信号を得ることができる。これにより、ＭＴＦ特性の高い高域輝度信号を用いて、高精度な測距を行うことが可能となる。
【００５６】
また、各波長信号の高周波成分と低周波成分とを分離して、低周波成分は被写体の距離に関わらず固定された混合比で混合することから、位置検出のための輝度信号をモニタ用信号と共用する場合でも、モニタ画像の色再現性を確保することが可能となる。【００５７】
請求項１６に記載の発明は、請求項１５に記載の撮像方法であって、前記複数の波長信号ごとの前記低周波成分に係数を乗算することにより前記低周波成分を所定の混合比とすることを特徴とする。
【００５８】
請求項１６に記載の発明によれば、複数の波長信号ごとの低周波成分に係数を乗算することにより、低周波成分を所定の混合比とすることが可能となる。
【００５９】
請求項１５に記載の発明において、前記複数の撮像素子の各々に結像した被写体像の相対的位置関係を検出する位置検出部を使用し、前記位置検出部の検出結果に応じて前記高周波成分の混合比を変更する混合比制御工程を有することで、フィルタで高周波成分を分離すると共に、被写体の距離に応じて高周波成分の混合比を変更することにより、よりＭＴＦ特性の高い高域輝度信号を得て高精度な測距を行うことが可能となる。
【００６１】
また、複数の撮像素子による被写体像の相対的位置関係を用いることにより、最適な波長の光が多くなるように各波長信号の混合比を変更することが可能となる。【００６２】
請求項１７に記載の発明は、請求項１５に記載の撮像方法であって、前記混合比制御工程において、前記複数の波長信号ごとの高周波成分に乗算する係数を変更することにより前記混合比を変更することを特徴とする。
【００６３】
請求項１７に記載の発明によれば、複数の波長信号ごとの高周波成分に乗算する係数を変更することにより、輝度信号における高周波成分の混合比を変更することが可能となる。
【００６４】
請求項１８に記載の発明は、撮像方法であって、入射光を複数種類の波長ごとに電気信号に変換する複数の撮像素子と、前記複数の撮像素子の各々から出力された複数の波長信号の各々から高周波成分を分離するフィルタとを使用し、前記複数の撮像素子ごとに前記高周波成分を混合して得られた高域輝度信号の相関に基づいて被写体までの距離を検出する距離検出工程と、前記複数の撮像素子の各々に結像した被写体像の相対的位置関係を検出する位置検出部を使用し、前記位置検出部の検出結果に応じて前記高周波成分の混合比を変更する混合比制御工程と、を有し、前記混合比制御工程において、前記複数の撮像素子に結像した被写体像の相互の距離が近いときは長波長信号の高周波成分の割合が多く、前記被写体像の相互の距離が遠いときは短波長信号の高周波成分の割合が多くなるように混合比を変更することを特徴とする。
【００６５】
請求項１８に記載の発明によれば、高周波成分については、各波長の高周波成分のうち被写体に焦点が合う波長の光だけが残ることから、フィルタで高周波成分を分離するのみで被写体に焦点が合う波長信号の割合が多い混合比の高域輝度信号を得ることができる。これにより、ＭＴＦ特性の高い高域輝度信号を用いて、高精度な測距を行うことが可能となる。
【００６６】
また、各波長信号の高周波成分と低周波成分とを分離して、低周波成分は被写体の距離に関わらず固定された混合比で混合することから、位置検出のための輝度信号をモニタ用信号と共用する場合でも、モニタ画像の色再現性を確保することが可能となる。【００６７】
請求項１８に記載の発明において、前記複数の撮像素子の各々に結像した被写体像の相対的位置関係を検出する位置検出部を使用し、前記位置検出部の検出結果に応じて前記高周波成分の混合比を変更する混合比制御工程を有することで、フィルタで高周波成分を分離すると共に、被写体の距離に応じて高周波成分の混合比を変更することにより、よりＭＴＦ特性の高い高域輝度信号を得て高精度な測距を行うことが可能となる。
【００６９】
なお、請求項１５又は１８に記載の発明においては、前記混合比制御工程において、前記撮像素子と被写体との距離が遠いときは長波長信号の高周波成分の割合が多く、前記撮像素子と被写体との距離が近いときは短波長信号の高周波成分の割合が多くなるように混合比を変更するようにしてもよく、これによれば、遠い被写体には長波長の光の焦点が合い、近い被写体には短波長の光の焦点が合うことから、被写体の距離に応じて焦点が合う波長信号の高周波成分の割合を多くすることによって、ＭＴＦ特性の高い高域輝度信号を得ることが可能となる。被写体に適した高周波成分の割合が多くＭＴＦ特性の高い高域輝度信号を得て高精度な測距を行うことが可能となる。
【００７１】
請求項１５又は１８に記載の発明において、前記混合比制御工程において、前記複数の撮像素子に結像した被写体像の相互の距離が近いときは長波長信号の高周波成分の割合が多く、前記被写体像の相互の距離が遠いときは短波長信号の高周波成分の割合が多くなるように混合比を変更することで、複数の撮像素子に結像した被写体像の相互の距離は、被写体の距離が遠いほど狭くなり、被写体の距離が近いほど広くなることから、被写体像の相互の距離に応じて焦点が合う波長信号の高周波成分の割合を多くすることにより、ＭＴＦ特性の高い高域輝度信号を得ることが可能となる。
【００７３】
請求項１９に記載の発明は、請求項１５、１７又は１８に記載の撮像方法であって、前記混合比制御工程において、同一の撮像素子に結像した複数の被写体ごとに前記混合比を変更することを特徴とする。
【００７４】
請求項１９に記載の発明によれば、同一フレーム内に存在する複数の被写体について、各波長信号の混合比を最適化することが可能となる。
【００７５】
請求項２０に記載の発明は、請求項１１乃至１９のいずれか一項に記載の撮像方法であって、前記複数の波長信号は赤信号、緑信号及び青信号であることを特徴とする。
【００７６】
請求項２０に記載の発明によれば、複数の波長信号が赤信号、緑信号及び青信号である場合にも、上記と同様の作用を得ることができる。
【発明の効果】
【００７７】
請求項１又は１１に記載の発明によれば、被写体の位置に関わらず高精度な測距を行うことが可能となる。
【００７８】
請求項２又は１２に記載の発明によれば、被写体に最適な波長の光が多くなるように各波長信号の混合比を変更することが可能となる。
【００７９】
請求項３又は１３に記載の発明によれば、複数の波長信号の各々に乗算する係数を変更することにより、各波長信号の混合比を変更することが可能となる。
【００８１】
請求項１又は１１に記載の発明によれば、被写体に適した高周波成分の割合が多くＭＴＦ特性の高い高域輝度信号を得て高精度な測距を行うことが可能となる。
【００８２】
請求項４又は１４に記載の発明によれば、同一フレーム内に存在する複数の被写体について、各波長信号の混合比を最適化することが可能となる。
【００８３】
請求項５又は１５に記載の発明によれば、被写体に適した高周波成分の割合が多くＭＴＦ特性の高い高域輝度信号を得て高精度な測距を行うことが可能となる。
【００８４】
また、位置検出のための輝度信号をモニタ用信号と共用する場合でも、モニタ画像の色再現性を確保することが可能となる。【００８５】
請求項６又は１６に記載の発明によれば、低周波成分を所定の混合比とすることが可能となる。
【００８６】
請求項５又は１５に記載の発明によれば、よりＭＴＦ特性の高い高域輝度信号を得て高精度な測距を行うことが可能となる。また、被写体に最適な波長の光が多くなるように各波長信号の混合比を変更することが可能となる。
【００８７】
請求項７又は１７に記載の発明によれば、高周波成分の混合比を変更することが可能となる。
【００８８】
請求項８又は１８に記載の発明によれば、被写体に適した高周波成分の割合が多くＭＴＦ特性の高い高域輝度信号を得て高精度な測距を行うことが可能となる。
【００８９】
また、位置検出のための輝度信号をモニタ用信号と共用する場合でも、モニタ画像の色再現性を確保することが可能となる。【００９０】
請求項８又は１８に記載の発明によれば、よりＭＴＦ特性の高い高域輝度信号を得て高精度な測距を行うことが可能となる。
【００９１】
請求項８又は１８に記載の発明によれば、被写体に適した高周波成分の割合が多くＭＴＦ特性の高い高域輝度信号を得て高精度な測距を行うことが可能となる。
請求項９又は１９に記載の発明によれば、同一フレーム内に存在する複数の被写体について、各波長信号の混合比を最適化することが可能となる。
【００９２】
請求項１０又は２０に記載の発明によれば、複数の波長信号が赤信号、緑信号及び青信号である場合にも、上記と同様の効果を得ることができる。
【図面の簡単な説明】
【００９３】
【図１】第１の実施形態に係る撮像装置の全体構成を示すブロック図である。
【図２】第１の実施形態に係る撮像素子と被写体の距離との関係を示す概念図である。
【図３】第２の実施形態に係る撮像装置の全体構成を示すブロック図である。
【図４】第３の実施形態に係る撮像装置の全体構成を示すブロック図である。
【図５】第４の実施形態に係る撮像装置の全体構成を示すブロック図である。
【図６】第５の実施形態に係る撮像装置の全体構成を示すブロック図である。
【図７】固定焦点レンズと各波長の光との関係を示す概念図である。
【図８】固定焦点レンズと被写体の距離との関係を示す概念図である。
【符号の説明】
【００９４】
１  撮像装置
２ａ，２ｂ  撮像素子
３ａ，３ｂ  レンズユニット
４  システム制御部
５ａ，５ｂ  絞り制御部
６ａ，６ｂ  タイミング生成部
７ａ，７ｂ  色分離補間部
８ａ，８ｂ  モニタ用信号生成部
９ａ，９ｂ  混合比制御部
１０ａ，１０ｂ  輝度信号生成部
１１  位置検出部
１２  距離検出部
１３ａ，１３ｂ  高域通過フィルタ
１４ａ，１４ｂ  低域輝度信号生成部
１５ａ，１５ｂ  混合比制御部
１６  固定焦点レンズ
１７ａ〜１７ｃ  レンズ
【発明を実施するための最良の形態】
【００９５】
［第１の実施形態］
本発明の第１の実施形態について、図１及び図２を参照して説明する。【００９６】
図１に示すように、撮像装置１は３Ｄカメラ（ステレオカメラ）を構成する２つの撮像素子２ａ，２ｂを備えており、複数の撮像素子２ａ，２ｂにより被写体を異なる位置から撮像して撮影画像の相関を求め、同一被写体に対する視差により、撮像素子の位置や焦点距離などのパラメータを用いて、被写体の位置（距離）を測るようになっている。なお、撮像装置１が備える撮像素子は複数であればよく、２つに限られるものではない。【００９７】
また、撮像素子２ａ，２ｂの前には、被写体光像を撮像素子２ａ，２ｂの結像面に結像させる複数のレンズ及びこれらのレンズにより集光される光の量を調整する絞り部から構成されるレンズユニット３ａ，３ｂが設けられている。【００９８】
撮像素子２ａ，２ｂは、入射光を複数種類の波長ごとに電気信号に変換するようになっている。本実施形態の撮像素子２ａ，２ｂは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各波長のフィルタを備えた画素が水平方向に順次繰り返し配列されて構成されており、Ｒ（赤）、Ｇ（緑）、Ｂ（青）信号の順次繰り返し信号を出力するようになっている。【００９９】
また、図２（ａ）〜（ｃ）に示すように、撮像素子２ａ，２ｂの受光面は、同一被写体の受光面上での結像位置に応じて、結像位置の距離が相互に近い方から、Ｒエリア、Ｇエリア、Ｂエリアに区分けされている。これらのエリアは、被写体の位置に応じて変動するようになっている。例えば、被写体が左右に移動すれば、Ｒエリア、Ｇエリア、Ｂエリアもそれぞれ左右にシフトするようになっている。【０１００】
図７に示すように、被写体が同一位置にある場合は、各波長の光によって結像面が異なる。すなわち、Ｂ（青）光の結像面が最も近く、Ｇ（緑）光、Ｒ（赤）光の順に結像面が遠くなる。従って、図８に示すように、各波長の光の結像面を同一とした場合は、Ｇ光と比較すると、Ａ光は遠い位置にある被写体に焦点が合い、Ｂ光は近い位置にある被写体に焦点が合う。【０１０１】
また、３Ｄカメラを構成する撮像素子２ａ，２ｂでは、撮像素子２ａ，２ｂと被写体との距離が遠いほどレンズユニット３ａ，３ｂの透過光が結像する位置の間隔が狭くなり、撮像素子２ａ，２ｂと被写体との距離が近いほど結像位置の間隔が広くなる。撮像素子２ａ，２ｂの間隔が相互の距離の最小値であり、被写体が無限遠の場合における両者の結像面の距離に相当する。本実施形態では、この結像位置の相互距離に応じて撮像素子２ａ，２ｂの受光面をエリア分けしている。また、上述のように、被写体の位置に応じて各エリアを変動させるようになっている。【０１０２】
これにより、撮像素子２ａ，２ｂの受光面における結像位置の相互距離が最も近いＲエリアではＲ光が最もシャープに結像し、結像位置の相互距離が互いに最も遠いＢエリアではＢ光が最もシャープに結像し、その中間のＧエリアではＧ光が最もシャープに結像するようになっている。図２（ａ）ではＢエリアにおいてＢ光の焦点が合い、図２（ｂ）ではＧエリアにおいてＧ光の焦点が合い、図２（ｃ）ではＲエリアにおいてＲ光の焦点が合っている。【０１０３】
次に、本実施形態に係る撮像装置１の機能的構成について説明する。
図１に示すように、撮像装置１は、撮像素子２ａ，２ｂを備えており、撮像素子２ａ，２ｂの前には、レンズユニット３ａ，３ｂがそれぞれ設けられている。
撮像素子２ａ，２ｂは、レンズユニット３ａ，３ｂを透過した入射光を電気信号に光電変換して取り込むようになっている。
レンズユニット３ａ，３ｂは、レンズにより被写体からの光を撮像素子２ａ，２ｂの結像面に集光すると共に、絞り部によって撮像素子２ａ，２ｂの結像面に集光される光の量を調整するようになっている。【０１０４】
また、撮像装置１は、システム制御部４を備えている。システム制御部４は、ＣＰＵ（Central Processing Unit）、書き換え可能な半導体素子で構成されるＲＡＭ（Random Access Memory）及び不揮発性の半導体メモリで構成されるＲＯＭ（Read Only Memory）から構成されている。【０１０５】
また、システム制御部４には撮像装置１の各構成部分が接続されており、システム制御部４は、ＲＯＭに記録された処理プログラムをＲＡＭに展開してＣＰＵによりこの処理プログラムを実行することにより、これらの各構成部分を駆動制御するようになっている。
図１に示すように、システム制御部４には、絞り制御部５ａ，５ｂ、タイミング生成部６ａ，６ｂ、色分離補間部７ａ，７ｂ、モニタ用信号生成部８ａ，８ｂ、混合比制御部９ａ，９ｂ、輝度信号生成部１０ａ，１０ｂ、位置検出部１１及び距離検出部１２が電気的に接続されている。【０１０６】
絞り制御部５ａ，５ｂは、レンズユニット３ａ，３ｂのレンズによって集光される光の量を調整する絞り部を駆動制御するようになっている。すなわち、絞り制御部５ａ，５ｂは、システム制御部４から入力される制御値に基づき、撮像素子２ａ，２ｂの撮像動作開始直前に絞り部を開口させてから所定の露光時間の経過後に絞り部を閉塞させ、また、非撮像時は撮像素子２ａ，２ｂへの入射光を遮断することによって、入射光量を制御するようになっている。【０１０７】
タイミング生成部６ａ，６ｂは、所定のタイミングパルスを生成して撮像素子２ａ，２ｂに出力することにより撮像素子２ａ，２ｂの撮影動作（露光に基づく電荷蓄積や蓄積電荷の読出しなど）を制御するようになっている。【０１０８】
色分離補間部７ａ，７ｂは、撮像素子２ａ，２ｂから出力されたＲ（赤）、Ｇ（緑）、Ｂ（青）信号の順次繰り返し信号から、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれを分離すると共に、各波長信号（
例えば、Ｂ，Ｇ，Ｒ各色の電気信号）について色補間処理を行うようになっている。【０１０９】
モニタ用信号生成部８ａ，８ｂは、色分離補間部７ａ，７ｂから出力されたＲ、Ｇ、Ｂの各信号について、最低輝度値となる黒レベルを基準値に補正する黒基準補正、白色を調整するＡＷＢ（自動ホワイトバランス）、色成分値を補正する色補正、色空間をＲＧＢからＹＵＶに変換する色空間変換などの画像処理を行うことにより、モニタ用信号を生成するようになっている。【０１１０】
混合比制御部９ａ，９ｂは、撮像素子２ａ，２ｂの各々と被写体との位置関係に応じ、撮像素子２ａ，２ｂごとに複数の波長信号の混合比を変更するようになっている。本実施形態の混合比制御部９ａ，９ｂは、撮像素子２ａ，２ｂと被写体との距離が遠いときは長波長信号の割合が多く、撮像素子撮像素子２ａ，２ｂと被写体との距離が近いときは短波長信号の割合が多くなるように混合比を変更するようになっている。【０１１１】
すなわち、混合比制御部９ａ，９ｂは、Ｒ信号、Ｇ信号、Ｂ信号が所定の混合比とされた輝度信号Ｙ１，Ｙ２を基準として、位置検出部１１の検出結果（撮像素子と被写体との位置関係）に基づき、被写体と撮像素子２ａ，２ｂとの距離が相対的に遠い場合はＲ信号の割合を多く、相対的に近い場合はＢ信号の割合を多く、その中間の場合はＧ信号の割合を多くするようになっている。【０１１２】
この際、混合比制御部９ａ，９ｂは、複数の波長信号の各々に乗算する係数を変更することによって、複数の波長信号の混合比を変更するようになっている。具体的には、輝度信号Ｙ１，Ｙ２＝０．３Ｒ１＋０．５９Ｇ１＋０．１１Ｂ１を基準として、図示しない乗算回路により各波長信号に変更した係数を乗算して輝度信号Ｙ１，Ｙ２の各項をＲ２、Ｇ２、Ｂ２とすることにより、混合比を変更するようになっている。なお、輝度信号Ｙ１，Ｙ２におけるＲ信号、Ｇ信号、Ｂ信号の割合は１００％となってもよい。【０１１３】
また、混合比制御部９ａ，９ｂは、撮像素子２ａ，２ｂに結像した被写体像の相互の距離が近いときは長波長信号の割合が多く、被写体像の相互の距離が遠いときは短波長信号の割合が多くなるように混合比を変更することも可能である。【０１１４】
すなわち、混合比制御部９ａ，９ｂは、撮像素子２ａ，２ｂの結像面のうちＲエリア、Ｇエリア、Ｂエリアのいずれにおいて被写体からの光が結像したかに応じて、Ｒ信号、Ｇ信号、Ｂ信号の混合比を変更することも可能である。具体的には、被写体像がＲエリアに結像した場合は、被写体の距離が相対的に遠いものとしてＲ信号の割合を多く、Ｂエリアに結像した場合は、被写体の距離が相対的に近いものとしてＢ信号の割合を多く、Ｇエリアに結像した場合は、その中間としてＧ信号の割合を多くする。【０１１５】
また、混合比制御部９ａ，９ｂは、Ｒ信号、Ｇ信号、Ｂ信号それぞれの係数の差が大きい場合は、撮像素子２ａ，２ｂの各エリアの境界付近に切換区間を設け、この切換区間においては係数が徐々に変化するように係数を設定することが望ましい。これにより、各エリアの境界付近で得られた輝度信号Ｙ１，Ｙ２に基づく位置検出に誤差を抑制することが可能となる。【０１１６】
このように、撮像素子２ａ，２ｂと被写体との距離に応じ、輝度信号Ｙ１，Ｙ２において被写体に焦点が合う波長信号の割合が多くなるように各波長の光の混合比を変更することで、ＭＴＦ特性の高い輝度信号Ｙ１，Ｙ２を得ることが可能となる。すなわち、被写体との距離が相対的に遠い場合はＲ信号の割合を多くし、被写体との距離が相対的に近い場合はＢ信号の割合を多くし、その中間の場合はＧ信号の割合を多くすることにより、ＭＴＦ特性の高い輝度信号Ｙ１，Ｙ２を得ることが可能となる。【０１１７】
また、混合比制御部９ａ，９ｂは、同一の撮像素子に結像した複数の被写体ごとに各波長信号の混合比を変更することも可能である。これにより、同一フレーム内に存在する複数の被写体について、各波長信号の混合比を最適化することが可能となる。【０１１８】
輝度信号生成部１０ａ，１０ｂは、撮像素子２ａ，２ｂの各々から出力された複数の波長信号を所定の混合比で混合して輝度信号を生成するようになっている。本実施形態の輝度信号生成部１０ａ，１０ｂは、混合比制御部９ａ，９ｂにより変更された混合比に従ってＲ信号、Ｇ信号、Ｂ信号を混合し、輝度信号Ｙ１，Ｙ２を生成するようになっている。【０１１９】
位置検出部１１は、撮像素子２ａ，２ｂの各々に結像した被写体像の相対的位置関係を検出するようになっている。すなわち、位置検出部１１は、混合比制御部９で当該位置検出部１１の検出結果（１回目の検出結果）に基づいて混合比を変更し、変更した混合比により輝度信号生成部１０ａ，１０ｂで各波長信号を混合する。そして得られた輝度信号Ｙ１，Ｙ２の相関を求めることにより、撮像素子２ａ，２ｂの同一被写体に対する相対的位置関係（２回目の検出結果）を検出するようになっている。
距離検出部１２は、撮像素子２ａ，２ｂごとに得られた輝度信号の相関に基づいて被写体までの距離を検出するようになっている。すなわち、距離検出部１２は、位置検出部１１で検出された撮像素子２ａ，２ｂに結像した同一被写体の相対的位置関係から、撮像素子の位置や焦点距離などのパラメータを用いて被写体の位置（距離）を検出するようになっている。【０１２０】
次に、本実施形態の撮像装置１を使用した本発明の撮像方法について説明する。【０１２１】
被写体からの光がレンズユニット３ａ，３ｂを透過して撮像素子２ａ，２ｂの結像面に入射すると、撮像素子２ａ，２ｂはタイミングパルスに従って入射光を電気信号に光電変換し、Ｒ、Ｇ、Ｂ信号の順次繰り返し信号を出力する。【０１２２】
次に、色分離補間部７ａ，７ｂは、撮像素子２ａ，２ｂから出力されたＲ、Ｇ、Ｂ信号の順次繰り返し信号から、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれを分離すると共に、各波長信号について色補間処理を行う。【０１２３】
続いて、モニタ用信号生成部８ａ，８ｂは色分離補間部７ａ，７ｂから出力されたＲ、Ｇ、Ｂの各信号について黒基準補正、ＡＷＢ（自動ホワイトバランス）、色補正、色空間変換などの画像処理を行い、モニタ用信号を生成する。【０１２４】
一方、混合比制御部９ａ，９ｂは、被写体の距離に応じ、基準となる輝度信号Ｙ１，Ｙ２のＲ信号、Ｇ信号、Ｂ信号の混合比を変更する。【０１２５】
すなわち、混合比制御部９ａ，９ｂは、輝度信号Ｙ１，Ｙ２＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂをそれぞれ基準として、位置検出部１１の（１回目の）検出結果（撮像素子と被写体との位置関係）に基づき、被写体と撮像素子２ａ，２ｂとの距離が相対的に遠い場合はＲ信号の割合が多く、相対的に近い場合はＢ信号の割合が多く、その中間の場合はＧ信号の割合が多くなるように、各波長信号に乗算する係数を変更する。【０１２６】
また、混合比制御部９ａ，９ｂは、撮像素子２ａ，２ｂのＲエリア、Ｇエリア、Ｂエリアのいずれにおいて被写体像が結像したかに応じて、Ｒ信号、Ｇ信号、Ｂ信号の混合比を変更することも可能である。なお、上述のように、各エリアは被写体の位置に応じて変動し、例えば、被写体が左右に移動すれば、Ｒエリア、Ｇエリア、Ｂエリアもそれぞれ左右にシフトする。【０１２７】
続いて、輝度信号生成部１０ａ，１０ｂは、混合比制御部９ａ，９ｂにより変更された混合比に従って、Ｒ信号、Ｇ信号、Ｂ信号を混合して輝度信号Ｙ１，Ｙ２を生成する。【０１２８】
次に、位置検出部１１は、輝度信号生成部１０ａ，１０ｂから得られた輝度信号Ｙ１，Ｙ２の相関を求めることにより、撮像素子２ａ，２ｂに結像した同一被写体の相対的位置関係を検出する。【０１２９】
続いて、距離検出部１２は、位置検出部１１で検出された撮像素子２ａ，２ｂに結像した同一被写体の相対的位置関係（２回目の検出結果）から、撮像素子の位置や焦点距離などのパラメータを用いて被写体の位置（距離）を検出する。【０１３０】
以上より本実施形態によれば、撮像素子２ａ，２ｂと被写体との位置関係に応じて各波長信号の混合比を変更し、最適な波長の光を多く利用することにより、各波長信号を固定した比率で混合した輝度信号を用いる場合と比較して、被写体の位置に関わらず高精度な測距を行うことが可能となる。【０１３１】
また、撮像素子２ａ，２ｂによる被写体像の相対的位置関係を用いることにより、最適な波長の光が多くなるように各波長信号の混合比を変更することが可能となる。【０１３２】
また、複数の波長信号の各々に乗算する係数を変更することにより、各波長信号の混合比を変更することが可能となる。【０１３３】
また、遠い被写体には長波長の光の焦点が合い、近い被写体には短波長の光の焦点が合うことから、被写体の距離に応じて焦点が合う波長信号の割合を多くすることにより、ＭＴＦ特性の高い輝度信号を得ることが可能となる。【０１３４】
また、撮像素子２ａ，２ｂに結像した被写体像の相互の距離は、被写体の距離が遠いほど狭くなり、被写体の距離が近いほど広くなることから、これをもとに被写体像の相互の距離に応じて焦点が合う波長信号の割合を多くすることにより、ＭＴＦ特性の高い輝度信号を得ることが可能となる。【０１３５】
また、同一フレーム内に存在する複数の被写体について、各波長信号の混合比を最適化することが可能となる。【０１３６】
また、複数の波長信号がＲ信号、Ｇ信号及びＢ信号である場合にも、上記の作用を得ることができる。
［第２の実施形態］
次に、本発明の第２の実施形態について、図３を参照して説明する。なお、第１の実施形態と同一部分には同一符号を付してその説明を省略し、第１の実施形態と異なる部分について説明する。【０１３７】
本実施形態の撮像装置１は、混合比制御部９ａ，９ｂに代わって高域通過フィルタ１３ａ，１３ｂを備えているほか、低域輝度信号生成部１４ａ，１４ｂを備えている。
高域通過フィルタ１３ａ，１３ｂは、色分離補間部７ａ，７ｂから出力された各波長信号のうち高周波成分のみを通過させることにより、各波長信号の高周波成分ＲＨ、ＧＨ、ＢＨと低周波成分ＲＬ、ＧＬ、ＢＬとを分離するようになっている。このうち高周波成分は輝度信号生成部１０ａ，１０ｂに出力され、低周波成分は低域輝度信号生成部１４ａ，１４ｂに出力される。
低域輝度信号生成部１４ａ，１４ｂは、複数の波長信号ごとの低周波成分を所定の混合比で混合して低域輝度信号ＹＬ１，ＹＬ２を生成するようになっている。ここで、所定の混合比とは、所定の固定された混合比を意味する。本実施形態では、上記基準となる輝度信号Ｙ１，Ｙ２＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂの混合比を所定の混合比として、図示しない乗算回路で各波長の低周波成分に所定の係数を乗算して混合することにより、低域輝度信号ＹＬ１，ＹＬ２を生成するようになっている。この低域輝度信号ＹＬ１，ＹＬ２は、輝度信号生成部１０ａ，１０ｂに出力される。【０１３８】
また、輝度信号生成部１０ａ，１０ｂは、波長信号ごとの高周波成分を混合して高域輝度信号ＹＨ１，ＹＨ２を生成し、高域輝度信号ＹＨ１，ＹＨ２と低域輝度信号ＹＬ１，ＹＬ２とを加算して輝度信号Ｙ１，Ｙ２を生成するようになっている。【０１３９】
このように、輝度信号生成部１０ａ，１０ｂは、波長信号ごとの高周波成分はそのまま混合（あるいは所定の混合比で混合）して高域輝度信号ＹＨ１，ＹＨ２を生成するようになっている。これにより、高周波成分については、各波長の高周波成分のうち被写体に焦点が合う波長の光だけが残ることから、高域通過フィルタ１３ａ，１３ｂで高周波成分を分離するのみで、被写体に焦点が合う波長信号の割合が多い高域輝度信号ＹＨ１，ＹＨ２を得ることができる。すなわち、被写体の距離が相対的に遠い場合はＲ信号の割合が多く、被写体の距離が相対的に近い場合はＢ信号の割合が多く、その中間である場合はＧ信号の割合が多くなる。これにより、ＭＴＦ特性の高い輝度信号Ｙ１，Ｙ２を得ることが可能となる。【０１４０】
また、各波長信号の高周波成分と低周波成分とを分離して、低周波成分は被写体の距離に関わらず固定された混合比で混合することから、位置検出のための輝度信号をモニタ用信号と共用する場合でも、モニタ画像の色再現性を確保することが可能となる。【０１４１】
次に、本実施形態の撮像装置１を使用した本発明の撮像方法について説明する。【０１４２】
高域通過フィルタ１３ａ，１３ｂは、色分離補間部７ａ，７ｂから出力された各波長信号のうち高周波成分のみを通過させることにより、各波長信号の高周波成分と低周波成分とを分離し、高周波成分を輝度信号生成部１０ａ，１０ｂに出力すると共に、低周波成分を低域輝度信号生成部１４ａ，１４ｂに出力する。【０１４３】
次に、低域輝度信号生成部１４ａ，１４ｂは、各波長信号の低周波成分を所定の混合比により混合して低域輝度信号ＹＬ１，ＹＬ２を生成して輝度信号生成部１０ａ，１０ｂに出力する。【０１４４】
次に、輝度信号生成部１０ａ，１０ｂは、高域通過フィルタ１３ａ，１３ｂにより分離された各波長信号の高周波成分により高域輝度信号ＹＨ１，ＹＨ２を生成し、この高域輝度信号ＹＨ１，ＹＨ２と低域輝度信号ＹＬ１，ＹＬ２とを加算して、輝度信号Ｙ１，Ｙ２を生成する。この際、輝度信号生成部１０ａ，１０ｂは、各波長信号の高周波成分をそのまま混合して輝度信号を生成する。【０１４５】
以上より本実施形態によれば、高周波成分については、各波長の高周波成分のうち被写体に焦点が合う波長の光だけが残ることから、高域通過フィルタ１３ａ，１３ｂで高周波成分を分離するのみで、被写体に焦点が合う波長信号の割合が多い混合比の高域輝度信号ＹＨ１，ＹＨ２を得ることができる。これにより、ＭＴＦ特性の高い高域輝度信号ＹＨ１，ＹＨ２を用いて、高精度な測距を行うことが可能となる。【０１４６】
また、各波長信号の高周波成分と低周波成分とを分離して、低周波成分は被写体の距離に関わらず固定された混合比で混合することから、位置検出のための輝度信号をモニタ用信号と共用する場合でも、モニタ画像の色再現性を確保することが可能となる。【０１４７】
また、複数の波長信号ごとの低周波成分に係数を乗算することにより、低周波成分を所定の混合比とすることが可能となる。
［第３の実施形態］
次に、本発明の第３の実施形態について、図４を参照して説明する。なお、第２の実施形態と同一部分には同一符号を付してその説明を省略し、第２の実施形態と異なる部分について説明する。【０１４８】
本実施形態の撮像装置１は、高域通過フィルタ１３ａ，１３ｂ及び低域輝度信号生成部１４ａ，１４ｂに加えて、混合比制御部１５ａ，１５ｂを備えている。【０１４９】
混合比制御部１５ａ，１５ｂは、被写体の距離に応じ、各波長信号の高周波成分の混合比を変更するようになっている。本実施形態では、撮像素子２ａ，２ｂと被写体との距離が遠いときは長波長信号の高周波成分の割合が多く、撮像素子２ａ，２ｂと被写体との距離が近いときは短波長信号の高周波成分の割合が多くなるように混合比を変更するようになっている。【０１５０】
すなわち、混合比制御部１５ａ，１５ｂは、Ｒ信号、Ｇ信号、Ｂ信号が所定の混合比とされた高域輝度信号を基準として、位置検出部１１の検出結果に基づき、被写体の距離が相対的に遠い場合はＲ信号の割合を多く、被写体の距離が相対的に近い場合はＢ信号の割合を多く、その中間の場合はＧ信号の割合を多くするようになっている。【０１５１】
具体的には、混合比制御部１５ａ，１５ｂは、図示しない乗算回路により高域輝度信号の各波長信号に乗算する係数を変更することにより混合比を変更するようになっている。【０１５２】
また、混合比制御部１５ａ，１５ｂは、複数の撮像素子２ａ，２ｂに結像した被写体像の相互の距離が近いときは長波長信号の高周波成分の割合が多く、被写体像の相互の距離が遠いときは短波長信号の高周波成分の割合が多くなるように混合比を変更することも可能である。【０１５３】
すなわち、混合比制御部１５ａ，１５ｂは、撮像素子２ａ，２ｂのＲエリア、Ｇエリア、Ｂエリアのいずれにおいて被写体像が結像したかに応じて、Ｒ信号、Ｇ信号、Ｂ信号の混合比を変更することも可能である。【０１５４】
これにより、上記のように高域通過フィルタ１３ａ，１３ｂで高周波成分を分離するのみで、被写体に焦点が合う波長信号の割合が多い高域輝度信号ＹＨ１，ＹＨ２を得ることができるが、更に、各波長の光の混合比を変更することにより、より高いＭＴＦ特性の高域輝度信号ＹＨ１，ＹＨ２を得ることが可能となる。【０１５５】
また、輝度信号生成部１０ａ，１０ｂは、混合比制御部１５ａ，１５ｂにより変更された混合比に従って、各波長信号の高周波成分を混合して高域輝度信号ＹＨ１，ＹＨ２を生成し、この高域輝度信号ＹＨ１，ＹＨ２と低域輝度信号ＹＬ１，ＹＬ２とを加算して輝度信号Ｙ１，Ｙ２を生成するようになっている。【０１５６】
次に、本実施形態の撮像装置１を使用した本発明の撮像方法について説明する。【０１５７】
高域通過フィルタ１３ａ，１３ｂが各波長信号の高周波成分と低周波成分とを分離すると、混合比制御部１５ａ，１５ｂは、被写体の距離に応じ、各波長信号の高周波成分の混合比を変更する。すなわち、位置検出部１１の検出結果に基づき、被写体の距離が相対的に遠い場合はＲ信号の割合を多く、被写体の距離が相対的に近い場合はＢ信号の割合を多く、その中間の場合はＧ信号の割合を多くする。【０１５８】
一方、低域輝度信号生成部１４ａ，１４ｂは、各波長信号の低周波成分を所定の混合比により混合して低域輝度信号ＹＬ１，ＹＬ２を生成して輝度信号生成部１０ａ，１０ｂに出力する。【０１５９】
続いて、輝度信号生成部１０ａ，１０ｂは、混合比制御部１５ａ，１５ｂにより変更された混合比に従って、各波長信号の高周波成分を混合して高域輝度信号ＹＨ１，ＹＨ２を生成し、この高域輝度信号ＹＨ１，ＹＨ２と低域輝度信号ＹＬ１，ＹＬ２とを加算して輝度信号Ｙ１，Ｙ２を生成する。【０１６０】
以上より本実施形態によれば、高域通過フィルタ１３ａ，１３ｂで高周波成分を分離すると共に、被写体の距離に応じて高周波成分の混合比を変更することにより、よりＭＴＦ特性の高い高域輝度信号を得て高精度な測距を行うことが可能となる。【０１６１】
また、撮像素子２ａ，２ｂに結像した被写体像の相対的位置関係を用いることにより、最適な波長の光が多くなるように各波長信号の混合比を変更することが可能となる。【０１６２】
また、複数の波長信号ごとの高周波成分に乗算する係数を変更することにより、高域輝度信号における高周波成分の混合比を変更することが可能となる。【０１６３】
また、遠い被写体には長波長の光の焦点が合い、近い被写体には短波長の光の焦点が合うことから、被写体の距離に応じて焦点が合う波長信号の高周波成分の割合を多くすることにより、ＭＴＦ特性の高い高域輝度信号を得ることが可能となる。【０１６４】
また、撮像素子２ａ，２ｂに結像した被写体像の相互の距離は、被写体の距離が遠いほど狭くなり、被写体の距離が近いほど広くなることから、被写体像の相互の距離に応じて焦点が合う波長信号の高周波成分の割合を多くすることにより、ＭＴＦ特性の高い高域輝度信号を得ることが可能となる。
［第４の実施形態］
次に、本発明の第４の実施形態について、図５を参照して説明する。なお、第２の実施形態と同一部分には同一符号を付してその説明を省略し、第２の実施形態と異なる部分について説明する。【０１６５】
本実施形態の撮像装置１は、第２の実施形態と同様に混合比制御部９ａ，９ｂに代わり高域通過フィルタ１３ａ，１３ｂを備えているが、低域輝度信号生成部１４ａ，１４ｂ及び輝度信号生成部１０ａ，１０ｂは備えていない。
高域通過フィルタ１３ａ，１３ｂは、色分離補間部７ａ，７ｂより出力された各波長信号から高周波成分のみを分離して位置検出部１１に出力するようになっている。
これにより、上記のように高周波成分については、各波長の高周波成分のうち被写体に焦点が合う波長の光だけが残ることから、高域通過フィルタ１３ａ，１３ｂで高周波成分を分離するのみで、被写体の距離に応じた混合比の高域輝度信号ＹＨ１，ＹＨ２を得ることが可能となる。【０１６６】
また、位置検出部１１は、撮像素子２ａ，２ｂごとに高周波成分を混合して得られた高域輝度信号ＹＨ１，ＹＨ２の相関に基づき、撮像素子２ａ，２ｂの同一被写体に対する相対的位置関係を検出するようになっている。【０１６７】
次に、本実施形態の撮像装置１を使用した本発明の撮像方法について説明する。【０１６８】
高域通過フィルタ１３ａ，１３ｂが各波長信号から高周波成分のみを分離すると、位置検出部１１は、撮像素子２ａ，２ｂごとに各波長信号の高周波成分を混合して得られた高域輝度信号ＹＨ１，ＹＨ２の相関を求めることにより、撮像素子２ａ，２ｂの同一被写体に対する相対的位置関係を検出する。【０１６９】
以上より本実施形態によれば、高周波成分については、各波長の高周波成分のうち被写体に焦点が合う波長の光だけが残ることから、高域通過フィルタ１３ａ，１３ｂで高周波成分を分離するのみで、被写体に焦点が合う波長信号の割合が多い混合比の高域輝度信号を得ることができる。これにより、ＭＴＦ特性の高い高域輝度信号を用いて、高精度な測距を行うことが可能となる。
また、各波長信号の高周波成分と低周波成分とを分離して、低周波成分は被写体の距離に関わらず固定された混合比で混合することから、位置検出のための輝度信号をモニタ用信号と共用する場合でも、モニタ画像の色再現性を確保することが可能となる。
［第５の実施形態］
次に、本発明の第５の実施形態について、図６を参照して説明する。なお、第４の実施形態と同一部分には同一符号を付してその説明を省略し、第４の実施形態と異なる部分について説明する。【０１７０】
本実施形態の撮像装置１は、高域通過フィルタ１３ａ，１３ｂに加え、混合比制御部１５ａ，１５ｂを備えている。【０１７１】
混合比制御部１５ａ，１５ｂは、上記第３の実施形態と同様に、被写体の距離に応じ、各波長信号の高周波成分の混合比を変更するようになっている。本実施形態では、撮像素子２ａ，２ｂと被写体との距離が遠いときは長波長信号の高周波成分の割合が多く、撮像素子２ａ，２ｂと被写体との距離が近いときは短波長信号の高周波成分の割合が多くなるように混合比を変更するようになっている。【０１７２】
また、混合比制御部１５ａ，１５ｂは、複数の撮像素子２ａ，２ｂに結像した被写体像の相互の距離が近いときは長波長信号の高周波成分の割合が多く、被写体像の相互の距離が遠いときは短波長信号の高周波成分の割合が多くなるように混合比を変更することも可能である。
これにより、上記のように高域通過フィルタ１３ａ，１３ｂで高周波成分を分離するのみで、被写体に焦点が合う波長信号の割合が多い高域輝度信号ＹＨ１，ＹＨ２を得ることができるが、更に、各波長の光の混合比を変更することにより、より高いＭＴＦ特性の高域輝度信号ＹＨ１，ＹＨ２を得ることが可能となる。
また、位置検出部１１は、混合比制御部１５ａ，１５ｂにより変更された混合比に従って、撮像素子２ａ，２ｂごとに高周波成分を混合して得られた高域輝度信号ＹＨ１，ＹＨ２の相関に基づき、撮像素子２ａ，２ｂに結像した同一被写体に対する相対的位置関係を検出するようになっている。【０１７３】
次に、本実施形態の撮像装置１を使用した本発明の撮像方法について説明する。【０１７４】
高域通過フィルタ１３ａ，１３ｂが各波長信号から高周波成分のみを分離すると、混合比制御部１５ａ，１５ｂは、被写体の距離に応じ、各波長信号の高周波成分の混合比を変更する。【０１７５】
続いて、位置検出部１１は、混合比制御部１５ａ，１５ｂにより変更された混合比に従って混合された高域輝度信号ＹＨ１，ＹＨ２の相関に基づき、撮像素子２ａ，２ｂの同一被写体に対する相対的位置関係を検出する。【０１７６】
以上より本実施形態によれば、高域通過フィルタ１３ａ，１３ｂで高周波成分を分離すると共に、被写体の距離に応じて高周波成分の混合比を変更することにより、よりＭＴＦ特性の高い高域輝度信号を得て高精度な測距を行うことが可能となる。【０１７７】
また、遠い被写体には長波長の光の焦点が合い、近い被写体には短波長の光の焦点が合うことから、被写体の距離に応じて焦点が合う波長信号の高周波成分の割合を多くすることにより、ＭＴＦ特性の高い高域輝度信号を得ることが可能となる。【０１７８】
また、撮像素子２ａ，２ｂに結像した被写体像の相互の距離は、被写体の距離が遠いほど狭くなり、被写体の距離が近いほど広くなることから、被写体像の相互の距離に応じて焦点が合う波長信号の高周波成分の割合を多くすることにより、ＭＴＦ特性の高い高域輝度信号を得ることが可能となる。【０１７９】
以上述べたように本発明の撮像装置及び撮像方法によれば、複数の撮像素子を用いた撮像装置及び撮像方法において、被写体の位置に関わらず高精度な測距を行うことが可能となる。
【図１】
0005146682.tif 000002
【図２】
0005146682.tif 000003
【図３】
0005146682.tif 000004
【図４】
0005146682.tif 000005
【図５】
0005146682.tif 000006
【図６】
0005146682.tif 000007
【図７】
0005146682.tif 000008
【図８】
0005146682.tif 000009