(57)【要約】【課題】複数のレンズのそれぞれの焦点を検出する撮像装置において、焦点の検出精度を向上させる。【解決手段】メイン側フォーカス制御部は、メイン側画像内のメイン側検出エリア内に焦点の合うメイン側レンズの位置をメイン側合焦位置として検出する。視差取得部は、メイン側合焦位置に基づいて距離を求めて距離に応じた視差を取得する。サブ側検出エリア設定部は、視差と前記メイン側検出エリアの位置とに基づいてサブ側画像内におけるサブ側検出エリアの位置を設定する。サブ側フォーカス制御部は、サブ側検出エリア内に焦点の合うサブ側レンズの位置をサブ側合焦位置として検出する。【選択図】図８
2018169517.tif 000002
【特許請求の範囲】
【請求項１】
メイン側画像内のメイン側検出エリア内に焦点の合うメイン側レンズの位置をメイン側合焦位置として検出するメイン側フォーカス制御部と、
前記メイン側合焦位置に基づいて距離を求めて前記距離に応じた視差を取得する視差取得部と、
前記視差と前記メイン側検出エリアの位置とに基づいてサブ側画像内におけるサブ側検出エリアの位置を設定するサブ側検出エリア設定部と、
前記サブ側検出エリア内に焦点の合うサブ側レンズの位置をサブ側合焦位置として検出するサブ側フォーカス制御部と
を具備する撮像装置。
【請求項２】
前記サブ側フォーカス制御部は、前記サブ側検出エリアのうち前記サブ側画像データの枠外のエリアの面積が所定値を超えない場合には前記サブ側合焦位置を検出する
請求項１記載の撮像装置。
【請求項３】
前記メイン側レンズと前記サブ側レンズとの画角は異なり、
前記サブ側検出エリア設定部は、前記メイン側画像および前記サブ側画像の一方に対する他方の拡大率と前記視差と前記メイン側検出エリアの位置とに基づいて前記サブ側検出エリアの位置およびサイズを設定する
請求項２記載の撮像装置。
【請求項４】
前記メイン側レンズを駆動して焦点を合わせることができる前記距離の範囲であるメイン側サーチ範囲と前記サブ側レンズを駆動して焦点を合わせることができる前記距離の範囲であるサブ側サーチ範囲とは異なり、
前記サブ側フォーカス制御部は、前記サブ側画像データの枠外のエリアの面積が所定値を超えず、前記メイン側合焦位置に対応する距離が前記サブ側サーチ範囲内である場合には前記サブ側合焦位置を検出する
請求項３記載の撮像装置。
【請求項５】
前記メイン側画像を撮像するメイン側固体撮像素子と、
前記サブ側画像を撮像するサブ側固体撮像素子と
をさらに具備し、
前記メイン側固体撮像素子は、前記メイン側合焦位置が検出されると新たなメイン側画像を撮像し、
前記サブ側固体撮像素子は、前記サブ側合焦位置が検出されると新たなサブ側画像を撮像する
請求項１記載の撮像装置。
【請求項６】
前記メイン側フォーカス制御部は、前記メイン側検出エリア内のコントラストが最も強くなる前記メイン側レンズの位置を前記メイン側合焦位置として検出し、
前記サブ側フォーカス制御部は、前記サブ側検出エリア内のコントラストが最も強くなる前記サブ側レンズの位置を前記サブ側合焦位置として検出する
請求項１記載の撮像装置。
【請求項７】
前記メイン側フォーカス制御部は、位相差に基づいて前記メイン側合焦位置を検出し、
前記サブ側フォーカス制御部は、位相差に基づいて前記サブ側合焦位置を検出する
請求項１記載の撮像装置。
【請求項８】
メイン側画像内のメイン側検出エリア内に焦点の合うメイン側レンズの位置をメイン側合焦位置として検出するメイン側フォーカス制御部と、
前記メイン側合焦位置に基づいて距離を求めて前記距離に応じた視差を取得する視差取得部と、
前記視差と前記メイン側検出エリアの位置とに基づいてサブ側画像内におけるサブ側検出エリアの位置を設定するサブ側検出エリア設定部と、
前記サブ側検出エリア内に焦点の合うサブ側レンズの位置をサブ側合焦位置として検出するサブ側フォーカス制御部と、
前記メイン側画像および前記サブ側画像の少なくとも一方を処理した画像を出力する画像出力部と
を具備する撮像モジュール。
【請求項９】
メイン側画像内のメイン側検出エリア内に焦点の合うメイン側レンズの位置をメイン側合焦位置として検出するメイン側フォーカス制御手順と、
前記メイン側合焦位置に基づいて距離を求めて前記距離に応じた視差を取得する視差取得手順と、
前記視差と前記メイン側検出エリアの位置とに基づいてサブ側画像内におけるサブ側検出エリアの位置を設定するサブ側検出エリア設定手順と、
前記サブ側検出エリア内に焦点の合うサブ側レンズの位置をサブ側合焦位置として検出するサブ側フォーカス制御手順と
を具備する撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮像装置、撮像モジュールおよび撮像装置の制御方法に関する。詳しくは、複数のレンズのそれぞれの合焦位置を検出する撮像装置、撮像モジュールおよび撮像装置の制御方法に関する。
【背景技術】
【０００２】
従来より、複数の画像データを同時に撮像するために、複数の撮像素子を設けた複眼型の撮像装置が用いられている。例えば、右目用の撮像ユニットと左目用の撮像ユニットとの両方に同一の撮像パラメータを設定して撮像を行う複眼の撮像装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−３６３６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の従来技術では、撮像装置は、撮像パラメータを同一に設定することにより、同一の撮像条件で２枚の画像データを撮像することができる。しかしながら、この撮像装置内の撮像ユニットの一方のフォーカスエリアに焦点を合わせ、そのフォーカスエリアを撮像パラメータにより他方にも設定してフォーカス制御を行うと、一方で焦点を合わせた被写体について他方で焦点が合わなくなるおそれがある。これは、２つの撮像ユニットのそれぞれで撮像した画像において視差が大きいと、その視差に応じて被写体の写る位置がずれて、フォーカスエリア内に被写体が入らなくなるためである。撮像ユニットにおいて被写体に焦点が合わなくなって焦点の検出精度が低下すると、その撮像ユニットで撮像した画像データの画質が低下してしまうという問題がある。
【０００５】
本技術はこのような状況に鑑みて生み出されたものであり、複数のレンズのそれぞれの焦点を検出する撮像装置において、焦点の検出精度を向上させることを目的とする。
【課題を解決するための手段】
【０００６】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、メイン側画像内のメイン側検出エリア内に焦点の合うメイン側レンズの位置をメイン側合焦位置として検出するメイン側フォーカス制御部と、上記メイン側合焦位置に基づいて距離を求めて上記距離に応じた視差を取得する視差取得部と、上記視差と上記メイン側検出エリアの位置とに基づいてサブ側画像内におけるサブ側検出エリアの位置を設定するサブ側検出エリア設定部と、上記サブ側検出エリア内に焦点の合うサブ側レンズの位置をサブ側合焦位置として検出するサブ側フォーカス制御部とを具備する撮像装置、および、その制御方法である。これにより、視差とメイン側検出エリアの位置とに基づいてサブ側検出エリアの位置が設定されるという作用をもたらす。
【０００７】
また、この第１の側面において、上記サブ側フォーカス制御部は、上記サブ側検出エリアのうち上記サブ側画像データの枠外のエリアの面積が所定値を超えない場合には上記サブ側合焦位置を検出してもよい。これにより、サブ側検出エリアのうち枠外のエリアの面積が所定値以下の場合にサブ側合焦位置が検出されるという作用をもたらす。
【０００８】
また、この第１の側面において、上記メイン側レンズと上記サブ側レンズとの画角は異なり、上記サブ側検出エリア設定部は、上記メイン側画像および上記サブ側画像の一方に対する他方の拡大率と上記視差と上記メイン側検出エリアの位置とに基づいて上記サブ側検出エリアの位置およびサイズを設定してもよい。これにより、拡大率と視差とメイン側検出エリアの位置とに基づいてサブ側検出エリアの位置およびサイズが設定されるという作用をもたらす。
【０００９】
また、この第１の側面において、上記メイン側レンズを駆動して焦点を合わせることができる上記距離の範囲であるメイン側サーチ範囲と上記サブ側レンズを駆動して焦点を合わせることができる上記距離の範囲であるサブ側サーチ範囲とは異なり、上記サブ側フォーカス制御部は、上記サブ側画像データの枠外のエリアの面積が所定値を超えず、上記メイン側合焦位置に対応する距離が上記サブ側サーチ範囲内である場合には上記サブ側合焦位置を検出してもよい。これにより、メイン側合焦位置に対応する距離がサブ側サーチ範囲内である場合にサブ側合焦位置が検出されるという作用をもたらす。
【００１０】
また、この第１の側面において、上記メイン側画像を撮像するメイン側固体撮像素子と、上記サブ側画像を撮像するサブ側固体撮像素子とをさらに具備し、上記メイン側固体撮像素子は、上記メイン側合焦位置が検出されると新たなメイン側画像を撮像し、上記サブ側固体撮像素子は、上記サブ側合焦位置が検出されると新たなサブ側画像を撮像してもよい。これにより、メイン側合焦位置が検出されると新たな画像が撮像されるという作用をもたらす。
【００１１】
また、この第１の側面において、上記メイン側フォーカス制御部は、上記メイン側検出エリア内のコントラストが最も強くなる上記メイン側レンズの位置を上記メイン側合焦位置として検出し、上記サブ側フォーカス制御部は、上記サブ側検出エリア内のコントラストが最も強くなる上記サブ側レンズの位置を上記サブ側合焦位置として検出してもよい。これにより、コントラストが最も強くなるレンズの位置が合焦位置として検出されるという作用をもたらす。
【００１２】
また、この第１の側面において、上記メイン側フォーカス制御部は、位相差に基づいて上記メイン側合焦位置を検出し、上記サブ側フォーカス制御部は、位相差に基づいて上記サブ側合焦位置を検出してもよい。これにより、位相差ＡＦ方式により、合焦位置が検出されるという作用をもたらす。
【００１３】
また、本技術の第２の側面は、メイン側画像内のメイン側検出エリア内に焦点の合うメイン側レンズの位置をメイン側合焦位置として検出するメイン側フォーカス制御部と、上記メイン側合焦位置に基づいて距離を求めて上記距離に応じた視差を取得する視差取得部と、上記視差と上記メイン側検出エリアの位置とに基づいてサブ側画像内におけるサブ側検出エリアの位置を設定するサブ側検出エリア設定部と、上記サブ側検出エリア内に焦点の合うサブ側レンズの位置をサブ側合焦位置として検出するサブ側フォーカス制御部と、上記メイン側画像および上記サブ側画像の少なくとも一方を処理した画像を出力する画像出力部とを具備する撮像モジュールである。これにより、視差とメイン側検出エリアの位置とに基づいてサブ側検出エリアの位置が設定され、メイン側画像およびサブ側画像の少なくとも一方を処理した画像が出力されるという作用をもたらす。
【発明の効果】
【００１４】
本技術によれば、複数のレンズのそれぞれの焦点を検出する撮像装置において、焦点の検出精度を向上させることができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１５】
【図１】本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。
【図２】本技術の第１の実施の形態における２眼カメラモジュールの外観の構成例を示す図である。
【図３】本技術の第１の実施の形態における２眼カメラモジュールの一構成例を示すブロック図である。
【図４】本技術の第１の実施の形態におけるメイン側固体撮像素子の一構成例を示すブロック図である。
【図５】本技術の第１の実施の形態におけるサブ側固体撮像素子の一構成例を示すブロック図である。
【図６】本技術の第１の実施の形態におけるメイン側画素アレイ部およびサブ側画素アレイ部の平面図の一例である。
【図７】本技術の第１の実施の形態におけるメイン側レンズ位置とメイン側レンズ駆動量との関係の一例を示すグラフである。
【図８】本技術の第１の実施の形態における撮像制御部の一構成例を示すブロック図である。
【図９】本技術の第１の実施の形態におけるメイン側レンズ位置およびサブ側レンズ位置と距離との関係の一例を示すグラフである。
【図１０】本技術の第１の実施の形態における距離が遠い場合の視差を説明するための図である。
【図１１】本技術の第１の実施の形態における距離が遠い場合のメイン側画像データおよびサブ側画像データの一例を示す図である。
【図１２】本技術の第１の実施の形態における距離が遠い場合のコントラストとメイン側レンズ位置およびサブ側レンズ位置との関係の一例を示すグラフである。
【図１３】本技術の第１の実施の形態における距離が近い場合の視差を説明するための図である。
【図１４】本技術の第１の実施の形態における距離が近い場合のメイン側画像データおよびサブ側画像データの一例を示す図である。
【図１５】本技術の第１の実施の形態における距離が近い場合のシフト前のコントラストとメイン側レンズ位置およびサブ側レンズ位置との関係の一例を示すグラフである。
【図１６】本技術の第１の実施の形態におけるシフトした場合のシフト後のコントラストとサブ側レンズ位置との関係の一例を示すグラフである。
【図１７】本技術の第１の実施の形態におけるサブ側検出領域がはみ出る場合のメイン側画像データおよびサブ側画像データの一例を示す図である。
【図１８】本技術の第１の実施の形態における撮像装置の動作の一例を示すフローチャートである。
【図１９】本技術の第１の実施の形態におけるＡＦ処理の一例を示すフローチャートである。
【図２０】本技術の第１の実施の形態におけるサブ側検出エリア設定処理の一例を示すフローチャートである。
【図２１】本技術の第１の実施の形態におけるサブ側ＡＦ実行判定処理の一例を示すフローチャートである。
【図２２】本技術の第２の実施の形態における２眼カメラモジュールの一構成例を示すブロック図である。
【図２３】本技術の第２の実施の形態におけるサブ側領域がはみ出ない場合のメイン側画像データおよびサブ側画像データの一例を示す図である。
【図２４】本技術の第２の実施の形態におけるサブ側領域がはみ出る場合のメイン側画像データおよびサブ側画像データの一例を示す図である。
【図２５】本技術の第２の実施の形態におけるメイン側サーチ範囲およびサブ側サーチ範囲の一例を示す図である。
【図２６】本技術の第２の実施の形態におけるＡＦ処理の一例を示すフローチャートである。
【図２７】本技術の第２の実施の形態におけるサブ側検出エリア設定処理の一例を示すフローチャートである。
【図２８】本技術の第２の実施の形態におけるサブ側ＡＦ実行判定処理１の一例を示すフローチャートである。
【図２９】本技術の第２の実施の形態におけるサブ側ＡＦ実行判定処理２の一例を示すフローチャートである。
【図３０】車両制御システムの概略的な構成の一例を示すブロック図である。
【図３１】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【００１６】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（視差に応じてシフトした位置に検出エリアを設定する例）
２．第２の実施の形態（画角が狭い画像データにおいて視差に応じてシフトした位置に検出エリアを設定する例）
３．移動体への応用例
【００１７】
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、画像データを撮像することができる装置であり、操作部１１０、２眼カメラモジュール２００、記録部１２０および表示部１３０を備える。撮像装置１００として、撮像機能を持つスマートフォンやパーソナルコンピュータなどが想定される。
【００１８】
操作部１１０は、ユーザの操作に従ってデータを生成するものである。この操作部１１０は、例えば、合焦位置を検出するためのエリアである検出エリアの位置を指定する操作が行われると操作信号を生成し、信号線１１９を介して２眼カメラモジュール２００に供給する。ここで、検出エリアの位置の指定は、例えば、表示部１３０をユーザが指でタップすることにより行われる。また、操作部１１０は、ユーザによりシャッターボタンが押下されると画像データの記録を指示する撮像開始信号を生成して２眼カメラモジュール２００に信号線１１９を介して供給する。なお、検出エリアの指定は、指でタップする操作に限定されず、例えば、十字キーと決定ボタンとを用いた操作により指定する構成であってもよい。
【００１９】
２眼カメラモジュール２００は、２つの固体撮像素子により２枚の画像データを同時に撮像するものである。この２眼カメラモジュール２００は、所定周波数（例えば、３０ヘルツ）の垂直同期信号に同期して画像データを生成し、プレビュー画像として表示部１３０に信号線２０９を介して供給する。また、２眼カメラモジュール２００は、操作信号に従って検出エリアを設定し、検出エリア内の被写体に焦点の合うレンズの位置を合焦位置として検出する。そして、２眼カメラモジュール２００は、撮像開始信号を受け取ると、画像データを撮像し、撮像した画像データを記録画像として信号線２０８を介して記録部１２０に供給する。なお、２眼カメラモジュール２００は、特許請求の範囲に記載の撮像モジュールの一例である。
【００２０】
記録部１２０は、記録画像を記録するものである。記録部１２０として、例えば、フラッシュメモリが用いられる。
【００２１】
表示部１３０は、プレビュー画像を表示するものである。表示部１３０として、例えば、タッチパネルが用いられる。
【００２２】
［２眼カメラモジュールの構成例］
図２は、本技術の第１の実施の形態における２眼カメラモジュールの外観の構成例を示す図である。同図におけるａは、２眼カメラモジュール２００の斜視図であり、同図におけるｂは、２眼カメラモジュール２００の正面図である。
【００２３】
２眼カメラモジュール２００は、複眼方式のカメラモジュールであって、単眼カメラモジュール２０１と単眼カメラモジュール２０２が、矩形の板状の形状からなる連結部材２０３により固定されることで構成される。
【００２４】
単眼カメラモジュール２０１には、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサ等の固体撮像素子やレンズユニット等が搭載されている。
【００２５】
単眼カメラモジュール２０１において、固体撮像素子は、複数の画素が２次元状に配列される画素部や、画素の駆動やA/D(Analog/Digital)変換等を行う周辺回路部などから構成されている。この固体撮像素子では、レンズユニット内のレンズから入射される光（像光）が画素部の受光面に結像され、結像された像の光が光電変換されることで、画素信号が生成される。
【００２６】
単眼カメラモジュール２０２は、単眼カメラモジュール２０１と同様に、ＣＭＯＳイメージセンサやレンズユニット等が搭載されて構成される。例えば、２眼カメラモジュール２００においては、単眼カメラモジュール２０１をメインカメラとする一方で、単眼カメラモジュール２０２をサブカメラとすることができる。
【００２７】
連結部材２０３は、単眼カメラモジュール２０１のレンズユニットと、単眼カメラモジュール２０２のレンズユニットを並べたときの平面方向のサイズよりも大きな輪郭の矩形の板状の形状からなる。また、連結部材２０３には、単眼カメラモジュール２０１のレンズユニットが挿入される矩形の挿入孔部と、単眼カメラモジュール２０２のレンズユニットが挿入される矩形の挿入孔部とが、対称に貫通形成されている。
【００２８】
２眼カメラモジュール２００においては、連結部材２０３に貫通形成された２つの矩形の挿入孔部に対し、単眼カメラモジュール２０１のレンズユニットと、単眼カメラモジュール２０２のレンズユニットとがそれぞれ挿入されて固定されている。これにより、２眼カメラモジュール２００は、単眼カメラモジュール２０１と単眼カメラモジュール２０２を有する、複眼方式のカメラモジュールとして構成される。２眼カメラモジュール２００は、以上のように構成される。
【００２９】
なお、単眼カメラモジュール２０１と単眼カメラモジュール２０２とは、連結部材２０３により連結される、複数の単眼カメラモジュールの一例であって、以下、それらを特に区別する必要がない場合には、単に、単眼カメラモジュール２０１と称して説明する。
【００３０】
また、単眼カメラモジュールとは、１つの固体撮像素子（イメージセンサ）が搭載されたカメラモジュールである。一方で、２眼カメラモジュールは、２つの単眼カメラモジュールを連結させることで、２つの固体撮像素子（イメージセンサ）が搭載されたカメラモジュールである。ただし、モジュールは、パッケージなどの他の名称で呼ばれる場合がある。
【００３１】
図３は、本技術の第１の実施の形態における２眼カメラモジュール２００の一構成例を示すブロック図である。この２眼カメラモジュール２００は、撮像レンズ２１１および２１２と、メイン側駆動部２２１と、サブ側駆動部２２２と、メイン側固体撮像素子２３０と、サブ側固体撮像素子２５０と、画像処理部２７０と、撮像制御部２８０と、スイッチ２９０とを備える。
【００３２】
図３における撮像レンズ２１１、メイン側駆動部２２１およびメイン側固体撮像素子２３０は、図２における単眼カメラモジュール２０１内に設けられる。一方、撮像レンズ２１２、サブ側駆動部２２２およびサブ側固体撮像素子２５０は、図２における単眼カメラモジュール２０２内に設けられる。画像処理部２７０、撮像制御部２８０およびスイッチ２９０は、単眼カメラモジュール２０１および２０２の一方のみに設けてもよいし、単眼カメラモジュール２０１および２０２のそれぞれに分散して設けてもよい。
【００３３】
撮像レンズ２１１は、被写体からの光を集光してメイン側固体撮像素子２３０に導くものである。撮像レンズ２１１として、例えば、焦点距離が固定の単焦点レンズが用いられる。なお、撮像レンズ２１１は、特許請求の範囲に記載のメイン側レンズの一例である。
【００３４】
撮像レンズ２１２は、被写体からの光を集光してサブ側固体撮像素子２５０に導くものである。撮像レンズ２１２として、例えば、焦点距離が固定の単焦点レンズが用いられる。また、撮像レンズ２１１および２１２のそれぞれの画角は同一であるものとする。なお、撮像レンズ２１２は、特許請求の範囲に記載のサブ側レンズの一例である。
【００３５】
メイン側駆動部２２１は、撮像制御部２８０の制御に従って、光軸方向に沿って撮像レンズ２１１を駆動するものである。例えば、ＤＡＣ（Digital to Analog Converter）やアクチュエータを設けた回路がメイン側駆動部２２１として用いられる。サブ側駆動部２２２は、撮像制御部２８０の制御に従って、光軸方向に沿って撮像レンズ２１２を駆動するものである。
【００３６】
メイン側固体撮像素子２３０は、撮像制御部２８０の制御に従って画像データを撮像するものである。このメイン側固体撮像素子２３０は、色情報を含む画素データからなるカラーの画像データをメイン側画像データとして撮像し、そのメイン側画像データを画像処理部２７０および撮像制御部２８０に供給する。このメイン側画像データは、Ｒ（Red）、Ｇ(Green)およびＢ(Blue)の画素データがベイヤ配列により配列されたものであり、ＲＡＷ画像データとも呼ばれる。
【００３７】
サブ側固体撮像素子２５０は、撮像制御部２８０の制御に従って画像データを撮像するものである。このサブ側固体撮像素子２５０は、色情報を含まない画素データからなるモノクロの画像データをサブ側画像データとして撮像し、そのサブ側画像データを画像処理部２７０および撮像制御部２８０に供給する。また、サブ側画像データの総画素数は、メイン側画像データと同じであってもよいし、異なっていてもよい。
【００３８】
画像処理部２７０は、メイン側画像データおよびサブ側画像データに対して所定の画像処理を行うものである。この画像処理部２７０は、撮像開始信号が入力されていない場合には、メイン側画像データに対してデモザイク処理などを行って、プレビュー画像としてスイッチ２９０に供給する。
【００３９】
また、撮像開始信号が入力されると画像処理部２７０は、メイン側画像データおよびサブ側画像データを合成し、記録画像としてスイッチ２９０に供給する。ベイヤ配列のメイン側画像データは、デモザイク処理により補間を行う必要があり、この処理により、Ｇの解像度は、総画素数の１／２となり、ＲおよびＢの解像度は、総画素数の１／４となる。一方、サブ側画像データでは、デモザイク処理は不要であるため、デモザイク後のメイン側画像データよりも解像度が高い。したがって、サブ側画像データの合成により、メイン側画像データで不足する画素情報を補って、合成画像データの画質を、合成しない場合よりも向上させることができる。なお、画像処理部２７０は、デモザイク処理や合成処理の他、ホワイトバランス補正や顔認識処理などの画像処理を必要に応じて実行することもできる。
【００４０】
撮像制御部２８０は、２眼カメラモジュール２００の撮像動作を制御するものである。この撮像制御部２８０は、メイン側画像データにおいて、操作信号により指定された位置に矩形の所定サイズのエリアをメイン側検出エリアとして設定する。そして、撮像制御部２８０は、メイン側検出エリアのコントラストに基づいて、焦点の合う撮像レンズ２１１の位置をメイン側合焦位置として検出する。次いで撮像制御部２８０は、光軸上のレンズ位置を示すデジタル値をメイン側駆動部２２１に供給し、メイン側合焦位置に撮像レンズ２１１を駆動させる。
【００４１】
また、撮像制御部２８０は、メイン側合焦位置に基づいて、被写体までの距離を求め、その距離に応じた視差を取得する。そして、撮像制御部２８０は、視差とメイン側検出エリアの位置とに基づいて、サブ側画像データにおいて矩形の所定サイズのエリアをサブ側検出エリアとして設定する。このサブ側検出エリアのサイズは、メイン側検出エリアと同一であるものとする。撮像制御部２８０は、サブ側検出エリアのコントラストに基づいて、焦点の合う撮像レンズ２１２の位置をサブ側合焦位置として検出する。そして、撮像制御部２８０は、光軸上のレンズ位置を示すデジタル値をサブ側駆動部２２２に供給し、サブ側合焦位置に撮像レンズ２１２を駆動させる。
【００４２】
スイッチ２９０は、撮像開始信号に従って画像データの出力先を切り替えるものである。このスイッチ２９０は、撮像開始信号が入力されていない場合に、画像処理部２７０からのプレビュー画像を表示部１３０に出力する。一方、撮像開始信号が入力された場合にスイッチ２９０は、画像処理部２７０からの記録画像を記録部１２０に出力する。なお、スイッチ２９０は、特許請求の範囲に記載の出力部の一例である。
【００４３】
また、撮像制御部２８０は、メイン側固体撮像素子２３０およびサブ側固体撮像素子２５０のそれぞれに、露光時間やゲインなどの露光パラメータを設定する。
【００４４】
［メイン側固体撮像素子の構成例］
図４は、本技術の第１の実施の形態におけるメイン側固体撮像素子２３０の一構成例を示すブロック図である。このメイン側固体撮像素子２３０は、ドライバ２３１、メイン側画素アレイ部２４０、アナログ信号増幅部２３２、ＡＤ（Analog to Digital）変換部２３３およびデジタル信号増幅部２３４を備える。
【００４５】
ドライバ２３１は、メイン側画素アレイ部２４０を走査するものである。このドライバ２３１には、垂直同期信号に同期したタイミング信号と、露光時間とが入力される。ドライバ２３１は、タイミング信号に同期してメイン側画素アレイ部２４０内のラインを順に選択し、そのラインを露光時間に亘って露光させる。
【００４６】
メイン側画素アレイ部２４０には、Ｒ、ＧおよびＢ画素がベイヤ配列により設けられる。Ｒ画素、Ｇ画素およびＢ画素のそれぞれは、ドライバ２３１の制御に従って、アナログの画素信号を生成してアナログ信号増幅部２３２に供給する。
【００４７】
アナログ信号増幅部２３２は、画素信号を増幅するものである。このアナログ信号増幅部２３２には、アナログゲインが入力される。アナログ信号増幅部２３２は、そのアナログゲインにより、メイン側画素アレイ部２４０からの画素信号を増幅してＡＤ変換部２３３に供給する。
【００４８】
ＡＤ変換部２３３は、アナログの画素信号のそれぞれを、デジタルの画素データに変換するものである。このＡＤ変換部２３３は、画素データのそれぞれをデジタル信号増幅部２３４に供給する。
【００４９】
デジタル信号増幅部２３４は、画素データを増幅するものである。このデジタル信号増幅部２３４には、デジタルゲインが入力される。デジタル信号増幅部２３４は、そのデジタルゲインにより画素データを増幅して画像処理部２７０および撮像制御部２８０に出力する。
【００５０】
［サブ側固体撮像素子の構成例］
図５は、本技術の第１の実施の形態におけるサブ側固体撮像素子２５０の一構成例を示すブロック図である。このサブ側固体撮像素子２５０は、ドライバ２５１、サブ側画素アレイ部２６０、アナログ信号増幅部２５２、ＡＤ変換部２５３およびデジタル信号増幅部２５４を備える。
【００５１】
ドライバ２５１の構成は、メイン側のドライバ２３１と同様である。サブ側画素アレイ部２６０には二次元格子状に複数の画素が配列される。アナログ信号増幅部２５２は、メイン側のアナログ信号増幅部２３２と同様の構成である。デジタル信号増幅部２５４は、メイン側のデジタル信号増幅部２３４と同様の構成である。
【００５２】
［画素アレイ部の構成例］
図６は、本技術の第１の実施の形態におけるメイン側画素アレイ部２４０およびサブ側画素アレイ部２６０の平面図の一例である。同図におけるａは、メイン側画素アレイ部２４０の平面図の一例であり、同図におけるｂは、サブ側画素アレイ部２６０の平面図の一例である。
【００５３】
メイン側画素アレイ部２４０には、所定数のＲ画素２４１、Ｇ画素２４２およびＢ画素２４３がベイヤ配列により二次元格子状に配列される。メイン側画素アレイ部２４０の総画素数は、サブ側画素アレイ部２６０と同じであってもよいし、異なっていてもよい。Ｒ画素２４１には、赤色の光を透過するカラーフィルタが設けられ、Ｇ画素２４２には、緑色の光を透過するカラーフィルタが設けられる。また、Ｂ画素２４３には、青色の光を透過するカラーフィルタが設けられる。
【００５４】
一方、サブ側画素アレイ部２６０には、複数の画素２６１が二次元格子状に配列される。そして、画素２６１のそれぞれには、カラーフィルタが設けられない。このため、このサブ側画素アレイ部２６０により、色情報を含まないモノクロの画像データが撮像される。
【００５５】
図７は、本技術の第１の実施の形態におけるメイン側レンズ位置とメイン側レンズ駆動量との関係の一例を示すグラフである。同図における縦軸は、メイン側レンズ位置を示す値としてメイン側駆動部２２１内のＤＡＣに設定されるデジタル値を示す。また、同図における横軸は、メイン側駆動部２２１内のアクチュエータによる撮像レンズ２１１の所定位置からの駆動量を示す。同図に例示するように、デジタル値とレンズ駆動量との間の関係は、次の式により表される。
Ｌ＝ｃ×Ｄ＋Ｌ０                                        ・・・式１
上式において、Ｌは、メイン側レンズ位置を示すデジタル値である。ｃは、傾きであり、Ｌ０は切片である。Ｄは、メイン側レンズ駆動量であり、単位は、例えば、ミリメートル（ｍｍ）である。
【００５６】
［撮像制御部の構成例］
図８は、本技術の第１の実施の形態における撮像制御部２８０の一構成例を示すブロック図である。この撮像制御部２８０は、メイン側フォーカス制御部２８１、視差取得部２８２、サブ側検出エリア設定部２８３、露光制御部２８４、メイン側検出エリア設定部２８５およびサブ側フォーカス制御部２８６を備える。
【００５７】
メイン側検出エリア設定部２８５は、操作信号に従ってメイン側検出エリアを設定するものである。例えば、操作信号を解釈して画像内の位置座標に変換するデコーダがメイン側検出エリア設定部２８５として用いられる。メイン側検出エリア設定部２８５は、設定した位置をメイン側フォーカス制御部２８１およびサブ側検出エリア設定部２８３に供給する。
【００５８】
メイン側フォーカス制御部２８１は、メイン側検出エリア内に焦点の合う撮像レンズ２１１の位置をメイン側合焦位置として検出するものである。このメイン側フォーカス制御部２８１は、撮像レンズ２１１のレンズ位置を少しずつ変化させて、そのたびにメイン側画像データ内のメイン側検出エリアのコントラストを参照し、コントラストが最も強くなる撮像レンズ２１１の位置を探索する。このようなフォーカス制御方式は、一般にコントラストＡＦ（Auto Focus）方式と呼ばれる。探索においてメイン側フォーカス制御部２８１は、駆動先のメイン側レンズ位置をメイン側駆動部２２１に供給する。
【００５９】
そして、メイン側フォーカス制御部２８１は、探索した位置（すなわち、メイン側合焦位置）を視差取得部２８２およびサブ側フォーカス制御部２８６に供給する。
【００６０】
視差取得部２８２は、メイン側合焦位置に基づいて距離を求めて、その距離に応じた視差を取得するものである。視差取得部２８２は、取得した視差をサブ側検出エリア設定部２８３に供給する。
【００６１】
サブ側検出エリア設定部２８３は、視差と、メイン側検出エリアの位置とに基づいて、サブ側画像データ内におけるサブ側検出エリアの位置を設定するものである。このサブ側検出エリア設定部２８３は、例えば、視差をピクセル単位の値に換算し、その値だけメイン側検出エリアの位置をシフトさせ、そのシフト後の位置をサブ側検出エリアの位置として設定する。そして、サブ側検出エリア設定部２８３は、次の式を用いて枠外エリア面積比率Ｐを演算する。
Ｐ＝Ａｏｕｔ／Ａｓｕｂ
上式において、Ａｏｕｔは、サブ側検出エリアのうち、シフトによりサブ側画像データの枠外にはみ出したエリアの面積である。Ａｓｕｂは、サブ側検出エリア全体の面積であり、メイン側検出エリアと同じ値が設定される。
【００６２】
サブ側検出エリア設定部２８３は、サブ側検出エリアの位置と、枠外エリア面積比率Ｐとをサブ側フォーカス制御部２８６に供給する。
【００６３】
サブ側フォーカス制御部２８６は、サブ側検出エリア内に焦点の合う撮像レンズ２１２の位置をサブ側合焦位置として検出するものである。このサブ側フォーカス制御部２８６は、枠外エリア面積比率Ｐが所定値以下であるか否かを判断する。枠外エリア面積比率Ｐが所定値を超える場合、すなわち枠外のエリアの面積が広い場合には、焦点を合わせるべき被写体の大部分が枠外にあるため、焦点検出を行う必要性に乏しい。このため、サブ側フォーカス制御部２８６は、枠外エリア面積比率Ｐが所定値以下である場合に、コントラストＡＦ方式によりサブ側合焦位置を検出し、その位置に撮像レンズ２１２を駆動させる。
【００６４】
露光制御部２８４は、露光時間やゲインなどの露光パラメータを制御するものである。この露光制御部２８４は、メイン側画像データおよびサブ側画像データの明るさを求め、その明るさに基づいて露光パラメータを決定してメイン側固体撮像素子２３０およびサブ側固体撮像素子２５０に供給する。
【００６５】
なお、撮像制御部２８０は、コントラストＡＦ方式により焦点を検出しているが、コントラストＡＦ方式の代わりに、瞳分割された２つの像の位相差に基づいて合焦位置を求める位相差ＡＦ方式により焦点を検出してもよい。位相差ＡＦ方式は、像面に位相差画素を設ける像面位相差ＡＦ方式であってもよいし、固体撮像素子の外部にラインセンサを設ける方式であってもよい。像面位相差ＡＦ方式では、例えば、メイン側固体撮像素子２３０およびサブ側固体撮像素子２５０のそれぞれに位相差画素が設けられる。そして、撮像制御部２８０は、それらの位相差画素の画素データから位相差を検出し、その位相差に対応するレンズ位置を合焦位置として求めて、その位置へレンズを駆動させる。
【００６６】
図９は、本技術の第１の実施の形態におけるメイン側レンズ位置およびサブ側レンズ位置と距離との関係の一例を示すグラフである。同図におけるａは、メイン側レンズ位置と距離との関係の一例を示すグラフである。同図におけるａの縦軸は、焦点の合うメイン側レンズ位置を示すデジタル値であり、横軸は、焦点を合わせた被写体までの距離である。同図におけるｂは、サブ側レンズ位置と距離との関係の一例を示すグラフである。同図におけるｂの縦軸は、焦点の合うサブ側レンズ位置を示すデジタル値であり、横軸は、焦点を合わせた被写体までの距離である。
【００６７】
図９に例示するように、メイン側とサブ側とのそれぞれの光学特性の相違と製品ばらつきとにより、メイン側レンズ位置と距離との関係を示す曲線は、サブ側と異なる曲線となっている。例えば、製品ごとに、その関係式を調整する調整値が予めレジスタなどに保持される。撮像制御部２８０は、その調整値を用いて関係式を調整し、メイン側合焦位置に対応する距離を求める。
【００６８】
図１０は、本技術の第１の実施の形態における距離が遠い場合の視差を説明するための図である。撮像レンズ２１１および２１２の間の距離を基線長ｓｄとし、レンズ（撮像レンズ２１１または２１２）と固体撮像素子（メイン側固体撮像素子２３０またはサブ側固体撮像素子２５０）との間の距離をレンズセンサー間距離ｂとする。また、被写体までの距離を被写体距離ａとする。ここで、レンズの焦点距離をｆとすると、次の式が得られる。
１／ｆ＝（１／ａ）＋（１／ｂ）                              ・・・式２
上式は、一般にレンズ公式と呼ばれる。
【００６９】
式２を変形すると、次の式が得られる。
ａ＝ｆ２／（ｂ−ｆ）＋ｆ                                    ・・・式３
上式における（ｂ−ｆ）は、レンズの駆動量に該当する。
【００７０】
撮像制御部２８０は、メイン側合焦位置を示すデジタル値を式１に代入してメイン側レンズ駆動量を演算し、その駆動量を式３の（ｂ−ｆ）に代入して被写体距離ａを演算する。
【００７１】
また、被写体７００と、メイン側固体撮像素子２３０の結像点７０４とサブ側固体撮像素子２５０の結像点７０２とを頂点とする三角形は、撮像レンズ２１２の主点７０１と結像点７０２と点７０３とを頂点とする三角形と相似である。ここで、点７０３は、主点７０１から引いた垂線と像面との交点である。相似の関係に基づいて、次の式が成立する。
（ａ＋ｂ）：（ｐｄ＋ｓｄ）＝ｂ：ｐｄ                          ・・・式４
【００７２】
基線長ｓｄおよびレンズセンサー間距離ｂは既知であるため、露光制御部２８４は、式４を用いて被写体距離ａから視差ｐｄを演算することができる。前述の図９の曲線は、式１乃至式４から得られた曲線を調整値により調整したものである。
【００７３】
図１１は、本技術の第１の実施の形態における距離が遠い場合のメイン側画像データおよびサブ側画像データの一例を示す図である。同図におけるａは、メイン側画像データの一例であり、同図におけるｂは、サブ側画像データの一例である。
【００７４】
メイン側画像データ５１０において、ある位置がユーザにより指定されると、２眼カメラモジュール２００は、その位置を中心とする矩形のエリアをメイン側検出エリア５１１として設定する。
【００７５】
そして、２眼カメラモジュール２００は、メイン側合焦位置を検出し、式１乃至式４を用いてメイン側合焦位置から距離を演算する。次いで２眼カメラモジュール２００は、視差をピクセル単位のシフト量に換算し、サブ側画像データ５２０において、メイン側検出エリア５１１の位置をシフト量だけずらした位置を中心とするサブ側検出エリア５２１を設定する。図１１に例示するように、距離が遠い場合には視差が比較的小さいため、シフト量も小さくなる。
【００７６】
図１２は、本技術の第１の実施の形態における距離が遠い場合のコントラストとメイン側レンズ位置およびサブ側レンズ位置との関係の一例を示すグラフである。同図におけるａは、コントラストとメイン側レンズ位置との関係を示すグラフである。同図におけるａの縦軸はコントラストであり、横軸はメイン側レンズ位置である。同図におけるｂは、コントラストとサブ側レンズ位置との関係を示すグラフである。同図におけるｂの縦軸はコントラストであり、横軸はサブ側レンズ位置である。
【００７７】
２眼カメラモジュール２００は、コントラストが最も強くなるメイン側レンズ位置をメイン合焦位置Ｐｍとして検出し、コントラストが最も強くなるサブ側レンズ位置をメイン合焦位置Ｐｓとして検出する。
【００７８】
図１３は、本技術の第１の実施の形態における距離が近い場合の視差を説明するための図である。同図に例示するように、距離が近い場合には、視差ｐｄが比較的大きくなる。
【００７９】
図１４は、本技術の第１の実施の形態における距離が近い場合のメイン側画像データおよびサブ側画像データの一例を示す図である。同図におけるａは、メイン側画像データの一例であり、同図におけるｂは、サブ側画像データの一例である。
【００８０】
メイン側画像データ５３０において、ある位置がユーザにより指定されると、２眼カメラモジュール２００は、その位置を中心とする矩形のエリアをメイン側検出エリア５３１として設定する。
【００８１】
そして、２眼カメラモジュール２００は、視差に応じたシフト量を演算し、サブ側画像データ５４０において、メイン側検出エリア５３１の位置をシフト量だけずらした位置にサブ側検出エリア５４１を設定する。図１４に例示するように、距離が近い場合には視差が比較的大きいため、シフト量は大きくなる。
【００８２】
なお、２眼カメラモジュール２００は、メイン側合焦位置から視差を演算しているが、図１４に例示した２枚の画像データを用いた画像処理により視差を演算することも技術的には可能である。ただし、この方法では、計算量が非常に多くなる。例えば、２枚の画像データのそれぞれで特徴点を抽出し、それらの特徴点同士を対応付けて、対応する点の座標の差分を視差として求める方法が知られているが、この方法では、画像データ全体を処理する必要がある。このため、画像データの解像度が高くなるほど計算量が増大してしまう。これに対して、メイン側合焦位置から視差を演算する２眼カメラモジュール２００では、式１乃至式４などの簡易な式から視差を演算するため、計算量を削減することができる。
【００８３】
図１５は、本技術の第１の実施の形態における距離が近い場合のシフト前のコントラストとメイン側レンズ位置およびサブ側レンズ位置との関係の一例を示すグラフである。同図におけるａは、コントラストとメイン側レンズ位置との関係を示すグラフである。同図におけるａの縦軸はコントラストであり、横軸はメイン側レンズ位置である。同図におけるｂは、メイン側に対してサブ側の位置シフトしない比較例のコントラストとサブ側レンズ位置との関係を示すグラフである。同図におけるｂの縦軸はコントラストであり、横軸はサブ側レンズ位置である。
【００８４】
視差が大きい場合にメイン側に対してサブ側をシフトせずにサブ側検出エリアを設定すると、メイン側で焦点を合わせた被写体がサブ側検出エリア内に入らなくなることがある。この結果、図１５に例示するように、サブ側のコントラストとレンズ位置との間の関係がメイン側と大きく異なるものとなる。したがって、２眼カメラモジュール２００においてメイン側で焦点を合わせた被写体についてサブ側で焦点が合わなくなってしまう。
【００８５】
図１６は、本技術の第１の実施の形態におけるシフトした場合のシフト後のコントラストとサブ側レンズ位置との関係の一例を示すグラフである。視差に応じてシフトすることにより、メイン側で焦点を合わせた被写体がサブ側検出エリア内に入るようになるため、サブ側のコントラストとレンズ位置との間の関係がメイン側に近いものとなる。したがって、２眼カメラモジュール２００は、メイン側で焦点を合わせた被写体についてサブ側でも焦点を合わせることができる。
【００８６】
図１７は、本技術の第１の実施の形態におけるサブ側検出領域がはみ出る場合のメイン側画像データおよびサブ側画像データの一例を示す図である。同図におけるａは、メイン側画像データの一例であり、同図におけるｂは、サブ側画像データの一例である。
【００８７】
メイン側画像データ５５０において、左端や右端に近い位置にメイン側検出エリア５５１が設定されたものとする。この場合、サブ側画像データ５６０において、メインに対してシフトした位置にサブ側検出エリア５６１を設定すると、図１７におけるｂに例示するようにサブ側検出エリア５６１の一部がサブ側画像データの枠外にはみ出ることがある。はみ出たエリアが広いときは、焦点を合わせるべき被写体の大部分が枠外にあるため、焦点検出を行う必要性に乏しい。
【００８８】
そこで、２眼カメラモジュール２００は、枠外エリア面積比率Ｐが所定値より大きい場合には、サブ側合焦位置の検出を行わない。コントラストＡＦ方式では、レンズ位置を変えながら合焦位置を探索する必要があるため、一般に位相差ＡＦ方式と比較して焦点の検出までにかかる時間が長くなる。上述のように、２眼カメラモジュール２００が不要な焦点検出を行わないことにより、記録画像の撮像までの時間を短くすることができる。
【００８９】
［撮像装置の動作例］
図１８は、本技術の第１の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この動作は、例えば、撮像装置１００において、撮像のためのアプリケーションが実行されたときに開始される。撮像装置１００は、検出エリアの位置がユーザにより指定されたか否かを判断する（ステップＳ９０１）。検出エリアの位置が指定されていない場合に（ステップＳ９０１：Ｎｏ）、撮像装置１００は、ステップＳ９０１を繰り返す。
【００９０】
一方、検出エリアの位置が指定された場合に（ステップＳ９０１：Ｙｅｓ）、撮像装置１００は、焦点を検出するためのＡＦ処理を実行する（ステップＳ９１０）。そして、撮像装置１００は、記録画像を撮像するための撮像操作がユーザにより行われたか否かを判断する（ステップＳ９０２）。撮像操作が行われていない場合に（ステップＳ９０２：Ｎｏ）撮像装置１００は、ステップＳ９０２以下を繰り返す。
【００９１】
一方、撮像操作が行われた場合に（ステップＳ９０２：Ｙｅｓ）、撮像装置１００は、メイン画像データおよびサブ画像データの撮像を行う（ステップＳ９０３）。撮像装置１００は、それらの画像データを合成する処理などの画像処理を実行して記録画像を生成する（ステップＳ９０４）。ステップＳ９０４の後に撮像装置１００は、撮像のための動作を終了する。
【００９２】
なお、撮像装置１００は、ＡＦ処理（ステップＳ９１０）の後に撮像操作が行われると撮像を行っているが、撮像操作がなくともＡＦ処理後に直ちに撮像を行ってもよい。
【００９３】
図１９は、本技術の第１の実施の形態におけるＡＦ処理の一例を示すフローチャートである。撮像制御部２８０は、コントラストＡＦ方式によりメイン側合焦位置をサーチする（ステップＳ９１１）。
【００９４】
撮像制御部２８０は、メイン側合焦位置ににメイン側のレンズを駆動させる（ステップＳ９１２）。撮像制御部２８０は、式１および式３を用いて、メイン側合焦位置から被写体距離を演算する（ステップＳ９１３）。また、撮像制御部２８０は、図９におけるｂに例示した、被写体距離とサブ側レンズ位置との関係に基づいて、被写体距離に対応する位置にサブ側の撮像レンズ２１２を駆動させておく。これにより、サブ側のレンズをメイン側に追従させることができる（ステップＳ９１４）。
【００９５】
次いで撮像制御部２８０は、サブ側検出エリアを設定するためのサブ側検出エリア設定処理を行い（ステップＳ９５０）、サブ側で焦点検出を実行するか否かを判定するためのサブ側ＡＦ実行判定処理を行う（ステップＳ９６０）。
【００９６】
撮像制御部２８０は、サブ側ＡＦ実行フラグがオンであるか否かを判断する（ステップＳ９１５）。ここで、サブ側ＡＦ実行フラグは、サブ側で焦点検出を実行するか否かの判定結果を示すフラグであり、例えば、実行する場合にオンが設定され、実行しない場合にオフが設定される。
【００９７】
サブ側ＡＦ実行フラグがオンである場合に（ステップＳ９１５：Ｙｅｓ）、撮像制御部２８０は、サブ側のサーチ範囲を制限して設定し、コントラストＡＦ方式によりサブ側合焦位置をサーチする（ステップＳ９１６）。そして、撮像制御部２８０は、その位置にサブ側のレンズを駆動させる（ステップＳ９１７）。
【００９８】
一方、サブ側ＡＦ実行フラグがオフである場合（ステップＳ９１５：Ｎｏ）、または、ステップＳ９１７の後に撮像制御部２８０はＡＦ処理を終了する。
【００９９】
図２０は、本技術の第１の実施の形態におけるサブ側検出エリア設定処理の一例を示すフローチャートである。撮像制御部２８０は、式１および式３を用いて、メイン側合焦位置から距離を演算する（ステップＳ９５１）。そして、撮像制御部２８０は、式４を用いて、距離から視差を演算し、シフト量に換算する（ステップＳ９５２）。続いて撮像制御部２８０は、メイン側の位置に対して、サブ側をシフト量だけシフトしてサブ側検出エリアの位置を設定する（ステップＳ９５４）。また、撮像制御部２８０は、枠外エリア面積比率を演算し（ステップＳ９５５）、サブ側検出エリア設定処理を終了する。
【０１００】
図２１は、本技術の第１の実施の形態におけるサブ側ＡＦ実行判定処理の一例を示すフローチャートである。撮像制御部２８０は、枠外エリア面積比率が所定の許容値以下であるか否かを判断する（ステップＳ９６１）。枠外エリア面積比率が許容値以下である場合に（ステップＳ９６１：Ｙｅｓ）、撮像制御部２８０は、サブ側ＡＦ実行フラグをオンにする（ステップＳ９６３）。
【０１０１】
一方、枠外エリア面積比率が許容値を超える場合に（ステップＳ９６１：Ｎｏ）、撮像制御部２８０は、サブ側ＡＦ実行フラグをオフにする（ステップＳ９６４）。ステップＳ９６３またはＳ９６４の後に、撮像制御部２８０は、サブ側ＡＦ実行判定処理を終了する。
【０１０２】
このように、本技術の第１の実施の形態によれば、メイン側合焦位置から求めた視差によりメイン側の位置をシフトした位置にサブ側検出エリアを設定するため、メイン側で焦点を合わせた被写体についてサブ側でも焦点を合わせることができる。
【０１０３】
＜２．第２の実施の形態＞
上述の第１の実施の形態では、画角が同一の撮像レンズ２１１および２１２を用いてズーム倍率が同一の２枚の画像データを撮像していたため、画質を低下させずにズーム倍率を変更することは困難である。ズームレンズを追加すれば光学的にズーム倍率を変更することができるが、２眼カメラモジュール２００のサイズが大きくなり、スマートフォンなどの小型の機器に収まらなくなるおそれがある。また、電子ズームを行う方法もあるが、画質が低下してしまう。そこで、第２の実施の形態では、画角の異なる２つの撮像レンズを設け、それらを切り替えることにより、画質を維持しつつ、ズーム倍率を変更する。この第２の実施の形態の２眼カメラモジュール２００は、画角の異なる２枚の撮像レンズを設けた点において第１の実施の形態と異なる。
【０１０４】
図２２は、本技術の第２の実施の形態における２眼カメラモジュール２００の一構成例を示すブロック図である。この第２の実施の形態の２眼カメラモジュール２００は、撮像レンズ２１１および２１２の代わりに、広角レンズ２１３および望遠レンズ２１４を備える点において第１の実施の形態と異なる。また、サブ側固体撮像素子２５０の代わりにサブ側固体撮像素子２５５を備える点において第１の実施の形態と異なる。
【０１０５】
広角レンズ２１３は、画角が望遠レンズ２１４よりも広い単焦点レンズである。この広角レンズ２１３は、光を集光してメイン側固体撮像素子２３０に導く。なお、広角レンズ２１３は、特許請求の範囲に記載のメイン側レンズの一例である。
【０１０６】
望遠レンズ２１４は、画角が広角レンズ２１３よりも狭い単焦点レンズである。この望遠レンズ２１４は、光を集光してサブ側固体撮像素子２５０に導く。なお、望遠レンズ２１４は、特許請求の範囲に記載のサブ側レンズの一例である。
【０１０７】
また、第２の実施の形態のサブ側固体撮像素子２５５には、メイン側と同様にカラーフィルタが設けられている。
【０１０８】
第２の実施の形態の画像処理部２７０は、ユーザが所定値Ｔｈ１以上にズーム倍率を上げる操作を行った際に、合成せずに望遠側のサブ側画像データを選択して出力する。また、ユーザが所定値Ｔｈ２以下にズーム倍率を下げる操作を行った際に、画像処理部２７０は、広角側のメイン側画像データを選択して出力する。ユーザが所定値Ｔｈ１からＴｈ２の間にズーム倍率を操作した際に、画像処理部２７０は、広角側のメイン側画像データと望遠側のサブ側画像データとを合成して、そのズーム倍率に応じた画像を生成する。
【０１０９】
図２３は、本技術の第２の実施の形態におけるサブ側領域がはみ出ない場合のメイン側画像データおよびサブ側画像データの一例を示す図である。同図におけるａは、メイン側画像データの一例であり、同図におけるｂはサブ側画像データの一例である。
【０１１０】
メイン側画像データ５７０において、点線で囲まれたエリア５７２内の位置がユーザにより指定されると、２眼カメラモジュール２００は、その位置にメイン側検出エリア５７１を設定する。このエリア５７２は、サブ側画像データの画角に対応する領域である。
【０１１１】
そして、２眼カメラモジュール２００は、サブ側画像データ５８０において、メイン側検出エリア５７１の位置をシフト量だけシフトした位置にサブ側検出エリア５８１を設定する。
【０１１２】
ここで、サブ側の画角はメイン側と異なるため、メイン側およびサブ側のそれぞれの画角に基づいてサブ側検出エリア５８１のサイズとシフト量とが設定される。前述したように、サブ側はメイン側より画角が狭いため、サブ側で被写体が拡大され、その拡大率は、メイン側の画角とサブ側の画角とにより決定される。メイン側画像データに対するサブ側画像データの拡大率をｍ（ｍは、実数）とすると、サブ側検出エリアのサイズは、メイン側検出エリアのｍ倍に設定される。また、シフト量は、視差ｐｄの換算値のｍ倍に設定される。
【０１１３】
図２４は、本技術の第２の実施の形態におけるサブ側領域がはみ出る場合のメイン側画像データおよびサブ側画像データの一例を示す図である。同図におけるａは、メイン側画像データの一例であり、同図におけるｂはサブ側画像データの一例である。
【０１１４】
メイン側画像データ５９０において、サブ側画像データに対応するエリア５９２の端部に近い位置にメイン側検出エリア５９１が設定されたものとする。この場合、サブ側画像データ６００において、メイン側の位置をシフトした位置にｍ倍のサイズのサブ側検出エリア６０１を設定すると、図２４におけるｂに例示するようにサブ側検出エリア６０１の一部がサブ側画像データの枠外にはみ出ることがある。はみ出たエリアが一定より広いときは焦点検出を行う必要性に乏しいため、２眼カメラモジュール２００は、サブ側合焦位置の検出を行わない。これにより、不要な焦点検出処理を省略して、記録画像の記録までの時間を短くすることができる。
【０１１５】
図２５は、本技術の第２の実施の形態におけるメイン側サーチ範囲およびサブ側サーチ範囲の一例を示す図である。ここで、メイン側サーチ範囲は、メイン側の広角レンズ２１３を駆動して焦点を合わせることができる距離の範囲である。また、サブ側サーチ範囲は、サブ側の望遠レンズ２１４を駆動して焦点を合わせることができる距離の範囲である。メイン側の光学系とサブ側の光学系とは光学特性が異なるため、同じ駆動範囲内でレンズを駆動しても、サーチ範囲が一致するとは限らない。例えば、メイン側サーチ範囲よりもサブ側サーチ範囲の方が狭くなる。したがって、メイン側合焦位置に対応する距離がサブ側サーチ範囲内に入らないことがある。サブ側合焦位置もメイン側合焦位置と大きく異なることはないと思われるため、この場合には、サブ側で焦点を検出することができないおそれがある。そこで、メイン側合焦位置に対応する距離がサブ側サーチ範囲内に入らない場合に撮像制御部２８０は、サブ側合焦位置の検出を行わない。
【０１１６】
図２６は、本技術の第２の実施の形態におけるＡＦ処理の一例を示すフローチャートである。撮像制御部２８０は、ステップＳ９１１からＳ９１４までを実行し、サブ側ＡＦ実行判定処理１を行う（ステップＳ９６０）。そして、撮像制御部２８０は、サブ側ＡＦ実行フラグがオンであるか否かを判断する（ステップＳ９２１）。
【０１１７】
サブ側ＡＦ実行フラグがオンである場合に（ステップＳ９２１：Ｙｅｓ）、撮像制御部２８０は、サブ側検出エリア設定処理を実行し（ステップＳ９５０）、サブ側実行判定処理２を行う（ステップＳ９７０）。次いで、撮像制御部２８０は、サブ側ＡＦ実行フラグがオンであるか否かを判断する（ステップＳ９１５）。
【０１１８】
サブ側ＡＦ実行フラグがオンである場合に（ステップＳ９１５：Ｙｅｓ）、撮像制御部２８０は、ステップＳ９１６以降を実行する。
【０１１９】
ステップＳ９２１でサブ側ＡＦ実行フラグがオフである場合（ステップＳ９２１：Ｎｏ）、または、ステップＳ９１５でサブ側ＡＦ実行フラグがオフである場合（ステップＳ９１５：Ｎｏ）またはステップＳ９１７の後に撮像制御部２８０は、ＡＦ処理を終了する。
【０１２０】
図２７は、本技術の第２の実施の形態におけるサブ側検出エリア設定処理の一例を示すフローチャートである。この第２の実施の形態のサブ側検出エリア設定処理は、ステップＳ９５３をさらに実行する点において第１の実施の形態と異なる。
【０１２１】
ステップＳ９５１およびＳ９５２の後に撮像制御部２８０は、拡大率ｍにより、サブ側検出エリアのサイズおよびシフト量を調整する（ステップＳ９５３）。そして、撮像制御部２８０は、ステップＳ９５４以降を実行する。
【０１２２】
図２８は、本技術の第２の実施の形態におけるサブ側ＡＦ実行判定処理１の一例を示すフローチャートである。この第２の実施の形態のサブ側ＡＦ実行判定処理は、ステップＳ９６１の代わりにステップＳ９６２を実行する点において第１の実施の形態と異なる。
【０１２３】
撮像制御部２８０は、メイン側合焦位置に対応する距離がサブ側サーチ範囲内であるか否かを判断する（ステップＳ９６２）。メイン側合焦位置に対応する距離がサブ側サーチ範囲内である場合に（ステップＳ９６２：Ｙｅｓ）、撮像制御部２８０は、サブ側ＡＦ実行フラグをオンにする（ステップＳ９６３）。
【０１２４】
一方、対応する距離がサブ側サーチ範囲外である場合に（ステップＳ９６２：Ｎｏ）、撮像制御部２８０は、サブ側ＡＦ実行フラグをオフにする（ステップＳ９６４）。
【０１２５】
図２９は、本技術の第２の実施の形態におけるサブ側ＡＦ実行判定処理２の一例を示すフローチャートである。撮像制御部２８０は、枠外エリア面積比率が所定の許容値以下であるか否かを判断する（ステップＳ９７１）。枠外エリア面積比率が許容値以下である場合に（ステップＳ９７１：Ｙｅｓ）、撮像制御部２８０は、サブ側ＡＦ実行フラグをオンにする（ステップＳ９７２）。
【０１２６】
一方、枠外エリア面積比率が許容値を超える場合に（ステップＳ９７１：Ｎｏ）、撮像制御部２８０は、サブ側ＡＦ実行フラグをオフにする（ステップＳ９７３）。ステップＳ９７２またはＳ９７３の後に、撮像制御部２８０は、サブ側ＡＦ実行判定処理を終了する。
【０１２７】
このように、本技術の第２の実施の形態では、広角レンズ２１３および望遠レンズ２１４によりメイン側画像データおよびサブ側画像データを撮像して、それらを切り替えるため、画質を維持しつつ、ズーム倍率を変更することができる。
【０１２８】
＜３．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【０１２９】
図３０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【０１３０】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３０に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
【０１３１】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【０１３２】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０１３３】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【０１３４】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【０１３５】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【０１３６】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ  Ｄｒｉｖｅｒ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
【０１３７】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０１３８】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【０１３９】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３０の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【０１４０】
図３１は、撮像部１２０３１の設置位置の例を示す図である。
【０１４１】
図３１では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
【０１４２】
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０１４３】
なお、図３１には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【０１４４】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【０１４５】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０１４６】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【０１４７】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【０１４８】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２１０１乃至１２１０４に適用され得る。例えば、撮像部１２１０１乃至１２１０４のそれぞれの内部に２眼カメラモジュール２００が配置される。撮像部１２１０１乃至１２１０４に本技術を適用することにより、画像データの画質を向上させることができるため、ドライバの疲労を軽減することが可能になる。
【０１４９】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１５０】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【０１５１】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【０１５２】
なお、本技術は以下のような構成もとることができる。
（１）メイン側画像内のメイン側検出エリア内に焦点の合うメイン側レンズの位置をメイン側合焦位置として検出するメイン側フォーカス制御部と、
前記メイン側合焦位置に基づいて距離を求めて前記距離に応じた視差を取得する視差取得部と、
前記視差と前記メイン側検出エリアの位置とに基づいてサブ側画像内にサブ側検出エリアの位置を設定するサブ側検出エリア設定部と、
前記サブ側検出エリア内に焦点の合うサブ側レンズの位置をサブ側合焦位置として検出するサブ側フォーカス制御部と
を具備する撮像装置。
（２）前記サブ側フォーカス制御部は、前記サブ側検出エリアのうち前記サブ側画像データの枠外のエリアの面積が所定値を超えない場合には前記サブ側合焦位置を検出する
前記（１）記載の撮像装置。
（３）前記メイン側レンズと前記サブ側レンズとの画角は異なり、
前記サブ側検出エリア設定部は、前記メイン側画像および前記サブ側画像の一方に対する他方の拡大率と前記視差と前記メイン側検出エリアの位置とに基づいて前記サブ側検出エリアの位置およびサイズを設定する
前記（２）記載の撮像装置。
（４）前記メイン側レンズを駆動して焦点を合わせることができる前記距離の範囲であるメイン側サーチ範囲と前記サブ側レンズを駆動して焦点を合わせることができる前記距離の範囲であるサブ側サーチ範囲とは異なり、
前記サブ側フォーカス制御部は、前記サブ側画像データの枠外のエリアの面積が所定値を超えず、前記メイン側合焦位置に対応する距離が前記サブ側サーチ範囲内である場合には前記サブ側合焦位置を検出する
前記（３）記載の撮像装置。
（５）前記メイン側画像を撮像するメイン側固体撮像素子と、
前記サブ側画像を撮像するサブ側固体撮像素子と
をさらに具備し、
前記メイン側固体撮像素子は、前記メイン側合焦位置が検出されると新たなメイン側画像を撮像し、
前記サブ側固体撮像素子は、前記サブ側合焦位置が検出されると新たなサブ側画像を撮像する
前記（１）から（４）のいずれかに記載の撮像装置。
（６）前記メイン側フォーカス制御部は、前記メイン側検出エリア内のコントラストが最も強くなる前記メイン側レンズの位置を前記メイン側合焦位置として検出し、
前記サブ側フォーカス制御部は、前記サブ側検出エリア内のコントラストが最も強くなる前記サブ側レンズの位置を前記サブ側合焦位置として検出する
前記（１）から（５）のいずれかに記載の撮像装置。
（７）前記メイン側フォーカス制御部は、位相差に基づいて前記メイン側合焦位置を検出し、
前記サブ側フォーカス制御部は、位相差に基づいて前記サブ側合焦位置を検出する
前記（１）から（５）のいずれかに記載の撮像装置。
（８）メイン側画像内のメイン側検出エリア内に焦点の合うメイン側レンズの位置をメイン側合焦位置として検出するメイン側フォーカス制御部と、
前記メイン側合焦位置に基づいて距離を求めて前記距離に応じた視差を取得する視差取得部と、
前記視差と前記メイン側検出エリアの位置とに基づいてサブ側画像内にサブ側検出エリアの位置を設定するサブ側検出エリア設定部と、
前記サブ側検出エリア内に焦点の合うサブ側レンズの位置をサブ側合焦位置として検出するサブ側フォーカス制御部と、
前記メイン側画像および前記サブ側画像の少なくとも一方を処理した画像を出力する画像出力部と
を具備する撮像モジュール。
（９）メイン側画像内のメイン側検出エリア内に焦点の合うメイン側レンズの位置をメイン側合焦位置として検出するメイン側フォーカス制御手順と、
前記メイン側合焦位置に基づいて距離を求めて前記距離に応じた視差を取得する視差取得手順と、
前記視差と前記メイン側検出エリアの位置とに基づいてサブ側画像内にサブ側検出エリアの位置を設定するサブ側検出エリア設定手順と、
前記サブ側検出エリア内に焦点の合うサブ側レンズの位置をサブ側合焦位置として検出するサブ側フォーカス制御手順と
を具備する撮像装置の制御方法。
【符号の説明】
【０１５３】
１００  撮像装置
１１０  操作部
１２０  記録部
１３０  表示部
２００  ２眼カメラモジュール
２０１、２０２  単眼カメラモジュール
２０３  連結部材
２１１、２１２  撮像レンズ
２１３  広角レンズ
２１４  望遠レンズ
２２１  メイン側駆動部
２２２  サブ側駆動部
２３０  メイン側固体撮像素子
２３１、２５１  ドライバ
２３２、２５２  アナログ信号増幅部
２３３、２５３  ＡＤ変換部
２３４、２５４  デジタル信号増幅部
２４０  メイン側画素アレイ部
２４１  Ｒ画素
２４２  Ｇ画素
２４３  Ｂ画素
２５０、２５５  サブ側固体撮像素子
２６０  サブ側画素アレイ部
２６１  画素
２７０  画像処理部
２８０  撮像制御部
２８１  メイン側フォーカス制御部
２８２  視差取得部
２８３  サブ側検出エリア設定部
２８４  露光制御部
２８５  メイン側検出エリア設定部
２８６  サブ側フォーカス制御部
２９０  スイッチ
１２１０１、１２１０２、１２１０３、１２１０４、１２１０５  撮像部
【図１】
2018169517.tif 000003
【図２】
2018169517.tif 000004
【図３】
2018169517.tif 000005
【図４】
2018169517.tif 000006
【図５】
2018169517.tif 000007
【図６】
2018169517.tif 000008
【図７】
2018169517.tif 000009
【図８】
2018169517.tif 000010
【図９】
2018169517.tif 000011
【図１０】
2018169517.tif 000012
【図１１】
2018169517.tif 000013
【図１２】
2018169517.tif 000014
【図１３】
2018169517.tif 000015
【図１４】
2018169517.tif 000016
【図１５】
2018169517.tif 000017
【図１６】
2018169517.tif 000018
【図１７】
2018169517.tif 000019
【図１８】
2018169517.tif 000020
【図１９】
2018169517.tif 000021
【図２０】
2018169517.tif 000022
【図２１】
2018169517.tif 000023
【図２２】
2018169517.tif 000024
【図２３】
2018169517.tif 000025
【図２４】
2018169517.tif 000026
【図２５】
2018169517.tif 000027
【図２６】
2018169517.tif 000028
【図２７】
2018169517.tif 000029
【図２８】
2018169517.tif 000030
【図２９】
2018169517.tif 000031
【図３０】
2018169517.tif 000032
【図３１】
2018169517.tif 000033