(57)【特許請求の範囲】
【請求項１】
第１の光学系および第２の光学系の各々を介して結像した被写体像を撮像素子により光電変換して第１の視点画像および第２の視点画像を出力する撮像部と、
前記第１の視点画像と前記第２の視点画像の間の対応する被写体の視差量を算出する視差量算出部と、
前記第１の視点画像の単一の撮像条件評価領域を設定する設定部と、
前記設定部の設定した第１の視点画像の撮像条件評価領域と前記視差量算出部の算出した視差量とに基づいて、前記第２の視点画像の撮像条件評価領域を決定する決定部と、
前記第１の視点画像の撮像条件評価領域内の画像データと、前記第２の視点画像の撮像条件評価領域内の画像データとに基づき、前記第１の光学系および前記第２の光学系の撮像条件を調整し、調整された撮像条件で前記第１の視点画像および第２の視点画像を出力するよう前記撮像部を制御する制御部と、
を備え、
前記決定部は、前記第１の視点画像の撮像条件評価領域と前記第２の視点画像の撮像条件評価領域との間で視差が生じないよう前記第２の視点画像の撮像条件評価領域を決定し、
前記視差量算出部は、前記第１の視点画像の撮像条件評価領域から検出された特徴点と、前記第２の視点画像において前記特徴点に対応する対応点とを結ぶ視差ベクトルに基づいて、前記第１の光学系と前記第２の光学系の間の視差量を算出し、前記第１の視点画像の単一の撮像条件評価領域内に、距離の異なる被写体が混在していた場合、前記距離の異なる被写体の複数の視差ベクトルの平均値、前記複数の視差ベクトルの最頻値、前記複数の視差ベクトルのうち最も長い視差ベクトル、または前記複数の視差ベクトルのうち最も撮像装置に近い被写体の視差ベクトルに基づいて、前記視差量を算出する撮像装置。
【請求項２】
前記撮像条件評価領域は合焦評価値算出領域を含む請求項１に記載の撮像装置。
【請求項３】
前記第１の光学系の焦点位置を変化させながら前記第１の視点画像の合焦評価値算出領域内のコントラストが極大となる合焦位置を検出し、前記第１の光学系の焦点位置を前記検出された合焦位置に移動させる第１の光学系合焦制御部と、
前記第２の光学系の焦点位置を変化させながら前記第２の視点画像の合焦評価値算出領域内のコントラストが極大となる合焦位置を検出し、前記第２の光学系の焦点位置を前記検出された合焦位置に移動させる第２の光学系合焦制御部と、
を備える請求項２に記載の撮像装置。
【請求項４】
前記撮像条件評価領域は被写体輝度算出領域を含む請求項１に記載の撮像装置。
【請求項５】
前記第１の視点画像の被写体輝度算出領域から検出された被写体輝度が適正になるよう前記第１の光学系の露出を制御する第１の光学系露出制御部と、
前記第２の視点画像の被写体輝度算出領域から検出された被写体輝度が適正になるよう前記第２の光学系の露出を制御する第２の光学系露出制御部と、
を備える請求項４に記載の撮像装置。
【請求項６】
前記第１の視点画像の被写体輝度算出領域は、重みづけされた複数の分割領域からなり、前記第１の視点画像の被写体輝度算出領域の各々の分割領域から検出された被写体輝度の重みづけ平均が適正になるよう前記第１の光学系の露出を制御する第１の光学系露出制御部と、
前記第２の視点画像の被写体輝度算出領域は、重みづけされた複数の分割領域からなり、前記第２の視点画像の被写体輝度算出領域の各々の分割領域から検出された被写体輝度の重みづけ平均が適正になるよう前記第２の光学系の露出を制御する第２の光学系露出制御部と、
を備える請求項４に記載の撮像装置。
【請求項７】
前記撮像条件評価領域は調光用の輝度算出領域を含む請求項１に記載の撮像装置。
【請求項８】
前記視差量算出部は、クロスポイント調整量、自動視差調整量および手動視差調整量のうち少なくとも１つに応じて前記視差量を算出する請求項１〜７のいずれかに記載の撮像装置。
【請求項９】
前記視差量算出部は、
Δｘ＝OAC_CP_ADJH+OAC_AUTO_ADJH+OAC_USR_ADJH
Δｙ＝OAC_CP_ADJV+OAC_AUTO_ADJV+OAC_USR_ADJV
OAC_CP_ADJH：水平方向のクロスポイント調整量、OAC_AUTO_ADJH：水平方向の自動視差調整量、OAC_USR_ADJH：水平方向の手動視差調整量、OAC_CP_ADJV：垂直方向のクロスポイント調整量、OAC_AUTO_ADJV：水平方向の自動視差調整量、OAC_USR_ADJV：垂直方向の手動視差調整量
に従って、視差量（Δｘ，Δｙ）を算出する請求項８に記載の撮像装置。
【請求項１０】
前記第１の視点画像の撮像条件評価領域は、特定種類の物体検出を行って検出された物体の中心を中心とする請求項１〜９のいずれかに記載の撮像装置。
【請求項１１】
前記撮像部の出力した第１の視点画像および第２の視点画像に基づいて立体画像を出力する立体画像出力部を備える請求項１〜１０のいずれかに記載の撮像装置。
【請求項１２】
前記撮像条件は、合焦位置および露出レベルのうち少なくとも一方を含む請求項１〜１１のいずれかに記載の撮像装置。
【請求項１３】
第１の光学系および第２の光学系の各々を介して結像した被写体像を撮像素子により光電変換して第１の視点画像および第２の視点画像を出力する撮像部を備えた撮像装置が、
前記第１の視点画像と前記第２の視点画像の間の対応する被写体の視差量を算出するステップと、
前記第１の視点画像の単一の撮像条件評価領域を設定するステップと、
前記設定した第１の視点画像の撮像条件評価領域と前記算出した視差量とに基づいて、前記第２の視点画像の撮像条件評価領域を決定するステップと、
前記第１の視点画像の撮像条件評価領域内の画像データと、前記第２の視点画像の撮像条件評価領域内の画像データとに基づき、前記第１の光学系および前記第２の光学系の撮像条件を調整し、調整された撮像条件で左右の視点画像を出力するよう前記撮像部を制御するステップと、
前記第１の視点画像の撮像条件評価領域と前記第２の視点画像の撮像条件評価領域との間で視差が生じないよう前記第２の視点画像の撮像条件評価領域を決定するステップと、
前記第１の視点画像の撮像条件評価領域から検出された特徴点と、前記第２の視点画像において前記特徴点に対応する対応点とを結ぶ視差ベクトルに基づいて、前記第１の光学系と前記第２の光学系の間の視差量を算出し、前記第１の視点画像の単一の撮像条件評価領域内に、距離の異なる被写体が混在していた場合、前記距離の異なる被写体の複数の視差ベクトルの平均値、前記複数の視差ベクトルの最頻値、前記複数の視差ベクトルのうち最も長い視差ベクトル、または前記複数の視差ベクトルのうち最も撮像装置に近い被写体の視差ベクトルに基づいて、前記視差量を算出するステップと、
を実行する撮像方法。
【請求項１４】
第１の光学系および第２の光学系の各々を介して結像した被写体像を撮像素子により光電変換して第１の視点画像および第２の視点画像を出力する撮像部を備えた撮像装置が、
前記第１の視点画像と前記第２の視点画像の間の対応する被写体の視差量を算出するステップと、
前記第１の視点画像の単一の撮像条件評価領域を設定するステップと、
前記設定した第１の視点画像の撮像条件評価領域と前記算出した視差量とに基づいて、前記第２の視点画像の撮像条件評価領域を決定するステップと、
前記第１の視点画像の撮像条件評価領域内の画像データと、前記第２の視点画像の撮像条件評価領域内の画像データとに基づき、前記第１の光学系および前記第２の光学系の撮像条件を調整し、調整された撮像条件で左右の視点画像を出力するよう前記撮像部を制御するステップと、
前記第１の視点画像の撮像条件評価領域と前記第２の視点画像の撮像条件評価領域との間で視差が生じないよう前記第２の視点画像の撮像条件評価領域を決定するステップと、
前記第１の視点画像の撮像条件評価領域から検出された特徴点と、前記第２の視点画像において前記特徴点に対応する対応点とを結ぶ視差ベクトルに基づいて、前記第１の光学系と前記第２の光学系の間の視差量を算出し、前記第１の視点画像の単一の撮像条件評価領域内に、距離の異なる被写体が混在していた場合、前記距離の異なる被写体の複数の視差ベクトルの平均値、前記複数の視差ベクトルの最頻値、前記複数の視差ベクトルのうち最も長い視差ベクトル、または前記複数の視差ベクトルのうち最も撮像装置に近い被写体の視差ベクトルに基づいて、前記視差量を算出するステップと、
を実行するための撮像プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視差を有する複数の光学系を備えた撮像装置に関し、特に各光学系間のＡＦ処理またはＡＥ処理のずれを防ぐ技術に関する。
【背景技術】
【０００２】
特許文献１によると、左右の対物光学系を通じて形成される左右の視差像を交互に撮像させるとともに、左右の対物光学系にそれぞれ設けられたミラーを回動させて左右の対物光学系の輻輳距離を調節可能な立体撮影光学装置において、自動合焦機能を有する自動合焦手段と、交互に撮影させた左右の視差像のそれぞれの像ごとに自動合焦手段を機能させることが可能な自動合焦手段を持つ。
【０００３】
特許文献２によると、立体撮像装置は、左眼、または、右眼用撮像情報を得る２つのレンズ系と、レンズ系に係るフォーカス位置，視線方向角度等を検出する検出回路と、検出された情報に基づき２つのレンズ系に対して共通の被写体の合焦検出用範囲を演算するエリア演算回路や距離演算回路等を内蔵するＣＰＵと、演算された共通の検出範囲でピント調節を行うピント調節用カメラ駆動回路とで主に構成される。
【０００４】
特許文献３はスポット測光、重点平均測光、平均測光の一例を示す。スポット測光とは、所定領域のみを限定的に測光する方式である。重点平均測光とは、所定領域に重みをつけて撮影画面の全領域を平均測光する方式である。平均測光とは、所定領域に重みをつけず撮影画面の全領域を平均測光する方式である。
【０００５】
特許文献４はステレオカメラでの特徴点および対応点の検出技術の一例である。
【０００６】
特許文献５はフラッシュ調光の一例である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００５−１７３２７０号公報
【特許文献２】特開平８−１９４２７４号公報
【特許文献３】特開２００８−２０９７６０号公報
【特許文献４】特開２００９−４７４９８号公報
【特許文献５】特開２００９−２８２１１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
両眼視差を持つ立体撮像装置では、両眼視差が存在するため、従来と同様に合焦エリア／測光エリアを中央に設定すると、左右レンズの合焦位置／露出レベルにずれが生じる可能性がある。この問題を解決するために、特許文献１および２では、左右のレンズの合焦位置を一致させている。
【０００９】
特許文献１では、左右レンズでそれぞれＡＦを行い、一方の合焦位置に、他方のフォーカスレンズを設定することによりＡＦ合焦位置ズレを防いでいる。しかし、合焦位置が立体視可能範囲以外にある可能性があり、この場合は適切な立体画像を得ることができない。
【００１０】
特許文献２では、合焦位置が立体視可能範囲外であっても、輻輳角を変更して、合焦位置で立体視しやすいようにしている。しかし、この輻輳角を変更する機構は複雑で、撮像装置が巨大化し、コストアップにつながる。
【００１１】
本発明は、左右の合焦位置／露出レベルなどの撮像条件がずれないようにして、良好な立体感が得られるようなコンパクトで安価な立体撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明は、基準光学系および調整対象光学系の各々を介して結像した被写体像を撮像素子により光電変換して左右の視点画像を出力する撮像部と、基準光学系と調整対象光学系の間の視差量を算出する視差量算出部と、基準光学系からの視点画像に対応する撮像条件評価領域の座標を設定する設定部と、設定部の設定した基準光学系からの視点画像に対応する撮像条件評価領域の座標と視差量算出部の算出した視差量とに基づいて、調整対象光学系からの視点画像に対応する撮像条件評価領域の座標を算出する算出部と、基準光学系からの視点画像に対応する設定部の設定した座標の撮像条件評価領域内の画像データと、調整対象光学系からの視点画像に対応する算出部の算出した座標の撮像条件評価領域内の画像データとに基づき、基準光学系および調整対象光学系の撮像条件を調整し、調整された撮像条件で左右の視点画像を出力するよう撮像部を制御する制御部と、を備える撮像装置を提供する。
【００１３】
好ましくは、撮像条件評価領域は合焦評価値算出領域を含む。
【００１４】
好ましくは、基準光学系の焦点位置を変化させながら基準光学系からの視点画像において設定部の設定した座標に位置する合焦評価値算出領域内のコントラストが極大となる合焦位置を検出し、基準光学系の焦点位置を検出された合焦位置に移動させる基準光学系合焦制御部と、調整対象光学系の焦点位置を変化させながら調整対象光学系からの視点画像において算出部の算出した座標に位置する合焦評価値算出領域内のコントラストが極大となる合焦位置を検出し、調整対象光学系の焦点位置を検出された合焦位置に移動させる調整対象光学系合焦制御部と、を備える。
【００１５】
好ましくは、撮像条件評価領域は被写体輝度算出領域を含む。
【００１６】
好ましくは、基準光学系からの視点画像において設定部の設定した座標に位置する被写体輝度算出領域から検出された被写体輝度が適正になるよう基準光学系の露出を制御する基準光学系露出制御部と、調整対象光学系からの視点画像において算出部の算出した座標に位置する被写体輝度算出領域から検出された被写体輝度が適正になるよう調整対象光学系の露出を制御する調整対象光学系露出制御部と、を備える。
【００１７】
好ましくは、基準光学系からの視点画像において設定部の設定した座標を中心に重みづけされた複数の分割領域からなる被写体輝度算出領域の各々の分割領域から検出された被写体輝度の重みづけ平均が適正になるよう基準光学系の露出を制御する基準光学系露出制御部と、調整対象光学系からの視点画像において算出部の算出した座標を中心に重みづけされた複数の分割領域からなる被写体輝度算出領域の各々の分割領域から検出された被写体輝度の重みづけ平均が適正になるよう調整対象光学系の露出を制御する調整対象光学系露出制御部と、を備える。
【００１８】
好ましくは、撮像条件評価領域は調光用の輝度算出領域を含む。
【００１９】
好ましくは、視差量算出部は、設定部が座標を設定した基準光学系に対応する撮像条件評価領域から検出された特徴点と、調整対象光学系からの視点画像において特徴点に対応する対応点とを結ぶ視差ベクトルに基づいて、基準光学系と調整対象光学系の間の視差量を算出する。
【００２０】
好ましくは、視差量算出部は、クロスポイント調整量、自動視差調整量および手動視差調整量のうち少なくとも１つに応じて視差量を算出する。
【００２１】
好ましくは、撮像部の出力した左右の視点画像に基づいて立体画像を出力する立体画像出力部を備える。
【００２２】
本発明は、基準光学系および調整対象光学系の各々を介して結像した被写体像を撮像素子により光電変換して左右の視点画像を出力する撮像部を備えた撮像装置が、基準光学系と調整対象光学系の間の視差量を算出するステップと、基準光学系からの視点画像に対応する撮像条件評価領域の座標を設定するステップと、設定した基準光学系からの視点画像に対応する撮像条件評価領域の座標と視差量算出部の算出した視差量とに基づいて、調整対象光学系からの視点画像に対応する撮像条件評価領域の座標を算出するステップと、基準光学系からの視点画像に対応する設定した座標の撮像条件評価領域内の画像データと、調整対象光学系からの視点画像に対応する算出した座標の撮像条件評価領域内の画像データとに基づき、基準光学系および調整対象光学系の撮像条件を調整し、調整された撮像条件で左右の視点画像を出力するよう撮像部を制御するステップと、を実行する撮像方法を提供する。
【００２３】
本発明は、この撮像方法を撮像装置に実行させるための撮像プログラムを提供する。
【発明の効果】
【００２４】
本発明によると、複数の撮像光学系の間の撮像条件の評価のずれ（例えば合焦位置のずれまたは露出制御のずれ）を防ぎ、良好な立体画像を出力することができる。
【図面の簡単な説明】
【００２５】
【図１】カメラの前面斜視図
【図２】第１実施形態に係るカメラのブロック図
【図３】第１・２画像データの一例を示す図
【図４】最終視差ベクトル（Δｘ，Δｙ）の算出を模式的に示した図
【図５】ＡＦ評価エリアの中心座標（Ｘ＋Δｘ，Ｙ＋Δｙ）の算出を模式的に示した図
【図６】第１撮影光学系１ａ・第２撮影光学系１ｂの視差の一例を示す図
【図７】第１撮影光学系１ａは被写体ＳＢ１、第２撮影光学系１ｂは被写体ＳＢ２というそれぞれ異なる距離にある被写体に合焦した例を示す図
【図８】第１実施形態に係る撮影処理のフローチャート
【図９】ＡＦ評価エリアＲ１−Ｌ・Ｒ１−Ｒの一例を示す図
【図１０】第２実施形態に係るカメラのブロック図
【図１１】第２実施形態に係る撮影処理のフローチャート
【図１２】スポット測光エリアＲ２−Ｌ・Ｒ２−Ｒの一例を示す図
【図１３】スポット測光エリアの中心座標（Ｘ＋Δｘ，Ｙ＋Δｙ）の算出を模式的に示した図
【図１４】第３実施形態に係るカメラのブロック図
【図１５】第３実施形態に係る撮影処理のフローチャート
【図１６】第２画像データの重み付け中心座標（Ｘ，Ｙ）その小領域の一例を示す図
【図１７】第２画像データの小領域ごとの重みの一例を示す図
【図１８】重み付け中心座標（Ｘ＋Δｘ，Ｙ＋Δｙ）の算出を模式的に示した図
【図１９】第１画像データに設定された重み付け中心座標（Ｘ＋Δｘ，Ｙ＋Δｙ）およびその小領域の一例を示す図
【図２０】第１画像データの小領域ごとの重みの一例を示す図
【図２１】第４実施形態に係るカメラのブロック図
【図２２】第４実施形態に係る撮影処理のフローチャート
【図２３】フラッシュ調光エリアの一例を示す図
【図２４】スポット測光エリアの中心座標（Ｘ＋Δｘ，Ｙ＋Δｙ）の算出を模式的に示した図
【図２５】第５実施形態に係るカメラのブロック図
【図２６】第５実施形態に係る撮影処理のフローチャート
【図２７】第２画像データの重み付け中心座標（Ｘ，Ｙ）その小領域の一例を示す図
【図２８】第２画像データの小領域ごとの重みの一例を示す図
【図２９】重み付け中心座標（Ｘ＋Δｘ，Ｙ＋Δｙ）の算出を模式的に示した図
【図３０】第１画像データに設定された重み付け中心座標（Ｘ＋Δｘ，Ｙ＋Δｙ）およびその小領域の一例を示す図
【図３１】第１画像データの小領域ごとの重みの一例を示す図
【発明を実施するための形態】
【００２６】
＜第１実施形態＞
図１はカメラ２の前面斜視図を示す。図１において、カメラ２の前面には、第１撮影光学系１ａを保持する第１鏡筒４ａ、第２撮影光学系１ｂを保持する第２鏡筒４ｂが組み込まれているほか、フラッシュ５などが露呈している。第１及び第２鏡筒４ａ，４ｂは、水平方向に一定間隔を保って並設されており、撮影モード時にはカメラ本体から前方に繰り出し、電源オフ時又は画像再生モード時にはカメラ本体内に沈胴する。また、カメラ２の上面には、シャッタレリーズ操作に用いられるシャッタボタン６が設けられている。
【００２７】
図示は省略するが、カメラ２の背面には、ズームボタン、メニューボタン、カーソルボタン等からなる操作部１０と、モニター１１とが設けられている。操作部１０の適宜操作により、電源のオン／オフ、各種モード（撮影モード、再生モード等）の切り替え、ズーミングなどが行われる。モニター１１は、パララックスバリア方式（或いはレンチキュラー方式）の３Ｄモニタであり、画像撮影時には電子ビューファインダとして、画像再生時には画像再生モニタとして機能する。ここでモニター１１の方式はパララックスバリア方式やレンチキュラー方式に限るものではなく、その他の方式、例えば時分割方式や偏光フィルタ方式を採用してもよい。
【００２８】
図２は、カメラ２の電気的構成を示す。第１撮影光学系１ａは、レンズ光軸Ｌ１に沿って配列された、第１変倍レンズ２１、第１フォーカスレンズ２２、第１絞り２３によって構成されている。第１変倍レンズ２１は、直流モータおよびドライバで構成された第１変倍レンズ制御部２４によって駆動される。第１フォーカスレンズ２２は、直流モータおよびドライバで構成された第１フォーカスレンズ制御部２５によって駆動される。第１絞り２３は直流モータおよびドライバで構成された第１絞り制御部２６によって駆動される。制御部２４〜２６の動作はメインＣＰＵ４０（以下単にＣＰＵ４０で表す）によって制御される。
【００２９】
第１変倍レンズ制御部２４は、操作部１０のズームボタン（ただしボタンでなくリング状操作部材も可）へのテレまたはワイドのズーム方向情報の入力操作に応じて、第１変倍レンズ２１をホームポジションを起点にレンズ光軸Ｌ１に沿ってテレ側（繰り出し側）／ワイド側（繰り込み側）に移動させ、焦点距離（撮影倍率）を変化させる。第１変倍レンズ２１をテレ側に移動させると、長焦点となり撮影範囲は狭くなる。第１変倍レンズ２１をワイド側に移動させると、短焦点となり撮影範囲は広くなる。
【００３０】
フォーカスレンズ制御部２５は、第１フォーカスレンズ２２をレンズ光軸Ｌ１に沿って移動させ、ピント調整を行う。第１フォーカスレンズ２２は、第１変倍レンズ２１の移動に伴って、ピントがズレないように自動的に位置が調整されるようになっている。操作部１０からは、段階的なズーム倍率（ズーム段）Ｚ１、Ｚ２・・・、Ｚｎが入力可能であるとする。その段階の数ｎは任意であるが、Ｚ１はワイド端、Ｚｎはテレ端に対応する。
【００３１】
ＣＰＵ４０には、ズームボタンから設定された目標ズーム方向が出力される。ＣＰＵ４０は、当該目標ズーム方向に従い、目標ズーム位置を設定する。目標ズーム方向がテレ方向であれば現在の第１変倍レンズ２１の位置からテレ方向側にかけて最も近いズーム段を目標ズーム位置とし、目標ズーム方向がワイド方向であれば現在の第１変倍レンズ２１からワイド方向側にかけて最も近いズーム段を目標ズーム位置とする。ＣＰＵ４０は、目標ズーム位置を第１変倍レンズ２１の目標停止位置までのパルス数に換算し、第１変倍レンズ制御部２４にそのパルス数に応じた駆動を行わせる。なお、パルス数０は、ホームポジションに対応する。
【００３２】
第１イメージセンサ２８は、第１変倍レンズ２１及び第１フォーカスレンズ２２によって結像された被写体光を受光し、受光量に応じた光電荷を受光素子に蓄積する。第１イメージセンサ２８は、タイミングジェネレータ２０（ＴＧ）から定期的に入力されるタイミング信号（クロックパルス）により光電荷蓄積・転送動作が制御され、撮影モード時には、１画面分の画像信号を所定周期ごとに取得し、順次、第１アナログ信号処理部２７に入力する。なお、第１イメージセンサ２８として、ＣＣＤ型やＭＯＳ型の固体撮像装置が用いられる。
【００３３】
第１アナログ信号処理部２７は、第１イメージセンサ２８から入力された１画面分の撮像信号を受け、各受光素子の蓄積電荷量に正確に対応したＲ，Ｇ，Ｂの画像データを増幅して第１Ａ／Ｄ変換器２９に入力する。第１Ａ／Ｄ変換器２９は、入力された画像データをアナログからデジタルに変換する。第１イメージセンサ２８の撮像信号は、第１アナログ信号処理部２７、第１Ａ／Ｄ変換器２９を介して、第１画像データ（右眼用画像データ）となる。
【００３４】
第２撮影光学系１ｂは、第１撮影光学系１ａと同一の構成であり、第２変倍レンズ制御部３４によって駆動される第２変倍レンズ３１、第２フォーカスレンズ制御部３６によって駆動される第２フォーカスレンズ３２、第２絞り制御部３７によって駆動される第２絞り３８によって構成されている。各制御部３４，３６，３７の動作はＣＰＵ４０によって制御される。
【００３５】
なお、第２撮影光学系１ｂの各部材は、第１撮影光学系１ａの各部材と同質のものが用いられている。また、第１撮影光学系１ａと第２撮影光学系１ｂとは、基本的に同期が取られており、それぞれ連動して撮像動作を行うが、制御速度向上などの目的でそれぞれの撮影光学系を個別に動かしてもよい。左右のどちらの光学系が第１撮影光学系１ａあるいは第２撮影光学系１ｂになってもよく双方は技術的に入れ換え可能である。説明の便宜上、基準撮像部は左の第２撮影光学系１ｂ、調整対象撮像部は右の第１撮影光学系１ａとするが、両者が入れ代わってもよい。
【００３６】
第２アナログ信号処理部３５、第２Ａ／Ｄ変換器３９は、前述の第１アナログ信号処理部、Ａ／Ｄ変換器２９とそれぞれ同一の構成である。第２イメージセンサ３３の撮像信号は、第２アナログ信号処理部３５、第２Ａ／Ｄ変換器３９を介して、第２画像データ（左眼用画像データ）となる。
【００３７】
第１・第２Ａ／Ｄ変換器２９，３９から出力された第１及び第２画像データは、それぞれ画像入力コントローラ３９ａ・３９ｂを介してデジタル信号処理部４１，４２に入力される。デジタル信号処理部４１，４２は、階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理を第１・２画像データの各々に施す。デジタル信号処理部４１で処理されて所定周期ごとに出力された第１画像データは、ＶＲＡＭ４３に入力される。デジタル信号処理部４２で処理されて所定周期ごとに出力された第２画像データは、ＶＲＡＭ４３に入力される。
【００３８】
ＶＲＡＭ４３は、第１及び第２画像データを一時的に格納する作業用メモリである。なお、ＶＲＡＭ４３にすでに第１及び第２画像データが記憶された状態で次の周期の第１及び第２画像データがＶＲＡＭ４３に入力された場合、すでに記憶された第１及び第２画像データは新しく入力された第１及び第２画像データで上書きされる。ＶＲＡＭ４３で所定周期ごとに繰り返し上書き更新される第１及び第２画像データのことをスルー画像と呼ぶ。
【００３９】
３Ｄ画像生成部４５は、ＶＲＡＭ４３に格納された第１及び第２画像データを、モニター１１が立体表示を行うための立体画像データに合成する。表示制御部５６は、撮影モード時においてモニター１１が電子ビューファインダとして使用される際に、３Ｄ画像生成部４５によって合成された立体画像データをモニター１１にスルー画像として表示させる。
【００４０】
撮影画像の記録について以下説明する。シャッタボタン６が押されたタイミングで第１撮影光学系１ａ、第２撮影光学系１ｂから取り込まれた画像は、それぞれアナログ信号処理２７、３５で処理された後、Ａ／Ｄ２９、３９でデジタル信号に変換され、それぞれ画像入力コントローラ３９ａ・３９ｂを介してデジタル信号処理部４１，４２に入力される。デジタル信号処理部４１，４２は、階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理を第１・２画像データの各々に施す。デジタル信号処理部４１、４２で処理されて出力された第１・２画像データは、ＳＤＲＡＭ５２に記録される。圧縮伸張処理部４７は、記憶された第１及び第２画像データに対して、ＪＰＥＧ方式等の圧縮形式により圧縮処理を施す。ＳＤＲＡＭ５２は、この圧縮処理に必要な一時的記憶領域として用いられる。メディア制御部４８は、圧縮伸張処理部４７によって圧縮処理された各画像データをメモリカード４９に記録させる。
【００４１】
このようにしてメモリカード４９に記録された第１及び第２画像データをモニター１１に再生表示させる場合、メモリカード４９に記録された各画像データは、メディア制御部４８によって読み出される。圧縮伸張処理部４７によって伸張処理が行われた各画像データは、３Ｄ画像生成部４５によって立体画像データに変換された後、表示制御部４６を介してモニター１１に再生表示される。
【００４２】
モニター１１の詳細な構造は図示しないが、モニター１１は、その表面にパララックスバリア表示層を備えている。モニター１１は、パララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片を交互に配列して表示することで、観察者に画像の立体感を感得させることを可能とするものである。モニター１１の方式は、のパララックスバリア方式に限るものではなく、同様の機能が実現できれば他の方式のものを使用してもよい。
【００４３】
ＣＰＵ４０は、カメラ２の全体の動作を統括的に制御する。ＣＰＵ４０には、フラッシュ５の発光を制御するフラッシュ制御部７２、操作部１０が接続されている。また、ＣＰＵ４０にはフラッシュＲＯＭ５０が接続されている。フラッシュＲＯＭ５０は、電気的にデータを書き替えることが可能な不揮発性メモリであるが、空き容量が存在する限りいかなるデータも記憶できる。
【００４４】
ＲＯＭ５１は、ＣＰＵ４０が各種処理を実行するための制御用プログラムを格納している。時計部７０は、現在時刻をカウントしてこれをメインＣＰＵ４０に出力する。姿勢検出センサー７１は、ＣＰＵ４０から指示されたタイミング、例えばシャッタボタンが半押しされた時点でカメラ２が横置きか縦置かの撮影姿勢を検出し、その検出結果をＣＰＵ４０に出力する。電源制御部８０は、操作部１０に含まれる電源スイッチのオンまたはオフ操作に応じてＣＰＵ４０から発せられた電源オン信号またはオフ信号を検知すると、バッテリ８１からカメラ２の各ブロックに供給される電源をオンまたはオフにする制御を行う。
【００４５】
ＡＦ検出部４４は、ＶＲＡＭ４３に格納された第１画像データ及び第２画像データの各々からそれぞれ第１ＡＦ評価値および第２ＡＦ評価値を算出する。第１ＡＦ評価値および第２ＡＦ評価値は、各画像データのうちＣＰＵ４０から指定された領域（例えば中央部）について輝度値の高周波成分を積算することにより算出され、画像の鮮鋭度を表す。第１・２ＡＦ評価値はＡＦが合焦点に近づくほど大きくなり、合焦時に最大となる。   
【００４６】
ＡＥ／ＡＷＢ検出部７３は、ＶＲＡＭ４３に格納された第１画像データ及び第２画像データのそれぞれに基づいて被写体輝度を検出（被写体の明るさを測光）し、第１画像データ及び第２画像データから検出した被写体輝度をそれぞれ第１測光値・第２測光値とする。またＡＥ／ＡＷＢ検出部７３は、ＶＲＡＭ４３に格納された第１画像データ及び第２画像データのそれぞれに基づいて、第１ＷＢ値・第２ＷＢ値（ホワイトバランス）を検出する。露出値の算出の方式は任意であり、スポット測光、重点平均測光、平均測光のいずれでもよい。求められた第１・第２測光値、第１・第２ＷＢ値、及び第１・第２ＡＦ評価値はＣＰＵ４０に通知され、第１撮影光学系１ａおよび第２撮影光学系１ｂから得られた画像信号のＡＥ、ＡＷＢ、ＡＦの制御に利用される。
【００４７】
ＣＰＵ４０は、測光値、絞り値、感度、およびシャッタ秒時における相互間の対応関係を定義したプログラム線図をＲＯＭ５１からＳＤＲＡＭ５２に読み出して参照し、ＡＥ／ＡＷＢ検出部７３で検出された第１測光値・第２測光値に対応する絞り値および感度をそれぞれ絞り制御部２６・３７およびイメージセンサ２４・３３に設定して露出制御を行う。
【００４８】
視差量算出部８２は、第１画像データ及び第２画像データの間の視差量を検出する。具体的には、視差量算出部８２は、まず基準撮像部から得られた画像、ここでは第２撮影光学系１ｂから得られた第２画像データ（図３（ａ）参照）に対し、中心座標（Ｘ，Ｙ）の設定された所定形状・所定サイズのＡＦ評価エリアＲ１−Ｌの内部から複数の特徴点を抽出する。中心座標（Ｘ，Ｙ）はＲＯＭ５１に予め設定保存されているが、ＣＰＵ４０や操作部１０の指示により変更できてもよい。例えば、中心座標（Ｘ，Ｙ）は画像データの中央部であるが、これに限られない。例えば、ＣＰＵ４０が基準撮像部からの画像で顔検出その他の特定種類の物体検出を行い、検出された物体の中心を中心座標（Ｘ，Ｙ）に設定してもよい。またＡＦ評価エリアＲの形状は矩形に限らず、円形や楕円形などその他の形状でもよい。またＡＦ評価エリアＲのサイズも任意である。
【００４９】
特徴点とは、複数の方向に強い信号勾配をもつ点（画素）であり、例えば、Harrisの手法や、Shi-Tomasiの手法を用いることで抽出できる。続いて、視差量算出部８２は、第２画像データから抽出された各特徴点に対応する第１画像データ上の点である対応点を、第１画像データ（図３（ｂ）参照）から抽出する。特徴点および対応点の検出手法は従来技術（例えば特許文献４）と同様にして行うことができる。この特徴点と対応点とを結ぶ線分が、視差ベクトルである。特徴点および対応点の組が複数あれば、その各々の組に対応する視差ベクトルが検出される。
【００５０】
視差量算出部８２は、以下の式に従って、最終視差ベクトル（Δｘ，Δｙ）を算出する。
【００５１】
Δｘ＝OAC_CP_ADJH+OAC_AUTO_ADJH+OAC_USR_ADJH
Δｙ＝OAC_CP_ADJV+OAC_AUTO_ADJV+OAC_USR_ADJV
ここで、上記式のパラメータは以下のとおりであり、視差量の拡大または縮小に対応した符号を有する。
【００５２】
OAC_CP_ADJH・OAC_CP_ADJV：それぞれ、水平（Ｘ）および垂直（Ｙ）方向に関するクロスポイント調整量。すなわち、第１撮影光学系１ａ・第２撮影光学系１ｂの光軸Ｌ１・Ｌ２がある所定の距離のクロスポイントで交わるよう調整されるべきシフト量。
【００５３】
OAC_AUTO_ADJH・OAC_AUTO_ADJV：それぞれ、水平（Ｘ）および垂直（Ｙ）方向に関する自動視差調整量。この自動視差調整量は上述した特徴点と対応点とを結ぶ線分である視差ベクトルである。
【００５４】
OAC_USR_ADJH・OAC_USR_ADJV：それぞれ、水平（Ｘ）および垂直（Ｙ）方向に関するユーザ操作による視差調整量。これらのパラメータは操作部１０に設けられた視差調整ボタンなどのユーザインターフェースから任意に設定できる。
【００５５】
これらのパラメータが全て存在しなくとも、これらのパラメータの一部、すなわち少なくとも１つが存在していれば、他の存在しないパラメータの値は０とし、最終視差ベクトル（Δｘ，Δｙ）が算出されうる。
【００５６】
視差量算出部８２は、複数の視差ベクトルに基づいて最終視差ベクトルを算出して定めることもできる。同一距離にある被写体からは同じ長さの視差ベクトルが検出されるはずであるが、特徴点抽出の対象とした画像領域内に、距離の異なる被写体が混在していた場合、視差ベクトルが全て同じ長さになるとは限らない。よって、視差量算出部８２は、以下の１〜４のルールの１つに従って最終視差ベクトル（Δｘ，Δｙ）を定める（図４参照）。どのルールを採用するかは任意である。
【００５７】
１．複数の視差ベクトルの平均値を最終視差ベクトルに定める。
【００５８】
２．複数の視差ベクトルの最頻値を最終視差ベクトルに定める。
【００５９】
３．最も長い視差ベクトルを最終視差ベクトルに定める。
【００６０】
４．最もカメラ２に近い被写体の視差ベクトルを最終視差ベクトルに定める。
【００６１】
ＡＦ評価エリア座標算出部８３は、視差量算出部８２の検出した最終視差ベクトル（Δｘ，Δｙ）と、第２画像データ用のＡＦ評価エリアの中心座標（Ｘ，Ｙ）とに基づいて、第１画像データ用のＡＦ評価エリアの中心座標（Ｘ＋Δｘ，Ｙ＋Δｙ）を算出する（図５参照）。
【００６２】
なお、第１画像データから特徴点を抽出し第２画像データから対応点を抽出して最終視差ベクトル（Δｘ’，Δｙ’）を検出してもよい。この場合、最終視差ベクトル（Δｘ’，Δｙ’）と第１画像データ用のＡＦ評価エリアの中心座標（Ｘ’，Ｙ’）とに基づいて、第２画像データ用のＡＦ評価エリアの中心座標（Ｘ’＋Δｘ’，Ｙ’＋Δｙ’）を算出する。要するに、第１画像データと第２画像データのいずれか一方に領域Ｒを設定してその内部の特徴点を抽出すれば、他方のＡＦ評価エリアの中心座標を算出できる。
【００６３】
第１撮影光学系１ａ・第２撮影光学系１ｂの光軸Ｌ１・Ｌ２の交点（「クロスポイント」ともいう）に被写体がない場合、従来技術のように合焦エリアを第１撮影光学系１ａ・第２撮影光学系１ｂともに同一の位置（例えば画像中央部）に設定したとすると、各ＡＦ評価エリアに含まれる被写体が異なるため、それらの評価値も異なり、ＡＦ処理により設定される第１撮影光学系１ａ・第２撮影光学系１ｂのフォーカスレンズ２２・３２の合焦位置も異なってくる。
【００６４】
例えば図６に示すように、第１撮影光学系１ａ・第２撮影光学系１ｂの視差ＳＢの影響で、第１撮影光学系１ａ・第２撮影光学系１ｂから被写体ＳＢ１・ＳＢ２までの距離はそれぞれ異なってくる。合焦エリアを第１撮影光学系１ａ・第２撮影光学系１ｂともに画像中央部に設定したとすると、図７に示すように、第１撮影光学系１ａは被写体ＳＢ１、第２撮影光学系１ｂは被写体ＳＢ２というそれぞれ異なる距離にある被写体に合焦してしまう。そうすると、左右のフォーカスレンズの２２・３２の位置のずれの大きさが大きくなり、適切な立体画像が得られず、観察者の目の疲労の原因にもなる。本実施形態では、この合焦位置のずれを防ぐため、以下の撮影処理を実施する。
【００６５】
図８は、本発明の好ましい第１実施形態に係る撮影処理のフローチャートを示す。この処理は、ＣＰＵ４０が実行を制御する。この処理をＣＰＵ４０に実行させるためのプログラムはＲＯＭ５１に記憶されている。なお、ＣＰＵ４０と同等のハードウェア構成を有するパソコンなどでも、以下の処理の実行を制御することができるので、ＣＰＵ４０は必ずしもカメラ２に内蔵される必要はない。
【００６６】
Ｓ１では、ＣＰＵ４０は、ＶＲＡＭ４３に現在記憶されている第２画像データ（基準撮像部からの画像データ）におけるＡＦ評価エリアＲ１−Ｌの中心座標（Ｘ，Ｙ）を設定し、指定したＡＦ評価エリアＲ１−Ｌ内の特徴点およびそれに対応する第１画像データの点である対応点の検出と検出された特徴点および対応点に基づく最終視差ベクトル（Δｘ，Δｙ）の算出を行うよう視差量算出部８２を制御する（図４参照）。最終視差ベクトル（Δｘ，Δｙ）の算出タイミングは、撮影開始前であれば任意である。例えば、カメラ２の電源オン直後に、クロスポイント調整量の設定とユーザ操作による視差調整量が設定されてもよい。ただし、自動視差調整量の取得はシャッタボタンの半押し後に実行されてもよい。
【００６７】
Ｓ２では、シャッタボタンが半押しされたか否かを判定する。半押しが判定された場合はＳ３に進み、半押しが判定されない場合は当該判定を繰り返す。 
【００６８】
Ｓ３では、上記第１・第２画像データから第１測光値・第２測光値・第１ＷＢ値・第２ＷＢ値を検出するようＡＥ／ＡＷＢ検出部７３を制御する。ＡＥ／ＡＷＢ検出部７３の露出値の算出の方式は任意であるが、後述の第２または第３実施形態の方式でもよい。
【００６９】
Ｓ４では、第１測光値・第２測光値・第１ＷＢ値・第２ＷＢ値の検出を終了したことに応じて以下のＡＦ処理を開始する。まず、ＣＰＵ４０は、フォーカスレンズ２２および３２を至近から無限遠までの間の所定の範囲（以下、ＡＦサーチ範囲という）において所定のステップごとに移動させる。
【００７０】
Ｓ５では、基準撮像部、ここでは第２撮影光学系１ｂの各移動位置での撮像で得られた第２画像データの各々にＡＦ評価エリアの中心座標（Ｘ，Ｙ）を設定する。
【００７１】
Ｓ６では、各移動位置に対応する第２画像データから、各移動位置に対応する第２ＡＦ評価値を取得する。すなわち、各移動位置に対応する第２画像データの各々に設定された中心座標（Ｘ，Ｙ）を有する所定形状・所定サイズのＡＦ評価エリアＲ１−Ｌ（図９（ａ）参照）内の画像データに基づいて、各移動位置に対応する第２ＡＦ評価値を算出するようＡＦ検出部４４を制御する。
【００７２】
Ｓ７では、調整対象撮像部、ここでは第１撮影光学系１ａから得られた第１画像データに対するＡＦ評価エリアの中心座標（Ｘ＋Δｘ，Ｙ＋Δｙ）を算出するようＡＦ評価エリア座標算出部８３を制御する（図５参照）。
【００７３】
Ｓ８では、第１撮影光学系１ａの各移動位置での撮像で得られた第１画像データの各々に中心座標（Ｘ＋Δｘ，Ｙ＋Δｙ）を有する所定形状・所定サイズのＡＦ評価エリアＲ１−Ｒを設定する（図９（ｂ）参照）。そして、各移動位置に対応する第１画像データのＡＦ評価エリアＲ内の画像データに基づいて、各移動位置に対応する第１ＡＦ評価値を算出するようＡＦ検出部４４を制御する。
【００７４】
Ｓ９では、各移動位置に対応する第１ＡＦ点評価値の中の最大値に対応するフォーカスレンズ３２の位置（第１合焦位置）にフォーカスレンズ２２を移動させる。また、各移動位置に対応する第２ＡＦ評価値の中の最大値に対応するフォーカスレンズ３２の位置（第２合焦位置）にフォーカスレンズ３２を移動させる。
【００７５】
Ｓ１０では、フォーカスレンズ２２が第１合焦位置に停止し、かつフォーカスレンズ３２が第２合焦位置に停止したことに応じてＳ１１に進む。
【００７６】
Ｓ１１では、シャッタボタンが全押しされたか否かを判断する。全押しされたと判断された場合はＳ１２に進み、全押しされないと判断された場合はこの判断を繰り返す。
【００７７】
Ｓ１２では、記録用の第１・２画像データの撮像を行う。取得された画像データはメモリカード４９に記憶される。
【００７８】
なお、動画撮影時やコンティニュアスＡＦ処理時は、半押しが判定されたことがトリガーとなってＳ３に進むのではなく、定期的にＳ３〜Ｓ１０のルーチンを繰り返してもよい。また、基準光学系は少なくとも１つ存在すれば足り、調整対象光学系は複数あってもよい。
【００７９】
以上の処理により、カメラ２は、基準撮像部と調整対象撮像部との間のＡＦ評価エリアの視差がなくなるように、その中心座標を設定する（図９）。よって、左右の画像の合焦位置のずれを防ぎ、見易く疲れにくい安定した立体画像を撮像できる。
【００８０】
＜第２実施形態＞
第１撮影光学系１ａ・第２撮影光学系１ｂの光軸Ｌ１・Ｌ２の交点（「クロスポイント」ともいう）に被写体がない場合（図６参照）にスポット測光方式のＡＥ処理を実行したとする。従来技術のようにスポット測光エリアを第１撮影光学系１ａ・第２撮影光学系１ｂともに同一の位置（例えば画像中央部）に設定したとすると、視差の影響により、第１・第２画像データのスポット測光エリアに含まれる被写体が異なるため、ＡＥ処理により設定される第１撮影光学系１ａ・第２撮影光学系１ｂの露出も異なってくる。露出レベルが左右画像間で大きく異なると、適切な立体画像が得られず、観察者の疲労の原因となる。本実施形態では、この露出のずれを防ぐため、以下の撮影処理を実施する。
【００８１】
図１０は本発明の第２実施形態に係るカメラ２のブロックを例示する。第１実施形態と同一のブロックには同一の符号を付している。このカメラ２は、ＡＥ測光エリア座標算出部８４を有している。
【００８２】
以下、図１１のフローチャートを参照し、本発明の好ましい第２実施形態に係る撮影処理の流れを説明する。この処理は、ＣＰＵ４０が実行を制御する。この処理をＣＰＵ４０に実行させるためのプログラムはＲＯＭ５１に記憶されている。なお、ＣＰＵ４０と同等のハードウェア構成を有するパソコンなどでも、以下の処理の実行を制御することができるので、ＣＰＵ４０は必ずしもカメラ２に内蔵される必要はない。
【００８３】
Ｓ２１〜２２はＳ１〜２と同様である。Ｓ２１では最終視差ベクトル（Δｘ，Δｙ）が定められる。
【００８４】
Ｓ２３では、最終視差ベクトル（Δｘ，Δｙ）が定まったことに応じて以下のＡＥ処理を開始する。
【００８５】
Ｓ２４では、シャッタボタン半押しに応じた基準撮像部、ここでは第２撮影光学系１ｂによる撮像で得られた画像データすなわち第２画像データに，中心座標（Ｘ，Ｙ）を有する所定形状・所定サイズのスポット測光エリアＲ２−Ｌ（図１２（ａ）参照）を設定するようＡＥ／ＡＷＢ検出部７３を制御する。中心座標（Ｘ，Ｙ）は予めＲＯＭ５１に設定保存されているが、ＣＰＵ４０や操作部１０の指示により変更できてもよい。
【００８６】
Ｓ２５では、第２画像データに設定された測光エリアＲ２−Ｌ内の画像データから、第２測光値および第２ＷＢ値を算出するようＡＥ／ＡＷＢ検出部７３を制御する（スポット測光）。
【００８７】
Ｓ２６では、第１画像データに対するＡＥ評価エリアの中心座標（Ｘ＋Δｘ，Ｙ＋Δｙ）を算出するようＡＥ測光エリア座標算出部８４を制御する（図１３参照）。
【００８８】
Ｓ２７では、調整対象撮像部の各移動位置での撮像で得られた画像、ここでは第１撮影光学系１ａの撮像で得られた第１画像データに中心座標（Ｘ＋Δｘ，Ｙ＋Δｙ）を有する所定形状・所定サイズのスポット測光エリアＲ２−Ｒを設定するようＡＥ／ＡＷＢ検出部７３を制御する（図１２（ｂ）参照）。そして、第１画像データのＡＥ測光エリアＲ２−２内の画像データに基づいて、第１測光値・第１ＷＢ値を算出するようＡＥ／ＡＷＢ検出部７３を制御する（スポット測光）。そして、得られた第１測光値・第１ＡＷＥ値・第２測光値・第２ＷＢ値に基づいて露出制御を行う。
【００８９】
Ｓ２８〜Ｓ３０では、ＡＦ処理を行う。このＡＦ処理は第１実施形態のＳ４〜Ｓ１０に記載したものが好ましいが、従来のＡＦ処理でもよい。
【００９０】
Ｓ３１〜Ｓ３２は、Ｓ１１〜Ｓ１２と同様である。
【００９１】
以上の処理により、基準撮像部と調整対象撮像部の間の視差量だけスポット測光エリアがシフトされる。調整対象撮像部の左右の撮像系のスポット測光エリアの視差をなくし、測光値および露出レベルのずれを防ぐことができ、観察者に見やすく疲れにくい安定した状態の立体画像を提供できる。なお、基準撮像部第１撮影光学系１ａとし、調整対象撮像部を第２撮影光学系１ｂとすることもできる。また、動画撮影時やコンティニュアスＡＥ処理時は、半押しが判定されたことがトリガーとなってＳ２３に進むのではなく、定期的にＳ２３〜Ｓ３０のルーチンを繰り返してもよい。
【００９２】
＜第３実施形態＞
第１撮影光学系１ａ・第２撮影光学系１ｂの光軸Ｌ１・Ｌ２の交点（「クロスポイント」ともいう）に被写体がない場合（図６参照）に重点平均測光のＡＥ処理を実行したとする。従来技術のように画像を区画する各小領域に対応する適正露出値算出の重みを第１撮影光学系１ａ・第２撮影光学系１ｂともに同一に設定したとすると、視差の影響により、同一位置の小領域に含まれる被写体部分が第１・第２画像データで異なるため、ＡＥ処理により設定される第１撮影光学系１ａ・第２撮影光学系１ｂの露出も異なってくる。露出レベルが左右画像間で大きく異なると、適切な立体画像が得られず、観察者の疲労の原因となる。本実施形態では、この露出のずれを防ぐため、以下の撮影処理を実施する。
【００９３】
図１４は本発明の第３実施形態に係るカメラ２のブロックを例示する。第１ないし２実施形態と同一のブロックには同一の符号を付している。このカメラ２は、ＡＥ測光エリア重み付け中心設定部８５を有している。
【００９４】
以下、図１５のフローチャートを参照し、本発明の好ましい第３実施形態に係る撮影処理の流れを説明する。この処理は、ＣＰＵ４０が実行を制御する。この処理をＣＰＵ４０に実行させるためのプログラムはＲＯＭ５１に記憶されている。なお、ＣＰＵ４０と同等のハードウェア構成を有するパソコンなどでも、以下の処理の実行を制御することができるので、ＣＰＵ４０は必ずしもカメラ２に内蔵される必要はない。
【００９５】
Ｓ４１〜４２はＳ１〜２と同様である。Ｓ４１では最終視差ベクトル（Δｘ，Δｙ）が定められる。
【００９６】
Ｓ４３では、最終視差ベクトル（Δｘ，Δｙ）が定まったことに応じて以下のＡＥ処理を開始する。
【００９７】
Ｓ４４では、シャッタボタン半押しに応じた撮像で得られた第２画像データに，重み付け中心座標（Ｘ，Ｙ）を設定するようＡＥ／ＡＷＢ検出部７３を制御する（図１６参照）。ＡＥ／ＡＷＢ検出部７３は、１画面分の第２画像データを所定個（例えば８ｘ８＝６４個）の小領域に分割して、設定された重み付け中心座標（Ｘ，Ｙ）に応じた小領域ごとの重みを決定する。中心座標（Ｘ，Ｙ）は予めＲＯＭ５１に設定保存されているが、ＣＰＵ４０や操作部１０の指示により変更できてもよい。
【００９８】
図１７は、ＡＥ／ＡＷＢ検出部７３が決定する第２画像データの小領域ごとの重みの一例を示す。重み付け中心座標（Ｘ，Ｙ）の周囲の小領域には最も高い重み「８」を与え、小領域がその中心から離れるにつれて小さな重み「４」、「２」、または「１」を与える。図１７のように（Ｘ，Ｙ）が画面中心である場合は、いわゆる中央部重点平均測光となる。すなわち、主要被写体が撮影画面の中央付近にくることが多いことを考慮して撮影画面の中央付近の重み係数を大きくしている。なお、重みの値は図示されたものに限らず適宜値を設定しうる。
【００９９】
Ｓ４５では、ＡＥ／ＡＷＢ検出部は、それぞれの小領域について被写体輝度を検出し、小領域ごとの被写体輝度に対応する重みを付けて露出演算処理を行ない、第２測光値を算出する。そして、求めた第２測光値に基づいて露出制御を行う。露出制御は特許文献３と同様にして行うことができる。
【０１００】
Ｓ４６では、第１画像データに対するＡＥ評価エリアの重み付け中心座標（Ｘ＋Δｘ，Ｙ＋Δｙ）を算出するようＡＥ測光エリア重み付け中心設定部８５を制御する（図１８参照）。ＡＥ／ＡＷＢ検出部７３は、１画面分の第１画像データを所定個（例えば８ｘ８＝６４個）の小領域に分割して、設定された重み付け中心座標（Ｘ＋Δｘ，Ｙ＋Δｙ）に応じた小領域（図１９参照）ごとの重みを決定する。
【０１０１】
図２０は、ＡＥ／ＡＷＢ検出部７３が決定する第１画像データの小領域ごとの重みの一例を示す。重み付け中心座標（Ｘ＋Δｘ，Ｙ＋Δｙ）の周囲の小領域には最も高い重み「８」を与え、小領域がその中心から離れるにつれて小さな重み「４」、「２」、または「１」を与える。なお、重みの値は図示されたものに限らず適宜値を設定しうる。
【０１０２】
Ｓ４７では、ＡＥ／ＡＷＢ検出部は、それぞれの小領域について被写体輝度を検出し、小領域ごとの測光値（被写体輝度）に対応する重みを付けて露出演算処理を行ない、第１測光値（露出値）を算出する。そして、求めた第１測光値に基づいて露出制御を行う。露出制御は特許文献３と同様にして行うことができる。すなわち、各小領域の被写体輝度の重み付け平均値を基に適正露出値を算出し、露出制御する。
【０１０３】
Ｓ４８〜Ｓ５０では、ＡＦ処理を行う。このＡＦ処理は第１実施形態のＳ４〜Ｓ１０に記載したものが好ましいが、従来のＡＦ処理でもよい。
【０１０４】
Ｓ５１〜Ｓ５２は、Ｓ１１〜Ｓ１２と同様である。
【０１０５】
以上の処理により、左のＡＥ測光エリアの重み付け中心座標を基準に、右のＡＥ測光エリアを視差量だけシフトすることで、撮像系のＡＥ測光エリアの重み付け中心座標の視差をなくし、測光値および露出レベルのずれを防ぐことができ、観察者に見やすく疲れにくい安定した状態の立体画像を提供できる。
【０１０６】
＜第４実施形態＞
上記のＡＦ評価エリアやＡＥ測光エリアに関する中心座標の設定と同様の設定は、フラッシュの調光エリアに関して行うこともできる。フラッシュの調光エリアとは、フラッシュ５の発光を伴わない露光および発光を伴う露光により得られる２つの画像間の輝度を比較し適正な発光量を決定するためのエリアである。
【０１０７】
図２１は第４実施形態に係るカメラ２の電気的構成を示す。上記実施形態と同一のブロックには同一の符号を付している。このカメラ２は調光エリア座標算出部８６を有する。
【０１０８】
図２２は第４実施形態に係るカメラ２の実行する撮影処理のフローチャートを示す。
【０１０９】
Ｓ６１〜Ｓ６２は、Ｓ１〜Ｓ２と同様である。またＳ６３は第２ないし第３実施形態と同様にしてもよいし通常のＡＥ処理でもよい。またＳ６４〜Ｓ６６は、第１実施形態と同様にしてもよいし通常のＡＦ処理でもよい。Ｓ６７はＳ１１と同様である。
【０１１０】
Ｓ６８では、フラッシュ発光が予め操作部１０などから設定されているか否かを判断する。フラッシュ発光設定の場合はＳ６９、フラッシュ発光未設定の場合はＳ７３に進む。このフラッシュ発光の設定はオートでもマニュアルでもよい。
【０１１１】
Ｓ６９では、シャッタボタン全押しに応じ、基準撮像部、ここでは第２撮影光学系１ｂによる撮像で得られる画像データすなわち第２画像データに，中心座標（Ｘ，Ｙ）を有する所定形状・所定サイズの調光エリア（図２３（ａ）参照）を設定するようフラッシュ制御部７２を制御する。中心座標（Ｘ，Ｙ）は予めＲＯＭ５１に設定保存されているが、ＣＰＵ４０や操作部１０の指示により変更できてもよい。
【０１１２】
Ｓ７０では、ＣＰＵ４０は、上記実施形態のようにして算出された最終視差ベクトル（Δｘ，Δｙ）から、第１画像データに対するフラッシュ調光エリアの中心座標（Ｘ＋Δｘ，Ｙ＋Δｙ）を算出するよう調光エリア座標算出部８６を制御する（図２４参照）。そしてＣＰＵ４０は、シャッタボタン全押しに応じ、調整対象撮像部、ここでは第１撮影光学系１ａによる撮像で得られる画像データすなわち第１画像データに，算出された中心座標（Ｘ＋Δｘ，Ｙ＋Δｙ）を有する所定形状・所定サイズの調光エリア（図２３（ｂ）参照）を設定するようフラッシュ制御部７２を制御する。
【０１１３】
Ｓ７１では、ＣＰＵ４０は、フラッシュ５の予備発光を伴わない露光および予備発光を伴う露光に対応した第１撮影光学系１ａ・第２撮影光学系１ｂの撮像を２回行い、この非発光および発光状態で得られた２つの第１画像データおよび２つの第２画像データの各々に、それぞれ、中心座標（Ｘ＋Δｘ，Ｙ＋Δｙ）および（Ｘ，Ｙ）を有する所定形状・所定サイズの調光エリアを設定するようフラッシュ制御部７２を制御する。
【０１１４】
ＣＰＵ４０は、取得された２つの第１画像データ内の対応する調光エリア（例えば図２３（ｂ）のような画像中央部を２×２に均等分割して得られた分割領域）における輝度との平均値の差分値と、２つの第２画像データ内の対応する調光エリア（例えば図２３（ａ））における輝度との平均値の差分値とを算出する。
【０１１５】
ＣＰＵ４０は、第１撮影光学系１ａおよび第２撮影光学系１ｂにそれぞれ対応する２つの差分値に基づいて、本撮影時におけるフラッシュの発光量を算出する。算出の方法は公知のものが採用できる。例えば、ＣＰＵ４０は、当該２つの差分値の平均（ないし重みづけ平均）から、フラッシュ発光量の予備発光に対する発光倍率と発光時間を算出する。
【０１１６】
Ｓ７２では、ＣＰＵ４０は、シャッタボタン全押しに応じた記録用の第１・２画像データの撮像に際し、その発光時間でフラッシュ５を発光させるようフラッシュ制御部７２を制御する。
【０１１７】
Ｓ７３では、ＣＰＵ４０は、フラッシュ５の発光に同期して、記録用の第１・２画像データの撮像を行う。取得された画像データはメモリカード４９に記憶される。
【０１１８】
以上の処理により、左の調光エリアの中心座標を基準に、右の調光エリアを視差量だけシフトすることで、撮像系の調光エリアの中心座標の視差をなくし、調光レベルのずれを防ぐことができ、観察者に見やすく疲れにくい安定した状態の立体画像を提供できる。
【０１１９】
＜第５実施形態＞
上記のＡＥ測光エリアに関する重みづけ中心座標の設定と同様の設定は、フラッシュの調光エリアに関して行うこともできる。
【０１２０】
図２５は第５実施形態に係るカメラ２の電気的構成を示す。上記実施形態と同一のブロックには同一の符号を付している。このカメラ２は調光エリア重み付け中心設定部８７を有する。
【０１２１】
図２６は第５実施形態に係るカメラ２の実行する撮影処理のフローチャートを示す。
【０１２２】
Ｓ８１〜Ｓ９３は、Ｓ８９〜Ｓ９２を除き、Ｓ６１〜Ｓ７３と同様である。
【０１２３】
Ｓ８９では、シャッタボタン全押しに応じた撮像で得られる第２画像データに，重み付け中心座標（Ｘ，Ｙ）を設定するよう調光エリア重み付け中心設定部８７を制御する（図２７参照）。調光エリア重み付け中心設定部８７は、１画面分の第２画像データを所定個（例えば８ｘ８＝６４個）の小領域に分割して、設定された重み付け中心座標（Ｘ，Ｙ）に応じた小領域ごとの重みを決定する。中心座標（Ｘ，Ｙ）は予めＲＯＭ５１に設定保存されているが、ＣＰＵ４０や操作部１０の指示により変更できてもよい。
【０１２４】
図２８は、調光エリア重み付け中心設定部８７が決定する第２画像データの小領域ごとの重みの一例を示す。重み付け中心座標（Ｘ，Ｙ）の周囲の小領域には最も高い重み「８」を与え、小領域がその中心から離れるにつれて小さな重み「４」、「２」、または「１」を与える。図２８のように（Ｘ，Ｙ）が画面中心である場合は、中央部に重点を置いた調光となる。すなわち、主要被写体が撮影画面の中央付近にくることが多いことを考慮して撮影画面の中央付近の重み係数を大きくしている。なお、重みの値は図示されたものに限らず適宜値を設定しうる。
【０１２５】
Ｓ９０では、第１画像データに対するＡＥ評価エリアの重み付け中心座標（Ｘ＋Δｘ，Ｙ＋Δｙ）を算出するよう調光エリア重み付け中心設定部８７を制御する（図２９参照）。調光エリア重み付け中心設定部８７は、１画面分の第１画像データを所定個（例えば８ｘ８＝６４個）の小領域に分割して、設定された重み付け中心座標（Ｘ＋Δｘ，Ｙ＋Δｙ）に応じた小領域（図３０参照）ごとの重みを決定する。
【０１２６】
図３１は、調光エリア重み付け中心設定部８７が決定する第１画像データの小領域ごとの重みの一例を示す。重み付け中心座標（Ｘ＋Δｘ，Ｙ＋Δｙ）の周囲の小領域には最も高い重み「８」を与え、小領域がその中心から離れるにつれて小さな重み「４」、「２」、または「１」を与える。なお、重みの値は図示されたものに限らず適宜値を設定しうる。
【０１２７】
Ｓ９１では、ＣＰＵ４０は、フラッシュ５の予備発光を伴わない露光および予備発光を伴う露光に対応した第１撮影光学系１ａ・第２撮影光学系１ｂの撮像を２回行い、この非発光および発光状態で得られた２つの第１画像データおよび２つの第２画像データの各々に、それぞれ、重み付け中心座標（Ｘ＋Δｘ，Ｙ＋Δｙ）および（Ｘ，Ｙ）を有する所定形状・所定サイズの調光エリアを設定するようフラッシュ制御部７２を制御する。
【０１２８】
ＣＰＵ４０は、取得された２つの第１画像データ内の対応する調光エリアにおける輝度の重みづけ平均値の差分値と、２つの第２画像データ内の対応する調光エリアにおける輝度の重みづけ平均値の差分値とを算出する。ＣＰＵ４０は、第１撮影光学系１ａおよび第２撮影光学系１ｂにそれぞれ対応する２つの差分値に基づいて、本撮影時におけるフラッシュの発光量を算出する。算出の方法は公知のものが採用できる。例えば、ＣＰＵ４０は、当該２つの差分値の平均ないし重みづけ平均から、フラッシュ発光量の予備発光に対する発光倍率と発光時間を算出する。
【０１２９】
Ｓ９２では、ＣＰＵ４０は、シャッタボタン全押しに応じた記録用の第１・２画像データの撮像に際し、その発光時間でフラッシュ５を発光させるようフラッシュ制御部７２を制御する。
【０１３０】
以上の処理により、左の調光エリアの重み付け中心座標を基準に、右の調光エリアを視差量だけシフトすることで、撮像系の調光エリアの重み付け中心座標の視差をなくし、調光レベルのずれを防ぐことができ、観察者に見やすく疲れにくい安定した状態の立体画像を提供できる。
【符号の説明】
【０１３１】
１ａ：第１撮影光学系、１ｂ：第２撮影光学系、２１：第１ズームレンズ、２２：第１フォーカスレンズ、２３：第１絞り、２８：第１イメージセンサ、３１：第２ズームレンズ、３２：第２フォーカスレンズ、３８：第２絞り、３３：第２イメージセンサ、４５：３Ｄ画像生成部、８２：視差量算出部、８３：ＡＦ評価エリア座標算出部、８４：ＡＥ測光エリア座標算出部、８５：ＡＥ測光エリア重み付け中心設定部、８６：調光エリア座標算出部、８７：調光エリア重み付け中心設定部
【図１】
0005450200.tif 000002
【図２】
0005450200.tif 000003
【図３】
0005450200.tif 000004
【図４】
0005450200.tif 000005
【図５】
0005450200.tif 000006
【図６】
0005450200.tif 000007
【図７】
0005450200.tif 000008
【図８】
0005450200.tif 000009
【図９】
0005450200.tif 000010
【図１０】
0005450200.tif 000011
【図１１】
0005450200.tif 000012
【図１２】
0005450200.tif 000013
【図１３】
0005450200.tif 000014
【図１４】
0005450200.tif 000015
【図１５】
0005450200.tif 000016
【図１６】
0005450200.tif 000017
【図１７】
0005450200.tif 000018
【図１８】
0005450200.tif 000019
【図１９】
0005450200.tif 000020
【図２０】
0005450200.tif 000021
【図２１】
0005450200.tif 000022
【図２２】
0005450200.tif 000023
【図２３】
0005450200.tif 000024
【図２４】
0005450200.tif 000025
【図２５】
0005450200.tif 000026
【図２６】
0005450200.tif 000027
【図２７】
0005450200.tif 000028
【図２８】
0005450200.tif 000029
【図２９】
0005450200.tif 000030
【図３０】
0005450200.tif 000031
【図３１】
0005450200.tif 000032