(57)【要約】【課題】  立体撮像装置がピントの合った被写体に合わせて電子的に輻輳角を調整できるようにする。【解決手段】合焦状態にある第１画像データと第２画像データからそれぞれ検出された特徴点と対応点の組の総数が、所定の閾値ｔｈ１を超えた場合、視差量のヒストグラムを生成するよう視差ヒストグラム生成部１０１を制御し、視差量のヒストグラムのビンから、代表視差量を決定するよう代表視差情報決定部１０２を制御する。代表視差情報決定部１０２は、焦点調節部３３の決定したサーチ方向に従って、ヒストグラムの各ビンの有効性を、ビンの頻度ｆが所定の閾値ｔｈ２を上回っているか否で判断する。代表視差情報決定部１０２は、有効ビンに属する視差量に基づいて代表視差量を決定する。立体表示制御部４５は、決定された代表視差量に基づいて、第１画像データおよび第２画像データの切り出し範囲を決定する。【選択図】  図１
2011029905.tif 000002
【特許請求の範囲】
【請求項１】
基準光学系および非基準光学系の各々を介して結像した被写体像を撮像素子により光電変換して異なる複数の視点画像を出力する撮像部と、
前記基準光学系からの視点画像に対応する基準合焦評価領域を設定する基準合焦評価領域設定部と、
前記撮像部から前記基準合焦評価領域内の被写体までの距離の遠近に関する被写体情報を設定する被写体情報設定部と、
前記基準光学系の焦点位置を変化させながら前記基準光学系からの視点画像において前記基準合焦評価領域設定部の設定した基準合焦評価領域内のコントラストが極大となる焦点位置であるピーク位置を検出し、前記被写体情報設定部の設定した被写体情報に基づいて前記ピーク位置の中から前記被写体に対応する合焦位置を決定し、前記基準光学系の焦点位置を前記決定された合焦位置に移動させる合焦制御部と、
前記基準合焦評価領域に基づいて、前記焦点位置が前記合焦位置に移動した基準光学系からの視点画像に対応する特徴点抽出領域を設定する特徴点抽出領域設定部と、
前記特徴点抽出領域設定部が前記基準光学系の視点画像に設定した特徴点抽出領域から特徴点を抽出する特徴点抽出部と、
前記非基準光学系からの視点画像から前記特徴点抽出部の抽出した特徴点に対応する対応点を抽出する対応点抽出部と、
前記特徴点抽出部の抽出した特徴点と前記対応点抽出部の抽出した対応点の組ごとの視差量を算出する視差量算出部と、
前記視差量算出部の算出した前記特徴点と前記対応点の組ごとの視差量に基づいて、前記組ごとの視差量の分布を示すヒストグラムを生成するヒストグラム生成部と、
前記被写体情報設定部の設定した被写体情報と前記ヒストグラム生成部の生成したヒストグラムの頻度に基づいて前記被写体に対応する視差量の属する階級である有効階級を判定する判定部と、
前記判定部の判定した有効階級に基づいて代表視差量を決定する代表視差量決定部と、
を備える撮像装置。
【請求項２】
前記被写体情報設定部は、前記被写体情報として撮影モードを設定し、
前記合焦制御部は、前記撮影モードに応じて、前記基準光学系の焦点位置を変化させるサーチ方向を至近側から無限遠側に向かう方向または無限遠側から至近側に向かう方向のいずれか一方に決定し、前記決定されたサーチ方向に前記基準光学系の焦点位置を変化させながら最初に検出されたピーク位置を前記合焦位置に決定し、
前記判定部は、前記決定されたサーチ方向に沿った順序で、前記ヒストグラムの各階級の有効性を各階級の頻度に基づいて判定することを繰り返し、前記決定されたサーチ方向に沿って最初に有効と判定された階級を有効階級と判定する請求項１に記載の撮像装置。
【請求項３】
前記判定部は、前記有効階級が出現したことに応じ、前記決定されたサーチ方向に沿った前記有効階級以降の各階級の有効性の判定を中止する請求項２に記載の撮像装置。
【請求項４】
前記判定部は、各階級の頻度が所定の閾値を超えるか否かに応じて各階級の有効性を判定する請求項２または３に記載の撮像装置。
【請求項５】
前記合焦制御部は、前記撮影モードが人物モードまたはマクロモードの場合、前記サーチ方向を至近側から無限遠側に向かう方向に決定する請求項１〜４のいずれかに記載の撮像装置。
【請求項６】
前記合焦制御部は、前記撮影モードが風景モードの場合、前記サーチ方向を無限遠側から至近側に向かう方向に決定する請求項１〜５のいずれかに記載の撮像装置。
【請求項７】
前記特徴点抽出領域設定部は、前記基準合焦評価領域の一部または全部に対して特徴点抽出領域を設定する請求項１〜６のいずれかに記載の撮像装置。
【請求項８】
前記代表視差量決定部の決定した代表視差量で示される視点画像間のずれが解消されるように、前記基準光学系からの視点画像の切り出し範囲および前記非基準光学系からの視点画像の切り出し範囲を決定し、前記決定された切り出し範囲から画像を切り出す切出部と、
前記切出部の切り出した画像に基づいて立体画像を出力する出力部と、
を備える請求項１〜７のいずれかに記載の撮像装置。
【請求項９】
基準光学系および非基準光学系の各々を介して結像した被写体像を撮像素子により光電変換して異なる複数の視点画像を出力する撮像装置が、
前記基準光学系からの視点画像に対応する基準合焦評価領域を設定するステップと、
前記撮像装置から前記基準合焦評価領域内の被写体までの距離の遠近に関する被写体情報を設定するステップと、
前記基準光学系の焦点位置を変化させながら前記基準光学系からの視点画像において前記設定した基準合焦評価領域内のコントラストが極大となる焦点位置であるピーク位置を検出し、前記被写体情報に基づいて前記ピーク位置の中から前記被写体に対応する合焦位置を決定し、前記基準光学系の焦点位置を前記決定された合焦位置に移動させるステップと、
前記基準合焦評価領域に基づいて、前記焦点位置が前記合焦位置に移動した基準光学系からの視点画像に対応する特徴点抽出領域を設定するステップと、
前記基準光学系の視点画像に設定した特徴点抽出領域から特徴点を抽出するステップと、
前記非基準光学系からの視点画像から前記抽出した特徴点に対応する対応点を抽出するステップと、
前記抽出した特徴点と前記抽出した対応点の組ごとの視差量を算出するステップと、
前記算出した前記特徴点と前記対応点の組ごとの視差量に基づいて、前記組ごとの視差量の分布を示すヒストグラムを生成するステップと、
前記被写体情報と前記生成したヒストグラムの頻度に基づいて前記被写体に対応する視差量の属する階級である有効階級を判定するステップと、
前記判定した有効階級に基づいて代表視差量を決定するステップと、
を実行する撮像方法。
【請求項１０】
請求項９に記載の撮像方法を前記撮像装置に実行させるための撮像プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視差を有する複数の光学系を備えた撮像装置に関する。
【背景技術】
【０００２】
特許文献１によると、特徴点抽出、対応点検出により第１・第２画像から視差分布（ヒストグラム）を求め、それに基づいて移動体検出を行う。
【０００３】
特許文献２によると、左右の撮像レンズはＡＦ駆動回路でそれぞれフォーカスが制御される。ＣＣＤ出力は電子ズーム用のメモリに書き込まれる。マイクロコンピュータは被写体距離に比例するＡＦデータにより電子ズームの切り出し枠の切り出し位置を制御する。これにより、輻輳角は電子的に制御される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許４１７７８２６号公報
【特許文献２】特開平７−９５６２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
左右２組の撮像光学系からなる（あるいは２台のカメラからなる）立体撮像装置においては、得られた視差画像を適切に立体表示させるため、左右画像間に生じている視差量を適当に調整する必要がある。特に、撮影者が主要被写体だと意図して撮影した被写体については、視差量を適度な大きさにし、立体画像の過度な飛び出し、引っ込みを抑制してやるのが望ましい。本来、視差量の調整は、２組の撮像光学系の間隔や、各光軸が交差する点（輻輳点）までの距離、輻輳の角度を制御することによりなされるが、それには機械的に撮像光学系を駆動させる必要があり、カメラ構造および制御が複雑になるという問題があった。
【０００６】
特許文献２の技術によると、安価なレンズでは、温度特性などの影響により、フォーカス情報から実被写体距離を正確に算出することは難しく、フォーカス距離に基づいた輻輳角の調整では誤差が生じてしまう。
【０００７】
本発明は、立体撮像装置が、ピントの合った被写体に合わせて電子的に輻輳角を調整できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、基準光学系および非基準光学系の各々を介して結像した被写体像を撮像素子により光電変換して異なる複数の視点画像を出力する撮像部と、基準光学系からの視点画像に対応する基準合焦評価領域を設定する基準合焦評価領域設定部と、撮像部から基準合焦評価領域内の被写体までの距離の遠近に関する被写体情報を設定する被写体情報設定部と、基準光学系の焦点位置を変化させながら基準光学系からの視点画像において基準合焦評価領域設定部の設定した基準合焦評価領域内のコントラストが極大となる焦点位置であるピーク位置を検出し、被写体情報設定部の設定した被写体情報に基づいてピーク位置の中から被写体に対応する合焦位置を決定し、基準光学系の焦点位置を決定された合焦位置に移動させる合焦制御部と、基準合焦評価領域に基づいて、焦点位置が合焦位置に移動した基準光学系からの視点画像に対応する特徴点抽出領域を設定する特徴点抽出領域設定部と、特徴点抽出領域設定部が基準光学系の視点画像に設定した特徴点抽出領域から特徴点を抽出する特徴点抽出部と、非基準光学系からの視点画像から特徴点抽出部の抽出した特徴点に対応する対応点を抽出する対応点抽出部と、特徴点抽出部の抽出した特徴点と対応点抽出部の抽出した対応点の組ごとの視差量を算出する視差量算出部と、視差量算出部の算出した特徴点と対応点の組ごとの視差量に基づいて、組ごとの視差量の分布を示すヒストグラムを生成するヒストグラム生成部と、被写体情報設定部の設定した被写体情報とヒストグラム生成部の生成したヒストグラムの頻度に基づいて被写体に対応する視差量の属する階級である有効階級を判定する判定部と、判定部の判定した有効階級に基づいて代表視差量を決定する代表視差量決定部と、を備える撮像装置を提供する。
【０００９】
好ましくは、被写体情報設定部は、被写体情報として撮影モードを設定し、合焦制御部は、撮影モードに応じて、基準光学系の焦点位置を変化させるサーチ方向を至近側から無限遠側に向かう方向または無限遠側から至近側に向かう方向のいずれか一方に決定し、決定されたサーチ方向に基準光学系の焦点位置を変化させながら最初に検出されたピーク位置を合焦位置に決定し、判定部は、決定されたサーチ方向に沿った順序で、ヒストグラムの各階級の有効性を各階級の頻度に基づいて判定することを繰り返し、決定されたサーチ方向に沿って最初に有効と判定された階級を有効階級と判定する。
【００１０】
好ましくは、判定部は、有効階級が出現したことに応じ、決定されたサーチ方向に沿った有効階級以降の各階級の有効性の判定を中止する。
【００１１】
好ましくは、判定部は、各階級の頻度が所定の閾値を超えるか否かに応じて各階級の有効性を判定する。
【００１２】
好ましくは、合焦制御部は、撮影モードが人物モードまたはマクロモードの場合、サーチ方向を至近側から無限遠側に向かう方向に決定する。
【００１３】
好ましくは、合焦制御部は、撮影モードが風景モードの場合、サーチ方向を無限遠側から至近側に向かう方向に決定する。
【００１４】
好ましくは、特徴点抽出領域設定部は、基準合焦評価領域の一部または全部に対して特徴点抽出領域を設定する。
【００１５】
好ましくは、撮像装置は、代表視差量決定部の決定した代表視差量で示される視点画像間のずれが解消されるように、基準光学系からの視点画像の切り出し範囲および非基準光学系からの視点画像の切り出し範囲を決定し、決定された切り出し範囲から画像を切り出す切出部と、切出部の切り出した画像に基づいて立体画像を出力する出力部と、を備える。
【００１６】
本発明は、基準光学系および非基準光学系の各々を介して結像した被写体像を撮像素子により光電変換して異なる複数の視点画像を出力する撮像装置が、基準光学系からの視点画像に対応する基準合焦評価領域を設定するステップと、撮像装置から基準合焦評価領域内の被写体までの距離の遠近に関する被写体情報を設定するステップと、基準光学系の焦点位置を変化させながら基準光学系からの視点画像において設定した基準合焦評価領域内のコントラストが極大となる焦点位置であるピーク位置を検出し、被写体情報に基づいてピーク位置の中から被写体に対応する合焦位置を決定し、基準光学系の焦点位置を決定された合焦位置に移動させるステップと、基準合焦評価領域に基づいて、焦点位置が合焦位置に移動した基準光学系からの視点画像に対応する特徴点抽出領域を設定するステップと、基準光学系の視点画像に設定した特徴点抽出領域から特徴点を抽出するステップと、非基準光学系からの視点画像から抽出した特徴点に対応する対応点を抽出するステップと、抽出した特徴点と抽出した対応点の組ごとの視差量を算出するステップと、算出した特徴点と対応点の組ごとの視差量に基づいて、組ごとの視差量の分布を示すヒストグラムを生成するステップと、被写体情報と生成したヒストグラムの頻度に基づいて被写体に対応する視差量の属する階級である有効階級を判定するステップと、判定した有効階級に基づいて代表視差量を決定するステップと、を実行する撮像方法を提供する。
【００１７】
この撮像方法を撮像装置に実行させるための撮像プログラムも本発明に含まれる。
【発明の効果】
【００１８】
本発明によると、合焦評価領域にある被写体の視差量のヒストグラムから、代表視差量を決定することができる。また、この代表視差量に基づいて左右の視点画像のずれを電子的に調整できる。さらに、コントラスト合焦のサーチ方向と視差量のヒストグラムの各階級の有効性の判断の方向を合わせることで、ピントの合った被写体の立体感を適切に調整することができる。
【図面の簡単な説明】
【００１９】
【図１】カメラのブロック図
【図２】被写体の位置に応じたＡＦ評価値の一例を示す図
【図３】特徴点および対応点の一例を示す図
【図４】視差量処理部の詳細ブロック図
【図５】視差ヒストグラムの一例を示す図
【図６】立体画像表示処理の概略フローチャート
【図７】有効ビン判定処理のフローチャート
【図８】左右画像の切り出し範囲の一例を示す図
【図９】従来の立体画像の一例を示す図
【発明を実施するための形態】
【００２０】
図１は、カメラ２の電気的構成を示す。第１撮像部１ａは、レンズ光軸に沿って配列された、第１変倍レンズ、第１フォーカスレンズ、第１絞り、第１イメージセンサによって構成されている。また、第２撮像部１ｂも同様に、レンズ光軸に沿って配列された、第２変倍レンズ、第２フォーカスレンズ、第２絞り、第２イメージセンサによって構成されている。
【００２１】
ＣＰＵ４０は、ズームボタンへのテレまたはワイドのズーム方向情報の入力操作に応じて、レンズ光軸に沿ってテレ側（繰り出し側）／ワイド側（繰り込み側）に移動させ、焦点距離（撮影倍率）を変化させるよう第１変倍レンズを制御する。第１変倍レンズをテレ側に移動させると、長焦点となり撮影範囲は狭くなる。第１変倍レンズをワイド側に移動させると、短焦点となり撮影範囲は広くなる。
【００２２】
第１フォーカスレンズは、ＣＰＵ４０で制御されるドライバによりレンズ光軸に沿って移動され、ピント調整される。
【００２３】
ＣＰＵ４０には、ズームボタンから設定された目標ズーム方向が出力される。ＣＰＵ４０は、当該目標ズーム方向に従い、目標ズーム位置を設定する。目標ズーム方向がテレ方向であれば現在の第１変倍レンズの位置からテレ方向側にかけて最も近いズーム段を目標ズーム位置とし、目標ズーム方向がワイド方向であれば現在の第１変倍レンズからワイド方向側にかけて最も近いズーム段を目標ズーム位置とする。ＣＰＵ４０は、目標ズーム位置を第１変倍レンズの目標停止位置までのパルス数に換算し、ドライバにそのパルス数に応じた駆動を行わせる。なお、パルス数０は、ホームポジションに対応する。
【００２４】
第１イメージセンサは、第１変倍レンズ及び第１フォーカスレンズによって結像された被写体光を受光し、受光量に応じた光電荷を受光素子に蓄積する。第１イメージセンサは、タイミングジェネレータ（ＴＧ）から定期的に入力されるタイミング信号（クロックパルス）により光電荷蓄積・転送動作が制御され、撮影モード時には、１画面分の画像信号を所定周期ごとに取得し、順次、第１Ａ／Ｄ変換器２９に入力する。なお、第１イメージセンサ２８として、ＣＣＤ型やＭＯＳ型の固体撮像装置が用いられる。
【００２５】
第１Ａ／Ｄ変換器２９は、入力された画像データをアナログからデジタルに変換する。第１撮像部１ａの撮像信号は、第１Ａ／Ｄ変換器２９を介して、第１画像データ（右眼用画像データ）となる。
【００２６】
第２撮像部１ｂは、第１撮像部１ａと同一の構成であり、ＣＰＵ４０の制御下にあるドライバによって駆動される第２変倍レンズ、第２フォーカスレンズ、および第２絞りによって構成されている。
【００２７】
なお、第２撮像部１ｂの各部材は、第１撮像部１ａの各部材と同質のものが用いられている。また、第１撮像部１ａと第２撮像部３ｂとは、同期が取られており、それぞれ連動して撮像動作を行う。第１撮像部１ａと第２撮像部１ｂは同一のカメラ筐体に内蔵されていなくてもよく、それぞれ独立した撮像装置に設けられていてもよい。
【００２８】
第２Ａ／Ｄ変換器３９は、前述の第１Ａ／Ｄ変換器２９とそれぞれ同一の構成である。第２撮像部１ｂの撮像信号は、第２Ａ／Ｄ変換器３９を介して、第２画像データ（左眼用画像データ）となる。
【００２９】
第１・第２Ａ／Ｄ変換器２９，３９から出力された第１及び第２画像データは、それぞれ撮像信号処理部４１に入力される。撮像信号処理部４１は、階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理を第１・２画像データの各々に施す。撮像信号処理部４１で処理されて所定周期ごとに出力された第１画像データおよび第２画像データは、デジタル信号処理部５０に入力される。
【００３０】
デジタル信号処理部５０は、第１画像データにＹＣ変換を施し、輝度信号Ｙと色差（クロマ）信号Ｂ−Ｙ、Ｒ−Ｙを生成する。輝度信号と色差信号はＲＡＭ４３に一旦格納される。
【００３１】
ＲＡＭ４３は、第１及び第２画像データを一時的に格納する作業用メモリである。なお、ＲＡＭ４３にすでに第１及び第２画像データが記憶された状態で次の周期の第１及び第２画像データがＲＡＭ４３に入力された場合、すでに記憶された第１及び第２画像データは新しく入力された第１及び第２画像データで上書きされる。ＲＡＭ４３で所定周期ごとに繰り返し上書き更新される第１及び第２画像データのことをスルー画と呼ぶ。
【００３２】
立体表示制御部４５は、ＲＡＭ４３に格納された第１及び第２画像データを、立体表示部１１が立体表示を行うための立体画像データに合成する。表示制御部５６は、撮影モード時において立体表示部１１が電子ビューファインダとして使用される際に、立体表示制御部４５によって合成された立体画像データを立体表示部１１にスルー画として表示させる。
【００３３】
圧縮伸張処理部４７は、ＲＡＭ４３に記憶された第１及び第２画像データに対して、ＪＰＥＧ方式等の圧縮形式により圧縮処理を施す。ＳＤＲＡＭ５２は、この圧縮処理に必要な一時的記憶領域として用いられる。メディア制御部４８は、圧縮伸張処理部４７によって圧縮処理された各画像データをメモリカード４９に記録させる。
【００３４】
このようにしてメモリカード４９に記録された第１及び第２画像データを立体表示部１１に再生表示させる場合、メモリカード４９に記録された各画像データは、メディア制御部４８によって読み出される。圧縮伸張処理部４７によって伸張処理が行われた各画像データは、立体表示制御部４５によって立体画像データに変換された後、立体表示部１１に再生表示される。
【００３５】
立体表示部１１の詳細な構造は図示しないが、立体表示部１１は、その表面にパララックスバリア表示層を備えている。立体表示部１１は、パララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片を交互に配列して表示することで、観察者に画像の立体感を感得させることを可能とするものである。
【００３６】
ＣＰＵ４０は、カメラ２の全体の動作を統括的に制御する。ＣＰＵ４０には、ＲＯＭ５１が接続されている。ＲＯＭ５１は、ＣＰＵ４０が各種処理を実行するための制御用プログラムを格納している。
【００３７】
焦点調節部３３は、ＲＡＭ４３に格納された第１画像データ及び第２画像データの各々からそれぞれ第１ＡＦ評価値および第２ＡＦ評価値を算出する。第１ＡＦ評価値および第２ＡＦ評価値は、各画像データのうちＣＰＵ４０から指定された第１画像データに対応する第１ＡＦ領域あるいは第２画像データに対応する第２ＡＦ領域（例えば画像中央部や、ＣＰＵ４０が画像の顔検出その他の特定種類の物体検出を行い、検出された顔や物体の存在領域）について、ハイパスフィルタから出力される輝度値の高周波成分を積算することにより算出される。第１ＡＦ評価値および第２ＡＦ評価値は、それぞれ第１画像データおよび第２画像データの鮮鋭度を表す。
【００３８】
焦点調節部３３は、第１撮像部１ａないし第２撮像部１ｂのフォーカスレンズを至近から無限遠までの間の所定の範囲（以下、ＡＦサーチ範囲という）において所定のステップごとに移動させる。焦点調節部３３は、この移動方向であるサーチ方向を決定する。具体的には、焦点調節部３３は、モードスイッチを介してＣＰＵ４０に人物モードまたはマクロモードの設定が指示された場合、至近側から無限遠側に向かう方向（第１のサーチ方向）をサーチ方向に決定する。焦点調節部３３は、モードスイッチを介してＣＰＵ４０に風景モードの設定が指示された場合、無限遠側から至近側に向かう第２のサーチ方向に決定する。
【００３９】
図２に例示するように、人物モードまたはマクロモードの場合は至近側に被写体が存在し、風景モードの場合は無限遠側に被写体が存在するが、このようにサーチ方向を決定すると、ＡＦ評価値の小さなピークを誤って合焦位置と検出することがなく、かつ、合焦処理が高速化する。
【００４０】
焦点調節部３３は、決定されたサーチ方向に沿って各移動位置に対応する第１ＡＦ評価値の中の最大値および第２ＡＦ評価値の最大値を検出すると、それ以降の第１撮像部１ａないし第２撮像部１ｂのフォーカスレンズの移動を中止する。そして、焦点調節部３３は、検出された第１ＡＦ点評価値の中の最大値に対応する第１撮像部１ａのフォーカスレンズの位置（第１合焦位置）に当該フォーカスレンズを移動させる。また、焦点調節部３３は、各移動位置に対応する第２ＡＦ評価値の中の最大値に対応する第２撮像部１ｂのフォーカスレンズの位置（第２合焦位置）に当該フォーカスレンズを移動させる。なお、第１撮像部１ａ・第２撮像部１ｂで各々独立に合焦制御してもよいが、一方の撮像部の合焦制御の結果を他方の撮像部の合焦制御に反映してもよい。
【００４１】
積算部７３は、ＲＡＭ４３に格納された第１画像データ及び第２画像データのそれぞれに基づいて被写体輝度を検出（被写体の明るさを測光）し、第１画像データ及び第２画像データから検出した被写体輝度をそれぞれ第１測光値・第２測光値とする。具体的には、積算部７３は、全撮影エリアを例えば８×８＝６４個のエリアに分割し、ＲＡＭ４３に格納された第１ないし第２画像データに基づき、各分割エリア毎にＲ、Ｇ、Ｂ信号の輝度成分を色別に積算して、その積算値と、その時の絞りの絞り値、電子シャッタのシャッタ速度とから、標準の撮影感度時の各分割エリアの測光値を算出する。
【００４２】
また積算部７３は、ＲＡＭ４３に格納された第１画像データ及び第２画像データのそれぞれに基づいて、第１ＷＢ値・第２ＷＢ値（ホワイトバランス）を検出する。露出値の算出の方式は任意であり、スポット測光、重点平均測光、平均測光のいずれでもよい。求められた第１・第２測光値、第１・第２ＷＢ値、及び第１・第２ＡＦ評価値はＣＰＵ４０に通知され、第１撮像部１ａおよび第２撮像部１ｂのＡＥ、ＡＷＢ、ＡＦの制御に利用される。
【００４３】
ＣＰＵ４０は、測光値、絞り値、感度、およびシャッタ秒時における相互間の対応関係を定義したプログラム線図をＲＯＭ５１から読み出して参照し、積算部７３で検出された第１測光値・第２測光値に対応する絞り値および感度をそれぞれ絞りおよびイメージセンサに設定して露出制御を行う。
【００４４】
特徴点抽出部８２は、フォーカスレンズ位置が合焦位置に設定された基準撮像部から得られた画像、ここでは第２フォーカスレンズが第２合焦位置に設定された第２撮像部１ｂから得られた合焦状態の第２画像データに対し、所定位置・所定形状・所定サイズの抽出エリアＲ１−Ｌの内部から複数(n個）の特徴点（xi, yi)(1<i≦n)を抽出する（図３（ａ）参照）。所定形状・所定サイズはＲＯＭ５１に予め設定保存されているが、ＣＰＵ４０や操作部１０の指示により変更できてもよい。例えば、抽出エリアＲ１−Ｌの形状は矩形、サイズは１６×１６画素であるが、これに限られない。抽出エリアＲ１−Ｌの形状は矩形に限らず、円形や楕円形などその他の形状でもよい。また抽出エリアＲ１−Ｌのサイズも任意である。
【００４５】
少なくとも抽出エリアＲ１−Ｌは、基準撮像部のＡＦ領域、ここでは第２ＡＦ領域と重複する部分を有している。好ましくは、抽出エリアＲ１−Ｌは、第２ＡＦ領域に包含され、さらに好ましくは、抽出エリアＲ１−Ｌは、第２ＡＦ領域と一致する。第２ＡＦ領域の位置が可変の場合もあるため、特徴点抽出部８２は、焦点調節部３３から入力された第２ＡＦ領域の位置情報に基づいて抽出エリアＲ１−Ｌを決定してもよい。
【００４６】
特徴点とは、複数の方向に強い信号勾配をもつ点（画素）であり、例えば、Harrisの手法や、Shi-Tomasiの手法を用いることで抽出できる。なお、第１画像データから特徴点を抽出し第２画像データから対応点を抽出してもよい。すなわち、基準撮像部は第１撮像部１ａでもよく、常に第２撮像部１ｂを基準撮像部にする必要はない。
【００４７】
対応点検出部８３は、第２画像データから抽出された各特徴点（xi, yi)に対応する第１画像データ上の点である対応点（Xi, Yi)を、合焦状態にある調整対象撮像系の画像すなわち第１フォーカスレンズが第１合焦位置に設定された第１撮像部１ａから得られた第１画像データ（図３（ｂ）参照）から抽出する。この特徴点と対応点とを結ぶ線分の水平成分が、視差量である。特徴点および対応点の組が複数あれば、その各々の組に対応する視差量が検出される。
【００４８】
対応点の抽出方法も任意である。一般的なものとしては、特徴点を中心としたウィンドウ内の画像情報をテンプレートとし、テンプレートマッチングする方法や、Lucas-Kanade法などがあるが、本願実施形態は特にこれらに限定されない。
【００４９】
視差量処理部１００は、特徴点（xi, yi)および対応点（Xi, Yi)の組に基づいて、それぞれ合焦状態にある第１画像データと第２画像データの間の視差量diを検出する。撮像系が水平線に対して左右に配置されている複眼撮像装置の場合は、特徴点位置における視差量はdi=Xi-xiとなる。視差量処理部１００の実施する処理の詳細は後述する。視差量処理部１００は、ワンチップマイコンのような演算装置で構成される。ＣＰＵ４０が視差量処理部１００を兼ねてもよい。
【００５０】
図４は視差量処理部１００の詳細ブロック図を示す。視差量処理部１００は、視差ヒストグラム生成部１０１と代表視差情報決定部１０２を有する。
【００５１】
視差ヒストグラム生成部１０１は、特徴点抽出部８２の抽出した特徴点と対応点検出部８３の抽出した特徴点に対応する対応点とに基づいて、特徴点と対応点の組ごとの視差量を算出する。この視差量の算出は特徴点と対応点の組ごとに行われるが、組が異なればカメラ２から被写体までの距離が異なるため、組ごとの視差量も異なってくる。すなわち、左右の画像が合焦状態にあっても、組が複数あると両者の視差量は一義的に決まらない。
【００５２】
視差ヒストグラム生成部１０１は、各組の視差量の頻度分布（視差ヒストグラム）を生成する。ヒストグラムの縦軸は頻度（度数）、横軸は変量すなわち視差量である（図５参照）。視差ヒストグラムの階級（ビン）の幅は任意である。
【００５３】
代表視差情報決定部１０２は、視差ヒストグラムの各ビンに格納される視差量の頻度を確認し、そのビンの有効性を判定する。具体的には、代表視差情報決定部１０２は、頻度ｆ、予めＲＯＭ５１に格納された閾値をｔｈ２とすると、ｆ＞ｔｈ２であれば、そのビンは有効と判定し、ｆ≦ｔｈ２であれば、そのビンは無効と判定する。ｔｈ２の値は、固定値でもよいし所定の算出式に従って算出される値でもよい。例えば、対応点検出部８３の検出した対応点の数の５０％をｔｈ２とする。
【００５４】
代表視差情報決定部１０２は、焦点調節部３３の決定したサーチ方向を焦点調節部３３から入力し、このサーチ方向に従って、各ビンの有効性を判定することを繰り返す。すなわち、代表視差情報決定部１０２は、焦点調節部３３がサーチ方向を第１のサーチ方向に決定した場合は、至近側のビン（視差量最大のビン）から無限遠側のビン（視差量最小のビン）にかけて順次各ビンの有効性を判定する。焦点調節部３３がサーチ方向を第２のサーチ方向に決定した場合は、無限遠側のビン（視差量最小のビン）から至近側のビン（視差量最大のビン）にかけて順次各ビンの有効性を判定する（図５参照）。代表視差情報決定部１０２は、焦点調節部３３の決定したサーチ方向に従って、各ビンの有効性を判定することを繰り返し、上記サーチ方向に従って最初に有効と判断されたビンである有効ビンに属する視差量に基づいて代表視差量を決定する。代表視差情報決定部１０２は、有効ビン以降のビンの有効性の判定を中止する。
【００５５】
例えば、あるビンの幅が２画素、当該ビンの中央値が＋１２画素であった場合、当該ビンの頻度は＋１１〜＋１３までの視差量をもつ特徴点と対応点の組の数と同じである。代表視差量の値は、有効ビンの中央値としてもよいし、有効ビンに属する視差量全ての平均でもよいし、有効ビンの中央値−α〜中央値＋α（αは定数）の範囲に該当する視差量の平均としてもよい。
【００５６】
合焦位置のサーチ方向と、視差ヒストグラムの有効性の判定を行う方向とを同じにし、かつ合焦位置のサーチの中止と視差ヒストグラムの有効性の判定の中止を同様にすることで最適ピント位置にある被写体の視差量を代表視差量とすることができる。
【００５７】
図６は、立体画像表示処理の概略フローチャートを示す。この処理は、ＣＰＵ４０が実行を制御する。この処理をＣＰＵ４０に実行させるためのプログラムはＲＯＭ５１に記憶されている。なお、ＣＰＵ４０と同等のハードウェア構成を有するパソコンなどから、以下の処理の１または複数の撮像装置による実行を制御することができるので、ＣＰＵ４０は必ずしもカメラ２に内蔵される必要はない。
【００５８】
Ｓ１では、サーチ方向を決定するよう焦点調節部３３を制御し、決定されたサーチ方向に沿って所定ステップずつ第１撮像部１ａおよび第２撮像部１ｂのフォーカスレンズを移動させながら、各移動位置にて第１画像データおよび第２画像データをＲＡＭ４３に取得する。正確には、第１撮像部１ａおよび第２撮像部１ｂのフォーカスレンズの所定ステップごとの移動と当該移動位置での第１撮像部１ａおよび第２撮像部１ｂの撮像は、それぞれ決定されたサーチ方向に沿っており、かつ第１ＡＦ評価値および第２ＡＦ評価値の最大値が最初に検出されるまで移動が行われる。そして、第１ＡＦ評価値および第２ＡＦ評価値の最大値が最初に検出された場合、その最大値の検出されたフォーカスレンズの移動位置よりもサーチ方向に沿って劣後するフォーカスレンズの位置への移動と撮像は中止するよう制御される。
【００５９】
Ｓ２では、フォーカスレンズが合焦位置に設定された状態で基準撮像部から得られた画像、ここでは合焦状態の第２撮像部１ｂから得られた第２画像データから、特徴点を検出するよう特徴点抽出部８２を制御する。
【００６０】
Ｓ３では、フォーカスレンズが合焦位置に設定された状態で調整対象撮像部から得られた画像、ここでは合焦状態の第１撮像部１ａから得られた第１画像データから、対応点を検出するよう対応点検出部８３を制御する。
【００６１】
Ｓ４では、特徴点と対応点の組の総数が、所定の閾値ｔｈ１を超えたか否かを判断する。超えた場合はＳ５、超えない場合はＳ７に進む。所定の閾値ｔｈ１はＲＯＭ５１に格納されている。ｔｈ１の値は、固定値でもよいし所定の算出式に従って算出される値でもよい。例えば、特徴点抽出部８２の検出した特徴点の数の５０％をｔｈ１とする。
【００６２】
Ｓ５では、視差量のヒストグラムを生成するよう視差ヒストグラム生成部１０１を制御する。
【００６３】
Ｓ６では、視差量のヒストグラムのビンから、代表視差量を決定するよう代表視差情報決定部１０２を制御する。正確には、焦点調節部３３の決定したサーチ方向に沿った順序で各ビンの有効性を判断し、最初に有効と判断されたビンの視差量から代表視差量に決定する。上述のように決定の仕方は任意であり、有効ビンの中央値や、有効ビンに属するすべての視差量の平均値もしくはメディアン値などを代表視差量に決定する。そして、最初に有効と判断されたビンよりもサーチ方向に沿って劣後するビンの有効性の判断は中止するよう制御する。
【００６４】
Ｓ７では、代表視差量を０に決定する。ただし、現在の抽出エリアＲ１−Ｌが第１ＡＦ領域の全てを包含していない場合、現在の抽出エリアＲ１−Ｌよりも大きくかつ第１ＡＦ領域に含まれる任意の領域を新たな抽出エリアＲ１−Ｌに設定してＳ２に戻り、その新たな抽出エリアＲ１−Ｌについて特徴点抽出を行ってもよい。これは、現在の抽出エリアＲ１−Ｌが小さすぎて十分な特徴点が抽出されなかった場合に有効である。
【００６５】
図７は、有効ビン判定処理のフローチャートを示す。この処理は、ＣＰＵ４０が実行を制御する。この処理をＣＰＵ４０に実行させるためのプログラムはＲＯＭ５１に記憶されている。なお、ＣＰＵ４０と同等のハードウェア構成を有するパソコンなどでも、以下の処理の実行を制御することができるので、ＣＰＵ４０は必ずしもカメラ２に内蔵される必要はない。
【００６６】
Ｓ１１では、視差量のヒストグラムを生成してＲＡＭ４３に読み出すよう視差ヒストグラム生成部１０１を制御する。
【００６７】
Ｓ１２では、焦点調節部３３の決定したサーチ方向が第１のサーチ方向であるかまたは第２のサーチ方向であるかを判定する。第１のサーチ方向と判定された場合はＳ１３、第２のサーチ方向と判定された場合はＳ１４に進む。
【００６８】
Ｓ１３では、代表視差情報決定部１０２に第１の判定モードを設定する。代表視差情報決定部１０２は、第１の判定モードが設定されると、第１のサーチ方向に沿った順序（視差量最大から視差量最小のビンに向けた順序）で各ビンの有効性を判断する。
【００６９】
Ｓ１４では、代表視差情報決定部１０２に第２の判定モードを設定する。代表視差情報決定部１０２は、第２の判定モードが設定されると、第２のサーチ方向に沿った順序（視差量最小から視差量最大のビンに向けた順序）で各ビンの有効性を判断する。
【００７０】
Ｓ１５では、ヒストグラムの全てのビンについて、有効性が無効と判断されたか否かを判断する。Ｙｅｓの場合（全てのビンが無効と判断された場合）はＳ１９、Ｎｏの場合（（全てのビンが無効とは判断されていない場合）はＳ１６に進む。
【００７１】
Ｓ１６では、Ｓ１３またはＳ１４で設定された判定モードに対応するサーチ方向に沿った順序でビンの頻度（度数）ｆを読み出す。
【００７２】
Ｓ１７では、読み出した頻度ｆが所定の閾値ｔｈ２を上回っているか否かを判定する。Ｙｅｓの場合はＳ１８、Ｎｏの場合はＳ１９に進む。上述のように閾値ｔｈ２は検出された対応点の総数の５０％などとすることができる。
【００７３】
Ｓ１８では、読み出した頻度ｆが所定の閾値ｔｈ２を上回っていると判断されたビン、すなわち有効ビンに属する視差量に基づいて代表視差量を決定する。
【００７４】
Ｓ１９では、代表視差量を０に決定する。ただし、上述のＳ７のように抽出エリアＲ１−Ｌが拡張された場合は、その拡張された抽出エリアＲ１−Ｌについて特徴量抽出・対応点抽出・ヒストグラム作成を再度行ってＳ１１に戻り、その新しく作成されたヒストグラムについて各ビンの有効性を判断し、それでも無効と判断された場合にＳ１９に進んでもよい。
【００７５】
この処理の後、立体表示制御部４５は、決定された代表視差量に基づいて、第１画像データおよび第２画像データの切り出し範囲を決定する。例えば、左画像（第２画像データ）を基準として、代表視差量が−２４である場合、左画像に対して右画像（第１画像データ）が左方向に２４画素ずれていることになる。そこで、例えば、立体表示制御部４５は、この２４画素のずれが０になるように、左画像の切り出し範囲ＴＬと右画像の切り出し範囲ＴＲを決定する。立体表示制御部４５は、決定された切り出し範囲に沿って第１画像データおよび第２画像データから画像を切り出し、この切り出した画像を立体表示部１１に出力する。図８は左画像の切り出し範囲ＴＬ，右画像の切り出し範囲ＴＲの一例を示す。
【００７６】
従来では、水平視差が被写体の距離に依存して大きくなりすぎ、左右像の融合限界を超えて多重に見えてしまうことがあった（図９参照）。これに対し本実施形態では、検出された代表視差に基づいて画像を切り出して表示するので、合焦された主要被写体の視差を抑制できる。
【符号の説明】
【００７７】
１ａ：第１撮像部、１ｂ：第２撮像部、５０：デジタル信号処理部、７３：積算部、８２：特徴点抽出部、８３：対応点検出部、１００：視差量処理部、１０１：視差ヒストグラム生成部、４５：立体表示制御部、１１：立体表示部
【図１】
2011029905.tif 000003
【図２】
2011029905.tif 000004
【図３】
2011029905.tif 000005
【図４】
2011029905.tif 000006
【図５】
2011029905.tif 000007
【図６】
2011029905.tif 000008
【図７】
2011029905.tif 000009
【図８】
2011029905.tif 000010
【図９】
2011029905.tif 000011