【手続補正書】
【提出日】平成24年1月11日(2012.1.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
基準光学系および非基準光学系の各々を介して結像した被写体像を撮像素子により光電変換して異なる複数の視点画像を出力する撮像部と、
前記基準光学系からの視点画像に対応する基準合焦評価領域を設定する基準合焦評価領域設定部と、
前記撮像部から前記基準合焦評価領域内の被写体までの距離の遠近に関する被写体情報を設定する被写体情報設定部と、
前記基準光学系の焦点位置を変化させながら前記基準光学系からの視点画像において前記基準合焦評価領域設定部の設定した基準合焦評価領域内のコントラストが極大となる焦点位置であるピーク位置を検出し、前記被写体情報設定部の設定した被写体情報に基づいて前記ピーク位置の中から前記被写体に対応する合焦位置を決定し、前記基準光学系の焦点位置を前記決定された合焦位置に移動させる合焦制御部と、
前記基準合焦評価領域に基づいて、前記焦点位置が前記合焦位置に移動した基準光学系からの視点画像に対応する特徴点抽出領域を設定する特徴点抽出領域設定部と、
前記特徴点抽出領域設定部が前記基準光学系の視点画像に設定した特徴点抽出領域から特徴点を抽出する特徴点抽出部と、
前記非基準光学系からの視点画像から前記特徴点抽出部の抽出した特徴点に対応する対応点を抽出する対応点抽出部と、
前記特徴点抽出部の抽出した特徴点と前記対応点抽出部の抽出した対応点の組ごとの視差量を算出する視差量算出部と、
前記視差量算出部の算出した前記特徴点と前記対応点の組ごとの視差量に基づいて、前記組ごとの視差量の分布を示すヒストグラムを生成するヒストグラム生成部と、
前記被写体情報設定部の設定した被写体情報と前記ヒストグラム生成部の生成したヒストグラムの頻度に基づいて前記被写体に対応する視差量の属する階級である有効階級を判定する判定部と、
前記判定部の判定した有効階級に基づいて代表視差量を決定する代表視差量決定部と、
前記代表視差量決定部の決定した代表視差量で示される視点画像間のずれが解消されるように、前記基準光学系からの視点画像の切り出し範囲および前記非基準光学系からの視点画像の切り出し範囲を決定し、前記決定された切り出し範囲から画像を切り出す切出部と、
前記切出部の切り出した画像に基づいて立体画像を出力する出力部と、
を備える撮像装置。
【請求項２】
前記被写体情報設定部は、前記被写体情報として撮影モードを設定し、
前記合焦制御部は、前記撮影モードに応じて、前記基準光学系の焦点位置を変化させるサーチ方向を至近側から無限遠側に向かう方向または無限遠側から至近側に向かう方向のいずれか一方に決定し、前記決定されたサーチ方向に前記基準光学系の焦点位置を変化させながら最初に検出されたピーク位置を前記合焦位置に決定し、
前記判定部は、前記決定されたサーチ方向に沿った順序で、前記ヒストグラムの各階級の有効性を各階級の頻度に基づいて判定することを繰り返し、前記決定されたサーチ方向に沿って最初に有効と判定された階級を有効階級と判定する請求項１に記載の撮像装置。
【請求項３】
前記判定部は、前記有効階級が出現したことに応じ、前記決定されたサーチ方向に沿った前記有効階級以降の各階級の有効性の判定を中止する請求項２に記載の撮像装置。
【請求項４】
前記判定部は、各階級の頻度が所定の閾値を超えるか否かに応じて各階級の有効性を判定する請求項２または３に記載の撮像装置。
【請求項５】
前記合焦制御部は、前記撮影モードが人物モードまたはマクロモードの場合、前記サーチ方向を至近側から無限遠側に向かう方向に決定する請求項１〜４のいずれかに記載の撮像装置。
【請求項６】
前記合焦制御部は、前記撮影モードが風景モードの場合、前記サーチ方向を無限遠側から至近側に向かう方向に決定する請求項１〜５のいずれかに記載の撮像装置。
【請求項７】
前記特徴点抽出領域設定部は、前記基準合焦評価領域の一部または全部に対して特徴点抽出領域を設定する請求項１〜６のいずれかに記載の撮像装置。
【請求項８】
基準光学系および非基準光学系の各々を介して結像した被写体像を撮像素子により光電変換して異なる複数の視点画像を出力する撮像部と、基準合焦評価領域設定部と、被写体情報設定部と、合焦制御部と、特徴点抽出領域設定部と、特徴点抽出部と、対応点抽出部と、視差量算出部と、ヒストグラム生成部と、判定部と、代表視差量決定部と、切出部と、出力部とを備えた撮像装置において、
前記基準合焦評価領域設定部が、前記基準光学系からの視点画像に対応する基準合焦評価領域を設定するステップと、
前記被写体情報設定部が、前記撮像装置から前記基準合焦評価領域内の被写体までの距離の遠近に関する被写体情報を設定するステップと、
前記合焦制御部が、前記基準光学系の焦点位置を変化させながら前記基準光学系からの視点画像において前記設定した基準合焦評価領域内のコントラストが極大となる焦点位置であるピーク位置を検出し、前記被写体情報に基づいて前記ピーク位置の中から前記被写体に対応する合焦位置を決定し、前記基準光学系の焦点位置を前記決定された合焦位置に移動させるステップと、
前記特徴点抽出領域設定部が、前記基準合焦評価領域に基づいて、前記焦点位置が前記合焦位置に移動した基準光学系からの視点画像に対応する特徴点抽出領域を設定するステップと、
前記特徴点抽出部が、前記基準光学系の視点画像に設定した特徴点抽出領域から特徴点を抽出するステップと、
前記対応点抽出部が、前記非基準光学系からの視点画像から前記抽出した特徴点に対応する対応点を抽出するステップと、
前記視差量算出部が、前記抽出した特徴点と前記抽出した対応点の組ごとの視差量を算出するステップと、
前記ヒストグラム生成部が、前記算出した前記特徴点と前記対応点の組ごとの視差量に基づいて、前記組ごとの視差量の分布を示すヒストグラムを生成するステップと、
前記判定部が、前記被写体情報と前記生成したヒストグラムの頻度に基づいて前記被写体に対応する視差量の属する階級である有効階級を判定するステップと、
前記代表視差量決定部が、前記判定した有効階級に基づいて代表視差量を決定するステップと、
前記切出部が、前記決定した代表視差量で示される視点画像間のずれが解消されるように、前記基準光学系からの視点画像の切り出し範囲および前記非基準光学系からの視点画像の切り出し範囲を決定し、前記決定された切り出し範囲から画像を切り出すステップと、
前記出力部が、前記切出部の切り出した画像に基づいて立体画像を出力するステップと、
を実行する撮像方法。
【請求項９】
基準光学系および非基準光学系の各々を介して結像した被写体像を撮像素子により光電変換して異なる複数の視点画像を出力する撮像部と、基準合焦評価領域設定部と、被写体情報設定部と、合焦制御部と、特徴点抽出領域設定部と、特徴点抽出部と、対応点抽出部と、視差量算出部と、ヒストグラム生成部と、判定部と、代表視差量決定部と、切出部と、出力部とを備えた撮像装置において、
前記基準合焦評価領域設定部が、前記基準光学系からの視点画像に対応する基準合焦評価領域を設定するステップと、
前記被写体情報設定部が、前記撮像装置から前記基準合焦評価領域内の被写体までの距離の遠近に関する被写体情報を設定するステップと、
前記合焦制御部が、前記基準光学系の焦点位置を変化させながら前記基準光学系からの視点画像において前記設定した基準合焦評価領域内のコントラストが極大となる焦点位置であるピーク位置を検出し、前記被写体情報に基づいて前記ピーク位置の中から前記被写体に対応する合焦位置を決定し、前記基準光学系の焦点位置を前記決定された合焦位置に移動させるステップと、
前記特徴点抽出領域設定部が、前記基準合焦評価領域に基づいて、前記焦点位置が前記合焦位置に移動した基準光学系からの視点画像に対応する特徴点抽出領域を設定するステップと、
前記特徴点抽出部が、前記基準光学系の視点画像に設定した特徴点抽出領域から特徴点を抽出するステップと、
前記対応点抽出部が、前記非基準光学系からの視点画像から前記抽出した特徴点に対応する対応点を抽出するステップと、
前記視差量算出部が、前記抽出した特徴点と前記抽出した対応点の組ごとの視差量を算出するステップと、
前記ヒストグラム生成部が、前記算出した前記特徴点と前記対応点の組ごとの視差量に基づいて、前記組ごとの視差量の分布を示すヒストグラムを生成するステップと、
前記判定部が、前記被写体情報と前記生成したヒストグラムの頻度に基づいて前記被写体に対応する視差量の属する階級である有効階級を判定するステップと、
前記代表視差量決定部が、前記判定した有効階級に基づいて代表視差量を決定するステップと、
前記切出部が、前記決定した代表視差量で示される視点画像間のずれが解消されるように、前記基準光学系からの視点画像の切り出し範囲および前記非基準光学系からの視点画像の切り出し範囲を決定し、前記決定された切り出し範囲から画像を切り出すステップと、
前記出力部が、前記切出部の切り出した画像に基づいて立体画像を出力するステップと、
を実行するための撮像プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
第１イメージセンサは、第１変倍レンズ及び第１フォーカスレンズによって結像された被写体光を受光し、受光量に応じた光電荷を受光素子に蓄積する。第１イメージセンサは、タイミングジェネレータ（ＴＧ）から定期的に入力されるタイミング信号（クロックパルス）により光電荷蓄積・転送動作が制御され、撮影モード時には、１画面分の画像信号を所定周期ごとに取得し、順次、第１Ａ／Ｄ変換器２９に入力する。なお、第１イメージセンサとして、ＣＣＤ型やＭＯＳ型の固体撮像装置が用いられる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
なお、第２撮像部１ｂの各部材は、第１撮像部１ａの各部材と同質のものが用いられている。また、第１撮像部１ａと第２撮像部１ｂとは、同期が取られており、それぞれ連動して撮像動作を行う。第１撮像部１ａと第２撮像部１ｂは同一のカメラ筐体に内蔵されていなくてもよく、それぞれ独立した撮像装置に設けられていてもよい。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
圧縮伸張処理部４７は、ＲＡＭ４３に記憶された第１及び第２画像データに対して、ＪＰＥＧ方式等の圧縮形式により圧縮処理を施す。ＲＡＭ４３は、この圧縮処理に必要な一時的記憶領域として用いられる。メディア制御部４８は、圧縮伸張処理部４７によって圧縮処理された各画像データをメモリカード４９に記録させる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
焦点調節部３３は、決定されたサーチ方向に沿って各移動位置に対応する第１ＡＦ評価値の中の最大値および第２ＡＦ評価値の最大値を検出すると、それ以降の第１撮像部１ａないし第２撮像部１ｂのフォーカスレンズの移動を中止する。そして、焦点調節部３３は、検出された第１ＡＦ評価値の中の最大値に対応する第１撮像部１ａのフォーカスレンズの位置（第１合焦位置）に当該フォーカスレンズを移動させる。また、焦点調節部３３は、各移動位置に対応する第２ＡＦ評価値の中の最大値に対応する第２撮像部１ｂのフォーカスレンズの位置（第２合焦位置）に当該フォーカスレンズを移動させる。なお、第１撮像部１ａ・第２撮像部１ｂで各々独立に合焦制御してもよいが、一方の撮像部の合焦制御の結果を他方の撮像部の合焦制御に反映してもよい。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００７２
【補正方法】変更
【補正の内容】
【００７２】
Ｓ１７では、読み出した頻度ｆが所定の閾値ｔｈ２を上回っているか否かを判定する。Ｙｅｓの場合はＳ１８、Ｎｏの場合はＳ１５に進む。上述のように閾値ｔｈ２は検出された対応点の総数の５０％などとすることができる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００７４
【補正方法】変更
【補正の内容】
【００７４】
Ｓ１９では、代表視差量を０に決定する。ただし、上述のＳ７のように抽出エリアＲ１−Ｌが拡張された場合は、その拡張された抽出エリアＲ１−Ｌについて特徴点抽出・対応点抽出・ヒストグラム作成を再度行ってＳ１１に戻り、その新しく作成されたヒストグラムについて各ビンの有効性を判断し、それでも無効と判断された場合にＳ１９に進んでもよい。