(57)【特許請求の範囲】
【請求項１】
被写体を撮影する撮像装置であって、
第１光学系と、
第２光学系と、
前記第１光学系によって形成される第１撮影領域の光学像を電気信号に変換する第１撮像素子と、
前記第２光学系によって形成される、前記第１撮影領域よりも大きく、前記第１撮影領域を含む第２撮影領域の光学像を電気信号に変換する第２撮像素子と、
前記第１撮影領域に含まれる第１被写体の合焦位置に、前記第１光学系のフォーカスレンズを移動させる第１フォーカス駆動部と、
前記第１撮影領域に含まれずかつ前記第２撮影領域に含まれる第２被写体の像の動きを予測する動き予測部とを備え、
前記第１フォーカス駆動部は、前記動き予測部の予測結果に応じて、前記第１光学系のフォーカスレンズの位置を前記第１被写体の合焦位置とは異なる位置に移動させる、撮像装置。
【請求項２】
前記第１光学系のフォーカスレンズの位置を前記第２被写体の合焦位置に移動させる、請求項１に記載の撮像装置。
【請求項３】
前記動き予測部は前記第２被写体の像が前記第２撮影領域から前記第１撮影領域に入るかを予測し、
前記第１フォーカス駆動部は、もし前記動き予測部が前記第２被写体の像が前記第２撮影領域から前記第１撮影領域に入ろうとしていると判断した場合に前記第１光学系のフォーカスレンズの位置を前記第１被写体の合焦位置とは異なる位置に移動させる、請求項１に記載の撮像装置。
【請求項４】
前記第２被写体への距離を検出する距離検出部をさらに備え、
前記第１フォーカス駆動部は、前記距離検出部の検出した距離にもとづいて前記第１光学系のフォーカスレンズの位置を移動させる、請求項３に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に関する。
【背景技術】
【０００２】
特許文献１は、２つの撮像光学系の合焦動作を独立して制御し、合焦時間の短縮を図ったカメラを開示している。また、特許文献２は、サブカメラが被写体を検出し、撮影者に警告を発する撮像装置を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１４８２４９号公報
【特許文献２】特開２０１０−１１８９８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、被写体が撮影範囲外から飛び込んできたような場合であっても、瞬時に被写体に合焦できる撮像装置を提供する。
【課題を解決するための手段】
【０００５】
本開示における撮像装置は、第１光学系と、第２光学系と、第１光学系によって形成される第１撮影領域の光学像を電気信号に変換する第１撮像素子と、第２光学系によって形成される、第１撮影領域よりも大きく、第１撮影領域を含む第２撮影領域の光学像を電気信号に変換する第２撮像素子と、第１撮影領域に含まれる第１被写体の合焦位置に、第１光学系のフォーカスレンズを移動させるフォーカス駆動部と、第１撮影領域に含まれずかつ第２撮影領域に含まれる第２被写体の像の動きを予測する動き予測部と、を備える。第１フォーカス駆動部は、動き予測部の予測結果に応じて、第１光学系のフォーカスレンズの位置を第１被写体の合焦位置とは異なる位置に移動させる。
【発明の効果】
【０００６】
本開示における撮像装置は、被写体が撮影範囲外から飛び込んできたような場合であっても、瞬時に被写体に合焦するのに有効である。
【図面の簡単な説明】
【０００７】
【図１】実施の形態１に係る撮像装置の概観図
【図２】実施の形態１に係る撮像装置の構成を示すブロック図
【図３Ａ】実施の形態１に係る撮像装置の動作を説明するための説明図
【図３Ｂ】実施の形態１に係る撮像装置の動作を説明するための説明図
【図４】実施の形態１に係る撮像装置の動作を説明するフローチャート
【図５Ａ】実施の形態２に係る撮像装置の動作を説明するための説明図
【図５Ｂ】実施の形態２に係る撮像装置の動作を説明するための説明図
【図６】実施の形態２に係る撮像装置の動作を説明するフローチャート
【発明を実施するための形態】
【０００８】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【０００９】
なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１０】
（実施の形態１）
以下、図１〜図４を用いて、実施の形態１を説明する。
【００１１】
［１−１．構成］
図１の外観図に示すように、撮像装置１００は第１光学系１０１と第２光学系１０２を有している。撮像装置１００の上部には、シャッターボタン１０３が設けられている。シャッターボタン１０３を押すことで、静止画撮影のタイミングが決定される。また、動画撮影時には、このシャッターボタン１０３を押すことで撮影が開始され、再度シャッターボタン１０３を押すと撮影を終了するように構成されている。
【００１２】
図２に撮像装置１００の構成をブロック図で示す。撮像装置１００は、第１光学系１０１と、第２光学系１０２と、第１撮像素子２０５と、第２撮像素子２０６とを備えている。第１光学系１０１はズーム光学系である。すなわち、第１ズームレンズ２０１が前後に移動することによって、撮影画角が変化（変倍）する。例えば、広角側から望遠側へと、焦点距離を５倍に変えることができる。また、第１光学系１０１は、合焦位置を調整する第１フォーカスレンズ２０３を有している。第１フォーカスレンズ２０３が前後に動くことによって、近距離から無限遠まで合焦位置を変えることができる。例えば、山や林といった無限遠方にある被写体に合焦させるためには、第１フォーカスレンズ２０３を前方（図２の左側）に移動させる。あるいは、マクロ撮影といった近距離の被写体に対しては、第１フォーカスレンズ２０３を後方（図２の右側）に移動させ合焦する。
【００１３】
第１撮像素子２０５は、第１光学系１０１が形成する光学的な像を電気的な映像信号に変換して出力する。この映像信号は、第１映像信号処理部２０７に入力される。そして、ノイズの除去や増幅処理が行われた後、処理された映像信号は、映像信号記録部２１３に送られる。映像信号記録部２１３は、記憶媒体に映像信号を記録する。記憶媒体としては、例えば、ＳＤカードなどの半導体メモリを用いてもよい。
【００１４】
第１映像信号処理部２０７では、第１光学系１０１の撮影領域３０１（撮影画像）内の任意領域（これを「第１光学系のＡＦ範囲３０３」と呼ぶ）を切り出して、切り出した画像を第１コントラスト検出部２０９に出力する。第１コントラスト検出部２０９では、第１光学系のＡＦ範囲３０３に含まれる画像のコントラスト値を計算する。そして、コントラスト値の計算結果が最大となる位置に、第１光学系１０１の第１フォーカスレンズ２０３を位置決めする。すなわち、第１コントラスト検出部２０９の指令に基づいて、第１フォーカス駆動部２１１が第１フォーカスレンズ２０３を駆動する。
【００１５】
第２光学系１０２は第１光学系１０１とほぼ同じ構成を有している。第２光学系１０２はズーム光学系である。第２ズームレンズ２０２が前後に移動して撮影画角を変化（変倍）させる。また、第２フォーカスレンズ２０４の移動によって合焦位置を調整する。
【００１６】
同様に、第２撮像素子２０６は第２光学系１０２が形成する光学的な像を電気的な映像信号に変換して出力する。映像信号は、第２映像信号処理部２０８に入力されて、ノイズの除去や増幅処理が行われる。そして、第２映像信号処理部２０８は、第２光学系１０２の撮影領域３０２（撮影画像）内の任意領域（これを「第２光学系のＡＦ範囲３０４」と呼ぶ）を切り出して、切り出した画像を第２コントラスト検出部２１０に出力する。第２コントラスト検出部２１０では、第２光学系のＡＦ範囲３０４のコントラスト値を計算し、第２フォーカスレンズ２０４を駆動する第２フォーカス駆動部２１２を制御する。
【００１７】
第２映像信号処理部２０８は、更に、動き予測部２１４と距離検出部２１５とにも撮影画像を出力する。動き予測部２１４は、人物などの被写体（第２被写体３０６）の撮影画像内での位置を検出する。そして、動き予測部２１４は、撮影画像内での第２被写体３０６の位置の時間変化から、第２被写体３０６の速度ベクトル３０７を計算する。この計算結果が所定の条件を満たす場合には、動き予測部２１４は、第１光学系１０１を駆動する第１フォーカス駆動部２１１に第１フォーカスレンズ２０３の移動を指示する。同時に距離検出部２１５が、撮影画像と第２コントラスト検出部２１０の出力とのいずれか一方または両方を参照して、第２被写体３０６までの距離を計算し、第１フォーカス駆動部２１１に出力する。また、第２映像信号処理部２０８は、映像信号記録部２１３に撮影画像を出力していない点でも第１映像信号処理部２０７と構成が異なる。
【００１８】
［１−２．動作］
以上のように構成した実施の形態１の撮像装置１００の動画撮影時の動作を、図３Ａおよび図３Ｂの説明図と、図４のフローチャートとを用いて順に説明する。
【００１９】
（ＳＴＡＲＴ）
撮影者がシャッターボタン１０３を押すと、動画撮影動作が開始される。すなわち、第１光学系１０１が形成する光学的な像を、第１撮像素子２０５が映像信号に変換する。映像信号には、第１映像信号処理部２０７によって各種の処理（ノイズ除去や増幅）が施される。処理済みの映像信号は、映像信号記録部２１３によって半導体メモリ（例えばＳＤメモリカード）などの記憶媒体に記録される。これらの動作は、予め選択された動画のフレーム間隔、例えば１／３０秒といった間隔で繰り返される。
【００２０】
ここで、第１光学系１０１は望遠側に設定されており、図３Ａに示すように、第１光学系の撮影領域３０１は、第２光学系の撮影領域３０２よりも狭くなっている。このため、第１光学系１０１の撮影領域３０１内には、人物などの被写体は見当たらない。また、第１光学系のＡＦ範囲３０３は、図３Ａに示すように、画像中央部に設定されている。すなわち、図３Ａの例では、遠方にある山などの背景が第１被写体３０５となる。そして第１被写体３０５の画像、すなわち、背景画像が切り出され、第１コントラスト検出部２０９が切り出された画像からコントラスト値を計算する。この結果、第１光学系１０１が背景画像に合焦するように、すなわち無限遠方が合焦位置となるように、第１フォーカスレンズ２０３が位置決めされる。以上の動作は一般的な撮像装置におけるオートフォーカス動作に相当する。
【００２１】
（Ｓ０１０：第２光学系を用いた第２被写体の動き検出）
一方、第２光学系１０２は広角側に設定されており、図３Ａに示すように、第２光学系の撮影領域３０２は、第１光学系の撮影領域３０１よりも遥かに広くなっている。第２光学系１０２のオートフォーカス動作は、他の撮像装置におけるオートフォーカス動作とは全く異なるので、以下詳細に説明する。
【００２２】
撮影動作が開始されると、第２撮像素子２０６は、第２光学系１０２が形成する光学的な像を電気的な映像信号に変換して出力する。この映像信号は、第２映像信号処理部２０８に入力される。第２映像信号処理部２０８は、第２光学系の撮影領域３０２のうち、第１光学系の撮影領域３０１をマスク処理する（すなわち、処理対象からはずすために黒塗りする）。そして、マスク処理後の第２光学系１０２の撮影画像を監視して、人物、ペット、車あるいは電車といった被写体（第２被写体３０６）を探索する。ここで、被写体検知は予め登録してある形状や色あるいはパターンとの合致度合いから判定すれば良く、例えば顔検知技術として公知の手法を用いればよい。
【００２３】
このようにして、第２映像信号処理部２０８は、第１光学系の撮影領域３０１をマスク処理した撮影画像に対して、次々と被写体検知を繰り返す。第２信号処理部２０８が第２被写体３０６を検知した場合には、その位置を追尾すると共に、第２被写体３０６の位置を計算して、各フレーム毎に計算した第２被写体３０６の位置を動き予測部２１４に出力する。なお、第２被写体３０６の位置計算の方法としては、予め登録されている色やパターンと色やパターンが合致する画素に対して重みつき加算を行って画像重心位置を計算する手法を利用してもよい。あるいは、特定の画像パターンとして、人物やペットの目をパターンマッチングにより抽出して、両目位置の中点位置を第２被写体３０６の位置として出力しても良い。
【００２４】
また、第２映像信号処理部２０８は、第２被写体３０６に対する第２光学系のＡＦ範囲３０４を、各フレーム毎に図３Ａのように決定する。そして、第２映像処理部２０８は、第２光学系のＡＦ範囲３０４を切り出して、切り出した画像を第２コントラスト検出部２１０に出力する。第２コントラスト検出部２１０は、第２光学系のＡＦ範囲３０４のコントラスト値を各フレーム毎に計算する。そして、第２フォーカス駆動部２１２は、第２フォーカスレンズ２０４の駆動を制御する。この結果、第２光学系１０２は第２被写体３０６に常時合焦できるので、被写体検知や追尾動作を高精度に行えるという利点を有している。
【００２５】
（Ｓ０２０：第２被写体が第１光学系の撮影領域に入るか？）
動き予測部２１４は、各フレーム毎の第２被写体３０６の位置を受け取る。動き予測部２１４は、フレーム間の第２被写体３０６の位置の変化から、第２被写体３０６の速度ベクトル３０７を計算して第２被写体３０６の動きを予測する。例えば、一つ前のフレームと現フレームとの第２被写体の位置の差分から、第２被写体の速度ベクトル３０７を計算する。そして現フレームにおける第２被写体の位置に第２被写体の速度ベクトル３０７をＫ個加算する。これでＫフレーム先の第２被写体３０６の位置が予測できる。なお、現フレーム位置に対して２つ以上過去のフレームにおける第２被写体３０６の位置を全て参照すればさらに良い。例えば、第２被写体３０６の速度ベクトル３０７を時刻毎に計算し記憶しておく。それらを全て参照して、時間軸に対する速度ベクトル３０７の変化をプロットする。プロットした結果に最小二乗法で２次関数をフィッティングする。この２次関数を用いて、Ｋフレーム先の第２被写体３０６の位置を予測しても良い。あるいは、第２被写体３０６の位置に対して、同様に２次関数などをフィッティングしても良い。
【００２６】
このようにして予測したＫフレーム先の第２被写体３０６の位置と、マスク領域、すなわち第１光学系の撮影領域３０１とを比較する。比較結果がＮｏ、すなわち、Ｋフレーム先の第２被写体３０６の位置が、第１光学系の撮影領域３０１に含まれない場合には、前のステップ（Ｓ０１０）に戻って第２被写体３０６の検知を続ける。比較結果がＹｅｓ、すなわち、Ｋフレーム先の第２被写体３０６の位置が、第１光学系の撮影領域３０１に含まれるのであれば、次のステップ（Ｓ０３０）に進む。
【００２７】
（Ｓ０３０：第２光学系による第２被写体の距離を測距）
ステップ（Ｓ０３０）でＹｅｓと判定された場合、距離検出部２１５は、第２映像信号処理部２０８から第２被写体３０６に関する各種の情報を受け取り、第２被写体３０６の大きさを判定する。例えば、第２光学系のＡＦ範囲３０４を切り出した画像を受け取って、その切り出しサイズから第２被写体３０６の大きさを判定しても良い。あるいは、人物やペットの目といった特定の画像パターンの大きさから第２被写体３０６の大きさを推定してもよい。例えば、人の目の間隔は被写体の大きさを特定する良い指標となる。電車や車の窓サイズからも容易に被写体の大きさを判定できる。あるいは、画像重心位置を計算する過程で、第２被写体３０６と特定した画素数から被写体の大きさを判定しても良い。撮影画像の色や輝度変化あるいはエッジ検出などを組み合わせて、領域分割を行うセグメンテーション技術などを援用すれば、被写体の大きさをさらに精度よく判定することができる。このようにして第２被写体３０６の大きさの判定結果と、登録された被写体の種類（人物、ペット、車、電車）とから、第２被写体３０６までの距離を測距する。
【００２８】
この際、距離検出部２１５は、第２光学系１０２の第２フォーカスレンズ２０４の位置に関する情報を参照しても良い。すなわち、第２被写体３０６に合焦するように第２フォーカスレンズ２０４は位置決めされているので、その位置から逆算して第２被写体３０６までの距離を計算することができる。第２フォーカスレンズ２０４の位置に関する情報は、その位置決めを行う第２フォーカス駆動部２１２、さらには制御している第２コントラスト検出部２１０から入手できる。
【００２９】
（Ｓ０４０：第１光学系のフォーカスレンズを駆動）
動き予測部２１４は、第１光学系１０１の第１フォーカス駆動部２１１に対して第１フォーカスレンズ２０３の移動を指示する。第１フォーカス駆動部２１１は、距離検出部２１５の測距結果を読み出して、現在の第１フォーカスレンズ２０３の位置と比較し、差分を埋めるように第１フォーカスレンズを駆動する。すなわち、第１フォーカス駆動部２１１は、第１コントラスト検出部２０９のコントラスト検出結果を一時的に無視する。そして、第２光学系１０２が検出した第２被写体３０６までの距離を参照して、第１フォーカスレンズ２０３を移動させる。すなわち、第１光学系１０１が第２被写体３０６に合焦するであろう位置に、第１フォーカス駆動部２１１は第１フォーカスレンズ２０３を駆動する。
【００３０】
（Ｓ０５０  第１光学系による第２被写体の撮影）
第１映像信号処理部２０７は、動き予測部２１４が予測した第２被写体３０６の位置にあわせて、第１光学系のＡＦ範囲３０３を図３Ｂのように変更する。すなわち、第１映像信号処理部２０７は、第１光学系の撮影領域３０１のうち、第２被写体３０６が突入するであろう位置に、第１光学系のＡＦ範囲３０３を設定する。そして、第１映像信号処理部２０７は、新たに設定した第１光学系のＡＦ範囲３０３の画像を切り出して第１コントラスト検出部２０９に出力する。第１コントラスト検出部２０９は、第１光学系のＡＦ範囲３０３のコントラスト値を各フレーム毎に計算する。そして、第１コントラスト検出部２０９は、第１フォーカス駆動部２１１を制御して、第１フォーカスレンズ２０３を駆動する。この結果、第１光学系１０１を第２被写体３０６に常時合焦させることができ、常に鮮明な第２被写体３０６の画像を記録することができるという利点が得られる。
【００３１】
同時に、第１光学系のＡＦ範囲３０３を中心として、第２被写体３０６の被写体検知を第１光学系１０１においても行う。すなわち、第１映像信号処理部２０７が第２被写体３０６に対して公知の追尾動作を行う。これによって、第２被写体３０６が第１光学系の撮影領域３０１内で移動しても、常に鮮明な第２被写体３０６の画像を記録し続けることができるのである。
【００３２】
［１−３．効果等］
従来、撮影中に人物などの被写体が撮影範囲内に走りこんできたような場合、合焦位置を走りこんだ被写体に瞬時に変更することは困難であった。このため、不鮮明な（ボケた）被写体を撮影・記録し続けてしまうという問題があった。
【００３３】
これに対して、実施の形態１の撮像装置１００では、第２光学系の撮影領域３０２内の第２被写体３０６の位置を第２映像信号処理部２０８が検出する。そして、動き予測部２１４が第１光学系の撮影領域３０１内に第２被写体３０６が飛び込む瞬間を予測する。また、第２被写体３０６までの距離を距離検出部２１５が測距する。そして、第２被写体３０６までの距離に応じて、第１フォーカス駆動部２１１が第１フォーカスレンズ２０３を移動させる。これによって第１光学系の撮影領域３０１内に、第２被写体３０６が突然飛び込んできても、第１光学系１０１を瞬時に第２被写体３０６に合焦させることが可能となる。そのため、飛び込んできた第２被写体３０６の鮮明な画像を撮影・記録することができる。
【００３４】
（実施の形態２）
以下、図５Ａ〜図６を用いて、実施の形態２を説明する。
【００３５】
［２−１．構成および動作］
実施の形態２の撮像装置１００の構成は、図１および図２に示す実施の形態１と同じであるので、説明を省略する。実施の形態２の撮像装置１００の動作について、図５Ａおよび図５Ｂの説明図と、図６のフローチャートとを用いて、動画撮影時の動作を順に説明する。実施の形態１においては、撮像装置１００が概ね固定された状態を前提として、第２被写体３０６が運動している場合を想定した。実施の形態２においては、第２被写体３０６が概ね静止しており、撮像装置１００がパンなどの撮影方法により動いている場合を想定する。
【００３６】
（ＳＴＡＲＴ）
撮影者がシャッターボタン１０３を押すと、動画撮影動作が開始される。
【００３７】
（Ｓ１１０：撮像装置の動き検出）
撮影動作が開始されると、第２撮像素子２０６は第２光学系１０２が形成する光学的な像を電気的な映像信号に変換して出力する。この映像信号は、第２映像信号処理部２０８に入力される。第２映像信号処理部２０８の動作は実施の形態１と同じである。ただし前述のように、第２被写体３０６が静止して、撮像装置１００が動く場合を想定して説明する。
【００３８】
第２映像信号処理部２０８は、第２光学系の撮影領域３０２のうち、第１光学系の撮影領域３０１をマスク処理する。そして、第２映像信号処理部２０８は、マスク処理後の第２光学系１０２の撮影画像を監視して、第２被写体３０６を探索する。このように第２映像信号処理部２０８は、次々と被写体検知を繰り返す。そして、第２映像信号処理部２０８は、第２被写体３０６を検知した場合には、その位置を追尾する。さらに、第２映像信号処理部２０８は、第２被写体３０６の位置を計算して、各フレーム毎に計算した第２被写体３０６の位置を動き予測部２１４に出力する。ここで、動き予測部２１４に出力されるのは、第２撮像素子２０６の撮像面上における第２被写体３０６の像の位置である。この像の位置は、撮像装置１００と第２被写体３０６との相対的な位置関係から決まる。図３Ａのように撮像装置１００が静止していて、第２被写体３０６が動いた場合、第２被写体３０６の像の位置は動く。同様に、図５Ａに示すように第２被写体３０６が静止していても、パンなどの撮影動作によって撮像装置１００が動くと、第２被写体３０６の像の位置は動くことになる。これにより、第２映像信号処理部２０８は、第２被写体３０６の動きから撮像装置１００の動きを検出できる。
【００３９】
（Ｓ１２０：第２被写体が第１光学系の撮影領域に入るか？）
動き予測部２１４は、各フレーム毎の第２被写体３０６の像の位置を受け取る。フレーム間の像の位置の変化から、第２被写体の速度ベクトル３０７を計算して第２被写体３０６の動きを予測する。上述のように、第２被写体３０６は静止している。パンなどの撮影動作によって撮像装置１００が動くことによって、第２被写体３０６の像の位置が動いてみえるだけである。しかし、処理としては実施の形態１となんら変わることなく、同じように扱えばよい。すなわち、Ｋフレーム先の第２被写体３０６の像の位置を予測し、マスク領域、すなわち、第１光学系の撮影領域３０１と比較する。比較結果がＮｏ、すなわち、Ｋフレーム先の第２被写体３０６の像の位置が第１光学系の撮影領域３０１に含まれない場合には、前のステップ（Ｓ０１０）に戻って第２被写体の検知を続ける。比較結果がＹｅｓ、すなわち、Ｋフレーム先の第２被写体３０６の像の位置が第１光学系の撮影領域３０１に含まれる場合には、次のステップ（Ｓ０３０）に進む。例えば、図５Ｂに示すように、第２被写体３０６自体は静止していても、第１光学系の撮影領域３０１内に第２被写体３０６が入り込む。
【００４０】
以降の処理についても、実施の形態１と全く同じ処理を行えばよい。すなわち、ステップ（Ｓ１３０）では図４のステップ（Ｓ０３０）と同じ処理を行い、ステップ（Ｓ１４０）では図４のステップ（Ｓ０４０）と同じ処理を行い、ステップ（Ｓ１５０）では図４のステップ（Ｓ０５０）と同じ処理を行う。
【００４１】
［２−３．効果等］
従来、撮影者が撮像装置の向きを変えながら撮影（例えばパンニング撮影）した場合にも、撮影範囲内に新たに入る被写体に瞬時に合焦することは困難であった。このため、不鮮明な（ボケた）被写体を撮影・記録し続けてしまうという問題があった。
【００４２】
これに対して、実施の形態２の撮像装置１００では、第２光学系の撮影領域３０２内の第２被写体３０６の位置を第２映像信号処理部２０８が検出する。そして、動き予測部２１４が第１光学系の撮影領域３０１内に第２被写体３０６が入り込む瞬間を予測する。また第２被写体３０６までの距離を距離検出部２１５が測距する。そして第２被写体３０６までの距離に応じて、第１フォーカス駆動部２１１が第１フォーカスレンズ２０３を移動させる。これによってパンなどの撮影動作によって撮像装置１００が動く場合であっても、第１光学系１０１を瞬時に第２被写体３０６に合焦させることが可能となる。そして、第２被写体３０６の鮮明な画像を撮影・記録できるのである。
【００４３】
結局のところ、第２被写体３０６の像の位置が処理の対象となる。実施の形態１は、第２被写体３０６が運動する場合を想定したものである。実施の形態２は、第２被写体３０６が静止して撮像装置１００が回転する（パンする）場合を想定したものである。どちらにしても、第２被写体３０６と撮像装置１００との相対的な位置関係に変化が生じる。すると、第２光学系の撮影領域３０２内の第２被写体３０６の像の位置が変化する。この変化を第２被写体の速度ベクトル３０７として計算する。そして、計算した速度ベクトル３０７を用いて、第２被写体３０６の像が第１光学系の撮影領域３０１内に入りこむ瞬間を予測する。また、第２光学系１０２を用いて撮影した画像から、第２被写体３０６までの距離を測距する。これによって、第１光学系の撮像領域３０１に第２被写体３０６が入った瞬間に第１光学系１０１の合焦位置を変更し、第２被写体３０６の鮮明な画像を撮影・記録できるのである。なお、第２被写体３０６が運動し、かつ、撮像装置１００も動く場合であっても、実施の形態１および実施の形態２と同じ動作でよいことは言うまでもない。
【００４４】
以上説明したように、本開示によれば、第２光学系の第２撮影領域内の第２被写体の像の位置を検出し、動き予測部が第１撮影領域内に第２被写体が飛び込む瞬間を予測する。そして、第１フォーカス駆動部が第１光学系のフォーカスレンズを別の位置に移動させる。これにより、第１光学系の第１撮像領域内に、第２被写体が突然飛び込んできても、第１光学系を瞬時に第２被写体に合焦させることが可能となる。
【００４５】
また、望遠で撮影している第１光学系の第１撮影領域は狭い。このため、被写体が第１撮影領域からはずれていることがある。このような場合には、無限遠方にある山や林といった背景（第１被写体）に合焦している。一方、広角で撮影している第２光学系の第２撮影領域は広い。よって、走ってきた人物などの第２被写体の位置を検出すると共に、第２被写体の速度ベクトル（向きと大きさ）を計算できる。これにより、第１撮影領域内に第２被写体が飛び込む瞬間を予測できる。そして、人物などの第２被写体が第１撮影領域に飛び込んできた瞬間に、例えば近距離側にフォーカスレンズを移動できる。すなわち、走り込んできた人物に瞬時に合焦させることができ、鮮明な被写体画像（人物などの顔）を撮影・記録することが可能となる。
【００４６】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１および２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１および２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を説明する。
【００４７】
第２被写体３０６の位置に加えて、第１被写体３０５の位置を別途検出して、図５Ａに示すように第１被写体の速度ベクトル５０１を求めてもよい。すなわち、第１光学系のＡＦ範囲３０３に含まれる第１被写体３０５の位置を求める。そして、フレーム間の位置の変化から、第１被写体の速度ベクトル５０１を計算する。これを第２被写体の速度ベクトル３０７と比較する。両者がほぼ一致していれば、第２被写体は静止しており、撮像装置１００だけが動いていると判定できる。すなわち、撮像装置１００の動きを、より正確に判定できるという効果がある。
【００４８】
なお、撮像装置１００の移動が並進運動である場合には、遠方に存在する被写体ほど速度が小さくなる。一方、撮像装置１００の移動が回転運動の場合には、距離に関係なく一定の速度となる。これらの特徴を利用すれば、さらに撮像装置１００の運動を詳細に判定できるという効果がある。
【００４９】
加えて、撮像装置１００にジャイロや電子コンパスあるいは加速度センサを搭載してもよい。それらの出力を参照すれば、より高い精度で撮像装置１００の動きを検出できる。
【００５０】
また、上記の実施の形態１では、あるフレームからＫフレーム後の第２被写体３０６の位置を予測する例を説明したが、フレームレートの値を用いてフレーム数を時間に換算し、ある時点から所定の時間経過後（例えば、Ｓ秒後）の第２被写体３０６の予測位置を求めてもよい。
【００５１】
また、実施の形態１および実施の形態２のステップ（Ｓ０４０）、（Ｓ１４０）における第１フォーカスレンズ２０３の駆動は、第２被写体３０６が第１光学系の撮影領域３０１内に入り込む瞬間に行っても良い。あるいは、数秒間かけて移動させることも可能である。例えばステップ（Ｓ０２０）、（Ｓ１２０）において動き予測部２１４が、Ｋ秒後に第２被写体３０６が第１光学系の撮影領域３０１内に入り込むと予測したと想定する。ステップ（Ｓ０４０）（Ｓ１４０）において、第１フォーカス駆動部２１１が、（Ｋ−２）秒後から２秒間かけて第１フォーカスレンズ２０３を移動させる。このように第１光学系１０１が滑らかな合焦動作を行うと、見やすく違和感の少ない画像（動画）を撮影・記録できるという利点がある。
【００５２】
また、実施の形態１および実施の形態２のステップ（Ｓ０２０）、（Ｓ１２０）において、動き予測部２１４は、第２被写体の速度ベクトル３０７を２次元ベクトルとして計算した。動き予測部２１４が３次元ベクトルを計算することがさらに好ましい。すなわち、動き予測部２１４は、距離検出部２１５から、第２被写体３０６までの距離の測距結果を受け取る。これによって、動き予測部２１４は、第２光学系の撮影領域３０２における２次元位置：Ｘ，Ｙに加えて、距離Ｚをも考慮した３次元の速度ベクトルを求める。これで距離Ｚの時間変化も予測できる。たとえば、Ｋ秒後の第２被写体３０６までの距離が予測できるという顕著な効果がある。言うまでもなく、ステップ（Ｓ０４０）、（Ｓ１４０）における第１フォーカスレンズ２０３の駆動も、この予測された距離に基づいて行う。よって、第２被写体３０６への合焦性能をさらに高めることができる。
【００５３】
また、実施の形態１および実施の形態２のステップ（Ｓ０１０）、（Ｓ１１０）において、第２映像信号処理部２０８は、第２被写体３０６の像の位置を出力している。この位置は、第１光学系の撮影領域３０１に対する相対的な位置として出力するのが望ましい。このように構成すると、撮影者が第１光学系１０１の撮影画角を変えた場合にも対応できる。すなわち、第１光学系１０１の第１ズームレンズ２０１を動かして、第１光学系１０１の撮影画角を変える。すると、第１光学系の撮影領域３０１の第２光学系の撮影領域３０２に対する比率も拡大または縮小する。すなわち、ステップ（Ｓ０１０）、（Ｓ１１０）におけるマスク領域の大きさがフレーム毎に変化することになる。この変化を織り込んで、第２被写体３０６の位置を出力するのが望ましい。例えば、第２被写体３０６も撮像装置１００も静止した状態を考える。この状態では、第２光学系の撮影領域３０２における第２被写体３０６の像の位置は固定となる。よって、図４で言えば、ステップ（Ｓ０２０）にて判定結果は常にＮｏとなり、前のステップ（Ｓ０１０）に戻ることになる。ここで、撮影者が第１光学系１０１に変倍動作を指示し、第１光学系１０１をより広角側に変えたとする。すると、第１光学系の撮影領域３０１は広がる。これによりＫ秒後には、静止している第２被写体３０６が、第１光学系の撮影領域３０１に突入することになる。このような場合でも、第２映像信号処理部２０８が、第１光学系の撮影領域３０１に対する相対的な位置として第２被写体３０６の位置を出力すればよい。
【００５４】
また、第２光学系１０２は、ズーム光学系である必要はない。第２光学系１０２は、固定画角の光学系であってもよい。この場合、第２光学系１０２は、第１光学系１０１よりも広角の画角を有する光学系が望ましい。また、第２フォーカスレンズ２０４も必須ではない。すなわち、第２光学系１０２として、パンフォーカス光学系を用いても良い。この場合、第２フォーカス駆動部２１２や第２コントラスト検出部２１０は不要となる。
【００５５】
近年、立体画像の撮影などを目的として、複数セット（例えば、２セット）の撮像光学系および撮像素子を備えた撮像装置が市販されている。本開示における技術を用いれば、この種の撮像装置に、立体画像の撮影以外で、撮影者の利便性を向上させるための機能を搭載することができる。
【００５６】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【００５７】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００５８】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００５９】
本発明は、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に好適である。
【符号の説明】
【００６０】
１００  撮像装置
１０１  第１光学系
１０２  第２光学系
２０１  第１ズームレンズ
２０２  第２ズームレンズ
２０３  第１フォーカスレンズ
２０４  第２フォーカスレンズ
２０５  第１撮像素子
２０６  第２撮像素子
２０７  第１映像信号処理部
２０８  第２映像信号処理部
２０９  第１コントラスト検出部
２１０  第２コントラスト検出部
２１１  第１フォーカス駆動部
２１２  第２フォーカス駆動部
２１３  映像信号記録部
２１４  動き予測部
２１５  距離検出部
３０１  第１光学系の撮影領域
３０２  第２光学系の撮影領域
３０３  第１光学系のＡＦ範囲
３０４  第２光学系のＡＦ範囲
３０５  第１被写体
３０６  第２被写体
３０７  第２被写体の速度ベクトル
５０１  第１被写体の速度ベクトル
【図１】
0006004371.tif 000002
【図２】
0006004371.tif 000003
【図４】
0006004371.tif 000004
【図６】
0006004371.tif 000005
【図３Ａ】
0006004371.tif 000006
【図３Ｂ】
0006004371.tif 000007
【図５Ａ】
0006004371.tif 000008
【図５Ｂ】
0006004371.tif 000009