(57)【要約】【課題】連写撮影時においても、良好なピントの画像を取得することを可能にした撮像装置を提供すること。【解決手段】フォーカスレンズを含む撮影レンズを有する光学系と、撮影レンズの瞳分割手段を有し、被写体を撮像する撮像手段を備え、被写体を連続して撮像して複数フレームの画像データを生成する連写モードを有する撮像装置は、連写モードの各フレームにおいて、被写体を検出して追尾する被写体追尾手段とフォーカスレンズを駆動して光学像の焦点調節を行う焦点調節手段を制御し、焦点調節手段は、被写体追尾手段で検出された被写体の画像データに基づいて検出した焦点状態に従ってフォーカスレンズの駆動位置を決定し、決定した駆動位置を所定量だけずらした駆動位置にフォーカスレンズを駆動し、駆動位置のずらす方向はフレームごとに変更される。【選択図】図７
2014211574.tif 000002
【特許請求の範囲】
【請求項１】
フォーカスレンズを含む撮影レンズを有し、被写体の光学像を形成する光学系と、前記撮影レンズの瞳分割手段を有し、前記光学像を撮像して画像データを生成する撮像手段と、前記画像データに基づいて前記被写体の焦点状態を検出し、前記検出の結果に従って前記フォーカスレンズを駆動して前記被写体の焦点調節を行う焦点調節手段とを備え、前記撮像手段により前記光学像を連続して撮像して複数フレームの画像データを生成する連写モードを有する撮像装置において、
前記画像データに基づいて前記被写体を検出し、検出の結果に従って前記被写体を追尾する被写体追尾手段と、
前記連写モードに従って、前記被写体追尾手段と前記焦点調節手段を制御して、前記連写モードの各フレームにおいて前記被写体追尾手段および前記焦点検出手段を動作させる制御手段を備え、前記動作において、前記焦点調節手段は、前記被写体追尾手段で検出された被写体の画像データに基づいて検出した焦点状態に従って前記フォーカスレンズの駆動位置を決定し、前記決定した駆動位置を所定量だけずらした駆動位置に前記フォーカスレンズを駆動し、前記制御手段は、前記駆動位置をずらす方向を前記フレームごとに変更することを特徴とする撮像装置。
【請求項２】
前記撮像手段は、前記瞳分割手段により形成された被写体を撮像してリフォーカス画像の生成が可能な画像データを生成し、前記制御手段は、前記画像データの可能なリフォーカス量に基づいて前記所定量を決定し、前記所定量だけずらす方向を、前記フォーカスレンズが前記焦点調節手段により駆動される至近方向と無限方向との間でフレームごとに交互に変更することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記被写体追尾手段が追尾する被写体を設定する設定手段をさらに備え、前記被写体追尾手段は、前記設定された被写体に対応する被写体を前記画像データから検出し、前記検出の結果に従って前記追尾する被写体の設定を更新し、前記焦点調節手段は、前記設定が更新された被写体の焦点状態を検出することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記撮像手段が生成する画像データを表示手段に表示するライブビューモードを有し、前記設定手段は、前記追尾する被写体を設定するための設定枠を前記画像データに重ねて前記表示手段に表示することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記焦点調節手段は、前記被写体追尾手段で追尾されている被写体の動きに基づいて、前記焦点状態に従って決定した駆動位置を補正し、前記補正した駆動位置を前記所定量だけずらした駆動位置に前記フォーカスレンズを駆動することを特徴とする請求項１乃至４のいずれか一項に記載の撮像装置。
【請求項６】
前記複数フレームの画像データのうち、前記所定量だけずらす方向が同じフレームの画像データから、前記被写体追尾手段が追尾する被写体とは異なる被写体についてのリフォーカス画像データを生成し、前記生成したリフォーカス画像データを補間して新たなフレームのリフォーカス画像データを生成することを特徴とする請求項１乃至５のいずれか一項に記載の撮像装置。
【請求項７】
フォーカスレンズを含む撮影レンズを有し、被写体の光学像を形成する光学系と、前記撮影レンズの瞳分割手段を有し、前記光学像を撮像して画像データを生成する撮像手段と、前記画像データに基づいて前記被写体の焦点状態を検出し、前記検出の結果に従って前記フォーカスレンズを駆動して前記被写体の焦点調節を行う焦点調節手段とを備え、前記撮像手段により前記光学像を連続して撮像して複数フレームの画像データを生成する連写モードを有する撮像装置の制御方法において、
前記画像データに基づいて前記被写体を検出し、検出の結果に従って前記被写体を追尾する被写体追尾ステップと、
前記連写モードに従って、前記被写体追尾ステップにおける被写体追尾に従って前記焦点調節手段を制御して、前記連写モードの各フレームにおいて、前記被写体追尾ステップを実行して前記焦点検出手段を動作させ、前記動作において、前記焦点調節手段を制御して、前記被写体追尾手段で検出された被写体の画像データに基づいて検出した焦点状態に従って前記フォーカスレンズの駆動位置を決定し、前記決定した駆動位置を所定量だけずらした駆動位置に前記フォーカスレンズを駆動し、前記駆動位置をずらす方向を前記フレームごとに変更する制御ステップを備えることを特徴とする制御方法。
【請求項８】
フォーカスレンズを含む撮影レンズを有し、被写体の光学像を形成する光学系と、前記撮影レンズの瞳分割手段を有し、前記光学像を撮像して画像データを生成する撮像手段と、前記画像データに基づいて前記被写体の焦点状態を検出し、前記検出の結果に従って前記フォーカスレンズを駆動して前記被写体の焦点調節を行う焦点調節手段とを備え、前記撮像手段により前記光学像を連続して撮像して複数フレームの画像データを生成する連写モードを有する撮像装置を制御するプログラムであり、
コンピュータを、
前記画像データに基づいて前記被写体を検出し、検出の結果に従って前記被写体を追尾する被写体追尾手段、
前記連写モードに従って、前記被写体追尾手段と前記焦点調節手段を制御して、前記連写モードの各フレームにおいて前記被写体追尾手段および前記焦点検出手段を動作させ、前記動作において、前記焦点調節手段を制御して、前記被写体追尾手段で検出された被写体の画像データに基づいて検出した焦点状態に従って前記フォーカスレンズの駆動位置を決定し、前記決定した駆動位置を所定量だけずらした駆動位置に前記フォーカスレンズを駆動し、前記駆動位置をずらす方向を前記フレームごとに変更する制御手段として機能させるプログラム。
【請求項９】
請求項８のプログラムを記録したコンピュータが読み取り可能な記憶媒体。
【請求項１０】
コンピュータを、請求項１乃至６のいずれか一項に記載された撮像装置の各手段として機能させるプログラム。
【請求項１１】
コンピュータを、請求項１乃至６のいずれか一項に記載された撮像装置の各手段として機能させるプログラムを格納した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラに代表される撮像装置に関し、特にリフォーカス機能と連写機能を有する撮像装置に関する。
【背景技術】
【０００２】
従来より、デジタルカメラなどにおいて、連写を行えるものがある。連写中においては、オートフォーカス（以下、ＡＦと記す）として、例えば一眼レフカメラなどで採用されている位相差検出方式を行うと、比較的高速にＡＦの演算を行え、各フレームともＡＦ制御を行った画像を撮像できる。しかし、ＡＦセンサーの蓄積動作と撮像素子の露光にはタイムラグがあるため、特に高速で移動する被写体においては、ＡＦセンサーの蓄積した出力をもとにＡＦ制御を行っても、撮像までのタイムラグ中に被写体は移動する。この結果、撮像時にはピントがずれてしまうことが起こりうる。そこで特許文献１では、過去の複数のＡＦ結果から撮像素子露光時のピント位置を予測し、タイムラグを考慮した分だけ補正してフォーカスレンズを動かすという技術が提案されている。
【０００３】
一方、固体撮像素子の前面に、複数画素に対し１つの割合で並ぶマイクロレンズアレイを配置することで、撮像素子に入射する光線の入射方向の情報をも得られるような構成の撮像装置が、非特許文献１などにおいて提案されている。このような撮像装置の用途としては、各画素からの出力信号をもとに通常の撮影画像を生成する以外に、撮影された画像に対して所定の画像処理を施すことで、任意の焦点距離に焦点を合わせた画像を再構築することなども可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−２１７９４号公報
【非特許文献】
【０００５】
【非特許文献１】Ｒｅｎ．Ｎｇ，他７名,「Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ  ｗｉｔｈ  ａ  Ｈａｎｄ−Ｈｅｌｄ  Ｐｌｅｎｏｐｔｉｃ  Ｃａｍｅｒａ」，Ｓｔａｎｆｏｒｄ  Ｔｅｃｈ  Ｒｅｐｏｒｔ  ＣＴＳＲ  ２００５−０２
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された従来技術では、例えばバイクレース場面などの撮影における転倒事故シーンのように、急激な加減速を伴う被写体などは、予測が難しく、正確なＡＦ動作が難しいという問題があった。さらに、着目している被写体に対してＡＦ制御を行うので、例えば、レース場面での１を走っている被写体に着目すると、２以降を走っているその他の被写体にピントの合った画像を撮影することは、基本的にはできなかった。
【０００７】
一方、非特許文献１に記載の技術においても、再構築できる焦点距離は、撮像装置の構成により有限であり、一般に至近〜無限までのあらゆる被写体距離に対してピントの合った画像を再構成できるわけではない。
【０００８】
そこで、本発明の目的は、連写撮影時においても、良好なピントの画像を取得することを可能にした撮像装置を提供することである。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明によれば、フォーカスレンズを含む撮影レンズを有し、被写体の光学像を形成する光学系と、撮影レンズの瞳分割手段を有し、光学像を撮像して画像データを生成する撮像手段と、画像データに基づいて被写体の焦点状態を検出し、検出の結果に従ってフォーカスレンズを駆動して被写体の焦点調節を行う焦点調節手段とを備え、撮像手段により光学像を連続して撮像して複数フレームの画像データを生成する連写モードを有する撮像装置は、画像データに基づいて被写体を検出し、検出の結果に従って被写体を追尾する被写体追尾手段と、連写モードに従って、被写体追尾手段と焦点調節手段を制御して、連写モードの各フレームにおいて被写体追尾手段および焦点検出手段を動作させる制御手段を備え、該動作において、焦点調節手段は、被写体追尾手段で検出された被写体の画像データに基づいて検出した焦点状態に従ってフォーカスレンズの駆動位置を決定し、決定した駆動位置を所定量だけずらした駆動位置にフォーカスレンズを駆動し、制御手段は、駆動位置をずらす方向をフレームごとに変更する。
【発明の効果】
【００１０】
本発明によれば、連写撮影時においても、良好なピントの画像を取得することを可能にした撮像装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例に係る撮像装置の全体ブロック図である。
【図２】本発明の実施例に係る撮像装置における撮像素子とマイクロレンズアレイの構成を示す図である。
【図３】本発明の実施例に係る撮像装置における撮影レンズ、マイクロレンズアレイと撮像素子の構成を示す図である。
【図４】本発明の実施例に係る撮像装置における撮影レンズの瞳領域と受光画素の対応関係を示す図である。
【図５】本発明の実施例に係る撮像装置におけるＡＦおよび被写体追尾での相関演算に使用する信号の生成を説明するための図である。
【図６】リフォーカス画像の生成を説明するための図である。
【図７】本発明の実施例に係る撮像装置の動作のフローチャートを示す図である。
【図８】本発明を実施しない連写時のフォーカスレンズの位置とリフォーカス範囲を示す図である。
【図９】本発明の実施例に係る撮像装置の最大リフォーカス量を説明するための図である。
【図１０】本発明の実施例に係るフォーカスレンズの位置とリフォーカス範囲を説明するための図である。
【図１１】本発明の実施例に係る被写体追尾の演算を説明するための図である。
【図１２】本発明の実施例の効果を説明するための図である。
【図１３】本発明の実施例の適用可能な別の光学系の例について説明する図である。
【発明を実施するための形態】
【００１２】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図２は、本発明の実施形態に係るカメラのブロック図である。
【００１３】
同図において、１０１は撮影レンズであり、不図示ではあるが、複数枚のレンズから構成される光学系であり、被写体の光学像を形成する。この複数枚のレンズの中に、可動なフォーカスレンズを含み、フォーカスレンズを動かすことにより、被写体のピントの調節が能となっている。１０２はマイクロレンズアレイ（以下、ＭＬＡと記す）であり、複数のマイクロレンズから構成され、撮影レンズ１０１の焦点位置近傍に配置される。撮影レンズ１０１の異なる瞳領域を通過した光は、ＭＬＡ  １０２に入射し、瞳領域毎に分離して出射される（瞳分割手段）。１０３は被写体の光学像を撮像する撮像素子であり、ＣＣＤやＣＭＯＳイメージセンサーなどで構成され、ＭＬＡ  １０２の焦点位置近傍に配置される。ＭＬＡ  １０２と撮像素子１０３の詳細については後述する。１０４はＡＤコンバーターであり、撮像素子１０３から出力される画像信号をＡＤ変換してデジタルデータにし、１０５の画像処理部で、そのデジタルデータに所定の画像処理などを施し、被写体のデジタル画像データを得る。１０６は撮影制御部であり、画像処理部１０５で得られたデジタル画像データを、液晶ディスプレイなどで構成される表示部１０７へ表示し、また記録部１０８への保存などの制御を行う。さらに被写体追尾部１０９は、被写体制御部１０６からデジタル画像データを受け取り、画像内に存在する特定の被写体の画面内の位置を探索する。被写体追尾部の動作の詳細に関しては、後述する。なお、撮影制御部１０６は、そのＣＰＵが図示しないメモリに記憶されているプログラムをロードして実行することによりで各部の制御を行う。この場合、各部の機能の全部又は一部をＣＰＵが行ってもよいし、ハードウェアで構成してもよい。
【００１４】
操作部１１０は、ボタンやタッチパネルなどといった、ユーザーからの操作を受け付ける部分であり、受け付けた操作に応じて、ピント合わせ動作の開始や、記録部１０８に保存されたデジタル画像データの消去など、各種の動作を行う。また、撮影レンズ１０１は撮影制御部１０６と電気的、機械的に接続され、撮影レンズの情報を通信により取得できるほか、ピント合わせの際はフォーカスレンズの駆動命令などを送ることができる。
【００１５】
次に、本実施例に係る撮像装置における、撮影レンズ１０１とＭＬＡ  １０２、撮像素子１０３の構成を説明する。
【００１６】
図２は、撮像素子１０３とＭＬＡ  １０２の構成を説明する図である。同図は撮像素子１０３およびＭＬＡ  １０２を、撮影レンズからの光軸であるz軸の方向から見た図である。撮像画像の仮想的な画素２００を構成する複数の単位画素２０１に対して１つのマイクロレンズ２０２が対応するように配置されている。マイクロレンズ２０２は、ＭＬＡ  １０２を構成するものの中の一つである。本実施例では、１つのマイクロレンズに対応する単位画素２０１が６行６列の計３６個あるものとして記載した。なお、同図に付記している座標軸は、光軸をz軸で示しており、ｚ軸に対して垂直な面を撮像面と平行な面として、撮像面内においてｘ軸（水平方向）、ｙ軸（垂直方向）を定義している。なお、図２は撮像素子１０３の受光面の一部を示し、実際の撮像素子には非常に多くの画素が配列されている。
【００１７】
図３は、撮影レンズ１０１から出射された光束が１つのマイクロレンズ２０２を通過して撮像素子１０３で受光される様子を、光軸（ｚ軸）に対して垂直方向から見た図である。撮影レンズ１０１の各瞳領域ａ１〜ａ６から出射され、マイクロレンズ２０２を通過した光は、後方に配置された撮像素子１０３の対応する単位画素p1〜p6でそれぞれ結像する。
【００１８】
図４（ａ）は撮影レンズ２０１の開口を光軸z(軸)方向から見た図である。図４（ｂ）は１つのマイクロレンズ２０２とその後方に配置された画素２０１を光軸（ｚ軸）方向から見た図である。図４（ａ）に示すように撮影レンズ１０１の瞳領域を１つのマイクロレンズ下にある画素と同数の領域に分割した場合、１つの画素には撮影レンズ１０１の１つの瞳分割領域からの光が結像されることになる。ただし、ここでは撮影レンズとマイクロレンズのＦナンバーがほぼ一致しているものとする。図４（ａ）に示す撮影レンズの瞳分割領域をａ１１〜ａ６６、図４（ｂ）に示す画素をｐ１１〜ｐ６６としたとき、両者の対応関係は光軸（ｚ軸）方向から見て点対称となる。したがって、撮影レンズの瞳分割領域ａ１１から出射した光はマイクロレンズ後方にある画素２０１のうち、画素ｐ１１に結像する。これと同様に、瞳分割領域ａ１１から出射し、別のマイクロレンズを通過する光も、そのマイクロレンズ後方にある画素２０１の中の画素ｐ１１に結像する。
【００１９】
このように図４（ｂ）に示すｐ１１〜ｐ６６の画素は、撮影レンズに対して互いに異なる瞳領域を通過した光を受光しているため、これらの情報を用いると、被写体の光学像の焦点状態を検出して焦点調節を行うこともできる。図５（ａ）に示すように、各マイクロレンズに対応する画素出力ｐ１１〜ｐ６６を加算し、次式に示すように水平方向に瞳分割された２つの信号を生成する。
【数１】
2014211574.tif 000003
【数２】
2014211574.tif 000004
【００２０】
式（１）で計算される合成信号Ａが観測している撮影レンズの瞳領域は、図３に示す撮影レンズの射出瞳の領域ａ１〜ａ３であり、式（１）で加算される画素は、それらを通過した光束を受光している。図５（ｂ）に示すように、水平方向に連続して配置されたｎ個のマイクロレンズに対応する画素群から得られたＡ１〜Ａｎを並べて一次元像信号Ａｉ（ｉ＝１，２，３，．．，ｎ）を生成する。同様に式（２）で計算される合成信号Ｂを並べて一次元像信号Ｂｉ（ｉ＝１，２，３，．．．，ｎ）を生成すると、ＡｉとＢｉは、それぞれ撮影レンズの射出瞳の右側と左側を見ている信号となる。従って、ＡｉとＢｉの相対位置（焦点状態）を検出し、その相対的なずれ量に対して所定の変換係数を乗じることで、位相差検出方式に基づく焦点検出動作を行うことができる。画面内の任意の位置でＡｉとＢｉを生成すれば、その位置での焦点位置（フォーカスレンズの駆動位置）を算出することができるため、算出結果に合わせてフォーカスレンズを駆動することで自動焦点調節を行うことができる。
【００２１】
次に、撮影レンズ１０１、ＭＬＡ  １０２、撮像素子１０３からなる撮像光学系を使用して取得したデジタル画像データを、任意に設定した焦点位置（リフォーカス面）での画像に再構成する処理を説明する。再構成は、画像処理部１０５において、「Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ」と呼ばれる手法を用いて行う。
【００２２】
図６は、任意に設定したリフォーカス面上のある画素を通過する光束が、撮影レンズのどの瞳分割領域から出射され、どのマイクロレンズへ入射するかを光軸（ｚ軸）の垂直方向から見た図である。図のように、撮影レンズの瞳分割領域の位置の座標を（ｕ，ｖ）、リフォーカス面上の画素位置の座標を（ｘ，ｙ）、マイクロレンズアレイ上のマイクロレンズの位置の座標を‘（ｘ‘，ｙ’）とする。また、撮影レンズからマイクロレンズアレイまでの距離をＦ、撮影レンズからリフォーカス面までの距離をαＦとする。ここで、αはリフォーカス面の位置を決定するためのリフォーカス係数であり、ユーザーが任意に設定できる。なお、図６ではｕ、ｘ、ｘ’の方向のみを示し、ｖ、ｙ、ｙ’については省略してある。
【００２３】
図６に示すように、座標（ｕ，ｖ）と座標（ｘ，ｙ）を通過した光束６００は、マイクロレンズアレイ上の座標（‘ｘ’，ｙ’）に到達する。この座標（‘ｘ’，ｙ’）は式（３）のように表すことができる。
【数３】
2014211574.tif 000005
【００２４】
そして、この光束６００が受光される画素の出力を‘Ｌ（ｘ‘，ｙ’，ｕ，ｖ）とすると、リフォーカス面上の座標（ｘ，ｙ）で得られる出力Ｅ（ｘ，ｙ）は、‘Ｌ（ｘ‘，ｙ’，ｕ，ｖ）を撮影レンズの瞳領域に関して積分したものとなるため、式（４）のようになる。
【数４】
2014211574.tif 000006
【００２５】
式（４）において、リフォーカス係数αはユーザーによって決定されるため、（ｘ，ｙ）、（ｕ，ｖ）を与えれば、光束６００の入射するマイクロレンズの位置‘（ｘ‘，ｙ’）がわかる。そして、そのマイクロレンズに対応する複数画素から（ｕ，ｖ）の位置に対応する画素がわかり、この画素の出力が‘Ｌ（ｘ‘，ｙ’，ｕ，ｖ）となる。これをすべての瞳分割領域について行い、求めた画素出力を合計（積分）することでＥ（ｘ，ｙ）が算出できる。
【００２６】
なお、（ｕ，ｖ）を撮影レンズの瞳分割領域の代表座標とすれば、式（４）の積分は、単純加算により計算することができる。
【００２７】
以上のようにして、式（４）の演算処理を行うことで、任意の焦点位置（リフォーカス面）における画像を再構成することができる。
【００２８】
次に図７のフローチャートを用いて、本実施例に係わる撮像装置の連写動作（連写モード）を説明する。なお、ここでは前提として、撮像素子１０３で取得した被写体の画像信号を再構成し、リアルタイムに表示部１０７へ表示する、ライブビューモードでの動作とする。
【００２９】
Ｓ７０１、７０２では、連写モードにおいてＳ１がＯＮになるのを待つ。Ｓ１とは、操作部１１０に含まれる不図示のスイッチであり、ONされることにより測光やオートフォーカスなどの撮影前の準備動作が開始される。実際には半押し状態と全押し状態の二段階を検出する、二段押し込み式の押しボタンスイッチであり、半押しされた状態をＳ１がＯＮした状態、全押しされた状態をＳ２がＯＮした状態と記すことにする。Ｓ１がＯＮで撮影準備動作を行うのに対し、Ｓ２がＯＮでは実際の撮影（露光）動作が行われるのが一般的であり、本実施例においても、そのように動作する。
【００３０】
Ｓ７０３では、フォーカスレンズを駆動した回数をカウントするカウンターNの初期化を行い、Ｎ＝０と設定する。これにより、連写動作において撮像される連続した複数フレームのそれぞれを識別することができる。
【００３１】
本実施例では、連写時に、検出した焦点位置よりも±ΔＤｅｆだけずらした位置にフォーカスレンズを駆動して撮影を行う。ここで、±の符号はフォーカスレンズの駆動位置をずらす方向を表わし、本実施例ではプラスがレンズの駆動方向の無限方向、マイナスが至近方向に対応させている。Ｓ７０４はΔＤｅｆの量を計算するステップである。ここでΔＤｅｆに関して図８を用いて説明する。
【００３２】
図８は、撮影者側に向かってくる所定の被写体（ここではバイクの例）を、連続的に焦点検出して撮影した場合の焦点位置の変化を示す図である。横軸をフォーカスレンズの位置、縦軸を経過時間、各矢印の幅をリフォーカス範囲とし、破線のように近づいてくる被写体を理想的に測距しながら撮影できたと仮定する。この場合、各撮影画像はバイクに対して合焦した画像を再構成でき、また何らかの理由により合焦精度が悪かった場合も、リフォーカス範囲の中であればピント位置を調整可能である。リフォーカス可能な範囲は、角度分解能Δθ、角度分割数Ｎθ、画素ピッチΔｘを図９に示すように定義すると、最大リフォーカス量ｄｍａｘは、次の式（５）で計算される。
【数５】
2014211574.tif 000007
【００３３】
このようにリフォーカス範囲は、撮像装置の構成にもよるが、一般に有限であり、図８のような場合であっても、フォーカスレンズの駆動範囲の至近〜無限の全域がリフォーカス範囲に入るような構成は難しい。そのため、例えば着目している被写体であるバイクの後方を走る、別のバイクのような第二の被写体に合焦した画像を再構成したい場合でも、リフォーカス範囲が限られているために、再構成画像を得られない可能性がある。
【００３４】
そこで本実施例では、本来の焦点検出位置Ｄｅｆに対して、±ΔＤｅｆ（所定量）だけずらした焦点位置の画像を交互に取得することで、疑似的にリフォーカス範囲を拡大する。具体的には、１フレームおきに、所定の被写体がリフォーカス範囲の至近側の端の方と無限側の端の方とに交互に来るようにデフォーカス量を制御する。この例を図１０に示す。図１０の例では、奇数枚目のフレームは、着目している被写体のピント位置を基準に、至近側にリフォーカス範囲を多く割り振り、逆に偶数枚目のフレームは無限側にリフォーカス範囲を多く割り振ることで、リフォーカス範囲を疑似的に広げることができる。その際、至近側、無限側にリフォーカス範囲を広げたフレームは、それぞれ元の撮影画像の半分の連写スピードになってしまうが、着目している被写体に関しては、全てのフレームでリフォーカス範囲内に収めることができる。また、本実施例では、交互にデフォーカス量を制御しているが、これに限らず、所定フレームごとにデフォーカス量を切り換えてもいいし、カバーする被写体の多いリフォーカス範囲の画像ｎフレームの後に１フレームだけデフォーカス量を振るなどしてもよい。
【００３５】
以上より、例えば
【数６】
2014211574.tif 000008
と設定すれば、着目している被写体のピント位置を中心に考えた場合、リフォーカス範囲を図８に示す通常の場合に対して１．８倍に拡大することができる。これにより、図８の場合と比べて、より広い範囲にある被写体にリフォーカスしたリフォーカス画像を得ることが可能となる。
【００３６】
ΔＤｅｆが定まったら、Ｓ７０５に進む。Ｓ７０５〜Ｓ７０９は、着目している被写体を追尾するにあたって、最初に追尾対象をテンプレートとして保持する動作である。ここで、被写体の追尾に関して図１１を用いて説明する。
【００３７】
追尾演算は、カメラ本体内に記憶されている追尾用のテンプレート画像（追尾対象の画像信号）と、テンプレート画像取得から所定時間経過した後の画像信号を用い、両画像の２次元相関演算を用いて行う。ここでは両画像ともＲ、Ｇ、Ｂの色情報を持つ画像信号だとする。まず始めに、両画像を輝度情報Ｙへ変換する。追尾用のテンプレート画像は水平ｍ×垂直ｎ画素、テンプレート取得から所定時間経過した後の画像信号（テンプレート検索対象画像）は水平Ｍ×垂直Ｎ画素の大きさを持つとする。追尾演算は、両画像の相対的な位置をずらしながら、各位置にて両画像のＹの差分の絶対値の和である相関量Ｓを算出する。追尾用テンプレート画像と、テンプレート検索対象画像が仮に完全に一致した位置にあるとすれば、相関量Ｓは０となる。よって、追尾演算は両画像の相対的な位置をずらしながら、各位置において相関量Ｓの値を算出し、相関量Ｓが最小となる位置を探す演算となる。テンプレート検索対象画像をＡｉ，ｊ（０≦ｉ≦（Ｍ−１）,０≦ｊ≦（Ｎ−１））、追尾用テンプレート画像をＢｘ，ｙ（０≦ｘ≦（ｍ−１）,０≦ｙ≦（ｎ−１））とそれぞれ表現すると、両画像がある相対位置I（ｉ，ｊ）にあるときの相関量Ｓは
【数７】
2014211574.tif 000009
で表されるので、I相対位置（ｉ，ｊ）を変更して検索対象画像Ａｉ，ｊ内をスキャンしながら、相関量Ｓが最小となる位置I（ｉ，ｊ）が、追尾対象が存在する位置だと考えられる。図１１の例では、I（ｉ，ｊ）＝（ａ，ｂ）の位置（破線で示された位置）で、相関量Sが最小になる。更に追尾演算を終えたら、追尾用テンプレート画像を、今回の演算で最も相関が出た位置の画像に更新する。このように追尾用テンプレート画像を随時更新することによって、追尾対象の向き等が変わることによる追尾演算への影響を軽減することができる。
【００３８】
ここで、本実施例においては、設定する追尾テンプレート画像をユーザーが決定できるように、ユーザーにより画面内の任意の場所に移動可能な設定枠を、表示部１０７に表示された被写体のリアルタイムな画像信号にオーバーレイして表示する。ユーザーは、追尾を開始したい位置に設定枠を移動し、設定枠が着目している被写体が重なったタイミングで、Ｓ１をＯＮする。すなわち、Ｓ７０２でＳ１がＯＮした時点の設定枠内の画像信号を、基本的にはテンプレートと設定する。ただし、焦点が合っていない状態の画像信号をテンプレートとしてしまわないため、テンプレート保存処理は、合焦動作の後で行う。
【００３９】
そのため、Ｓ７０５にてデフォーカス量Ｄｅｆを算出する。これは、設定枠内の画像信号から、前述の図５に示したような一次元像信号Ａｉ、Ｂｉを生成し、次いで、これらの位相差を求め、それに基づいてデフォーカス量Ｄｅｆを算出する。Ｄｅｆ算出後は、予め算出してあるΔＤｅｆの分だけ、Ｄｅｆの値をシフトさせる。なお、ここではＮが偶数の時、プラス側にΔＤｅｆだけシフトし、
Ｄｅｆ’＝Ｄｅｆ＋ΔＤｅｆ        （８）
奇数の時はマイナス側にΔＤｅｆだけシフトし、
Ｄｅｆ’＝Ｄｅｆ−ΔＤｅｆ        （９）
とするとしたが、逆でもよい。Ｓ７０６はＮ＝０であるため、プラス側にシフトしたＤｅｆ’を算出し、Ｓ７０７でＤｅｆ’に応じてフォーカスレンズを駆動するとともに、Ｓ７０８でレンズの駆動回数Ｎをカウントアップする。このとき、ターゲット枠内の着目している被写体は、リフォーカス係数α＝１のまま再構成すると+ΔＤｅｆだけデフォーカスしているので、この分だけリフォーカスした再構成画像を生成し、設定枠内の画像を初期テンプレートとして保存するのがＳ７０９である。
【００４０】
Ｓ７１０は、Ｓ２がＯＮであるかを判定するステップである。Ｓ２がＯＮである場合は、Ｓ７１１で露光処理を行い、次の画像を撮影する準備を行うためＳ７１２へ進む。一方、Ｓ２がＯＮでない場合は、Ｓ７２０でＳ１の状態を確認する。Ｓ１もＯＦＦであればＳ７２１にて動作が終了するが、Ｓ１がＯＮであれば、被写体の追尾を行うため、Ｓ７１２へ進む。
【００４１】
Ｓ７１２からは、レンズの駆動回数が１回目以降の処理である。まずＳ７１２では、Ｓ７０９で設定された追尾対象のテンプレートと、この時点での撮像素子１０３の出力をΔＤｅｆだけリフォーカスして再構成したリフォーカス画像の画像信号とで２次元相関演算を行い、画面内での被写体の位置を特定する追尾演算を行う。本実施例では、レンズ駆動回数が１回目以降の処理では、α＝１で得られる再構成画像は、±ΔＤｅｆだけデフォーカスした画像となる。そのため、追尾演算でテンプレート画像と相関をとる画像信号に関しては、デフォーカスしたΔＤｅｆの分を打ち消すようにリフォーカスした再構成画像を用いる。追尾演算の詳細に関しては、式（７）に示した相関量Ｓを用いて算出することを既に述べた。追尾演算により、着目している被写体の新たな画面内での位置を特定したら、Ｓ７１３でそのエリアの画像を新たなテンプレートとし、テンプレートの設定の更新を行う。
【００４２】
テンプレートの設定の更新を行った後は、Ｓ７１４で追尾した画面内の位置のデフォーカス量Ｄｅｆを求める。その際、Ｓ７０５と同様にＤｅｆを求めるが、追尾されている被写体が動いている場合は、Ｄｅｆ演算時と、その後の露光時との間にレリーズタイムラグが存在するため、この期間中に被写体が動く量を予測して、Ｄｅｆを補正する。すなわち、Ｓ７１４ではＳ７０５と同様にデフォーカス量を算出し、さらに過去のＤｅｆの結果より、着目している被写体の移動速度などを算出することによって、レリーズ時にα＝１での再構成画像が最適なピント位置になるよう、予測を含めたＤｅｆを演算する。予測に関しては特許文献１などで公知のため、ここでは詳細を省略する。Ｓ７１４でＤｅｆを求めたら、Ｓ７１５へ進む。
【００４３】
Ｓ７１５では、レンズの駆動回数Ｎの偶奇判定を行い、奇数の場合はＳ７１６で
Ｄｅｆ’＝Ｄｅｆ−ΔＤｅｆ      （８）
とし、偶数の場合はＳ７１７で
Ｄｅｆ’＝Ｄｅｆ＋ΔＤｅｆ      （９）
とするステップである。これで得られたＤｅｆ‘に応じてＳ７１８でフォーカスレンズを駆動したのち、Ｓ７１９でＮをカウントアップしてＳ７１０へ進む。
【００４４】
このように連写時にリフォーカス範囲を１枚おきに無限側、至近側にシフトさせると、例えば図１２に示したようなバイクのレースシーンなどにおいて、次のような効果がある。図１２で着目している被写体である白いバイクは全てのフレームでリフォーカス範囲に収められ、かつその後方を走るグレーのバイク（追尾対象とは異なる被写体）も、２フレームにつき１フレームはリフォーカス範囲に収めることができる。その際、グレーのバイクに合焦した画像は枚数が減っているため、図１２のＡ,Ｂの２枚の画像（共にリフォーカス処理を行い、グレーのバイクに合焦するよう再構成したリフォーカス画像データ）からフレーム補間技術を行い、後処理で新規画像を生成してもよい。フレーム補間技術は、時間的に連続した２つの画像の差分から、動きの情報を算出して、動きの方向や大きさに合わせて中間の画像を作るものであるが、公知の技術であるため、ここでは説明を省略する。
【００４５】
以上の説明した本発明の実施例によれば、全ての撮影フレームについて主被写体にリフォーカスできる画像を確保し、かつ他の被写体にもリフォーカスが可能となる広いリフォーカス範囲を確保できる連写動作を行える撮像装置の提供が可能となる。
【００４６】
図１３を用いて本実施例に適用可能な別の光学系の例について説明する。図１３は物体（被写体）からの光線が撮像素子１０３上に結像する状態を模式的に示した図である。同図において、図１及び図３と同じ部分は同じ符号を付して示す。
図１３(ａ)乃至（ｃ）は、図３で説明した撮影光学系と対応している。ただし、撮像素子１０３において、マイクロレンズアレイ１０２内の１つのマイクロレンズに割り当てられる画素数は５×５の２５個となっており、撮影レンズ１０１の射出瞳は垂直方向に５つの瞳領域（ｂ１、ｂ２、ｂ３、ｂ４、ｂ５）で表現している。図１３（ａ）は、撮影光学系の結像面近傍にマイクロレンズアレイ１０２を配置した例である。図１３（ｂ）は、撮影光学系の結像面よりも物体寄りにマイクロレンズアレイ１０２を配置した例である。図１３（ｃ）は、撮影光学系の結像面よりも物体から遠い側にマイクロレンズアレイ１０２を配置した例である。
【００４７】
図１３において、１０３は撮像素子を、１０２はマイクロレンズアレイを、ｂ１、ｂ２、ｂ３、ｂ４、ｂ５は瞳領域を、１３０１は物体平面を、１３０１ａ，１３０１ｂは物体上の適当な点を、１３０２は撮影光学系の瞳平面を示す。また、１３２１ｅ、１３２１ｆ、１３２１ｇ，１３２１ｈ，１３２１ｉ，１３２１ｊ，１３２１ｋ，１３２１ｌ，１３２１ｍはマイクロレンズアレイ１０２上の特定のマイクロレンズをそれぞれ示している。図１３（ｂ）および（ｃ）に示した１０３ａは仮想的な撮像素子を、１０２ａは仮想的なＭＬＡを示している。これらは、図１３（ａ）との対応関係を明確にするために参考に示した。また、物体上の点１３０１ａから出て瞳平面上の領域ｂ１およびｂ３を通過する光束を実線で、物体上の点１３０１ｂから出て瞳平面上の領域ｂ１およびｂ３を通過する光束を破線で図示した。
【００４８】
図１３（ａ）の例では、撮影光学系の結像面近傍にマイクロレンズアレイ１０２を配置することで、撮像素子１０３と撮影光学系の瞳平面１３０２が共役の関係にある。さらに、物体平面１３０１とマイクロレンズアレイ１０２が共役の関係にある。このため物体上の点１３０１ａから出た光束はマイクロレンズ１３２１ｅに、１３０１ｂを出た光束はマイクロレンズ１３２１ｆに到達し、領域ｂ１からｂ５それぞれを通過した光束はマイクロレンズ下に設けられたそれぞれ対応する画素に到達する。
【００４９】
図１３（ｂ）の例では、マイクロレンズアレイ１０２で撮影光学系からの光束を結像させ、その結像面に撮像素子１０３を設ける。このように配置することで、物体平面１３０１と撮像素子１０３は共役の関係にある。物体上の点１３０１ａから出で瞳平面上の領域ｂ１を通過した光束はマイクロレンズ１３２１ｇに到達し、物体上の点１３０１ａから出で瞳平面上の領域ｂ３を通過した光束はマイクロレンズ１３２１ｈに到達する。物体上の点１３０１ｂから出で瞳平面上の領域ｂ１を通過した光束はマイクロレンズ１３２１ｈに到達し、物体上の点１３０１ｂから出で瞳平面上の領域ｂ３を通過した光束はマイクロレンズ１３２１ｉに到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。このように物体上の点と、瞳平面上の通過領域によって、異なる位置にそれぞれ結像する。これらを、仮想的な撮像面１０３ａ上の位置に並べなおせば、図１３（ａ）と同様の情報（再構成画像)）を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができる。
【００５０】
図１３（ｃ）の例では、マイクロレンズアレイ１０２で撮影光学系からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる）、その結像面に撮像素子１０３を設ける。このように配置することで、物体平面１３０１と撮像素子１０３は共役の関係にある。物体上の点１３０１ａから出で瞳平面上の領域ｂ１を通過した光束はマイクロレンズ１３２１ｌに到達し、物体上の点１３０１ａから出で瞳平面上の領域ｂ３を通過した光束はマイクロレンズ１３２１ｊに到達する。物体上の点１３０１ｂから出で瞳平面上の領域ｂ１を通過した光束はマイクロレンズ１３２１ｍに到達し、物体上の点１３０１ｂから出で瞳平面上の領域ｂ３を通過した光束はマイクロレンズ１３２１ｌに到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。図１３（ｂ）と同様に、仮想的な撮像面１０３ａ上の位置に並べなおせば、図１３（ａ）と同様の情報を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができる。
なお、図１３ではＭＬＡ（位相変調素子）を瞳分割手段として用いて、位置情報と角度情報を取得可能な例を示したが、位置情報と角度情報（瞳の通過領域を制限することと等価）を取得可能なものであれば他の光学構成も利用可能である。例えば、適当なパターンを施したマスク（ゲイン変調素子）を撮影光学系の光路中に挿入する方法も利用できる。
【００５１】
上述した実施形態において図７に示した各処理は、各処理の機能を実現する為のプログラムをメモリから読み出して撮影制御部１０６のＣＰＵが実行することによりその機能を実現させるものである。
【００５２】
尚、上述した構成に限定されるものではなく、図７に示した各処理の全部または一部の機能を、専用のハードウェアにより実現してもよい。また、上述したメモリは、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記憶媒体、ＲＡＭ以外の揮発性のメモリであってもよい。また、それらの組合せによるコンピュータ読み取り、書き込み可能な記憶媒体より構成されてもよい。
【００５３】
また、図７に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記憶媒体に記録して、この記憶媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含む。
【００５４】
また、「コンピュータ読み取り可能な記憶媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記憶媒体」とは、一定時間プログラムを保持しているものも含むものとする。例えば、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）も含む。
【００５５】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【００５６】
また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００５７】
また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。
【００５８】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【図１】
2014211574.tif 000010
【図２】
2014211574.tif 000011
【図３】
2014211574.tif 000012
【図４】
2014211574.tif 000013
【図５】
2014211574.tif 000014
【図６】
2014211574.tif 000015
【図７】
2014211574.tif 000016
【図８】
2014211574.tif 000017
【図９】
2014211574.tif 000018
【図１０】
2014211574.tif 000019
【図１１】
2014211574.tif 000020
【図１２】
2014211574.tif 000021
【図１３】
2014211574.tif 000022