(57)【要約】【課題】レンズの駆動に基づいて得られる焦点面の画像は必ずしも表示や記録に適した画像ではなかった。【解決手段】フォーカスレンズを含む撮像光学系で形成された被写体の光学像を撮像手段で撮像して得られた、リフォーカス処理が可能な撮像データを処理する画像処理装置は、撮像光学系の光学情報に基づいて、取得した撮像データの表示画像の焦点面の位置を決定する焦点面決定手段と、決定された位置の焦点面におけるリフォーカス画像の画像データを、撮像データから生成するリフォーカス処理手段とを備える。【選択図】図１
2015175982.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像データを、フォーカスレンズを含む撮像光学系で形成された被写体像を撮像手段により光電変換することで取得する際の被写体と前記撮像光学系との位置関係に関する光学情報を取得する光学情報取得手段と、
前記取得された光学情報に基づいて、前記取得された撮像データに対応する画像の焦点面の位置を決定する焦点面決定手段と、
前記決定された焦点面の位置のリフォーカス画像の画像データを前記撮像データに基づいて生成するリフォーカス処理手段とを備え、
前記焦点面決定手段は、前記撮像手段により取得された複数の撮像データにおける焦点面の位置の変化に基づいて、前記リフォーカス処理手段により変更される焦点面の位置を決定することを特徴とする画像処理装置。
【請求項２】
前記生成されたリフォーカス画像を、表示手段に表示するように制御する表示制御手段とをさらに備え、
前記焦点面決定手段は、前記取得された光学情報に基づいて、前記取得された撮像データの表示画像の焦点面の位置を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記焦点面決定手段は、前記取得した光学情報から得られる前記フォーカスレンズの位置に対応した焦点面の位置の変化率よりも低い変化率を持つように、前記焦点面の位置を決定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記焦点面決定手段は、前記取得した光学情報から得られる前記フォーカスレンズの位置に対応する焦点面の移動平均に基づいて、前記焦点面の位置を決定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記焦点面決定手段は、前記取得した光学情報から得られる前記フォーカスレンズの位置に対応する焦点面の位置の加算平均又は平均二乗和に基づいて、前記焦点面の位置を決定することを特徴とした請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項６】
前記焦点面決定手段は、前記取得した光学情報から得られる前記フォーカスレンズの位置に対応する焦点面の位置と予め決められた閾値に基づいて、前記焦点面の位置を決定することを特徴とした請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項７】
前記焦点面決定手段は、前記光学情報に基づいて前記リフォーカス処理におけるリフォーカス可能な範囲を決定し、前記決定されたリフォーカス可能な範囲に基づいて、前記決定される焦点面の位置を制限することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
【請求項８】
前記焦点面決定手段は、前記決定された焦点面の位置が前記リフォーカス可能な範囲にない場合は、前記決定された焦点面の位置を前記リフォーカス可能な範囲の限界の位置とすることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記取得された撮像データの記録データを生成する記録手段を備え、
前記記録手段は、前記リフォーカス処理手段により生成されたリフォーカス画像の画像データに基づいて前記記録データを生成することを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記取得された撮像データに基づいて、前記フォーカスレンズの駆動量を決定する焦点検出手段をさらに備え、
前記焦点検出手段は、前記取得された撮像データから瞳分割像を生成し、前記生成された瞳分割像の相関に基づいて前記駆動量を決定することを特徴とする請求項１乃至９のいずれか一項に記載の画像処理装置。
【請求項１１】
静止画撮影の指示に応じて前記焦点面決定手段を制御する制御手段をさらに備え、
前記制御手段は前記焦点面決定手段を制御して、前記静止画撮影の指示がある場合は、前記取得した光学情報に基づいて、前記取得した撮像データの表示画像の焦点面の位置を可変に決定し、前記静止画撮影の指示がない場合は、前記表示画像の焦点面の位置を可変に決定しないことを特徴とする請求項１乃至１０のいずれか一項に記載の画像処理装置。
【請求項１２】
前記制御手段は、静止画撮影の指示があった場合は、前記決定された駆動量を所定の閾値に従って制限することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
複数の撮像データを、フォーカスレンズを含む撮像光学系で形成された被写体像を撮像手段により光電変換することで取得する際の被写体と前記撮像光学系の位置関係に関する光学情報を取得する光学情報取得手段と、
前記撮像データを画像処理して、被写体像に対する焦点面の位置を変更したリフォーカス画像を生成するリフォーカス処理手段と、
前記取得された光学情報に基づいて、前記リフォーカス処理手段により変更する焦点面の位置を決定する決定手段とを備え、
前記決定手段は、前記撮像手段により取得された複数の撮像データに対応する焦点面の位置の変化に基づいて、前記リフォーカス処理手段により変更される焦点面の位置を決定することを特徴とする画像処理装置。
【請求項１４】
フォーカスレンズを含む撮像光学系で形成された被写体像を撮像手段で光電変換して得られた撮像データを処理する画像処理装置の制御方法であって、
前記撮像データを取得する際の被写体と前記撮像光学系の位置関係に関する光学情報を取得する光学情報取得ステップと、
前記取得された光学情報に基づいて、前記取得された撮像データの画像の焦点面の位置を決定する焦点面決定ステップと、
前記決定された焦点面の位置のリフォーカス画像の画像データを、前記撮像データに基づいて生成するリフォーカス処理ステップと、
を備え、
前記焦点面決定ステップでは、前記撮像手段により取得された複数の撮像データにおける焦点面の位置の変化に基づいて、前記リフォーカス処理ステップにより変更される焦点面の位置を決定することを特徴とする制御方法。
【請求項１５】
フォーカスレンズを含む撮像光学系で形成された被写体像を撮像手段で光電変換して得られた撮像データを処理する画像処理装置の制御方法であって、
前記撮像データを取得する際の被写体と前記撮像光学系の位置関係に関する光学情報を取得する光学情報取得ステップと、
前記撮像データをリフォーカス処理して、被写体像に対する焦点面の位置を変更したリフォーカス画像を生成するリフォーカス処理ステップと、
前記取得された光学情報に基づいて、前記リフォーカス処理ステップにより変更する焦点面の位置を決定する決定ステップと、
を備え、
前記決定ステップでは、前記撮像手段により取得された複数の撮像データに対応する焦点面の位置の変化に基づいて、前記リフォーカス処理ステップにより変更される焦点面の位置を決定することを特徴とする制御方法。
【請求項１６】
フォーカスレンズを含む撮像光学系で形成された被写体像を撮像手段で光電変換して得られた撮像データを処理する画像処理装置を制御するプログラムであり、
コンピュータを、
前記撮像データを取得する際の被写体と前記撮像光学系との位置関係に関する光学情報を取得する光学情報取得手段と、
前記取得された光学情報から得られる前記撮像手段により取得された複数の撮像データにおける焦点面の位置の変化に基づいて、変更される焦点面の位置を決定する焦点面決定手段と、
前記決定された焦点面の位置のリフォーカス画像の画像データを前記撮像データに基づいて生成するリフォーカス処理手段
として機能させるためのプログラム。
【請求項１７】
フォーカスレンズを含む撮像光学系で形成された被写体像を撮像手段で光電変換して得られた撮像データを処理する画像処理装置を制御するプログラムであり、
コンピュータを、
前記撮像データを画像処理して、被写体像に対する焦点面の位置を変更したリフォーカス画像を生成するリフォーカス処理手段と、
前記撮像手段により取得された複数の撮像データに対応する焦点面の位置の変化に基づいて、前記リフォーカス処理手段により変更される焦点面の位置を決定する決定手段
として機能させるためのプログラム。
【請求項１８】
請求項１６又は１７のプログラムを記録したコンピュータが読み取り可能な記憶媒体。
【請求項１９】
コンピュータを、請求項１乃至１３のいずれか一項に記載された画像処理装置の各手段として機能させるプログラム。
【請求項２０】
コンピュータを、請求項１乃至１３のいずれか一項に記載された画像処理装置の各手段として機能させるプログラムを格納した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に、画像データの再構成を利用して当該画像データの表示データを生成する画像処理装置および当該画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年のデジタル一眼レフカメラには静止画の撮影機能に加え、動画像の撮影機能を有する撮像装置が登場している。これらのデジタル一眼レフカメラには、動画中に静止画撮影を可能にする機能を有する製品がある。また、動画撮影可能なデジタルカメラには背面に液晶ディスプレイが備えられているものが一般的であり、撮影者は背面の液晶ディスプレイを介して撮影対象となる被写体を観察しながら撮影を行うことができる。
【０００３】
また、動画および静止画の撮影を行う際に、所定の領域にピントを合わせる為の焦点調節動作を自動で行うオートフォーカス（以下ＡＦ）技術が知られている。オートフォーカス技術は大別すると位相差方式とコントラスト方式とに分類される。
【０００４】
位相差方式のＡＦは、レンズから入射した光束を分割し、それぞれの光束によって生成される像の間の位相のずれを検出し、検出された位相のずれに応じたピント調節を行う方式である。特許文献１では、一つの画素につき複数の光電変換部を構成することによって撮像面で瞳分割を行い、位相差方式のＡＦを実現する技術が開示されている。
【０００５】
コントラスト方式はレンズを動かしながら像を取得し、像のコントラストの振幅がピークを持つレンズ位置をピント位置としてレンズを駆動させる方式である。
【０００６】
ところで、一回の撮影で得られた画像データから、被写界の異なる距離にピントの合った画像を得る（再構成する）ことのできる技術が知られている。特許文献２では、結像光学系の射出瞳の異なる領域を通過した光束を撮像素子によって撮像し、前記異なる領域を通過した光束から得られる画像データを合成することによって、１回の撮影で任意の像面における像の画像データを生成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第４０２７１１３号公報
【特許文献２】特開２００７−４４７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、動画撮影可能な撮像装置においてＡＦを行う場合には以下のような課題がある。
【０００９】
位相差方式のＡＦを動画撮影に適用した場合、レンズの高速な駆動と停止の動作が連続して行われることで、動画の品位が低下するという課題がある。
【００１０】
一方、コントラスト方式を動画撮影に適用した場合では、コントラストのピークを判定するために一度被写体のピント位置を通りすぎるように動作するため、表示している動画の品位が低下するという課題がある。
【００１１】
また、従来の一眼レフカメラ等のレンズ交換式カメラにおいては、静止画撮影を主用途として設計されたレンズを装着することも可能であり、このような静止画を主用途として設計されたレンズの駆動速度および駆動間隔は動画にとって必ずしも適したものではない。
【００１２】
そこで、本発明の目的は、動画の品位を保った表示や記録と自動焦点調節に適したレンズ制御とを同時に実現することを可能とした画像処理装置、画像処理方法およびプログラムを提供することである。
【課題を解決するための手段】
【００１３】
本発明によれば、画像処理装置は、複数の撮像データを、フォーカスレンズを含む撮像光学系で形成された被写体像を撮像手段により光電変換することで取得する際の被写体と撮像光学系との位置関係に関する光学情報を取得する光学情報取得手段と、取得された光学情報に基づいて、取得された撮像データに対応する画像の焦点面の位置を決定する焦点面決定手段と、決定された焦点面の位置のリフォーカス画像の画像データを撮像データに基づいて生成するリフォーカス処理手段とを備え、焦点面決定手段は、撮像手段により取得された複数の撮像データにおける焦点面の位置の変化に基づいて、リフォーカス処理手段により変更される焦点面の位置を決定する。
【発明の効果】
【００１４】
本発明によれば、フォーカスレンズ位置に関連する焦点面に対して表示や記録に用いる焦点面を別個に設定することで、品位の良い動画の表示、および再生を可能とする。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態に係る画像処理装置を適用した撮像装置の構成を示すブロック図
【図２】図１の撮像装置で用いる撮像素子の構成を説明するための図
【図３】図２の撮像素子における分割画素と入射光との関係を説明するための図
【図４】図１の撮像装置に本発明の第１の実施例に係る画像処理装置を適用した場合の動画撮影動作のフローチャートを示す図
【図５】図４の動画撮影動作の詳細なフローチャートを示す図
【図６】本発明の第１の実施例に係る仮想焦点面決定動作のフローチャートを示す図
【図７】本発明の第１の実施例に係る表示用仮想焦点面の決定構成を説明するための図
【図８】リフォーカス処理を説明するための図
【図９】図１の撮像装置に本発明の第２の実施例に係る画像処理装置を適用した場合の動画撮影動作のフローチャートを示す図
【図１０】本発明の第２の実施例に係る仮想焦点面決定動作のフローチャートを示す図
【発明を実施するための形態】
【００１６】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【実施例１】
【００１７】
以下、図１から図８を参照して、本発明の第１の実施例に係る画像処理装置を適用した撮像装置を説明する。本撮像装置としては、デジタルカメラやビデオカメラなどがあるが、本実施例の画像処理装置は、多眼カメラ、ライトフィールドデータを取得可能なカメラの出力を処理するＰＣ等の情報処理装置にも適用可能であることは言うまでもない。
【００１８】
図１は、本実施例に係る画像処理装置を適用した撮像装置１００の構成を示すブロック図である。
【００１９】
図１において、１０１はフォーカスレンズを含んで構成される撮像光学系であり、被写体からの光を複数のレンズ群および絞りを介して撮像素子１０２に導き、撮像素子１０２上に被写体像を形成する。撮像光学系１０１に含まれるフォーカスレンズは、不図示のレンズ駆動制御部からの駆動命令またはピントリングの回転動作に基づいて駆動され、これによりピントの位置を調節することが可能である。
【００２０】
撮像素子１０２には複数のマイクロレンズが格子状に並べられており、各マイクロレンズ下には複数の光電変換部が備えられている。各マイクロレンズは撮像光学系１０１の射出瞳上を通る光束を瞳分割し、複数の光電変換部は前記マイクロレンズによって瞳分割された光束をそれぞれ受光するように設計されている。撮像素子１０２の詳細な構成については後述する。
【００２１】
１０３はＡ／Ｄ変換部であり、撮像素子から出力されたアナログ信号をデジタル信号へと変換する。
【００２２】
画像処理部１０４は、内部に後述する焦点検出部１０５、表示用仮想焦点面決定部１０６、リフォーカス画像生成部１０７を含む画像処理機能を有する回路及びプログラム群で構成される。画像処理部１０４は、カメラシステム制御部１０８からの制御命令に基づいて、Ａ／Ｄ変換部１０３から出力される撮像データに所定の画像処理を行い、記録用および表示用の画像データを生成する。
【００２３】
焦点検出部１０５は、Ａ／Ｄ変換部１０３を介して得られた撮像データに基づいて相関演算を行い、レンズ位置調節に用いる評価値を算出するプログラムである。焦点検出部１０５により算出された評価値はカメラシステム制御部１０８を介してレンズ駆動命令へと変換され、撮像光学系１０１の駆動に用いられる。焦点検出部１０５の詳細な動作については後述する。
【００２４】
表示用仮想焦点面決定部１０６は、表示用の画像データを形成するときの焦点面の位置を決定するプログラムである。表示用仮想焦点面決定部１０６の詳細な説明は後述するものとする。
【００２５】
リフォーカス画像生成部１０７は、Ａ／Ｄ変換部１０３から出力された撮像データの合成処理によって、実際の焦点面とは異なる焦点面（仮想焦点面）における画像（以降、リフォーカス画像と称する）を生成する回路である。リフォーカス画像生成部１０７の詳細な動作については後述する。
【００２６】
カメラシステム制御部１０８はカメラ全体の動作制御を行うほか、画像処理によって得られたデータや、撮像光学系１０１のレンズ位置情報の取得等を行い、各ブロック間のデータ仲介役としても機能する。なお、カメラシステム制御部の制御プログラムおよび必要なデータは予め不図示のメモリに格納されている。
【００２７】
操作手段１０９は撮像装置１００に備えられた各種スイッチやダイヤルなどの操作部材であり、撮影者は操作手段を用いて撮影パラメータの設定や撮影動作などを制御することが可能である。
【００２８】
表示手段１１０はＬＣＤ等の液晶ディスプレイであり、撮影時の画像や記憶手段１１１に記憶された画像データおよび各種設定画面などを表示する。
【００２９】
記憶手段１１１はＳＤカードやＣｏｍｐａｃｔＦｌａｓｈなどの記録媒体であり、画像処理部１０４によって生成される画像データを記録する。
【００３０】
次に、図２および図３を用いて撮像装置１００に構成される撮像素子１０２の構成を説明する。
【００３１】
図２（ａ）は撮像素子１０２の一部の領域を拡大した図であり、マイクロレンズアレイと画素の対応関係を示す図である。図中の円はマイクロレンズ２０１を示している。前記マイクロレンズ２０１に対応する矩形領域は画素である。撮像素子１０２にはマイクロレンズ２０１と画素とが２次元に配置されている。
【００３２】
次に、画素の構成について説明する。
図２（ｂ）は撮像素子１０２上の１画素を上面から観察した図である。図２（ｃ）は図２（ｂ）に示す線分Ｐ−Ｐ´における画素の断面図である。なお図２中で同一の部品には同一の番号を付している。
【００３３】
図２において、マイクロレンズ２０１は撮像光学系１０１の結像面近傍に配置され、撮像光学系から出力された光束を集光する。２０２および２０３は、光電変換部である。以降、２０２および２０３に示すような光電変換部を分割画素と呼称する。
【００３４】
図３に示すように、分割画素２０２および分割画素２０３は撮像光学系１０１の射出瞳３０１上の異なる領域３０２および３０３を通過した光束をそれぞれ受光する。なお、本実施例では光電変換部を２分割して分割画素を構成しているが、本発明の適用範囲はこれに限定されるものではなく、射出瞳上の異なる領域を通過した光束をそれぞれ独立して受光可能な構成であればよい。
【００３５】
次に、図４から図８を参照し、動画撮影時のカメラシステム制御部１０８の動作について説明する。
【００３６】
図４は、撮像装置１００における動画撮影の制御動作のフローチャートである。
撮像装置１００は操作手段１０９により動画撮影開始操作が実行されると以下の動画記録フローチャートを実行する。なお、本動作は、カメラシステム制御部１０８が、予め不図示のメモリに格納されている制御プログラムを実行することで行われる。
【００３７】
同図において、ステップＳ４０１では、カメラシステム制御部１０８が、操作手段１０９によって動画撮影の停止操作が行われたか否かを判定する。ステップＳ４０１で動画撮影の停止操作が行われていると判定した場合は、カメラシステム制御部１０８は、動画撮影動作を終了する。一方、ステップＳ４０１で停止操作が行われていなかった場合には、ステップＳ４０２に進む。
【００３８】
ステップＳ４０２の撮像データ取得では、カメラシステム制御部１０８が、撮像素子１０２およびＡ／Ｄ変換部１０３の駆動を制御して撮影対象領域の撮像データを取得する。
【００３９】
次にステップＳ４０３〜ステップＳ４０５で、カメラシステム制御部１０８は画像処理部１０４を制御して各ステップの処理を並列動作により実行する。
ステップＳ４０３の記録処理、ステップＳ４０４の表示処理、ステップＳ４０５の焦点調節処理に関しての詳細は後述する。なお、ステップＳ４０３〜ステップＳ４０５のそれぞれの処理は動画撮影停止操作が行われるまで繰り返される。
【００４０】
次にステップＳ４０３〜ステップＳ４０５それぞれの詳細な処理内容について説明する。
【００４１】
図５（ａ）（ｂ）（ｃ）は、それぞれ図４のＳ４０３〜ステップＳ４０５の処理のフローチャートである。
【００４２】
まず、図５（ａ）を参照してステップＳ４０３における記録処理について説明する。
記録処理が始まると、カメラシステム制御部１０８は画像処理部を制御して、ステップＳ４０２で取得した撮像データを所定の形式のデータに変換して圧縮し、記録用データを生成する。
【００４３】
次にステップＳ５０２では、カメラシステム制御部１０８は、ステップＳ５０１で生成された記録用データを撮像装置１００の不図示の記憶媒体スロットに挿入されている記憶手段１１１に記録し、記録処理を終了する。
【００４４】
次に、図５（ｂ）、図６、図７を用いてステップＳ４０４の表示データ生成および表示制御の動作について説明する。
【００４５】
表示処理が始まると、最初に、ステップＳ５１１において表示用仮想焦点面決定部１０６による表示用仮想焦点面決定の処理を行う。
【００４６】
図６は、表示用仮想焦点面決定処理の詳細な動作のフローチャートを示す。本動作は、カメラシステム制御部１０８の制御の下で、表示用仮想焦点面決定部１０６で行われる。
【００４７】
表示用仮想焦点面決定処理が開始すると、ステップＳ６０１のレンズ情報取得(光学情報取得)で、カメラシステム制御部は、表示タイミングと同期して撮像光学系１０１の現在のレンズ位置情報を取得する。取得されたフォーカスレンズ位置は、撮像装置１００内の不図示のメモリに予め登録しておいた対応テーブルに基づいて焦点面の位置ｆｐ（以下、単に焦点面ｆｐと記す）と対応づけられる。
【００４８】
図７（ａ）は、動画撮影時のある時間における焦点面ｆｐの変位の例を示す図である。縦軸は焦点面の位置を、横軸は時間を表している。グラフ上の点線は表示フレームレートに応じて一意に決定される表示タイミングである。図７ではフレームＦｒ（ｘ）とフレームＦｒ（ｘ＋１）の間にシーンの変化が発生し、フォーカスレンズが急峻な動作を起こし、焦点面が急峻に変化している。
【００４９】
次にステップＳ６０２で焦点面ｆｐの位置に基づいて、表示に最も適切な焦点面（理想焦点面と呼ぶ）の位置を、焦点面ｆｐに対して可変に決定する。理想焦点面の位置ｉｐは（以下、単に理想焦点面ｉｐと記す）、以下の式１によって決定する。
ｉｐ(ｘ) ＝ (ｆｐ(ｘ−１)＋ｆｐ(ｘ) )÷２    ・・・式１
【００５０】
上記の式において、ｘは表示タイミング（フレーム）を示す。即ち、現在の表示タイミングにおける焦点面ｆｐ（ｘ）と１つ前の表示タイミングにおける焦点面ｆｐ（ｘ−１）の加算平均により求められる値を、理想焦点面ｉｐ（ｘ）として算出している。
【００５１】
図７（ｂ）は、図７（ａ）の各表示タイミングにおいて式１を適用して得られた理想焦点面ｉｐの変化を示す図である。式１を適用して得られる理想焦点面ｉｐの変化は、実際の焦点面の位置の変化率（図の直線の勾配）に比べて変化率が低くなっていることがわかる。なお、ここでは、説明の為に実際の焦点面ｆｐと１フレーム前のｆｐとの加算平均によって理想焦点面を求める例を示したが、理想焦点面の算出方法はこれに限定されるものではない。例えば、以下の式２に示すようにタップ数や係数を変更した移動平均処理を用いて理想焦点面を決定してもよい。
ｉｐ(ｘ) ＝ (ｆｐ(ｘ−２)＋(ｆｐ(ｘ−１)×２)＋ｆｐ(ｘ) )÷４  ・・・式２
また、以下の式３に示すように異なる複数のフレームにおける焦点面位置の平均二乗和の平方根を求めて理想焦点面を決定してもよい。
ｉｐ(ｘ) ＝√ (（ｆｐ(ｘ−１)＾２＋ｆｐ(ｘ)＾２）÷２)  ・・・式３
【００５２】
また、表示に許容できる焦点面の変化量Ｌを予め定義しておき、現在の焦点面ｆｐの変化量に対して変化量Ｌの範囲内に制限するように理想焦点面を決定しても良い。
また、本実施例において、焦点面の位置を求める為の手段としてレンズ位置情報を用いる例を説明した。しかし、本発明の範囲はこれに限定されるものではなく、他の光学情報を用いても良い。
【００５３】
次に、ステップＳ６０３においてリフォーカス可能な範囲を算出する。
リフォーカスの原理については後に詳細を述べるが、リフォーカス処理は分割画素群によって得られる撮像データを合成することによって実現する。従って、リフォーカス処理によってピントの合った像の撮像データを得られる領域は、分割画素によってピントが合っている像が得られる範囲であると言える。分割画素によってピントがあったように見える範囲とは、即ち被写界深度内に収まっている範囲である。本実施例における撮像素子１０２上の分割画素は、撮像光学系１０１の射出瞳を２分割するように設計されている。従って、分割画素によって取得できる被写界深度は撮像光学系１０１のＦ値よりも１段絞った状態での被写界深度となる。本実施例では、フォーカスレンズ位置とＦ値、焦点距離、被写界深度および焦点深度の関係を撮像装置１００内の不図示のメモリに予めテーブルとして保持しておき、フォーカスレンズ位置、Ｆ値、焦点距離から一意に被写界深度と焦点深度を決定可能とする。
【００５４】
図７（ｃ）は、図７（ａ）に対応するリフォーカス範囲を概念的に示す図である。
リフォーカス範囲Ｒｆ＿Ｒａｎｇｅは、実際の焦点面に対して像面から被写体側への深度Ｒｆ＿ｆａｒと、像面から更に後方への深度Ｒｆ＿ｎｅａｒとを合わせた範囲を持つ。
【００５５】
次にステップＳ６０４〜ステップＳ６０５で、算出された理想焦点面ｉｐがリフォーカス可能範囲Ｒｆ＿Ｒａｎｇｅに収まっているかどうかの比較判定を行い、その結果に従って表示用仮想焦点面ｆｐ＿ｏｕｔを次のように決定する。
ｉｐ≧Ｒｆ＿ｆａｒの時
ｆｐ＿ｏｕｔ＝  Ｒｆ＿ｆａｒ
ｉｐ≦Ｒｆ＿ｎｅａｒの時
ｆｐ＿ｏｕｔ＝  Ｒｆ＿ｎｅａｒ
Ｒｆ＿ｎｅａｒ＜ｉｐ＜Ｒｆ＿ｆａｒの時
ｆｐ＿ｏｕｔ＝  ｉｐ
【００５６】
この決定規則は、理想焦点面がリフォーカス範囲内に収まっている場合には理想焦点面を表示用仮想焦点面として決定し、収まっていない場合にはリフォーカス可能な範囲の限界を表示用仮想焦点面として決定する規則である。
【００５７】
図７（ｄ）は、図７（ａ）に示す複数のフレームにおけるリフォーカス可能範囲Ｒｆ＿Ｒａｎｇｅと理想焦点面ｉｐとの関係を示す図である。図中ではフレームＦｒ（ｘ＋１）において理想焦点面は、Ｒｆ＿ｎｅａｒより小さい値を取り、リフォーカス範囲外となっている。
【００５８】
図７（ｅ）はステップＳ６０４およびステップＳ６０５の比較判定結果に従って決定された表示用仮想焦点面ｆｐ＿ｏｕｔを示す図である。フレームＦｒ（ｘ＋１）の表示用仮想焦点面は、Ｒｆ＿ｎｅａｒ（ｘ＋１）の位置になっている。このようにステップＳ６０１〜ステップＳ６０５によって表示用仮想焦点面ｆｐ＿ｏｕｔが決定される。
【００５９】
次に、図５（ｂ）のステップＳ５１２において、リフォーカス画像生成部１０７によって、表示用仮想焦点面ｆｐ＿ｏｕｔに対応したリフォーカス画像生成処理を行う。リフォーカス画像生成処理はリフォーカス画像生成部１０７によって実現する。
【００６０】
ここで、リフォーカスの原理について説明する。
図８は、リフォーカス処理の動作を説明するための図である。
【００６１】
同図において、図８（ａ）は、撮像素子１０２のある領域における入射光と焦点面の撮像時における関係を示している。図８（ａ）は、焦点面がマイクロレンズ２０１のアレイ面にある場合の入射光を、実線、破線、点線などによりマイクロレンズごとに示している。撮像時の撮像素子の撮像面には、焦点の合った像が形成されている。そのときの各マイクロレンズに対応する２つの分割画素に入射する光線を同じ種類の線で示してある。図３で説明した射出瞳領域３０２および３０３を通過した光束はマイクロレンズにより瞳分割される。射出瞳領域３０２を通過した光束は分割画素８０２、８０４、８０６、８０８、８１０で、また射出瞳領域３０３を通過した光束は分割画素８０１、８０３、８０５，８０７、８０９でそれぞれ受光される。
【００６２】
図８（ｂ）は、図８（ａ）においてそれぞれの分割画素が受光する光束を模式的に示した図である。同一レンズ下の分割画素８０１および８０２、８０３および８０４、８０５および８０６、８０７および８０８、８０９および８１０をそれぞれ加算することによって同一の種類の線が結像した画像を得ることが出来る。
【００６３】
図８（ｃ）は、リフォーカス画像を生成する仮想焦点面１における入射光と分割画素との対応を示す図である。８０１〜８１０のそれぞれの分割画素は図８（ａ）で示した光線情報を有している。
【００６４】
図８（ｄ）は、仮想焦点面１におけるリフォーカス画像を、図８（ａ）で受光した信号から生成された画像データをシフトして加算することで生成する例を示している。それに従って図８（ａ）で得られた撮像データのシフト加算によって異なる線種の結像した撮像データを得ることで、図８（ｃ）に示す仮想焦点面１で取得できる画像データと等価なデータとして扱うことが出来る。
【００６５】
図８（ｅ）および（ｆ）は、図８（ｃ）および（ｄ）と逆方向にシフトして加算を行った例であり、仮想焦点面２で得られる撮像データと等価な撮像データとして扱うことが出来る。
【００６６】
このようにシフト加算構成を用いることで任意の被写体領域にピントの合ったリフォーカス画像を生成することが出来る。このリフォーカス処理を用いて本実施例の表示用仮想焦点面決定手段で決定した表示用仮想焦点面ｉｐに対応したリフォーカス画像を生成する。
【００６７】
なお、ここではマイクロレンズに対して分割画素が２つである場合の例を用いてリフォーカス処理を説明した。しかし、本発明の範囲はこれに限定されるものではなく、分割画素の分割数等の画素構造や光学系の構成に応じた再合成処理を行うことで表示用仮想焦点面に対応したリフォーカス画像を得ることができればよい。
【００６８】
また、説明の為に簡易なシフト加算演算によるリフォーカス処理の例を示したが、これに限定されるものではなく、別の方法を用いて各仮想焦点面におけるリフォーカス画像を得ても良い。例えば特許文献２に記載のように重み付け加算による処理を行うようにしても良い。
【００６９】
次に、ステップＳ５１３では、画像処理部１０４は、表示用仮想焦点面に基づいて生成されたリフォーカス画像に対し、リサイズ等の所定の画像処理を行い表示用の画像(表示データ)を生成する。
【００７０】
次に、ステップＳ５１４で、カメラシステム制御部１０８は、ステップＳ５１３で生成された表示用のリフォーカス画像を表示手段１１０に出力して表示処理を終了する。
【００７１】
次に図５（ｃ）を参照し、図４のステップＳ４０５における焦点調節動作について説明する。本動作は、カメラシステム制御部１０８による制御の下で、焦点検出部１０５によって行われる。
【００７２】
焦点調節処理が始まると、ステップＳ５２１で瞳分割像を生成する。撮像素子１０２の説明でも述べたが、一つのマイクロレンズ下の分割画素はそれぞれ射出瞳上の異なる領域を通過した光束を受光する。従って、各マイクロレンズに対して同一の位置関係にある分割画素の出力を集めることで一対の瞳分割された画像を得ることが出来る。
【００７３】
次に、ステップＳ５２２では、ステップＳ５２１で得られた瞳分割像に対して相関演算を行う。相関演算では、あらかじめ設定されたオートフォーカス領域周辺において、前記一対の瞳分割像を水平方向にシフトさせながら重なり合う画素毎の差分値の絶対値を積分することで評価値を取得する。なお、ここでは、評価値として各画素の差分の絶対値を用いる例について説明したが、差分値の２乗和、またはそれ以外の方法によって評価値を取得してもよい。
【００７４】
次にステップＳ５２３では前記相関演算の評価値が最も低くなる位置、すなわち瞳分割像の一致度が最も高くなる位置までの像のシフト量に基づいて撮像光学系１０１が駆動し、焦点調節処理を完了する。
【００７５】
以上説明したように、本実施例によれば、焦点調節に適したフォーカスレンズの駆動に基づく焦点面の変化率に対して、表示における焦点面の変化率を下げることが可能となる。これにより、従来と同様のレンズ駆動を行いながらも、撮影者に対しては表示画像の認識において負担の少ない動画像の表示を行うことが可能となる。
【実施例２】
【００７６】
次に図９〜１０を用いて本発明の第２の実施例について説明する。
第２の実施例では、第１の実施例で説明した撮像装置１００において動画撮影中に静止画撮影を行う場合の表示画像の焦点面の変化率の制御構成について説明する。なお、撮像装置１００の構成は第１の実施例と同様であるが、本実施例では、動画撮影動作において不図示のシャッターボタンが半押し状態になるとＡＦ等の予備動作を行い、シャッターボタンが全押し状態になると静止画の撮影処理動作が行われる構成となっている。
【００７７】
図９（ａ）（ｂ）（ｃ）は、それぞれ本実施例における動画撮影動作での記録処理、表示処理および焦点調節処理の動作のフローチャートを示す。なお、図９は、第１の実施例で説明した図５と対応しており、既に説明を行った部分については同一の符号を付し、ここでの詳細な説明を省略する。
【００７８】
まず、図９（ａ）を参照し記録処理の動作を説明する。
記録処理が開始されると、ステップＳ９０３でカメラシステム制御部１０８は、シャッターボタンが全押しされているかどうかを判定する。全押し状態になっている場合は、ステップＳ９０４で、カメラシステム制御部１０８は、ステップＳ４０２で取得された撮像データを所定の形式のデータに変換して圧縮し、静止画用の記録データを生成する。
【００７９】
ステップＳ９０４で生成された静止画用の記録データは、ステップＳ９０５においてカメラシステム制御部１０８により記録媒体に保存される。すなわち、シャッターボタンが全押し状態でなければ動画像データのみを記録し、シャッターボタンが全押し状態の場合は動画像データに加えて静止画データを記録するように制御する。
【００８０】
次に、図９（ｂ）に示す表示処理の動作について説明する。
本実施例の表示処理の動作は、ステップＳ９１１に示す表示用仮想焦点面決定処理が異なる点を除いて第１の実施例と同様である。
【００８１】
図１０は、本実施例における表示用仮想焦点面決定処理のフローチャートである。なお、同図は第１の実施例で説明した図６と対応しており、既に説明を行った部分については同一の記号を付し、ここでの説明を省略する。
【００８２】
Ｓ９１１の表示用仮想焦点面決定処理が開始されると、ステップＳ１００９でカメラシステム制御部１０８は、シャッターボタンが半押しであるか否かを判定する。シャッターボタンが半押し状態でない場合には、Ｓ１０１０で表示用仮想焦点面決定部１０６は、表示用仮想焦点面を実際のレンズの焦点面と同じ位置に決定する。なお、この場合、レンズの焦点面の変化率は、図９（ｃ）に示すように、レンズの駆動量を制限することで制御する。
【００８３】
シャッターボタンが半押し状態の場合には、第１の実施例で説明したステップＳ６０１〜ステップＳ６０８により表示用仮想焦点面を決定する。すなわち、シャッターボタンが半押し状態でなければ、レンズ位置に対応した焦点面を表示用仮想焦点面とし、シャッターボタンが半押し状態の場合は、レンズ位置に対してリフォーカス可能な範囲内で表示用仮想焦点面を決定するよう制御する。
【００８４】
次に、図９（ｃ）に示す焦点調節処理の動作について説明する。
焦点調節処理が開始すると、第１の実施例と同様に、ステップＳ５２１〜Ｓ５２３によって現在のレンズ位置から被写体に合焦するレンズ位置までのレンズ駆動量を算出する。次に、ステップＳ９２５でカメラシステム制御部１０８は、シャッターボタンが半押し状態になっているか否かを判定する。シャッターボタンが半押しになっている場合には、ステップＳ５２４に進む。半押し状態になっていない場合は、ステップＳ９２６に進み、レンズ駆動量の絶対値が予め設定された閾値Ｌよりも小さいかどうかを判定する。閾値Ｌは、レンズの急峻な動作に起因した動画の品位低下を低減するために予め定められたレンズの駆動量の閾値であり、不図示のメモリに記憶されている。
【００８５】
レンズ駆動量の絶対値が閾値Ｌよりも小さい場合にはステップＳ５２４に進み、ステップＳ５２３で算出したレンズの駆動量分だけレンズを駆動させて焦点調節処理を終了する。
【００８６】
レンズの駆動量の絶対値が閾値Ｌ以上である場合にはステップＳ９２７に進み、レンズの駆動量を±閾値Ｌで上書きする。閾値Ｌの符号は、現在のレンズ位置からのレンズ駆動方向によって決定される。例えば至近側を＋、無限遠側を−と定義すると、合焦レンズ位置が現在のレンズ位置よりも無限遠側にあり、かつレンズの駆動量がＬ以上の場合は−Ｌが駆動量として上書きされる。同様に合焦レンズ位置が現在のレンズ位置よりも至近側にあり、かつレンズの駆動量の絶対値がＬ以上の場合は＋Ｌが駆動量として上書きされる。
【００８７】
最後にステップＳ５２４でレンズの駆動量分だけレンズを駆動し、焦点調節処理を終了する。すなわち、本実施例では、シャッターボタンが半押し状態でなければ±Ｌの駆動範囲内でレンズを駆動し、シャッターボタンが半押し状態の場合は合焦位置まで高速でレンズを駆動するように制御する。
【００８８】
以上説明した本実施例によれば、動画撮影中に静止画の撮影予備動作（即ちシャッターボタンが半押し状態）においては高速な焦点調節を行いながらも、撮影者には観察に適した画像を表示することが可能となる。他方、撮影予備動作の指示がなくて動画撮影が行われているときは、レンズ駆動量を制限することで焦点面の急激な変化を抑制し、表示画像の画質を補償している。
【００８９】
また、上述した第１及び第２の実施例では、表示用仮想焦点面決定処理を用いて表示画像の焦点面を決定する構成について説明したが、表示用仮想焦点面決定処理で決定される焦点面を記録データの焦点面として用いることも可能である。即ち、リフォーカス画像生成部１０７で生成されたリフォーカス画像の画像データから記録データを生成してもよい。これにより、記録データを再生して表示したときの表示画像の画質を向上することが可能となる。
【００９０】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても達成される。すなわち、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても本件発明の目的が達成されることは言うまでもない。
【００９１】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００９２】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００９３】
また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）などが実際の処理の一部又は全部を行うことによっても前述した実施形態の機能が実現される。この場合も本件発明に含まれることは言うまでもない。
【００９４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づく処理も本件発明に含まれる。すなわち、機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等がプログラムコードの指示に基づき実際の処理の一部又は全部を行って前述した実施形態の機能を実現する場合も本件発明に含まれることは言うまでもない。
【００９５】
上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図１】
2015175982.tif 000003
【図２】
2015175982.tif 000004
【図３】
2015175982.tif 000005
【図４】
2015175982.tif 000006
【図５】
2015175982.tif 000007
【図６】
2015175982.tif 000008
【図７】
2015175982.tif 000009
【図８】
2015175982.tif 000010
【図９】
2015175982.tif 000011
【図１０】
2015175982.tif 000012