(57)【要約】【課題】動画撮影中に静止画を撮影した場合において、動画記録フレームレートに依存しない露光時間で良好な静止画像を生成可能な画像処理装置の提供。【解決手段】画像処理装は、複数のフレームから成る、リフォーカス可能な動画データを取得する取得手段と、取得した動画データから生成される静止画の焦点面を設定する設定手段と、設定された焦点面に従って、動画データの所定数のフレーム画像を再構成して所定数のリフォーカス画像を生成する再構成手段と、生成された所定数のリフォーカス画像を合成して前記静止画を生成する合成手段とを備える。【選択図】図１
2015194897.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームから成る、リフォーカス可能な動画データを取得する取得手段と、
前記取得した動画データから生成される静止画の焦点面を設定する設定手段と、
前記設定された焦点面に従って、前記動画データの所定数のフレーム画像を再構成して前記所定数のリフォーカス画像を生成する再構成手段と、
前記生成された所定数のリフォーカス画像を合成して前記静止画を生成する合成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記設定手段は、前記動画データの所定数のフレームの焦点面の情報に基づいて前記生成される静止画の焦点面を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記設定手段が設定する焦点面は、前記動画データの前記所定数のフレームの焦点面のうち、最も至近側と最も無限遠側の焦点面の中間値および前記所定数のフレームのうちの所定のフレームまたは指定されたフレームの焦点面のいずれかであることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記所定のフレームは、前記動画データの前記所定数のフレームの先頭又は最後のフレームであることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記合成手段は、前記所定数のフレームの焦点面に変化がない場合は、前記動画データの所定数のフレーム画像を合成することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記合成手段による前記所定数の画像の合成は、各画像の画像データの単純加算、加算平均、正規化のいずれかであることを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記設定手段は、前記生成される静止画のシャッタースピードを設定し、前記合成手段は、前記シャッタースピードおよび前記動画データのフレームレートに基づいて、前記所定数を決定することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記設定手段は、前記生成される静止画のフレームレートを設定し、前記合成手段は、前記静止画のフレームレートと前記動画データのフレームレートに基づいて、前記所定数を決定することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項９】
前記動画データは、記録媒体から再生された動画データであることを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記記録媒体から再生された動画データは、前記動画データの前記所定数のフレームを識別するためのマーカーを含むことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
複数のフレームから成る、リフォーカス可能な動画データを取得する取得ステップと、
前記取得した動画データから生成される静止画の焦点面を設定する設定ステップと、
前記設定された焦点面に従って、前記動画データの所定数のフレーム画像を再構成して前記所定数のリフォーカス画像を生成する再構成ステップと、
前記生成された所定数のリフォーカス画像を合成して前記静止画を生成する合成ステップと、
を備えることを特徴とする画像処理方法。
【請求項１２】
複数のフレームから成る、リフォーカス可能な動画データを取得する取得手段を有する画像処理装置を制御するプログラムであり、
コンピュータを、
前記取得した動画データから生成される静止画の焦点面を設定する設定手段、
前記設定された焦点面に従って、前記動画データの所定数のフレーム画像を再構成して前記所定数のリフォーカス画像を生成する再構成手段、
前記生成された所定数のリフォーカス画像を合成して前記静止画を生成する合成手段、
として機能させることを特徴とするプログラム。
【請求項１３】
請求項１２のプログラムを記録したコンピュータが読み取り可能な記憶媒体。
【請求項１４】
撮影光学系で形成された被写体の光学像を撮像して、複数のフレームから成る、リフォーカス可能な動画データを生成する撮像手段と、
前記動画データを記録媒体に記録する記録手段と、
前記記録媒体に記録された動画データから生成される静止画の焦点面を設定する設定手段と、
前記設定された焦点面に従って、前記記録された動画データの所定数のフレーム画像を再構成して前記所定数のリフォーカス画像を生成する再構成手段と、
前記生成された所定数のリフォーカス画像を合成して前記静止画を生成する合成手段と、
を備えることを特徴とする撮像装置。
【請求項１５】
前記静止画の撮影を指示する操作手段と、
前記操作手段による前記指示に従って前記設定手段、再構成手段および合成手段を制御し、前記記録手段で記録された動画データから前記静止画を生成する制御手段と、
を備えることを特徴とする請求項１４に記載の撮像装置。
【請求項１６】
前記生成された動画データの各フレームの焦点面の情報を生成する手段を備え、前記設定手段は、前記生成された焦点面の情報に基づいて前記生成される静止画の焦点面を設定することを特徴とする請求項１４又は１５に記載の撮像装置。
【請求項１７】
前記撮像手段は、前記撮影光学系の射出瞳の瞳分割手段を有し、前記撮像手段の画素配列を構成する単位画素が、前記瞳分割手段による前記射出瞳の瞳分割領域に対応した複数の分割画素を有することを特徴とする請求項１４から１６のいずれか１項に記載の撮像装置。
【請求項１８】
前記瞳分割手段は、マイクロレンズのアレイであり、前記単位画素は前記マイクロレンズに対応して配置されていることを特徴とする請求項１７に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像合成を行う画像処理装置に関し、特に撮影データの再構成によって任意の焦点面の画像を生成して合成することを可能にする画像処理装置に関する。
【背景技術】
【０００２】
ＣＭＯＳ等の撮像素子を用いて静止画像あるいは動画像を得るデジタルカメラにおいて、動画撮影中に静止画の撮影を行う技術が開示されている（特許文献１）。この特許文献１に係る技術では、動画撮影中に一時的に静止画撮影モードに切り替えることで動画撮影中の静止画撮影を可能としている。
【０００３】
一方、結像光学系の射出瞳の異なる領域を通過した光束を撮像素子によって取得し、前記異なる瞳領域を通過した光束によって得られる信号を再構成して１回の撮影で任意の焦点面での画像データ（リフォーカス画像）を生成する技術が開示されている（特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３４５４８５号公報
【特許文献２】特開２００７−００４４７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１においては動画撮影中に静止画撮影モードに切り替えて静止画記録を行うため、動画記録が中断されてしまうという問題がある。また、動画記録を中断させずに動画フレームを抜出して静止画を生成する場合は、動画記録のフレームレートに依存した露光時間の静止画を得ることになるという問題がある。
【０００６】
この課題を解決する為には、動画の複数フレームを加算合成することで擬似的に露光時間を変えた静止画を生成することが考えられる。しかし、動画撮影中に焦点面が変化していた場合、単純加算による合成で静止画を生成すると焦点面が一意に定まらない静止画となってしまうという問題がある。
【０００７】
また、上記特許文献２の技術では、合成した画像から焦点面を一意に決定した画像を得ることは困難である。
【０００８】
本発明は上記の問題点に鑑み、動画撮影中に静止画を撮影する場合において、動画記録フレームレートに依存しない露光時間で良好な静止画像を生成することを可能にすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明によれば、画像処理装は、複数のフレームから成る、リフォーカス可能な動画データを取得する取得手段と、取得した動画データから生成される静止画の焦点面を設定する設定手段と、設定された焦点面に従って、動画データの所定数のフレーム画像を再構成して所定数のリフォーカス画像を生成する再構成手段と、生成された所定数のリフォーカス画像を合成して静止画を生成する合成手段とを備える。
【発明の効果】
【００１０】
本発明によれば、動画撮影中の静止画撮影において、動画記録を中断することなく、動画記録フレームレートに依存しない露光時間で良好な静止画像を生成することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施例に係わる画像処理装置を適用した撮像装置の構成を示すブロック図である。
【図２】図１の撮像装置が有する撮像素子の構成を説明するための図である。
【図３】図２の撮像素子における分割画素と入射光との関係を模式的に示す図である。
【図４】本発明の第１の実施例における撮像装置の動画中の静止画処理動作のフローチャートを示す図である。
【図５】本発明の第１の実施例における動画中の静止画処理動作での焦点面の決定と画像合成処理を模式的に示す図である。
【図６】リフォーカス処理を模式的に示す図である。
【図７】本発明の第２の実施例における動画中の静止画処理動作のフローチャートを示す図である。
【図８】本発明の第２の実施例における動画中の静止画処理動作での焦点面の決定と画像合成処理を模式的に示す図である。
【発明を実施するための形態】
【００１２】
以下、添付の図面を参照しながら本発明の好適な実施の形態を詳細に説明する。なお、以下においては、本発明の実施例として、本発明に係わる画像処理装置を撮像装置に適用した例を示す。本発明に係わる画像処理装置が適用可能な撮像装置としては、再構成によりリフォーカス画像の生成が可能な撮像データが得られるライトフィールドカメラ、多眼カメラなどで、動画撮影および動画撮影中の静止画撮影が可能な撮像装置である。
【実施例１】
【００１３】
図１から図６を参照して、本発明の第１の実施例に係る画像処理装置を説明する。
【００１４】
図１は、本実施例に係わる画像処理装置を適用した撮像装置１００の構成を示すブロック図である。同図において、１０１はフォーカスレンズを含む撮影光学系であり、被写体からの光を複数のレンズ群および絞りを介して撮像素子１０２に導き、撮像素子１０２の撮像面上に被写体の光学像を形成する。撮影光学系１０１に含まれるフォーカスレンズは、不図示のレンズ駆動制御部からの駆動命令またはピントリングの回転動作に基づいて駆動され、これによりピントの位置を調節することが可能である。
【００１５】
撮像素子１０２の撮像面には複数のマイクロレンズが格子状に並べられており、各マイクロレンズ下には複数の光電変換部（画素配列）が備えられている。各マイクロレンズは撮影光学系１０１の射出瞳上を通る光束を瞳分割し、複数の光電変換部は前記マイクロレンズによって瞳分割された光束をそれぞれ受光するように構成されている。そのため、当該撮像素子１０２を用いることによって、複数の光電変換部（分割画素）の出力からリフォーカス可能な画素データを得ることができる。撮像素子１０２の詳細な構成については後述する。
【００１６】
Ａ／Ｄ変換器１０３は、撮像素子１０２からのアナログ信号をデジタル信号に変換するための変換器である。Ａ／Ｄ変換器１０３は、変換したデジタル信号を画像処理部１０４に出力する。
【００１７】
画像処理部１０４は、内部に後述する焦点検出部１０５、リフォーカス画像生成部１０６、画像合成部１０７を含む画像処理機能を有する回路及びプログラム群で構成される。画像処理部１０４は、システム制御部１０８からの制御命令に基づいてＡ／Ｄ変換部１０３から出力される撮像データに所定の画像処理を行い、記録用および表示用の画像データを生成する。
【００１８】
焦点検出部１０５は、Ａ／Ｄ変換部１０３を介して得られた撮像データを用いた所定の演算を行い、レンズ位置調節に用いる評価値を算出するための回路およびプログラムで構成される。焦点検出部１０５により算出された評価値はシステム制御部１０８を介してレンズ駆動命令へと変換され、撮影光学系１０１の駆動に用いられる。焦点検出部１０５の詳細な動作については後述する。
【００１９】
リフォーカス画像生成部１０６は、Ａ／Ｄ変換部１０３を介して得られた撮像データの合成処理によって、実際の撮影された焦点面とは異なる焦点面（仮想焦点面）における画像（以降、リフォーカス画像と称する）を生成する。リフォーカス画像生成部１０６の詳細な動作については後述する。
【００２０】
画像合成部１０７は、リフォーカス画像生成部１０６で生成された複数のリフォーカス画像を合成し、１枚の静止画像を生成する。画像合成部１０７の詳細な動作についても後述する。
【００２１】
システム制御部１０８はシステム全体の動作制御を行うほか、画像処理によって得られたデータや、撮影光学系１０１のレンズ位置情報の取得等を行い、各ブロック間のデータ仲介役としても機能する。なお、システム制御部１０８が実行する制御プログラムは予め不図示のメモリに格納されている。
【００２２】
操作部１０９は撮像装置１００に備えられた各種スイッチやダイヤルなどの操作部材であり、撮影者は操作部１０９を用いて撮影パラメータの設定や撮影動作などを制御することが可能である。操作部１０９による操作入力は、システム制御部１０８に出力される。
【００２３】
表示部１１０はＬＣＤ等のディスプレイであり、システム制御部１０８から転送される撮影時の画像や記憶部１１１に記憶された画像データ、および各種設定画面などを表示する。記憶部１１１は、ＳＤカードやＣＦカードなどの記録媒体に対して、システム制御部１０８を介して転送される画像データの記録や、記録データの読み出しを行う。
【００２４】
次に、図２および図３を用いて撮像装置１００が有する撮像素子１０２の画素構成と、それによって光電変換される光束について説明する。
【００２５】
図２（ａ）は撮像素子１０２の画素領域の一部を拡大した図であり、マイクロレンズアレイと画素の対応関係を示す。図中の円２０１は、マイクロレンズを示している。前記マイクロレンズ２０１に対応する矩形領域は、２つの光電変換部２０２及び２０３からなる画素（単位画素）である。このように、撮像素子１０２の画素領域には、マイクロレンズ２０１と単位画素とが２次元に配置されている。なお、以下の記載において、２０２および２０３に示すような光電変換部を単位画素の分割画素と呼称する。
【００２６】
次に単位画素の構成について説明する。図２（ｂ）は撮像素子１０２上の単位画素の平面図である。図２（ｃ）は、図２（ｂ）に示す線分Ｐ−Ｐ´における画素の断面図である。なお図２において、同一の部分は同一の番号を付して示す。
【００２７】
マイクロレンズ２０１は撮影光学系１０１の結像面近傍に配置され、撮影光学系１０１から出力された光束を集光する。マイクロレンズ２０１で集光された光束は、カラーフィルター２０４と透過した後、光電変換部２０２および２０３で電気信号に変換される。なお、カラーフィルター２０４は、例えばベイヤー配列にしたがって配置されるＲ，Ｇ，Ｂのカラーフィルターである。
【００２８】
図３は、撮影光学系の射出瞳３０１の部分領域と分割画素との対応関係を示す図である。同図に示すように、分割画素２０２および分割画素２０３は、撮影光学系１０１の射出瞳３０１上の異なる領域（瞳分割領域）３０２および３０３を通過した光束をそれぞれ受光する。なお、本実施例では、単位画素を２分割して２つの分割画素で構成する例を示しているが、本発明の適用範囲はこれに限定されるものではなく、射出瞳上の異なる領域を通過した光束をそれぞれ独立して受光可能な構成であれば、他の分割数であってもよい。このように、撮像素子１０２の各単位画素の分割画素２０２及び２０３が出力する画素信号は、それらに入射する光束の入射角度の情報を持つことになり、撮像後に焦点面の変更を可能とするリフォーカス可能な画素データ（ライトフィールドデータ）を提供する。なお、分割画素２０２および２０３の撮像信号を加算することで、単位画素の解像度を通常の画像信号を得ることができる。
【００２９】
以上、本実施例に係わる画像処理装置を適用した撮像装置１００の構成について説明した。次に、本実施例における撮像装置の動画撮影中における静止画撮影動作を、図４〜図６を用いて説明する。本動作は、撮像装置１００に適用された本実施例に係わる画像処理装置によって達成される。
【００３０】
図４（ａ）は、動画撮影中における静止画撮影処理動作のフローチャートを示す図であり、図４（ｂ）は、図４（ａ）の静止画生成処理（Ｓ４１１）の詳細なフローチャートを示す図である。なお、図４の処理動作は、撮像装置のシステム制御部１０８が含むＣＰＵとメモリによる制御プログラムの実行により制御される。この制御は、画像処理部１０４にＣＰＵとメモリを別途持たせることで行ってもよい。
【００３１】
撮像装置１００は、操作部１０９により動画撮影開始操作が実行されると図４のフローチャートに従った動画撮影処理動作を実行する。
【００３２】
ステップＳ４０１では、システム制御部１０８は、オートフォーカス、自動露出等の予備動作を行う。ステップＳ４０１で撮影の予備動作が完了すると、システム制御部１０８は、処理動作をステップＳ４０２に進める。
【００３３】
ステップＳ４０２では、システム制御部１０８による制御の下、動画撮影フレームレートに応じたシャッタースピードで露光が行われ、撮像素子１０２から撮影対象領域（有効画素領域）の画素信号が出力される。ステップＳ４０２で露光動作が完了すると、システム制御部１０８は、処理動作をステップＳ４０３に進める。
【００３４】
ステップＳ４０３では、画像処理部１０４が撮像素子１０２およびＡ／Ｄ変換器１０３によって取得された撮影対象領域の撮像データに対して所定の画像処理を施し、記録用および表示用の画像データを生成する。ステップＳ４０３で画像処理が完了すると、システム制御部１０８は処理動作をステップＳ４０４に進める。
【００３５】
ステップＳ４０４では、システム制御部１０８は、動画撮影中に操作部１０９により静止画撮影操作が行われたか否かを判定する。ステップＳ４０４で静止画撮影操作が行われたと判定した場合は、システム制御部１０８は処理動作をステップＳ４０５に進め、静止画撮影操作が行われなかったと判定した場合は、ステップＳ４０６に進める。
【００３６】
ステップＳ４０５の処理動作について、図５を参照して説明する。図５は、動画撮影中の静止画撮影処理動作を模式的に示した図である。図５（ａ）は撮影時間に対する焦点面（ピント位置）の変化の一例、図５（ｂ）は動画記録フレームレートが１２０ｆｐｓの場合の記録フレーム、図５（ｃ）は動画撮影中の静止画記録フレームの一例を示す。本実施例に係わる画像処理装置は、動画撮影（記録）が終了した後、記録された動画データの所定数のフレームを合成して静止画データを生成する。その際、所定数の動画フレームの焦点面の位置をそろえるため、動画データのフレーム画像を再構成してリフォーカス画像を生成し、生成したリフォーカス画像を合成する。
【００３７】
ステップＳ４０５では、画像合成部１０７が、予め設定されたシャッタースピードや露出補正値（静止画撮影条件）と動画記録フレームレートから静止画生成時の合成フレーム数を算出し、決定する。図５（ｂ）、（ｃ）に示すように、動画記録のフレームレートが１２０ｆｐｓである場合にシャッタースピードが１／３０秒の静止画５１１を撮影するように設定された場合には、合成フレーム数は動画記録フレーム５０５〜５０８の４フレームとなる。また露出補正値が＋１、すなわち１段分明るく補正した静止画５１２を撮影する場合は、合成フレーム数は動画記録フレーム５０９〜５１０の２フレームとなる。合成フレームとして選定される動画記録フレームは、静止画撮影操作時のフレームを基準フレームとして、それ以降のフレームが合成フレーム数だけ選定される。ステップＳ４０５で画像合成部１０７により静止画を生成するために合成するフレーム数が決定されると、システム制御部１０８は、処理動作をステップＳ４０６に進める。
【００３８】
ステップＳ４０６では、画像処理部１０４が現在処理している動画フレームが、ステップＳ４０５で画像合成部１０７が選定した合成対象のフレームであるか否かを判定する。ステップＳ４０６で現在の処理フレームが合成対象フレームであると判定された場合は、システム制御部１０８は処理動作をステップＳ４０７に進め、合成対象フレームでないと判定された場合は、ステップＳ４０８に進める。
【００３９】
ステップＳ４０７では、画像合成部１０７が、合成対象フレームにマーカーを付ける。図５の場合は、動画フレーム５０５から５０８および５０９から５１０にマーカーが付される。これにより、動画撮影後の静止画画像の生成のために合成される動画フレームが容易に抽出される。ステップＳ４０７でマーカー処理が完了すると、システム制御部１０８は、処理動作をステップＳ４０８に進める。
【００４０】
ステップＳ４０８では、画像処理部１０４によって生成された記録用データが、システム制御部１０８を介して撮像装置１００の不図示の記憶媒体スロットに挿入されている記憶媒体に記憶部１１１により記録される。また、表示用データはシステム制御部１０８を介して、表示部１１０に表示される。ステップＳ４０８で動画記録処理が完了すると、システム制御部１０８は、処理動作をステップＳ４０９に進める。
【００４１】
ステップＳ４０９では、システム制御部１０８は、操作部１０９によって動画撮影の停止操作が行われたか否かを判定する。ステップＳ４０９で動画撮影の停止操作が行われたと判定した場合は、システム制御部１０８は、処理動作をステップＳ４１０に進める。一方、ステップＳ４０９で停止操作が行われなかった場合には、処理動作をステップＳ４０１に戻し、次のフレーム処理を開始させる。
【００４２】
ステップＳ４１０では、システム制御部１０８は、動画撮影中に静止画撮影が行われたか否かを判定する。静止画撮影が行われていた場合は、処理動作をステップＳ４１１に進め、静止画撮影が行われていなかった場合には、動画撮影動作を終了する。
【００４３】
ステップＳ４１１では、画像処理部１０４が、動画撮影中に行われた静止画撮影で得られる静止画の生成を行う。
【００４４】
ステップＳ４１１の静止画生成処理を図４（ｂ）のフローチャートを用いて説明する。図４（ｂ）は、静止画生成処理のフローチャートを示す図である。
【００４５】
静止画生成処理が開始されると、まずステップＳ４１２でリフォーカス画像生成部１０６が、静止画を生成するために合成される動画の複数のフレームの仮想焦点面を決定する。図５の（ａ）、（ｂ）に示すように、動画撮影中にフォーカスレンズが駆動されて焦点面５０１が変化している場合、撮影された動画の各フレーム５０５〜５０８における焦点面は異なる。このため、例えば複数の動画フレーム５０５〜５０８を合成すると、焦点面が一意に定まらない画像が生成されてしまう。そこで本実施例では、合成後の静止画において焦点面が一意に決定するように、合成前の各フレームに対して再構成処理によりリフォーカス画像を生成することで、各フレーム画像の焦点面を統一する。リフォーカス画像の仮想焦点面は、合成される各動画フレームの焦点面の中間値として決定する。例えば、動画の記録フレーム５０５〜５０８の４フレームを合成する場合に、最も至近側の焦点面５０２と最も無限遠側の焦点面５０３の中間値である焦点面５０４を、再構成処理によりリフォーカス画像を生成するときの仮想焦点面する。
【００４６】
なお、各動画フレームの焦点面情報は、焦点検出部１０５によって取得される。動画撮影において、焦点検出部１０５は始めに、オートフォーカス領域内単位画素の分割がその撮像信号から瞳分割像を生成する。既に撮像素子１０２の説明で述べたように、分割画素２０２および２０３は、それぞれ射出瞳上の異なる領域を通過した光束を受光する。従って、マイクロレンズの中央に対して対称の位置関係にある各分割画素ついてその出力を集めることで、一対の瞳分割された信号（瞳分割像）を得ることができる。次に、焦点検出部１０５は、得られた一対の瞳分割像に対して相関演算を行い、信号の差、つまり像ズレ量を算出する。相関演算では、一対の瞳分割像を水平方向にシフトさせながら重なり合う画素毎の差分値の絶対値を積分することで評価値を取得する。次に評価値が最も低くなる位置、すなわち瞳分割像の一致度が最も高くなる位置までの像のシフト量を算出する。焦点検出部１０５は、このシフト量に基づいて撮影光学系１０１の駆動量を決定し、決定された駆動量に従ってシステム制御部１０８が撮影光学系を駆動して焦点面調節を行う。この際、焦点検出部１０５は、焦点調節後のフォーカスレンズ位置から各フレームについて焦点面情報を出力する。なお、これらの技術は公知であるため、詳細は省略する。また、ここでは評価値として瞳分割像間の各画素の差分の絶対値を用いる例について説明したが、差分値の２乗和、またはそれ以外の方法によって評価値を取得してもよい。
【００４７】
ステップＳ４１３では、リフォーカス画像生成部１０６がステップＳ４１２で決定した仮想焦点面に基づき、マーカーによって識別される合成対象の複数フレームに対してリフォーカス画像生成処理を行い、合成する複数フレームの焦点面を統一する。
【００４８】
ここで図６を参照して、リフォーカスの原理について説明する。図６は、リフォーカス処理の動作を説明するための図である。
【００４９】
図６（ａ）は、撮像素子１０２のある領域における入射光と焦点面の撮像時における関係を示している。焦点面がマイクロレンズ２０１のアレイ面にあり、撮像素子の撮像面には焦点の合った被写体像が形成されている。従って、各マイクロレンズ２０１の分割画素には、同じ種類の線（実践、破線、点線等）で示されて光束が入射している。
【００５０】
図３で説明した射出瞳領域３０２および３０３を通過した光束はマイクロレンズにより瞳分割され、分割画素で受光される。分割画素６０２、６０４、６０６、６０８、６１０では射出瞳領域３０２を通過した光束を、分割画素６０１、６０３、６０５，６０７、６０９では射出瞳領域３０３を通過した光束をそれぞれ受光する。分割画素６０１と６０２、６０３と６０４、６０５と６０６、６０７と６０８、６０９と６１０それぞれについて撮像信号を加算すれば、単位画素の解像度を有するピントの合った被写体像の画像データが得られる。図６（ｂ）は、このことを模式的に示した図である。同一マイクロレンズ下の分割画素６０１および６０２、６０３および６０４、６０５および６０６、６０７および６０８、６０９および６１０をそれぞれ加算することによって、同一の種類の線が結像した画像を得ることが出来る。
【００５１】
図６（ｃ）は、リフォーカス画像が生成される仮想焦点面１における入射光と分割画素の対応を模式的に示す図である。図示するように、それぞれの分割画素の画素データは、図６（ａ）で示した光線情報を有している。そのため、仮想焦点面１における単位画素の撮像データは、図６（ａ）において得られた画素データをシフトして加算することで得られる。図６（ｄ）は、この異なる種類の線の結像した画素データの加算であるシフト加算を模式的に示している。図６（ｄ）に示すようにシフト加算を行うことで得られる画像データは、仮想焦点面１で得られた画像データと等価であるものとして扱うことが出来る。
【００５２】
図６（ｅ）、（ｆ）は、図６（ｃ）とは逆方向に仮想焦点面２を設定した場合のシフト加算を示している。図６（ｅ）に示すような仮想焦点面２で得られる信号と等価な信号が、図６（ｆ）のシフト加算で得ることが出来る。
【００５３】
このようにシフト加算（再構成処理）を用いることで任意の被写体領域にピントの合ったリフォーカス画像を生成することが出来る。以上説明した再構成処理により、ステップＳ４０７で決定した仮想焦点面に対応したリフォーカス画像を生成する。
【００５４】
なお、ここではマイクロレンズ２０１に対して分割画素が２つである場合の例を用いてリフォーカス処理の方法を説明したが、本発明の範囲はこれに限定されるものではない。分割画素の数等の画素構造や光学系の構成に応じた再構成処理を行うことで仮想焦点面に対応したリフォーカス画像を得ることができればよい。これらは公知の技術であるため、詳細は省略する。
【００５５】
また、説明を簡単するため、簡易なシフト加算演算によるリフォーカス画像の生成処理の例を示したが、これに限定されるものではなく、別の方法を用いて仮想焦点面におけるリフォーカス画像を得ても良い。例えば特許文献２に記載のように、重み付け加算による処理を行うようにしても良い。
【００５６】
次にステップＳ４１４では、画像合成部１０７が、仮想焦点面に基づいて生成された複数のリフォーカス画像を合成し、予め設定されたシャッタースピードや露出補正値に応じた静止画を生成する。
【００５７】
上述したように、本実施例では、合成する複数の動画フレームに対して再構成によるリフォーカス画像の生成処理を行うことで複数フレームの仮想焦点面を統一しているので、複数フレームを合成しても焦点面が一意に定まった静止画の生成が可能となる。
【００５８】
露出補正を伴うシャッタースピードの変更の効果を得る場合は、加算合成をすることにより明るくした画像を生成する。また、シャッタースピードが設定された場合には、撮影者は露出を変化することは意図していないため、加算平均合成により見かけ上の感度を下げた静止画を生成する。加算合成を繰り返すと露出オーバーとなる可能性があるため、加算平均合成により合成フレーム数が多くなったとしても、常に標準露出になるように調整する。
【００５９】
なお、ここでは加算合成、加算平均合成による合成処理の例を示したが、これに限定されるものではなく、目的に応じて別の方法を用いて合成処理を行ってもよい。例えば、露出の正規化を用いた合成処理を行うようにしてもよい。
【００６０】
最後に、ステップＳ４１５では、ステップＳ４１４で生成した静止画データを、システム制御部１０８を介して撮像装置１００の不図示の記憶媒体スロットに挿入されている記憶媒体に記憶部１１１により記録する。また、設定により静止画の確認用データを、システム制御部１０８を介して、表示部１１０に一時的に表示することも可能である。静止画記録処理が完了すると静止画生成処理を終了し、動画撮影処理動作を終了する。
【００６１】
以上説明したように、本実施例によれば、動画撮影中の静止画記録を行う場合、静止画撮影条件に基づいた複数の動画フレームを、リフォーカスにより焦点面を仮想焦点面に統一した後に合成する。これにより、動画記録フレームレートに依存しない露光時間で、焦点面が一意に決定された良好な静止画像を生成することが可能となる。
【００６２】
リフォーカス後のフレーム合成は、単純加算合成を行うことにより、シャッタースピードを遅くし、露出を上げた静止画を得ることが可能となる。一方、加算平均合成を行うことにより、シャッタースピードを遅くし、露出が変わらない静止画を得ることができるため、見かけ上の感度を下げることが可能となる。
【００６３】
本実施例では、動画撮影中に静止画撮影操作に従って静止画を生成する処理動作について説明したが、これに限られるものでなく、動画記録データの再生時に任意のタイミング、設定で静止画を生成することも可能である。この場合、本実施例に係わる画像処理装置は、静止画撮影の設定処理を画像処理装置に持たせることで、動画データの再生機能を有するＰＣ等の情報処理装置においても実現可能である。
【００６４】
また、合成する複数フレーム選定の際は、静止画撮影操作が行われた時点のフレームを基準とし、それ以降のフレームから必要フレーム数だけ選定する例を説明した。本発明はこれに限られるものではなく、静止画撮影操作もしくは指定された任意のタイミングのフレームを、中間フレームもしくは最終フレームとなるような設定にしてもよい。これによりシャッターの先幕、後幕のタイミングを変えた時と同様の効果を得ることが可能である。
【００６５】
また、リフォーカスを行う際の仮想焦点面の決定方法は、合成する全フレームの中間値にあたる焦点面とする例を説明した。しかしながら本発明はこれに限られるものではなく、静止画撮影操作時もしくは指定された任意のタイミングのフレームの焦点面としてもよい。また、合成する複数フレームの先頭のフレームまたは最後のフレームの焦点面としてもよい。焦点面を変化させることで、撮影者の意図した画像や思いがけない画像を得ることが可能である。
【００６６】
また、合成する複数フレームにおいて焦点面が変化していなかった場合には、仮想焦点面の決定（Ｓ４１２）およびリフォーカス画像の生成（Ｓ４１３）の処理を行わないことで、処理負荷および消費電力を低減することが可能である。
【実施例２】
【００６７】
次に図７、８を用いて本発明の第２の実施例について説明する。本実施例では、第１の実施例で説明した静止画生成処理（Ｓ４１１）を、記録された複数フレームから成る動画像のフレームレートを低い値に変換することで静止画像を生成する処理動作として達成する画像処理装置を適用した撮像装置について説明する。撮像装置の構成は第１の実施例と同様であるので、その説明は省略する。また、動画撮影の処理動作も、第１の実施例（図４（ａ））と同様である。ただし、本実施例では、静止画生成処理動作を、動画撮影終了後に撮像装置１００の操作部１０９の操作により開始する構成としているので、ステップＳ４０４からＳ４０７は実行する必要はない。しかし、例えば、操作部１０９により、動画撮影中に、変換後のフレームレートやフレームレートの変換対称とする動画データの範囲を指定するように構成にした場合は、実行するようにしてもよい。以下、図７および８を参照して、本実施例の静止画生成処理動作を説明する。
【００６８】
図７は、本実施例に係わる静止画生成処理動作のフローチャートを示す図である。また、図８は、記録した動画像のフレームレートを１２０ｆｐｓから３０ｆｐｓに変換する場合の静止画生成処理動作を模式的に示した図である。なお、図７において、第１の実施例と同様の部分は同じ符号を付して示す。また、図８についても、第１の実施例と同様の部分は同じ符号を付して示す。
【００６９】
撮像装置１００の操作部１０９により静止画生成処理動作の開始操作が実行されると、システム制御部１０８は、図７のフローチャートの処理動作を実行する。なお、この操作部１０９による操作があるかどうかの判定は、第１の実施例のステップＳ４１０に対応する。
【００７０】
ステップＳ７０１では、システム制御部１０８は、表示部１１０に変換可能なフレームレートのリストを表示し、操作部１０９による入力に従って変換フレームレートを設定する。変換フレームレートの設定がなされると、システム制御部１０８は、処理動作をステップＳ４０５に進める。
【００７１】
ステップＳ４０５では、画像合成部１０７が、第１の実施例と同様に、設定されたフレームレートに基づいて合成に用いるフレームの数を算出し、決定する。図８に示すように、１２０ｆｐｓから３０ｆｐｓにフレームレートを変換する場合は、動画記録フレーム８０１〜８０４、８０５〜８０８、８０９〜８１２というように合成するフレームの数は４フレームとなる。ステップＳ４０５で合成フレーム数が決定されると、システム制御部１０８は、処理動作をステップＳ７０２に進める。
【００７２】
ステップＳ７０２では、システム制御部１０８が、記録された動画データ中に未変換のデータが残っているか否かを判定する。未変換のデータが残っている場合はステップＳ４１２に進み、未変換のデータが残っていない場合には静止画生成処理動作を終了する。
【００７３】
ステップＳ４１２〜Ｓ４１４では、第１の実施例と同様に仮想焦点面を決定し、合成する複数フレームについて焦点面を統一したリフォーカス画像を生成して合成し、変換後のフレーム８１３〜８１５を生成する。なお、ステップＳ４１４の画像合成では、合成による露出オーバーにならないように加算平均合成もしくは正規化を行う。ステップＳ４１４で画像合成により新たなフレームが生成されると、システム制御部１０８は、処理動作をＳ７０３に進める。
【００７４】
ステップＳ７０３では、ステップＳ４１４で生成されたフレームレートの変換による静止画データが、システム制御部１０８を介して撮像装置１００の不図示の記憶媒体スロットに挿入されている記憶媒体に記憶部１１１により記録される。静止画データの記録処理が終了すると、システム制御部１０８は、処理動作をステップＳ７０２に戻し、すべての動画データのフレームレートの変換が完了するまでステップＳ７０２、Ｓ４１２〜Ｓ４１４、Ｓ７０３の処理動作を繰り返す。
【００７５】
以上説明したように、第２の実施例によっても、焦点面を統一した後に画像合成を行って静止画生成を行っているので、焦点面が一意に定まった良好な静止画を生成することが可能となる。
【００７６】
なお、ステップＳ７０１において、フレームレートの変換対象とする動画データの範囲も指定するようにしてもよい。その場合、ステップＳ７０２の判定は、指定された動画データに範囲について行う。
なお、本実施形態では、以下で図２、３に示すような光学系によってライトフィールドデータを取得しているが、撮像手段としてはこれに限らない。例えば特開２０１１−２２７９６号公報のように、複数の視点の異なるカメラをまとめて撮像部１００２とみなす構成でもよい。また、図２、３の光学系と異なり、物体平面と撮像素子が共役の関係にあるように、マイクロレンズアレイ上で撮影光学系からの光束を結像させ、その結像面に撮像素子を設ける構成でもよい。さらには、マイクロレンズアレイ上で撮影光学系からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる）、その結像面に撮像素子を設けるような構成でも良い。また、適当なパターンを施したマスク（ゲイン変調素子）を撮影光学系の光路中に挿入する方法も利用できる。
【００７７】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても達成される。すなわち、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても本件発明の目的が達成されることは言うまでもない。
【００７８】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００７９】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００８０】
また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）などが実際の処理の一部又は全部を行うことによっても前述した実施形態の機能が実現される。この場合も本件発明に含まれることは言うまでもない。
【００８１】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づく処理も本件発明に含まれる。すなわち、機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等がプログラムコードの指示に基づき実際の処理の一部又は全部を行って前述した実施形態の機能を実現する場合も本件発明に含まれることは言うまでもない。
【００８２】
上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図１】
2015194897.tif 000003
【図２】
2015194897.tif 000004
【図３】
2015194897.tif 000005
【図４】
2015194897.tif 000006
【図５】
2015194897.tif 000007
【図６】
2015194897.tif 000008
【図７】
2015194897.tif 000009
【図８】
2015194897.tif 000010