(57)【要約】【課題】サーチ再生で再生される動画の視認性を向上させることのできる画像処理装置を提供すること。【解決手段】被写体から入射された光線の方向及び強度を示す情報を含む画像データを用いて、フォーカス位置が変更されたリフォーカス画像を生成するリフォーカス画像生成手段と、動画の再生モードの種類に応じて、動画の再生に用いられるリフォーカス画像の被写界深度を設定する被写界深度設定手段とを備えることを特徴とする。【選択図】図６
2016082475.tif 000002
【特許請求の範囲】
【請求項１】
被写体から入射された光線の方向及び強度を示す情報を含む画像データを用いて、フォーカス位置が変更されたリフォーカス画像を生成するリフォーカス画像生成手段と、
動画の再生に係る再生モードの種類に応じて、前記動画の再生に用いられるリフォーカス画像の被写界深度を設定する被写界深度設定手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記再生モードは、通常再生モード及びサーチ再生モードを含み、
前記サーチ再生モードは前記通常再生モードよりも高速に再生が行われる再生モードであることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記サーチ再生モードでの再生に用いられるリフォーカス画像の被写界深度は、前記通常再生モードでの再生に用いられるリフォーカス画像の被写界深度よりも深い
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記被写界深度設定手段は、前記サーチ再生モードの再生速度に応じて被写界深度を設定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記リフォーカス画像生成手段は、フォーカス位置が異なる複数のリフォーカス画像を結合することにより前記サーチ再生モードに用いられるリフォーカス画像を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記リフォーカス画像生成手段は、所定のフレーム数ごとに前記サーチ再生モードに用いられるリフォーカス画像を生成することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記リフォーカス画像生成手段は、前記画像データの撮影後から前記サーチ再生モードでの再生が行われるまでの期間に、サーチ再生モードに用いられる画像を作成し、記録メディアに記録することを特徴とする請求項２に記載の画像処理装置。
【請求項８】
被写体から入射された光線の方向及び強度を示す情報を含む画像データを用いて、フォーカス位置が変更されたリフォーカス画像を生成するステップと、
動画の再生モードの種類に応じて、前記動画の再生に用いられるリフォーカス画像の被写界深度を設定するステップと
を備えることを特徴とする画像処理装置の制御方法。
【請求項９】
被写体から入射された光線の方向及び強度を示す情報を含む画像データを用いて、フォーカス位置が変更されたリフォーカス画像を生成するリフォーカス画像生成手段、及び
動画の再生モードの種類に応じて、前記動画の再生に用いられるリフォーカス画像の被写界深度を設定する被写界深度設定手段
としてコンピュータを機能させることを特徴とする画像処理装置の制御のためのプログラム。
【請求項１０】
請求項９に記載のプログラムを格納した、コンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影後にフォーカス位置が変更された画像を生成可能な画像処理装置、その制御方法及びプログラムに関する。
【背景技術】
【０００２】
近年、撮影後にフォーカス位置を変更できるカメラとしてライトフィールドカメラと呼ばれるカメラが提案されている。このカメラは、被写体からの光線が撮像面に入射した位置を示す位置情報に加え、入射した角度を示す角度情報を含む光線情報を取得する。この光線情報はライトフィールドデータ（以下、ＬＦデータという）と呼ばれる。
【０００３】
非特許文献１には、主レンズと撮像素子の間に多数のマイクロレンズが配置されており、入射された光線をマイクロレンズにより分光して、分光された各々の光線を撮像素子で受光することでＬＦデータを取得する撮像装置が開示されている。非特許文献１では、ＬＦデータを用いて仮想結像面における画像データを演算することで、撮影時とは異なるフォーカス位置の画像を生成するリフォーカス技術が開示されている。
【０００４】
特許文献１には、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を用いた撮像装置が開示されている。分割された光電変換部は、撮影レンズの射出瞳のうちの異なる瞳部分領域を通過した光を１つのマイクロレンズを介して受光するように構成される。これらの分割された光電変換部それぞれからの光電変換信号によって、分割された瞳部分領域に応じた複数の視差画像を生成することができる。得られた複数の視差画像を用いて、フォーカスしたい箇所を合成処理することにより撮影後にフォーカス位置を変更することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第４４１０８０４号明細書
【非特許文献】
【０００６】
【非特許文献１】Ren Ng他 “Light Field Photography with a Hand-held Plenoptic Camera”,  Stanford Tech Report CTSR 2005-02
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述したようなライトフィールド処理技術は、動画撮影にも応用することができる。動画フォーマットの再生では、静止画フォーマットの再生にはない早送りや巻き戻しといったサーチ再生が行われ得る。ライトフィールド画像はユーザによってリフォーカスされる場合があり、ライトフィールド画像としてしばしば被写界深度の浅いリフォーカス画像が用いられる。そのため、被写界深度が浅い画像のまま動画のサーチ再生を行うと、ユーザにとって視認性が悪く所望のシーンが探しにくいという問題がある。
【０００８】
本発明は、上述した課題を解決すべくなされたものであり、その目的とするところは、サーチ再生で再生される動画の視認性を向上させることのできる画像処理装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の一側面に係る画像処理装置は、被写体から入射された光線の方向及び強度を示す情報を含む画像データを用いて、フォーカス位置が変更されたリフォーカス画像を生成するリフォーカス画像生成手段と、動画の再生モードの種類に応じて、動画の再生に用いられるリフォーカス画像の被写界深度を設定する被写界深度設定手段とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、サーチ再生で再生される動画の視認性を向上させることのできる画像処理装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】（ａ）は主レンズ、マイクロレンズ、撮像素子の位置関係を示す図であり、（ｂ）はマイクロレンズと画素の対応関係を示す図である。
【図３】被写体から出射され、撮像素子に入射される光の光路を示す図である。
【図４】主レンズと撮像素子の位置関係を示した模式図である。
【図５】主レンズ面、リフォーカス面及びマイクロレンズの撮像面の位置関係を示した模式図である。
【図６】本発明の第１の実施形態に係るリフォーカス処理部のより詳細な構成を示す図である。
【図７】本発明の第１の実施形態に係るリフォーカス処理部での処理を説明するフローチャートである。
【図８】本発明の第２の実施形態に係るリフォーカス処理部のより詳細な構成を表すブロック図である。
【図９】本発明の第２の実施形態に係るリフォーカス処理部での処理を説明するフローチャートである。
【図１０】４フレームごとにサーチ再生用画像を作成する場合のフレーム構成を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明に係る例示的な実施の形態を、図面に基づいて詳細に説明する。
【００１３】
（第１の実施形態）
本発明の第１の実施形態に係る画像処理装置について説明する。図１は実施例１の構成を示すブロック図である。
【００１４】
画像処理装置１００は、主レンズ１０１、マイクロレンズアレイ１０２、撮像素子１０３、ＬＦデータ入力部１０４、映像出力部１０９、表示パネル１１０、リフォーカス処理部１１４、メモリ１１６、メディアＩ／Ｆ１１７及び記録メディア１１８を備える。また、画像処理装置１００は、さらにコントローラ１１９、操作部１２０及びメモリバス１２１を備える。
【００１５】
主レンズ１０１は、単一又は複数のレンズからなる結像光学系であり、前面（図１の左側）から入射された被写体の光は、マイクロレンズアレイ１０２に出射される。マイクロレンズアレイ１０２は、複数のマイクロレンズから構成されており（図示せず）、主レンズ１０１と撮像素子１０３の間に配置される。主レンズ１０１から入射された光は、マイクロレンズアレイ１０２によって入射角度に応じて分光され、撮像素子１０３に出射される。より詳細には、マイクロレンズアレイ１０２は、主レンズ１０１の焦点位置近傍に配置されている。主レンズ１０１の異なる瞳領域を通過した光は瞳領域ごとに分割されて出射される。
【００１６】
撮像素子１０３は、マイクロレンズアレイ１０２から入射された光を光電変換して電気信号に変換する複数の画素（光電変換素子）がマトリクス状に配置されたＣＣＤセンサ又はＣＭＯＳセンサである。撮像素子１０３は、光電変換により生成された電気信号を撮像信号としてＬＦデータ入力部１０４へ出力する。
【００１７】
ＬＦデータ入力部１０４は、撮像素子１０３から入力された撮像信号をデジタル信号に変換し、撮像フレームの１フレーム単位で、例えばＪＰＥＧ等の所定の画像ファイル形式へ変換する現像処理を行ってＬＦデータに変換する。ＬＦデータ入力部１０４は、メモリ１１６内のバッファ領域となるＬＦデータ領域に、変換されたＬＦデータを記憶する。現像処理とは、色補正、解像度、画像圧縮等のデジタル画像データに関するパラメータを用いてデジタル画像データの画質を変更又は調整する処理である。
【００１８】
映像出力部１０９は、メモリ１１６の映像信号領域からリフォーカス映像を読み出し、表示パネル１１０と、図示しない映像出力端子とに出力する。表示パネル１１０は、映像出力部１０９から入力された映像信号を映像として表示する。表示パネル１１０は、撮影時には撮影中のリフォーカス画像が表示され、動画再生時には再生モードの種類に応じたＬＦデータの画像が表示される。
【００１９】
リフォーカス処理部１１４は、通常再生（リフォーカス再生）モード、高速再生であるサーチ再生モードにおいて、メディアＩ／Ｆ１１７によってメモリ１１６のＬＦデータ領域に格納されたＬＦデータを読み出してリフォーカス処理を行う。リフォーカス処理によって生成された映像データは、メモリ１１６の映像信号領域に格納される。
【００２０】
なお、通常再生モードは、ユーザが動画を視聴するための再生モードである。通常再生モードでは、典型的には撮影時と同程度の再生速度で再生が行われる。サーチ再生モードは、早送り、巻き戻し等のユーザが動画中の所望のシーンを探索するための動作を含む再生モードである。サーチ再生モードでは、通常再生モードよりも高速に再生が行われる。サーチ再生モードにおける高速再生は、典型的には動画を構成する画像のうち一部を間引くことにより行われるが、単位時間あたりに表示するフレーム数を多くすることにより行ってもよい。
【００２１】
メモリ１１６は高速でランダムアクセス可能なダイナミックＲＡＭ（Random Access Memory）であり、ワークメモリとして利用される。メモリ１１６は、例えばＬＦデータ領域、映像信号領域等として利用される。メモリ１１６には各種プログラムが格納されており、コントローラ１１９によって各種プログラムが実行される。
【００２２】
メディアＩ／Ｆ１１７は、記録メディア１１８に対してデータの読み書きを制御するインターフェースである。撮影時には、メディアＩ／Ｆ１１７は、ＬＦデータ入力部１０４によってメモリ１１６のＬＦデータ領域に格納されたＬＦデータ、すなわち撮影中のＬＦデータを読み出して、記録メディア１１８に格納する。通常再生時には、メディアＩ／Ｆ１１７は、記録メディア１１８から記録されたＬＦデータのうちの全データを読み出して、メモリ１１６のＬＦデータ領域に格納する。サーチ再生時には、記録メディア１１８から記録されたＬＦデータを所定のフレームごと（例えば、４倍速再生であれば４フレームごと）に読み出して、メモリ１１６のＬＦデータ領域に格納する。
【００２３】
記録メディア１１８はハードディスクドライブ、不揮発半導体メモリ（例えばフラッシュメモリ）などの記録媒体である。記録メディア１１８は、ＦＡＴ（File Allocation Table）などのファイルシステム形式でデータを記録する。
【００２４】
コントローラ１１９は、画像処理装置１００のシステム全体を制御するコントローラであり、いわゆるＣＰＵ（Central Processing Unit）である。コントローラ１１９は、操作部１２０に対するユーザ（図示せず）の操作に基づき、画像処理装置１００の動作モードを、撮影する撮像モード、通常再生モード、高速再生であるサーチ再生モード等に制御する。
【００２５】
操作部１２０は、ユーザが操作する操作部であり、例えばシャッターボタン、動画を撮像する記録ボタン、撮像した動画を再生する再生ボタン、各種設定を行う設定ボタン等のボタン、及び表示パネル１１０の表面に配置されたタッチパネルセンサ等である。ユーザは、操作部１２０を操作することによって、撮影モード／通常再生モード／サーチ再生モードを変更することができる。ユーザが操作部１２０を操作することにより、各種操作信号が操作部１２０からコントローラ１１９に送信される。
【００２６】
ＬＦデータ入力部１０４、映像出力部１０９、リフォーカス処理部１１４、メモリ１１６、メディアＩ／Ｆ１１７及びコントローラ１１９は、メモリバス１２１に接続されている。ＬＦデータ入力部１０４、映像出力部１０９、リフォーカス処理部１１４、メディアＩ／Ｆ１１７及びコントローラ１１９は、メモリバス１２１を経由してメモリ１１６に対してデータの書き込み・読み取りを行う。メモリバス１２１は、各構成要素からのメモリアクセス要求を調整し、時分割でメモリ１１６へのデータ読み書きを行うよう制御する。
【００２７】
次に、撮影時における主レンズ１０１、マイクロレンズアレイ１０２、撮像素子１０３、ＬＦデータ入力部１０４の動作について、図２（ａ）、図２（ｂ）、図３及び図４を参照しながら詳細に説明する。
【００２８】
図２（ａ）は、主レンズ１０１、マイクロレンズアレイ１０２、撮像素子１０３の位置関係を示す模式図である。図２（ａ）に示されるように、マイクロレンズアレイ１０２は、主レンズ１０１と撮像素子１０３との間に位置しており、マトリクス状に配置された複数のマイクロレンズ１０２ａを有している。なお、本実施形態におけるマイクロレンズ１０２ａの大きさ及び個数は図示されているものに制限されるものではない。
【００２９】
また、図２（ｂ）は、マイクロレンズ１０２ａと撮像素子１０３に含まれる画素１０３ａとの対応関係を示す図である。図２（ｂ）に示されるように、１つのマイクロレンズ１０２ａに対し、撮像素子１０３内のｎ×ｍ個の画素１０３ａが対応するように配置されている。１つのマイクロレンズ１０２ａに対応する画素１０３ａの個数（すなわち、ｎ×ｍ個）によって光線の分割数が決定される。図２（ｂ）には、一例として１つのマイクロレンズ１０２ａに対し５×５個の画素１０３ａが配置されている状態が示されている。
【００３０】
図３は主レンズ１０１、マイクロレンズ１０２、撮像素子１０３への入射光の光路を示す図である。被写体３０５のうちの１点である点３０７から放たれた光束は主レンズ１０１に入射され、主レンズ１０１によって集光されてマイクロレンズ３０２の表面の結像面３０８に投射される。投射された光はマイクロレンズ３０２において光の入射角度に応じて分光され、撮像素子１０３の画素３２１〜３２５で受光される。画素３２１〜３２５で受光された光は光電変換され撮像信号として出力される。
【００３１】
画素３２１で受光される光は光路３１１を経由した光束である。同様に、画素３２２〜３２５で受光される光はそれぞれ光路３１２〜３１５を経由した光束である。すなわち、画素３２１〜３２５で受光される光は、同じ点から出射された光であるが、光線の入射角度によって別々の画素に受光される。
【００３２】
撮像素子１０３から出力された撮像信号はＬＦデータ入力部１０４に入力される。ＬＦデータ入力部１０４は、撮像信号をデジタル化し、現像処理を行ってＬＦデータに変換し、メモリ１１６のＬＦデータ領域に格納する。その後、メモリ１１６に格納されたＬＦデータは、コントローラ１１９により記録メディア１１８に記録される。
【００３３】
次に通常再生時における信号処理について説明する。コントローラ１１９は、記録メディア１１８に格納されたＬＦデータの１フレーム分の全データをメディアＩ／Ｆ１１７を経由して読み出して、メモリ１１６内のＬＦデータ領域に格納する。リフォーカス処理部１１４は、メモリ１１６のＬＦデータ領域に格納されたＬＦデータを元にリフォーカス処理を行い、メモリ１１６のフレーム画像データ領域にフレーム画像データを格納する。リフォーカス処理に関しては後述する。
【００３４】
上記の動作を連続して行いフレーム画像データがメモリ１１６のフレーム画像データ領域に作成されると、映像出力部１０９はメモリ１１６のフレーム画像データ領域からフレーム画像データを読み出し、動画を生成する処理を行い、動画信号を生成する。生成された動画信号は表示パネル１１０に出力され、表示パネル１１０に動画の映像が表示される。
【００３５】
次にリフォーカス処理部１１４において行われるリフォーカス画像の生成について詳細を説明する。リフォーカス画像の生成は、具体的には「Light Field Photography」手法に基づき次のように行われる。
【００３６】
まず、光線情報を表す関数ＬＦ（ｘ、ｙ、ｕ、ｖ）について説明する。図４は主レンズ１０１と撮像素子１０３の位置関係を単純化して示した模式図である。主レンズ１０１の座標軸をｕ、ｖとし、撮像素子１０３の座標軸をｘ、ｙとし、主レンズ１０１と撮像素子１０３の距離をＦとする。このとき、主レンズ１０１及び撮像素子１０３を通過する光線Ｌは４次元関数ＬＦ（ｘ、ｙ、ｕ、ｖ）で定義される。
【００３７】
次にリフォーカス画像生成における演算方法について説明する。図５は、主レンズ面５０１、リフォーカス係数αによって定まるリフォーカス面５０２、マイクロレンズの撮像面５０３の位置関係を示す図である。レンズ面５０１の上の点ｕから入射し、リフォーカス面５０２上の点ｘ’を通過する光線Ｌはマイクロレンズの撮像面５０３上の点ｘに到達する。ここで、直進する光線Ｌがリフォーカス面５０２上の点ｘ’とマイクロレンズの撮像面５０３上の点ｘとを通過していることから、ｘ＝ｕ＋（ｘ’−ｕ）／αとなる。同様に、主レンズ面５０１の座標（ｕ、ｖ）より入射し、リフォーカス面５０２の座標（ｘ’、ｙ’）を通過する光線のマイクロレンズの撮像面での受光信号は、光線Ｌを表す関数ＬＦ（ｘ、ｙ、ｕ、ｖ）を用いて式（１）のように表すことができる。
【数１】
2016082475.tif 000003
【００３８】
また、リフォーカス面で得られるリフォーカス画像ＥＦ’（ｘ’、ｙ’）は、関数ＬＦ（ｘ、ｙ、ｕ、ｖ）を主レンズ面のｕ軸、ｖ軸に対して積分したものであるため、式（２）のように表すことができる。リフォーカス画像は式（２）の演算処理により生成される。
【数２】
2016082475.tif 000004
【００３９】
以上のようにして、被写体から入射された光線の方向及び強度を示す情報を含む、マイクロレンズの撮像面５０３で取得された画像データを用いて、リフォーカス面におけるリフォーカス画像ＥＦ’（ｘ’、ｙ’）を算出することができる。リフォーカス面は任意に設定することができるため、本手法によれば、撮影後に任意の位置にフォーカス位置を変更することができる。
【００４０】
図６は、リフォーカス処理部１１４のより詳細な構成を示す図である。リフォーカス処理部１１４は被写界深度設定部６０１とリフォーカス画像生成部６０２を含む。図７はリフォーカス処理部１１４での処理を説明するフローチャートである。図６及び図７を参照しながらリフォーカス処理部１１４で行われる処理を説明する。
【００４１】
ユーザが操作部１２０に通常再生又はサーチ再生の指示を入力すると、コントローラ１１９は被写界深度設定部６０１に通常再生動作信号又はサーチ再生動作信号といった再生モードを示す信号を送信する。ステップＳ７０１において、被写界深度設定部６０１は、これらの再生モードを示す信号を受信する。ステップＳ７０２において、被写界深度設定部６０１は、受信された信号に基づき再生モードを判断し、再生モードに応じて式（２）の係数である主レンズ面５０１の座標（ｕ、ｖ）の積分範囲を決定する。
【００４２】
主レンズ面５０１の座標（ｕ、ｖ）の積分範囲を狭めることはレンズ口径を小さくすること（レンズ絞りを絞ること）に相当する。逆に主レンズ面５０１の座標（ｕ、ｖ）の積分範囲を広げることはレンズ口径を大きくすること（レンズ絞りを広げること）に相当する。これによりリフォーカス画像の被写界深度を変えることができる。
【００４３】
コントローラ１１９から入力された動作信号が通常再生動作信号である場合、主レンズ面５０１の座標（ｕ、ｖ）の積分範囲は主レンズ面５０１の全体とする（ステップＳ７０３に移行する）。コントローラ１１９から入力された動作信号がサーチ再生動作信号である場合、サーチ再生の倍速値に応じて主レンズ面５０１の座標（ｕ、ｖ）の積分範囲を狭くする（ステップＳ７０４に移行する）。すなわち、サーチ再生の場合の方が通常再生の場合よりも、主レンズ面５０１の座標（ｕ、ｖ）の積分範囲が狭くなるように設定する。被写界深度設定部６０１は、このようにして設定された積分範囲をリフォーカス画像生成部６０２に送信する。
【００４４】
リフォーカス画像生成部６０２は、メモリ１１６のＬＦデータ領域から読み出されたＬＦデータと、被写界深度設定部６０１から受信された主レンズ面５０１の座標（ｕ、ｖ）の積分範囲とを用いて、式（２）によりリフォーカス画像を算出する。積分範囲が主レンズ面５０１の全体である場合、ステップＳ７０３において、フォーカス画像生成部６０２は被写界深度が浅いリフォーカス画像を生成する。積分範囲が狭くされている場合、ステップＳ７０４において、リフォーカス画像生成部６０２は被写界深度が深いリフォーカス画像を生成する。
【００４５】
リフォーカス画像生成部６０２は、生成されたリフォーカス画像をメモリ１１６のフレーム画像データ領域に格納する（ステップＳ７０５）。映像出力部１０９はメモリ１１６からこの画像を読み出して動画を生成し、表示パネル１１０に表示させる。
【００４６】
リフォーカス係数αは画像の中の合焦させるべき位置により異なる値となる。例えば、初回のリフォーカス処理では、リフォーカス係数αは、画像の中心位置が合焦位置となるように設定することができる。２回目以降のリフォーカス処理はユーザが任意に選択した箇所においてリフォーカス係数αを設定し、式（２）よりリフォーカス画像を作成することができる。
【００４７】
以上、説明したように、本実施形態の画像処理装置１００は、通常再生時には被写界深度が浅い画像を作成して表示させ、サーチ再生時には、被写界深度が深い画像を作成して表示させる。これにより、サーチ再生で再生される動画の視認性を向上させることができ、ユーザは所望のシーンを選択することが容易になる。
【００４８】
上記の説明では、サーチ再生を示す信号の入力を受けてから（すなわち、サーチ再生時に）、サーチ再生で表示する被写界深度が深いリフォーカス画像を生成しているが、画像の生成はサーチ再生よりも前に行っても良い。すなわち、撮影から記録の間、記録から再生の間などの再生よりも前の任意の期間に行うことができる。この場合、事前に作成された被写界深度が深いリフォーカス画像は、メディアＩ／Ｆ１１７を介して記録メディア１１８に記録される。サーチ再生時には、図７のステップＳ７０４、Ｓ７０５において、被写界深度が深いリフォーカス画像は、新たに生成されることなく記録メディア１１８からメモリ１１６に読み出される。
【００４９】
（第２の実施形態）
本発明の第２の実施形態に係る画像処理装置について説明する。本実施形態の画像処理装置の構成は、リフォーカス処理部の構成及び処理を除き、図１に示された第１の実施形態の画像処理装置の構成と同様であるため、説明を省略する。以下、本実施形態のリフォーカス処理部の構成について詳細を説明する。
【００５０】
図８はリフォーカス処理部のより詳細な構成を表すブロック図である。第２の実施形態のリフォーカス処理部１１４は、リフォーカス画像生成部８０１、合焦評価値算出部８０２、リフォーカス係数設定部８０３を含む。
【００５１】
通常再生が行われる場合において、第１の実施形態と同様に、リフォーカス画像生成部８０１によりリフォーカス画像が生成される。一例としては、ユーザが操作部１２０を用いて画像の位置を指定すると、その位置のリフォーカス面５０２の座標（ｘ’、ｙ’）からリフォーカス係数αが設定される。フォーカス係数αを式（２）に適用することにより、リフォーカス画像が生成される。この場合、式（２）の主レンズ面５０１の座標（ｕ、ｖ）の積分範囲は、主レンズ面５０１全体とする。
【００５２】
サーチ再生が行われる場合において、図８のリフォーカス画像生成部８０１、合焦評価値算出部８０２、リフォーカス係数設定部８０３によって、所定のブロックに分割されたリフォーカス画像が生成される。所定のブロックとは、リフォーカス画像生成後の画面全体の画素を所定の形状及びサイズで区分したものである、例えば、画面を行方向及び列方向に８等分した場合は、８×８＝６４個のブロックとなる。リフォーカス画像はブロックごとに生成される。各ブロックに対し、複数のリフォーカス係数によって複数のリフォーカス画像を生成する。その後、生成された各画像の合焦の程度を示す合焦評価値を算出し、最も合焦評価値が高いリフォーカス画像を選択する。これにより、各ブロックに対し、最も良く合焦した画像を選択することができる。
【００５３】
以上の処理をすべてのブロックに対して行うことで、ブロックごとに合焦したリフォーカス画像（すなわち、ブロックごとにフォーカス位置を異なる位置に最適化した画像）を得ることができる。これらのブロックを結合することにより、画面全体で合焦した画像を得ることができる。換言すると、被写界深度の深い画像を得ることができる。なお、第１の実施形態の場合とは異なり、本実施形態では、サーチ再生の際においても式（２）の主レンズ面５０１の座標（ｕ、ｖ）の積分範囲を主レンズ面全体としても被写界深度の深い画像を得ることができる。
【００５４】
図９は、リフォーカス処理部１１４におけるサーチ再生用画像の生成処理を示すフローチャートである。図８及び図９を参照しながらリフォーカス処理部１１４で行われる処理を説明する。
【００５５】
ステップＳ９０１において、リフォーカス係数設定部８０３は、リフォーカス係数αをデフォルト値に設定する。ステップＳ９０２において、リフォーカス画像生成部８０１は、リフォーカス係数αを用いて各ブロックのリフォーカス画像を生成する。ステップＳ９０２で用いられるリフォーカス係数αは、初回であれば、ステップＳ９０１で設定されたデフォルト値であり、２回目以降であれば、後述するステップＳ９０７で設定された値となる。ステップ９０３において、合焦評価値算出部８０２は、ステップ９０２において生成された各ブロックのリフォーカス画像から、各ブロックの合焦評価値を算出する。
【００５６】
ステップ９０４において、ステップ９０３で得られた各ブロック内の合焦評価値が、過去に異なるリフォーカス係数αを用いて生成されたリフォーカス画像の合焦評価値の最高値よりも高いかどうかを判断する。高いと判断されたブロックがある場合（ＹＥＳの場合）はステップ９０５に移行する。高いと判断されたブロックがない場合（ＮＯの場合）は、ステップＳ９０６に移行する。
【００５７】
ステップ９０５において、ステップＳ９０４で過去の最高値よりも高い合焦評価値が得られたと判断されたブロックのリフォーカス画像をメモリ１１６へ出力する。
【００５８】
ステップＳ９０６において、これまでに得られた各ブロックのリフォーカス画像の合焦評価値が所定の基準を満たしているかどうかを判断する。基準を満たしている場合（ＹＥＳの場合）サーチ再生用画像の生成処理を終了する。基準を満たしていない場合（ＮＯの場合）、リフォーカス処理が不十分であるためステップＳ９０７に移行する。
【００５９】
ステップＳ９０７において、各ブロックのリフォーカス係数αを変化させてからステップＳ９０２に移行する。この変化後のリフォーカス係数は、例えば、前回の値から所定の値だけ増加又は減少させるように決定することができる。また、過去のリフォーカス係数α及び合焦評価値の関係を参照して、変化後の値を決定してもよい。このように、ステップＳ９０２からステップＳ９０７の間をループさせることにより、各ブロックの合焦評価値を向上させることができる。
【００６０】
リフォーカス処理部１１４におけるサーチ再生用画像の生成処理は、撮影後かつ再生前であれば、任意のタイミングで行うことができる。例えば、撮影の直後、画像処理装置１００の電源ＯＮ時などのタイミングに行うことができる。また、撮影処理のバックグラウンドで行ってもよい。また、サーチ再生用画像は、すべてのフレームの画像に対して生成してもよく、所定のフレームの画像ごとに生成することで一部のフレームを間引いてもよい。
【００６１】
図１０に、４フレームごとにサーチ再生用画像を作成する場合のフレーム構成を示す。取得された映像データのうち、４フレームごとに配されたサーチ再生用画像生成フレーム１００１〜１００５に対しサーチ再生用画像の生成が行われる。作成されたサーチ再生用画像をそのまま同じ処理速度で再生すると、４倍速でサーチ再生が行われることになる。
【００６２】
メディアＩ／Ｆ１１７によって行われる記録メディア１１８からの画像の読み出しに関して、再生モードに応じて通常再生用のリフォーカス画像とサーチ再生用画像を切り替えるための手法を説明する。リフォーカス処理部１１４で作成されたリフォーカス画像には、タイムコードがヘッダ情報として付加された上で、記録メディア１１８に記録される。通常再生からサーチ再生に切り替わる際に、メディアＩ／Ｆ１１７は、通常再生用のリフォーカス画像のヘッダに付加されたタイムコードの値と同じ値が付加されているサーチ再生用画像を記録メディア１１８から選択し出力する。また、サーチ再生から通常再生への切り替わる際には、メディアＩ／Ｆ１１７は、サーチ再生用画像のヘッダのタイムコードの値と同じ値のタイムコードが付加された通常再生用のリフォーカス画像を記録メディア１１８から選択し出力する。これにより通常再生用のリフォーカス画像とサーチ再生用画像を切り替えることができる。
【００６３】
第１の実施形態では、被写界深度の深い画像を生成する際に、式（２）の主レンズ面５０１の座標（ｕ、ｖ）の積分範囲を狭くする方法を用いている。これは、レンズに入射される光量を削減することと同様である。そのため、低照度の撮影シーンにおいてはＩＳＯ感度を高める必要があり、サーチ再生用画像のノイズが多くなる（Ｓ／Ｎが悪くなる）場合がある。これに対し第２の実施形態では、フォーカス位置が異なる複数の画像を結合させることにより、積分範囲を狭くすることなく被写界深度の深い画像が生成される。したがって、上述のノイズ発生要因が生じにくく、低照度の撮影シーンであっても良好な画質のサーチ再生用画像が得られる。
【００６４】
さらに、本実施形態においても第１の実施形態と同様に、サーチ再生時に、被写界深度が深い画像を作成して表示させることができる。これにより、サーチ再生で再生される動画の視認性を向上させることができ、ユーザは所望のシーンを選択することが容易になる。
【００６５】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００６６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００６７】
１１４  リフォーカス処理部
６０１  被写界深度設定部（被写界深度設定手段）
６０２  リフォーカス画像生成部（リフォーカス画像生成手段）
【図１】
2016082475.tif 000005
【図２】
2016082475.tif 000006
【図３】
2016082475.tif 000007
【図４】
2016082475.tif 000008
【図５】
2016082475.tif 000009
【図６】
2016082475.tif 000010
【図７】
2016082475.tif 000011
【図８】
2016082475.tif 000012
【図９】
2016082475.tif 000013
【図１０】
2016082475.tif 000014