(57)【要約】【課題】サーチ再生で再生される動画の視認性を向上させることのできる画像処理装置を提供する。【解決手段】複数のマイクロレンズのそれぞれに割り当てられた複数の画素からなる単位画素を含む撮像素子からの信号に基づいて、画像データを生成する画像データ生成手段と、画像データにおける単位画素から読み出された所定領域のデータに基づいて、動画再生のためのフレーム画像を生成するフレーム画像生成手段と、フレーム画像生成手段において、動画の再生に係る再生モードに応じて、単位画素における読み出し領域を変更する変更手段と、を備える。【選択図】図１
2016082474.tif 000002
【特許請求の範囲】
【請求項１】
複数のマイクロレンズのそれぞれに割り当てられた複数の画素からなる単位画素を含む撮像素子からの信号に基づいて、画像データを生成する画像データ生成手段と、
前記画像データにおける前記単位画素から読み出された所定領域のデータに基づいて、動画再生のためのフレーム画像を生成するフレーム画像生成手段と、
前記フレーム画像生成手段において、動画の再生に係る再生モードに応じて、前記単位画素における読み出し領域を変更する変更手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記再生モードは、通常再生モード及びサーチ再生モードを含み、
前記サーチ再生モードにおける動画再生速度は、前記通常再生モードにおける動画再生速度よりも高速であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記再生モードが前記サーチ再生モードである場合、前記フレーム画像生成手段は、前記単位画素において前記マイクロレンズの周縁部に対応する画素のデータの読出しを制限することを特徴とする、請求項２に記載の画像処理装置。
【請求項４】
前記再生モードが前記サーチ再生モードである場合、前記フレーム画像生成手段は、時間軸で近接する複数のフレームの画像データを加算することにより前記フレーム画像を生成することを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記再生モードが前記サーチ再生モードである場合、前記フレーム画像生成手段は、所定のフレーム数ごとにフレーム画像を生成することを特徴とする、請求項２乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
複数のマイクロレンズのそれぞれに割り当てられた複数の画素からなる単位画素を含む撮像素子からの信号に基づいて、画像データを生成する画像データ生成ステップと、
前記画像データにおける前記単位画素から読み出された所定領域のデータに基づいて、動画再生のためのフレーム画像を生成するフレーム画像生成ステップと、
前記フレーム画像生成手段において、動画の再生に係る再生モードに応じて、前記単位画素における読み出し領域を変更する変更ステップと、
を有することを特徴とする画像処理方法。
【請求項７】
動画を再生する画像処理装置のコンピュータに実行させるプログラムであって、
複数のマイクロレンズのそれぞれに割り当てられた複数の画素からなる単位画素を含む撮像素子からの信号に基づいて、画像データを生成する画像データ生成手段、
前記画像データにおける前記単位画素から読み出された所定領域のデータに基づいて、動画再生のためのフレーム画像を生成するフレーム画像生成手段、
前記フレーム画像生成手段において、動画の再生に係る再生モードに応じて、前記単位画素における読み出し領域を変更する変更手段、
として機能させるためのプログラム。
【請求項８】
請求項７に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ライトフィールド処理技術を用いた撮像装置に関し、特に、撮影後に焦点距離が変更可能な画像を生成する画像処理装置に関する。
【背景技術】
【０００２】
近年、撮影後にフォーカス位置を変更できるカメラとしてライトフィールドカメラと呼ばれるカメラが提案されている。このカメラは、被写体からの光線が撮像面に入射した位置を示す位置情報に加え、入射した角度を示す角度情報を含む光線情報を取得する。この光線情報はライトフィールドデータ（以下、ＬＦデータという）と呼ばれる。
【０００３】
非特許文献１には、主レンズと撮像素子の間に多数のマイクロレンズが配置されており、入射された光線をマイクロレンズにより分光して、分光した各々の光線を撮像素子で受光することでＬＦデータを取得する撮像装置が開示されている。非特許文献１では、ＬＦデータを用いて仮想結像面における画像データを演算することで、撮影時とは異なるフォーカス位置の画像を生成するリフォーカス技術が開示されている。
【０００４】
特許文献１には、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を用いた撮像装置が開示されている。分割された光電変換部は、撮影レンズの射出瞳のうちの異なる瞳部分領域を通過した光を１つのマイクロレンズを介して受光するように構成される。これらの分割された光電変換部のそれぞれからの光電変換信号によって、分割された瞳部分領域に応じた複数の視差画像を生成することができる。得られた複数の視差画像を用いてフォーカスしたい箇所を合成処理することにより、撮影後にフォーカス位置を変更することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第４４１０８０４号明細書
【非特許文献】
【０００６】
【非特許文献１】Ren Ng他 “Light Field Photography with a Hand-held Plenoptic Camera”,  Stanford Tech Report CTSR 2005-02
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述したようなライトフィールド処理技術は、動画撮影にも応用することができる。動画フォーマットの再生では、静止画フォーマットの再生にはない早送りや巻き戻しといったサーチ再生を行うことができる。ライトフィールド画像はユーザによってリフォーカスされる場合があり、ライトフィールド画像としてしばしば被写界深度の浅いリフォーカス画像が用いられる。そのため、被写界深度が浅い画像のまま動画のサーチ再生を行う場合、ユーザにとって視認性が悪く所望のシーンが探しにくいという問題がある。
【０００８】
本発明は、上述した課題を解決すべくなされたものであり、その目的とするところは、サーチ再生で再生される動画の視認性を向上させることのできる画像処理装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明に係る画像処理装置によれば、複数のマイクロレンズのそれぞれに割り当てられた複数の画素からなる単位画素を含む撮像素子からの信号に基づいて、画像データを生成する画像データ生成手段と、前記画像データにおける前記単位画素から読み出された所定領域のデータに基づいて、動画再生のためのフレーム画像を生成するフレーム画像生成手段と、前記フレーム画像生成手段において、動画の再生に係る再生モードに応じて、前記単位画素における読み出し領域を変更する変更手段と、を備える。
【発明の効果】
【００１０】
本発明によれば、サーチ再生時に再生する動画の視認性を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】（ａ）は主レンズ、マイクロレンズ、撮像素子の位置関係を示す図、（ｂ）はマイクロレンズと撮像素子に含まれる画素との対応関係を示す図である。
【図３】光路を示す模式図である。
【図４】主レンズと撮像素子について、単純モデル化した模式図である。
【図５】主レンズ面と撮像素子面とリフォーカス面について、単純モデル化した模式図である。
【図６】サーチ再生時のＬＦデータの読み出し領域を説明する図である。
【図７】本発明の第１の実施形態に係る画像処理を示すフローチャートである。
【図８】リフォーカス再生モードとサーチ再生モードとでのフレーム画像の生成を説明する図である。
【図９】本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図である。
【図１０】本発明の第２の実施形態に係る画像処理を示すフローチャートである。
【図１１】サーチ再生時のＬＦデータのフレーム加算を説明する図である。
【発明を実施するための形態】
【００１２】
以下、本発明に係る例示的な実施の形態を、図面に基づいて詳細に説明する。
［第１の実施形態］
本発明の第１の実施形態に係る画像処理装置について説明する。図１は第１の実施形態に係る画像処理装置の構成を示すブロック図である。
【００１３】
画像処理装置１００は、撮影レンズとしての主レンズ１０１、マイクロレンズアレイ１０２、撮像素子１０３、ＬＦデータ入力部１０４、映像出力部１０９、表示パネル１１０、及びリフォーカス処理部１１４を備える。また、画像処理装置１００は、さらにメモリ１１６、メディアＩ／Ｆ１１７、記録メディア１１８、コントローラ１１９、操作部１２０、メモリバス１２１、及びサーチ画像処理部１２２を備える。
【００１４】
主レンズ１０１は、単一または複数のレンズからなる結像光学系であり、光軸Ｚ方向（図１の左側）から入射された被写体の光は、マイクロレンズアレイ１０２に出射される。
マイクロレンズアレイ１０２は、複数のマイクロレンズから構成されており（図示せず）、主レンズ１０１と撮像素子１０３との間に配置される。主レンズ１０１から入射した光は、マイクロレンズアレイ１０２によって入射角度に応じて分光され、撮像素子１０３に出射される。詳しくは、マイクロレンズアレイ１０２は、主レンズ１０１の焦点位置近傍に配置されている。主レンズ１０１の異なる瞳領域を通過した光は、瞳領域ごとに分割されて出射される。
【００１５】
撮像素子１０３は、マイクロレンズアレイ１０２から入射した光を光学変換して電気信号に変換する複数の画素（光電変換素子）がマトリクス状に配置されたＣＣＤセンサ又はＣＭＯＳセンサである。撮像素子１０３は、光電変換により生成された電気信号を撮像信号として画像データ生成手段としてのＬＦデータ入力部１０４へ出力する。
【００１６】
ＬＦデータ入力部１０４は、撮像素子１０３から入力された撮像信号をデジタル信号に変換し、撮像フレームの１フレーム単位で、例えばＪＰＥＧ等の所定の画像ファイル形式へ変換する現像処理を行って画像データとしてのＬＦデータに変換する。ＬＦデータ入力部１０４は、メモリ１１６内のバッファ領域となるＬＦデータ領域に、変換されたＬＦデータを記憶する。現像処理とは、色補正、解像度、画像圧縮等のデジタル画像データに関するパラメータを用いてデジタル画像データの画質を変更または調整する処理である。
【００１７】
映像出力部１０９は、メモリ１１６の映像信号領域からリフォーカス映像を読み出し、表示パネル１１０と、図示しない映像出力端子とに出力する。表示パネル１１０は、映像出力部１０９から入力された映像信号を映像として表示する。表示パネル１１０には、撮影時には撮影中のリフォーカス画像が表示され、動画再生時には再生モードに応じたＬＦデータの画像が表示される。
【００１８】
フレーム画像生成手段としてのリフォーカス処理部１１４は、通常再生モードとしてのリフォーカス再生モードにおいて、メディアＩ／Ｆ１１７によってメモリ１１６のＬＦデータ領域に格納されたＬＦデータを読み出してリフォーカス処理を行う。リフォーカス処理によって生成された映像データは、メモリ１１６の映像信号領域に格納される。
【００１９】
なお、リフォーカス再生モードは、ユーザが動画を視聴するための再生モードである。リフォーカス再生モードでは、典型的には撮影時と同程度の再生速度で再生が行われる。サーチ再生モードは、早送り、巻き戻し等のユーザが動画中の所望のシーンを探索するための動作を含む再生モードである。サーチ再生モードでは、リフォーカス再生モードの動画再生速度よりも高速に動画再生が行われる。サーチ再生モードにおける高速再生は、典型的には動画を構成する画像のうち一部を間引くことによって行われる。
【００２０】
メモリ１１６は、高速でランダムアクセス可能なダイナミックＲＡＭを含み、ワークメモリとして利用される。メモリ１１６は、例えばＬＦデータ領域、映像信号領域等として利用される。メモリ１１６はＲＯＭを含み、ＲＯＭにはコントローラ１１９が動作するための各種プログラムやデータが格納されている。
【００２１】
メディアＩ／Ｆ１１７は、記録メディア１１８に対してデータの読み書きを制御するインターフェースである。撮影時には、メディアＩ／Ｆ１１７は、コントローラ１１９からの指令信号により、ＬＦデータ入力部１０４によってメモリ１１６のＬＦデータ領域に格納されたＬＦデータ、すなわち撮影中のＬＦデータを読み出して、記録メディア１１８に格納する。通常再生時には、メディアＩ／Ｆ１１７は、コントローラ１１９からの指令信号により、記録メディア１１８から記録されたＬＦデータの全データを読み出して、メモリ１１６のＬＦデータ領域に格納する。サーチ再生時には、メディアＩ／Ｆ１１７は、コントローラ１１９からの指令信号により記録メディア１１８に記録されたＬＦデータを所定のフレームごと（例えば、４倍速再生であれば４フレームごと）に読み出して、メモリ１１６のＬＦデータ領域に格納する。
【００２２】
記録メディア１１８は、ハードディスクドライブ、不揮発半導体メモリ（例えばフラッシュメモリ）等の記録媒体である。記録メディア１１８は、ＦＡＴ（File Allocation Table）などのファイルシステム形式でデータを記録する。
【００２３】
変更手段としてのコントローラ１１９は、画像処理装置１００のシステム全体を制御するコントローラであり、いわゆるＣＰＵ（Central Processing Unit）である。コントローラ１１９は、操作部１２０に対するユーザの操作に基づき、画像処理装置１００の動作モードを、撮影する撮影モード、通常再生であるリフォーカス再生モード、高速再生であるサーチ再生モード等に制御する。
【００２４】
操作部１２０は、ユーザが操作する操作部であり、例えばシャッターボタン、動画を撮像する記録ボタン、撮像した動画を再生する再生ボタン、各種設定を行う設定ボタン等のボタン、及び表示パネル１１０の表面に配置されたタッチパネルセンサ等である。ユーザは、操作部１２０を操作することによって、撮影モード／リフォーカス再生モード／サーチ再生モードを変更することができる。ユーザが操作部１２０を操作することにより、各種操作信号が操作部１２０からコントローラ１１９へ送信される。
【００２５】
ＬＦデータ入力部１０４、映像出力部１０９、リフォーカス処理部１１４、メモリ１１６、メディアＩ／Ｆ１１７、コントローラ１１９、及びサーチ画像処理部１２２は、メモリバス１２１に接続されている。ＬＦデータ入力部１０４、映像出力部１０９、リフォーカス処理部１１４、メディアＩ／Ｆ１１７、コントローラ１１９、及びサーチ画像処理部１２２は、メモリバス１２１を経由してメモリ１１６に対してデータの書き込み・読み取りを行なう。メモリバス１２１は、各構成要素からのメモリアクセス要求を調整し、時分割でメモリ１１６へのデータ読み書きを行なうよう制御する。
【００２６】
フレーム画像生成手段としてのサーチ画像処理部１２２は、画像処理装置１００の動作モードが高速再生モードである場合において、メモリ１１６のＬＦデータ領域に格納されたＬＦデータのうち、所定の領域の画素を読み出してフレーム画像を生成する。サーチ再生処理によって生成された映像データは、メモリ１１６の映像信号領域に格納される。
【００２７】
次に、撮影時における主レンズ１０１、マイクロレンズアレイ１０２、撮像素子１０３、ＬＦデータ入力部１０４の動作について、図２（ａ）、図２（ｂ）、図３、及び図４を参照しながら説明する。
【００２８】
図２（ａ）は、主レンズ１０１、マイクロレンズアレイ１０２、撮像素子１０３の位置関係を示す模式図である。図２（ａ）に示すように、マイクロレンズアレイ１０２は、主レンズ１０１と撮像素子１０３との間に位置しており、マトリクス状に配置された複数のマイクロレンズ１０２ａを有している。なお、本実施形態におけるマイクロレンズ１０２ａの大きさ及び個数は図示されているものに制限されるものではない。
【００２９】
また、図２（ｂ）は、光軸Ｚ方向から見た、マイクロレンズ１０２ａと撮像素子１０３に含まれる画素１０３ａとの対応関係を示す図である。図２（ｂ）に示すように、マイクロレンズ１０２ａに対し、撮像素子１０３内のｎ×ｍ個の画素１０３ａが対応するように配置されている。１つのマイクロレンズ１０２ａに対応する画素１０３ａの個数（すなわち、ｎ×ｍ個）によって、光線の分割数が決定される。図２（ｂ）では、一例として１つのマイクロレンズ１０２ａに対し５×５個の画素１０３ａが配置されている状態を示している。以下、ｎ×ｍ個の画素１０３ａを単位画素という。
【００３０】
図３は、主レンズ１０１、マイクロレンズ１０２ａ、撮像素子１０３への光路を示す模式図である。被写体３０５の点３０７から放たれた光は、光束となって主レンズ１０１に入射する。入射した光束は主レンズ１０１によって集光されてマイクロレンズ１０２ａ表面の結像面３０８に投射される。投射された光は、マイクロレンズ１０２ａにおいて光の入射角度に応じて分光され、撮像素子１０３の画素３２１〜３２５で受光される。画素３２１〜３２５で受光された光は、光電変換され撮像信号として出力される。
【００３１】
画素３２１で受光される光は、光路３１１からの光束である。同様に、画素３２２で受光される光は光路３１２、画素３２３で受光される光は光路３１３、画素３２４で受光される光は光路３１４、画素３２５で受光される光は光路３１５からの光束である。すなわち、画素３２１〜３２５で受光される光は、同じ点３０７から出射された光でありながら、光線の入射角度によって別々の画素に受光される。
【００３２】
撮像素子１０３から出力された撮像信号は、ＬＦデータ入力部１０４に入力される。ＬＦデータ入力部１０４は、撮像信号をデジタル化し、現像処理を行ってＬＦデータに変換し、メモリ１１６のＬＦデータ領域に格納する。その後、メモリ１１６に格納されたＬＦデータは、コントローラ１１９により記録メディア１１８に記録される。
【００３３】
次にリフォーカス再生時における信号処理について説明する。コントローラ１１９は、記録メディア１１８に格納されたＬＦデータの１フレーム分の全画素のデータを、メディアＩ／Ｆ１１７を経由して読み出してメモリ１１６内のＬＦデータ領域に格納する。リフォーカス処理部１１４は、メモリ１１６のＬＦデータ領域に格納されたＬＦデータを元にリフォーカス処理を行い、メモリ１１６のフレーム画像データ領域にフレーム画像データを格納する。リフォーカス処理に関しては後述する。
【００３４】
上記の動作を連続して行い、動画データとして処理できるフレーム数分のフレーム画像データがメモリ１１６のフレーム画像データ領域に格納される。映像出力部１０９は、メモリ１１６のフレーム画像データ領域からフレーム画像データを読み出し動画を生成する処理を行い、動画信号を生成する。生成された動画信号は表示パネル１１０に出力され、表示パネル１１０に動画の映像が表示される。
【００３５】
次に、リフォーカス処理部１１４において行われるリフォーカス画像の生成について説明する。リフォーカス画像の生成は、具体的には「Light Field Photography」手法に基づき次のように行われる。
【００３６】
まず、光線情報を表す関数ＬＦ（ｘ，ｙ，ｕ，ｖ）について説明する。図４は、主レンズ１０１と撮像素子１０３との位置関係を単純化して示した模式図である。主レンズ１０１の座標軸をｕ、ｖとし、撮像素子１０３の座標軸をｘ、ｙとする。主レンズ１０１と撮像素子１０３との距離をＦとする。このとき、主レンズ１０１および撮像素子１０３を通過する光線Ｌは、４次元関数ＬＦ（ｘ，ｙ，ｕ，ｖ）で定義される。
【００３７】
次にリフォーカス画像生成における演算方法について説明する。図５は、主レンズ面、リフォーカス面、及びマイクロレンズの撮像面について、単純化して示した模式図である。図５は、レンズ面５０１、リフォーカス係数αによって定まるリフォーカス面５０２、マイクロレンズの撮像面５０３の位置関係を示している。図５では、主レンズ面５０１の瞳分割領域の位置を座標（ｕ，ｖ）、リフォーカス面上の画素位置を座標（ｘ’，ｙ’）、マイクロレンズの撮像面の位置を座標（ｘ，ｙ）、主レンズ面５０１からリフォーカス面５０２までの距離をＦ’とする。光線Ｌは、主レンズ面５０１上の点ｕから入射し、リフォーカス面５０２上の点ｘ’を通過し、撮像面５０３上の点ｘに到達する。ここで、直進する光線Ｌがリフォーカス面５０２上の点ｘ’とマイクロレンズの撮像面５０３上の点ｘとを通過していることから、ｘ＝ｕ＋（ｘ’−ｕ）／αとなる。同様に、主レンズ面５０１の座標（ｕ，ｖ）より入射し、リフォーカス面５０２の座標（ｘ’ ，ｙ’）を通過する光線のマイクロレンズの撮像面５０３での受光信号は、光線Ｌを表す関数ＬＦ（ｘ，ｙ，ｕ，ｖ）を用いて式（１）のように表すことができる。
【００３８】
【数１】
2016082474.tif 000003
【００３９】
また、リフォーカス面５０２の座標（ｘ’，ｙ’）で得られるリフォーカス画像ＥＦ’（ｘ’，ｙ’）は、ＬＦ（ｘ，ｙ，ｕ，ｖ）を主レンズ面５０１のｕ軸、ｖ軸に対して積分したものであるため、式（２）のように表すことができる。つまり、リフォーカス画像ＥＦ’（ｘ’，ｙ’）は、関数ＬＦ（ｘ，ｙ，ｕ，ｖ）を主レンズ１０１の瞳分割領域に対して積分したものとなる。リフォーカス画像は式（２）の演算処理により生成される。なお、式（２）の積分係数である主レンズ面５０１の座標（ｕ，ｖ）の積分範囲は、主レンズ面５０１全体である。
【００４０】
【数２】
2016082474.tif 000004
【００４１】
リフォーカス処理部１１４は、メモリ１１６のＬＦデータ領域から読み出したＬＦデータを用いて、予め設定された主レンズ面５０１の座標（ｕ，ｖ）の積分範囲を受信し、式（２）からリフォーカス画像を演算する。初回のリフォーカス処理では、リフォーカス係数αは、例えば画像の中心位置が合焦位置となるように設定される。２回目以降のリフォーカス処理は、ユーザが選択した箇所においてリフォーカス係数αを設定し、式（２）からリフォーカス画像を演算する。
【００４２】
次にサーチ再生時における信号処理について説明する。図６は、サーチ再生時のＬＦデータの読み出し領域を説明する図である。コントローラ１１９は、記録メディア１１８に格納されたＬＦデータの１フレーム分のデータのうちの一部をメディアＩ／Ｆ１１７を経由して読み出して、メモリ１１６内のＬＦデータ領域に格納する。読みだすＬＦデータの領域は、各マイクロレンズ１０２の中心部の画素に相当するＬＦデータのみでよい。
【００４３】
例えば図６に示すように、コントローラ１１９は、白枠で示されている画素６０１に相当するＬＦデータを読み出し、斜線で示されている画素６０２に相当するＬＦデータは読み出さない。図６に示すように、コントローラ１１９は、１つのマイクロレンズ１０２ａに対して配置されている単位画素を構成する２５画素（５×５）のうちの中心部にある５画素のデータを読み出して、被写界深度の深いフレーム画像を作成している。各マイクロレンズ１０２ａに対して配置されている単位画素のうち中心部にある複数の画素は、マイクロレンズ１０２ａの周縁部に対応する画素よりもマイクロレンズ１０２ａの光軸を通過した光線の焦点状態が良好である。コントローラ１１９は、マイクロレンズ１０２ａの周縁部に対応する画素のデータの読み出しを制限し、マイクロレンズ１０２ａの光軸に相当する単位画素の中心部にある画素のデータを読み出す。サーチ画像処理部１２２は、読み出された画素のデータに基づいて被写界深度の深いフレーム画像を生成する。単位画素の中心部にある画素のデータを読み出すことは、例えばレンズ口径を小さくすること（レンズ絞りを絞ること）に相当する。サーチ画像処理部１２２は、メモリ１１６のフレーム画像データ領域に生成したフレーム画像データを格納する。
【００４４】
メモリ１１６のフレーム画像データ領域に動画データとして処理できるフレーム数分のフレーム画像データが格納されると、映像出力部１０９はメモリ１１６のフレーム画像データ領域からフレーム画像データを読み出し動画処理を行い、動画信号を生成する。生成された動画信号は表示パネル１１０に出力され、表示パネル１１０で動画の映像が表示される。
【００４５】
次に、リフォーカス再生モード及びサーチ再生モードにおいて生成されるフレーム画像について説明する。図７は、本実施形態に係る画像処理を示すフローチャート、図８は、リフォーカス再生モードとサーチ再生モードとでのフレーム画像の生成を説明する図である。図７に示すフローチャートは、ユーザによって操作部１２０が操作されることによって行われる。図８では、動作モードがリフォーカス再生モード８０５から、４倍速のサーチ再生モード８０６に遷移し、その後、リフォーカス再生モード８０７に遷移する場合を示している。図８では、一例として撮像素子１０３の画素イメージを２つのマイクロレンズに対応した領域のみ示しているが、撮像素子１０３全体に適応されることは言うまでもない。また、図８に示すＬＦデータ８１１〜８２５は、記録メディア１１８に格納されているＬＦデータである。なお、図７に示す処理は、ユーザの操作によって動画の再生が停止されるまで行われる。
【００４６】
ステップＳ７０１では、コントローラ１１９は、ユーザによって選択された動画を再生する再生モードの種類を判定する。再生モードがリフォーカス再生モードの場合（ステップＳ７０１：リフォーカス再生モード）、コントローラ１１９は、リフォーカス再生であると判定してステップＳ７０２へ進む。
【００４７】
ステップＳ７０２では、リフォーカス処理部１１４は、ＬＦデータを読み出してリフォーカス処理を行う。詳しくは、コントローラ１１９は、メディアＩ／Ｆ１１７を介して記録メディア１１８に格納されているＬＦデータにおいて、読み出し領域として全画素のデータを読み出し、メモリ１１６のＬＦデータ領域に格納する。リフォーカス処理部１１４は、メモリ１１６のＬＦデータ領域に格納されたＬＦデータを読み出し、式（２）を用いてリフォーカス画像であるフレーム画像を演算する。
【００４８】
図８に示すように、リフォーカス再生モード８０５では、リフォーカス処理部１１４は、ＬＦデータ８１１の全画素に対してリフォーカス処理を行い、フレーム画像８５１を生成する。同様に次のＬＦデータ８１２を用いてリフォーカス処理を行い、フレーム画像８５２を生成する。これにより、被写界深度の深いフレーム画像を得ることができる。なお、図８では、コントローラ１１９が読み出す読み出し領域を白色で示しており、コントローラ１１９が読み出さない画素領域を斜線で示している。
【００４９】
一方、ステップＳ７０１では、再生モードがサーチ再生モードの場合（ステップＳ７０１：サーチ再生モード）、コントローラ１１９は、サーチ再生であると判定してステップＳ７０３へ進む。
【００５０】
ステップＳ７０３では、コントローラ１１９は、ＬＦデータの所定の領域の画素のデータを読み出す。詳しくは、コントローラ１１９は、記録メディア１１８に格納されているＬＦデータのうち、所定のフレーム数ごとに単位画素のそれぞれから所定領域のデータを読み出す。コントローラ１１９は、所定のフレーム数に含まれているＬＦデータを時間軸に沿って読み飛ばし、例えば最後の１フレーム分のＬＦデータのうち読み出し領域として単位画素の所定の画素領域のデータを読み出して、メモリ１１６内のＬＦデータ領域に格納する。コントローラ１１９によって読み出される読み出し領域は、マイクロレンズ１０２ａの中心部に相当する画素領域である。
【００５１】
ステップＳ７０４では、サーチ画像処理部１２２は、メモリ１１６のＬＦデータ領域に格納されたＬＦデータからフレーム画像を生成する。サーチ画像処理部１２２は、ステップＳ７０３でメモリ１１６に格納されたＬＦデータの画素のデータを読み出し、被写界深度の深いフレーム画像を生成する。コントローラ１１９が生成するフレーム画像のフレーム数は、サーチ再生モードで設定された再生速度に応じたフレーム数である。
【００５２】
図８に示すように、例えば、サーチ再生モード８０６で動画を４倍速でサーチ再生する場合、コントローラ１１９は、４枚の撮像フレームに対応したＬＦデータ８１３〜８１６のうちＬＦデータ８１３〜８１５の３フレーム分のＬＦデータを読み出さない。そして、コントローラ１１９は、４フレーム目のＬＦデータ８１６を読み出す。このとき、コントローラ１１９は、ＬＦデータ８１６において、単位画素である２５画素（５×５）のうち、中心部にある５画素を読み出し領域として読み出す。各単位画素において、コントローラ１１９が読み出す読み出し領域はそれぞれ同じ領域である。サーチ画像処理部１２２は、ステップＳ７０３でＬＦデータ８１６から画素のデータを読み出し、被写界深度の深いフレーム画像８５３を生成する。焦点状態の良好なマイクロレンズ１０２の中心部の５画素のデータを読み出して各画素の画像を加算することによって、被写界深度の深いフレーム画像８５３を生成することができる。
【００５３】
コントローラ１１９は、サーチ再生モード８０６の期間は同様の動作を行い、時間軸方向に撮像フレームに対応するＬＦデータ８１７〜８１９は読み出さず、ＬＦデータ８２０において、マイクロレンズ１０２ａの中心部となる５画素のデータを読み出す。サーチ画像処理部１２２は、ＬＦデータ８２０から読み出された画素のデータから被写界深度の深いフレーム画像８５４を生成する。このように、サーチ再生モード８０６では、所定の枚数のＬＦデータを間引くことによって、リフォーカス再生モード８０５に比べてフレーム画像を生成する処理時間が短縮されるので、滑らかな動画再生を行うことができる。
【００５４】
ステップＳ７０５では、リフォーカス処理部１１４またはサーチ画像処理部１２２は、生成したフレーム画像データをメモリ１１６内のフレーム画像領域に格納する。続くステップＳ７０６では、コントローラ１１９は、メモリ１１６内のフレーム画像領域に格納されたフレーム画像データが所定枚数格納されたか否かを判定する。フレーム画像データが所定枚数格納されている場合（ステップＳ７０６：Ｙｅｓ）、コントローラ１１９は、動画処理に必要な枚数のフレーム画像データが格納されていると判定してステップＳ７０７へ進む。一方、フレーム画像データ領域に格納されているフレーム画像データの枚数が所定枚数未満である場合（ステップＳ７０６：Ｎｏ）、コントローラ１１９は動画処理に必要な枚数のフレーム画像データはまだ格納されていないと判定してステップＳ７０１へ戻る。
【００５５】
ステップＳ７０７では、映像出力部１０９は、メモリ１１６のフレーム画像データ領域からフレーム画像データを読み出して動画処理を行い、動画信号を生成する。続くステップＳ７０８では、映像出力部１０９は、生成した動画信号を表示パネル１１０に出力する。表示パネル１１０には、生成された動画の映像が表示される。
【００５６】
このように、サーチ再生時には、焦点状態の良好なマイクロレンズ１０２の中心部に対応する画素に基づいてフレーム画像を生成することにより、被写界深度が深い動画が表示され、サーチ再生時でもユーザは視認性の良い画像を得ることができる。
【００５７】
［第２の実施形態］
本発明の第２の実施形態に係る画像処理装置について説明する。本実施形態は、画像処理装置にフレーム画素加算部９０１を追加した点が第１の実施形態と異なっており、その他の構成については共通している。従って、共通箇所についての説明は省略する。
【００５８】
図９は、本発明の第２実施形態に係る画像処理装置の構成を示すブロック図である。画像処理装置１００Ａは、主レンズ１０１、マイクロレンズ１０２、撮像素子１０３、ＬＦデータ入力部１０４、映像出力部１０９、表示パネル１１０、及びリフォーカス処理部１１４を備えている。また、画像処理装置１００Ａは、さらにメモリ１１６、メディアＩ／Ｆ１１７、記録メディア１１８、コントローラ１１９、操作部１２０、メモリバス１２１、サーチ画像処理部１２２、及びフレーム画素加算部９０１を備えている。
【００５９】
フレーム画素加算部９０１は、サーチ再生モードにおいて、メモリ１１６のフレーム画像データ領域に格納された連続するフレーム画像データを加算して新たなフレーム画像データを生成する。
【００６０】
次に、リフォーカス再生モード及びサーチ再生モードにおいて生成されるフレーム画像について説明する。図１０は、本実施形態に係る画像処理を示すフローチャート、図１１は、リフォーカス再生モードとサーチ再生モードとでのフレーム画像の生成を説明する図である。図１０に示すフローチャートは、ユーザによって操作部１２０が操作されることによって行われる。図１１では、動画の再生モードがリフォーカス再生モード１１０５から、４倍速のサーチ再生モード１１０６に遷移し、その後、リフォーカス再生モード１１０７に遷移する場合を示している。図１１では、一例として撮像素子１０３の画素イメージを２つのマイクロレンズに対応した領域のみ示しているが、撮像素子１０３全体に適応されることは言うまでもない。また、図１１に示すＬＦデータ１１１１〜１１２５は、記録メディア１１８に格納されているＬＦデータである。
【００６１】
ステップＳ１００１では、コントローラ１１９は、ユーザによって選択された動画を再生する再生モードの種類を判定する。再生モードがリフォーカス再生モードの場合（ステップＳ１００１：リフォーカス再生モード）、コントローラ１１９は、通常再生であると判定してステップＳ１００２へ進む。
【００６２】
ステップＳ１００２では、リフォーカス処理部１１４は、ＬＦデータを読み出してリフォーカス処理を行う。詳しくは、コントローラ１１９は、メディアＩ／Ｆ１１７を介して記録メディア１１８に格納されているＬＦデータにおいて、読み出し領域としてＬＦデータの全画素のデータを読み出してメモリ１１６のＬＦデータ領域に格納する。リフォーカス処理部１１４は、メモリ１１６のＬＦデータ領域に格納されたＬＦデータを読み出して、式（２）を用いてリフォーカス画像であるフレーム画像を演算する。図１１に示すように、リフォーカス処理部１１４は、メモリ１１６のＬＦデータ領域に格納されたＬＦデータ１１１１を読み出し、リフォーカス画像であるフレーム画像１１５１を生成する。同様に、コントローラ１１９はＬＦデータ１１１２の全画素のデータを読み出し、リフォーカス処理部１１４は読み出されたデータに基づきフレーム画像１１５２を生成する。なお、図１１では、コントローラ１１９が読み出してメモリ１１６に転送する読み出し領域を白色で示しており、コントローラ１１９が読み出さない画素領域を斜線で示している。
【００６３】
一方、ステップＳ１００１では、再生モードがサーチ再生モードの場合（ステップＳ１００１：サーチ再生モード）、コントローラ１１９は、高速再生であると判定してステップＳ１００３へ進む。
【００６４】
ステップＳ１００３では、コントローラ１１９は、所定枚数のＬＦデータのそれぞれから、読み出し領域として単位画素の所定領域を読み出す。詳しくは、コントローラ１１９は、記録メディア１１８に格納されているＬＦデータについて、所定のフレーム数ごとに単位画素のそれぞれから所定の画素領域のデータを読み出す。コントローラ１１９は、所定のフレーム数に含まれているＬＦデータを時間軸に沿って読み飛ばし、時間軸で近接する２フレーム分以上のＬＦデータにおける所定の画素領域のデータをそれぞれ読み出して、メモリ１１６内のＬＦデータ領域に格納する。コントローラ１１９によって読み出される画素は、マイクロレンズ１０２ａの中心部に相当する画素領域である。
【００６５】
ステップＳ１００４では、サーチ画像処理部１２２は、ステップＳ１００３で読み出した画素領域のデータからフレーム画像を生成する。詳しくは、サーチ画像処理部１２２は、読み出したフレーム毎に、ＬＦデータ領域から読み出した読み出し領域に含まれる画素のデータから被写界深度の深いフレーム画像を生成する。サーチ画像処理部１２２は、読み出したフレーム数に対応したフレーム画像を生成する。
【００６６】
ステップＳ１００５では、フレーム画素加算部９０１は、ステップＳ１００４で生成された複数のフレーム画像データを単純加算して１枚のフレーム画像を生成する。ステップＳ１００３で読み出された連続する複数のＬＦデータの撮像時間は時間的に近接している。この複数のＬＦデータから生成された複数のフレーム画像データを単純加算することにより、ＬＦデータに含まれているランダムなノイズは低減する。よって、サーチ再生モード１１０６において、ＬＦデータを読み出すフレーム数を減らすことに伴い低下するＳ／Ｎを改善することができる。
【００６７】
図１１に示すように、例えば、サーチ再生モード９０６で動画を４倍速で再生する場合、コントローラ１１９は、時系列順に並ぶＬＦデータ１１１３、１１１４を読み出さない。コントローラ１１９は、４枚の撮像フレームにつき１枚のフレーム画像を作成する。例えば、コントローラ１１９は、ＬＦデータ１１１３〜１１１６に対して、ＬＦデータ１１１３、１１１４は記録メディア１１８から読み出さず、ＬＦデータ１１１５、１１１６を読み出す。その際、ＬＦデータ１１１５、１１１６はマイクロレンズ１０２ａの構成画素である２５画素（５×５）のうち中心部の５画素のみを読み出す。サーチ画像処理部１２２は、読み出された５画素から被写界深度の深いフレーム画像をそれぞれ生成する。ＬＦデータ１１１５と１１１６は、連続したデータであり、例えばＬＦデータ１１１３、１１１４よりも時間的に近接した撮像時間なので、フレーム画素加算部９０１は２枚のフレーム画像データを単純加算してフレーム画像１１５３を生成する。サーチ再生モード１１０６の期間は同様の処理を行い、フレーム画素加算部９０１は、ＬＦデータ１１１７〜１１２０からフレーム画像１１５４を生成する。
【００６８】
ステップＳ１００６では、リフォーカス処理部１１４またはフレーム画素加算部９０１は、生成したフレーム画像データをメモリ１１６内のフレーム画像領域に格納する。続くステップＳ１００７では、コントローラ１１９は、メモリ１１６内のフレーム画像領域に格納されたフレーム画像データが所定枚数格納されたか否かを判定する。フレーム画像データが所定枚数格納されている場合（ステップＳ１００７：Ｙｅｓ）、コントローラ１１９は、動画処理に必要な枚数のフレーム画像データが格納されていると判定してステップＳ１００８へ進む。一方、フレーム画像データ領域に格納されているフレーム画像データの枚数が所定枚数未満である場合（ステップＳ１００７：Ｎｏ）、コントローラ１１９は動画処理に必要な枚数のフレーム画像データは格納されていないと判定してステップＳ１００１へ戻る。
【００６９】
ステップＳ１００８では、映像出力部１０９は、映像出力部１０９はメモリ１１６のフレーム画像データ領域からフレーム画像データを読み出し動画処理を行い、動画信号を生成する。続くステップＳ１００９では、映像出力部１０９は、生成した動画信号を表示パネル１１０に出力し、表示パネル１１０では動画の映像が表示される。
【００７０】
このように、サーチ再生時には、マイクロレンズ１０２ａの中心部に対応する画素領域のＬＦデータに基づいてフレーム画像を生成し、撮影時間が近接しているフレーム画像を加算する。これにより、被写界深度が深く、Ｓ／Ｎの向上したフレーム画像が生成されるので、被写界深度が深い動画を得ることができ、サーチ再生時でもユーザは視認性の良い画像を得られる。
【００７１】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７２】
１００、１００Ａ  画像処理装置
１１４  リフォーカス処理部
１１９  コントローラ
１２２  サーチ画像処理部
【図１】
2016082474.tif 000005
【図２】
2016082474.tif 000006
【図３】
2016082474.tif 000007
【図４】
2016082474.tif 000008
【図５】
2016082474.tif 000009
【図６】
2016082474.tif 000010
【図７】
2016082474.tif 000011
【図８】
2016082474.tif 000012
【図９】
2016082474.tif 000013
【図１０】
2016082474.tif 000014
【図１１】
2016082474.tif 000015