(57)【特許請求の範囲】
【請求項１】
視差を有する複数の画像を含むライトフィールドデータに基づいて、リフォーカス画像を生成する画像処理装置であって、
奥行き方向における被写体の移動速度又は移動量に基づいて、前記リフォーカス画像における被写界深度を設定する処理部を有する
ことを特徴とする画像処理装置。
【請求項２】
前記奥行き方向における前記被写体の前記移動速度が第１の閾値以上である場合に設定される前記リフォーカス画像における前記被写界深度は、前記奥行き方向における前記被写体の前記移動速度が前記第１の閾値より小さい場合に設定される前記リフォーカス画像における前記被写界深度より深い
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記処理部は、前記奥行き方向における前記被写体までの距離に更に基づいて、前記リフォーカス画像における前記被写界深度を設定する
ことを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記処理部は、前記リフォーカス画像を生成する際に設定すべき前記被写界深度を示すメタデータを、前記ライトフィールドデータに関連付けて記録する
ことを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記処理部は、前記リフォーカス画像を生成する際に設定すべき前記被写界深度を示すメタデータであって、前記ライトフィールドデータに関連付けて記録されたメタデータに基づいて、前記リフォーカス画像における前記被写界深度を設定する
ことを特徴とする請求項１記載の画像処理装置。
【請求項６】
操作者が前記被写体を指示するための指示入力部を更に有し、
前記処理部は、前記操作者により指示された前記被写体の前記奥行き方向における前記移動速度又は前記移動量に基づいて、前記リフォーカス画像における前記被写界深度を設定する
ことを特徴とする請求項１記載の画像処理装置。
【請求項７】
前記ライトフィールドデータは、フォーカスレンズと、複数の画素が２次元配列された撮像手段と、前記フォーカスレンズと前記撮像手段との間に配置された複数のマイクロレンズからなるマイクロレンズアレイとを有する撮影光学系によって取得される画像である
ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
視差を有する複数の画像を含むライトフィールドデータに基づいて、リフォーカス画像を生成する画像処理方法であって、
奥行き方向における被写体の移動速度又は移動量を求めるステップと、
前記奥行き方向における前記被写体の前記移動速度又は前記移動量に基づいて、前記リフォーカス画像における被写界深度を設定するステップと
を有することを特徴とする画像処理方法。
【請求項９】
視差を有する複数の画像を含むライトフィールドデータに基づいて、リフォーカス画像を生成するコンピュータプログラムであって、
奥行き方向における被写体の移動速度又は移動量に基づいて、前記リフォーカス画像における被写界深度を設定する
ことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
動画像を撮像する一般的な撮像装置においては、所望の被写体にフォーカスを合わせながら、撮影が行われる。
しかしながら、被写体にフォーカスを合わせる際には、ある程度の時間を要する。
【０００３】
近時では、事後的にフォーカスを調整（リフォーカス）することが可能な撮像装置が提案されている。かかる撮像装置は、ライトフィールドカメラと称される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１０５１３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、単にリフォーカスを行って動画像を表示した場合には、閲覧者に違和感を与える場合がある。
【０００６】
本発明の目的は、閲覧者に違和感を与えることなく、リフォーカスした動画像を表示し得る画像処理装置、画像処理方法及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
実施形態の一観点によれば、視差を有する複数の画像を含むライトフィールド画像に基づいて、リフォーカス画像を生成する画像処理装置であって、奥行き方向における被写体の移動速度又は移動量に基づいて、前記リフォーカス画像における被写界深度を設定する処理部を有することを特徴とする画像処理装置が提供される。
【０００８】
実施形態の他の観点によれば、視差を有する複数の画像を含むライトフィールド画像に基づいて、リフォーカス画像を生成する画像処理方法であって、奥行き方向における被写体の移動速度又は移動量を求めるステップと、前記奥行き方向における前記被写体の前記移動速度又は前記移動量に基づいて、前記リフォーカス画像における被写界深度を設定するステップとを有することを特徴とする画像処理方法が提供される。
【０００９】
実施形態の更に他の観点によれば、視差を有する複数の画像を含むライトフィールド画像に基づいて、リフォーカス画像を生成するコンピュータプログラムであって、奥行き方向における被写体の移動速度又は移動量に基づいて、前記リフォーカス画像における被写界深度を設定することを特徴とするコンピュータプログラムが提供される。
【発明の効果】
【００１０】
本発明によれば、奥行き方向における被写体の移動速度又は移動量に基づいて、リフォーカス画像における被写界深度を設定するため、閲覧者に対して違和感を与えることなく、リフォーカスした動画像を表示することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１実施形態による画像処理装置を示すブロック図である。
【図２】本発明の第１実施形態による画像処理装置の一部を示す概略図である。
【図３】（ａ）は各々の画素における部分画素の配置の例を示す概略図であり、（ｂ）は撮像素子により取得される複数の画像の例を示す概念図であり、（ｃ）はリフォーカス画像の例を示す概念図である。
【図４】本発明の第１実施形態による画像処理装置の撮影時における動作を示すフローチャートである。
【図５】被写体の移動を概念的に示す図である。
【図６】本発明の第１実施形態による画像処理装置の再生時における動作を示すフローチャートである。
【図７】奥行き方向における被写体の移動速度Ｖが閾値Ｖｔｈより小さい場合に生成されるリフォーカス画像における被写界深度を概念的に示す図である。
【図８】奥行き方向における被写体の移動速度Ｖが閾値Ｖｔｈ以上である場合に生成されるリフォーカス画像における被写界深度を概念的に示す図である。
【図９】本発明の第１実施形態の変形例による画像処理装置の動作を示すフローチャートである。
【図１０】本発明の第２実施形態による画像処理装置を示すブロック図である。
【図１１】本発明の第２実施形態による撮像処理装置の動作を示すフローチャートである。
【図１２】被写体の移動を概念的に示す図である。
【発明を実施するための形態】
【００１２】
フォーカスを合わせる対象である被写体が奥行き方向に移動している場合には、被写体の移動に応じて、フォーカスを調整することが好ましい。
【００１３】
しかし、被写体の移動に応じて単にリフォーカスを行い、リフォーカスした動画像を再生した場合には、被写界深度の急激な変化が生じてしまう場合があり、閲覧者に違和感を与えてしまう場合がある。
【００１４】
［第１実施形態］
本発明の第１実施形態による画像処理装置、画像処理方法及びその画像処理方法を実現するコンピュータプログラムについて図面を用いて説明する。図１は、本実施形態における画像処理装置を示すブロック図である。図２は、本実施形態による画像処理装置の一部を示す概略図である。
【００１５】
図１に示すように、本実施形態による画像処理装置は、視差を有する複数の画像（サブ画像）を含むライトフィールド画像を取得する撮影光学系（撮像光学系）１２９と、ライトフィールド画像に基づいてリフォーカス画像を生成する処理部１３０とを有している。
【００１６】
なお、ここでは、撮影光学系１２９を有する画像処理装置、即ち、ライトフィールドカメラを例に説明するが、これに限定されるものではない。本発明は、撮影光学系１２９を有さない画像処理装置、例えば、フォトビューワー等にも適用可能である。
【００１７】
撮影光学系１２９は、レンズ光学系１１７と、マイクロレンズアレイ１０３と、撮像素子（イメージセンサ）１０４とを有している。
【００１８】
レンズ光学系１１７は、例えば、ズームレンズ１０１とフォーカスレンズ１０２とにより構成されている。
【００１９】
レンズ光学系１１７の一部を構成するフォーカスレンズ１０２の後段には、マイクロレンズアレイ１０３が配されている。マイクロレンズアレイ１０３は、レンズ光学系１１７と撮像素子１０４との間に配されている。より具体的には、マイクロレンズアレイ１０３は、撮像素子１０４の受光部上に配されている。マイクロレンズアレイ１０３は、複数のマイクロレンズ１２０を有している（図２参照）。複数のマイクロレンズ１２０は、撮像素子１０４の受光面に沿って２次元配列されている。なお、図２においては、ズームレンズ１０１の図示を省略している。マイクロレンズアレイ１０３は、各々のマイクロレンズ１２０が像平面１１９上に位置するように配されている。被写体１２１からの光が、レンズ光学系１１７により集光され、マイクロレンズアレイ１０３に入射されるようになっている。
【００２０】
マイクロレンズアレイ１０３の後段には、撮像素子１０４が配されている。撮像素子１０４としては、例えばＣＭＯＳ撮像素子等が用いられる。撮像素子１０４には、複数の画素１２３が２次元配列されている。各々の画素１２３は、複数の部分画素１２２ａ〜１２２ｄに分割されている。ここでは、１つの画素１２３が、例えば４つに分割されている。即ち、４つの部分画素１２２ａ〜１２２ｄにより、１つの画素１２３が構成されている。１つの画素１２３に対して１つのマイクロレンズ１２０が対応している。即ち、複数の部分画素１２２ａ〜１２２ｄに対して、１つのマイクロレンズ１２０が対応している。マイクロレンズ１２０に入射される光は、マイクロレンズ１２０により分割されて、各々の部分画素１２２ａ〜１２２ｄに入射される。
【００２１】
図３（ａ）は、各々の画素１２３における部分画素１２２ａ〜１２２ｄの配置の例を示す概略図である。図３（ａ）においては、部分画素１２２ａを“Ａ”で示しており、部分画素１２２ｂを“Ｂ”で示しており、部分画素１２２ｃを“Ｃ”で示しており、部分画素１２２ｄを“Ｄ”で示している。図３（ａ）に示すように、各々の画素１２３は２行２列に分割されている。換言すれば、２行２列に配列された部分画素１２２ａ〜１２２ｄより、１つの画素１２３が構成されている。
【００２２】
図３（ｂ）は、撮像素子１０４により取得される複数の画像の例を示す概念図である。画像１２４ａは、２次元配列された複数の画素１２３のそれぞれに配された部分画素１２２ａによって取得される画像を示している。画像１２４ｂは、２次元配列された複数の画素１２３のそれぞれに配された部分画素１２２ｂによって取得される画像を示している。画像１２４ｃは、２次元配列された複数の画素１２３のそれぞれに配された部分画素１２２ｃによって取得される画像を示している。画像１２４ｄは、２次元配列された複数の画素１２３のそれぞれに配された部分画素１２２ｄによって取得される画像を示している。このように、視差の存在する例えば４種類の画像１２４ａ〜１２４ｄが得られる。
【００２３】
視差の存在するこれらの画像１２４ａ〜１２４ｄは、ライトフィールド画像を構成する各々であるため、サブ画像と称される。視差の存在する複数のサブ画像１２４ａ〜１２４ｄにより、ライトフィールド画像が構成される。
【００２４】
ライトフィールド画像についてのデータは、ライトフィールドデータと称される。また、サブ画像についてのデータは、サブ画像データと称される。
【００２５】
視差の存在する複数のサブ画像１２４ａ〜１２４ｄによりライトフィールド画像が構成されているため、ライトフィールドデータには、２次元的な光強度分布の情報のみならず、光の入射方向の情報までもが含まれている。換言すれば、ライトフィールドデータは、被写体空間の３次元的な情報を含んでいる。
【００２６】
なお、ここでは、１つの画素１２３が４つの部分画素１２２ａ〜１２２ｄにより構成されている場合を例に説明したが、１つの画素１２３を構成する部分画素１２２ａ〜１２２ｄの数は、４つに限定されるものではなく、適宜設定し得る。
【００２７】
図３（ｃ）は、リフォーカス画像１２５の例を示す概念図である。リフォーカス画像１２５は、撮影後、即ち、事後的にフォーカスを合わせ直す処理であるリフォーカスを行うことにより得られる画像である。ライトフィールド画像には視差を有する複数のサブ画像１２４ａ〜１２４ｄが含まれているため、ライトフィールド画像に基づいてリフォーカス画像１２５を生成することが可能である。
【００２８】
撮像素子１０４の後段には、撮像素子１０４の出力インターフェースとして機能するデジタルフロントエンド（ＤＦＥ：Digital Front End）１０５が配されている。
【００２９】
なお、撮像素子１０４に対する制御は、処理部１３０の一部である撮像素子制御部１１４によって行われる。また、撮像素子制御部１１４に対する制御は、処理部１３０の一部であるシステム制御部１１３によって行われる。
【００３０】
本実施形態による画像処理装置の処理部１３０は、信号処理部１０６と、被写体検出部１０７と、移動速度検出部１１５と、被写体認識部１１８とを有している。また、本実施形態による画像処理装置の処理部１３０は、画像処理装置全体の制御を司るシステム制御部１１３と、撮像素子を制御する撮像素子制御部１１４と、データを一時的に保持するメモリ１０８とを有している。また、本実施形態による画像処理装置の処理部１３０は、表示部１２７，１２８と、表示部１２７，１２８を制御する表示制御部１１２と、記録媒体（図示せず）にデータを記録する記録部１２６と、操作者が操作入力を行うための操作部１３２とを有している。
【００３１】
信号処理部１０６、被写体検出部１０７、移動速度検出部１１５、被写体検出部１１８、表示制御部１１２等は、例えばシステムＬＳＩ等を用いて構成することができる。かかるシステムＬＳＩには、本実施形態による画像処理方法を実行するコンピュータプログラムが組み込まれている。
【００３２】
撮像素子１０４の出力信号は、デジタルフロントエンド１０５を介して、信号処理部１０６に入力されるようになっている。信号処理部１０６は、撮像素子１０４から出力されるライトフィールドデータ（画素データ、画像データ）に対して所定の信号処理を施すものである。信号処理部１０６によって所定の信号処理が施されたライトフィールドデータは、メモリ（メインメモリ）１０８に書き込まれる。本実施形態による画像処理装置は、動画像の処理を行い得るものである。従って、信号処理部１０６は、撮像素子１０４から順次出力されるライトフィールドデータに対して所定の信号処理を順次施し、信号処理を施したライトフィールドデータをメモリ１０８に順次書き込む。
【００３３】
メモリ１０８は、書き込まれたデータを一時的に保持するものである。メモリ１０８としては、例えばＤＲＡＭ等が用いられる。なお、メモリ１０８に対するデータの書き込みや読み出しは、メモリコントローラ１０９を用いて行われる。
【００３４】
撮像素子１０４の出力信号は、デジタルフロントエンド１０５を介して、被写体検出部１０７にも入力されるようになっている。被写体検出部１０７は、撮像素子１０４から出力される画像データ（ライトフィールドデータ）に基づいて、被写体（ピントを合わせる対象となる人物や物体）１２１を検出する。
【００３５】
被写体検出部１０７による被写体（注目被写体）の検出結果は、移動速度検出部（移動速度算出部）１１５に入力される。移動速度検出部１１５は、奥行き方向における被写体１２１の移動速度を検出（算出）するものである。
【００３６】
被写体認識部１１８は、特徴検出部１１０と認識／認証部１１１とにより構成されている。特徴検出部１１０は、被写体１２１の画像に基づいて、被写体１２１の特徴を抽出するものである。認識／認証部１１１は、特徴検出部１１０により抽出された特徴を解析することにより、被写体１２１の認識や認証を行うものである。
【００３７】
被写体１２１が人間である場合には、特徴検出部１１０は、例えば、人間の顔の部位（耳、目、鼻、口等）等を抽出する。認識／認証部１１１は、特徴検出部１１０により抽出された人間の顔の部位（耳、目、鼻、口等）等を解析することにより、例えば、笑顔の有無や個人の特定等を行う。
【００３８】
なお、被写体１２１は、人間に限定されるものではなく、物体であってもよい。被写体１２１が物体である場合には、特徴検出部１１０は、例えば物体の色や形状等を抽出し、認識／認証部１１１は、例えば物体の特定等を行う。
【００３９】
表示制御部１１２は、表示部１２７、１２８を制御するものである。表示部１２７としては、例えば液晶ビューファインダー等が挙げられる。表示部１２８としては、例えば液晶モニタ等を挙げることができる。液晶モニタ１２８としては、例えばタッチパネル液晶モニタ等を挙げることができる。タッチパネル液晶モニタ１２８は、表示装置と位置入力装置（指示入力部）とが組み合わせられたものである。操作者は、タッチパネル液晶モニタ１２８の表示画面の一部に指等を接触させることにより、ピントを合わせる対象となる被写体１２１を指示することができる。操作者により指示された被写体１２１には、タッチパネル液晶モニタ１２８の表示画面上において、例えば矩形の枠を表示するようにしてもよい。このような枠をタッチパネル液晶モニタ１２８の表示画面に表示すれば、ピントを合わせる対象である被写体（注目被写体）１２１がどれであるのかが分かりやすくなる。
【００４０】
記録部１２６は、ライトフィールドデータ及びメタデータをメモリ１０８から読み出し、読み出したライトフィールドデータ及びメタデータを、図示しない記録媒体に記録する。かかるメタデータには、後述するように、リフォーカス画像における被写界深度（リフォーカス範囲）についての情報が含まれている。
【００４１】
次に、本実施形態による画像処理装置の撮影時における動作について図４を用いて説明する。図４は、本実施形態による画像処理装置の撮影時における動作を示すフローチャートである。
【００４２】
まず、画像処理装置の電源が操作者（撮影者）によってＯＮ状態にされる（ステップＳ１）。
【００４３】
本実施形態による画像処理装置は、各フィールドの開始を示す同期信号に同期して所定の画像処理を行うものである。なお、各々のフィールドは、動画像の１フレームに対応するものである。かかる同期信号としては、例えば撮像素子１０４に印加される垂直同期信号等を用いることができる。同期信号を検出すると（ステップＳ２においてＹＥＳ）、システム制御部１１３は、撮像素子制御部１１４を介して撮像素子１０４を制御することにより、撮像素子１０４からライトフィールドデータを出力させる。撮像素子１０４から出力されたライトフィールドデータは、信号処理部１０６に入力される。こうして、撮像素子１０４により取得されたライトフィールドデータが、信号処理部１０６により読み出される（ステップＳ３）。なお、ステップＳ２においてＮＯの場合には、ステップＳ２が繰り返し行われ、同期信号を待つ。
【００４４】
次に、システム制御部１１３は、信号処理部１０６に所定の信号処理を行わせる。信号処理部１０６は、撮像素子１０４から入力されたライトフィールドデータに対して、所定の信号処理を行う（ステップＳ４）。
【００４５】
次に、システム制御部１１３は、信号処理部１０６によって信号処理が施されたライトフィールドデータを、メモリ１０８に書き込む（ステップＳ５）。
【００４６】
次に、システム制御部１１３は、被写体検出機能がＯＮ状態に設定されているか否かを判定する（ステップＳ６）。被写体検出機能がＯＦＦ状態に設定されている場合には（ステップＳ６においてＮＯ）、ステップＳ２に戻り、次のフィールドの開始を示す同期信号を待つ。
【００４７】
被写体検出機能がＯＮ状態に設定されている場合には（ステップＳ６においてＹＥＳ）、システム制御部１１３は、撮影された画像から所望の被写体（注目被写体）１２１を検出する（ステップＳ７）。
【００４８】
次に、システム制御部１１３は、被写体認識機能がＯＮ状態に設定されているか否かを判定する（ステップＳ８）。被写体認識機能がＯＦＦ状態に設定されている場合には（ステップＳ８においてＮＯ）、ステップＳ２に戻り、次のフィールドの開始を示す同期信号を待つ。
【００４９】
被写体認識機能がＯＮ状態に設定されている場合には（ステップＳ８においてＹＥＳ）、システム制御部１１３は、被写体認識部１１８に被写体１２１を認識する処理を行わせる。被写体認識部１１８の特徴検出部１１０は、例えば、被写体１２１の一部を少なくとも含む矩形領域内の画像に基づいて、被写体１２１の特徴を抽出する。そして、被写体１２１の認証や認識が被写体認識部１１８の認識／認証部１１１によって行われる（ステップＳ９）。
【００５０】
次に、システム制御部１１３は、移動速度検出部１１５に、奥行き方向における被写体１２１の移動速度Ｖを検出させる（ステップＳ１０）。図５は、被写体の移動を概念的に示す図である。実線の枠で囲まれた矩形領域（検出領域）Ａ内に示された被写体１２１は、移動前における被写体１２１を示している。破線の枠で囲まれた矩形領域（検出領域）Ｂ内に示された被写体１２１は、移動後における被写体１２１を示している。移動速度検出部１１５は、奥行き方向における被写体１２１の移動速度Ｖを検出する。
【００５１】
次に、システム制御部１１３は、奥行き方向における被写体１２１の移動速度Ｖを閾値Ｖｔｈと比較する（ステップＳ１１）。
【００５２】
奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈ以上である場合には（ステップＳ１１においてＮＯ）、システム制御部１１３は、リフォーカス画像における被写界深度が深くなるように被写界深度のパラメータを設定する（ステップＳ１２）。即ち、奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈ以上（閾値以上）である場合には、システム制御部１１３は、リフォーカス画像におけるリフォーカス範囲が大きくなるように、リフォーカス範囲決定パラメータを設定する。
【００５３】
リフォーカス画像とは、リフォーカスを行うことにより得られる画像のことである。被写界深度とは、ピントがあっているよう見える被写体側における距離のことである。リフォーカス範囲とは、リフォーカスを行うことによって、ピントがあっているように見えるようになる被写体側における範囲のことである。従って、「リフォーカス画像における被写界深度」は、「リフォーカス範囲」と同義である。
【００５４】
また、リフォーカス画像における被写界深度とは、事後的にリフォーカスすることにより得られるリフォーカス画像における被写界深度のことである。即ち、リフォーカス画像における被写界深度とは、リフォーカスを行って動画像を再生する際における被写界深度のことである。
【００５５】
奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈより小さい場合には（ステップＳ１１においてＹＥＳ）、システム制御部１１３は、リフォーカス画像における被写界深度が浅くなるように、被写界深度のパラメータを決定する（ステップＳ１３）。即ち、奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈより小さい場合には、システム制御部１１３は、リフォーカス画像におけるリフォーカス範囲が小さくなるように、リフォーカス範囲決定パラメータを設定する。
【００５６】
このように、本実施形態では、奥行き方向における被写体１２１の移動速度Ｖに基づいて、リフォーカス画像における被写界深度（リフォーカス範囲）が設定される。システム制御部１１３は、ライトフィールドデータと、リフォーカス範囲決定パラメータを含むメタデータとをメモリ１０８に書き込む。より具体的には、システム制御部１１３は、ライトフィールドデータと、リフォーカス範囲決定パラメータを含むメタデータとを、互いに関連付けてメモリ１０８に書き込む（ステップＳ１４）。
【００５７】
次に、システム制御部１１３は、メモリ１０８に書き込まれたライトフィールドデータ及びメタデータを、メモリ１０８から読み出す（ステップＳ１５）。
【００５８】
次に、システム制御部１１３は、記録媒体への記録を記録部１２６に行わせる。記録部１２６は、メモリ１０８から読み出されたライトフィールドデータ及びメタデータを、図示しない記録媒体に記録する（ステップＳ１６）。
【００５９】
次に、システム制御部１１３は、撮影された画像の表示を表示制御部１１２に行わせる（ステップＳ１７）。表示制御部１１２は、撮影された画像を、例えば表示部１２７を用いて表示する。なお、この段階において表示部１２７に表示される画像は、リフォーカスが行われた画像ではなく、リフォーカスが行われていない画像である。なお、ステップＳ１７を行った後は、ステップＳ２に戻り、上記のような処理が繰り返される。
【００６０】
こうして、本実施形態による画像処理装置を用いて撮影が行われる。
【００６１】
次に、本実施形態による画像処理装置の再生時における動作について図６を用いて説明する。図６は、本実施形態による画像処理装置の再生時における動作を示すフローチャートである。
【００６２】
まず、画像処理装置の電源が操作者（閲覧者）によりＯＮ状態にされる（ステップＳ２１）。
【００６３】
次に、画像処理装置の操作部１３２を介して、動画像の再生の指示が操作者によって入力されると（ステップＳ２２においてＹＥＳ）、システム制御部１１３は、記録媒体に記録されたライトフィールドデータとメタデータとを読み出す（ステップＳ２３）。上述したように、メタデータには、ライトフィールドデータに基づいてリフォーカス画像を生成する際における、リフォーカス画像の被写界深度（リフォーカス範囲）を示すリフォーカス範囲決定パラメータが含まれている。
【００６４】
次に、システム制御部１１３は、ライトフィールドデータに基づいて、リフォーカス画像を生成する。この際、システム制御部１１３は、リフォーカス範囲決定パラメータに基づいて、リフォーカス画像における被写界深度（リフォーカス範囲）を設定する（ステップＳ２４）。奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈより小さい場合には、リフォーカス画像におけるリフォーカス範囲が小さくなるように、リフォーカス範囲決定パラメータが設定されている。従って、奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈより小さい場合には、被写界深度が比較的浅いリフォーカス画像が生成される。一方、奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈ以上である場合には、リフォーカス画像におけるリフォーカス範囲が大きくなるように、リフォーカス範囲決定パラメータが設定されている。従って、奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈ以上である場合には、被写界深度が比較的深いリフォーカス画像が生成される。
【００６５】
次に、システム制御部１１３は、生成されたリフォーカス画像の表示を表示制御部１１２に行わせる（ステップＳ２５）。表示制御部１１２は、例えば表示部１２８を用いてリフォーカス画像を表示する。なお、ステップＳ２５を行った後は、ステップＳ２３に戻り、上記のような処理が繰り返される。
【００６６】
図７は、奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈより小さい場合に生成されるリフォーカス画像における被写界深度を概念的に示す図である。図７（ａ）は、被写体１２１が移動する前のリフォーカス画像における被写界深度を概念的に示している。図７（ｂ）は、被写体１２１が移動した後のリフォーカス画像における被写界深度を概念的に示している。細い実線の枠で囲まれた矩形領域Ａ内に示されている被写体１２１は、移動前における被写体１２１である。細い破線の枠で囲まれた矩形領域Ｂ内に示されている被写体１２１は、移動後の被写体１２１である。図７において太い実線の枠で示す矩形領域は、ピントがあっているように見える領域を概念的に示している。
【００６７】
図７から分かるように、奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈより小さい場合には、奥行き方向の比較的狭い領域においてピントがあっているように見える。即ち、奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈより小さい場合には、リフォーカス画像における被写界深度は比較的浅くなる。奥行き方向における移動速度Ｖが比較的小さいため、リフォーカス画像における被写界深度が比較的浅くても、閲覧者に著しい違和感を与えない。
【００６８】
図８は、奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈ以上である場合に生成されるリフォーカス画像における被写界深度を概念的に示す図である。細い実線の枠で囲まれた矩形領域Ａ内に示されている被写体１２１は、移動前における被写体１２１である。細い破線の枠で囲まれた矩形領域Ｂ内に示されている被写体１２１は、移動後における被写体１２１である。図８において太い実線の枠で示す矩形領域Ｃは、ピントがあっている領域を示している。
【００６９】
図８から分かるように、奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈ以上である場合には、奥行き方向の比較的広い領域においてピントがあっているように見える。即ち、奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈ以上である場合には、リフォーカス画像における被写界深度は比較的深くなる。リフォーカス画像における被写界深度が比較的深いため、奥行き方向における移動速度Ｖが比較的速くても、閲覧者に著しい違和感を与えない。
【００７０】
このように、本実施形態では、奥行き方向における被写体１２１の移動速度が比較的大きい場合には、被写界深度が比較的深いリフォーカス画像が生成される。一方、奥行き方向における被写体１２１の移動速度が比較的小さい場合には、被写界深度が比較的浅いリフォーカス画像が生成される。このため、本実施形態によれば、閲覧者に対して違和感を与えることなく、リフォーカスした動画像を表示することができる。
【００７１】
（変形例）
次に、本実施形態による画像処理装置、画像処理方法及びコンピュータプログラムの変形例について図９を用いて説明する。図９は、本変形例による画像処理装置の動作を示すフローチャートである。
【００７２】
本変形例による画像処理装置は、撮像時においては、リフォーカス画像における被写界深度を決定せず、再生時において、リフォーカス画像における被写界深度を決定するものである。
【００７３】
まず、画像処理装置の電源が操作者（閲覧者）によりＯＮ状態にされる（ステップＳ３１）。
【００７４】
次に、画像処理装置の操作部１３２を介して、動画像の再生の指示が操作者によって入力されると（ステップＳ３２においてＹＥＳ）、システム制御部１１３は、記録媒体に記録されたライトフィールドデータ（画像データ）を読み出す（ステップＳ３３）。なお、本変形例では、撮像時にリフォーカス範囲決定パラメータを決定しないため、リフォーカス範囲決定パラメータを含むメタデータは、ライトフィールドデータに関連付けられて記録媒体に記録されていない。
【００７５】
次に、システム制御部１１３は、被写体検出機能がＯＮ状態に設定されているか否かを判定する（ステップＳ３４）。被写体検出機能がＯＦＦ状態に設定されている場合には（ステップＳ３４においてＮＯ）、後述するステップＳ４２以降を行う。
【００７６】
被写体検出機能がＯＮ状態に設定されている場合には（ステップＳ３４においてＹＥＳ）、システム制御部１１３は、読み出した画像から所望の被写体１２１を検出する（ステップＳ３５）。被写体１２１の検出は、例えば、撮影中に検出した被写体１２１であってもよいし、再生時に操作者（閲覧者）が指示した被写体１２１であってもよい。上述したように、操作者は、タッチパネル液晶モニタ１２８の表示画面の一部に指等を接触させることにより、ピントを合わせる対象となる被写体１２１を指示することができる。
【００７７】
次に、システム制御部１１３は、被写体認識機能がＯＮ状態に設定されているか否かを判定する（ステップＳ３６）。被写体認識機能がＯＦＦ状態に設定されている場合には（ステップＳ３６においてＮＯ）、後述するステップＳ４２以降を行う。
【００７８】
被写体認識機能がＯＮ状態に設定されている場合には（ステップＳ３６においてＹＥＳ）、システム制御部１１３は、被写体１２１を認識する処理を被写体認識部１１８に行わせる。被写体認識部１１８の特徴検出部１１０は、例えば、被写体１２１の一部を少なくとも含む矩形領域内の画像に基づいて、被写体１２１の特徴を抽出する。そして、被写体１２１の認証や認識が被写体認識部１１８の認識／認証部１１１によって行われる（ステップＳ３７）。
【００７９】
次に、システム制御部１１３は、移動速度検出部１１５に、奥行き方向における被写体１２１の移動速度Ｖを検出させる（ステップＳ３８）。
【００８０】
次に、システム制御部１１３は、奥行き方向における被写体１２１の移動速度Ｖを閾値Ｖｔｈと比較する（ステップＳ３９）。
【００８１】
奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈ以上である場合には（ステップＳ３９においてＮＯ）、システム制御部１１３は、リフォーカス画像における被写界深度が深くなるように、被写界深度のパラメータを設定する（ステップＳ４０）。即ち、奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈ以上である場合には、システム制御部１１３は、リフォーカス画像におけるリフォーカス範囲が大きくなるように、リフォーカス範囲決定パラメータを設定する。
【００８２】
奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈより小さい場合には（ステップＳ３９においてＹＥＳ）、システム制御部１１３は、リフォーカス画像における被写界深度が浅くなるように、被写界深度のパラメータを決定する（ステップＳ４１）。即ち、奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈより小さい場合には、システム制御部１１３は、リフォーカス画像におけるリフォーカス範囲が小さくなるように、リフォーカス範囲決定パラメータを設定する。
【００８３】
次に、システム制御部１１３は、ライトフィールドデータに基づいて、リフォーカス画像を生成する（ステップＳ４２）。この際、システム制御部１１３は、リフォーカス範囲決定パラメータに基づいて、リフォーカス画像における被写界深度（リフォーカス範囲）を設定する。奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈより小さい場合には、リフォーカス画像におけるリフォーカス範囲が小さくなるように、リフォーカス範囲決定パラメータが設定されている。従って、奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈより小さい場合には、被写界深度が比較的浅いリフォーカス画像が生成される。一方、奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈ以上である場合には、リフォーカス画像におけるリフォーカス範囲が大きくなるように、リフォーカス範囲決定パラメータが設定されている。従って、奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈ以上である場合には、被写界深度が比較的深いリフォーカス画像が生成される。
【００８４】
次に、システム制御部１１３は、生成されたリフォーカス画像の表示を表示制御部１１２に行わせる（ステップＳ４３）。表示制御部１１２は、例えば表示部１２８を用いてリフォーカス画像を表示する。なお、ステップＳ４３を行った後は、ステップＳ３３に戻り、上記のような処理が繰り返される。
【００８５】
このように、撮像時においてはリフォーカス画像における被写界深度を決定せず、再生時においてリフォーカス画像における被写界深度を決定するようにしてもよい。
【００８６】
［第２実施形態］
本発明の第２実施形態による画像処理装置、画像処理方法及びコンピュータプログラムについて図１０乃至図１２を用いて説明する。図１０は、本実施形態による画像処理装置を示すブロック図である。図１乃至図９に示す第１実施形態による画像処理装置等と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
【００８７】
本実施形態による画像処理装置は、奥行き方向における被写体１２１の移動量（移動距離）に基づいて、リフォーカス画像における被写界深度を設定するものである。
【００８８】
図１０に示すように、本実施形態では、処理部１３０は、移動量検出部１１６を更に有している。被写体検出部１０７による被写体（注目被写体）１２１の検出結果は、移動量検出部（移動距離検出部）１１６にも入力されるようになっている。移動量検出部１１６は、奥行き方向における被写体１２１の移動量（移動距離）を検出（算出）する。
【００８９】
また、本実施形態では、処理部１３０は、距離検出部１３１を更に有している。被写体検出部１０７による被写体１２１の検出結果は、距離検出部１３１にも入力されるようになっている。距離検出部１３１は、奥行き方向における撮像素子１０４から被写体１２１までの距離を検出（算出）する。
【００９０】
本実施形態による画像処理装置の動作について図１１を用いて説明する。図１１は、本実施形態による画像処理装置の動作を示すフローチャートである。
【００９１】
まず、画像処理装置の電源が操作者（撮影者）によってＯＮ状態にされる（ステップＳ５１）。
【００９２】
次に、所定の同期信号を検出すると（ステップＳ５２においてＹＥＳ）、システム制御部１１３は、撮像素子制御部１１４を介して撮像素子１０４を制御することにより、撮像素子１０４からライトフィールドデータを出力させる。撮像素子１０４から出力されたライトフィールドデータは、信号処理部１０６に入力される。こうして、撮像素子１０４により取得されたライトフィールドデータが、信号処理部１０６により読み出される（ステップＳ５３）。なお、ステップＳ５２においてＮＯの場合には、ステップＳ５２が繰り返し行われ、同期信号を待つ。
【００９３】
次に、システム制御部１１３は、信号処理部１０６に所定の信号処理を行わせる。信号処理部１０６は、撮像素子１０４から入力されたライトフィールドデータに対して、所定の信号処理を行う（ステップＳ５４）。
【００９４】
次に、システム制御部１１３は、信号処理部１０６によって信号処理が施されたライトフィールドデータを、メモリ１０８に書き込む（ステップＳ５５）。
【００９５】
次に、システム制御部１１３は、被写体検出機能がＯＮ状態に設定されているか否かを判定する（ステップＳ５６）。被写体検出機能がＯＦＦ状態に設定されている場合には（ステップＳ５６においてＮＯ）、ステップＳ５２に戻り、次のフィールドの開始を示す同期信号を待つ。
【００９６】
被写体検出機能がＯＮ状態に設定されている場合には（ステップＳ５６においてＹＥＳ）、システム制御部１１３は、撮影された画像から所望の被写体（注目被写体）１２１を検出する（ステップＳ５７）。
【００９７】
次に、システム制御部１１３は、被写体認識機能がＯＮ状態に設定されているか否かを判定する（ステップＳ５８）。被写体認識機能がＯＦＦ状態に設定されている場合には（ステップＳ５８においてＮＯ）、ステップＳ５２に戻り、次のフィールドの開始を示す同期信号を待つ。
【００９８】
被写体認識機能がＯＮ状態に設定されている場合には（ステップＳ５８においてＹＥＳ）、システム制御部１１３は、被写体認識部１１８に被写体１２１を認識する処理を行わせる。被写体認識部１１８の特徴検出部１１０は、被写体１２１の一部を少なくとも含む矩形領域内の画像に基づいて、被写体１２１の特徴を抽出する。そして、被写体１２１の認証や認識が被写体認識部１１８の認識／認証部１１１によって行われる（ステップＳ５９）。
【００９９】
次に、システム制御部１１３は、移動速度検出部１１５に、奥行き方向における被写体１２１の移動速度Ｖを検出させる（ステップＳ６０）。
【０１００】
次に、システム制御部１１３は、奥行き方向における被写体１２１の移動速度Ｖを閾値Ｖｔｈと比較する（ステップＳ６１）。
【０１０１】
奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈより小さい場合には（ステップＳ６１においてＹＥＳ）、ステップＳ５２に戻り、次のフィールドの開始を示す同期信号を待つ。
【０１０２】
奥行き方向における被写体１２１の移動速度Ｖが閾値Ｖｔｈ以上である場合には（ステップＳ６１においてＮＯ）、システム制御部１１３は、距離検出部１３１に、奥行き方向における被写体１２１までの距離Ｌを検出させる（ステップＳ６２）。具体的には、システム制御部１１３は、距離検出部１３１に、奥行き方向における撮像素子１０４から被写体１２１までの距離Ｌを検出させる。
【０１０３】
次に、システム制御部１１３は、奥行き方向における被写体１２１までの距離Ｌを閾値Ｌｔｈと比較する（ステップＳ６３）。
【０１０４】
奥行き方向における被写体１２１までの距離Ｌが閾値Ｌｔｈ以上である場合には（ステップＳ６３においてＮＯ）、システム制御部１１３は、リフォーカス画像における被写界深度が深くなるように、被写界深度のパラメータを設定する（ステップＳ６４）。即ち、奥行き方向における被写体１２１までの距離Ｌが閾値Ｌｔｈ以上である場合には、システム制御部１１３は、リフォーカス画像におけるリフォーカス範囲が大きくなるように、リフォーカス範囲決定パラメータを設定する。
【０１０５】
奥行き方向における被写体１２１までの距離Ｌが閾値Ｌｔｈより小さい場合には（ステップＳ６３においてＹＥＳ）、システム制御部１１３は、奥行き方向における被写体１２１の移動量Ｘを移動量検出部１１５に検出させる（ステップＳ６５）。
【０１０６】
図１２は、被写体１２１の移動を概念的に示す図である。実線の枠で囲まれた矩形領域（検出領域）Ａ内に示されている被写体１２１は、移動前における被写体１２１である。破線の枠で囲まれた矩形領域（検出領域）Ｂ内に示されている被写体１２１は、移動後における被写体１２１である。移動量検出部１１５は、奥行き方向における被写体１２１の移動量Ｘを検出する。
【０１０７】
奥行き方向における被写体１２１の移動量Ｘが閾値Ｘｔｈ以下である場合には（ステップＳ６６においてＮＯ）、システム制御部１１３は、リフォーカス画像における被写界深度が深くなるように、被写界深度のパラメータを設定する（ステップＳ６４）。即ち、奥行き方向における被写体１２１の移動量Ｘが閾値Ｘｔｈ以下（閾値以下）である場合には、システム制御部１１３は、リフォーカス画像におけるリフォーカス範囲が大きくなるように、リフォーカス範囲決定パラメータを設定する。
【０１０８】
一方、奥行き方向における被写体１２１の移動量Ｘが閾値Ｘｔｈより大きい場合には（ステップＳ６６においてＹＥＳ）、システム制御部１１３は、リフォーカス画像における被写界深度が浅くなるように被写界深度のパラメータを設定する（ステップＳ６７）。即ち、奥行き方向における被写体１２１までの距離Ｌが閾値Ｌｔｈより大きい場合には、システム制御部１１３は、リフォーカス画像におけるリフォーカス範囲が小さくなるように、リフォーカス範囲決定パラメータを設定する。
【０１０９】
更に、システム制御部１１３は、ピントの位置が被写体１２１の移動に対して緩やかに追従するように、再生時にＬＰＦ（ローパスフィルタ）処理を行うことを示す情報をメタデータに含ませる（ステップＳ６８）。
【０１１０】
このように、本実施形態では、奥行き方向における被写体１２１の移動量Ｘに基づいて、リフォーカス画像における被写界深度（リフォーカス範囲）が設定される。システム制御部１１３は、ライトフィールドデータと、リフォーカス範囲決定パラメータ等を含むメタデータとをメモリ１０８に書き込む。より具体的には、システム制御部１１３は、ライトフィールドデータと、リフォーカス範囲決定パラメータ等を含むメタデータとを、互いに関連付けてメモリ１０８に書き込む（ステップＳ６９）。
【０１１１】
次に、システム制御部１１３は、メモリ１０８に書き込まれたライトフィールドデータ及びメタデータを、メモリ１０８から読み出す（ステップＳ７０）。
【０１１２】
次に、システム制御部１１３は、記録部１２６に記録を行わせる。記録部１２６は、メモリ１０８から読み出されたライトフィールドデータ及びメタデータを、図示しない記録媒体に記録する（ステップＳ７１）。
【０１１３】
次に、システム制御部１１３は、撮影された画像の表示を表示制御部１１２に行わせる（ステップＳ７２）。表示制御部１１２は、撮影された画像を、例えば表示部１２７を用いて表示する。なお、この段階において表示される画像は、リフォーカス画像ではなく、リフォーカスが行われていない画像である。なお、ステップＳ７２を行った後は、ステップＳ５２に戻り、上記のような処理が繰り返される。
【０１１４】
こうして、本実施形態による画像処理装置を用いて撮影が行われる。
【０１１５】
なお、本実施形態による画像処理装置における再生時の動作は、図６を用いて上述した第１実施形態による画像処理装置における再生時の動作と同様であるため、説明を省略する。
【０１１６】
このように、本実施形態では、奥行き方向における被写体１２１までの距離Ｌが比較的小さく、且つ、奥行き方向における被写体１２１の移動量Ｘが比較的小さい場合には、被写界深度（リフォーカス範囲）が比較的深く設定される。また、本実施形態では、奥行き方向における被写体１２１までの距離Ｌが比較的小さく、且つ、奥行き方向における被写体１２１の移動量Ｘが比較的大きい場合には、被写界深度（リフォーカス範囲）が比較的浅く設定される。しかも、この場合には、ローパスフィルタ処理を行うことにより、被写体１２１の移動に対して緩やかにフォーカスを追従させる。また、本実施形態では、奥行き方向における被写体１２１までの距離Ｌが大きい場合には、被写界深度（リフォーカス範囲）を比較的深く設定する。従って、本実施形態によっても、閲覧者に違和感を生じさせることなく、リフォーカスした動画像を表示することができる。
【０１１７】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１１８】
［変形実施形態］
上記実施形態に限らず種々の変形が可能である。
例えば、上記実施形態では、画像処理装置が撮像機能を有している場合、即ち、画像処理装置が撮像装置である場合を例に説明したが、画像処理装置は撮像装置に限定されるものではない。例えば、画像処理装置が、撮像機能を有さず、表示機能を有する画像処理装置、例えばフォトビューワー等であってもよい。また、画像処理装置が、撮像機能も表示機能も有さない処理装置であってもよい。画像処理装置が表示機能を有さない場合には、例えば、画像処理装置と別個に表示装置を設ければよい。
【０１１９】
また、第２実施形態では、リフォーカス画像における被写界深度（リフォーカス範囲決定パラメータ）を撮影時において決定する場合を例に説明したが、これに限定されるものではない。例えば、第１実施形態の変形例のように、撮像時においては、リフォーカス画像における被写界深度を決定せず、再生時において、リフォーカス画像における被写界深度を決定するようにしてもよい。
【０１２０】
また、上記実施形態では、図２に示すような撮影光学系１２９を用いてライトフィールドデータを取得する場合を例に説明したが、ライトフィールドデータを取得する手段はこれに限定されるものではない。様々な手段によって取得されたライトフィールドデータに対して、本発明を適用することが可能である。例えば特開２０１１−２２７９６号公報に示すように、視点の異なる複数のカメラ（カメラアレイ）を用いてライトフィールドデータを取得するようにしてもよい。即ち、ライトフィールドデータを取得するための撮影光学系（撮像手段）は、視点の異なる複数のカメラ（カメラアレイ）であってもよい。
【０１２１】
また、上記実施形態では、レンズ光学系１１７の結像面（像平面）の近傍にマイクロレンズアレイ１０３を配する場合を例に説明したが（図２参照）、これに限定されるものではない。例えば、特開２０１３−２５２４６号公報の段落００４９及び図７（ｂ）に示すように、レンズ光学系からの光束をマイクロレンズアレイによって結像させ、その結像面に撮像素子を位置させるようにしてもよい。この場合には、被写体平面（物体平面）と撮像素子とが、光学的共役関係を構成する。また、特開２０１３−２５２４６号公報の段落００５０及び図７（ｃ）に示すように、レンズ光学系からの光束をマイクロレンズアレイによって再結像させ、その結像面に撮像素子が位置するようにしてもよい。なお、一度結像した光束が拡散する状態にあるものを結像させるため、再結像と称している。この場合にも、被写体平面と撮像素子とが、光学的共役関係を構成する。
【０１２２】
また、適当なパターンを施したマスク（ゲイン変調素子）を撮影光学系１２９の光路中に挿入するようにしてもよい。
【符号の説明】
【０１２３】
１０１…ズームレンズ
１０２…フォーカスレンズ
１０３…マイクロレンズアレイ
１０４…撮像素子
１０５…ＤＦＥ
１０６…信号処理部
１０７…被写体検出部
１０８…メモリ
１０９…メモリコントローラ
１１０…特徴検出部
１１１…認識／認証部
１２６…記録部
１２７、１２８…表示部
１１３…システム制御部
１１４…撮像素子制御部
１１５…移動速度検出部
１１６…移動量検出部
１３１…距離検出部
【図１】
0006434778.tif 000002
【図２】
0006434778.tif 000003
【図３】
0006434778.tif 000004
【図４】
0006434778.tif 000005
【図５】
0006434778.tif 000006
【図６】
0006434778.tif 000007
【図７】
0006434778.tif 000008
【図８】
0006434778.tif 000009
【図９】
0006434778.tif 000010
【図１０】
0006434778.tif 000011
【図１１】
0006434778.tif 000012
【図１２】
0006434778.tif 000013