(57)【要約】【課題】撮影後に合焦状態を変更可能な静止画及び動画を取得可能であって、当該動画の合焦状態を変更する処理を容易に実現することが可能な画像処理装置を提供する。【解決手段】本発明に係る画像処理装置は、撮像素子の受光面で得られた光の強度分布と光の進行方向の情報とを含む画像データを、静止画データと、該静止画データを撮影した時間を含んだ動画データとして入力する入力手段と、入力された動画データの各フレーム又は入力された静止画データに含まれる、光の強度分布と光の進行方向の情報を用いて、合焦状態を変更した画像を生成する生成手段と、を有する。そして、生成手段は、入力された静止画データに基づいて第１の合焦状態の画像を生成するための、第１の合焦状態を示す情報を生成し、該第１の合焦状態を示す情報を参照して、所定の合焦状態となる動画を入力された動画データに基づいて生成する。【選択図】図８
2017017502.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子の受光面で得られた光の強度分布と光の進行方向の情報とを含む画像データを、静止画データと、該静止画データを撮影した時間を含んだ動画データとして入力する入力手段と、
前記入力された動画データの各フレーム又は前記入力された静止画データに含まれる、前記光の強度分布と光の進行方向の情報を用いて、合焦状態を変更した画像を生成する生成手段と、を有し、
前記生成手段は、前記入力された静止画データに基づいて第１の合焦状態の画像を生成するための、第１の合焦状態を示す情報を生成し、該第１の合焦状態を示す情報を参照して、所定の合焦状態となる動画を前記入力された動画データに基づいて生成する
ことを特徴とする画像処理装置。
【請求項２】
前記生成手段は、前記第１の合焦状態をユーザが指定するための画像を、前記入力された静止画データに基づいて生成し、該画像に対する前記ユーザの指定に応じて前記第１の合焦状態を示す情報を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、前記第１の合焦状態を示す情報を、前記入力された動画データのメタデータとして記録することにより、前記第１の合焦状態を示す情報を参照する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記生成手段は、前記入力された動画データの第１のフレームに基づいて第２の合焦状態の画像を生成するための、第２の合焦状態を示す情報を生成し、該第２の合焦状態を示す情報を参照して、前記第２の合焦状態で合焦していた特定の被写体に合焦する第３の合焦状態の画像を、前記入力された動画データの第２のフレームに基づいて生成する
ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記生成手段は、前記第２のフレームにおいて前記特定の被写体を認識した場合、前記第２の合焦状態で合焦していた前記特定の被写体に合焦する第３の合焦状態の画像を、前記入力された動画データの第２のフレームに基づいて生成し、前記第２のフレームにおいて前記特定の被写体を認識していない場合、前記第２の合焦状態の画像と同等の合焦状態となる画像を、前記入力された動画データの第２のフレームに基づいて生成する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記合焦状態をユーザが指定するための画像に対する、前記特定の被写体を選択するユーザ指示を受け取る操作手段をさらに有し、
前記生成手段は、前記第１の合焦状態を、前記ユーザ指示により選択された前記特定の被写体に合焦した状態とする
ことを特徴とする請求項４または５に記載の画像処理装置。
【請求項７】
前記生成手段は、前記合焦状態をユーザが指定するための画像を、最も被写界深度の深い画像となるように前記入力された静止画データに基づいて生成する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記操作手段により、複数の被写体を順番に選択する前記ユーザ指示を受け取った場合、
前記生成手段は、前記順番に基づいた、前記複数の被写体に合焦させる順番を示す情報を生成し、該順番を示す情報を参照して、合焦させる前記特定の被写体を変更する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記生成手段は、前記静止画データを撮影した際の撮影条件に基づいて前記第１の合焦状態を示す情報を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
請求項１から９のいずれか１項に記載の画像処理装置を有する撮像装置であって、
受光面で得られた光の強度分布と光の進行方向の情報とを含む画像データを記録する記録手段をさらに備える
ことを特徴とする撮像装置。
【請求項１１】
入力手段が、撮像素子の受光面で得られた光の強度分布と光の進行方向の情報とを含む画像データを、静止画データと、該静止画データを撮影した時間を含んだ動画データとして入力する入力工程と、
生成手段が、前記入力された動画データの各フレーム又は前記入力された静止画データに含まれる、前記光の強度分布と光の進行方向の情報を用いて、合焦状態を変更した画像を生成する生成工程と、を有し、
前記生成工程では、前記入力された静止画データに基づいて第１の合焦状態の画像を生成するための、第１の合焦状態を示す情報を生成し、該第１の合焦状態を示す情報を参照して、所定の合焦状態となる動画を前記入力された動画データに基づいて生成する
ことを特徴とする画像処理装置の制御方法。
【請求項１２】
コンピュータを、請求項１から９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置およびその制御方法、撮像装置ならびにプログラムに関する。
【背景技術】
【０００２】
近年、撮影後の処理によって撮影した画像の合焦状態を変更可能な撮像装置が知られている。特許文献１では、「Light Field Photography」と呼ばれる手法を用いた撮像装置を利用して、所望の結像面での画素配列に従って画素信号を再構成（並び替え、合成など）し、合焦状態を変更する処理（リフォーカス処理）を実現している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−６４２１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した撮像装置では、合焦状態を変更した静止画を提供することを前提としているため、静止画とそれに関する動画とを撮影し、所望の合焦状態に変更した動画を提供する場合については考慮されていない。
【０００５】
上記課題に鑑み、本発明は、撮影後に合焦状態を変更可能な静止画及び動画を取得可能であって、当該動画の合焦状態を変更する処理を容易に実現することが可能な画像処理装置およびその制御方法、撮像装置ならびにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、撮像素子の受光面で得られた光の強度分布と光の進行方向の情報とを含む画像データを、静止画データと、該静止画データを撮影した時間を含んだ動画データとして入力する入力手段と、入力された動画データの各フレーム又は入力された静止画データに含まれる、光の強度分布と光の進行方向の情報を用いて、合焦状態を変更した画像を生成する生成手段と、を有し、生成手段は、入力された静止画データに基づいて第１の合焦状態の画像を生成するための、第１の合焦状態を示す情報を生成し、該第１の合焦状態を示す情報を参照して、所定の合焦状態となる動画を入力された動画データに基づいて生成する、ことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、撮影後に合焦状態を変更可能な静止画及び動画を取得して、当該動画の合焦状態を変更する処理を容易に実現することが可能になる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図
【図２】実施形態１に係る記録動作において記録されるデータの一例を説明する図
【図３】実施形態１に係るリフォーカス処理の対象となる静止画及び動画の一例を説明する図
【図４】実施形態１に係る再生動作におけるリフォーカス処理の時間的変化を模式的に説明する図
【図５】実施形態２に係るリフォーカス処理の対象となる静止画及び動画の一例を説明する図
【図６】実施形態２に係る再生動作におけるリフォーカス処理の時間的変化を模式的に説明する図
【図７】リフォーカス処理後の動画の一例を説明する図
【図８】実施形態１に係る、動画再生時の合焦状態の制御処理における一連の動作を示すフローチャート
【図９】実施形態２に係る、動画再生時の合焦状態の制御処理における一連の動作を示すフローチャート
【発明を実施するための形態】
【０００９】
（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では画像処理装置の一例として、Light Field Photography技術を用いて光の強度分布とその光の進行方向を含むデータを記録することができる任意のデジタルカメラに本発明を適用した例を説明する。しかし、本発明は、デジタルカメラに限らず、当該データを記録又は取得可能な任意の電子機器にも適用可能である。これらの機器には、例えば携帯電話機等の電子機器（ゲーム機、タブレット端末、パーソナルコンピュータ等を含む）、時計型や眼鏡型の情報端末、医療用機器、車載機器及び監視用装置などが含まれてよい。
【００１０】
また、本実施形態に係る画像処理装置は、静止画を撮影すると同時に、静止画を含む一定期間を動画として自動的に記録し、静止画を複数枚撮影した後に、各静止画に関連する動画をつなぎ合わせた簡易的なダイジェスト動画を作成する機能を有する。このような機能では、ユーザが動画撮影を意識することなく手軽に動画を得ることができる。本実施形態では、撮影後に、各静止画を用いて意図した被写体を選択し、対応する動画ではリフォーカス処理によってその意図した被写体に合焦させる処理を行う。
【００１１】
以下では、上記のダイジェスト動画におけるリフォーカス処理において、意図した被写体に合焦させる処理を容易に実現することができる構成を示す。
【００１２】
（デジタルカメラの構成）
図１は、本実施形態の画像処理装置の一例としてデジタルカメラ１の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。
【００１３】
撮像光学系１００は、ズームレンズ、フォーカスレンズ及び開口絞り含む。撮像素子１０１は、光電変換素子を有する画素が複数、２次元的に配列された構成を含み、画素上に２次元に配置されたマイクロレンズアレイを有する。さらに、Ｒ／Ｇ／Ｂの原色カラー信号を得るためのカラーフィルタ、各画素からの電気信号をデジタル出力するためのＡＤ変換部を含む。撮像素子１０１は、光の強度分布とその光の進行方向を含むデータを取得可能であり、撮像光学系１００及びマイクロレンズを通過して結像された被写体光学像を各画素で光電変換し、画素単位のデジタル信号（画像データ）を１フレームごとに出力する。撮像素子１０１は、ＣＣＤ（Charge-Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子であってよい。撮像素子１０１によって出力される画像データは、撮像受光面における光の強度分布情報に加えて、光の進行方向の情報を取得可能である。このため、この画像データに対する信号処理により、フォーカスレンズのレンズ位置（焦点位置）を任意の位置に変更（即ち合焦状態を変更）した画像を再構成することができる。なお、以降の説明において、撮影後の処理により焦点位置を任意の位置に変更した画像を再構成することをリフォーカシング、あるいはリフォーカス処理と呼ぶ場合がある。
【００１４】
補正信号処理部１０２は、信号処理用の回路又は機能モジュールを含み、撮像素子１０１が出力した画像データに対し、黒飛びや白飛びなどの起こる画素欠陥がある場合、補間処理により欠陥画素を補正する。また、内部のクランプ信号処理部によって、各画素の黒レベルを最適化する。
【００１５】
記憶部１０３は、例えばＳＤＲＡＭ等の揮発性の記憶媒体を含み、補正信号処理部１０２が出力したデータを一時的に記憶してバッファリングする。
【００１６】
カメラ信号処理１０４は、画像処理用の信号処理回路又は機能モジュールを含み、デモザイキング処理やリニアマトリックス（カラーマトリックス）演算、ホワイトバランス調整などを行う。カメラ信号処理１０４が出力した画像データは、記憶部１０３に再びバッファリングされる。
【００１７】
記録部１０５は、記録制御用の回路又は機能モジュールを含み、記憶部１０３に格納されたデータの記録媒体１０６への記録、或いは記録媒体１０６に記録されたデータの読み出しを制御する。本実施形態では、静止画又は動画を構成する画像データを非圧縮のＲＡＷデータ（ＬＦ＿ＲＡＷデータともいう）として記録媒体１０６に記録する。またリフォーカス処理によって生成された画像（観察画像）や動画を、ＪＰＥＧ２０００、ＭＰＥＧ又はＡＶＣＨＤ等のデータ圧縮技術を用いてデータ量を削減してから記録媒体１０６に記録することもできる。さらに、記録部１０５は、記録媒体１０６からデータを読み出して記憶部１０３に格納する。記録媒体１０６に記録されたデータが圧縮されている場合は伸長技術を用いてデータを伸長することができる。記録媒体１０６は、例えばフラッシュメモリ、ＨＤＤ又はＳＳＤ等の不揮発性の記録媒体を含む。
【００１８】
再生部１１０は、画像処理回路又は機能モジュールを含む。デジタルカメラ１が記録動作時である場合、記録時の画像をユーザに提示するため、再生部１１０は、記憶部１０３から入力した画像データに対してLight Field Photography技術を用いてリフォーカス処理を行う。そして、リフォーカス処理により生成された観察画像に対してガンマ処理などの信号処理を行って表示部１１１に出力し、記録時の画像をユーザに提示する。一方、デジタルカメラ１が再生動作時である場合、再生部１１０は、記録媒体１０６から読み出されて記憶部１０３に格納された画像データを入力し、リフォーカス処理を行って表示部１１１に出力する。なお、再生部１１０と制御部１２０とは独立した機能ブロックとして説明するが、制御部１２０が内部に再生部１１０の機能を有してもよい。
【００１９】
表示部１１１は、例えばＬＣＤパネルなどの表示装置、及びコンポジット端子やＨＤＭＩ（登録商標）端子などの外部映像出力端子を含む。
【００２０】
制御部１２０は、例えばＣＰＵあるいはＭＰＵを含み、記録媒体１０６又は不図示のＲＯＭに格納されたプログラムを記憶部１０３の作業エリアに展開し、実行することにより、デジタルカメラ１全体を制御する。制御部１２０は、バスを介して接続された各機能ブロックを制御して、デジタルカメラ１の所定の機能を実現する。制御部１２０は、静止画を複数枚撮影した後に、後述する操作部１２１を介してダイジェスト動画の再生指示を検出すると、再生部１１０にそれぞれの静止画に関連する動画をつなぎ合わせたダイジェスト動画を生成させて、表示部１１１に表示させる。
【００２１】
操作部１２１は、例えばタッチパネル、コントロールボタン又は各種スイッチを含み、デジタルカメラ１を操作するユーザーインターフェースを構成する。操作部１２１はユーザの操作を受け取ると当該操作に応じた信号を制御部１２０に送信する。制御部１２０はデジタルカメラ１内の各部に制御命令を送信して、受け取った操作に応じた動作を実行させる。なお、タッチパネル式のＬＣＤパネルによりユーザーインターフェースを構成する場合、当該ＬＣＤパネルは操作部１２１と表示部１１１を兼ねることができる。
【００２２】
ユーザは、操作部１２１を用いて、任意の被写体に合焦させた観察画像を生成することができる。例えば、静止画を撮影後に、仮に定めた合焦状態の観察画像（後に、被写体選択用の画像ともいう）が生成されて、操作部１２１と表示部１１１を兼ねるパネル上に表示させる。画像内の所望の被写体を選択するユーザ指示があると、当該指示された被写体に合焦するように、改めてリフォーカス処理が行われる。これにより、ユーザは任意の被写体に合焦させた画像を得ることができる。
【００２３】
（動画の合焦状態の制御処理）
＜記録時の動作＞
本実施形態における動画の撮影時あるは再生時の合焦状態の制御処理について、図２から図４を参照して説明する。まず、デジタルカメラ１の記録時の動作について図２を参照して説明する。上述したように、記録媒体１０６に記録されるデータをＬＦ＿ＲＡＷデータ（Light Field   Photography  RAW Data）とする例について説明する。
【００２４】
図２には、デジタルカメラ１による記録動作において、記録媒体１０６に記録されるＬＦ＿ＲＡＷデータ及び補助データを示している。横軸は時間軸を表わし、時刻Ｔ１、Ｔ２、Ｔ３は、ユーザが操作部１２１に含まれる静止画撮影用のシャッタボタンが押下された時刻を表わす。デジタルカメラ１はそれぞれの時刻において静止画のＬＦ＿ＲＡＷデータ（それぞれをＰ１、Ｐ２、Ｐ３とし、静止画データともいう）を記録する。また、シャッタボタンが押下された直後から一定期間にわたって動画のＬＦ＿ＲＡＷデータを記録する。図２の例では、時刻Ｔ１、Ｔ２、Ｔ３に対応する動画のＬＦ＿ＲＡＷデータ（動画データともいう）をそれぞれＭ１、Ｍ２、Ｍ３とする。動画を記録する一定期間は、予め定められた固定時間長であるものとするが、ユーザが操作部１２１において任意に設定した時間長であってもよい。また、シャッタボタンが押下された直後から一定期間にわたって動画を記録するほか、シャッタボタンが押下される直前の一定期間の動画（例えばライブビューの表示用の画像として撮影され、記憶部１０３にバッファリングされた動画）を記録してもよい。さらに、シャッタボタンが押下される前後を含む一定期間の動画を記録してもよい。
【００２５】
なお、撮像素子１０１は、静止画の撮影時と動画の撮影時とで別々の撮影動作を行うものとして説明する。しかし、撮像素子１０１は常に動画撮影をするように動作し、ユーザが静止画撮影用のシャッタボタンを押下したタイミングで、動画中の特定フレームを抜き出して、ユーザに静止画を提供してもよい。
【００２６】
デジタルカメラ１は、Ｐ１、Ｐ２、Ｐ３、Ｍ１、Ｍ２、Ｍ３を記録媒体１０６に記録する際に、それぞれのメタデータ（ＤＰ１、ＤＰ２、ＤＰ３、ＤＭ１、ＤＭ２、ＤＭ３）も同時に記録する。ここでいうメタデータとは、画像データそのもの以外の補助データ全般を指し、例えば、撮影日時、画像サイズ、撮影時のレンズの絞りやズーム、フォーカス等の撮影条件を含む。また、Ｍ１のメタデータＤＭ１には、Ｐ１とＭ１が同時刻Ｔ１に撮影され、互いに関連付けされていることを表わす情報を含む。
【００２７】
＜再生時の動作＞
次に、デジタルカメラ１の再生時の動作について説明する。本実施形態における動画再生時の合焦状態の制御処理では、まず静止画のＬＦ＿ＲＡＷデータに基づいて合焦させる被写体を選択し、その後、選択された被写体に合焦させた動画の再生を行う。
【００２８】
デジタルカメラ１は、ユーザによって選択された静止画Ｐ１、Ｐ２、Ｐ３のＬＦ＿ＲＡＷデータを、再生部１１０を用いて再生する。静止画Ｐ１、Ｐ２、Ｐ３はＬＦ＿ＲＡＷデータであるため、リフォーカス処理によって任意にフォーカスの合焦状態を変更可能である。まず、再生部１１０は、ユーザが被写体を選択するための被写体選択用の画像を生成して表示部１１１に表示させる。この被写体選択用の画像は、被写体の選択及び認識処理を容易にするため、例えば、リフォーカス処理により無限遠に合焦させて被写界深度を最も深くした静止画Ｐ１を生成する。
【００２９】
そして、ユーザが静止画Ｐ１中の合焦させたい被写体を、操作部１２１を介して選択した場合、再生部１１０は、リフォーカス処理により、その選択された被写体に合焦した画像を静止画Ｐ１として再生成する。このとき、再生部１１０は、静止画Ｐ１を生成する際に用いた情報を動画Ｍ１のメタデータＤＭ１に記録する。静止画Ｐ１を生成する際に用いた情報は、静止画Ｐ１中で合焦させた被写体を特定する情報や、静止画Ｐ１を生成するリフォーカス処理の過程で求めた演算パラメータ（リフォーカス情報）を含む。リフォーカス情報としては、例えば、後述する合焦させる被写体までの距離情報（被写体距離）が考えられるが、他の情報であってもよい。例えば、撮像光学系１００とリフォーカス処理によって求める仮想的な受光面との距離を示す指標（リフォーカス係数）、或いはこの仮想的な受光面を形成した場合のデフォーカス量等を用いてもよい。
【００３０】
同様に、再生部１１０は、静止画Ｐ２、Ｐ３の再生時にも、合焦させた被写体を特定する情報、各々の再生画像をリフォーカス処理の過程で求めたリフォーカス情報を動画Ｍ２、Ｍ３のメタデータＤＭ２、ＤＭ３に記録する。
【００３１】
次に、デジタルカメラ１は、動画Ｍ１、Ｍ２、Ｍ３のＬＦ＿ＲＡＷデータを、再生部１１０を用いて再生する。ここで、図３は、図２におけるＬＦ＿ＲＡＷデータからなる静止画Ｐ１及び動画Ｍ１を表示させた例を模式的に示している。
【００３２】
この例では、被写体選択用の静止画Ｐ１中の被写体Ａ（この例では人物）がユーザによって選択され、静止画Ｐ１の再生成では、再生部１１０が被写体Ａに合焦するようにリフォーカス処理を行っている。再生部１１０は、合焦対象である被写体Ａを特定する情報や、被写体Ａに合焦させるためのリフォーカス情報をメタデータＤＭ１に記録する。
【００３３】
動画Ｍ１のＬＦ＿ＲＡＷデータは、例えば時間軸に沿って被写体Ａが手前から遠方に移動する様子を記録した動画である。再生部１１０は、動画Ｍ１のメタデータＤＭ１を参照すれば、静止画Ｐ１の再生時のリフォーカス対象が被写体Ａであるという情報やリフォーカス情報を得ることができる。そして、動画再生時には、動画Ｍ１の各フレーム内で被写体Ａを探索し、フレーム毎に被写体Ａに合焦するようにリフォーカス処理を行う。このような処理により、遠方に移動するような動きをする被写体Ａに対してフォーカスが追従する動画を表示することができる。なお、被写体Ａのフレーム内での探索には、例えば、公知の顔認識や人物認識の技術を用いることができる。また、静止画Ｐ１の再生時にメタデータＤＭ１にリフォーカス情報が記録されるため、動画Ｍ１の各フレームにおけるリフォーカス処理の際に、このリフォーカス情報を用いることができる。
【００３４】
図３において示した動画Ｍ１におけるリフォーカス処理の時間軸の流れを、図４を参照してさらに説明する。
【００３５】
図４（ａ）において、横軸は時間であり、単位は動画における各フレームである。縦軸は距離であり、実線４００は、撮像光学系１００から被写体Ａまでの距離を表わす。また、点線４１０は、リフォーカス処理の結果、合焦する奥行き位置、即ち合焦する被写体までの距離（被写体距離）を表わす。図４（ａ）は、時間の経過とともに奥行き方向に移動する被写体Ａの奥行方向の距離に対して、リフォーカス処理によって合焦する被写体距離が追従する様子を示している。すなわち、動画再生時には被写体Ａに常に合焦していることを示している。
【００３６】
図４（ｂ）において、横軸及び縦軸は図４（ａ）と同様である。図４（ｂ）の実線４０１は、動画Ｍ１の再生中に被写体Ａの存在がフレーム内で認識できなくなった場合を示している。例えば、被写体ＡがフレームＮ＋１番目にフレーム内からフレームアウトした場合、もしくは、フレームＮ＋１番目から被写体Ａとして認識できない(例えば被写体Ａが後ろを向いたために顔認識できないなど)場合がある。この例では、時間軸においてフレームＮ＋１番目において、被写体Ａの存在が認識できなくなり、被写体Ａを認識できない状態がフレームＭ番目まで継続するものとする。この場合、フレームＮ番目におけるリフォーカス情報を用いて（即ち、フレームＮ番目において求めた、被写体Ａまでの被写体距離を用いて）、フレームＮ＋１からフレームＭ番目のリフォーカス処理を行う。Ｍ＋１番目のフレームからは、再度、被写体Ａを認識できるようになるため、再生部１１０はフレーム内の被写体Ａに合焦するようにリフォーカス処理を行う（点線４１１）。
【００３７】
一方、図４（ｃ）は、合焦させる被写体が人物以外の場合であって、その被写体に対する被写体認識ができない場合のリフォーカス処理の様子を示している。図４（ａ）及び図４（ｂ）では、図３に示した被写体Ａに合焦させたが、図４（ｃ）では図３に示した被写体Ｂ（この場合は背景の木のこと）に合焦させる。なお、対比のために被写体Ａまでの距離を実線４００で示している。
【００３８】
被写体Ｂにリフォーカシングを行う場合、ユーザが静止画（Ｐ１）において合焦させる被写体を選択する点は、被写体Ａにリフォーカシングを行う場合と同様である。しかし、この例では、被写体が人物ではないため、再生部１１０は被写体Ｂを認識することができないものとする。従って、被写体Ｂに対する動画Ｍ１の再生時には、フレーム毎に被写体Ｂを探索することができない。このため、再生部１１０は、ＤＭ１に記録された静止画Ｐ１を再生した際のリフォーカス情報に基づいて、各フレームのリフォーカス処理を行う。即ち、動画再生中の合焦状態はＰ１を再生した際に得られた合焦状態であり、点線４１２が示すように、動画再生中は被写体Ｂの被写体距離が変化しない。このため、図４（ｃ）の場合は、単焦点レンズで撮影したような動画が再生される。
【００３９】
なお、静止画のＬＦ＿ＲＡＷデータを再生する度に、ユーザが異なる被写体を選択する可能性がある。この場合、再生部１１０は、再生を行う度にメタデータＤＭ１のリフォーカス情報を上書きするように制御することで、最後に再生された静止画のリフォーカス情報がメタデータＤＭ１に残るようになる。また、再生部１１０は、リフォーカス情報を上書きするのではなく、メタデータＤＭ１にリフォーカス情報を追記するようにしてもよい。このようにすれば、合焦対象として高い頻度で選択された被写体を選択し、動画の再生時には当該被写体に合焦させるように制御することができる。さらに、再生部１１０は、静止画を再生した際の日時をリフォーカス情報と関連付けて記録してもよい。このようにすれば、動画の再生時にユーザが日時を指定した場合に、過去に静止画を再生した際のリフォーカシング条件を再現し、この条件に応じた動画を再生することができる。
【００４０】
（動画再生時の合焦状態の制御処理に係る一連の動作）
次に、図８を参照して、動画再生時の合焦状態の制御処理に係る一連の動作を説明する。なお、本処理は、記録部１０５に上述した静止画のＬＦ＿ＲＡＷデータ（例えばＰ１）及び動画のＬＦ＿ＲＡＷデータ（例えばＭ１）が記録されている状態で、例えば操作部１２１に対するユーザからの再生要求があった場合に開始される。また、本処理は、制御部１２０が記録媒体１０６に含まるＲＯＭに記憶されたプログラムを、記憶部１０３の作業用領域に展開し、実行することにより、制御部１２０の指示に応じて各ステップの動作主体となる各部が動作する。
【００４１】
Ｓ８０１において、再生部１１０は、被写体選択用の静止画を生成して表示部１１１に表示する。具体的には、再生部１１０は、記録媒体１０６に記録された静止画のＬＦ＿ＲＡＷデータを読み込み、無限遠に合焦させることによって最も被写界深度を深くした静止画を生成する。上述したように、無限遠に合焦させた静止画を生成することにより、撮影された全ての被写体にピントのあう画像を生成することができるため、ユーザが被写体を選択し、更に再生部１１０が被写体の認識処理を適切に行うことができる。再生部１１０は、生成した静止画を表示部１１１に出力する。
【００４２】
Ｓ８０２において、再生部１１０は、合焦させる被写体を特定する。再生部１１０は、操作部１２１を介してユーザが選択した被写体上の領域を特定すると共に、公知の被写体認識技術を用いてユーザの選択した被写体を特定する。
【００４３】
Ｓ８０３において、再生部１１０は、特定した被写体に合焦する画像を再生成して、再生成するために求めたリフォーカス情報を記録する。再生部１１０は、まず、特定した被写体に合焦するように、静止画のＬＦ＿ＲＡＷデータに対して再びリフォーカス処理を行って画像を再生成する。そして、当該リフォーカス処理で求めたリフォーカス情報（例えば合焦させる被写体距離）をメタデータとして記録媒体１０６に記録する。また、Ｓ８０２において認識された被写体に関する情報も同様に記録媒体１０６に記録する。
【００４４】
Ｓ８０４において、再生部１１０は、動画のＬＦ＿ＲＡＷデータに対する再生指示があるかを判定する。再生部１１０は、動画を再生するためのユーザ操作が検出されたことを制御部１２０から通知された場合、動画の再生を開始するために処理をＳ８０５に進める。一方、動画を再生するためのユーザ操作が検出されていない場合は、再び処理をＳ８０３に戻して動画を再生するためのユーザ操作を待つ。
【００４５】
Ｓ８０５において、再生部１１０は、動画のＬＦ＿ＲＡＷデータを再生するための初期化処理を行う。この初期化処理では、例えば記憶部１０３に読み出された動画のＬＦ＿ＲＡＷデータ（例えばＭ１）及びそのメタデータ（例えばＤＭ１）を読み込むとともに、読み込んだメタデータのリフォーカス情報を参照して、合焦させる被写体距離を設定する。即ち、再生部１１０は、Ｓ８０３で記録された、合焦させる被写体距離を用いて、動画のフレーム１番目に対するリフォーカス処理に用いる被写体距離を設定する。また、メタデータから被写体に関する情報を読み出して認識処理の対象となる被写体を設定する。
【００４６】
Ｓ８０６において、再生部１１０は、被写体の探索を行う。例えば、再生部１１０は、Ｓ８０５において設定した被写体距離の前後の被写体距離に合焦する画像をリフォーカス処理によって複数再構成して被写体の認識処理を行い、当該被写体を認識することができた画像のうち最も合焦度合いの高い被写体距離を特定する。但し、動画の最初のフレームでは、Ｓ８０５において合焦させる被写体距離及び認識処理の対象となる被写体が設定されているため、被写体の探索を行わず、設定された被写体距離を用いる。
【００４７】
Ｓ８０７において、再生部１１０は、特定の被写体が探索できたかを判定する。例えば、再生部１１０は、Ｓ８０６において特定の被写体に合焦する被写体距離を特定できた場合、特定の被写体が探索できたと判定して処理をＳ８０８に進める。一方、Ｓ８０６において、特定の被写体が認識できなかった場合や求めた合焦度合いが所定の閾値より低い場合には、特定の被写体が探索できなかったと判定して処理をＳ８１０に進める。
【００４８】
Ｓ８０８において、再生部１１０は、探索された被写体に合焦させた画像（フレーム）をリフォーカス処理によって生成し、生成した画像を表示部１１１に出力する。そして、Ｓ８０９において、再生部１１０は、次のフレームにおけるリフォーカス処理や探索処理で用いるために、Ｓ８０５で設定した被写体距離をＳ８０６で求めた被写体距離に更新する（即ちリフォーカス情報を更新する）。
【００４９】
一方、Ｓ８１０において、再生部１１０は、Ｓ８０５で設定された被写体距離、或いは以前のフレームにおいてＳ８０６で更新された被写体距離に合焦させた画像（フレーム）を生成して、生成した画像を表示部１１１に出力する。
【００５０】
Ｓ８１１において、再生部１１０は、処理対象であるフレームが動画の最後のフレームであるかを判定し、処理対象のフレームが最後のフレームでない場合は動画の再生を継続するために処理を再び８０６に戻す。一方、処理対象のフレームが最後のフレームである場合、本一連の動作を終了する。
【００５１】
なお、本実施形態では、合焦させる被写体距離（即ちリフォーカス情報）をフレーム毎に更新する処理を例示したが、被写体距離を更新することなく、全フレームにおいて静止画を用いて得られた被写体距離を参照するようにしてもよい。
【００５２】
また、本実施形態では、表示した被写体選択用の画像に対してユーザが被写体を特定することにより同等の合焦状態となる動画を再生する例を説明した。しかし、被写体選択用の画像を表示した上でユーザに被写体を選択させなくてもよい。例えば、静止画のＬＦ＿ＲＡＷデータを撮影した際の撮影条件に基づいて撮影時の合焦状態と同等の合焦状態となるリフォーカス情報を求め、動画の最初のフレームを、撮影時の合焦状態と同等の合焦状態となるようにしてもよい。さらに、本実施形態では、静止画再生時のリフォーカス処理の過程で求めたリフォーカス情報を記録して、動画再生時のリフォーカスに利用する例を示した。しかし、静止画再生時の合焦状態を示すリフォーカス情報を参照して動画を再生できれば、リフォーカス情報は、静止画再生時のリフォーカス処理の過程で求めた情報でなくてもよい。例えば、静止画の撮影時に、撮影時に得られる視差画像から各被写体の被写体距離を別途算出しておき、ユーザによる静止画に対する被写体の選択に応じて、対応する被写体の被写体距離をリフォーカス情報に含めるようにしてもよい。このようにしても、静止画再生時の合焦状態を動画再生に用いることができる。
【００５３】
以上説明したように本実施形態では、光の強度分布とその光の進行方向を含む静止画及びその静止画に関連する動画を記録するようにした。そして、静止画に対するリフォーカス処理で得られるリフォーカス情報を記録し、動画再生時のリフォーカス処理においてこのリフォーカス情報を参照するようにした。また、動画の各フレームにおいてもリフォーカス情報を参照して選択された被写体に対する合焦状態が継続するようにした。このようにすることにより、撮影後に合焦状態を変更可能な静止画及び動画を取得して、当該動画の合焦状態を変更する処理を容易に実現することが可能になる。
【００５４】
（実施形態２）
次に実施形態２について説明する。実施形態１では、静止画の再生時に１つの被写体（例えば図３の被写体Ａ）を選択する例を説明したが、実施形態２では、被写体距離の異なる複数の被写体を選択する。本実施形態に係るデジタルカメラ１は、再生部１１０で実行される処理が異なる点を除いて実施形態１と同様の構成である。このため、本実施形態で参照する図における同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。
【００５５】
まず、図５を参照して、本実施形態で用いるＬＦ＿ＲＡＷデータについて説明する。例えば、図５に示す静止画Ｐ１の再生時に、ユーザがまず被写体Ａを選択し、次に被写体Ｂを選択したとする。このとき、再生部１１０は、最初に被写体Ａに合焦させた後に被写体Ｂに合焦させるという、合焦の順番を示す情報をＤＭ１に記録する。
【００５６】
次に、再生部１１０は、ＤＭ１に記録された合焦させる順番を示す情報に基づいて動画Ｍ１を再生する。すなわち、図５の下段に示すように、最初のフレームでは被写体Ａに合焦させた状態で再生し、途中のフレームで被写体Ｂに合焦させるように、合焦状態が変化するように制御する。
【００５７】
図６を参照して合焦状態の制御についてさらに説明する。図６（ａ）において、横軸は時間であり、単位は動画における各フレームである。縦軸は距離であり、実線４００は、撮像光学系１００から被写体Ａまでの距離を表わし、一点鎖線は、撮像光学系１００から被写体Ｂまでの距離を表わす。また、点線６１０は、リフォーカス処理の結果、合焦する奥行き位置、即ち合焦する被写体までの距離（被写体距離）を表わす。図６（ａ）では、フレーム１番目からフレームＮ番目までの期間ＴＡでは、被写体Ａの被写体距離に追従し、被写体Ａに合焦するようにリフォーカス処理が施される。フレームＮ＋１番目以降の期間ＴＢにおいては、被写体Ｂの被写体距離に追従して被写体Ｂに合焦するようにリフォーカス処理が施される。
【００５８】
期間ＴＡと期間ＴＢの時間比率は、Ｎ対Ｍなどの予め設定された固定比率にしても良いし、静止画Ｐ１の再生時に被写体Ａと被写体Ｂを選択する際に、この比率をユーザが設定するようにしても良い。例えば、操作部１２１に含まれるタッチパネルにおいて被写体Ａを指定した時間（例えば指による押下を継続した時間）と、被写体Ｂを指定した時間の比率に基づいて時間比率を求めてもよい。設定された比率は、合焦の順番を示す情報としてメタデータＤＭ１に記録される。
【００５９】
なお、図６（ａ）に示すように、フレームＮ番目の前後で被写体Ａから被写体Ｂに急激に合焦状態が変化すれば、ユーザに違和感を与えることが想定される。そこで、図６（ｂ）の点線６２０が示すように、フレームＮを境に被写体Ａから被写体Ｂへ合焦対象を変更する一方で、所定の時定数を用いて、リフォーカス処理後の合焦状態が緩やかに変化するように制御してもよい。
【００６０】
（動画再生時の合焦状態の制御処理に係る一連の動作）
次に、図９を参照して、動画再生時の合焦状態の制御処理に係る一連の動作を説明する。なお、本処理は、実施形態１と同様に記録部１０５に上述した静止画のＬＦ＿ＲＡＷデータ（例えばＰ１）及び動画のＬＦ＿ＲＡＷデータ（例えばＭ１）が記録されている状態で、例えば操作部１２１に対するユーザからの再生要求があった場合に開始される。
【００６１】
再生部１１０は、実施形態１と同様にＳ８０１を実行して、被写体選択用の静止画を生成して表示部１１１に表示する。
【００６２】
Ｓ９０１において、再生部１１０は、合焦させる被写体及び合焦させる被写体の時間比率を特定する。再生部１１０は、操作部１２１を介してユーザが選択した被写体上の領域を特定すると共に選択された被写体の順番を特定する。そして、公知の被写体認識技術を用いてユーザの選択した各被写体を特定する。
【００６３】
Ｓ９０２において、再生部１１０は、Ｓ９０１で特定した被写体に合焦する画像をそれぞれ再生成して、リフォーカス処理で求めたリフォーカス情報を記録する。より具体的には、特定した被写体に合焦するように、静止画のＬＦ＿ＲＡＷデータに対してリフォーカス処理を行い、それぞれのリフォーカス情報を求める。また、例えば、操作部１２１において被写体Ａを指定した時間と被写体Ｂを指定した時間の比率に基づいて時間比率を決定する。その後、再生部１１０は、Ｓ９０１において特定された被写体に関する情報、当該リフォーカス処理で求めたリフォーカス情報（例えば合焦させる被写体距離）及び時間比率を記録媒体１０６に記録する。
【００６４】
Ｓ８０４及びＳ８０５において、再生部１１０は実施形態１と同様に動画の再生指示に応じて最初のフレームで合焦させる被写体（例えば被写体Ａ）の被写体距離を設定する。
【００６５】
Ｓ９０３において、再生部１１０は、処理対象のフレームにおいて、被写体に合焦させる期間（例えば期間ＴＡ）を超えているかを判定する。例えば、処理対象のフレームの番号に１フレーム当たりの単位時間を乗算して期間ＴＡと比較する。求めた時間が期間ＴＡを超えている場合は、合焦させる被写体を変更する必要があるため、Ｓ９０４に処理を進め、期間ＴＡを超えていない場合はＳ８０６に処理を進める。
【００６６】
Ｓ９０４において、再生部１１０は、Ｓ９０４において合焦させる被写体を（例えば被写体Ａから被写体Ｂに）変更する。より具体的には、再生部１１０は、Ｓ９０２において記録した被写体に合焦させる順番、被写体Ｂに関する情報及び被写体Ｂに対するリフォーカス情報を参照して、被写体Ｂの被写体距離を設定する。なお、Ｓ９０２で設定した被写体Ｂの被写体距離と、実際の被写体Ｂの被写体距離との差が拡大している場合があるため、被写体Ｂの被写体距離を他の値、例えば、上述した被写体Ａの被写体距離を時定数で変化させた値や無限大に設定するようにしてもよい。
【００６７】
その後、再生部１１０は実施形態１と同様にＳ８０６からＳ８１１を実行して、本処理に係る一連の処理を終了する。
【００６８】
なお、本実施形態では、被写体が複数存在する場合、複数の被写体に順に合焦する動画を生成した。しかし、被写界深度を変更したような画像を生成して、複数の被写体のいずれにも合焦させる動画を生成してもよい。例えば、被写界深度を変更したように見せる例を図７に示す。図７の上段には、静止画のＬＦ−ＲＡＷデータに基づいて得られる、合焦状態を変更した２つの画像を示している。図７の上段左は、被写体Ａに合焦している画像を表わし、図７の上段右は、被写体Ｂに合焦している画像を表わしている。そして、動画Ｍ１を表示する際に各被写体に合焦させた複数の画像を合成して、図７の下段に示すように被写体Ａ及び被写体Ｂに合焦した、被写界深度の深い画像を生成してもよい。
【００６９】
上述した被写界深度の深い画像は、開口絞りを絞った状態をリフォーカス処理によって生成することができる。ＬＦ−ＲＡＷデータでは、撮像光学系１００の開口絞りを開放した場合に撮像素子１０１の受光面に入射する光の進行方向と、開口絞りを絞った場合に撮像素子１０１の受光面に入射する光の進行方向とでは、開口絞りを絞った場合の光の進行方向が開口絞りを開放した場合における光の進行方向の一部となる。すなわち、特定の光の進行方向のみを利用してリフォーカス処理を行えば、開口絞りを絞って被写界深度を深くした場合と等価な画像を得ることができる。
【００７０】
以上説明したように本実施形態では、複数の被写体の合焦状態を制御するために、静止画の再生時において、被写体に対するリフォーカス情報に加え、合焦させる被写体の順番を表わす情報を記録するようにした。このようにすることで、複数の被写体にそれぞれ合焦させた動画を再生する場合に、その合焦状態を変更する処理を容易に実現することが可能になる。
【００７１】
（その他の実施形態）
本発明は、上述した実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７２】
１０１…撮像素子、１０３…記憶部、１０５…記録部、１１０…再生部、１１１…表示部、１２０…制御部、１２１…操作部
【図１】
2017017502.tif 000003
【図２】
2017017502.tif 000004
【図３】
2017017502.tif 000005
【図４】
2017017502.tif 000006
【図６】
2017017502.tif 000007
【図８】
2017017502.tif 000008
【図９】
2017017502.tif 000009
【図５】
2017017502.tif 000010
【図７】
2017017502.tif 000011