(57)【要約】【課題】動画のフレームの合焦距離が前後のフレームと比べて大きく異なることを抑制する技術を提供する。【解決手段】撮像手段により連続的に生成された複数のライトフィールド（ＬＦ）データそれぞれについて、生成時の合焦距離を取得する取得手段と、前記複数のＬＦデータそれぞれについて、前記合焦距離が前後に生成されたＬＦデータを含む２以上のＬＦデータと比べて大きく異なるか否かを判定する判定手段と、前記合焦距離が大きく異なると判定されたＬＦデータそれぞれについて、前記合焦距離が前記２以上のＬＦデータと比べて異なる度合が小さくなる目標合焦距離を決定する決定手段と、前記複数のＬＦデータそれぞれに対してリフォーカス処理を行うことにより動画を生成する生成手段であって、前記合焦距離が大きく異なると判定されたＬＦデータそれぞれについては前記目標合焦距離に合焦するように前記リフォーカス処理を行う、生成手段と、を備えることを特徴とする画像処理装置を提供する。【選択図】図７
2017152925.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段により連続的に生成された複数のライトフィールド（ＬＦ）データそれぞれについて、生成時の合焦距離を取得する取得手段と、
前記複数のＬＦデータそれぞれについて、前記合焦距離が前後に生成されたＬＦデータを含む２以上のＬＦデータと比べて大きく異なるか否かを判定する判定手段と、
前記合焦距離が大きく異なると判定されたＬＦデータそれぞれについて、前記合焦距離が前記２以上のＬＦデータと比べて異なる度合が小さくなる目標合焦距離を決定する決定手段と、
前記複数のＬＦデータそれぞれに対してリフォーカス処理を行うことにより動画を生成する生成手段であって、前記合焦距離が大きく異なると判定されたＬＦデータそれぞれについては前記目標合焦距離に合焦するように前記リフォーカス処理を行う、生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記判定手段は、判定対象のＬＦデータの前記合焦距離と、前記判定対象のＬＦデータと前記２以上のＬＦデータとを含む３以上のＬＦデータの前記合焦距離の近似曲線において前記判定対象のＬＦデータに対応する合焦距離と、の差分絶対値が閾値以上の場合に、前記判定対象のＬＦデータの前記合焦距離が前記２以上のＬＦデータと比べて大きく異なると判定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定対象のＬＦデータの前記合焦距離が前記２以上のＬＦデータと比べて大きく異なると判定された場合、前記決定手段は、前記近似曲線において前記判定対象のＬＦデータに対応する合焦距離を、前記判定対象のＬＦデータの前記目標合焦距離として決定する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記近似曲線において前記判定対象のＬＦデータに対応する合焦距離が、前記リフォーカス処理により前記判定対象のＬＦデータを合焦させることが可能な合焦距離の範囲内にない場合、前記決定手段は、前記近似曲線において前記判定対象のＬＦデータに対応する合焦距離に最も近い前記範囲内の合焦距離を、前記判定対象のＬＦデータの前記目標合焦距離として決定する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記近似曲線は移動平均線であり、前記３以上のＬＦデータの前記合焦距離の平均値が前記近似曲線において前記判定対象のＬＦデータに対応する合焦距離である
ことを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
請求項１乃至５のいずれか１項に記載の画像処理装置と、
前記撮像手段と、
を備えることを特徴とする撮像装置。
【請求項７】
前記生成手段は、前記撮像手段による前記複数のＬＦデータの連続的な生成が終了したことに応じて、前記複数のＬＦデータそれぞれに対して前記リフォーカス処理を行う
ことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記生成手段は、前記撮像手段による前記複数のＬＦデータの連続的な生成の間に、前記判定手段による判定対象のＬＦデータの判定に必要なＬＦデータが生成されたことに応じて、前記判定対象のＬＦデータに対して前記リフォーカス処理を行う
ことを特徴とする請求項６に記載の撮像装置。
【請求項９】
画像処理装置が実行する画像処理方法であって、
撮像手段により連続的に生成された複数のライトフィールド（ＬＦ）データそれぞれについて、生成時の合焦距離を取得する取得工程と、
前記複数のＬＦデータそれぞれについて、前記合焦距離が前後に生成されたＬＦデータを含む２以上のＬＦデータと比べて大きく異なるか否かを判定する判定工程と、
前記合焦距離が大きく異なると判定されたＬＦデータそれぞれについて、前記合焦距離が前記２以上のＬＦデータと比べて異なる度合が小さくなる目標合焦距離を決定する決定工程と、
前記複数のＬＦデータそれぞれに対してリフォーカス処理を行うことにより動画を生成する生成工程であって、前記合焦距離が大きく異なると判定されたＬＦデータそれぞれについては前記目標合焦距離に合焦するように前記リフォーカス処理を行う、生成工程と、
を備えることを特徴とする画像処理方法。
【請求項１０】
コンピュータを、請求項１乃至５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラやビデオカメラにおいて、オートフォーカス（ＡＦ）機能の性能向上により、動く被写体にも素早く正確に合焦しながら撮影することが可能になっている。また、ライトフィールドデータ（光線空間情報）を取得可能なライトフィールドカメラと呼ばれる撮像装置が注目されている。この方式のカメラには、撮像レンズの他に、マイクロレンズアレイが撮像素子の表面に配置され、撮像素子が受ける光の強度と共に、光の進行方向の情報が記録される。このライトフィールドデータに基づいて、リフォーカスと呼ばれる撮影後の画像処理によって、任意の合焦対象にフォーカスを合わせた画像を再構築することができる。
【０００３】
ライトフィールドデータによる動画像を処理する技術に関して、特許文献１には、追従する被写体が存在しないフレームに関しては合焦距離を補間してリフォーカス処理を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−２３５５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、追従する被写体がフレーム画像内に存在する場合であっても、合焦距離が数フレームの間だけ前後のフレームから大きく外れてしまうことがある。例えば、追従する被写体の近傍の被写体に一瞬フォーカスが合ってしまう場合や、同一被写体の異なる部分を一時的に追従してしまった場合などである。このような動画を再生する場合に、撮影者の意図しない合焦距離の瞬間的な変動があると、ユーザの目に不自然に映ることがある。このような場合の動画再生処理について、特許文献１では考慮されていなかった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、動画のフレームの合焦距離が前後のフレームと比べて大きく異なることを抑制する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、撮像手段により連続的に生成された複数のライトフィールド（ＬＦ）データそれぞれについて、生成時の合焦距離を取得する取得手段と、前記複数のＬＦデータそれぞれについて、前記合焦距離が前後に生成されたＬＦデータを含む２以上のＬＦデータと比べて大きく異なるか否かを判定する判定手段と、前記合焦距離が大きく異なると判定されたＬＦデータそれぞれについて、前記合焦距離が前記２以上のＬＦデータと比べて異なる度合が小さくなる目標合焦距離を決定する決定手段と、前記複数のＬＦデータそれぞれに対してリフォーカス処理を行うことにより動画を生成する生成手段であって、前記合焦距離が大きく異なると判定されたＬＦデータそれぞれについては前記目標合焦距離に合焦するように前記リフォーカス処理を行う、生成手段と、を備えることを特徴とする画像処理装置を提供する。
【０００８】
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【発明の効果】
【０００９】
動画のフレームの合焦距離が前後のフレームと比べて大きく異なることを抑制することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】画像処理装置としての機能を持つ撮像装置１００の構成を示すブロック図。
【図２】（ａ）撮像部１０１を横から見た様子を示す図、（ｂ）撮像部１０１を正面から見た様子を示す図。
【図３】記憶媒体１０８に記録される動画データの概念図。
【図４】第１の実施形態に係る撮影処理のフローチャート。
【図５】再生モード時に表示部１０９に表示されるユーザインターフェース（ＵＩ）の構成例を示す図。
【図６Ａ】第１乃至第３の実施形態に係る再生処理のフローチャート。
【図６Ｂ】第１の実施形態に係る表示処理（Ｓ６０２）の詳細を示すフローチャート。
【図７】補間リフォーカス処理（Ｓ６２２）の詳細を示すフローチャート。
【図８】補間リフォーカス処理を施す前後の、合焦距離の変化を示す図。
【図９】第２の実施形態に係る撮影処理のフローチャート。
【図１０】第２及び第３の実施形態に係る表示処理（Ｓ６０２）の詳細を示すフローチャート。
【図１１】第３の実施形態に係る撮影処理のフローチャート。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。
【００１２】
［第１の実施形態］
図１は、画像処理装置としての機能を持つ撮像装置１００の構成を示すブロック図である。撮像部１０１は、レンズ、シャッター、絞り、及び撮像素子等を含み、入力した光を画像データに変換する機能を持つ。本実施形態の撮像部１０１は、１つの撮像素子の上にマイクロレンズアレイが配置されており、ライトフィールド（ＬＦ）データを得ることが可能な構成となっている。この構成については後述する。
【００１３】
アナログ信号処理部１０２は、制御部１０３の指示に応じて、撮像部１０１から入力されたアナログ画像信号に対してＡ／Ｄ変換などの信号処理を施してデジタル画像信号を生成し、画像処理部１０５に転送する。制御部１０３は、例えばＣｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ（ＣＰＵ）であり、各種処理を実行するために撮像装置１００の各ブロックの動作を統括制御する。
【００１４】
操作部１０４は、操作ボタンなどを含み、ユーザからの操作を受け付ける。操作部１０４は、受け付けた操作に応じて、動画撮影の開始・終了、記憶媒体１０８に保存されたデジタル画像データの再生・消去、メニュー選択、及びカメラ設定の変更など、各種の動作を制御部１０３に指示する。
【００１５】
画像処理部１０５は、制御部１０３の指示に応じて、アナログ信号処理部１０２から入力されたデジタル画像信号に対してホワイトバランス調整、補間、輪郭強調、ガンマ補正、及び階調変換などの画像処理を施し、結果を記憶媒体１０８に記憶させる。
【００１６】
ＲＯＭ１０６（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）は、プログラムやパラメータなどを格納する。本実施形態では、撮像装置１００全体の処理を実現するために必要な制御プログラムは、ＲＯＭ１０６に記録されている。また、後述する「撮影処理」及び「再生処理」も、制御部１０３が読み取り可能なプログラムコードとしてＲＯＭ１０６に記録されている。制御部１０３がこのプログラムコードを実行することにより、「撮影処理」及び「再生処理」が実現される。なお、本実施形態のＲＯＭ１０６は、フラッシュＲＯＭであり、制御プログラムを書き換え可能な構成となっている。
【００１７】
ＲＡＭ１０７（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）は、外部から供給されるプログラムやデータを一時記憶する。記憶媒体１０８は、撮像装置１００に対して着脱可能であり、画像処理部１０５から入力されるデジタル画像信号や、撮像装置１００が保持する必要がある設定情報などを記録する。記憶媒体１０８は、半導体メモリ、光ディスク、磁気カード、光カード、又はＩＣカードなどにより構成される。
【００１８】
表示部１０９は、ＬＣＤ（液晶表示装置）等により構成され、撮像装置１００が保持するデータや撮像装置１００に供給されたデータなどを表示する。また、表示部１０９は、タッチパネルの機能を備えており、操作部１０４の機能の一部を持つように構成されていてもよい。
【００１９】
リフォーカス処理部１１０は、生の画像データであるＲＡＷデータとして記録されたＬＦデータに対して、特定の距離にフォーカスの合った画像を生成する処理（リフォーカス処理）を行う。リフォーカス処理の詳細については、様々な方法が提案されているが、本実施形態は特定の方法に限定されず、任意の既知の方法を利用可能である。また、本実施形態では、撮像装置１００がリフォーカス処理部１１０を含むものとするが、リフォーカス処理部１１０は、別の画像処理装置として実装されてもよい。その場合には、撮像装置１００は、ＬＦデータを記憶媒体１０８に保存し、記憶媒体１０８を介して別の画像処理装置としてのリフォーカス処理部１１０へ転送し、その後、リフォーカス処理部１１０がリフォーカス処理を行う。
【００２０】
システムバス１１１は、撮像装置１００の各ブロック間の制御信号やデータ信号の伝送路となる。
【００２１】
ここで、撮像部１０１の構成について、図２を用いて説明を行う。一般的に、１つの撮像素子の上にマイクロレンズアレイを配置することで、ＬＦデータを得ることが可能となる。図２に、撮像部１０１の一部の概略図を示す。なお、図２は、説明のために撮像素子の一部だけを図示したものであり、実際にはこのような構成が画素数分続いている。
【００２２】
図２（ａ）は、撮像部１０１を横から見た様子を示す図である。図２（ａ）で示すように、撮像部１０１は、メインレンズ２０１と撮像素子２０３の間に、ＭＬＡ２０２（マイクロレンズアレイ）を配置するような構成を持つ。また、図２（ｂ）は、撮像部１０１を正面から見た様子を示す図である。
【００２３】
メインレンズ２０１は、実際には複数枚のレンズから構成されているが、ここでは図示しない。この複数枚のレンズの中に、可動なフォーカスレンズが含まれ、撮像装置１００は、制御部１０３の指示に応じてフォーカスレンズを動かすことにより、被写体のピントを調節することで焦点調節を行う。
【００２４】
ＭＬＡ２０２は、複数のマイクロレンズから構成され、メインレンズ２０１の焦点位置近傍に配置される。メインレンズ２０１の異なる瞳領域（瞳の部分領域）を通過した光は、ＭＬＡ２０２に入射し、瞳領域毎に分離して出射される。
【００２５】
撮像素子２０３は、メインレンズ２０１及びＭＬＡ２０２を通過した被写体の画像光を光電変換してアナログ画像信号に変換する多数の画素配列を有し、例えばＣＣＤやＣＭＯＳセンサー等により構成される。なお、撮像部１０１の構成は、図２に示される構成に限定されず、被写体空間の３次元的な情報であるＬＦデータを取得可能であればいかなる構成であってもよい。例えば、特開２０１１−２２７９６号公報のように、複数の視点の異なるカメラをまとめて撮像部１０１とみなす構成でもよい。また、図２の撮影光学系と異なり、物体平面と撮像素子が共役の関係にあるように、ＭＬＡ上で撮影光学系からの光束を結像させ、その結像面に撮像素子を設ける構成でもよい。更には、ＭＬＡ上で撮影光学系からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる）、その結像面に撮像素子を設けるような構成でもよい。また、適当なパターンを施したマスク（ゲイン変調素子）を撮影光学系の光路中に挿入する方法も利用できる。
【００２６】
図３は、記憶媒体１０８に記録される動画データの概念図である。記憶媒体１０８には、図３に示すような動画データが撮影日時順に記録されているものとする。動画データのヘッダ部３０１には、動画の属性情報が記録される。具体的には、クリップ名、撮影日時情報、カメラ機種名、フレーム画像サイズ、フレームレート、ＩＳＯ感度、ガンマ、及びその他の付加情報などが、属性情報として記録される。フレームデータ部３０２には、各フレームのデータ（フレームデータ）が格納される。整数Ｎは、動画データに格納されたフレームの数である。
【００２７】
各フレームデータのヘッダ部３０３には、各フレームの属性情報（フレーム属性情報）が記録される。具体的には、フレーム番号、タイムコード、絞り値、合焦距離、リフォーカス可能フラグ、リフォーカス可能範囲、及びその他の付加情報などが、フレーム属性情報として記録される。なお、合焦距離とは、撮像部１０１のレンズ面から合焦した被写体までの距離である。本実施形態では、リフォーカス可能フラグは１ビットのフラグであるものとする。リフォーカス可能範囲には、リフォーカス画像を合成可能な範囲内における合焦距離の最大値と最小値を記録する。画像データ部３０４は、ＲＡＷ形式のＬＦデータ、又はＭＰＥＧ４−ＡＶＣなどの一般的な動画圧縮規格によって圧縮されたフレーム画像データが記録される。
【００２８】
次に、本実施形態に係る撮影処理と再生処理の動作について、図４〜図８を用いて説明する。撮像装置１００は、記憶媒体１０８に画像データを記録する撮影モードと、記憶媒体１０８に記録されている画像データを再生する再生モードの、２つの動作モードを持つ。これら２つの動作モードは、操作部１０４を介してユーザが切り替えることができる。本実施形態では、撮影モード時の撮影処理、及び再生モード時の再生処理について、それぞれ図４及び図６Ａのフローチャートを用いて説明を行う。なお、本実施形態では、フローチャートの処理を実現する制御プログラムがＲＯＭ１０６に記録されている例を示すが、制御プログラムがメモリカードなどの記憶媒体１０８に記録されている形態でもよい。同様に、制御プログラムは、ネットワーク上に配置されていてもよい。
【００２９】
図４は、第１の実施形態に係る撮影処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、制御部１０３がＲＯＭ１０６に格納された制御プログラムを実行することにより実現される。撮像装置１００の動作モードが撮影モードに設定されると、本フローチャートの処理が開始する。
【００３０】
Ｓ４０１で、制御部１０３は、ユーザが操作部１０４を介して撮影開始操作を行うまで待つ。撮影開始操作が行われた場合、制御部１０３は処理をＳ４０２へ進める。なお、本実施形態では、撮影開始操作は、ユーザが操作部１０４に含まれる録画ボタンを押下することで行われるものとする。
【００３１】
Ｓ４０２で、制御部１０３は、被写体を検出し、撮像部１０１に含まれるフォーカスレンズを駆動することにより、焦点調節を行う。被写体検出の方法としては、顔検出や人体検出など任意の既知の方法を利用可能である。
【００３２】
Ｓ４０３で、制御部１０３は、撮像部１０１から読み出された画像信号に対して、アナログ信号処理部１０２及び画像処理部１０５による画像処理を行い、ＲＡＷ形式のＬＦデータをフレームデータとして記憶媒体１０８に記録する。このとき、制御部１０３は、図３に示されるリフォーカス可能フラグに、リフォーカス可能であることを意味する「１
」を記録し、リフォーカス可能範囲に値を記録する。なお、リフォーカス可能フラグとリフォーカス可能範囲の記録は、撮影終了後にまとめて行う構成でもよい。
【００３３】
Ｓ４０４で、制御部１０３は、ユーザが操作部１０４を介して撮影終了操作を行ったか否かを判定する。撮影終了操作が行われた場合、制御部１０３は本フローチャートの処理を終了する。撮影終了操作が行われていない場合、制御部１０３は、処理をＳ４０２へ戻し、次のフレームの撮影及び記録を行う。これにより、撮影終了操作が行われるまで、ＬＦデータが連続的に生成され記録される。なお、本実施形態では、撮影終了操作は、ユーザが操作部１０４に含まれる録画ボタンを再び押下することで行われるものとする。
【００３４】
図５は、撮像装置１００の動作モードが再生モードに設定されている場合に表示部１０９に表示されるユーザインターフェース（ＵＩ）の構成例を示す図である。再生モードにおいては、ユーザの操作によって動画の再生と一時停止が可能であり、再生中か一時停止中かで表示が切り替わる。図５（ａ）は、一時停止中の表示部１０９の表示例であり、この時に表示されるＵＩは、再生ボタン５０１、停止ボタン５０２、及びコマ送りボタン５０３を含む。図５（ｂ）は、再生中の表示部１０９の表示例であり、この時に表示されるＵＩは、再生ボタン５０１の代わりに一時停止ボタン５０４を含む。以下の説明においては、動画再生が一時停止中である状態を一時停止状態と呼ぶ。
【００３５】
図６Ａは、第１の実施形態に係る再生処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、制御部１０３がＲＯＭ１０６に格納された制御プログラムを実行することにより実現される。撮像装置１００の動作モードが再生モードに設定されると、本フローチャートの処理が開始する。以下の説明においては、後述する表示処理の対象となるフレームのことを表示対象フレームと呼ぶ。
【００３６】
Ｓ６０１で、制御部１０３は、ユーザが再生開始操作を行うまで待つ。再生開始操作が行われた場合、制御部１０３は処理をＳ６０２へ進める。なお、本実施形態では、撮像装置１００が再生モードに設定されている状態では、記憶媒体１０８に記録された動画データが、タッチパネルの機能を持つ表示部１０９にサムネイル一覧表示されているとする。また、再生開始操作は、一覧表示されたサムネイル画像のうちの１つをユーザが指でタッチすることで行われるものとする。このとき、タッチされた（即ち、選択された）サムネイル画像に対応する動画データの先頭に記録されたフレームデータが表示対象フレームに設定され、一時停止状態は解除された状態となる。
【００３７】
Ｓ６０２で、制御部１０３は、表示処理を行う。表示処理では、制御部１０３は、Ｓ６０１で選択された動画データの中の表示対象フレームに対して処理を施して表示部１０９に表示する。表示処理の詳細は後述する。
【００３８】
Ｓ６０３で、制御部１０３は、ユーザが再生終了操作を行ったか否か、及び、現在の表示対象フレームがＳ６０１で選択された動画データの最終フレームであるか否かを判定する。再生終了操作が行われた場合、又は表示対象フレームが最終フレームである場合、制御部１０３は、本フローチャートの処理を終了する。そうでない場合、制御部１０３は処理をＳ６０４へ進める。なお、本実施形態では、再生終了操作は、ユーザが停止ボタン５０２を指でタッチすることで行われるものとする。
【００３９】
Ｓ６０４で、制御部１０３は、一時停止状態であるか否かを判定する。一時停止状態である場合、制御部１０３は処理をＳ６０５へ進め、そうでない場合、制御部１０３は処理をＳ６０９へ進める。
【００４０】
Ｓ６０５で、制御部１０３は、ユーザがコマ送り操作を行ったか否かを判定する。コマ送り操作が行われた場合、制御部１０３は処理をＳ６０８へ進め、そうでない場合、制御部１０３は処理をＳ６０６へ進める。なお、本実施形態では、コマ送り操作は、ユーザがコマ送りボタン５０３を指でタッチすることで行われるものとする。
【００４１】
Ｓ６０６で、制御部１０３は、ユーザが再生再開操作を行ったか否かを判定する。再生再開操作が行われた場合、制御部１０３は処理をＳ６０７へ進め、そうでない場合、制御部１０３は処理をＳ６０３へ戻す。なお、本実施形態では、再生再開操作は、ユーザが再生ボタン５０１を指でタッチすることで行われるものとする。
【００４２】
Ｓ６０７で、制御部１０３は、一時停止状態を解除する。Ｓ６０８で、制御部１０３は、Ｓ６０１で選択された動画データの中で、表示対象フレームを次のフレームに設定し、処理をＳ６０２へ戻す。
【００４３】
Ｓ６０９で、制御部１０３は、ユーザが一時停止操作を行ったか否かを判定する。一時停止操作が行われた場合、制御部１０３は処理をＳ６１０へ進め、そうでない場合、制御部１０３は処理をＳ６０８へ進める。なお、本実施形態では、一時停止操作は、ユーザが一時停止ボタン５０４を指でタッチすることで行われるものとする。Ｓ６１０で、制御部１０３は、一時停止状態を設定する。
【００４４】
次に、図６Ｂを参照して、表示処理（Ｓ６０２）の詳細について説明する。Ｓ６２１で、制御部１０３は、図６ＡのＳ６０１で選択された動画データから表示対象フレームのＬＦデータを取得し、ＲＡＭ１０７に確保した作業用バッファに書き込む。Ｓ６２２で、制御部１０３は、Ｓ６２１で取得したＬＦデータに対して補間リフォーカス処理を施し、結果をＲＡＭ１０７に確保した表示用バッファに書き込む。補間リフォーカス処理の詳細は後述する。Ｓ６２３で、制御部１０３は、ＲＡＭ１０７に確保した表示用バッファの内容を表示部１０９に表示し、表示処理を終了する。
【００４５】
次に、図７を参照して、補間リフォーカス処理（Ｓ６２２）の詳細について説明する。Ｓ７０１で、制御部１０３は、表示対象フレームの近傍の複数のフレームデータから合焦距離を取得する。本実施形態では、制御部１０３は、表示対象フレームの前後各３フレームについて、合焦距離を取得するものとする。
【００４６】
Ｓ７０２で、制御部１０３は、Ｓ７０１で取得した近傍フレームの合焦距離と表示対象フレームの合焦距離とに基づき、横軸を時間、縦軸を合焦距離とした近似曲線を算出する。本実施形態では、前後３区間の移動平均線を算出する。即ち、本実施形態では、表示対象フレーム及び前後各３フレームの計７フレームの合焦距離の平均値が、近似曲線（移動平均線）において表示対象フレームに対応する合焦距離である。なお、近似曲線の算出方法は別の公知のアルゴリズムを用いてもよい。
【００４７】
Ｓ７０３で、制御部１０３は、Ｓ７０２で算出した近似曲線上の表示対象フレームに相当する時点の合焦距離と、表示対象フレームの合焦距離との差分の絶対値が閾値以上であるか否かを判定する。差分絶対値が閾値以上の場合、制御部１０３は処理をＳ７０５へ進める。差分絶対値が閾値未満の場合、制御部１０３は処理をＳ７０４へ進める。
【００４８】
Ｓ７０４で、制御部１０３は、表示対象フレームのフレームデータに記録されていた合焦距離を用いて、表示対象フレームに対してリフォーカス処理を行う。即ち、差分絶対値が閾値未満の場合は、表示対象フレームの撮影時（ＬＦデータの生成時）の合焦距離がそのまま用いられ、この合焦距離に合焦したフレーム画像が生成されて表示される。
【００４９】
Ｓ７０５で、制御部１０３は、Ｓ７０２で算出した近似曲線上の表示対象フレームに相当する時点の合焦距離が、表示対象フレームのリフォーカス可能範囲内であるか否かを判定する。近似曲線上の合焦距離がリフォーカス可能範囲内の場合、制御部１０３は処理をＳ７０６へ進め、そうでない場合、制御部１０３は処理をＳ７０７へ進める。
【００５０】
Ｓ７０６で、制御部１０３は、Ｓ７０２で算出した近似曲線上の表示対象フレームに相当する時点の合焦距離を用いて、表示対象フレームに対してリフォーカス処理を行う。
【００５１】
Ｓ７０７で、制御部１０３は、表示対象フレームに対して、リフォーカス可能範囲の上限値又は下限値を用いてリフォーカス処理を行う。具体的には、Ｓ７０２で算出した近似曲線上の表示対象フレームに相当する時点の合焦距離が、リフォーカス可能範囲の上限値を超えていた場合には、制御部１０３は上限値を用いる。反対に、Ｓ７０２で算出した近似曲線上の表示対象フレームに相当する時点の合焦距離が、リフォーカス可能範囲の下限値を下回っていた場合には、制御部１０３は下限値を用いる。
【００５２】
なお、Ｓ７０２及びＳ７０３の目的は、表示対象フレーム（判定対象のＬＦデータ）の合焦距離が、近傍フレームと比べて大きく異なるか否かを判定することである。従って、具体的な判定方法はＳ７０２及びＳ７０３に示すものに限定されず、この目的が達成できる限り任意の判定方法を使用可能である。また、「近傍フレーム」についても、前後各３フレームに限定されず、少なくとも前後に生成された２以上のフレームを含む限り、任意の近傍フレームを使用可能である。例えば、Ｓ７０２における近似曲線の算出は、表示対象フレームと前後の２以上のフレームとを含む３以上のフレームに基づいて行うことができる。また、「大きく異なる」の定義も、近似曲線との差分絶対値が閾値以上であることに限定されず、判定方法に応じて適宜定まる。一例を挙げると、｜（（表示対象フレームの合焦距離）−（直前のフレームの合焦距離））＋（（表示対象フレームの合焦距離）−（直後のフレームの合焦距離））｜≧（所定の閾値）の場合に、合焦距離が「大きく異なる」と判定することができる。
【００５３】
また、Ｓ７０６及びＳ７０７の目的は、表示対象フレームの合焦距離が近傍フレームと比べて異なる度合を小さくすることである。従って、リフォーカス処理において用いる合焦距離（目標合焦距離）の決定方法はＳ７０６及びＳ７０７に示すものに限定されず、合焦距離が異なる度合が少しでも小さくなる限り、任意の決定方法を使用可能である。
【００５４】
また、Ｓ７０４、Ｓ７０６及びＳ７０７において、制御部１０３は、フレームデータに記録されていた撮影時の合焦距離、近似曲線上の合焦距離、リフォーカス可能範囲の上限値及び下限値のうちのいずれを用いてリフォーカス処理を行ったかを記録してもよい。記録先としては、例えば、図３に示すヘッダ部３０３のフレーム属性情報を用いることができる。あるいは、制御部１０３は、リフォーカス処理に用いた合焦距離の値そのものをヘッダ部３０３のフレーム属性情報に記録してもよい。更に、図６ＢのＳ６２３において、撮影時の合焦距離以外の値を用いてリフォーカス処理を行ったフレームを表示する場合、制御部１０３は、その旨を示すアイコンを同時に表示してもよい。
【００５５】
図８は、補間リフォーカス処理を施す前後の、合焦距離の変化を示す図である。破線で示される「処理前」の値は、撮影時の合焦距離である。また、上下に伸びるエラーバーで示される範囲は、各フレームにおけるリフォーカス可能範囲である。点線で示される「近似線」の値は、図７のＳ７０２で算出される近似曲線上の、各フレームに相当する時点の合焦距離である。
【００５６】
実線で示される「処理後」の値は、図７のＳ７０４、Ｓ７０６、及びＳ７０７で用いられる合焦距離である。「近似線」と「処理前」の差分絶対値が閾値未満のフレームについては、「処理前」と「処理後」の値は等しい。差分絶対値が閾値以上のフレームのうち、「近似線」がエラーバーの範囲内のフレームについては、「近似線」と「処理後」の値が等しい。差分絶対値が閾値以上のフレームのうち、「近似線」がエラーバーの範囲外のフレームについては、「処理後」の値はエラーバーの上端又は下端（リフォーカス可能範囲の上限値又は下限値）である。
【００５７】
表示対象フレームに対して補間リフォーカス処理が施されると、「処理後」の合焦距離に基づいてＬＦデータにリフォーカス処理が行われた結果が表示されることとなる。その結果、撮影時に合焦距離が前後のフレームから一時的に大きく外れた箇所であっても、再生時には合焦距離が滑らかに変化する自然な動画として表示される。
【００５８】
以上説明したように、第１の実施形態によれば、撮像装置１００は、表示対象フレームの合焦距離が近傍フレームと比べて大きく異なる場合に、この異なりの度合を小さくするようにリフォーカス処理を行う。これにより、動画のフレームの合焦距離が前後のフレームと比べて大きく異なることを抑制することが可能となり、合焦距離がなめらかに変化するような動画再生を行うことが可能となる。
【００５９】
［第２の実施形態］
第１の実施形態では、再生処理の中で補間リフォーカス処理を行う構成について説明した。第２の実施形態では、動画撮影の直後に補間リフォーカス処理を施した動画データを生成する構成について説明する。第２の実施形態において、撮像装置１００の基本的な構成は第１の実施形態と同様である（図１乃至図３参照）。以下、主に第１の実施形態と異なる点について説明する。
【００６０】
図９は、第２の実施形態に係る撮影処理のフローチャートである。図９において、図４と同一又は同様の処理が行われるステップには同一の符号を付し、説明を省略する。本フローチャートの各ステップの処理は、特に断らない限り、制御部１０３がＲＯＭ１０６に格納された制御プログラムを実行することにより実現される。撮像装置１００の動作モードが撮影モードに設定されると、本フローチャートの処理が開始する。
【００６１】
本実施形態では、Ｓ４０４において撮影終了操作が行われた場合、処理はＳ９０５に進む。Ｓ９０５で、制御部１０３は、Ｓ４０３で記録された動画データから処理対象フレームのＬＦデータを取得し、ＲＡＭ１０７に確保した作業用バッファに書き込む。なお、最初にＬＦデータを取得する際には、処理対象フレームは動画データの先頭に記録されたフレームデータである。
【００６２】
Ｓ９０６で、制御部１０３は、Ｓ９０５で取得したＬＦデータに対して補間リフォーカス処理を施し、結果をＲＡＭ１０７に確保した記録用バッファに書き込む。補間リフォーカス処理の詳細は、第１の実施形態と同様である（図７参照）。
【００６３】
Ｓ９０７で、制御部１０３は、ＲＡＭ１０７に確保した記録用バッファの内容を圧縮し、圧縮画像データとして記憶媒体１０８に記録する。このとき記録する圧縮画像データは、Ｓ９０５で取得したＬＦデータに紐付けられる。具体的には、制御部１０３は、図３のヘッダ部３０３のフレーム属性情報に、紐付けたいＬＦデータのクリップ名とフレーム番号を記録しておく。なお、これ以降にＬＦデータの補間リフォーカス処理を行わない場合など、ＬＦデータが不要な場合には、制御部１０３は、ＬＦデータを破棄し、記憶媒体１０８の空き容量を増やしてもよい。
【００６４】
Ｓ９０８で、制御部１０３は、Ｓ９０５で取得したＬＦデータがＳ４０３で記録した動画データの最終フレームであるか否かを判定する。最終フレームの場合、制御部１０３は撮影処理を終了し、そうでない場合、制御部１０３は処理をＳ９０９へ進める。
【００６５】
Ｓ９０９で、制御部１０３は、Ｓ４０３で記録された動画データの中で、処理対象フレームを次のフレームに設定し、処理をＳ９０５へ戻す。
【００６６】
第２の実施形態の再生処理は、第１の実施形態とほぼ同じであるが（図６Ａ参照）、Ｓ６０２における表示処理の詳細が第１の実施形態と若干異なる。図１０を参照して、第２の実施形態に係る表示処理（Ｓ６０２）の詳細について説明する。
【００６７】
Ｓ１０２１で、制御部１０３は、図６ＡのＳ６０１で選択された動画データから表示対象フレームの圧縮画像データを取得し、ＲＡＭ１０７に確保した表示用バッファに書き込む。Ｓ１０２２で、制御部１０３は、ＲＡＭ１０７に確保した表示用バッファの内容を表示部１０９に表示し、表示処理を終了する。
【００６８】
以上説明したように、第２の実施形態によれば、撮像装置１００は、動画撮影の直後に補間リフォーカス処理を施した動画データを生成する。これにより、再生処理時の処理負荷を軽減することができる。
【００６９】
なお、補間リフォーカス処理を施した動画データを生成するタイミングは、動画撮影の直後に限定されない。例えば、制御部１０３は、図６ＡのＳ６０１において動画データが選択された直後に図９のＳ９０５乃至Ｓ９０９の処理を実行し、補間リフォーカス処理を施した動画データを生成してもよい。この場合でも、動画の表示処理と補間リフォーカス処理とが並行して実行されることを回避できるので、再生処理時の処理負荷を軽減することができる。即ち、Ｓ６０１において動画データが選択された直後よりも早いタイミングであれば、いかなるタイミングであっても、再生処理時の処理負荷を軽減するという効果を得ることができる。
【００７０】
［第３の実施形態］
第２の実施形態では、撮影終了操作が行われた後に補間リフォーカス処理を行う構成について説明した。第３の実施形態では、動画データの撮影と並行して補間リフォーカス処理を行う構成について説明する。第３の実施形態において、撮像装置１００の基本的な構成は第１及び第２の実施形態と同様である（図１乃至図３参照）。以下、主に第１及び第２の実施形態と異なる点について説明する。
【００７１】
図１１は、第３の実施形態に係る撮影処理のフローチャートである。図１１において、図４と同一又は同様の処理が行われるステップには同一の符号を付し、説明を省略する。本フローチャートの各ステップの処理は、特に断らない限り、制御部１０３がＲＯＭ１０６に格納された制御プログラムを実行することにより実現される。撮像装置１００の動作モードが撮影モードに設定されると、本フローチャートの処理が開始する。
【００７２】
Ｓ１１０４で、制御部１０３は、Ｓ４０３において記録したＬＦデータが、撮影処理を開始してからＸフレーム目以降であるか否かを判定する。Ｘフレーム目以降の場合、制御部１０３は処理をＳ１１０５へ進め、そうでない場合、制御部１０３は処理をＳ４０４へ進める。ここで、Ｘは、補間リフォーカス処理で近似曲線を算出する際に合焦距離を参照するフレームの枚数を示す整数である。本実施形態では、リフォーカス処理の対象となるフレームの前後３フレームの合焦距離を参照するものとする。従って、Ｘ＝７である。
【００７３】
Ｓ１１０５で、制御部１０３は、Ｓ４０３で記録したＬＦデータのＹフレーム前のＬＦデータを取得する。ここで、Ｙは、補間リフォーカス処理で初めて近似曲線の算出が可能になるフレームが、Ｘフレーム目から数えて何フレーム目かを示す整数である。本実施形態では、初めて近似曲線の算出が可能になるのは４フレーム目であるため、Ｙ＝３である。
【００７４】
Ｓ１１０６で、制御部１０３は、Ｓ１１０５で取得したＬＦデータに補間リフォーカス処理を施し、結果をＲＡＭ１０７に確保した記録用バッファに書き込む。補間リフォーカス処理の詳細は、第１の実施形態と同様である（図７参照）。
【００７５】
Ｓ１１０７で、制御部１０３は、ＲＡＭ１０７に確保した記録用バッファの内容を圧縮し、圧縮画像データとして記憶媒体１０８に記録する。このとき記録する圧縮画像データは、Ｓ１１０５で取得したＬＦデータに紐付けられる。具体的には、制御部１０３は、図３のヘッダ部３０３のフレーム属性情報に、紐付けたいＬＦデータのクリップ名とフレーム番号を記録しておく。なお、これ以降にＬＦデータの補間リフォーカス処理を行わない場合など、ＬＦデータが不要な場合には、制御部１０３は、ＬＦデータを破棄し、記憶媒体１０８の空き容量を増やしてもよい。
【００７６】
第３の実施形態に係る再生処理は、第２の実施形態と同様である（図６Ａ及び図１０参照）。
【００７７】
以上説明したように、第３の実施形態によれば、撮像装置１００は、動画データの撮影と並行して補間リフォーカス処理を行う。これにより、ＬＦデータを早期に破棄することが可能となり、記憶媒体１０８の空き容量を増やすことが可能となる。
【００７８】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７９】
１００…撮像装置、１０１…撮像部、１０２…アナログ信号処理部、１０３…制御部、１０４…操作部、１０５…画像処理部、１０６…ＲＯＭ、１０７…ＲＡＭ、１０８…記憶媒体、１０９…表示部、１１０…リフォーカス処理部、１１１…システムバス
【図１】
2017152925.tif 000003
【図２】
2017152925.tif 000004
【図３】
2017152925.tif 000005
【図４】
2017152925.tif 000006
【図５】
2017152925.tif 000007
【図６Ａ】
2017152925.tif 000008
【図６Ｂ】
2017152925.tif 000009
【図７】
2017152925.tif 000010
【図８】
2017152925.tif 000011
【図９】
2017152925.tif 000012
【図１０】
2017152925.tif 000013
【図１１】
2017152925.tif 000014