(57)【要約】      （修正有）【課題】画像が時系列に連続的に取得された場合でも、各フレーム毎の各種パラメータの設定を不要とするライトフィールドカメラを提供する。【解決手段】該複数の多視点動画像データから一つ或いは二つ以上の時刻における画像を指定する手段と、該指定した各画像に対して一つ以上のパラメータを設定する手段と、該設定された各画像に対するパラメータに応じて二つの時刻間の動画像を生成する手段を備え、該動画像生成手段は、該パラメータの二つの時刻における属性に応じて異なる制御を行う。【選択図】図２
2017038245.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点位置から取得された情報に基づき画像データを処理する画像処理装置であって、
該複数の多視点動画像データから二つの時刻における画像を指定する手段と、
該指定した各画像に対して一つ以上のパラメータを設定する手段と、
該設定された各画像に対するパラメータに応じて二つの時刻間の動画像を生成する手段を備え、
該動画像生成手段は、該パラメータの二つの時刻における属性に応じて異なる制御を行う手段であることを特徴とする画像処理装置。
【請求項２】
上記パラメータは、注目被写体であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記パラメータ設定結果に基づいて焦点距離、被写界深度、画角のいずれか一つ以上の第二のパラメータを算出する手段を備え、
上記動画像生成手段は、上記第二のパラメータ算出結果に応じて生成する手段であることを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
上記第二のパラメータ算出手段は、予め決められた所定の式に従って算出することを特徴とする請求項１乃至請求項３の何れか一項に記載の画像処理装置。
【請求項５】
上記二つの時刻における画像を指定する手段は、ユーザーによる一つの時刻における画像指定結果に基づき、もう一つの時刻における画像を予め決められた所定の方法により抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
連続する三つの時刻に対して上記パラメータを設定した場合に、隣接する二つの時刻間の動画像生成において上記三つの時刻における設定パラメータに応じて動画像を生成する手段を備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
複数の視点位置から取得された情報に基づき画像データを処理する画像処理方法であって、
該複数の多視点動画像データから一つ或いは二つ以上の時刻における画像を指定するステップと、
該複数の多視点動画像データから二つの時刻における画像を指定するステップと、
該指定した各画像に対して一つ以上のパラメータを設定するステップと、
該設定された各画像に対するパラメータに応じて二つの時刻間の動画像を生成するステップを備え、
該動画像生成ステップは、該パラメータの二つの時刻における属性に応じて異なる制御を行うステップであることを特徴とする画像処理方法。
【請求項８】
画像データを処理する画像処理装置であって、 
同時に一つ以上の入力が連続的に可能な座標入力手段と、 
該画像データを表示する手段と、 
該座標入力手段による入力の開始位置及び終了位置に応じた合焦状態を備えた動画像を生成する手段を備えたこと
を特徴とする画像処理装置。
【請求項９】
前記座標入力手段による入力が連続する一つの入力による場合、 
前記動画像生成手段は、前記座標入力手段による入力開始位置及び入力終了位置に基づいて、合焦点を移動していく動画像を生成する手段であることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記座標入力手段による入力が連続する複数の入力による場合、 
前記動画像生成手段は、前記座標入力手段による複数の入力開始位置を包含する領域及び 
複数の入力終了位置を包含する領域に基づいて、合焦領域を移動していく動画像を生成する手段であることを特徴とする請求項８に記載の画像処理装置。
【請求項１１】
前記動画像生成手段は、前記座標入力手段による入力開始位置及び終了位置に基づいて、 
画角を変更していく動画像を生成する手段であることを特徴とする請求項８に記載の画像処理装置。
【請求項１２】
前記動画像生成手段は、前記座標入力手段による入力開始位置及び終了位置に基づいて、 
視点を変更していく動画像を生成する手段であることを特徴とする請求項８に記載の画像処理装置。
【請求項１３】
前記座標入力手段の入力開始から終了までの時間を計測する手段を備え、
前記動画像生成手段は、
前記座標入力手段による入力の開始位置及び終了位置に応じた合焦状態及び 
該計測手段による計測結果に応じた長さを備えた動画像を生成する手段であることを特徴とする請求項８乃至請求項１２の何れか一項に記載の画像処理装置。
【請求項１４】
前記計測手段は、
前記座標入力手段の入力開始から終了までの時間を計測するとともに、
前記座標入力手段による連続する入力が所定の座標範囲内に所定の時間以上留まった時間を計測する手段であり、 
前記動画像生成手段は、入力の開始位置及び終了位置及び上記滞留位置に応じた合焦状態及び前記計測手段による計測結果に応じた長さを備えた動画像を生成する手段であることを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記画像データは複数の視点から取得された情報に基づいた画像データであることを特徴とする請求項８乃至請求項１４の何れか一項に記載の画像処理装置。
【請求項１６】
前記画像データは複数の視点から時系列に連続的に取得された情報に基づいた画像データであって、 
該画像データの開始時刻と終了時刻を指定する手段と、 
前記座標入力手段による入力の開始位置及び終了位置に応じた合焦状態及び該開始・終了時刻指定手段による指定に応じて動画像を生成する手段を備えたことを特徴とする請求項８乃至請求項１５の何れか一項に記載の画像処理装置。
【請求項１７】
画像データを処理する画像処理方法であって、 
同時に一つ以上の入力が連続的に可能な座標入力方法と、 
該画像データを表示する方法と、 
該座標入力方法による入力の開始位置及び終了位置に応じた合焦状態を備えた動画像を生成する方法を備えたこと
を特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の視点位置から取得された情報に基づき画像データを処理する装置及びその方法に関するものである。
【背景技術】
【０００２】
近年、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている（非特許文献１、特許文献１）。この撮像装置は、撮像レンズと、マイクロレンズアレイと、撮像素子と、画像処理部と、から構成され、撮像素子から得られる撮像画像データ（ライトフィールドデータ）が、受光面における光の強度分布に加えてその光の進行方向の情報も含むようになっている。そして画像処理部において、複数の視点や方向からの観察画像を再構築できるようになっている。
【０００３】
再構築の一つの例として撮影後のピント調整処理（以降、リフォーカスと呼ぶ）があり（特許文献２）、撮影後にリフォーカスが可能な撮像装置（以降、ライトフィールドカメラと呼ぶ）が開発されている。また、ライトフィールドデータを時系列に連続的に取得することにより動画像においても、再構築が可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１８３３１６号公報
【特許文献２】特開２０１１−２２７９６号公報
【非特許文献】
【０００５】
【非特許文献１】R. Ng, M. Levoy, M.Bredif, G. Duval, M. Horowitz, P. Hanrahan: "Light Field Photographywith a Hand-Held Plenoptic Camera", Stanford Tech Report CTSR 2005-02（2005）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ライトフィールドデータはその自由度の高さから、最終的にユーザーが所望の画像を得るためには各種パラメータを指定して画像処理を行う必要がある。特に取得したライトフィールドデータが時系列に連続的に取得された場合は、各時刻（各フレーム）において上記パラメータを全て設定しなければ所望の動画像を得ることが出来ないという課題があった。
【０００７】
通常、動画像は1秒間に30枚以上の画像を取得していることを考慮すると、わずか10秒の動画像を得るために300枚以上の画像に対して、複数のパラメータを設定しなければならないことになる。さらに、連続的に取得したライトフィールドデータからの動画像生成に当たっては、動画像を生成する開始フレームと終了フレームを適切に選択する必要があったが、従来はユーザーが選択する必要があった。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明に係る画像処理装置は、
複数の視点位置から取得された情報に基づき画像データを処理する画像処理装置であって、
該複数の多視点動画像データから一つ或いは二つ以上の時刻における画像を指定する手段と、該複数の多視点動画像データから二つの時刻における画像を指定する手段と、該指定した各画像に対して一つ以上のパラメータを設定する手段と、該設定された各画像に対するパラメータに応じて二つの時刻間の動画像を生成する手段を備え、該動画像生成手段は、該パラメータの二つの時刻における属性に応じて異なる制御を行う手段であることを特徴とする。
【発明の効果】
【０００９】
本発明に係る画像処理装置によれば、時系列に連続的に取得されたライトフィールドデータから簡単な操作でユーザーが所望する動画像を得られる効果がある。
【図面の簡単な説明】
【００１０】
【図１】本発明のハードウェア構成ブロック図
【図２】本発明の処理を表す動作フローチャート
【図３】本発明の画面表示の一例を示した図
【図４】本発明のエンドフレーム抽出処理の詳細を表す動作フローチャート
【図５】本発明の動画像生成処理の詳細を表す動作フローチャート
【図６】本発明の動画像生成処理における分類分けを示した表
【図７】本発明の動画像生成処理におけるパラメータ算出の例を示した図
【図８】本発明の動画像生成処理におけるパラメータ算出の例を示した図
【図９】本発明の動画像生成処理におけるパラメータ算出の例を示した図
【図１０】本発明の動画像生成処理におけるパラメータ算出の例を示した図
【図１１】本発明の動画像生成処理におけるパラメータ算出の例を示した図
【図１２】本発明の動画像生成処理におけるパラメータ算出の例を示した図
【図１３】本発明の動画像生成処理におけるパラメータ算出の例を示した図
【図１４】本発明の動画像生成処理におけるパラメータ算出の例を示した図
【図１５】本発明の第２実施例におけるエンドフレーム抽出処理の詳細を表す動作フローチャート
【図１６】本発明の第２実施例における動画像生成処理におけるパラメータ算出の例を示した図
【図１７】本発明の第２実施例におけるベジエ曲線を示した図
【図１８】本発明の第３実施例におけるエンドフレーム抽出処理の詳細を表す動作フローチャート
【図１９】本発明の第３実施例における動画像生成処理のパラメータ算出の例を示した図
【図２０】本発明の第４実施例における動画像生成処理のパラメータ算出の例を示した図
【図２１】本発明の第５実施例における設定の例を示した図
【図２２】本発明の第５実施例における動画像生成処理のパラメータ算出の例を示した図
【図２３】本発明の第６実施例における動画像生成処理のパラメータ算出の例を示した図
【図２４】本発明の第７実施例における処理を表す動作フローチャート
【図２５】本発明の画面表示の一例を示した図
【図２６】本発明の第７実施例におけるドラッグ操作の例を示した図
【図２７】本発明の第７実施例におけるピンチ・アウト操作の例を示した図
【図２８】本発明の第８実施例における処理を表す動作フローチャート
【図２９】本発明の第８実施例における連続ドラッグ操作の例を示した図
【図３０】本発明の第９実施例における処理を表す動作フローチャート
【図３１】本発明の第９実施例における画面表示及び入力の例を示した図
【図３２】本発明の第９実施例における視点変更の概念を示した図
【図３３】本発明の第１０実施例における処理を表す動作フローチャート
【図３４】本発明の第１０実施例における画角決定の例を示した図
【図３５】本発明の第１０実施例における画角決定の例を示した図
【図３６】本発明の第１０実施例における画角決定の例を示した図
【図３７】本発明の第１０実施例における画角決定の例を示した図
【図３８】本発明の第１１実施例におけるスタート・エンドフレームの指定動作を表す動作フローチャート
【図３９】本発明の第１１実施例におけるスタート・エンドフレームの表示例を示した図
【図４０】本発明の第１１実施例における処理を表す動作フローチャート
【図４１】本発明の第１２実施例における処理を表す動作フローチャート
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態を図面に基づいて説明する。
【００１２】
［実施例１］
図１に、本実施例におけるハードウェア構成ブロック図を示す。１０１は画像を取得する画像取得部、１０２は時間を計測するタイマ、１０３は全体の制御を司るCPU、１０４はプログラムを記録しておくROM、１０５はプログラムのワーク領域として用いられると共に画像データを記憶しておくRAMである。
【００１３】
１０６はユーザーが入力を行う座標入力部、１０７は座標入力部１０６からの入力に基づきパラメータを算出するパラメータ算出部、１０８はパラメータ算出部１０７によるパラメータに基づき画像処理演算を行う画像演算部である。１０９は取得した画像や生成した画像を表示する画像表示部、１１０は生成した動画像を記録しておくHDD（ハードディスクドライブ）やメモリーカードなどの記録部である。
【００１４】
以下、本実施例の動作について図２に示す動作フローを用いて詳細に述べる。いま、既に画像取得部１０１にてライトフィールドデータが時系列に連続的に取得されており、取得されたライトフィールドデータはRAM１０５へ記憶されているとする。ここでは或る一つの時刻におけるライトフィールドデータをフレームと呼ぶ。また、ライトフィールドデータに存在する各被写体は認識され、各被写体の存在の有無に関する情報、及び各々の被写体までの距離を示すデプスマップが各フレームについて作成されているとする。ライトフィールドデータからデプスマップの生成手法については、既知の手法が存在するので、ここでは述べない。
【００１５】
ステップS２０１にて、画像編集開始の指示が成されるとステップS２０２にすすみ、画像編集画面を表示する。表示画面例は図３に示す。図３において、メイン画像表示エリアはユーザーが設定を行う為の画面、及び設定後に再生される動画像を再生表示するエリア、時刻表示エリアはメイン画像表示エリアに表示されている画像の時刻を表示するエリアである。スタート画面表示エリアは、ユーザーが設定したスタートフレームを表示するエリア、エンド画面表示エリアは、ユーザーが設定したエンドフレームを表示するエリアである。また、タイムライン表示エリアは画像を時系列に表示するエリアである。
【００１６】
編集開始直後は、スタートフレーム、エンドフレームは設定されていないので、スタート画面表示エリア、及びエンド画面表示エリアには画像は表示されていない。また、メイン画面表示エリアには全取得画像の最初のフレームの画像が表示されている。タイムライン画面表示エリアには全取得画像が時系列に表示されている。
【００１７】
次にステップS２０３にて編集を開始するスタートフレームを選択する。初期値は取得画像全体のスタートフレームが設定されるが、ユーザーが特定のフレームをスタートフレームに設定したい場合は、本ステップにて設定を行う。
【００１８】
設定は、例えば図３に示したタイムライン画面表示エリアで時刻を指定するなどして行う。スタートフレームが設定されると、ステップS２０４にて、該スタートフレームにおけるパンフォーカス画像を生成する。ライトフィールドデータを用いてパンフォーカス画像を生成する手法については既知の手法が存在するので、ここでは述べない。
【００１９】
次にステップS２０５にて、生成したパンフォーカス画像をメイン画面表示エリア（図３参照）に表示する。そして、ステップS２０６にて、ユーザーからの指示待ち状態となる。
【００２０】
ステップS２０６にて、ユーザーが注目している被写体の指定があると、ステップS２０７へすすむ。注目被写体の指定は、例えば座標入力部１０６を用いて、メイン画面表示エリア中のパンフォーカス画像上の注目被写体領域をタップすることで行われる。ステップS２０７では、入力された座標を読み取り、画像上のどの被写体が指定されたかを判定する。
【００２１】
次にステップS２０８にて該注目被写体にフォーカスを合わせた画像を生成する。ライトフィールドデータから特定の距離にフォーカスを合わせた画像の生成手法についても、既知の手法が存在する為、ここでは述べない。
【００２２】
次にステップS２０９にて、生成したスタートフレームのリフォーカス画像をスタート画面表示エリア（図３参照）に表示する。次に、ステップS２１０にて動画像の最終フレームとすべきエンドフレームを抽出し、メイン画面表示エリアへ表示し、ステップS２１１へすすむ。抽出方法の詳細については、後述する。
【００２３】
ステップS２１１では、抽出されたエンドフレームにおいて特定の領域にフォーカスを合わせた画像を生成する。ここで特定の領域とは、スタートフレームで指定された被写体の、エンドフレームにおいて占めている領域を指す。より詳細には、後述するケース１からケース８の図を用いた説明で述べる。
【００２４】
次にステップS２１２にて、生成したエンドフレームのリフォーカス画像をエンド画面表示エリア（図３参照）に表示する。ユーザーは、表示されたスタートフレームの画像、及びエンドフレームの画像から動画像生成の可否を判断し、OKであれば、シーン動画像生成の指示を行う。指示は画面上に特定のボタンを表示して、該ボタンをタップすることで行っても良いし、キーボードを備えたシステムであれば特定のキーを押下することで行っても良い。
【００２５】
ステップS２１３では上記ユーザーの指示を判定する。シーン動画像生成指示が有れば、ステップS２１６へすすみ、無い場合は、ステップS２１４へすすむ。ステップS２１４では、ユーザーが別の設定によるシーン動画像生成を行いたい場合に、スタートフレーム或いはエンドフレームにおいてフォーカスを合わせたい別の被写体を指定することが可能である。例えば、スタート画面における別の被写体指定は、メイン画面表示エリアへスタート画面を再表示させ、メイン画面表示エリアにおいてユーザーが指定したい被写体領域をタップすることで行われる。
【００２６】
ステップS２１４にて、ユーザーが別被写体を指定した場合、ステップS２１５へすすむ。指定が無い場合は、再度ステップS２１３へ戻り、ステップS２１３或いはステップS２１４のループに入り、ユーザーからの指示を待つ。ステップS２１５では、ユーザーが指定した別被写体がスタートフレームなのかエンドフレームなのかを判定する。スタートフレームであれば、ステップS２０７へすすみ、処理を続行する。エンドフレームであれば、ステップS２１１へすすみ、処理を続行する。
【００２７】
ステップS２１６では、設定に応じた動画像を生成する。本ステップの詳細については、後述する。ステップS２１７では、ステップS２１６にて生成したシーン動画像をメイン画像表示エリア（図３参照）にて表示する。
【００２８】
次にステップS２１８にて、ユーザーは生成したシーン動画像がOKであるか否かを判断し、指示を行う。OKであれば、ステップS２１９へすすみ、NGであれば、ステップS２１４へ進み、処理を続行する。ステップS２１９では、編集作業を終了するか否かのユーザー指示を判定する。終了であれば、ステップS２２０へすすみ、継続であれば、ステップS２２２へすすむ。ステップS２２０においては、これまでに編集した一つ以上のシーンを一つの動画像ファイルとして生成する。ステップS２２１では、生成した動画像ファイルを画像記録部１１０へ記録して、終了する。
【００２９】
一方、ステップS２２２では、次のシーンの編集を行う為に、今までのエンドフレームの次のフレームをスタートフレームとして設定し、ステップS２０４へすすむ。
【００３０】
次に、ステップS２１０におけるエンドフレーム抽出動作の詳細を述べる。図４に、本実施例におけるエンドフレーム抽出動作の動作フローを示す。まずステップS４０１にて、スタートフレームにおける注目被写体までの距離（デプス）をデプスマップから抽出する。
【００３１】
次にステップS４０２にて、ステップS４０１で抽出したデプスを中心に予め決められた所定の距離範囲内を追跡デプス範囲として設定する。ステップS４０３では、エンドフレーム抽出対象フレームを現フレームの次のフレームとする。ここで現フレームの初期値はスタートフレームである。従って、エンドフレーム抽出対象フレームはスタートフレームの次のフレームが初期値となる。
【００３２】
次にステップS４０４にて、対象フレーム内に注目被写体が存在するか否かを判定する。ここでは、前述した通り、各フレームに対して被写体の存在の有無に関する情報は既に存在するとしている。注目被写体が存在しない場合は、ステップS４０５へすすみ、対象フレームの前フレームをエンドフレームとして抽出し、処理を完了する。注目被写体が存在する場合は、ステップS４０６へすすむ。
【００３３】
ステップS４０６では、注目被写体のデプス情報をデプスマップから抽出する。
次にステップS４０７にて、該デプス情報がステップS４０２にて設定した追跡デプス範囲内に入っているか否かを判定する。入っている場合は、ステップS４０８にすすみ、入っていない場合は、ステップS４０５へすすむ。ステップS４０８では、さらに次のフレームが存在するか否かを判定する。存在する場合は、ステップS４０３へ戻り、対象フレームを次のフレームとして処理を続行する。
【００３４】
存在しない場合は、ステップS４０９へすすみ、現時点の対象フレームをエンドフレームとして抽出し、処理を完了する。
【００３５】
以上のエンドフレーム抽出処理によれば、スタートフレームで指定された注目被写体がある距離範囲以上移動した場合に、その移動を検出したフレームの前のフレームをエンドフレームとして抽出することが可能となる。また、ここではデプス情報に着目したが、これを画面内の座標情報に着目しても良い。
【００３６】
即ち、ステップS４０６を注目被写体の座標抽出、ステップS４０７を座標の移動値が所定範囲内に入っているか否かを判定するステップに変更することで、注目被写体が画面内の上下左右方向の変更に対応したエンドフレーム抽出が可能になる。
【００３７】
次に、ステップS２１６における動画像生成動作の詳細を述べる。ここでの動画像生成動作とは、以下を指す。
【００３８】
即ち、スタートフレーム、エンドフレームにおける設定に応じてフレーム毎に異なる適切なパラメータ設定を行い、該パラメータを適用して画像処理を行った画像を順次生成し、結果としてスタートフレームからエンドフレームまでの動画像を生成する処理である。従って、まず各フレームに対するパラメータを算出する必要がある。
【００３９】
本実施例においては、パラメータとしてフォーカスを合わせる位置（座標）と被写界深度を適用する例について述べる。図５に動画像生成の動作フローを示す。ステップS５０１では、スタートフレームとエンドフレームにおける注目被写体の属性に応じて分類分けを行う。次に、ステップS５０２にて、生成対象フレームをスタートフレームに設定する。ステップS５０３では、上記分類に応じて対象フレームにおけるパラメータを算出する。
【００４０】
次に、ステップS５０４にて、上記算出されたパラメータに基づき、画像を生成する。ステップS５０５では、対象フレームがエンドフレームであるか否かを判定し、エンドフレームであったならば、処理を終了し、エンドフレームでなかったならば、ステップS５０６へすすむ。ステップS５０６では、対象フレームを次のフレームに設定し、ステップS５０３へ戻り、処理を続行する。
【００４１】
図６にはステップS５０１における分類分け、及びステップS５０３における分類に応じたパラメータ算出手法について表形式で示す。
【００４２】
以下、ケース１からケース８までの各ケースについて、図７から図１４までの図を用いて説明する。最初に、図７を例にとり、図の見方について説明する。図７において、横方向は時間軸を示し、左端にスタートフレーム７０１、右端にエンドフレーム７０３を表示している。７０２はその中間時刻におけるフレームである。縦方向は各フレームにおけるデプスを示している。また、各フレームの表示は、撮影領域を上から見た図になっている。
【００４３】
例えば、スタートフレームでは、被写体がAからDまで４つ認識されており、被写体までの距離は近い順に、A→B→C→Dとなっていることを示している。中間時刻におけるフレーム７０２では、被写体AとBが移動していることを示している。被写体AとBはエンドフレームではさらに前方に移動している。また、被写体Aの枠が太くなっているのは、被写体Aが注目被写体であることを示している。
【００４４】
（ケース１）
図７に、ケース１における例を示す。上記の説明によれば、本ケースでは、被写体Aがスタートフレームとエンドフレームにおいて注目被写体として設定されている。
この場合、まずスタートフレームにおいては、注目被写体であるAの距離中心をフォーカス位置（焦点距離）として設定する。さらに被写体Aを包含する距離範囲を被写界深度として設定する。
【００４５】
次フレーム以降は各フレームにおける被写体Aの位置に応じてフォーカス位置、及び被写界深度を設定していく。上記処理により、スタートフレームからエンドフレームにかけて被写体Aに対してフォーカス位置を合わせ続ける動画像を生成することが出来る。
【００４６】
(ケース２)
図８に、ケース２における例を示す。図８において、スタートフレームでは被写体Aが注目被写体として設定されている。一方、エンドフレームでは被写体Dが注目被写体として設定されている。この場合、まずスタートフレームにおいては、注目被写体であるAの距離中心をフォーカス位置として設定する。さらに被写体Aを包含する距離範囲を被写界深度として設定する。
【００４７】
次に、エンドフレームにおける被写体Dの距離中心と、スタートフレームにおける被写体Aの距離中心との差分距離Hを算出する。さらに、距離Hをスタートフレームからエンドフレームまでのフレーム数で除算した距離を、フレーム毎にフォーカス位置として移動させていく。
【００４８】
即ち、スタートフレームにおけるフォーカス位置をFS、エンドフレームにおけるフォーカス位置Fe、スタートフレームからエンドフレームまでのフレーム数をNとすると、スタートフレームからX番目のフレームのフォーカス位置Fxは次の式のように表わせる。
【００４９】
Fx = FS + ((Fe −FS ) / N ) ×X      …（式１）
被写界深度に関しても同様に、まずエンドフレームにおける被写界深度と、スタートフレームにおける被写界深度との差分を算出する。そして、該差分をスタートフレームからエンドフレームまでのフレーム数に分配して変更させていく。
【００５０】
上記処理により、スタートフレームにおける注目被写体Aから、エンドフレームにおける注目被写体Dに徐々にフォーカス位置、及び被写界深度を変更していく動画像を生成することが出来る。
【００５１】
（ケース３）
図９に、ケース３における例を示す。図９において、スタートフレームでは被写体Aが注目被写体として設定されている。一方、エンドフレームにおいては被写体AとEが注目被写体として設定されている。即ち、注目被写体が追加になっている。スタートフレームにおけるフォーカス位置、被写界深度の設定に関しては、ケース１、２と同等である。
【００５２】
エンドフレームにおける被写界深度は、被写体AとEを包含するように設定し、フォーカス位置は該被写界深度の距離中心に設定する。そして、中間のフレームではケース２と同様にスタートフレームとエンドフレームの差分をフレーム数に応じて分配して変更していく。
【００５３】
（ケース４）
図１０に、ケース４における例を示す。図１０において、スタートフレームでは被写体Aが注目被写体として設定されている。エンドフレームでは被写体DとEが注目被写体として設定されている。即ち、注目被写体が変更されている。さらに、被写体DとEはいずれもスタートフレームにおいて存在している。スタートフレームにおけるフォーカス位置、被写界深度の設定に関しては、ケース３までと同等である。
【００５４】
エンドフレームにおける被写界深度は、被写体DとEを包含するように設定し、フォーカス位置は該被写界深度の距離中心に設定する。そして、中間のフレームではケース２、３と同様にスタートフレームとエンドフレームの差分をフレーム数に応じて分配して変更していく。
【００５５】
（ケース５）
図１１に、ケース５における例を示す。図１１において、スタートフレームでは被写体AとEが注目被写体として設定されている。エンドフレームでは被写体Eのみが注目被写体として設定されている。即ち、注目被写体が複数から単数へ減少している。この場合、スタートフレームにおける被写界深度は、被写体AとEを包含するように設定し、フォーカス位置は該被写界深度の距離中心に設定する。エンドフレームにおける被写界深度は被写体Eを包含するように設定し、フォーカス位置は被写体Eの距離中心に設定する。そして、中間のフレームではケース２、３、４と同様にスタートフレームとエンドフレームの差分をフレーム数に応じて分配して変更していく。
【００５６】
（ケース６）
図１２に、ケース６における例を示す。図１２において、スタートフレームでは被写体AとEが注目被写体として設定されている。エンドフレームでは被写体Bが注目被写体として設定されている。即ち、注目被写体の数が複数から単数へ減少すると共に、注目被写体そのものも変更となっている。
【００５７】
この場合、スタートフレームにおける被写界深度は、被写体AとEを包含するように設定し、フォーカス位置は該被写界深度の距離中心に設定する。エンドフレームにおける被写界深度は被写体Bを包含するように設定し、フォーカス位置は被写体Bの距離中心に設定する。そして、中間のフレームではケース２、３、４と同様にスタートフレームとエンドフレームの差分をフレーム数に応じて分配して変更していく。
【００５８】
（ケース７）
図１３に、ケース７における例を示す。図１３において、スタートフレームでは被写体AとBが注目被写体として設定されている。エンドフレームでは同様に被写体AとBが設定されている。この場合、スタートフレームからエンドフレームの各フレームにおいて、被写体AとBを包含するように被写界深度を設定し、フォーカス位置は該被写界深度の距離中心に設定する。これにより、スタートフレームからエンドフレームにかけて被写体AとBの両方に対してフォーカスを合わせ続ける動画像を生成することが出来る。
【００５９】
（ケース８）
図１４に、ケース８における例を示す。図１４において、スタートフレームでは被写体AとBが注目被写体として設定されている。エンドフレームでは被写体CとDとEが注目被写体として設定されている。この場合、スタートフレームにおける被写界深度は、被写体AとBを包含するように設定し、フォーカス位置は該被写界深度の距離中心に設定する。
【００６０】
エンドフレームにおける被写界深度は被写体CとDとEを包含するように設定し、フォーカス位置は該被写界深度の距離中心に設定する。そして、中間のフレームではケース２、３、４、５、６と同様にスタートフレームとエンドフレームの差分をフレーム数に応じて分配して変更していく。
【００６１】
以上、述べてきたように構成することで、時系列に連続して取得されたライトフィールドデータに対してスタートフレーム、エンドフレームの注目被写体を設定することで所望の動画像を生成、取得することが可能となる。
【００６２】
本実施例において、ライトフィールドデータ内の被写体は既に認識され、結果が作成済としたが、もちろん画像認識手段を装置内に備え、該認識手段によって、結果を得る構成としても良い。
【００６３】
［実施例２］
第１実施例では、エンドフレームの抽出方法としてデプスマップを用いたが、これを別の方法としても良い。また、第１実施例では、スタートフレームとエンドフレームの中間フレームにおけるフォーカス位置、被写界深度のパラメータ算出方法（図５におけるステップS５０３に相当）として、各フレームに均等に差分を割り当てていたたが、これを別の方法としても良い。
【００６４】
本実施例では、スタートフレーム直後とエンドフレーム直前のフレームと、それ以外のフレームで配分を変更する例を述べる。以下、説明は第１実施例と異なる箇所のみの記載とする。
【００６５】
まずエンドフレームの抽出方法について述べる。図１５に、本実施例におけるエンドフレーム抽出動作（図２におけるステップS２１０に相当）の詳細動作フローを示す。ステップS１５０１にて、スタートフレームの時刻を抽出する。ステップS１５０２にて、該スタートフレームの時刻に予め決められた所定の時間を加算して、エンドフレームの時刻を抽出する。ステップS１５０３にて該時刻に相当するエンドフレームを抽出する。
【００６６】
次に中間フレームのパラメータ算出方法について述べる。図１６に本実施例における例を示す。ここではケース２を例にとり説明する。図８においては、フォーカス位置は直線的に変化していたが、図１６では曲線的に変化している。さらに、スタートフレーム近傍とエンドフレーム近傍で変化の割合は低く（即ち、フォーカス位置移動は低速）、中間部分では変化の割合が高く（即ち、フォーカス位置移動は高速）となっている。このような性質の曲線は例えば３次ベジエ曲線として表わすことが出来る。
以下に３次ベジエ曲線の一般式を示す。
【００６７】
P(t) = (1-t)3 P0 + 3t(1-t) 2 P1+ 3t 2(1-t) P2 + t 3 P3      …（式２）
ここで、P0~3は制御点、0≦t≦1である。図１６から３次ベジエ曲線を抽出すると、図１７のようになる。ここで、P0を原点（０，０）、P3を（N，H）とすると、P1、P2の座標は、各々（A、０）、（N−A、H）とすることが出来る。
【００６８】
Nは、スタートからエンドまでのフレーム数に相当し、Hはスタートフレームでの焦点距離とエンドフレームでの焦点距離の差分に相当、Aは定数となる。x軸方向は時間軸であり、フレームを示していることから、０からNまでの整数の離散値を取ることになる。
【００６９】
上記制御点の座標を用いて、図１７の３次ベジエ曲線を式で表すと以下のようになる。
【００７０】
X ＝ 3t(1-t) 2 A + 3t 2(1-t)(N-A) + t 3N      …（式３）
Y ＝ 3t 2(1-t)H + t 3H                    …（式４）
Xはフレームを示し、Yはそのときの焦点距離を示していることから、ｎ番目のフレームに対する焦点距離は上記式において、X＝ｎとしたときのYを求めれば良い。ベジエ曲線の解法は既知であるので、ここで詳細は述べない。
【００７１】
上記は、ベジエ曲線によるものであるが、これに限定されるものではない。例えば、一定時間ごとに変化の割合を変化させていくことも可能である。被写界深度についても同様に変化させることが可能である。
【００７２】
以上、述べた構成によれば、エンドフレームの抽出処理の負荷を軽くすることが出来る効果が有る。さらに、ライトフィールドデータの取得時刻をみて、フレーム間で連続していない場合に、連続している最終フレームをエンドフレームとして抽出する方法も考えられる。また、フォーカス位置、被写界深度の移動がより自然に見える効果が有る。
【００７３】
［実施例３］
エンドフレームの抽出方法として、さらに別の方法も考えられる。本実施例では、注目被写体が画面内から存在しなくなったことをもってエンドフレームとする例について述べる。また、中間フレームのパラメータ算出方法についても、さらに別の方法も考えられる。
【００７４】
まずエンドフレームの抽出方法について述べる。図１８に、本実施例におけるエンドフレーム抽出動作（図２におけるステップS２１０に相当）の詳細動作フローを示す。これは、図４の動作フローに対して、ステップS４０１、S４０２の代わりにステップS１８０１で対象フレームの初期値をスタートフレームに設定するとともに、S４０６、S４０７を削除したものである。従って、第１の実施例に比して処理の負荷を軽くすることが出来る効果がある。
【００７５】
次に中間フレームのパラメータ算出方法について述べる。本実施例では、図１９に示すように加速度的（指数関数的）に焦点距離の変化割合を増していく例を説明する。スタートフレームにおけるフォーカス位置をFS、エンドフレームにおけるフォーカス位置Fe、スタートフレームからエンドフレームまでのフレーム数をNとすると、スタートフレームからX番目のフレームのフォーカス位置Fxは、例えば次の式のように表わせる。
【００７６】
Fx = FS + (Fe −FS )＾(X / N)       （Fe −FS > 0の場合）…（式５）
Fx = FS −(Fs −Fe )＾(X / N)       （Fe −FS > 0の場合）…（式６）
ここで、Xは１以上の整数である。
【００７７】
［実施例４］
中間フレームのパラメータ算出方法としてさらに別の方法も考えられる。前述までの実施例では、スタートフレームからエンドフレームの全期間をかけて、フォーカス位置を移動していったが、本実施例では、スタートフレームから所定時間は、スタートフレームにおける注目被写体を追尾する例について述べる。
【００７８】
図２０に、本実施例における例を示す。スタートフレームから所定のフレーム数は、スタートフレームにおける注目被写体の存在を毎フレーム抽出する。そして、該注目被写体までの距離をデプスマップから抽出し、該距離を焦点距離とする。それ以降エンドフレームまでは、図２０の例では、実施例２で示したような算出方法とすることで実現可能である。
【００７９】
上記の構成とすることで、スタートフレームからエンドフレームまでの間で異なったパラメータ算出方法をとることが可能となり、ユーザーの所望の画像を生成することが可能となる効果が有る。
【００８０】
［実施例５］
前述までの実施例では、スタートフレームからエンドフレームまでの連続する画像（以下シーンと呼ぶ）が対象であったが、実際には撮影した画像が、抽出したエンドフレームの後にも連続している場合も考えられる。この場合、ユーザーは単一シーンの設定を行った後、エンドフレームの次フレームを、新たなスタートフレームとしてさらに設定を重ねていくことで連続した動画像を生成することが可能である。即ち、連続するシーンから動画像を生成することも可能である。このような場合、時間的に隣接するシーンにおいては、隣のシーンにおける設定を考慮することが考えられる。
【００８１】
図２１に、隣接するシーンにおける設定例を表した図を示す。図２１において、シーン１におけるスタートフレームでは被写体Aが注目被写体、エンドフレームでは被写体AとBが注目被写体として設定されている。また、シーン２におけるスタートフレームでは被写体Eが、エンドフレームでは被写体Dが注目被写体として設定されている。この時、前述実施例までの構成では、シーン１とシーン２を連続して一つの動画像として再生した場合、シーン１のエンドフレームからシーン２のスタートフレームへ、合焦領域が異なる範囲へ一瞬にして変化するといった不自然な動画像として再生されてしまう。
【００８２】
図２２には、図２１の設定が為された場合に対する、本実施例におけるパラメータ算出方法を表した図を示す。シーン２におけるスタートフレームで被写体Eに対して注目被写体設定がされても、該フレームで被写体Eには合焦領域を設定しない。そして、予め決められた所定フレーム数をかけて、シーン１におけるエンドフレームでの注目被写体である被写体A、Bから被写体Eへ設定を移行させていく。即ち、シーン１のおけるエンドフレームを仮のスタートフレーム、シーン２における所定フレーム数後のフレームを仮のエンドフレームとした場合のパラメータ算出処理を実行する。パラメータ算出方法については、前述実施例までに示した方法のいずれを適用することも可能である。
【００８３】
そして、シーン２における所定フレーム数後のフレームをスタートフレームとして、該フレームから、シーン２におけるエンドフレームにかけて、パラメータ算出処理を実行する。
【００８４】
上記のように構成することで、シーン区切りにおいても合焦位置や合焦領域が飛ぶといった不自然な動画像を生成することなく、自然な動画像を生成することが可能となる効果が有る。
【００８５】
本実施例では二つの隣接するシーンの例を述べたが、もちろんこれを三つ以上の隣接するシーンに対して適用することも可能である。
【００８６】
［実施例６］
実施例５においては、連続するシーンによる画像生成時に時間的に前のシーンの設定を後のシーンにて考慮して適用し、画像を生成したが、別の適用方法としても良い。本実施例でも、実施例５と同様に、図２１のようなシーンにおける設定が為されたとする。
【００８７】
図２３に、本実施例におけるパラメータ算出方法を表した図を示す。まず、シーン区切りを含めて、前後のシーンに対して予め決められた所定フレーム数分のフレームを設定する。図２３では、それぞれ中間フレーム＠シーン１、及び中間フレーム＠シーン２として示す。そして、中間フレーム＠シーン１に対して、シーン１におけるエンドフレームの注目被写体である被写体A、Bを、注目被写体として設定する。さらに、中間フレーム＠シーン２に対して、シーン２におけるスタートフレームの注目被写体である被写体Eを、注目被写体として設定する。
【００８８】
最初に、シーン１におけるスタートフレームから中間フレーム＠シーン１にかけて、パラメータ算出処理を実行する。次に、中間フレーム＠シーン１から中間フレーム＠シーン２にかけて、パラメータ算出処理を実行する。最後に中間フレーム＠シーン２からシーン２におけるエンドフレームにかけて、パラメータ算出処理を実行する。
【００８９】
上記のように構成することで、実施例５と同様にシーン区切りにおいても自然な動画像を生成することが可能となる。
【００９０】
以上、述べてきた各実施例を組み合わせて適用することももちろん可能である。
【００９１】
［実施例７］
図１に、本実施例におけるハードウェア構成ブロック図を示す。１０１は画像を取得する画像取得部、１０２は時間を計測するタイマ、１０３は全体の制御を司るCPU、１０４はプログラムを記録しておくROM、１０５はプログラムのワーク領域として用いられると共に画像データを記憶しておくRAMである。１０６はユーザーが入力を行うタッチパネルなどの座標入力部である。１０７は座標入力部１０６からの入力に基づきパラメータを算出するパラメータ算出部、１０８はパラメータ算出部１０７によるパラメータに基づき画像処理演算を行う画像演算部、１０９は取得した画像や生成した画像を表示する画像表示部である。
【００９２】
１１０は生成した動画像を記録しておくHDD（ハードディスクドライブ）やメモリーカードなどの記録部である。ここで、座標入力部１０６と画像表示部１０９は一体化されており、ユーザーは画像表示部１０９に表示された画像を見ながらタッチパネル上で入力を行うことが可能である。また、座標入力部１０６はいわゆるマルチタッチ入力といわれる同時に複数の座標入力が可能であるとする。
【００９３】
以下、本実施例の動作について図２４に示す動作フローを用いて詳細に述べる。いま、既に画像取得部１０１にて一枚のライトフィールドデータが取得されており、取得されたライトフィールドデータはRAM１０５へ記憶されているものとする。また、ライトフィールドデータの各画素における被写体までの距離（デプス）をしめしたデプスマップが作成されて、RAM１０５へ記憶されているものとする。デプスマップの作成方法については、既知の方法が存在するのでここでは述べない。さらに、該ライトフィールドデータは画像表示部１０９にて表示されているものとする。ここでの画像はパンフォーカス画像であり、表示画面例を図２５に示す。
【００９４】
まずステップＳ２２０１にて、ユーザーの入力待ちを行う。即ち、座標入力部１０６へ入力がなされたか否かを判定する。入力が有れば、ステップＳ２２０２へすすみ、入力数が単数（シングルタッチ）であるか、複数（マルチタッチ）であるかを判定する。単数であれば、ステップＳ２２０３へすすみ、複数であれば、ステップＳ２２１４へすすむ。
【００９５】
最初に単数入力の場合、即ちステップＳ２２０３へすすんだ場合の処理について述べる。ステップＳ２２０３にて、入力された座標のうち、開始座標をRAM１０５にて記憶するとともに、ステップＳ２２０４にて、タイマ１０２のカウントを開始する。
次に、ステップＳ２２０５にて、ユーザーの入力が終了したか否かを判定し、終了したら、ステップＳ２２０６へすすむ。ステップＳ２２０６では、入力が終了した座標をRAM１０５へ記憶する。さらに、ステップＳ２２０７にて、タイマ１０２のカウントを終了する。
【００９６】
次に、ステップＳ２２０８にて、該タイマ・カウント値に予め決められた所定の係数を乗算することにより、生成する動画像のフレーム数を算出する。ステップＳ２２０９では、ステップＳ２２０６にて記憶した入力開始座標にフォーカスを合わせた画像を生成する。即ち、前述したデプスマップを参照し、入力開始座標に対応する合焦距離を決定し、該合焦距離を持つ画像を画像演算部１０８にて生成する。ライトフィールドデータから或る合焦距離を持つ画像の生成方法については、既知の方法が存在するのでここでは述べない。生成した画像は、RAM１０５へ記憶する。
【００９７】
次に、ステップＳ２２１０にて、次のフレームの合焦距離を算出する。算出は、パラメータ算出部１０７にて行われる。ステップＳ２２０８にて算出したフレーム数をN、ステップＳ２２０３にて記憶した入力開始座標における合焦距離をDs、ステップＳ２２０６にて記憶した入力終了座標における合焦距離をDeとすると、n番目のフレームの合焦点距離Dnは、以下のように表わされる。
【００９８】
Dn ＝ Ds ＋（（De−Ds）/ N ）× n    …（式１）
そして、ステップＳ２２１１にて、該算出した合焦距離を持つ画像を生成し、RAM１０５へ記憶する。
【００９９】
ステップＳ２２１２では、ステップＳ２２０８にて算出したフレーム数分の画像を生成したか否かを判定する。終了していなければ、ステップＳ２２１０へ戻り、次のフレームの画像を生成・記憶する。終了していれば、ステップＳ２２１３へすすむ。ステップＳ２２１３では、生成した画像を順次再生表示することで動画像表示を行う。
【０１００】
図２６に、上記処理のおける操作例を示す。図２６では、画面手前の人物から画面奥の背景（山）に向かってドラッグされた例である。このような操作を行った場合、フォーカス位置（合焦距離）が人物から背景（山）へ向かって移動する動画像が生成される。
【０１０１】
ステップＳ２２０２にて複数入力と判定され、ステップＳ２２１４へすすんだ場合の処理について述べる。ステップＳ２２１４にて入力された複数の開始座標をRAM１０５にて記憶するとともに、ステップＳ２２１５にてタイマ１０２のカウントを開始する。
【０１０２】
次に、ステップＳ２２１６にて、ユーザーの入力が終了したか否かを判定し、終了したら、ステップＳ２２１７へすすむ。ステップＳ２２１７では、複数の入力終了座標をRAM１０５へ記憶する。さらに、ステップＳ２２１８にて、タイマ１０２のカウントを終了する。
【０１０３】
次に、ステップＳ２２１９にて、該タイマ・カウント値に予め決められた所定の係数を乗算することにより、生成する動画像のフレーム数を算出する。ステップＳ２２２０では、ステップＳ２２１４にて記憶した複数の入力開始座標を包含する円領域に含まれる一つ以上の被写体に対して合焦した画像、即ち該一つ以上の被写体を包含する被写界深度を持つ画像を画像演算部１０８にて生成する。或る被写体の合焦距離に関しては、デプスマップから決定することが出来、複数の被写体に対して合焦状態を保つ被写界深度についても、デプスマップから各々の合焦距離を決定し、全ての合焦距離を包含する被写界深度を決定することが可能である。
【０１０４】
ライトフィールドデータから或る被写界深度を持つ画像の生成方法については、既知の方法が存在するのでここでは述べない。生成した画像はRAM１０５へ記憶する。次に、ステップＳ２２２１にて、次のフレームの被写界深度（合焦領域）を算出する。算出は、パラメータ算出部１０７にて行われる。ここで、ステップＳ２２１９にて算出したフレーム数をN、ステップＳ２２１４にて記憶した複数の入力開始座標から導出された被写界深度の合焦距離範囲の最少距離をDs_min、最大距離をDs_maxとする。
【０１０５】
さらに、ステップＳ２２１７にて記憶した複数の入力終了座標から導出された被写界深度の合焦距離範囲の最少距離をDe_min、最大距離はDe_maxとする。すると、n番目のフレームの被写界深度の合焦距離範囲の最少距離Dn_min、最大距離Dn_maxは、例えば以下のように表わされる。
【０１０６】
Dn_min ＝ Ds_min ＋（（De_min−Ds_min）/ N ）× n    …（式２）
Dn_max ＝ Ds_max ＋（（De_max−Ds_max）/ N ）× n    …（式３）
そして、ステップＳ２２２２にて、該算出した被写界深度を持つ画像を生成し、RAM１０５へ記憶する。
【０１０７】
ステップＳ２２２３では、ステップＳ２２１９にて算出したフレーム数分の画像を生成したか否かを判定する。終了していなければ、ステップＳ２２２１へ戻り、次のフレームの画像を生成・記憶する。終了していれば、ステップＳ２２２４へすすむ。ステップＳ２２２４では、生成した画像を順次再生表示することで動画像表示を行う。
【０１０８】
図２７に、上記処理における操作例を示す。図２７は、二本の指で入力した例であり、画面右側の動物を含む領域から、人物と背景（山）を含む領域へとピンチ・アウト操作を行った例である。このような操作を行った場合、被写界深度が動物を包含する範囲から、人物から背景（山）までを包含する範囲に変化する動画像、即ち、被写界深度が深くなっていく動画像が生成される。
【０１０９】
図２７の実施例ではピンチ・アウト操作を例に示したが、ピンチ・イン動作を行うことで、被写界深度が浅くなっていく動画像を生成することも、同様にして可能である。
【０１１０】
以上のように構成することで、ユーザーは表示された画面上でフォーカスを移動した画像を得たい場合に、移動開始位置から終了位置へドラッグすることで、簡単にかつ直観的な操作で所望の画像を得ることが可能となる効果が有る。また、複数の被写体に対するフォーカス状態を変化させた画像、即ち、被写界深度を変化させた画像を得たい場合に、最初にフォーカスを合わせたい領域から最後に合わせたい領域にピンチ・イン、アウト操作を行うことで、簡単に所望の画像を得られる効果が有る。
【０１１１】
さらに、ドラッグや、ピンチ・イン、ピンチ・アウトに要する時間を調節することで生成する動画像の長さを容易に調節することで出来る効果も有る。さらに、一枚の静止画像から所望の画像処理効果を施した動画像を簡単に得ることが可能となる効果も有る。
【０１１２】
［実施例８］
前述実施例では、入力開始座標と入力終了座標のみを検出し、動画像を生成したが、入力途中の座標についても動画像生成に適用することも可能である。以下、本実施例の動作について図２８に示す動作フローを用いて詳細に述べる。説明は、前述実施例と異なる箇所についてのみ行う。
【０１１３】
最初に、ステップＳ２２０２にて入力が単数であった場合の処理について述べる。ステップS６０１では、入力座標の記憶を開始し、全入力座標を入力順にRAM１０５へ記憶していく。ステップS６０２では、該入力座標が予め決められた所定範囲内に予め決められた所定時間以上留まったか否かを判定する。
【０１１４】
ここで予め決められた所定範囲内とは、画面内の任意の位置で静止していると判断するための、例えば半径20画素以内の円で示される領域の内部を指す。留まったと判定された場合、ステップS６０３へすすみ、静止開始時刻、静止終了時刻、及び静止座標をRAM１０５へ記憶する。留まっていない場合は、ステップＳ２２０５へすすむ。ステップS６０４では、ステップＳ２２０５にて入力終了と判定されると、入力座標記憶を終了する。ここまでの処理により、入力開始座標、及び入力途中で所定範囲内に所定時間以上留まった場合の座標と静止時間がRAM１０５に記憶されることになる。
【０１１５】
次にステップS６０５でのフレーム数算出について述べる。前述実施例では入力開始から入力終了までのフレーム数のみを算出したが、本実施例では、途中の静止状態も考慮してフレーム数を算出する。即ち、まず、入力開始から最初の静止までのタイマ・カウント値、最初の静止時間のタイマ・カウント値、次に移動を開始してから静止するまでのタイマ・カウント値、次の静止時間のタイマ・カウント値、…、入力終了までの各タイマ・カウント値を算出する。
【０１１６】
次に、各々に対して予め決められた所定の係数を乗算し、各々の期間に対するフレーム数を算出する。従って、移動状態がP回、静止状態がQ回あったとすると、P+Q個のフレーム数が算出されることになり、全体のフレーム数は個々のフレーム数の合計となる。
【０１１７】
次にステップS６０６における合焦距離の算出処理について述べる。或る一つの移動状態において、該移動状態に対応したフレーム数をN、移動状態の開始時における入力座標をDs、終了時における入力座標をDeとすると、該移動状態間のｎ番目のフレームの合焦点距離Dnは、以下のように表わされる。
【０１１８】
Dn ＝ Ds ＋（（De−Ds）/ N ）× n    …（式４）
また、或る一つの静止状態における合焦距離は、静止状態の開始時における入力座標をDsとすると、該静止状態間の全てのフレームでの合焦距離Dは、以下のように表わされる。
【０１１９】
D ＝ Ds                    …（式５）
図２９に、上記処理のおける操作例を示す。図２９では、画面右の動物から画面手前の人物へドラッグされ、人物で静止した後、画面奥の背景（山）に向かってドラッグされた例である。このような操作を行った場合、フォーカス位置（合焦距離）がまず動物から人物へ移動し、人物で一定時間フォーカスは静止し、しかる後に人物から背景（山）へ向かって移動する動画像が生成される。
【０１２０】
次に、ステップＳ２２０２にて入力が複数であった場合の処理について述べる。ステップS６０７では、複数の入力座標の記憶を開始し、同時刻における複数の入力を一組として、RAM１０５へ記憶していく。ステップS６０８では、該複数の入力座標の各々が予め決められた所定範囲内に予め決められた所定時間以上留まったか否かを判定する。留まったと判定された場合、ステップS６０９へすすみ、静止開始時刻、静止終了時刻、及び複数の静止座標をRAM１０５へ記憶する。留まっていない場合は、ステップＳ２２１６へすすむ。
【０１２１】
ステップS６１０では、ステップＳ２２１６にて入力終了と判定されると、入力座標記憶を終了する。ここまでの処理により、複数の入力開始座標、及び入力途中で全ての入力座標が所定範囲内に所定時間以上留まった場合の複数の座標と静止時間がRAM１０５へ記憶されることになる。
【０１２２】
次にステップS６１１における合焦領域の算出処理について述べる。或る一つの移動状態において、該移動状態に対応したフレーム数をN、移動状態の開始時における複数の入力座標から導出された被写界深度の合焦距離範囲の最少距離をDs_min、最大距離をDs_maxとする。また、移動状態の終了時における複数の入力座標から導出された被写界深度の合焦距離範囲の最少距離をDe_min、最大距離をDe_maxとする。すると、ｎ番目のフレームの被写界深度の合焦距離範囲の最少距離Dn_min、最大距離Dn_maxは、以下のように表わされる。
【０１２３】
Dn_min ＝ Ds_min ＋（（De_min−Ds_min）/ N ）× n    …（式６）
Dn_max ＝ Ds_max ＋（（De_max−Ds_max）/ N ）× n    …（式７）
また、或る一つの静止状態における合焦領域は、静止状態の開始時の合焦距離範囲の最少距離をDs_min、最大距離をDs_maxとすると、該静止状態間の全フレームでの合焦領域の最小距離D_min、最大距離D_maxは、以下のように表わされる。
【０１２４】
D_min ＝ Ds_min                 …（式８）
D_max ＝ Ds_max                 …（式９）
以上のように構成することで、ユーザーは表示された画面上でフォーカスを複数の被写体に順次移動した画像を得たい場合に、移動する被写体に対して順次ドラッグすることで、簡単に所望の画像を得ることが可能となる効果がある。また、途中の被写体でフォーカス移動を一時停止することや、或る被写体から次の被写体への移動速度を途中で変化させることも容易に実現可能となる効果もある。被写界深度に対しても同様な効果が期待出来る。
【０１２５】
本実施例では、入力途中で画像を生成する座標指定を、入力座標の滞留時間で判定したが、これを他の方法とすることも可能である。例えば、入力途中で特定の形状の入力、例えば円を描くといった入力を行った場合や、或いは入力経路のデプスマップから直前の指定座標におけるデプスからの距離が一定範囲内の座標を次の指定座標とするといった方法が考えられる。
【０１２６】
これにより、入力座標に応じて合焦位置を機械的に算出し画像を生成した場合に生じるであろうフォーカス位置（合焦距離）がむやみに変更されて見にくい動画像が生成されることを防止出来る効果がある。
【０１２７】
［実施例９］
前述までの実施例では指定により合焦点或いは合焦領域を変化させることとしたが、これを、視点を変化させることとしても良い。以下、本実施例の動作について、図３０に示す動作フローに基づいて詳細に説明する。いま、図３１に示すような入力がなされたとする。即ち、画面の右から左にドラッグされる入力である。すると、ステップＳ８８８０１にて入力開始座標、及び入力終了座標に基づき、最初と最後のフレームの視点座標を決定する。画像上の一座標が指定された場合の、視点位置の算出方法については、既知の方法が存在するのでここでは述べない。
【０１２８】
次にステップＳ８８８０２にて、最初のフレームについてステップＳ８８０１で決定された視点を備えた画像を生成する。ライトフィールドデータから或る視点を備えた画像の生成方法については、既知の方法が存在するのでここでは述べない。ステップＳ８８０３では、次のフレームの視点を決定する。ここでは、最初のフレームの視点座標から、最後のフレームの視点座標への移動量をステップＳ２２０８で算出されたフレーム数で等分するように視点座標を決定する。ステップＳ８８０４では、次のフレームの視点画像を生成する。
【０１２９】
上記のように構成することで、図３１に示すような入力がなされた場合、図３２に示したような視点が右から左へ移動していく動画像を生成することが可能となる。
【０１３０】
［実施例１０］
前述までの実施例では指定により合焦点或いは合焦領域などを変化させることとしたが、これに追加して画角を変化されることも考えられる。
【０１３１】
本実施例では、第７実施例をベースに、同実施例からの差異という形で説明する。以下、本実施例の動作について、図３３に示す動作フローに基づいて詳細に説明する。
【０１３２】
まず、ステップＳ２２０２における入力が単数であった場合の処理について述べる。ステップＳ１１１１０１では、最初と最後のフレームの画角を決定する。画角は入力開始座標、及び入力終了座標によって指定される被写体を略中央に配置されるように決定する。想定として、図２６に示したようなドラッグ操作がなされたとする。
【０１３３】
図３４に、最初のフレームにおける画角を示す。１２０１で示した枠が決定された画角となる。即ち、入力開始座標で指定されている被写体は人物であるので、人物を略中央に配置するような画角とする。また、画像のアスペクト比は予め出力として指定された画像サイズのアスペクト比と同等に設定される。図３５には最後のフレームにおける画角を示す。１３０１で示した枠が決定された画角となる。アスペクト比は最初のフレームと同等である。
【０１３４】
ステップＳ１１１１０２では、決定された画角に含まれる画素数を指定出力画像サイズに変換するための拡大・縮小率を算出する。ステップＳ１１１１０３では、ステップＳ２２０６で記憶した入力開始座標にフォーカスが合うと共に、ステップＳ１１１１０２で決定された画角を持つようにトリミング処理を行い、さらに指定出力画像サイズの解像度を持つように解像度変換処理を行った画像を生成する。トリミング処理、及び解像度変換処理については、既知の手法が存在するのでここでは述べない。
【０１３５】
次に、ステップＳ１１１１０４にて、次のフレームの画角を決定する。ここで、ステップＳ２２０８にて算出したフレーム数をN、ステップＳ１１１１０１にて決定された最初のフレームの画角の左上の座標を（Xs_min、Ys_min）、右下の座標を（Xs_max、Ys_max）とする。また、最後のフレームの画角の左上の座標を（Xe_min、Ye_min）、右下の座標を（Xe_max、Ye_max）とする。このとき、n番目のフレームにおける画角の左上の座標（Xn_min、Yn_min）、右下の座標を（Xn_max、Yn_max）は、以下のように表わされる。
【０１３６】
Xn_min ＝ Xs_min ＋（（Xe_min−Xs_min）/ N ）× n    …（式１０）
Yn_min ＝ Ys_min ＋（（Ye_min−Ys_min）/ N ）× n    …（式１１）
Xn_max ＝ Xs_max ＋（（Xe_max−Xs_max）/ N ）× n    …（式１２）
Yn_max ＝ Ys_max ＋（（Ye_max−Ys_max）/ N ）× n    …（式１３）
次にステップＳ１１１１０５にて、次のフレームにおける決定された画角に含まれる画素数を指定出力画像サイズに変換するための拡大・縮小率を算出する。そして、ステップＳ１１１０６にて、算出したパラメータに従って、次のフレームの画像を生成し、RAM１０５へ記憶する。
【０１３７】
次に、ステップＳ２２０２にて入力が複数であった場合の処理について述べる。ステップＳ１１１０７では、最初と最後のフレームの画角を決定する。画角は複数の入力開始座標、及び複数の入力終了座標によって指定される一つ以上の被写体を略中央に配置されるように決定する。想定として、図２７に示したようなピンチ・アウト操作がなされたとする。
【０１３８】
図３６に、最初のフレームにおける画角を示す。１４０１で示した枠が決定された画角となる。即ち、二つの入力座標で指定されている被写体は動物のみであるので、動物を略中央に配置するような画角とする。また、画像のアスペクト比は予め出力として指定された画像サイズのアスペクト比と同等に設定される。
【０１３９】
図３７には最後のフレームにおける画角を示す。１５０１で示した枠が決定された画角となる。最後のフレームでは、人物と背景の山が指定されているので、両者を包含し略中央に配置するような画角とする。アスペクト比は最初のフレームと同等である。
【０１４０】
上記のように構成することで、ユーザーはドラッグ操作やピンチ・イン、ピンチ・アウト操作を行うだけで、フォーカスを合わせたい被写体に最適化されたトリミング指示を同時に行うことが出来、所望の画像を得ることが出来る効果が有る。
【０１４１】
［実施例１１］
前述までの実施例では、ライトフィールドデータは一枚のみ、即ち、一つの時刻において取得されたものとしていたが、これを時系列に連続的に取得された複数のライトフィールドデータとしてもよい。
【０１４２】
図３８に示した動作フローを用いて本実施例におけるスタートフレームとエンドフレームの指定動作について説明する。ステップＳ１１６０１では、複数のライトフィールドデータの各々に対してパンフォーカス画像を生成する。ステップＳ１１６０２では、生成した複数のパンフォーカス画像を順次再生表示して、動画像表示を行う。ステップＳ１１６０３では、ユーザーが所望するスタートフレームが表示されたときに、表示画面上をタップすることにより、スタートフレームを指定する。ステップＳ１１６０４では、指定されたスタートフレームの時刻をRAM１０５へ記憶する。
【０１４３】
次にステップＳ１１６０５にて、ユーザーが所望するエンドフレームが表示されたときに、表示画面上をタップすることにより、エンドフレームを指定する。ステップＳ１１６０６では、指定されたエンドフレームの時刻をRAM１０５へ記憶する。ステップＳ１１６０７では、指定されたスタートフレームとエンドフレームを図３９に示すように画面に並べて表示する。
【０１４４】
次にスタートフレームとエンドフレームが表示された状態であるとして、本実施例における動画像生成動作について、図４０に示す動作フローを用いて説明する。ステップＳ１１８０１にて、スタートフレームの画面上でユーザーの座標入力が開始されたか否かを判定する。入力があれば、ステップＳ２２０２へすすむ。また、ステップＳ１１８０２、Ｓ１１８０３ではフレーム数を算出する。これは、ステップS１３０４及びS１３０６で記憶したスタートフレーム及びエンドフレームの時刻の差分から算出する。以降の処理は、第７実施例と同様である。
【０１４５】
上記のように構成することで、時系列に連続して取得されたライトフィールドデータに対しても、前述までの実施例と同様の効果を得ることが可能となる。また、エンドフレームを表示することにより、スタートフレームにおける被写体がエンドフレームでは消滅（フレームアウト）しているといった状況をユーザーが把握することが出来、より的確な指示を行うことが可能となる効果もある。
【０１４６】
［実施例１２］
前述までの実施例においては、取得した画像データはライトフィールドデータであるとしていたが、これを通常の画像データとしても良い。但し、通常の画像データの情報では合焦されていない箇所或いは領域に対して合焦させることは不可能である。しかし、合焦されている箇所或いは領域に対して合焦を外す、即ちボケ画像を生成することは可能である。例えば、パンフォーカス画像を取得し、特定の箇所或いは領域をぼかした画像を生成することは可能である。これは、画像表示の効果としては特定の箇所或いは領域にのみ合焦させたような効果を生み出すことが出来る。本実施例では図２５から図２７に示した画像及び入力が為された場合の例について述べる。
【０１４７】
図４１に、本実施例の動作フローを示す。ステップＳ１１９０１では、入力座標を順次記憶する。記憶は、ステップＳ２２０５にて入力が終了するまで継続して行う。ステップＳ１１９０２では、最初のフレームの画像を生成する。このとき、入力開始座標を中心として、該中心からの距離に応じたボケ具合を備えた画像を生成する。ボケ画像の生成方法については、例えばローパスフィルタ処理を行うなど、既知の方法が存在するのでここでは述べない。
【０１４８】
ステップＳ１１９０３では、次のフレームの合焦中心位置を算出する。ここで、ステップS６０１からステップS６０４の間で記憶された全入力座標数をP、そのうちm番目に入力された入力座標を（Xm、Ym）、さらに、ステップS６０５にて算出されたフレーム数をNとする。すると、スタートフレームからn番目のフレームにおける合焦中心位置（Qn、Qn）は、例えば以下の式で表わされる。
【０１４９】
（Qn、Qn）=（ X（P/N）×n  、Y（P/N）×n ）    …（式１４）
ステップＳ１１９０４では、ステップＳ１１９０３で算出した値に基づき次のフレームの画像を生成する。ステップＳ１１９０５では、複数の入力座標を順次記憶する。記憶は、ステップＳ２２１６にて入力が終了するまで継続して行う。ステップＳ１１９０６では、最初のフレームの画像を生成する。このとき、まず複数の入力座標の中心座標を算出する。次に該中心座標を中心として複数の入力座標を包含する円状の合焦領域を設定する。そして、該円状の合焦領域の外の領域に対して該中心からの距離に応じたボケ具合を備えた画像を生成する。
【０１５０】
ステップＳ１１９０７では、次のフレームの合焦中心位置、及び円状の合焦領域を算出する。このとき、算出の基となる座標群として選択するのは、ステップS６０７からステップS６１０の間で記憶された複数の入力の個々の入力座標数をP、ステップS６０５にて算出されたフレーム数をNとすると、以下の通りである。
【０１５１】
即ち、スタートフレームからn番目のフレームにおける合焦中心位置、及び円状の合焦領域の算出は、（（P/N）×n）番目の複数の入力座標値群となる。算出方法は、ステップ１９０６の説明で述べた方法と同様である。ステップＳ１１９０８では、ステップＳ１１９０７で算出した値に基づき次のフレームの画像を生成する。
【０１５２】
以上のように構成することで、取得画像データがライトフィールドデータではない通常の画像データであっても、簡単にかつ直観的な操作で所望の画像を得ることが可能となる効果が有る。
【０１５３】
また、上記構成では距離情報を未知とした場合の構成例であるが、別途距離センサなどを備えて距離情報の取得が可能な場合は、前述までの実施例と同様の合焦位置算出方法を適用することも可能である。
【０１５４】
以上述べた実施例は、組み合わせて用いることももちろん可能である。また、座標入力部と画像表示部は一体化した構成と説明したが、入力タブレットと表示モニタの別構成とするなどの構成も可能である。
【符号の説明】
【０１５５】
１０１  画像取得部、  １０２  タイマ、  １０３  ＣＰＵ、  １０４  ＲＯＭ、
１０５  ＲＡＭ、  １０６  座標入力部、  １０７  パラメータ算出部、
１０８  画像演算部、  １０９  画像表示部、  １１０  画像記録部
【図１７】
2017038245.tif 000003
【図１】
2017038245.tif 000004
【図２】
2017038245.tif 000005
【図３】
2017038245.tif 000006
【図４】
2017038245.tif 000007
【図５】
2017038245.tif 000008
【図６】
2017038245.tif 000009
【図７】
2017038245.tif 000010
【図８】
2017038245.tif 000011
【図９】
2017038245.tif 000012
【図１０】
2017038245.tif 000013
【図１１】
2017038245.tif 000014
【図１２】
2017038245.tif 000015
【図１３】
2017038245.tif 000016
【図１４】
2017038245.tif 000017
【図１５】
2017038245.tif 000018
【図１６】
2017038245.tif 000019
【図１８】
2017038245.tif 000020
【図１９】
2017038245.tif 000021
【図２０】
2017038245.tif 000022
【図２１】
2017038245.tif 000023
【図２２】
2017038245.tif 000024
【図２３】
2017038245.tif 000025
【図２４】
2017038245.tif 000026
【図２５】
2017038245.tif 000027
【図２６】
2017038245.tif 000028
【図２７】
2017038245.tif 000029
【図２８】
2017038245.tif 000030
【図２９】
2017038245.tif 000031
【図３０】
2017038245.tif 000032
【図３１】
2017038245.tif 000033
【図３２】
2017038245.tif 000034
【図３３】
2017038245.tif 000035
【図３４】
2017038245.tif 000036
【図３５】
2017038245.tif 000037
【図３６】
2017038245.tif 000038
【図３７】
2017038245.tif 000039
【図３８】
2017038245.tif 000040
【図３９】
2017038245.tif 000041
【図４０】
2017038245.tif 000042
【図４１】
2017038245.tif 000043