(57)【要約】  対話式再合焦を提供するためのシステム、方法、及び媒体を提供する。本システムには、レンズと、イメージセンサと、プロセッサと、が含まれる。該プロセッサは、所定期間の時間に渡って該イメージセンサに複数の画像を取り込ませることであって、該複数の各画像は、異なる時点におけるシーンを表すことと、少なくとも一対の該複数の画像間の被写界深度を変更することと、該画像が取り込まれた順番に該複数の画像を連結して持続焦点体積を生成することと、該持続焦点体積に基づき、該複数の各画像から合焦部分を表す時空合焦画像を演算することと、該持続焦点体積及び該時空合焦画像に基づき、該複数の画像中から該シーンの各位置について合焦画像を特定する時空インデックスマップを演算することと、を行う。
2015522959.tif 000002
【特許請求の範囲】
【請求項１】
対話式再合焦を提供するためのシステムであって、
レンズと、
イメージセンサと、
ハードウェアプロセッサと、
を含み、
前記ハードウェアプロセッサは、
前記イメージセンサに複数の画像を所定期間の時間に渡って取り込ませることであって、前記複数の各画像は、異なる時点におけるシーンを表すことと、
少なくとも一対の前記複数の画像間の被写界深度を変更することと、
前記画像が取り込まれた順番に、前記複数の画像を連結して持続焦点体積を生成することと、
前記持続焦点体積に基づき、前記複数の各画像から合焦部分を表す時空合焦画像を演算することと、
前記持続焦点体積及び前記時空合焦画像に基づき、前記複数の画像の中から前記シーンの各位置について合焦画像を特定する時空インデックスマップを演算することと、
を実行するように構成されていることを特徴とするシステム。
【請求項２】
前記被写界深度を変更することには、前記レンズと前記イメージセンサとの間の距離を変更することが含まれていることを特徴とする請求項１に記載のシステム。
【請求項３】
前記レンズと前記イメージセンサとの間の距離を変更することには、前記レンズを基準として前記イメージセンサを動かすアクチュエータを駆動することが含まれていることを特徴とする請求項２に記載のシステム。
【請求項４】
前記レンズと前記イメージセンサとの間の距離を変更することには、前記イメージセンサを基準として前記レンズを動かすアクチュエータを駆動することが含まれていることを特徴とする請求項２に記載のシステム。
【請求項５】
前記被写界深度を変更することには、前記レンズの焦点距離を変更することが含まれていることを特徴とする請求項１に記載のシステム。
【請求項６】
前記被写界深度を変更することには、光軸方向に第２レンズを動かすことが含まれており、前記第２レンズは、前記光軸方向において、前記レンズと前記イメージセンサとの間に配置されていることを特徴とする請求項１に記載のシステム。
【請求項７】
前記持続焦点体積における前記複数の各画像について、前記画像の前記被写界深度は、１つ又は複数の隣接画像の前記被写界深度と実質的に連続であることを特徴とする請求項１に記載のシステム。
【請求項８】
前記複数の画像の前記被写界深度の交点は、空集合であることを特徴とする請求項７に記載のシステム。
【請求項９】
前記複数の画像が、所定のフレームレートで取り込まれることを特徴とする請求項１に記載のシステム。
【請求項１０】
前記ハードウェアプロセッサは、更に、次のパラメータ、即ち、前記所定のフレームレート、前記イメージセンサの画素サイズ、及び前記レンズのＦ値の内の少なくとも１つに基づき、前記レンズと前記イメージセンサとの間の距離を一定の割合で変えるように構成されていることを特徴とする請求項９に記載のシステム。
【請求項１１】
対話式再合焦を提供するための方法であって、
ハードウェアプロセッサを用いて、所定期間の時間に渡って、異なる時点におけるシーンを表す複数の画像を取り込ませることと、
前記複数の画像が取り込まれる被写界深度を少なくとも一対の前記複数の画像間で変更させることと、
前記画像が取り込まれた順番で前記複数の画像を連結することによって持続焦点体積を生成することと、
前記持続焦点体積に基づき、前記複数の各画像から合焦部分を表す時空合焦画像を演算することと、
前記持続焦点体積及び前記時空合焦画像に基づき、前記複数の画像の中から前記シーンの各位置について合焦画像を特定する時空インデックスマップを演算することと、
を含むことを特徴とする方法。
【請求項１２】
前記被写界深度を変更させることには、前記画像を取り込むために用いられるレンズと前記画像を取り込むために用いられるイメージセンサとの間の距離を変更させることが含まれていることを特徴とする請求項１１に記載の方法。
【請求項１３】
前記距離を変更させることには、前記レンズを基準として前記イメージセンサを動かすアクチュエータを駆動することが含まれていることを特徴とする請求項１２に記載の方法。
【請求項１４】
前記距離を変更させることには、前記イメージセンサを基準として前記レンズを動かすアクチュエータを駆動することが含まれていることを特徴とする請求項１２に記載の方法。
【請求項１５】
前記被写界深度を変更させることには、前記画像を取り込むために用いられるレンズの焦点距離を変更させることが含まれていることを特徴とする請求項１１に記載の方法。
【請求項１６】
前記被写界深度を変更させることには、第１レンズを光軸方向に動かすことが含まれており、前記第１レンズが、前記光軸方向において、前記画像を取り込むために用いられる第２レンズと前記画像を取り込むために用いられるイメージセンサとの間に配置されていることを特徴とする請求項１１に記載の方法。
【請求項１７】
前記持続焦点体積における前記複数の各画像について、前記画像の前記被写界深度は、１つ又は複数の隣接画像の前記被写界深度と実質的に連続である、請求項１１に記載の方法。
【請求項１８】
前記複数の画像の前記被写界深度の交点は、空集合である、請求項１７に記載の方法。
【請求項１９】
前記画像を取り込ませることには、所定のフレームレートで前記複数の画像を取り込ませることが含まれる、請求項１１に記載の方法。
【請求項２０】
更に、次のパラメータ、即ち、前記所定のフレームレート、イメージセンサの画素サイズ、及びレンズのＦ値の内の少なくとも１つに基づき、前記画像を取り込むために用いられるレンズと前記画像を取り込むために用いられるイメージセンサとの間の距離を一定の割合で変更させることが含まれる、請求項１９に記載の方法。
【請求項２１】
プロセッサによって実行されると、対話式再合焦を提供するための方法を前記プロセッサに実施させるコンピュータ実行可能な命令を含む非一時的コンピュータ可読媒体であって、
前記方法は、
所定期間の時間に渡って、異なる時点におけるシーンを表す複数の画像を取り込ませることと、
前記複数の画像が取り込まれる被写界深度を少なくとも一対の前記複数の画像間で変更させることと、
前記画像が取り込まれた順番で前記複数の画像を連結することによって持続焦点体積を生成することと、
前記持続焦点体積に基づき、前記複数の各画像から合焦部分を表す時空合焦画像を演算することと、
前記持続焦点体積及び前記時空合焦画像に基づき、前記複数の画像の中から前記シーンの各位置について合焦画像を特定する時空インデックスマップを演算することと、
を含むことを特徴とする非一時的コンピュータ可読媒体。
【請求項２２】
前記被写界深度を変更させることには、前記画像を取り込むために用いられるレンズと前記画像を取り込むために用いられるイメージセンサとの間の距離を変更させることが含まれていることを特徴とする請求項２１に記載の非一時的コンピュータ可読媒体。
【請求項２３】
前記距離を変更させることには、前記レンズを基準として前記イメージセンサを動かすアクチュエータを駆動することが含まれていることを特徴とする請求項２２に記載の非一時的コンピュータ可読媒体。
【請求項２４】
前記距離を変更させることには、前記イメージセンサを基準として前記レンズを動かすアクチュエータを駆動することが含まれていることを特徴とする請求項２２に記載の非一時的コンピュータ可読媒体。
【請求項２５】
前記被写界深度を変更させることには、前記画像を取り込むために用いられるレンズの焦点距離を変更させることが含まれていることを特徴とする請求項２１に記載の非一時的コンピュータ可読媒体。
【請求項２６】
前記被写界深度を変更させることには、光軸方向に第１レンズを動かすことが含まれており、前記第１レンズは、前記光軸方向において、前記画像を取り込むために用いられる第２レンズと前記画像を取り込むために用いられるイメージセンサとの間に配置されていることを特徴とする請求項２１に記載の非一時的コンピュータ可読媒体。
【請求項２７】
前記持続焦点体積における前記複数の各画像について、前記画像の前記被写界深度は、１つ又は複数の隣接画像の前記被写界深度と実質的に連続であることを特徴とする請求項２１に記載の非一時的コンピュータ可読媒体。
【請求項２８】
前記複数の画像の前記被写界深度の交点は、空集合であることを特徴とする請求項２７に記載の非一時的コンピュータ可読媒体。
【請求項２９】
前記画像を取り込ませることには、所定のフレームレートで前記複数の画像を取り込ませることが含まれていることを特徴とする請求項２１に記載の非一時的コンピュータ可読媒体。
【請求項３０】
前記方法には、更に、次のパラメータ、即ち、前記所定のフレームレート、イメージセンサの画素サイズ、及びレンズのＦ値の内の少なくとも１つに基づき、前記画像を取り込むために用いられるレンズと前記画像を取り込むために用いられるイメージセンサとの間の距離を一定の割合で変更させることが含まれていることを特徴とする請求項２９に記載の非一時的コンピュータ可読媒体。
【請求項３１】
対話式再合焦を提供するためのシステムであって、
レンズと、
イメージセンサと、
前記イメージセンサに、異なる時点におけるシーンを表す複数の画像を所定期間の時間に渡って取り込ませるための手段と、
少なくとも一対の前記複数の画像間の被写界深度を変更するための手段と、
前記画像が取り込まれた順番で、前記複数の画像を連結して持続焦点体積を生成するための手段と、
前記持続焦点体積に基づき、前記複数の各画像から合焦部分を表す時空合焦画像を演算するための手段と、
前記持続焦点体積及び前記時空合焦画像に基づき、前記複数の画像の中から前記シーンの各位置について合焦画像を特定する時空インデックスマップを演算するための手段と、
を含むことを特徴とするシステム。
【請求項３２】
前記被写界深度を変更するための手段には、前記レンズと前記イメージセンサとの間の距離を変更するための手段が含まれていることを特徴とする請求項３１に記載のシステム。
【請求項３３】
前記レンズと前記イメージセンサとの間の距離を変更するための手段には、前記レンズを基準として前記イメージセンサを動かすアクチュエータを駆動するための手段が含まれていることを特徴とする請求項３２に記載のシステム。
【請求項３４】
前記レンズと前記イメージセンサとの間の距離を変更するための手段には、前記イメージセンサを基準として前記レンズを動かすアクチュエータを駆動するための手段が含まれていることを特徴とする請求項３２に記載のシステム。
【請求項３５】
前記被写界深度を変更するための手段には、前記レンズの焦点距離を変更するための手段が含まれていることを特徴とする請求項３１に記載のシステム。
【請求項３６】
前記被写界深度を変更するための手段には、第２レンズを光軸方向に動かすための手段が含まれており、前記第２レンズが、前記光軸方向において前記レンズと前記イメージセンサとの間に配置されていることを特徴とする請求項３１に記載のシステム。
【請求項３７】
前記持続焦点体積における前記複数の各画像について、前記画像の前記被写界深度は、１つ又は複数の隣接画像の前記被写界深度と実質的に連続であることを特徴とする請求項３１に記載のシステム。
【請求項３８】
前記複数の画像の前記被写界深度の交点は、空集合であることを特徴とする請求項３７に記載のシステム。
【請求項３９】
更に、前記複数の画像を所定のフレームレートで取り込ませるための手段を含むことを特徴とする請求項３１に記載のシステム。
【請求項４０】
更に、次のパラメータ、即ち、前記所定のフレームレート、前記イメージセンサの画素サイズ、及び前記レンズのＦ値の内の少なくとも１つに基づき、前記レンズと前記イメージセンサとの間の距離を一定の割合で変更するための手段を含むことを特徴とする請求項３９に記載のシステム。
【請求項４１】
対話式再合焦を提供するためのシステムであって、ハードウェアプロセッサを含み、
前記ハードウェアプロセッサは、
シーンの画像をユーザに対して表示させることを実行し、前記画像が、異なる時点における前記シーンの複数の取り込まれた画像が含まれる持続焦点体積において表される前記シーンを表し、また、前記複数の画像は、複数の異なる被写界深度で取り込まれており、
前記ユーザによって前記画像における選択点を受信し、
前記複数の画像の中から選択された画像を前記ユーザに対して表示させることを実行し、前記選択された画像が、前記ユーザによって選択された点における前記シーンの物体が合焦状態となる画像であるように、
構成されていることを特徴とするシステム。
【請求項４２】
前記ハードウェアプロセッサは、更に、前記シーンの前記画像を取り込むことと前記選択された画像を取り込むこととの間に取り込まれた１つ又は複数の中間画像を、前記選択された画像の表示に先立って、前記ユーザに対して表示させるように構成されている、請求項４１に記載のシステム。
【請求項４３】
対話式再合焦を提供するための方法であって、
シーンの画像をユーザに対して表示させることを実行し、前記画像は、持続焦点体積において表される前記シーンを表し、前記持続焦点体積には、異なる時点における前記シーンの複数の取り込まれた画像が含まれ、また、前記複数の画像は、複数の異なる被写界深度で取り込まれることと、
前記ユーザによる前記画像における点の選択を受信することと、
前記複数の画像の中から選択された画像を前記ユーザに対して表示させることを実行し、前記選択された画像は、前記ユーザによって選択された前記点における前記シーンの物体が合焦状態となる場合の画像であることと、
を含むことを特徴とする方法。
【請求項４４】
更に、前記シーンの前記画像を取り込む前記ことと前記選択された画像を取り込む前記こととの間に取り込まれた１つ又は複数の中間画像を、前記選択された画像の表示に先立って、前記ユーザに対して表示させることが含まれることを特徴とする請求項４３に記載の方法。
【請求項４５】
プロセッサによって実行されると、対話式再合焦を提供するための方法を前記プロセッサに実施させるコンピュータ実行可能な命令を含む非一時的コンピュータ可読媒体であって、
前記方法は、
シーンの画像をユーザに対して表示させることを実行し、前記画像は、持続焦点体積において表される前記シーンを表し、前記持続焦点体積には、異なる時点における前記シーンの複数の取り込まれた画像が含まれ、また、前記複数の画像は、複数の異なる被写界深度で取り込まれ、
前記ユーザによる前記画像における点の選択を受信することを実行し、
前記複数の画像中から選択された画像を前記ユーザに対して表示させることを実行し、前記選択された画像は、前記ユーザによって選択された前記点における前記シーンの物体が合焦状態となる場合の画像である、
ことを特徴とする非一時的コンピュータ可読媒体。
【請求項４６】
更に、前記シーンの前記画像を取り込むことと前記選択された画像を取り込むこととの間に取り込まれた１つ又は複数の中間画像を、前記選択された画像の表示に先立って、前記ユーザに対して表示させることが含まれることを特徴とする請求項４５に記載の非一時的コンピュータ可読媒体。
【請求項４７】
対話式再合焦画像を提供するための方法であって、
ハードウェアプロセッサを用いて、異なる時点において取り込まれたシーンの複数画像を受信し、複数の各画像は、前記シーンの異なる被写界深度を表し、
前記画像が取り込まれた順番で、複数の画像を連結して持続焦点体積を生成し、
前記持続焦点体積に基づき、複数の各画像から合焦部分を表す時空合焦画像を演算し、
前記持続焦点体積及び前記時空合焦画像に基づき、複数の画像の中から前記シーンの各位置について合焦画像を特定する時空インデックスマップを演算することを特徴とする方法。
【請求項４８】
前記時空インデックスマップを演算することには、
様々な縮尺において前記持続焦点体積と前記時空合焦画像とを比較することと、
各縮尺レベルに対応する深度マップを記憶し、各深度マップは、前記対応する縮尺レベルでの比較に基づき生成されることと、
前記時空合焦画像に基づき前記深度マップを合成することと、
が含まれていることを特徴とする請求項４７に記載の方法。
【請求項４９】
前記深度マップを合成することには、
各縮尺レベルに対応する前記深度マップに基づき信頼度が高い深度マップを演算することと、
前記合焦画像におけるセグメントを決定することと、
各セグメントの平面を、前記セグメントにおける画素の前記信頼度が高い深度マップからの深度に基づき、生成することと、
前記平面と前記信頼度が高い深度マップからの深度との間の誤差に基づき、前記平面の信頼度が高いかどうかを判断することと、
前記平面の信頼度が高いと判断すると、前記平面に基づき、前記深度マップを充填することと、
が含まれることを特徴とする請求項４８に記載の方法。
【請求項５０】
対話式再合焦画像を提供するための方法であって、前記方法には、
ハードウェアプロセッサを用いて、異なる時点において取り込まれた複数画像のシーンを受信し、複数の各画像は、前記シーンの異なる被写界深度を表すことと、
前記画像が取り込まれた順番で、複数の画像を連結して持続焦点体積を生成することと、
前記持続焦点体積における各点（ｘ，ｙ，Ｐ０）について、
（ａ）前記持続焦点体積における点Ｐ＝Ｐ０を設定することと、
（ｂ）Ｐを中心とする円錐体を選択することと、
（ｃ）焦点の尺度が最高である前記円錐体における点Ｑを求めることと、
（ｄ）Ｑ＝Ｐかどうかを判断することと、
（ｅ）Ｑ＝Ｐと判断されるまで、（ｂ）乃至（ｄ）を繰り返すことと、
（ｆ）点（ｘ，ｙ，Ｐ０）＝Ｑの場合の深度を設定することと、
が含まれることを特徴とする方法。
【請求項５１】
対話式再合焦画像を提供するための方法であって、
ハードウェアプロセッサを用いて、異なる時点において取り込まれた複数画像のシーンを受信し、複数の各画像は、前記シーンの異なる被写界深度を表すことと、
前記画像が取り込まれた順番で、複数の画像を連結して持続焦点体積を生成することと、
各対の連続画像間のオプティカルフローを決定することと、
前記シーンにおける各画素位置について前記持続焦点体積を通る画素軌道を決定することと、
画素の焦点の尺度が最高であった場合に前記画素軌道に沿う点を決定することによって、各画素の合焦点を求めることと、
各画素の前記合焦点に基づき、複数の画像の中から前記シーンの各画素について合焦画像を特定する時空インデックスマップを演算することと、
が含まれることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
参照関連出願
本出願は、２０１２年４月２６日に出願された米国仮特許出願第６１／６３８、９７４号の権利を主張するものであり、その全文を参照により援用する。
【０００２】
連邦政府支援の研究又は開発に関する声明
本発明は、海軍研究事務所によって授与された交付番号第Ｎ０００１４−１１−１−０２８５号及び第Ｎ０００１４−０８−１−０９２９号の下で、並びに防衛高度研究企画庁によって授与された交付番号第Ｗ９１１ＮＦ−１０−１−０２１４号の下で、政府支援により行われた。政府は、本発明において一定の権利を有する。
【０００３】
開示された主題は、画像において対話式再合焦を提供するためのシステム、方法、及び媒体に関する。
【背景技術】
【０００４】
画像の被写界深度（ＤＯＦ）は、シーンにおける物体が、そのシーンの画像において合焦状態に見えるシーン深度の範囲である。一般消費者向けデジタル写真技術から光学顕微鏡法まで、ほとんどの撮像応用例において、取り込み対象の画像のＤＯＦを制御するのは、望ましいことである。極めて大きなＤＯＦの画像を取り込むことは、被写界深度が増大するにつれて、より多くのシーンが合焦状態で示すことができるということからして、特に魅力的である。しかしながら、カメラの開口を小さくする等、被写界深度を大きくするための幾つかの従来の手法には、限界がある。例えば、開口が小さい場合、イメージセンサ（又はフィルム）で受け取る光が減少し、更に、このことにより必要な露出時間が長くなり、これによって、信号対雑音比が小さくなり、また、カメラのぶれ及び／又はシーンの物体が動くことによるピンぼけが生じる可能性がある。更に、画素サイズが小さくなるにつれて（及び／又はセンサ解像度が増大するにつれて）、画像のＤＯＦは小さくなるが、これは、画像に存在する何らかのピンぼけ部が占有する画素の数が多くなるためである。同時に、各画素が受ける光は、少なくなり、これによって、信号対雑音比も低下することができる。このＤＯＦと信号対雑音比との間のトレードオフは、撮像における基本的な積年の限界の内の１つである。
【０００５】
画像におけるＤＯＦについての他の２つの限界は、次の通りである。即ち、（１）多くのカメラが、シーンにおける単一の範囲に対応する単一の限定されたＤＯＦだけを取り込むことができ、また、（２）画像におけるＤＯＦは、通常、固定され、画像を取り込んだ後は、ユーザは変更できない。この単一の固定されたＤＯＦのために、そのＤＯＦ内の物体だけを合焦状態で取り込み、ＤＯＦ外にあるシーンの物体は、ある程度ピンぼけする。このことは、カメラに近い（例えば、数インチから数フィート離れた）物体及びカメラから遠い（例えば、数フィートから数十フィート離れた）物体は、双方共合焦状態である場合、例えば、ユーザによる画像の取り込みを抑制し、どちらの物体を合焦状態で取り込むか、ユーザは選択を強要される。
【０００６】
従って、複数の被写界深度に渡って画像に対話式再合焦を提供でき、また、画像拡張被写界深度を提供できるメカニズムに対するニーズがある。
【発明の概要】
【０００７】
開示された主題の様々な実施形態に基づき、画像において対話式再合焦を提供するためのシステム、方法、及び媒体を提供する。
【０００８】
開示された主題のある実施形態に従って、画像において対話式再合焦を提供するためのシステムを提供する。本システムには、レンズと、イメージセンサと、ハードウェアプロセッサと、が含まれる。本ハードウェアプロセッサは、イメージセンサに複数の画像を所定期間の時間に渡って取り込ませることであって、複数の各画像は、異なる時点におけるシーンを表すことと、少なくとも一対の複数の画像間の被写界深度を変更することと、画像が取り込まれた順番に、複数の画像を連結して持続焦点体積を生成することと、持続焦点体積に基づき、複数の各画像から合焦部分を表す時空合焦画像を演算することと、持続焦点体積及び時空合焦画像に基づき、複数の画像中からシーンの各位置について合焦画像を特定する時空インデックスマップを演算することと、を実行するように構成されている。
【０００９】
開示された主題のある実施形態に従って、対話式再合焦を提供するための方法を提供する。本方法には、ハードウェアプロセッサを用いて、所定期間の時間に渡って、複数の画像を取り込ませることであって、複数の各画像は、異なる時点におけるシーンを表すことと、複数の画像が取り込まれる被写界深度を少なくとも一対の複数の画像間で変更させることと、画像が取り込まれた順番で複数の画像を連結することによって持続焦点体積を生成することと、持続焦点体積に基づき、複数の各画像から合焦部分を表す時空合焦画像を演算することと、持続焦点体積及び時空合焦画像に基づき、複数の画像中からシーンの各位置について合焦画像を特定する時空インデックスマップを演算することと、が含まれる。
【００１０】
開示された主題のある実施形態に従って、プロセッサによって実行されると、対話式再合焦を提供するための方法をプロセッサに実施させるコンピュータ実行可能な命令を含む非一時的コンピュータ可読媒体を提供する。本方法には、所定期間の時間に渡って、複数の画像を取り込ませることであって、複数の各画像は、異なる時点におけるシーンを表すことと、複数の画像が取り込まれる被写界深度を少なくとも一対の複数の画像間で変更させることと、画像が取り込まれた順番で複数の画像を連結することによって持続焦点体積を生成することと、持続焦点体積に基づき、複数の各画像から合焦部分を表す時空合焦画像を演算することと、持続焦点体積及び時空合焦画像に基づき、複数の画像中からシーンの各位置について合焦画像を特定する時空インデックスマップを演算することと、が含まれる。
【００１１】
開示された主題のある実施形態に従って、対話式再合焦を提供するためのシステムを提供する。本システムには、レンズと、イメージセンサと、イメージセンサに複数の画像を所定期間の時間に渡って取り込ませるための手段であって、複数の各画像は、異なる時点におけるシーンを表す手段と、少なくとも一対の複数の画像間の被写界深度を変更するための手段と、画像が取り込まれた順番で、複数の画像を連結して持続焦点体積を生成するための手段と、持続焦点体積に基づき、複数の各画像から合焦部分を表す時空合焦画像を演算するための手段と、持続焦点体積及び時空合焦画像に基づき、複数の画像中からシーンの各位置について合焦画像を特定する時空インデックスマップを演算するための手段と、が含まれる。
【００１２】
ある実施形態においては、被写界深度を変更するための手段には、レンズとイメージセンサとの間の距離を変更するための手段が含まれる。
【００１３】
ある実施形態においては、レンズとイメージセンサとの間の距離を変更するための手段には、レンズを基準としてイメージセンサを動かすアクチュエータを駆動するための手段が含まれる。
【００１４】
ある実施形態においては、レンズとイメージセンサとの間の距離を変更するための手段には、イメージセンサを基準としてレンズを動かすアクチュエータを駆動するための手段が含まれる。
【００１５】
ある実施形態においては、被写界深度を変更するための手段には、レンズの焦点距離を変更するための手段が含まれる。
【００１６】
ある実施形態においては、被写界深度を変更するための手段には、第２レンズを光軸方向に動かすための手段であって、第２レンズが、光軸方向においてレンズとイメージセンサとの間に配置される手段が含まれる。
【００１７】
ある実施形態においては、持続焦点体積における複数の各画像について、画像の被写界深度は、１つ又は複数の隣接画像の被写界深度と実質的に連続である。
【００１８】
ある実施形態においては、複数の画像の被写界深度の交点は、空集合である。
【００１９】
ある実施形態においては、本システムには、更に、複数の画像を所定のフレームレートで取り込ませるための手段が含まれる。
【００２０】
ある実施形態においては、本システムには、更に、次のパラメータ、即ち、所定のフレームレート、イメージセンサの画素サイズ、及びレンズのＦ値の内の少なくとも１つに基づき、レンズとイメージセンサとの間の距離を一定の割合で変更するための手段が含まれる。
【００２１】
開示された主題のある実施形態に従って、対話式再合焦を提供するためのシステムを提供する。本システムには、ハードウェアプロセッサが含まれる。本ハードウェアプロセッサは、シーンの画像をユーザに対して表示させることであって、画像が、異なる時点におけるシーンの複数の取り込まれた画像が含まれる持続焦点体積において表されるシーンを表し、また、複数の画像は、複数の異なる被写界深度で取り込まれることと、ユーザによる画像における点の選択を受信することと、複数の画像中から選択された画像をユーザに対して表示させることであって、選択された画像が、ユーザによって選択された点におけるシーンの物体が合焦状態である画像であることと、を実行するように構成されている。
【００２２】
開示された主題のある実施形態に従って、対話式再合焦を提供するための方法を提供する。本方法には、シーンの画像をユーザに対して表示させることであって、画像は、持続焦点体積において表されるシーンを表し、持続焦点体積には、異なる時点におけるシーンの複数の取り込まれた画像が含まれ、また、複数の画像は、複数の異なる被写界深度で取り込まれることと、ユーザによる画像における点の選択を受信することと、複数の画像中から選択された画像をユーザに対して表示させることであって、選択された画像は、ユーザによって選択された点におけるシーンの物体が合焦状態である場合の画像であることと、が含まれる。
【００２３】
開示された主題のある実施形態に従って、プロセッサによって実行されると、対話式再合焦を提供するための方法をプロセッサに実施させるコンピュータ実行可能な命令を含む非一時的コンピュータ可読媒体を提供する。本方法には、シーンの画像をユーザに対して表示させることであって、画像は、持続焦点体積において表されるシーンを表し、持続焦点体積には、異なる時点におけるシーンの複数の取り込まれた画像が含まれ、また、複数の画像は、複数の異なる被写界深度で取り込まれることと、ユーザによる画像における点の選択を受信することと、複数の画像中から選択された画像をユーザに対して表示させることであって、選択された画像は、ユーザによって選択された点におけるシーンの物体が合焦状態である場合の画像であることと、が含まれる。
【００２４】
開示された主題のある実施形態に従って、対話式再合焦を提供するための方法を提供する。本方法には、異なる時点において取り込まれた複数画像のシーンを、ハードウェアプロセッサを用いて、受信することであって、複数の各画像は、シーンの異なる被写界深度を表すことと、画像が取り込まれた順番で、複数の画像を連結して持続焦点体積を生成することと、持続焦点体積に基づき、複数の各画像から合焦部分を表す時空合焦画像を演算することと、持続焦点体積及び時空合焦画像に基づき、複数の画像中からシーンの各位置について合焦画像を特定する時空インデックスマップを演算することと、が含まれる。
【００２５】
開示された主題のある実施形態に従って、対話式再合焦を提供するための方法であって、本方法には、ハードウェアプロセッサを用いて、異なる時点において取り込まれた複数画像のシーンを受信することであって、複数の各画像は、シーンの異なる被写界深度を表すことと、画像が取り込まれた順番で、複数の画像を連結して持続焦点体積を生成することと、が含まれる。更に、本方法には、持続焦点体積における各点（ｘ，ｙ，Ｐ０）について、（ａ）持続焦点体積における点Ｐ＝Ｐ０に設定することと、（ｂ）Ｐを中心とする円錐体を選択することと、（ｃ）焦点の尺度が最高である円錐体における点Ｑを求めることと、（ｄ）Ｑ＝Ｐかどうか判断することと、（ｅ）Ｑ＝Ｐと判断されるまで、（ｂ）乃至（ｄ）を繰り返すことと、（ｆ）点（ｘ，ｙ，Ｐ０）＝Ｑの場合の深度を設定することと、が含まれる方法。
【００２６】
開示された主題のある実施形態に従って、対話式再合焦を提供するための方法を提供する。本方法には、ハードウェアプロセッサを用いて、異なる時点において取り込まれた複数画像のシーンを受信することであって、複数の各画像は、シーンの異なる被写界深度を表すことと、画像が取り込まれた順番で、複数の画像を連結して持続焦点体積を生成することと、各対の連続画像間のオプティカルフローを決定することと、シーンにおける各画素位置について持続焦点体積を通る画素軌道を決定することと、画素の焦点の尺度が最高である場合に画素軌道に沿う点を決定することによって、各画素の合焦点を求めることと、各画素の合焦点に基づき、複数の画像中からシーンの各画素について合焦画像を特定する時空インデックスマップを演算することと、が含まれる。
【図面の簡単な説明】
【００２７】
本発明の上記及び他の目的並びに利点は、添付図と共に以下の詳細な説明を考察すると明らかになる。図では、全体を通して、同様な参照符号は、同様な部分を指す。
【図１】開示された主題のある実施形態に従った、画像における対話式再合焦を提供するためのプロセスの例を示す図。
【図２】開示された主題のある実施形態に従った、取り込まれた画像の持続焦点体積の例を示す図。
【図３】開示された主題のある実施形態に従った、持続焦点体積の水平方向のスライスの例を示す図。
【図４】開示された主題のある実施形態に従った、時空合焦画像の一部分の例を示す持続焦点体積の水平方向のスライスの例を示す図。
【図５】開示された主題のある実施形態に従った、取り込まれた画像の他の持続焦点体積の例を示す図。
【図６】開示された主題のある実施形態に従った、時空合焦画像の例を示す図。
【図７】開示された主題のある実施形態に従った、時空インデックスマップの例を示す図。
【図８】開示された主題のある実施形態に従った、時空インデックスマップ及び対応する時空合焦画像の例を示す図。
【図９】開示された主題のある実施形態に従った、三次元時空インデックスマップ及び対応する持続焦点体積の例を示す図。
【図１０】開示された主題のある実施形態に従った、持続焦点体積を取り込むために用いることができるカメラの例を示す図。
【図１１】開示された主題のある実施形態に従った、カメラの被写界深度の例を示す図。
【図１２】開示された主題のある実施形態に従った、カメラの様々な被写界深度を表す例を示す図。
【図１３】開示された主題のある実施形態に従った、時空インデックスマップを演算するためのプロセスの例を示す図。
【図１４】開示された主題のある実施形態に従った、持続焦点体積の画像安定化のためのプロセスの例を示す図。
【図１５】開示された主題のある実施形態に従った、持続焦点体積の時空合焦画像を演算するためのプロセスの例を示す図。
【図１６】開示された主題のある実施形態に従った、持続焦点体積の時空インデックスマップを演算するためのプロセスの例を示す図。
【図１７】開示された主題のある実施形態に従った、異なる縮尺の持続焦点体積に対応する深度マップをマージするためのプロセスの例を示す図。
【図１８】開示された主題のある実施形態に従った、持続焦点体積に対応する深度マップを平滑化するためのプロセスの例を示す図。
【図１９】開示された主題のある実施形態に従った、時空インデックスマップを演算するためのプロセスに用いられる縮尺された時空合焦画像、縮尺された持続焦点体積、及び縮尺された深度マップの例を示す図。
【図２０】開示された主題のある実施形態に従った、欲張り探索を用いて持続焦点体積の時空インデックスマップを演算するためのプロセスの例を示す図。
【図２１】開示された主題のある実施形態に従った、機械学習を用いて持続焦点体積の時空インデックスマップを演算するためのプロセスの例を示す図。
【図２２】開示された主題のある実施形態に従った、オプティカルフローを用いて持続焦点体積の時空インデックスマップを演算するためのプロセスの例を示す図。
【発明を実施するための形態】
【００２８】
様々な実施形態に従って、画像において対話式再合焦を提供するためのメカニズムを提供する。ある実施形態に従って、シーンの画像は、所定量の時間に渡って様々な被写界深度で取り込むことができる。そして、これらの画像は、そのシーンの画像において選択された任意の点における再合焦を円滑に行うために、時間的に連結し解析することができる。例えば、カメラのイメージセンサは、カメラのレンズを基準として動かして、被写界深度を変えることができる。センサが移動する際、シーンの画像は、異なる被写界深度で取り込むことができる。様々な画像は、異なる時間での異なる被写界深度に渡ってシーンを表す持続焦点体積を形成するために時間的に連結することができる。一般的に、持続焦点体積は、持続焦点体積における異なる深度が、異なる時点及び異なる被写界深度におけるそのシーンの点を表すようなシーンを表すことができる。このように、持続焦点体積は、シーンの三次元の表現と見なすことができる。１つの特定の例では、持続焦点体積は、２つの空間次元及び１つの時間次元を有する体積を全体として構成する階層状の二次元画像のシーンによって表すことができる。
【００２９】
ある実施形態においては、シーンにおける点を持続焦点体積全体において評価することで、与えられた点がその最も鮮鋭な合焦状態である積層体の画像を求めることができる。これによって、カメラに近接するシーンの部分は、１つの画像において合焦状態で取り込むことができ、また、カメラから遠く離れたシーンの部分は、他の画像において合焦状態で取り込ことができる。異なる画像において取り込まれたそのような合焦部分は、本明細書に述べたメカニズムに用いることで、特に、取り込まれた画像において対話式再合焦を提供することができる。更に、シーンにおける物体は、所定量の時間中、移動することができることから、物体が積層体における異なる画像の異なる位置に出現することができるため、画像列は、任意の動く物体の運動を取り込むこともできる。
【００３０】
シーン中の各物体に対応する被写界深度が含まれる三次元時空体積を取り込むために、カメラ焦点掃引を（例えば、センサ、レンズ等を動かすことによって）制御するためのプロセッサを提供することができる。例えば、これによって、画像において表されるシーンの各物体が、画像の内の少なくとも１つにおいて合焦状態であるように、画像を取り込むことができる。
【００３１】
更に、対話式再合焦に用いることができる合焦画像及び合焦インデックスマップを回復するための技術を提供することができる。シーンにおける物体は、二次元の画像から二次元の画像に位置を変えることができることから、層依存性の三次元のインデックスマップも提供することができる。特に、三次元のインデックスマップの任意の特定の層（例えば、二次元の画像）におけるインデックスは、その層及びインデックスマップの二次元の位置に依存することができる。
【００３２】
ある実施形態においては、ビューアを用いると、画像における対話式再合焦を促進し、また、本明細書に述べたメカニズムを用いて取り込まれた情報（例えば、シーンにおける１つ又は複数の物体の焦点情報）を持続焦点体積から提示することができる。例えば、シーンにおける物体は、本明細書に述べたメカニズムを用いて計算された事前算出合焦インデックスマップを用いることによって、ビューアを用いて表示された画像における点をユーザが選択する場合（例えば、ユーザが画像中の点で「クリック」する場合）、ビューアにおいて再合焦することができる。ある実施形態においては、このビューアには、再合焦による物体運動の効果を含むことができる。例えば、ユーザによる画像中の点の選択に応じて、ビューアは、選択された物体（１つ又は複数）の焦点を合わせ、また同時に、その／それらの運動を示すことができる。この統合化は、独特で魅力的なユーザ体験を生み出すことができる。
【００３３】
一方、ユーザが事前算出することなくビューアを用いて提示された画像における点を選択する場合、事前算出合焦インデックスマップを用いるよりもむしろ、同様な手法を用いて、合焦インデックスを一度に計算することができる（例えば、事前算出合焦インデックスマップを用いるよりもむしろ、点のユーザ選択時において合焦インデックスの計算を実施できる）。
【００３４】
図１において、開示された主題のある実施形態に従った、画像において対話式再合焦を提供するためのプロセスの例１００を示す。更に後述するように、プロセス１００によって、異なる被写界深度で一連の画像を取り込むことができる。各画像は、イメージセンサによって取り込まれたフレームであってよい。これらの様々なフレーム（又は画像）は、時間的に連結して、持続焦点体積を生成することができる。インデックスｉは、持続焦点体積内における各フレームの位置を示すために及び／又は各フレームにおいて取り込まれた被写界深度を識別するために用いることができる。
【００３５】
１０２において、インデックスｉ＝１と設定することによって、プロセス１００を開始することができるが、ここで、ｉは、フレーム番号及び／又は次のフレームで取り込まれる被写界深度を示すことができる。１０３において、フレームｉを取り込むための被写界深度（ＤＯＦ）は、被写界深度ｉ（ＤＯＦｉ）に設定することができる。
【００３６】
１０４において、インデックスｉに対応するフレームは、被写界深度ｉ（ＤＯＦｉ）について取り込むことができる。そして、ある実施形態においては、このフレームは、メモリに記憶することができ、一方、他の被写界深度に対応する他のフレームは取り込まれる。
【００３７】
１０６において、インデックスｉは、ｉプラス１に設定でき、１０８において、インデックスｉが、取り込まれるフレームの総数ｎを超過したかどうか判断することができる。ある実施形態においては、取り込まれるフレームの数ｎは、シーンのほとんどの深度の物体がしきい値を超える鮮鋭度でユーザによって再合焦されると予想されるフレームの数に設定することができる。ある実施形態においては、任意の適切なフレームの数を取り込むことができる。例えば、カメラのレンズからある範囲の距離を網羅する３０の被写界深度においてフレームが取り込まれるように、ｎを３０に設定してよい。他の例として、ｎは、屋内で取り込まれたシーン等、シーンにおいて深度が制限されている場合、より少ないフレーム（例えば、１０フレーム、１５フレーム等）を取り込むように設定することができる。更に他の例として、例えば、画素サイズが小さい、焦点距離が長いなどの理由により、各フレームにおいて取り込まれる被写界深度が小さくなる場合、ｎは、より多くのフレーム（例えば、４５フレーム、６０フレーム、１００フレーム等）を取り込むように設定することができる。
【００３８】
ある実施形態においては、任意の適切な範囲の被写界深度を取り込むことができる。例えば、取り込み対象のシーンが、カメラから距離Ｒ１のシーンにある最も近い物体と、カメラから距離Ｒ２にある最も遠い物体とを含む場合、取り込まれる被写界深度には、Ｒ１からＲ２の被写界深度を含むことができ、ゼロからＲ１及びＲ２から無限大の被写界深度は、省略することができる。ある実施形態においては、取り込まれるＤＯＦの数には、例えば、図１１及び１２に関連して後述するように、シーンにおける任意の物体が少なくとも１つのＤＯＦに含まれるように、充分なＤＯＦを含むことができる。
【００３９】
ある実施形態においては、被写界深度は、各フレームにおいて取り込まれる被写界深度が、例えば、図１１及び１２に関連して後述するように、いずれか他のフレームにおいて取り込まれる被写界深度と実質的に重なり合わないように、取り込まれるフレーム間で変更することができる。
【００４０】
インデックスｉが、ｎより小さい（１０８において「いいえ」）場合、プロセス１００は、１０３に戻ることができ、被写界深度は、ＤＯＦｉに設定することができる（この場合、ｉは、インクリメントされている）。そうでない場合、インデックスｉがｎより大きい（１０８において「はい」）場合、プロセス１００は、１１２に進むことができる。
【００４１】
ある実施形態においては、上述したように、また、図１１及び１２に関連して以下に更に詳述するように、ＤＯＦは、ＤＯＦｍの外方距離（例えば、Ｚｍａｘ）がＤＯＦｍ＋１の内方距離（例えば、Ｚｍｉｎ）に等しいように設定することができる。例えば、第１被写界深度ＤＯＦ１の最大距離Ｚｍａｘは、第２被写界深度ＤＯＦ２の最小距離Ｚｍｉｎに等しく設定することができる。上述したように、任意の適切な手法又は手法の組合せは、取り込まれたフレーム間のＤＯＦを変更するために用いることができる。
【００４２】
ある実施形態においては、画像は、画像装置のフレームレートで又はそのフレームレートの何分の１かで取り込むことができる。例えば、画像を取り込むために用いられるカメラが、毎秒１２０フレームのフレームレートを有し、また、ＤＯＦｉからＤＯＦｉ＋１に変更するために１秒の１０分の１かかる場合、フレームは、毎秒１０フレーム取り込むことができる。そのような例において、被写界深度が変更されつつ、任意のフレームが取り込まれる（例えば、本例では、被写界深度が変更されつつ、１２０フレームの内の１１０が取り込まれる）場合、そのようなフレームは、一時的にメモリに記憶したり、廃棄したり、任意の適切な目的のために記憶することができる。
【００４３】
１１２において、プロセス１００は、異なる時間に取り込まれた各ＤＯＦのフレームを連結して、持続焦点体積を構築することができる。ある実施形態においては、異なるＤＯＦにおいて取り込まれたフレーム（例えば、画像）は、最初に取り込まれたフレームが最初に置かれ、最後に取り込まれたフレームが最後に置かれ、その間のフレームがフレームのインデックスに従って順番に並べられるように、フレームが取り込まれた時間順に連結することができる。
【００４４】
図２は、動いているボールが含まれるシーンの（２つの空間次元Ｘ及びＹ並びに１つの時間次元Ｔを有する）三次元の持続焦点体積の例を示す。焦点範囲における各非閉塞シーン点は、少なくとも一回は合焦状態で取り込むことができる。図３は、図２の持続焦点体積から取られた長手方向のスライス２００の例を示す。スライス２００は、持続焦点体積のＸ次元×Ｔ次元スライスであり、また、持続焦点体積によって取り込まれたシーンにおける各ボールが円錐体として出現することができることを示す。円錐体の形状は、レンズプロファイル及び焦点掃引の速さによって決定することができる。例えば、物体の焦点がぼやけるにつれて、円錐体の半径が大きくなる可能性が生じる。更に、円錐体が再拡張前に狭くなる点は、この物体が最も鮮鋭な合焦状態である点を示すことができる。場合によっては、円錐体は、持続焦点体積を構成する画像が取り込まれた間にシーンの物体が動くことにより、ずれることがある（例えば、Ｔ方向においてまっすぐ上下に対して角度をなす軸（例えば、軸３００）を有する）。動いている物体は、物体の速さ及び移動方向に応じて、複数の画像において合焦状態になることが可能であることに留意されるべきである。そのような物体が図３の例に存在する場合、スライス２００に示すようなその形状は、図３に示す円錐体と異なる可能性がある。
【００４５】
図５は、前景に物体があり、背景に異なる物体があり、また、その間に一組の階段がある場合の、焦点掃引を用いて取り込まれたシーンの持続焦点体積の他の例を示す。図５に示す例では、時間ゼロ付近で取り込まれたフレームにおいて（例えば、本例において、時間軸ＴがＸ軸及びＹ軸と交差する場合）、前景の物体は、合焦状態が良く、背景の物体は、合焦状態が悪く、また、時間ゼロから最も遠くで取り込まれたフレームにおいて、背景の物体は、合焦状態が良く、前景の物体は、合焦状態が悪い。
【００４６】
図１に戻ると、持続焦点体積は、時空合焦画像を演算するために、１１４で用いることができる。ある実施形態においては、時空合焦画像は、持続焦点体積から演算された時空全合焦画像であってよい。例えば、場合によっては、時空合焦画像は、より深い被写界深度画像であってよい。ある実施形態においては、各層からの鮮鋭度情報は、シーンの各点の最も鮮鋭な画像部分が含まれる画像を演算するために用いることができる。これによって画像を提供することができるが、この場合、シーンの各点において、その点の情報は、その特定の点の最も鮮鋭なフレームから導き出される。ある実施形態においては、時間軸全体において平均された各点の加重和は、図１５に関連して後述するように、時空合焦画像を演算するために用いることができる。
【００４７】
図４は、図２の例に示した持続焦点体積のＸ−Ｔ平面におけるスライス２００の合焦ライン４００の例を示す。図４において分かるように、物体がそれらの最も鮮鋭な合焦状態である時間軸における層は、時空合焦画像を構築するために用いることができる。三次元に拡張すると、時空合焦画像は、持続焦点体積における表面であってよく、この場合、表面上の点は、持続焦点体積全体のシーンの各点における最も鮮鋭な層を表す。特に、Ｘ−Ｔ平面における各スライスの合焦ライン４００と同様な合焦ラインが存在することができる。時空合焦画像は、これら時空合焦ラインの組合せであってよく、Ｘ−Ｔ平面における各スライス（例えば、スライス２００）からのライン（例えば、ライン４００）が、時空合焦画像における列（例えば、スライス２００と同じ値のＹにおける列）を表してよい。
【００４８】
図６は、図５の例に示した持続焦点体積の時空合焦画像の例を示す。図６の時空合焦画像は、図１５に関連して後述するように演算することができる。
【００４９】
図１に戻ると、プロセス１００は、１１６に進み、そこで、持続焦点体積及び時空合焦画像に基づき、時空インデックスマップを演算することができる。時空合焦インデックスマップは、シーンの各点が最も鮮鋭な層を表すことができる。ある実施形態においては、時空合焦インデックスマップは、シーンにおける点の選択に応じて、どのフレームを表示すべきかを決定するために用いることができる。図７は、図５の例に示した持続焦点体積の時空インデックスマップの例を示す。ある実施形態においては、時空インデックスマップは、階調画像であってよく、この場合、各画素における値は、焦点の尺度（任意の適切な焦点の尺度を用いることができることに留意されたい）が最大になる持続焦点体積のインデックスｉに基づく。図７の例において、より高い値（例えば、より暗い画素）は、被写界深度がカメラにより近い層に対応する。
【００５０】
ある実施形態においては、本明細書に述べたメカニズムを用いて撮像されたシーンが静的である（例えば、シーンにおける物体が、最初のフレームから最後のフレームまでしきい量を超えて動かない）場合、持続焦点体積全体について単一の時空インデックスマップを演算することができる。図８は、時空合焦画像８０２及び対応する時空インデックスマップ８０４の例を示す。図８の例において、時空合焦画像８０２の各点（ｘ，ｙ）８０６は、時空インデックスマップ８０４の点（ｘ，ｙ）８０８における深度値に対応する。
【００５１】
ある実施形態においては、本明細書に述べたメカニズムを用いて撮像されたシーンが動的である（例えば、シーンの１つ又は複数の物体が最初のフレームから最後のフレームまでしきい量を超えて動いている）場合、三次元時空インデックスマップを演算して、三次元時空インデックスマップ積層体を生成することができる。三次元時空インデックスマップ積層体は、持続焦点体積における各画像に対応する二次元のインデックスマップを含むことができる。図９は、動的なシーン（例えば、大幅な動きを伴うシーン）の三次元のインデックスマップ９０２及び三次元のインデックスマップ９０２を構成する一組の二次元のインデックスマップ９０４の例を示す。各二次元のインデックスマップ９０４は、階調画像であってよく、この場合、二次元時空インデックスマップ９０４における各点（ｘ，ｙ）での値は、層ｄを示し、ここで、点（ｘ，ｙ）における物体は、持続焦点体積９０６において合焦状態である。動いている物体の場合、物体が配置された点（ｘ，ｙ）は、１つの二次元時空インデックスマップから他のものに変わることができる。従って、１つの二次元時空インデックスマップ上の点（ｘ，ｙ）での値は、他の二次元時空インデックスマップにおける点（ｘ，ｙ）での値と同じではあり得ない。
【００５２】
ある実施形態においては、時空合焦画像における各点の値は、持続焦点体積を構成する各フレームにおける同じ点の値と比較することができる。値が最も密接に整合する層を深度として設定することができるが、この場合、シーンのその点は、最も鮮鋭である。更に又は他の選択肢として、時空合焦画像の断片は、持続焦点体積の断片と比較することができる。例えば、正規化相互相関は、時空合焦画像の断片と持続焦点体積における各フレームの断片との間に求めることができ、また、正規化相互相関が最も大きい値になる場合、整合を見出すことができる。他の例として、時空合焦画像において、位置（ｘ，ｙ）を含む与えられた物体又は物体の一部であると見なされる（例えば、与えられたパターン、色（１つ又は複数）又は輝度（１つ又は複数）、これらの組合せ等を有する）断片を求め、持続焦点体積の他の画像における同じ位置付近の断片と比較することができる。そのような例では、断片が実質的に同じ画像データを含む場合、整合を見出すことができる。時空合焦画像と持続焦点体積との比較に基づき時空インデックスマップを見つけるためのプロセスの例について、図１６乃至１９に関連して後述する。
【００５３】
ある実施形態においては、シーンにおける点Ｐ０が最も鮮鋭である可能性が最も高い場合、欲張り探索手法を用いて、持続焦点体積においてフレームを求めることができる。Ｐ０が最も鮮鋭である可能性がある場合のフレームに対応する層の深度ｄは、時空インデックスマップに用いることができる。欲張り探索に基づき時空インデックスマップを演算するためのプロセスの例については、図２０に関連して後述する。
【００５４】
ある実施形態においては、機械学習プロセスを用いて、シーンにおける点Ｐ０が最も鮮鋭である可能性が最も高い場合、持続焦点体積におけるフレームを求めることによって時空インデックスマップを演算することができる。機械学習プロセスでは、シーンの各点が最も鮮鋭である場合の深度が分かっている一組の持続焦点体積を用いて、分類モデルを取り扱うことができる。分類モデルは、合焦点であることが分かっている点と、非合焦点であることが分かっている点とを用いて取り扱うことができる。取り扱いされた分類モデルを用いて、合焦点の深度が不明である場合の持続焦点体積の時空インデックスマップを求めることができる。時空インデックスマップを演算するための機械学習プロセスの例については、図２１に関連して後述する。
【００５５】
ある実施形態においては、オプティカルフロー分析を用いて、持続焦点体積を通る各点の軌道を求めることによって、また、軌道に沿って最も鮮鋭な点を求めることによって時空インデックスマップを演算することができる。オプティカルフロー分析を用いて時空インデックスマップを演算するためのプロセスの例については、図２２に関連して後述する。
【００５６】
図１に戻ると、１１８では、ｎ個の取り込まれたフレームから現フレームとして設定された初期フレームをユーザに表示することができる。ある実施形態においては、最初に又は最後に取り込まれたフレームを初期フレームとしてユーザに表示することができる。他の選択肢として、時空合焦画像は、初期フレームとしてユーザに表示することができる。更に他の選択肢では、持続焦点体積を構成するフレームからの任意のフレームは、初期フレームとしてユーザに表示することができる。
【００５７】
１２０において、現フレームの点（ｘ，ｙ）において選択があったかどうか判断することができる。ある実施形態においては、ユーザは、合焦すべき現フレームの点（ｘ，ｙ）を選択することができる。例えば、ユーザは、カーソルを用い、また、ユーザが選択したい点（ｘ，ｙ）上にカーソルがある時クリックすることによって、点（ｘ，ｙ）を選択することができる。更に又は他の選択肢として、ユーザは、現画像を表示しているタッチスクリーン装置上においてユーザが選択したい点（ｘ，ｙ）にタッチすることができる。更に又は他の選択肢として、再合焦する点（ｘ，ｙ）を選択するための任意の適切な手法を本明細書に述べたメカニズムと共に用いてよい。
【００５８】
点が選択されない（１２０において「いいえ」）場合、プロセス１００は、１１８に戻り、現画像を継続して表示することができる。
【００５９】
そうでない場合、現画像の点（ｘ，ｙ）が選択される（１２０において「はい」）場合、１２２において、現フレームは、１２０において選択された選択点（ｘ，ｙ）に対応する点において焦点が最も鮮鋭であるフレームに変更することができる。ある実施形態においては、焦点が最も鮮鋭であるフレームは、時空インデックスマップを用いて決定することができる。点（ｘ，ｙ）が、持続焦点体積中を動いている物体に対応する場合、最も鮮鋭なフレームは、Ｘ及びＹ方向の座標によってばかりでなく、点（ｘ，ｙ）が選択された現フレームにも基づき、決定することができる。最も鮮鋭な焦点を有するフレームは、決定されると、現フレームとして設定することができ、プロセス１００は、１１８に戻り、新しく設定された現フレームを表示できる。
【００６０】
ある実施形態においては、点（ｘ，ｙ）が選択された以前表示されたフレームと新しく設定された現フレームとの間の持続焦点体積における一部のフレームは、以前表示されたフレームの表示と新しい現フレームの表示との間に順次表示することができる。これによって、以前の画像と現画像との間での円滑な移行が可能になり、ユーザが取り込まれるシーンをファインダを通して観ているかのように、手動の合焦動作をシミュレートすることができる。
【００６１】
図１０において、ある実施形態に従った、本明細書に述べたように画像における再合焦用のメカニズムに用いるための持続焦点体積を取り込むためのカメラの例１０００を示す。図示したように、カメラ１０００には、イメージセンサ１００４上に画像を合焦するためのレンズ１００２と、カメラ１０００の開口（例えば、イメージセンサ１００４にシーンからどれだけの光を入射させるか）を制御するための開口絞り１００６（例えば、ダイヤフラム）と、コンピュータ等の任意の適切な汎用装置又はクライアントやサーバ等の専用装置であってよいカメラ１０００の動作を制御するためのコントローラ１００８（この汎用又は専用装置は、ハードウェアプロセッサ（マイクロプロセッサ、デジタル信号プロセッサ、マイクロコントローラ等であってよい）として実現することができる）と、カメラ１０００の光軸１０２０に平行な方向に沿ってレンズ１００２の位置１０１２及び／又はイメージセンサ１００４の位置１０１４を制御するためのドライバ／アクチュエータ１０１０（例えば、モータ、リニアアクチュエータ、微小電気機械（ＭＥＭＳ）装置等）と、ユーザから及び／又は環境からの入力を受け取るための入力装置１０１６（例えば、シャッタボタン、メニューボタン、マイクロホン、タッチスクリーン、モーションセンサ等又はその任意の適切な組合せ）と、表示装置１０１８と、コントローラ１００８とスマートフォン、タブレットコンピュータ、ラップトップコンピュータ、パソコン、サーバ等の他の装置との間の通信リンクを介した通信を可能にするＩ／Ｏポート１０２２と、を含むことができる。カメラ１０００には、更に、画像、持続焦点体積、時空合焦画像、時空インデックスマップ等を記憶するためのメモリ１０２０を含むことができる。ある実施形態においては、メモリ１０２０には、コントローラ１００８を制御するためのコンピュータプログラムを記憶するための記憶装置（例えば、ハードディスク、ブルーレイディスク、デジタルビデオディスク、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ等）を含むことができる。
【００６２】
ある実施形態においては、カメラ１０００は、Ｉ／Ｏポート１０２２及び通信リンクを用いてネットワーク上で遠隔装置と通信を行うことができる。更に又は他の選択肢として、カメラ１０００は、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ等の他の装置の一部として含むことができる。カメラ１０００の部品は、カメラ１０００が一体化されている装置と共有することができる。例えば、カメラ１０００が、スマートフォンと一体化されている場合、コントローラ１００８は、スマートフォンのプロセッサであってよく、また、カメラ１０００の動作を制御するために用いることができる。
【００６３】
カメラ１０００は、いずれか他の適切な装置と一体化及び／又は通信を行うことができるが、この場合、他の装置は、コンピュータ等の汎用装置又はクライアントやサーバ等の専用装置の内の１つであってよい。これらの汎用又は専用装置には、ハードウェアプロセッサ（マイクロプロセッサ、デジタル信号プロセッサ、コントローラ等であってよい）、メモリ、通信インターフェイス、表示コントローラ、入力装置等の任意の適切な構成要素をいずれにも含むことができる。例えば、他の装置は、デジタルカメラ、スマートフォン、タブレットコンピュータ、パーソナルデータアシスタント（ＰＤＡ）、パソコン、ラップトップコンピュータ、マルチメディア端末、専用装置、ゲーム装置等として実現することができる。
【００６４】
通信リンクを介したＩ／Ｏポート１０２２上での通信は、任意の適切なコンピュータネットワーク、又はインターネット、イントラネット、広域ネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、無線ネットワーク、デジタル加入者回線（ＤＳＬ）ネットワーク、フレーム中継ネットワーク、非同期転送モード（ＡＴＭ）ネットワーク、仮想専用ネットワーク（ＶＰＮ）を含む任意の適切なネットワークの組合せを用いて実行することができる。通信リンクには、カメラ１０００とネットワークリンク、ダイヤルアップリンク、無線リンク、有線リンク、いずれか他の適切な通信リンク、又はそのようなリンクの任意の適切な組合せ等の他の装置との間のデータ通信に適する任意の通信リンクを含むことができる。カメラ１０００及び／又は他の装置（例えば、サーバ、パソコン、スマートフォン等）は、本明細書に述べられ用いられるメカニズムの特徴を可能にするコンピュータプログラムをユーザが実行できるようにする。
【００６５】
更に、通信リンク又はいずれか他の通信リンク（１つ又は複数）を通して受信されたデータは、任意の適切な送信元から受信することができることに留意されたい。ある実施形態においては、コントローラ１００８は、例えば、送信機、受信機、送信機／受信機、送受信機、又はいずれか他の適切な通信装置を用いて、通信リンク又はいずれか他の通信リンク（１つ又は複数）を通したデータの送受信が可能である。
【００６６】
図１１は、ある実施形態に従う被写界深度（ＤＯＦ）１１０２を示す例示の図である。ＤＯＦ１１０２は、以下の式を用いてカメラ１０００の特性から計算することができる。
【数１】
2015522959.tif 000003
上式において、ｃは、撮像装置の錯乱円であり、これは、例えば、イメージセンサにおける画素の画素サイズ（例えば、画素の実効的な受光面積）であってよく、ｖは、レンズ１００２とセンサ１００４との間の距離、ｆは、レンズ１００２の焦点距離、Ｎは、レンズと開口絞り１００６によって設定された開口Ａとの組合せのＦ値である。図１１に示すように、ＤＯＦ１１０２は、レンズ１００２からの距離Ｚ前後の範囲Ｚｍｉｎ乃至Ｚｍａｘに等しく、この場合、物体からの光の不鮮明なところは、錯乱円より小さい。ＤＯＦ１１０２内の物体（例えば、ＺｍａｘとＺｍｉｎとの間のカメラ１０００からの距離を有する物体）は、正確にカメラ１０００の焦点面に配置されていないにもかかわらず合焦状態で出現する。
【００６７】
ある実施形態においては、異なる焦点設定値で（例えば、イメージセンサを動かすことによって）取り込まれた様々な被写界深度ＤＯＦ１乃至ＤＯＦｎは、以下の２つの基準を満たすように要求することができる。
Ａ）完全性：シーンの全ての物体が少なくとも１つのＤＯＦによって網羅される場合。例えば、ＤＯＦの和集合は、以下の式に示すように、対象の全深度範囲を網羅することができる。
【数２】
2015522959.tif 000004
Ｂ）効率：各物体が唯１つのＤＯＦによって網羅され（例えば、唯１つの取り込み画像において合焦状態であり）、２つのＤＯＦ間に重なり合う部分がない場合。重なり合いを回避すると、限定された数のフレームを用いて大きなＤＯＦを取り込むことができる。例えば、ＤＯＦの交点は、以下の式に示すように、空集合であってよい。
【数３】
2015522959.tif 000005
完全性及び効率の基準を満たすと、複数のＤＯＦにおいて複数の画像を用いて、シーンにおける対象の全物体を取り込むことができる。
【００６８】
画像を取り込み、完全性及び効率基準を満足するセンサ位置の決定は、薄肉レンズの式から開始して導き出すことができる。
【数４】
2015522959.tif 000006
上式において、ｚは、シーンにおける物体までの距離であり、上述したように、ｆは、焦点距離であり、ｖは、レンズからイメージセンサまでの距離である。式（４）は、逆数領域で表すことができる。
【数５】
2015522959.tif 000007
【００６９】
式（５）を用いて、式（１）からの被写界深度は、以下の１対の式を用いて逆数領域において導き出すことができる。
【数６】
2015522959.tif 000008
上式において、上述したように、ｃは、錯乱円であり、Ａは、カメラの開口である。
【００７０】
上述した完全性及び効率基準双方を満足するサンプリングの場合、取り込まれた様々なＤＯＦは、連続的であって重なり合いがなくてよい。従って、サンプリング間のｖの変化は、以下の式を満足することができる。
【数７】
2015522959.tif 000009
【００７１】
式（７）は、逆数領域から次のように書き換えることができる。
【数８】
2015522959.tif 000010
上式において、ｋ＝ｃ／Ａである。距離ｖ１及びｖ２が焦点距離ｆに近い場合、式（８）は、次のように書き換えることができる。
【数９】
2015522959.tif 000011
上式は、また、次のように書き換えることができる。
【数１０】
2015522959.tif 000012
【００７２】
式１０において分かるように、距離ｖ１及びｖ２が、ｆに近い場合、被写界深度をＤＯＦ１からＤＯＦ２に変えるｖ１からｖ２へのセンサの変位は、画素サイズｃ及びレンズＦ値Ｎに関係する。固定間隔Δtで（例えば、一定のフレームレートで）フレームが取り込まれる、ある実施形態では、イメージセンサの掃引は、次のように、一定の速さΔｖで実行することができる。
【数１１】
2015522959.tif 000013
上式において、Ｐは、フレームレートである（例えば、単位時間当りのフレーム数）。留意すべきことは、一定のフレームレートＰが与えられると、総被写界深度は、錯乱円ｃ（又は画素サイズｃ）、カメラＦ値Ｎ、及びフレームレートＰに依存する一定の速さΔｖ／Δｔでイメージセンサを動かすことによって、完全性及び効率基準を満たすために取り込むことができることを、式（１１）が示すことである。従って、センサは、一組の撮像装置パラメータ（例えば、レンズＦ値、開口、画素サイズ等）が与えられると、完全な及び効率的な被写界深度サンプリングのために一定のフレームレートＰでフレームを取り込みつつ、一定の速さで動かすことができる。
【００７３】
図１２は、ある実施形態に従って、一定の速さでイメージセンサ１００４を動かしつつ、（上記において定義されたように）完全に及び効率的にサンプリングされた様々な被写界深度ＤＯＦ１乃至ＤＯＦ４の例を示す。図１２に示すように、各ＤＯＦは、連続的であり、隣接するＤＯＦは、隣接するＤＯＦと重なり合うことがない。
【００７４】
ある実施形態においては、画像を取り込むために用いられるハードウェアの制限により、様々な被写界深度を完全に及び効率的にサンプリングできないことがある。そのような場合、取り込まれる様々なＤＯＦが、完全に及び実質的に効率的にサンプリングされるような重なり合うＤＯＦが存在する（例えば、重なり合いが存在するが、その重なり合いが各ＤＯＦのサイズと比較して小さい）ことがある。逆に、取り込まれる様々なＤＯＦが、効率的に及び実質的に完全にサンプリングされるような隣接するＤＯＦ間の間隙が存在する（例えば、重なり合いがなく、また、ＤＯＦ間の間隙が各ＤＯＦのサイズと比較して小さい）ことがある。
【００７５】
画像が一定のフレームレートで取り込まれないある実施形態においては、イメージセンサを動かす速さを演算するよりもむしろ、画像を取り込んで所望の被写界深度を取り込む位置を演算することができる。一例として、イメージセンサを、与えられた線速度（例えば、平均速さ）で動かせる場合、式（１１）は、その線速度が与えられると、画像を取り込むフレームレートについて解くことができる。他の例として、画像を取り込みつつ、イメージセンサを特定の位置に駆動し停止することができ、そして、画像が各所望の被写界深度について取り込まれるまで、次の位置に動かして、次の画像を取り込むことができる。
【００７６】
（イメージセンサを動かす以外の）様々な手法を用いて、フレームが取り込まれる被写界深度を変えることができる。例えば、ある実施形態においては、カメラのレンズは、イメージセンサ及びレンズの光軸に沿って、カメラのイメージセンサを基準として動かすことができ、また、画像は、レンズの様々な位置で取り込み、これによって、様々な画像における被写界深度を変えることができる。
【００７７】
更に又は他の選択肢として、追加の光学素子の位置は、イメージセンサ及び／又はカメラのレンズを基準として変えることができ、また、画像は、追加の光学素子の様々な位置で取り込むことができる。一例において、追加の光学素子は、主画像取り込みレンズ（又はレンズグループ）に加えて、１つ又は複数の追加のレンズであってよく、また、画像は、追加のレンズ（１つ又は複数）の様々な位置で取り込むことができる。
【００７８】
他の例において、追加の光学素子は、光がシーンからイメージセンサに進む経路の長さを変えることができる光学素子であってよい。特に、追加の光学素子には、レンズとイメージセンサとの間を進む光の経路に置かれた１つ又は複数のプリズム（及び／又は鏡）を含むことができるが、ここでは、１つ又は複数のプリズム（及び／又は鏡）を動かして、レンズからイメージセンサに光が進む経路長を長くして、これによって、レンズとイメージセンサとの間の距離（例えば、上式（４）に用いられるｖ）を効果的に変更することができる。
【００７９】
更に他の例では、追加の光学素子には、レンズとイメージセンサとの間を進む光の経路に置くことができる１つ又は複数の屈折率を備えた１つ又は複数の光学素子であって、シーンからイメージセンサに進む時、光の光路長を変え、これによって、レンズとイメージセンサとの間の距離（例えば、上式（４）に用いられるｖ）を効果的に変えることができる１つ又は複数の光学素子を含むことができる。留意すべきことは、上記２つの例では、追加の光学素子が、シーンとレンズとの間を進む光の経路に置かれる場合、これによって、シーンとイメージセンサとの間の距離（例えば、上式（４）に用いられるｚ）を効果的に変更することができることである。
【００８０】
更に又は他の選択肢として、カメラのレンズの焦点距離は、被写界深度を変えるために、変更することができ、また、画像は、レンズの様々な焦点距離で取り込むことができる。例えば、ある実施形態においては、カメラの焦点距離は、レンズに異なる量の電圧を印加することによって変えることができる焦点距離を有する液体レンズを用いて変更することができる。他の例において、ある実施形態においては、カメラの焦点距離は、様々なレンズ構成要素間の距離を調整して、複合レンズの焦点距離ｆを変更することができる複合レンズを用いて変えることができる。
【００８１】
更に又は他の選択肢として、カメラの開口は、被写界深度を変えるために変更することができ、また、画像は、様々な開口で取り込み、これによって様々な画像における被写界深度を変えることができる。例えば、カメラの開口絞り（例えば、ダイヤフラム）を用いて、カメラレンズの実効的な直径を変えることができる。本明細書に述べたように、開口の直径が変化すると、カメラの被写界深度を変化させることができる。
【００８２】
更に又は他の選択肢として、カメラとシーンとの間の距離は、被写界深度を変えるために変更でき、また、画像は、シーンからの様々な距離で取り込み、これによって様々な画像において被写界深度を変えることができる。例えば、シーン中のどの物体がカメラの被写界深度内にあるかを変えるために、カメラは、シーンに近づくように又はシーンから遠ざかるように動かすことができる。そのような例では、カメラ（例えば、イメージセンサ及びレンズ）は、（例えば、アクチュエータ、歯車、ネジ等を用いることによって）シーンに対して動かすことができる載物台に搭載してよい。他の例において、シーンは、カメラに対して動かすことができる載物台に搭載してよい。１つの特定の例では、本明細書に述べたメカニズムは、顕微鏡のシーンの様々な被写界深度を取り込むために、顕微鏡に用いることができる。
【００８３】
ある実施形態においては、カメラの他の幾つかの特性を変更しない状態で、被写界深度を変更するための単一の手法を用いることができる。例えば、連続画像を取り込む場合、イメージセンサとカメラのレンズとの間の距離は、変えることができ（例えば、イメージセンサ、レンズ、又は双方を動かすことによって）、これによって被写界深度を変更できる。そのような例では、レンズの焦点距離、カメラとシーンとの間の距離、及び開口は、実質的に同じ値に維持して、被写界深度に対する好ましくない変更を抑制することができる。
【００８４】
あるいは、被写界深度を変更するための上述した複数の手法は、被写界深度を変えるために組み合わせることができる。例えば、イメージセンサとレンズとの間の距離は、同時に、開口及び／又はレンズの焦点距離を変えつつ、変更できる。これによって、レンズ及び／又はイメージセンサだけを動かす場合に被写界深度の同一の変化に要求されるものより小さいレンズとイメージセンサとの間の距離の変化を用いて、被写界深度に対する変更を行うことができる。
【００８５】
図１３では、ある実施形態に従った、持続焦点体積から時空インデックスマップを演算するためのプロセスの例１３００を示す。プロセス１３００は、１３０２において、各フレームが異なる被写界深度で取り込まれた階層状のフレームが含まれる持続焦点体積を受信することによって開始できる。ある実施形態においては、持続焦点体積のフレームが取り込まれた被写界深度は、上述した効率及び完全性の基準を満たすことができる。
【００８６】
１３０４では、それぞれ１３０６及び１３０８における時空合焦画像及び時空インデックスマップの演算に先立って、画像安定化を持続焦点体積に対して実施することができる。ある実施形態においては、画像安定化のための任意の適切な手法を用いてよい。
【００８７】
図１４は、ある実施形態に従った画像安定化を実施するためのプロセスの例１４００を示す図である。１４０２において、持続焦点体積を構成する階層状のフレームを受取り、各対の連続フレーム間の推定オプティカルフローを１４０４において演算することができる。１４０６において、各フレーム対間の一括アフィン変換は、各対の連続フレーム間の推定オプティカルフローに基づき計算することができる。１４０８において、受け取られた階層状のフレームの全フレームは、一括推定アフィン変換を用いて、階層状のフレーム中のフレーム（例えば、最初のフレーム、中央フレーム、最終フレーム、又はいずれか他の適切なフレーム）に揃えることができる。ある実施形態においては、このことを用いて、全体的なカメラの動き（例えば、手ブレ等）がある場合、ある期間に渡り取り込まれた画像を安定化できる。
【００８８】
図１３に戻ると、１３０６において、時空合焦画像を演算することができる。上述したように、時空合焦画像は、持続焦点体積から計算されたより深い被写界深度（ＥＤＯＦ）画像であってよい。ある実施形態においては、任意の適切な手法を用いて、持続焦点体積から時空合焦画像を演算することができる。
【００８９】
図１５は、１３０２において受信された持続焦点体積から時空合焦画像を演算するためのプロセスの例１５００を示す図である。ある実施形態においては、時空合焦画像は、１３０４において画像安定化処理を受けた持続焦点体積を構成する階層状のフレームから演算することができる。１５０２において、シーンの各位置（ｘ，ｙ）において、局所分散σ２（ｘ，ｙ，ｄ）は、各層ｄの点（ｘ，ｙ）において（即ち、ｄ＝１乃至ｄ＝ｎについて）演算することができる。そして、この局所分散σ２（ｘ，ｙ，ｄ）は、時空合焦画像を演算する際、（ｘ，ｙ）の値の重み付けに用いることができる。ある実施形態においては、より大きい加重値を有する点（ｘ，ｙ）により近い画素の場合、局所分散は、隣接画素に基づくことができる。例えば、局所分散は、半径７のガウスカーネル及び合計約２１の隣接画素を用いて、演算することができる。留意すべきことは、任意の適切な手法（１つ又は複数）を用いて局所分散を演算してよく、また、用いる特定の手法は、カメラのパラメータ（例えば、画素サイズ、開口等）に基づくことができることである。
【００９０】
１５０４において、時空合焦画像における各点（ｘ，ｙ）の強度Ｇは、以下の通り計算できる。
【数１２】
2015522959.tif 000014
上式において、ｆ（ｘ，ｙ，ｄ）は、フレームｄにおける点（ｘ，ｙ）での強度値であり、σ２（ｘ，ｙ，ｄ）は、持続焦点体積における点（ｘ，ｙ，ｄ）の局所分散である。各点（ｘ，ｙ）における時空合焦画像について演算された値を用いて、時空合焦画像Ｇを生成できる。
【００９１】
図１３に戻ると、時空インデックスマップは、１３０６で演算された時空合焦画像に部分的に基づいて、１３０８において計算することができる。任意の適切な手法を用いて、時空インデックスマップ（又は三次元時空インデックスマップ）を演算することができる。例えば、信頼度が高いが疎な深度マップは、持続焦点体積Ｖ及び時空合焦インデックスマップＧに基づき計算することができる。そして、信頼度が高いが疎な深度マップは、平滑化して埋めることができ、また、最終的な深度マップを時空インデックスマップとして出力することができる。信頼度が高いが疎な深度マップから深度マップを構築する更に詳細な例については、図１６乃至１９に関連して後述する。
【００９２】
他の例として、欲張り探索を実施して、持続焦点体積Ｖの各層における各点について合焦点及び深度を決定することができる。信頼度が高いが疎な深度マップから深度マップを構築する更に詳細な例については、図２０に関連して後述する。
【００９３】
更に他の例として、上述したように、機械学習プロセスを用いて、持続焦点体積Ｖにおける各点について合焦深度を識別することができる。特に、例えば、既知の深度マップを用いて、持続焦点体積Ｖにおける各画素に対応する合焦状態の画素である隣接画素を識別するための分類モデルを取り扱うことができる。時空マップインデックスを演算するための分類モデルの取り扱い及び使用の更に詳細な例については、図２１に関連して後述する。
【００９４】
また更なる他の例として、オプティカルフロー推定プロセスを用いて、持続焦点体積Ｖにおける各点について合焦深度を識別できる。特に、例えば、フレーム間のオプティカルフローを演算することができ、また、持続焦点体積Ｖにおける各点について、軌道を演算することができる。軌道に沿う最も鮮鋭な点は、計算され、時空インデックスマップに用いることができる。時空インデックスマップを演算するためのオプティカルフロー推定プロセスを用いる更に詳細な例については、図２２に関連して後述する。
【００９５】
図１６において、ある実施形態に従った、時空インデックスマップを演算するためのプロセスの例１６００を示す。１６０２において、時空合焦画像及び持続焦点体積Ｖの領域を縮小するために用いることができる縮尺レベルｊは、１に設定することができる。ある実施形態においては、所定数の縮尺されたバージョンの持続焦点体積Ｖ及び時空合焦画像を生成することができる。同一縮尺ｊのバージョンを比較して、縮尺ｊの深度マップを生成できる。例えば、４つのバージョンの持続焦点体積Ｖ及び４つのバージョンの時空合焦画像を生成して、４つの縮尺された深度マップの生成に用いることができる。図１９は、４つの異なる縮尺における４つのバージョン１９０２乃至１９０８の持続焦点体積及び時空合焦画像１９１２乃至１９１８の例を示す。図１９の例において、同一縮尺の縮尺された持続焦点体積及び時空合焦画像は、各縮尺において深度マップ１９２２乃至１９２８の生成に用いる。そのような例では、深度マップ１９２２乃至１９２８は、本明細書に述べた手法等の任意の適切な手法を用いて、時空インデックスマップ１９３０の生成に用いることができる。
【００９６】
図１６に戻ると、１６０４において持続焦点体積Ｖを検索し及び／又は１６０６において時空合焦画像Ｇを検索できる。ある実施形態においては、持続焦点体積Ｖ（本明細書では体積Ｖとも称する）及び時空合焦画像Ｇ（本明細書では画像Ｇとも称する）は、カメラのメモリ、コンピュータのメモリ、及び／又はサーバのメモリに記憶することができる。１６０８において、体積Ｖ及び画像Ｇの内の一つ又は双方は、縮尺レベルｊだけ縮小して、縮小された画像を提供することができる。縮小処理は、任意の適切な手法を用いて実施してよい。１つの例として、体積Ｖ及び画像Ｇを構成するフレーム（又は画像）は、各縮尺された画像の面積が縮尺レベルｊだけ減少されるように、ビニング法を用いて縮小できる。他の例として、体積Ｖ及び画像Ｇを構成するフレームは、各縮尺された画像の面積が縮尺レベルｊだけ減少されるように、バイキュービック補間を用いて縮小できる。
【００９７】
１６１０において、縮尺レベルｊで縮尺された画像Ｇにおける位置は、縮尺レベルｊで縮尺された体積Ｖの各フレームにおける位置と比較することができ、また、同一位置において整合面積を備えたフレームを求めることができる。この比較は、何らかの適切な方法で実施することができ、例えば、ある実施形態においては、画像Ｇにおける各画素位置（ｘ，ｙ）について、画像Ｇ中の同じ断片に整合する周辺断片を有する体積Ｖ中に層ｄにおけるフレームを求めることができる。そのような実施形態において、断片サイズは、異なる縮尺の各々における画像について特定のサイズに固定することができる。例えば、断片には、位置（ｘ，ｙ）における画素を含む５×５の画素グループを含むことができる。他の例として、断片には、位置（ｘ，ｙ）における画素及び画素位置（ｘ，ｙ）における画素に隣り合った８つの画素を含むことができる。ある実施形態においては、体積Ｖの層ｄからの断片の画像データと画像Ｇからの断片の画像データとの間において類似性スコアを演算することができる。類似性スコアがしきい値より大きい場合、断片は、対応するものであると見なすことができる。任意の適切な類似性スコア（例えば、断片間の相互相関値、断片間の正規化相互相関値、断片間の複数の差異、断片間の（マハラノビス距離等の）距離メトリック等）は、ある実施形態においては用いることができる。
【００９８】
１６１２において、深度マップは、１６１０における比較の結果に基づき、縮尺レベルｊについて記憶することができる。ある実施形態においては、深度マップには、縮尺ｊにおいて画像Ｇと体積Ｖとの間に対応が見出された各位置（ｘ，ｙ）における深度インデックス値ｄを含むことができる。深度マップが縮尺ｊについて完成すると、プロセス１６００は、１６１４に進むことができる。
【００９９】
１６１４において、縮尺レベルｊは、２倍にでき、ｊ＝２＊ｊとなる。１６１６において、ｍを計算対象の最大換算係数とすると、ｊがｍより大きいかどうか判断することができる。ｊがｍより大きい場合（１６１６において「はい」）、プロセス１６００は、１６１８に進むことができる。そうでない場合、ｊがｍ以下である場合（１６１６において「いいえ」）、プロセス１６００は、１６０４及び／又は１６０６に戻ることができる。他の選択肢として、いずれか他の適切な手法を用いて、いつ満足な数の縮尺画像が生成されたか判断することができる。
【０１００】
１６１８において、所定数の縮尺に対する所定数の深度マップが計算された場合、各縮尺の深度マップは、合成して、持続焦点体積Ｖについての時空インデックスマップを生成することができる。この合成は、何らかの適切な方法で実施することができる。
【０１０１】
例えば、図１７は、ある実施形態に従った、プロセス１６００を用いて生成された深度マップを合成するためのプロセスの例１７００を示す。プロセス１７００は、プロセス１６００によって生成された各縮尺に対する深度マップを検索することによって、１７０２において開始できる。１７０４において、疎深度マップは、１７０２において検索された深度マップから構築できる。そのような疎深度マップは、任意の適切な手法を用いて生成してよい。例えば、ある実施形態においては、シーン内の各位置について、インデックス値ｄを様々な縮尺間で比較することができ、また、その位置についての深度は、この比較に基づき設定することができる。特に、例えば、シーンにおける特定の位置について、各深度マップからのインデックスｄは、他の深度マップ各々に対するその位置のインデックスｄと比較できる。深度マップ間のインデックスの差異は、演算でき、また、所定の最大差異と比較できる。最大差異は、任意の適切な値であってよく、また、持続焦点体積におけるフレームの数に依存することができる。例えば、最大差異は、２つのフレームでありうる。そのような例では、シーンにおける位置での推定深度の最大差異が２フレームの離間より大きい場合、その位置における深度は、信頼できないと見なすことができる。他方、シーンにおける位置での推定深度間の最大差異が、２フレームの離間以下である場合、その位置での深度は、信頼度が高いと見なすことができる。
【０１０２】
深度の信頼度が高いと見なされる位置では、その位置の最終的な深度は、各縮尺レベルについて深度マップからのその位置での推定深度を平均することによって求めることができる。ある実施形態においては、平均されたインデックスは、最も近くのフレームの深度に丸めることができる。例えば、平均がフレーム間の深度になる場合、その位置での深度は、最も近くのフレームに丸めることができる。これらのインデックス値を用いて、疎深度マップを生成できる。ある実施形態においては、様々な深度マップを用いるインデックス間の差異が最大差異より大きい位置では、疎深度マップにおける深度情報は対応付けしないままでよい。
【０１０３】
１７０６において、１７０４において構築された疎深度マップは、平滑化でき、また、信頼できない部分（例えば、差異が最大差異より大きかった部分）は、時空合焦画像Ｇに基づき埋めることができる。この平滑化及び埋め込みは、何らかの適切な方法で実施してよい。
【０１０４】
例えば、図１８は、ある実施形態に従った、疎深度マップを平滑化し穴埋めするためのプロセスの例１８００を示す。１８０２において、時空合焦画像Ｇは、検索することができ、また、画像Ｇは、１８０４において、色及びテクスチャに基づき、セグメント化することができる。任意の適切な手法を用いて、画像Ｇをセグメント化してよい。例えば、グラフカットアルゴリズムを用いて、色及びテクスチャに基づき、時空合焦画像Ｇを同じ物体に対応する可能性があるセグメントにセグメント化することができる。特に、例えば、セグメントは、時空合焦画像Ｇにおける物体の色及びテクスチャに基づき求めることができる。１８０６において、１７０４において構築された疎深度マップを検索して平滑化及び穴埋めの実行に用いることができる。
【０１０５】
１８０８では、１８０４で識別された各セグメントにおいて、疎深度マップ及び時空合焦画像Ｇに基づき、平面をセグメントに適合させることができる。この平面適合は、何らかの適切な方法で実施することができる。例えば、ある実施形態においては、各セグメントには、信頼度が高い画素（例えば、特定の深度が対応付けられた画素）及び信頼できない画素（例えば、特定の深度が対応付けられなかった画素）を含むことができる。平面は、セグメント内において任意の信頼度が高い画素を用いて、適合させることができる。そのような実施形態では、境界画素（例えば、セグメント端部の画素）は、平面適合を実施する際は、除外してよい。
【０１０６】
１８１０において、信頼度が高い画素に適合する平面が、緊密な適合かどうかを判断することができる。平面が緊密な適合であるかどうかを判断するには、任意の適切な手法を用いてよい。例えば、ある実施形態においては、１８０８においてセグメントについて計算された平面とそのセグメントにおける信頼度が高い深度各々との間の誤差を求めることができる。あらゆる誤差がしきい値を超える場合、セグメント全体は、信頼できないものとして分類することができる。例えば、平面から決定された深度と信頼度が高い画素の深度との間の差異が２より大きい場合、セグメント全体は、信頼できないものとして分類することができる。他の例として、特定のセグメントにおける信頼度が高い画素の数がしきい値（例えば、５画素）未満である場合、セグメント全体は、信頼できないものとして分類することができる。平面の適合が信頼できない（１８１０において「いいえ」）と判断されると、プロセス１８００は、１８１２に進み、そこで、セグメントの信頼できない部分を空白のままにしておくことができる。そうでない場合、平面の適合が信頼度が高い（１８１０において「いいえ」）と判断されると、プロセス１８００は、１８１４に進むことができる。
【０１０７】
１８１４において、信頼できないと以前判断された位置におけるセグメントの深度は、１８０８で計算された平面に基づき、埋めることができる。この埋め込みは、何らかの適切な方法で実施することができる。例えば、ある実施形態においては、信頼度が高いと以前見なされた画素は、各セグメントの深度値を更に均一にするために、１８０８で計算された平面に基づき、１８１４において再度値を割り当てることができる。
【０１０８】
１８１６において、任意の残りの空白領域（例えば、信頼できないセグメント及びセグメント境界における信頼できない画素）は、信頼度が高い隣接画素及び／又は１８１４において決定された埋められた画素の深度値からの補間処理に基づき、埋めることができる。例えば、深度値を備えた最大数の近隣を有する信頼できない画素の深度値は、最初に補間することができる。そのような例では、穴は、信頼度が高い又は補間された深度値を有する最も近くの近隣を用いて、穴端部から中心側へ値を補間することによって埋めることができる。他の例において、穴は、信頼度が高い深度値を有する各方向の最も近くの近隣から補間することによって埋めることができる。
【０１０９】
図１７に戻ると、１７０８において、時空インデックスマップは、１７０６で実施された平滑化及び穴埋めによって生成された深度マップに基づき出力することができる。
【０１１０】
ある実施形態においては、体積及び画像を縮尺して、一定の断片サイズを用いて縮尺バージョンを比較するよりもむしろ、同様なプロセスは、体積及び画像を一定のサイズに維持し、異なる断片サイズを用いて比較することができること以外に用いることができる。ある実施形態においては、縮尺及び異なる断片サイズの使用の組合せを用いて、時空インデックスマップを生成することができる。
【０１１１】
図２０において、ある実施形態に従った、持続焦点体積における指定された点に対応する持続焦点体積における合焦点を決定するためのプロセスの例２０００を示す。２００２において、点Ｐ０を選択することができるが、ここで、Ｐ０は、持続焦点体積Ｖにおいて座標（ｘ，ｙ，ｄ）を有する。特に、例えば、点Ｐ０は、画素位置（ｘ，ｙ）と、点Ｐ０が取り込まれた被写界深度に対応するフレーム位置ｄとによって記述できる。
【０１１２】
２００４において、点Ｐは、Ｐ０に設定することができ、また、２００６では、時間方向に（点Ｐを含み）点Ｐから延在する高さｈ及び半径ｒの持続焦点体積Ｖ内において三次元円錐体Ｃを定義することができる。そのような三次元円錐体は、持続焦点体積の時間軸に垂直であるように定義することができる。ある実施形態においては、２つの円錐体Ｃ１及びＣ２を定義することができるが、この場合、Ｃ１及びＣ２は、２つの円錐体の内の１つがＰから逆方向に延在することを除き、円錐体Ｃと同様である。ある実施形態においては、円錐体Ｃ（又は円錐体Ｃ１及びＣ２）は、点Ｐから持続焦点体積における最初（又は最後）のフレームに延在することができる。
【０１１３】
２００８において、点Ｑは、円錐体Ｃ（又は円錐体Ｃ１及びＣ２）内に存在でき、この場合、鮮鋭度が最大になる。２０１０では、点Ｐ及び点Ｑが持続焦点体積Ｖにおける同じ点であるかどうか判断することができる。例えば、点Ｐ及び点Ｑが持続焦点体積Ｖにおいて同じ座標（ｘ，ｙ，ｄ）を有するかどうか判断することができる。点Ｐが点Ｑに等しくない（２０１０において「いいえ」）場合、プロセス２０００は、２０１２に進み、そこで、点Ｐは、点Ｑに等しく設定することができ、そして、プロセス２０００は、２００６に戻り、新しく設定された点Ｐを中心とする新しい円錐体Ｃを描くことができる。そうでない場合、点Ｐが点Ｑに等しい（２０１０において「はい」）場合、プロセス２０００は、２０１４に進むことができる。
【０１１４】
２０１４において、点Ｐ０のインデックスは、点Ｐが点Ｑに等しいと判断された時、点Ｑが位置する深度に設定することができる。
【０１１５】
プロセス２０００は、持続焦点体積Ｖ内において各点に対して繰り返すことができ、また、それらの結果を用いて、三次元時空インデックスマップを構築できる。
【０１１６】
本明細書に用いる用語「円錐体」は、円錐体を近似するが、断面間の離散的な段を含む形状（例えば、円錐体の近似）を意味することができることに留意されたい。
【０１１７】
図２１は、ある実施形態に従った、機械学習手法を用いて、持続焦点体積における点を合焦点又は非合焦点として分類するためのプロセスの例２１００を示す。プロセス２１００は、２１０２乃至２１０８において分類モデルを取り扱うことによって開始でき、そして、取り扱われた分類モデルを用いて、２１１０乃至２１１８において、持続焦点体積中に１つ又は複数の合焦点を求めることができる。
【０１１８】
２１０２において、所定数の三次元持続焦点体積を検索することができるが、この場合、焦点体積内における物体の位置（例えば、各深度での（ｘ，ｙ）位置）及び各物体の合焦層は、既知である。ある実施形態においては、検索された持続焦点体積は、合成された持続焦点体積であってよい。他の選択肢として、検索された持続焦点体積の物体位置及び合焦深度は、本明細書に述べた手法等の任意の適切な手法に基づき知ることができ及び／又はユーザによって特定できる。
【０１１９】
２１０４において、円錐体は、異なる縮尺での持続焦点体積内の各合焦点周辺から抽出することができる（例えば、持続焦点体積は、図１６に関連して述べたのと同様に縮尺することができる）。シーンにおける特定の合焦点の円錐体の頂点は、シーンにおける物体の合焦点にあってよく、また、円錐体は、持続焦点体積の層を通って、物体の合焦状態がより悪い点側に延在することができる。例えば、円錐体は、物体が合焦状態である点から、持続焦点体積を通って、物体の合焦状態がより悪くなる方向に延在することができる（シーンにおける静止物体の場合、円錐体の軸が時間次元において延在することができること及びシーンにおける動く物体の場合、円錐体の軸は、時間及び空間次元において延在することができることに留意されたい）。合焦点を囲むこれら円錐体の特性は、プロセス２１００の分類モデルを取り扱いする際、正のサンプルとして用いることができる。
【０１２０】
２１０６において、円錐体は、異なる縮尺での持続焦点体積内の各非合焦点周辺で抽出することができる（例えば、持続焦点体積は、図１６に関連して述べたのと同様に縮尺することができる）。シーンにおける特定の非合焦点の円錐体の頂点は、シーンにおける特定の物体の非合焦点にあってよく、また、円錐体は、持続焦点体積の層を通って、物体の合焦状態が更に悪くなる点側に又は物体の合焦状態がより良くなる点側に延在することができる。例えば、円錐体は、持続焦点体積を通って、物体が非合焦状態である点から、物体の合焦の程度が変わる方向に延在することができる（シーンにおける静止物体の場合、円錐体の軸が時間次元において延在することができること、及び、シーンにおける動く物体の場合、円錐体の軸は、時間及び空間次元において延在することができることに留意されたい）。非合焦点を囲むこれら円錐体の特性は、プロセス２１００の分類モデルを取り扱いする際、負のサンプルとして用いることができる。
【０１２１】
２１０８において、分類モデルは、２１０４及び２１０６において、２１０２で検索された持続焦点体積から導き出された正及び負のサンプルを用いて取り扱うことができる。分類モデルを取り扱うために、任意の適切な手法を用いてよい。例えば、ある実施形態においては、既知の深度マップを備えた持続焦点体積の試験セットを用いて、分類モデルの試験を行い、そして、分類モデルが、試験持続焦点体積の既知の深度マップを正常に複製することができるかを判断することによって、分類モデルが充分に取り扱われたかどうか判断してよい。分類モデルが、試験持続焦点体積のセットについて深度マップを正常に再生できない場合、分類モデルは、追加の持続焦点体積を用いて取り扱ってよい。
【０１２２】
分類モデルが、２１０２乃至２１０８において取り扱いされた後、取扱分類モデルは、２１１０乃至２１１８において、持続焦点体積Ｖにおける点Ｐ０に対応する合焦点を特定するために用いることができる。２１１０では、点Ｐ０は、持続焦点体積Ｖ内において選択することができる。２１１２では、取扱分類モデルを用いて、時間方向において、指定された近傍サイズに基づき、Ｐ０の近傍にある隣接画素を分類することができる。ある実施形態においては、近傍サイズは、所定のサイズにおいて開始してよい。例えば、隣接サイズは、時間次元において前方及び後方に点Ｐ０から延在し、また、円錐体が通過する各層に対して１画素の割合で膨張する円錐体であってよい。初期の近傍サイズとしては、任意の適切な次元を用いてよい。
【０１２３】
２１１４において、分類モデルが、２１１２において検索された近傍に正の近隣を見つけたかどうか判断することができる。正の近隣は、何らかの適切な方法で決定でおこなうことができる。例えば、ある実施形態においては、正の近隣は、分類モデルによって合焦画素を取り囲む円錐体の形状と同様であると決定される周辺の円錐体を有する画素である。正の近隣が存在しない場合（２１１４において「いいえ」）、プロセス２１００は、２１１６に進み、そこで、近傍サイズを増大させることができ、そして、プロセス２１００は、２１１２に戻ることができる。例えば、円錐体が持続焦点体積Ｖの層を通って動く際に膨張する割合は、大きくすることができる。そうでない場合、正の近隣が存在する場合（２１１４において「はい」）、プロセス２１００は、２１１８において、点Ｐ０に対するインデックス深度として正の近隣の深度を設定することができる。
【０１２４】
ある実施形態においては、分類フェーズでは、持続焦点体積内の各点に対して実施して、三次元時空インデックスマップを生成することができる。そのような三次元時空インデックスマップは、上述したように、持続焦点体積における各点の合焦層を示すために用いることができる。
【０１２５】
図２２は、ある実施形態に従う、持続焦点体積における推定オプティカルフローを用いて持続焦点体積内の点Ｐ０における物体の合焦点に対応する層を特定するためのプロセスの例２２００を示す。プロセス２２００は、１つの画像から次の画像への変化をマッピングすることができる持続焦点体積内の連続フレームの各対間のオプティカルフローを演算することによって２２０２において開始できる。連続フレーム間のオプティカルフローを演算するために、任意の適切な手法を用いてよい。例えば、オプティカルフローアルゴリズムを用いて、連続フレーム間のオプティカルフローを決定することができる。他の例として、ブロックマッチング手法を連続フレーム間に用いて、オプティカルフローを演算できる。更なる例として、持続焦点体積にｎフレームある場合、ｎ−１オプティカルフローマップを生成することができるが、この場合、各マップは、如何にして、１つのフレームの画素が次のフレームに対して動くかを記述できる。
【０１２６】
２２０４において、軌道は、持続焦点体積を通過する各画素について求めることができる。ある実施形態においては、軌道Ｔ＝｛ｐ１，ｐ２，ｐ３，…，ｐｍ｝は、持続焦点体積における各点Ｐ０について決定することができるが、この場合、ｐｋは、点Ｐ０の軌道に含まれる層ｋにおける点（ｘ，ｙ）を特定する。更に又は他の選択肢として、点Ｐ０が他の点の軌道に含まれる場合、Ｐ０の軌道は、Ｐ０の新しい軌道を決定することなく他の点の軌道から複製できる。
【０１２７】
２２０６において、合焦インデックス層は、Ｐ０を通過する軌道Ｔに従うことによって、また、その層における軌道中の点が軌道Ｔに沿って最も鮮鋭な点である層を見出すことによって、点Ｐ０について求めることができる。ある実施形態においては、プロセス１６００及び／又はプロセス２１００に用いられる鮮鋭度測定法は、軌道Ｔにおけるどの点が最も鮮鋭な点であるかを判断するために用いることができる。
【０１２８】
プロセス２２００は、持続焦点体積における各点について繰り返すことができ、また、各点についての結果を用いて、三次元時空インデックスマップを生成することができる。そのような三次元時空インデックスマップは、上述したように、持続焦点体積における各点に対する合焦層を示すために用いることができる。
【０１２９】
本明細書に述べた手法について、時空インデックスマップ（又は三次元時空インデックスマップ）の構築に関連して説明したが、本手法は、時空インデックスマップが前もって計算されていない場合、持続焦点体積からからの画像を再合焦するために必要に応じて用いることができる。
【０１３０】
本明細書に述べたメカニズムは、様々な用途に用いることができる。例えば、シーンの持続焦点体積を取り込むことができ、また、持続焦点体積からの画像をユーザに表示することができる。ユーザは、焦点を合わせる画像中の点を選択でき、そして、ユーザによって選択された点は、その画像を表示することによって、その最も鮮鋭な合焦状態にすることができるが、この場合、その点は、持続焦点体積を構成する画像中で最も鮮鋭な合焦状態である。場合によっては、点が選択された持続焦点体積の現画像と、点が最も鮮鋭な合焦状態である画像との間の中間画像をユーザに表示して、ユーザに対して再合焦視覚効果を提供することができる。
【０１３１】
他の例において、時空全合焦画像は、ユーザに表示することができる。場合によっては、時空全合焦画像は、拡張被写界深度（ＥＤＯＦ）画像として提示することができる。そのような例では、持続焦点体積全体のシーンにおける各点の加重和は、時間次元に渡って平均することができる。この手法を用いて、図１５に関連して上述したように、シーンにおける各点の最も鮮鋭な位置は、各点がシーン全体において合焦状態である場合、組み合わせて時空合焦画像を形成できる。これによって、シーンにおける各点が合焦状態で出現する場合、模擬画像を単一の画像として生成できる。
【０１３２】
更に他の例において、画像の選択された領域（又は複数の領域）が合焦状態で示され、他方、画像の残りが焦点が合っていない場合、本明細書に述べたメカニズムを用いて、選択的な焦点画像を生成することができる。画像の一部が合焦状態であり、一方、画像の残りが焦点が合っていない画像は、合成被写界深度画像又はティルトシフト画像と称されることがある。そのような例では、シーンの持続焦点体積は、取り込むことができ、また、持続焦点体積からの画像は、ユーザに表示することができる。ユーザは、合焦状態で表示するシーンの部分を選択することができる。ユーザによって選択された部分が最も鮮鋭な合焦状態である場合、持続焦点体積は、解析して、持続焦点体積からの画像（又は複数の画像）を決定することができる。持続焦点体積は、更に、解析して画像（又は複数の画像）を決定することができるが、この場合、シーンの残り（例えば、ユーザによって選択されないシーンの部分）は、非合焦（又は最も鮮鋭でない）状態である。シーンの選択された部分は、合焦状態でユーザに表示することができ、また、選択されなかった部分は、ユーザに非合焦点状態で表示することができる。
【０１３３】
更に他の例において、映像は、映像のフレームを組み合わせて持続焦点体積にできる場合、本明細書に述べたメカニズムを用いて取り込むことができる。これによって、ユーザは、焦点を合わせるべき映像の任意の点を選択することができる。
【０１３４】
従って、画像において対話式再合焦を提供するためのシステム、方法、及び媒体を提供する。
【０１３５】
ある実施形態においては、任意の適切なコンピュータ可読媒体は、本明細書に述べた機能及び／又はプロセスを実施するための命令を記憶するために用いることができる。例えば、ある実施形態においては、コンピュータ可読媒体は、一時的又は非一時的であってよい。例えば、非一時的コンピュータ可読媒体には、磁気媒体（例えば、ハードディスク、フロッピー（登録商標）ディスク等）、光学媒体（例えば、コンパクトディスク、デジタルビデオディスク、ブルーレイディスク等）、半導体媒体（例えば、フラッシュメモリ、電気的にプログラム可能な読み出し専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラム可能読取り専用メモリ（ＥＥＰＲＯＭ）等）、一時的でない又は送信時永続性の何らかの様相が有る任意の適切な媒体及び／又は任意の適切な有形の媒体等の媒体を含むことができる。他の例として、一時的コンピュータ可読媒体には、ネットワーク、線路、配線、光ファイバ、回路、一時的及び送信時永続性の何らかの様相が無い任意の適切な媒体及び／又は任意の適切な無形の媒体における信号を含むことができる。
【０１３６】
本明細書に用いる用語「メカニズム」は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の適切な組合せを包含することができることに留意されたい。
【０１３７】
図１、１３乃至１８、及び２０乃至２２のプロセスの上述したステップは、図において示し述べた順番又は順序に制限されない任意の順番又は順序で実行又は実施することができることを理解されたい。更に、図１、１３乃至１８、及び２０乃至２２のプロセスの上述したステップの幾つかは、適宜実質的に同時にもしくは並行に実行又は実施して、待ち時間及び処理時間を低減することができる。
【０１３８】
本発明について、上記例示の実施形態において説明し記述したが、本開示は、一例としてのみ行ったということ、また、本発明の実現の詳細内容に関する数多くの変更は、後述の請求項によってのみ限定される本発明の精神及び範囲から逸脱することなく、行うことができることを理解されたい。開示された実施形態の特徴は、様々に組み合わせ再構成することができる。
【図１】
2015522959.tif 000015
【図５】
2015522959.tif 000016
【図６】
2015522959.tif 000017
【図１０】
2015522959.tif 000018
【図１３】
2015522959.tif 000019
【図１４】
2015522959.tif 000020
【図１５】
2015522959.tif 000021
【図１６】
2015522959.tif 000022
【図１７】
2015522959.tif 000023
【図１８】
2015522959.tif 000024
【図２０】
2015522959.tif 000025
【図２１】
2015522959.tif 000026
【図２２】
2015522959.tif 000027
【図２】
2015522959.tif 000028
【図３】
2015522959.tif 000029
【図４】
2015522959.tif 000030
【図７】
2015522959.tif 000031
【図８】
2015522959.tif 000032
【図９】
2015522959.tif 000033
【図１１】
2015522959.tif 000034
【図１２】
2015522959.tif 000035
【図１９】
2015522959.tif 000036
【手続補正書】
【提出日】平成27年2月2日(2015.2.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
対話式再合焦を提供するためのシステムであって、
レンズと、
イメージセンサと、
ハードウェアプロセッサと、
を含み、
前記ハードウェアプロセッサは、
前記イメージセンサに複数の画像を所定期間の時間に渡って取り込ませることであって、前記複数の画像は、複数の異なる時点におけるシーンを表すことと、
少なくとも一対の前記複数の画像間の被写界深度を変更することと、
前記複数の画像を連結して持続焦点体積を生成することと、
前記持続焦点体積に基づき、前記複数の各画像から合焦部分を表す時空合焦画像を演算することと、
前記持続焦点体積及び前記時空合焦画像に基づき、前記複数の画像の中から前記シーンの位置について複数の合焦画像を特定する時空インデックスマップを演算することと、
を実行するように構成されていることを特徴とするシステム。
【請求項２】
前記被写界深度を変更することには、前記レンズと前記イメージセンサとの間の距離を変更することが含まれていることを特徴とする請求項１に記載のシステム。
【請求項３】
前記レンズと前記イメージセンサとの間の距離を変更することには、前記レンズを基準として前記イメージセンサを動かすアクチュエータを駆動することが含まれていることを特徴とする請求項２に記載のシステム。
【請求項４】
前記レンズと前記イメージセンサとの間の距離を変更することには、前記イメージセンサを基準として前記レンズを動かすアクチュエータを駆動することが含まれていることを特徴とする請求項２に記載のシステム。
【請求項５】
前記被写界深度を変更することには、前記レンズの焦点距離を変更することが含まれていることを特徴とする請求項１に記載のシステム。
【請求項６】
前記被写界深度を変更することには、光軸方向に第２レンズを動かすことが含まれており、前記第２レンズは、前記光軸方向において、前記レンズと前記イメージセンサとの間に配置されていることを特徴とする請求項１に記載のシステム。
【請求項７】
前記持続焦点体積における前記複数の各画像について、前記画像の前記被写界深度は、１つ又は複数の隣接画像の前記被写界深度と実質的に連続であることを特徴とする請求項１に記載のシステム。
【請求項８】
前記複数の画像の前記被写界深度の交点は、空集合であることを特徴とする請求項７に記載のシステム。
【請求項９】
前記複数の画像が、所定のフレームレートで取り込まれることを特徴とする請求項１に記載のシステム。
【請求項１０】
前記ハードウェアプロセッサは、更に、次のパラメータ、即ち、前記所定のフレームレート、前記イメージセンサの画素サイズ、及び前記レンズのＦ値の内の少なくとも１つに基づき、前記レンズと前記イメージセンサとの間の距離を一定の割合で変えるように構成されていることを特徴とする請求項９に記載のシステム。
【請求項１１】
対話式再合焦を提供するための方法であって、
ハードウェアプロセッサを用いて、所定期間の時間に渡って、複数の異なる時点におけるシーンを表す複数の画像を取り込ませることと、
前記複数の画像が取り込まれる被写界深度を少なくとも一対の前記複数の画像間で変更させることと、
前記複数の画像を連結することによって持続焦点体積を生成することと、
前記持続焦点体積に基づき、前記複数の画像から合焦部分を表す時空合焦画像を演算することと、
前記持続焦点体積及び前記時空合焦画像に基づき、前記複数の画像の中から前記シーンの位置について複数の合焦画像を特定する時空インデックスマップを演算することと、
を含むことを特徴とする方法。
【請求項１２】
前記被写界深度を変更させることには、前記画像を取り込むために用いられるレンズと前記画像を取り込むために用いられるイメージセンサとの間の距離を変更させることが含まれていることを特徴とする請求項１１に記載の方法。
【請求項１３】
前記距離を変更させることには、前記レンズを基準として前記イメージセンサを動かすアクチュエータを駆動することが含まれていることを特徴とする請求項１２に記載の方法。
【請求項１４】
前記距離を変更させることには、前記イメージセンサを基準として前記レンズを動かすアクチュエータを駆動することが含まれていることを特徴とする請求項１２に記載の方法。
【請求項１５】
前記被写界深度を変更させることには、前記画像を取り込むために用いられるレンズの焦点距離を変更させることが含まれていることを特徴とする請求項１１に記載の方法。
【請求項１６】
前記被写界深度を変更させることには、第１レンズを光軸方向に動かすことが含まれており、前記第１レンズが、前記光軸方向において、前記画像を取り込むために用いられる第２レンズと前記画像を取り込むために用いられるイメージセンサとの間に配置されていることを特徴とする請求項１１に記載の方法。
【請求項１７】
前記持続焦点体積における前記複数の各画像について、前記画像の前記被写界深度は、１つ又は複数の隣接画像の前記被写界深度と実質的に連続である、請求項１１に記載の方法。
【請求項１８】
前記複数の画像の前記被写界深度の交点は、空集合である、請求項１７に記載の方法。
【請求項１９】
前記画像を取り込ませることには、所定のフレームレートで前記複数の画像を取り込ませることが含まれる、請求項１１に記載の方法。
【請求項２０】
更に、次のパラメータ、即ち、前記所定のフレームレート、イメージセンサの画素サイズ、及びレンズのＦ値の内の少なくとも１つに基づき、前記画像を取り込むために用いられるレンズと前記画像を取り込むために用いられるイメージセンサとの間の距離を一定の割合で変更させることが含まれる、請求項１９に記載の方法。
【請求項２１】
プロセッサによって実行されると、対話式再合焦を提供するための方法を前記プロセッサに実施させるコンピュータ実行可能な命令を含む非一時的コンピュータ可読媒体であって、
前記方法は、
所定期間の時間に渡って、複数の異なる時点におけるシーンを表す複数の画像を取り込ませることと、
前記複数の画像が取り込まれる被写界深度を少なくとも一対の前記複数の画像間で変更させることと、
前記複数の画像を連結することによって持続焦点体積を生成することと、
前記持続焦点体積に基づき、前記複数の画像から合焦部分を表す時空合焦画像を演算することと、
前記持続焦点体積及び前記時空合焦画像に基づき、前記複数の画像の中から前記シーンの位置について複数の合焦画像を特定する時空インデックスマップを演算することと、
を含むことを特徴とする非一時的コンピュータ可読媒体。
【請求項２２】
前記被写界深度を変更させることには、前記画像を取り込むために用いられるレンズと前記画像を取り込むために用いられるイメージセンサとの間の距離を変更させることが含まれていることを特徴とする請求項２１に記載の非一時的コンピュータ可読媒体。
【請求項２３】
前記距離を変更させることには、前記レンズを基準として前記イメージセンサを動かすアクチュエータを駆動することが含まれていることを特徴とする請求項２２に記載の非一時的コンピュータ可読媒体。
【請求項２４】
前記距離を変更させることには、前記イメージセンサを基準として前記レンズを動かすアクチュエータを駆動することが含まれていることを特徴とする請求項２２に記載の非一時的コンピュータ可読媒体。
【請求項２５】
前記被写界深度を変更させることには、前記画像を取り込むために用いられるレンズの焦点距離を変更させることが含まれていることを特徴とする請求項２１に記載の非一時的コンピュータ可読媒体。
【請求項２６】
前記被写界深度を変更させることには、光軸方向に第１レンズを動かすことが含まれており、前記第１レンズは、前記光軸方向において、前記画像を取り込むために用いられる第２レンズと前記画像を取り込むために用いられるイメージセンサとの間に配置されていることを特徴とする請求項２１に記載の非一時的コンピュータ可読媒体。
【請求項２７】
前記持続焦点体積における前記複数の各画像について、前記画像の前記被写界深度は、１つ又は複数の隣接画像の前記被写界深度と実質的に連続であることを特徴とする請求項２１に記載の非一時的コンピュータ可読媒体。
【請求項２８】
前記複数の画像の前記被写界深度の交点は、空集合であることを特徴とする請求項２７に記載の非一時的コンピュータ可読媒体。
【請求項２９】
前記画像を取り込ませることには、所定のフレームレートで前記複数の画像を取り込ませることが含まれていることを特徴とする請求項２１に記載の非一時的コンピュータ可読媒体。
【請求項３０】
前記方法には、更に、次のパラメータ、即ち、前記所定のフレームレート、イメージセンサの画素サイズ、及びレンズのＦ値の内の少なくとも１つに基づき、前記画像を取り込むために用いられるレンズと前記画像を取り込むために用いられるイメージセンサとの間の距離を一定の割合で変更させることが含まれていることを特徴とする請求項２９に記載の非一時的コンピュータ可読媒体。
【請求項３１】
対話式再合焦を提供するためのシステムであって、
レンズと、
イメージセンサと、
前記イメージセンサに、複数の異なる時点におけるシーンを表す複数の画像を所定期間の時間に渡って取り込ませるための手段と、
少なくとも一対の前記複数の画像間の被写界深度を変更するための手段と、
前記複数の画像を連結して持続焦点体積を生成するための手段と、
前記持続焦点体積に基づき、前記複数の各画像から合焦部分を表す時空合焦画像を演算するための手段と、
前記持続焦点体積及び前記時空合焦画像に基づき、前記複数の画像の中から前記シーンの位置について複数の合焦画像を特定する時空インデックスマップを演算するための手段と、
を含むことを特徴とするシステム。
【請求項３２】
前記被写界深度を変更するための手段には、前記レンズと前記イメージセンサとの間の距離を変更するための手段が含まれていることを特徴とする請求項３１に記載のシステム。
【請求項３３】
前記レンズと前記イメージセンサとの間の距離を変更するための手段には、前記レンズを基準として前記イメージセンサを動かすアクチュエータを駆動するための手段が含まれていることを特徴とする請求項３２に記載のシステム。
【請求項３４】
前記レンズと前記イメージセンサとの間の距離を変更するための手段には、前記イメージセンサを基準として前記レンズを動かすアクチュエータを駆動するための手段が含まれていることを特徴とする請求項３２に記載のシステム。
【請求項３５】
前記被写界深度を変更するための手段には、前記レンズの焦点距離を変更するための手段が含まれていることを特徴とする請求項３１に記載のシステム。
【請求項３６】
前記被写界深度を変更するための手段には、第２レンズを光軸方向に動かすための手段が含まれており、前記第２レンズが、前記光軸方向において前記レンズと前記イメージセンサとの間に配置されていることを特徴とする請求項３１に記載のシステム。
【請求項３７】
前記持続焦点体積における前記複数の各画像について、前記画像の前記被写界深度は、１つ又は複数の隣接画像の前記被写界深度と実質的に連続であることを特徴とする請求項３１に記載のシステム。
【請求項３８】
前記複数の画像の前記被写界深度の交点は、空集合であることを特徴とする請求項３７に記載のシステム。
【請求項３９】
更に、前記複数の画像を所定のフレームレートで取り込ませるための手段を含むことを特徴とする請求項３１に記載のシステム。
【請求項４０】
更に、次のパラメータ、即ち、前記所定のフレームレート、前記イメージセンサの画素サイズ、及び前記レンズのＦ値の内の少なくとも１つに基づき、前記レンズと前記イメージセンサとの間の距離を一定の割合で変更するための手段を含むことを特徴とする請求項３９に記載のシステム。
【請求項４１】
対話式再合焦を提供するためのシステムであって、ハードウェアプロセッサを含み、
前記ハードウェアプロセッサは、
シーンの画像をユーザに対して表示させることを実行し、前記画像が、異なる時点における前記シーンの複数の取り込まれた画像が含まれる持続焦点体積において表される前記シーンを表し、また、前記複数の画像は、複数の異なる被写界深度で取り込まれており、
前記ユーザによって前記画像における選択点を受信し、
前記複数の画像の中から選択された画像を前記ユーザに対して表示させることを実行し、前記選択された画像が、前記ユーザによって選択された点における前記シーンの物体が合焦状態となる画像であるように、
構成されていることを特徴とするシステム。
【請求項４２】
前記ハードウェアプロセッサは、更に、前記シーンの前記画像を取り込むことと前記選択された画像を取り込むこととの間に取り込まれた１つ又は複数の中間画像を、前記選択された画像の表示に先立って、前記ユーザに対して表示させるように構成されている、請求項４１に記載のシステム。
【請求項４３】
対話式再合焦を提供するための方法であって、
シーンの画像をユーザに対して表示させることを実行し、前記画像は、持続焦点体積において表される前記シーンを表し、前記持続焦点体積には、異なる時点における前記シーンの複数の取り込まれた画像が含まれ、また、前記複数の画像は、複数の異なる被写界深度で取り込まれることと、
前記ユーザによる前記画像における点の選択を受信することと、
前記複数の画像の中から選択された画像を前記ユーザに対して表示させることを実行し、前記選択された画像は、前記ユーザによって選択された前記点における前記シーンの物体が合焦状態となる場合の画像であることと、
を含むことを特徴とする方法。
【請求項４４】
更に、前記シーンの前記画像を取り込む前記ことと前記選択された画像を取り込む前記こととの間に取り込まれた１つ又は複数の中間画像を、前記選択された画像の表示に先立って、前記ユーザに対して表示させることが含まれることを特徴とする請求項４３に記載の方法。
【請求項４５】
プロセッサによって実行されると、対話式再合焦を提供するための方法を前記プロセッサに実施させるコンピュータ実行可能な命令を含む非一時的コンピュータ可読媒体であって、
前記方法は、
シーンの画像をユーザに対して表示させることを実行し、前記画像は、持続焦点体積において表される前記シーンを表し、前記持続焦点体積には、異なる時点における前記シーンの複数の取り込まれた画像が含まれ、また、前記複数の画像は、複数の異なる被写界深度で取り込まれ、
前記ユーザによる前記画像における点の選択を受信することを実行し、
前記複数の画像中から選択された画像を前記ユーザに対して表示させることを実行し、前記選択された画像は、前記ユーザによって選択された前記点における前記シーンの物体が合焦状態となる場合の画像である、
ことを特徴とする非一時的コンピュータ可読媒体。
【請求項４６】
更に、前記シーンの前記画像を取り込むことと前記選択された画像を取り込むこととの間に取り込まれた１つ又は複数の中間画像を、前記選択された画像の表示に先立って、前記ユーザに対して表示させることが含まれることを特徴とする請求項４５に記載の非一時的コンピュータ可読媒体。
【請求項４７】
対話式再合焦画像を提供するための方法であって、
ハードウェアプロセッサを用いて、異なる時点において取り込まれたシーンの複数画像を受信し、前記複数の各画像は、前記シーンの異なる被写界深度を表し、
前記複数の画像を連結して持続焦点体積を生成し、
前記持続焦点体積に基づき、複数の各画像から合焦部分を表す時空合焦画像を演算し、
前記持続焦点体積及び前記時空合焦画像に基づき、前記複数の画像の中から前記シーンの位置について複数の合焦画像を特定する時空インデックスマップを演算することを特徴とする方法。
【請求項４８】
前記時空インデックスマップを演算することには、
様々な縮尺において前記持続焦点体積と前記時空合焦画像とを比較することと、
各縮尺レベルに対応する深度マップを記憶し、各深度マップは、前記対応する縮尺レベルでの比較に基づき生成されることと、
前記時空合焦画像に基づき前記深度マップを合成することと、
が含まれていることを特徴とする請求項４７に記載の方法。
【請求項４９】
前記深度マップを合成することには、
各縮尺レベルに対応する前記深度マップに基づき信頼度が高い深度マップを演算することと、
前記合焦画像におけるセグメントを決定することと、
各セグメントの平面を、前記セグメントにおける画素の前記信頼度が高い深度マップからの深度に基づき、生成することと、
前記平面と前記信頼度が高い深度マップからの深度との間の誤差に基づき、前記平面の信頼度が高いかどうかを判断することと、
前記平面の信頼度が高いと判断すると、前記平面に基づき、前記深度マップを充填することと、
が含まれることを特徴とする請求項４８に記載の方法。
【請求項５０】
対話式再合焦画像を提供するための方法であって、前記方法には、
ハードウェアプロセッサを用いて、異なる時点において取り込まれた複数画像のシーンを受信し、複数の各画像は、前記シーンの異なる被写界深度を表すことと、
前記画像が取り込まれた順番で、前記複数の画像を連結して持続焦点体積を生成することと、
前記持続焦点体積における各点（ｘ，ｙ，Ｐ０）について、
（ａ）前記持続焦点体積における点Ｐ＝Ｐ０を設定することと、
（ｂ）Ｐを中心とする円錐体を選択することと、
（ｃ）焦点の尺度が最高である前記円錐体における点Ｑを求めることと、
（ｄ）Ｑ＝Ｐかどうかを判断することと、
（ｅ）Ｑ＝Ｐと判断されるまで、（ｂ）乃至（ｄ）を繰り返すことと、
（ｆ）点（ｘ，ｙ，Ｐ０）＝Ｑの場合の深度を設定することと、
が含まれることを特徴とする方法。
【請求項５１】
対話式再合焦画像を提供するための方法であって、
ハードウェアプロセッサを用いて、異なる時点において取り込まれた複数画像のシーンを受信し、前記複数の各画像は、前記シーンの異なる被写界深度を表すことと、
前記画像が取り込まれた順番で、前記複数の画像を連結して持続焦点体積を生成することと、
各対の連続画像間のオプティカルフローを決定することと、
前記シーンにおける各画素位置について前記持続焦点体積を通る画素軌道を決定することと、
画素の焦点の尺度が最高であった場合に前記画素軌道に沿う点を決定することによって、各画素の合焦点を求めることと、
各画素の前記合焦点に基づき、複数の画像の中から前記シーンの各画素について合焦画像を特定する時空インデックスマップを演算することと、
が含まれることを特徴とする方法。
【請求項５２】
対話式再合焦を提供するためのシステムであって、
レンズと、
イメージセンサと、
タッチスクリーンと、
ハードウェアプロセッサと、
を含み、
前記ハードウェアプロセッサは、
異なる時点におけるシーンを各々表す複数の画像を前記イメージセンサに取り込ませることと、
少なくとも一対の前記複数の画像間の被写界深度を変えることと、
前記タッチスクリーンを用いて、前記複数の画像の内の第１画像を提示することと、
前記第１画像における位置に対応する前記タッチスクリーン上の点の選択を受信することと、
前記複数の画像の内の第２画像を選択し、前記第１画像における前記位置の非合焦物体が、前記第２画像において合焦状態であることと、
前記タッチスクリーンを用いて、前記複数の画像の内の前記第２画像を提示させることと、
を実行するように構成されていることを特徴とするシステム。
【請求項５３】
対話式再合焦を提供するためのシステムであって、
レンズと、
イメージセンサと、
タッチスクリーンと、
ハードウェアプロセッサと、
を含み、
前記ハードウェアプロセッサは、
異なる時点におけるシーンを各々表す複数の画像を前記イメージセンサに取り込ませることと、
少なくとも一対の前記複数の画像間において合焦状態である前記シーンの部分を変えることと、
前記タッチスクリーンを用いて、前記複数の画像の内の第１画像を提示し、前記シーンの少なくとも第１部分が前記第１画像において合焦状態となることと、
前記シーンが前記第１画像において焦点が合っていない前記第１画像における位置に対応する前記タッチスクリーン上の点の選択を受信することと、
前記第１画像における前記位置に対応する前記シーンの第２部分が前記複数の画像の内の第２画像において合焦状態である当該第２画像を選択することと、
前記タッチスクリーンを用いて、前記複数の画像の内の前記第２画像を提示させることと、
を実行するように構成されていることを特徴とするシステム。
【請求項５４】
拡張被写界深度画像を提示するためのシステムであって、
レンズと、
イメージセンサと、
タッチスクリーンと、
ハードウェアプロセッサと、
を含み、
前記ハードウェアプロセッサは、
異なる時点におけるシーンを各々表す複数の画像を前記イメージセンサに取り込ませることと、
少なくとも一対の前記複数の画像間において合焦状態である前記シーンの部分を変えることと、
前記シーンの深度マップに各々前記シーンの部分を表す複数の部分が含まれるように、前記複数の画像に基づき前記深度マップを生成することと、
前記深度マップの各部分に対応する前記シーンの前記部分が合焦状態となる前記複数の画像の内の画像に前記深度マップのその部分を関連付けることと、
前記拡張被写界深度画像が前記複数の各画像からの合焦部分を含むように、前記深度マップの各部分に関連付けられた前記画像に基づき、拡張被写界深度画像を生成することと、
前記タッチスクリーンを用いて前記拡張被写界深度画像を提示することと、
を実行するように構成されていることを特徴とするシステム。
【請求項５５】
対話式再合焦を提供するための方法であって、
異なる時点におけるシーンを各々表す複数の画像をイメージセンサに取り込ませることと、
少なくとも一対の前記複数の画像間の被写界深度を変更することと、
タッチスクリーンを用いて、前記複数の画像の内の第１画像を提示することと、
前記第１画像における位置に対応する前記タッチスクリーン上の点の選択を受信することと、
前記第１画像における前記位置にある物体が前記複数の画像の内の第２画像において合焦状態となる当該第２画像を選択することと、
前記タッチスクリーンを用いて前記複数の画像の内の前記第２画像を提示させることと、
を含むことを特徴とする方法。
【請求項５６】
対話式再合焦を提供するための方法であって、
異なる時点におけるシーンを各々表す複数の画像をイメージセンサに取り込ませることと、
少なくとも一対の前記複数の画像間において合焦状態となる前記シーンの部分を変更することと、
タッチスクリーンを用いて、前記複数の画像の内の第１画像を提示し、前記シーンの少なくとも第１部分が前記第１画像において合焦状態となることと、
前記シーンが前記第１画像において焦点が合っていない前記第１画像における位置に対応する前記タッチスクリーン上の点の選択を受信することと、
前記位置に対応する前記シーンの第２部分が、前記複数の画像の内の第２画像において合焦状態となる当該第２画像を選択することと、
前記タッチスクリーンを用いて前記複数の画像の内の前記第２画像を提示させることと、
を含むことを特徴とする方法。
【請求項５７】
拡張被写界深度画像を提示するための方法であって、
異なる時点におけるシーンを各々表す複数の画像をイメージセンサに取り込ませることと、
少なくとも一対の前記複数の画像間において合焦状態となる前記シーンの部分を変更することと、
深度マップに前記シーンの部分を各々表す複数の部分が含まれるように、前記複数の画像に基づき前記シーンの前記深度マップを生成することと、
前記深度マップの各部分に対応する前記シーンの前記部分が合焦状態となる前記複数の画像の内の画像に前記深度マップのその部分を関連付けることと、
前記拡張被写界深度画像が前記複数の各画像からの合焦部分を含むように、前記深度マップを用いて及び前記複数の画像に基づき、拡張被写界深度画像を生成することと、
前記タッチスクリーンを用いて前記拡張被写界深度画像を提示することと、
含むことを特徴とする方法。
【請求項５８】
プロセッサによって実行されると、対話式再合焦を提供するための方法を前記プロセッサに実施させるコンピュータ実行可能な命令を含む非一時的コンピュータ可読媒体であって、
前記方法は、
異なる時点におけるシーンを各々表す複数の画像をイメージセンサに取り込ませることと、
少なくとも一対の前記複数の画像間の被写界深度を変更することと、
タッチスクリーンを用いて、前記複数の画像の内の第１画像を提示することと、
前記第１画像における位置に対応する前記タッチスクリーン上の点の選択を受信することと、
前記第１画像における前記位置にある物体が前記複数の画像の内の第２画像において合焦状態となる当該第２画像を選択することと、
前記タッチスクリーンを用いて前記複数の画像の内の前記第２画像を提示させることと、
を含むことを特徴とする非一時的コンピュータ可読媒体。
【請求項５９】
プロセッサによって実行されると、対話式再合焦を提供するための方法を前記プロセッサに実施させるコンピュータ実行可能な命令を含む非一時的コンピュータ可読媒体であって、
前記方法は、
異なる時点におけるシーンを各々表す複数の画像をイメージセンサに取り込ませることと、
少なくとも一対の前記複数の画像間において合焦状態となる前記シーンの部分を変更することと、
タッチスクリーンを用いて、前記複数の画像の内の第１画像を提示し、前記シーンの少なくとも第１部分が前記第１画像において合焦状態となることと、
前記シーンが前記第１画像において焦点が合っていない前記第１画像における位置に対応する前記タッチスクリーン上の点の選択を受信することと、
前記位置に対応する前記シーンの第２部分が、前記複数の画像の内の第２画像において合焦状態となる当該第２画像を選択することと、
前記タッチスクリーンを用いて前記複数の画像の内の前記第２画像を提示させることと、
を含むことを特徴とする非一時的コンピュータ可読媒体。
【請求項６０】
プロセッサによって実行されると、拡張被写界深度画像を提示するための方法を前記プロセッサに実施させるコンピュータ実行可能な命令を含む非一時的コンピュータ可読媒体であって、
前記方法は、
異なる時点におけるシーンを各々表す複数の画像をイメージセンサに取り込ませることと、
少なくとも一対の前記複数の画像間において合焦状態となる前記シーンの部分を変更することと、
深度マップに前記シーンの部分を各々表す複数の部分が含まれるように、前記複数の画像に基づき前記シーンの深度マップを生成することと、
前記深度マップの各部分に対応する前記シーンの前記部分が合焦状態となる前記複数の画像の内の画像に前記深度マップのその部分を関連付けることと、
前記拡張被写界深度画像が前記複数の各画像からの合焦部分を含むように、前記深度マップを用いて及び前記複数の画像に基づき、拡張被写界深度画像を生成することと、
前記タッチスクリーンを用いて前記拡張被写界深度画像を提示することと、
を含むことを特徴とする非一時的コンピュータ可読媒体。
【国際調査報告】
2015522959.tif 000037
2015522959.tif 000038
2015522959.tif 000039