(57)【要約】【課題】ライトフィールド画像を操作するユーザインターフェイスに関する。【解決手段】ライトフィールドデータが画像とともにデプス情報を供給するという事実により、従来のポストプロセッシングツールはライトフィールドデータのポストプロセッシングに適応していない。更に、ライトフィールド画像の操作は、非専門的なユーザにとっては容易でなく且つ直観的でないことがある。本発明は、ユーザフレンドリな方法でライトフィールド画像を操作することをユーザに可能にする。この解決法では、ユーザは、ポストプロセッシングツールへの入力として、焦点が合ってレンダリングされるライトフィールド画像の領域と、ライトフィールド画像の焦点が外れた領域に適用されるボケとを選択することしか必要でない。ポストプロセッシングツールがライトフィールド画像を処理すると、ユーザの仕様に対応する最終的なライトフィールド画像がレンダリングされる。【選択図】図２
2019067388.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも第１ライトフィールド画像を操作する方法であって、
ピクセルが焦点が合ってレンダリングされる鮮明領域と呼ばれる、操作されるべき前記第１ライトフィールド画像の少なくとも１つの領域を識別する第１入力を検出することと、
焦点が外れてレンダリングされる前記第１ライトフィールド画像のピクセルに適用されるボケの形態を選択する第２入力を検出することと、
操作されるべき前記第１ライトフィールド画像の前記識別された焦点が外れたピクセルに前記選択された形態のボケを適用することによって得られる最終画像をレンダリングすることと
を有する方法。
【請求項２】
前記第１入力は、デプス範囲の下限及び上限を含み、該デプス範囲内にあるデプス値を有している前記第１ライトフィールド画像のピクセルが、焦点が合ってレンダリングされるようにし、
前記デプス範囲は、操作されるべき前記第１ライトフィールド画像のデプス範囲より小さいか又はそれに等しい、
請求項１に記載の方法。
【請求項３】
前記第１入力は、操作されるべき前記第１ライトフィールド画像内の前記鮮明領域の境界を定義するピクセルの座標を含む、
請求項１に記載の方法。
【請求項４】
前記第１入力は、焦点が外れてレンダリングされるピクセルを除去するシャープネスフィルタを少なくとも含む、
請求項１に記載の方法。
【請求項５】
焦点が外れてレンダリングされる前記第１ライトフィールド画像のピクセルに適用される前記ボケの重みを選択する第３入力を検出することを更に有する、
請求項１に記載の方法。
【請求項６】
焦点が外れてレンダリングされる前記第１ライトフィールド画像のピクセルに適用される前記ボケのサイズを選択する第４入力を検出することを更に有する、
請求項１に記載の方法。
【請求項７】
前記第１ライトフィールド画像のデプスＤ（ｘ）と前記最終画像の少なくともピクセルがレンダリングされるデプスｄ（ｘ）との間の差の絶対値に等しいか又はそれよりも大きい数値を供給する第５入力を検出することを更に有する、
請求項１乃至６のうちいずれか一項に記載の方法。
【請求項８】
少なくとも第１ライトフィールド画像を操作するデバイスであって、
ユーザインターフェイスを有し、
当該デバイスは、
ピクセルが焦点が合ってレンダリングされる鮮明領域と呼ばれる、操作されるべき前記第１ライトフィールド画像の少なくとも１つの領域を識別する第１入力を前記ユーザインターフェイスで検出し、
焦点が外れてレンダリングされる前記第１ライトフィールド画像のピクセルに適用されるボケの形態を選択する第２入力を前記ユーザインターフェイスで検出し、
前記第１ライトフィールド画像の前記識別された焦点が外れたピクセルに前記選択された形態のボケを適用することによって得られる最終画像を、レンダリングされるようディスプレイへ送る
よう構成されるハードウェアプロセッサを少なくとも更に有する、
デバイス。
【請求項９】
前記第１入力は、デプス範囲の下限及び上限を含み、該デプス範囲内にあるデプス値を有している前記第１ライトフィールド画像のピクセルが、焦点が合ってレンダリングされるようにし、
前記デプス範囲は、操作されるべき前記第１ライトフィールド画像のデプス範囲より小さいか又はそれに等しい、
請求項８に記載のデバイス。
【請求項１０】
前記第１入力は、操作されるべき前記第１ライトフィールド画像内の前記鮮明領域の境界を含む、
請求項８に記載のデバイス。
【請求項１１】
前記第１入力は、焦点が外れてレンダリングされるピクセルを除去するシャープネスフィルタを少なくとも含む、
請求項８に記載のデバイス。
【請求項１２】
前記ハードウェアプロセッサは、
焦点が外れてレンダリングされる前記第１ライトフィールド画像のピクセルに適用される前記ボケの重みを選択する第３入力を検出する
よう更に構成される、
請求項８に記載のデバイス。
【請求項１３】
前記ハードウェアプロセッサは、
前記第１ライトフィールド画像のデプスＤ（ｘ）と前記最終画像の少なくともピクセルがレンダリングされるデプスｄ（ｘ）との間の差の絶対値に等しいか又はそれよりも大きい数値を供給する第５入力を検出する
よう更に構成される、
請求項８乃至１２のうちいずれか一項に記載のデバイス。
【請求項１４】
プロセッサで実行される場合に請求項１に記載の方法を実施するプログラムコードを有するコンピュータプログラム。
【請求項１５】
プロセッサに請求項１に記載の方法を実行させる命令が記憶されているプロセッサ読出可能な媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ライトフィールドの分野にあり、ライトフィールド画像を操作する技術に関係がある。特に、本発明は、ライトフィールド画像を操作するためのユーザインターフェイスに関係がある。
【背景技術】
【０００２】
画像取得デバイスは、３次元シーンを２次元センサの上に投影する。動作中、従来の捕捉デバイスは、デバイス内のフォトセンサに届く光の量を表すシーンの２次元（２Ｄ）画像を捕捉する。しかし、この２Ｄ画像は、フォトセンサに届く光線の方向分布に関する情報を含まない。この情報は、ライトフィールドと呼ばれ得る。例えば、デプスは、取得の間に失われる。よって、従来の捕捉デバイスは、シーンからの光分布に関する情報の大半を保持しない。
【０００３】
“ライトフィールドデータ取得デバイス”とも呼ばれるライトフィールド捕捉デバイスは、シーンの異なる視点から光を捕捉することによって、そのシーンの４次元（４Ｄ）ライトフィールドを測定するよう設計されてきた。よって、フォトセンサを横断する光の各ビームに沿って進む光の量を測定することによって、それらのデバイスは、ポストプロセッシングによって新たなイメージングアプリケーションを提供するために、例えば、光線の束の方向分布に関して、更なる光情報を捕捉することができる。ライトフィールド捕捉デバイスによって取得された情報は、ライトフィールドデータと呼ばれる。ライトフィールド捕捉デバイスは、ここでは、ライトフィールドデータを捕捉することができる如何なるデバイスとしても定義される。ライトフィールド捕捉デバイスにはいくつかのタイプが存在し、特に、次のものがある：
・  米国特許出願公開第２０１３／０２２２６３３号（特許文献１）で記載されるような、画像センサとメインレンズとの間に置かれたマイクロレンズアレイを使用するプレノプティック（plenoptic）デバイス；
・  Wilburn  et  al.，“High  performance  imaging  using  large  camera  arrays”，ACM  Transactions  on  Graphics  (TOG)  24，no.3  (2005):  765-776（非特許文献１）及び米国特許第８５１４４９１（Ｂ２）号（特許文献２）で記載されるようなカメラアレイ。
【０００４】
ライトフィールドデータの取得は、画像リフォーカシングのような、その捕捉後の機能により、多数のアプリケーションへの門戸を開く。
【０００５】
それらのアプリケーションのうちの１つは、文献において“合成開口リフォーカシング（synthetic  aperture  refocusing）”（又は“合成開口フォーカシング（synthetic  aperture  focusing）”）として知られている。合成開口リフォーカシングは、シーンの複数の画像を使用することによって、大きな開口レンズの焦点はずれによるボケをシミュレーションする技術である。それは、例えば、カメラアレイを用いて、異なる視点からシーンの初期画像を取得し、それらを所望の焦点面の上に投影し、それらの平均を計算することに存する。結果として現れる画像では、焦点面にある点が整列され、鮮明に見え、一方で、この面から外れた点は、パララックスによりぼやけて見える。カメラアレイのようなライトフィールド捕捉デバイスから、このように、各画像が異なる焦点距離（focalization  distance）で焦点を合わせられているシーンの画像の集合をレンダリングすることが可能である。そのような集合は、時々、“フォーカルスタック（focal  stack）”と呼ばれる。よって、ライトフィールドデータ処理の１つのアプリケーションは、特に、しかし制限なしに、シーンの焦点を再び合わせられた画像を生成することを含む。
【０００６】
しかし、ライトフィールドデータが画像自体と一緒にデプス情報を供給するという事実により、Ｐｈｏｔｏｓｈｏｐ（登録商標）又はＧｉｍｐのような従来のポストプロセッシングツールは、ライトフィールドデータのポストプロセッシングに適応してない。
【０００７】
更に、ライトフィールドデータは、複雑なデータであり、その操作は、非専門的なユーザにとっては容易でなく且つ直観的でないことがある。
【０００８】
よって、ライトフィールド画像を操作するための技術であって、先行技術のそれらの欠点のうちの少なくとも１つを無効にしうる技術を提供することが望まれている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国特許出願公開第２０１３／０２２２６３３号
【特許文献２】米国特許第８５１４４９１（Ｂ２）号
【非特許文献】
【００１０】
【非特許文献１】Wilburn  et  al.，“High  performance  imaging  using  large  camera  arrays”，ACM  Transactions  on  Graphics  (TOG)  24，no.3  (2005):  765-776
【発明の概要】
【００１１】
本発明の第１の態様に従って、少なくとも第１ライトフィールド画像を操作する、コンピュータで実施される方法であって、
ピクセルが焦点が合ってレンダリングされる鮮明領域（sharp  region）と呼ばれる、操作されるべき前記第１ライトフィールド画像の少なくとも１つの領域を識別する第１入力を検出することと、
焦点が外れてレンダリングされる操作されるべき前記第１ライトフィールド画像のピクセルに適用されるボケ（bokeh）の形態を選択する第２入力を検出することと、
操作されるべき前記第１ライトフィールド画像の前記識別された焦点が外れたピクセルに前記選択された形態のボケを適用することによって得られる最終画像をレンダリングすることと
を有する方法が提供される。
【００１２】
本発明の実施形態に従う方法は、ユーザフレンドリな方法で、カメラアレイによって、又はプレノプティックカメラによって取得されたライトフィールド画像を操作することをユーザに可能にする。実際に、この解決法では、ユーザは、ライトフィールド画像ポストプロセッシングツールへの入力として、鮮明に又は焦点が合ってレンダリングされるライトフィールド画像の領域を選択し、ライトフィールド画像の焦点が外れた領域に適用されるボケの形態を選択することしか必要でない。ライトフィールド画像ポストプロセッシングツールがライトフィールド画像を処理すると、ユーザの仕様に対応する最終的な、ポストプロセッシングを受けたライトフィールド画像がレンダリングされる。レンダリングされた画像は、ユーザによって選択された領域において鮮明であり、ボケは、ユーザによって選択されたパラメータに対応する。
【００１３】
焦点外れに適用するボケの形態を選択することは、より写実的及び／又は審美的な最終画像をレンダリングすることを可能にする。
【００１４】
そのような解決法は、ライトフィールド画像と同じくらい複雑な画像を操作することを容易にする。
【００１５】
本発明の実施形態に従う方法は、光学デバイスによって直接取得されるライトフィールド画像に限られない。それらのデータは、所与のシーン記述のためにコンピュータによって全体として又は部分的にシミュレーションされるコンピュータグラフィクスイメージ（ＣＧＩ）であってよい。ライトフィールド画像の他のソースは、光学デバイス又はＣＧＩから取得される変更された、例えば色調調整されたライトフィールド画像であるポストプロダクトされたデータであってよい。また、この場合に、光学取得デバイスにより取得された画像及びＣＧＩデータの両方の混合であるデータを有することは、映画産業において一般的である。
【００１６】
レンダリングされる、操作されるべき第１ライトフィールド画像のピクセルは、操作されるべき第１ライトフィールド画像に属するピクセルであって、操作されるべき第１ライトフィールド画像の識別された鮮明領域に属していないピクセルである。操作されるべき第１ライトフィールド画像の鮮明領域を識別することは、焦点が外れてレンダリングされる領域を選択することよりもユーザフレンドリである。これは、ユーザが、画像のどのオブジェクトに焦点を合わせたいかを知っている傾向があるからである。
【００１７】
本発明に従う方法の利点は、所与の領域、所与の色、所与のデプス、又は操作されるべき画像の所与のピクセル、などのために適用されるボケの形態を選択することをユーザに可能にすることである。
【００１８】
例えば、操作されるべき画像に適用される操作は、合成開口リフォーカシングであってよい。
【００１９】
本発明の実施形態に従って、前記第１入力は、デプス範囲の下限及び上限を含み、該デプス範囲内にあるデプス値を有している、操作されるべき前記第１ライトフィールド画像のピクセルが、焦点が合ってレンダリングされるようにし、前記デプス範囲は、操作されるべき前記第１ライトフィールド画像のデプス範囲より小さいか又はそれに等しい。
【００２０】
前記デプス範囲の前記下限及び前記上限は、２つの数値として供給されてよい。
【００２１】
前記第１入力は、グラフィカルユーザインターフェイスに表示される少なくとも１つのスライダを前記デプス範囲の前記下限から前記上限の間で動かすことに更に存してよい。
【００２２】
前記第１入力は、例えば、ポインティングデバイスを用いて、操作されるべき前記画像の２つの点を選択することに更に存してよく、それら２つの点のデプスは、前記デプス範囲の前記下限及び前記上限を定義する。
【００２３】
本発明の実施形態に従って、前記第１入力は、操作されるべき前記第１ライトフィールド画像内の前記鮮明領域の境界を定義するピクセルの座標を含む。
【００２４】
この場合に、前記鮮明領域は、例えば、ポインティングデバイスを用いて、グラフィカルユーザインターフェイス上で前記鮮明領域の境界を描くことによって、特定される。
【００２５】
前記鮮明領域は、グラフィカルユーザインターフェイスの一部の上でポインティングデバイスをスイープさせることによっても、特定されてよい。
【００２６】
最後に、前記鮮明領域は、操作されるべき前記画像上で前記鮮明領域の境界を定義するマスクを適用することによって、特定されてよい。
【００２７】
本発明の実施形態に従って、前記第１入力は、焦点が外れてレンダリングされるピクセルを除去するシャープネスフィルタを少なくとも含む。
【００２８】
そのようなフィルタは、例えば、顔、操作されるべき前記画像の顕著な部分（salient  parts）、又は操作されるべき前記画像の特定のピクセル、例えば、色が所与の色合いの赤であるピクセル、が強いて鮮明にレンダリングされるようにしてよい。
【００２９】
本発明の実施形態に従って、方法は、
焦点が外れてレンダリングされる、操作されるべき前記第１ライトフィールド画像のピクセルに適用される前記ボケの重みを選択する第３入力を検出することを更に有する。
【００３０】
操作されるべき前記画像に適用されるボケの重みを選択することは、最終画像の審美／現実性を改善することに寄与する。
【００３１】
本発明の実施形態に従って、方法は、
操作されるべき前記第１ライトフィールド画像のデプスＤ（ｘ）と前記最終画像の少なくともピクセルがレンダリングされるデプスｄ（ｘ）との間の差の絶対値に等しいか又はそれよりも大きい数値を供給する第４入力を検出することを更に有する。
【００３２】
操作されるべき前記第１ライトフィールド画像のデプスＤ（ｘ）と前記最終画像の少なくともピクセルがレンダリングされるデプスｄ（ｘ）との間の差の絶対値に上限を設定することによって、ピクセルが焦点が外れてレンダリングされるためのボケの重みを変更することが可能である。
【００３３】
本発明の他の目的は、カメラアレイによって取得された少なくとも第１画像を操作するデバイスであって、
操作されるべき前記第１画像を少なくとも表示するディスプレイと、
ユーザインターフェイスと
を有し、
当該デバイスは、
ピクセルが焦点が合ってレンダリングされる鮮明領域と呼ばれる、操作されるべき前記第１画像の少なくとも１つの領域を識別する第１入力を前記ユーザインターフェイスで検出し、
焦点が外れてレンダリングされる、操作されるべき前記第１画像のピクセルに適用されるボケの形態を選択する第２入力を前記ユーザインターフェイスで検出し、
操作されるべき前記第１画像の前記識別された焦点が外れたピクセルに前記選択された形態のボケを適用することによって得られる最終画像を前記ディスプレイでレンダリングする
よう構成されるハードウェアプロセッサを少なくとも更に有する、
デバイスに関係がある。
【００３４】
そのようなデバイスは、本発明の実施形態において、例えば、スマートフォン、タブレット、などであってよく、当該デバイスは、ディスプレイ及びユーザインターフェイスの代わりに、タッチスクリーンのようなグラフィカルユーザインターフェイスを組み込む。
【００３５】
当該デバイスの実施形態に従って、前記第１入力は、デプス範囲の下限及び上限を含み、該デプス範囲内にあるデプス値を有している、操作されるべき前記第１画像のピクセルが、焦点が合ってレンダリングされるようにし、前記デプス範囲は、操作されるべき前記第１画像のデプス範囲より小さいか又はそれに等しい。
【００３６】
当該デバイスの実施形態に従って、前記第１入力は、操作されるべき前記第１画像内の前記鮮明領域の境界を含む。
【００３７】
当該デバイスの実施形態に従って、前記第１入力は、焦点が外れてレンダリングされるピクセルを除去するシャープネスフィルタを少なくとも含む。
【００３８】
当該デバイスの実施形態に従って、前記ハードウェアプロセッサは、
焦点が外れてレンダリングされる、操作されるべき前記第１画像のピクセルに適用される前記ボケの重みを選択する第３入力を検出する
よう更に構成される。
【００３９】
当該デバイスの実施形態に従って、前記ハードウェアプロセッサは、
操作されるべき前記第１画像のデプスＤ（ｘ）と前記最終画像の少なくともピクセルがレンダリングされるデプスｄ（ｘ）との間の差の絶対値に等しいか又はそれよりも大きい数値を供給する第４入力を検出する
よう更に構成される。
【００４０】
本発明の要素によって実装されるいくつかのプロセスは、コンピュータにより実施されてよい。然るに、そのような要素は、全体としてハードウェアの実施形態、全体としてソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード、などを含む。）、又はソフトウェア態様とハードウェア態様とを組み合わせた実施形態の形をとってよく、これらは全て概して、ここでは、“回路”、“モジュール”又は“システム”と呼ばれ得る。更に、そのような要素は、媒体において具現化されたコンピュータ使用可能なプログラムコードを有している表現の如何なる有形な媒体でも具現化されたコンピュータプログラム製品の形をとってよい。
【００４１】
本発明の要素はソフトウェアにおいて実装可能であるから、本発明は、如何なる適切なキャリア媒体においても、プログラム可能な装置への提供のために、コンピュータ読出可能なコードとして具現化され得る。有形なキャリア媒体は、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ハードディスクドライブ、磁気テープデバイス又はソリッドステートメモリ、などのような記憶媒体を有してよい。一時的なキャリア媒体は、電気信号、電子信号、光信号、音響信号、磁気信号又は電磁気信号、例えば、マイクロ波若しくはＲＦ信号のような信号を含んでよい。
【図面の簡単な説明】
【００４２】
本発明の実施形態は、これより、単なる一例として、次の図面を参照して記載される。
【００４３】
【図１】本発明の実施形態に従うユーザインターフェイスを表す。
【図２】本発明に従って画像を操作する方法が実行される場合に、ユーザインターフェイスを表す。
【図３】ユーザの視点で説明される、本発明に従ってライトフィールド画像を操作する方法のステップを表すフローチャートである。
【図４】本発明の実施形態に従うユーザインターフェイスを組み込むデバイスによって実行される場合に、ライトフィールド画像を操作する方法のステップを表すフローチャートである。
【図５】１つの次元における関数ｄ（ｘ）のグラフ表現である。
【図６】本発明の実施形態に従う方法を実行可能なデバイスの例を説明する略ブロック図である。
【発明を実施するための形態】
【００４４】
当業者に明らかなように、本原理の態様は、システム、方法又はコンピュータ読出可能な媒体として具現化され得る。然るに、本原理の態様は、全体としてハードウェアの実施形態、全体としてソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード、などを含む。）、又はソフトウェア態様とハードウェア態様とを組み合わせた実施形態の形をとることができ、これらは全て概して、ここでは、“回路”、“モジュール”又は“システム”と呼ばれ得る。更に、本原理の態様は、コンピュータ読出可能な記憶媒体の形をとることができる。１つ以上のコンピュータ読出可能な記憶媒体の如何なる組み合わせも利用されてよい。
【００４５】
本発明は、ライトフィールドデータ又はコンテンツを操作するためのユーザインターフェイスに関する。ライトフィールドコンテンツによって、光学デバイスによって直接取得されるライトフィールド画像、あるいは、所与のシーン記述のためにコンピュータによって全体として又は部分的にシミュレーションされるコンピュータグラフィクスイメージ（ＣＧＩ）ライトフィールドデータが意図される。ライトフィールドデータの他のソースは、光学デバイス又はＣＧＩから取得される変更された、例えば色調調整されたライトフィールド画像であるポストプロダクトされたデータであってよい。また、この場合に、光学取得デバイスにより取得された画像及びＣＧＩデータの両方の混合であるデータを有することは、映画産業において一般的である。
【００４６】
図１は、本発明の実施形態に従うユーザインターフェイスを表す。そのようなユーザインターフェイス１は、本発明の第１実施形態では、キーボード１０及び／又はポインティングデバイス１１（例えば、マウス）を有し、ディスプレイ１２へ接続されている。本発明の第２実施形態では、ユーザインターフェイス１はタッチスクリーンであってよい。
【００４７】
図２は、本発明の実施形態に従って画像を操作する方法が実行される場合に、図１のユーザインターフェイス１を表す。
【００４８】
ライトフィールド画像２０は、ユーザインターフェイス１のディスプレイ１２に表示されている。複数のボタン２１〜２５も、ユーザインターフェイス１のディスプレイ１２に表示されている。ボタン２１〜２５は、キーボード１０又はポインティングデバイス１１を手段として、あるいは、ボタン２１〜２５が表示されているタッチスクリーンのエリアに指を触れることで、ユーザによってアクティブにされる。
【００４９】
図３は、ユーザの視点において説明される、本発明に従ってライトフィールド画像を操作する方法のステップを表すフローチャートである。
【００５０】
ステップＥ１で、操作されるべきライトフィールド画像がディスプレイ１２に表示される。
【００５１】
ステップＥ２で、ユーザは、例えば、ポインティングデバイス１１を用いて、ディスプレイ１２に表示されているボタン２１をアクティブにすることによって、鮮明にレンダリングされるように、表示されている画像、又は操作されるべき画像の図２中の少なくとも１つの領域Ａ、Ｂ、Ｃ又はＤを選択する。ボタン２１がアクティブにされると、ユーザは、次のいずれかによって、鮮明にレンダリングされるべきである、操作されるべき画像の第１領域を選択してよい：
・  デプス範囲の下限及び上限を供給して、デプス範囲内のデプス値を有している操作されるべき画像のピクセルが焦点が合ってレンダリングされるようにすること。デプス範囲は、操作されるべき画像のデプス範囲より小さいか又はそれに等しい。この場合に、ユーザは、下限及び上限に対応する数値をキーボード１０においてタイプ入力してよい；
・  ポインティングデバイス１１又は自身の指を用いて、操作されるべき画像内で鮮明領域の境界を描くこと。この場合に、鮮明領域の境界を定義するピクセルの座標が供給される；
・  焦点が外れてレンダリングされる操作されるべき画像のピクセルを除去するシャープネスフィルタを少なくとも選択すること；又は
・  下限から上限の間でバー２４をスライドすること。
【００５２】
本発明の実施形態において、鮮明領域は、セグメンテーションアルゴリズムによって予め決定される。例えば、“Light-Field  Segmentation  using  a  Ray-Based  Graph  Structure”，Hog,  Sabater,  Guillemot，ECCV’16におけるアルゴリズムは、異なる領域をカラーコードによってユーザに提案し得る。その場合に、ユーザは、例えば、自身の選択する領域にポインティングデバイスを向けることによって、領域を選択する。
【００５３】
他の実施形態において、ユーザは、ボタンをアクティブにすることによって、顔又は顕著な領域又は関心のあるオブジェクトを選択してよい。
【００５４】
本発明の他の実施形態において、鮮明領域は、学習ストラテジ（深層学習［LeCun  Bengio，Hinton，Nature  2015］）によってユーザに提案される。学習ストラテジは、どれが鮮明又はぼやけているべき画像の部分であるかを学習している。
【００５５】
ステップＥ３で、ユーザは、レンダリングされるべき画像の美感（aesthetic）を変更するために、鮮明にレンダリングされるべきでない操作されるべき画像の領域に適用されるボケの形態及び重みを選択するボタン２２をアクティブにする。ボケの形態及び重みは、操作されるべき画像の夫々の選択された領域について異なることができる点が留意されるべきである。
【００５６】
本発明の他の実施形態において、ボタン２２をアクティブにすることに代えて、ユーザは、ボタン２３をアクティブにして、予め計算されたぼかし（blur）フィルタを適用することをもたらしてよい。
【００５７】
本発明の他の実施形態において、焦点が外れてレンダリングされるべきである操作されるべき画像の領域に適用されるボケのサイズを変更するために、ユーザは、ピンチング（pinching）ジェスチャにおいて、焦点が外れてレンダリングされるべき領域に対応する操作されるべき画像のエリアにタッチしてよい。このピンチングジェスチャによって円の直径を変更することによって、ユーザは、ボケのサイズを変更してよい。
【００５８】
任意のステップＥ４で、ユーザが、操作されるべき画像の焦点が外れた領域に適用されるボケの形態、重み及びサイズを選択すると、ユーザは、操作されるべき画像の焦点が外れたピクセルがレンダリングされるべきであるデプスを変えることによって、適用されるボケの最終的なレンダリングを変更してよい。これは、下限から上限の間でバー２４をスライドすることによって行われてよい。
【００５９】
そのようなユーザインターフェイスは、それがライトフィールド画像と同じくらい複雑なコンテンツを直観的に且つ容易に操作することをユーザに可能にするということで、ユーザフレンドリである。
【００６０】
図４は、本発明の実施形態に従うユーザインターフェイスを組み込むデバイスによって実行される場合に、ライトフィールド画像を操作する方法のステップを表すフローチャートである。
【００６１】
ステップＦ１で、操作されるべきライトフィールド画像が、ユーザインターフェイス１のディスプレイ１２に表示される。
【００６２】
ステップＦ２で、ユーザインターフェイス１の所与のエリアに対する第１入力が検出される。第１入力の検出は、操作されるべき画像の、鮮明にレンダリングされるべき少なくとも１つの領域Ａ、Ｂ、Ｃ又はＤの識別をトリガする。操作されるべき画像の、鮮明にレンダリングされるべき領域の識別は、次のいずれかによって行われる：
・  デプス範囲の下限及び上限を供給して、デプス範囲内のデプス値を有している操作されるべき画像のピクセルが焦点が合ってレンダリングされるようにすること。デプス範囲は、操作されるべき画像のデプス範囲より小さいか又はそれに等しい；
・  操作されるべき画像内で鮮明領域の境界を描くこと；
・  焦点が外れてレンダリングされる操作されるべき画像のピクセルを除去するシャープネスフィルタを少なくとも選択すること。
【００６３】
ステップＦ３で、第１入力が検出されたエリアとは異なる、ユーザインターフェイス１のエリアに対する第２入力が検出される。第２入力の検出は、レンダリングされるべき画像の美感を変更するために、鮮明にレンダリングされるべきでない操作されるべき画像の領域に適用されるボケの形態及び重みの選択をトリガする。ボケの形態及び重みは、操作されるべき画像の夫々の選択された領域について異なることができる点が留意されるべきである。本発明の実施形態において、適用される重みの選択は、グラフィカルユーザインターフェイス１における第３入力の検出によってトリガされる。
【００６４】
ステップＦ４で、操作されるべき画像上で表現されるシーンがレンダリングされるべきであるデプスに対応する関数ｄ（ｘ）は、次のように計算される：
【数１】
2019067388.tif 000003
【００６５】
このとき、Ｄｍ及びＤＭは、シーンのデプス範囲Ｄの最小値及び最大値であり、Ωｓｈａｒｐは、鮮明にレンダリングされるべきピクセルの領域であり、Ｄ（ｘ）は、シーンの実際のデプスである。
【００６６】
関数ｄ（ｘ）のグラフ表現は、図５に表される。図５は、実例のために１つの次元において表されている。連続的な線は、実際のデプスを表し、点線は、新たなレンダリングのために使用されるデプスである。
【００６７】
任意のステップＦ５で、第４入力がユーザインターフェイスのエリアで検出される。この第４入力の検出は、シーンのデプスＤ（ｘ）と最終画像の少なくともピクセルがレンダリングされるべきであるデプスｄ（ｘ）との間の差の絶対値に等しいか又はそれよりも大きい数値の受け取りをトリガする。
【００６８】
そのようなステップは、操作されるべき画像の焦点が外れたピクセルがレンダリングされるべきであるデプスを変えることによって、適用されるボケの最終的なレンダリングを変更することを可能にする。
【００６９】
ステップＦ６で、ユーザインターフェイスを通じて供給された全てのパラメータに基づき、レンダリングされるべき画像が計算される。最終的に、レンダリングは、インタラクティブな方法で行われ得る。このようにして、ユーザが変更を行うたびに、変更は、結果として現れる画像において直接目に見える。
【００７０】
ステップＦ７で、最終画像が、次いで、ディスプレイ１２に表示される。
【００７１】
図６は、本発明の実施形態に従う方法を実行することができるデバイスの例を表す略ブロック図である。
【００７２】
装置６００は、プロセッサ６０１、記憶ユニット６０２、入力デバイス６０３、表示デバイス６０４、及びインターフェイスユニット６０５を有し、それらはバス６０６によって接続されている。当然、コンピュータ装置６００の構成要素は、バス接続以外の接続によって接続されてよい。
【００７３】
プロセッサ６０１は、装置６００の動作を制御する。記憶ユニット６０２は、プロセッサ６０１によって実行される少なくとも１つのプログラムと、ライトフィールドカメラによって捕捉及び供給された４Ｄライトフィールド画像のデータ、プロセッサ６０１によって実行される計算で使用されるパラメータ、プロセッサ６０１によって実行される計算の中間データ、などを含む様々なデータとを記憶する。プロセッサ６０１は、如何なる既知の、適切なハードウェア、又はソフトウェア、又はハードウェアとソフトウェアとの組み合わせによっても形成されてよい。例えば、プロセッサ６０１は、プロセッシング回路のような専用ハードウェアによって、又はそのメモリに記憶されているプログラムを実行するＣＰＵ（Central  Processing  Unit）のようなプログラム可能なプロセッシングユニットによって、形成されてよい。
【００７４】
記憶ユニット６０２は、コンピュータ読出可能な様態でプログラム、データ、などを記憶することができる如何なる適切なストレージ又は手段によっても形成されてよい。記憶ユニット６０２の例には、半導体メモリデバイス、並びに読み出し及び書き込みユニットに搭載された磁気、光学、又は光学磁気記録媒体のような、非一時的なコンピュータ読出可能な記憶媒体がある。プログラムは、プロセッサ６０１に、図３〜４を参照して記載された本発明の実施形態に従ってライトフィールド画像を操作するプロセスを実行させる。
【００７５】
入力デバイス６０３は、鮮明にレンダリングされるべき領域、焦点が外れた領域に適用すべきボケの形態及び重み、などをユーザが選択するために、コマンド入力のためにユーザによって使用されるキーボード１０、マウスのようなポインティングデバイス１１、などによって、形成されてよい。出力デバイス６０４は、例えば、グラフィカルユーザインターフェイス（ＧＵＩ）や、本開示の実施形態に従って生成された画像を表示するよう表示デバイス１２によって形成されてよい。入力デバイス６０３及び出力デバイス６０４は、例えば、タッチパネルによって、一体的に形成されてよい。
【００７６】
インターフェイスユニット６０５は、装置６００と外部装置との間のインターフェイスを提供する。インターフェイスユニット６０５は、ケーブル又はワイヤレス通信を介して外部装置と通信可能であってよい。実施形態において、外部装置は、ライトフィールドカメラであってよい。この場合に、ライトフィールドカメラによって捕捉された４Ｄライトフィールド画像のデータは、ライトフィールドカメラから装置６００へインターフェイスユニット６０５を通じて入力され、次いで記憶ユニット６０２に記憶され得る。
【００７７】
この実施形態において、装置６００は、それがライトフィールドカメラから分離しており、且つ、それらがケーブル又はワイヤレス通信を介してお互いと通信可能であるとして、例として論じられている。しかし、装置６００は、そのようなライトフィールドカメラと一体化され得る点が留意されるべきである。この後者の場合に、装置６００は、例えば、ライトフィールドカメラを組み込むタブレット又はスマートフォンのような、ポータブルデバイスであってよい。
【００７８】
本発明は、具体的な実施形態に関して上述されてきたが、本発明は、それらの具体的な実施形態に制限されず、変更は、本発明の適用範囲内で、当業者に明らかである。
【００７９】
多くの更なる変更及び変形は、上記の実例となる実施形態を参照して当業者に想到可能である。実施形態は、単なる例として与えられており、本発明の適用範囲を制限するよう意図されない。本発明の適用範囲は、添付の特許請求の範囲によってのみ決定される。特に、異なる実施形態からの異なる特徴は、適宜入れ替えられてよい。
【符号の説明】
【００８０】
１          ユーザインターフェイス
１０        キーボード
１１        ポインティングデバイス
１２        ディスプレイ
２０        ライトフィールド画像
２１〜２５  ボタン
６００      コンピュータ装置
６０１      プロセッサ
６０２      記憶ユニット
６０３      入力デバイス
６０４      表示デバイス
６０５      インターフェイスユニット
６０６      バス
【図１】
2019067388.tif 000004
【図２】
2019067388.tif 000005
【図３】
2019067388.tif 000006
【図４】
2019067388.tif 000007
【図５】
2019067388.tif 000008
【図６】
2019067388.tif 000009
【外国語明細書】
2019067388000001.pdf