(57)【要約】同じシーンを同時に捕捉するプレノプティック装置の組に属する１つのプレノプティック装置によって供給されるひと組のプレノプティックビデオデータのレンダリングを関心のある少なくとも１つの共通点にリフォーカシングする方法を提供する。本開示に従って、方法は、プレノプティックビデオデータの組を供給したプレノプティック装置と、プレノプティック装置の組の中の少なくとも１つの他の装置とを空間的に位置付けるために使用される共通３Ｄ基準系を得ることと、関心のある少なくとも１つの共通点から、共通３Ｄ基準系において共通リフォーカシング面パラメータを決定することと、共通リフォーカシング面パラメータを、プレノプティック装置に関連する３Ｄ基準系のレンダリングリフォーカシング面に変換することによって、プレノプティックビデオデータの組のレンダリングをリフォーカシングすることとを含む。
2019507970.tif 000002
【特許請求の範囲】
【請求項１】
プレノプティック装置によって供給されるプレノプティックビデオデータの組のレンダリングを関心のある少なくとも１つの共通点にリフォーカシングする方法であって、
当該方法は、
同じシーンを捕捉する前記プレノプティック装置の３Ｄポーズ及び少なくとも１つの他の３Ｄポーズで前記プレノプティックビデオデータの組を供給した前記プレノプティック装置を空間的に位置付けるために使用される共通３Ｄ基準系を得ることと、
前記関心のある少なくとも１つの共通点から、前記共通３Ｄ基準系において共通リフォーカシング面パラメータを決定することと、
前記共通リフォーカシング面パラメータを、前記プレノプティックビデオデータの組を供給した前記プレノプティック装置に関連する３Ｄ基準系のレンダリングリフォーカシング面に変換することによって、前記プレノプティックビデオデータの組のレンダリングをリフォーカシングすることと
を有し、
前記変換することは、前記共通３Ｄ基準系と前記プレノプティック装置に関連する前記３Ｄ基準系との間の変換を使用する、リフォーカシングする方法。
【請求項２】
前記共通３Ｄ基準系を得ることは、前記プレノプティックビデオデータの組を供給した前記プレノプティック装置のための前記３Ｄポーズと、前記プレノプティック装置のための前記少なくとも１つの他の３Ｄポーズとを決定するためにストラクチャ・フロム・モーションを使用することを含む、
請求項１に記載のリフォーカシングする方法。
【請求項３】
前記プレノプティック装置は、前記同じシーンを同時に捕捉するプレノプティック装置の組に属し、
前記プレノプティック装置及び前記プレノプティック装置の組の中の少なくとも１つの他の装置によって夫々供給されるプレノプティックビデオデータの組は、それらの取得の間又は後に前もって時間的に同期される、
請求項１又は２に記載のリフォーカシングする方法。
【請求項４】
前記リフォーカシングすることは、前記レンダリングリフォーカシング面と、前記プレノプティックビデオデータの組を供給した前記プレノプティック装置の光軸に垂直な面との間の距離が所定の値を超える場合に、再計算される、
請求項１乃至３のうちいずれか一項に記載のリフォーカシングする方法。
【請求項５】
前記共通３Ｄ基準系において共通リフォーカシング面パラメータを決定することは、
前記プレノプティック装置の組の中の少なくとも１つのプレノプティック装置によって供給される関心のある少なくとも１つのプレノプティックビデオデータの組に関連する関心のある少なくとも１つの点を表す情報を得ることによって、前記関心のある少なくとも１つの共通点を決定することと、
前記情報を前記共通３Ｄ基準系に変換するために、該共通３Ｄ基準系と、前記情報が得られる前記関心のある少なくとも１つのプレノプティックビデオデータの組を供給した前記少なくとも１つのプレノプティック装置に関連する少なくとも１つの３Ｄ基準系との間の少なくとも１つの変換を夫々使用することと、
前記共通３Ｄ基準系に変換された前記情報から前記共通リフォーカシング面パラメータを決定することと
を有する、
請求項１乃至４のうちいずれか一項に記載のリフォーカシングする方法。
【請求項６】
前記情報は、前記少なくとも１つのプレノプティック装置が前記関心のある少なくとも１つのプレノプティックビデオデータの組を供給することによって、自動的に供給される、
請求項５に記載のリフォーカシングする方法。
【請求項７】
関心のある少なくとも１つの点を表す前記情報は、関心のある点ごとに少なくとも２つのタイプの要素として
当該関心のある点の３Ｄ座標と、
当該関心のある点の時間運動を表す３Ｄベクトルと
を含む、
請求項６に記載のリフォーカシングする方法。
【請求項８】
前記共通３Ｄ基準系に変換された前記情報から前記共通リフォーカシング面パラメータを決定することは、前記共通３Ｄ基準系に変換された前記情報の関数を最小化することを含む、
請求項６又は７に記載のリフォーカシングする方法。
【請求項９】
前記情報は、
関心のある単一のプレノプティックビデオデータの組に関連する関心のある１つの点を表し、且つ
前記プレノプティックビデオデータの組の１つをレンダリングする装置に関連するユーザインターフェイスを通じて供給される、
請求項５に記載のリフォーカシングする方法。
【請求項１０】
前記情報は、
前記関心のある少なくとも１つのプレノプティックビデオデータの組に夫々関連する関心のある少なくとも２つの点を表し、
前記関心のある少なくとも１つのプレノプティックビデオデータの組の少なくとも１つのレンダリング装置に関連する少なくとも１つのユーザインターフェイスを通じて供給される、
請求項５に記載のリフォーカシングする方法。
【請求項１１】
当該方法は、関心のある少なくとも２つのプレノプティックビデオデータの組に夫々関連する関心のある少なくとも２つの点を表す前記情報の空間フィルタリング又はクラスタリングを含む、
請求項６又は１０に記載のリフォーカシングする方法。
【請求項１２】
当該方法は、関心のある少なくとも１つの点を表す前記情報の時間フィルタリングを含み、該時間フィルタリングは、前記関心のある少なくとも１つのプレノプティックビデオデータの組の部分にわたって適用される、
請求項５乃至１１のうちいずれか一項に記載のリフォーカシングする方法。
【請求項１３】
少なくとも２つのレンダリングリフォーカシング面に夫々関連する少なくとも２つの連続的なリフォーカシングが２つの別個の時点で実施される場合に、当該方法は、夫々のフォーカシング面が前記少なくとも２つのレンダリングリフォーカシング面の間に位置しているフレームのシーケンスを生成することを含む、
請求項１乃至１２のうちいずれか一項に記載のリフォーカシングする方法。
【請求項１４】
プレノプティックビデオデータの組のレンダリングを関心のある少なくとも１つの共通点にリフォーカシングする装置であって、
当該装置はプロセッサを有し、該プロセッサは、
前記プレノプティックビデオデータの組を供給したプレノプティック装置と、同じシーンを捕捉する他の装置とを空間的に位置付けるために使用される共通３Ｄ基準系を得る手段と、
前記共通３Ｄ基準系において共通リフォーカシング面パラメータを決定する手段と、
前記共通リフォーカシング面パラメータを、前記プレノプティックビデオデータの組を供給した前記プレノプティック装置に関連する３Ｄ基準系のレンダリングリフォーカシング面に変換することによって、前記プレノプティックビデオデータの組のレンダリングをリフォーカシングする手段と
を有し、
前記変換することは、前記共通３Ｄ基準系と前記プレノプティック装置に関連する前記３Ｄ基準系との間の変換を使用する、装置。
【請求項１５】
請求項１乃至１３のうちいずれか一項に記載の方法を実施するよう構成されるソフトウェアコードを有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ライトフィールドイメージングと、ライトフィールドデータを取得及び処理する技術とに関する。もっと正確に言えば、本開示は概して、同じシーンを捕捉する複数のプレノプティック装置に属する少なくとも１つのプレノプティック装置をリフォーカシングする方法及びモジュールに関連しており、ソーシャルメディアアプリケーションの分野において用途を見出す。
【背景技術】
【０００２】
この項目は、以下で記載及び／又は請求される本開示の様々な態様に関係がありうる技術の様々な態様を読者に紹介することを目的とする。この議論は、本原理の様々な態様のより良い理解を助けるよう読者に背景情報を与えるのに有用であると信じられている。然るに、それらの記述は、この観点から読まれるべきであり、先行技術の承認としてでない点が理解されるべきである。
【０００３】
従来の画像捕捉装置は、３次元シーンを２次元センサにレンダリングする。動作中、従来の捕捉装置は、装置内のフォトセンサ（又は光検出器）に届く光の量を表す２次元（２−Ｄ）画像を捕捉する。しかし、この２−Ｄ画像は、フォトセンサに届く光線の方向分布（ライトフィールドを定義する。）に関する情報を含まない。例えば、深さは、取得の間に失われる。よって、従来の捕捉装置は、シーンからの方向光分布に関する情報の大半を保持しない。
【０００４】
ライトフィールド捕捉装置（“ライトフィールドデータ捕捉装置”とも呼ばれる。）は、シーンの異なる視点から光を捕捉することによってそのシーンの４次元（４Ｄ）ライトフィールドを測定するよう設計されてきた。よって、フォトセンサを横断する夫々の光線に沿って移動する光の量を測定することによって、それらの装置は、ポストプロセッシングによって新しいイメージングアプリケーションを提供するために、追加の光情報（光線の束の方向部分に関する情報）を捕捉することができる。ライトフィールド捕捉装置によって獲得／入手された情報は、ライトフィールドデータと呼ばれる。ライトフィールド捕捉装置は、ライトフィールドデータを捕捉することができる如何なる装置としてもここで定義される。ライトフィールド捕捉装置にはいくつかのタイプがある。特に：
・米国特許出願公開第２０１３／０２２２６３３号（特許文献１）において記載される、画像センサとメインレンズとの間に置かれたマイクロレンズアレイを使用するプレノプティック装置；
・夫々のカメラがそれ自身の画像センサの上に撮像するカメラアレイ。
【０００５】
ライトフィールドデータはまた、従来の手持ち式カメラの使用によって異なる視点から夫々撮影されたシーンの２−Ｄ画像（同じシーンを表す２つの異なる画像が異なる視点により捕捉される場合に、ビューと呼ばれる。）の連続から、コンピュータ生成画像（ＣＧＩ；Computer  Generated  Imagery）を用いてシミュレーションされ得る。
【０００６】
ライトフィールドデータの処理は、とりわけ、しかし制限なしに、シーンのリフォーカシングされた画像を生成すること、シーンの透視図を生成すること、シーンの深度マップを生成すること、拡張焦点深度（ＥＤＯＦ；extended  depth  of  field）画像を生成すること、立体画像を生成すること、及び／又はそれらの如何なる組み合わせも含む。
【０００７】
本開示は、図１によって表され且つNg,  et  al.，“Light  field  photography  with  a  hand-held  plenoptic  camera”，Stanford  University  Computer  Science  Technical  Report  CSTR  2005-02，no.11  (April  2005)（非特許文献１）によって開示されているように、プレノプティック装置によって捕捉されたライトフィールドに基づく画像に、より正確に焦点を合わせる。
【０００８】
そのようなプレノプティック装置は、メインレンズ（１１）、マイクロレンズアレイ（１２）及びフォトセンサ（１３）から構成される。もっと正確に言えば、メインレンズは、被写体の焦点をマイクロレンズアレイに（又はその近くに）合わせる。マイクロレンズアレイ（１２）は、その後ろにあるフォトセンサ（１３）において光線を画像に変換することを分離する。
【０００９】
米国特許出願公開第２０１３／０２２２３６９号（特許文献２）で記載されるような、複数のユーザによって与えられるビデオ捕捉経験を豊かにする最新の方法は、例えば、ユーザフィードバックを集めることによって、複数のユーザの中の１人のユーザによって為された関心のある点の手動選択に存する。
【００１０】
次いで、先行技術に従って、夫々のユーザは、彼ら自身の装置を通じて、関心のある対応する点を手動により選択し、焦点は、この被写体を通過する各装置の光軸に垂直な面において計算上作られる。
【００１１】
しかし、先行技術のそのような方法は、空間内のいくつかの点での光の量（“放射輝度”）を記録するライトフィールドイメージングの特異性（別名、プレノプティックデータ）を考慮することができない。実際に、そのような従来のビデオ捕捉装置は、従来のイメージングフォーマットを配信する。
【００１２】
従って、先行技術のそれらの欠点を示さない複数のプレノプティック装置によって供給される複数のビューを利用する技術を提供することが望ましい。特に、ライトフィールドに基づく画像から得られたビデオの関心のある対象のより精細なレンダリングを可能にするそのような技術を提供することが望ましい。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】米国特許出願公開第２０１３／０２２２６３３号
【特許文献２】米国特許出願公開第２０１３／０２２２３６９号
【非特許文献】
【００１４】
【非特許文献１】Ng,  et  al.，“Light  field  photography  with  a  hand-held  plenoptic  camera”，Stanford  University  Computer  Science  Technical  Report  CSTR  2005-02，no.11  (April  2005)
【発明の概要】
【００１５】
以下は、本開示のいくつかの態様の基本的な理解を提供するために、本開示の簡単な要約を提示する。この要約は、本開示の広範な概要ではない。本開示の主要又は重要な要素を特定することは意図されていない。以下の要約は、以下で与えられるより詳細な記載への前置きとして簡単な形で本開示のいくつかの態様を単に提示するにすぎない。
【００１６】
本開示は、同じシーンを同時に捕捉するプレノプティック装置の組に属する１つのプレノプティック装置によって供給されるひと組のプレノプティックビデオデータのレンダリングを関心のある少なくとも１つの共通点にリフォーカシングする方法により、先行技術の欠点の少なくとも１つを改めようと試みる。
【００１７】
そのようなリフォーカシング方法は：
・前記プレノプティックビデオデータの組を供給した当該プレノプティック装置と、前記プレノプティック装置の組の中の少なくとも１つの他の装置とを空間的に位置付けるために使用される共通３Ｄ基準系を得ることと、
・前記関心のある少なくとも１つの共通点から、前記共通３Ｄ基準系において共通リフォーカシング面パラメータを決定することと、
・前記共通リフォーカシング面パラメータを、前記プレノプティックビデオデータの組を供給した当該プレノプティック装置に関連する３Ｄ基準系のレンダリングリフォーカシング面に変換することによって、前記プレノプティックビデオデータの組のレンダリングをリフォーカシングすることと
を含み、前記変換することは、前記共通３Ｄ基準系と、当該プレノプティック装置に関連する前記３Ｄ基準系との間の変換を使用する。
【００１８】
このように、本開示は、同じシーンを同時に捕捉するプレノプティック装置の組の中の少なくとも１つの他のプレノプティック装置を考慮することによって、そのようなプレノプティック装置の組に属する１つのプレノプティック装置（すなわち、プレノプティックカメラ）によって供給されるひと組のプレノプティックビデオデータのレンダリングを関心のある少なくとも１つの共通点にリフォーカシングする新規且つ独創的なアプローチに依存する。
【００１９】
換言すれば、プレノプティック装置の組の中の１つのプレノプティック装置によって供給されるひと組のプレノプティックビデオデータの得られたレンダリングリフォーカシングは、同じシーンを同時に捕捉するプレノプティック装置の組に属する１つの他のプレノプティック装置に同じく関連する共通リフォーカシング面パラメータを考慮せずには取得され得ない。
【００２０】
このように、プレノプティック装置の組の中の１つのプレノプティック装置に関連する得られたレンダリングリフォーカシングは、それらのプレノプティック装置の組に属する少なくとも１つの他のプレノプティック装置に依存する。結果として、本開示は、異なるプレノプティック装置の間の焦点面の一致を確かにし、そして、レンダリングすべきプレノプティックビデオデータの組ごとの最良の焦点面を定義するよう豊かな情報を提供する。
【００２１】
“プレノプティックビデオデータの組”によって、前記プレノプティック装置の組の中の各プレノプティック装置は、前記プレノプティック装置の組の中の全てのプレノプティック装置によって同時に捕捉される同じシーンのひと組のプレノプティックビデオデータを供給すると考えられる。前記プレノプティックビデオデータの組は、例えば、ビデオフィルム全体、コンサートのビデオの中の一曲のようなビデオフィルムの部分（すなわち、換言すれば、ビデオフィルム全体の連続したフレームの組に対応するシーケンス）、又はフレーム、若しくはフレームの部分、などに対応するコンテンツである。
【００２２】
結果として、プレノプティックビデオデータの夫々の共有される組のリフォーカシングが個々に処理されるところの先行技術の方法に反して、本開示は、全ての関与するプレノプティック装置のための共通３Ｄ基準系において、共通リフォーカシング面パラメータを自動的に（すなわち、得るステップ、決定するステップ、及びリフォーカシングするステップの夫々の間にユーザの如何なるインタラクションもなしで）供給する。次いで、パラメータは、プレノプティックビデオデータの各組のレンダリングのために使用される。このために、リフォーカシング面を変更することが目指される。
【００２３】
このように、本開示は、複数の人々が全てのプレノプティック装置（すなわち、カメラ）を用いて、公の又は私的なイベント（スポーツ、ストリートコンサート、パーティなど）を撮影するところの“ソーシャルコンテキスト”に特に関心を持っている。実際に、本開示は、複数のプレノプティック装置によって供給されるマルチビュープレノプティックコンテンツから恩恵を受ける。
【００２４】
その上、本開示は、レンダリングすべきコンテンツを、本開示に従って、プレノプティックコンテンツの“ソーシャル”共有に関与する全ての又は一部のプレノプティック装置のために相互に決定されるリフォーカシング面にリフォーカシングするプレノプティック装置のリフォーカシング機能を利用する。
【００２５】
換言すれば、本開示は、関与するプレノプティック装置の間でリフォーカシング面パラメータを共有する解決法を提供する。結果として、得られたレンダリングリフォーカシング面は、必ずしも、先行技術で見られるように、レンダリングすべきプレノプティックビデオデータを捕捉したプレノプティック装置の光軸に垂直な面でなく、全ての関与するプレノプティック装置にとって共通のリフォーカシング面パラメータから得られるリフォーカシング面である。
【００２６】
本開示によって提供されるそのような処理は、プレノプティックビデオデータの組の捕捉の間に、又は後にそれらの後のレンダリングの間に、リアルタイムで実施され得る。
【００２７】
このように、本開示は、同じシーンを同時に捕捉するプレノプティック装置の組のための共通３Ｄ基準系において一緒に決定されるレンダリングリフォーカシング面を供給することによって、複数のプレノプティック装置によって提供されるビデオ捕捉経験を豊かにする。
【００２８】
本開示の特定の態様に従って、当該プレノプティック装置と、前記プレノプティック装置の組の中の前記少なくとも１つの他の装置とによって夫々供給されるプレノプティックビデオデータの組は、それらの取得の間又は後で前もって時間的に同期される。
【００２９】
換言すれば、本開示の得ること、決定すること及びリフォーカシングすることの主たるステップより前に、プレノプティック装置によって供給されるコンテンツ片は、時間的に同期されると考えられる。
【００３０】
これは、当該プレノプティック装置と、前記プレノプティック装置の組の中の前記少なくとも１つの他の装置とによって夫々供給されるプレノプティックビデオデータの組を、それらの取得の間に、時間的に同期させるために、どちらにしてもジェネレータロッキング（generator  locking）を使用して実施される。“ゲンロック（genlock）”として知られているジェネレータロッキングは、例えば、J.  Kovacs，“An  Overview  of  Genlock”，Application  Note  No.5，Microimage  Video  Systemsによって記載されている。
【００３１】
代替的に、そのような時間同期は、画像及び／又は音声パターンに基づき時間的アライメントが実施されるところの、取得後の同期（post-acquisition  synchronisation）技術を用いて、実施され得る。
【００３２】
A.  Bagri  et  al.，“A  scalable  framework  for  joint  clustering  and  synchronizing  multi-camera  videos”，IEEE  Proceeding  of  the  21st  European  Signal  processing  Conference  (EUSIPCO)  (ppl-5)，2013は、音声パターンの時間的アライメントに基づくそのような時間同期の例を開示している。一方で、M.  Douze  et  al.，“Circulant  temporal  encoding  or  video  retrieval  and  temporal  alignment”，Computer  Vision  and  pattern  recognition，June  2015，arXiv:1506.02588は、そのような時間同期が画像パターンの時間的アライメントに基づく視覚的モードの例を開示している。
【００３３】
このように、本開示は、プレノプティック装置の組の中の少なくとも２つのプレノプティック装置の間で共有される共通のリフォーカシング面パラメータの決定に対応する特定のコンテキストにおいて、時間同期のそれらの方法を使用することを提案する。
【００３４】
特定の態様に従って、共通３Ｄ基準系を得ることは、前記プレノプティックビデオデータの組を供給した前記プレノプティック装置のための３Ｄポーズと、前記プレノプティック装置の組の中の前記少なくとも１つの他の装置のための３Ｄポーズとを決定するためにストラクチャ・フロム・モーション（structure-from-motion）を使用することを含む。F.  Dellaert  et  al.，“Structure  from  Motion  without  Correspondence”，IEEE  Computer  Society  Conference  on  Computer  Vision  and  Pattern  Recognition  04/2000は、本開示に従う“ストラクチャ・フロム・モーション”と見なされるものを開示している。
【００３５】
もっと正確に言えば、ストラクチャ・フロム・モーションは、最適化技術を通じて、撮像されたシーンの３Ｄ構造（シーンを表す、三角測量による点群計算）と、点群が定義される共通３Ｄ基準系に対する各プレノプティック装置の３Ｄポーズとの共同推定を可能にする。
【００３６】
プレノプティック装置の組の中の少なくとも２つのプレノプティック装置の間で共有される共通のリフォーカシング面パラメータの決定を目指している本開示の特定のコンテキストにおいて、F.  Dellaert  et  al.は、ストラクチャ・フロム・モーションの使用を開示していないことが留意されるべきである。
【００３７】
本開示の他の特定の態様に従って、前記リフォーカシングすることは、前記レンダリングリフォーカシング面と、前記プレノプティックビデオデータの組を供給した前記プレノプティック装置の光軸に垂直な面との間の距離が所定の値を超える場合に、再計算される。
【００３８】
例えば、前記距離は、一方では、考えられているプレノプティック装置の光軸と、他方では、その考えられているプレノプティック装置によって供給されるプレノプティックビデオデータの組について本開示に従って得られるレンダリングリフォーカシング面に直交するベクトルと、の間のスカラー積を決定することによって、求められる。
【００３９】
決定された値は、システム値又は、例えば、ユーザが自身の好みを選択することを可能にする特定のユーザインターフェイスのおかげで設定されたユーザ値、であることができる。
【００４０】
本開示の他の特定の態様に従って、前記共通３Ｄ基準系において共通リフォーカシング面パラメータを決定することは、
・前記プレノプティック装置の組の中の少なくとも１つのプレノプティック装置によって供給される関心のある少なくとも１つのプレノプティックビデオデータの組に関連する関心のある少なくとも１つの点を表す情報を得ることによって、前記関心のある少なくとも１つの共通点を決定することと、
前記情報を前記共通３Ｄ基準系に変換するために、該共通３Ｄ基準系と、前記情報が得られる前記関心のある少なくとも１つのプレノプティックビデオデータの組を供給した前記少なくとも１つのプレノプティック装置に関連する少なくとも１つの３Ｄ基準系との間の少なくとも１つの変換を夫々使用することと、
前記共通３Ｄ基準系に変換された前記情報から前記共通リフォーカシング面パラメータを決定することと
を含む。
【００４１】
本開示に従って、関心のある少なくとも１つの点を表す前記情報は、レンダリングのリフォーカシングが目指されているプレノプティックビデオデータの組を供給したプレノプティック装置とは異なる少なくとも１つのプレノプティック装置によって供給される関心のある少なくとも１つのプレノプティックビデオデータの組に関連し得ることが留意されるべきである。
【００４２】
第１の実施形態に従って、前記情報は、前記少なくとも１つのプレノプティック装置が前記関心のある少なくとも１つのプレノプティックビデオデータの組を供給することによって、自動的に供給される。
【００４３】
換言すれば、この第１の実施形態は、複数のビューを利用した、プレノプティック取得の全て又は一部分のための自動リフォーカシングモードに対応し、全てのステップは、リフォーカシングするための関心のある点を定義するためでさえ、ユーザとの如何なるインタラクションもなしで実施される。
【００４４】
前記プレノプティック装置の組の中の１つのプレノプティック装置が（ユーザの制御されていない動作により）動いた場合に、このような自動モードを考えると、前記プレノプティック装置の組の中の残りのプレノプティック装置から自動的に得られる関心のある主たる対象は、本開示によって提供される解決法を使用する場合に、依然として焦点が合っている。
【００４５】
よって、同じシーンを同時に捕捉するプレノプティック装置の組の中の１つの考えられているプレノプティック装置の取得が、不正確に構成される場合でさえ、その考えられているプレノプティック装置に関連するユーザ装置経験は損なわれない。
【００４６】
上記の第１の実施形態の特定の態様に従って、関心のある少なくとも１つの点を表す前記情報は、関心のある点ごとに少なくとも２つのタイプの要素として
当該関心のある点の３Ｄ座標と、
当該関心のある点の時間運動を表す３Ｄベクトルと
を含む。
【００４７】
有利なことに、共通リフォーカシング面パラメータが、関心のある点（すなわち、対象）を追跡するように決定され、その時間運動（すなわち、場面内の考えられている対象の動作のライン）に沿って方向付けられた共通リフォーカシング面に関連する場合に、この共通リフォーカシング面は、全てのプレノプティック取得を自動的に伝播される。
【００４８】
例えば、前記３Ｄ座標は、前記プレノプティック装置の組の中の少なくとも１つのプレノプティック装置によって供給される前記関心のあるプレノプティックビデオデータの組に関連する全焦点ビューにおいて、次の：
・前記全焦点ビューの中心点；
・前記全焦点ビューのサリエンシーマップ；
・前記プレノプティック装置に関連する深度マップからの、前記関心のあるプレノプティックビデオデータの組に適用される前景オブジェクト選択
を含むグループに属する要素のうちの少なくとも１つを用いて、決定される。
【００４９】
もっと正確に言えば、全焦点（ＡＩＦ；All  In  Focus）画像は、焦点融合（focus  fusion）によって生成されてよい。焦点融合に従って、焦点が合った領域は、前記関心のあるプレノプティックビデオデータの組に関連するフォーカルスタック（focal  stack）の各画像において決定され、次いで、全てのそれらの焦点が合った領域は、ＡＩＦ画像を形成するよう融合される。
【００５０】
サリエンシーマップは、例えば、O.  Le  Meur  et  al.，“Acoherent  computational  approach  to  model  the  bottom-up  visual  attention”，IEEE  Transactions  on  Pattern  Analysis  and  Machine  Intelligence，2006，28，pp.802-817によって開示されているように取得される。
【００５１】
プレノプティック装置の深度マップからの前景オブジェクト選択は、例えば、T.E.  Bishop  et  al.，“Plenoptic  Depth  Estimation  from  Multiple  aliased  Views”，IEEE  International  workshop  on  3-D  Digital  Imaging  and  Modeling  (3DIM  09)，ICCV  Workshop，Kyoto，October，2009によって開示されているように取得される。
【００５２】
先行技術のそれら２つの方法は、同じシーンを同時に捕捉するプレノプティック装置の組の中の少なくとも２つのプレノプティック装置の間で共有される共通のリフォーカシング面パラメータを決定することを目指している本開示の特定のコンテキストにおいては適用されないことが留意されるべきである。
【００５３】
上記の第１の実施形態の特定の態様に従って、前記関心のある点の時間運動を表す前記３Ｄベクトルは、A.  Yilmaz  et  al.，“Object  Tracking:  a  survey”，ACM  Computing  Survey  (CSU)，38  (4)，13によって開示されているもののようなビジュアルトラッキング技術を用いて取得される。
【００５４】
上記の第１の実施形態の特定の態様に従って、前記共通３Ｄ基準系に変換された前記情報から前記共通リフォーカシング面パラメータを決定することは、前記共通３Ｄ基準系に変換された前記情報の関数を最小化することを含む。
【００５５】
第２の実施形態に従って、前記情報は：
・関心のある単一のプレノプティックビデオデータの組に関連する関心のある１つの点を表し、且つ
・前記プレノプティックビデオデータの組の１つをレンダリングする装置に関連するユーザインターフェイスを通じて供給される。
【００５６】
第３の実施形態に従って、前記情報は：
・前記関心のある少なくとも１つのプレノプティックビデオデータの組に夫々関連する関心のある少なくとも２つの点を表し、
・前記関心のある少なくとも１つのプレノプティックビデオデータの組の少なくとも１つのレンダリング装置に関連する少なくとも１つのユーザインターフェイスを通じて供給される。
【００５７】
それら第２及び第３の実施形態に従って、本開示は、ユーザ（参加者）が容易にコメントを共有し且つユーザインターフェイスを通じて焦点を合わせる“ソーシャル”リフォーカシングモードを提供する。このように、本開示は、コメント、感情、などに関連する特定の対象に注意が引かれ得るので、プレノプティック装置によって提供されるリフォーカシング機能から恩恵を受けながら、ユーザ経験の仲間内での分かち合い（communal  sharing）を提供する。
【００５８】
例えば、前記ユーザインターフェイスは、サーバ上でホスティングされ、インターネット上で情報を交換するフォーラムに関連する者、又はソーシャルネットワークのユーザインターフェイスに対応する。そのようなユーザインターフェイスは、前記関心のあるプレノプティックビデオデータの組の捕捉の後に、関心のある点に関する前記情報を提供して、帰納的なリフォーカシングを可能にする。
【００５９】
前記ユーザインターフェイスは、捕捉するプレノプティック装置自体によっても供給され得、ほぼリアルタイムのリフォーカシングを可能にする。
【００６０】
第２の実施形態の場合に、関心のあるただ１つの点は、前記ユーザインターフェイスによって供給される情報においてアドレッシングされ、前記共通３Ｄ基準系における前記情報の変換は、関心のある１つの点の座標を変換することに存する。
【００６１】
第３の実施形態に従って、関心のあるいくつかの点は、例えば、複数のユーザによって、又は連続したリフォーカシング動作を得るよう同じユーザによって、前記ユーザインターフェイスによって供給される情報においてアドレッシングされる。前記共通３Ｄ基準系における前記情報の変換は、関心のあるそれらいくつかの点の座標を変換することに存する。
【００６２】
関心のある少なくとも２つの点が、前記共通３Ｄ基準系において変換するよう前記情報においてアドレッシングされるところの第１及び第３の実施形態の特定の態様に従って、本開示に従う方法は、関心のある少なくとも２つのプレノプティックビデオデータの組に夫々関連する関心のある少なくとも２つの点を表す前記情報の空間フィルタリング又はクラスタリングを含む。
【００６３】
特定の特徴に従って、前記クラスタリングは、D.  Comaniciu，“Mean  Shift:  A  robust  approach  toward  feature  space  analysis”，IEEE  Transactions  on  Pattern  analysis  and  Machine  Intelligence，24(5)，603-619によって開示されている平均シフトクラスタリング、又はM.  Ester，“A  density-based  algorithm  for  discovering  clusters  in  large  spatial  databases  with  noise”，Proceedings  of  the  2nd  International  Conference  on  Knowledge  Discovery  and  Data  mining，1996，pp.226-231によって開示されている教師なし（non-supervised）クラスタリングＤＢＳＣＡＮ技術のような教師なしクラスタリングである。
【００６４】
特定の特徴に従って、前記空間フィルタリングは、任意に第１又は第３の実施形態に従って実施され、前記関心のある複数の点の質量重心を決定することを含む。
【００６５】
上記３つの実施形態のうちのいずれか１つの他の態様に従って、当該方法は、関心のある少なくとも１つの点を表す前記情報の時間フィルタリングを含み、該時間フィルタリングは、前記関心のある少なくとも１つのプレノプティックビデオデータの組の部分にわたって適用される。
【００６６】
そのような時間フィルタリングは、ビデオセグメントのために前記共通３Ｄ基準系において共通リフォーカシング面パラメータを決定し、従って、得られたレンダリングリフォーカシング面を時間的に平滑化することを可能にする。
【００６７】
本開示の他の態様に従って、少なくとも２つのレンダリングリフォーカシング面に夫々関連する少なくとも２つの連続的なリフォーカシングは２つの別個の時点で実施され、当該方法は、夫々のフォーカシング面が前記少なくとも２つのレンダリングリフォーカシング面の間に位置しているフレームのシーケンスを生成することを含む。
【００６８】
そのような態様は、例えば、第１の実施形態に対応する自動モードと、第２及び第３の実施形態のうちの１つに対応するソーシャルモードとの間の切り替えが行われる場合に、滑らかな遷移（すなわち、パス（path））を得ることを可能にする。
【００６９】
本開示の他の態様は、同じシーンを同時に捕捉するプレノプティック装置の組に属する１つのプレノプティック装置によって供給されるひと組のプレノプティックビデオデータのレンダリングを関心のある少なくとも１つの共通点にリフォーカシングする装置に関する。
【００７０】
そのような装置はプロセッサを有し、該プロセッサは、
・前記プレノプティックビデオデータの組を供給した当該プレノプティック装置と、前記プレノプティック装置の組の中の少なくとも１つの他の装置とを空間的に位置付けるために使用される共通３Ｄ基準系を得る手段と、
・前記共通３Ｄ基準系において共通リフォーカシング面パラメータを決定する手段と、
・前記共通リフォーカシング面パラメータを、前記プレノプティックビデオデータの組を供給した前当該プレノプティック装置に関連する３Ｄ基準系のレンダリングリフォーカシング面に変換することによって、前記プレノプティックビデオデータの組のレンダリングをリフォーカシングする手段と
を有し、
前記変換することは、前記共通３Ｄ基準系と当該プレノプティック装置に関連する前記３Ｄ基準系との間の変換を使用する。
【００７１】
そのようなリフォーカシング装置は、上述されたリフォーカシング方法を実装するために特に構成される。
【００７２】
そのような装置は、例えば、レンダリングすべきプレノプティックビデオデータの組を捕捉したプレノプティック装置において完全に実装されるか、あるいは、遠方のサーバにおいて完全に、又は当該プレノプティック装置における一部分及び前記遠方のサーバにおける一部分を備えた分解組立装置として、組み込まれ得る。
【００７３】
例えば、前記得る手段及び前記決定する手段は、コンテンツ処理モジュールに対応し、前記リフォーカシングする手段は、コンテンツレンダリングモジュールに対応する。
【００７４】
本開示に従って、レンダリングすべきプレノプティックビデオデータの組を供給する前記プレノプティック装置に関連する当該リフォーカシング装置は、同時に同じシーンを捕捉する前記プレノプティック装置の組の中の少なくとも１つの他のプレノプティック装置と、及び／又は同じシーンを同時に捕捉する前記プレノプティック装置の組の中の少なくとも１つの他のプレノプティック装置と通信するサーバと、通信リンクを通じて通信することが留意されるべきである。有利なことに、同じシーンを同時に捕捉するプレノプティック装置の組の中の複数のプレノプティック装置は、それらのプレノプティックビデオデータの組を遠方のサーバへ通信リンクを通じてアップロードする。遠方のサーバにおいてホスティングされているプレノプティックビデオデータの如何なる組も、その場合に、如何なるリフォーカシング装置によってもアクセスされ得る。
【００７５】
第４の非制限的な実施形態に従って、プレノプティックビデオデータの組は、異なる時点で異なる３Ｄポーズから同じシーンを捕捉する同じプレノプティック装置によって供給される。本開示はまた、時間において異なる位置から同じシーンを捕捉する単一のプレノプティック装置に適用可能である。捕捉されるシーンが様々なショットの間に大幅に変化しない場合において、リフォーカシング方法はまた、時間にわたって同じシーンから単一の装置によって捕捉されるプレノプティックビデオデータの他の組の間でプレノプティックビデオデータの組をリフォーカシングするために適用可能である。第４の実施形態は、プレノプティックビデオデータの組のレンダリングを関心のある少なくとも１つの共通点にリフォーカシングする方法及び装置の両方に適用可能である。この具体的且つ非制限的な実施形態に従って、レンダリングすべきプレノプティックビデオデータの組を供給するプレノプティック装置に関連するリフォーカシング装置は、同じシーンを捕捉したプレノプティック装置と、及び／又はプレノプティックビデオデータの組を記憶するサーバと、通信リンクを通じて通信する。実際に、プレノプティック装置は、有利なことに、プレノプティックビデオデータの組を遠方のサーバへ通信リンクを通じてアップロードする。遠方のサーバにおいてホスティングされているプレノプティックビデオデータの如何なる組も、その場合に、如何なるリフォーカシング装置によってもアクセスされ得る。
【００７６】
その上、上述されている第２、第３又は第４の実施形態に従って、当該リフォーカシング装置は、ユーザインターフェイスをホスティングする遠方のサーバとも前記通信リンクを通じて通信し、少なくとも１人のユーザが関心のある少なくとも１つの点を表す情報を送信することを可能にする。前記プレノプティック装置の組、コンテンツ処理モジュール及びコンテンツレンダリングモジュールを有する前記少なくとも１つのリフォーカシング装置、前記通信リンク、前記遠方のサーバ、並びに前記ユーザインターフェイスは、ソーシャルネットワークを通じた情報共有に関連してプレノプティックビデオデータの組を共有するよう構成されるリフォーカシングシステムを形成する。
【００７７】
本開示はまた、上記のリフォーカシングする方法を実施するよう構成されるソフトウェアコードを有するコンピュータプログラムに関係がある。
【００７８】
当該コンピュータプログラムは、通信ネットワークからダウンロード可能な及び／又はコンピュータによって読出可能な媒体に記録された及び／又はプロセッサによって実行可能な製品であり、本開示に従う方法の１つを実装するためのプログラムコード命令を有する。
【００７９】
本開示はまた、上記のリフォーカシングする方法を実施するようコンピュータによって実行可能な命令のプログラムを有形に具現する、コンピュータによって読出可能な非一時的なプログラム記憶装置に関係がある。
【００８０】
そのようなコンピュータプログラムは、コンピュータ読出可能な記憶媒体に記憶されてよい。ここで使用されるコンピュータ読出可能な記憶媒体は、そこに情報を記憶する固有能力及びそこからの情報の取り出しを提供する固有能力を前提として、非一時的な記憶媒体と見なされる。コンピュータ読出可能な記憶媒体は、例えば、しかし制限なしに、電子、磁気、光、電磁気、赤外線、又は半導体システム、装置、又はデバイス、あるいは、それらのあらゆる適切な組み合わせであることができる。当然ながら、次のものは、本原理が適用され得るコンピュータ読出可能な記憶媒体のより具体的な例を提供しながら、当業者によって容易に理解される実例となる非網羅的な列挙にすぎない：ポータブルコンピュータディスケット、ハードディスク、リードオンリーメモリ（ＲＯＭ；read-only  memory）、消去可能なプログラム可能リードオンリーメモリ（ＥＰＲＯＭ；erasable  programmable  read-only  memory若しくはフラッシュメモリ）、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置、又はそれらのあらゆる適切な組み合わせ。
【００８１】
当然ながら、上記の概要及び以下の詳細な記載は、例及び説明のためであり、請求される開示された原理を制限しない。
【００８２】
また、当然ながら、“一実施形態”又は“実施形態”との明細書中の言及は、記載されている実施形態が特定の特徴、構造、又は特性を含み得るが、全ての実施形態が必ずしもその特定の特徴、構造、又は特性を含まなくてよいことを示す。
【００８３】
更に、そのような語句は、必ずしも、同じ実施形態に言及していない。更には、特定の特徴、構造、又は特性が実施形態に関連して記載される場合に、明示的に記載されていようとなかろうと他の実施形態と関連してそのような特徴、構造、又は特性に作用することは、当業者の知識の範囲内であると考えられる。
【００８４】
本開示の具体的内容並びに本開示の他の目的、利点、特徴及び使用は、添付の図面に関連して理解される実施形態の以下の記載から明らかになるだろう。
【図面の簡単な説明】
【００８５】
開示される原理の実施形態は、一例として与えられて保護の範囲を制限しない以下の記載及び図面を参照して、より良く理解され得る。
【図１】プレノプティック装置の概念図を示す（先行技術にして既に提示された。）。
【図２】本開示の一般的な実施形態に従って、符号化する方法の主たるステップの図を概略的に示す。
【図３Ａ】同じシーンを同時に捕捉する３つのプレノプティック装置が関与する例を考慮して、本開示の異なるステップを表す。
【図３Ｂ】同じシーンを同時に捕捉する３つのプレノプティック装置が関与する例を考慮して、本開示の異なるステップを表す。
【図３Ｃ】同じシーンを同時に捕捉する３つのプレノプティック装置が関与する例を考慮して、本開示の異なるステップを表す。
【図３Ｄ】同じシーンを同時に捕捉する３つのプレノプティック装置が関与する例を考慮して、本開示の異なるステップを表す。
【図３Ｅ】同じシーンを同時に捕捉する３つのプレノプティック装置が関与する例を考慮して、本開示の異なるステップを表す。
【図３Ｆ】同じシーンを同時に捕捉する３つのプレノプティック装置が関与する例を考慮して、本開示の異なるステップを表す。
【図４】本開示に従って、共通３Ｄ基準系の取得を表す。
【図５Ａ】本開示の３つの実施形態を夫々表す。
【図５Ｂ】本開示の３つの実施形態を夫々表す。
【図５Ｃ】本開示の３つの実施形態を夫々表す。
【図６Ａ】第１及び第３の実施形態の特定の態様を表す。
【図６Ｂ】第１及び第３の実施形態の特定の態様を表す。
【図７】本開示の実施形態に従う装置のアーキテクチャの例を示す。  類似した又は同じ要素は、同じ参照符号を用いて参照される。図中の構成要素は、必ずしも実寸通りでなく、代わりに、開示される実施形態を説明する際に強調されることがある。
【発明を実施するための形態】
【００８６】
５．１  一般的原理
本開示の一般的原理は、プレノプティック装置の間でリフォーカシング面パラメータを共有する手段を提供し、パラメータの共通のリフォーカシングセットを定義し、パラメータの共通の組を各カメラに適用することによって、複数のビューと、同時に同じシーンを捕捉するプレノプティック装置のリフォーカシング機能とを利用して、ビデオコンテンツをリフォーカシングする新しい方法に存する。
【００８７】
もっと正確に言えば、以下で記載されるように、２つのリフォーカシングモードが提案される。
【００８８】
一方は、リフォーカシングするための関心領域がコンテンツ解析を通じて自動的に決定され、全てのプレノプティック取得が然るべくリフォーカシングされる自動モードであり、他方は、参加者がコメント及び焦点が合った領域の両方を他者とインターフェイスを通じて共有することができるソーシャルモードである。
【００８９】
ひと組のプレノプティックビデオデータのレンダリングをリフォーカシングするための本開示に従うリフォーカシング方法の、対応する装置の、及びコンピュータ読出可能な記憶媒体の様々な非制限的な実施形態が、次の項で開示される。
【００９０】
なお、本開示は、多くの代替の形態において具現されてよく、ここで説明されている実施形態に制限されると解釈されるべきでない。然るに、本開示は、様々な変更及び代替の形態の余地があり、一方で、その具体的な実施形態は、図面において一例として示され、そして本明細書で詳細に記載される。なお、当然ながら、開示されている特定の形態に本開示を制限する意図はなく、それどころか、本開示は、特許請求の範囲によって定義されている本開示の主旨及び適用範囲内にある全ての変更、均等、及び代替をカバーすべきである。
【００９１】
ここで使用される用語は、単に特定の実施形態を記載することを目的とし、本開示の限定であるよう意図されない。ここで使用されるように、単称形“１つの（a又はan）”及び“前記（the）”は、文脈が別なふうに明示しない限りは、複数形も含むよう意図される。更に、語“有する（comprises）”、“有する（comprising）”、“含む（includes）”及び／又は“含む（including）”は、本明細書で使用される場合に、述べられている特徴、整数、ステップ、動作、要素、及び／又はコンポーネントの存在を特定しながら、１つ以上の他の特徴、整数、ステップ、動作、コンポーネント、及び／又はそれらのグループの存在又は追加を除外しないことが理解されるだろう。
【００９２】
更に、要素が他の要素に“応答する（responsive）”又は“接続される（connected）”と呼ばれる場合に、それは他の要素に直接に応答又は接続され得るか、あるいは、介在要素が存在してよい。対照的に、要素が他の要素に“直接応答する”又は“直接接続される”と呼ばれる場合に、介在要素は存在しない。ここで使用されるように、語“及び／又は（and/or）”は、関連する列挙された項目のうちの１つ以上のありとあらゆる組み合わせを含み、そして“／”と省略されることがある。
【００９３】
語“第１”、“第２”などが様々な要素を記載するためにここで使用されることがあるが、それらの要素はそれらの語によって制限されるべきではないことが理解されるだろう。それらの語は、１つの要素を他から区別するためにのみ使用される。例えば、本開示の教示から外れることなしに、第１の要素は第２の要素と呼ばれてよく、同様に、第２の要素は第１の要素と呼ばれてよい。
【００９４】
一部の図は、通信の主たる方向を示すよう通信経路上に矢印を含むが、当然ながら、通信は、図示された矢印とは反対の方向において起こることがある。
【００９５】
いくつかの実施形態は、夫々のブロックが、特定の論理関数を実装する１つ以上の実行可能命令を含む回路素子、モジュール、又はコードの部分を表すブロック図及び動作フローチャートに関して記載される。また、他の実施では、ブロックにおいて示されている機能は、示されている順序から外れて起きてよいことが留意されるべきである。例えば、連続して示されている２つのブロックは、実際には、略同時に実行されてよく、あるいは、ブロックは、時々、関連する機能性に応じて、逆の順序で実行されてよい。
【００９６】
“一実施形態”又は“実施形態”との本明細書中の言及は、実施形態に関連して記載される特定の特徴、構造、又は特性が本開示の少なくとも１つの実施に含まれ得ることを意味する。本明細書中の様々な箇所における語句“一実施形態において”又は“実施形態に従って”の出現は、必ずしも全てが同じ実施形態に言及しているわけでなく、他の実施形態と必然的に相互排他的な別個又は代替の実施形態でもない。
【００９７】
特許請求の範囲に表れる参照符号は、単なる例示であり、特許請求の範囲の適用範囲に対して限定する効果を有すべきでない。
【００９８】
明示的に記載されないが、本実施形態及び変形例は、如何なる組み合わせ又は部分的組み合わせにおいても用いられてよい。
【００９９】
本開示は、ライトフィールドデータから得られるビューのマトリクスの中のあるビューのピクセルを符号化／復号化することについて記載されるが、ライトフィールドデータ（プレノプティックビデオ）から得られるビューのマトリクスのシーケンスの符号化／復号化に及ぶ。これは、シーケンスに属するビューの各マトリクスが後述されるように順次に符号化／復号化されるからである。
【０１００】
５．２  リフォーカシング方法
図２は、本開示に従って、リフォーカシングする方法の主たるステップの図を概略的に示し、方法は、リフォーカシング装置によって実施される。
【０１０１】
本開示のアプリケーションのコンテキストの例は、例えば、図３Ａで表されている。図３Ａで、３つのプレノプティック装置（３１，３２，３３）の組は、コンサートに関連するプレノプティックビデオデータを同時に捕捉するために考えられている。
【０１０２】
それら３つのプレノプティック装置は、例えば、コンサートが実施されている場所において異なる位置に位置している３人の異なるユーザの携帯電話機に組み込まれ得る。
【０１０３】
図３Ａには、各プレノプティック装置の光軸（３１１，３２１，３３１）が表されている。
【０１０４】
本開示に従って、ひと組のプレノプティックビデオデータ（Ｓ＿Ｐ＿Ｖ＿Ｄ）のレンダリングをリフォーカシングする方法は、前記リフォーカシング装置のプロセッサによって実装されてよく、図２によって表されているように、３つの主なステップ：
・前記プレノプティックビデオデータの組を供給した当該プレノプティック装置と、前記プレノプティック装置の組の中の少なくとも１つの他のデバイスとを空間的に位置付けるために使用される共通３Ｄ基準系を得るステップ（２１）と、
・関心のある少なくとも１つの共通点から、前記共通３Ｄ基準系において共通リフォーカシング面パラメータを決定するステップ（２２）と、
・前記共通リフォーカシング面パラメータを、前記プレノプティックビデオデータの組を供給した当該プレノプティック装置に関連する３Ｄ基準系のレンダリングリフォーカシング面に変換すること（２３１）によって、前記プレノプティックビデオデータの組のレンダリングをリフォーカシングするステップ（２３）と
を有し、前記変換すること（２３１）は、前記共通３Ｄ基準系と、当該プレノプティック装置に関連する前記３Ｄ基準系との間の変換を使用する。
【０１０５】
これら３つの主たるステップは、以下で更に詳細に記載される。
【０１０６】
図２によって表されている一般的な実施形態に従って、本開示に従う方法は、任意に最初に、第１プレノプティック装置によって供給されるレンダリングすべき前記プレノプティックビデオデータ（Ｓ＿Ｐ＿Ｖ＿Ｄ）の組と、他のプレノプティック装置によって供給されるプレノプティックビデオデータの少なくとも１つの他の組との時間同期（２０）を実施する（点線で表される。）。第１プレノプティック装置及び他のプレノプティック装置は、コンサート、パーティ、スポーツイベント、などのような同じシーンを同時に捕捉するプレノプティック装置の組に属する。
【０１０７】
そのようなオプション（２０）を実施しないならば、時間同期は他のモジュール又はサーバによって前もって実施され、本開示に従うリフォーカシング装置は、プレノプティックビデオデータの同期された組を直接受けることが分かる。
【０１０８】
そのような時間同期（２０）は、本開示のリフォーカシング装置によって実施されようとされなかろうと、ゲンロック（２０１）のようなサードパーティ技術を用いて、又は例えば、先に引用されたA.  Bagriによって記載されている音声時間アライメント（２０２）のような取得後の同期技術を用いて、又は先に引用されたM.  Douzeの技術を使用する取得後の時間アライメント（２０２）の視覚的モードを用いて、手に入れられる。“ソーシャルモード”実施形態のいずれにおいても、取得後の同期は、例えば、有利なことに、プレノプティックビデオデータの組がサーバにアップロードされた後又はその間にサーバにおいて実施される。
【０１０９】
次いで、前記プレノプティックビデオデータの組を供給したプレノプティック装置と、プレノプティック装置の組の中の少なくとも１つの他の装置とを空間的に位置付けるために使用される共通３Ｄ基準系を得る第１の主たるステップ（２１）が、行われる。
【０１１０】
換言すれば、そのようなステップ（２１）は、各プレノプティック装置（すなわち、プレノプティックカメラ）のリフォーカシング面パラメータを変換するために使用される定義に対応する。
【０１１１】
夫々の時点で、３Ｄカメラのポーズは、先に引用されたF.  Dellaertによって開示されているストラクチャ・フロム・モーションを用いてカメラごとに計算される。ストラクチャ・フロム・モーションは、最適化技術を通じて、撮像されたシーンの３Ｄ構造（シーンを表す、三角測量による点群計算）と、点群が定義される共通３Ｄ基準系に対する各カメラの３Ｄポーズとの共同推定を可能にする。
【０１１２】
本開示に従って、カメラはプレノプティックであるから、それらの夫々の中心ビューのみがこのステップで使用される。このプロセスの完了時に、共通３Ｄ基準系における点は、夫々のカメラ基準に投影され得る（共通３Ｄ基準系から各カメラへのパラメータの逆変換として後に指名される。）。
【０１１３】
反対に、１つのプレノプティックカメラの１つのサブ画像における２Ｄ点を考えると、カメラまでのその距離は、当該カメラによるライトフィールドのサンプリングのおかげで計算され得、よって、共通基準におけるその３Ｄ位置が計算され得る（カメラパラメータから共通３Ｄ基準系への直接変換として後に指名される。）。
【０１１４】
そのような直接変換及び逆変換は、図４によって表されている。図４において、直接変換は、３つの軸３１１、３１２及び３１３によって図３Ｂにおいて表されているプレノプティック装置３１に関連する３Ｄ基準系において表現された点ｐ１から、ストラクチャ・フロム・モーション（ＳＦＭ）（２１１）を用いて得られる３つの軸３０１、３０２及び３０３によって図３Ｃにおいて表されている共通３Ｄ基準系において表現された点Ｐへのパスを可能にする。
【０１１５】
そのような直接変換は、プレノプティック装置３１によって供給されるプレノプティックビデオデータの組に関連するライトフィールドからもたらされる深度パラメータを考慮することによって得られる。
【０１１６】
対応する逆変換は、図３Ｃで表されるように共通３Ｄ座標系におけるプレノプティック装置（すなわち、カメラ）３１のポーズを認識しながらＰからｐ１への投影に対応する。
【０１１７】
共通３Ｄ基準系（３０１，３０２，３０３）が得られる（２１）と、共通３Ｄ基準系において共通リフォーカシング面パラメータを決定すること（２２）が、関心のある少なくとも１つの共通点から実施される。
【０１１８】
一般に、共通３Ｄ基準系（図３Ｃの３軸３０１、３０２及び３０３に対応する。）において共通リフォーカシング面パラメータを決定するステップ（２２）は、プレノプティック装置の組の中の少なくとも１つのプレノプティック装置によって供給される関心のある少なくとも１つのプレノプティックビデオデータの組に関連する関心のある少なくとも１つの点（３４）（図３Ｂで表されるように、関心のある点３４はギターに対応する。）を表す情報を取得すること（２２１０）によって、関心のある少なくとも１つの共通点（３５）を最初に決定すること（２２１）を含む。
【０１１９】
次いで、共通３Ｄ基準系と、情報が得られる関心のある少なくとも１つのプレノプティックビデオデータの組を供給した少なくとも１つのプレノプティック装置に関連する少なくとも１つの３Ｄ基準系との間の少なくとも１つの変換（すなわち、上記の逆変換）を夫々使用することが、情報を共通３Ｄ基準系に変換する（２２２）ために、実施される。
【０１２０】
変換（２２２）が実行されると、図３Ｄのリフォーカシング面３６に対応する共通リフォーカシング面パラメータを決定すること（２２３）が、共通３Ｄ基準系に変換された情報から実施される。
【０１２１】
他のオプション（点線で示される。）は、関心のある少なくとも１つのプレノプティックビデオデータの組を供給する自動モード、１人のユーザが関心のある少なくとも１つのプレノプティックビデオデータの組を供給するために考えられているソーシャルモードの第１の代替案、及び複数人のユーザが関心のある少なくとも１つのプレノプティックビデオデータの組を供給するために考えられているソーシャルモードの第２の代替案に夫々対応する図５Ａ、５Ｂ及び５Ｃによって夫々表されている３つの実施形態に従って、共通３Ｄ基準系において共通リフォーカシング面パラメータを決定するステップ（２２）のために実装され得る。
【０１２２】
図５Ａによって表される第１の実施形態の“自動モード”を考えると、情報は、少なくとも１つのプレノプティック装置が関心のある少なくとも１つのプレノプティックビデオデータの組を供給することによって、自動的に供給される（５１）。
【０１２３】
もっと正確に言えば、Ｎ（図３Ａ乃至３Ｆでは、Ｎ＝３）個のプレノプティックカメラＣｉの夫々は、その関心のある点Ｐｉと、３Ｄベクトルｖｉによって定義されるその作用線とを定義する必要がある（５１２，５１３）。明らかに、Ｎ＝１である場合も自動モードに従って実施され得るが、表されていない。
【０１２４】
換言すれば、関心のある少なくとも１つの点を表す情報は、関心のある点ごとに少なくとも２種類の要素：
・関心のある点Ｐｉの３Ｄ座標、
・関心のある点の時間運動を表す３Ｄベクトルｖｉ
を含む。
【０１２５】
例えば、図３Ａ乃至３Ｆによって表される例を考えると、関心のある３つの点Ｐｉは、関心のある少なくとも１つの点を表す情報を含む。
【０１２６】
Ｐｉを計算するよう、考えられているプレノプティック装置Ｃｉの全焦点画像（ＡＩＦ画像）が使用され（５１１）、このとき、次の技術のうちの少なくとも１つが、関心のある点を特定するために使用される：
・全焦点ビューの中心ビュー、
・全焦点ビューのサリエンシーマップ（先に引用されたO.  Le  Meurによって開示されている技術に従って求められる。）、
・プレノプティックカメラの深度マップからの前景オブジェクト選択（先に引用されたO.  T.  E.  Bishopによって開示されている。）。
【０１２７】
ｖｉを計算するよう、ビジュアルトラッキング技術が使用される（先に引用されたA.  Yilmazによって開示されている。）。
【０１２８】
夫々のフレームについて，各カメラはプレノプティックビデオデータの組（Ｐｉ，ｖｉ）を共有する。これは、本開示に従うリフォーカシング装置のコンテンツ処理モジュールによって、共通３Ｄ基準系において変換される。
【０１２９】
共通３Ｄ基準系において、パラメータの全ての組を受け取る際（２２１０）に、空間フィルタリング（５２１）又はクラスタリング（５２２）プロセスが、無意味の点を取り除くために適用される。
【０１３０】
例えば、間違った点推定、又はノイズ、又はつじつまの合わないデータの影響を制限するよう、クラスタリング技術が使用され得る。点の組｛Ｐｉ，ｉ∈［１，Ｎ］｝に対して、先に引用されたD.  Comaniciuによって開示されており且つ図６Ａによって表されている平均シフトのような教師なしクラスタリングを用いると、あるいは、先に引用されたM.  Esterによって開示されており且つ図６Ｂによって表されているＤＢｓｃａｎを用いると、コヒーレント点のクラスタが求められ得る。
【０１３１】
次いで、プリンシパルクラスタが抽出され得、このクラスタに属さない全ての点は、残りのプロセスから捨てられる。
【０１３２】
変換されたパラメータ（Ｐｉ，ｖｉ）の有効な組のグループから、リフォーカシング面π（３６）が次いで決定される。
【０１３３】
リフォーカシング面は、例えば、最小化すること（５２３）によって求められる：
【０１３４】
【数１】
2019507970.tif 000003
ここで、αは、調整すべきパラメータである。α＝０ならば、面π（３６）はデータ点Ｐｉを近似する。αが増大する場合に、面π（３６）は、作用線を有するよう仕向けられる。
【０１３５】
任意に、時間フィルタリング（５２４）モジュールは、ビデオセグメントのためのリフォーカシング面を決定するために、フレーム情報の組に対して適用される。実際に、上記の式１は、夫々の時間コードｔで解かれ、面π（ｔ）をもたらす。如何なる時間フィルタリング（５２４）（線形象限推定（ＬＱＥ；linear  quadratic  estimation）などとしても知られているカルマンフィルタリング、自己回帰モデル）も、面πの位置を時間的に平滑化するようここで使用され得る。
【０１３６】
そのような時間フィルタリング（５２４）は、夫々のフレームについてよりもむしろビデオセグメントについて対（Ｐｉ，ｖｉ）を供給しうるプレノプティックカメラ（すなわち、プレノプティック装置）レベルで任意に行われ得ることが留意されるべきである。
【０１３７】
図５Ｂによって表されている“ソーシャルモード”の第１の代替案に対応する第２の実施形態を考えると、情報は、関心のあるひと組のプレノプティックビデオデータに関連する関心のある単一の点を表し、そのプレノプティックビデオデータの組の中の１つをレンダリングする装置に関連するユーザインターフェイスを通じて供給される（５２５）。
【０１３８】
もっと正確に言えば、この第２の実施形態に従って、１人のユーザ（５３）は、点Ｐｉを定義する対象を選択する。そのユーザ（５３）に関連するこのカメラのためのリフォーカシング面は、Ｐｉを含む面として定義され、図３Ｆによって表されるようにカメラの光軸に垂直である。
【０１３９】
次いで、プレノプティック装置に関連する３Ｄ基準系にユーザ（５３）によって定義されたリフォーカシング面は、図３Ｄの３つの軸（３０１，３０２，３０３）に対応する共通３Ｄ基準系において変換される。この変換の間、関心のある少なくとも１つの共通点を決定すること（２２１）（ユーザ（５３）によって定義された点Ｐｉを得ること（２２１０）を含む。）、全ての実施形態に共通する共通リフォーカシング面パラメータを変換すること（２２２）及び決定すること（２２３）の３つのステップが実施され、そして、第１の実施形態において見られるように、時間フィルタリングも、任意に、ビデオセグメントのためのリフォーカシング面を決定するために、フレーム情報の組に対して適用され得る。
【０１４０】
図５Ｃによって表されている“ソーシャルモード”の第２の代替案に対応する第３の実施形態を考えると、情報は、関心のある少なくとも２つの点を表す。
【０１４１】
この第３の実施形態の第１の例に従って、関心のあるそれら２つの点は、個々のユーザ（５４及び５５）によって定義され、関心のある少なくとも２つのプレノプティックビデオデータの組に夫々関連し、それら２つのプレノプティックビデオデータの組の少なくとも２つのレンダリング装置に関連する少なくとも１つのユーザインターフェイスを通じて供給される（５２５）。
【０１４２】
この第３の実施形態の他の例に従って、関心のあるそれら２つの点は、例えば、連続的なリフォーカシング動作を得ようとしているか、又は可能であるならば、関心のあるいくつかの点を同時に含むリフォーカシング面を得ようとしている同じユーザ（５４又は５５）によって定義される。換言すれば、関心のある複数の点（５４及び５５）が関与するこの第３の実施形態に従って、夫々のユーザは、関心のある点Ｐｉを定義する少なくとも１つの対象を選択する。リフォーカシング面は、関心のある点Ｐｉについて、及び考えられているユーザに関連する夫々のプレノプティックカメラについて、Ｐｉを含む面として定義され、カメラの光軸に垂直である。
【０１４３】
次いで、夫々のフレームについて、及び考えられているユーザに関連する夫々のプレノプティック装置について、そのプレノプティック装置に関連する３Ｄ基準系において、考えられているユーザによって定義された点Ｐｉ及びリフォーカシング面πｉは、開示されている原理に従って、リフォーカシング装置のコンテンツ処理モジュールによって、図３Ｄの３つの軸（３０１，３０２，３０３）に対応する共通３Ｄ基準系において変換される。
【０１４４】
共通３Ｄ基準系において、任意に、パラメータの全組を受け取ると、空間フィルタリング（５２１）又はクラスタリング（５２２）が、Ｎ個の点Ｐｉの組をグループ化するために適用される。
【０１４５】
それは、点集合の質量中心をロバストに計算することによって簡単に達成され得る。次いで、計算された分布から外れている如何なる点（すなわち、質量中心までの距離が点集合の直径の３倍を超えるもの）も捨てられる。
【０１４６】
Ｎ個の変換されたパラメータ（Ｐｉ，πｉ）のグループから、Ｎ個のリフォーカシング面πｉは、夫々のリフォーカシング面πｉが、空間フィルタリング（５２１）又はクラスタリング（５２２）から得られるグループの関心のある点Ｐｉを通り、且つ、レンダリングすべきプレノプティックビデオデータの組を夫々供給するプレノプティック装置の光軸に直交する唯一の面であることを考慮して、決定される。
【０１４７】
任意に、第１及び／又は第２の実施形態において見られるように、時間フィルタリングも、任意に、ビデオセグメントのためのリフォーカシング面を決定するために、フレーム情報の組に対して適用され得る。
【０１４８】
図２を考えると、共通３Ｄ基準系において共通リフォーカシング面パラメータを決定する第２の主たるステップ（２２）が上記の３つの実施形態のうちの１つに従って実施されると、プレノプティックビデオデータの組のレンダリングをリフォーカシングすること（２３）が、面π（３６）に関連する共通リフォーカシング面パラメータを、プレノプティックビデオデータの組を供給したプレノプティック装置に関連する３Ｄ基準系（３つの軸３１１、３１２及び３１３に対応する。）のレンダリングリフォーカシング面（３７）に変換すること（２３１）によって、実施される。変換（２３１）は、図３Ｅによって表されているように、共通３Ｄ基準系と、プレノプティック装置に関連する３Ｄ基準系との間の変換を使用する。
【０１４９】
換言すれば、リフォーカシング面πのパラメータは、夫々の３Ｄカメラ基準と整合させるために、逆変換の後に、各カメラへ送られる。
【０１５０】
本開示の同じシーンを同時に捕捉するプレノプティック装置の組の中の少なくとも２つのプレノプティック装置の間の共通リフォーカシング面パラメータの共有に従って得られた現れるレンダリングリフォーカシング面（３７）は、図３Ｆによって表されているように、先行技術の方法に従ってリフォーカシングのために使用されうるプレノプティック装置３１の光軸に垂直な面（３９）に対応しない。
【０１５１】
主な実施は、夫々のプレノプティックカメラについて面π（３６）に関連するリフォーカシング面パラメータを直接に適用することに存する。
【０１５２】
任意に、現れるレンダリングリフォーカシング面（３７）は、プレノプティックカメラの位置を考慮するよう後処理され得る（２３１）。その場合に、リフォーカシング面と光軸に垂直な面との間の距離は、計算され、ある値を超えないように補正されるべきである。
【０１５３】
提案される実施の一例は、面３７及び３９の２つの直交ベクトルの間のスカラー積を計算することである。結果が０．５を下回る場合には、レンダリングリフォーカシング面（３７）は、０．５を上回るスカラー積に達するために、垂直な面（３９）の方向に向かって動かされる。
【０１５４】
値（ここでは０．５）の決定は、システム値又は、ユーザが自身の好みを選択することを可能にする、第２及び第３の実施形態のために使用されたもの（５２５）のような、特定のユーザインターフェイスのおかげで設定されたユーザ値、であることができる。
【０１５５】
自動モードとソーシャルモードとの間の移行の場合に、又は複数のユーザ選択の間の切り替えの場合に、２つのリフォーカシング面の間の滑らかな遷移は、任意に、２つのリフォーカシング面の間のパスを形成するリフォーカシングされたフレームのシーケンスを生成すること（２４）によって計算される。
【０１５６】
５．３  リフォーカシング装置の構造
図２で、モジュールは機能ユニットであり、区別可能な物理ユニットに関連してもしなくてもよい。例えば、それらのモジュール又はそれらのうちの一部は、唯一のコンポーネント又は回路に集められるか、あるいは、ソフトウェアの機能性に寄与してよい。反対に、一部のモジュールは、潜在的に、別個の物理エンティティから構成されてよい。本開示と互換性がある装置は、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）若しくはＦＰＧＡ（Field-Programmable  Gate  Array）若しくはＶＬＳＩ（Very  Large  Scale  Integration）のような専用のハードウェアを使用する純粋なハードウェアを用いて、あるいは、装置に組み込まれた幾つかの集積電子部品から又はハードウェアとソフトウェアコンポーネントとの融合から、実装される。
【０１５７】
図７は、図２乃至６に関連して記載されるリフォーカシング方法を実装するよう構成され得る装置１０００の例となるアーキテクチャを表す。
【０１５８】
装置１００は、データ及びアドレスバス１００１によってつなぎ合わされている次の要素を有する：
・例えばＤＳＰ（すなわち、Digital  Signal  Processor）であるマイクロプロセッサ１００２（又はＣＰＵ）、
・ＲＯＭ（すなわち、Read  Only  Memory）１００３、
・ＲＡＭ（すなわち、Random  Access  Memory）１００４、
・アプリケーションからのデータの送信及び／又は受信のためのＩ／Ｏインターフェイス１００５、及び
・バッテリ１００６。
【０１５９】
変形例に従って、バッテリ１００６は装置の外にある。図７のそれらの要素の夫々は、当業者によく知られており、これ以上は開示されない。挙げられているメモリの夫々において、本明細書において使用される語＜＜レジスタ＞＞は、小容量（数ビット）のエリアに、又は大容量のエリア（例えば、プログラム全体又は大量の受信若しくは復号されるデータ）に対応することができる。ＲＯＭ１００３は、少なくともプログラム及びパラメータを有する。本開示に従う方法のアルゴリズムは、ＲＯＭ１００３において記憶されている。オンされるときに、ＣＰＵ１００２は、ＲＡＭにおいてプログラムをアップロードし、対応する命令を実行する。
【０１６０】
ＲＡＭ１００４は、レジスタにおいて、装置１０００のスイッチオン後にアップロードされてＣＰＵ１００２によって実行されるプログラムを、レジスタにおいて、入力データを、レジスタにおいて、方法の種々の状態における中間データを、及びレジスタにおいて、方法の実行のために使用される他の変数を有する。
【０１６１】
ここで記載される実施は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム又は信号において実装されてよい。たとえ単一の実施形態に関してしか説明されていないとしても（例えば、方法又は装置としてしか説明されていないとしても）、説明される特徴の実施は、他の形態（例えば、プログラム）でも実装されてよい。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実装されてよい。方法は、例えば、プロセッサのような装置において実装されてよい。プロセッサは、プロセッシング装置全般を指し、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能論理装置を含む。プロセッサはまた、例えば、コンピュータ、携帯電話機、ポータブル／パーソナルデジタルアシスタント（“ＰＤＡ”）、及び他の装置のような、エンドユーザ間の情報のやり取りを助ける通信装置を含む。
【０１６２】
リフォーカシング装置の具体的な実施形態に従って、関心のある少なくとも１つの点を表す情報及び／又はプレノプティックビデオデータの組は、ソースから取得される。例えば、ソースは：
・  ローカルメモリ（１００３又は１００４）、例えば、ビデオメモリ又はＲＡＭ（すなわち、Random  Access  Memory）、フラッシュメモリ、ＲＯＭ（すなわち、Read  Only  Memory）、ハードディスク、
・  ストレージインターフェイス、例えば、大容量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク又は磁気担体とのインターフェイス、
・  通信インターフェイス（１００５）、例えば、有線インターフェイス（例えば、バスインターフェイス、ワイドエリアネットワークインターフェイス、ローカルエリアネットワークインターフェイス）又は無線インターフェイス（例えば、ＩＥＥＥ８０２．１１インターフェイス若しくはＢｌｕｅｔｏｏｔｈ（登録商標）インターフェイス）、及び
・ピクチャ捕捉回路（例えば、ＣＣＤ（すなわち、Charge-Coupled  Device）又はＣＭＯＳ（すなわち、Complementary  Metal-Oxide-Semiconductor）のようなセンサ）
を含む組に属する。
【０１６３】
リフォーカシング又はリフォーカシング装置の種々の実施形態に従って、リフォーカシング装置によって配信されるビットストリームは、あて先、例えば、レンダリング装置へ送られる。一例として、ビットストリームは、ローカル又は遠隔のメモリ、例えば、ビデオメモリ（１００４）又はＲＡＭ（１００４）、ハードディスク（１００３）において記憶される。変形例において、ビットストリームは、ストレージインターフェイス、例えば、大容量記憶装置、フラッシュメモリ、ＲＯＭ、光ディスク若しくは磁気担体とのインターフェイスへ送られ、及び／又は通信インターフェイス（１００５）、例えば、ポイント・ツー・ポイントリンク、通信バス、ポイント・ツー・マルチポイントリンク若しくはブロードキャストネットワークへのインターフェイスを介して送信される。
【０１６４】
ここで記載されている様々なプロセス及び特徴の実施は、多種多様な装置又はアプリケーションにおいて具現されてよい。そのような装置の例には、プレノプティック装置からの出力を処理するポストプロセッサ、レンダリング装置へ入力を供給するプリプロセッサ、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話機、ＰＤＡ、及びピクチャ若しくはビデオを処理するためのその他装置、又は他の通信装置がある。
【０１６５】
加えて、方法は、プロセッサによって実行される命令によって実装されてよく、そのような命令（及び／又は実施によって生成されるデータ値）は、コンピュータ読出可能な記憶媒体に記憶されてよい。コンピュータ読出可能な記憶媒体は、１つ以上のコンピュータ読出可能な媒体において具現されて、コンピュータによって実行可能であるコンピュータ読出可能なプログラムコードが担持されているコンピュータ読出可能なプログラム製品の形をとることができる。ここで使用されるコンピュータ読出可能な記憶媒体は、そこに情報を記憶する固有能力及びそこからの情報の取り出しを提供する固有能力を前提として、非一時的な記憶媒体と見なされる。コンピュータ読出可能な記憶媒体は、例えば、しかし制限なしに、電子、磁気、光、電磁気、赤外線、又は半導体システム、装置、又はデバイス、あるいは、それらのあらゆる適切な組み合わせであることができる。当然ながら、次のものは、本原理が適用され得るコンピュータ読出可能な記憶媒体のより具体的な例を提供しながら、当業者によって容易に理解される実例となる非網羅的な列挙にすぎない：ポータブルコンピュータディスケット、ハードディスク、リードオンリーメモリ（ＲＯＭ；read-only  memory）、消去可能なプログラム可能リードオンリーメモリ（ＥＰＲＯＭ；erasable  programmable  read-only  memory若しくはフラッシュメモリ）、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置、又はそれらのあらゆる適切な組み合わせ。
【０１６６】
命令は、プロセッサ読出可能な媒体に有形に具現されるアプリケーションプログラムを形成してよい。
【０１６７】
命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせにあってよい。命令は、例えば、オペレーティングシステム、別個のアプリケーション、又は両者の組み合わせにおいて含まれていてよい。プロセッサは、従って、例えば、プロセスを実行するよう構成される装置、及びプロセスを実行するための命令を有するプロセッサ読出可能な媒体（例えば、記憶装置）を含む装置の両方と見なされ得る。更に、プロセッサ読出可能な媒体は、命令に加えて又はそれに代えて、実施によって生成されるデータ値を記憶してよい。
【０１６８】
当業者に明らかなように、実施は、例えば、記憶又は送信され得る情報を運ぶようフォーマットされた様々な信号を生成し得る。情報は、例えば、方法を実行する命令、又は記載されている実施のうちの１つによって生成されるデータを含んでよい。例えば、信号は、記載されている実施形態のシンタックスを書き込む又は読み出すための規則をデータとして運ぶよう、あるいは、記載されている実施形態によって書き込まれた実際のシンタックス値をデータとして運ぶようフォーマットされてよい。そのような信号は、例えば、電磁波として（例えば、スペクトルの無線周波数部分を使用する。）、又はベースバンド信号として、フォーマットされてよい。フォーマッティングは、例えば、データストリームを符号化し、符号化されたデータストリームによりキャリアを変調することを含んでよい。信号が運ぶ情報は、例えば、アナログ又はデジタルの情報であってよい。信号は、知られている多種多様な有線又は無線リンクを介して送信されてよい。信号は、プロセッサ読出可能な媒体に記憶されてよい。
【０１６９】
多数の実施が記載されてきた。それでもなお、様々な変更が行われ得ることが理解されるだろう。例えば、異なる実施の要素は、他の実施をもたらすよう結合、置換、変更、又は削除されてよい。加えて、当業者であれば、他の構造及びプロセスが、開示されているものに代用されてよく、結果として現れる実施が、開示されている実施と少なくとも略同じ結果を達成するよう、少なくとも略同じ方法で、少なくとも略同じ機能を実施すると理解するだろう。然るに、それら及び他の実施は、本願によって意図されている。
【図１】
2019507970.tif 000004
【図２】
2019507970.tif 000005
【図３Ａ】
2019507970.tif 000006
【図３Ｂ】
2019507970.tif 000007
【図３Ｃ】
2019507970.tif 000008
【図３Ｄ】
2019507970.tif 000009
【図３Ｅ】
2019507970.tif 000010
【図３Ｆ】
2019507970.tif 000011
【図４】
2019507970.tif 000012
【図５Ａ】
2019507970.tif 000013
【図５Ｂ】
2019507970.tif 000014
【図５Ｃ】
2019507970.tif 000015
【図６Ａ】
2019507970.tif 000016
【図６Ｂ】
2019507970.tif 000017
【図７】
2019507970.tif 000018
【手続補正書】
【提出日】平成30年6月19日(2018.6.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
プレノプティック装置によって供給されるプレノプティックビデオデータの組のレンダリングを関心のある少なくとも１つの共通点にリフォーカシングする方法であって、
当該方法は、
同じシーンを捕捉する前記プレノプティック装置の３Ｄポーズ及び少なくとも１つの他の３Ｄポーズで前記プレノプティックビデオデータの組を供給した前記プレノプティック装置を空間的に位置付けるために使用される共通３Ｄ基準系を得ることと、
前記関心のある少なくとも１つの共通点から、前記共通３Ｄ基準系において共通リフォーカシング面パラメータを決定することと、
前記共通リフォーカシング面パラメータを、前記プレノプティックビデオデータの組を供給した前記プレノプティック装置に関連する３Ｄ基準系のレンダリングリフォーカシング面に変換することによって、前記プレノプティックビデオデータの組のレンダリングをリフォーカシングすることと
を有し、
前記変換することは、前記共通３Ｄ基準系と前記プレノプティック装置に関連する前記３Ｄ基準系との間の変換を使用し、
前記プレノプティック装置は、前記同じシーンを同時に捕捉するプレノプティック装置の組に属し、
前記プレノプティック装置及び前記プレノプティック装置の組の中の少なくとも１つの他の装置によって夫々供給されるプレノプティックビデオデータの組は、それらの取得の間又は後に前もって時間的に同期される、リフォーカシングする方法。
【請求項２】
前記共通３Ｄ基準系を得ることは、前記プレノプティックビデオデータの組を供給した前記プレノプティック装置のための前記３Ｄポーズと、前記プレノプティック装置のための前記少なくとも１つの他の３Ｄポーズとを決定するためにストラクチャ・フロム・モーションを使用することを含む、
請求項１に記載のリフォーカシングする方法。
【請求項３】
前記リフォーカシングすることは、前記レンダリングリフォーカシング面と、前記プレノプティックビデオデータの組を供給した前記プレノプティック装置の光軸に垂直な面との間の距離が所定の値を超える場合に、再計算される、
請求項１又は２に記載のリフォーカシングする方法。
【請求項４】
前記共通３Ｄ基準系において共通リフォーカシング面パラメータを決定することは、
前記プレノプティック装置の組の中の少なくとも１つのプレノプティック装置によって供給される関心のある少なくとも１つのプレノプティックビデオデータの組に関連する関心のある少なくとも１つの点を表す情報を得ることによって、前記関心のある少なくとも１つの共通点を決定することと、
前記情報を前記共通３Ｄ基準系に変換するために、該共通３Ｄ基準系と、前記情報が得られる前記関心のある少なくとも１つのプレノプティックビデオデータの組を供給した前記少なくとも１つのプレノプティック装置に関連する少なくとも１つの３Ｄ基準系との間の少なくとも１つの変換を夫々使用することと、
前記共通３Ｄ基準系に変換された前記情報から前記共通リフォーカシング面パラメータを決定することと
を有する、
請求項１乃至３のうちいずれか一項に記載のリフォーカシングする方法。
【請求項５】
前記情報は、前記少なくとも１つのプレノプティック装置が前記関心のある少なくとも１つのプレノプティックビデオデータの組を供給することによって、自動的に供給される、
請求項４に記載のリフォーカシングする方法。
【請求項６】
関心のある少なくとも１つの点を表す前記情報は、関心のある点ごとに少なくとも２つのタイプの要素として
当該関心のある点の３Ｄ座標と、
当該関心のある点の時間運動を表す３Ｄベクトルと
を含む、
請求項５に記載のリフォーカシングする方法。
【請求項７】
前記共通３Ｄ基準系に変換された前記情報から前記共通リフォーカシング面パラメータを決定することは、前記共通３Ｄ基準系に変換された前記情報の関数を最小化することを含む、
請求項５又は６に記載のリフォーカシングする方法。
【請求項８】
前記情報は、
関心のある単一のプレノプティックビデオデータの組に関連する関心のある１つの点を表し、且つ
前記プレノプティックビデオデータの組の１つをレンダリングする装置に関連するユーザインターフェイスを通じて供給される、
請求項４に記載のリフォーカシングする方法。
【請求項９】
前記情報は、
前記関心のある少なくとも１つのプレノプティックビデオデータの組に夫々関連する関心のある少なくとも２つの点を表し、
前記関心のある少なくとも１つのプレノプティックビデオデータの組の少なくとも１つのレンダリング装置に関連する少なくとも１つのユーザインターフェイスを通じて供給される、
請求項４に記載のリフォーカシングする方法。
【請求項１０】
当該方法は、関心のある少なくとも２つのプレノプティックビデオデータの組に夫々関連する関心のある少なくとも２つの点を表す前記情報の空間フィルタリング又はクラスタリングを含む、
請求項５又は９に記載のリフォーカシングする方法。
【請求項１１】
当該方法は、関心のある少なくとも１つの点を表す前記情報の時間フィルタリングを含み、該時間フィルタリングは、前記関心のある少なくとも１つのプレノプティックビデオデータの組の部分にわたって適用される、
請求項４乃至１０のうちいずれか一項に記載のリフォーカシングする方法。
【請求項１２】
少なくとも２つのレンダリングリフォーカシング面に夫々関連する少なくとも２つの連続的なリフォーカシングが２つの別個の時点で実施される場合に、当該方法は、夫々のフォーカシング面が前記少なくとも２つのレンダリングリフォーカシング面の間に位置しているフレームのシーケンスを生成することを含む、
請求項１乃至１１のうちいずれか一項に記載のリフォーカシングする方法。
【請求項１３】
プレノプティックビデオデータの組のレンダリングを関心のある少なくとも１つの共通点にリフォーカシングする装置であって、
当該装置はプロセッサを有し、該プロセッサは、
前記プレノプティックビデオデータの組を供給したプレノプティック装置と、同じシーンを捕捉する他の装置とを空間的に位置付けるために使用される共通３Ｄ基準系を得る手段と、
前記共通３Ｄ基準系において共通リフォーカシング面パラメータを決定する手段と、
前記共通リフォーカシング面パラメータを、前記プレノプティックビデオデータの組を供給した前記プレノプティック装置に関連する３Ｄ基準系のレンダリングリフォーカシング面に変換することによって、前記プレノプティックビデオデータの組のレンダリングをリフォーカシングする手段と
を有し、
前記変換することは、前記共通３Ｄ基準系と前記プレノプティック装置に関連する前記３Ｄ基準系との間の変換を使用し、
前記プレノプティック装置は、前記同じシーンを同時に捕捉する装置の組に属し、
前記プレノプティック装置及び前記装置の組の中の少なくとも１つの他の装置によって夫々供給されるプレノプティックビデオデータの組は、それらの取得の間又は後に前もって時間的に同期される、装置。
【請求項１４】
コンピュータで実行される場合に、請求項１乃至１２のうちいずれか一項に記載の方法を実施するよう構成されるソフトウェアコードを有するコンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１６９
【補正方法】変更
【補正の内容】
【０１６９】
多数の実施が記載されてきた。それでもなお、様々な変更が行われ得ることが理解されるだろう。例えば、異なる実施の要素は、他の実施をもたらすよう結合、置換、変更、又は削除されてよい。加えて、当業者であれば、他の構造及びプロセスが、開示されているものに代用されてよく、結果として現れる実施が、開示されている実施と少なくとも略同じ結果を達成するよう、少なくとも略同じ方法で、少なくとも略同じ機能を実施すると理解するだろう。然るに、それら及び他の実施は、本願によって意図されている。  
上記の実施形態に加えて、以下の付記を開示する。
（付記１）
プレノプティック装置によって供給されるプレノプティックビデオデータの組のレンダリングを関心のある少なくとも１つの共通点にリフォーカシングする方法であって、
当該方法は、
同じシーンを捕捉する前記プレノプティック装置の３Ｄポーズ及び少なくとも１つの他の３Ｄポーズで前記プレノプティックビデオデータの組を供給した前記プレノプティック装置を空間的に位置付けるために使用される共通３Ｄ基準系を得ること（２１）と、
前記関心のある少なくとも１つの共通点から、前記共通３Ｄ基準系において共通リフォーカシング面パラメータを決定すること（２２）と、
前記共通リフォーカシング面パラメータを、前記プレノプティックビデオデータの組を供給した前記プレノプティック装置に関連する３Ｄ基準系のレンダリングリフォーカシング面に変換すること（２３１）によって、前記プレノプティックビデオデータの組のレンダリングをリフォーカシングすること（２３）と
を有し、
前記変換すること（２３１）は、前記共通３Ｄ基準系と前記プレノプティック装置に関連する前記３Ｄ基準系との間の変換を使用する、リフォーカシングする方法。
（付記２）
前記共通３Ｄ基準系を得ること（２１）は、前記プレノプティックビデオデータの組を供給した前記プレノプティック装置のための前記３Ｄポーズと、前記プレノプティック装置のための前記少なくとも１つの他の３Ｄポーズとを決定するためにストラクチャ・フロム・モーション（２１１）を使用することを含む、
付記１に記載のリフォーカシングする方法。
（付記３）
前記プレノプティック装置は、前記同じシーンを同時に捕捉するプレノプティック装置の組に属し、
前記プレノプティック装置及び前記プレノプティック装置の組の中の少なくとも１つの他の装置によって夫々供給されるプレノプティックビデオデータの組は、それらの取得の間又は後に前もって時間的に同期される（２０）、
付記１又は２に記載のリフォーカシングする方法。
（付記４）
前記リフォーカシングすること（２３）は、前記レンダリングリフォーカシング面と、前記プレノプティックビデオデータの組を供給した前記プレノプティック装置の光軸に垂直な面との間の距離が所定の値を超える場合に、再計算される（２３１）、
付記１乃至３のうちいずれか一つに記載のリフォーカシングする方法。
（付記５）
前記共通３Ｄ基準系において共通リフォーカシング面パラメータを決定すること（２２）は、
前記プレノプティック装置の組の中の少なくとも１つのプレノプティック装置によって供給される関心のある少なくとも１つのプレノプティックビデオデータの組に関連する関心のある少なくとも１つの点を表す情報を得ること（２２１０）によって、前記関心のある少なくとも１つの共通点を決定すること（２２１）と、
前記情報を前記共通３Ｄ基準系に変換（２２２）するために、該共通３Ｄ基準系と、前記情報が得られる前記関心のある少なくとも１つのプレノプティックビデオデータの組を供給した前記少なくとも１つのプレノプティック装置に関連する少なくとも１つの３Ｄ基準系との間の少なくとも１つの変換を夫々使用することと、
前記共通３Ｄ基準系に変換された前記情報から前記共通リフォーカシング面パラメータを決定すること（２２３）と
を有する、
付記１乃至４のうちいずれか一つに記載のリフォーカシングする方法。
（付記６）
前記情報は、前記少なくとも１つのプレノプティック装置が前記関心のある少なくとも１つのプレノプティックビデオデータの組を供給することによって、自動的に供給される（５１）、
付記５に記載のリフォーカシングする方法。
（付記７）
関心のある少なくとも１つの点を表す前記情報は、関心のある点ごとに少なくとも２つのタイプの要素として
当該関心のある点の３Ｄ座標（５１２）と、
当該関心のある点の時間運動（５１３）を表す３Ｄベクトルと
を含む、
付記６に記載のリフォーカシングする方法。
（付記８）
前記共通３Ｄ基準系に変換された前記情報から前記共通リフォーカシング面パラメータを決定することは、前記共通３Ｄ基準系に変換された前記情報の関数を最小化すること（５２３）を含む、
付記６又は７に記載のリフォーカシングする方法。
（付記９）
前記情報は、
関心のある単一のプレノプティックビデオデータの組に関連する関心のある１つの点を表し、且つ
前記プレノプティックビデオデータの組の１つをレンダリングする装置に関連するユーザインターフェイスを通じて供給される（５２５）、
付記５に記載のリフォーカシングする方法。
（付記１０）
前記情報は、
前記関心のある少なくとも１つのプレノプティックビデオデータの組に夫々関連する関心のある少なくとも２つの点を表し、
前記関心のある少なくとも１つのプレノプティックビデオデータの組の少なくとも１つのレンダリング装置に関連する少なくとも１つのユーザインターフェイスを通じて供給される（５２５）、
付記５に記載のリフォーカシングする方法。
（付記１１）
当該方法は、関心のある少なくとも２つのプレノプティックビデオデータの組に夫々関連する関心のある少なくとも２つの点を表す前記情報の空間フィルタリング（５２１）又はクラスタリング（５２２）を含む、
付記６又は１０に記載のリフォーカシングする方法。
（付記１２）
当該方法は、関心のある少なくとも１つの点を表す前記情報の時間フィルタリング（５２４）を含み、該時間フィルタリングは、前記関心のある少なくとも１つのプレノプティックビデオデータの組の部分にわたって適用される、
付記５乃至１１のうちいずれか一つに記載のリフォーカシングする方法。
（付記１３）
少なくとも２つのレンダリングリフォーカシング面に夫々関連する少なくとも２つの連続的なリフォーカシングが２つの別個の時点で実施される場合に、当該方法は、夫々のフォーカシング面が前記少なくとも２つのレンダリングリフォーカシング面の間に位置しているフレームのシーケンスを生成すること（２４）を含む、
付記１乃至１２のうちいずれか一つに記載のリフォーカシングする方法。
（付記１４）
プレノプティックビデオデータの組のレンダリングを関心のある少なくとも１つの共通点にリフォーカシングする装置であって、
当該装置はプロセッサを有し、該プロセッサは、
前記プレノプティックビデオデータの組を供給したプレノプティック装置と、同じシーンを捕捉する他の装置とを空間的に位置付けるために使用される共通３Ｄ基準系を得る手段と、
前記共通３Ｄ基準系において共通リフォーカシング面パラメータを決定する手段と、
前記共通リフォーカシング面パラメータを、前記プレノプティックビデオデータの組を供給した前記プレノプティック装置に関連する３Ｄ基準系のレンダリングリフォーカシング面に変換することによって、前記プレノプティックビデオデータの組のレンダリングをリフォーカシングする手段と
を有し、
前記変換することは、前記共通３Ｄ基準系と前記プレノプティック装置に関連する前記３Ｄ基準系との間の変換を使用する、装置。
（付記１５）
付記１乃至１３のうちいずれか一つに記載の方法を実施するよう構成されるソフトウェアコードを有するコンピュータプログラム。
【国際調査報告】
2019507970.tif 000019
2019507970.tif 000020