(57)【要約】      （修正有）【課題】疎行列をコンパクトに記憶および送信する方法を提供する。【解決手段】少なくとも２次元（２Ｄ）を有する行列内の要素の位置が、行列の各次元でのインデックスによって与えられる。行列の第１の次元の識別子と、第１の次元での第１のインデックスとを含む少なくとも第１のパラメータと、行列の第２の次元の識別子と、第２の次元での第２のインデックスとをそれぞれ含む複数の第２のパラメータを使用して、第１のパラメータと第２のパラメータの１つとの関連付けが行列内での非ゼロ要素の位置を与える。第１のパラメータと第２のパラメータの１つとの関連付けによって行列内での位置が与えられる非ゼロ要素の値にそれぞれ関連付けられる複数の第３のパラメータを符号化する。【選択図】図７
2018109958.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも２次元（２Ｄ）を有する行列を再構成するデータを搬送する信号を符号化するコンピュータ実装方法であって、前記行列内の要素の位置が、前記行列の各次元でのインデックスによって与えられ、前記方法が、
−  前記行列の第１の次元の識別子と、前記第１の次元での第１のインデックスとを含む少なくとも第１のパラメータ、
−  前記行列の第２の次元の識別子と、前記第２の次元での第２のインデックスとをそれぞれ含む複数の第２のパラメータであって、前記第１のパラメータと前記第２のパラメータの１つとの関連付けが前記行列内での非ゼロ要素の位置を与える、複数の第２のパラメータ、
−  前記第１のパラメータと前記第２のパラメータの１つとの前記関連付けによって前記行列内での位置が与えられる非ゼロ要素の値にそれぞれ関連付けられる複数の第３のパラメータ
を符号化することを含む、方法。
【請求項２】
前記第３のパラメータが、データファイルに記憶されている前記行列の前記要素の前記値を指し示すポインタである、請求項１に記載の方法。
【請求項３】
前記第１、第２、および第３の組のパラメータから前記行列を再構成するために使用されることを意図された第４の組のパラメータを符号化することをさらに含む、請求項１に記載の方法。
【請求項４】
前記行列が４次元（４Ｄ）を有し、および前記行列の非ゼロ要素が、光学デバイスのセンサの画素によって感知された光線を表し、前記方法が、
−  前記行列の前記第１の次元の前記識別子と、前記第１の次元での前記第１のインデックスとを含む前記第１のパラメータ、
−  前記行列の前記第２の次元の前記識別子と、前記第２の次元での前記第２のインデックスとを含む前記第２のパラメータ、
−  前記行列の第３の次元の識別子と、前記第３の次元での第３のインデックスとを含む第５のパラメータ、
−  前記行列の第４の次元の識別子と、前記第４の次元での第４のインデックスとをそれぞれ含む複数の第６のパラメータであって、前記第１のパラメータと、前記第２のパラメータと、前記第５のパラメータと、前記第６のパラメータの１つとの関連付けが、前記光学デバイスの前記センサの画素によって感知された光線を表す、複数の第６のパラメータ、および
−  複数の第３のパラメータであって、それぞれ前記行列の要素に関連付けられ、かつ前記第１のパラメータと、前記第２のパラメータと、前記第５のパラメータと、前記第６のパラメータの１つとの前記関連付けによって表される前記光線に対応する、前記光学デバイスの前記センサの前記画素によって感知されたシーンの物体の色データを表す、複数の第３のパラメータ
を符号化することを含む、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記第１のパラメータと、前記第２のパラメータと、前記第５のパラメータと、前記第６のパラメータの１つとの前記関連付けから前記光線を再構成するために使用されることを意図された第７の組のパラメータを符号化することをさらに含む、請求項４に記載の方法。
【請求項６】
前記第３のパラメータが、色データを表し、かつ前記第１のパラメータと、前記第２のパラメータと、前記第５のパラメータと、前記第６のパラメータの１つとの前記関連付けによって表される光線に対応する、前記行列の前記関連付けられた要素が符号化される順序で配置される、請求項４に記載の方法。
【請求項７】
少なくとも２次元（２Ｄ）を有する行列を再構成するデータを搬送する信号を符号化するデバイスであって、前記行列での要素の位置が、前記行列の各次元でのインデックスによって与えられ、前記デバイスがプロセッサを含み、前記プロセッサが、
−  前記行列の第１の次元の識別子と、前記第１の次元での第１のインデックスとを含む少なくとも第１のパラメータ、
−  前記行列の第２の次元の識別子と、前記第２の次元での第２のインデックスとをそれぞれ含む複数の第２のパラメータであって、前記第１のパラメータと前記第２のパラメータの１つとの関連付けが前記行列内での非ゼロ要素の位置を与える、複数の第２のパラメータ、
−  前記第１のパラメータと前記第２のパラメータの１つとの前記関連付けによって前記行列内での位置が与えられる非ゼロ要素の値にそれぞれ関連付けられる複数の第３のパラメータ
を符号化するように構成された、デバイス。
【請求項８】
前記行列が４次元（４Ｄ）を有し、および前記行列の非ゼロ要素が、光学デバイスのセンサの画素によって感知された光線を表し、前記プロセッサが、
−  前記行列の前記第１の次元の前記識別子と、前記第１の次元での前記第１のインデックスとを含む前記第１のパラメータ、
−  前記行列の前記第２の次元の前記識別子と、前記第２の次元での前記第２のインデックスとを含む前記第２のパラメータ、
−  前記行列の第３の次元の識別子と、前記第３の次元での第３のインデックスとを含む第５のパラメータ、
−  前記行列の第４の次元の識別子と、前記第４の次元での第４のインデックスとをそれぞれ含む複数の第６のパラメータであって、前記第１のパラメータと、前記第２のパラメータと、前記第５のパラメータと、前記第６のパラメータの１つとの関連付けが、前記光学デバイスの前記センサの画素によって感知された光線を表す、複数の第６のパラメータ、
−  複数の第３のパラメータであって、それぞれ前記行列の要素に関連付けられ、かつ前記第１のパラメータと、前記第２のパラメータと、前記第５のパラメータと、前記第６のパラメータの１つとの前記関連付けによって表される前記光線に対応する、前記光学デバイスの前記センサの前記画素によって感知されたシーンの物体の色データを表す、複数の第３のパラメータ
を符号化するようにさらに構成された、請求項７に記載のデバイス。
【請求項９】
少なくとも２次元（２Ｄ）を有する行列を再構成するコンピュータ実装方法であって、前記行列での要素の位置が、前記行列の各次元でのインデックスによって与えられ、前記方法が、
−  信号を復号することであって、前記信号が、
・前記行列の第１の次元の識別子と、前記第１の次元での第１のインデックスとを含む少なくとも第１のパラメータ、
・前記行列の第２の次元の識別子と、前記第２の次元での第２のインデックスとをそれぞれ含む複数の第２のパラメータであって、前記第１のパラメータと前記第２のパラメータの１つとの関連付けが前記行列での非ゼロ要素の位置を与える、複数の第２のパラメータ、
・前記第１のパラメータと前記第２のパラメータの１つとの前記関連付けによって前記行列内での位置が与えられる非ゼロ要素の値にそれぞれ関連付けられる複数の第３のパラメータ、
・前記第１、第２、および第３の組のパラメータから前記行列を再構成するために使用されることを意図された第４の組のパラメータ
を含む、復号すること、
−  前記復号された第１の組のパラメータ、前記復号された第２の組のパラメータ、前記復号された第３の組のパラメータ、および前記復号された第４の組のパラメータに基づいて前記行列を再構成すること
を含む、コンピュータ実装方法。
【請求項１０】
前記行列が４次元（４Ｄ）を有し、および前記行列の非ゼロ要素が、光学デバイスのセンサの画素によって感知された光線を表し、復号される前記信号が、
−  前記行列の第３の次元の識別子と、前記第３の次元での第３のインデックスとを含む第５のパラメータ、
−  前記行列の第４の次元の識別子と、前記第４の次元での第４のインデックスとをそれぞれ含む複数の第６のパラメータであって、前記第１のパラメータと、前記第２のパラメータと、前記第５のパラメータと、前記第６のパラメータの１つとの関連付けが、前記光学デバイスの前記センサの画素によって感知された光線を表す、複数の第６のパラメータ
をさらに含み、
前記第３のパラメータが、前記行列の要素に関連付けられ、かつ前記第１のパラメータと、前記第２のパラメータと、前記第５のパラメータと、前記第６のパラメータの１つとの前記関連付けによって表される光線に対応する、前記光学デバイスの前記センサの前記画素によって感知されたシーンの物体の色データを表す、請求項９に記載の方法。
【請求項１１】
少なくとも２次元（２Ｄ）を有する行列を再構成するデバイスであって、前記行列での要素の位置が、前記行列の各次元でのインデックスによって与えられ、前記デバイスがプロセッサを含み、前記プロセッサが、
−  信号を復号することであって、前記信号が、
・前記行列の第１の次元の識別子と、前記第１の次元での第１のインデックスとを含む少なくとも第１のパラメータ、
・前記行列の第２の次元の識別子と、前記第２の次元での第２のインデックスとをそれぞれ含む複数の第２のパラメータであって、前記第１のパラメータと前記第２のパラメータの１つとの関連付けが前記行列での非ゼロ要素の位置を与える、複数の第２のパラメータ、
・前記第１のパラメータと前記第２のパラメータの１つとの前記関連付けによって前記行列内での位置が与えられる非ゼロ要素の値にそれぞれ関連付けられる複数の第３のパラメータ、
・前記第１、第２、および第３の組のパラメータから前記行列を再構成するために使用されることを意図された第４の組のパラメータ
を含む、復号すること、
−  前記復号された第１の組のパラメータ、前記復号された第２の組のパラメータ、前記復号された第３の組のパラメータ、および前記復号された第４の組のパラメータに基づいて前記行列を再構成すること
を行うように構成された、デバイス。
【請求項１２】
前記行列が４次元（４Ｄ）を有し、および前記行列の非ゼロ要素が、光学デバイスのセンサの画素によって感知された光線を表し、前記プロセッサが、
−  前記行列の第３の次元の識別子と、前記第３の次元での第３のインデックスとを含む第５のパラメータ、
−  前記行列の第４の次元の識別子と、前記第４の次元での第４のインデックスとをそれぞれ含む複数の第６のパラメータであって、前記第１のパラメータと、前記第２のパラメータと、前記第５のパラメータと、前記第６のパラメータの１つとの関連付けが、前記光学デバイスの前記センサの画素によって感知された光線を表す、複数の第６のパラメータ
を復号するようにさらに構成され、
前記第３のパラメータが、前記行列の要素に関連付けられ、かつ前記第１のパラメータと、前記第２のパラメータと、前記第５のパラメータと、前記第６のパラメータの１つとの前記関連付けによって表される光線に対応する、前記光学デバイスの前記センサの前記画素によって感知されたシーンの物体の色データを表す、請求項１１に記載のデバイス。
【請求項１３】
少なくとも２次元（２Ｄ）を有する行列を再構成するデータを搬送する信号であって、前記行列での要素の位置が、前記行列の各次元でのインデックスによって与えられ、前記信号が、符号化デバイスによって送信され、かつ少なくともメッセージを含み、前記メッセージが、
−  前記行列の第１の次元の識別子と、前記第１の次元での第１のインデックスとを含む少なくとも第１のパラメータ、
−  前記行列の第２の次元の識別子と、前記第２の次元での第２のインデックスとをそれぞれ含む複数の第２のパラメータであって、前記第１のパラメータと前記第２のパラメータの１つとの関連付けが前記行列内での非ゼロ要素の位置を与える、複数の第２のパラメータ、
−  前記第１のパラメータと前記第２のパラメータの１つとの前記関連付けによって前記行列内での位置が与えられる非ゼロ要素の値にそれぞれ関連付けられる複数の第３のパラメータ
を含む、信号。
【請求項１４】
前記行列が４次元（４Ｄ）を有し、および前記行列の非ゼロ要素が、光学デバイスのセンサの画素によって感知された光線を表し、前記メッセージが、
−  前記行列の第３の次元の識別子と、前記第３の次元での第３のインデックスとを含む第５のパラメータ、
−  前記行列の第４の次元の識別子と、前記第４の次元での第４のインデックスとをそれぞれ含む複数の第６のパラメータであって、前記第１のパラメータと、前記第２のパラメータと、前記第５のパラメータと、前記第６のパラメータの１つとの関連付けが、前記光学デバイスの前記センサの画素によって感知された光線を表す、複数の第６のパラメータ、
をさらに含み、
前記第３のパラメータが、前記行列の要素に関連付けられ、かつ前記第１のパラメータと、前記第２のパラメータと、前記第５のパラメータと、前記第６のパラメータの１つとの前記関連付けによって表される光線に対応する、前記光学デバイスの前記センサの前記画素によって感知されたシーンの物体の色データを表す、請求項１３に記載の信号。
【請求項１５】
少なくとも２次元（２Ｄ）を有する行列を表すデータを含むデジタルファイルであって、前記行列内での要素の位置が、前記行列の各次元でのインデックスによって与えられ、前記データが、
−  前記行列の第１の次元の識別子と、前記第１の次元での第１のインデックスとを含む少なくとも第１のパラメータ、
−  前記行列の第２の次元の識別子と、前記第２の次元での第２のインデックスとをそれぞれ含む複数の第２のパラメータであって、前記第１のパラメータと前記第２のパラメータの１つとの関連付けが前記行列での非ゼロ要素の位置を与える、複数の第２のパラメータ、
−  前記第１のパラメータと前記第２のパラメータの１つとの前記関連付けによって前記行列内での位置が与えられる非ゼロ要素の値にそれぞれ関連付けられる複数の第３のパラメータ
を含む、デジタルファイル。
【請求項１６】
前記行列が４次元（４Ｄ）を有し、および前記行列の非ゼロ要素が、光学デバイスのセンサの画素によって感知された光線を表し、前記データが、
−  前記行列の第３の次元の識別子と、前記第３の次元での第３のインデックスとを含む第５のパラメータ、
−  前記行列の第４の次元の識別子と、前記第４の次元での第４のインデックスとをそれぞれ含む複数の第６のパラメータであって、前記第１のパラメータと、前記第２のパラメータと、前記第５のパラメータと、前記第６のパラメータの１つとの関連付けが、前記光学デバイスの前記センサの画素によって感知された光線を表す、複数の第６のパラメータ
をさらに含み、
前記第３のパラメータが、前記行列の要素に関連付けられ、かつ前記第１のパラメータと、前記第２のパラメータと、前記第５のパラメータと、前記第６のパラメータの１つとの前記関連付けによって表される光線に対応する、前記光学デバイスの前記センサの前記画素によって感知されたシーンの物体の色データを表す、請求項１５に記載のデジタルファイル。
【請求項１７】
コンピュータプログラムにおいて、前記プログラムがプロセッサによって実行されるときに、請求項１〜６のいずれか一項に記載の方法を実施するプログラムコード命令を含むことを特徴とするコンピュータプログラム。
【請求項１８】
コンピュータプログラムにおいて、前記プログラムがプロセッサによって実行されるときに、請求項９または１０に記載の方法を実施するプログラムコード命令を含むことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
技術分野
本発明は、疎行列をコンパクトに記憶および送信する方法に関する。より詳細には、本発明は、ライトフィールド成分を表すデータを含む疎行列をコンパクトに記憶および送信することに関する。
【背景技術】
【０００２】
背景
疎行列は、要素のほとんどが空である、すなわちそれらの値がゼロである行列である。ゼロ要素の数を要素の総数で割った値は、行列の希薄さ（sparsity）と呼ばれる。
【０００３】
デバイスにおいて疎行列を記憶および操作するとき、行列の疎構造を利用する特殊なアルゴリズムおよびデータ構造を使用することが有益であり、かつ多くの場合に必要である。標準密度行列構造およびアルゴリズムを使用した演算は、処理およびメモリがゼロ要素で浪費されるため、大きい疎行列に適用されるときには遅く、非効率的である。疎データは、性質上、より簡単に圧縮され、したがって必要な記憶量はかなり小さい。いくつかの非常に大きい疎行列は、標準密度行列アルゴリズムを用いた操作が実現不可能である。
【０００４】
行列は、通常、２次元アレイとして記憶される。アレイ内の各エントリは、行列の要素ａｉ，ｊを表し、２つのインデックスｉおよびｊによってアクセスされる。従来、ｉは、上から下へ番号を付けられた行インデックスであり、ｊは、左から右へ番号を付けられた列インデックスである。ｍ×ｎ行列の場合、このフォーマットで行列を記憶するのに必要なメモリの量は、行列の次元も記憶される必要があるという事実を無視すると、ｍ×ｎに比例する。
【０００５】
疎行列の場合、非ゼロエントリのみを記憶することにより、メモリ要件の大幅な低減を実現することができる。非ゼロエントリの数および分布に応じて、様々なデータ構造を使用することができ、基本的な手法と比較してメモリを大幅に節約することができる。それと引き換えに、個々の要素へのアクセスがより複雑になり、および元の行列を明確に回復できるようにするために追加の構造が必要とされる。
【０００６】
圧縮行格納形式（ＣＳＲ）と呼ばれる疎行列を記憶する第１の方法が、Tinney, William F., and John W. Walker“Direct solutions of sparse network equations by optimally ordered triangular factorization.”Proceedings of the IEEE 55.11 (1967): 1801-1809で開示されている。これは、非ゼロ値、行の大きさ、および列インデックスをそれぞれ含む３つの１次元アレイによって２次元行列Ｍを表現することを含む。これは、行インデックス、したがって名前を圧縮することが可能である。この方法は、高速の行アクセスおよび行列−ベクトル乗算を可能にする。
【０００７】
疎行列を記憶する第２の方法は、ＣＳＣ（圧縮列格納形式）と呼ばれ、ＣＳＲと同様であるが、まず列で値が読み取られ、値ごとに行インデックスが記憶され、さらに列ポインタが記憶される。すなわち、ＣＳＣ法では、フォーマットは（ｖａｌ，ｒｏｗ＿ｉｎｄ，ｃｏｌ＿ｐｔｒ）であり、ここで、ｖａｌは、行列の（上から下へ、次いで左から右への）非ゼロ要素のアレイであり、ｒｏｗ＿ｉｎｄは、要素に対応する行インデックスであり、ｃｏｌ＿ｐｔｒは、各列が始まるｖａｌインデックスのリストである。このフォーマットは、算術演算、列スライス、行列−ベクトル積のために効率的である。
【０００８】
４Ｄライトフィールドのサンプリング、すなわち光線の記録とみなすことができる４次元または４Ｄライトフィールドデータの取得については、the conference proceedings of ECCV 2008で公開されているAnat Levinらによる論文“Understanding camera trade-offs through a Bayesian analysis of light field projections”で説明されている。
【０００９】
カメラから得られる従来の２次元または２Ｄ画像と比較して、４Ｄライトフィールドデータは、画像のレンダリングおよびユーザとの対話性を向上させるより多くの事後処理機能にユーザがアクセスできるようにする。例えば、４Ｄライトフィールドデータでは、自由に選択された焦点距離で画像の合焦を再び行うこと（これは、焦点面の位置を事後に指定／選択し得ることを意味する）、および画像のシーンでの視点をわずかに変えることが可能である。
【００１０】
４Ｄライトフィールドデータを表現する方法はいくつかある。それらのうちの１つは、４Ｄのライトフィールドデータを４次元の疎行列に記憶することを含む。
【００１１】
しかし、疎行列を記憶および送信する方法は、２次元よりも大きい次元の行列を記憶および送信するのに適していない。
【発明の概要】
【００１２】
本発明は、以上のことを念頭において考案されたものである。
【００１３】
発明の概要
本発明の第１の態様によれば、少なくとも２次元（２Ｄ）を有する行列を再構成するデータを搬送する信号を符号化するコンピュータ実装方法であって、前記行列内の要素の位置が、前記行列の各次元でのインデックスによって与えられ、前記方法が、
−  前記行列の第１の次元の識別子と、前記第１の次元での第１のインデックスとを含む少なくとも第１のパラメータ、
−  前記行列の第２の次元の識別子と、前記第２の次元での第２のインデックスとをそれぞれ含む複数の第２のパラメータであって、前記第１のパラメータと前記第２のパラメータの１つとの関連付けが前記行列内での非ゼロ要素の位置を与える、複数の第２のパラメータ、
−  前記第１のパラメータと前記第２のパラメータの１つとの前記関連付けによって前記行列内での位置が与えられる非ゼロ要素の値にそれぞれ関連付けられる複数の第３のパラメータ
を符号化することを含む、方法が提供される。
【００１４】
そのような方法は、疎行列、より特定的には大規模行列をコンパクトに記憶することを可能にする。実際、本発明の一実施形態による方法は、符号化される情報の量を制限し、かつそれにより送信されるデータの量を減少させるために、非ゼロ要素の行列内での位置を決定することを可能にするインデックスを秩序立てて記憶することを含む。符号化された情報は、受信機での行列の再構成を可能にするのに十分なものである。
【００１５】
例えば、３次元行列の場合、第１の識別子Ｘが第１の次元を識別し、第２の識別子Ｙが第２の次元を識別し、第３の識別子Ｚが第３の次元を識別する。第１の次元では、行列は、例えば４つの要素を含み、すなわち４つのインデックス０、１、２、および３がある。第２の次元では、行列は、例えば３つの要素を含み、すなわち３つのインデックス０、１、２がある。第３の次元では、行列は、例えば３つの要素を含み、すなわち３つのインデックス０、１、２がある。すなわち、行列は、４×３×３行列である。
【００１６】
最初に第１のパラメータが符号化される。このパラメータは、最初の次元の識別子Ｘと、この次元での第１のインデックス０とを含む。
【００１７】
次いで、第２のパラメータが符号化される。このパラメータは、第２の次元の識別子Ｙと、行列の非ゼロ要素の位置に対応するこの次元でのインデックス（例えば、２）とを含む。
【００１８】
次いで、第３のパラメータが符号化される。このパラメータは、第３の次元の識別子Ｚと、行列の非ゼロ要素の位置に対応するこの次元でのインデックス（例えば、０）とを含む。したがって、この非ゼロ要素の位置は、三重項（Ｘ，０；Ｙ，２；Ｚ，０）によって与えられる。
【００１９】
次いで、別の第３のパラメータが符号化され、行列の別の非ゼロ要素の位置を定義する。このパラメータは、第３の次元の識別子Ｚと、行列の非ゼロ要素の位置に対応するこの次元でのインデックス（例えば、２）とを含む。したがって、この非ゼロ要素の位置は、三重項（Ｘ，０；Ｙ，２；Ｚ，２）によって与えられる。
【００２０】
それらの２つの非ゼロ要素は、第１の次元および第２の次元では同じ座標を共有するため、それらの情報は、コンパクトなフォーマットを提供するために１回のみ符号化される。
【００２１】
次いで、この方法は、第１の次元での次のインデックスに関して実行され、すなわち、第１のパラメータが、第１の次元の識別子Ｘと、この次元での第２のインデックス１とを含むなどである。
【００２２】
上述した方法の別の利点は、それが２次元以上の行列に適用されることである。
【００２３】
本発明の一実施形態によれば、第３のパラメータは、データファイルに記憶されている前記行列の要素の値を指し示すポインタである。
【００２４】
そのような実装形態は、行列の非ゼロ要素の値を、行列内での前記要素の位置に関係する情報と共に符号化するのを避ける。これは、行列内の前記要素の位置に関係する情報と、行列の様々な要素の値を含むデータファイルとを別々に処理することを可能にする。これにより、これらの異なるタイプのデータの処理の融通性がもたらされる。
【００２５】
本発明の一実施形態によれば、本方法は、第１、第２、および第３の組のパラメータから前記行列を再構成するために使用されることを意図された第４の組のパラメータを符号化することをさらに含む。
【００２６】
この第４の組のパラメータは、符号化される第１の次元の識別子、次元が符号化される順序（例えば、Ｘ、Ｙ、Ｚ、またはＺ、Ｙ、Ｘなど）、所与の次元でのインデックスが並び替えられる順序など、符号化された信号から行列を再構成することを可能にする情報を含む。
【００２７】
本発明の一実施形態によれば、行列が４次元（４Ｄ）を有し、および前記行列の非ゼロ要素が、光学デバイスのセンサの画素によって感知された光線を表し、方法が、
−  前記行列の第１の次元の識別子と、前記第１の次元での第１のインデックスとを含む第１のパラメータ、
−  前記行列の第２の次元の識別子と、前記第２の次元での第２のインデックスとを含む第２のパラメータ、
−  前記行列の第３の次元の識別子と、前記第３の次元での第３のインデックスとを含む第５のパラメータ、
−  前記行列の第４の次元の識別子と、前記第４の次元での第４のインデックスとをそれぞれ含む複数の第６のパラメータであって、前記第１のパラメータと、前記第２のパラメータと、前記第５のパラメータと、前記第６のパラメータの１つとの関連付けが、前記光学デバイスのセンサの画素によって感知された光線を表す、複数の第６のパラメータ、および
−  複数の第３のパラメータであって、それぞれ前記行列の要素に関連付けられ、かつ前記第１のパラメータと、前記第２のパラメータと、前記第５のパラメータと、前記第６のパラメータの１つとの前記関連付けによって表される光線に対応する、前記光学デバイスのセンサの画素によって感知されたシーンの物体の色データを表す、複数の第３のパラメータ
を符号化することを含む。
【００２８】
本発明の一実施形態による方法では、パラメータは、光学システムのセンサの様々な画素によって感知された光線を表す。
【００２９】
本発明の一実施形態による方法は、光学デバイスによって直接取得されるデータに限定されない。これらのデータは、所与のシーン記述に関してコンピュータによって完全にまたは部分的にシミュレートされたコンピュータグラフィックス画像（ＣＧＩ）でよい。別のデータ源は、後に生成されるデータでよく、これは、光学デバイスまたはＣＧＩから取得された修正後の（例えば、カラーグレーディングされた）ライトフィールドデータである。現在、映画産業では、光学取得デバイスを使用して取得されたデータとＣＧＩデータとの両方の混合であるデータを有することも一般的である。センサの画素は、コンピュータ生成シーンシステムによってシミュレートすることができ、拡張により、センサ全体を前記システムによってシミュレートし得ることを理解されたい。ここから、「センサの画素」または「センサ」への任意の言及は、光学取得デバイスに取り付けられた物理的物体でも、コンピュータ生成シーンシステムによって得られたシミュレートされた物体でもよいことが理解されるであろう。
【００３０】
そのような符号化方法は、ライトフィールドデータを再構成するデータをコンパクトなフォーマットで符号化することを可能にする。
【００３１】
本発明の一実施形態によれば、本方法は、前記第１のパラメータと、前記第２のパラメータと、前記第５のパラメータと、前記第６のパラメータの１つとの関連付けから前記光線を再構成するために使用されることを意図された第７の組のパラメータを符号化することをさらに含む。
【００３２】
これらのパラメータは、光学デバイスの較正から得られる。
【００３３】
本発明の一実施形態によれば、第３のパラメータは、色データを表し、かつ前記第１のパラメータと、前記第のパラメータと２、前記第５のパラメータと、前記第６のパラメータの１つとの前記関連付けによって表される光線に対応する、前記行列の関連付けられた要素が符号化される順序で配置される。
【００３４】
光線を表すパラメータは、光学デバイスの幾何形状を反映する。したがって、これらのパラメータは時間と共に変化していないか、またはごく稀に、例えばズームが行われるときに変化する。それらのパラメータは、光学デバイスの較正から得られる。
【００３５】
したがって、例えば光学デバイスによって取得されたあらゆる画像に関して時間と共に変化している色データを表すパラメータを、幾何形状データが符号化されるのと同じ順に配置することがより好都合である。
【００３６】
本発明の別の目的は、少なくとも２次元（２Ｄ）を有する行列を再構成するデータを搬送する信号を符号化するデバイスであって、前記行列での要素の位置が、前記行列の各次元でのインデックスによって与えられ、前記デバイスがプロセッサを含み、プロセッサが、
−  前記行列の第１の次元の識別子と、前記第１の次元での第１のインデックスとを含む少なくとも第１のパラメータ、
−  前記行列の第２の次元の識別子と、前記第２の次元での第２のインデックスとをそれぞれ含む複数の第２のパラメータであって、前記第１のパラメータと前記第２のパラメータの１つとの関連付けが前記行列内での非ゼロ要素の位置を与える、複数の第２のパラメータ、
−  前記第１のパラメータと前記第２のパラメータの１つとの前記関連付けによって前記行列内での位置が与えられる非ゼロ要素の値にそれぞれ関連付けられる複数の第３のパラメータ
を符号化するように構成された、デバイスに関する。
【００３７】
そのようなデバイスは、例えば、光取得デバイス（例えば、カメラ、スマートフォン、タブレットなど）、またはライトフィールドデータもしくは大規模疎行列などのデータファイルを記憶することが可能な記憶デバイス（例えば、ＵＳＢキー、ハードディスクドライブなど）である。
【００３８】
本発明の一実施形態によれば、行列が４次元（４Ｄ）を有し、および前記行列の非ゼロ要素が、光学デバイスのセンサの画素によって感知された光線を表し、プロセッサが、
−  前記行列の第１の次元の識別子と、前記第１の次元での第１のインデックスとを含む第１のパラメータ、
−  前記行列の第２の次元の識別子と、前記第２の次元での第２のインデックスとを含む第２のパラメータ、
−  前記行列の第３の次元の識別子と、前記第３の次元での第３のインデックスとを含む第５のパラメータ、
−  前記行列の第４の次元の識別子と、前記第４の次元での第４のインデックスとをそれぞれ含む複数の第６のパラメータであって、前記第１のパラメータと、前記第２のパラメータと、前記第５のパラメータと、前記第６のパラメータの１つとの関連付けが、前記光学デバイスのセンサの画素によって感知された光線を表す、複数の第６のパラメータ、
−  複数の第３のパラメータであって、それぞれ前記行列の要素に関連付けられ、かつ前記第１のパラメータと、前記第２のパラメータと、前記第５のパラメータと、前記第６のパラメータの１つとの前記関連付けによって表される光線に対応する、前記光学デバイスのセンサの画素によって感知されたシーンの物体の色データを表す、複数の第３のパラメータ
を符号化するようにさらに構成された。
【００３９】
本発明の別の目的は、少なくとも２次元（２Ｄ）を有する行列を再構成するコンピュータ実装方法であって、前記行列での要素の位置が、前記行列の各次元でのインデックスによって与えられ、前記方法が、
−  信号を復号することであって、信号が、
・前記行列の第１の次元の識別子と、前記第１の次元での第１のインデックスとを含む少なくとも第１のパラメータ、
・前記行列の第２の次元の識別子と、前記第２の次元での第２のインデックスとをそれぞれ含む複数の第２のパラメータであって、前記第１のパラメータと前記第２のパラメータの１つとの関連付けが前記行列での非ゼロ要素の位置を与える、複数の第２のパラメータ、
・前記第１のパラメータと前記第２のパラメータの１つとの前記関連付けによって前記行列内での位置が与えられる非ゼロ要素の値にそれぞれ関連付けられる複数の第３のパラメータ、
・第１、第２、および第３の組のパラメータから前記行列を再構成するために使用されることを意図された第４の組のパラメータ
を含むこと、復号すること、
−  復号された第１の組のパラメータ、復号された第２の組のパラメータ、復号された第３の組のパラメータ、および復号された第４の組のパラメータに基づいて前記行列を再構成すること
を含む、コンピュータ実装方法に関する。
【００４０】
本発明の一実施形態によれば、行列が４次元（４Ｄ）を有し、および前記行列の非ゼロ要素が、光学デバイスのセンサの画素によって感知された光線を表し、復号される信号が、
−  前記行列の第３の次元の識別子と、前記第３の次元での第３のインデックスとを含む第５のパラメータ、
−  前記行列の第４の次元の識別子と、前記第４の次元での第４のインデックスとをそれぞれ含む複数の第６のパラメータであって、前記第１のパラメータと、前記第２のパラメータと、前記第５のパラメータと、前記第６のパラメータの１つとの関連付けが、前記光学デバイスのセンサの画素によって感知された光線を表す、複数の第６のパラメータ
をさらに含み、
第３のパラメータが、前記行列の要素に関連付けられ、かつ前記第１のパラメータと、前記第２のパラメータと、前記第５のパラメータと、前記第６のパラメータの１つとの前記関連付けによって表される光線に対応する、前記光学デバイスのセンサの画素によって感知されたシーンの物体の色データを表す。
【００４１】
本発明はまた、少なくとも２次元（２Ｄ）を有する行列を再構成するためのデバイスであって、前記行列での要素の位置が、前記行列の各次元でのインデックスによって与えられ、前記デバイスがプロセッサを含み、プロセッサが、
−  信号を復号することであって、信号が、
・前記行列の第１の次元の識別子と、前記第１の次元での第１のインデックスとを含む少なくとも第１のパラメータ、
・前記行列の第２の次元の識別子と、前記第２の次元での第２のインデックスとをそれぞれ含む複数の第２のパラメータであって、前記第１のパラメータと前記第２のパラメータの１つとの関連付けが前記行列での非ゼロ要素の位置を与える、複数の第２のパラメータ、
・前記第１のパラメータと前記第２のパラメータの１つとの前記関連付けによって前記行列内での位置が与えられる非ゼロ要素の値にそれぞれ関連付けられる複数の第３のパラメータ、
・第１、第２、および第３の組のパラメータから前記行列を再構成するために使用されることを意図された第４の組のパラメータ
を含む、復号すること、
−  復号された第１の組のパラメータ、復号された第２の組のパラメータ、復号された第３の組のパラメータ、および復号された第４の組のパラメータに基づいて前記行列を再構成すること
を行うように構成された、デバイスに関する。
【００４２】
本発明の一実施形態によれば、行列が４次元（４Ｄ）を有し、および前記行列の非ゼロ要素が、光学デバイスのセンサの画素によって感知された光線を表し、プロセッサが、
−  前記行列の第３の次元の識別子と、前記第３の次元での第３のインデックスとを含む第５のパラメータ、
−  前記行列の第４の次元の識別子と、前記第４の次元での第４のインデックスとをそれぞれ含む複数の第６のパラメータであって、前記第１のパラメータと、前記第２のパラメータと、前記第５のパラメータと、前記第６のパラメータの１つとの関連付けが、前記光学デバイスのセンサの画素によって感知された光線を表す、複数の第６のパラメータ
を復号するようにさらに構成され、
第３のパラメータが、前記行列の要素に関連付けられ、かつ前記第１のパラメータと、前記第２のパラメータと、前記第５のパラメータと、前記第６のパラメータの１つとの前記関連付けによって表される光線に対応する、前記光学デバイスのセンサの画素によって感知されたシーンの物体の色データを表す。
【００４３】
本発明の別の目的は、少なくとも２次元（２Ｄ）を有する行列を再構成するデータを搬送する信号であって、前記行列での要素の位置が、前記行列の各次元でのインデックスによって与えられ、前記信号が、符号化デバイスによって送信され、かつ少なくともメッセージを含み、メッセージが、
−  前記行列の第１の次元の識別子と、前記第１の次元での第１のインデックスとを含む少なくとも第１のパラメータ、
−  前記行列の第２の次元の識別子と、前記第２の次元での第２のインデックスとをそれぞれ含む複数の第２のパラメータであって、前記第１のパラメータと前記第２のパラメータの１つとの関連付けが前記行列内での非ゼロ要素の位置を与える、複数の第２のパラメータ、
−  前記第１のパラメータと前記第２のパラメータの１つとの前記関連付けによって前記行列内での位置が与えられる非ゼロ要素の値にそれぞれ関連付けられる複数の第３のパラメータ
を含む、信号である。
【００４４】
本発明の一実施形態によれば、行列が４次元（４Ｄ）を有し、および前記行列の非ゼロ要素が、光学デバイスのセンサの画素によって感知された光線を表し、メッセージが、
−  前記行列の第３の次元の識別子と、前記第３の次元での第３のインデックスとを含む第５のパラメータ、
−  前記行列の第４の次元の識別子と、前記第４の次元での第４のインデックスとをそれぞれ含む複数の第６のパラメータであって、前記第１のパラメータと、前記第２のパラメータと、前記第５のパラメータと、前記第６のパラメータの１つとの関連付けが、前記光学デバイスのセンサの画素によって感知された光線を表す、複数の第６のパラメータ
をさらに含み、
第３のパラメータが、前記行列の要素に関連付けられ、かつ前記第１のパラメータと、前記第２のパラメータと、前記第５のパラメータと、前記第６のパラメータの１つとの前記関連付けによって表される光線に対応する、前記光学デバイスのセンサの画素によって感知されたシーンの物体の色データを表す。
【００４５】
本発明は、少なくとも２次元（２Ｄ）を有する行列を表すデータを含むデジタルファイルであって、前記行列内での要素の位置が、前記行列の各次元でのインデックスによって与えられ、前記データが、
−  前記行列の第１の次元の識別子と、前記第１の次元での第１のインデックスとを含む少なくとも第１のパラメータ、
−  前記行列の第２の次元の識別子と、前記第２の次元での第２のインデックスとをそれぞれ含む複数の第２のパラメータであって、前記第１のパラメータと前記第２のパラメータの１つとの関連付けが前記行列での非ゼロ要素の位置を与える、複数の第２のパラメータ、
−  前記第１のパラメータと前記第２のパラメータの１つとの前記関連付けによって前記行列内での位置が与えられる非ゼロ要素の値にそれぞれ関連付けられる複数の第３のパラメータ
を含む、デジタルファイルに関する。
【００４６】
本発明の一実施形態によれば、行列が４次元（４Ｄ）を有し、および前記行列の非ゼロ要素が、光学デバイスのセンサの画素によって感知された光線を表し、データが、
−  前記行列の第３の次元の識別子と、前記第３の次元での第３のインデックスとを含む第５のパラメータ、
−  前記行列の第４の次元の識別子と、前記第４の次元での第４のインデックスとをそれぞれ含む複数の第６のパラメータであって、前記第１のパラメータと、前記第２のパラメータと、前記第５のパラメータと、前記第６のパラメータの１つとの関連付けが、前記光学デバイスのセンサの画素によって感知された光線を表す、複数の第６のパラメータ
をさらに含み、
第３のパラメータが、前記行列の要素に関連付けられ、かつ前記第１のパラメータと、前記第２のパラメータと、前記第５のパラメータと、前記第６のパラメータの１つとの前記関連付けによって表される光線に対応する、前記光学デバイスのセンサの画素によって感知されたシーンの物体の色データを表す。
【００４７】
本発明の要素によって実施されるいくつかのプロセスは、コンピュータで実施されることがある。したがって、そのような要素は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはソフトウェア態様とハードウェア態様とを組み合わせた実施形態の形態を取ることがあり、それらは全て本明細書では全般的に「回路」、「モジュール」、または「システム」と呼ばれることがある。さらに、そのような要素は、媒体に具現化されたコンピュータ使用可能プログラムコードを有する任意の有形の表現媒体に具現化されたコンピュータプログラム製品の形態を取ることがある。
【００４８】
本発明の要素はソフトウェアとして実施することができるため、本発明は、任意の適切なキャリア媒体でプログラマブル装置に提供されるコンピュータ可読コードとして具現化することができる。有形のキャリア媒体は、フロッピーディスク、ＣＤ−ＲＯＭ、ハードディスクドライブ、磁気テープデバイス、または固体メモリデバイスなどの記憶媒体を含むことがある。一時的なキャリア媒体は、電気信号、電子信号、光信号、音響信号、磁気信号、または電磁信号、例えばマイクロ波もしくはＲＦ信号などの信号を含むことがある。
【００４９】
図面の簡単な説明
ここで、本発明の実施形態を、以下の図面を参照して単に例として述べる。
【図面の簡単な説明】
【００５０】
【図１】本発明の一実施形態によるライトフィールドカメラデバイスのブロック図である。
【図２】ライトフィールドデータフォーマット化モジュールの取り得る実装形態の特定の実施形態を示すブロック図である。
【図３】既知の深さｚ１およびｚ２にそれぞれ位置付けられ、パラメータ化のために使用される２つの基準面Ｐ１およびＰ２を通過する光線を示す。
【図４】既知の深さｚ３に位置付けられる基準面Ｐ３を通過する光線を示す。
【図５】本発明の一実施形態に従って離散化されたときの２つの基準面Ｐ１およびＰ２を表す。
【図６】本発明の一実施形態に従って光線の座標を離散化するための方法のステップを示すフローチャートである。
【図７】本発明の一実施形態に従って疎行列を記憶および送信するための方法のステップを示すフローチャートである。
【図８】本発明の一実施形態に従って記憶される３行４列を有する２次元行列を表す。
【図９】本発明の一実施形態に従って行列内の非ゼロ要素の位置を特定することを可能にする情報を含むデータストリームを表す。
【図１０】本開示の一実施形態に従って行列を再構成するための装置の一例を示す概略ブロック図である。
【図１１】本発明の一実施形態に従って疎行列を再構成するための方法のステップを示すフローチャートである。
【発明を実施するための形態】
【００５１】
詳細な説明
当業者には理解されるように、本発明の原理の態様は、システム、方法、またはコンピュータ可読媒体として具現化することができる。したがって、本発明の原理の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、およびマイクロコードなどを含む）、またはソフトウェア態様とハードウェア態様とを組み合わせた実施形態の形態を取ることができ、これらは全て本明細書では一般に「回路」、「モジュール」、または「システム」と呼ぶことができる。さらに、本発明の原理の態様は、コンピュータ可読記憶媒体の形態を取ることができる。１つまたは複数のコンピュータ可読記憶媒体の任意の組合せを利用することができる。
【００５２】
図１は、本発明の一実施形態によるライトフィールドカメラデバイスのブロック図である。ライトフィールドカメラは、アパーチャ／シャッタ１０２と、主（対物）レンズ１０１と、マイクロレンズアレイ１１０と、フォトセンサアレイとを含む。いくつかの実施形態では、ライトフィールドカメラは、被写体またはシーンのライトフィールド画像を捕捉するように作動されるシャッタレリーズを含む。
【００５３】
フォトセンサアレイ１２０は、ライトフィールド画像データを提供し、このライトフィールド画像データは、ライトフィールドデータフォーマット化モジュール１５０によるライトフィールドデータフォーマットの生成のため、および／またはライトフィールドデータプロセッサ１５５による処理のため、ＬＦデータ取得モジュール１４０によって取得される。ライトフィールドデータは、取得後および処理後、サブアパーチャ画像もしくはフォーカルスタックとして生データフォーマットで、または本発明の実施形態によるライトフィールドデータフォーマットでメモリ１９０に記憶することができる。
【００５４】
図示の例では、ライトフィールドデータフォーマット化モジュール１５０およびライトフィールドデータプロセッサ１５５は、ライトフィールドカメラ１００に配設または内蔵されている。本発明の他の実施形態では、ライトフィールドデータフォーマット化モジュール１５０および／またはライトフィールドデータプロセッサ１５５は、ライトフィールド捕捉カメラの外部の別個の構成要素に提供されてもよい。別個の構成要素は、ライトフィールド画像捕捉デバイスに対してローカルでも遠隔でもよい。ライトフィールド画像データをフォーマット化モジュール１５０またはライトフィールドデータプロセッサ１５５に送信するために、任意の適切な有線または無線プロトコルを使用し得ることを理解されたい。例えば、ライトフィールドデータプロセッサは、インターネット、セルラデータネットワーク、ＷｉＦｉネットワーク、Bluetooth（登録商標）通信プロトコル、および／または任意の他の適切な手段を介して、捕捉されたライトフィールド画像データおよび／または他のデータを転送することがある。
【００５５】
ライトフィールドデータフォーマット化モジュール１５０は、本発明の実施形態に従って、取得されたライトフィールドを表すデータを生成するように構成される。ライトフィールドデータフォーマット化モジュール１５０は、ソフトウェア、ハードウェア、またはそれらの組合せで実装されることがある。
【００５６】
ライトフィールドデータプロセッサ１５５は、本発明の実施形態に従って、ＬＦデータ取得モジュール１４０から直接受信された生のライトフィールド画像データに対する処理を行って、例えばフォーマットされたデータおよびメタデータを生成するように構成される。例えば、捕捉されたシーンの静止画および２Ｄビデオストリームなどの出力データが生成されることがある。ライトフィールドデータプロセッサは、ソフトウェア、ハードウェア、またはそれらの組合せで実装されることがある。
【００５７】
少なくとも１つの実施形態では、ライトフィールドカメラ１００は、制御装置１７０によってカメラ１００の動作を制御するためにユーザがユーザ入力を提供できるようにするためのユーザインターフェース１６０を含むこともある。カメラの制御は、シャッタ速度などのカメラの光学パラメータの制御、または調整可能なライトフィールドカメラの場合、マイクロレンズアレイとフォトセンサとの相対距離の制御、または対物レンズとマイクロレンズアレイとの相対距離の制御の１つまたは複数を含むことがある。いくつかの実施形態では、ライトフィールドカメラの光学要素間の相対距離は、手動で調整されることがある。カメラの制御は、カメラの他のライトフィールドデータ取得パラメータ、ライトフィールドデータフォーマット化パラメータ、またはライトフィールド処理パラメータの制御を含むこともある。ユーザインターフェース１６０は、タッチスクリーン、ボタン、キーボード、および／またはポインティングデバイスなどの任意の適切なユーザ入力デバイスを含むことができる。このようにして、ユーザインターフェースによって受信された入力を使用して、データフォーマット化を制御するためのＬＦデータフォーマット化モジュール１５０、取得されたライトフィールドデータの処理を制御するためのＬＦデータプロセッサ１５５、およびライトフィールドカメラ１００を制御するための制御装置１７０を制御および／または構成することができる。
【００５８】
ライトフィールドカメラは、１つまたは複数の交換可能または再充電可能なバッテリなどの電源１８０を含む。ライトフィールドカメラは、捕捉されたライトフィールドデータおよび／または処理されたライトフィールドデータ、または本発明の実施形態の方法を実施するためのソフトウェアなど他のデータを記憶するためのメモリ１９０を含む。メモリは、外部および／または内部メモリを含むことができる。少なくとも１つの実施形態では、メモリは、カメラ１００とは別個のデバイスおよび／または位置に提供することができる。一実施形態では、メモリは、メモリスティックなどの着脱可能／スワップ可能な記憶デバイスを含む。
【００５９】
ライトフィールドカメラは、捕捉前にカメラの前方のシーンを閲覧するため、および／または以前に捕捉および／またはレンダリングされた画像を閲覧するための表示ユニット１６５（例えば、ＬＣＤ画面）を含むこともある。また、画面１６５は、１つもしくは複数のメニューまたは他の情報をユーザに表示するために使用されることもある。ライトフィールドカメラは、１つまたは複数のＩ／Ｏインターフェース１９５をさらに含むことがあり、例えば、FireWireもしくはユニバーサルシリアルバス（ＵＳＢ）インターフェース、またはインターネット、セルラデータネットワーク、ＷｉＦｉネットワーク、Bluetooth（登録商標）通信プロトコル、および／または任意の他の適切な手段を介したデータ通信用の有線もしくは無線通信インターフェースなどである。Ｉ／Ｏインターフェース１９５は、レンダリングアプリケーションのために、コンピュータシステムまたは表示ユニットなどの外部デバイスとの間でデータを転送するために使用され、そのようなデータは、例えば、本発明の実施形態によるＬＦデータフォーマット化モジュールによって生成されたライトフィールド表現データ、および生のライトフィールドデータ、またはＬＦデータプロセッサ１５５によって処理されたデータなどのライトフィールドデータである。
【００６０】
図２は、ライトフィールドデータフォーマット化モジュール２５０およびライトフィールドデータプロセッサ２５３の取り得る実装形態の特定の実施形態を示すブロック図である。
【００６１】
回路２００は、メモリ２９０と、メモリ制御装置２４５と、１つまたは複数の処理ユニット（ＣＰＵ）を含む処理回路２４０とを含む。１つまたは複数の処理ユニット２４０は、メモリ２９０に記憶された様々なソフトウェアプログラムおよび／または命令セットを実行して、ライトフィールドデータフォーマット化およびライトフィールドデータ処理を含めた様々な機能を実施するように構成される。メモリに記憶されているソフトウェア構成要素は、本発明の実施形態に従って、取得された光データを表すデータを生成するためのデータフォーマット化モジュール（または命令セット）２５０と、本発明の実施形態に従ってライトフィールドデータを処理するためのライトフィールドデータ処理モジュール（または命令セット）２５５とを含む。システムタスク全般（例えば、電力管理やメモリ管理）を制御するため、ならびにデバイス２００の様々なハードウェアおよびソフトウェア構成要素間の通信を容易にするためのオペレーティングシステムモジュール２５１、ならびにＩ／Ｏインターフェースポートを介して他のデバイスとの通信を制御および管理するためのインターフェースモジュール２５２など、ライトフィールドカメラデバイスのアプリケーション用の他のモジュールがメモリに含まれることもある。
【００６２】
本発明の実施形態は、カメラのセンサの画素によって感知された、またはコンピュータ生成シーンシステムによってシミュレートされた光線、および空間内での（またはより一般には光学デバイスのセンサでの）それらの光線の向きに基づくライトフィールドデータの表現に依拠している。実際、別のライトフィールドデータ源は、後に生成されるデータでよく、これは、光学デバイスまたはＣＧＩから得られた修正後の（例えば、カラーグレーディングされた）ライトフィールドデータである。現在、映画産業では、光学取得デバイスを使用して取得されたデータとＣＧＩデータとの両方の混合であるデータを有することも一般的である。センサの画素は、コンピュータ生成シーンシステムによってシミュレートすることができ、拡張により、センサ全体を前記システムによってシミュレートし得ることを理解されたい。ここから、「センサの画素」または「センサ」への任意の言及は、光学取得デバイスに取り付けられた物理的な物体でも、コンピュータ生成シーンシステムによって得られたシミュレートされたエンティティでもよいことが理解される。
【００６３】
取得システムの種類に関わらず、前記取得システムのセンサの画素に、取得システムの外部空間内での少なくとも直線状の光軌道または光線が対応しているという理解の下で、３次元（または３Ｄ）空間内での光線を表現するデータが計算される。
【００６４】
本発明は、プレノプティックカメラによって取得されるデータに限定されず、従来のカメラ、カメラリグ、およびより一般には任意のタイプのカメラによって取得されたデータを処理するために使用し得ることを理解されたい。
【００６５】
第１の実施形態において、図３は、パラメータ化に使用される２つの基準面Ｐ１およびＰ２を通過する光線を示し、基準面Ｐ１およびＰ２は、互いに平行に位置決めされ、既知の深さｚ１およびｚ２にそれぞれ位置付けられている。ｚ方向または深さ方向は、ライトフィールドデータを得るために使用される光学デバイスの光軸の方向に対応する。
【００６６】
光線は、深さｚ１にある第１の基準面Ｐ１と交点（ｘ１，ｙ１）で交差し、深さｚ２にある第２の基準面Ｐ２と交点（ｘ２，ｙ２）で交差する。このようにして、ｚ１およびｚ２が与えられると、４つの座標（ｘ１，ｙ１，ｘ２，ｙ２）によって光線を識別することができる。したがって、パラメータ化のための基準面Ｐ１、Ｐ２（本明細書ではパラメータ化平面とも呼ぶ）の対によってライトフィールドをパラメータ化することができ、各光線は、４Ｄ光線空間内で点（ｘ１，ｙ１，ｘ２，ｙ２）∈Ｒ４として表現される。
【００６７】
図４に示される第２の実施形態では、光線は、既知の深さｚ３に位置付けられた基準面Ｐ３と光線との交点によってパラメータ化される。
【００６８】
光線は、深さｚ３にある基準面Ｐ３と交点（ｘ３，ｙ３）で交差する。空間内での光線の方向を表す正規化されたベクトルｖは、座標：
【数１】
2018109958.tif 000003
を有する。
【数２】
2018109958.tif 000004
は、正であると仮定され、ｖｘおよびｖｙが分かると再計算することができるため、ベクトルは、その２つの第１の座標（ｖｘ，ｖｙ）のみによって記述することができる。
【００６９】
この第２の実施形態によれば、４つの座標（ｘ３，ｙ３，ｖｘ，ｖｙ）によって光線が識別されることがある。したがって、パラメータ化のための基準面Ｐ３（本明細書ではパラメータ化平面とも呼ぶ）によってライトフィールドをパラメータ化することができ、各光線は、４Ｄ光線空間内で点（ｘ３，ｙ３，ｖｘ，ｖｙ）∈Ｒ４として表現される。
【００７０】
本発明は、情報の量を減少させ、浮動小数点数を使用してコード化されるときよりも一般的でない空間内で座標をコード化することを含む。
【００７１】
このために、フォーマット化モジュール２５０は、各座標（ｘ１，ｙ１，ｘ２，ｙ２）を離散化し、浮動小数点数の代わりに整数のインデックスを記憶する。これは、小さい量子化誤差が生じることを理解しつつ、各座標を符号化するために使用されるビットの数を減少させることを可能にする。
【００７２】
フォーマット化モジュール２５０は、光線を記述する４Ｄ座標（ｘ１，ｙ１，ｘ２，ｙ２）を、４Ｄインデックス（ｉｘ１，ｉｙ１，ｉｘ２，ｉｙ２）の組に置換する。唯一の制約は、２つの異なる光線が４つの同じインデックスを有することが許されないことである。
【００７３】
図５は、各座標（ｘ１，ｙ１，ｘ２，ｙ２）が本発明の一実施形態に従って離散化されるときの２つの基準面Ｐ１およびＰ２を表す。
【００７４】
この第１の実施形態では、各方向で一定数のサンプルが選択される。すなわち、各次元が、２Ｎ個のサンプルに分割される。実際には、数Ｎは、できるだけ最小の誤差を得るために、２つの異なる光線が４つの同じインデックスを有してはならないという上記の制約を遵守するように選択され、かつＮは、光線を表す４つのインデックスを記憶するのに必要なビット数を最小にするように十分に小さくしなければならない。
【００７５】
第２の実施形態では、Ｎは任意に選択される。次いで、フォーマット化モジュール２５０は、Ｎが制約を遵守しているかどうかをチェックする。
【００７６】
図６は、本発明の一実施形態による、光線の座標を離散化するための方法のステップを示すフローチャートである。
【００７７】
ピンホールモデルを使用してライトフィールド取得システムが較正される場合、歪みのない基本投影モデルは次の式で与えられる。
【数３】
2018109958.tif 000005
ここで、
・ｆは、カメラ１００の主レンズの焦点距離であり、
・ｃｕおよびｃｖは、カメラ１００の光軸とセンサとの交点の座標であり、
・（Ｘｃ，Ｙｃ，Ｚｃ，１）Ｔは、カメラによって感知された空間内の点のカメラ座標系での位置であり、
・（ｕ，ｖ，１）Ｔは、カメラのセンサでのカメラ座標系において座標が（Ｘｃ，Ｙｃ，Ｚｃ，１）Ｔである点を投影したセンサ座標系における座標である。
【００７８】
ライトフィールドデータフォーマット化モジュール１５０は、センサ座標系において座標が（ｕ，ｖ，１）Ｔであるセンサの画素によって感知される空間内での光線の方向を表すベクトルＶの座標を計算する。センサ座標系では、ベクトルＶの座標は以下のようである。
（ｕ−ｃｕ，ｖ−ｃｖ，ｆ）Ｔ
【００７９】
ピンホールモデルでは、座標が（ｕ，ｖ，１）Ｔである画素によって感知された光線と、ピンホールから座標ｚ１に配置されると共にセンサ面に平行な平面との交点の座標は以下のようになる。
【数４】
2018109958.tif 000006
【００８０】
複数の取得、すなわち異なるタイプのカメラによるライトフィールドデータの取得が混在されている場合、単一の座標系が使用される。この状況では、それに応じて点およびベクトルの座標の修正が行われるべきである。
【００８１】
本発明の一実施形態によれば、カメラのセンサの画素によって感知された光線を定義する座標の組は、４次元を有する行列にグループ化し直される。別の実施形態では、光線は、光線の伝播をシミュレートするコンピュータ生成シーンシステムによって直接計算される。
【００８２】
本発明の一実施形態では、この行列は、受信機に送信すべきシーンのカラーマップに関連付けられる。したがって、この実施形態では、カメラのセンサの各画素（ｕ，ｖ）には、前記画素によって感知された光線と、同じ所与の画素によって感知された同じ光線に関連付けられた色データを表すパラメータと、浮動小数点値の四重項（Ｘ１  Ｘ２  Ｘ３  Ｘ４）とが対応し、この四重項は、パラメータ化のための基準面Ｐ１、Ｐ２の対によって光線がパラメータ化されたときには（ｘ１，ｙ１，ｘ２，ｙ２）に対応し、正規化されたベクトルによって光線がパラメータ化されたときには（ｘ３，ｙ３，ｖｘ，ｖｙ）に対応する。以下の説明では、浮動点値の四重項（Ｘ１  Ｘ２  Ｘ３  Ｘ４）は、以下の式によって与えられる。
【数５】
2018109958.tif 000007
【００８３】
別の実施形態では、取得システムはピンホールモデルを使用して較正されず、したがって、２つの平面によるパラメータ化はモデルから再計算されない。代わりに、２つの平面によるパラメータ化をカメラの較正動作中に測定しなければならない。例えば、主レンズとカメラのセンサとの間にマイクロレンズアレイを含むプレノプティックカメラの場合にそうであり得る。
【００８４】
さらに別の実施形態では、行列は、コンピュータ生成シーンシステムによって直接シミュレートされるか、または取得されたデータから後に生成される。
【００８５】
ステップ６０１で、光線の座標Ｘｉごとに、フォーマット化モジュール２５０は、以下の変換を計算する。
【数６】
2018109958.tif 000008
ここで、ＸｉｍｉｎおよびＸｉｍａｘは、所与の次元での実座標の最小値および最大値である。次いで、ステップ６０２で、これらのパラメータはメモリ２９０に記憶され、光線の実４Ｄ座標を回復するために使用されるため、メタデータとして送信される。
【００８６】
ステップ６０３で、フォーマット化モジュール２５０は、各光線を表すインデックス（ｉｘ１，ｉｙ１，ｉｘ２，ｉｙ２）を、４次元を有する行列に記憶する。
【００８７】
本発明の別の実施形態は、ライトフィールドを定義するために使用される４次元全てに関して同じメトリック間隔を見出すことを含む。目標は、２つの異なる光線を分離することを可能にする最大の間隔を見出すことである。
【００８８】
ステップ６１０で、フォーマット化モジュール２５０は、少なくとも２つの光線ｉおよびｉ’の座標間の最大差を決定する。
【数７】
2018109958.tif 000009
【００８９】
次いで、ステップ６１１で、フォーマット化モジュール２５０は、全ての∂ｉ，ｉ’値のうちの最小値をセルに関する間隔として選択する。
【数８】
2018109958.tif 000010
ここで、εは、例えば
【数９】
2018109958.tif 000011
として選択することができる小さい数である。この減少εは、間隔が最小の差よりも小さいことを保証できるようにする。
【００９０】
次いで、ステップ６１２で、フォーマット化モジュール２５０は、次元ごとにサンプルの数を計算する。
【数１０】
2018109958.tif 000012
【００９１】
ステップ６１３で、フォーマット化モジュール２５０により、（ｘ１，ｙ１，ｘ２，ｙ２）における次元Ｘｉでのインデックスが以下の式で得られる。
【数１１】
2018109958.tif 000013
【００９２】
それにより、光線の座標（ｘ１，ｙ１，ｘ２，ｙ２）は、４つのインデックス（ｉｘ１，ｉｙ１，ｉｘ２，ｉｙ２）の組に変換される。
【００９３】
カメラのセンサの画素によって感知された光線は、インデックス（ｉｘ１，ｉｙ１，ｉｘ２，ｉｙ２）の四重項によって表されるため、これら４つのパラメータを、４次元を有する行列に記憶することができ、カメラのセンサの画素によって感知された光線に対応するインデックスｉｘ１が、行列の第１の次元での第１のインデックスであり、カメラのセンサの画素によって感知された同じ光線に対応するインデックスｉｙ１が、行列の第２の次元での第２のインデックスであり、カメラのセンサの画素によって感知された同じ光線に対応するインデックスｉｘ２が、行列の第３の次元での第３のインデックスであり、カメラのセンサの画素によって感知された同じ光線に対応するインデックスｉｙ２が、行列の第４の次元での第４のインデックスである。
【００９４】
そのような行列に記憶されたデータは４Ｄライトフィールドデータであるため、行列のセルの大部分は空である。すなわち、行列の要素のほとんどがゼロである。
【００９５】
図７は、本発明の一実施形態による疎行列を記憶および送信するための方法のステップを示すフローチャートである。本発明の一実施形態による方法によって処理される行列は疎行列である。一例では、これらの行列はライトフィールドデータを含むが、任意の他のタイプのデータを含んでいてもよい。
【００９６】
ステップ７０１で、フォーマット化モジュール２５０は、記憶および送信するために疎行列を回復する。例えば、ライトフィールドデータの場合、そのような行列は、図６を参照して述べた方法から、またはそのようなライトフィールドデータを取得するために使用されるカメラの較正データから得られる。
【００９７】
本発明の一実施形態による方法では、行列内の要素の位置を表すインデックス（ｉｘ１，ｉｙ１，ｉｘ２，ｉｙ２）をコード化するために特定の構文が使用される。４次元行列の場合、以下の表に示されるように、行列の各次元を識別するインデックスをコード化するために２つのビットが使用されることがある。
【００９８】
【表１】
2018109958.tif 000014
【００９９】
例えば、行列の次元を識別するインデックスは、データパケットの２つの最上位ビット（ＭＳＢ）として符号化される。
【０１００】
次元（ｊ）のインデックスは、固定バイナリ形式でコード化することができ、したがって、次元Ｎの空間に関して、この次元をコード化するために必要なビット数はｌｏｇ２（Ｎ）である。
【０１０１】
例えば、４つの次元を有する行列の場合、３２ビットを使用してインデックスが符号化されることがあり、２つの最上位ビットが次元（ｉｘ１，ｉｙ１，ｉｘ２，ｉｙ２）を示し、より下位の３０ビットがその次元でのインデックスを含む。
【０１０２】
ステップ７０２で、フォーマット化モジュール２５０は、次元Ｎ−１から始めて、次いでＮ−２など、次元０まで階層的にインデックスを並べ替える。４次元行列の場合、これは、まず第４の次元のインデックスｉｙ２、次いで第３の次元のインデックスｉｘ２、次いで第２の次元のインデックスｉｙ１、最後に第１の次元のインデックスｉｘ１を並べ替えることを含む。
【０１０３】
インデックスのリストは、以下のアルゴリズムを使用して記憶される。
・より高い次元でのインデックスを記憶する。
・連続して低くなっていく次元のインデックスを記憶する。
【０１０４】
例えば、図８は、３行４列の２次元行列を表す。この例では、次元は１ビットを使用してコード化される。すなわち、行次元に関しては０であり、列次元に関してはｌｏｇ２（２）＝１であるため、１である。
【０１０５】
この例では、高い方の次元は、行次元である。行列の非ゼロ要素を記憶するために、フォーマット化モジュール２５０は、まず、図８の第１のデータストリーム８０での次元を表すパラメータ８１を符号化し（ここでは０）、これは、第１の次元が行次元であることを意味する。次いで、フォーマット化モジュール２５０は、その次元でのインデックス８２を符号化し（この例では０）、行列の第１の行を識別する。次いで、フォーマット化モジュールは、列次元を示す第２の次元を表すパラメータ８３を符号化し（ここでは１）、次いでこの次元でのインデックス８４を符号化することによってデータストリーム８０を生成し続ける。その際、非ゼロ要素が行列内にあり、ここでインデックス値は１であり、これは、要素が行列の第２の列に位置していることを意味する。次いで、フォーマット化モジュール２５０は、列次元を示す第２の次元を表すパラメータ８５を符号化し（ここでは１）、次いでこの次元でのインデックス８６を符号化することによってデータストリーム８０を生成し続ける。その際、非ゼロ要素が行列内にあり、ここで、インデックス値は３である。
【０１０６】
したがって、データストリーム８０は、行列の第１の行に位置付けられる行列の全ての非ゼロ要素の位置を含む。冗長な情報がないため、情報はコンパクトにコード化され、行列の全ての非ゼロ要素に共通パラメータ、すなわち行列の行は一度のみコード化すればよい。
【０１０７】
次いで、フォーマット化モジュール２５０は、より高い次元でのインデックスを増分し、行列内の非ゼロ要素の位置を特定するデータの符号化を継続する。
【０１０８】
次いで、ステップ７０３で、フォーマット化モジュール２５０は、行列の要素の値を、行列内での前記要素の位置を表すデータに関連付ける。前記関連付けは、例えば、行列の要素の値を含むファイルを指し示すポインタである。図８を参照すると、パラメータ８１、インデックス８２、パラメータ８３、およびインデックス８４によって与えられる第１の位置は、値１を指し示し、パラメータ８１、インデックス８２、パラメータ８５、およびインデックス８６によって与えられる第２の位置は、値２を指し示す。
【０１０９】
ライトフィールドデータの場合、各四重極（ｉｘ１，ｉｙ１，ｉｘ２，ｉｙ２）に関し、ｉは、取得デバイスのセンサの画素に対応する。
【０１１０】
ライトフィールドデータを処理するとき、より高い次元はｙ２次元、次いでｘ２次元、次いでｙ１次元、次いでｘ１次元である。ライトフィールドデータを表す行列の非ゼロ要素を記憶するために、フォーマット化モジュール２５０は、まず、取得デバイスのセンサの画素によって感知された光線に対応する行列の非ゼロ要素の位置を含むデータストリームを生成する。そのようなデータストリーム９０が図９に示されている。
【０１１１】
フォーマット化モジュール２５０は、次元ｙ２を表す第１のパラメータ９１を符号化する。例えば、表１に示される１１である。次いで、フォーマット化モジュール２５０は、ｙ２次元でのインデックスを符号化する。次いで、フォーマット化モジュールは、第２の次元ｘ２のパラメータ９２を符号化し（ここでは表１での１０）、次いでこのｘ２次元でのインデックスを符号化する。次いで、フォーマット化モジュールは、第３の次元ｙ１のパラメータ９３を符号化し（ここでは表１での０１）、次いでこのｙ１次元でのインデックスを符号化する。次いで、フォーマット化モジュール２５０は、第４の次元ｘ１のパラメータ９４を符号化し（ここでは表１では００）、次いでこのｘ１次元でのインデックスを符号化し、同じ三重項（ｙ２，ｘ２，ｙ１）を共有する行列内の非ゼロ要素の数と同じ数回（ここでは３回）これを繰り返す。
【０１１２】
次いで、フォーマット化モジュール２５０は、第３の次元でのインデックス９５を増分し、行列内の非ゼロ要素の位置を特定するデータの符号化を続ける。次いで、フォーマット化モジュール２５０は、第４の次元での行列の次の非ゼロ要素の位置を符号化する。
【０１１３】
次いで、フォーマット化モジュール２５０は、第２の次元でのインデックスを増分し、行列内の非ゼロ要素の位置を特定するデータの符号化を続けるなどである。
【０１１４】
したがって、行列の非ゼロ要素の位置は、以下のデータ構造を使用して符号化されることがあり、このデータ構造は、データストリームに関して、図９を参照して与えられたものと異なる別の例であり、ここで、ＩｄＤｉｍは、次元を識別するパラメータであり、ＤｉｍＩｎｄは、考察中の次元でのインデックスであり、各次元が３つのインデックスを有する。
【数１２】
2018109958.tif 000015
2018109958.tif 000016
【０１１５】
ステップ７０４で、インデックス９６は、光学取得デバイスによって取得された画像を指し示し、行列の各非ゼロ要素に、対応する値を関連付ける。これにより、行列の非ゼロ要素と同じ編成で画像データを配置し直すことが可能になる。ライトフィールドデータの場合、行列の要素の値は、異なる光線を感知したセンサの画素によって取得されたＲＧＢ値であり、したがって、カメラの幾何形状および行列内での非ゼロ要素の位置は不変である一方、これらのＲＢＧ値は時間と共に連続的に変化している。
【０１１６】
ステップ７０５で、フォーマット化モジュールは、元の行列を回復するために受信機側での逆数計算中に使用されることを意図されたパラメータの組を含むメッセージを生成する。それらのパラメータは、例えば、行列の次元の数と、行列の各次元を識別するインデックスを符号化するために使用される構文（例えば、表１）と、いずれが行列の最高次元であるか（例えば、ｙ２が最高次元であり、次いでｘ２など）を決定することを可能にするパラメータとを含む。
【０１１７】
ライトフィールドデータを表す行列の場合、メッセージは、Ｘｉｍｉｎ、ＮＸｉ、およびΔなど、インデックス（ｉｘ１，ｉｙ１，ｉｘ２，ｉｙ２）から各光線の元の座標（Ｘ１，Ｘ２，Ｘ３，Ｘ４）を計算することを可能にするパラメータの組も含む。
【０１１８】
ステップ７０６で、データストリーム８０、９０、ポインタ９６、およびメッセージが少なくとも受信機に送信され、そこで、これらのデータは、行列およびその成分をレンダリングするために処理される。
【０１１９】
図１０は、本発明の一実施形態による行列を再構成するための装置の一例を示す概略ブロック図である。
【０１２０】
装置１０００は、バス１００６によって接続されたプロセッサ１００１、記憶ユニット１００２、入力デバイス１００３、表示デバイス１００４、およびインターフェースユニット１００５を含む。当然のことながら、コンピュータ装置１０００の構成要素は、バス接続以外の接続によって接続されてもよい。
【０１２１】
プロセッサ１００１は、装置１０００の動作を制御する。記憶ユニット１００２は、プロセッサ１００１によって実行される少なくとも１つのプログラム、ならびに様々なデータ、例えば、ライトフィールドカメラによって捕捉されて提供される４Ｄライトフィールド画像のデータ、プロセッサ１００１によって行われる計算によって使用されるパラメータ、およびプロセッサ１００１によって実施されている計算の中間データなどを記憶する。プロセッサ１００１は、任意の既知の適切なハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組合せによって形成することができる。例えば、プロセッサ１００１は、処理回路などの専用ハードウェアによって形成されることも、メモリに記憶されたプログラムを実行するＣＰＵ（中央処理装置）などのプログラマブル処理装置によって形成されることもある。
【０１２２】
記憶ユニット１００２は、プログラムまたはデータなどをコンピュータ可読様式で記憶することが可能な任意の適切な記憶装置または手段によって形成されることがある。記憶ユニット１００２の例としては、半導体メモリデバイスなどの非一時的なコンピュータ可読記憶媒体、ならびに読出しおよび書込みユニットにロードされた磁気、光、光磁気記録媒体が挙げられる。図１１を参照して述べたように、プログラムは、プロセッサ１００１に、本開示の実施形態による行列の再構成を行わせる。
【０１２３】
入力デバイス１００３は、コマンドを入力するためにユーザによって使用されるキーボードまたはポインティングデバイス（例えば、マウス）などによって形成されることがある。出力デバイス１００４は、本開示の一実施形態に従って生成される行列を表示するための表示デバイス、例えばグラフィカルユーザインターフェース（ＧＵＩ）によって形成されることがある。入力デバイス１００３と出力デバイス１００４とは、例えばタッチスクリーンパネルによって一体形成されてもよい。
【０１２４】
インターフェースユニット１００５は、装置１０００と外部装置との間のインターフェースを提供する。インターフェースユニット１００５は、ケーブルまたは無線通信を介して外部装置と通信可能でよい。一実施形態では、外部装置はライトフィールドカメラでよい。この場合、ライトフィールドカメラによって捕捉された４Ｄライトフィールド画像のデータを、インターフェースユニット１００５を介してライトフィールドカメラから装置１０００に入力し、次いで記憶ユニット１００２に記憶することができる。
【０１２５】
この実施形態では、装置１０００は、ライトフィールドカメラとは別個であり、ケーブルまたは無線通信を介して互いに通信可能であるものとして例示的に論じられているが、装置１０００をそのようなライトフィールドカメラと一体化することもできることに留意すべきである。この場合、装置１０００は、例えば、ライトフィールドカメラを埋め込んだタブレットまたはスマートフォンなどのポータブルデバイスでよい。
【０１２６】
図１１は、本発明の一実施形態による疎行列を再構成するための方法のステップを示すフローチャートである。この方法は、例えば装置１０００のプロセッサ１００１によって実行される。
【０１２７】
ステップ１１０１で、装置１０００は、データストリーム８０、９０、ポインタ９６、取得デバイスのセンサの画素によって感知されたＲＧＢ値の全てを記憶するＲＧＢファイル、およびＳＥＩメッセージを受信する。
【０１２８】
ステップ１１０２で、プロセッサ１００１は、データストリーム８０、９０、ポインタ９６、ＲＧＢファイル、およびＳＥＩメッセージに含まれるパラメータを処理して、行列、したがってライトフィールド成分を再構成する。
【０１２９】
図６を参照して述べた第１の実施形態に従って光線の座標が離散化されるとき、元の座標は、以下の式に従って回復されることがある。
【数１３】
2018109958.tif 000017
ここで、最大誤差は、ε＝（Ｘｉ’−Ｘｉ）＝±２−（Ｎ＋１）である。
【０１３０】
図６を参照して述べた第２の実施形態に従って光線の座標が離散化されるとき、元の座標は、以下の式：
Ｘｉ’＝ｉＸ＊Δ＋Ｘｉｍｉｎ
に従って回復されることがあり、ここで、最大誤差はε＝Δである。特定の実施形態を参照しながら本発明を上述してきたが、本発明は、特定の実施形態に限定されるものではなく、本発明の範囲内にある修正形態が当業者に明らかであろう。
【０１３１】
多くのさらなる修正形態および変形形態は、上記の例示的実施形態を参照することによって当業者に想到され、それらの例示的実施形態は、単なる例示として与えられており、本発明の範囲を限定することを意図されておらず、本発明の範囲は、添付の特許請求の範囲によってのみ決定される。特に、適切な場合、異なる実施形態からの異なる特徴が相互に交換されてもよい。
【図１】
2018109958.tif 000018
【図２】
2018109958.tif 000019
【図３】
2018109958.tif 000020
【図４】
2018109958.tif 000021
【図５】
2018109958.tif 000022
【図６】
2018109958.tif 000023
【図７】
2018109958.tif 000024
【図８】
2018109958.tif 000025
【図９】
2018109958.tif 000026
【図１０】
2018109958.tif 000027
【図１１】
2018109958.tif 000028
【外国語明細書】
2018109958000001.pdf