(57)【要約】      （修正有）【課題】ライトフィールド・コンテンツを表す信号を符号化する方法及び装置を提供する。【解決手段】ライトフィールド・コンテンツを表す信号を符号化する方法は、光学的な取得システムのセンサの種々の画素によって感知される光線を表す第１の組のパラメータを符号化することと、第１の組のパラメータからライトフィールド・コンテンツを再構築するために使用される第２の組のパラメータを符号化することを含み、コンピュータによって実施される。【選択図】図８
2018033127.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータによって実施される、ライトフィールド・コンテンツを表す信号を符号化する方法であって、
センサの少なくとも１つの画素について、前記画素によって感知される光線を表す第１の組のパラメータを符号化することと、
前記第１の組のパラメータから前記ライトフィールド・コンテンツを再構築するために使用されるようにされた第２組のパラメータを符号化することと、
を含む、前記方法。
【請求項２】
前記第１の組のパラメータによって表される光線に関連付けられたカラー・データを表す第３の組のパラメータを符号化することをさらに含む、請求項１に記載の方法。
【請求項３】
前記第１の組のパラメータのうちの少なくとも１つのパラメータは、前記光線の座標と、光学的な取得システムの複数の画素によって感知される複数の光線の一組の座標に適合する平面との間の距離を表し、第２の組のパラメータのうちの少なくとも１つのパラメータは、前記適合する平面の座標を表す、請求項１または２に記載の方法。
【請求項４】
前記第１の組のパラメータのうちの少なくとも１つのパラメータは、
前記画素によって感知された光線を表す値と、前記センサの行における前記画素に先行する他の画素によって検知される光線を表す値との間の差分、または、
前記画素が前記センサの行の最初の画素である場合の、前記画素によって感知される光線を表す値と、前記画素が属する行に先行する行の最後の画素によって感知される光線を表す値との間の差分を表す、請求項１〜３のいずれか１項に記載の方法。
【請求項５】
複数の独立したコーデックが前記第１の組のパラメータのうちのパラメータを符号化するために使用される、請求項１〜４のいずれか１項に記載の方法。
【請求項６】
前記第２の組のパラメータが、前記第１の組のパラメータの最後の送信の後に前記第１の組のパラメータが変更されていないことを示すパラメータを含む場合に、前記第２の組のパラメータのみが送信される、請求項１〜５のいずれか１項に記載の方法。
【請求項７】
前記ライトフィールド・コンテンツを表す信号の送信速度は、前記符号化された第１の組のパラメータおよび前記符号化された第２の組のパラメータの送信速度よりも高い、請求項２に記載の方法。
【請求項８】
プロセッサを含む、ライトフィールド・コンテンツを表す信号を符号化する装置であって、前記プロセッサは、
センサの少なくとも１つの画素について、前記画素によって感知される光線を表す第１の組のパラメータを符号化し、
前記第１の組のパラメータから前記ライトフィールド・コンテンツを再構築するために使用されるようにされた第２組のパラメータを符号化するように構成されている、前記装置。
【請求項９】
コンピュータによって実施される、ライトフィールド・コンテンツを表す信号を復号する方法であって、
センサの少なくとも１つの画素について、前記画素によって感知される光線を表す第１の組のパラメータを復号することと、
前記第１の組のパラメータから前記ライトフィールド・コンテンツを再構築するために使用されるようにされた第２組のパラメータを復号することと、
前記復号された第１の組のパラメータおよび前記復号された第２の組のパラメータに基づいて前記ライトフィールド・コンテンツを再構築することと、
を含む、前記方法。
【請求項１０】
前記第１の組のパラメータによって表される光線に関連付けられたカラー・データを表す第３の組のパラメータを復号することと、
前記復号された第１の組のパラメータおよび前記復号された第２の組のパラメータと共に、復号された第３の組のパラメータに基づいて前記ライトフィールド・コンテンツを再構築することと、
をさらに含む、請求項９に記載の方法。
【請求項１１】
プロセッサを含む、ライトフィールド・コンテンツを表す信号を復号する装置であって、前記プロセッサは、
センサの少なくとも１つの画素について、前記画素によって感知される光線を表す第１の組のパラメータを復号し、
前記第１の組のパラメータから前記ライトフィールド・コンテンツを再構築するために使用されるようにされた第２組のパラメータを復号し、
前記復号された第１の組のパラメータおよび前記復号された第２の組のパラメータに基づいて前記ライトフィールド・コンテンツを再構築するように構成されている、前記装置。
【請求項１２】
ライトフィールド・コンテンツを表す信号を符号化する装置によって、ライトフィールド・コンテンツを表す前記信号を復号する装置に送信される信号であって、前記信号は、メッセージを搬送し、当該メッセージは、
センサの少なくとも１つの画素によって感知される光線を表す第１の組のパラメータと、
前記第１の組のパラメータから前記ライトフィールド・コンテンツを再構築するために使用されるようにされた第２の組のパラメータと、を含み、
前記復号する装置による前記ライトフィールド・コンテンツの再構築は、前記復号された第１の組のパラメータおよび前記復号された第２の組のパラメータに基づく、前記信号。
【請求項１３】
プログラムがプロセッサに実行されたときに請求項１〜７のいずれか１項に記載のライトフィールド・コンテンツを符号化する方法を実施するプログラム・コード命令を含むことを特徴とする、コンピュータ・プログラム。
【請求項１４】
プログラムがプロセッサに実行されたときに請求項９または１０に記載のライトフィールド・コンテンツを復号する方法を実施するプログラム・コード命令を含むことを特徴とする、コンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一組のデータおよびメタデータの送信に関し、より具体的には、ライトフィールド・コンテンツの送信に関する。
【背景技術】
【０００２】
４次元、または４Ｄライトフィールド・データの取得は、４Ｄライトフィールドのサンプリング、すなわち、光線を記録したものとして視聴することができ、このことは、Ａｎａｔ  Ｌｅｖｉｎ氏らの論文「ライトフィールド投影のベイズ分析を通じたカメラ・トレードオフの理解（Ｕｎｄｅｒｓｔａｎｄｉｎｇ  ｃａｍｅｒａ  ｔｒａｄｅ−ｏｆｆｓ  ｔｈｒｏｕｇｈ  ａ  Ｂａｙｅｓｉａｎ  ａｎａｌｙｓｉｓ  ｏｆ  ｌｉｇｈｔ  ｆｉｅｌｄ  ｐｒｏｊｅｃｔｉｏｎｓ）」によって説明されている。この論文は、２００８年コンピュータ・ビジョン欧州会議（ＥＣＣＶ２００８）の会議議事録で公開されている。
【０００３】
カメラから取得される旧来の二次元または２Ｄ画像画像と比較して、４Ｄライトフィールド・データは、より多くのユーザがポストプロセッシングの機能にアクセスできるようにし、これにより、画像のレンダリングおよびユーザとのインタラクティビティを向上させる。例えば、４Ｄライトフィールド・データを用いて、自由に選択した焦点距離を用いて画像のリフォーカシングを実行することができ、これは、焦点面の位置を事後的に特定／選択できるとともに、画像のシーンにおける視点を僅かに変更できることを意味する。
【０００４】
４Ｄライトフィールド・データを表現するための幾つかの方法が存在する。実際、２００６年７月に公開されたＲｅｎ  Ｎｇ氏による「ディジタル・ライトフィールド・フォトグラフィ（Ｄｉｇｉｔａｌ  Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ）」と題された博士論文の３．３章においては、４Ｄライトフィールド・データを表現するための３つの異なる方法が記載されている。第１に、４Ｄライトフィールド・データは、マイクロ・レンズ画像を集めたものにより、プレノプティック・カメラで記録した際に表現することができる。この表現における４Ｄライトフィールド・データは、生画像、または４Ｄライトフィールド・データと呼ばれる。第２に、４Ｄライトフィールド・データは、一組のサブアパーチャ画像により、プレノプティック・カメラで、または、カメラ・アレイで記録した際に表現することができる。サブアパーチァ画像は、視点からのシーンのキャプチャされた画像に対応する。視点は、２つのサブアパーチァ画像間で僅かに異なる。これらのサブアパーチァ画像は、画像シーンの視差および深度についての情報を与えるものである。第３に、４Ｄライトフィールド・データは、一組のエピポーラ画像によって表現することができる。例えば、２０１１年国際シンポジウム・ビジュアル・コンピューティング（ＩＳＶＣ２０１１）に公開されたＳ．  Ｗａｎｎｅｒ氏らの「単一のレンズ焦点プレノプティック・カメラを用いた４ＤライトフィールドのＥＰＩ表現の生成（Ｇｅｎｅｒａｔｉｎｇ  ＥＰＩ  Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ｏｆ  ａ  ４Ｄ  Ｌｉｇｈｔ  Ｆｉｅｌｄｓ  ｗｉｔｈ  ａ  Ｓｉｎｇｌｅ  Ｌｅｎｓ  Ｆｏｃｕｓｅｄ  Ｐｌｅｎｏｐｔｉｃ  Ｃａｍｅｒａ）」と題された論文を参照されたい。
【０００５】
ライトフィールド・データは、大容量の記憶スペースを占有するため、記憶が困難であり、処理効率を低下させる。さらに、ライトフィールド取得装置間での違いは大きい。ライトフィールド・カメラには異なるタイプのもの、例えば、プレノプティック・アレイまたはカメラ・アレイがある。各タイプ内で、異なる光学的な構成または異なる焦点距離のマイクロ・レンズなど、多くの差異が存在する。各カメラは、独自のファイル・フォーマットを有する。現在のところ、ライトフィールドが依存する相異なるパラメータを網羅的に取り扱うための、多次元情報の取得および送信を標準的にサポートする規格は存在しない。種々の様々なカメラから取得されるライトフィールド・データが有するフォーマットに多様性があるため、受信機側での処理が複雑となっている。
【０００６】
本発明は、上述した内容を考慮して考案されたものである。
【発明の概要】
【０００７】
本発明の第１の態様によれば、コンピュータによって実施される、ライトフィールド・コンテンツを表す信号を符号化する方法が提供される。この方法は、
センサの少なくとも１つの画素について、この画素によって感知される光線を表す第１の組のパラメータを符号化することと、
第１の組のパラメータからライトフィールド・コンテンツを再構築するために使用されるようにされた第２の組のパラメータを符号化することと、を含む。
【０００８】
本発明の一態様に係る符号化方法に従って送信されるパラメータは、送信され、受信機によって処理されるようにされたライトフィールド・コンテンツを取得するために使用される光学的な取得システムとは独立している。
【０００９】
本発明の一態様による方法において、光学的な取得システムのセンサの種々の画素によって感知される光線を表すパラメータ、すなわち、第１の組のパラメータのうちの上記パラメータは、センサにマッピングされる。したがって、これらのパラメータは、ピクチャとみなすことができる。例えば、光学的な取得システムの画素によって感知される光線が４つのパラメータによって表される場合には、光学的な取得システムのセンサの画素によって感知される光線を表すパラメータは、４つのピクチャにグループ化される。
【００１０】
このようなピクチャは、ＭＰＥＧ−４  ｐａｒｔ１０  ＡＶＣ（Ｈ．２６４とも呼ばれる）、Ｈ．２６５／ＨＥＶＣ、または、おそらくはその後継規格であると考えられるＨ．２６６などのビデオ規格に従って符号化され、送信することができ、さらに、結合されたビデオ・ビットストリーム内で送信することができる。第２の符号化された組は、補助拡張情報（ＳＥＩ）メッセージを使用して符号化することができる。本発明の一態様による方法において規定されるフォーマットにより、重度のエラーを招くことなく（ロスレス符号化）、または、限定された量のエラーで（ロッシー符号化）、データを高圧縮して送信することができる。
【００１１】
本発明の一態様による方法は、光学デバイスによって直接取得されるライトフィールド・データに限定されるものではない。これらのデータは、所与のシーンの記述に対してコンピュータによって完全に、または部分的にシミュレートされるコンピュータ・グラフィックス・イメージ（ＣＧＩ）とすることができる。ライトフィールド・データの別のソースは、変更されたポストプロダクションされたデータ、例えば、カラー・グレーディングされたデータ、光学的装置またはＣＧＩから取得されたライトフィールド・データとすることができる。また、映画業界において、光学的な取得装置を使用して取得されたデータおよびＣＧＩデータの両方を混合したデータを有することが通例である。センサの画素は、コンピュータが生成したシーン・システムによってシミュレートすることができ、拡張により、センサ全体を上記システムによってシミュレートできることが理解されよう。ここで、「センサの画素」または「センサ」と言及する場合、光学的な取得装置に取り付けられた物理的なオブジェクトを指すこともあれば、コンピュータによって生成されたシーン・システムによって取得されたシミュレートされたものを指すこともあると理解される。
【００１２】
符号化方法の一態様によれば、この符号化方法は、上記第１の組のパラメータによって表される光線に関連付けられたカラー・データを表す第３の組のパラメータを符号化することをさらに含む。
【００１３】
符号化方法の一態様によれば、第１の組のパラメータのうちの少なくとも１つのパラメータは、上記光線の座標と、光学的な取得システムの複数の画素によって感知される複数の光線の一組の座標に適合する平面との間の距離を表し、第２の組のパラメータのうちの少なくとも１つのパラメータは、適合する平面の座標を表す。
【００１４】
光線の座標と、センサの種々の画素によって感知される複数の光線の一組の座標に適合する平面との間の距離を符号化することにより、算出された距離の種々の値の間の幅は、通常、座標の種々の値の間の幅よりも小さいため、送信されるデータを圧縮することが可能となる。
【００１５】
符号化方法の一態様によれば、第１の組のパラメータのうちの少なくとも１つのパラメータは、
上記画素によって感知された光線を表す値と、センサの行における上記画素に先行する他の画素によって検知される光線を表す値との間の差分、または、
上記画素がセンサの行の最初の画素である場合の、上記画素によって感知される光線を表す値と、上記画素が属する行に先行する行の最初の画素によって感知される光線を表す値との間の差分を表す。
【００１６】
光線を表す値は、光線を表す座標、または、センサの種々の画素によって感知される複数の光線の複数の組の座標に適合する座標または平面間の距離とすることができる。
【００１７】
これにより、送信されるパラメータの種々の値の間の幅を低減することによって、データを圧縮することが可能となる。
【００１８】
符号化方法の一態様によれば、複数の独立したコーデックが第１の組のパラメータのうちのパラメータを符号化するために使用される。
【００１９】
符号化方法の一態様によれば、第２の組のパラメータが、第１の組のパラメータの最後の送信の後に第１の組のパラメータが変更されていないことを示すパラメータを含む場合に、上記第２の組のパラメータのみが送信される。
【００２０】
これにより、符号化装置に送信されるべきデータの量を低減することができる。
【００２１】
符号化方法の一態様によれば、ライトフィールド・データは、ライトフィールド・データの複数のサブセット（組の部分）のシーケンスで構成される。例えば、サブセットは、動的なシーンまたは動きのあるシーンを表すために、時間的にインデックスが付けられる。通常は、シーケンスのエレメント（または、サブセット）は、フレームと呼ばれる。この状態で、ライトフィールド・コンテンツを表す信号の、限定するものではないが、通常、フレーム毎秒で特徴付けられる送信速度は、符号化された第１の組のパラメータおよび符号化された第２の組のパラメータの送信速度よりも高い。
【００２２】
これにより、復号装置に送信されるべきデータの量を低減することが可能となる。
【００２３】
本発明の他の目的は、プロセッサを含む、ライトフィールド・コンテンツを表す信号を符号化する装置に関する。このプロセッサは、
センサの少なくとも１つの画素について、上記画素によって感知される光線を表す第１の組のパラメータを符号化し、
第１の組のパラメータからライトフィールド・コンテンツを再構築するために使用されるようにされた第２組のパラメータを符号化するように構成されている。
【００２４】
本発明の別の態様は、コンピュータによって実施される、ライトフィールド・コンテンツを表す信号を復号する方法に関する。この方法は、
センサの少なくとも１つの画素について、上記画素によって感知される光線を表す第１の組のパラメータを復号することと、
第１の組のパラメータからライトフィールド・コンテンツを再構築するために使用されるようにされた第２組のパラメータを復号することと、
復号された第１の組のパラメータおよび復号された第２の組のパラメータに基づいてライトフィールド・コンテンツを再構築することと、を含む。
【００２５】
復号方法の一態様によれば、この復号方法は、
第１の組のパラメータによって表される光線に関連付けられたカラー・データを表す第３の組のパラメータを復号することと、
復号された第１の組のパラメータおよび復号された第２の組のパラメータと共に、復号された第３の組のパラメータに基づいてライトフィールド・コンテンツを再構築することと、をさらに含む。
【００２６】
本発明の他の態様は、プロセッサを含む、ライトフィールド・コンテンツを表す信号を復号する装置に関し、このプロセッサは、
センサの少なくとも１つの画素について、上記画素によって感知される光線を表す第１の組のパラメータを復号し、
第１の組のパラメータからライトフィールド・コンテンツを再構築するために使用されるようにされた第２組のパラメータを復号し、
復号された第１の組のパラメータおよび復号された第２の組のパラメータに基づいてライトフィールド・コンテンツを再構築するように構成されている。
【００２７】
本発明の他の態様は、ライトフィールド・コンテンツを表す信号を符号化する装置によって、ライトフィールド・コンテンツを表す信号を復号する装置に送信される信号に関する。上記信号は、メッセージを搬送し、このメッセージは、
センサの少なくとも１つの画素によって感知される光線を表す第１の組のパラメータと、
第１の組のパラメータからライトフィールド・コンテンツを再構築するために使用されるようにされた第２の組のパラメータと、を含み、
復号する装置によるライトフィールド・コンテンツの再構築は、復号された第１の組のパラメータおよび復号された第２の組のパラメータに基づく。
【００２８】
本発明の要素によって実施される処理の中には、コンピュータによって実施されるものがある。したがって、このような要素は、完全にハードウェアの実施形態で実施することも、（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）完全にソフトウェアの実施形態で実施することも、ソフトウェアおよびハードウェアの態様を組み合わせた実施形態で実施することもでき、これらは、全て、本明細書において、一般的に、「回路」、「モジュール」、または、「システム」と称することがある。さらに、このような要素は、任意の有体物としての媒体であって、内部にコンピュータが使用可能なプログラム・コードが実装された表現を有する媒体において実施されるコンピュータ・プログラム・プロダクトの形態で実施することができる。
【００２９】
本発明の要素は、ソフトウェアにおいて実施することができるため、本発明は、任意の適切な担持媒体上でプログラム可能な装置に提供されるコンピュータ読み取り可能コードとして実施することができる。有体物としての担持媒体には、フロッピー・ディスク、ＣＤ−ＲＯＭ、ハードディスク・ドライブ、磁気テープ装置、または、ソリッドステート・メモリ装置などが含まれる。一時的な搬送媒体には、電気信号、電子信号、光学信号、音響信号、磁気信号、電磁信号、例えば、マイクロ波またはＲＦ信号などの信号が含まれる。
【００３０】
次に、本発明の実施形態を以下の添付図面を参照して、例示的な目的のみで、説明する。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施形態によるライトフィールド・カメラ装置のブロック図である。
【図２】ライトフィールド・データ・フォーマット化モジュールの想定される実施態様の特定の実施形態を例示するブロック図である。
【図３】パラメータ化のために使用される２つの参照平面Ｐ１およびＰ２を通過する光線を例示する図である。
【図４】既知の深度ｚ３に位置する参照平面Ｐ３を通過する光線を例示する図である。
【図５】本発明の一実施形態による、ライトフィールド・データをフォーマット化する方法のステップを例示するフローチャートである。
【図６】本発明の実施形態による、ライトフィールド・データをフォーマット化する方法のステップを例示するフローチャートである。
【図７】４つの独立したモノクローム・コーデックを使用して受信機に送信される際の、Ｘｉｕ，ｖマップ、Ｘｉ’’’ｕ，ｖマップ、または、ΔＸｉｕ，ｖマップを表す図である。
【図８】単一の画像にグループ化される際のＸｉｕ，ｖマップ、Ｘｉ’’’ｕ，ｖマップ、またはΔＸｉｕ，ｖマップを表す図である。
【発明を実施するための形態】
【００３２】
当業者であれば理解できるであろうが、本願の原理の態様は、システム、方法、または、コンピュータ可読媒体として実施することができる。したがって、本願の原理の態様は、完全にハードウェアの実施形態で実施することも、（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）完全にソフトウェアの実施形態で実施することも、ソフトウェアおよびハードウェアの態様を組み合わせた実施形態で実施することもでき、これらは、全て、本明細書において、一般的に、「回路」、「モジュール」、または、「システム」と称することができる。さらに、本願の原理の態様は、コンピュータ可読記憶媒体の形態をとることができる。１つ以上のコンピュータ可読記憶媒体を任意に組み合わせて利用することができる。
【００３３】
本発明の実施形態は、フォーマット変換、リフォーカス、視点変更などのような更なる処理用途のためのライトフィールド・データのフォーマット化を提供する。提供されるフォーマット化により、ライトフィールド・データを、処理を行うために、受信機側で適切且つ簡易に再構築することが可能となる。提供されるフォーマットには、ライトフィールド・データを取得するために使用される装置に依存しないという利点がある。
【００３４】
図１は、本発明の実施形態によるライトフィールド・カメラ装置のブロック図である。ライトフィールド・カメラは、絞り／シャッタ１０２、主（対物）レンズ１０１、マイクロレンズ・アレイ１１０、およびフォトセンサ・アレイを含む。実施の形態によっては、ライトフィールド・カメラは、被写体またはシーンのライトフィールド画像をキャプチャするように駆動されるシャッタ・リリースを含む。
【００３５】
フォトセンサ・アレイ１２０は、ライトフィールド・データ・フォーマット化モジュール１５０によって、かつ／またはライトフィールド・データ・プロセッサ１５５によって、ライトフィールド・データ・フォーマットの生成のために、ＬＦデータ取得モジュール１４０によって取得されたライトフィールド画像データを提供する。ライトフィールド・データは、取得後、そして処理後に、サブアパーチャ（ｓｕｂ−ａｐｅｒｔｕｒｅ）画像またはフォーカル・スタックとして、生データのフォーマットで、または、本発明の実施形態に従ったライトフィールド・データ・フォーマットでメモリ１９０に記憶することができる。
【００３６】
示されている例においては、ライトフィールド・フォーマット化モジュール１５０およびライトフィールド・データ・プロセッサ１５５は、ライトフィールド・カメラ１００内に設けられるか、ライトフィールド・カメラ１００内に組み込まれている。本発明の他の実施形態においては、ライトフィールド・フォーマット化モジュール１５０および／またはライトフィールド・データ・プロセッサ１５５を、ライトフィールド・キャプチャ・カメラの外部に別体の部品として設けてもよい。別体の部品は、ライトフィールド画像キャプチャ装置に対して、ローカルに設けられていてもよいし、リモートに設けられていてもよい。フォーマット化モジュール１５０またはライトフィールド・データ・プロセッサ１５５にライトフィールド画像データを送信するために、任意の適切な無線または有線プロトコルを使用できることが理解できよう。例えば、ライトフィールド・データ・プロセッサは、キャプチャされたライトフィールド画像データおよび／または他のデータを、インターネット、携帯電話データ・ネットワーク、ＷｉＦｉネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信プロトコル、および／または他の適切な手段を通じて転送することができる。
【００３７】
ライトフィールド・データ・フォーマット化モジュール１５０は、本発明の実施形態に従って、取得されたライトフィールドを表すデータを生成するように構成されている。ライトフィールド・データ・フォーマット化モジュール１５０は、ソフトウェア、ハードウェア、または、ソフトウェアおよびハードウェアを組み合わせたもので実施することができる。  
【００３８】
ライトフィールド・データ・プロセッサ１５５は、例えば、本発明の実施形態に従って、フォーマット化されたデータおよびメタデータを生成するために、ライトフィールド（ＬＦ）データ取得モジュール１４０から直接受信した生のライトフィールド画像データに対する処理を行うように構成される。例えば、キャプチャされたシーンの静止画像、２Ｄビデオ・ストリームなどのような他の出力データを生成することができる。ライトフィールド・データは、ソフトウェアで実施することもできるし、ハードウェアで実施することもできるし、ソフトウェアとハードウェアとを組み合わせて実施することもできる。
【００３９】
少なくとも一実施形態においては、ライトフィールド・カメラ１００は、ユーザがコントローラ１７０によってカメラ１００の制御動作に対するユーザ入力を行えるようにするユーザ・インタフェース１６０を含んでいてもよい。カメラの制御は、シャッタ速度のようなカメラの光学的パラメータの制御、または、調節可能なライトフィールド・カメラの場合には、マイクロレンズ・アレイとフォトセンサと間の相対距離または対物レンズとマイクロレンズ・アレイとの間の相対距離の制御のうちの１つ以上を含んでいてもよい。実施形態によっては、ライトフィールド・カメラの光学素子間の相対距離を手動で調節することができる。カメラの制御は、他のライトフィールド・データ取得パラメータ、ライトフィールド・データ・フォーマット化パラメータ、またはカメラのライトフィールド処理パラメータの制御を含んでいてもよい。ユーザ・インタフェース１６０は、タッチスクリーン、ボタン、キーボード、ポインティング装置などの、任意の適切なユーザ入力装置を含み得る。このようにして、ユーザ・インタフェースによって受信された入力は、データ・フォーマット化を制御するためのＬＦデータ・フォーマット化モジュール１５０、取得されたライトフィールド・データの処理を制御するためのＬＦデータ・プロセッサ１５５、およびライトフィールド・カメラ１００を制御するためのコントローラ１７０を制御および／または構成設定するために使用することができる。
【００４０】
ライトフィールド・カメラは、１つ以上の交換可能または充電可能なバッテリなど、電源１８０を含む。ライトフィールド・カメラは、キャプチャされたライトフィールド・データおよび／または処理されたライトフィールド・データ、または、本発明の実施形態の方法を実施するためのソフトウェアなどの他のデータを記憶するためのメモリ１９０を含む。メモリは、外部メモリおよび／または内部メモリを含み得る。少なくとも１つの実施形態においては、メモリは、カメラ１００とは別個の装置に設けることもできるし、かつ／または、カメラ１００とは別個の位置に設けることもできる。一実施形態においては、メモリは、メモリ・スティックなどの着脱可能な／交換可能な記憶装置を含む。
【００４１】
ライトフィールド・カメラは、キャプチャを行う前にカメラの前方のシーンを視聴するための、かつ／または、以前にキャプチャされた画像および／または以前にレンダリングされた画像を視聴するための、表示部（ディスプレイ・ユニット）１６５（例えば、ＬＣＤ画面）を含んでいてもよい。画面１６５は、ユーザに対して１つ以上のメニューまたは他の情報を表示するために使用してもよい。ライトフィールド・カメラは、ファイア・ワイア（ＦｉｒｅＷｉｒｅ）またはユニバーサル・シリアル・バス（ＵＳＢ）・インタフェース、またはインターネットを介したデータ通信のための無線インタフェースまたは有線インタフェース、携帯電話データ・ネットワーク、ＷｉＦｉネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信プロトコル、および／または他の任意の適切な手段など、１つ以上のＩ／Ｏインタフェース１９５をさらに含んでいてもよい。Ｉ／Ｏインタフェース１９５は、レンダリング・アプリケーションのためのコンピュータ・システムまたはディスプレイ・ユニットなどの外部機器との、本発明の実施形態に従ったＬＦデータ・フォーマット化モジュールによって生成されたライトフィールドを表すデータおよび生のライトフィールド・データなどのライトフィールド・データ、または、ＬＦデータ・プロセッサ１５５によって処理されたデータのデータ転送のために使用することができる。
【００４２】
図２は、ライトフィールド・データ・フォーマット化モジュール２５０およびライトフィールド・データ・プロセッサ２５３の想定可能な実施態様の特定の実施形態を例示するブロック図である。
【００４３】
回路２００は、メモリ２９０、メモリ・コントローラ２４５、および１つ以上の処理ユニット（ＣＰＵ）を含む処理回路２４０を含む。１つ以上の処理ユニット２４０は、メモリ２９０に記憶された様々なソフトウェア・プログラムおよび複数組の命令を実行して、ライトフィールド・データ・フォーマット化およびライトフィールド・データ処理を含む、様々な機能を実行するように構成されている。メモリに記憶されたソフトウェア・コンポーネントは、本発明の実施形態に従って取得されたライト・データを表すデータを生成するデータ・フォーマット化モジュール（または一組の命令）２５０と、本発明の実施形態に従ってライトフィールド・データを処理するライトフィールド・データ処理モジュール（または一組の命令）２５５とを含む。一般的なシステム・タスク（例えば、省電力管理、メモリ管理）を制御し、装置２００の様々なハードウェア・コンポーネントとソフトウェア・コンポーネントとの間の通信を容易にするオペレーティング・システム・モジュール２５１、およびＩ／Ｏインタフェース・ポートを介して他の装置との通信を制御および管理するインタフェース・モジュール２５２など、ライトフィールド・カメラ装置のアプリケーションのためのメモリに他のモジュールを含めることができる。
【００４４】
発明の実施形態は、カメラのセンサの画素によって感知される光線に基づいた、または、コンピュータによって生成されたシーンのシステムによってシミュレートされたライトフィールド・データの表現を提供する。実際、ライトフィールド・データの別のソースは、ポストプロダクションによって修正された、例えば、色グレーディングされたデータでもよいし、光学デバイスまたはＣＧＩから取得されたライトフィールド・データでもよい。さらに、現在の映画業界においては、光学的な取得装置によって取得されたデータおよびＣＧＩデータの両方を混合したデータを有することが一般的である。さらに、センサの画素がコンピュータによって生成されるシーンのシステムによってシミュレートされることがあり、拡張により、センサ全体をこのシステムによってシミュレートさせることができる。ここで、「センサの画素」または「センサ」と言及した場合、これは、光学的な取得装置に取り付けられた物理的なオブジェクトであることもあるし、コンピュータによって生成されるシーンのシステムによって取得される、シミュレートされたものであることもある。
【００４５】
取得システムのタイプが何であるかが分かると、取得装置の外部空間にある、少なくとも線形の光軌跡、または光線に対応するこの取得システムのセンサの画素に対し、３次元（３Ｄ）空間における光線を表すデータが算出される。
【００４６】
第１の実施形態において、図３は、互いに並行に、さらに、既知の深度ｚ１およびｚ２にそれぞれ位置する、パラメータ化のために使用される２つの参照平面Ｐ１およびＰ２を通過する光線を例示している。光線は、交差ポイント（ｘ１，ｙ２）および深度ｚ１で第１の参照平面Ｐ１と交差し、交差ポイント（ｘ２，ｙ２）および深度ｚ２で第２の参照平面Ｐ２と交差する。このように、ｚ１およびｚ２が与えられると、光線が４つの座標（ｘ１，ｙ１，ｘ２，ｙ２）によって特定される。よって、ライトフィールドは、本明細書において、パラメータ化平面としても参照される、一対のパラメータ化のための参照平面Ｐ１，Ｐ２によってパラメータ化することができる。各光線は、４Ｄ光線空間において、ポイント
【数１】
2018033127.tif 000003
と表される。
【００４７】
図４に示されている第２の実施形態においては、光線は、既知の深度Ｚ３に位置する参照平面Ｐ３と光線との交差ポイントによってパラメータ化される。光線は、交差ポイント（ｘ３，ｙ３）で、深度ｚ３の参照平面Ｐ３と交差する。正規化されたベクトルｖは、空間内の光線の方向を規定し、
【数２】
2018033127.tif 000004
の座標を有する。
【数３】
2018033127.tif 000005
であるため、Ｖｚは、正であると想定され、ｖｘおよびｖｙが分かれば、それを再計算することができる。ベクトルは、その２つの第１の座標（Ｖｘ，Ｖｙ）のみを用いて記述することができる。
【００４８】
第２の実施形態によれば、光線は、４つの座標（Ｘ３，Ｙ３，Ｖｘ，Ｖｙ）によって特定することができる。よって、ライトフィールドは、本明細書中でパラメータ化平面とも参照される、パラメータ化のための参照平面Ｐ３によってパラメータ化することができる。各光線は、４Ｄ光線空間において、ポイント
【数４】
2018033127.tif 000006
と表される。
【００４９】
４Ｄ光空間において光線を表すパラメータは、ライトフィールド・データ・フォーマット化モジュール１５０によって算出される。図５は、本発明の実施形態による、カメラ１００によって取得されたライトフィールド・データをフォーマット化する方法のステップを例示するフローチャートである。この方法は、ライトフィールド・データ・フォーマット化モジュール１５０によって実行される。
【００５０】
ライトフィールド取得システムがピンホール・モデルを使用して較正される場合には、歪みのない基本の投影モデルは、以下の式によって与えられる。
【数５】
2018033127.tif 000007
ここで、
・ｆは、カメラ１００のメイン・レンズの焦点距離であり、
・ＣｕおよびＣｖは、センサを用いたカメラ１００の光学軸の交差部の座標であり、
・（Ｘｃ，Ｙｃ，Ｚｃ，１）Ｔは、カメラによって感知される空間内のポイントのカメラ座標系における位置であり、
・（ｕ，ｖ，１）Ｔは、カメラのセンサのカメラ座標系における座標が（Ｘｃ，Ｙｃ，Ｚｃ，１）Ｔである投影ポイントの、センサ座標系における座標である。
【００５１】
ステップ５０１において、ライトフィールド・データ・フォーマット化モジュール１５０は、センサ座標系における座標が（ｕ，ｖ，１）Ｔであるセンサの画素によって感知される、空間における光線の方向を表すベクトルＶの座標を算出する。センサ座標系においては、ベクトルの座標Ｖは、（ｕ−ｃｕ，ｖ−ｃｖ，ｆ）Ｔである。
【００５２】
ピンホール・モデルにおいては、ピンホールからの座標Ｚ１に配置され、かつセンサ平面に対して平行である平面に対する、座標が（ｕ，ｖ，１）Ｔである画素によって感知される光線の交差部の座標は、
【数６】
2018033127.tif 000008
となり、ステップ５０２の間に算出される。
【００５３】
取得されたものが幾つか混合される場合、すなわち、種々のタイプのカメラによってライトフィールド・データが取得される場合には、単一の座標系が使用される。この場合、座標ポイントの変更、ベクトルの変更を相応に行うとよい。
【００５４】
本発明の実施形態に従って、カメラのセンサの画素によって感知された、ステップ５０１および５０２で算出された光線を定義する複数組の座標が、マップ内で再度グループ化される。別の実施形態においては、光線は、光線の伝播をシミュレートするコンピュータによって生成されたシーンのシステムによって直接算出される。
【００５５】
一実施形態においては、これらのマップは、受信機に送信されるライトフィールドの色マップに関連付けられる。したがって、本実施形態においては、カメラのセンサの各画素（ｕ，ｖ）に対し、所与の画素によって感知される光線に関連付けられた色データを表すパラメータと、ライトフィールドがパラメータ化のための一対の参照平面Ｐ１，Ｐ２によってパラメータ化される場合の（ｘ１，ｙ１，ｘ２，ｙ２）に対応する、または、光線が正規化されたベクトルによってパラメータ化される場合の（ｘ３，ｙ３，ｖｘ，ｖｙ）に対応する浮動小数点値（Ｘ１  Ｘ２  Ｘ３  Ｘ４）のクワドラプレット（ｑｕａｄｒｕｐｌｅｔ）とが求められる。以下の説明において、浮動小数点値（Ｘ１  Ｘ２  Ｘ３  Ｘ４）のクワドラプレットは、以下によって与えられる。
【数７】
2018033127.tif 000009
【００５６】
別の実施形態においては、取得システムは、ピンホール・モデルを用いて較正されるものではなく、従って、２つの平面によるパラメータ化は、モデルから再計算されるものではない。代わりに、２つの平面によるパラメータ化は、カメラの較正処理の間に測定される必要がある。これは例えば、メイン・レンズとカメラのセンサとの間にマイクロレンズ・アレイを含むプレノプティック・カメラの場合である。
【００５７】
さらに別の実施形態においては、これらのマップは、コンピュータによって生成されるシーンのシステムによって直接シミュレートされるか、取得されたデータからポストプロダクションによって生成される。
【００５８】
カメラのセンサの画素によって感知される光線は、浮動小数点のクワドラプレット（Ｘ１  Ｘ２  Ｘ３  Ｘ４）によって表されるため、これらの４つのパラメータをパラメータの４つのマップに置くことが可能である。例えば、第１のマップは、カメラのセンサの画素によって感知される各光線のパラメータＸ１を含み、第２のマップは、パラメータＸ２を含み、第３のマップは、パラメータＸ３を含み、第４のマップは、パラメータＸ４を含む。上述した４つのマップの各々は、Ｘｉマップと呼ばれ、取得されたライトフィールド画像と同一のサイズを有するが、浮動点小数点の成分を有する。
【００５９】
隣接する画素によって感知される光線を表し、かつ光線の数を分布させるパラメータ、したがってそれらを表すパラメータ間の強い相関を考慮するいくつかの適応の後、ビデオ・データを圧縮するツールと同様のツールを用いてこれらの４つのマップを圧縮することができる。
【００６０】
浮動小数点の値（Ｘ１  Ｘ２  Ｘ３  Ｘ４）を圧縮するため、したがって、送信されるＸｉマップのサイズを縮小するために、ライトフィールド・データ・フォーマット化モジュール１５０は、ステップ５０３において、各Ｘｉマップに対し、Ｘｉマップに含まれる上記パラメータＸｉの値に適合する平面の式をマッピングする。パラメータＸｉに対する適合平面の式は、以下のように与えられる。
【数８】
2018033127.tif 000010
ここで、ｕおよびｖは、カメラのセンサの所与の画素の座標である。
【００６１】
ステップ５０４において、各Ｘｉマップに対し、誤差を小さくするために、パラメータαｉ，βｉおよびγｉが算出される。
【数９】
2018033127.tif 000011
ステップ５０４の算出結果は、以下のパラメータである。
【数１０】
2018033127.tif 000012
これは、パラメータＸｉの値とこのパラメータの値と適合する平面との間の差分に対応し、結果として、Ｘｉマップに含まれる値の幅の範囲がより小さくなる。
【００６２】
ステップ５０５において、
【数１１】
2018033127.tif 000013
を算出することによって値
2018033127.tif 000014
を圧縮することが可能である。
【００６３】
次に、ステップ５０６において、パラメータの値
2018033127.tif 000015
が０以上２Ｎ−１以下の範囲となるように、以前のパラメータＸｉの値
2018033127.tif 000016
を算出する。ここで、Ｎは、送信されるライトフィールド・データの符号化に使用されるようにされた符号化器のキャパシティ（処理能力）に対応するように選定されたビット数である。パラメータ
2018033127.tif 000017
の値は、以下のように与えられる。
【数１２】
2018033127.tif 000018
【００６４】
ステップ５０７において、ライトフィールド・データ・フォーマット化モジュール１５０は、４つのマップとして、
2018033127.tif 000019
マップ、
2018033127.tif 000020
マップ、
2018033127.tif 000021
マップ、
2018033127.tif 000022
マップを生成する。これらのマップは、カメラのセンサの画素によって感知される光線を表すパラメータ（Ｘ１  Ｘ２  Ｘ３  Ｘ４）の各々に対応する。
【００６５】
ステップ５０８において、ライトフィールド・データ・フォーマット化モジュール１５０は、元のＸｉｕ，ｖマップを取得するための受信機側での相互演算（ｒｅｃｉｐｒｏｃａｌ  ｃｏｍｐｕｔａｔｉｏｎ）の間に使用するようにされた、以下の固定パラメータ
【数１３】
2018033127.tif 000023
を含むＳＥＩ（補助拡張情報）メッセージを生成する。これらの４つのパラメータは、ＳＥＩメッセージ内で搬送されるメタデータとみなすことができ、その内容を以下の表に示す。
【表１】
2018033127.tif 000024
表１
【００６６】
受信機側において、元のＸｉｕ，ｖマップを取得可能にする相互演算は、以下のように与えられる。
【数１４】
2018033127.tif 000025
【００６７】
ステップ５０９において、
2018033127.tif 000026
マップ、色マップ、およびＳＥＩメッセージが少なくとも受信機に送信され、この受信機で、これらのデータは、ライトフィールド・コンテンツをレンダリングするために処理される。
【００６８】
受信機への送信の前にライトフィールド・データを表すマップのサイズをさらに削減することが可能である。以下の実施形態は、エラー
【数１５】
2018033127.tif 000027
を最小限にすることについて、相補的なものである。
【００６９】
図６に示された第１の実施形態においては、Ｘｉｕ，ｖマップが低い空間周波数の値を含むため、空間内の或る方向における信号から派生したもののみを送信することができる。
【００７０】
例えば、座標（０，０）の画素に関連付けられたパラメータＸｉの値であるＸｉ０，０が与えられると、ステップ６０１において、ライトフィールド・データ・フォーマット化モジュール１５０は、座標（１，０）の画素に関連付けられたパラメータＸｉの値Ｘｉ１，０と、座標（０，０）の画素に関連付けられたパラメータＸｉの値Ｘｉ０，０との間の差分ΔＸｉ１，０を算出する。
ΔＸｉ１，０＝Ｘｉ１，０−Ｘｉ０，０
【００７１】
より一般的には、ステップ６０１において、ライトフィールド・データ・フォーマット化モジュール１５０は、センサの所与の画素に関連付けられたパラメータＸｉの値と、光学的な取得システムまたはコンピュータによって生成されたシーンのシステムのセンサの行における所与の画素に先行する別の画素に関連付けられるパラメータＸｉの値との間の差分を算出する。
ΔＸｉｕ＋１，ｖ＝Ｘｉｕ＋１，ｖ−Ｘｉｕ，ｖ
【００７２】
所与の画素がセンサの行の最初の画素である場合には、ライトフィールド・フォーマット化モジュール１５０は、所与の画素に関連付けられたパラメータＸｉの値と、所与の画素が属する行に先行する行の最初の画素に関連付けられたパラメータＸｉの値との差分を算出する。
ΔＸｉ０，ｖ＋１＝Ｘｉ０，ｖ＋１−Ｘｉ０，ｖ
【００７３】
ステップ６０２において、ステップ５０８で生成されたΔＸｉｕ，ｖマップ、色マップ、およびＳＥＩメッセージが少なくとも受信機に送信され、これらのデータは、ライトフィールド・コンテンツをレンダリングするために処理される。
【００７４】
第２の実施形態においては、
Ｘｉｕ，ｖマップ、
2018033127.tif 000028
マップ、または、ΔＸｉｕ，ｖマップは、極めて低速な空間周波数を有する値を含むことがあるため、Ｘｉｕ，ｖマップの両方の次元で空間的なダウンサンプリングを実行することができ、そして、上記Ｘｉｕ，ｖマップの送信されたサンプル間で線形補間を行うことによって、受信機側で完全なＸｉｕ，ｖマップを回復することができる。
【００７５】
例えば、Ｎ行×Ｍ列のマップのサイズからＮ行／２×Ｍ列／２のマップのサイズに縮小することができる。受信側において、マップを元のサイズに拡張することができる。生成された穴は、補間方法（または、いわゆるアップサンプリング処理）によって埋めることができる。一般的には、単純なバイリニア補間を行うことで十分である。
Ｘｉｕ，ｖ＝（Ｘｉｕ−１，ｖ−１＋Ｘｉｕ＋１，ｖ−１＋Ｘｉｕ−１，ｖ＋１＋Ｘｉｕ＋１，ｖ＋１）／４
【００７６】
図７に示されている第３の実施形態においては、
Ｘｉｕ，ｖマップ、
2018033127.tif 000029
マップ、または、ΔＸｉｕ，ｖマップの各々を、例えば、Ｈ．２６５／ＨＥＶＣなどのような４つの独立したモノクローム・コーデックを使用して受信機に送信することができる。
【００７７】
第４の実施形態においては、
Ｘｉｕ，ｖマップ、
2018033127.tif 000030
マップ、または、ΔＸｉｕ，ｖマップは、図８に示されているように、単一の画像内にグループ化することができる。この目的を達成するための１つの方法は、第２の実施形態の場合のように、サブサンプリング法を使用して、ファクタ２によってマップのサイズを縮小し、そして、色マップと同一のサイズを有する画像を四分した象限に各々が存在するＸｉｕ，ｖマップ、
2018033127.tif 000031
マップ、または、ΔＸｉｕ，ｖマップを結合することである。この方法は、通常、幾つかのフレームを単一のフレームにパッキングするため、「フレーム・パッキング」と呼ばれる。例えば、ＳＥＩメッセージにおいて、復号器がフレームを適切にアンパッキングできるように、フレーム・パッキングが行われた方法を信号によって伝達するために、適切なメタデータを送信すべきである。そして、単一のフレームにパッキングされたマップは、限定するものではないが、例えばＨ．２６５／ＨＥＶＣなどの単一のモノクローム・コーデックを使用して、送信することができる。
【００７８】
この場合、表１に示されているＳＥＩメッセージは、フレーム・パッキング法が４つのマップを単一のマップにパッキングするために使用されたことを示すフラグも含んでいなければならない（表１ｂ参照）。
【表２】
2018033127.tif 000032
表１ｂ
【００７９】
幾つかのカメラがグループ化されてリグを形成する場合には、全てのカメラにとって共通である、単一のワールド座標系および２つのパラメータ化平面を規定するとよく、整合性を図ることができる。さらに、記述メッセージ（例えばＳＥＩ）は、表２に示されているように、各カメラに対し、共通情報（表現タイプ、ｚ１およびｚ２）に加え、４つのマップ
（Ｘｉｕ，ｖマップ、
2018033127.tif 000033
マップ、または、ΔＸｉｕ，ｖマップ）の記述パラメータを含めることができる。
【００８０】
その場合、例えば、ＭＰＥＧ多視点映像符号化（ＭＶＣ）またはＭＰＥＧ多視点高効率映像符号化（ＭＶ−ＨＥＶＣ）などのような構成の多視点の態様を考慮したモノクローム・コーデックを使用して、Ｘｉｕ，ｖマップ、
2018033127.tif 000034
マップ、または、ΔＸｉｕ，ｖマップを受信機に送信することができる。
【表３】
2018033127.tif 000035
表２
【００８１】
第５の実施形態においては、特定の長さの時間内にＸｉｕ，ｖマップ、
2018033127.tif 000036
マップ、または、ΔＸｉｕ，ｖマップの変更が無効である場合には、これらのＸｉｕ，ｖマップ、
2018033127.tif 000037
マップ、または、ΔＸｉｕ，ｖマップは、スキップされるものとマークされ、受信機に送信されない。この場合、ＳＥＩメッセージは、受信機に対し、Ｘｉｕ，ｖマップ、
2018033127.tif 000038
マップ、または、ΔＸｉｕ，ｖマップに対して最後の送信の時からの変化が存在しないことを示すフラグを含む。このようなＳＥＩメッセージの内容は、表３に示されている。
【表４】
2018033127.tif 000039
表３
【００８２】
第６の実施形態においては、Ｘｉｕ，ｖマップ、
2018033127.tif 000040
マップ、または、ΔＸｉｕ，ｖマップで表される取得システムのパラメータは、時間の経過に伴い徐々に変更されるため、これらのパラメータを制御マップのフレーム・レートよりも低速なフレーム・レートで受信機に送信することが有益である。Ｘｉｕ，ｖマップ、
2018033127.tif 000041
マップ、または、ΔＸｉｕ，ｖマップの送信周波数は、ＩＤＲフレームのうちの少なくとも１つでなければならない。
【００８３】
第７の実施形態においては、色マップは、ＹＵＶまたはＲＧＢフォーマットを使用し、ＭＰＥＧ−４  ＡＶＣ、Ｈ．２６５／ＨＶＥＣ、または、Ｈ２６６などのビデオ・コーダ、または、ＪＰＥＧ、ＪＰＥＧ２０００、ＭＪＥＧなどのイメージ・コーダを使用して符号化される。ライトフィールド・コンテンツを取得するために幾つかのカメラが使用される場合には、カラー・マップを、ＭＶ−ＨＥＶＣコーデックを使用して相対的に符号化してもよい。
【００８４】
以上、本発明を特定の実施形態を参照して説明したが、本発明は、この特定の実施形態に限定されるものではなく、当業者にとって、変更を施すことができ、その変更が本発明の範囲の中に包含されることが明らかであろう。
【００８５】
上記の例示的な実施形態を参照した当業者にとって、多くの更なる変更例および改変例が示唆されるであろう。これらの実施形態は、例示的な目的のみで与えられており、付随する請求の範囲によってのみ定められる本発明の範囲を限定するように意図されているものではない。特に、適宜、種々の実施形態からの種々の特徴事項を相互に置き換えることができる。
【図１】
2018033127.tif 000042
【図２】
2018033127.tif 000043
【図３】
2018033127.tif 000044
【図４】
2018033127.tif 000045
【図５】
2018033127.tif 000046
【図６】
2018033127.tif 000047
【図７】
2018033127.tif 000048
【図８】
2018033127.tif 000049
【外国語明細書】
2018033127000001.pdf