(57)【要約】  本発明は、異なる視点から撮影されたシーンの幾つかのビューを含む、３Ｄシーンの光照射の捕捉にジオメトリックワープを適用する方法を記載する。ワープは、ビューの部分集合上の（ソース点，ターゲット点）位置制約の集合として指定される。これらの位置制約は全てのビューに伝搬され、これらのワープされた画像がビューにわたり３Ｄで幾何学的に一貫するように、各ビューのワープされた画像が生成される。
2019511026.tif 000002
【特許請求の範囲】
【請求項１】
ライトフィールドデータを一貫して編集する方法であって、
前記方法は、
２Ｄビュー（Ｖｍ）の集合（Ｖ）から示された３Ｄシーンの複数の較正された２Ｄ画像を含む前記ライトフィールドデータであって、前記２Ｄビュー（Ｖｍ）の集合（Ｖ）は、少なくとも２つの参照ビュー（Ｖｊ）及び少なくとも１つの追加ビュー（Ｖｋ）を含む、前記ライトフィールドデータ、
前記少なくとも２つの参照ビュー（Ｖｊ）に関連する位置制約パラメータ（ｐｉｊ，ｑｉｊ）の少なくとも１つの初期集合であって、前記位置制約パラメータ（ｐｉｊ，ｑｉｊ）のそれぞれは、元の２Ｄ画像をワープさせるために、前記少なくとも２つの参照ビュー（Ｖｉ）の中から、対応するビュー（Ｖｊ）から示された前記３Ｄシーンの前記元の２Ｄ画像における所与の点に適用される変換を表す、位置制約パラメータ（ｐｉｊ，ｑｉｊ）の少なくとも１つの初期集合
を処理し、
前記位置制約パラメータ（ｐｉｊ，ｑｉｊ）は、
前記対応するビュー（Ｖｊ）から示された前記３Ｄシーンの前記元の２Ｄ画像における前記所与の点の前記対応するビュー（Ｖｊ）における２Ｄソース位置（ｐｉｊ）、
前記対応するビュー（Ｖｊ）から示される前記３Ｄシーンのワープした２Ｄ画像における前記所与の点の前記対応するビュー（Ｖｊ）における２Ｄターゲット位置（ｑｉｊ）
を含み、
前記方法は、
前記少なくとも２つの参照ビューに関連する前記位置制約パラメータ（ｐｉｊ，ｑｉｊ）のそれぞれについて、前記２Ｄソース位置（ｐｉｊ）が前記対応するビュー（Ｖｊ）への射影である前記３Ｄシーンにおける３Ｄソース位置（Ｐｉ）及び前記２Ｄターゲット位置（ｑｉｊ）が前記対応するビュー（Ｖｊ）への射影である前記３Ｄシーンにおける３Ｄターゲット位置（Ｑｉ）を特定すること（Ｓ２）と、
前記３Ｄソース位置（Ｐｉ）及び前記３Ｄターゲット位置（Ｑｉ）の関数として、前記少なくとも１つの追加ビュー（Ｖｋ）に関連する追加の位置制約パラメータ（ｐｉｋ，ｑｉｋ）の追加の集合を特定すること（Ｓ３）であって、前記追加の位置制約パラメータ（ｐｉｋ，ｑｉｋ）のそれぞれは、前記元の２Ｄ画像をワープさせるために、前記少なくとも１つの追加ビュー（Ｖｋ）の中から、対応するビュー（Ｖｋ）から示された前記３Ｄシーンの元の２Ｄ画像における所与の点に適用される変換を表す、特定すること（Ｓ３）と、
前記編集されたライトフィールドデータを取得するために、前記２Ｄビューに関連する前記位置制約パラメータ（ｐｉｍ，ｑｉｍ）の関数として、前記２Ｄビュー（Ｖｍ）の集合から示された前記３Ｄシーンの前記２Ｄ画像のそれぞれをワープさせること（Ｓ４）と
を含む、方法。
【請求項２】
前記３Ｄシーンの前記複数の較正された２Ｄ画像は、前記２Ｄビュー（Ｖｍ）のそれぞれの前記３Ｄシーンの射影（Ｃｍ）の対応する行列の集合から更に示される、請求項１に記載の方法。
【請求項３】
位置制約パラメータ（ｐｉｊ，ｑｉｊ）の前記少なくとも１つの初期集合を入力する事前ステップを含む、請求項１又は２に記載の方法。
【請求項４】
前記少なくとも２つの参照ビュー（Ｖｊ）に関連する前記位置制約パラメータ（ｐｉｊ，ｑｉｊ）のそれぞれについて、前記２Ｄソース位置（ｐｉｊ）上に射影する３Ｄ空間中の線及び前記２Ｄターゲット位置（ｑｉｊ）上に射影する３Ｄ空間中の線を特定すること（Ｓ１）と、前記線から前記３Ｄソース位置及び前記３Ｄターゲット位置を特定することとを含む、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
各線は、（ｄ，ｍ）と記される１対の３Ｄベクトルとしてプリュッカー座標において表され、前記２Ｄソース位置（ｐｉｊ）が前記対応するビュー（Ｖｊ）への射影である前記３Ｄシーンにおける前記３Ｄソース位置（Ｐｉ）を特定すること（Ｓ２）は、最小二乗の意味で位置制約（ｐｉｊ，ｑｉｊ）の前記初期集合により形成された方程式系：
【数１】
2019511026.tif 000011
を解くことを含む、請求項４に記載の方法。
【請求項６】
ワープさせること（Ｓ４）は移動最小二乗アルゴリズムを実施する、請求項１〜５のいずれか一項に記載の方法。
【請求項７】
ワープさせること（Ｓ４）は、１つのアフィン変換が各位置制約に付随するアフィン変換の集合の関数として定義される有界重調和重みワーピングモデルを実施する、請求項１〜５のいずれか一項に記載の方法。
【請求項８】
各位置制約の前記アフィン変換を入力する事前ステップを含む、請求項７に記載の方法。
【請求項９】
他の全ての前記位置制約パラメータ（ｐｉｊ，ｑｉｊ）から、前記点の位置においてアフィン変換を最小二乗近似することによって、位置制約のそれぞれの前記アフィン変換を特定する事前ステップを含む、請求項７に記載の方法。
【請求項１０】
前記３Ｄシーンの前記ワープされた２Ｄ画像の少なくとも１つをレンダリングすることを含む、請求項１〜９のいずれか一項に記載の方法。
【請求項１１】
ライトフィールドデータを一貫して編集する装置（１）であって、
前記ライトフィールドデータは、２Ｄビュー（Ｖｍ）の集合から示された３Ｄシーンの複数の較正された２Ｄ画像を含み、２Ｄビュー（Ｖｍ）の前記集合は、少なくとも２つの参照ビュー（Ｖｊ）及び少なくとも１つの追加ビュー（Ｖｋ）を含み、
位置制約パラメータ（ｐｉｊ，ｑｉｊ）の少なくとも１つの初期集合は、前記少なくとも２つの参照ビュー（Ｖｊ）に関連し、前記位置制約パラメータ（ｐｉｊ，ｑｉｊ）のそれぞれは、元の２Ｄ画像をワープさせるために、前記少なくとも２つの参照ビュー（Ｖｊ）の中から、対応するビュー（Ｖｊ）から示された前記３Ｄシーンの前記元の２Ｄ画像における所与の点に適用される変換を表し、前記位置制約パラメータ（ｐｉｊ，ｑｉｊ）は、
前記対応するビュー（Ｖｊ）から示される前記３Ｄシーンの前記元の２Ｄ画像における前記所与の点の前記対応するビュー（Ｖｊ）における２Ｄソース位置（ｐｉｊ）、
前記対応するビュー（Ｖｊ）から示された前記３Ｄシーンのワープされた２Ｄ画像における前記所与の点の前記対応するビュー（Ｖｊ）における２Ｄターゲット位置（ｑｉｊ）
からなり、
前記装置（１）は、
前記少なくとも２つの参照ビューに関連する前記位置制約パラメータ（ｐｉｊ，ｑｉｊ）のそれぞれについて、前記２Ｄソース位置（ｐｉｊ）が前記対応するビュー（Ｖｊ）への射影である前記３Ｄシーンにおける３Ｄソース位置（Ｐｉ）及び前記２Ｄターゲット位置（ｑｉｊ）が前記対応するビュー（Ｖｊ）への射影である前記３Ｄシーンにおける３Ｄターゲット位置（Ｑｉ）を特定すること（Ｓ２）と、
前記３Ｄソース位置（Ｐｉ）及び前記３Ｄソース位置（Ｑｉ）の関数として、前記少なくとも１つの追加ビュー（Ｖｋ）に関連する追加の位置制約パラメータ（ｐｉｋ，ｑｉｋ）の追加の集合を特定すること（Ｓ３）であって、前記追加の位置制約パラメータ（ｐｉｋ，ｑｉｋ）のそれぞれは、前記元の２Ｄ画像をワープさせるために、前記少なくとも１つの追加ビュー（Ｖｋ）の中から、対応するビュー（Ｖｋ）から示された前記３Ｄシーンの元の２Ｄ画像における所与の点に適用される変換を表す、特定すること（Ｓ３）と、
前記編集されたライトフィールドデータを取得するために、前記２Ｄビューに関連する前記位置制約パラメータ（ｐｉｍ，ｑｉｍ）の関数として、２Ｄビュー（Ｖｍ）の前記集合から示された前記３Ｄシーンの前記２Ｄ画像のそれぞれをワープさせること（Ｓ４）と
を行うように構成されたプロセッサ（２）を含む、装置（１）。
【請求項１２】
位置制約パラメータ（ｐｉｊ，ｑｉｊ）の前記少なくとも１つの初期集合を入力するように構成されたヒューマン／マシンインターフェース（７）を含む、請求項１１に記載の装置（１）。
【請求項１３】
前記編集されたライトフィールドの少なくとも１つのワープされた２Ｄ画像を表示する表示デバイスを含む、請求項１１又は１２に記載の装置（１）。
【請求項１４】
前記装置は、ライトフィールド捕捉デバイス（６）を含む集合に属する、請求項１１〜１３のいずれか一項に記載の装置（１）。
【請求項１５】
請求項１〜１０のいずれか一項に記載の方法を実施するプログラムコード命令を含む、通信ネットワークからダウンロード可能並びに／又はコンピュータにより可読及び／若しくはプロセッサにより実行可能な媒体に記録されたコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
１．技術分野
本開示は、概して、ライトフィールドイメージングに関し、より詳細には、ライトフィールドデータの画像を編集する技術に関する。
【背景技術】
【０００２】
２．背景技術
このセクションは、以下に説明及び／又は特許請求の範囲に記載される本開示の様々な態様に関連し得る技術の様々な態様を読み手に紹介することを目的とする。この考察は、本開示の様々な態様のよりよい理解に役立つ背景情報を読み手に提供するに当たり有用であると信じられる。したがって、これらの文章がこれに鑑みて読まれるべきであり、従来技術の認可として読まれるべきではないことを理解されたい。
【０００３】
従来の画像捕捉デバイスは、３次元（３Ｄ）シーンを二次元センサにレンダリングする。動作中、従来の捕捉デバイスは、デバイス内のセンサ（又は光検出器）上の各点に到達する光の量を表す二次元（２Ｄ）画像を捕捉する。しかし、この２Ｄ画像は、センサに到達する光線の方向分布（ライトフィールドと呼び得る）についての情報を含まない。奥行きは、例えば、取得中に失われる。したがって、従来の捕捉デバイスは、シーンからの光の分布についての情報の大半を記憶しない。
【０００４】
ライトフィールド捕捉デバイス（「ライトフィールドデータ取得デバイス」とも呼ばれる）は、シーンの異なる視点からの光を捕捉することにより、そのシーンの四次元（４Ｄ）ライトフィールドを測定するように設計されてきた。したがって、センサと交差する各光線に沿って移動する光の量を測定することにより、これらのデバイスは、事後処理により新しいイメージング用途をもたらすために、追加の光学情報（光線の束の方向分布についての情報）を捕捉することができる。ライトフィールド捕捉デバイスにより獲得／取得された情報は、ライトフィールドデータと呼ばれる。ライトフィールド捕捉デバイスは、本明細書では、ライトフィールドデータを捕捉可能な任意のデバイスとして定義される。
【０００５】
幾つかのグループのライトフィールド捕捉デバイスがある。
【０００６】
第１のグループのライトフィールド捕捉デバイスは、「カメラアレイ」とも呼ばれ、単一の共有画像センサ又は異なる画像センサに画像を射影するカメラのアレイを備える。したがって、これらのデバイスは、カメラの極めて正確な配置及び向きを必要とし、多くの場合、これは製造を複雑でコストがかかるものにする。
【０００７】
第２のグループのライトフィールド捕捉デバイスは、「プレノプティックデバイス」又は「プレノプティックカメラ」とも呼ばれ、メインレンズの画像焦点フィールド上かつマイクロレンズごとに１つのマイクロ画像が射影される光センサの前に位置するマイクロレンズアレイを備える。プレノプティックカメラは、マイクロレンズアレイとセンサとの距離ｄに応じて２つのタイプに分けられる。「タイプ１プレノプティックカメラ」に関して、この距離ｄはマイクロレンズ焦点距離ｆに等しい（R. Ngら著の記事「Light-field photography with a hand-held plenoptic camera」、CSTR, 2(11), 2005に提示されるように）。「タイプ２プレノプティックカメラ」に関して、この距離ｄはマイクロレンズ焦点距離ｆと異なる（A. Lumsdaine及びT. Georgiev著の記事「The focused plenoptic camera」ICCP, 2009に提示されるように）。タイプ１及びタイプ２プレノプティックカメラの両方において、各マイクロレンズの配下の光センサのエリアはマイクロ画像と呼ばれる。タイプ１プレノプティックカメラの場合、各マイクロ画像は、捕捉されたシーンの特定のエリアを示し、このマイクロ画像の各ピクセルは、メインレンズ射出瞳上の特定のサブアパーチャ位置の視点からのこの特定のエリアを示す。タイプ２プレノプティックカメラの場合、隣接するマイクロ画像は部分的に重複し得る。したがって、そのような重複部分内に位置する１つのピクセルは、メインレンズ射出瞳上の異なるサブアパーチャ位置において屈折した光線を捕捉し得る。
【０００８】
ライトフィールドデータの処理は、限定ではなく、特に、シーンの再合焦画像の生成、シーンの透視図の生成、シーンの深度マップの生成、拡張被写界深度（ＥＤＯＦ）画像の生成、立体画像の生成、及び／又はこれらの任意の組合せを含む。
【０００９】
ライトフィールド捕捉への関心の増大に拘わらず、視点にわたり一貫してライトフィールドデータを編集するために利用可能な編集技法は少ない。提案された方法の大半（International Conference on Computer Vision, 1998におけるS. Seitz及びK. M. Kutulakos著の記事「Plenoptic Image Editing」に示されるように）は、テクスチャ情報の編集に対処しているが、画像のジオメトリを変更することが可能なものは殆どない。画像のそのようなジオメトリックワーピングは、特定の画像領域の拡大又は圧縮に使用することができる。例えば、画像に捕捉された建物の窓のサイズを大きくすることができ、又は画像内の人物の胸部を大きくして、よりたくましい見た目にすることができる。
【００１０】
特に、従来の２Ｄ画像を編集する好都合で効率的な方法は、ソース点位置及びターゲット点位置対の集合からなる疎な位置制約（sparse positional constraint）に頼っている。各対は、元の画像におけるソース点の位置におけるピクセルが、結果画像における対応するターゲット点の位置に移動すべきであるという制約を実施する。画像ジオメトリの変更は、密画像ワーピング変換をソース画像に適用することにより得られる。各画像点での変換は、疎制御点への制約を満たしながら、局所画像テクスチャ特徴の保存を最適化する計算プロセスの結果として得られる。
【００１１】
そのような画像ワーピング方法は、ライトフィールドの個々のビューに直接適用することができず、その理由は、これが、ビューにおける位置合わせのずれ及び目障りな視覚アーチファクトを生じさせるためである。
【発明の概要】
【００１２】
したがって、背景技術に対する改善を示す装置及び方法を提供することが望ましい。
【００１３】
３．開示の概要
本明細書における「一実施形態」、「実施形態」、「実施形態例」の言及は、記載される実施形態が特定の特徴、構造、又は特性を含み得るが、あらゆる実施形態が必ずしもその特定の特徴、構造、又は特性を含む必要がない可能性があることを示す。さらに、そのような語句は必ずしも同じ実施形態を指すわけではない。さらに、特定の特徴、構造、又は特性が実施形態に関連して記載される場合、明示的に記載されているか否かに関係なく、他の実施形態と関連してそのような特徴、構造、又は特性に影響を与えることは、当業者の知識内であることを提言する。
【００１４】
本発明の特定の態様は、ライトフィールドデータを一貫して編集する方法に関し、本方法は、
・２Ｄビューの集合から示された３Ｄシーンの複数の較正された２Ｄ画像を含むライトフィールドデータであって、２Ｄビューの集合は、少なくとも２つの参照ビュー及び少なくとも１つの追加ビューを含む、ライトフィールドデータ、
・少なくとも２つの参照ビューに関連する位置制約パラメータの少なくとも１つの初期集合であって、位置制約パラメータのそれぞれは、元の２Ｄ画像をワープさせるために、少なくとも２つの参照ビューの中から、対応するビューから示された３Ｄシーンの上記元の２Ｄ画像における所与の点に適用される変換を表す、位置制約パラメータの少なくとも１つの初期集合
を処理し、
位置制約パラメータは、
・対応するビューから示された３Ｄシーンの元の２Ｄ画像における所与の点の対応するビューにおける２Ｄソース位置、
・対応するビューから示される３Ｄシーンのワープした２Ｄ画像における所与の点の対応するビューにおける２Ｄターゲット位置
を含み、
本方法は、
・少なくとも２つの参照ビューに関連する位置制約パラメータのそれぞれについて、２Ｄソース位置が対応するビューへの射影である３Ｄシーンにおける３Ｄソース位置及び２Ｄターゲット位置が対応するビューへの射影である３Ｄシーンにおける３Ｄターゲット位置を特定することと、
・３Ｄソース位置及び３Ｄターゲット位置の関数として、少なくとも１つの追加ビューに関連する追加の位置制約パラメータの追加の集合を特定することであって、追加の位置制約パラメータのそれぞれは、元の２Ｄ画像をワープさせるために、少なくとも１つの追加ビューの中から、対応するビューから示された３Ｄシーンの元の２Ｄ画像における所与の点に適用される変換を表す、特定することと、
・編集されたライトフィールドデータを取得するために、２Ｄビューに関連する位置制約パラメータの関数として、２Ｄビューの集合から示された３Ｄシーンの２Ｄ画像のそれぞれをワープさせることと
を含む。
【００１５】
本説明では、「較正された２Ｄビュー」という用語は、３Ｄシーンの射影の対応する行列が既知である二次元ビューを指す。そのような射影行列は、３Ｄ空間中の任意の点の２Ｄビューへの射影を特定できるようにする。逆に、２Ｄビューの画像上のある点を所与として、射影行列は、このビューの視線光線（viewing ray）、すなわち、上記点に射影する３Ｄ空間中の線を特定できるようにする。その他、２Ｄ画像のそれぞれをワープさせることにより、対応する初期及び追加の位置制約パラメータのそれぞれの関数として、少なくとも２つの参照ビュー及び少なくとも１つの追加ビューを含む２Ｄビューの集合のワーピングを理解されたい。
【００１６】
本発明は、画像ワーピング法をライトフィールドデータに一般化する新しく進歩性がある手法に頼る。そのような方法では、「参照ビュー」との用語で呼ばれるライトフィールド捕捉のビューの幾つかでの位置制約パラメータにより指定されるジオメトリックワープの、そのような位置制約パラメータが最初、指定されない追加ビューへの伝搬を可能にする。次に、本方法により、ワープされた画像がビューにわたり３Ｄにおいて幾何学的に一貫するように、ライトフィールド捕捉の各ビューのワープされた画像を生成することができる。集合の全てのワープされた画像は、編集されたライトフィールドデータに対応する。
【００１７】
特定の一態様では、３Ｄシーンの複数の較正された２Ｄ画像は、較正データとして知られる２Ｄビュー（Ｖｍ）のそれぞれの３Ｄシーンの射影（Ｃｍ）の対応する行列の集合から更に示される。
【００１８】
特定の一態様では、本方法は、位置制約パラメータの少なくとも１つの初期集合を入力する事前ステップを含む。
【００１９】
一態様では、ユーザが、ヒューマン／マシンインターフェースによりそのような位置制約パラメータの初期集合を入力する。
【００２０】
特定の一態様では、本方法は、参照ビューに関連する位置制約パラメータのそれぞれについて、２Ｄソース位置上に射影する３Ｄ空間中の線及び２Ｄターゲット位置上に射影する３Ｄ空間中の線を特定することと、それらの線から上記３Ｄソース位置及び上記３Ｄターゲット位置を特定することとを含む。
【００２１】
好ましくは、次に、各線は、１対の３Ｄベクトル（ｄ，ｍ）としてプリュッカー座標において表され、２Ｄソース位置（ｐｉｊ）が対応するビューへの射影である３Ｄシーンにおける３Ｄソース位置（Ｐｉ）を特定することは、最小二乗の意味で位置制約の初期集合により形成された方程式系：
【数１】
2019511026.tif 000003
を解くことを含む。
【００２２】
この態様による方法では、ソース点及びターゲット点の３Ｄ位置を特定する際、潜在的な較正データ不正確性に起因して、２Ｄビューへの３Ｄシーンの射影の誤差を最小化することができる。
【００２３】
特定の一態様では、２Ｄソース位置及びターゲット位置がそれぞれ、対応するビュー（Ｖｊ）への射影である３Ｄシーンにおける３Ｄソース位置（Ｐｉ）及び３Ｄターゲット位置（Ｑｉ）を特定することは、以下の基準：
【数２】
2019511026.tif 000004
を最小化することを含む。
【００２４】
この態様による方法では、シーン点に適用される変形に対する制限を導入することができる。例えば、対応する３Ｄソース点及びターゲット点の各対間の距離を可能な限り一定にすることを課すことにより、元の３Ｄシーンのジオメトリを保存したいことがある。
【００２５】
特定の一態様では、ワープさせることは移動最小二乗アルゴリズムを実施する。
【００２６】
特定の一態様では、ワープさせることは、１つのアフィン変換が各位置制約に付随するアフィン変換の集合の関数として定義される有界重調和重みワーピングモデルを実施する。
【００２７】
特定の一態様では、本方法は、各位置制約のアフィン変換を入力する事前ステップを含む。
【００２８】
特定の一態様では、本方法は、他の全ての位置制約パラメータから、点の位置においてアフィン変換を最小二乗近似することにより、各位置制約のアフィン変換を特定する事前ステップを含む。
【００２９】
特定の一態様では、本方法は、３Ｄシーンのワープされた２Ｄ画像の少なくとも１つをレンダリングすることを含む。
【００３０】
本発明は、ライトフィールドデータを一貫して編集する装置にも関し、本装置において、
・ライトフィールドデータは、２Ｄビューの集合から示された３Ｄシーンの複数の較正された２Ｄ画像を含み、
・２Ｄビューの集合は、少なくとも２つの参照ビュー及び少なくとも１つの追加ビューを含み、
・位置制約パラメータの少なくとも１つの初期集合は、少なくとも２つの参照ビューに関連し、位置制約パラメータのそれぞれは、元の２Ｄ画像をワープさせるために、少なくとも２つの参照ビューの中から、対応するビューから示された３Ｄシーンの上記元の２Ｄ画像における所与の点に適用される変換を表し、位置制約パラメータは、
・対応するビューから示される３Ｄシーンの元の２Ｄ画像における所与の点の対応するビューにおける２Ｄソース位置、
・対応するビューから示された３Ｄシーンのワープされた２Ｄ画像における所与の点の対応するビューにおける２Ｄターゲット位置
からなり、
上記装置は、
・少なくとも２つの参照ビューに関連する位置制約パラメータのそれぞれについて、２Ｄソース位置が対応するビューへの射影である３Ｄシーンにおける３Ｄソース位置及び２Ｄターゲット位置が対応するビューへの射影である３Ｄシーンにおける３Ｄターゲット位置を特定することと、
・３Ｄソース位置及び３Ｄターゲット位置の関数として、少なくとも１つの追加ビューに関連する追加の位置制約パラメータの追加の集合を特定することであって、追加の位置制約パラメータのそれぞれは、元の２Ｄ画像をワープさせるために、少なくとも１つの追加ビューの中から、対応するビューから示された３Ｄシーンの上記元の２Ｄ画像における所与の点に適用される変換を表す、特定することと、
・編集されたライトフィールドデータを取得するために、２Ｄビューに関連する位置制約パラメータの関数として、２Ｄビューの集合から示された３Ｄシーンの２Ｄ画像のそれぞれをワープさせることと
を行うように構成されたプロセッサを含む。
【００３１】
本明細書において以下に記載される方法に関連して述べられた利点が、そのような方法を実施するように構成されたプロセッサを含む装置にも当てはまることを当業者は理解する。上記方法の目的は、ライトフィールドデータを表示する必要なく、ライトフィールドデータを編集することであるため、そのような方法は、上記方法を処理するように構成されたプロセッサを含む任意の装置で実施し得る。
【００３２】
特定の一態様では、本装置は、位置制約パラメータの少なくとも１つの初期集合を入力するように構成されたヒューマン／マシンインターフェースを含む。
【００３３】
特定の一態様では、本装置は、編集されたライトフィールドの少なくとも１つのワープされた２Ｄ画像を表示する表示デバイスを含む。
【００３４】
一態様では、そのような装置はカメラであり得る。
【００３５】
別の態様では、本装置は、モバイルモニタ、テレビモニタ、又はコンピュータモニタ等の視覚情報を提示する任意の出力デバイスであり得る。
【００３６】
本発明は、上記装置（任意のその異なる態様における）を含むライトフィールド捕捉デバイスにも関する。
【００３７】
本発明は、上記方法（任意のその異なる態様における）を実施するプログラムコード命令を含む、通信ネットワークからダウンロード可能並びに／又はコンピュータにより可読及び／若しくはプロセッサにより実行可能な媒体に記録されたコンピュータプログラム製品にも関する。
【００３８】
本発明は、コンピュータ又はプロセッサにより実行されると、コンピュータ又はプロセッサに上記方法（任意のその異なる態様における）を実行させるプログラムを記憶した非一時的コンピュータ可読搬送媒体にも関する。
【００３９】
有利なことに、本デバイスは、任意のその様々な態様における上述した編集方法において実行されるステップを実施する手段を含む。
【００４０】
明示的に説明されないが、本態様は任意の組合せ又は部分的組合せで実施し得る。
【００４１】
４．図面の簡単な説明
本開示は、保護範囲の限定ではなく例として与えられる以下の説明及び図面を参照してよりよく理解することができる。
【図面の簡単な説明】
【００４２】
【図１】３Ｄシーン及び対応する２Ｄ画像のジオメトリックワーピングを示す概略図である。
【図２】ビューＶｉのカメラ射影を示す概略図である。
【図３】ライトフィールドの２Ｄビューにおける３つの位置制約パラメータの射影を示す概略図である。
【図４】本発明の一実施形態による方法を実行する場合に実施される連続ステップを示すフローチャートである。
【図５】本発明の一実施形態による、ライトフィールドデータを編集する装置のブロック図である。
【発明を実施するための形態】
【００４３】
図中の構成要素は必ずしも一定の縮尺ではなく、その代わり、本開示の原理を示すことに重点が置かれている。
【００４４】
５．詳細な説明
本開示の特定の実施形態の一般概念及び特定の詳細が、そのような実施形態の完全な理解を提供するために、以下の説明及び図１〜図５に記載される。それにも関わらず、本開示は追加の実施形態を有し得、又は以下の説明に記載される詳細の幾つかなしで実施し得る。
【００４５】
５．１  一般概念及び要件
本発明は、ライトフィールド捕捉のビューの幾つか、参照ビューでの位置制約により指定されるジオメトリックワープを全てのビューに伝搬させ、ワープされた画像がビューにわたり３Ｄにおいて幾何学的に一貫するように、各ビューのワープされた画像を生成する方法を記載する。
【００４６】
ライトフィールドが、図１に示されるように、シーンが捕捉される視角をサンプリングするビューの集合Ｖ＝｛Ｖｍ｝により与えられると仮定する。
【００４７】
ビューＶｍのこの集合Ｖは、少なくとも２つの参照ビューＶｊ及び少なくとも１つの追加ビューＶｋを含む。
【００４８】
図２に示されるように、ビューのこの集合Ｖが較正されると更に仮定し、これは、Ｖ内の各ビューＶｍについて、ビューの射影行例Ｃｍが既知であることを意味する。Ｃｍにより、ｐｍ＝ＣｍＰとして、３Ｄ空間中の任意の点ＰのビューＶｍへの射影ｐｍを計算することができる。逆に、ビューＶｍの画像上の幾つかの点ｍｍを所与として、Ｃｍにより、ビューＶｍのｍｍからの視線光線、すなわち、ビューＶｍにおいてｍｍに射影する３Ｄ空間内の全ての点Ｍの線を計算することができる。
【００４９】
較正として知られるプロセスである、ビューのカメラ射影行列を計算する、現状技術から既知の幾つかの方法がある。
【００５０】
カメラ較正の第１の手法は、碁盤の目パターンでの正方形の角等の対象となる容易に検出可能な点と、既知の３Ｄジオメトリとを有する物体をシーンに配置することである。較正物体の対象となる点の検出可能性により、各カメラビューへの較正物体の２Ｄ射影をロバストかつ正確に見つけることができる。対象点の３Ｄ相対位置のこれらの対応性及び正確な知識から、データ近似手順により、内的及び外的カメラモデルのパラメータを計算することができる。この類いの方法の例は、R. Tsai著の記事「A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-The-Shelf TV Cameras and Lenses」IEEE Journal on Robotics and Automation, Vols. RA-3, no. 4, pp. 323-344, 1987に記載されている。
【００５１】
カメラ較正の第２の手法は、ビューの対間、すなわち、ビューＶｊ内のｐｉｊ及びビューＶｋ内のｐｉｋが同じ３Ｄシーン点Ｐｉの射影であるような点の対（ｐｉｊ，ｐｉｋ）間の２Ｄ点対応性の集合を入力としてとる。Z. Zhang、R. Deriche、O. Faugeras、及びn. Q.-T. Luo著の記事「A Robust Technique for Matching Two Uncalibrated Images Through the Recovery of the Unknown Epipolar Geometry」Artificial Intelligence, vol. 78, no. 1-2, pp. 87-119, 1995に示されるように、文献から、少なくとも８つのそのような一致が既知である場合、ビュー対の基本行列を計算することができることが周知である。ビューＶｍ内のある３Ｄシーン点Ｍの射影ｍｍを所与として、基本行列は、ビューにおいてＭの射影があるはずのこのビューＶｎ内のｍｍのエピポーラ線を定義する。カメラ仕様又は示された較正手順のいずれかから内的カメラパラメータが既知であると仮定すると、考慮されるカメラ対のカメラ射影行列は、R. Hartley及びA. Zisserman著の書籍「Multiple View Geometry in Computer Vision」Cambridge University Press Ed., 2003の第９章に説明されるように、基本行列のＳＶＤ分解から計算することができる。
【００５２】
図３に示されるように、入力データは、元の３Ｄシーンにおけるソース点Ｐｉ及びワープされた３Ｄシーンにおける対応するターゲット点位置Ｑｉの参照ビューＶｊへの射影の位置をそれぞれ含む位置制約パラメータ（ｐｉｊ，ｑｉｊ）の初期集合Ｓｉｎｉも含む。そのような各制約パラメータ（ｐｉｊ，ｑｉｊ）は、少なくとも２つの参照ビューＶｊにおいてユーザにより手動で指定される。なお、少なくとも１つの追加ビューＶｋにおける同じ３Ｄソース点Ｐｉ及び３Ｄターゲット点Ｑｉの射影に適用される幾何学的変換を表す制約パラメータ（ｐｉｋ，ｑｉｋ）の集合Ｓａｄｄは、入力データの一部ではない。図３では、例示のために、参照ビューは（Ｖｊ＝１，Ｖｊ＝２）として記され、追加ビューは（Ｖｋ＝３）と記される。参照ビューＶｊにおいて提供される制約パラメータ（ｐｉｊ，ｑｉｊ）は、参照ビューＶｊにおける射影により、捕捉シーンの対応する３Ｄ点に適用される幾何学的変換を表す。これらの対応する３Ｄ点に基づいて、本発明に開示される方法はまず、制約パラメータ（ｐｉｋ，ｑｉｋ）の集合Ｓａｄｄを特定する。このステップに続き、追加ビューＶｋの制約パラメータ（ｐｉｋ，ｑｉｋ）で補完された参照ビューＶｊの制約パラメータ（ｐｉｊ，ｑｉｊ）は、ビューＶｍのそれぞれに適用される制約パラメータ（ｐｉｍ，ｑｉｍ）を形成する。次に、方法は、各制約パラメータ（ｐｉｍ，ｑｉｍ）に従って、ビューＶｍの集合Ｖにわたりビュー画像を一貫してワープさせる、各ビューＶｍに１つずつの画像ワーピング変換の集合を計算する。
【００５３】
５．２  特定の一実施形態による、ライトフィールドデータを一貫して編集する方法
図４に示されるように、特定の一実施形態による、ライトフィールドデータを編集する方法は、少なくとも４つのステップを含む。
・少なくとも２つの参照ビュー（Ｖｊ）における各入力位置制約パラメータ（ｐｉｊ，ｑｉｊ）について、２Ｄソース位置（ｐｉｊ）上に射影する３Ｄ空間中の線及び２Ｄターゲット位置（ｑｉｊ）上に射影する３Ｄ空間の線を特定するステップ（Ｓ１）、
・２Ｄソース位置（ｐｉｊ）が対応するビュー（Ｖｊ）への射影である、３Ｄシーンにおける３Ｄソース位置（Ｐｉ）及び２Ｄターゲット位置（ｑｉｊ）が対応するビュー（Ｖｊ）への射影である、３Ｄシーンにおける３Ｄソース位置（Ｑｉ）を特定するステップ（Ｓ２）、
・３Ｄソース位置（Ｐｉ）及び３Ｄターゲット位置（Ｑｉ）の関数として、少なくとも１つの追加ビュー（Ｖｋ）に関連する追加の位置制約パラメータ（ｐｉｋ，ｑｉｋ）の集合Ｓａｄｄを特定するステップ（Ｓ３）であって、各対（ｐｉｋ，ｑｉｋ）は、少なくとも１つの追加ビューＶｋにおけるＰｉ及びＱｉそれぞれの射影を表し、上記ビューをワープさせるために、追加の位置制約を提供する、集合Ｓａｄｄを特定するステップ（Ｓ３）、
・対応する位置制約パラメータ（ｐｉｍ，ｑｉｍ）の関数として、２Ｄビュー（Ｖｍ）の集合から示された３Ｄシーンの各２Ｄ画像をワープさせて、編集されたライトフィールドデータを取得するステップ（Ｓ４）。
【００５４】
これらの各段階について以下に更に詳細に説明する。
【００５５】
ステップＳ１：２Ｄ制約パラメータ（ｐｉｊ，ｑｉｊ）の初期集合Ｓｉｎｉに対応する３Ｄシーン点の光線の線の生成
ビューｊにおける任意のソース又はターゲット制約点ｐｉｊは、ｐｉｊが射影である３Ｄシーン点Ｐｉがあるはずの線を３Ｄ空間において定義する。この線は、ビューｊにおける射影ｐｉｊを所与として、３Ｄ空間におけるＰｉの位置を制約する。その方程式は、要件において仮定されるように、各ビューで利用可能な較正データから計算することができる。特に、ビューｊの画像平面への３Ｄ点Ｐｉの射影は、Ｐｉ及びビューＶｊの光学中心を通り、ｐｉｊにおいてビューの画像平面と交わる光線により幾何学的にモデリングすることができる。ビューＶｊの光学中心は、カメラ射影行列Ｃｊから既知であるため、光線は、この中心及びＰｉを通る線として容易に計算することができる。
【００５６】
３Ｄ空間における線は、有利なことに、条件ｄ．ｍ＝０を満たす一対の３Ｄベクトル（ｄ，ｍ）＝（（ｄ１，ｄ２，ｄ３），（ｍ１，ｍ２，ｍ３））としてプリュッカー座標において表すことができる。（ｄｉｊ，ｍｉｊ）が、Ｐｉ及びｐｉｊを通る線のプリュッカー表現である場合、ビューｊへの射影ｐｉｊにより定義されるＰｉの位置への光線制約は、
【数３】
2019511026.tif 000005
として表すことができる。
【００５７】
ステップＳ２：制約パラメータ（ｐｉｊ，ｑｉｊ）からの３Ｄシーン座標（Ｐｉ，Ｑｉ）の推定
ｉが添えられた任意の（ソース，ターゲット）制約点の位置は、少なくとも２つの参照ビューを含む参照ビューＶｊの集合Ｒｉにおいてユーザにより指定される。Ｒｉの各参照ビューＶｊにおけるソース制約点Ｐｉの射影ｐｉｊの既知の位置は、ｐｉｊが射影であるソースシーン点ＰｉについてステップＳ１において計算された光線制約の集合を定義する。同様に、Ｒｉの各ビューＶｊにおけるターゲット制約点Ｑｉの射影ｑｉｊの既知の位置は、ｑｉｊが射影であるターゲットシーン点ＱｉについてステップＳ１において計算された光線制約の集合を定義する。
【００５８】
制約点に関連するシーン点Ｐｉ及びＱｉのそれぞれの位置は、最小二乗の意味で参照ビューＶｊの集合Ｒｉの光線制約により形成される方程式系を解くことにより推定される。
【数４】
2019511026.tif 000006
【００５９】
この系は、標準二次プログラミング技法により解くことができる。
【００６０】
この段階で、シーン点の変形について利用可能な事前確率（prior）を導入することができる。例えば、対応する３Ｄソース点Ｐｉ（プリュッカー座標（ｄｉ，ｍｉ）で表される）及びターゲット点Ｑｉ（プリュッカー座標（ｄ’ｉ，ｍ’ｉ）で表される）の各対間の距離が可能な限り一定であることを課すことにより、元の３Ｄシーンのジオメトリを保存したいことがある。次に、例えば、以下の基準：
【数５】
2019511026.tif 000007
を最小化することにより、２Ｄ位置制約に関連するシーン点の位置の推定を大域的に実行しなければならない。
【００６１】
この最適化問題は、未知数に対して最小化される関数の導関数は閉じた形態で利用可能であるため、ガウス−ニュートン最小化等の標準数値最適化技法により実行することができる。
【００６２】
ステップＳ３：各追加ビューＶｋにおける位置制約パラメータ（ｐｉｋ，ｑｉｋ）の新しい集合Ｓａｄｄの生成
ジオメトリワープの仕様を定義する各位置制約は最初、ライトフィールドビューの部分集合Ｒｉにおいてユーザにより指定された。較正データから既知のビューカメラ射影行列｛Ｃｋ｝を使用して、ステップＳ２において計算された各３Ｄ制約点ＰｉのＲｉを除外したＶ中の任意の追加ビューＶｋへの２Ｄ射影ｐｉｋを特定することができる。
【数６】
2019511026.tif 000008
【００６３】
したがって、ステップＳ３の出力において、最初は参照ビュー（Ｖｊ）の部分集合Ｒｉにおいてユーザにより指定されていたソース及びターゲット位置制約パラメータの２Ｄ射影（ｐｉｊ，ｑｉｊ）は、全てのビューで既知である。
【００６４】
ステップ４：制約パラメータ（ｐｉｍ，ｑｉｍ）を適用することによる各ビューＶｍのワープ
Ｎ個の異なる（ソースＰｉ、ターゲットＱｉ）位置制約が、参照ビューの部分集合Ｒｉにおける射影（ｐｉｊ，ｑｉｊ）によりユーザにより最初に指定されたと仮定する。ステップＳ３に続き、位置制約パラメータの射影（ｐｉｊ，ｑｉｊ）（但し、１≦ｉ≦Ｎ）はこの時点で、全てのビューＶｍで既知である。次に、ビューにおける位置制約の射影（ｐｉｍ，ｑｉｍ）に基づいて、ビューのあらゆるピクセルの最適ワーピング変換Ｍｘｍが、各ビューＶｍで独立して計算される。
【００６５】
Ｍｘｍの計算は、最適化基準の選択及び変換のモデルに応じて様々な形態をとり得る。有利なことに、SIGGRAPH, 2006におけるS. Schaefer、T. McPhail、及びJ. Warrenの記事「Image deformation using moving least squares」において提案されている移動最小二乗エネルギー及びＭｘの関連する制約付きアフィンモデルの１つがＭｘｍの計算に使用される。例えば、Ｍｘｍは、線形変換Ａｘｍ及び並進Ｔｘｍからなるアフィン変換であるように選ばれ、
【数７】
2019511026.tif 000009
ｐｉｍと異なるあらゆる点ｘについて、以下の最適化問題への解として定義される。Ｍｐｉｍ（ｐｉｍ）はｑｉｍに等しいように定義される。上記方程式の右辺の最小化は、現状技術から周知の技法を使用して解を得ることができる二次プログラミング問題である。
【数８】
2019511026.tif 000010
【００６６】
本発明は、ワーピングモデル及び最適化基準の上記選択に限定されない。例えば、SIGGRAPH, 2001におけるA. Jacobson、I. Baran、J. Popovic、及びO. Sorkine著の記事「Bounded Biharmonic Weights for Real-Time Deformation」において提案されている有界重調和重みワーピングモデルを移動最小二乗アルゴリズムの代わりに使用することができる。この手法では、全画像にわたるアフィン変換は、各ユーザ指定の位置制約に関連付けられ、画像ワープは、これらのアフィン変換の線形結合として計算される。最適ワーピング変換は、線形結合の重みが、幾つかの制約を受けて、画像にわたり可能な限り一定であるものとして定義される。特に、各位置制約の位置におけるワープは、制約に関連するアフィン変換と一致するように強いられる。その結果としての最適化問題は、有限要素モデリングを使用して離散化され、疎二次プログラミングを使用して解かれる。
【００６７】
重調和ワーピングモデルは、各位置制約の位置においてアフィン変換を指定する必要がある。第１の選択肢は、このアフィン変換をソース制約点からターゲット制約点への指定された並進に制限することである。代替的には、アフィン変換は、他の利用可能な全ての位置制約を近似の制約として使用して、考慮される位置のアフィン変換を最小二乗近似することにより計算することができる。
【００６８】
５．３  ライトフィールドデータを一貫して編集する装置の説明
図５は、本開示の一実施形態による、ライトフィールドデータを編集する装置１の例を示す概略ブロック図である。そのような装置１は、プロセッサ２、記憶ユニット３、及びインターフェースユニット４を含み、これらはバス５により接続される。当然ながら、コンピュータ装置１の構成要素は、バス５を使用するバス接続以外の接続により接続されてもよい。
【００６９】
プロセッサ２は装置１の動作を制御する。記憶ユニット３は、プロセッサ２により実行される少なくとも１つのプログラム及びライトフィールドデータ、プロセッサ２により実行される計算により使用されるパラメータ、プロセッサ２により実行される計算の中間データ等を含む様々なデータを記憶する。プロセッサ２は、任意の既知の適するハードウェアにより、又はソフトウェアにより、又はハードウェアとソフトウェアとの組合せにより形成し得る。例えば、プロセッサ２は、処理回路等の専用ハードウェアにより又はメモリに記憶されたプログラムを実行するＣＰＵ（中央演算処理装置）等のプログラマブル処理ユニットにより形成し得る。
【００７０】
記憶ユニット３は、コンピュータ可読なようにプログラム、データ等を記憶することが可能な任意の適する記憶装置又は記憶手段により形成し得る。記憶ユニット３の例としては、半導体メモリデバイス及び読み書きユニットにロードされる磁気、光学、又は磁気光学記録媒体等の非一時的コンピュータ可読記憶媒体が挙げられる。プログラムは、プロセッサ２に、図４を参照して上述した本開示の実施形態による、ライトフィールドデータを編集するプロセスを実行させる。
【００７１】
インターフェースユニット４は、装置１と外部装置との間のインターフェースを提供する。インターフェースユニット４は、ケーブル又は無線通信を介して外部装置と通信し得る。この実施形態では、外部装置はライトフィールド捕捉デバイス６であり得る。この場合、ライトフィールドデータは、インターフェースユニット４を通してプレノプティックカメラから装置１に入力され、次に、記憶ユニット３に記憶することができる。
【００７２】
装置１及びプレノプティックカメラは、ケーブル又は無線通信を介して互いと通信し得る。
【００７３】
装置１は、表示デバイスを含み得、又は任意の表示装置に統合されて、ワープされた２Ｄ画像の１つ又は幾つかを表示し得る。
【００７４】
装置１は、ユーザが位置制約パラメータ（ｐｉｊ，ｑｉｊ）の少なくとも１つの初期集合Ｓｉｎｉを入力できるようにするよう構成されたヒューマン／マシンインターフェース７を含むこともできる。
【００７５】
１つのみのプロセッサ２が図５に示されているが、そのようなプロセッサが、
・少なくとも２つの参照ビューＶｊにおける各入力位置制約パラメータ（ｐｉｊ，ｑｉｊ）について、２Ｄソース位置ｐｉｊ上に射影する３Ｄ空間中の線及び２Ｄターゲット位置ｑｉｊ上に射影する３Ｄ空間の線を特定する（Ｓ１）モジュール、
・２Ｄソース位置ｐｉｊが対応するビューＶｊへの射影である、３Ｄシーンにおける３Ｄソース位置Ｐｉ及び２Ｄターゲット位置ｑｉｊが対応するビューＶｊへの射影である、３Ｄシーンにおける３Ｄターゲット位置Ｑｉを特定する（Ｓ２）モジュール、
・３Ｄソース位置Ｐｉ及び３Ｄソース位置Ｑｉのそれぞれの関数として、少なくとも１つの追加ビューＶｋに関連する追加の位置制約パラメータ（ｐｉｋ，ｑｉｋ）の集合を特定する（Ｓ３）モジュールであって、各対（ｐｉｋ，ｑｉｋ）は、少なくとも１つの追加ビューＶｋにおけるＰｉ及びＱｉそれぞれの射影を表し、上記ビューをワープさせるために、追加の位置制約を提供する、集合を特定する（Ｓ３）モジュール、
・対応する位置制約パラメータ（ｐｉｍ，ｑｉｍ）の関数として、２ＤビューＶｍの集合から示された３Ｄシーンの各２Ｄ画像をワープさせて、編集されたライトフィールドデータを取得する（Ｓ４）モジュール
等の本開示の実施形態による装置１により実行される機能を実施する異なるモジュール及びユニットを含み得ることを当業者は理解する。
【００７６】
これらのモジュールは、互いと通信し、協働する幾つかのプロセッサ２で実施することもできる。
【００７７】
当業者に理解されるように、本原理の態様は、システム、方法、又はコンピュータ可読媒体として実施することができる。したがって、本原理の態様は、全体的にハードウェアの実施形態、全体的にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）、又はソフトウェア態様とハードウェア態様とを組み合わせた実施形態の形態をとることができる。
【００７８】
本開示が１つ又は幾つかのハードウェア構成要素により実施される場合、ハードウェア構成要素が、中央演算処理装置、及び／又はマイクロプロセッサ、及び／又は特定用途向け集積回路（ＡＳＩＣ）、及び／又は特定用途向け命令セットプロセッサ（ＡＳＩＰ）、及び／又はグラフィックス処理ユニット（ＧＰＵ）、及び／又は物理処理ユニット（ＰＰＵ）、及び／又はデジタル信号プロセッサ（ＤＳＰ）、及び／又は画像プロセッサ、及び／又はコプロセッサ、及び／又は浮動小数点ユニット、及び／又はネットワークプロセッサ、及び／又はオーディオプロセッサ、及び／又はマルチコアプロセッサ等の集積回路であるプロセッサを含むことに留意することができる。さらに、ハードウェア構成要素は、無線信号を受信又は送信するベースバンドプロセッサ（例えば、メモリユニット及びファームウェアを含む）及び／又は無線電子回路（アンテナを含むことができる）を含むこともできる。一実施形態では、ハードウェア構成要素は、ＩＳＯ／ＩＥＣ  １８０９２／ＥＣＭＡ−３４０、ＩＳＯ／ＩＥＣ  ２１４８１／ＥＣＭＡ−３５２、ＧＳＭＡ、ＳｔｏＬＰａＮ、ＥＴＳＩ／ＳＣＰ（スマートカードプラットフォーム）、グローバルプラットフォーム（すなわち、セキュア要素）等の１つ又は複数の標準に準拠する。変形では、ハードウェア構成要素は無線周波識別（ＲＦＩＤ）タグである。一実施形態では、ハードウェア構成要素は、Bluetooth通信、及び／又はＷｉ−Ｆｉ通信、及び／又はZigbee通信、及び／又はＵＳＢ通信、及び／又はファイアワイヤ通信、及び／又はＮＦＣ（近距離）通信を可能にする回路を含む。
【００７９】
さらに、本原理の態様は、コンピュータ可読記憶媒体の形態をとることができる。１つ又は複数のコンピュータ可読記憶媒体の任意の組合せを利用することができる。
【００８０】
したがって、例えば、任意のフローチャート、流れ図、状態遷移図、擬似コード等が、コンピュータ可読記憶媒体で実質的に表し得、そのようなコンピュータ又はプロセッサが明示的に示されるか否かに関係なく、コンピュータ又はプロセッサにより実行し得る様々なプロセスを表すことが理解される。
【００８１】
本開示について１つ又は複数の例を参照して説明したが、本開示の範囲及び／又は添付の特許請求の範囲から逸脱せずに、形態及び詳細に変更を行い得ることを当業者は認識する。
【図１】
2019511026.tif 000012
【図２】
2019511026.tif 000013
【図３】
2019511026.tif 000014
【図４】
2019511026.tif 000015
【図５】
2019511026.tif 000016
【国際調査報告】
2019511026.tif 000017
2019511026.tif 000018