(57)【要約】【課題】深層学習をライトフィールド画像と組み合わせた、対象物を分類するための方法及びシステムを提供すること。【解決手段】深層学習モデルに適用する前に、ライトフィールドデータをマスク処理して関心領域を特定する。一手法において、ライトフィールドカメラは、分類されるべき対象物のライトフィールド画像をキャプチャする。ライトフィールド画像は、異なる視点から同時に得られた、対象物の複数のビューを含む。ライトフィールド画像が前処理され、その結果のデータが、入力として深層学習モデルに提供される。前処理は、ライトフィールドデータ内の関心領域を選択するためのマスクを決定し、次いで、該マスクを適用することを含む。このようにして、それほど関連しないデータを、深層学習モデルから除外することができる。マスク処理されたデータに基づいて、深層学習モデルは、対象物を分類する決定を生成する。【選択図】図１
2019160303.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサを有するコンピュータシステム上で前記プロセッサにより実行される、対象物を分類するための方法であって、
前記対象物のライトフィールド画像を受け取るステップであって、前記ライトフィールド画像は、異なる視点から同時に得られた、前記対象物の複数のビューを含む、ステップと、
前記ライトフィールド画像を前処理して派生画像データを生成するステップであって、前記前処理は、
前記ライトフィールド画像内の関心領域を選択するためのマスクを決定することと、
前記マスクを適用することと、
を含む、ステップと、
入力として前記派生画像データを深層学習モデルに適用するステップであって、前記深層学習モデルは、前記対象物を分類する決定を生成する、ステップと、
を含む、方法。
【請求項２】
マスクを決定することは、
前記複数のビューから、前記対象物についての奥行き情報を抽出することと、
前記の抽出された奥行き情報に基づいて、前記マスクを決定することと、
を含む、請求項１に記載の方法。
【請求項３】
マスクを決定することは、前記ライトフィールド画像におけるライトフィールドデータの画像強度に基づくマスクを決定することを含む、請求項１に記載の方法。
【請求項４】
マスクを決定することは、機械学習モデルを使用して前記マスクを決定することを含む、請求項１に記載の方法。
【請求項５】
マスクを適用することは、前記複数のビューのうちの１つのビューのみにマスクを適用することからなり、前記派生画像データは、前記複数のビューのうちの前記１つのビュー以外のいずれのビューにも基づかない、請求項１に記載の方法。
【請求項６】
マスクを適用することは、前記複数のビューの各ビューにマスクを適用することを含む、請求項１に記載の方法。
【請求項７】
マスクを決定することは、前記複数のビューの各ビューについて別個に、当該ビューに適用されるマスクを決定することを含み、
マスクを適用することは、前記複数のビューの各ビューについて、当該ビューに前記マスクを適用することを含む、請求項６に記載の方法。
【請求項８】
前記ライトフィールド画像を前処理することは、前記ライトフィールド画像におけるライトフィールドデータから、エピポーラ画像を生成することを含み、
マスクを適用することは、前記エピポーラ画像にマスクを適用することを含む、請求項１に記載の方法。
【請求項９】
マスクを適用することは、前記ライトフィールド画像に直接的にマスクを適用することを含む、請求項１に記載の方法。
【請求項１０】
前記ライトフィールド画像を前処理することは、（画像）次元、（ビュー）次元、及び／又は（チャネル）次元に関して、前記ライトフィールド画像におけるライトフィールドデータを低減させることを含み、
マスクを適用することは、低減された前記ライトフィールドデータにマスクを適用することを含む、請求項１に記載の方法。
【請求項１１】
前記ライトフィールド画像は、異なるカラーチャネルを含み、マスクを適用することは、前記異なるカラーチャネルの各カラーチャネルに別個にマスクを適用することを含む、請求項１に記載の方法。
【請求項１２】
前記マスクは２値である、請求項１に記載の方法。
【請求項１３】
前記マスクは連続的である、請求項１に記載の方法。
【請求項１４】
前記対象物を分類する前記決定を生成することは、
前記深層学習モデルが、前記対象物を分類する複数の中間決定を生成することと、
前記複数の中間決定に投票スキーマを適用して、前記対象物を分類する前記決定を生成することと、
を含む、請求項１に記載の方法。
【請求項１５】
前記投票スキーマは、前記複数の中間決定を重み付けし、各中間決定についての重みは、当該中間決定を生成するために適用されるマスクに関連する、請求項１４に記載の方法。
【請求項１６】
前記投票スキーマは、機械学習モデルを使用して、前記対象物を分類する前記決定を生成する、請求項１４に記載の方法。
【請求項１７】
前記対象物は、患者の鼓膜であり、前記決定は、前記鼓膜の状態を分類する決定である、請求項１に記載の方法。
【請求項１８】
前記深層学習モデルは、複数の層を含み、各層は、当該層に対する入力のセットに適用されるフィルタのセットと、フィルタリングの出力に適用される非線形関数と、を含む、請求項１に記載の方法。
【請求項１９】
対象物のライトフィールド画像を受け取るステップであって、前記ライトフィールド画像は、異なる視点から同時に得られた、前記対象物の複数のビューを含む、ステップと、
前記ライトフィールド画像を前処理して派生画像データを生成するステップであって、前記前処理は、
前記ライトフィールド画像内の関心領域を選択するためのマスクを決定することと、
前記マスクを適用することと、
を含む、ステップと、
入力として前記派生画像データを深層学習モデルに適用するステップであって、前記深層学習モデルは、前記対象物を分類する決定を生成する、ステップと、
を含む方法をプロセッサに実行させるプログラム。
【請求項２０】
対象物を分類するためのシステムであって、
対象物のライトフィールド画像をキャプチャするライトフィールドカメラであって、前記ライトフィールド画像は、異なる視点から同時に得られた、前記対象物の複数のビューを含む、ライトフィールドカメラと、
深層学習分類器であって、
前記ライトフィールドカメラから、前記対象物の前記ライトフィールド画像を受け取るインタフェースと、
前記ライトフィールド画像を前処理して派生画像データを生成する前処理モジュールであって、前記前処理は、
前記ライトフィールド画像内の関心領域を選択するためのマスクを決定することと、
前記マスクを適用することと、
を含む、前処理モジュールと、
入力として前記派生画像データを受け取る深層学習モデルであって、前記深層学習モデルは、前記対象物を分類する決定を生成する、深層学習モデルと、
を含む深層学習分類器と、
を有する、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般に、ライトフィールド画像に関し、より詳細には、深層学習モデルを使用してライトフィールド画像を処理することに関する。
【背景技術】
【０００２】
ライトフィールドカメラが最近多大な注目を集めている。これを使用して、キャプチャされたライトフィールド画像のデジタル処理に基づいて、対象物の異なるフォーカス点又は視点を再計算することができる。ライトフィールドカメラはまた、ライトフィールドカメラにより撮像される３次元対象物までの奥行きを推定することに応用され、推定後に、これらの対象物又は３次元シーン全体の３次元再構成が続くであろう。
【０００３】
加えて、深層学習も最近多大な注目を集めている。多くの研究が、各種の分類問題を解決するための複数の深層学習アーキテクチャを学習することに向けられている。画像処理用途に関して、一般に、画像のトレーニングセットを使用して、深層学習モデルをトレーニングし、深層学習モデルがトレーニングされると、深層学習モデルを使用して、新たな画像を分類することができる。しかしながら、トレーニングセットの選択及び画像の前処理は、深層学習モデルの性能に影響を及ぼす重要な側面であり得る。さらに、ライトフィールド画像は、従来の２次元画像における情報とは異なる情報を含む。しかしながら、現在のところ、ライトフィールド画像に対して作用するために深層学習モデルをどのように設計するかについての研究はあまり存在しない。
【０００４】
したがって、深層学習をライトフィールド画像と組み合わせるより良い手法が必要とされている。
【発明の概要】
【０００５】
本開示は、深層学習モデルに適用する前に、ライトフィールドデータをマスク処理して関心領域を特定することにより、従来技術の制限を克服する。一手法において、ライトフィールドカメラは、分類されるべき対象物のライトフィールド画像をキャプチャする。ライトフィールド画像は、異なる視点から同時に得られた、対象物の多くのビューを含む。ライトフィールド画像が前処理され、その結果のデータが、入力として深層学習モデルに提供される。前処理は、ライトフィールドデータ内の関心領域を選択するためのマスクを決定し、次いで、該マスクを適用することを含む。このようにして、それほど関連しないデータを、深層学習モデルから除外することができる。マスク処理されたデータに基づいて、深層学習モデルは、対象物を分類する決定を生成する。
【０００６】
マスクは、例えば、ライトフィールド画像から抽出された奥行き情報に基づいて、又は、ライトフィールド画像内の画素値に基づいて、各種の方法で決定され得る。マスクはまた、ほんの少しの例を挙げると、ライトフィールド画像全体に一回適用される、多くのビューの各ビューに別個に適用される、異なるカラーチャネルに対して別個に適用される、又は、ライトフィールド画像から生成されたエピポーラ画像に適用される等、異なる段階において適用され得る。
【０００７】
他の態様は、上記のいずれかに関連するコンポーネント、デバイス、システム、改良、方法、プロセス、アプリケーション、コンピュータ読み取り可能な媒体、及び他の技術を含む。
【図面の簡単な説明】
【０００８】
本特許又は特許出願のファイルは、少なくとも１つのカラー図面を含む。カラー図面を含む本特許又は特許出願公報のコピーは、特許庁に要求し必要な料金を支払えば提供される。本開示の実施形態は、添付の図面における例と併せて読まれたときに以下の詳細な説明及び特許請求の範囲からより容易に明らかになるであろう他の利点及び特徴を有する。
【図１】実施形態に従ったシステムのブロック図。
【図２Ａ】実施形態に従ったライトフィールドカメラを示す図。
【図２Ｂ】実施形態に従ったライトフィールドカメラを示す図。
【図３Ａ】実施形態に従った、マスク処理前の、ライトフィールドカメラによりキャプチャされた中央ビューを示す図。
【図３Ｂ】実施形態に従った、マスク処理後の、ライトフィールドカメラによりキャプチャされた中央ビューを示す図。
【図４Ａ】実施形態に従った、マスク処理前の、ライトフィールドカメラによりキャプチャされた７ｘ７アレイのビューを示す図。
【図４Ｂ】実施形態に従った、マスク処理後の、ライトフィールドカメラによりキャプチャされた７ｘ７アレイのビューを示す図。
【図５Ａ】実施形態に従った、マスクを生成するための方法を示すフロー図。
【図５Ｂ】実施形態に従った、マスクを生成するための別の方法を示すフロー図。
【図５Ｃ】実施形態に従った、マスクを生成するためのさらに別の方法を示すフロー図。
【図６】実施形態に従った、深層学習アーキテクチャのためのマスク処理を示す図。
【図７】実施形態に従った、深層学習アーキテクチャのための別のマスク処理を示す図。
【図８】実施形態に従った、深層学習アーキテクチャのためのさらに別のマスク処理を示す図。
【図９】実施形態に従った、深層学習アーキテクチャのためのさらに別のマスク処理を示す図。
【図１０】実施形態に従った、深層学習アーキテクチャのためのさらに別のマスク処理を示す図。
【発明を実施するための形態】
【０００９】
図面及び以下の説明は、例示に過ぎない好ましい実施形態に関する。以下の説明から、本出願において開示される構造及び方法の代替実施形態が、特許請求されるものの原理から逸脱することなく使用され得る実施可能な代替として容易に認識されるであろうことに留意されたい。
【００１０】
図１は、実施形態に従ったシステムのブロック図である。このシステムは、対象物を分類するために使用される。一例として、一用途において、対象物は、患者の鼓膜であり、このシステムは、鼓膜の状態を分類する。色、半透明性、及び形状（膨隆、正常、又は陥凹）等のファクタを使用して、以下の表１に記載されるように、鼓膜の状態を、急性中耳炎（ＡＯＭ）、滲出性中耳炎（ＯＭＥ）、又は無滲出中耳炎（ＮＯＥ）として分類することができる。これは一例に過ぎない。他の用途も明らかであろう。
【表１】
2019160303.tif 000003
【００１１】
このシステムは、ライトフィールドカメラ１１０及び深層学習分類器１９０を含む。深層学習分類器１９０は、前処理モジュール１９２及び深層学習モデル１９６を含む。深層学習分類器１９０は、一般に、プロセッサ及びコンピュータ命令を含むコンピュータシステムとして実現される。ライトフィールドカメラ１１０は、対象物１５０のライトフィールド画像１７０をキャプチャする。各ライトフィールド画像１７０は、異なる視点から同時に得られた、対象物１５０の多くのビューを含む。
【００１２】
前処理モジュール１９２は、ライトフィールドカメラからライトフィールド画像を受け取る。前処理モジュール１９２は、標準化されたインタフェース（図１には示されていない）を介して、これを行うことができる。前処理モジュール１９２は、ライトフィールド画像を前処理して、深層学習モデル１９６のためのデータを用意することができる。前処理は、スケーリング、正規化、画像レジストレーション等といった様々な機能を含み得る。この例において、前処理は、ライトフィールドデータ内の関心領域を選択するためのマスク処理機能１９４を含む。前処理モジュール１９２は、マスクを決定し、ライトフィールドデータにマスクを適用する。派生画像データ（derivative  image  data）と呼ばれる、前処理の結果が、深層学習モデル１９６に入力され、深層学習モデル１９６が、対象物を分類する決定を生成する。
【００１３】
ここで、図１に示されているコンポーネントの各々について検討する。図２Ａ〜図２Ｂは、ライトフィールドカメラ１１０の例を示す図である。ライトフィールドカメラ１１０は、対物レンズ２１２（図２Ａにおいて単一のレンズにより表されている）、二次結像アレイ２１４（結像素子のアレイ）、及びセンサアレイ２８０を含む。便宜上、結像光学素子２１２は、図２Ａにおいて、単一の光学素子として示されているが、これは、複数の素子を含んでもよいことを理解されたい。
【００１４】
二次結像アレイ２１４は、マイクロ結像アレイと呼ばれ得る。二次結像アレイ２１４及びセンサアレイ２８０は、まとめて、ライトフィールドセンサモジュールと呼ばれ得る。この例において、二次結像アレイ２１４は、マイクロレンズアレイである。マイクロ結像アレイ２１４の他の例は、ピンホールのアレイ及び導波路／チャネルアレイを含む。マイクロ結像アレイ２１４は、矩形アレイ、六角アレイ、又は他のタイプのアレイとすることができる。
【００１５】
これらのコンポーネントは、２つのオーバーラップする結像サブシステムを形成する。第１の結像サブシステムにおいて、対物レンズ１１２は、一次像面ＩＰにおいて対象物１５０の光学像２５５を結像する。この結像サブシステムは、図２ＡにおいてＳＰ’とマークされた瞳面を有する。第２結像サブシステムにおいて、二次結像アレイ２１４は、瞳面ＳＰ’をセンサアレイ２８０上に結像する。これを行うために、マイクロ結像アレイ２１４は、像面ＩＰ、又はその共役面のうちの１つの共役面に配置される。このシステム全体が、センサ面ＳＰにおいて対象物のライトフィールド画像１７０を形成する。対象物１５及び像面ＩＰは、共役面の１つのセットを形成する。瞳２５３及びセンサ面ＳＰは、共役面の別のセットを形成する。
【００１６】
図２Ａの下側部分は、さらなる詳細を提供している。この図において、対象物１５０が、３ｘ３の領域１〜９に分割され、瞳２５３が、２ｘ２のセクタＡ〜Ｄ（サブ開口Ａ〜Ｄと呼ばれることもある）に分割されている。センサアレイ２８０は、６ｘ６矩形アレイとして図示されている。
【００１７】
図２Ｂは、ライトフィールド画像１７０がどのように生成されるかを概念的に示している。光線が、対象物１５０から発され、瞳２５３を通過し、一次像面ＩＰにおいて像２５５を形成する。この像２５５が、次のように、成分（component）像２５５Ａ〜２５５Ｄに分割され得る。対象物からの光線のうちの一部の光線は、瞳のサブ開口Ａを通過し、一部の光線は、サブ開口Ｂ、Ｃ、又はＤをそれぞれ通過する。サブ開口Ａを通過する光線は、実際の像２５５における一成分である光学像２５５Ａを生成させる。便宜上、成分像２５５Ａにおける３ｘ３の領域が、サフィックスＡを用いて、１Ａ〜９Ａとラベル付けされている。像２５５Ａは、視点Ａから得られた、対象物１５０のビューと呼ばれ得る。同様に、サブ開口Ｂ、Ｃ、Ｄをそれぞれ通過する光線は、対応する光学像２５５Ｂ、２５５Ｃ、２５５Ｄを生成させ、これらの像２５５Ｂ、２５５Ｃ、２５５Ｄにおける３ｘ３の領域がそれぞれ、１Ｂ〜９Ｂ、１Ｃ〜１Ｃ、１Ｄ〜９Ｄとラベル付けされている。これらの像２５５Ｂ、２５５Ｃ、２５５Ｄはそれぞれ、異なる視点Ｂ、Ｃ、Ｄから得られた、対象物１５０のさらなるビューである。図２Ａにおいて、空間像２５５は、ビュー２５５Ａ〜２５５Ｄの全ての組み合わせである。像面ＩＰに配置されているセンサアレイは、これらのビューの全てからの寄与を含む画像をキャプチャする。
【００１８】
しかしながら、図２Ｂに示されているように、異なるビュー２５５Ａ〜２５５Ｄが、センサ面において、交互配置されるように分離されている。一例として像２５５Ａを使用すると、光学像２５５Ａからの３ｘ３の領域１Ａ〜９Ａは、ライトフィールド画像１７０内の１つの３ｘ３ブロックにおいて連続していない。そうではなく、４つの異なるビューからの領域１Ａ、１Ｂ、１Ｃ、及び１Ｄが、ライトフィールド画像１７０の左上において、２ｘ２状に配置されている（画像１７０の反転は、明瞭さのために無視されている）。
【００１９】
領域１〜９が同様に配置される。したがって、ビュー１７０Ａを構成する領域１Ａ〜９Ａは、複合ライトフィールド画像１７０にわたって分散され、他のビュー１７０Ｂ〜１７０Ｄの諸部分により離隔される。別の言い方をすると、センサが、個々のセンサ素子の矩形アレイである場合、アレイ全体が、センサ素子の矩形サブアレイ２７１（１）〜２７１（９）に分割され得る（１つのサブアレイ２７１（１）のみが、図２Ｂにおいて破線により示されている）。対象物の各領域１〜９について、各ビューからの対応する領域の全てが、サブアレイ上に結像される。例えば、領域１Ａ、１Ｂ、１Ｃ、及び１Ｄは全て、サブアレイ２７１（１）上に結像される。瞳２５３及びセンサアレイ２８０は、共役面に配置されているので、アレイ２１４における各結像素子は、センサ面ＳＰに、瞳２５３の像を結像することに留意されたい。複数の結像素子が存在するので、瞳２５３の複数の像２７１が結像される。
【００２０】
図２は、基本となる概念を例示するために簡略化されていることに留意されたい。例えば、対象物１５０は、ライトフィールド撮像機能全般をより容易に説明するために、アレイに人工的に分割された。別の例として、最も実用的なシステムは、特にセンサアレイにおいて、著しくより大きなアレイを使用する。加えて、センサ面における６ｘ６の領域とセンサアレイにおける基礎となるセンサ素子との間に、２：１の関係が存在する必要はない。各領域は、例えば、複数のセンサ素子に対応してもよい。最後の例として、対象物において１とラベル付けされた領域、ビュー２５５Ａにおいて１Ａとラベル付けされた領域、及びライトフィールド画像１７０において１Ａとラベル付けされた領域は、互いの正確な像である必要はない。いくつかの設計において、画像１７０内の領域１Ａは、対象物１５０における領域１あたりからのエネルギーを捕捉することができるが、これは、実際には、領域１の像ではないことがある。したがって、画像１７０の領域１Ａにおけるセンサ素子により集められたエネルギーは、その領域における対象物の幾何学的再生を表しているのではなく、対象物１５０の領域１における像（又は像の何らかの変換）を集積及びサンプリングしていることがある。加えて、視差、口径食、回折、及び光伝搬等の効果が結像に影響を及ぼし得る。
【００２１】
ライトフィールド画像１７０が、深層学習分類器１９０により処理される。図３及び図４は、深層学習分類器の前処理モジュールにおけるマスク処理の例を示している。これらの例において、ライトフィールド画像は、ライトフィールドオトスコープによりキャプチャされた耳内部の画像である。ライトフィールドオトスコープは、各マイクロレンズ下に１１ｘ１１画素がある、マイクロレンズの３２０ｘ２６０アレイを有する。したがって、ライトフィールド画像は、異なる視点から得られる、耳内部の１１ｘ１１＝１２１個のビューを含む。観察角度が非常に斜めである境界（boundary）視点が除外され、７ｘ７＝４９個のビューのみが考慮される。
【００２２】
図３Ａは、オトスコープによりキャプチャされた中央ビューを示している。目的は、鼓膜の状態を分類することであり、したがって、画像のうち、鼓膜の外側の外耳道を示す部分は、あまり関連しない。図３Ｂは、同じビューを示しているが、関心領域のみを選択するためにマスクが適用されたものである。鼓膜について、外耳道と画像の周りの暗い領域とをマスクし、主として鼓膜のみを残すことができた場合に限り、意味のある結果が得られた。適切なマスク処理は、深層学習モデルに、関心領域のみに基づいて分類するようにさせる。トレーニング中、これは、深層学習モデルが、関心領域についてのみトレーニングすることを可能にし、したがって、背景における共通パターン又は詳細は、学習プロセスを妨げない。マスクは、厳密に正しい必要はない。例えば、背景のうちの一部が残ることを許容したわずかにより大きなマスクも、良好に機能した。
【００２３】
図４Ａは、４９個全てのビューを示しており、図４Ｂは、マスク処理後の４９個全てのビューを示している。図４は、ライトフィールドカメラによりキャプチャされた未処理のライトフィールド画像ではないことに留意されたい。未処理のライトフィールド画像は、このデータを含むが、異なるビューが、図２Ｂで説明されたように、ライトフィールド画像において交互配置される。
【００２４】
マスクは、各種の技術を使用して決定され得、そのうちのいくつかの例が、図５Ａ〜図５Ｃに示されている。図５Ａにおいて、マスクは、奥行き情報に基づく。個々のビューが、ライトフィールド画像から抽出される（５１０）。これらのビューは、異なる視点から得られた、対象物の像である。ビュー間の視差を使用して、対象物までの奥行きを推定することができる（５２０）。次いで、マスクが、奥行き情報に基づいて、例えば奥行きを閾値処理することにより、生成される（５２２）。耳の例において、奥行き情報は、外耳道のサイドと比べて、鼓膜位置に関する情報を提供する。これを使用して、鼓膜を分離するマスクを形成することができる。マスクが、深層学習モデルへの入力を生成するために、ビューに適用される（５１２）。
【００２５】
図５Ｂにおいて、マスクは、画像内容に基づく。この例において、マスクは、強度値に基づく。例えば、関心領域は、背景よりも明るいものであり得、したがって、マスクは、像における画素の強度を閾値処理することにより生成され得る（５３０）。他の例は、例えば、色に基づく又は所定の対象物の識別に基づくマスクを含む。図５Ｃにおいて、機械学習モデル５４０が、ライトフィールドデータのためのマスクを決定するようにトレーニングされる。
【００２６】
マスクはまた、例えば、関心領域を人に描かせることにより、手動で生成されてもよい。あるいは、マスクは、例えば、識別された特徴に基づいてビューを異なる領域にセグメント化することにより、自動で生成されてもよい。さらに別の手法において、マスクは、現在の画像を以前の画像と比較し、その差異のみを選択することにより、生成されてもよい。
【００２７】
別の態様において、マスクは、図３及び図４の例と同様に、１又は０の値をとる２値であってよい。しかしながら、マスクは、範囲［０，１］内の値をとるような連続的なものであってもよい。これはグレースケールマスクである。例えば、機械学習モデルにより生成されるマスクは、所定の画素がマスクされるべきであるか否かの信頼度を反映する連続的な値をとってもよい。
【００２８】
マスクはまた、異なるタイプのライトフィールドデータに適用され得る。図５Ａ〜図５Ｃにおいて、マスクは、異なるビューについて生成され、次いで、各ビューに適用される。１つのビューのみが使用され、分類決定がその１つのビューのみに基づいて行われる図３等の場合、マスクは、その１つのビューのみに適用され得る。多くのビューを使用して分類決定が行われる図４等の場合、マスクが、別個に生成され、これらのビューの各々に適用されることもあるし、同じマスクが、全てのビューに適用されることもあるし、ビューが、一緒にグループ化されることもあれば各グループについて生成されたマスクと一緒に組み合わせられることもある。この最後の手法は、ビューが類似する場合に有利であり得る。
【００２９】
様々な他の組み合わせが可能である。図６〜図１０は、異なる深層学習アーキテクチャとともに使用される異なるタイプのマスク処理のいくつかの例を提供している。これらの例において、ライトフィールド画像は、ｈａｘｗａ＝ｍ個のビューを含み、各ビューは、赤カラーチャネル、緑カラーチャネル、及び青カラーチャネルに対してｈｓｘｗｓ画素である。ここで、下付き文字「ａ」は、「角度（angle）」に関連し、下付き文字「ｓ」は、「空間（space）」に関連する。
【００３０】
図６において、左側は、各ビューについて３つのカラーチャネルを伴うｍ個のビュー６１０を示している。マスク６２０は、各ビューについてのマスクの１つのセットである。異なるビューについてのマスクは、異なり得、ビューの内容に依存する。各ビューについて、同じマスクが、Ｒカラー成分、Ｇカラー成分、Ｂカラー成分の各々に適用される。深層学習モデル６３０は、各ビューについて別個の決定ネットワークを有する。各マスク処理されたビューは、深層学習モデル６３０の対応する決定ネットワークに入力され、深層学習モデル６３０は、当該ビューについての中間決定６４０を生成する。ｍ個のビューについて、ｍ個の中間分類決定６４０が存在する。これらは、投票スキーマ（voting  schema）６５０により組み合わせられて、最終分類が生成される。
【００３１】
異なるタイプの投票スキーマが使用され得る。多数決投票、単記投票、及び重み付き投票がいくつかの例である。重み付き多数決投票において、多数票が勝つが、中間決定には、等しくない重みが与えられる。一手法において、重み付けは、その中間決定を生成するために使用されるマスクに関連する。加えて、投票スキーマは、（多数決投票と同様に）２値決定を出力する必要はない。そうではなく、中間決定を組み合わせて、連続的な最終決定（例えば、結果の確率）を生成することができる。投票スキーマはまた、機械ベースで学習され得る。
【００３２】
各種の深層学習アーキテクチャが明らかであろう。深層学習アーキテクチャは、複数の層を含む。各層は、典型的には、入力のセット（この場合には画像群又はビュー群）に適用されるフィルタのセットと、出力のサイズを低減させる非線形ステップ（例えば投票スキーマ）と、を含む。フィルタリングが、入力とフィルタとの間の畳み込みである場合、アーキテクチャは、一般に、畳み込みニューラルネットワーク（ＣＮＮ）と呼ばれる。ネットワークが少しの層しか有しない場合、これは浅層ネットワークである。層の数が多い場合、これは深層学習ネットワークである。多数の層のため、深層学習ネットワークは、実装するのに、計算的且つ空間的にコストが高い。入力画像又は第１層をマスク処理することは、ネットワークの複雑度全体を大幅に低減させる。
【００３３】
図７において、マスク７２０は、図６におけるのと同様に、各ビュー７１０についてのマスクの１つのセットである。しかしながら、深層学習モデル７３０は、異なるアーキテクチャを有する。これは、各ビューについて１つの中間決定を生成しない。そうではなく、各マスク処理されたビューは、ネットワークの畳み込み部分に別個に渡される。次いで、それらが、最大ビュープーリング層７５０において集約され、次いで、ネットワークの残りの（全結合）部分に送られる。この方法は、異なるビューからの情報をより高いレベルで組み合わせる。しかしながら、最大プーリングは、１つの入力しか選択せず、したがって、１つのビューのみが、各画素において選択される。
【００３４】
図７は、（ビュー）次元に関するライトフィールドデータの低減を示している。他のタイプの低減も可能である。ライトフィールドデータは、４次元データセットＬｉ（ｘ，ｙ，ｕ，ｖ）としてモデル化され得、ここで、Ｌは、画素の強度値であり、（ｘ，ｙ）は、２つの（画像）次元であり、（ｕ，ｖ）は、２つの（ビュー）次元である。上付き文字ｉは、この例においてはカラーチャネルであるチャネルについてのインデックスである。低減は、これらの次元のうちの任意の次元に沿ってなされ得る。（ビュー）次元は、図７におけるように、前処理において又は深層学習モデルにおいて、異なるビューを組み合わせる又はグループ化することにより、低減され得る。（画像）次元は、画像についての異なるスケールを考慮することにより、低減され得る。一手法において、連続的にダウンサンプリングされた画像のピラミッドを使用して、異なるスケールでの影響に対処する。（チャネル）次元も同様に低減され得る。
【００３５】
例えば、図８において、異なるビュー８１０の全てが、それらのＲＧＢチャネルにわたってスタックされ、それらをネットワーク８３０に提供する前に、対応するマスク８２０が適用される。これは、全てのビューが先に組み合わせられ、したがって、はるかに少ないメモリしか消費しない、という利点を有する。図示されているように、マスクは、好ましくは、低減の前に適用される。なぜならば、これは、複雑度の最大の低減をもたらすからである。マスクはまた、低減の後に適用されてもよいが、この場合、複雑度全体のわずかな低減となる。
【００３６】
これまでの例において、マスクは、（画像）領域において適用される。すなわち、（ｘ，ｙ）マスクが規定され、（ｘ，ｙ）マスクが、（ｘ，ｙ）平面に沿った、ライトフィールドデータのスライスである、ビューのうちの１つのビューに適用される。図９は、マスクが異なる領域において適用される例を提供している。ここで、入力は、エピポーラ画像である。エピポーラ画像９１０は、（ｘ，ｕ）平面（又は、（画像）座標と（ビュー）座標との混成である何らかの他の平面）に沿った、ライトフィールドデータのスライスである。特定の例において、入力は、入力ライトフィールド画像の各行又は列についての水平エピポーラ画像及び垂直エピポーラ画像である。水平エピポーラ画像は、スライスＬｉ（ｘ，ｙ＝ｙｍ，ｕ，ｖ＝０）（ｍ＝１．．．ｈｓ）であり、垂直エピポーラ画像は、スライスＬｉ（ｘ＝ｘｎ，ｙ，ｕ＝０，ｖ）（ｎ＝１．．．ｗｓ）である。次いで、これらのエピポーラ画像９１０が、図９に示されているように、長いキューブへと連結され、それらの対応するマスク９２０で乗算され、ネットワーク９３０に渡される。
【００３７】
（チャネル）座標が再整理される（re-ordered）ことにも留意されたい。全ての赤エピポーラ画像が結合され、全ての緑エピポーラ画像が結合され、全ての青エピポーラ画像が結合され、これは、（チャネル）次元に沿った何らかの低減が、深層学習モデルにより実現されることを示す。
【００３８】
図１０において、マスク１０２０が、完全なライトフィールド画像１０１０に近いデータに適用される。次いで、ストライドをｈａ、ｗａとするサイズｈａｘｗａの（ビュー）次元についてのフィルタが適用される。ストライドは、フィルタを移動させる量である。
【００３９】
１つのチャネルが、（図１０において確認されるように）中間画像において出力される。この層を通過した後、画像は、元の２Ｄ入力と同じ空間サイズに低減する。具体的には、この層をＩ（中間（intermediate））と名付けると、各空間座標（ｘ，ｙ）及びチャネルｊについての、この層の出力は、
【数１】
2019160303.tif 000004
であり、ここで、Ｌは、入力（ＲＧＢ）ライトフィールド画像であり、ｉは、入力画像のカラーチャネルについてのインデックスであり（ｉは、赤、緑、及び青という値をとり）、ｊは、入力層の後の層におけるチャネルについてのインデックスであり、ｗ（ｕ，ｖ）は、（ビュー）フィルタの重みであり、ｇは、正規化線形関数である。この式から確認されるように、チャネルｊの重みｗは、異なるカラーチャネルｉを組み合わせている。式（１）により与えられる出力は、深層学習アーキテクチャ１０３０の残りの部分に渡される。
【００４０】
上記の詳細な説明は、多くの具体的事項を含んでいるが、これらは、本発明の範囲を限定するものとして解釈されるべきではなく、異なる例を単に例示するものとして解釈されるべきである。本開示の範囲は、上記で詳細には説明されていない他の実施形態を含むことを理解されたい。当業者には明らかであろう様々な他の修正、変更、及び変形が、請求項において定められる主旨及び範囲から逸脱することなく、本出願において開示されている方法及び装置の構成、動作、及び詳細において可能である。したがって、本発明の範囲は、請求項及びその正当な均等の構成により決定されるべきである。
【００４１】
代替実施形態は、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組み合わせにより実現され得る。実施形態は、プログラム可能なプロセッサによる実行のためにマシン読み取り可能な記憶デバイスに記憶されるコンピュータプログラム製品により実現され得、方法ステップは、入力データに対して作用し出力を生成することにより機能を実行するための命令のプログラムをプログラム可能なプロセッサが実行することにより、実行され得る。実施形態は、データ記憶システム、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスからデータ及び命令を受信し、これらにデータ及び命令を送信するように接続された少なくとも１つのプログラム可能なプロセッサを含むプログラム可能なシステム上で実行可能な１つ以上のコンピュータプログラムにより効果的に実現され得る。各コンピュータプログラムは、高水準手続型プログラミング言語又はオブジェクト指向プログラミング言語により実装されてもよいし、望まれる場合には、アセンブリ言語又は機械語により実装されてもよい。いずれにせよ、言語は、コンパイル型言語又はインタプリタ型言語とすることができる。適切なプロセッサは、例えば、汎用マイクロプロセッサ及び専用マイクロプロセッサの両方を含む。一般に、プロセッサは、読み取り専用メモリ及び／又はランダムアクセスメモリから命令及びデータを受信する。一般に、コンピュータは、データファイルを記憶するための１つ以上の大容量記憶デバイスを含み、そのようなデバイスは、内蔵ハードディスク及び着脱可能なディスク等の磁気ディスク；光磁気ディスク；及び、光ディスクを含む。コンピュータプログラム命令及びデータを記憶するのに適した記憶デバイスは、全ての形態の不揮発性メモリを含み、これらは、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイス等の半導体メモリデバイス；内蔵ハードディスク及び着脱可能なディスク等の磁気ディスク；光磁気ディスク；及び、ＣＤ−ＲＯＭディスクを含む。前述したもののうちの任意のものは、ＡＳＩＣ（特定用途向け集積回路）及び他の形態のハードウェアにより補完されてもよいし、これらに組み込まれてもよい。
【符号の説明】
【００４２】
１１０    ライトフィールドカメラ
１５０    対象物
１７０    ライトフィールド画像
１９０    深層学習分類器
１９２    前処理モジュール
１９６    深層学習モデル
６１０    ビュー
６２０    マスク
６３０    深層学習モデル
６４０    中間分類
６５０    投票スキーマ
７１０    ビュー
７２０    マスク
７３０    深層学習モデル
７５０    最大プール
８１０    ビュー
８２０    マスク
８３０    深層学習モデル
９１０    エピポーラ画像
９２０    マスク
９３０    深層学習モデル
１０１０  ライトフィールド画像
１０２０  マスク
１０３０  深層学習モデル
【図１】
2019160303.tif 000005
【図２Ａ】
2019160303.tif 000006
【図２Ｂ】
2019160303.tif 000007
【図３Ａ】
2019160303.tif 000008
【図３Ｂ】
2019160303.tif 000009
【図４Ａ】
2019160303.tif 000010
【図４Ｂ】
2019160303.tif 000011
【図５Ａ】
2019160303.tif 000012
【図５Ｂ】
2019160303.tif 000013
【図５Ｃ】
2019160303.tif 000014
【図６】
2019160303.tif 000015
【図７】
2019160303.tif 000016
【図８】
2019160303.tif 000017
【図９】
2019160303.tif 000018
【図１０】
2019160303.tif 000019