(57)【要約】【課題】構造化された光システムによるイメージの奥行を推定する方法を提供する。【解決手段】本発明の方法は、基準個数のサブパターンを含む基準光パターンが投影されたシーンのイメージを受信し、受信されたイメージのパッチと基準光パターンのサブパターンとをハードコードテンプレートマッチング技法又はパッチがサブパターンに対応する確率に基づいてマッチングさせる。ルックアップテーブルが使用される場合、ルックアップテーブルは、確率行列であり、事前に計算された相関指数を含むか又は事前に計算された類型識別子を含む。パッチの奥行の推定はパッチとサブパターンとの間の視差に基づいて決定される。【選択図】図１Ａ
2019105634.tif 000002
【特許請求の範囲】
【請求項１】
構造化された光システムによるイメージの奥行を推定する方法であって、
基準個数のサブパターンを含む基準光パターンが投影されたシーンのイメージを受信するステップと、
前記イメージのパッチが前記基準光パターンのサブパターンに対応する確率に基づいて、前記パッチと前記サブパターンとをマッチングさせるステップと、
前記パッチと前記サブパターンとの間の視差（ｄｉｓｐａｒｉｔｙ）に基づいて前記パッチの奥行の推定値を決定するステップと、を有することを特徴とする方法。
【請求項２】
前記確率は、確率行列を含むルックアップテーブルに含まれ、
前記パッチは、基準個数のピクセルを含み、
前記パッチと前記サブパターンとをマッチングさせるステップは、
前記パッチに含まれるピクセルを二進化するステップと、
前記ピクセルからベクトルを形成するステップと、
前記ピクセルのベクトルに前記確率行列を掛けることにより前記パッチの類型を決定するステップと、を含み、
前記類型は、前記パッチにマッチングさせる前記サブパターンに対応することを特徴とする請求項１に記載の方法。
【請求項３】
前記パッチに含まれるピクセルの基準個数は１６であることを特徴とする請求項２に記載の方法。
【請求項４】
前記確率行列は、ベイズルール（Ｂａｙｅｓ’ｒｕｌｅ）に基づいて、線形最適化又はニューラルネットワークにより形成されることを特徴とする請求項２に記載の方法。
【請求項５】
前記パッチは、基準個数のピクセルを含み、
前記パッチに含まれるピクセルを二進化するステップと、
前記パッチが前記サブパターンに対応する確率を示すルックアップテーブルの項目にアクセスするために、前記パッチの二進化されたピクセルを使用するステップと、を更に含むことを特徴とする請求項１に記載の方法。
【請求項６】
前記ルックアップテーブルの各項目は、前記パッチが前記サブパターンのそれぞれに対応する確率のそれぞれの相関指数を示すことを特徴とする請求項５に記載の方法。
【請求項７】
前記ルックアップテーブルの各項目は、前記サブパターンの各サブパターンの類型識別子を示すことを特徴とする請求項５に記載の方法。
【請求項８】
構造化された光システムによるイメージの奥行を推定する方法であって、
基準個数のサブパターンを含む基準光パターンが投影されたシーンのイメージを受信するステップと、
前記イメージに含まれ、基準個数のピクセルを含む少なくとも一つのパッチを二進化するステップと、
前記二進化されたパッチの第１個数及び各二進化されたサブパターンの第２個数に基づいて前記少なくとも一つのパッチに対するエラー関数（Ｅｋ）を最小化することにより、前記少なくとも一つのパッチを前記基準光パターンのサブパターンにマッチングさせるステップと、
前記少なくとも一つのパッチと前記サブパターンとの間の視差に基づいて前記イメージの少なくとも一つのパッチの奥行の推定値を決定するステップと、を有することを特徴とする方法。
【請求項９】
前記各二進化されたサブパターンの第２個数は、第１の二進化されたサブパターンに続く第２の二進化されたサブパターンの第２個数を得るために、前記第１の二進化されたサブパターンの第２個数を２だけ増加させることにより決定されることを特徴とする請求項８に記載の方法。
【請求項１０】
前記エラー関数（Ｅｋ）は、前記基準光パターンの白色ピクセルサブセット及び前記基準光パターンの黒色ピクセルサブセットに基づくことを特徴とする請求項８に記載の方法。
【請求項１１】
前記エラー関数（Ｅｋ）は、前記基準光パターンの黒色パッチの個数の二乗及び前記基準光パターンの白色パッチの個数に基づくことを特徴とする請求項８に記載の方法
【請求項１２】
前記エラー関数（Ｅｋ）は、二進基準パッチの白色パッチの個数で二進基準パッチの黒色パッチの個数を割ったものに基づくことを特徴とする請求項８に記載の方法。
【請求項１３】
構造化された光システムによるイメージの奥行を推定する方法であって、
基準個数のサブパターンを含む基準光パターンが投影されたシーンのイメージを受信するステップと、
前記イメージの少なくとも一つのパッチを二進化するステップと、
前記二進化されたパッチが前記基準光パターンのサブパターンに対応する確率に基づいて、前記二進化されたパッチと前記サブパターンとをマッチングさせるステップと、
前記少なくとも一つのパッチと前記サブパターンとの間の視差に基づいて前記少なくとも一つのパッチの奥行の推定値を決定するステップと、を有することを特徴とする方法。
【請求項１４】
前記二進化されたパッチが前記サブパターンに対応する確率は、ルックアップテーブルに含まれることを特徴とする請求項１３に記載の方法。
【請求項１５】
前記ルックアップテーブルは、確率行列を含み、
前記少なくとも一つのパッチは、基準個数のピクセルを含み、
前記二進化されたパッチと前記サブパターンとをマッチングさせるステップは、
前記二進化されたパッチからベクトルを形成するステップと、
前記二進化されたパッチのベクトルに前記確率行列を掛けることにより前記少なくとも一つのパッチの類型を決定するステップと、を含み、
前記類型は、前記少なくとも一つのパッチにマッチングさせる前記サブパターンに対応することを特徴とする請求項１４に記載の方法。
【請求項１６】
前記確率行列は、ベイズルールに基づいて、線形最適化又はニューラルネットワークにより形成されることを特徴とする請求項１５に記載の方法。
【請求項１７】
前記二進化されたパッチと前記サブパターンとをマッチングさせるステップは、前記少なくとも一つのパッチが前記サブパターンに対応する確率を示す前記ルックアップテーブルの項目にアクセスするために、前記二進化されたパッチを使用するステップと、を含むことを特徴とする請求項１４項に記載の方法。
【請求項１８】
前記ルックアップテーブルの各項目は、前記少なくとも一つのパッチが前記サブパターンのそれぞれに対応する確率のそれぞれの相関指数を示すことを特徴とする請求項１７に記載の方法。
【請求項１９】
前記ルックアップテーブルの各項目は、前記サブパターンの各サブパターンの類型識別子を示すことを特徴とする請求項１７に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、構造化された光システムのための方法に関し、より詳細には、イメージのパッチ（ｐａｔｃｈ）を基準光パターンのパッチ（ｐａｔｃｈ）にマッチングさせて奥行きを推定する方法に関する。
【背景技術】
【０００２】
ステレオカメラシステムとも呼ばれる構造化された光３Ｄカメラシステム（ｓｔｒｕｃｔｕｒｅｄ−ｌｉｇｈｔ  ３Ｄ−ｃａｍｅｒａ  ｓｙｓｔｅｍ）において、奥行き値を推定するために広く使用される技法は、基準パターンのパッチ（ｐａｔｃｈ）に最もよくマッチングするイメージパッチ（ｐａｔｃｈ）を検索することである。このような検索の全般的な計算上の負担を減らすために、イメージパッチは基準パターンと略水平線上に隣接して位置すると仮定する。なお、基準パターンが全体投影空間を埋めるために水平及び垂直に繰り返される固有のサブパターンの有限個のセットのみを含むように設計されることで、検索プロセスが更に単純化される。基準パターンにおける固有のパターンの既知の配列は、イメージパッチの「類型（ｃｌａｓｓ）」を識別し、結果的にイメージパッチと基準パッチとの間の視差（ｄｉｓｐａｒｉｔｙ）を判別するために使用される。なお、イメージパッチは奥行のピクセル位置の中心にあると仮定する。これは奥行推定値の計算を単純化させる。
【０００３】
それにも拘らず、イメージパッチの大きさ及び検索範囲が大きくなると、パッチの検索をするのに時間がかかるようになり、計算集約的になって実時間で奥行を推定することを達成するのが難しくなる。相当の計算コストで困難があることに加えて、一部構造化された光３Ｄカメラシステムは、奥行推定において深刻なノイズによる困難がある。結果的に、そのような構造化された光３Ｄカメラシステムは、電力消耗が大きく、ピクセルノイズ、ブラー（ｂｌｕｒ）、歪み、及び彩度のようなイメージ欠陥に敏感である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】：米国特許第９５０１８３３号明細書
【特許文献２】：米国特許第９６３５３３９号明細書
【特許文献３】：米国特許第９７６９４５４号明細書
【特許文献４】：米国特許出願公開第２０１５／０１３８０７８号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記従来の問題点に鑑みてなされたものであって、本発明の目的は、構造化された光システムにおけるイメージの奥行を推定する方法を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するためになされた本発明の一態様による構造化された光システムによるイメージの奥行を推定する方法は、基準個数のサブパターンを含む基準光パターンが投影されたシーンのイメージを受信するステップと、前記イメージのパッチが前記基準光パターンのサブパターンに対応する確率に基づいて、前記パッチと前記サブパターンとをマッチングさせるステップと、前記パッチと前記サブパターンとの間の視差（ｄｉｓｐａｒｉｔｙ）に基づいて前記パッチの奥行の推定値を決定するステップと、を有する。
前記確率は、確率行列を含むルックアップテーブル（ｌｏｏｋｕｐ  ｔａｂｌｅ）に含まれ、前記パッチは、基準個数のピクセルを含み、前記パッチと前記サブパターンとをマッチングさせるステップは、前記パッチに含まれるピクセルを二進化するステップと、前記ピクセルからベクトルを形成するステップと、前記ピクセルのベクトルに前記確率行列を掛けることにより前記パッチの類型を決定するステップと、を含み、前記類型は、前記パッチにマッチングさせる前記サブパターンに対応する。
【０００７】
上記目的を達成するためになされた本発明の他の態様による構造化された光システムによるイメージの奥行を推定する方法は、基準個数のサブパターンを含む基準光パターンが投影されたシーンのイメージを受信するステップと、前記イメージに含まれ、基準個数のピクセルを含む少なくとも一つのパッチを二進化するステップと、前記二進化されたパッチの第１個数及び各二進化されたサブパターンの第２個数に基づいて前記少なくとも一つのパッチに対するエラー関数（Ｅｋ）を最小化することにより、前記少なくとも一つのパッチを前記基準光パターンのサブパターンにマッチングさせるステップと、前記少なくとも一つのパッチと前記サブパターンとの間の視差に基づいて前記イメージの少なくとも一つのパッチの奥行の推定値を決定するステップと、を有する。
前記各二進化されたサブパターンの第２個数は、第１の二進化されたサブパターンに続く第２の二進化されたサブパターンの第２個数を得るために、前記第１の二進化されたサブパターンの第２個数を２だけ増加させることにより決定される。
【０００８】
上記目的を達成するためになされた本発明の更に他の態様による構造化された光システムによるイメージの奥行を推定する方法は、基準個数のサブパターンを含む基準光パターンが投影されたシーンのイメージを受信するステップと、前記イメージの少なくとも一つのパッチを二進化するステップと、前記二進化されたパッチが前記基準光パターンのサブパターンに対応する確率に基づいて、前記二進化されたパッチと前記サブパターンとをマッチングさせるステップと、前記少なくとも一つのパッチと前記サブパターンとの間の視差に基づいて前記少なくとも一つのパッチの奥行の推定値を決定するステップと、を有する。
前記二進化されたパッチが前記サブパターンに対応する確率は、ルックアップテーブルに含まれる。
前記ルックアップテーブルは、確率行列を含み、前記少なくとも一つのパッチは、基準個数のピクセルを含み、前記二進化されたパッチと前記サブパターンとをマッチングさせるステップは、前記二進化されたパッチからベクトルを形成するステップと、前記二進化されたパッチのベクトルに前記確率行列を掛けることにより前記少なくとも一つのパッチの類型を決定するステップと、を含み、前記類型は、前記少なくとも一つのパッチにマッチングさせるサブパターンに対応する。
【発明の効果】
【０００９】
本発明のイメージの奥行を推定する方法は、他のアプローチ法に伴う雑音、ブラー（ｂｌｕｒ）、及び歪みを減少させることができる。なお、他のアプローチ法と比較して計算上の負荷、メモリー、及びハードウェア資源の要求を減少させることができる。従って、本発明によると、イメージの奥行推定を迅速に遂行することができる。
【図面の簡単な説明】
【００１０】
【図１Ａ】本発明の一実施形態による構造化された光システム及び基準光パターンを示す概念図である。
【図１Ｂ】図１Ａの基準光パターンを形成するために使用される例示的な基準光パターン要素を示す概念図である。
【図２Ａ】ハードコードテンプレート技法を使用してマッチングされる左側及び右側のイメージの入力パッチを示す概念図である。
【図２Ｂ】ハードコードテンプレートマッチング技法を使用してマッチングされるイメージ入力パッチ及び基準光パターンパッチを示す概念図である。
【図３】本発明の一実施形態によるハードコードテンプレートマッチング技法を使用して奥行に関する情報を決定する過程を示すフローチャートである。
【図４】本発明の一実施形態による増分分析される連続的な基準光パターンのパッチを示す概念図である。
【図５】本発明の一実施形態によるイメージ入力パッチが基準光パターンのパッチの類型ｃに属する確率に基づいて奥行情報を推定する過程を示す概念図である。
【図６】イメージ入力パッチが類型ｃに属する確率を生成するためにルックアップテーブルを使用する過程を示す概念図である。
【図７】大きなイメージ入力パッチを別個に更に小さく分割してイメージ入力サブパッチが類型ｃに属する確率を生成するためにルックアップテーブルを使用する過程を示す概念図である。
【図８】イメージ入力パッチが類型ｃに属することを決定するために使用される事前に計算されたクラス識別子のみを含むルックアップテーブルを使用する過程を示す概念図である。
【図９】スライディングウィンドウを使用して大きなイメージ入力パッチを更に小さく分割して事前に計算された類型識別子を含むルックアップテーブルを使用する過程を示す概念図である。
【図１０】本発明の一実施形態によるイメージ入力パッチが基準光パターンのパッチにマッチングする確率に基づいて奥行情報を決定する過程を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。しかし、このような詳細な説明無しに、記載された本発明の思想が当業者によって容易に具現されることは理解されるであろう。他の例において、よく知られた方法、手順、構成、及び回路は、本明細書を曖昧にしないために説明しない。
【００１２】
詳細な説明において「一つの実施例」又は「一実施例」を参照することは、実施例に関連する特定の特徴、構造、又は特性が本文の少なくとも一つの実施例に含まれることを意味する。即ち、本明細書の多様な箇所で使用される「一つの実施例において」、「一実施例において」、「一つの実施例により」、又は類似した意味を有する他の表現は、同一の実施例を参照することを要求しない。更に、特定の特徴、構造、又は特性は、適切な方式で一つ以上の実施例で組み合わせられる。或いは、本明細書で言及する内容により、単数の用語は複数の形態を含み、複数の用語は単数の形態を含む。構成図面を含む多様な図面は、単に説明の目的のために本明細書で言及し、図示するものであって、定量化されない。同様に、多様な波形及びタイミング図は、単純に説明の目的のために図示する。例えば、一部要素の寸法は、明確性のために他の要素に比べて誇張される。なお、適切なものとして考慮される場合、参照符号は対応する要素及び／又は類似する要素を示すために図面において繰り返される。
【００１３】
本明細書で使用する用語は、特定の実施例を記述するための目的としてのみ使用され、本発明の装置と方法に限定する意図としては使用されない。文脈上、明白に別に指示しない限り、単数の形態は、本発明の概念の説明及び付加された請求項に使用される際、複数の形態を含む意図として使用されたともの理解すべきである。そして「含む、」又は「含み、限定されない、」という用語が本明細書で使用される場合、記述した特徴、数字、ステップ、動作、構成、及び／又は部品の存在を明記するものであり、これらの一つ又はそれ以上の他の特徴、数字、ステップ、動作、構成、部品、及び／又はグループの存在又は付加を排除しないものとして理解すべきである。「第１」、「第２」のような用語は、前に説明した構成に対するラベルとして使用され、別途の定義がない限り、特定の順序（例えば、空間的、時間的、論理的など）を意図するものではない。更に、同一の参照符号は、同一であるか又は類似した機能を有する部分、構成、ブロック、回路、ユニット、又はモジュールを示すために二つ以上の図面に亘って使用される。しかし、このような使用は、単純に説明の簡潔性及び便宜のためのものであり、このような構成及びユニットの構成又は構造的な細部事項が全ての実施例又は共通的に参照される部分／モジュールで同一のものと意図されず、単純に本発明の特定の実施例を示すための一つの手段である。
【００１４】
別に定義しない限り、本明細書において使用する全ての用語（技術的、そして科学的用語を含む）は、本発明が属する技術の分野における当業者により一般的に理解される同一の意味を有する。一般的に使用される辞書に定義されたこのような用語は、本明細書及び／又は関連技術の文脈においてそれらの意味と一致する意味を有するものと解釈すべきであり、本明細書において明白に定義しない限り、理想化されたり、過度に形式的な感覚で解釈されたりしてはならない。
【００１５】
本発明の実施形態は、構造化された光システムにおける速い速度の奥行推定を提供する。一実施例において、奥行推定は、基準パッチに対するイメージパッチのハードコードテンプレートマッチング（ｈａｒｄｃｏｄｅ  ｔｅｍｐｌａｔｅ  ｍａｔｃｈｉｎｇ）に基づいて提供される。他の実施例において、イメージパッチは、例としてベイズルール（Ｂａｙｅｓ’ｒｕｌｅ）に基づく相関（ｃｏｒｒｅｌａｔｉｏｎ）により基準パッチにマッチングさせる。もう一つの実施例は、非常に速やかな奥行の推定を提供するために、ルックアップテーブルを使用してイメージパッチを基準パッチにマッチングさせる。本発明の全ての実施形態は、他のアプローチに伴う雑音、ブラー、及び歪みを減少させながらも、他のアプローチ法と比較して大きく減少させた計算上の負荷と、減少させたメモリー／ハードウェア資源の要求を提供する。
【００１６】
ルックアップテーブルを使用する本発明の実施形態は、一定時間の奥行推定（ａ  ｃｏｎｓｔａｎｔ−ｔｉｍｅ  ｄｅｐｔｈ  ｅｓｔｉｍａｔｉｏｎ）を提供する。なお、ルックアップテーブルは、奥行の予測を向上させるトレーニングデータセットに基づいて学習される。ルックアップテーブルは、他のアプローチよりもより堅牢（ｒｏｂｕｓｔ）ながらも、高い正確度を提供する。
【００１７】
図１Ａは、本発明の一実施形態による構造化された光システム及び基準光パターンを示す概念図である。構造化された光システム１００は、プロジェクター１０１、カメラ１０２、及びプロセシング装置１３０を含む。プロセシング装置１０３は基準光パターン１０４をプロジェクター１０１に送信し、プロジェクター１０１は基準光パターン１０４を線１０５で示したシーン（ｓｃｅｎｅ）や物体に投影する。カメラ１０２は、投影された基準光パターン１０４でそのシーンをイメージ１０６として撮影する。イメージ１０６はプロセシング装置１０３に送信され、プロセシング装置１０３はイメージ１０６として撮影された基準光パターンの基準光パターン１０４の視差に基づいて奥行マップ（ｄｅｐｔｈ  ｍａｐ）１０７を生成する。奥行マップ１０７は、イメージ１０６のパッチに対応する推定奥行情報を含む。
【００１８】
プロセシング装置１０３は、ソフトウェア命令、専用集積回路、又はこれらの組み合わせを通じてプログラミングされたマイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）又は個人用コンピュータ（ＰＣ：ｐｅｒｓｏｎａｌ  ｃｏｍｐｕｔｅｒ）である。一実施例において、プロセシング装置１０３により提供されるプロセシングは、グラフィックプロセシング装置（ＧＰＵ：ｇｒａｐｈｉｃｓ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ）、マルチコアシステム、又はプロセシング動作を具現する専用ハードウェアにより加速化されたソフトウェアを通じて完全に具現される。ハードウェア及びソフトウェア構成の全ては、並列プロセシングの異なるステップを提供する。構造化された光システム１００の一実施例は、スマートフォン（ｓｍａｒｔ  ｐｈｏｎｅ）、セルフォン（ｃｅｌｌ  ｐｈｏｎｅ）、又はデジタルカメラ（ｄｉｇｉｔａｌ  ｃａｍｅｒａ）のような携帯用装置の一部であるが、これに限定されない。
【００１９】
一実施例において、プロジェクター１０１及びカメラ１０２は、可視領域又は人の目に見えない赤外光スペクトルでマッチングされる。投影された基準光パターンは、プロジェクター１０１及びカメラ１０２の両方のスペクトル範囲内にある。なお、プロジェクター１０１及びカメラ１０２の解像度は異なる。例えば、プロジェクター１０１はビデオグラフィックアレイ（ＶＧＡ：ｖｉｄｅｏ  ｇｒａｐｈｉｃｓ  ａｒｒａｙ）解像度（例えば、６４０×４８０ピクセル）で基準光パターン１０４を投影し、カメラ１０２は更に高い解像度（例えば、１２８０×７２０ピクセル）を有する。このような構成において、奥行マップ１０７を生成するために、イメージ１０６は、ダウンサンプリングされるか、及び／又はプロジェクター１０１により照明された領域のみが分析される。
【００２０】
本実施形態による基準光パターン１０４は、基準光パターン１０４を完全に埋めるために、水平及び垂直方向の両方に繰り返される複数の基準光パターン要素を含む。
【００２１】
図１Ｂは、図１Ａの基準光パターンを形成するために使用される例示的な基準光パターン要素を示す概念図であり、水平方向（即ち、ｘ方向）に４８ドット（ｄｏｔ）の幅であり、垂直方向（即ち、ｙ方向）に４ピクセルの高さである基準光パターン要素１０８の一実施例を示す概念図である。単純化のため、ドット対ピクセルの比率は１：１である。即ち、投影された各ドットは、カメラ１０２で正確に一つのピクセルとして撮影される。基準光パターン要素１０８上に４×４ピクセル窓（ｗｉｎｄｏｗ）を重畳させて（エッジを包みながら）水平にスライドされる場合、４８個の固有パターンが存在する。４×４ピクセル窓が水平にスライドされる間に、４×４ピクセル窓が（基準光パターン要素１０８を包みながら）基準光パターン要素１０８の高さの４ピクセルの上下の垂直方向にスライドされる場合、総１９２個の固有パターンが存在する。一実施例において、図１Ａの基準光パターン１０４は、基準光パターン要素１０８を、水平方向に１０回、垂直方向に１６０回繰り返すことにより形成される。
【００２２】
一実施例において、プロセシング装置１０３は、イメージパッチ（ｉｍａｇｅ  ｐａｔｃｈ）を基準光パターン１０４のパッチとマッチングさせるために、ハードコードテンプレートマッチング技法を使用して奥行マップ１０７の推定奥行情報を生成する。ここでマッチング技法の複雑度はＯ（Ｐ）であり、Ｐはマッチングされるパッチの大きさである。他の実施例において、プロセシング装置１０３は、マッチング技法の複雑度がＯ（Ｐ）である基準光パターン１０４のパッチにイメージパッチがマッチングする確率に基づいて、イメージパッチと基準光パターン１０４のパッチとをマッチングさせることにより、推定奥行情報を生成する。もう一つの実施例において、プロセシング装置１０３は、マッチング技法の複雑度がＯ（１）で表される基準光パターン１０４のパッチにイメージパッチがマッチングする確率情報を含むルックアップテーブルを参照することにより、推定奥行情報を生成する。
【００２３】
１．ハードコードテンプレートマッチング
【００２４】
イメージパッチを基準光パターン１０４のパッチにマッチングさせることは、本実施形態によるハードコードテンプレートマッチング技法を使用する直接計算アプローチ法（ｄｉｒｅｃｔ  ｃａｌｃｕｌａｔｉｏｎ  ａｐｐｒｏａｃｈ）により遂行される。計算上の目的のために、基準光パターン１０４は、「１」及び「０」のパターンで表現され、これはパッチ比較のための計算を大きく単純化する。
【００２５】
イメージパッチを基準光パターン１０４のパッチにマッチングさせるために、３つの異なる計算技法の一つが使用される。第１の計算技法は、マッチング点数がイメージパッチと基準パッチとの間のピクセル単位の絶対値差の和に基づいて決定される差分の絶対値の和（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ：ＳＡＤ）アプローチ法に基づく。第２の計算技法は、差分の２乗の和（ＳＳＤ：Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）のアプローチ法に基づく。第３の計算技法は、正規化された相互相関（ＮＣＣ：Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）アプローチ法に基づく。
【００２６】
本実施形態による直接計算アプローチ法の利点を説明するために、図２Ａ及び図２Ｂが、イメージパッチを基準パッチにマッチングさせるための本実施形態による直接計算アプローチ法を、他の直接計算アプローチ法と比較するために参照される。
【００２７】
図２Ａは、ハードコードテンプレート技法を使用してマッチングされる左側及び右側のイメージの入力パッチを示す概念図であり、図２Ｂは、ハードコードテンプレートマッチング技法を使用してマッチングされるイメージ入力パッチ及び基準光パターンパッチを示す概念図である。図２Ａは、ステレオカメラシステムから受信される２つの４×４イメージパッチを示す概念図である。左端のイメージ入力パッチ（Ｐ）は、右端のイメージ基準パッチ（Ｑ）にマッチングされる。基準光パターン１０４のような基準光パターンがイメージに投影され、投影された基準光パターンが左側イメージ入力パッチ（Ｐ）及び右側イメージ入力パッチ（Ｑ）の両方に現れると仮定する。
【００２８】
入力パッチ（Ｐ，Ｑ）に対するマッチング点数を生成するために使用されるＳＡＤマッチング計算は、エラー関数（Ｅｋ）を最小化することである。ＳＡＤマッチング計算は、下記の数式１で説明される。
【００２９】
【数１】
2019105634.tif 000003
【００３０】
数式１において、（ｉ，ｊ）はパッチ内のピクセル位置であり、ｋは基準光パターンのパッチに対応するパッチ識別子ＩＤ：［１，１９２］である。この場合、パッチ識別子（ｋ）は、１９２個の固有パターンを有する基準光パターン１０４に関連するものと仮定する。
【００３１】
数式１によるＳＡＤアプローチ法の場合、単一のイメージパッチ（Ｑｋ）に関連して、単一のイメージ入力パッチ（Ｐ）のエラー関数（Ｅｋ）を決定するための総計算作業量が、４×４×２×１９２＝６１４４回の合算演算を含む。
【００３２】
数式１によるアプローチ法とは対照的に、図２Ｂを参照して、本実施形態によるＳＡＤ直接計算技法を説明する。図２Ｂにおいて、左側にあるパッチは、投影された基準光パターン１０４を含む４×４入力イメージパッチ（Ｐ）である。右側にあるパッチは、基準光パターン１０４からの４×４パッチの二進表現である例示的な４×４の二進基準パッチ（Ｑｋ）である。二進基準パッチ（Ｑｋ）で「Ａ」を含むピクセルのそれぞれは、二進数「０」（即ち、黒色）を表す。「Ｂ」を含む二進基準パッチ（Ｑｋ）のピクセルのそれぞれは、二進数「１」（即ち、白色）を表す。
【００３３】
二進パターンを使用してエラー関数を最小化することは、基準パターンで「１」であるピクセルの合算演算のみで再形成される。一実施例によると、基準光パターンパッチに関連して、イメージ入力パッチ（Ｐ）のマッチング点数を生成するために使用される単純化されたＳＡＤマッチング計算は、エラー関数（Ｅｋ）を最小化することである。エラー関数（Ｅｋ）を最小化する単純化されたＳＡＤマッチング計算は、下記の数式２で説明される。
【００３４】
【数２】
2019105634.tif 000004
【００３５】
数式２において、（ｉ，ｊ）は入力パッチ（Ｐ）内のピクセル位置であり、ｋは基準光パターン１０４のパッチに対応するパッチ識別子ＩＤ：［１，１９２］であり、Ｂｋは基準パッチ（Ｑｋ）における１の値を有するピクセルのセットである。
2019105634.tif 000005
は基準パッチ（Ｑｋ）における「１」の個数であり、Ｐｓｕｍはパッチ（Ｐ）の全てのピクセル値の和である。
2019105634.tif 000006
が各二進基準パッチに対して既知であり、Ｐｓｕｍが事前に計算されるため（そして、基準ピクセルパターンにおける「１」の平均は８である）、単一のパターン対パターンの比較を遂行するために必要な合算の回数は、３２から約８に減少される。
【００３６】
従って、数式（２−３）によるＳＡＤアプローチ法に対して、イメージ基準パッチ（Ｑｋ）に対する単一のイメージ入力パッチ（Ｐ）のエラー関数（Ｅｋ）を決定するための総計算上の負担は、平均
2019105634.tif 000007
が８の場合、８×１９２回の合算演算を含む。計算演算の個数を更に減らすために、Ｐｓｕｍは事前に計算される。
【００３７】
図２Ａを再び参照すると、エラー関数（Ｅｋ）を最小化するために使用される差分２乗の和（ＳＳＤ）マッチング計算は、数式３で説明される。
【００３８】
【数３】
2019105634.tif 000008
【００３９】
数式３において、（ｉ，ｊ）はパッチ内のピクセル位置であり、ｋは基準光パターン１０４のパッチに対応するパッチ識別子ＩＤ：［１，１９２］である。
【００４０】
数式３によるＳＳＤアプローチ法の場合、イメージ基準パッチ（Ｑｋ）に関連して、単一のイメージ入力パッチ（Ｐ）のエラー関数（Ｅｋ）を決定するための総計算は、４×４×２×１９２＝６１４４回の合算演算を含む。
【００４１】
図２Ｂを参照すると、上記数式３に基づくＳＳＤアプローチ法と対照的に、本実施形態によりエラー関数（Ｅｋ）を最小化するために使用される単純化されたＳＳＤマッチング計算は、数式４で説明される。
【００４２】
【数４】
2019105634.tif 000009
【００４３】
数式４において、（ｉ，ｊ）は入力パッチ（Ｐ）のピクセル位置であり、ｋは基準光パターン１０４のパッチに対応するパッチ識別子ＩＤ：［１，１９２］であり、Ｂｋは二進基準パッチ（Ｑｋ）における「１」の値を有するピクセルのセットであり、
2019105634.tif 000010
は二進基準パッチ（Ｑｋ）における１の個数であり、Ｐｓｕｍはパッチ（Ｐ）の全てのピクセル値の和である。数式４を参照すると、エラー関数（Ｅｋ）は基準光パターンの黒色パッチの二乗及び基準光パターンの白色パッチの個数に基づいて決定される。
【００４４】
数式４による単純化されたＳＳＤアプローチ法の場合、イメージ基準パッチ（Ｑｋ）に関連して、単一のイメージ入力パッチ（Ｐ）に対するエラー関数（Ｅｋ）を決定するための総計算上の負担は、
2019105634.tif 000011
の平均が８の場合、約８×１９２回の合算演算を含む。計算演算の数を更に減らすために、
2019105634.tif 000012
及びＰ２ｓｕｍは事前に計算される。
【００４５】
図２Ａを再び参照すると、エラー関数（Ｅｋ）を最小化するために使用される正規化された相互相関（ＮＣＣ）マッチング計算は、下記の数式５で説明される。
【００４６】
【数５】
2019105634.tif 000013
【００４７】
数式５において、（ｉ，ｊ）はパッチ内のピクセル位置であり、ｋは基準光パターン１０４のパッチに対応するパッチ識別子ＩＤ：［１，１９２］である。
【００４８】
数式５によるＮＣＣアプローチ法の場合、イメージ基準パッチ（Ｑｋ）に関連して、単一のイメージ入力パッチ（Ｐ）に対するエラー関数（Ｅｋ）を決定するための総計算上の負担は、４×４×１９２回の掛け算演算と４×４×１９２回の合算演算、即ち６４１１回の演算を含む。
【００４９】
図２Ｂを参照すると、上記数式５に基づくＮＣＣアプローチ法と対照的に、本実施形態によるエラー関数（Ｅｋ）を最小化するために使用される単純化されたＮＣＣマッチング計算は、下記の数式６で説明される。
【００５０】
【数６】
2019105634.tif 000014
【００５１】
数式６において、（ｉ，ｊ）は入力パッチ（Ｐ）ピクセル位置であり、ｋは基準光パターン１０４のパッチに対応するパッチ識別子ＩＤ：［１，１９２］であり、
2019105634.tif 000015
は二進基準パッチ（Ｑ）における白色パッチの和である。数式６を参照すると、エラー関数（Ｅｋ）は二進基準パッチの白色パッチの個数で黒色パッチの個数を割った値に基づいて決定される。
【００５２】
本実施形態による単純化されたＮＣＣ技法は、正規化のために一つの割り算演算を利用する。
2019105634.tif 000016
が５個の異なる整数値（具体的に、６〜１０）を取るため、マッチング点数を比較するまでに割り算演算が遅延される。従って、１９２個のマッチング点数は、それらの
2019105634.tif 000017
値に基づいて５個のグループに分割され、最も高いマッチング点数が各グループの中から発見される。５個のグループのそれぞれの中で、最も高い点数が比較される時にのみ割り算が遂行される必要があり、割り算は５回のみ遂行される必要がある。従って、数式（６−２）によるＮＣＣアプローチ法の場合、イメージ基準パッチ（Ｑｋ）に関連して、単一のイメージ入力パッチ（Ｐ）のエラー関数（Ｅｋ）を決定するための総計算上の負担は、５回の掛け算演算と２×１９２回の合算演算、即ち３８９回の演算を含む。本実施形態によるＳＡＤ及びＳＳＤアプローチ法と同様に、Ｐ２ｓｕｍは事前に計算される。
【００５３】
図３は、本発明の一実施形態によるハードコードテンプレートマッチング技法を使用して奥行に関する情報を決定する過程を示すフローチャートであり、図４は、本発明の一実施形態による増分分析される連続的な基準光パターンのパッチを示す概念図である。ステップ３０１において、本過程が始まる。ステップ３０２において、投影された基準光パターンを有するイメージが受信される。一実施例において、投影された基準光パターンは基準光パターン１０４である。ステップ３０３において、パッチは受信されたイメージから抽出される。ステップ３０４において、各イメージパッチは、本実施形態による単純化されたＳＡＤ、ＳＳＤ、又はＮＣＣ技法を使用して基準光パターンパッチにマッチングされる。ステップ３０５において、各イメージパッチと各イメージパッチにマッチングさせる基準光パターンパッチとの間の視差が決定される。ステップ３０６において、各イメージパッチの奥行情報が決定される。ステップ３０７において、本過程が終了する。
【００５４】
本実施形態による３個の単純化された直接計算マッチング技法のそれぞれの演算の数は、一つの基準パッチから次の基準パッチまでの項
2019105634.tif 000018
を増分計算することにより更に減少される。例えば、項
2019105634.tif 000019
が、図４に示す基準パッチ４０１に対して増分計算（ｉｎｃｒｅｍｅｎｔａｌｌｙ  ｃｏｍｐｕｔｉｎｇ）されると、基準パッチ４０２に対する項
2019105634.tif 000020
の計算は、単に２回の合算演算を追加する。従って、一つの基準パッチから次の基準パッチまでの項
2019105634.tif 000021
を増分計算することにより、演算の数が大きく減少される。
【００５５】
特に、基準パッチ４０１は、６個の「１」（即ち、６個の白色ピクセル）を含む。基準パッチ４０２は、８個の「１」（例えば、８個の白色ピクセル）を含む。基準パッチ４０１と基準パッチ４０２との間の「１」の個数の差異が２であるため、基準パッチ４０２における「１」の個数に対する値は、基準パッチ４０１における「１」の数に対する値よりも２だけ更に大きい。基準パッチ４０３を考慮すると、基準パッチ４０２及び基準パッチ４０３の両方が８個の「１」を含むために追加的な合算演算が追加されない。平均的に、合算演算の増分数は「２」である。従って、この増分アプローチ法を使用して、全ての固有パターンをマッチングすることに必要な合算演算の総個数が２×１９２回に減少され、本実施形態による単純化されたＳＡＤ技法は、数式３によるＳＡＤ技法よりも１６倍更に速い。
【００５６】
イメージ入力パッチとイメージ入力パッチにマッチングされる基準パッチとの間の視差は、奥行マップ１０７の奥行情報を生成するために、プロセシング装置１０３により使用される数式（２−３）、（４−３）、（６−２）のうちのいずれかに基づいて決定される。
【００５７】
２．確率に基づくパターン相関関係（Ｐａｔｔｅｒｎ  Ｃｏｒｒｅｌａｔｉｏｎ）
【００５８】
イメージ入力パッチが基準光パターン１０４のような基準光パターンパッチにマッチングする確率に基づいて、推定奥行情報をベイズルールに基づくパターン相関が使用される。即ち、ベイズルールは、イメージ入力パッチが基準光パターンパッチの類型ｃに属する可能性を決定するために使用される。４×４タイル（又は、パッチＴ）が類型ｃに属する確率（Ｐ）を推定する単純化された方法は、下記の数式７で説明される。
【００５９】
【数７】
2019105634.tif 000022
【００６０】
数式７において、ｔは「１」の値を有するピクセルである。
【００６１】
数式７の中間項で表示されるように、掛け算を遂行する代わりにイメージ入力パッチが基準光パターンパッチの類型ｃに属する確率は、数式７の一番右側の項で示されるように、合算演算のみを使用することにより決定される。従って、確率（Ｐ（ｃ｜Ｔ）は、確率の掛け算の代わりに確率の和で表現される。大きさが４×４のピクセルの１９２個の固有パターンの場合、ｔは［０，１５］の値を取り、ｃは［１，１９２］の値を取る。各項目がｌｏｇ（Ｐ（ｔ｜ｃ））を表す１６×１９２行列（Ｍ）が形成される。イメージ入力パッチが分類される場合、各類型の確率（ｌｏｇ（Ｐ（ｔ｜ｃ）））を得るために、イメージ入力パッチを行列（Ｍ）の各列に相関させる。最も高い確率を有する類型は、最終的にマッチングされた類型に該当する。行列（Ｍ）の項目は、各基準ピクセルの奥行値が既知の構造化された光イメージから形成されたデータセットから学習される。代案的に、行列（Ｍ）は、線形最適化（ｌｉｎｅａｒ  ｏｐｔｉｍｉｚａｔｉｏｎ）技法又はニューラルネットワーク（ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）により形成される。パターン相関関係アプローチ法の性能は、行列（Ｍ）がどれくらい良く学習されるかに基づく。
【００６２】
図５は、本発明の一実施形態によるイメージ入力パッチが基準光パターンのパッチの類型ｃに属する確率に基づいて奥行情報を推定する過程を示すための概念図である。５０１において、イメージ入力パッチは「０」と「１」に二進化され、これは要素（［０，１］）を形成するためにＴを正規化して０．５で臨界値を設定することにより遂行される。二進化された入力パッチは、その後１×１６ベクトルに整列される。入力パッチが特定の基準光パターンパッチである確率を表す５０３で１×１９２要素ヒストグラム（Ｈ）を形成するために、ベクトル（Ｔ）及び行列（Ｍ）は、５０２で掛けられる。
【００６３】
図５に示すアプローチ法を使用して決定されたイメージ入力パッチとイメージ入力パッチにマッチングさせる基準パッチとの間の視差は、奥行マップ１０７の奥行情報を生成するためにプロセシング装置１０３により使用される。
【００６４】
３．ルックアップテーブルによるパターン分類
【００６５】
なお、プロセシング装置１０３により生成された推定奥行情報は、イメージ入力パッチ類型ｃに属するものとして分類するためにルックアップテーブル（ＬＵＴ）を使用することにより生成される。即ち、イメージパッチが基準光パターンのパッチの類型ｃに属する確率情報を含むルックアップテーブルが生成される。
【００６６】
一実施例において、ルックアップテーブルは、全てが可能な４×４の二進化された入力パターンを説明するために２１６個のキーを有する。各キーに対応する値を生成する技法は、図５に関連して説明したように、イメージ入力パッチが類型ｃに属する確率に基づく。
【００６７】
図６は、イメージ入力パッチが類型ｃに属する確率を生成するためにルックアップテーブルを使用する過程を示す概念図である。図６において、４×４イメージ入力パッチ６０１は、事前に計算された相関点数表６０４にキー６０３を形成するために６０２で二進化され且つベクトル化される。テーブル６０４の各行は、イメージ入力パッチが類型ｃに属する確率のヒストグラム６０５の値を含む。図６に示す例において、イメージ入力パッチ６０１は、例示的なキー＜０，０，…，０，１，０＞を形成するために二進化され且つベクトル化される。この例示的なキーのヒストグラム６０５は、６０６に表示される。図６に示した例で、ルックアップテーブル６０４の項目の総数は、２１６行×１９２列＝１２ＭＢ個である。
【００６８】
イメージ入力パッチが大きな実施例において、図６のルックアップテーブル６０４に対応するルックアップテーブルは、スマートフォンのような携帯用装置では非常に大きくなる。例えば、イメージ入力パッチが８×８サイズの入力パッチの場合、ルックアップテーブル６０４に対応するルックアップテーブルは、８．７１２ＧＢ項目を含む。ルックアップテーブルがこのように大きなサイズを有することを防止するために、大きなイメージ入力パッチは、ルックアップテーブル６０４に対応するルックアップテーブルのキーとして使用される４×４サブパッチのような更に小さなパッチに分割される。入力パッチの分割は、分離された別途の下位パッチを提供するために遂行されるか、又はスライディングウィンドウ（ｓｌｉｄｉｎｇ−ｗｉｎｄｏｗ）を使用して遂行される。
【００６９】
図７は、大きなイメージ入力パッチを別個に更に小さく分割してイメージ入力サブパッチが類型ｃに属する確率を生成するためにルックアップテーブルを使用する過程を示す概念図である。図７において、８×８イメージ入力パッチ７０１は、４個のサブパッチ（７０１ａ〜７０１ｄ）に更に小さく分割される。４個のサブパッチは、事前に計算された相関点数表７０４に別途の例示的なキー７０３をそれぞれ形成するために７０２でそれぞれ二進化され且つベクトル化される。テーブル７０４の各行は、イメージ入力サブパッチが類型ｃに属する確率のヒストグラムの値を含む。図７に示す例において、イメージ入力サブパッチ（７０１ａ〜７０１ｄ）は、別途のキーを形成するためにそれぞれ二進化され且つベクトル化される。選択過程は、７０５において、８×８イメージ入力パッチ７０１の特定確率ヒストグラム７０６を決定するために使用される。選択過程は、例えば最大の選択を受ける確率ヒストグラムを選択する。図７に示す例において、ルックアップテーブル７０４の項目の総数は、２１６行×１９２列＝１２ＭＢ個である。例えば、スライディングウィンドウ過程が大きなイメージ入力パッチを更に小さく分割するために代案的に使用される場合、図７に示す過程は、基本的に同一の方式で遂行される。
【００７０】
ルックアップテーブル６０４（又は、ルックアップテーブル７０４）を事前に計算された類型識別子を含むルックアップテーブルに代替することにより、ルックアップテーブルの全体的なサイズが更に減少される。図８は、イメージ入力パッチが類型ｃに属することを決定するために使用される事前に計算された類型識別子（ＩＤ）のみを含むルックアップテーブルを使用する過程を示す概念図である。図８において、４×４イメージ入力パッチ８０１は、事前に計算された類型ＩＤ表８０４にキー８０３を形成するために８０２で二進化され且つベクトル化される。テーブル８０４の各行は、イメージ入力サブパッチの事前に計算された類型ＩＤを含む。図８に示す例において、イメージ入力パッチ８０１は、例示的なキー＜０，０，．…，０，１，０＞を形成するために８０２で二進化され且つベクトル化される。この例示的なキーの予測された類型ＩＤは、８０６で表示される。図８に示した例で、ルックアップテーブル８０４の項目の総数は、２１６行×１列＝６５，５３６個である。
【００７１】
図９は、スライディングウィンドウを使用して大きなイメージ入力パッチを更に小さく分割して事前に計算された類型識別子を含むルックアップテーブルを使用する過程を示す概念図である。図９において、８×８イメージ入力パッチ９０１は、６４個の４×４サブパッチに更に小さく分割されるが、その中のサブパッチ（９０１ａ〜９０１ｄ）のみを図示した。サブパッチは、事前に計算された類型ＩＤ表９０４に別途のキー９０３をそれぞれ形成するためにそれぞれ二進化され且つベクトル化される。９０５における６４入力の選択過程は、８×８イメージ入力パッチ９０１の確率ヒストグラム９０６を生成するために使用される。図９に示した例で、ルックアップテーブル９０４内の項目の総数は、２１６行×１列＝６５，５３６個である。
【００７２】
図１０は、本発明の一実施形態によるイメージ入力パッチが基準光パターンのパッチにマッチングする確率に基づいて奥行情報を決定する過程を示すフローチャートである。ステップ１００１において、本過程が始まる。ステップ１００２において、投影された基準光パターンを有するイメージが受信される。一実施例において、投影された基準光パターンは基準光パターン１０４である。ステップ１００３において、受信されたイメージはパッチに分割され、各パッチは二進化される。ステップ１００４において、各イメージパッチは、イメージ入力が基準光パターンパッチの類型ｃに属する確率に基づいて基準光パターンパッチにマッチングされる。一実施例において、図５に示した過程のように、マッチングは、入力パッチが特定の基準光パターンパッチである確率を示すヒストグラム（Ｈ）を形成するために確率行列（Ｍ）を使用して遂行される。他の実施例において、マッチングは、イメージ入力パッチが類型ｃに属する確率を生成するためのルックアップテーブルを使用して遂行される。図６に示した過程のように、ルックアップテーブルは、ルックアップテーブルの各行が、イメージ入力パッチが類型ｃに属する確率のヒストグラムの値を含む事前に計算された相関点数表として具現される。もう一つの実施例において、イメージ入力パッチが類型ｃに属するという決定は、図７又は図９に示した過程のような選択過程を含む。もう一つの実施例において、ルックアップテーブルは、図８又は図９に示したような、事前に計算された類型ＩＤ表として具現される。
【００７３】
ステップ１００５において、各イメージパッチと各イメージパッチにマッチングさせる基準光パターンパッチとの間の視差が決定される。ステップ１００６において、各イメージパッチの奥行情報が決定される。ステップ１００７において、本過程が終了する。
【００７４】
表１は、ステレオマッチングアプローチ法と本実施形態によるマッチングアプローチ法との間のいくつかの定量的な比較を示す。ステレオマッチングアプローチ法の計算上の複雑度は、Ｏ（Ｐ＊Ｓ）で表され、Ｐはパッチのサイズであり、Ｓは検索サイズである。ステレオマッチングアプローチ法の速度は基本ライン１Ｘと見なされ、必要なメモリーのサイズは２ＭＢである。
【００７５】
【表１】
2019105634.tif 000023
【００７６】
本実施形態によるマッチングアプローチ法の計算は、他のマッチングアプローチ法よりも遥かに簡単で、遥かに速い。どのアプローチ法が使用されるかに依存して、本実施形態によるマッチングアプローチ法で使用されるメモリーのサイズは、他のマッチングアプローチ法で使用されるメモリーのサイズよりも顕著に少ない。
【００７７】
以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
【産業上の利用可能性】
【００７８】
本発明は、より少ないハードウェア資源を用いて３次元イメージの奥行き情報を迅速に推定する光ベースの３Ｄイメージングシステムに有用である。
【符号の説明】
【００７９】
１００    光システム
１０１    プロジェクター
１０２    カメラ
１０３    プロセシング装置
１０４    基準光パターン
１０５    線
１０６    イメージ
１０７    奥行マップ
１０８    基準光パターン要素
４０１、４０２、４０３    基準パッチ
６０１、８０１    ４×４イメージ入力パッチ
６０３、７０３、８０３、９０３    キー
６０４、７０４    相関点数表（ルックアップテーブル）
６０５    確率のヒストグラム
７０１    サブパッチ
７０５、９０５    選択過程
７０６、９０６    確率ヒストグラム
８０４、９０４    類型ＩＤ表（ルックアップテーブル）
９０１    ８×８イメージ入力パッチ
Ｈ：    類型確率
Ｍ：    確率行列
Ｔ：    二進化された４×４パターン
【図１Ａ】
2019105634.tif 000024
【図１Ｂ】
2019105634.tif 000025
【図２Ａ】
2019105634.tif 000026
【図２Ｂ】
2019105634.tif 000027
【図３】
2019105634.tif 000028
【図４】
2019105634.tif 000029
【図５】
2019105634.tif 000030
【図６】
2019105634.tif 000031
【図７】
2019105634.tif 000032
【図８】
2019105634.tif 000033
【図９】
2019105634.tif 000034
【図１０】
2019105634.tif 000035