(57)【要約】テレインマップ要約要素（ＴＭＳＥ）データ構造の使用による画像データの分析のための方法およびシステムが開示され、該テレインマップ要約要素データ構造において、テレインマップデータ構造は元の画像からの２ｘ２画素のカーネル毎について処理されたプリミティブデータを提供する。新たなＴＭＳＥ構造は、テレインマップ要素の階層的な複数レベルまたは層の構造であり、該階層的な複数レベルまたは層の構造において、各順を追ったテレインマップレベルは、例えば１６個の下位レベルの要素またはメンバーを要約する。マップ要素のこのような階層的な特質を提供することによって、各より高い要素によって豊富さが高められる。なぜならば、各順を追ったより高いレベルのマップの全ての要素が下位レベルのマップの要素からのデータを要約するからである。
2008544409.tif 000002
【特許請求の範囲】
【請求項１】
対象内容に対する画像データの分析のための方法であって、該方法は、
（ａ）該画像データのフレーム全体に渡る少なくとも１つのパスを実行するステップと、
（ｂ）該画像データの該フレーム全体に渡る該パスからベーステレインマップを生成するステップであって、該ベーステレインマップは、該画像データの内容を示す複数のベースデータメンバーを備えている、ステップと、
（ｃ）該テレインマップから階層的に移転された少なくとも１つの上位の層のテレインマップ要約を生成するステップであって、該上位の層のテレインマップ要約は、該ベースデータメンバーの内容に基づくか、またはベースデータメンバーの内容を示す複数のメンバーを備えている、ステップと
を包含する、方法。
【請求項２】
パラグラフ（ｃ）の前記層の上に、１つずつ上に順を追って層を生成することをさらに包含し、該各層は、すぐ下の層のデータメンバーの内容を示す複数のメンバーを含んでいる、請求項１に記載の方法。
【請求項３】
前記層を順を追って生成することは、５レベルの１６分木テレインマップを構成する１６分木テレインマップ構造を提供し、該５レベルの１６分木テレインマップ構造において、各順を追ったより高いレベルのテレインマップの全てのメンバーは、一つ下のレベルのテレインマップの所定のメンバーからのデータを要約する、請求項２に記載の方法。
【請求項４】
前記データ要素は元の画像から抽出された情報を表すが、該画像自体を表さない、請求項３に記載の方法。
【請求項５】
前記元の画像データは、ビデオ画像のデータであり、前記方法は、このようなビデオ画像、順を追ったビデオ画像、またはビデオ画像のフレームの分析のために使用され、このようなビデオデータのフレーム全体に渡る前記少なくとも１つのパスを作成し、該元の画像データの特定のメンバーに従って該元のビデオ画像の内容から抽出されるメンバーを抽出することを包含する、請求項４に記載の方法。
【請求項６】
前記少なくとも１つのパスは、第１のレベルのテレインマップを提供し、該第１のレベルのテレインマップの前記メンバーは，
６．０１  平均高度パラメータと、
６．０２  傾斜度パラメータと、
６．０３  傾斜方向パラメータと、
６．０４  水平方向平滑度パラメータと、
６．０５  鉛直方向平滑度パラメータと、
６．０６  凹凸度パラメータと
から成る群から選択される、請求項５に記載の方法。
【請求項７】
前記テレインマップから階層的に移転された層の要素は、
７．０１  ＡｖｅｒａｇｅＡｌｔｉｔｕｄｅ：全ての下位のテレインマップ要素のＡｖｅｒａｇｅＡｌｔｉｔｕｄｅ要素の平均と、
７．０２  Ｆｌａｔｎｅｓｓ：基礎となるレベル１のマップの要素の高度に関するコンシステンシーの評価基準であって、含まれる該レベル１のマップの全ての要素が同じ該ＡｖｅｒａｇｅＡｌｔｉｔｕｄｅを有する場合には、Ｆｌａｔｎｅｓｓはフルスケール２００である、評価基準と、
７．０３  ＣｏｍＡｌｔｉｔｕｄｅ：該下位のテレインマップ要素の最も頻繁に生じる高度と、
７．０４  ＡｖｇＤｅｇｒｅｅＯｆＳｌｏｐｅ：所与の閾値を上回る、全ての下位のテレインマップ要素のＤｅｇｒｅｅＯｆＳｌｏｐｅの平均と、
７．０５  ＣｏｍＤｅｇｒｅｅＯｆＳｌｏｐｅ：所与の閾値を上回る、全ての下位のテレインマップ要素の最も頻繁に生じるＤｅｇｒｅｅＯｆＳｌｏｐｅと、
７．０６  ＤｅｇｒｅｅＯｆＳｌｏｐｅＲｅｇｕｌａｒｉｔｙ：該基礎となる要素のＤｅｇｒｅｅＯｆＳｌｏｐｅのコンシステンシーの評価基準と、
７．０７  ＰｅｒｃｅｎｔＷｉｔｈＳｌｏｐｅ：所与の閾値を上回る、ＤｅｇｒｅｅＯｆＳｌｏｐｅメンバーのパーセントと、
７．０８  ＰｅｒｃｅｎｔＶｅｒＳｌｏｐｅ：所与の閾値を上回る、傾斜のパーセント（鉛直方向）と、
７．０９  ＰｅｒｃｅｎｔＨｏｒＳｌｏｐｅ：所与の閾値を上回る、傾斜のパーセント（水平方向）と、
７．１０  ＰｅｒｃｅｎｔＡｍｂＳｌｏｐｅ：所与の閾値を上回る、傾斜のパーセント（不明瞭方向）と、
７．１１  ＡｖｇＨｏｒＳｍｏｏｔｈｎｅｓｓ：全ての該下位のテレインマップ要素のＨｏｒＲｅｇｕｌａｒｉｔｙの平均と、
７．１２  ＣｏｍＨｏｒＳｍｏｏｔｈｎｅｓｓ：全ての該下位のテレインマップ要素の最も頻繁に生じるＨｏｒＳｍｏｏｔｈｎｅｓｓと、
７．１３  ＨｏｒＲｅｇｕｌａｒｉｔｙ：該基礎となるレベル１のマップ要素の該ＨｏｌｉｚｏｎｔａｌＳｍｏｏｔｈｎｅｓｓのコンシステンシーの評価基準であって、含まれる該レベル１のマップの全ての要素が同じＨｏｌｉｚｏｎｔａｌＳｍｏｏｔｈｎｅｓｓを有する場合には、ＨｏｒＲｅｇｕｌａｒｉｔｙはフルスケール２００である、評価基準と、
７．１４  ＡｖｇＶｅｒＳｍｏｏｔｈｎｅｓｓ：全ての下位のテレインマップ要素のＶｅｒｔｉｃａｌＳｍｏｏｔｈｎｅｓｓの平均と、
７．１５  ＣｏｍＶｅｒＳｍｏｏｔｈｎｅｓｓ：全ての下位のテレインマップ要素の最も頻繁に生じるＶｅｒｔｉｃａｌＳｍｏｏｔｈｎｅｓｓと、
７．１６  ＶｅｒＲｅｇｕｌａｒｉｔｙ：該基礎となるレベル１のマップ要素の該ＶｅｒｔｉｃａｌＳｍｏｏｔｈｎｅｓｓに関するコンシステンシーの評価基準であって、含まれる該レベル１のマップの全てが、要素が同じ該ＶｅｒｔｉｃａｌＳｍｏｏｔｈｎｅｓｓを有する場合には、該ＶｅｒＲｅｇｕｌａｒｉｔｙはフルスケール２００である、評価基準と、
７．１７  ＡｖｇＪａｇｇｙｎｅｓｓ：全ての該下位のテレインマップ要素のＪａｇｇｙｎｅｓｓの平均と、
７．１８  ＪａｇＲｅｇｕｌａｒｉｔｙ：該基礎となるレベル１のマップの要素の凹凸に関するコンシステンシーの評価基準であって、含まれる該レベル１のマップの全ての要素が同じ該Ｊａｇｇｙｎｅｓｓを有する場合には、該ＪａｇＲｅｇｕｌａｒｉｔｙはフルスケール２００である、評価基準と、
７．１９  ＡｖｇＤｅｇＯｆＣｏｌｏｒ：全ての該下位のテレインマップ要素のＤｅｇｒｅｅＯｆＣｏｌｏｒの平均と、
７．２０  ＣｏｍＤｅｇＯｆＣｏｌｏｒ：全ての該下位のテレインマップ要素の最も頻繁に生じるＤｅｇｒｅｅＯｆＣｏｌｏｒと、
７．２１  ＤｅｇＣｏｌｏｒＲｅｇｕｌａｒｉｔｙ：該基礎となるレベル１のマップ要素のＤｅｇｒｅｅＯｆＣｏｌｏｒに関するコンシステンシーの評価基準であって、含まれる該レベル１のマップの全ての要素が同じ該ＤｅｇｒｅｅＯｆＣｏｌｏｒを有する場合には、該ＤｅｇＣｏｌｏｒＲｅｇｕｌａｒｉｔｙはフルスケール２００である、評価基準と、
７．２２  ＰｅｒｃｅｎｔＧｒｅｅｎ：緑色に近いＤｉｒｅｃｔｉｏｎＯｆＣｏｌｏｒのパーセント（３３０、３０？）と、
７．２３  ＰｅｒｃｅｎｔＣｙａｎ：青色と緑色との間の該ＤｉｒｅｃｔｉｏｎＯｆＣｏｌｏｒのパーセント（３１、１００？）と、
７．２４  ＰｅｒｃｅｎｔＢｌｕｅ：青色に近い該ＤｉｒｅｃｔｉｏｎＯｆＣｏｌｏｒのパーセント（１０１、１６０？）と、
７．２５  ＰｅｒｃｅｎｔＭａｇｅｎｔａ：青色と赤色との間の該ＤｉｒｅｃｔｉｏｎＯｆＣｏｌｏｒのパーセント（１６１、２２０？）と、
７．２６  ＰｅｒｃｅｎｔＲｅｄ：赤色に近い該ＤｉｒｅｃｔｉｏｎＯｆＣｏｌｏｒのパーセント（２２１、３００？）と、
７．２７  ＰｅｒｃｅｎｔＹｅｌｌｏｗ：赤色と緑色との間の該ＤｉｒｅｃｔｉｏｎＯｆＣｏｌｏｒのパーセント（３０１、３２９？）と、
７．２８  ＣｏｍｍｏｎＤｉｒＣｏｌｏｒ：全ての下位のテレインマップ要素の最も頻繁に生じるＤｉｒｅｃｔｉｏｎＯｆＣｏｌｏｒと、
７．２９  ＤｉｒＣｏｌｏｒＲｅｇｕｌａｒｉｒｙ：基礎となるレベル１のマップの要素の該ＤｉｒｅｃｔｉｏｎＯｆＣｏｌｏｒに関するコンシステンシーの評価基準であって、含まれる該レベル１のマップの全ての要素が同じ該ＤｉｒｅｃｔｉｏｎＯｆＣｏｌｏｒを有する場合には、該ＤｉｒＣｏｌｏｒＲｅｇｕｌａｒｉｒｙはフルスケール２００である、評価基準と、
７．３０  ＡｖｇＡｌｔＤｉｆｆ：下位のテレインマップ要素のＡｌｔＤｉｆｆ要素の平均（前景から背景までの高度差）と、
７．３１  ＣｏｍＡｌｔＤｉｆｆ：全ての下位のテレインマップ要素の最も頻繁に生じるＡｌｔＤｉｆｆと、
７．３２  ＡｌｔＤｉｆｆＲｅｇｕｌａｒｉｔｙ：基礎となるレベル１のマップ要素のＡｌｔＤｉｆｆに関するコンシステンシーの評価基準であって、含まれる該レベル１のマップの全ての要素が同じＡｌｔＤｉｆｆを有する場合には、該ＡｌｔＤｉｆｆＲｅｇｕｌａｒｉｔｙはフルスケール２００である、基準と、
７．３３  ＬｅｖｅｌＶｅｒＳｍｏｏｔｈｎｅｓｓ：一つ下のマップレベルのＡｖｅｒａｇｅＡｌｔｉｔｕｄｅを使用することを除き、該レベル１のマップと同じ計算による本レベルのＶｅｒｔｉｃａｌＳｍｏｏｔｈｎｅｓｓと、
７．３４  ＬｅｖｅｌＨｏｒＳｍｏｏｔｈｎｅｓｓ：該一つ下のマップレベルのＡｖｅｒａｇｅＡｌｔｉｔｕｄｅを使用することを除き、該レベル１のマップと同じ計算による本レベルのＨｏｌｉｚｏｎｔａｌＳｍｏｏｔｈｎｅｓｓと、
７．３５  ＬｅｖｅｌＤｅｇｒｅｅＯｆＳｌｏｐｅ：４ｘ４の下のレベルからのマップ要素のカーネルから計算されることを除き、該レベル１に対する４ｘ４画素のカーネルから計算されるようなＤｉｇｒｅｅＯｆＳｌｏｐｅと、
７．３６  ＬｅｖｅｌＤｉｒｅｃｔｉｏｎＳｌｏｐｅ：４ｘ４の該下のレベルからのマップ要素のカーネルから計算されることを除き、該レベル１に対する該４ｘ４画素のカーネルから計算されるようなＤｉｒｅｃｔｉｏｎＯｆＳｌｏｐｅと
から成る名前および機能的記述を有する要素の群から選択され、該メンバーの名前は、例として好都合にまたは任意的に選ばれている、請求項６に記載の方法。
【請求項８】
対象内容に対する元の画像データの分析に関するシステムであって、該システムは、
（ａ）該画像データのフレーム全体に渡る少なくとも１つのパスから生成されるベーステレインマップであって、該ベーステレインマップは該画像データの内容を示す複数のベースデータメンバーを備えている、ベーステレインマップと、
（ｂ）該テレインマップから階層的に移転された少なくとも１つの上位の層のテレインマップ要約であって、該上位の層のテレインマップ要約は、該ベースデータメンバーの内容に基づくか、または該ベースデータメンバーの内容を示す複数のデータメンバーを含むように生成される、少なくとも１つの上位の層のテレインマップ要約と
を備えている、システム。
【請求項９】
前記少なくとも１つの上位の層のテレインマップ要約は、前記テレインマップの上に順を追った層のうちの１つを備え、該各層の前記メンバーは、すぐ下にある層のデータ要素の内容を示すそれぞれの組のメンバーのメンバーであり、それにより、前記元のデータを豊富に示す、請求項８に記載のシステム。
【請求項１０】
前記順を追った層は、前記テレインマップと共に、５層の１６分木テレインマップ要約要素構造を提供し、該５層の１６分木テレインマップ要約要素構造において、各順を追ったより高いレベルのテレインマップ要約層の全ての要素が、一つ下のテレインマップ要約層の所定のメンバーからのデータを要約する、請求項９に記載のシステム。
【請求項１１】
前記テレインマップは、前記元の画像データの前記内容を示す画像パラメータの形式で複数のプリミティブを含み、該パラメータは、平均高度パラメータと、傾斜度パラメータと、傾斜方向パラメータと、水平方向平滑度パラメータと、鉛直方向平滑度パラメータと、凹凸度パラメータとを備えている、請求項１０に記載のシステム。
【請求項１２】
データ分析テレインマップ要約要素構造であって、
元の画像データのフレーム全体に渡る前記少なくとも１つのパスから生成されるベーステレインマップデータ構造を備えており、
該ベーステレインマップは、該画像データの内容を示す複数のべースデータメンバーと、第１の該テレインマップから階層的に順を追って移転された一組の層のテレインマップ要約レベルを備えており、
該上位レベルが生成され、各レベルは複数のメンバーを有しており、
各レベルの該メンバーはすぐ下のレベルのメンバーの内容を示し、それにより元のデータを豊富に示す、データ分析テレインマップ要約要素構造。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の引用）
本出願は、本発明のために２００５年６月２２日に出願された「Ｔｅｒｒａｉｎ  Ｍａｐ  Ｓｕｍｍａｒｙ  Ｅｌｅｍｅｎｔｓ」と題される米国仮特許出願第６０／６９２，９２２号に基づき、かつその優先権を主張する。
【０００２】
（技術分野）
本発明は画像処理の領域とは対照的な画像理解の領域に適用される。
【背景技術】
【０００３】
本明細書において使用される場合、用語「画像処理」は入力と出力との両方として画素を有するコンピュータ動作に適用される。例としては、補整、閾値、膨張、および腐食を含む。これらの画像処理動作のそれぞれにおいて、画素のバッファが動作に対する入力であり、画素のバッファが動作の出力である。入力および出力における各画素は、輝度情報のみを含む。
【０００４】
本明細書において使用される場合、「画像理解」は、画像バッファにおける画素が高いレベルの構造に分類され、記号データで記述されるコンピュータ動作に適用される。続く画像理解動作は元の画素を参照することなく記号データに基づいて実行され得る。最低（画素）レベルと文脈における対象の最終的な理解との間に複数のレベルの抽象が存在するということを本発明は予期している。画像理解のためのより高いレベルの抽象を作成する最初のステップは、テレインマップ（Ｔｅｒｒａｉｎ  Ｍａｐ）と呼ばれる発明であり、以下で記述される要素である。
【０００５】
セキュリティシステムとも呼ばれる「Ｓｙｓｔｅｍ  ｆｏｒ  Ａｕｔｏｍａｔｅｄ  Ｓｃｒｅｅｎｉｎｇ  ｏｆ  Ｓｅｃｕｒｉｔｙ  Ｃａｍｅｒａｓ」と題される、本出願人の譲受人／意図された譲受人により所有される係属中の特許出願、つまり、発行日２００１年１０月２５日の特許文献１として発行された、２００１年２月１日出願の米国特許出願第０９／７７３４７５号と、２００１年２月５日出願の同じ表題の対応する国際出願ＰＣＴ／ＵＳ０１／０３６３９号とに従って、本発明のシステムは開発されており、両方とも、以下ではＰｅｒｃｅｐｔｒａｋの開示またはシステムと呼ばれ、本明細書において参考として援用される。そのシステムは商標ＰＥＲＣＥＰＴＲＡＫ（本明細書において「Ｐｅｒｃｅｐｔｒａｋ」）として識別され、該商標ＰＥＲＣＥＰＴＲＡＫは、出願人の譲受人／意図された譲受人であるＣｅｒｎｉｕｍ，Ｉｎｃ．の登録商標（登録番号第２，８６３，２２５号）である。
【０００６】
Ｐｅｒｃｅｐｔｒａｋの開示において、ビデオデータは可能な様々なビデオカメラの任意のものによって取り出される。画像のタイプと画像内の人間および対象の行動との解釈のための人間の介入前に、ビデオデータはシステムのソフトウェア制御によって処理される。Ｐｅｒｃｅｐｔｒａｋの開示は、機械の視覚のための画像フォーマットとして、テレインマップと呼ばれる要素の概念を開示した。その最初の実装において、テレインマップ要素は元の画像の４つの画素毎に１つのテレインマップ要素を有し、各テレインマップメンバーは、マップ要素毎に該４つの画素に隣接する４ｘ４画素の近傍を記述する８つのメンバーまたはプリミティブを有する。
【０００７】
Ｐｅｒｃｅｐｔｒａｋのシステムにおいて、ビデオフレームの少なくとも１つのパスがビデオの内容を示すパラメータ（プリミティブまたはメンバー）を含むテレインマップを生成する、ビデオデータのリアルタイムの画像分析が実行される。テレインマップのパラメータに基づいて、Ｐｅｒｃｅｐｔｒａｋのシステムは、決定を行い、画像に関する有益なデータを抽出すること、例えば、車両と人間とを区別し、車両の通行と人間の通行とを区別することができる。
【０００８】
（テレインマップの抽出）
既存の全てのラスター図は、人間の知覚のために有効な表示のために配置された輝度マップであり、テレインマップは、続く分析ステップのための追加の記号データを提供するように設計されているという認識から開始する。地理地図の類似性を使用して、テレインマップの概念は画像に関する追加データを提供する方法として提案された。
【０００９】
このようなテレインマップにおいて、マップメンバーは、地理地図が地勢を表す方法と幾分似た、画像のその部分の状態を記述する記号情報を含む。テレインマップメンバーは、
・ＡｖｅｒａｇｅＡｌｔｉｔｕｄｅは、テレインマップにおいて、等高線と類似している。または色空間において使用される場合には、どの程度の光が表面に投げかけられているかということと類似している。
・ＤｅｇｒｅｅＯｆＳｌｏｐｅは、テレインマップにおいて等高線間の距離と類似している（より急な傾斜はより近くに等高線を有する）。
・ＤｉｒｅｃｔｉｏｎＯｆＳｌｏｐｅは、南面の傾斜のような、地図上の等高線の方向と類似している。
・ＨｏｒｉｚｏｎｔａｌＳｍｏｏｔｈｎｅｓｓ、北または南に移動する地形の平滑度と類似している。
・ＶｅｒｔｉｃａｌＳｍｏｏｔｈｎｅｓｓは、東または西に移動するときの地形の平滑度と類似している。
・Ｊａｇｇｙｎｅｓｓは、網膜内での動きの検出または動きのぼやけと類似している。対象が速く動けば動くほど、より高い凹凸スコアとなる。
・ＤｉｇｒｅｅＯｆＣｏｌｏｒは、黒と白との両方が無色と考えられる場合に、その場面にある色の程度と類似している。原色は完全な色彩である。
・ＤｉｒｅｃｔｉｏｎＯｆＣｏｌｏｒは、どの程度の光が投げかけられているかとは関係のない色合いと類似している。例えば、赤いシャツは充分な日光においても日陰においても同じ赤である。
色空間のために使用される３つのメンバー、つまり、ＡｖｅｒａｇｅＡｌｔｉｔｕｄｅ、ＤｉｇｒｅｅＯｆＣｏｌｏｒ、およびＤｉｒｅｃｔｉｏｎＯｆＣｏｌｏｒは、要素の画素のみを表すが、他のメンバーは要素の近傍の状態を表す。本実装において、１つのテレインマップ要素は元のラスター図における４つの画素を表し、マップ要素の近傍は、その４つの画素を囲む８ｘ８のマトリックスから成る。同じ概念が、マップ要素に対する画素の他の比率および他の近傍のサイズで適用され得る。
【００１０】
図１は、テレインマップ構造を図示し、テレインマップが画像バッファ内の画素の近傍に関する８つのパラメータ（プリミティブデータ）を提供するように、テレインマップ構造の作成を図式的に描いている。テレインマップは、画素全体に渡る追加のコンピュータのパスなしに、８つのパラメータ、すなわちテレインマップデータメンバーに基づいて異なるバッファの記号比較を可能にする。
【００１１】
従って、Ｐｅｒｃｅｐｔｒａｋの開示において、セキュリティカメラのようなビデオカメラの自動スクリーニングのためのコンピュータシステムが実現され、該コンピュータシステムは、複数のビデオカメラと通信し、リアルタイムの画像分析コンポーネントを備えており、該ビデオカメラからのビデオ画像データは、該画像分析コンポーネントによって分析され、次いで該ビデオ画像データはセキュリティ監視のためにオペレータに選択的に提示され、該システムは、対象内容に関する該ビデオ画像データのリアルタイム分析を提供し、
（ａ）該イメージデータのこのようなフレーム全体に渡る少なくとも１つのパスを実行するための規定と、
（ｂ）画像データのフレーム全体に渡るこのようなパスから該テレインマップを生成するための規定と
を含み、テレインマップは該画像データの内容を示す複数のパラメータを含む。
【００１２】
該テレインマップは映像の内容に関する特性情報を複数のパラメータに含み、該特性情報は入力バッファにおける画素のカーネルのそれぞれに基づいており、該特性情報は、少なくとも、第１の該カーネルを囲むより大きいカーネルにおける複数の画素のそれぞれの関係を記述する数バイトのデータを含む。
【００１３】
Ｐｅｒｃｅｐｔｒａｋの開示の他の局面も重要であり、本発明のより完全な理解に先立ち理解されるべきである。
【特許文献１】米国特許出願公開第２００１／００３３３３０号明細書
【発明の開示】
【課題を解決するための手段】
【００１４】
本発明は、テレインマップの概念に基づいており、ツリーにおける各順を追ったステップにより記号データ構造の階層ツリーを作成し、該ツリーにおける各順を追ったステップは、基礎となるテレインマップまたはテレインマップ要約要素メンバーに基づいて要約を提供することによりさらに要約する。このような処理の目的および利益は、基本的には元の画像バッファからのデータの量を減らすことではなく、機械の視覚により適しているより豊富な構成を作成することであると理解され得る。
【００１５】
直接的なシステムの利益または対象は、記号データの類似性に基づく下位レベルメンバーの分類を容易さである。
【００１６】
リアルタイムの画像理解の領域以外での本発明の利益または対象は、内容についてクエリすることによって大きい画像データベースからの画像の取り出しを可能にする画像の記号記述子の作成である。
【００１７】
画像データから抽出されたプリミティブまたはメンバーについて階層データを取得することがさらなる利益または対象であり、該階層データは基礎となるプリミティブまたはメンバーのより高いレベルの記述を提供し、かつ、特に、画像理解が機械レベルで実現されなければならない場合に、該階層データは画像理解に寄与する。
【００１８】
本発明の他の利益は、特に、機械実装によるさらなる分析を可能にする画像の記号記述の作成および獲得を含み、該画像の記号記述は、問題分析、パターン分析、位置分析、記号分析、位相分析、地形分析、および／または関係分析の分野に有益であり、例えば、対象および画像の特質の機械認識を可能にするような方法で、対称性もしくは非対称性の認識、または画像の中の基準からの新発展の領域に有益である。本発明の使用はまた、画像領域の中における対象の確率および統計分析を助け、特に、このような分析のためのデータ要素の機械認識に関するときに助けとなり得る。
【００１９】
つまり、本発明は、対象内容に関するビデオまたは他のデジタル画像データの分析のためのシステムおよび方法に関し、該方法は、
（ａ）該画像データのフレーム全体に渡る少なくとも１つのパスを実行するステップと、
（ｂ）該画像データの該フレーム全体に渡る該パスからベーステレインマップを生成するステップであって、該ベーステレインマップは要素であり、該要素は該画像データの内容を示す複数のデータメンバーを備える、ステップと、
（ｃ）該テレインマップから階層的に移転された少なくとも１つの上位の層のテレインマップ要約要素を生成するステップであって、該上位の層のテレインマップ要約要素は、該テレインマップメンバーの内容を示す複数の記述面の形式で階層的データメンバーを備えている、ステップと
を包含する。
【００２０】
従って、テレインマップ要約要素データ構造の使用による画像データの分析のための方法およびシステムが開示され、該テレインマップ要約要素データ構造において、テレインマップは元の画像からの２ｘ２画素のカーネル毎に対する処理されたプリミティブデータを提供する。新たなデータ構造は、テレインマップ要素の階層的な複数のレベルまたは層の構造であり、該階層的な複数のレベルまたは層の構造において、各順を追ったテレインマップレベルは、例えば１６個の下位レベルの要素またはメンバーを要約する。マップ要素のこのような階層的な特質を提供することによって、各より高い要素によって豊富さが高められる。なぜならば、各順を追ったより高いレベルのマップの全ての要素が下位レベルのマップの要素からデータを要約するからである。例えば、本開示に従った５レベルのテレインマップ要約要素構造において、第５レベルの各要素またはメンバーは、約２５６Ｋのデータを要約している情報を含む。従って、このような各層は、取得された階層データに豊富さを加える。
【００２１】
他の対象、利点および特徴は記述から明らかになる。
【発明を実施するための最良の形態】
【００２２】
本特許または出願文書は、カラーで仕上げられた少なくとも１つの図面を含む。カラーの図面を有する本特許または特許出願公開物の複写は、請求および必要な料金の支払いにより当局から提供される。
【００２３】
本発明の方法は、獲得画像からデータを抽出することに関しかつ有益であり、該データは、人間の視覚ではなく、データの機械の視覚または機械解釈に役立つように使用される形式である。従って、ビデオカメラの画像化によって獲得されたもののようなスキャンされた映像というよりも、本発明は機械実装の決定が及ぼされ得るデータを抽出し使用することに向けられるということが理解される。
【００２４】
さらに詳細には、上記のＰｅｒｃｅｐｔｒａｋの開示において述べられたように、本開示はテレインマップに関し、画像スキャンから抽出されたプリミティブに関する追加の値情報は、ツリー内の各順を追ったステップが基礎となる画像をさらに要約し、記号データ構造の階層ツリーを作り出すことによって得られる。第一印象では、これは、テレインマップの使用によって抽出されるデータを減らすことによって、帯域幅を狭めることを提供するように見える。しかしながら、このような手順の意図は、必ずしも、元の画像バッファからのデータ量を減らすことではなく、むしろ機械の視覚により適したより豊富な構成とみなされるものを作り出すことである。
【００２５】
このようなより豊富な構成の使用に関するシステムの例として、Ｐｅｒｃｅｐｔｒａｋの開示を参照すると、ビデオカメラの自動スクリーニングのためのコンピュータシステムが開発されている。該システムは複数のビデオカメラと通信し、かつ、リアルタイムの画像分析コンポーネントを備えており、ビデオカメラからのビデオ画像データは画像分析コンポーネントによって分析される。次いでビデオ画像データは監視するためにオペレータに選択的に提示され、ここで、該コンピュータシステムは少なくとも１つのビデオワーカをさらに備えており、該ビデオワーカは該ビデオカメラからビデオ画像データを獲得するが、どのビデオカメラ（多数、可能性としては数百のカメラ）からのどの映像が表示されるべきかについては、機械実装の決定が行われなければならない。従って、このようなシステムは少なくとも１つの分析ワーカを含み、該分析ワーカは、画像データのフレームの形式でビデオワーカから該ビデオデータを受信し、該ビデオデータに関する画像分析を行い、画像データ内の活動についてのデータを提供する。従って、この分析ワーカは、
（ａ）該画像データのこのようなフレーム全体に渡る少なくとも１つのパスを実行するための規定と、
（ｂ）画像データのフレーム全体に渡るこのようなパスから該テレインマップを生成するための規定と
を含み、テレインマップは該画像データの内容を示す複数のパラメータを含む。
【００２６】
該テレインマップは映像の内容に対して特性情報を複数のパラメータの中に含み、該特性情報は入力バッファにおける画素のカーネルのそれぞれに基づいており、該特性情報は、少なくとも、第１の該カーネルを囲むより大きいカーネルの中の複数の画素のそれぞれの関係を記述する数バイトのデータを含む。
【００２７】
Ｐｅｒｃｅｐｔｒａｋのシステムにおいて、テレインマップから抽出された情報の分析は、システムに新たな画像分析技術を与え、該画像分析技術は、車両および歩行者の存在および活動に基づいてオペレータがどのカメラを見るべきかに関する決定を、システムが行うことを可能にする。イベントは車両と歩行者との両方に関連付けられ、限定するわけではないが、一人の歩行者、複数の歩行者、速く動く歩行者、転倒した歩行者、隠れている歩行者、突飛な行動の歩行者、群がる歩行者、一台の車両、複数の車両、速く動く車両、および急停止する車両を含む。画像分析技術はまた、背景画像をトラッキングし、動く標的をセグメント化することによって、歩行者の通行と車両の通行とを区別することができる。車両と比較した歩行者の動作特性、すなわち、歩行者は動くときに手足を動かすが、車両は動くときに同じ形状を維持することを含む複数の要因に基づいて、車両は歩行者と区別される。使用され得る他の要因は対象のアスペクト比と平滑度とを含み、例えば、歩行者は車両よりも背が高く、車両は歩行者よりも平滑であることにより区別され得る。
【００２８】
（階層的テレインマップ構造）
Ｐｅｒｃｅｐｔｒａｋの開示において述べられたテレインマップ構造は、元の画像からの２ｘ２画素のカーネル毎に対する事前処理されたプリミティブデータを提供することによって、非常に速く非常に効率の良い機械の画像分析を可能にする。
【００２９】
Ｐｅｒｃｅｐｔｒａｋの開示に従うと、テレインマップからの処理されたデータは、さらなる画像分析のためにいくつかのパラメータの生成をもたらす。該パラメータは、（１）平均高度、（２）傾斜度、（３）傾斜方向、（４）水平方向平滑度、（５）鉛直方向平滑度、（６）凹凸度、（７）着色度、および（８）着色傾向を含む。
【００３０】
本発明は、テレインマップ要素の階層構造を実装することによって、そのテレインマップ構造の上に立脚する。さらなる画像分析のための多くの追加のパラメータが生成され得る。
【００３１】
（１６分木構造）
Ｐｅｒｃｅｐｔｒａｋの開示において述べられたテレインマップ構造は、元の画像からの２ｘ２画素のカーネル毎に対する事前処理されたプリミティブデータを提供することによって、速い機械の画像分析を可能にした。本発明は、テレインマップ要素の階層構造を実装することによって、そのテレインマップ構造を改善し、その構造に立脚する。本明細書における記述は、１６分木構造に基づいており、各順を追ったテレインマップのレベルは１６個の下位レベル要素を要約する。ここでこれらはレベル１要素と考えられ得る。本発明は、レベル間の１６：１の比率によってではなく、マップ要素の階層的特質および各要素の豊富さによって特徴付けられる。本階層の概念は、レベル間の４：１の比率を使用する四分木を提供するためにも適用することができる。
【００３２】
図２は５レベルの１６分木テレインマップ構造を図示し、各順を追ったより高いレベルのマップの全ての要素がより低いレベルのマップの１６個の要素からのデータを要約する。５レベルのマップを使用することにおいて、レベル５の各要素は約２５６Ｋの画素について要約されたデータを含む。
【００３３】
１６個の要素の使用は例示であり、元の画像の４つの画素毎に１つのテレインマップ要素を有し、各テレインマップ要素は、マップ要素毎に該４つの画素に隣接する４ｘ４の画素の近傍を記述する８つのメンバーを有するテレインマップの使用を前提とするということが理解される。Ｐｅｒｃｅｐｔｒａｋの開示のシステムによって実行されるようなテレインマップの一実装において、１つのテレインマップ要素は元のラスター図における４つの画素を表し、マップ要素の近傍は、該４つの画素を囲む８ｘ８のマトリックスからなる。従って、同じ概念がマップ要素対画素の他の比率および近傍の他のサイズに適用され得るということを認識されたい。
【００３４】
（テレインマップ要約要素（ＴＭＳＥ））
本発明は特筆すべき方法でテレインマップの概念を拡げ、記号データ構造の階層ツリーを作成し、各データ構造は複数の記述要素を含み、ツリー内で上位方向に順を追う各ステップは、その記述要素によって基礎となる画像をさらに要約する。階層的なテレインマップの概念のこのようなより上位レベルをレベル１の要素と区別するために、より豊富なメンバーの組を有する全ての上位レベルの要素はテレインマップ要約要素と呼ばれ、頭字語ＴＭＳＥはテレインマップ要約要素を意味するために作り出されており、一組の要素と組の中の要素との両方を意味する。
【００３５】
ＴＭＳＥの各レベルが次第に多くの数の画素を記述するので、ＴＭＳＥメンバーの組はテレインマップ要素よりも豊富であるということを認識することが適切である。地形図のような地理的地形のマップのひらめきから、単に参照の利便性のために、（適切な場合には）ＴＭＳＥメンバーは地形の特徴にちなんで名付けられており、本発明者らによるテレインマップなる新たな用語の任意的な使用に従い、該Ｐｅｒｃｅｐｔｒａｋの開示におけるＰｅｒｃｅｐｔｒａｋシステムの発明者によって最初に使用された。従って、本明細書において使用されるテレインマップなる用語は、辞書的なひらめき以外には、地理的地形のマップには全く関係がない。
【００３６】
図１を参照すると、テレインマップ構造は、Ｐｅｒｃｅｐｔｒａｋの開示で設定された手法または方法に従って確立されており、それにより元の画像からの画素のカーネルについて事前処理されたプリミティブデータを提供し、画像に関する速い機械分析を可能にする。記号データ構造の階層ツリーは、Ｐｅｒｃｅｐｔｒａｋの開示に従って第１のテレインマップから開始し、所定の要約要素を実装するために、上位方向への順を追ったステップによって進むことによって作成され、第１のテレインマップの要約要素のそれぞれは基礎となる画像の状況を要約し、各すぐ上のテレインマップの要約要素は、すぐ下のテレインマップにおける１つ以上の属性の測定値であるか、またはすぐ下のテレインマップで抽出されたデータを要約する。
【００３７】
従って、図１は、本発明が関連するテレインマップ構造の作成を図示している。テレインマップ構造は、元の画像、例えば、画像バッファ内に存在し得るようなビデオデータからの画素の近傍（カーネル）について処理されたプリミティブデータ要素を提供する。図１において、テレインマップ構造は、テレインマップと呼ばれるデータ構造の作成として図形で描かれ、該テレインマップは画像バッファ（図示せず）における画素の近傍について８つのパラメータ（プリミティブデータ）を提供する。テレインマップは、画素全体に渡る追加のコンピュータパスを用いることなく、８つのパラメータ、すなわち、地形データ要素である記述要素に基づいて、異なるバッファの記号比較を可能にする。
【００３８】
このようなコンピュータシステムにおいて、記述メンバーまたはパラメータは、
・ＡｖｅｒａｇｅＡｌｔｉｔｕｄｅと呼ばれ、該ビデオ画像データの該フレームにおける２ｘ２カーネルの中心における４つの画素の平均値を評価する平均高度パラメータ
・ＤｅｇｒｅｅＯｆＳｌｏｐｅと呼ばれ、該平均高度で計算された最高平均値と最低平均値との間の絶対的な差を評価する傾斜度パラメータ
・ＤｉｒｅｃｔｉｏｎＯｆＳｌｏｐｅと呼ばれ、該平均高度によって計算された該最高平均値と該最低平均値とに基づいて、傾斜方向を評価する傾斜方向パラメータ
・ＨｏｌｉｚＳｍｏｏｔｈｎｅｓｓと呼ばれ、左から右にカーネルを横切るＡｖｅｒａｇｅＡｌｔｉｔｕｄｅにおける変化のコンシステンシーを評価する水平方向平滑度パラメータ
・ＶｅｒｔＳｍｏｏｔｈｎｅｓｓと呼ばれ、上から下にカーネルを横切るＡｖｅｒａｇｅＡｌｔｉｔｕｄｅにおける変化のコンシステンシーを評価する鉛直方向平滑度パラメータ
・Ｊａｇｇｙｎｅｓｓと呼ばれ、該ビデオ画像の該フレームからセグメント化された標的に対する奇数の領域と偶数の領域との間での画素のオフセットを評価する凹凸度パラメータ
・ＤｅｇｒｅｅＯｆＣｏｌｏｒと呼ばれる着色度パラメータ
・ＤｉｒｅｃｔｉｏｎＯｆＣｏｌｏｒと呼ばれる着色傾向パラメータ
を含む。
【００３９】
Ｐｅｒｃｅｐｔｒａｋの開示において、該パラメータまたは記述メンバーは色空間計算によって生成され、該色空間計算は、色がグレースケールから離れた程度を評価する着色度パラメータと、二次元色分析に基づいて色を評価する着色傾向パラメータとを含む。
【００４０】
図１を参照すると、画像の各４つの画素が１つのテレインデータ要素に変換される。テレインデータ要素のアレイはテレインマップとなる。図１において、テレインマップは人が見るために８つのコンポーネントに視覚的に分割される。テレインマップは、Ｐｅｒｃｅｐｔｒａｋの開示のように、機械実装のために視覚的に分割される必要はない。
【００４１】
従って、該テレインマップの記述要素は複数のパラメータまたは記述要素を構成し、該複数のパラメータまたは記述要素は映像内容に関する特性情報であり、該特性情報は入力バッファにおける画素のカーネルのそれぞれに基づいており、該特性情報は、少なくとも、第１の該カーネルを囲む、より大きいカーネルにおける複数の画素のそれぞれの関係を記述する数バイトのデータを含む。
【００４２】
階層データの順を追った層（レベル）を提供し、複数のレベルを有するツリーテレインマップ構造を形成するために、手順が順に拡げられ、各順を追ってより高くなるテレインマップの全ての要素は、一つ下のレベルのテレインマップの所定の要素からのデータを要約する。
【００４３】
対象の内容に関するデータの分析のための本システムの手順または方法は、
（ａ）該画像データのフレーム全体に渡る少なくとも１つのパスを実行するステップと、
（ｂ）該画像データの該フレーム全体に渡る該パスからベース（レベル１）テレインマップを生成するステップであって、該ベースレベルのテレインマップは、例えば、データがビデオカメラによって獲得されたときに、プリミティブの形式で複数のベースデータメンバーを備え、該プリミティブは、例えば、一時的にまたは画像バッファに保持されるビデオデータフレームのビデオデータのような該画像データの内容を示す、ステップと、
（ｃ）該ベーステレインマップから階層的に移転された少なくとも１つの上位の層のテレインマップ要約（ここではレベル２）を生成するステップであって、該上位の層のテレインマップ要約は、該プリミティブに対応する形式で、ベースレベルのテレインマップの該ベースデータ要素（メンバー）の内容を示す複数の要素を備えている、ステップと
を包含する。
【００４４】
同様な方法で、本方法は、最も好適には、レベル２より上にテレインマップ要約層を１つずつ上に順を追って生成することを含み、各層はすぐ下の層のデータ要素の内容を示す複数のメンバーを含み、その結果、元のデータを充分に表す。
【００４５】
階層データの順を追った層は、レベル１、レベル２、レベル３、レベル４およびレベル５として識別され、その結果、５レベルの１６分木テレインマップ要約の１６分木テレインマップ要約構造を提供し、該５レベルの１６分木テレインマップ要約において、各順を追ったより高いレベルのテレインマップ要約の全ての要素は一つ下のレベルの所定のメンバーからのデータを要約する。
【００４６】
階層データの性質が以下で述べられており、テレインマップ要約構造の各層またはレベルにおいて、データ要素は元の画像から抽出された情報を表すが、画像自体を表さないということが理解される。つまり、画像、または順を追ったビデオ画像、またはビデオ画像のフレームの分析の場合、少なくとも１つのパスがこのようなデータフレーム全体に渡って作られ、Ｐｅｒｃｅｐｔｒａｋの開示に記述されている特定の関数に従い、かつ、以下で述べられるように、元の画像データの内容に基づいた、または元の画像データから抽出された関数記述要素を抽出する。
【００４７】
図３は、所定の数のテレインマップ要約要素のそれぞれに対する関数ＬｅｖｅｌＤｉｒｅｃｔｉｏｎＳｌｏｐｅの例示的なプロットを示し、外側の要素は関数値ＡｖｅｒａｇｅＡｌｔｉｔｕｄｅの最高値および最低値をテストされ、傾斜方向は、最低値の要素の中央から最高値の要素の中央までのベクトルによって計算される。図は関数ＬｅｖｅｌＤｉｒｅｃｔｉｏｎＳｌｏｐｅの基本を図示するのに役立つ。
【００４８】
以下で記述されるＴＭＳＥのメンバーは、画素群の豊富な記号記述を提供する本発明の意図を表す。全組が階層テレインマップの概念によって必要とされているわけではない。従って、所定の数のＴＭＳＥメンバーが所望の目的に応じて選択され得る。ＣｏｍＡｌｔＤｉｆｆおよびＡｖｇＡｌｔＤｉｆｆの２つを除いて、記述されたメンバーの全てが８ビットの値と想定されている。ＣｏｍＡｌｔＤｉｆｆおよびＡｖｇＡｌｔＤｉｆｆは前景画像と背景画像との間のセグメント化のプロセスにのみ適用される。他の全てのメンバーはセグメント化と包括的な画像記述との両方に適用される。代表的なＴＭＳＥメンバーは：
ＡｖｅｒａｇｅＡｌｔｉｔｕｄｅ：全ての下位のテレインマップ要素全体のＡｖｅｒａｇｅＡｌｔｉｔｕｄｅ要素の平均。
Ｆｌａｔｎｅｓｓ：基礎となるレベル１のマップの要素の高度のコンシステンシーの評価基準。含まれるレベル１のマップの全ての要素が同じＡｖｅｒａｇｅＡｌｔｉｔｕｄｅを有する場合には、平滑度はフルスケール２００である。
ＣｏｍＡｌｔｉｔｕｄｅ：下位のテレインマップ要素の最も頻繁に生じる高度。
ＡｖｇＤｅｇｒｅｅＯｆＳｌｏｐｅ：所与の閾値を上回る、全ての下位のテレインマップ要素のＤｅｇｒｅｅＯｆＳｌｏｐｅの平均。
ＣｏｍＤｅｇｒｅｅＯｆＳｌｏｐｅ：所与の閾値を上回る、全ての下位のテレインマップ要素の最も頻繁に生じるＤｅｇｒｅｅＯｆＳｌｏｐｅ。
ＤｅｇｒｅｅＯｆＳｌｏｐｅＲｅｇｕｌａｒｔｙ：基礎となる要素のＤｅｇｒｅｅＯｆＳｌｏｐｅのコンシステンシーの評価基準。
ＰｅｒｃｅｎｔＷｉｔｈＳｌｏｐｅ：所定の閾値を上回る、ＤｅｇｒｅｅＯｆＳｌｏｐｅメンバーのパーセント。
ＰｅｒｃｅｎｔＶｅｒＳｌｏｐｅ：所与の閾値を上回る、傾斜のパーセント（鉛直方向）。
ＰｅｒｃｅｎｔＨｏｒＳｌｏｐｅ：所与の閾値を上回る、傾斜のパーセント（水平方向）。
ＰｅｒｃｅｎｔＡｍｂＳｌｏｐｅ：所与の閾値を上回る、傾斜のパーセント（不明瞭方向）。
ＡｖｇＨｏｒＳｍｏｏｔｈｎｅｓｓ：全ての下位のテレインマップ要素のＨｏｌｉｚｏｎｔａｌＳｍｏｏｔｈｎｅｓｓの平均。
ＣｏｍＨｏｒＳｍｏｏｔｈｎｅｓｓ：全ての下位のテレインマップ要素の最も頻繁に生じるＨｏｌｉｚｏｎｔａｌＳｍｏｏｔｈｎｅｓｓ。
ＨｏｒＲｅｇｕｌａｒｉｔｙ：基本のレベル１のマップの要素のＨｏｌｉｚｏｎｔａｌＳｍｏｏｔｈｎｅｓｓに関するコンシステンシーの評価基準。含まれるレベル１のマップの全ての要素が同じＨｏｌｉｚｏｎｔａｌＳｍｏｏｔｈｎｅｓｓを有する場合には、ＨｏｒＲｅｇｕｌａｒｉｔｙはフルスケール２００である。
ＡｖｇＶｅｒＳｍｏｏｔｈｎｅｓｓ：全ての下位のテレインマップ要素のＶｅｒｔｉｃａｌＳｍｏｏｔｈｎｅｓｓの平均。
ＣｏｍＶｅｒＳｍｏｏｔｈｎｅｓｓ：全ての下位のテレインマップ要素の最も頻繁に生じるＶｅｒｔｉｃａｌＳｍｏｏｔｈｎｅｓｓ。
ＶｅｒＲｅｇｕｌａｒｉｔｙ：基礎となるレベル１のマップの要素のＶｅｒｔｉｃａｌＳｍｏｏｔｈｎｅｓｓに関するコンシステンシーの評価基準。含まれるレベル１のマップの全ての要素が同じＶｅｒｔｉｃａｌＳｍｏｏｔｈｎｅｓｓを有する場合には、ＶｅｒＲｅｇｕｌａｒｉｔｙはフルスケール２００である。
ＡｖｅＪａｇｇｙｎｅｓｓ：全ての下位のテレインマップ要素のＪａｇｇｙｎｅｓｓの平均。
ＪａｇＲｅｇｕｌａｒｉｔｙ：基礎となるレベル１のマップの要素の凹凸関するコンシステンシーの評価基準。含まれるレベル１のマップの全ての要素が同じＪａｇｇｙｎｅｓｓを有する場合には、ＪａｇＲｅｇｕｌａｒｉｔｙはフルスケール２００である。
ＡｖｅＤｅｇＯｆＣｏｌｏｒ：全ての下位のテレインマップ要素のＤｅｇｒｅｅＯｆＣｏｌｏｒの平均。
ＣｏｍＤｅｇＯｆＣｏｌｏｒ：全ての下位のテレインマップ要素の最も頻繁に生じるＤｅｇｒｅｅＯｆＣｏｌｏｒ。
ＤｅｇＣｏｌｏｒＲｅｇｕｌａｒｉｔｙ：基礎となるレベル１のマップの要素のＤｅｇｒｅｅＯｆＣｏｌｏｒに関するコンシステンシーの評価基準。含まれるレベル１のマップの全ての要素が同じＤｅｇｒｅｅＯｆＣｏｌｏｒを有する場合には、ＤｅｇＣｏｌｏｒＲｅｇｕｌａｒｉｔｙはフルスケール２００である。
ＰｅｒｃｅｎｔＧｒｅｅｎ：緑色に近いＤｉｒｅｃｔｉｏｎＯｆＣｏｌｏｒ要素のパーセント。
ＰｅｒｃｅｎｔＣｙａｎ：青色と緑色との間のＤｉｒｅｃｔｉｏｎＯｆＣｏｌｏｒ要素のパーセント。
ＰｅｒｃｅｎｔＢｌｕｅ：青色に近いＤｉｒｅｃｔｉｏｎＯｆＣｏｌｏｒ要素のパーセント。
ＰｅｒｃｅｎｔＭａｇｅｎｔａ：青色と赤色との間のＤｉｒｅｃｔｉｏｎＯｆＣｏｌｏｒ要素の割合。
ＰｅｒｃｅｎｔＲｅｄ：赤色に近いＤｉｒｅｃｔｉｏｎＯｆＣｏｌｏｒ要素のパーセント。
ＰｅｒｃｅｎｔＹｅｌｌｏｗ：赤色と緑色との間のＤｉｒｅｃｔｉｏｎＯｆＣｏｌｏｒ要素のパーセント。
ＣｏｍｍｏｎＤｉｒＣｏｌｏｒ：全ての下位のテレインマップ要素の最も頻繁に生じるＤｉｒｅｃｔｉｏｎＯｆＣｏｌｏｒ。
ＤｉｒＣｏｌｏｒＲｅｇｕｌａｒｉｔｙ：基礎となるレベル１のマップの要素のＤｉｒｅｃｔｉｏｎＯｆＣｏｌｏｒに関するコンシステンシーの評価基準。含まれるレベル１のマップの全ての要素が同じＤｉｒｅｃｔｉｏｎＯｆＣｏｌｏｒを有する場合には、ＤｉｒＣｏｌｏｒＲｅｇｕｌａｒｉｔｙはフルスケール２００である。
ＡｖｇＡｌｔＤｉｆｆ：全ての下位のテレインマップ要素のＡｌｔＤｉｆｆ要素の平均（前景から背景までの高度差）。
ＣｏｍＡｌｔＤｉｆｆ：全ての下位のテレインマップ要素の最も頻繁に生じるＡｌｔＤｉｆｆ（高度差）。
ＡｌｔＤｉｆｆＲｅｇｕｌａｒｉｔｙ：基礎となるレベル１のマップ要素のＡｌｔＤｉｆｆに関するコンシステンシーの評価基準。含まれるレベル１のマップの全ての要素が同じＡｌｔＤｉｆｆを有する場合には、ＡｌｔＤｉｆｆＲｅｇｕｌａｒｉｔｙはフルスケール２００である。
ＬｅｖｅｌＶｅｒＳｍｏｏｔｈｎｅｓｓ：一つ下のマップレベルのＡｖｅｒａｇｅＡｌｔｉｔｕｄｅを使用することを除き、レベル１のマップと同じ計算による本レベルのＶｅｒｔｉｃａｌＳｍｏｏｔｈｎｅｓｓ。
ＬｅｖｅｌＨｏｒＳｍｏｏｔｈｎｅｓｓ：一つ下のマップレベルのＡｖｅｒａｇｅＡｌｔｉｔｕｄｅを使用することを除き、レベル１のマップと同じ計算による本レベルのＶｅｒｔｉｃａｌＳｍｏｏｔｈｎｅｓｓ。
ＬｅｖｅｌＤｅｇｒｅｅＯｆＳｌｏｐｅ：４ｘ４の下のレベルからのマップ要素のカーネルから計算されることを除き、レベル１に対する４ｘ４画素のカーネルから計算されるようなＤｅｇｒｅｅＯｆＳｌｏｐｅ。
ＬｅｖｅｌＤｉｒｅｃｔｉｏｎＳｌｏｐｅ：４ｘ４の下のレベルからのカーネルのマップ要素から計算されることを除き、レベル１に対する４ｘ４画素のカーネルから計算されるようなＤｉｒｅｃｔｉｏｎＯｆＳｌｏｐｅ。
である。
【００４９】
（ＬｅｖｅｌＤｉｒｅｃｔｉｏｎＳｌｏｐｅの測定）
各ＴＭＳＥに対するＬｅｖｅｌＤｉｒｅｃｔｉｏｎＳｌｏｐｅは一つ下のレベルの境界要素の最低値と最高値との関数として計算される。図３の１６分木要素の例において、１２個の外側の要素は平均高度の最高値および最低値をテストされており、傾斜方向は最低値の要素の中央から最高値の要素の中央までのベクトルによって計算される。図３の例は低い要素がコーナーまたはコーナーに隣接する縁にある場合に抽出され得る１９個のベクトルを図示している。図３の４ｘ４のカーネルは他の３つの位置を介して循環され得、その結果、例示のベクトルが他の３つのコーナーにあり、低い境界要素および高い境界要素の組み合わせから合計７６個の可能なベクトルを提供する。７６の可能なベクトルを有する４ｘ４カーネルの配置は、約５度の傾斜方向の解像度を可能にする。
【００５０】
（Ｆｌａｔｎｅｓｓ／Ｒｅｇｕｌａｒｉｔｙ（規則性）よび普通要素の測定）
１６分木テレインマップ要素の一部は基礎となるレベル１のマップ要素のコンシステンシーの測定値となる。全てがレベル１に含まれる場合には、全てがスコアされる。
【００５１】
マップ要素が同じ値を有すると、Ｆｌａｔｎｅｓｓ／Ｒｅｇｕｌａｒｉｔｙはフルスケールの値２００（パーセント＊２）に設定される。
【００５２】
測定技術は、例えば、
ｌｏｎｇＶａｌｕｅＢｉｎ［２５６］
のような二進数長精度のアレイを作り出すことであり、この場合、要素の各可能な値に対して１つの要素（バイナリ）が存在する。
【００５３】
基底の要素の全ての値がチェックされ、各要素に対するバイナリが増加される。例えば、ＡｖｅｒａｇｅＡｌｔｉｔｕｄｅ値が２５であることが分かると、
＋＋ＶａｌｕｅＢｉｎ［２５］
となる。
【００５４】
全ての関連するマップ要素がテストされた後で、最大の数を有するバイナリが普通要素となり、そのバイナリの全要素の割合が規則性を決定する。Ｒｅｇｕｌａｒｉｔｙに対する等式は、
Ｒｅｇｕｌａｒｉｔｙ＝２００＊ＶａｌｕｅＢｉｎ［ＢｉｎＷｉｔｈＭａｘＶａｌｕｅ］／ＴｏｔａｌＳａｍｐｌｅＣｈｅｃｋｅｄ
式１  Ｒｅｇｕｌａｒｉｔｙ（規則性）の計算
となる。普通要素はＶａｌｕｅＢｉｎ［ＢｉｎＷｉｔｈＭａｘＶａｌｕｅ］であり、最も頻繁に生じる値をもたらす。
【００５５】
（１６分木バッファのサイズ）
ここでは３６個の要素が提案されており、２つは２バイトの短精度であり、残りは１バイトの値であり、このことが１６分木マップ要素毎に３８バイトを提供する。
【００５６】
レベル１のマップはこの１６分木のスキームを用いても８バイトから変更されない。
【００５７】
【表１】
2008544409.tif 000003
従って、合計で２０２，２４０バイトが必要とされる。相対的な効率の例は、３２０ｘ２４０色の画像バッファは２３０，４００バイトを有する。比較として、本開示に従った５レベルの１６分木は２０２，２４０バイトを使用する。これは８８％の相対的使用率（バッファのサイズにより１２％減少）を表し、画像の内容を記述するデータはずっと豊富であり、未処理の画像データによっては供給されない目的に有益である。
【００５８】
上記のことから、本発明のいくつかの目的が達成され、かつ、他の利点が取得されるということが理解される。
【００５９】
上記のものは、本発明を実行するために考えられる現在予見可能なベストモードの記述を含むが、様々な改変が考えられる。
【００６０】
本発明の範囲を逸脱することなく、本明細書に記述および例示された構成および方法に関して、様々な改変が行われ得るが、上記の記述に含まれ、または添付の図面に示された全事項は限定というよりも例示として解釈されるべきであるということが意図されている。
【図面の簡単な説明】
【００６１】
【図１】図１は、本発明が関連するテレインマップ構造または要素を図示しており、このようなテレインマップ要素は元の画像からの画素の近傍（カーネル）に対して処理されたプリミティブデータを提供し、ビデオデータのような画像が画像バッファにある場合、画像の速い機械分析を可能にする。
【図２】図２は、５レベルの１６分木テレインマップの１６分木テレインマップ構造であり、該５レベルの１６分木テレインマップにおいて、各順を追ったより高いレベルの要約メンバーの全てのメンバーは一つ下のレベルの所定のメンバーからのデータを分析する。
【図３】図３は、所定のテレインマップ要約要素のそれぞれに対する要約メンバーＬｅｖｅｌＤｉｒｅｃｔｉｏｎＳｌｏｐｅの例示的なプロットを示し、外側の要素メンバーは関数値ＡｖｅｒａｇｅＡｌｔｉｔｕｄｅの最高値および最低値をテストされており、傾斜方向は、最低値の要素の中央から最高値の要素の中央までのベクトルによって計算される。図は関数ＬｅｖｅｌＤｉｒｅｃｔｉｏｎＳｌｏｐｅの基本を例示するのに役立つ。
【図１】
2008544409.tif 000004
【図２】
2008544409.tif 000005
【図３】
2008544409.tif 000006
【国際調査報告】
2008544409.tif 000007