(57)【要約】【課題】  フーリエ変換の必要性を除去し、したがって時間のかかる乗算および加算を除去する、ビデオディジタル色画素フィルタリングおよびディジタル画像処理のための装置。【解決手段】  それは、単純なソフトウェアを活用して各プロセッサがリアルタイム対話型ディジタル画像処理のレーテンシ問題を最小にする、ファーストイン／ファーストアウトメモリと連動して動作する新しい分散型コンピュータアーキテクチャを活用する。この分散処理アーキテクチャは、ＦＩＦＯが１台のプロセッサからもう１台に半分処理されたデータを伝える、工場組立てラインと同様の方法で動作するように設定される。独特のメモリベースのシステムが、６自由度で移動する移動オブジェクトの、距離および回転ベクトルを含む動きベクトルを測定するのに用いられる。【選択図】図１
2012502275.tif 000002
【特許請求の範囲】
【請求項１】
各それぞれのラスター入力画素が、画素のｎ個の要素から成る色識別を示すビデオカメラまたはセンサからの順序づけられたｎ個の要素から成る組の値を有する、一連のラスター入力画素信号のディジタルビデオフィルタリングを実行するための装置であって、前記装置が以下、すなわち、
ａ）入力ディジタルビデオデータビットストリームのヘッダに同期して、かつ画素タイミング内の原色の「ｎ」個の要素から成る組のそれぞれおよび各原色の位置を識別するのに必要なディジタルタイミングおよび制御信号を供給する、ディジタルビデオ同期およびタイミングと、
ａ）原色ディジタルフィルタであって、ラスター入力プライム信号のｎ個の要素から成るシーケンスの強度を受信して、かつ各それぞれのｎ個の要素から成る原色強度をそれぞれの原色メモリアドレスに写像するように連結され、各メモリアドレスが、
所定のメモリアドレス範囲内のそれぞれのメモリアドレスであって、
各所定のメモリアドレス範囲が、その範囲内の多色オブジェクトのｎ個の要素から成る入力の各原色、
その範囲内のオブジェクトに属する１つのグループの色の多色プライム識別番号、
多色オブジェクトのグループ識別番号、を識別するアドレスを有し、
各メモリアドレスが、オブジェクトに属する１つのグループの色の範囲内の、および、多色オブジェクトの異なるグループの範囲内の多色オブジェクトの原色を識別する、フィルタと、
ｂ）メモリアドレスに対する入力として、多色オブジェクトに属する色のグループ、の多色オブジェクトの原色識別番号を受信するように連結される、スペクトル色ディジタルフィルタであって、各メモリアドレスが、
所定のメモリアドレス範囲内のそれぞれのメモリアドレスであって、
各所定のメモリアドレス範囲が、その範囲内の多色オブジェクトのｎ個の要素から成る組入力の各色、
その範囲内のオブジェクトに属する１つのグループの色、の多色識別番号、
多色オブジェクトのグループ識別番号、
色のスペクトル内の色の検出を示す色識別マーク、を識別するアドレスを有し、
各メモリアドレスが、オブジェクトに属する１つのグループの色の範囲内の、および、多色オブジェクトの異なるグループの範囲内の色スペクトル内の多色オブジェクトの各色を識別する、フィルタと、からなる装置。
【請求項２】
請求項１の装置であって、前記ディジタルスペクトルフィルタの出力に連結されるシフトレジスタベースのハードウェアブロックが、フレームの行内の、行内の「ｎ」画素の不在を検出し、ここで「ｎ」が、同じ色または異なる色の次の通りの２つのオブジェクトの間の画素間隔の検出のための任意の数であり、
ａ）色スペクトルメモリの出力から画素識別マークが検出されるたびに、前記シフトレジスタが、数「ｎ」をロードされ、
・「ｎ」が最後の画素検出マークに続く行内の連続した検知されていない画素の数を示す任意の数であり、
・前記画素検出マークが見いだされない各連続画素時間中に、前記シフトレジスタ内の前記「ｎ」が、１だけ減少させられ、
ｂ）「ｎ」カウントの終わりで、前記レジスタが行内の不在「ｎ」画素数を示すギャップ信号を生成し、
ａ）画素プロセッサが、ビデオデータＦＩＦＯ内に書かれる最後に検出された画素識別データに対してこのギャップ情報を修正し、
ｂ）ギャップが、別の指定された色画素からの行内の指定された色画素の不在であるものまたは同じ行内の同じ色画素であり、
ｃ）ギャップが、別の指定された色画素または同じ色画素からの行内の指定された色画素の不在である、ことを特徴とする装置。
【請求項３】
水平および垂直の複数のサブプロセッサからなる分散処理プロセッサであって、個々のプロセッサが、複数のファーストイン／ファーストアウトメモリとともに、時間同期された異端の機能構築で互いに対して前および後処理配置で配置され、ＦＩＦＯが、１台のプロセッサから別なものまで半処理されたデータを伝えるために１台のプロセッサを他にリンクし、
ａ）分散処理プロセッサがディジタルフィルタから受信されるデータを継続的に処理し、かつ、この種のデータを、６自由度で移動する着色オブジェクトの座標位置、速度および加速度に変換し、前記装置が以下の、
フィルタプロセッサ、
ビデオデータＦＩＦＯ、
画素グループ識別子プロセッサ、
グループ識別子ＦＩＦＯ
行（ｘ）および列（ｙ）座標プロセッサ
中心点ｘ（行）および列（ｙ）座標ＦＩＦＯ
デルタ時間プロセッサ
オブジェクト識別プロセッサ
動き距離および回転検出器
ベクトル動き測定ＲＡＭ
動き追跡ＦＩＦＯ
動き追跡プロセッサ
から構成され、
ｂ）各プロセッサのタスクがフレームの開始に同期されるビデオフレームに、個々のプロセッサが同期され、および各タスクが同じフレームの終了の前に完了されなければならず、
ｃ）各プロセッサタスクが最小に保たれる、垂直方向のサブプロセッサ機能タスクが、拡張され、
ｄ）各プロセッサがフレームの時間内に前記データの異なる部分上で正確な同じ機能を実行するように、水平方向のプロセッサの機能タスクが拡張され、
ｅ）各プロセッサデータがインタリーブされて、かつフレーム内の詳細なタイミングに基づいて向けられるように、フレームのタイミングがデータフローを向けるように活用される、ことを特徴とするプロセッサ。
【請求項４】
請求項３の装置であって、色スペクトルフィルタに連結される前記フィルタプロセッサが、その画素タイミング中に画素色の検出を示すために、画素検出マークが前記スペクトル色フィルタの出力に現れるときはいつでも、色スペクトルメモリから画素情報を読み込み、かつビデオデータＦＩＦＯに以下、すなわち、
ａ）フィルタをかけられた色画素データ、
・多色オブジェクトのスペクトル識別番号、
・オブジェクトに属する（色の）グループ番号、
ｂ）ビデオフレーム行カウンタからの行の終わりでのフレーム行カウント
ｃ）列の終わり（フレームの終わり）でのビデオフレーム行カウンタからの列カウント、
ｄ）画素ギャップ検出、
ｅ）フィルタプロセッサ書込みおよび画素識別子プロセッサ読取りに対するＡからｂへの、およびＢからＡへのビデオデータＦＩＦＯの順序の変更、を与える、ことを特徴とする装置。
【請求項５】
請求項１ないし４の装置であって、前記画素グループ識別子プロセッサが、それらが処理の次の段階に対する前記画素の他の統計データと共に、フィルタリング中に検出される、それらの色、色グループ識別およびｘ（行）座標アドレスに基づいて受信された画素の前記色を分類して、かつ分離し、前記方法が、以下のステップ、すなわち（括弧内の数字は、図６内のポイントを参照する）、
ａ）ポイント（１０２）で、ビデオＦＩＦＯから新しい画素について調べるステップ、
ｂ）ポイント（１０２）で、ビデオデータＦＩＦＯから、色番号およびグループ番号とともに先頭の画素のｘ座標基準を読み込んでかつ保持するステップ、
ｃ）ポイント（１０４）で、前記ビデオデータＦＩＦＯから、色番号およびグループ番号とともに第２の画素のｘ座標基準を読み込んでかつ保持するステップ、
ｄ）ポイント（１０５）で、それが同じ色である場合、ポイント（１０６）に遷移し、かつ、以下を行うステップ、
・グループ内にある行内の同じ色の画素の数を増す、
・前記行内に最小および最大ｘ座標を保つ、
・中間的ｘ座標データを廃棄する、
・ポイント１０４に遷移する、
ｅ）ポイント（１０５）で、それが同じ色でない場合、ポイント（１０７）に遷移するステップ、
ｆ）ポイント（１０７）で、それが色の同じグループに属する場合、ポイント（１０４）に遷移するステップ、
ｇ）ポイント（１０７）で、前記色が同じグループに属さない場合、グループ識別子ＦＩＦＯに以下を書き込むステップ、
・行内に見いだされる１つのグループの色の全ての画素の追加、
・行内に見いだされる色のグループの中心点基準ｘ、
■グループに属しており、かつギャップマークで終わる色のグループの始めと終わり座標アドレス、
■非検出、ギャップの前に同じ色画素の色画素の初期および終了検出、
・それらが行内に見いだされた色の前記の列番号、・ポイント（１０９）への遷移、
ｈ）ポイント（１０９）で、前記ギャップマークについて調べ、何のギャップもない場合、エラーメッセージを生成し、かつ、ポイント（１０４）に遷移するステップ、
ｉ）ポイント（１０９）で、ギャップがある場合、ポイント１１１に遷移するステップ、
ｊ）ポイント（１１１）でビデオデータＦＩＦＯ空き信号について調べ、および、それが空でない場合、ポイント（１０２）に遷移するステップ、
ｋ）ポイント（１１１）で、前記ＦＩＦＯが空の場合、ポイント（１１３）に遷移するステップ、
ｌ）ポイント（１１３）でグループ識別子ＦＩＦＯを、データの次のフレームに対してＡからＢまで書き込むこと、および次のステージのプロセッサに対してＢからＡまで読み込むことを可能にし、かつポイント（１０２）に遷移するステップ、を含むことを特徴とする装置。
【請求項６】
請求項３の装置であって、前記グループ識別子ＦＩＦＯに連結される中心点ｘ（行）およびｙ（列）座標プロセッサが、オブジェクトの中心点ｘおよびｙ座標を分類して、かつ識別する、ことを特徴とする装置であり、
それが２−中心点基準座標を初めに調べることに基づき、および、それらが等しい場合、それはそれらが分離された列の番号について調べ、
何の分離もない場合、それは同じオブジェクトとみなし、さもなければ、それが新しい検出されたオブジェクトであるとみなし、
前記方法および前記詳細な機能活動が、図７、７Ａ、７Ｂおよび７Ｃ内に表されて、かつ以下のステップを含む（括弧内の数字は、図７内のポイントを参照する）：
ａ）ポイント（１３１）で、前記グループ識別子ＦＩＦＯ内の第１の座標アドレスから開始して、比較のためのｘの中心点の第１のエントリを読み込むステップ、
ｂ）ポイント（１３２）で、前記グループ識別子ＦＩＦＯから次のエントリを読み込み、および、＋／−「ｎ」だけ第２の中心点を拡張し、ここで「ｎ」が、１つの列からもう一方まで２つのｘ基準中心点座標の分離および間隔を示すステップ、
ｃ）（１３３）で第１のｘ−「ｎ」座標アドレスから始めて、２つのｘ中心点の近さを比較するステップ、
ｄ）（１３３）で２つの中心点ｘが等しい場合、ポイント（１３４）に遷移するステップ、
ｅ）ポイント（１３３）で２つの座標読取りが等しくない場合、＋／−ｎ範囲の検索を続けるために、ポイント（１３７）に遷移するステップ、
ｆ）ポイント（１３７）で、１だけｘを増やし、および、ポイント１３８に遷移するステップ、
ｇ）ポイント（１３８）で、それが中心点ｘ基準座標に対する検索範囲の終わりでない場合、ポイント（１３３）に遷移するステップ、
・検索の終了のポイント（１３８）で、２つのｘ座標が同じ範囲内にあることが見いだされなかった場合、それは第２の座標が新しいオブジェクトに属することを示し、および、遷移がポイント（１３９）になされる、
ｈ）  （１３４）で、２つの中心点が「ｍ」で分離されるかどうか調べ、ここで、ｍは列の分離の数を示し、および前記がである場合（１３６）に遷移するステップ、
ｉ）（１３４）で、２つの中心点座標がｍで分離されて、分離されない場合、座標が同じオブジェクトであるとみなし、かつポイント（１３５）に遷移するステップ、
ｊ）ポイント（１３５）で座標が接近して位置した列の同じオブジェクトであるとみなし、かつ以下を行うステップ、
・連続した列内にｘ中心点基準の後の計算のために最小および最大ｘ座標を保つ、
・それらが見いだされた最初のおよび最後の列を保つ、
・ポイント（１３２）に遷移する、
ｋ）ポイント（１３６）で、前記ＦＩＦＯ空信号について調べるステップ、
ｌ）ポイント（１３６）で、前記ＦＩＦＯが空でない場合、ポイント１３１に戻り、さもなければＸおよびＹ座標ＦＩＦＯを、次のフレームの書込みに対してＡからＢに、および次のプロセッサ読取りに対してＢからＡに変更し、かつ、ステップ（１３１）へ行くステップ、
ｍ）ポイント（１３９）で、以下を行うステップ、
・ｘおよびｙ中心点座標を算出する、
・異なる行内に見いだされる同じグループの全ての画素を加える、
・前記グループ識別子ＦＩＦＯに第２の読込みを後部へ書き込む、
・ポイント（１３１）に戻る装置。
【請求項７】
請求項３の装置であって、前記ｘおよびｙ座標ＦＩＦＯに連結される前記オブジェクト識別プロセッサが、前記行（ｘ）および列（ｙ）に関連した新しいフレームの中心点座標アドレス上の前記それらの出現または消失、および新しいフレーム内の前記新しい座標に対する前記古いフレームの前記古い座標の比較、に基づいてオブジェクトを識別し、前記方法が、以下のステップ、すなわち（数字は、図８のポイントを参照する）、
ａ）ポイント１５０で、前記ＦＩＦＯのＡまたはＢから前記前の（古い）フレームのｙ、ｘ中心点座標および前記ＦＩＦＯのＢまたはＡから新しいフレームのｙ、ｘ中心点座標を読み込むステップ、
ｂ）前記新しい中心点ｙ座標をｙ−ｍに設定するステップであって、２つのオブジェクトが分離されるとみなされる「ｍ」が列の数を示すステップ、
ｃ）ｘ−ｎによって前記新しい中心点ｘ座標を設定するステップであって、２倍の「ｎ」が、２つのオブジェクトが分離されるとみなされる画素数を示すことを示すステップ、
ｄ）ポイント１５２で、「ｍ」の範囲内で前記新しい座標の任意の１つに対する前記古い（前の）ｙ座標の一致を探し、および等しいならば、ポイント１５５に遷移し、さもなければ、ポイント１５３に遷移するステップ、
ｅ）ポイント１５５で＋／−ｎの範囲内の前記新しいｘ座標に対する前記古い（前の）ｘ座標の一致を探し、等しいならば、ポイント１５８に遷移し、さもなければ、ポイント１５６へのステップへ行くステップ、
ｆ）ポイント１５８で、以下を実行するステップ、
・前記動き追跡ＦＩＦＯに同じオブジェクトのマークとともに前記オブジェクト座標を書き込む、
・前記新しいＦＩＦＯへ前記次のｘおよびｙ座標を書き込む、
・ポイント１６３に遷移する、
ｇ）ポイント１６３でそれがフレームマークの終わりでない場合、フレームの終わりまでステップａ）を繰り返し、フレームの終わりである場合、ポイント１５０に戻り、さもなければ、前記新しいフレームを待ち、かつ、ポイント１５０へ行くステップ、
ｈ）ポイント１５４で前記新しいｙが見つからなかったので、これは、新しいオブジェクトの出現に起因して、前記新しいｙアドレスがより小さいことを示し、そして、以下を実行するステップ、
・前記次のステージのＦＩＦＯに前記新しいオブジェクトマークとともに前記新しいオブジェクト座標を書き込む、
・前記古いフレームのｙおよびｘ中心点座標を保つ、
・前記新しいフレームのｙおよびｘ中心点座標を読み込む、
・前記新しい中心点ｙをｙ−ｍにおよび前記新しいｘ中心点をｘ−ｎに設定し、かつポイント１５２へ行く、
ｉ）ポイント１５７で、前記新しいｘが見つからなかったので、これは前記新しいｙおよびｘ座標アドレスが前記古いものより大きいことを示しおよび前記古いオブジェクトがスクリーンから消え、そして、以下を実行するステップ、
・前記古いオブジェクトの消失マークを前記次のステージのＦＩＦＯへ書き込む、
・前記新しいフレームのｙおよびｘ中心点座標を保つ、
・前記古いフレームのｙおよびｘ中心点座標を読み込む、
・前記新しい中心点ｙをｙ−ｍに、および前記新しいｘ中心点をｘ−ｎに設定し、かつ、ポイント１５２へ行くこと、を含むことを特徴とする装置。
【請求項８】
請求項３の装置であって、前記ＸおよびＹ座標ＦＩＦＯに連結される回転および距離プロセッサ装置が、カメラに面するそれらの個々の画素色カウントに基づいて６自由度で移動する多色オブジェクトのｚ内の回転角および距離を測定し、前記装置およびステップが、以下、すなわち、
ａ）メモリへのアドレスとして各色の全領域、すなわち色の総画素カウントおよびグループの色数を設定するステップであって、前記メモリのデータが、較正中に記録される移動オブジェクトの予め記録してある瞬間的な角度位置を表すステップ、
・３次元空間内に移動する多色３次元オブジェクトの色領域が６自由度でオブジェクトの方向同じく回転値としてｚ内の距離の瞬間的な測定を与える、
・カメラによって検出されるときに、３次元空間内に移動する多色オブジェクトが各フレーム内に異なる色領域の独特のシグネチャを登録し、１つのグループの所定の色の全ての色の各色の下の領域が３次元空間の独特の瞬間的な回転角を表し、および異なる色の全領域がｚ方向の距離の瞬間的な大きさを与える、
・較正中に、カメラへのそれらの色露出および全ての色部分の領域カウントおよびそれらの関連色番号に基づくオブジェクトの経験的リアルタイム動き検出が、前記メモリに対する前記アドレスとして編成されて、かつ瞬時値を与えるように記録される、
ｂ）ｚ方向の動きの値および３つの瞬間的な角度動き値の較正が、各色の下の領域の経験的測定の結果であり、および各グループ色番号および各関連した色の検出された領域によってアドレスされるメモリ内の周知のベクトル動き値を記録しているステップ、
・ｚの較正された瞬時値ならびにｘ、ｙおよびｚ回転ベクトルがメモリ内に記録され、その一方で、前記メモリに対する前記アドレスが各特定の色および検出された割り当てられた色番号の下の領域である、
ｃ）回転値が小さい場合、ｚ方向の動きの変化が全関連した色領域の過去のおよび再び送られた検出された値の比率によって近似されるステップ、
ｄ）情報を動き追跡ＦＩＦＯに送信するステップ、を含むことを特徴とする装置。
【請求項９】
請求項３の装置であって、距離、速度および加速度のベクトル測定が１つのフレームから別のフレームまで次の通りになされる、すなわち、
ａ）ベクトル速度が、２つのフレーム中のベクトル測定の変化を経過時間で割ることによって導き出され、
ｂ）ベクトル加速度が、前のステップから導き出される算出された速度を前記経過時間、で割ることにより導き出され、
・経過時間が、２つのフレーム内の同じオブジェクトの中心点の検出の間で測定される、ことを特徴とする装置。
【請求項１０】
請求項３の装置であって、前記分散型プロセッサアーキテクチャが、次の通りに処理数時間を除去するように作られている、すなわち、
ａ）個々のプロセッサが、処理が１つのクロック周期内に行われるメモリベースのステートマシンから成り、復号化命令および増加または減少ポインタアドレスを含む、典型的メモリベースのＣＰＵ内にメモリから命令をフェッチするのに必要なクロックを除去し、
ｂ）ＦＩＦＯがデータの記憶装置だけとして使われ、読み込む前記ステートマシンに対する単一アドレスおよび書き込む前記ステートマシンに対する単一アドレスだけがある、ことを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタルビデオ着色フィルタリングならびにハードウェアおよびソフトウェアからなる画像処理に、ならびに、特に画像認識、画像識別および画像追跡技術に関する。
【背景技術】
【０００２】
本発明は着色ビデオ画像の効率的なフィルタリングに関し、したがって、複雑なフーリエ変換の使用に対する必要性を除去する。フーリエ変換は、それらの本質でディジタル画像処理を減速する。加えて６自由度の空間で多色オブジェクトの出現、消失ならびに方向および回転の変化を識別するために、典型的自動車組立てラインに似ている独特のコンピュータアーキテクチャを活用する。
【０００３】
利用できる種々のフィルタリングおよび画像処理システムがあるが、それらのいずれも単一のまたは複数の技術面においてこの用途の能力を提供しない。この種のフィルタリングおよび画像処理システムは、移動オブジェクトのリアルタイム対話型モーションキャプチャおよび対話型応答に必要とされる臨界速度を提供することに失敗する。
以下は、特許番号およびそれらのいくつかの少しの説明である。
【０００４】
（特許文献１）が、以下のステップを含む、色調スケールを改善するためにディジタル画像を処理する方法を開示する：複数のベースディジタル画像および複数の残留ディジタル画像を含むディジタル画像の多分解能画像表現を生成するステップ、テクスチャ減少ベースディジタル画像を生成するためにベースディジタル画像にテクスチャ減少空間フィルタを適用するステップ、テクスチャ減少ディジタル画像を生成するためにテクスチャ減少ベースディジタル画像と残留ディジタル画像とを組み合わせるステップ、テクスチャディジタル画像を生成するためにテクスチャ減少ディジタル画像をディジタル画像から減ずるステップ、画像の少なくとも一部内に圧縮された色調スケールを有する色調スケールを調整したディジタル画像を生成するためにテクスチャ減少ディジタル画像に圧縮色調スケール機能を適用するステップ、ならびに、処理されたディジタル画像を生成するために色調スケールを調整したディジタル画像とテクスチャディジタル画像を組み合わせ、それによって、ディジタル画像のコントラストがディジタル画像内のテクスチャのコントラストを圧縮せずに改善されるステップ。
【０００５】
（特許文献２）が、近似双三次フィルタリングのためのさまざまな技術およびツールが記載されていることを開示する。例えば、動き推定および補償中に、基準ビデオフレーム内の四半分−画素位置での画素値を計算するときに、ビデオエンコーダが近似双三次フィルタリングを使用する。または、動き補償中に、四半分−画素位置での画素値を計算するときに、ビデオデコーダが近似双三次フィルタリングを使用する。
【０００６】
（特許文献３）が、グラフィックシステムがグラフィックプロセッサ、サンプルバッファおよびサンプルから画素への計算ユニットを備えることを開示する。グラフィックプロセッサが、グラフィックデータの受信されたストリームに応答してサンプルを生成する。サンプルバッファが、サンプルを記憶するように構成されることができる。サンプルから画素への計算ユニットは、フィルタを使用して描画されたサンプルにフィルタをかけることによって複数の出力画素を生成するようにプログラム可能である。負のローブを有するフィルタが、使われることができる。このグラフィックシステムは、最初のフレームに対する否定性値を計算する。否定性値は、最初のフレーム内の画素否定性の量を測定する。特定の閾値より上にある否定性値に応答して、グラフィックシステムは、以降のフレームに対する否定性値を減少させるためにフィルタ機能および／またはフィルタサポートを調整する。
【０００７】
（特許文献４）が、効率的なフィルタリングおよびコンテンツデータの畳み込みのための装置および方法が記載されていることを開示する。この方法は、データシャッフル命令を実行することに応答して、行き先データ記憶デバイス内のデータの選択された部分を編成することを含む。データの部分は、係数データ記憶デバイス内の係数の配置に従って編成される。一旦編成されると、複数の積−和対が乗算累算命令を実行することに応答して生成される。複数の積対が、行き先データ記憶デバイス内のデータおよび係数データ記憶デバイス内の係数を乗じることによって形成される。一旦生成されると、隣接の積−和対が隣接加算命令を実行することに応答して加えられる。隣接の積−和対が、１つ以上のデータ処理演算結果を形成するために行き先データ記憶デバイス内に加えられる。一旦１つ以上のデータ処理演算結果が形成されると、結果がメモリデバイス内に記憶される。
【０００８】
（特許文献５）が、自動指紋認証または識別システムにおいて、指紋画像取得が取得プロセスの限界によってひどく影響を受けることを開示する。入力の２つのモード、すなわち、紙記録からまたはライブスキャンの指紋スキャナを使用して指から直接にインクをつけられた指紋をスキャンすることは、カメラ内の標準のノイズに加えて入力内の次のノイズ源が欠点である。不均一なインク塗布、紙の回転またはスキャナ表面の押圧中の平坦でない圧力および油のような外部の汚れおよび皮膚の水分含有量の気候の変動が、稜および谷が明確に画像形成されないことに対する主原因の一部である。この発明は、オフラインプロセスとして画像および地域現状データ対の所定の組に由来することができる一組の分割された最小２乗フィルタを学習する方法を取扱う。学習されたフィルタは、強化された画像を得るために入力指紋画像で巻き込まれる。
【０００９】
（特許文献６）が、シングルパスディジタル画像ワーピングにおける拡張楕円または矩形フットプリントの上の円形対称異方性フィルタリングのための方法およびシステムが開示されることを開示する。このフィルタリングは、入力像空間内の出力画素の写像された位置の不均一性画像スケーリング機能を近似する楕円を最初に見いだして、調整することによって実行される。この楕円からの出力像空間内の単位円への線形変換が、フットプリント内部の入力画素半径および半径の関数として対応するフィルタ係数を算出するために決定される。フットプリントの形状は、画質と演算速度との間のトレードオフとして決定される。１つの実施において、平滑化およびワーピング構成要素のプロファイルがより鮮明なまたは細部強調出力画像を生成するために組み合わせられる。この発明の方法およびシステムはアーチファクトにギザギザをつけることなく自然な出力画像を生成し、その一方で、入力画像の鮮明度を維持するかまたは強化する。
【００１０】
（特許文献７）が、復号化パイプラインを使用した復号化システム内のデータユニット管理のシステム及び方法を開示する。各入力データユニットが、メモリ素子に割り当てられ、割り当てられたメモリ素子内に記憶される。各復号化モジュールは、割り当てられたメモリ素子からの所定のデータユニットに対する、演算されるべきデータ、同じく、制御データを得る。データユニット上のその復号化演算を実行した後に、各復号化モジュールは同じメモリ素子の中へと戻して、新しく処理されたデータを置く。一実施態様において、割り当てられたメモリ位置がデータユニットに対応する制御データを保つためのヘッダ部分およびデータユニットの実質的なデータを保つためのデータ部分を備える。ヘッダ情報は、一度割り当てられたメモリ素子のヘッダ部分に書き込まれて、必要に応じて復号化パイプラインの全体にわたってさまざまな復号化モジュールによってアクセスされる。メモリのデータ部分が、複数の復号化モジュールによって使われて／共有される。
【００１１】
（特許文献８）が、３次元空間内のオブジェクトの縁部輪郭をトレースするための方法と装置が提供されることを開示する。この方法と装置は、スキャンされたオブジェクトの正確な寸法測定結果を得るように設計されるコンピュータ視覚システムにおいて活用される。自動トレーシング測定中にフォーカシング時間を節約するために、複数画像が集められることができて、ＸＹステージの特定の位置の複数のＺ高さに対して保存されることができる。これらの保存された画像は、物理的Ｚステージ運動を必要とすることよりむしろ選択されたＸＹ領域内の各縁点試行位置に対する焦点位置を算出するのに後で用いられることができる。加えて、特に輪郭のＺ高さ変化が段階的で予測可能であるオブジェクトに対して、以前の縁点のＺ高さに基づくＺ高さ外挿が、検索プロセスを有意に加速することができる。
【００１２】
（特許文献９）が、アナライザ、しきい値回路およびシンセサイザを含むフィルタを開示する。アナライザは、入力信号から低周波成分信号および高周波成分信号を生成する。しきい値回路は、高周波成分信号から処理された高周波信号を生成し、この処理された高周波信号は、高周波成分信号が閾値未満である振幅を有するそれらの領域内にゼロの振幅を有する。シンセサイザが低周波成分信号および処理された高周波信号を含む入力信号から、フィルタをかけられた信号を生成する。フィルタをかけられた信号は閾値がゼロである場合、入力信号と同一である。アナライザは、好ましくは一度に入力信号の小さな割合で動作する複数の有限インパルス応答フィルタから造られる。
【００１３】
（特許文献１０）が、各々レントゲン写真をとられた被写体を貫通した放射線の量に対応する、放射線画像信号によって形成される放射線画像のための特徴抽出方法が、複数の異なる特徴抽出ステップを有し、複数の異なる特徴抽出ステップの各々がそれぞれの特徴値を抽出するそれぞれの特徴抽出条件、複数の異なる特徴値の組合せを評価する特徴値評価ステップ、および特徴値評価ステップによる評価結果に基づいて複数の異なる特徴抽出ステップから少なくとも１つの特徴抽出ステップを選択する制御ステップを有し、放射線画像から再び変更特徴抽出条件に基づいて特徴値を抽出するために、選択された特徴抽出ステップの特徴抽出条件を変更して、選択された特徴抽出ステップを実施する、ことを開示する。
【００１４】
（特許文献１１）が、線形直列で連結される複数のビデオルーターＶＲ（０）、ＶＲ（１）、．．．ＶＲ（Ｎ．ｓｕｂ．Ｒ−１）を含むビデオルート選択システムを開示する。線形直列の各ビデオルーターは、ディジタルビデオストリーム上で連続して動作させることができる。次のビデオルーター内のリンクインターフェースバッファが同期クロックに応答して出力ビデオストリームから値を収集することができるように、各ビデオルーターがその出力ビデオストリームとともに同期クロックを供給する。共通クロック信号が、ビデオルーターの各々に分配される。各ビデオルーターは、出力クロックを生成するために共通クロック信号をバッファリングする。出力クロックが、対応するリンクインターフェースバッファからデータを読取るために読取りクロックとして使われる。出力クロックは、また、下流に送信される同期クロックを生成するのに用いられる。
【００１５】
（特許文献１２）が、較正時間を減少させることができる画像処理システムなどを提供するために、開示し、この画像処理システムが、理想的な環境−測定データを記憶するデバイスプロファイル記憶セクション、画像投影セクションからの出力光を示唆する出力光データならびにセンサを通して測定される第１および第２の閲覧−環境−測定データ間の差異に基づいて周囲光データを引き出す光分離セクション、出力光データおよび理想的な環境−測定データに基づいて投影面の反射率を推定する投影−面−反射率推定セクション、反射率、理想的な環境−測定データおよび周囲光データに基づいて閲覧−環境−推定データを生成する検知データ生成セクション、閲覧−環境−推定データに基づいてＬＵＴをアップデートするＬＵＴ生成セクション、およびアップデートされたＬＵＴに基づいて画像情報を修正する修正セクション、を備える。
【００１６】
（特許文献１３）が、民間空港または離着陸場に近接して民間航空機を標的とする脅威ミサイルの発射を検出するための電気光学センサのセンサグリッドからなる地上ベースの発射検出システムを開示する。この電気光学センサは重なり合う視界で隣接したセンサに脅威ラインをブロードキャストする無線ネットワークで構成される。脅威ミサイルが確認されると、脅威データが近傍のどの航空機が標的であるかについて判定する中央に設置された処理機能に送信され、および、分配対抗手段信号を航空機に送信する。
【００１７】
（特許文献１４）が、顔認識および機密保護コード識別に役立つ画像処理システムが、識別されるべき顔の画像から観察ベクトルのアレイを得ることを開示する。ビタビアルゴリズムが各オブジェクトに対して階層化統計モデルのパラメータを与えられる観察ベクトルに適用され、および、観察シーケンスと階層化統計モデルとの間の最上位マッチングスコアを見いだすことによって顔が識別される。
【００１８】
（特許文献１５）が、復号化パイプラインを使用した復号化システム内のデータユニット管理のシステム及び方法を開示する。各入力データユニットが、メモリ素子に割り当てられ、割り当てられたメモリ素子内に記憶される。各復号化モジュールは、割り当てられたメモリ素子からの所定のデータユニットに対する、演算させられるべきデータ、同じく、制御データを得る。データユニット上のその復号化演算を実行した後に、各復号化モジュールは同じメモリ素子の中へと戻して、新しく処理されたデータを置く。一実施態様において、割り当てられたメモリ位置がデータユニットに対応する制御データを保つためのヘッダ部分およびデータユニットの実質的なデータを保つためのデータ部分を備える。ヘッダ情報は、一度割り当てられたメモリ素子のヘッダ部分に書き込まれて、必要に応じて復号化パイプラインの全体にわたってさまざまな復号化モジュールによってアクセスされる。メモリのデータ部分が、複数の復号化モジュールによって使われて／共有される。
【先行技術文献】
【特許文献】
【００１９】
【特許文献１】Ｇｉｎｄｅｌｅ；Ｅｄｗａｒｄ  Ｂ．、米国特許第２００５００８９２４０号
【特許文献２】Ｓｒｉｎｉｖａｓａｎ；Ｓｒｉｄｈａｒ、米国特許第２００３０１９４００９号
【特許文献３】Ｄｅｅｒｉｎｇ；Ｍｉｃｈａｅｌ  Ｆ．、米国特許第２００３００６３０９５号
【特許文献４】Ｄｅｂｅｓ；Ｅｒｉｃ、米国特許第７，０８５，７９５号
【特許文献５】Ｂｏｌｌｅ；Ｒｕｄｏｌｆ  Ｍ．、米国特許第２００２０１４６１７８号
【特許文献６】Ｌａｃｈｉｎｅ；Ｖｌａｄｉｍｉｒ、米国特許第２００６００５００８３号
【特許文献７】ＭａｃＩｎｎｉｓ；Ａｌｅｘａｎｄｅｒ  Ｇ．、米国特許第２００４０１８１５６４号
【特許文献８】Ｙｕ；Ｄａｈａｉ；、米国特許第７，１２０，２８６号
【特許文献９】Ｓｉｅｇｅｌ；Ｅｒｗｉｎ  Ｆｒｅｄｅｒｉｃｋ、米国特許第２００３０１２３５８４号
【特許文献１０】Ｋａｗａｎｏ；Ｔｓｕｔｏｍｕ；、米国特許第２００３００９５６９８号
【特許文献１１】Ｎａｅｇｌｅ；、米国特許第２００３００５２８８６号
【特許文献１２】Ｍａｔｓｕｄａ；Ｈｉｄｅｋｉ；、米国特許第２００３０２３４７８５号
【特許文献１３】Ｂｕｓｓｅ；Ｒｉｃｈａｒｄ  Ｊ．、米国特許第７，２０５，５２ＯＡ号
【特許文献１４】Ｎｅｆｉａｎ；Ａｒａ  Ｖ．、米国特許第２００４００７１３３８号
【特許文献１５】ＭａｃＩｎｎｉｓ；Ａｌｅｘａｎｄｅｒ  Ｇ．、米国特許第２００３０１８７８２４号
【発明の概要】
【発明が解決しようとする課題】
【００２０】
ビデオカメラまたはセンサからの入力信号をリアルタイムで数値データに変換するための、かつ時間レーテンシを最小にする、ハードウェアおよびソフトウェアからなる装置。派生データは６自由度でオブジェクトの識別、移動オブジェクトの方向同じく回転パラメータを提供する。
【００２１】
３次元空間で動的移動オブジェクトを検出して、識別して、追跡するために、リアルタイムでビデオカメラまたはセンサからの入力信号を数値データに変換するための装置。データは、また、各目標の３次元位置座標を提供して、個々の目標の３次元動きベクトルを追跡する。このハードウェアおよびソフトウェアアーキテクチャは、６自由度で移動する移動複数目標の検出、追跡および報告間の時間レーテンシを除去することを目的とする。
【課題を解決するための手段】
【００２２】
この装置は、アナログ−ディジタル（Ａ／Ｄ）変換器の最下位ビットの分解能で、電磁波の個々の原色を識別する効率的なビデオフィルタハードウェアを活用する。フィルタはさらに、背景色を含む望まない色を、フィルタをかけて取り除き、かつ、任意の所望の色とそれらを置換する機能を有する。
【００２３】
本発明と他のディジタル画像処理システムとの間の主な相違は、ビデオスペクトル画素色に電子的にフィルタをかけるその能力である。スペクトル色フィルタリングの分解能または区別されて、フィルタをかけられるべき個々の色の数は、Ｄの３乗であり、ここでＤは使用されるアナログ−ディジタル変換器のビットの数である。たとえば１０ビットＡ／Ｄ変換器に対して、それは色スペクトル内で１０億（１０００＊１０００＊１０００）の個々の色を区別する。これは、ディジタル画像処理のきわめて強力なツールである。それは、ソフトウェアのほとんどすべての画像処理プロセッサハードウェアで使用される時間がかかるフーリエ変換に対する必要性を除去する。原色画素の各々の１つの探知時間は、通常数十ナノ秒のオーダーである、電子メモリのスループット遅延またはアクセス時間である。
【００２４】
本発明の別の主な利点はそれが、計算集中的フーリエ変換を必要としないことである。
【００２５】
本発明と他のディジタル画像処理システムとの間の別の主な相違は、そのコンピュータアーキテクチャである。このアーキテクチャは、リアルタイム対話型シナリオで複数移動目標の探知時間を最小にすることを目的とする。このアーキテクチャは、プロセッサが２台のプロセッサの間でファーストイン／ファーストアウトメモリと連動して働く（自動車製造組立てラインのそれに類似した）組立てラインプロセッサに類似して働く分散処理のそれである。リアルタイム動き検出の厳しいレーテンシ時間要件を満たすために、この装置は典型的組立てライン活動のそれに似ている特別な分散型コンピューターハードウェアを活用する。ＦＩＦＯが、１台のプロセッサからもう１台まで半処理されたデータを伝えるために活用される。オブジェクトの識別が非常により容易にされる独特の方法で、ＦＩＦＯがまた、使われる。個々のプロセッサの活動は十分に単純にされ、そうすると、単純なステートマシンハードウェア実現が時間を節約するであろう。処理ライン内のプロセッサの個々のタスクは、大部分のコンピュータアーキテクチャで一般的である処理ボトルネックを除去する手段を提供する。
【００２６】
本発明の別の特徴は、移動オブジェクトのＸ、Ｙ、Ｚ距離同じく回転ベクトルパラメータを測定するその能力である。
【００２７】
本発明の別の特徴は、移動オブジェクトの回転パラメータ同じく距離測定を測定するその能力である。本発明の別の利点は、多種多様な画像処理タスクのための、および複雑なソフトウェアプログラムを回避するためのメモリのその使用である。
【００２８】
本発明の別の利点は、各コンピュータがＦＩＦＯから半分処理されたデータを受信して、半分処理されたデータを並んでいる次のＦＩＦＯに書き込むことによって単純な画像処理タスクを実行する自動車製造組立てラインと同様の独特の分散型コンピュータアーキテクチャの使用である。本発明の他の恩恵は、詳細な説明において明白になる。
【図面の簡単な説明】
【００２９】
【図１】色フィルタおよび識別子のブロック図である。それは、カメラまたはセンサからビデオアナログ信号を受信する。それは、色がフィルタをかけられて、識別される２つのステージを示す。第１のステージは原色の識別のためにあり、および、第２のステージは色スペクトル内の色の識別のためにある。番号が、原色およびスペクトル色を識別する。ブロック図から見られるように、出力はスペクトル色番号およびスペクトル色グループ番号である。
【図２】ビデオ同期および制御ロジックブロック図である。
【図２Ａ】ギャップが１つのオブジェクトともう一方を区別するために検出されるハードウェア方法である。
【図３】リアルタイム分散処理プロセッサ（組立てラインプロセッサ）のブロック図である。それは、色フィルタおよび識別ブロック図、図１Ａからビデオデータ情報を受信する。それは、オブジェクト識別および距離の動き追跡データおよび移動オブジェクトの回転動きを与える。
【図４】ＸおよびＹ座標でその中心点が示される多色立方体の図面である。
【図４Ａ】図４の多色立方体が示される図面であり、ｚ軸内のその動きならびにＸおよびＹ座標内に包含される各色のその領域が示される。
【図５】中心点ＸおよびＹ座標でその中心点が示される多色半球体の図面である。
【図６】図２内に示される分散処理プロセッサの画素グループ識別プロセッサ部分の１つのフローチャート図である。画素グループ識別子プロセッサ機能は、次のステージのプロセッサ、中心点ｘおよびｙ座標プロセッサのために必要なオブジェクトの基準ｘ中心点座標を与えることである。
【図６Ａ】図６によって生成される中心点ｘ基準データの表示である。この表示は、図６−中心点基準活動の理解のためにある。それは、行内の１つのグループのオブジェクトの識別された画素およびギャップの定義を示す。
【図７】ｘ（行）およびｙ（列）プロセッサフローチャート図である。その主機能は、ＸおよびＹ座標基準に基づいてオブジェクトの基準中心点座標を分類することである。
【図７Ａ】２つの連続したフレームに対する中心点ｘおよびｙ（列）座標プロセッサへの入力を示す。
【図７Ｂ】２つの連続したフレームに対する中心点ｘおよびｙ（列）座標プロセッサの出力を示す。
【図７Ｃ】オブジェクトが前のフレームから削除され、および、前のフレームと比較した時別のオブジェクトが加えられる、中心点ｘおよびｙ（列）座標プロセッサの詳細な動作を示す。
【図８】スクリーン上の出現および消失に基づいてオブジェクトを識別するオブジェクト識別プロセッサフローチャートである。
【図８Ａ】２つの連続したフレームに対するオブジェクト識別プロセッサへの入力である。
【図９】移動オブジェクトの距離同じく回転パラメータを与える動きベクトル測定ハードウェアのブロック図である。
【発明を実施するための形態】
【００３０】
当業者が、その趣旨および範囲から逸脱することなく、本願明細書に記載されていることの変更および修正をなすことが可能でもよい。したがって、例示されることが例の目的のためにだけ記載されること、および、それが本装置および使用方法の有効範囲の限定としてとられてはならないことが、理解されなければならない。
【００３１】
上記の図面は、以下の記述内に詳細に更に定められる、その好ましい、最良の形態実施態様のうちの少なくとも１つにおいて記載されている装置およびその使用方法を例示する。
【００３２】
最小のレーテンシで、ビデオカメラまたはセンサからの入力信号を複数の移動目標の動き特性を代表する数値データに変換するためのハードウェアおよびソフトウェアからなる装置。このデータは６自由度で、オブジェクトの識別、移動オブジェクトの距離（ｘ、ｙ、ｚ）、同じく回転パラメータを与える。この装置は、関連したＡ／Ｄ変換器の分解能の３乗で電磁波の個々の原色および色スペクトルを識別する効率的なビデオフィルタリング技術から成る。このフィルタは、背景色を含む望まない色を、フィルタをかけて取り除き、かつ送信のための任意の所望の色を置換する能力を有する。
【００３３】
リアルタイム動き検出の厳しいレーテンシ時間要件を満たすために、この装置は典型的組立てライン活動に似ている特別な分散処理コンピューターハードウェアからなる。ＦＩＦＯが、１台のプロセッサからもう１台まで半処理されたデータを伝えるために活用される。オブジェクトの識別が非常により容易にされる独特の方法で、ＦＩＦＯがまた、使われる。個々のプロセッサの活動は十分に単純にされ、そうすると、ステートマシンコントローラ／プロセッサハードウェア実現が典型的ＣＰＵを置換するであろう。ＦＩＦＯの使用と連携した個々のプロセッサのタスクは、大部分の分散処理プロセッサコンピュータアーキテクチャで一般的であるボトルネックを除去する手段を提供する。
原色フィルタリングおよび識別（図１）
【００３４】
ここで、図１のブロック図を参照して、ポイント２（ブロック２）で、カメラまたはＣＣＤからのアナログビデオデータがディジタルに変換されることを見いだす。ポイント７で、ビデオデータの周知のフォーマットが入力ビデオ信号と同期するのに用いられる。同期の際に、原色の信号１４および１画素時間内のそれらの関連タイミング１７が、生成される。原色タイミングおよび色識別は、適切な保持および切捨てレジスタ３に原色データ強度を計時するのに用いられる。
【００３５】
ポイント４、５および６で、ディジタル原色強度が適切な原色メモリに対するアドレスとして設定される。メモリはＣＰＵによって事前記録された各原色に対する原色フィルタリングおよび帯域幅情報を含む。メモリの事前記録されたデータは、原色番号および原色のグループ番号を識別するように編成される。
【００３６】
原色番号の識別とともに、メモリの事前記録されたデータもまたその他の原色の特定のグループを識別する。グループ化が、１からｍまでであることができ、ここでｍは異なるオブジェクトの色のグループの総数である。
【００３７】
識別データおよびグループ化とともに、メモリはその原色が別の原色と置換されることになっている場合、検出された強度と置換されるべき所望の強度を与えることを示唆する。したがって、メモリの内容は以下のような事前記録された情報を含むことができる：
・識別、
・原色番号、
・グループ番号、
・置換、
・置換する色強度
スペクトル色フィルタリングおよび識別（図１）
【００３８】
再び図１を参照して、全ての原色の原色番号（１０）およびそれらの関連グループ番号（１１）が、色スペクトル内の色番号を識別するために色スペクトルメモリに設定される。
【００３９】
各画素時間間隔中に、原色メモリの全３つからの原色番号が、色スペクトルメモリに対するアドレスとして設定され、メモリのデータは、それが、色スペクトル内の１つのグループの色内の色の中心より大きい、未満、またはそれに等しい場合、識別、選択された色番号、選択された色グループ、フィルタの中心、各色の帯域幅を示唆する、
【００４０】
色がフィルタをかけられるべきアドレスの位置の番号が、色の帯域幅およびそのグループ識別を決定する。
【００４１】
色スペクトルメモリフィルタもまた、送信されるべき別の色との任意の入力色の置換を含む。
【００４２】
画素タイミングを加えることによって設計のディジタル実現法のために必要とされる全てのディジタル制御情報が、導かれる。これは、ビデオ出力フロー制御のような設計の残りに対して全ての他のディジタルロジックを制御するのに用いられる。
【００４３】
識別は、メモリのデータから「０」または「１」を読み込むことによってなされる。「０」は原色が識別されないことを表し、および、「１」は原色強度が識別されることを表す。メモリはさらに、その特定の原色強度と関連する事前記録された番号を含む。識別された原色ポイント１０は、１からｎまで番号をつけられ、ここでｎが全フィルタをかけられた原色番号である。
ビデオ同期および制御ロジック図２
【００４４】
図２は、図１内のブロック７の拡大図である。それはフィルタ装置２０および他のロジック制御装置に画素原色指示タイミングを与えるためにフレーム基準ロム６５に入力される、ビデオフレームヘッダ検出６１、フレームの行および列カウンタ６２、副画素タイミングカウンタ６３を含む。
分散型組立てラインプロセッサ（図３）
【００４５】
図３は、タイムクリティカルなディジタル画像処理のための分散処理プロセッサのアーキテクチャのブロック図である。この分散処理プロセッサのアーキテクチャが典型的組立てラインのそれに似ているので、それは分散型組立てラインプロセッサと呼ばれる。
【００４６】
組立てライン処理における各プロセスの目標は、並んでいる次のプロセッサに対してデータを部分的に処理して、重複データを除去することである。１台のプロセッサの動作は、前のプロセッサに依存している。各プロセッサは前のステージのＦＩＦＯの関連したデータを読み込み、および、更なる処理の際に並んでいる次のＦＩＦＯに関連したデータを書く。プロセスは、次の通りに要約される：
・連続した順序で連続的に起こるプロセス、処理タスクが、時間依存性の、同じく機能依存性の、複数の単純なタスクに分割される。
・各ＦＩＦＯのプレプロセッサ（複数プロセッサ）が、第１ステージＦＩＦＯへ、半処理されたデータを処理してロードする。
・各ＦＩＦＯのポストプロセッサが、そのＦＩＦＯから半処理されたデータを読み込み、および更なる処理の後、次のステージのＦＩＦＯにそれを書き込む。
【００４７】
次に図３のブロック図を参照して、ポイント２０で画素プロセッサが色スペクトルフィルタならびにビデオデータＦＩＦＯ  ＡおよびビデオデータＦＩＦＯ  Ｂの両方とインターフェースすることを見出す。フィルタをかけられて識別された画素が、スペクトルフィルタメモリから読み込まれて、次いでＦＩＦＯの１つにロードされる。
【００４８】
それはまた、それをビデオデータＦＩＦＯへ書き込む関連したフレームタイミングを読み込むビデオ同期および制御ロジックとインターフェースする。それはまた、ギャップマークを修正して、行内の着色画素のグループの検出の終了を知らせるためにギャップ検出器ハードウェアからギャップ信号を受信するように、ギャップ信号（図２Ａ）にインターフェースされる。組立てラインプロセッサの個々のプロセッサは、それらの色およびグループ識別に基づいて画素を処理し、そして次に、それらが見いだされたそれらのｘおよびｙフレーム位置座標に基づいて色およびオブジェクトの処理および識別を始める。各画素の座標の順序は、最初に列および次に行で特徴付けられる。
【００４９】
タスクの定義ならびに各プロセッサおよびＦＩＦＯの機能は、以下のセクション内で明白になる。
【００５０】
ＦＩＦＯの利用は、２アドレスだけにデータを読込み及び書込みを行う各プロセッサに対する利点を提供し、したがって、データ読取りおよびデータ書込みのためのポインタをアップデートする際の時間を節約する。
【００５１】
各プロセッサの機能が最小に保たれるので、命令セットを完了するために多くのクロックを必要とするメモリベースのＣＰＵと比較して、１つのクロック周期時間内で動作モードを変更するメモリベースのステートマシーンロジック。
ギャップ検出（図２Ａ）
【００５２】
本発明において、行内の色（複数色）の連続した検知されていない画素の「ｎ」番号および着色オブジェクトの間に、検知されていない（同じ色（複数色））番号の「ｍ」連続した列がある場合、オブジェクトは別のオブジェクトから分離されるべきとみなされる。この用途において、この分離をギャップと呼ぶ。ギャップは、別の指定された色画素からの行および列内の指定された色画素または同じ行内の同じ色画素の不在である。検出中に、１つのグループの色に属する１つの色と色の異なるグループの別の色との間に何のギャップもない場合、２つのオブジェクトの分離および識別が宣言される。
・３次元空間内に移動するオブジェクトの２次元検出は、所定のフレーム率に対して初めに検出される同じ位置の近傍にあるとみなされる、
【００５３】
再び図２Ａを参照して、シフトレジスタが「ｎ」をロードされ、および、信号の識別がスペクトル色メモリから受信されるときはいつでも、それはシフトレジスタをロードする。行内に連続検出された画素がある限り、ギャップ検出信号は低いままであるが、検知されていない信号の「ｎ」数が到達すると、この信号は２つのオブジェクトの分離を示唆するハイになる。
３次元空間内に移動するオブジェクト（図４、４Ａおよび５）の動き特性
【００５４】
３次元空間内に移動するオブジェクトのｘおよびｙ中心点位置は、カメラのセンサによって収集されるその２次元焦点面中心点「ｘ」（行）およびその中心点「ｙ」（列）である。多色デバイスの中心点Ｘ座標は、任意の行内に検出されるその色の任意の１つの最小（図４Ａポイント２０２）と最大（図４Ａポイント２０３）の画素ｘ座標の間の中心点である。多色オブジェクトの中心点Ｙ座標は、その色の任意の１つが検出される最初の行から最後の行の間の、中心点行である（図４Ａ、ポイント２０４および２０５）。
【００５５】
次に図４の図を参照して、多色立方体の近似の中心点座標が２つのライン（２００）および（２０１）が互いに交差するポイント、ポイント２０９であることを見いだす。
【００５６】
図４Ａは、図４の別の図面であり、図４と比較して、距離同じく角度がフレーム毎に変更されている。ポイント（２０２）は、最小ｘ（オブジェクトが検出された最小ｘ座標画素）であり、および、（２０３）は最大ｘ座標である。ポイント（２０４）は、立方体が検出された最初の行（最小ｙ）およびポイント（２０５）はオブジェクトの検出が終わる（最大ｙ）である。
【００５７】
図５は、半球体の表現であり、中心点座標が、識別される。ポイント（２１０、２１１、２１３および２１４）は、各色がＸおよびＹプレーン内に検出される領域である。各色の下の領域は、その色の総画素カウントである。ポイント（２１０、２１１、２１３および２１４）は、１つの特定のフレーム内に検出される同じ着色画素をカウントすることによって抽出されるものである。
フィルタプロセッサ
【００５８】
「画素検出マーク」が（適切な画素タイミングで）スペクトル色フィルタの出力に現れるときはいつでも、色スペクトルフィルタに連結されるフィルタプロセッサが色スペクトルメモリから画素情報を読み込み、その画素タイミング中に画素色の検出を示し、および、ビデオデータＦＩＦＯに以下を与える：
ａ）フィルタをかけられた色画素データ。
・多色オブジェクトのスペクトル識別番号。
・オブジェクトに属する（色の）グループ番号。
ｂ）それらが見いだされた行および列内の画素位置番号に対する画素座標。
ｃ）画素ギャップ検出。
画素グループ識別子プロセッサ（図６）
【００５９】
画素グループ識別子プロセッサは、ビデオデータＦＩＦＯからフィルタをかけられた色画素および関連したグループ番号を受信する。
【００６０】
図６は、画素グループ識別子プロセッサのフローチャート活動を表す。そのジョブ機能は、１行内のオブジェクトに属する色および色のグループを識別することである。それは次いで、それらがフレームの行内に見いだされた色のグループの中心点基準位置を与える。図６Ａは、画素グループ識別子プロセッサへの入力のより詳細な表現を与える。
【００６１】
この基準中心点ｘは、同じ色を有して、１つのグループの色に属する行内の１つのグループの色画素の位置識別のためにだけある。実際の中心点ｘ識別が、処理の次のステージで行われる。
【００６２】
次に図６Ａと連動して、図６のロジックフロー図内の数値的ロジック番号を参照して、以下を見出す：
【００６３】
ポイント（１００）でビデオデータＦＩＦＯ内に記憶されて、画素グループ識別子プロセッサへの入力である図１の色フィルタおよび識別出力。
【００６４】
ポイント（１０２）で、それは新しく識別された画素を受信する（これはオブジェクトの色の最初の検出であり、および、それはギャップの後で新しい行または新しいオブジェクトから始まる）。
【００６５】
ポイント（１０３）で、それは１つのグループの画素、その色および色グループ番号の第１の基準中心点ｘ座標を保持する。それは、次の画素との比較の基準として色情報および中心点ｘ（行）基準位置を使用する。
【００６６】
ポイント（１０４）で、それは新しい画素基準同じく色番号およびグループ番号を再び読み込み続ける。
【００６７】
ポイント（１０５）で、それはポイント（１０３）と同一の色およびグループ番号を確認する。
【００６８】
注意：
多色オブジェクトの画素がフレーム内に連続であるので、１つのグループの色に関連した色だけがギャップの前に検出されなければならない。
【００６９】
ポイント（１０６）で、新しい画素が前に識別された色（ポイント１０３）と同一の場合、それはグループの同じ色に属する（行内の）検出された画素の数を加える。
【００７０】
オブジェクトの各色の下の領域が、その回転ベクトルを検出するために必要である。オブジェクトの全ての色の下の全領域が、検出器へのその近さを表す。これは、続く動きベクトル測定メモリで説明される。
【００７１】
ポイント（１０６）で、アルゴリズムはまた（行内のグループ内の任意の色の）最小および最大ｘ座標を調べて、保持する。この測定は、次に続く列内のオブジェクトの中心点座標を見いだすのに後で用いられる。
【００７２】
ポイント（１０７）で、それは検出された色がオブジェクトと関連する色のグループに属することを、確認するために調べる。これは、図１内のフィルタグループチェックおよび色の識別に加えて、二重チェックである。それが同じグループの色である場合、それは次の画素およびグループの色番号を得るためにポイント（１０４）に戻る。
【００７３】
色の異なるグループが検出されるときに、ポイント（１０８）に達する。それは、以下を行う：
■グループ内の全色の総画素カウントを加える。
■行内のグループ色の最小および最大ｘ座標を保持する。
■行番号を保持する。
■上記の情報を次のステージのＦＩＦＯに送信する。
【００７４】
オブジェクトの終了が検出される（図３）と、ギャップが１つのグループの色に関連した任意の色の検出の割込みの際に検出されたことをこのプロセッサに知らせるために、ギャップ信号マークが前に検出された画素に対して修正される。
【００７５】
注意：
新しい検出された画素色が異なる（同じグループに属さない）場合、色の異なるグループ内の色が検出されるとみなされる（これは、異なるオブジェクトの検出と同一である）。
【００７６】
ポイント（１０９）で、それは図３によって修正されたギャップタグについて調べる。ギャップがある場合、それは正しい間隔とみなし、見いだされる何のギャップもない場合、それはエラー信号を出力する。
【００７７】
ポイント（１１１）で、それはフレーム内の最後の列について調べる。もしそうならば、それは次のステージの新旧のＦＩＦＯの順序を変更する（ＡからＢまたはＢからＡ）。
【００７８】
このプロセスは、行内の最小および最大Ｘ座標の間のデータ量を除去する。
【００７９】
次にオブジェクトがＣＣＤカメラ上に現れる方法で、画素グループ識別子プロセッサに入力される画素グループ化を参照する。図面上に現れるオブジェクト番号は、次のロジック図だけの将来のデータ処理の基準および理解のためにある。この点で、プロセッサはオブジェクトの出現および消失についてまったく関知しない。分散処理プロセッサのオブジェクト識別プロセッサ部分が、オブジェクト識別を実行する。
【００８０】
図６Ａは、ＣＣＤ上に現れる色のグループの概念および２つのオブジェクト間のギャップの概念を例示する。
【００８１】
画素グループプロセッサがＦＩＦＯからデータを読み込む方法は、画素が行の最後への、および、次いで次からの任意の行で検出される方法である。
【００８２】
画素グループ識別子プロセッサの出力が、連続したフレームに対して図７Ａ内に例示される。
中心点Ｘ及びＹ座標プロセッサ（図７）
【００８３】
Ｘ（行）およびＹ（列）座標プロセッサは、グループ識別子ＦＩＦＯから基準中心点座標を読み込んで、それらの相対位置座標に対してそれらを分類する。
【００８４】
このプロセス中に、それはそれらが色の同じグループに関連することを確認するために各中心点の相対位置について調べる。
【００８５】
次に図７Ａ、７Ｂおよび７Ｃと連動して図７のロジックフロー図内の数値的ロジック番号を参照する：
【００８６】
ポイント１３１で、それは第１の中心点エントリを探して、第１の座標読取りに密接に関連する他のエントリを確認するようにそれを保つ。
【００８７】
ポイント（１３２）で、それは次のエントリを読み込み、および、第１のエントリでその位置を確認するために、それは数＋／−ｎ画素だけ第２の読取りの検索範囲を拡げる。
【００８８】
ポイント１３３で、最も低い拡張番号から始まって、それがポイント１３１で受信した第１のエントリに対向してそれを確認する。中心点が＋／−ｎ画素位置の範囲内で互いに近くて列の「ｍ」番号の範囲内で互いに近い場合（ポイント１３４）、それはポイント１３５に遷移する。
【００８９】
ポイント１３５で、２つのエントリに対する一致があり、および、それらが列の「ｍ」番号と共にある場合、それは列の番号に加えて、最下位および最上位中心点Ｘ座標を保持する。
【００９０】
受信された中心点基準座標の順序が、画素識別子プロセッサが最初から始まって基準中心点を探す行の終了まで、行の残りに対して再びそれを繰り返すということであるので、データとオブジェクトとの間の相関が同じフレーム内にある。自制のために、番号が中心点ｘの各グループに対して割り当てられる。番号は、ｘ中心点図４、４Ａおよび５の最初のグループおよび最後のグループに基づく。
【００９１】
ポイント（１３５）で、基準ｘ座標が列の「ｍ」番号によって分離される場合、それを同じ中心点基準ｘ座標を有する新しいオブジェクトとみなして、次のエントリを探すためにポイント（１３２）に遷移する。
【００９２】
ポイント（１３６）で、それはリストの最後を確認し、および、それが最後である場合、それは正味ＦＩＦＯの順序を変更して、次のフレームの開始のために、ポイント（１３０）に戻る。
【００９３】
ポイント（１３８）で、＋／−ｎの範囲の最後で、２つの中心点基準ｘの座標読取りの間に何の一致もない場合、それは、第２の読取りが異なるオブジェクトに属することを示唆して、ポイント（１３９）に遷移する。
【００９４】
ポイント（１３９）で、それは中心点座標ｘ識別が終わったとみなす。それは次いでオブジェクトの真の中心点Ｘ座標および中心点Ｙ座標を算出し、および、それは結果を次のステージのＦＩＦＯに送信する。それはまた、第２の読取りが第１であることを示し、および、第２のオブジェクトの一致を探すために、それはポイント（１３２）に遷移する。
【００９５】
ＸおよびＹ座標プロセッサは、１つのグループの色（オブジェクト）に属する行の間のデータ量を減少させる。
【００９６】
図７Ａは、２つのフレームに対して次の行（次の列）が続く１行内の画素グループ化の説明である。それは、ＸおよびＹ座標プロセッサに入力される新しいものの出現およびオブジェクトの消失を示唆する。
【００９７】
図７Ｂは、座標のフレーム基準と共にオブジェクトの中心点ｘおよび中心点ｙであるポイントによって、各オブジェクトが表されるＸおよびＹ座標プロセッサによる処理の結果の提示である。
オブジェクト識別プロセッサ（図８）
【００９８】
オブジェクト識別プロセッサは、ＸおよびＹ座標ＦＩＦＯからＸおよびＹ中心点座標情報を読み込む。それは基本的に新しいＦＩＦＯ（新しいフレーム）からの座標を古いＦＩＦＯ（古いフレーム）と比較して、新しいフレーム内の新しい座標が古いフレームと等しい、古いものより小さい、または古いものより大きいかどうか、判定をする。
要約すると、以下の活動がこのプロセッサに関連する：
【００９９】
オブジェクト識別プロセッサの活動は、ＦＩＦＯの動作方法を活用することによって容易にされる。要約すると、このプロセッサの動作は次の通りに要約される：
・古い（ＡまたはＢ）ＦＩＦＯから古い中心点ｘおよびｙを読み込む。
・新しい（ＢまたはＡ）ＦＩＦＯから新しい中心点ｘおよびｙを読み込む。
・行座標に対する「ｍ」の許容範囲およびｘ座標に対する「ｎ」の許容範囲を設ける
・新旧の座標の比較によって、オブジェクトを識別する。
・動き追跡プロセッサに関連画素数とともに上記の結果を書き込む。
【０１００】
比較が２つのフレームの間でなされるので、第３のＦＩＦＯが新旧のデータの混合を防ぐために回路に加えられる。
【０１０１】
次に図８のロジックフロー図内の数値的ロジック番号を参照して、ポイント（１５０）で、プロセッサは前のプロセスで生じた新しいＹ座標で始まり、および、＋／−ｍだけ新しい行座標の検索範囲を拡張した後に、それは行の比較を始める。検索範囲＋／−ｍは、１つのフレームからの別のフレームへの小さな動きの変化が含まれることを確認するためである。
【０１０２】
ポイント（１５２）で、比較がなされない場合、それは１だけ検索の範囲を増大して、ポイント１５４に遷移し、それがｙ座標検索範囲の最後でない場合、それは、ポイント１５２に戻る。
【０１０３】
ポイント１５２で一致がある場合、それはポイント１５５に遷移し、それは、＋／−ｎカウントの範囲内でｘ座標の一致を探す。古いｘ座標間の一致がポイント１５５である場合、それは同じオブジェクトが新しいフレーム内に再び検出されたことを示唆する。それは、その時以下を行う：
・同じオブジェクトの中心点を動き追跡ＦＩＦＯに書き込む。
・同じオブジェクトマークを動き追跡ＦＩＦＯに書き込む。
【０１０４】
ポイント（１５４）で、新旧の同じｙ座標がｍの範囲内で検出されなかった場合、それは新しいｙ座標が古いｙ座標より小さいことを示唆する。図７Ｃの解析は、これが以下を実行する新しいオブジェクトの出現およびポイント１６１への遷移であることを示唆する：
・新しいオブジェクトマークとともに新しいオブジェクトのｘおよびｙ座標を動き追跡ＦＩＦＯに書き込む。
・ＦＩＦＯから新しいｘおよびｙ座標を読み込んで、ｙからｙ−ｍにおよびｘからｙ−ｎに検索範囲を設定する。
・古いフレームのｘおよびｙ座標を保ち、および、ポイント１５２に遷移する。
【０１０５】
ポイント１５７で、新旧の同じｘ座標がｎの範囲内で検出されなかった場合、それは新しいｘおよびｙ座標が古い座標より大きいことを示唆する。図７Ｃの解析はこれが古いオブジェクトの消失であることを示唆し、および、以下を実行するために、ポイント１６２に遷移する：
・オブジェクトマークの検出の終了を動きに書き込む。
・古いＦＩＦＯからｘおよびｙ座標を読み込む。
・新しいｘおよびｙ座標および検索範囲を新しいｙからｙ−ｍにおよびｘからｙ−ｎに保つ。
・ポイント１５２に遷移する。
動きベクトル測定メモリ（図９）
【０１０６】
３次元空間内に移動する多色３次元オブジェクトが、次の通りに６自由度でオブジェクトの動きに関連した距離ｘ、ｙおよびｚ同じく回転値の瞬間的なベクトル測定を与える：
ａ）３次元空間内に移動する多色オブジェクトが、カメラによって検出される時、各フレーム内の異なる色領域の独特のシグネチャを登録し、１つのグループの所定の色内の全ての色の各色の下の領域が３次元空間内の独特の瞬間的な回転角を表し、および異なる色の全領域がｚ方向の距離の瞬間的な大きさを与える。
ｂ）動きのオブジェクトの３つの回転位置の相対値が、３つの角度位置に対するデータが較正中にすでに登録されたメモリに対するアドレスとして、関連した色および色番号の各色に対する領域を設定することによって得られる。
・リアルタイム動き検出および処理中に、それらの関連色番号を含む全ての色部分の領域カウントがメモリに対するアドレスとして編成され、ならびにｚの対応する前に測定された絶対値および３つの角度寸法がデータとして読み込まれる。
ｃ）多色オブジェクトの任意の組の瞬間的な角度位置およびｚ方向の瞬間的な位置の測定が、較正中に実行される経験的測定に対する瞬間的な測定の比較結果である。
ｄ）各色の表面領域は、フレーム内のリアルタイム動き検出で検出される一組の色内の、その特定の色の画素数をカウントすることで測定される。
ｅ）ｚ方向の動きの値および３つの瞬間的な角度動き値の較正は、各色の下の領域の経験的測定の結果であり、ならびに各色番号および各関連した色の検出された領域によってアドレスされるメモリ内の周知のベクトル動き値を記録している。
ｆ）ｚの較正された瞬時値ならびにｘ、ｙおよびｚ回転ベクトルがメモリ内に記録され、その一方で、メモリに対するアドレスが各特定の色および検出された割り当てられた色番号の下の領域である。
ｇ）前のプロセス（複数プロセス）は、フレーム内の各動きに関連した異なる着色領域の動きおよび画素測定中に多色オブジェクトの動作シミュレーションによって容易にされる。
ｈ）回転値が小さい場合、ｚ方向の動きの変化は全体の関連した色領域の過去と現在の検出された値の比率によって近似される。
ｉ）追跡は、多色オブジェクトの上記のｘおよびｙ瞬間的測定値ならびにカメラが取り付けられるジンバルの２次元回転を用いて実行される。
ｊ）上記の情報を使用して、光学または画素ズーミングが可能にされる。
【０１０７】
次に図９の数値的番号を参照して、回転運動検出器メモリ（４１）がオブジェクト識別プロセッサから関連グループ番号とともにオブジェクトの各色の画素の各グループの個々の総数（４３、４５、４６）を受信する。それは、回転ベクトル動き測定メモリに対するアドレスとしてスペクトル識別番号とともにこの情報を設定して、オブジェクトの、３次元回転値（４７）同じくＺ方向の動き（４８）を受信する。図（４、４Ａおよび５）は、３次元空間内に移動する、多色立方体および半球体の動きを示す。
動き変化検出器プロセッサ
【０１０８】
動き変化検出器プロセッサが、ベクトル測定ＲＡＭから回転ｘ、ｙおよびｚベクトルならびにＺ座標値を受信する。それはまた、各オブジェクトのこのフレームから前のフレームまでのそれらの関連経過時間を算出する。それは、この測定から前のフレーム測定までの各オブジェクトの速度および加速度を算出する。経過時間は、次の通りに算出される：
・２つのフレーム内の検出間の経過時間は、前のフレーム検出の時間内の中心点に対するこのフレーム検出の時間内の中心点である。
・中心点時間は、検出が生じたフレーム内の最初の行から最後の行までの間の時間差を２で割ったものである。
【０１０９】
ベクトル速度は、２つのフレーム中のベクトル測定値の変化を経過時間で割って導き出される。この情報は、動き追跡ＦＩＦＯに伝えられる。
【０１１０】
上で詳細に記載されている使用可能化は、記録の従来技術に比べて新奇であるとみなされ、本発明の１つの最良の形態実施態様の少なくとも１つの態様の動作に、および、上記した目的の達成に決定的であるとみなされる。本実施態様を記載するこの明細書内に使用された語は、それらの一般に定義された意味においてだけでなく、またこの明細書内の特別な定義による、一般に定義された意味の有効範囲を越えた構造、材料または動作も含むと理解されるべきである。したがって、要素が複数の意味を含むように、この明細書の文脈内に理解されることができる場合、その使用がこの明細書によって、かつ、この要素を記述する語または複数語によって支持される全ての可能な意味に対して一般的であると理解されなければならない。
【０１１１】
ここで記載されている発明の実施態様および記載されていないその関連した実施態様の語または要素の定義は、したがって、文字通り記載される要素の組み合わせだけでなく実質的に同じ結果を得るために実質的に同じ方法で実質的に同じ機能を実行するための全ての等価構造、材料または動作も含むようにこの明細書内に定義される。この意味でしたがって、考察されることは、２つ以上の要素の等価置換が本発明およびそのさまざまな実施態様内の要素の任意の１つになされることができること、または、単一の要素が請求項内の２つ以上の要素に置換されることができる、ということである。
【０１１２】
現在公知であるかまたは後で考案される、当業者から見て請求された主題からの変更は、本発明およびそのさまざまな実施態様の有効範囲内で等価物であると明示的に意図される。
【０１１３】
したがって、当業者にとって現在または後で公知の明白な置換は、定義された要素の有効範囲内にあると定義される。本発明およびそのさまざまな実施態様は、したがって、特に例示されて上記されていること、概念的に等価であること、明らかに置換されることができること、更には本発明についての基本的考えを基本的に組み込むことを含むように理解されるべきである。
【０１１４】
本発明が少なくとも１つの好ましい実施態様を参照して記載されたとはいえ、本発明がそれに対して限定されないことは当業者によって明らかに理解されるべきである。むしろ、本発明の有効範囲は添付の請求の範囲だけに関連して解釈されるべきであり、および、本発明者（達）は請求された主題が本発明であると信じることが、ここで、明白にされる。
【符号の説明】
【０１１５】
３  保持および切捨てレジスタ
７  ブロック
１０  原色番号
１１  原色の関連グループ番号
１４  原色の信号
１７  関連タイミング
２０  フィルタ装置
４１  回転運動検出器メモリ
４３、４５、４６  各色の画素の各グループの個々の総数
４７  ３次元回転値
４８  Ｚ方向の動き
６１  ビデオフレームヘッダ検出
６２  フレームの行および列カウンタ
６３  副画素タイミングカウンタ
６５フレーム基準ロム
２００、２０１  ライン
ｍ  異なるオブジェクトの色のグループの総数
ｎ  全フィルタをかけられた原色番号
【図１】
2012502275.tif 000003
【図２】
2012502275.tif 000004
【図２Ａ】
2012502275.tif 000005
【図３】
2012502275.tif 000006
【図４】
2012502275.tif 000007
【図４Ａ】
2012502275.tif 000008
【図５】
2012502275.tif 000009
【図６】
2012502275.tif 000010
【図６Ａ】
2012502275.tif 000011
【図７】
2012502275.tif 000012
【図７Ａ】
2012502275.tif 000013
【図７Ｂ】
2012502275.tif 000014
【図７Ｃ】
2012502275.tif 000015
【図８】
2012502275.tif 000016
【図８Ａ】
2012502275.tif 000017
【図９】
2012502275.tif 000018
【国際調査報告】
2012502275.tif 000019
2012502275.tif 000020