(57)【要約】センサの視野内にある対象物の物理的特徴の動的特徴検出のためのシステムおよび方法が開示される。動的特徴検出は、複数のアラインメントに対応する複数の画像を捕捉および処理するために、対象物または材料の視野内の運動および／または視野を横切る運動を使用することにより、物理的特徴とピクセルグリッドとの偶発的アラインメントの効果を実質的に低減する。ある特徴の位置、重みおよびその他の属性の評価は、当該特徴が視野内を移動して複数のピクセルグリッドアラインメントに現れるときの当該特徴の外観の解析に基づいている。この結果得られる信頼性および正確性は先行技術の静的特徴検出システムおよび方法より優れている。
2011517817.tif 000002
【特許請求の範囲】
【請求項１】
対象物上の複数の対象物特徴を測定する方法であって、
対象物とセンサの視野との間の相対運動を提供して、
前記視野の一連の画像を捕捉して、
一連の画像の各画像について、静的特徴のセットを検出して、
複数の対象物特徴に対応する複数の動的特徴をメモリに記憶して、ここで、各動的特徴は対応する対象物特徴の物理的特性の少なくとも１つの測定値を含んでおり、
一連の画像の各画像について、マップを決定するために前記静的特徴のセットと記憶された複数の動的特徴とを解析して、
ここで、前記マップは、
対象物上のポイントと画像内のポイントとの間でマッピングされ、少なくとも１個の自由度を備える、姿勢と、
動的特徴を対応する静的特徴にマッピングする関連付けとを含んでおり、
対応する対象物特徴の物理的特性の少なくとも１つの測定値を改善するためにマップに応じて少なくとも１つの動的特徴を更新する、
ことを含むシステム。
【請求項２】
前記対象物は実質的に未知の外観であり、さらに、対象物と視野との間の相対運動に応じて複数の動的特徴の新たな要素を作成してメモリに記憶することを含む請求項１記載の方法。
【請求項３】
さらに、対象物と視野との間の相対運動に応じてメモリから動的特徴を取り除くことを含む請求項２記載の方法。
【請求項４】
各動的特徴はさらに経験ファクタを含み、
前記解析は動的特徴の前記経験ファクタに応じて、少なくとも１つの動的特徴の影響により、経験ファクタが増えるに連れて決定されたマップが増加するようになっており、
前記更新はさらに動的特徴の前記経験ファクタに応じて、少なくとも１つの動的特徴が決定されたマップに影響されて経験ファクタが増えるに連れて減少するようになっている請求項２記載の方法。
【請求項５】
前記経験ファクタは動的特徴が作成されて以降に捕捉された画像の計数に対応する請求項４記載の方法。
【請求項６】
各静的特徴は当該静的特徴が対象物特徴に対応していることの相対的確信度を示す重みを含み、
前記経験ファクタは動的特徴が対応している静的特徴の重みに対応する請求項４記載の方法。
【請求項７】
前記対象物は外観が実質的に既知であり、記憶された複数の動的特徴は既知の外観に応じて予め決定される請求項１記載の方法。
【請求項８】
さらに、視野内に置かれたトレーニング対象物に応じて所定の複数の動的特徴を作成することを含む請求項７記載の方法。
【請求項９】
前記所定の複数の動的特徴を作成することが、
トレーニング対象物と視野との間の相対運動を提供して、
前記視野の第２の一連の画像を捕捉して、
前記第２の一連の画像の各画像について、トレーニング静的特徴のセットを検出して、
複数のトレーニング動的特徴をメモリに記憶して、ここで、前記各トレーニング動的特徴は対応するトレーニング対象物特徴の物理的特性の少なくとも１つの測定値を含み、前記複数のトレーニング動的特徴は予め決定されず、
前記第２の一連の画像の各画像について、トレーニングマップを決定するために対応するトレーニング静的特徴のセットと記憶された複数のトレーニング動的特徴とを解析して、
ここで、前記トレーニングマップは、
トレーニング対象物上のポイントと画像内のポイントとの間でマッピングされるトレーニング姿勢と、トレーニング動的特徴を対応するトレーニング静的特徴にマッピングするトレーニング関連付けとを含んでおり、
対応するトレーニング対象物特徴の物理的特性の少なくとも１つの測定値を改善するためにトレーニングマップに応じて少なくとも１つのトレーニング動的特徴を更新して、
前記複数のトレーニング動的特徴から所定の複数の動的特徴を作成する、
ことを含む請求項８記載の方法。
【請求項１０】
さらに、既知の外観と実質的に類似した外観を有する対象物が視野内にあることの相対的確信度を示す少なくとも１つのスコアを決定するために、記憶された複数の動的特徴を検査して、
既知の外観と実質的に類似した外観を有する対象物が検出されたか否かを決定するために少なくとも１つのスコアを使用して、
前記決定に応じて検出信号を出力する、
ことを含む請求項７記載の方法。
【請求項１１】
さらに、対象物の運動に関する情報を含む運動信号を出力することを含み、前記運動信号が前記姿勢の少なくとも１個の自由度に対応する請求項１、２、４または７のいずれか１項記載の方法。
【請求項１２】
対象物上の複数の対象物特徴を測定するためのシステムであって、
視野を有するセンサと、
前記対象物と前記センサの視野との間の相対運動を提供する運動プロセスと、
前記視野の一連の画像を捕捉する捕捉プロセスと、
一連の画像の各画像について、静的特徴のセットを検出する静的特徴検出プロセスと、
複数の対象物特徴に対応する複数の動的特徴を記憶するメモリであって、各動的特徴は対応する対象物特徴の物理的特性の少なくとも１つの測定値を含んでいる、前記メモリと、
一連の画像の各画像について、マップを決定するために前記静的特徴のセットと記憶された複数の動的特徴とを解析する解析プロセスであって、
前記マップは、
対象物上のポイントと画像内のポイントとの間でマッピングされ、少なくとも１個の自由度を備える、姿勢と、
動的特徴を対応する静的特徴にマッピングする関連付けとを含む、
前記解析プロセスと、
対応する対象物特徴の物理的特性の少なくとも１つの測定値を改善するためにマップに応じて少なくとも１つの動的特徴を更新する学習プロセスと、
を含むシステム。
【請求項１３】
前記対象物は実質的に未知の外観であり、さらに、対象物と視野との間の相対運動に応じて複数の動的特徴の新たな要素を作成しメモリに記憶する生成プロセスを含む請求項１２記載のシステム。
【請求項１４】
さらに、対象物と視野との間の相対運動に応じてメモリから動的特徴を取り除く消滅プロセスを含む請求項１３記載のシステム。
【請求項１５】
各動的特徴はさらに経験ファクタを含み、
解析プロセスは動的特徴の前記経験ファクタに応じて、少なくとも１つの動的特徴の影響により、経験ファクタが増えるに連れて決定されたマップが増加するようになっており、
学習プロセスはさらに動的特徴の前記経験ファクタに応じて、少なくとも１つの動的特徴が決定されたマップに影響されて経験ファクタが増えるに連れて減少するようになっている請求項１３記載のシステム。
【請求項１６】
前記経験ファクタは動的特徴が作成されて以降に捕捉された画像の計数に対応する請求項１５記載のシステム。
【請求項１７】
各静的特徴は当該静的特徴が対象物特徴に対応していることの相対的確信度を示す重みを含み、
前記経験ファクタは動的特徴が対応している静的特徴の重みに対応する請求項１５記載のシステム。
【請求項１８】
前記対象物は外観が実質的に既知であり、記憶された複数の動的特徴は既知の外観に応じて予め決定される請求項１２記載のシステム。
【請求項１９】
さらに、視野内に置かれたトレーニング対象物に応じて所定の複数の動的特徴を作成するトレーニングプロセスを含む請求項１８記載のシステム。
【請求項２０】
前記トレーニングプロセスは、
前記トレーニング対象物と前記視野との間の相対運動を提供するトレーニング運動プロセスと、
前記視野の第２の一連の画像を捕捉するトレーニング捕捉プロセスと、
前記第２の一連の画像の各画像について、トレーニング静的特徴のセットを検出するトレーニング静的特徴検出プロセスと、
複数のトレーニング動的特徴をメモリに記憶するトレーニングメモリであって、前記各トレーニング動的特徴は対応するトレーニング対象物特徴の物理的特性の少なくとも１つの測定値を含み、前記複数のトレーニング動的特徴は予め決定されない、前記メモリと、
前記第２の一連の画像の各画像について、トレーニングマップを決定するために対応するトレーニング静的特徴のセットと記憶された複数のトレーニング動的特徴とを解析するトレーニング解析プロセスであって、
前記トレーニングマップは、
トレーニング対象物上のポイントと画像内のポイントとの間でマッピングされるトレーニング姿勢と、トレーニング動的特徴を対応するトレーニング静的特徴にマッピングするトレーニング関連付けとを含む、
前記トレーニング解析プロセスと、
対応するトレーニング対象物特徴の物理的特性の少なくとも１つの測定値を改善するためにトレーニングマップに応じて少なくとも１つのトレーニング動的特徴を更新するトレーニング学習プロセスと、
前記複数のトレーニング動的特徴から所定の複数の動的特徴を作成する選択プロセスと、
を含む請求項１９記載のシステム。
【請求項２１】
さらに、既知の外観と実質的に類似した外観を有する対象物が視野内にあることの相対的確信度を示す少なくとも１つのスコアを決定するために、記憶された複数の動的特徴を検査する検出プロセスと、
既知の外観と実質的に類似した外観を有する対象物が検出されたか否かを決定するために少なくとも１つのスコアを使用する決定プロセスと、
前記決定に応じて検出信号を出力する信号プロセスと、
を含む請求項１８記載のシステム。
【請求項２２】
さらに、対象物の運動に関する情報を含む運動信号を出力する信号プロセスを含み、前記運動信号が前記姿勢の少なくとも１個の自由度に対応する請求項１２、１３、１５または１８のいずれか１項記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデジタル画像解析に係り、より具体的には特徴検出およびその運動の光学的測定への応用に関する。
【背景技術】
【０００２】
本発明の背景
デジタル画像解析は、工業オートメーション、家庭用電化製品、医療診断、衛生画像、写真処理、交通監視、セキュリティなどを含め多くの実用的目的に使用されている。工業オートメーションにおいては、例えばマシンビジョンシステムは自動化された製品検査、ロボットガイダンスおよび部品識別の応用にデジタル画像解析を用いる。家庭用電化製品では、例えば通常の光学式マウスはデジタル画像解析を用いて、人がパソコン画面上でカーソルを制御できるようになっている。
【０００３】
これらの応用を提供するために、デジタル画像はセンサ、例えばピクセルと呼ばれる受光素子の光電子アレイによって捕捉され、デジタル情報処理デバイス、例えばデジタル信号プロセッサ（ＤＳＰ）または画像解析ソフトウェアを実行する汎用コンピュータによって解析されて有用な情報を抽出する。デジタル画像解析の通常の形式の１つは特徴検出である。センサの視野にある対象物の物理的特徴（対象物特徴）がデジタル画像内のパターン（画像特徴）を生じさせ、これらのパターンが解析されることによって対象物特徴および当該対象物特徴を含む対象物に関する情報が提供される。対象物特徴の例はエッジ、隅角、穴、稜線および谷部を含んでよく、これらは表面深さ、向きおよび反射率に変化を生じさせる。逆にこれらの変化は照射光と相互に作用して画像特徴を生み出す。
【０００４】
画像特徴は多くの周知の方法、例えばエッジ検出、マッチドフィルタ、連結性、ハフ変換および幾何パターンマッチングを用いて検出することができる。
【０００５】
典型的にはデジタル画像解析における特徴検出は静的プロセスである。これは一般に、特徴が特定のポイントおよび時間に捕捉された単一のデジタル画像内で検出されることを意味する。同様に、ノイズを減らすために、動かない場面で捕捉された複数の画像の平均である画像で静的特徴検出を使用することができる。
【０００６】
典型的な静的特徴検出システムにおいて、ある場面の１次元または２次元デジタル画像が任意の適当な手段で捕捉される。次にこの画像は静的特徴検出技術を実現するソフトウェアによって解析されて画像特徴が識別される。これらの画像特徴は、対応する対象物特徴の物理的特性の測定を表す属性のセットを有する。例えば２次元エッジ検出システムにおいて、エッジ属性は位置、向きおよび重みを含むことができる。位置は画像内におけるエッジの位置特定を評価し、周知の手段によりサブピクセル精度で決定することができる。向きは評価された位置におけるエッジの角度を評価する。重みはエッジの強さの評価であり、エッジが真に視野内の物理的特徴に対応しており、計測に伴う人為的な影響ではないことの一定の確信度を提供するために使用することができる。典型的には、エッジはその重みがここで検出閾値と呼ぶある値を超えた場合のみ存在すると見なされる。
【０００７】
例えば１次元エッジ検出システムにおいて、位置と重みは同様に評価され、一般に同じ意味を持ち得るが、向きは極性に置き換えられる。極性はエッジが明−暗移行または暗−明移行であるかを示す２状態（バイナリ）値である。
【０００８】
ゾーベルおよびキャニーのシステムを含め、多数の周知の静的エッジ検出システムが存在する。他の２次元静的エッジ検出技術の例は、合衆国特許第６６９０８４２号「デジタル画像におけるエッジの検出およびサブピクセル位置特定のための装置および方法」（ウィリアム・シルバー）に記載されており、その内容は参照により本明細書に組み込まれる。一般にこの文献は２次元法について記述しており、１次元法は特殊でより簡単な方法をなしている。静的エッジ検出技術は勾配評価、ピーク検出、ゼロ公差検出、サブピクセル補間、および当技術分野では周知のその他の技術を利用してよい。
【０００９】
静的特徴検出の別の例はハフ変換であり、これは合衆国特許第３０６９６５４号「複雑なパターンを認識するための方法および手段」に記載され、その後、他の著者により一般化された。例えば２次元画像内の線を検出するために設計されたハフ変換では、特徴属性は位置および向きを含むことができよう。
【００１０】
さらに別の静的特徴検出の例は連結性解析であり、特徴属性は質量中心、面積および主要軸の向きを含むであろう。
【００１１】
静的特徴検出技術によって評価されたすべての情報は、ピクセルグリッドの解像度および幾何条件により正確性と信頼性の点において限界がある。その理由は、画像特徴を生じさせるピクセルグリッドと物理的特徴との間の正確なアラインメントが、必然的に、画像が捕捉される時刻に対象物または材料が視野内に位置するプロセスの偶然性に負っていることにある。例えばエッジの重みはこの偶発的アラインメントに依存して著しくばらつき、その結果として真のエッジを検出できないか、または計測に伴う人為的な影響を誤って検出することがある。これは特にピクセルグリッドの解像度の限界にあるエッジに起こりやすく、そのようなエッジの検出は、現実的であるか人為的であるかにかかわらず、ピクセルグリッドとの偶発的アラインメントの気まぐれによって左右される。
【００１２】
位置評価も偶発的アラインメントの同じ気まぐれの影響を受ける。高性能の静的エッジ検出器は良好に解像された強いエッジの位置を４分の１ピクセルまで評価できるだろうが、それ以上は難しい。弱いエッジまたは不十分にしか解像されないエッジについては、正確性ははるかに低下するであろう。
【００１３】
静的特徴検出は通常の光学式マウスで作業面を横切るマウスの運動を追跡するために用いられている。従来使用されている方法は、例えば合衆国特許第５５７８８１３号「非線形運動を補償するフリーハンド画像スキャニングデバイス」、第５６４４１３９号「対象物に関するナビゲーションセンサの動きを検出するためのナビゲーション技術」、第５７８６８０４号「姿勢を追跡するための方法およびシステム」、および第６４３３７８０号「コンピュータシステムのためのマジックアイマウス」に記載されている。作業面上の物理的特徴に対応して基準パターンが記憶されており、この場合基準パターンはこの面上のデジタル画像の一部である。基準パターンはこの面の後続のデジタル画と相関して、典型的には相関に対する差の絶対値の合計を用いて運動を評価する。ある大きさを超える運動が検出されたら、新しい基準パターンが記憶される。これが必要である理由は、古い基準パターンがまもなくセンサの視野から消え去るからである。
【００１４】
この種類の相関は一種の静的特徴検出である。新しい基準パターンが記憶されるときのマウスの位置は、面の物理的特徴とセンサのピクセルグリッドとの偶発的アラインメントであり、新しい基準パターンが記憶される度にある程度の誤差が生じるであろう。これらの誤差は新しい基準パターンが記憶される回数の平方根に比例して累積され、急速にかなり大きくなる。これは一般に光学式マウスにとっては深刻な問題ではない。なぜなら人間のユーザが運動を制御するフィードバックループとして働いて、所望された効果を達成するからである。
【００１５】
対象物または材料の運動を正確に追跡することが重要で実用的価値を有する応用は数多く、それらにおいては光学式マウスで使用されているようなデジタル画像解析の従来の方法は不十分である。これらの応用は工業製造に非常に多く見られ、例えばインクジェットやレーザプリンタを制御するための離散対象物の追跡、連続ウェブの材料の追跡などの例がある。最も慣用的に用いられている解決は、搬送駆動シャフトに取り付けた機械式エンコーダであるが、これらは駆動と材料の間の滑りを含む周知の問題を有しており、その結果、不正確さを招く。表面速度の直接的な非接触測定のためにレーザドップラ技術を用いたシステムがあるが、これらは一般に高価な上にかさばる。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】米国特許第6,690,842号明細書
【特許文献２】米国特許第3,069,654号明細書
【特許文献３】米国特許第5,578,813号明細書
【特許文献４】米国特許第5,644,139号明細書
【特許文献５】米国特許第6,433,780号明細書
【発明の概要】
【００１７】
本発明は先行技術の欠点を、動的特徴検出のためのシステムおよび方法を提供することによって克服する。動的特徴検出は、複数のアラインメントに対応する複数の画像を捕捉および処理するために、対象物または材料の視野内の運動および／または視野を横切る運動を使用することにより、物理的特徴とピクセルグリッドとの偶発的アラインメントの効果を実質的に低減する。ある特徴の位置、重みおよびその他の属性の評価は、当該特徴が視野内を移動して複数のピクセルグリッドアラインメントに現れるときの当該特徴の外観の解析に基づいている。この結果得られる信頼性および正確性は先行技術の静的特徴検出システムおよび方法より優れている。
【００１８】
本発明において「動的特徴」は、対象物または材料の物理的特徴または特性（対象物特徴）を記述しかつ対応する情報を含む。この場合、情報は対象物または材料が視野に対して相対的に動いている間に捕捉された複数の画像を解析することによって決定される。この情報は対象物特徴の物理的特性、例えば位置の少なくとも１つの測定値を含んでいる。情報の個々の要素は属性または値と呼ばれる。エッジを使用する例示的な実施態様において、情報は位置、向き（２次元）または極性（１次元）および重みを含んでよく、これらはそれぞれ先行技術の静的エッジ検出におけるものと類似しているが、より信頼でき正確である。代替的な実施態様において、情報はさらに静的特徴検出によって予想される別の値、例えば齢（age）やばらつきを含んでもよい。例示的な実施態様において、齢は動的特徴が視野内に出現した画像の数の計数である。ばらつきという属性は、別の属性、例えば位置、重みおよび／または向きの変動の大きさを測定したものであり、これらの属性の信頼性の評価を提供する働きをする。
【００１９】
本明細書で用いられる「静的特徴」という用語は、適当な静的特徴検出方法またはシステムによって検出された画像特徴をいう。「静的エッジ」および「動的エッジ」という用語は、検出されるべき特徴がエッジである実施態様においてそれぞれ静的特徴または動的特徴をいう。このような実施態様の説明において、場合によっては選択されたタイプの特徴により適した属性を有する別のタイプの特徴も使用可能であることは明らかであろう。
【００２０】
運動は物理的世界において対象物および材料のほぼ普遍的な特性である。対象物がセンサの視野内で静止している場合でも、対象物は静止しているポイントに達するために移動したはずである。例えば工業製造では、対象物および材料は一般に生産ラインに沿って既知の方向に動く。
【００２１】
本発明では、１つの画像から次の画像に至る特徴の見かけの運動は一般に２つの原理的ファクタからなるという事実を利用している。それらは対象物または材料の視野内における物理的運動と、計測に伴う人為的な影響、例えば離散ピクセルグリッドとの偶発的アラインメント、照明および視角の変動、ならびに当技術分野で周知のその他の要因である。運動の物理的成分は一般に同じ対象物に属するすべての特徴にほぼ共通しているが、人為的成分は一般にほぼ相関性がない。本発明は、計測に伴う人為的な影響を実質的に打ち消しながら運動の物理的成分を評価するための画像解析システムおよび方法を提供するものであり、それによって物理的運動は個々の静的特徴の属性、例えば位置や向きの評価よりはるかに正確に評価される。
【００２２】
本発明の例示的な実施態様によれば、物理的運動は１以上のパラメータによって記述されるが、これらのパラメータは運動が起こり得る１以上の自由度に対応している。例えば、２次元画像における剛体の運動は３つのパラメータ、すなわち２つの並進パラメータと１つの回転パラメータによって記述されよう。同様に、１次元画像における剛体の運動は１つの並進パラメータによって記述されるであろう。ある種のセンサに近づく運動および／またはセンサから遠ざかる運動は、対象物が近づくか遠ざかると大きくまたは小さく見えるので１自由度によって記述され得る。例えばこの種の１次元センサについて、２つのパラメータ、すなわち並進パラメータと大きさのパラメータによって運動を記述することができよう。
【００２３】
一般に、所与の用途において多くの別の周知の数の自由度、例えばアフィン変換や透視変換の自由度を運動に固有なものとして使用することができる。さらに、運動のパラメータが定義され得る限り、対象物は剛体である必要はない。特定の実施態様において自由度の数を定義するために使用されるパラメータのセットは総称して、視野に対して相対的な対象物または材料の「姿勢」と呼ばれ、または逆に対象物または材料に対して相対的な視野の姿勢と呼ばれる。姿勢は各画像について、対象物上のポイントと画像内のポイントとの間のマッピングを提供する。
【００２４】
ある種の運動、例えば回転などは２次元画像の使用を示唆する。しかしながら本発明は、運動が１次元画像に適している実施態様は考慮に値し、特別の実用的価値を有していること、また１次元デジタル画像解析は２次元デバイスに比べて敬遠されてきたことを認識している。実用的価値が生じる理由は、一部は工業製造における運動は一般に生産ラインに沿った１自由度によって特徴付けられるため、一部は１次元システムの方が２次元システムよりはるかに微細な時間分解能を有するためである。
【００２５】
実用的に重要であるので、そしてまた説明を簡明にするために、本明細書での開示は並進運動の１自由度を有する１次元画像を用いる実施態様を強調する。しかしながら、２次元画像を用いる実施態様、または異なるもしくは追加の自由度を有する１次元画像を用いる実施態様も本発明の範囲に含まれることが認識されるであろう。さらに実用的に重要であるため、および説明を簡明にするために、本明細書での開示は検出されるべき特徴がエッジである実施態様を強調する。しかしながら、さらに別の種類の特徴に基づく実施態様も本発明の範囲に含まれることが認識されるであろう。
【００２６】
幾つかの実施態様において、視野内の対象物または材料は実質的に未知の外観である。すなわち、対象物特徴は事前に知られていない。運動が新しい物理的特徴または特性を視野内にもたらすと動的特徴が作成され、対象物または材料が動くに連れて複数の画像を通した学習プロセスに対応して更新され、さらに任意的には、運動がそれらを実質的に視野から運び出したら破棄されてもよい。
【００２７】
別の実施態様において、実質的に既知の外観を有する対象物または材料に対応して所定の動的特徴のセットが用いられる。所定の動的特徴のセットは、トレーニング対象物に対応するトレーニングプロセス、ＣＡＤ、数学的記述または任意の適当なプロセスから取得することができる。このような実施態様について、動的特徴の属性は予想値と測定値の双方を含んでいてもよい。予想される属性は所定の情報に由来することができ、既知の外観と実質的に類似した外観を有する対象物が視野に入る度に測定された属性は初期化され、対象物が動くに連れて更新される。このような実施態様はさらに動的特徴のセットに齢とばらつきの属性を含んでいてもよい。
【００２８】
ある程度の運動は動的特徴検出の必要な要素であるが、この運動は連続的または円滑である必要はない。運動は事前に知ることも警告もなく大きさおよび／または方向が任意に変わってもよい。さらに、対象物は視野内で不特定の時間にわたり静止してもよい。いずれの場合も、運動はセンサと対象物との間の相対運動として理解される。本明細書では本発明の例示的な実施態様は、固定されたセンサと動いている対象物を用いて説明される。代替的な実施態様においてはセンサが動いて対象物は固定されてよく、および／または対象物とセンサのいずれも動いてよいことに留意すべきである。したがって固定されたセンサと動いている対象物に関する説明は、例示としてのみ受け取られるべきである。
【００２９】
実際の動作においては、例示的な動的特徴検出システムまたは方法は、視野の一連の画像を捕捉し、静的特徴検出を実行して捕捉された各画像について静的特徴のセットを識別する。静的特徴検出には任意の適当な方法を用いることができる。
【００３０】
捕捉された各画像について静的特徴と動的特徴との間のマップを決定するために解析が実行される。解析は静的特徴を動的特徴との実質的に最良のアラインメントにもたらすように設計されていることが好ましい。マップは一般に２つの構成要素、すなわち対象物上のポイントと画像内のポイントとの間でマッピングされる姿勢と、動的特徴を対応する静的特徴にマッピングする関連付けを有する。典型的には１つの動的特徴は１つの静的特徴に対応するが、１つの動的特徴が１つ以上の静的特徴に対応する曖昧な場合や、動的特徴がどの静的特徴にも対応しない場合もある。マップを生成することに加えて、解析はそのマップが有効であること、すなわち対象物または材料が動くときに正確に追跡され続けていることの確信の度合いを示すマッチスコアを生成できる。
【００３１】
マップを使用して、動的特徴の属性は学習プロセスによって更新されるが、学習プロセスの詳細はそれぞれの実施態様に特有である。学習プロセスの１つの効果は、対応する対象物特徴の物理的特性の測定を改善することである。これは例えば測定をより正確に、または信頼できるようにすることによってなされる。
【００３２】
対象物または材料の外観が実質的に知られていない実施態様において、新しい物理的特徴または特性が視野に入ると動的特徴が作成され、それらが動くに連れて学習プロセスによって更新され、さらに任意的には、それらが視野から出た後で破棄されてもよい。生成、ライフおよび消滅という用語は、本明細書では動的特徴を作成、更新および破棄するプロセスを表すために用いられ、これらのプロセスは総称して動的特徴のライフサイクルと呼ばれる。
【００３３】
例示的な実施態様において、動的特徴は本明細書では「経験」と呼ばれる属性を有する。幾つかの例示的な実施態様において経験は単純に動的特徴の齢であってよく、これは１つの例示的な実施態様では生成時の０から始まり、その生涯に捕捉された各画像に対して１ずつ増加する。別の例示的な実施態様では経験は、齢と、動的特徴が対応することが発見された静的特徴の重みとの組み合わせである。したがって例えば、良好に解像された強い対象物特徴に対応する動的エッジは古くなるに連れて、弱い、すなわち解像不良な対象物特徴に対応する動的エッジよりも多くの経験を得る傾向がある。
【００３４】
例示的な実施態様において経験は学習プロセスに重要で顕著な効果を与える。経験の少ない動的特徴の属性は一般に経験の多い動的特徴より信頼性が比較的低い。その帰結として、経験の少ない動的特徴はマップおよびマッチスコアを決定する解析に寄与することが比較的少なく、属性データを更新する学習プロセスによって比較的多く影響されることが好ましい。同様に、経験の多い動的特徴が解析に比較的多く寄与し、学習プロセスによって影響されることが比較的少ない（または全くない）ことが好ましい。学習プロセスは相関性のない計測に伴う人為的な影響の大きさを低減して、先行技術の静的特徴検出によって得られるより正確で信頼できる属性を生み出す。
【００３５】
これらの例示的な実施態様では、マップは経験によって最も強く影響され、また経験のより少ない動的エッジに学習プロセスを通して最も強く影響を与えるため、動的特徴のライフサイクルは経験の多い動的特徴から経験の少ない動的特徴に情報を伝達する効果を有する。１つの特徴が生成し、年長の特徴から属性を学習して、その情報を若い世代に伝え、最後に消滅するのである。
【００３６】
上述したように、マップを決定する解析は各画像についてマッチスコアを計算できる。例示的な実施態様において、マッチスコアは経験のある動的特徴によって最も強く影響される。例示的な実施態様においてマッチスコアがある受入れ閾値を下回ると、マップは信頼できないと見なされて画像は無視される。より信頼できるマップが次の画像で見いだされる可能性がある。特定の数の連続するマッチスコアが受入れ閾値を下回るか、そのようなスコアの１つが特定のフラッシュ閾値を下回ると、すべての動的特徴が破棄されて、現在の画像の静的特徴から新しい動的特徴が作成される。代替的な実施態様によれば、マップが信頼できなくなったり、対象物の追跡が完全に機能しなくなったりする状況に対処するために、多くの別の規則を用いることができる。
【００３７】
実質的に既知の外観を有する対象物または材料を用いる実施態様において、マップを決定する解析は２スコアを計算できる。すなわち、マップ内の確信度を示す上述したマッチスコアと意味と使用において類似しているマッチスコアと、外観が既知の外観に類似している対象物が視野内にあるという確信度を示す検出スコアである。このような実施態様の１つの利点は、ある対象物が見つかってそれが実際に既知の外観の対象物であることを確信するより以前に、対象物がまだ一部しか視野内にない時点で当該対象物を認識して追跡することが好ましい場合にある。この時点ではマップ上で一定の確信度（マッチスコア）を持ちながら、対象物の同一性に関する判定（検出スコア）はより多く見えるまで保留することが好ましい。
【００３８】
実質的に既知の外観を有する対象物または材料を用いる幾つかの実施態様において、所定の動的特徴のセットはトレーニング対象物から動的特徴を決定するトレーニングプロセスを用いて取得される。所定の動的特徴のセットは、このような動的特徴検出の実施態様のどの画像でも使用されるため、当該各動的特徴のセットの属性は実用的に信頼でき、種々のピクセルグリッドアラインメントを通して比較的一貫して見られる特徴のみ当該セットに含まれることが好ましい。例えば解像度の低い特徴があるピクセルグリッドアラインメントでは強く現れるが、別のピクセルグリッドアラインメントではそうではないことがあり、それらの静的位置は一般に信頼できない。
【００３９】
１つの例示的な実施態様において、トレーニング対象物におけるトレーニングは未知の対象物または材料で動作するように構成された動的特徴検出の実施態様を用いることを伴う。理解のとおり、トレーニング対象物またはトレーニング材料はトレーニングプロセス自体によって知られるようになるまでは未知のままである。この実施態様では、トレーニング対象物が視野内に動かされると未知の対象物または材料における動的特徴検出が実行される。トレーニングプロセスを実行するために信号が受け取られ、この信号の時点に存在する動的特徴を検査し、属性が信頼性を示す動的特徴を選択し、トレーニング対象物に実質的に類似した外観を有する対象物における動的特徴検出に使用される所定の動的特徴のセットを作成する。トレーニング対象物は信号の時点で静止していても動いていてもよい。信頼性は平均重み、位置ばらつき、または当業者に想到される他の適当なプロセスによって示される。
【００４０】
本発明の例示的な実施態様に従う動的特徴検出システムおよび方法の１つの結果は、一連の姿勢を生成することであり、各姿勢は１つの画像に対応している。２つの画像の間の姿勢座標の変化を当該画像が捕捉された時点の間の時間差で除することにより、対象物または材料の運動の速度の評価が行われる。速度は最大で姿勢と同数の自由度を有することができる。例えば、並進運動の自由度は線速度評価を生じさせ、向きの自由度は角速度評価を生じさせる。１つの例示的な実施態様において、姿勢および時間の差異が連続する画像の間で計算され、次にそれらの比がローパスフィルタによってフィルタリングされる。
【００４１】
速度評価を多様な目的のために使用してもよい。１つの例示的な実施態様において、フィルタリングされた速度評価はマップを決定する解析の一環として、対象物または材料に対して相対的に視野の姿勢を予測するために使用される。予測された姿勢は解析をより速く実行するために使用されるが、これはシステムの時間分解能を実用的に微細に保つために好ましい。
【００４２】
動的エッジ検出システムおよび方法は豊富な情報、例えば、動的特徴の属性、一連の姿勢および一連の速度評価を生成する。これらの情報は当業者に想到される非常に多様な目的に使用することができる。
【００４３】
特別の実用的価値を有する例示的な実施態様において、未知の対象物または材料から得られた一連の姿勢および／または速度評価は、適当な信号によって外部装置に供給される。信号は例えば周知の直交信号、アナログ電流ループおよび／または任意のシリアルまたはパラレル通信プロトコルを含んでいてもよい。これらの例示的な実施態様は、例えば工業製造用途で従来の機械式シャフトエンコーダの代替として離散対象物、材料の連続ウェブ、動的特徴が検出され得るその他の対象物または材料に有利に使用することができる。このような応用において従来のシャフトエンコーダは搬送駆動シャフトの回転の信頼できる測定を提供するが、現に搬送されている対象物または材料の位置および／または速度は必ずしも提供しない。本発明は対象物または材料の運動を直接的に追跡するための実用的で廉価な非接触式の手段および／または信頼できる手段を提供する。
【００４４】
特別の実用的価値を有する別の例示的な実施態様では、対象物の光電子検出および位置特定のための改善された方法およびシステムに、実質的に既知の外観を有する対象物を用いる動的特徴検出が使用される。このような目的のための方法およびシステムが合衆国特許出願第１０／８６５１５５号「対象物の視覚的検出および検査のための方法および装置」および合衆国特許出願第１１／７６３７５２号「対象物の光電子検出および位置特定のための方法およびシステム」に開示されたが、いずれの内容も参照により本明細書に組み込まれる。これらの出願で開示されている例示的な実施態様において、実質的に既知の外観を有する対象物の位置特定のための種々のシステムおよび方法が教示された。本発明のシステムおよび方法またはその一部をこれらと組み合わせ、またはこれらの代替として使用して、正確性、信頼性および／またはその他の利点と並んでトレーニングの容易さを改善することができる。
【００４５】
本明細書に組み込まれた上記の合衆国特許出願第１１／７６３７５２号は動的特徴検出を教示または予測をしていないが、本発明のある１次元実施態様を実施するために有利に用いてもよい１次元画像捕捉のための装置およびプロセスを開示している。
本発明は、添付の図面と併せ、以下の詳細な説明から理解されるであろう。
【図面の簡単な説明】
【００４６】
【図１】図１は実質的に既知の外観を有する離散対象物を検出および／または実質的に未知の外観を有する離散対象物を追跡するための本発明によるシステムの応用例を示す。
【図２】図２は連続的材料のウェブの運動を追跡するための本発明によるシステムの応用例を示す。
【図３】図３は例示的な装置のブロック図を示す。
【図４】図４は本発明による方法の例示的な実施態様を説明するフローチャートを示す。
【図５】図５は検出されるべき特徴がエッジである例示的な実施態様のための静的特徴検出プロセスを示す。
【図６】図６は図５の静的特徴検出プロセスで用いられる畳み込みカーネルを示す。
【図７】図７はある例示的な実施態様で用いられる静的エッジの重みを検出するための方法を示す。
【図８】図８は対象物の外観が実質的に知られていない例示的な実施態様で動的特徴を記憶するために用いられるリングバッファを示し、さらにそのような１つの動的特徴を示す。
【図９】図９は例示的な実施態様の動作のスナップショット、および対応する静的エッジと動的エッジを示す。
【図１０】図１０は図の静的エッジおよび動的エッジと関連する値を記憶するメモリの部分、および選択されたマップデータを示す。
【図１１】図１１は実質的に未知の外観を有する対象物に対する動的特徴を更新するための方法の例示的な実施態様を説明するフローチャートを示す。
【図１２】図１２は他の多くの目的と並んで、動いている対象物および材料を追跡するために用いてもよい本発明によるシステムの例示的な実施態様のブロック図を示す。
【図１３】図１３は２次元画像を使用し、特徴が連結性解析によって検出されたブロブであり、実質的に未知の外観を有する材料を含む例示的な実施態様の動作のスナップショットを示す。
【図１４】図１４は図１３の対象物特徴に対応する静的ブロブ特徴を示す。
【図１５】図１５は図１３の対象物特徴に対応する動的ブロブ特徴を示す。
【図１６】図１６は図１４および図１５に示す静的エッジおよび動的エッジと関連する値を記憶するメモリの部分ならびに姿勢の３自由度を示す。
【図１７】図１７は所定の動的エッジを作成するためのトレーニング対象物の例を示す。
【図１８】図１８は所定の動的特徴を記憶するためのメモリの部分を示す。
【図１９】図１９は所定の動的特徴を使用して対象物を検出するための方法の例示的な実施態様を説明するフローチャートの一部を示す。
【図２０】図２０は所定の動的特徴を使用して対象物を検出するための方法の例示的な実施態様を説明するフローチャートの別の一部を示す。
【図２１】図２１は動的空間較正のための例示的なシステムおよび方法で使用される種々の要素を示す。
【発明を実施するための形態】
【００４７】
図面の詳細な説明
以下の例示的な実施態様の詳細な説明においては、本明細書の一部を形成し、本発明を実施することができる特定の実施態様を図示によって示す添付の図面を参照する。他の実施態様も利用することができ、本発明の範囲を逸脱することなく構造的変更を加えることができるものと理解されるべきである。
【００４８】
＜幾つかの定義＞
本明細書で用いる「センサ」とは、光電子デバイス、Ｘ線機器、走査電子顕微鏡、超音波デバイス、レーダおよびソナーを含むがこれらに限定されない、デジタル画像を生成できる任意のデバイスである。
【００４９】
本明細書で用いる「対象物」および「材料」という用語は、一般に互いに言い換え可能であり、デジタル画像を生成するためにセンサと相互に作用できる何らかの物理的実体をいう。相互作用は典型的には任意の形の放射、例えば光、Ｘ線またはマイクロ波を含むが、音または画像を生成するためのその他の手段も含むことができる。対象物および材料は例えば離散物または連続ウェブであってよい。本特許の説明および請求項においては、言語表現のスタイルの理由でいずれか一方の用語が選択され、または特別の理由なく一方もしくは両方の用語が使用されることがあるが、明示的に特定の実体が指示されない限り、これらの選択は説明または請求項をある種の物理的な実体に限定するものと解釈されてはならない。
【００５０】
「対象物特徴」は、センサとの相互作用によってデジタル画像内にパターンを生じさせる、対象物上の物理的特徴である。対象物特徴は位置や大きさなどの物理的特性を有する。「画像特徴」は対象物特徴および対象物特徴を有する対象物に関する情報を提供するために解析され得るパターンである。
【００５１】
「静的特徴」は、画像解析方法またはシステムによって画像特徴から抽出される情報を有する。「静的エッジ」は、例えば対象物の表面上の深さ、向きまたは反射率の不連続性から生じ得る一種の静的特徴である。「静的ブロブ」は、例えば均一な深さ、向きまたは反射率の連結された区域から生じる一種の静的特徴である。静的エッジおよびブロブの検出方法は当技術分野で公知である。静的特徴は、例えばアラインメントフィルタ、ハフ変換および幾何パターンマッチングを含む、非常に多様な周知の方法を用いても得られる。
【００５２】
「動的特徴」は対象物特徴を記述し、対象物特徴に対応する情報を有し、この情報は対象物または材料と視野との間の相対的な移動中に捕捉された複数の画像の解析によって決定される。この情報は対象物特徴の物理的特性の少なくとも１つの測定値、例えば対象物特徴の位置を含んでいる。情報の個々の要素は属性または値と呼ばれる。「動的エッジ」は、例えば対象物の表面上の深さ、向きまたは反射率の不連続性に対応し得る一種の動的特徴である。「動的ブロブ」は、例えば均一な深さ、向きまたは反射率の連結された区域に対応し得る一種の動的特徴である。動的特徴は、例えば穴、隅角、線およびパターンを含むことができる。
【００５３】
本明細書で用いる「プロセス」とは、明示的にプロセスと呼ぶか否かにかかわらず、メカニズム、デバイス、コンポーネント、モジュール、ソフトウェアもしくはファームウェアまたは１つの位置もしくは多様な位置で協働して意図された作用を実行するこれらの組み合わせを含むがこれらに限定されない適当な装置によって、所定の目的のために実行される一組の系統的な作用を意味する。本発明によるシステムは適当なプロセスおよびその他の要素を含むことがある。
【００５４】
本明細書における説明は本発明による方法またはシステムの実施態様を説明するものであるが、このようなシステムは種々のプロセスおよびその他の要素を含み、またそのような方法は種々のステップを包含する。当業者には理解されるように、これらのシステムの説明は本発明による方法を説明したものとして理解することが容易であり、またシステムを構成するプロセスおよびその他の要素はこのような方法の種々のステップに対応するものである。
【００５５】
＜運動および座標系＞
本発明は、複数のピクセルグリッドアラインメントに対応する複数の画像を捕捉および処理するために、対象物または材料の視野内の運動および／または視野を横切る運動を使用する。ある特徴の位置、重みおよびその他の属性の評価は、当該特徴が視野内を移動して複数のピクセルグリッドアラインメントに現れるときの当該特徴の外観の解析に基づいている。この結果得られる信頼性および正確性は先行技術の静的特徴検出システムおよび方法より優れている。
【００５６】
本発明の例示的な実施態様によれば、物理的運動は運動が起こり得る１以上の自由度に対応する１以上のパラメータによって記述される。例えば、２次元画像における剛体の運動は３つのパラメータ、すなわち２つの並進パラメータと１つの回転パラメータによって記述され得よう。同様に、１次元画像における剛体の運動は１つの並進パラメータによって記述されよう。ある種のセンサに近づく運動および／またはセンサから遠ざかる運動は、対象物が近づくか遠ざかると大きくまたは小さく見えるので１自由度によって記述され得る。例えばこの種の１次元センサについて、運動は２つのパラメータ、すなわち１つの並進パラメータと大きさのパラメータによって記述され得よう。運動は一般に特定の実施態様の自由度の数に原理的に制限されることが期待されるが、予想される別の数の自由度における運動も顕著な効果を伴うことなく許容され得る。
【００５７】
一般に、所与の用途において多くの別の周知の数の自由度、例えばアフィン変換や透視変換の自由度を運動に固有なものとして使用することができる。さらに、運動のパラメータが定義され得る限り、対象物は剛体である必要はない。特定の実施態様において自由度の数を定義するために使用されるパラメータのセットは総称して、視野に対して相対的な対象物または材料の「姿勢」と呼ばれ、または逆に対象物または材料に対して相対的な視野の姿勢と呼ばれる。姿勢は各画像について、対象物上のポイントと画像内のポイントとの間のマッピングを提供する。
【００５８】
ある程度の運動は動的特徴検出の必要な要素であるが、この運動は連続的または円滑である必要はない。運動は事前に知ることも警告もなく任意に大きさおよび／または方向を変えてよい。さらに、対象物は視野内で不特定の時間にわたり静止してもよい。いずれの場合も、運動はセンサと対象物との間の相対運動として理解される。本明細書では本発明の例示的な実施態様は、固定されたセンサと動いている対象物を用いて説明される。代替的な実施態様においてはセンサが動いて対象物は固定されてよく、および／または対象物とセンサのいずれも動いてよいことに留意すべきである。そのようなものとして固定されたセンサと動いている対象物に関する説明は、例示としてのみ受け取られるべきである。
【００５９】
動的特徴は視野とではなく動いている対象物または材料と関連付けられ、好適にはそれらの位置および向きの属性は対象物または材料に付随した座標系で表現される。使用する画像の次元に応じて１次元または２次元であってよい座標系は、本明細書では対象物座標と呼ばれる。対象物座標の範囲は任意の方向またはすべての方向で無制限であってよい。例えば材料の連続ウェブに使用するための例示的な１次元実施態様では、対象物座標はウェブに沿った位置を有し、少なくともウェブの長さ方向で無制限の範囲を有するであろう。本明細書では１次元画像を用いる実施態様において、対象物座標は「グローバルな位置」と呼ばれることがある。
【００６０】
本発明のシステムおよび方法によって検出された静的特徴は視野と関連付けられ、好適には「画像座標」によって表現される。対象物座標の範囲が無制限である場合、対象物座標と画像座標との間のマッピングを提供するために対象物に対して相対的な視野の姿勢を使用することが便利である。このマッピングは対象物または材料が姿勢の種々の数の自由度で動いているときに捕捉された各画像によって異なることに留意されたい。
【００６１】
＜応用例＞
図１は対象物を検出および／または追跡するための本発明の例示的な実施態様の応用例を例示する。コンベヤ１００はボックス１１０、１１２、１１４、１１６、および１１８を運動方向１０２に送る。この例において各ボックスはラベル、例えばラベル１２０と、装飾的マーク、例えばマーク１２２を含んでいる。プリンタ１３０はラベルが通過するときに各ラベルに文字、例えば文字１３２を印刷する。図１の例では、ボックスが検出および追跡されるべき対象物である。
【００６２】
例示された実施態様は、印刷されるべきラベルが通過するとき、または基準点１０６に対して相対的な好ましい位置にあるときに検出信号１３４をプリンタ１３０に出力する装置１５０を含んでいる。例示的な実施態様では検出信号１３４はラベルが検出されたことを示すパルスを含んでおり、ここではラベルが基準点１０６にあるときにパルスの立ち上がりエッジが発生し、それによって印刷が開始すべきであることを指示する働きをする。検出信号１３４は、以下でさらに説明されるように、本発明に従いボックスの既知の外観に対応する所定の動的特徴を使用して提供される。検出信号１３４は、本明細書に組み込まれた上記の合衆国特許出願第１０／８６５１５５号および第１１／７６３７５２号に開示されたシステムおよび方法を用いてラベルの位置特定と同期化され得ることが好ましい。
【００６３】
装置１５０はさらに運動信号１３６をプリンタ１３０に出力して、印刷プロセスの制御のためにボックスの運動に関する情報（位置および／または速度）を提供する。例示的な実施態様において運動信号１３６は周知の直交符号化を含む。運動信号１３６は、以下でさらに説明されるように、本発明に従いボックスの未知の対象物特徴に対応する動的特徴を使用して提供され得る。このような未知の対象物特徴はラベルまたは装飾的マークの縁、ボックスの表面のテクスチャまたはその他の視覚的に解像可能な特徴を含んでいてもよい。
【００６４】
図１の例示的な実施態様は検出信号１３４と運動信号１３６の両方をプリンタ１３０に出力する。本発明の代替的な実施態様を用いて、一方の信号のみ出力すること、ボックスの２つの異なる部分または表面に照準を当てた２つの別個のデバイスを使用して両方の信号を出力すること、およびプログラム可能なコントローラなど中間デバイスに一方または両方の信号を出力することを含む他の多くの構成を使用することができる。
【００６５】
図２は材料の連続ウェブを追跡するための本発明の例示的な実施態様の応用例を例示する。ウェブ２１０は装置２３０に対して相対的に運動方向２２０に移動する。ウェブ２１０は対象物特徴をグレージング照明２５０によって照明されると画像特徴を生じさせる表面マイクロ構造の形で含んでいる。画像はテレセントリックレンズ２４０を使用して形成されるので、ウェブ２１０と装置２３０との間の距離内に変動が存在する場合も光学倍率は一定である。グレージング照明およびテレセントリック光学系の使用は当技術分野で公知である。
【００６６】
装置２３０は本発明に従って動作して、例示的な実施態様では直交信号である運動信号２３５を出力する。図２の構成で、運動信号２３５は、搬送機構の駆動シャフトに付属している従来の機械式エンコーダによって提供される時々不正確な間接的情報とは対照的に、ウェブ２１０の真の運動に関する情報を提供する。
【００６７】
＜例示的な装置＞
図３は本発明による装置の部分の例示的な実施態様のブロック図を示す。カリフォルニア州サンノゼにあるアトメル・コーポレーションが販売するＡＴ９１ＳＡＭ７Ｓ６４のようなマイクロコントローラ３００は、ＡＲＭｖ４Ｔプロセッサ３１０、リード・ライトＳＲＡＭメモリ３２０、リードオンリー・フラッシュメモリ３２２、ＵＳＡＲＴ（Universal Synchronous/Asynchronous Receiver Transmitter）３３０、パラレルＩ／Ｏインタフェース（ＰＩＯ）３３２を含む。例示的に、プロセッサ３１０はマイクロコントローラ３００の他の要素を制御し、多様な目的のためにＳＲＡＭ３２０またはフラッシュメモリ３２２のいずれかに記憶されたソフトウェア命令３２４を実行する。ＳＲＡＭ３２０は作業データ３２６を保持し、フラッシュメモリ３２２はプロセッサ３１０によって使用される非揮発性データ３２８を保持する。マイクロコントローラ３００はクロック周波数５５ＭＨｚで動作する。当業者に理解されるように、本発明の代替的な実施態様において別のプロセッサ、記憶媒体、端末機器、インタフェースおよびこれらの要素のコンフィギュレーションを使用することができる。したがってマイクロコントローラ３００およびその諸要素の説明は単に例示的なものとして受け取られるべきである。
【００６８】
リニア光学センサ３４０、例えばテキサス州プラノにあるテキサス・アドバンスト・オプトエレクトロニック・ソリューションズ（ＴＡＯＳ）が販売するＴＳＬ３３０１−ＬＦは、受光素子のリニアアレイ１０２を含む。リニア光学センサ３４０は、ＵＳＡＲＴ３３０を使用して発行されたコマンドによりプロセッサ３１０の制御に従って、「露出インターバル」と呼ばれる調節可能な時間にわたって受光素子のリニアアレイを光に曝すことができ、その結果得られた測光値１０２をデジタル化し、デジタル形式でＵＳＡＲＴ３３０へ送信してＳＲＡＭ３２０に記憶することができる。リニア光学センサ３４０は同様にプロセッサ３１０の制御に従って、３つのゾーンのそれぞれの測光値についてこれらをデジタル化する前に調節可能なアナログ利得およびオフセットを適用することができる。この方法はＴＡＯＳドキュメントＴＡＯＳ００７８（２００６年１月）に記載されており、その内容は参照により本明細書に組み込まれる。
【００６９】
例示的な実施態様において、リニア光学センサ３４０は個々の受光素子の照明、光学特性および応答の何らかの不均一性を補償するように較正される。均一な白さの対象物を視野内に置き、または視野内を連続的に移動させて、最も明るいピクセルが飽和をわずかに下回るように、３つのゾーンのそれぞれについて利得を設定する。次に、各ピクセルについて較正値を計算し、各グレイ値に対して対応する較正値を乗算したとき、均一な白さの対象物に対して均一な画像が生成されるようにする。較正値はフラッシュメモリ３２２に記憶され、その後捕捉される画像に対して適用される。較正値は、各グレイ値に対して８以下の数が乗算されるように制限される。この較正手順により使用される各画像は、捕捉された種々の画像を平均化５１２することによって得られる。
【００７０】
リニア光学センサ３４０の視野を照明するために、任意の適当な手段を用いることができる。例示的な実施態様では、リニア光学センサ３４０の一方の側から２つの６３０ｎｍＬＥＤが視野に照準を当て、他方の側から２つの５１６ｎｍＬＥＤが視野に照準を当てる。カリフォルニア州トランスにあるルミニットが製造するような光成形ディフューザがＬＥＤの正面に配置されて、ＬＥＤのビームがリニア光学センサ３４０に対して平行な向きに拡散される。別の例示的な実施態様では、表面マイクロ構造を撮像するのに適したグレージング照明を形成するようにＬＥＤが配置される。
【００７１】
製造技術者のような人間のユーザは、マン・マシン・インタフェース（ＨＭＩ）３５０を用いてシステムを制御することができる。例示的な実施態様において、ＨＭＩ３５０はボタンまたは指示灯の配列を有する。プロセッサ３１０は、ＰＩＯインタフェース３３２を使用してＨＭＩ３５０を制御する。他の実施態様では、ＨＭＩは、パーソナルコンピュータまたはその他のデバイスから構成される。さらに別の実施態様ではＨＭＩは全く使用されない。
【００７２】
図３の装置は対象物の検出および運動を知らせることを含む目的のための信号３６２を生成する。信号３６２は、所与の用途における必要に応じてオートメーション装置３６０に接続される。信号３６２はプロセッサ３１０の制御によってＰＩＯインタフェース３３２により生成されるか、またはマイクロコントローラ３００の内部または外部に含まれた他の周辺デバイスによって生成され得る。オートメーション装置３６０は単に例示の目的で示されていることに留意されたい。信号３６２は任意の目的に使用されてよく、必ずしも何らかの形のオートメーション装置に接続される必要はなく、信号３６２が全く使用されなくてもよい。
【００７３】
例示的な実施態様において、種々のプロセスは、例えば図３のブロック図に示した相互に作用する一群のデジタルハードウェア要素、ＳＲＡＭ３２０またはフラッシュメモリ３２２に存在する適当なソフトウェア命令３２４、ＳＲＡＭ３２０に存在する作業データ３２６、およびフラッシュメモリ３２２に存在する非揮発性データ３２６により実行される。
【００７４】
図３の例示的な実施態様は１次元画像に適している。リニア光学センサ３４０を２次元センサと置き換えることによって、２次元画像に適した装置が得られる。このような装置でマイクロコントローラ３００をより強力なプロセッサと置き換えることは有利であろう。例えば、本明細書に組み込まれた合衆国特許出願第１０／８６５１５５号で教示されている装置を使用できよう。
【００７５】
＜本発明によるシステムの種々の実施態様によって使用されるプロセス＞
本明細書で用いる「捕捉プロセス」とはセンサの視野の画像を取得するプロセスである。画像は、視野内にある対象物および材料に関する情報を担い、必要に応じて他のプロセスによる解析に適していれば、どのような形態のものであってもよい。画像は、センサ内、センサ外部のメモリ、またはそれらの任意の組み合わせに置いてもよく、また利得およびオフセット、再サンプリング、解像度の変更、時間フィルタリングおよび／または空間フィルタリングを含むがこれらに限定されない任意の適当な形式のアナログ信号処理および／またはデジタル信号処理によって取得することができる。
【００７６】
図３の例示的な装置において、捕捉プロセスは「ピクセル」（その値は「グレイ値」と呼ばれ、測光値に対応する）と呼ばれる数値のアレイを得るために測光値をデジタル化し、ピクセルをリニア光学センサ３４０からマイクロコントローラ３００へ転送し、その後の解析に備えてピクセルをＳＲＡＭ３２０に記憶することを含む。当該技術分野における通例に従い、ピクセルは数値アレイの１要素またはアレイの２つの隣接する要素間の距離に対応する距離単位を意味する。この例示的な実施態様では、ピクセルのアレイは１次元デジタル画像である。
【００７７】
本明細書で用いる「運動プロセス」とは、対象物とセンサの視野との間の相対運動を提供するプロセスである。相対運動が存在する限り、対象物、センサおよび／または視野は動いていることができる。運動プロセスの例として、対象物を移動させて固定されたセンサまたは動いているセンサを通過させるコンベヤ、センサを移動させて固定された対象物または動いている対象物を通過させるロボットアームに取り付けたセンサ、動いているミラーのような任意の手段を使用して視野を動かす固定された対象物または固定されたセンサ、ならびに固定されたセンサまたは動いているセンサを通過する落下中の対象物を含むが、これらに限定されない。
【００７８】
本明細書で用いる「静的特徴検出プロセス」は画像を解析して静的特徴のセットを生成する。このようなセットは、画像の内容に応じて任意の数の静的特徴を含むが、全く含まないこともある。図３の例示的な実施態様では、静的特徴検出プロセスは、ＳＲＡＭ３２０またはフラッシュメモリ３２２に記憶されたソフトウェア命令３２４の制御に従い、ＳＲＡＭ３２０またはプロセッサ３１０のレジスタに記憶された作業データ３２６上で動作して、プロセッサ３１０によって実行されるデジタル計算を含む。
【００７９】
本明細書で用いる「解析プロセス」はある入力情報で行われ、一定の結果として情報を生成する計算を含む。一例はマップを決定する解析プロセスである。図３の例示的な実施態様では、解析プロセスはＳＲＡＭ３２０またはフラッシュメモリ３２２に記憶されたソフトウェア命令３２４の制御に従い、ＳＲＡＭ３２０またはプロセッサ３１０のレジスタに記憶された作業データ３２６上で動作して、プロセッサ３１０によって実行されるデジタル計算を含む。
【００８０】
本発明の代替的な実施態様は、任意的に、動作の過程で得られた情報、例えば対象物の運動、同一性および／または品質に関する情報を通信する信号を生成することを目的とした「信号プロセス」を含んでいてもよい。信号は当技術分野で知られた任意の形態を取ることができ、電気パルス、アナログ電圧もしくはアナログ電流、シリアルライン、ＵＳＢライン、もしくはイーサネットライン、無線伝送もしくは光伝送で伝送されるデータ、およびソフトウェアルーチンへ送信されるメッセージもしくはファンクションコールなどを含むが、これらに限定されない。信号は自発的に生成されるか、または他の装置からの要求に対応して生成することができる。
【００８１】
図３の例示的な実施態様では、信号プロセスは、ＳＲＡＭ３２０またはプロセッサ３１０のレジスタに記憶された作業データ３２６上で動作して、プロセッサ３１０によりデジタル計算が実行されて、ＳＲＡＭ３２０またはフラッシュメモリ３２２に記憶されたソフトウェア命令３２４の制御に従って信号３６２を生成することを含む。信号３６２は電気パルスであり、２本のワイヤを用いた直交符号化、または何らかの適当な構成を含んでいてもよい。
【００８２】
当業者に理解されるとおり、何らかの形で相互に作用する複数のプロセスの組み合わせもまた本プロセスである。したがって種々の特定のプロセスを含むとされた種々の実施態様に関する説明は、便宜上、理解を容易にするためになされたに過ぎない。代替的な実施態様における類似の機能は、追加のプロセスまたはより少数のプロセスによって実施され得ると明確に考えられるべきである。さらに当業者に理解されるように、本明細書では明示的にプロセスと呼ばれることなくプロセスが教示されることがある。したがって本明細書における特定の一組のプロセスの説明は、単に例示として受け取られるべきである。
【００８３】
＜例示的な方法＞
図４は本発明による方法の例示的な実施態様を説明するフローチャートを示す。このフローチャートはある適当な速度で実行されるステップの連続ループを示す。以下に図３に関連して説明する例示的な装置では、例えば速度は１秒当たり約８０００枚の画像である。しかしながら、当業者に理解されるように、代替的な実施態様においてこれとは異なる速度も利用できる。したがって１秒当たり約８０００枚の画像という説明は単に例示的なものとして受け取られるべきである。
【００８４】
捕捉ステップ４００は視野の画像を捕捉する。図４のステップは連続ループを形成するので、捕捉ステップ４００の効果は視野の一連の画像を捕捉することである。
【００８５】
静的検出ステップ４１０は、以下でさらに説明されるように、捕捉された画像中に静的特徴のセットを検出する。このセットは画像に応じて任意の数の静的特徴を有してよく、静的特徴が全くない場合もある。
【００８６】
解析ステップ４２０は静的特徴のセットと記憶された複数の動的特徴を解析して（以下に詳しく説明する）、静的特徴と動的特徴との間のマップを決定する。マップは一般に２つの構成要素、すなわち対象物上のポイントと画像内のポイントとの間でマッピングされる姿勢、および動的特徴を対応する静的特徴にマッピングする関連付けを有する。典型的に１つの動的特徴は１つの静的特徴に対応するが、１つの動的特徴が１つ以上の静的特徴に対応する曖昧な場合や、動的特徴がどの静的特徴にも対応しない場合もある。マップを生成することに加えて、解析ステップ４２０はそのマップが有効であること、すなわち対象物または材料が動くときに正確に追跡され続けていることの確信の度合いを示すマッチスコアを生成できる。
【００８７】
１次元画像とエッジを使用する例示的な実施態様において、姿勢を用いて対象物座標にマッピングされた後で静的エッジの位置が動的エッジの位置に十分近く、さらに加えてエッジの極性が一致すれば、静的エッジは動的エッジに対応する。例示的な２次元実施態様において、極性が一致するという要求は、対象物座標に適当にマッピングされた後では向きが十分近いという要求によって置き換えられる。本発明の代替的な実施態様においては、極性または向きを完全に無視する規則、および特徴の別の属性を使用する規則を含む、対応に関する別の規則を使用することができる。ある例示的な実施態様では動的特徴に対応しない静的特徴は無視され、別の例示的な実施態様では、このような静的特徴からの情報を多様な目的に使用することができる。
【００８８】
更新ステップ４３０は動的特徴を更新するためにマップを使用して対応する対象物特徴の物理的特性の測定値を改善する。例えば、以下により詳しく説明するように、正確性および／または信頼性を改善する。
【００８９】
図４の例示的な実施態様は動的特徴それ自体の形で情報を生成するとともに、解析ステップ４２０から生じる一連のマップを生成する。この情報は所与の用途に適するように非常に多様な信号を出力するために用いてもよい。出力ステップ４４０は、例えば運動信号を出力する位置、速度または対象物の運動のその他の測定値を示すために使用することができる。
【００９０】
＜例示的な静的特徴検出＞
図５は、静的エッジを使用する例示的な実施態様において静的特徴検出プロセスを示す。画像５００は勾配評価器５１０によって処理されて画像５００内の種々のポイントにおける画像勾配の評価を生み出す。１次元画像に対する勾配は符号付きスカラー値であり、２次元画像に対する勾配はベクトルである。
【００９１】
勾配評価は、勾配の大きさが極大であり検出閾値５６０を超える画像５００内のポイントに対応する準備的な静的エッジのセット（図示せず）を生成するピーク検出器５２０によって処理される。ピーク検出器５２０はまた、以下に図７に関連して説明されるように、均一性閾値５６２を用いてこのような位置における勾配の大きさを重み値に転換する。
【００９２】
準備的な静的エッジがある場合は、さらにサブピクセル補間器５３０によって処理されて、静的エッジ５４０のセットを生成する。サブピクセル補間器５３０は放物線補間を用いてサブピクセルエッジ精度を提供する。１次元画像を使用する例示的な実施態様に適した例示の静的エッジ５５０は、静的エッジの位置、極性および重みを示す値を含む。上に指摘したように、位置は画像座標内にあり、それゆえ視野に対して相対的である。
【００９３】
図６は図５の静的特徴検出プロセスにおいて１次元画像を使用する実施態様のために勾配評価器５１０によって使用される畳み込みカーネル６００を示す。畳み込みカーネル６００は第１の差分演算子と５要素の近似的ガウス平滑化カーネルとから構成される。畳み込みカーネル６００の畳み込みから生じる出力は、均一性ゲインのために８で除算できることに留意されたい。
【００９４】
図７は図５の実施態様を含む特定の例示的な実施態様で使用される静的エッジの重みを検出するための方法を示す。図７の方法は、１次元または２次元画像に適しており、その背後にある原理は任意の形態の静的特徴検出にて適用することができる。
【００９５】
示されているのは勾配の大きさ７１０の関数７３０としての重み７２０のグラフ７００である。重み７２０は０．０−１．０の範囲内にあり、静的エッジが１つの対象物特徴に対応しており、例えば計測に伴う人為的な影響に対応していないということの相対的確信度を示す。ピーク検出器５２０は検出閾値５６０を下回る値の勾配の大きさを有する静的エッジが生成されず、このような値に対応する重みは、図示されているように、事実上ゼロであることを保証する。検出閾値５６０にある勾配の大きさは最小重み７２２に対応し、均一性閾値５６２またはそれ以上の勾配の大きさは重み１．０に対応する。
【００９６】
図５、図６および図７の例示的な実施態様において、画像５００が８ビットピクセルを使用し、および畳み込みカーネル６００が均一性利得のために８で除算される場合、検出閾値５６０は８であり、均一性閾値５６２は２４であり、最小重み７２２は０．３３である。
【００９７】
重みの使用は本発明の必須の要素ではない。重みを使用しない実施態様の結果と同一の結果は、一般にここで説明される実施態様において関数７３０をステップ関数に置き換えることによって、例えば検出閾値５６０に等しい均一性閾値５６２を設定することによって得ることができ、重み７２０は検出閾値５６０を下回るときは０．０、上回るときは１．０である。しかしながら図７の例示的な実施態様は、検出閾値５６０をハードな閾値からソフトな閾値に変えることによって、重みのない実施態様に比べて信頼性の点で顕著な改善をもたらす。静的特徴はその重みが検出閾値５６０と交差して影響のない状態から全面的に影響される状態に移行する代わりに、その重みが均一性閾値５６２に上昇して影響のない状態から僅かな影響がある状態および影響が増加する状態へと移行する。
【００９８】
当業者にとって公知のように、デジタル画像処理の文献は本発明を実施するために使用することができる、１次元および２次元静的エッジ検出のための非常に多様な代替的な方法が提供される。そのようなものとして図５〜図７に関連して上述された静的エッジ検出の説明は、単に例示的なものとして受け取られるべきである。
【００９９】
＜実質的に未知の外観を有する対象物に対する動的特徴検出＞
幾つかの実施態様において視野内の対象物または材料は実質的に知られていない外観を有する。すなわち対象物特徴は事前に知られていない。動的特徴は運動が視野内に新しい物理的特徴または特性をもたらすときに作成され、対象物または材料が動くに連れて複数の画像を通した学習プロセスに対応して更新され、さらに任意的には、運動がそれらを実質的に視野の外に運び出したら破棄されてもよい。
【０１００】
図８は、１次元画像を使用する例示的な実施態様において動的特徴を記憶するために用いられ、実質的に未知の外観を有する対象物および材料に対して使用されるメモリを示す。メモリは例示の要素８１０のような要素からなるリングバッファ８００として構成されており、各要素は例示の動的特徴８０２のような動的特徴を保持している。図８において空の要素８１２のように網掛けされていない要素は現在使用されていない。
【０１０１】
リングバッファ８００内の動的特徴はグローバルな位置が増加する順に仕分けられている。下方の指針８２０はグローバルな位置が最も低い記憶された動的特徴を示しており、これらは視野の一方の端に最も近い位置にあり、上方の指針８２２はグローバルな位置が最も高い記憶された動的特徴を示しており、これらは視野の他方の端に最も近い位置にある。動的エッジの生成と消滅は典型的には視野の端で起こり、ここでは運動が新しい特徴を運び入れ、古い特徴を運び出し、生成および消滅のプロセスを効率的に処理でき、特別の動作なしに適当な仕分けを維持できる。さらに、位置によって仕分けされた動的エッジを維持することにより非常に効率的なパターンマッチング方法が可能となる。
【０１０２】
図９は１次元画像と静的エッジおよび動的エッジを使用する例示的な実施態様の操作のスナップショットを示す。材料９００は境界線９２２によって表示された視野９２０と相対的に運動方向９０２に移動する。視野９２０には画像座標軸９２６および画像起源９２４が関連している。材料９００は図示されているように第１の対象物特徴９１１、第２の対象物特徴９１２、第３の対象物特徴９１３、第５の対象物特徴９１５、第７の対象物特徴９１７および第８の対象物特徴９１８を含む対象物特徴を有する。
【０１０３】
静的エッジ検出プロセスは材料９００と視野９２０との図示された相対的位置に対応して捕捉された画像に対する静的エッジのセットを生成する。静的エッジは第１の静的エッジ９３１、第２の静的エッジ９３２、第５の静的エッジ９３５および第９の静的エッジ９３９を含んで像座標軸９２６に沿って示されている。この図において静的エッジは重みを表す長さと極性を表す方向で示されている。第１の静的エッジ９３１は第１の対象物特徴９１１から生じ、他の静的エッジについても同様である。
【０１０４】
この画像において第３の対象物特徴９１３は静的エッジを生じさせないことに留意されたい。そしてもちろん第７の対象物特徴９１７および第８の対象物特徴９１８も静的エッジを生じさせないが、それはこれら２つが視野９２０の外にあるからである。さらに第９の静的エッジ９３９は人為的な影響であり、物理的な対象物特徴から生じていない。
【０１０５】
現在の画像の何らかの解析の前に存在する動的エッジは、現在の対象物座標軸９４０に沿って示されており、現在の画像の解析の後に存在する動的エッジは次の対象物座標軸９５０に沿って示されている。この図において動的エッジは経験を表す長さと極性を表す方向で示されている。
【０１０６】
次の第１の動的エッジ９５１は第１の静的エッジ９３１から生成したばかりであり、現在の画像の解析の前に存在しておらず、材料９００の運動によって視野９２０内に運ばれた。
【０１０７】
現在の第２の動的エッジ９４２は第２の静的エッジ９３２に対応しており、更新されてより多くの経験とより正確な位置を有する次の第２の動的エッジ９５２を生成する。
【０１０８】
現在の第３の動的エッジ９４３は静的エッジに対応しておらず、更新されて齢を増すことによって次の第３の動的エッジ９５３を生成するが、これはもはや経験を重ねない。
【０１０９】
現在の第５の動的エッジ９４５は曖昧に第５の静的エッジ９３５および第９の静的エッジ９３９に対応する。例示された実施態様において、この曖昧さは第５の静的エッジ９３５を支持して解消される。なぜならこれは現在の第５の動的エッジ９４５により近いからである。たまたま２つの曖昧な静的エッジが等しく近い場合は、重みの大きい方の静的エッジが選択されるであろう。重みも等しかったら、それらの位置の平均値が求められるであろう（平均位置はもちろん動的エッジの位置である。なぜならこれらは等しく近く、同じ位置にはあり得ないからである）。曖昧な対応を処理するために他の多くの規則を考案できるが、最も低い（または最も高い）座標を選択する規則は避けることが好ましいことに留意されたい。なぜならそのような規則は姿勢の測定値に長い移動距離にわたって累積する方向バイアスを導入するだろうからである。現在の第５の動的エッジ９４５は更新されて次の第５の動的エッジ９５５を生成する。齢と経験は増すが、位置は著しく変化しないであろう。なぜなら現在の第５の動的エッジ９４５は既に相当に経験を積んでいるからである。
【０１１０】
現在の第７の動的エッジ９４７は今視野９２０の外にある。これは更新されて齢を増すがその他は変わらずに次の第７の動的エッジ９４７を生成する。これはまだ視野９２０に近いのでしばらく生き続ける。
【０１１１】
現在の第８の動的エッジ９４８は今では十分視野９２０の外にあり消滅する。
【０１１２】
図１０は、図９の静的エッジおよび動的エッジと関連する値を記憶する第１のメモリ１０００、ならびに選択されたマップデータを示す。図１０はまた別のマップデータおよびマップを決定する例示的な解析によって算出された特定の値を記憶する第２のメモリ１０５０を示す。
【０１１３】
静的エッジ列１０１０は図９の静的エッジに対応する極性、重みおよび位置の値を包含する第１のメモリ１０００の一部である。現在の動的エッジ列１０１２は、図９の現在の動的エッジに対応する極性、位置、齢および経験の値を包含する第１のメモリ１０００の一部である。次の動的エッジ列１０１６は図９の次の動的エッジに対応する位置、齢、および経験の値を包含する第１のメモリ１０００の一部である（極性の値は現在の動的エッジ列１０１２に対するのと同じである）。マップデータ列１０１４は選択されたマップデータ、具体的には重み、力およびオフセットを包含する第１のメモリ１０００の一部である。
【０１１４】
図９および図１０の例示的な実施態様では、姿勢は画像起源９２４のグローバルな位置（すなわち対象物座標）によって表現される１自由度を有する。例示された実施態様においてマップを決定する解析の一部は、以下に説明されるように、近似的姿勢である粗位置１０５２を算出する。粗位置１０５２は、以下にすぐ説明されるように、精密アラインメントプロセスによって使用されてマップ、すなわち姿勢（画像起源９２４のグローバルな位置）および関連付け（現在の動的エッジが対応する静的エッジ）を決定する。
【０１１５】
静的エッジ列１０１０の第２行１０２２に示されているように、第２の静的エッジ９３２は画像座標において正の極性、重み０．９０および位置１４．２０ピクセルを有する。粗位置１０５２を用いると、第２の静的エッジ９３２はグローバルな位置１４．２０＋３７１５．００＝３７２９．２０にマッピングされる。さらに現在の動的エッジ列１０１２の第２行１０２２に示されているように、第２の静的エッジ９３２は現在の第２の動的エッジ９４２に対応するように決定される。なぜなら極性が一致するからであり、またそれらは十分近く（この例示的な実施態様では１．０ピクセル以内）、グローバルな位置３７２８．７０における現在の第２の動的エッジ９４２は−０．５０ピクセルしか離れていないからである。
【０１１６】
次にマップデータ列１０１４の第２行１０２２について見ると、第２の静的エッジ９４２と現在の第２の動的エッジ９４２との対応には２．６０の重みが与えられている。なぜならそれは現在の第２の動的エッジ９４２の経験だからである。さらに−０．５０の力が与えられているが、これが意味するのはこの対応によって提供される証拠は、材料９００とのより良好なアラインメントに入るためには視野９２０が粗位置１０５２から−０．５０ピクセルだけ「引っ張られ」なければならないことを示唆するということである。もちろん上に指摘したように、静的エッジは正確性と信頼性が制限されているので、これは単なる証拠であって決定ではない。
【０１１７】
この例示的な実施態様で用いられている力および証拠の概念は、１次元および１自由度に特化したものであるが、このような概念は例えば合衆国特許第６６５８１４５号「高速高精度多次元パターン検査」に開示さており、その内容は参照により本明細書に組み込まれる。同特許の教示は２次元画像および複数の自由度を用いる本発明の実施態様において使用することができる。
【０１１８】
第４行１０２４および第６行１０２６は第２行１０２２に類似している。
【０１１９】
第３行１０２３は現在の第３の動的エッジ９４３が静的エッジに対応しておらず、したがって対応の重みは０．００であり、力が与えられていないことを示す。同様に、第７行１０２７および第８行１０２８も現在の第７の動的エッジ９４７および現在の第８の動的エッジ９４８は静的エッジに対応していないことを示しているが、この場合はそれらが視野９２０の外にあるからである。
【０１２０】
第５行１０２５および第９行１０２９は２つの静的エッジが現在の第５の動的エッジ９４５、第５の静的エッジ９３５および第９の静的エッジ９３９に対応していることを示す。双方の静的エッジは現在の第５の動的エッジ９４５の極性と一致し、いずれも十分近い（−０．６０および＋０．９０ピクセル）。上に指摘したように、曖昧さは第５の静的エッジ９３５のためには解消される。なぜならこれはより近く、この対応には重み９．００および力−０．６０が与えられるからである。
【０１２１】
マップデータ列１０１４のマップ重みによって重み付けられた力の加重平均である共通オフセット１０５４は−０．３２であり、これらの重みは上述したように対応する静的エッジを有する動的エッジの経験である。このことが意味するのは、すべての証拠を考慮し、かつ、経験のより多い動的エッジをより高く信頼して、材料９００との実質的に最良のアラインメントに入るために視野９２０は粗位置１０５２から−０．３２ピクセルだけ引っ張られなければならないということである。こうしてマップを決定する解析は、グローバルな位置１０５６（すなわちこの例示的な実施態様における姿勢）３７１４．６８を生成する。解析の過程で動的エッジを対応する静的エッジにマッピングする関連付けも生成された。
【０１２２】
１次元画像および位置と大きさの自由度からなる姿勢の２自由度を使用する代替的な実施態様では精密アラインメントプロセスが、静的エッジ列１０１０で見出される静的エッジの画像座標値と、現在の動的エッジ列１０１２で見出される動的エッジの対象物座標値との間で、マップデータ列１０１４に見出される（動的エッジの経験から来る）対応の重みによって重み付けされた加重線形回帰を計算する。図１０の例に対する加重線形回帰からｙ＝１．０００４ｘ＋３７１４．６７が得られる。ここにｘは画像座標、ｙは対象物座標である。これはグローバルな位置の値（３７１４．６７）だけでなく、視野内の特徴の大きさと画像の特徴の大きさとの間の０．０４％の相対的差異を表す大きさの値（１．０００４）も提供する。自由度の大きさはセンサの特性に応じて、対象物のセンサに近づく運動またはセンサから遠ざかる運動として解釈され得る。
【０１２３】
マッチスコア１０５８は、解析が有効なマップを決定したこと、すなわち材料９００が追跡され続けていることの確信の度合いである。それはこの例示的な実施態様ではマップデータ列１０１４にある対応の重みを加算し、次に現在の動的エッジ列１０１２に見出され得る、視野９２０内にある現在の動的エッジの経験の合計で除算することによって算出される。本質的にこれは、少なくとも１個の静的エッジに対応し、まだ視野内にある動的エッジの、やはり経験のより多い動的エッジをより高く信頼して重み付けされた値（weighted faction）である。この例ではマッチスコア１０５８は０．８９であり、解析により決定されたマップは十分信頼できると見なされる。
【０１２４】
粗位置１０５２が実質的に最良のアラインメントの位置に適度に近い限り、精密アラインメントプロセスは、粗位置１０５２の正確な値に著しく依存しない正確で信頼できるマップを生成する。粗位置１０５２が遠すぎる場合は、精密アラインメントは失敗するであろう。典型的には、精密アラインメントが姿勢を実質的に最良のアラインメントの位置に近づけるが、最良のマップは得られないという、粗位置の中間的な範囲が存在する。このような場合には、例えば上で本明細書に組み込まれた合衆国特許第６６５８１４５号に記載されているように、精密アラインメントを１回以上繰り返すことが有利であり得る（合衆国特許第６６５８１４５号はこれらの精密アラインメントステップを引き寄せステップと説明している）。ある例示的な実施態様において、精密アラインメントは常に２回実行される。別の例示的な実施態様では、精密アラインメントは１回目の実行がある閾値、例えば０．８５を下回るマッチスコアを生成した場合のみ２回目が実行される。
【０１２５】
次の動的エッジ列１０１６は、この例示的な実施態様において動的エッジを更新するためにどのようにマップが使用されるかを示している。第８行１０２８に示されているように、現在の第８の動的エッジ９４８は消滅して、メモリ１０００から削除されている。第３行１０２３と第７行１０２７に示されているように、現在の第３の動的エッジ９４３と現在の第７の動的エッジ９４７は１単位の齢を加えるが、対応する静的エッジを持たないため経験は加えない。それらのグローバルな位置も変化しないが、これは現在の動的エッジ列１０１４と次の動的エッジ列１０１６を調べることによって分かる。
【０１２６】
第２行１０２２、第４行１０２４、第５行１０２５および第６行１０２６に示されているように、現在の第２の動的エッジ９４２、現在の第４の動的エッジ９４４、現在の第５の動的エッジ９４５および現在の第６の動的エッジ９４６は１単位の齢を加え、それらが対応している静的エッジの重みに等しい経験も加える（現在の第５の動的エッジ９４５の場合は曖昧さの解消後）。
【０１２７】
マップはこのとき少なくとも１個の静的エッジに対応する動的エッジのグローバルな位置を改善するために使用される。これは事実上学習プロセスであり、経験のより少ない動的エッジはそれらの真のグローバルな位置を経験のより多い動的エッジから学習する。マップデータ列１０１４について見ると、少なくとも１個の静的エッジに対応する各動的エッジに、静的エッジのグローバルな位置（すなわち姿勢により対象物座標にマッピングされた画像座標）と動的エッジとの差異であるオフセット値が与えられている。これは力に類似しているが、粗位置１０５２と反対符号の代わりにグローバルな位置１０５６に基づいていることに留意されたい。
【０１２８】
この例示的な実施態様では動的エッジの位置は次の式に従って学習される。
【数１】
2011517817.tif 000003
【０１２９】
特に、更新された経験（式中の次の経験）は動的エッジの生涯にわたるすべての対応する静的重みの合計であるから、式は姿勢を用いて対象物座標にマッピングした後で、それらすべての静的エッジの加重平均位置を与える。
【０１３０】
本発明のこの例示的な実施態様の１つの有利な特徴は、経験が増すに連れて学習が減ることである。オフセットは経験のより多い動的エッジにより多く影響される姿勢に基づいており、学習は一般に経験が増加するに連れて減少するので、知識は経験のより多い動的特徴から経験のより少ない動的特徴に渡される。
【０１３１】
第１行１０２１に示されているように、次の第１の動的エッジ９５１は第１の静的エッジ９３１から生成した。その齢は１であり、その位置は姿勢（すなわちグローバルな位置１０５６）を用いて第１の静的エッジ９３１の画像位置を対象物座標にマッピングすることによって決定され、そしてその経験は第１の静的エッジ９３１の静的重みである。
【０１３２】
当業者に理解されるように、本発明の精神から逸脱することなく、図９および図１０の例示的な実施態様に関して多くの改変に想到し得る。そのような改変の１つにおいて、動的エッジが所定の齢、例えば６４に達すると更新は完全に終了する。
【０１３３】
図１１は、実質的に未知の外観を有する対象物に対する動的特徴を更新するための方法の例示的な実施態様を説明するフローチャートを示す。この実施態様において図１１は図４の更新ステップ４３０のより詳細な説明である。
【０１３４】
消滅ステップ１１１０は、好適には視野の端をある程度、例えば１ピクセル超えて設定された「消滅ポイント」を超えた動的特徴を削除する。運動方向が反転したら、視野の外にあるがまだ消滅ポイントに到達していない動的エッジは視野内に戻り、それらのすべての経験を持ち込むことができる。
【０１３５】
受入れテストステップ１１２０はマップが信頼できるかどうか決定するためにマッチスコアを検査する。マッチスコアがある受入れ閾値、例えば０．４０であるかそれ以上の場合は、マップは信頼される。
【０１３６】
マップが信頼されると、運動テストステップ１１３０は最後の画像捕捉以降に何らかの運動があったかを見るために姿勢を検査する。本発明は、静止している対象物に対応する動的特徴を更新することを避けるのが好ましいと認識している。なぜなら静止位置は偶発的アラインメントを表現し、そのようなアラインメントの統計データは対象物が運動している間に獲得された動的特徴をすぐに圧倒するからである。本発明はさらに、固定された対象物の測定ノイズが運動として解釈されるのを避けるために、一般に静止状態の検出においてある程度のヒステリシス、例えば１．５ピクセルを使用することが好ましいと認識している。運動テストステップ１１３０がある程度の運動を検出すると、例えば上述したように、動的特徴を更新するためにマップが使用される。そうでない場合は、以下に説明されるように、生成ステップ１１７０に入る。
【０１３７】
マップが信頼されない場合は、追跡が完全に失敗したかどうか見るために、フラッシュテストステップ１１５０がマッチスコアを検査する。マッチスコアがあるフラッシュ閾値、例えば０．２０であるかそれ以上の場合、追跡は次の画像で回復できる。すなわち信頼されるマップが生成され得る。フラッシュテストステップ１１５０が、追跡は完全に失敗したと判断したら、再スタートステップ１１６０がすべての動的エッジを削除して新規スタートを行うことができる。
【０１３８】
生成ステップ１１７０は、多様な適当な規則のいずれかの規則に従って、静的エッジから新しい動的エッジを作成する。ある例示的な実施態様においては、生きている動的エッジに対応せず、すべての生きている動的エッジよりある幅、例えば２．５ピクセルだけ低いかまたは高い位置にあり、重みが生成時の重み、例えば０．９０を超える静的特徴から新しい動的特徴が生成する。再スタートステップ１１６０までにすべての動的エッジが削除された場合は、生成ステップ１１７０が実行されるときに生きている動的エッジはなく、したがって完全な新しいセットが作成されることに留意されたい。
【０１３９】
図１１の例示的な実施態様に関して本発明の精神から逸脱することなく多くの改変に想到し得ることは明らかである。そのような改変の１つにおいて、運動テストステップ１１３０が先頭に移され、したがって運動があった場合のみ生成または消滅が起こる。この改変はより効率的である可能性がある。なぜならもし運動がなければ何も視野に入り、または視野から出ず、したがって生成または消滅のチャンスはないからである。しかしながら図１１は、学習を偶発的アラインメントで汚染するのを避けるために運動テストステップ１１３０を使用する主要な利点を例示する。
【０１４０】
＜実質的に未知の外観を有する材料の距離と速度を測定するための例示的システム＞
図１２は、他の多くの目的と並んで、動いている対象物および材料を追跡し、距離および／または速度信号を生成するために使用することができる、本発明によるシステムの例示的な実施態様のブロック図を示す。
【０１４１】
静的特徴１２００は先に説明されたように検出されて、以上に示され、さらに以下に説明されるように、図１２の別の要素によって使用される。動的特徴１２４０はメモリに記憶され、ライフサイクルプロセス１２３０に応じて生成して、生き、そして消滅し、すべて以上に説明され、さらに以下に説明されるように、図１２の別の要素によって使用される。ライフサイクルプロセス１２３０は、本明細書においてすべて例示的に説明されるように、生成プロセス、ライフプロセス（本明細書では学習プロセスとも呼ばれる）および消滅プロセスを含む。
【０１４２】
捕捉時刻１２０２は画像捕捉プロセスによって生成され、各フレームが捕捉された時刻、例えば露光インターバルの中心を表す。時間はこの例示的な実施態様では速度を計算するために、そしてまた、マップおよびスコア１２２０を計算する解析プロセス１２１０の一環として使用される。しかしながら時間は動的特徴検出の必要な要素ではなく、特定の実施態様において、例えば速度測定値が所望される場合のみ使用されることを理解することが重要である。動的エッジ検出に必須の運動は、視野に対して相対的な対象物または材料の一連の位置を意味し、この連なりのタイミングも速度も重要ではない。
【０１４３】
微分器１２５０は捕捉時刻１２０２とマップおよびスコア１２２０を使用して、捕捉された各画像について速度の瞬間的測定を生成する。スコアがマップを信頼するのに十分であるならば、瞬間的速度は姿勢の１以上の自由度における変化を捕捉時刻の変化で除算することによって決定され、この場合いずれの変化も少し以前の画像、典型的には最も最近の画像から測定される。スコアがマップを信頼するのに十分でない（追跡が一時的に失われた）場合は、瞬間的速度はこの例示的な実施態様ではゼロである。速度の自由度の数は姿勢の自由度の数のサブセットである（場合によってはすべて含む）ことに留意されたい。例えばもし姿勢が位置の２自由度と向きの１自由度を含むならば、速度は２つの線形成分と１つの角度成分まで含むことができる。
【０１４４】
瞬間的速度はローパスフィルタ１２５２、例えば２極の臨界的に減衰された無限インパルス応答型デジタルローパスフィルタによってフィルタリングされて速度測定値１２６０を生成する。ローパスフィルタ１２５２の時定数は、使用している対象物または材料の機械的時定数より著しく速い速度変化（しばしば単なる測定ノイズ）を除去するように設定でき、その結果非常に正確な測定値が得られる。さらにこの例示的な実施態様では、追跡が失われたら速度測定値１２６０は最初のうちは最後に知られている値に保持され、それから設定可能な時定数によって制御される時間を経てゼロまで衰える。以下に図１２の説明に見られるように、このことは、追跡の短時間の消失はシステムに顕著な影響をほとんど与えないが、消失が長く続くと速度測定値１２６０はゼロに接近することを保証する。もちろん追跡の消失は対象物が静止することと同じではない。後者の場合は追跡が維持される。
【０１４５】
解析プロセス１２１０は静的特徴１２００と動的特徴１２４０を使用してマップおよびスコア１２２０を決定する。マップおよびスコア１２２０はライフサイクルプロセス１２３０に応じて動的特徴１２４０を更新するために使用される。ライフサイクルプロセス１２３０は、例えば図９、図１０および図１１に関連して説明されたように動作できる。解析プロセス１２１０は、例えば図１０に関連して説明されたように、静的特徴１２００、動的特徴１２４０および粗姿勢１２１８を使用して動作してマップおよびスコア１２２０を決定できる精密アラインメントプロセス１２１６を含むことに留意されたい。図１０の粗位置１０５２は、精密アラインメントプロセス１２１６によって使用されてもよい粗姿勢１２１８の例である。
【０１４６】
ここで粗姿勢１２１８を検出するための例示的なプロセスについて説明する。このようなプロセスは速度と正確性と信頼性との間の良好なトレードオフを表すことが好ましい。粗アラインメントのための１つの単純なプロセスは、ある範囲にわたり間隔をあけた多数の粗姿勢を使用して精密アラインメントを実行し、マッチスコアが最も高い姿勢を使用するものであろう。このようなプロセスは一般に正確で信頼できるであろうが、多くの応用例で速度が遅すぎるであろう。図１２のプロセスは通常そのような単純なプロセスよりも速い。
【０１４７】
予測プロセス１２１２は捕捉時刻１２０２、姿勢１２２２（最後に捕捉された画像から計算された姿勢を保持）および速度測定値１２６０を使用して、速度が一定であるという前提で現在の画像および姿勢を予測する。ローパスフィルタ１２５２の時定数より短い時定数による加速は予測誤差を招く。これより精緻な予測プロセスも考案できるが、これらは一般に必要でもなく十分でもない。信頼できるようにするためには、いずれかの時点で実際の画像を見なければならず、それが粗アラインメントプロセス１２１４の役割である。予測プロセス１２１２は粗アラインメントプロセス１２１４にあるヒントを与える廉価な方法であるが、それは多くの実施態様で全くなしで済ますことができる。
【０１４８】
粗アラインメントの多くの方法が知られている。例えば合衆国特許第７０１６５３９号「堅牢な高速の多次元パターン認識のための方法」で教示され、その内容が参照により本明細書に組み込まれる方法は、姿勢の多くの自由度を持つ２次元画像に良く適している。例えば図９および図１０に関連して説明されたように、１次元画像を使用する例示的な実施態様においては、公知の一般化されたハフ変換の１次元バージョンが使用される。粗アラインメントプロセス１２１４は予測された姿勢を中心とする姿勢の範囲を考慮して、予想される予測誤差を処理するのに十分に、例えば±１．２５ピクセル拡大する。何らかの理由で粗アラインメントが失敗したと判断されたら（例えば最良アラインメントの明瞭な位置がなく曖昧）、予測された姿勢の代わりに粗姿勢１２１８が使用される。
【０１４９】
スコアがマップを信頼するのに十分でない（追跡が一時的に失われた）場合、姿勢は一般に不明確である。図１２の例示的な実施態様では、姿勢１２２２はマップが信頼に値する場合はマップから設定され、そうでない場合は予測された位置に設定される。こうして追跡が短時間失われたら、ローパスフィルタ１２５２は姿勢１２２２が最後の知られている速度に基づいて更新し続けて、ある程度の時間が経過してから次第に下降して静止することを保証する。
【０１５０】
信号プロセス１２７０は姿勢１２２２および／または速度測定値１２６０を使用して信号１２７２を出力する。これらの信号１２７２は別のシステムによって対象物または材料位置および／または速度を追跡するために使用することができる。例えば直交信号は位置に対して使用することができる。
【０１５１】
＜２次元画像およびブロブ特徴を使用する例示的な実施態様＞
図１３から図１６は、２次元画像およびブロブ特徴を使用する例示的な実施態様を示す。図１３について見ると、実質的に未知の外観を有する材料１３００が２次元視野１３１０に対して相対的に動き、第１の対象物特徴１３２０、第２の対象物特徴１３３０および第３の対象物特徴１３４０を含む対象物特徴を有している。
【０１５２】
図１４は、公知の連結性解析（ブロブ解析とも呼ばれる）を使用する静的特徴検出により、第１の対象物特徴１３２０から生じる第１の静的ブロブ１４２０と、第２の対象物特徴１３３０から生じる第２の静的ブロブ１４３０を検出した結果を示す。この例示的な実施態様では、静的特徴検出器は視野１３１０の端にある静的特徴を拒絶し、第３の対象物特徴１３４０から生じる静的ブロブは検出されない。もちろん視野１３１０の外にある対象物特徴からはいかなる静的ブロブも検出されない。
【０１５３】
この例示的な実施態様における静的ブロブはブロブの中心にある黒丸で示されているように質量中心を有しており、この質量中心は位置の２自由度を備えている。静的ブロブは楕円形の境界線で示される面積と、質量中心から延びる矢印で示される主要軸の角度も有している。静的ブロブはまた例えば面積から計算された重み、背景と相対的なコントラストおよび／または任意の別の適当な属性を有することができる。重みが使用されない場合は、重みはすべての静的ブロブに対して１．０であると想定される。
【０１５４】
図１５は、第１の対象物特徴１３２０に対応する第１の動的ブロブ１５２０、第２の対象物特徴１３３０に対応する第２の動的ブロブ１５３０、および第３の対象物特徴１３４０に対応する第３の動的ブロブ１５４０を含む動的ブロブを示す。第２の動的ブロブ１５３０は視野１３１０に入ったばかりであり、第２の静的ブロブ１４３０から生成した。第３の動的ブロブ１５４０は消滅ポイントを超えて消滅しようとしている。
【０１５５】
図１６は、例示的な動的ブロブ検出の実施態様と関連する値を記憶するメモリの部分を示す。第１のメモリ部分１６００は位置の２自由度（ｘ、ｙ）と向きの１自由度（θ）からなる姿勢の３自由度を保持する。第２のメモリ部分１６１０は質量中心、面積および主要軸の角度からなる静的ブロブを保持する。第３のメモリ部分１６２０は質量中心、面積、主要軸の角度、齢、経験およびばらつきからなる動的ブロブを保持する。
【０１５６】
＜所定の動的特徴を使用する動的特徴検出＞
代替的な実施態様において、実質的に既知の外観を有する対象物または材料に対応する所定の動的特徴のセットが用いられる。所定の動的特徴のセットはトレーニング対象物に対応するトレーニングプロセス、ＣＡＤまたは数学的記述、あるいは何らかの適当なプロセスから得られてよい。このような実施態様について、動的特徴属性は予想値と測定値のいずれも含んでいてもよい。予想される属性は所定の情報に由来してよく、測定された属性は既知の外観に実質的に類似した外観を有する対象物が視野に入る毎に初期化され、対象物が動くに連れて更新することができる。このような実施態様はさらに動的特徴のセットに齢とばらつきの属性を含むことができる。既知の外観に実質的に類似した外観を有する対象物は本明細書では「検出可能な対象物」と呼ばれる。
【０１５７】
図１７はトレーニング対象物に実質的に類似した外観を有する対象物１７００の検出で使用する所定の動的特徴を作成するためのトレーニング対象物１７００の例を示す。トレーニング対象物を用いてもよいのは、例えば図１に示されるような応用例において、賞味期限１７２０などを印刷するための印刷機が使用するための検出信号１３４を生成する場合である。もちろん日付はトレーニング対象物に実質的に類似した外観を有する対象物１７００に印刷されるが、トレーニング対象物１７００自体に印刷されている必要はない。
【０１５８】
例示的な実施態様において、トレーニング対象物でのトレーニングは未知の対象物または材料で動作するように構成された動的特徴検出の実施態様を用いて達成される。もちろんトレーニング対象物または材料はトレーニングプロセス自体によって知られるようになる時点まで未知である。この実施態様では、未知の対象物または材料における動的特徴検出は、トレーニング対象物が視野内に動かされると実行される。トレーニングプロセスを実行するために信号が受け取られ、この信号の時点に存在する動的特徴を検査し、属性が信頼性を示す動的特徴を選択し、そしてトレーニング対象物に実質的に類似した外観を有する対象物における動的特徴検出に使用される所定の動的特徴のセットを作成する。トレーニング対象物は信号の時点で静止していても動いていてもよい。
【０１５９】
信頼性は平均重み、位置ばらつき、または当業者に想到されるその他の適当なプロセスもしくは方法で表すことができる。例示的な実施態様において、ある動的特徴はその属性が生涯に画像の少なくとも９０％において対応する静的特徴を持ったことを示した場合に選択されて所定の動的特徴のセットに含まれる。
【０１６０】
図１７において視野１７３０は信号の時点でトレーニング対象物１７００に対して相対的な位置で示されている。信号の時点で存在しているのは負の極性を有する第１の動的エッジ１７４０、正の極性を有する第２の動的エッジ１７４２、および負の極性を有する第３の動的エッジ１７４４である。これらの動的エッジは視野１７３０内に示されているが、これは明らかに要求ではなく、好適には視野１７３０をかなり超えた動的エッジを使用してもよいことに留意されたい。
【０１６１】
図１８は例示的な実施態様において所定の動的エッジを記憶するためのメモリ部分１８００を示す。
【０１６２】
極性１８１０、予想された位置１８２０および予想された重み１８３０が、動的エッジの所定の属性である。これらの属性は例えばトレーニングプロセスを用いてあらかじめ決定され、一般に例えば図４の更新ステップ４３０によって更新されない。実質的に未知の外観を有する対象物または材料で動作するように構成された動的特徴検出の実施態様を用いるトレーニングプロセスが使用される場合、例えば極性１８１０および予想された位置１８２０は直接トレーニング信号の時点で存在する動的エッジから取り出すことができる。望むならば予想された位置１８２０は、何らかのある任意の画像座標系に対して相対的に調節することができる。なぜならトレーニング信号の時点での対象物座標は一般にそれ以上の興味の対象とはならないからであり、−通常は所定の動的エッジの相対的な位置だけが重要である。予想された重み１８３０はトレーニング信号の時点で存在する動的エッジから、齢に対する経験の比を求めることによって計算できる。
【０１６３】
測定された位置１８４０、測定された重み１８５０、齢１８６０、経験１８７０およびばらつき１８８０は初期化されて、以下に説明されるように更新される。
【０１６４】
図１９および図２０は、所定の動的特徴を使用して対象物を検出するための方法の例示的な実施態様を説明するフローチャートを示す。例示された方法は２つの主要な状態、すなわち検出可能な対象物が視野内にあるか、または視野を通過しているという証拠が不十分である「非アクティブな」状態と、検出可能な対象物が視野内にあるか、または視野を通過しているという何らかの証拠がある「アクティブな」状態とを有する。アクティブな状態にあることは必ずしも検出可能な対象物が実際に存在することを意味しないが、少なくともその可能性はあり、さらに証拠が必要とされ得るということを意味する。
【０１６５】
図１９は非アクティブな状態に対するフローチャートの一部を示す。いずれも先に説明されたように、捕捉ステップ１９１０は視野の画像を捕捉し、静的検出ステップ１９２０は画像内の静的特徴のセットを検出する。
【０１６６】
非アクティブな粗アラインメントステップ１９３０は、所定の動的特徴の少なくとも一部、例えば半分が対応する静的特徴を有するおおまかな姿勢を見出そうと努める。言い換えれば、非アクティブな粗アラインメントステップ１９３０は、検出可能な対象物が視野に入ったという何らかの証拠を探そうとする。１次元画像とエッジ特徴を使用する例示的な実施態様において、公知の一般化されたハフ変換の１次元バージョンが使用される。典型的に検出可能な対象物は最初に視野の端近傍に現れると想定できるが、速度は知られていないであろうから端近傍の比較的広い範囲、例えば１０ピクセルの姿勢が考慮される。
【０１６７】
非アクティブな発見テストステップ１９４０は非アクティブな粗アラインメントステップ１９３０の結果を検査して、検出可能な対象物が視野に入ったという何らかの証拠があるかないか決定する。ない場合は、捕捉ステップ１９１０で非アクティブな状態が続く。ある場合は、初期化ステップ１９５０が動的特徴の前もって決められていないすべての属性を初期化する。例えば図１８の例示的な実施態様では、前もって決められていない属性は測定された位置１８４０、測定された重み１８５０、齢１８６０、経験１８７０およびばらつき１８８０であり、これらすべてゼロに初期化される。次にアクティブな終点２０００でアクティブな状態に入る。
【０１６８】
図２０はアクティブな状態に対するフローチャートの一部を示す。いずれも先に説明されたように、捕捉ステップ２０１０は視野の画像を捕捉し、静的検出ステップ２０２０は画像内の静的特徴のセットを検出する。
【０１６９】
解析ステップ２０３０は静的特徴と動的特徴を解析してマップを決定し、アクティブな粗アラインメントステップ２０３２と精密アラインメントステップ２０３４を含む。この例示的な実施態様では予測は使用されないが、望むならば使用できよう。アクティブな粗アラインメントステップ２０３２は非アクティブな粗アラインメントステップ１９３０に類似しているが、異なるのは一般により狭い範囲、例えば視野の端近傍の代わりに以前に捕捉された画像を中心とする±２ピクセルの姿勢が考慮されることである。
【０１７０】
精密アラインメントステップ２０３４は先に説明された精密アラインメントに類似しており、そこでは動的エッジの位置は予想された位置１８２０であり、通常のように重みが経験１８７０から取得される。あるいは、精密アラインメントステップに対する重みを予想された重み１８３０から取得してもよいし、または無視してもよい（１．０にセット）。精密アラインメントステップ２０３４は先に説明されたようにマッチスコアも計算する。
【０１７１】
アクティブな終点２０００でアクティブな状態に入るときは、非アクティブな粗アラインメントステップ１９３０が既に実行されており、そのためこの画像に対してはアクティブな粗アラインメントステップ２０３２をスキップできることに留意されたい。
【０１７２】
アクティブな発見テストステップ２０４０はマッチスコアを検査して、マップが信頼できるか決定する。マップがある受入れ閾値、例えば０．５０かまたはそれ以上にあれば、マップは信頼される。
【０１７３】
マップが信頼に値すると見なされなかった連続する画像の計数は維持される。信頼に値するマップが見出される毎に計数はゼロにリセットされ、そうでない場合は増分される。消失テストステップ２０８０はこの計数を検査して、計数がある限界、例えば３に達したかどうか見る。達していない場合は、捕捉ステップ２０１０において次の画像でアクティブな状態が続く。限界に達していたら、検出可能な対象物が視野内にあるか、または視野を通過している十分な証拠はもはやないと結論される。検出可能な対象物がこのとき視野を完全に通過し終えたか、または現実には最初の場所に決して存在しなかった可能性がある。対象物テストステップ２０９０は（以下に説明されるように計算された）最も最近の検出スコアを検査して、これらの２つのケースのいずれであるか判定する。検出スコアがある検出閾値、例えば０．２５かまたはそれ以上であれば、信号ステップ２０９２は対象物が検出されたことを示す検出信号を出力する。もう１つのケースでは、非アクティブな終点１９００で非アクティブな状態に入る。
【０１７４】
代替的な例示的実施態様において、検出信号は合衆国特許出願第１０／８６５１５５号および／または合衆国特許出願第１１／７６３７５２号で教示されている同期化方法を用いて出力されるので、対象物の位置を精密に特定するために使用することができる。この実施態様における信号は非アクティブな終点１９００で非アクティブな状態に入る前あるいは後に出力してもよい。
【０１７５】
マップが信頼に値すると見なされなかった連続する画像の計数は、アクティブな粗アラインメントステップ２０３２によって考慮される姿勢の範囲を増すためにも使用することができる。なぜなら追跡が１以上の以前の画像において失われた場合、より広い範囲を探すことが好ましいであろうからである。例えば失われたすべての画像について範囲を±１ピクセル増すことができ、追跡を取り戻したら正常値にリセットされ得る。
【０１７６】
アクティブな発見テストステップ２０４０がマップは信頼できると結論したら、更新ステップ２０５０がマップを使用して動的特徴を更新する。齢１８６０および経験１８７０は先に説明されたように更新される。測定された位置１８４０は予想された位置１８２０に、動的エッジに対応することが発見されたすべての静的エッジの加重平均オフセットを加えたものである（オフセットは図１０およびマップデータ列１０１４に関連して詳しく説明されている）。測定された重み１８５０は齢に対する経験の比である。ばらつき１８８０は動的エッジに対応することが発見されたすべての静的エッジのオフセットの標準偏差である。重みのばらつきはそれらのすべての静的エッジの重みの標準偏差としても計算できる。当業者に理解されるように、齢、経験、測定された位置、測定された重みおよびばらつきを更新する別の方法が使用されてよく、動的エッジにおいて異なるおよび／または追加の属性を使用することができる。
【０１７７】
実質的に既知の外観を有する対象物または材料を用いる幾つかの実施態様において、検出スコアに加えてマッチスコアを計算することが好ましい。検出スコアは検出可能な対象物が見られているという確信の度合いを提供するものであり、主たる目的がマップにおける確信の度合いを提供することであるマッチスコアと異なることがある。例えば、ある対象物が一部だけ視野内にあり、それが実際に既知の外観の対象物であることを確信するのに十分なほど見られる前に、その対象物を認識して追跡することが好ましい。そのような時点ではマップ上で一定の確信度（マッチスコア）を持つが、対象物の同一性（検出スコア）に関する判断はより多く見られるまで留保することが好ましい。
【０１７８】
このような図式により、視野よりはるかに大きい対象物の区域をカバーする所定の動的特徴を使用することが可能である。視野内にフィットする対象物の部分が追跡されるときに、マッチスコアを使用してマップの信頼性を評価する。検出スコアが動的特徴の状態から導出され、対象物が動いて対象物の外観についてより多く学習されるに連れて更新される。
【０１７９】
図２０の例示的な実施態様では、検出スコアステップ２０６０が動的特徴の状態から検出スコアを計算する。検出スコアは、視野内を十分に、例えば少なくとも４ピクセル通過し、かつ、信頼できる属性を有するのに十分な齢、例えば８であるすべての動的特徴について測定された最小の重み１８５０に等しい。検出スコアを計算するこのような方法の効果は、（対象物または材料が視野内に十分進入したので）見えるべき所定の動的特徴がすべて実際に見えていることについて、ある程度の証拠があることを要求することである。先行技術による静的特徴検出器に基づくパターンマッチング方法は、予想されるすべての特徴が見出される証拠を要求するが、これはほとんど実用的でないことに留意されたい。なぜならいずれかの所与の画像においてある１つの特徴が弱いか、または失われていることは大いにあり得るからである。しかし本発明の動的特徴検出器では、ほとんどの画像から失われた可能性のある非常に弱いある１つの特徴が、それが存在するという必要な証拠を前提として、少なくとも幾つかの画像で正しい位置に実際に出現することがある。
【０１８０】
検出テストステップ２０７０は検出スコアを検査して、検出可能な対象物が視野内にあるか、または視野を通過していることの十分証拠があるか決定する。視野内を十分に通過し、かつ、十分な齢を有するすべての動的特徴が、ある検出閾値、例えば０．２５以上の測定された重み１８５０を有する限り、捕捉ステップ２０１０でアクティブな状態が続く。検出可能な対象物が視野内にあるか、または視野を通過していることの十分な証拠がもはやないと決定されたら、非アクティブな状態は非アクティブの終点１９００に入る。
【０１８１】
＜動的空間較正＞
多くの実施態様において好ましくは、対象物上のポイントと視野内のポイントとの間にマッピングされる姿勢が線形変換であることである。しかしながら、対象物と画像空間との間の真のマップは多様な固定されたファクタのために非線形であり、レンズの歪み、非直交視角、および対象物または材料の湾曲面を含むが、これらに限定されない。これらの要因の幾つかまたは全部が組み合わさって真のマップを非線形にすることがある。例えば材料の連続ウェブはローラの湾曲面の部分を通って引かれることがあり、さらに何らかの幾何的歪みのあるレンズを用いて見られることがある。
【０１８２】
当技術分野において、固定された非線形効果を補正して姿勢が線形かつ正確であるようにするために空間較正プロセスを用いることが公知である。このようなプロセスでは、既知の精密な幾何構成を有する特徴を備えた較正対象物が、センサの視野内に置かれる。静的特徴検出器は特徴の画像座標を決定し、それらの測定値および既知の対象物幾何を用いて較正、例えば画像と対象物座標との間にマッピングされる区分線形テーブルを構成する。
【０１８３】
本発明の実施態様において、固定された非線形効果を補正するために伝統的な静的空間較正プロセスを使用することができるが、このようなプロセスは静的特徴検出器の精度によって制限される。本発明の教示に従い、動的空間較正法およびシステムはより高い精度を達成するために運動を用いる。動的較正法およびシステムの別の利点は、静的較正プロセスに対するほど精密であることを必要としない較正対象物を使用可能であることである。
【０１８４】
図２１は、１次元画像の動的空間較正のための例示的なシステムおよび方法で使用される種々の要素を示す。較正特徴２１００を有する較正対象物が、センサの視野２１１０に移動する。この例示的な実施態様では較正特徴２１００はほぼ均等に間隔をあけたエッジである。個々のエッジの位置における相関性のない僅かな誤差は、動的較正の間に相殺される傾向があるため、較正対象物は単にドットマトリクスプリンタまたはレーザプリンタを用いて一枚の紙にパターンを印刷するだけで廉価に製作できる。視野に対して相対的な運動は、例えば１方向運動または往復運動であってもよいし、均一または任意であってもよい。ある例示的な実施態様においては、手作業による往復運動が用いられる。
【０１８５】
視野２１１０の一連の画像が捕捉され、例えば図５から図７に関連して説明されたように、各画像で静的エッジ検出プロセスが実行される。図２１はそのような１つの画像の処理を示す。静的エッジは視野２１１０に沿って示されており、正の静的エッジ２１２０の例と負の静的エッジ２１２２の例を含む。
【０１８６】
以下に、ｘは画像座標を表し、ｙは対象物座標を表す。中心２１１２の座標（ｘ、ｙ）は（０、０）とする。
【０１８７】
静的エッジには指数ｉが与えられる。０から始まり左から右に番号が付けられ、正の静的エッジ２１２０の例はｉ＝０および負の静的エッジ２１２２の例はｉ＝１１である。静的エッジの間隔は対象物空間において均一であるため、ｙｉ＝ｋ（ｉ−ｐ）である。ここにｋは任意の定数であり、ｐは中心２１１２の「指数」である。これらの画像座標ｘｉは静的エッジ検出プロセスに由来し、一般に不均一である。
【０１８８】
各画像についてｐが決定される。これは例示的な実施態様では、視野の中心ゾーン２１１４内にある静的エッジを考慮することによって達成される。中心２１１２および中心ゾーン２１１４は、中心ゾーン２１１４における画像から対象物空間へのマッピングが適度に線形となるように選択される。典型的にレンズの歪みは例えば中心近傍で最小であり、一般にゾーンをより小さくすることによって十分な線形性を達成できる。図３の装置を使用する例示的な実施態様において、中心ゾーン２１１４は２０ピクセルである。
【０１８９】
中心ゾーン２１１４に存在するエッジの数が特定の数、例えば２より少ないと画像は拒絶され、較正プロセスは次の画像で継続する。そうでない場合は中心ゾーン２１１４にある静的エッジを使用するｘ＝ａｉ＋ｂという形の線形回帰を用いて、ｘ＝０の場合に回帰におけるｉの値であるｐを決定する。ｐが知られると、すべての静的エッジの座標（ｘｉ、ｙｉ）が知られる。
【０１９０】
較正対象物が視野２１１０に対して相対的に動くとｐは変化するので、ｐの値は、最後の画像以降に較正対象物が動いたか決定するために使用することができる。図１１の運動テストステップ１１３０に関連して上で説明された理由に従い、（再び何らかのヒステリシスを用いて）運動が検出されなければ、画像は拒絶されて、較正プロセスが次の画像で続く。
【０１９１】
視野２１１０は等しい間隔をもつ多数の瓶（ビン、bin）に分割される。例えば画像ピクセル１個は１つの瓶である。一時記憶装置２１３０は、第１の瓶２１３２の例と第２の瓶２１３４の例を含む各瓶に対する線形回帰データを保持する。すべての静的エッジは特定の瓶に該当し、その瓶内の画像空間オフセットｕｉを有する。図２１において、正の静的エッジ２１２０の例は第１の瓶２１３２の例にオフセット２１５０で該当し、負の静的エッジ２１２２の例は第２の瓶２１３４の例にオフセット２１５２で該当する。各静的エッジについて、瓶に該当する線形回帰データはｙｉ＝ａｕｉ＋ｂの形の線形回帰を用いて更新される。
【０１９２】
十分な数の画像が処理されたら、各瓶の回帰データを使用して、各瓶の中心であるか、あるいは代替的に左端または右端の対象物座標が決定される。これらの対象物座標は区分線形較正テーブル２１４０に保存され、その後で一時記憶装置２１３０が削除される。区分線形較正テーブル２１４０は、静的特徴の位置を、１次元画像を使用する本発明の何らかの実施態様のための対象物空間において線形である値に変換するために使用することができる。
【０１９３】
２次元画像および／またはエッジ以外の特徴に対する動的空間較正の実施態様は、当業者に想到し得る。例えば２次元画像とブロブ特徴を使用する動的較正は較正特徴２１００をほぼ等間隔に配置されたブロブ特徴の２次元アレイで置き換え、中心ゾーン２１１４を画像内の２次元区域で置き換え、一時記憶装置２１３０を回帰データの２次元アレイで置き換え、区分線形較正テーブル２１４０を２次元双線形テーブルで置き換え、当業者には明白なその他の変更を施すことができる。
【０１９４】
較正特徴２１００に関して、暗い線の幅が、それらの間にある明るいスペースと異なる場合、正のエッジはほぼ等間隔に配置され、負のエッジはほぼ等間隔に配置されるが、エッジとエッジの間隔は均等ではない。このようなケースに適した代替的な実施態様において、正および負の極性の静的エッジは各画像について別個に処理される。
【０１９５】
上記は本発明の種々の実施態様に関する詳細な説明である。本発明の思想および範囲から逸脱することなく、それらに様々な形態や細部の変更、省略および追加を施すことが可能であると明確に考えられる。例えば本明細書に記載するプロセッサおよび計算装置は例示的なものであり、本明細書に記載する計算を実施するために、種々のプロセッサやコンピュータをスタンドアロンと分散の両方の形で使用することができる。同様に本明細書に記載するリニアアレイセンサも例示的なものであり、本発明の教示の範囲内で改良し、または異なる構成要素を使用することができる。また、捕捉プロセス、解析プロセスおよび任意的に信号プロセスの一部または全部は互いに結合することができ、あるいは別の形に分離することもできる。本明細書では種々の例示的実施態様に関連して数値定数が使用されているが、所望の処理を実施するために、本発明の範囲内で任意の他の適当な値または方法を使用することができる。従ってこの説明は単なる例として受け取られるべきであり、本発明の範囲を何ら制限するものではない。
【図１】
2011517817.tif 000004
【図２】
2011517817.tif 000005
【図３】
2011517817.tif 000006
【図４】
2011517817.tif 000007
【図５】
2011517817.tif 000008
【図６】
2011517817.tif 000009
【図７】
2011517817.tif 000010
【図８】
2011517817.tif 000011
【図９】
2011517817.tif 000012
【図１０】
2011517817.tif 000013
【図１１】
2011517817.tif 000014
【図１２】
2011517817.tif 000015
【図１３】
2011517817.tif 000016
【図１４】
2011517817.tif 000017
【図１５】
2011517817.tif 000018
【図１６】
2011517817.tif 000019
【図１７】
2011517817.tif 000020
【図１８】
2011517817.tif 000021
【図１９】
2011517817.tif 000022
【図２０】
2011517817.tif 000023
【図２１】
2011517817.tif 000024
【国際調査報告】
2011517817.tif 000025
2011517817.tif 000026
2011517817.tif 000027