(57)【要約】  本発明は、仮定された物体の角度姿勢を判定するように動作する。一連の射影合計を、既知の物体のサンプルイメージから計算するが、この既知の物体は、仮定された姿勢を有する。射影合計を、角度のある範囲について計算し、射影イメージと呼ばれる２次元配列に編成する。既知の物体のイメージを提供するが、この既知の物体は、未知の姿勢を有する。射影合計を、好ましくは垂直で、未知の姿勢を有する既知の物体のイメージにまたがって計算する。この射影合計を、射影イメージに対して相関させ、最良の相関に対応する角度を、既知の物体の角度姿勢であると判定する。
2007528065.tif 000002
【特許請求の範囲】
【請求項１】
仮定された物体の角度姿勢を計算する方法であって、
仮定された姿勢を有する既知の物体のサンプルイメージを提供することと、
一連の射影合計を、角度のある範囲にわたって前記サンプルイメージにまたがって計算し、前記射影合計を、前記射影合計が計算された角度に基づいて２次元配列に編成することと、
前記既知の物体の第１イメージを提供することであって、前記第１イメージ内で示される前記既知の物体の前記角度姿勢が未知である、提供することと、
射影合計を、仮定された角度で前記第１イメージにまたがって計算することと、
前記第１イメージにまたがる前記射影合計を前記２次元配列と比較し、前記第１イメージの前記射影合計と最もよく匹敵する射影合計を有する角度を選択することと
を含む方法。
【請求項２】
その射影合計が前記第１イメージの前記射影合計と最もよく匹敵する前記角度を認識システムに報告すること
をさらに含む、請求項１に記載の方法。
【請求項３】
既知の角度が、垂直である、請求項２に記載の方法。
【請求項４】
前記サンプルイメージから計算される前記射影合計が、角度を約２．５°だけ増分することによって、角度の前記範囲にわたって計算される、請求項３に記載の方法。
【請求項５】
前記認識システムが、グレイスケールベクトル相関である、請求項４に記載の方法。
【請求項６】
角度の前記範囲が、正の４５°と負の４５°との間である、請求項３に記載の方法。
【請求項７】
前記第１イメージにまたがる前記射影合計と前記２次元配列との前記比較が、ＮＣＲである、請求項１に記載の方法。
【請求項８】
前記既知の物体が、半導体ダイである、請求項１に記載の方法。
【請求項９】
機械視覚システムで使用されるコンピュータ可読媒体であって、前記コンピュータ可読媒体が、既知の物体の角度姿勢を判定するように構成され、
一連の射影合計を、角度のある範囲にわたって前記既知の物体のサンプルイメージにまたがって計算する手段であって、前記既知の物体の前記サンプルイメージが、仮定された角度姿勢を有する、手段と、
前記射影合計を、前記射影合計が計算された角度に基づいて２次元配列に編成する手段と、
前記既知の物体の第１イメージにまたがって射影合計を計算する手段であって、前記既知の物体が、未知の角度姿勢を有し、前記射影合計が、仮定された角度で計算される、手段と、
前記第１イメージにまたがる前記射影合計を前記２次元配列と比較する手段と、
前記第１イメージの前記射影合計と最もよく匹敵する射影合計を有する角度を選択する手段と
を含む、コンピュータ可読媒体。
【請求項１０】
前記角度姿勢をパターン認識システムに報告する手段をさらに含む、請求項９に記載のコンピュータ可読媒体。
【請求項１１】
前記仮定された角度が、垂直である、請求項１０に記載のコンピュータ可読媒体。
【請求項１２】
前記射影合計が、角度を約１°だけ増分することによって、角度の前記範囲にわたって計算される、請求項１１に記載のコンピュータ可読媒体。
【請求項１３】
角度の前記範囲が、±１８０°である、請求項１２に記載のコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮定された物体の角度姿勢の判定に関する。
【背景技術】
【０００２】
製造された部品の検査での頻繁な作業が、部品の姿勢の判定である。姿勢は、通常は垂直から測定された角度と一緒のｘｙ座標によって測定される、部品の位置である。角度姿勢は、部品がどれほど回転しているかの尺度と考えることができる。多くの産業応用例で、部品の姿勢は、機械視覚システムによって測定される。これは、半導体部品の場合に特にそうである。角度姿勢を知れば、機械視覚システムは、部品の品質に関する重要な情報を提供でき、製造動作を指示することができ、あるいは、他の機械視覚動作の精度を改善することができる。
【０００３】
角度姿勢の判定は、しばしば、時間集中型の動作である。高められたタスループットに関するますます高まる必要に伴って、角度姿勢を計算する速度の向上が、普遍的に望まれている。
機械視覚システムによって使用される多くのパターン認識のアルゴリズムまたはシステムが、角度に敏感であることも理解されている。言い換えると、多くのパターン認識のアルゴリズムまたはシステムは、検査される部品がある許容範囲を超えて回転された時にうまく動作しない。たとえば、部品が、約１°または約２°を超えて回転された場合に、正規化相関（ｎｏｒｍａｌｉｚｅｄ  ｃｏｒｒｅｌａｔｉｏｎ）が、部品を認識するために正しく機能しない場合がある。
【０００４】
半導体産業は、さまざまな形でパターン認識システムの感度を扱ってきた。１つの形が、グレイスケールベクトル相関（本願と同一の譲受人に譲渡され、参照によって本明細書に組み込まれている米国特許第６，３８５，３４０号を参照されたい）など、回転により鈍感なパターン認識システムを開発することであった。この感度を扱うもう１つの形が、非常に制御された形で半導体部品を視覚システムに提示することである。たとえば、半導体を、部品の回転を最小にするように特別に構成されたトレイで視覚システムに提示することができる。上で説明した２つの努力にもかかわらず、部品が、パターン認識システムの許容範囲を超えて回転される場合があり、これが、パターン認識システムがその部品の故障を報告することをもたらす場合がある。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、角度姿勢が一般的に既知の場合に、パターン認識システムを、正しく実行するように調整することができる。これによって、既知の部品を回転に関わりなく検査できるようになるはずである。過去には、別々の処理システムとして物体の角度姿勢を判定し、その角度姿勢をパターン認識システムに報告することが、使用される認識システムの許容範囲を超えて部品が回転されることによって引き起こされる時々の障害と比較して、単純にコストが高すぎた。したがって、すばやく所望の精度で物体の角度姿勢を計算する必要が生じた。
【課題を解決するための手段】
【０００６】
本発明は、仮定された物体の角度姿勢を計算する方法を提供する。この角度姿勢は、独立の価値を有し、パターン認識システムに報告されてもされなくてもよい。既知の物体のサンプルイメージを提供する。このサンプルイメージは、仮定された姿勢を有する。一連の射影合計を、角度のある範囲にわたってこの既知の物体のサンプルイメージにまたがって計算し、射影合計が計算された角度に基づいて２次元配列に編成する。仮定された物体の第１イメージを提供するが、ここで、第１イメージ内の既知の物体の角度姿勢は未知である。射影合計を、仮定された角度で第１イメージにまたがって計算する。仮定された角度は、垂直であることが好ましい。第１イメージからの射影合計を、２次元配列と比較し、第１イメージの射影合計と最もよく匹敵する射影合計を有する角度を選択する。本発明を、一連のイメージすなわち、各物体に関連する角度姿勢を報告すべき既知の物体のすべてに対して実行することができる。
【０００７】
本発明の方法は、さらに、射影合計が第１イメージの射影合計と最もよく匹敵する角度を認識システムに報告することを提供する。これによって、物体のすべての回転を考慮に入れるように認識システムを調整することができるようになる。もう１つの好ましい実施形態で、認識システムは、グレイスケールベクトル相関である。
もう１つの好ましい実施形態で、第１イメージにまたがる射影合計の比較が、正規化相関すなわちＮＣＲを使用して２次元配列と比較される。
【０００８】
本発明は、機械視覚システムで使用されるコンピュータ可読媒体も提供し、ここで、コンピュータ可読媒体は、既知の物体の角度姿勢を判定するように構成される。コンピュータ可読媒体に、仮定された姿勢を有する既知の物体のサンプルイメージにまたがって一連の射影合計を計算する手段が含まれる。射影合計は、角度のある範囲にわたって計算される。コンピュータ可読媒体に、さらに、射影合計が計算された角度に基づいて、射影合計を２次元配列に編成する手段が含まれる。コンピュータ可読媒体に、さらに、仮定された角度で一連の既知の物体からの第１イメージにまたがって射影合計を計算する手段と、第１イメージにまたがる射影合計を２次元配列と比較する手段が含まれる。射影が第１イメージの射影合計と最もよく匹敵する角度が選択される。
【０００９】
本発明の他の応用例は、本発明を実践するために企図された最良の態様の次の説明が添付図面と共に読まれる時に、当業者に明白になる。
本明細書の説明では、添付図面を参照するが、添付図面では、類似する符号が、複数の図面を通じて類似する部分を指す。
【発明を実施するための最良の形態】
【００１０】
本発明は、既知の物体の角度姿勢の判定に特に有用である。本発明は、Ｒａｄｏｎの式の新規の変更（下で示す）を利用して、既知の物体の角度姿勢をすばやく判定する。一連の射影合計を、既知の物体のサンプルイメージから判定するが、この既知の物体は、仮定された姿勢を有する。射影合計を、角度のある範囲について計算する。この範囲は、±１８０°もの大きさとすることができる。
各射影合計は、１次元配列と考えることができる。そのような１次元配列の集合を計算して、射影合計の２次元配列を形成する。この２次元配列を、射影イメージと呼ぶことができる。
【００１１】
既知の物体のイメージを提示するが、この既知の物体の角度姿勢は未知である。複数の物体は、すべてが同一の部品であるという意味で「既知」であり、この部品は、下の例では半導体ダイである。単一の射影合計が、垂直からとられることが好ましい。次に、この射影合計を、射影合計の２次元配列に対して相関させる。単一の射影合計と最もよく相関する射影合計に関連する角度が、この既知の物体の角度姿勢である。
本発明を、ダイなどの半導体コンポーネントの文脈で説明する。実際には、サンプルイメージは、特定のダイとすることができる既知の物体から与えられる。未知の姿勢を有する既知の物体は、実質的に同一のもの、たとえば同一の部品である、ダイになる。しかし、後に続くダイは、未知の姿勢を有する。
【００１２】
上で述べたように、本発明は、次のように作られた、Ｒａｄｏｎの式の計算にゆるやかに基づく。
【００１３】
【数１】
2007528065.tif 000003
【００１４】
ただし、ｆ（ｘ，ｙ）は、イメージデータであり、Ｐは、射影が形成される角度であり、Τ（タウ）は、射影に沿った変位である。
図面を参照すると、類似する要素に類似する符号が与えられており、本発明の方法が示されている。図１を参照すると、教示プロセスは、１０で開始される。教示は、仮定された角度での射影合計の２次元配列を作成する作業を記述する。この２次元配列を、射影イメージと呼ぶことができる。２０で、仮定された姿勢を有する既知の物体のイメージを提供する。本発明を説明する文脈では、この既知の物体がダイである。しかし、本発明は、さまざまな物体と共に使用することができる。３０で、開始角度、停止角度、およびステップを選択する。開始角度および停止角度は、射影合計が計算される範囲を指す。
【００１５】
図２に、開始角度および停止角度を概略的に示す。図２に、ダイ１１のイメージにまたがって射影された角度の集合を概略的に示す。この例では、ダイが、仮定された角度姿勢を有する既知の物体である。開始角度は、１２のθ１によって表され、終了角度は、１４のθｎによって表される。好ましい範囲は、±３０°であるが、射影を±１８０°からとることができる。射影合計が導出される角度の範囲が、所望の特定の応用例に依存することを理解されたい。たとえば±１８０°の範囲は、ランダムに回転された部品と共によく働き、より狭い範囲は、トレイで提示される部品によりよい可能性がある。
【００１６】
角度の間の増分を異なるものにすることができることも理解されたい。角度の間の増分は、２つの隣接する射影、たとえばθ１とθ２の間の差を指す。角度の増分は、下でより十分に説明するように、必要な角度姿勢の精度に応じて変化する。パターン認識システムが、正規化相関である時に、角度の間の増分は、０．５°と１°の間でなければならない。しかし、グレイスケールベクトル相関などのより堅牢なパターン認識技法の場合に、２．５°などのより大きい増分が好ましい場合がある。
【００１７】
図１をもう一度参照すると、４０で射影合計を計算する。任意の所与の角度について、射影合計を、図３に概略的に示された形で導出する。図３は、一連の射影合計線４２がイメージにまたがって延ばされている、ダイ１１のイメージを表す。ダイのイメージを含む任意の物体のイメージが、画素の集合であり、各画素が位置および値を有することを理解されたい。射影合計線４２は、個々の線４２によって覆われる各画素位置の画素値を加算するという考えを表す。各線の合計された値は、図３ではｗ１からｗＮによって表される（符号４４）。好ましい実施形態では、各射影合計線４２が、１画素幅である。
【００１８】
射影合計線４２は、画素に関してある角度にセットされるので、この線が、画素全体を取り込まない場合がある。これを図４に概略的に示す。たとえば、サンプル画素４５を参照すると、４６として示された、線によって取り込まれる部分と、４８として示された、線によって取り込まれない部分がある。取り込まれる部分４６に重みをつけて、取り込まれない部分４８を補償し、これによってより正確な合計をもたらすことができることを理解されたい。
【００１９】
５０で角度を増分し、所定の角度増分ですべての角度θ１からθｎについて射影合計を計算する。６０で、すべての角度を使い果たした時に、６２で教示プロセスを終了する。図１の教示プロセスは、図５に概略的に示された射影イメージを作る。図５の射影イメージは、各行が異なる角度を表す、射影合計の２次元配列である。
図６〜８を参照すると、既知の物体の角度姿勢を判定する形が示されている。角度姿勢を見つける動作は、７０で開始される。７２で、既知の物体、この事例ではダイ１１’のイメージを提示する。ダイ１１’が、ダイ１１と同一であることが意図され、ダイ１１’のイメージが、好ましくはダイ１１のイメージと同一の条件でとられることを理解されたい。７２で、イメージの物体は、未知の角度姿勢を有する。７４で、射影合計を、垂直の角度であることが好ましい仮定された角度で、類似する物体のイメージにまたがって計算する。垂直の角度での射影合計の計算を、図７に概略的に示す。７６で、７４で導出された射影合計を、図５に示された２次元配列に相関させる。７８で、射影合計に最もよく相関する合計行に対応する角度を計算する。
【００２０】
図６に示されているように、姿勢が見つかったならば、このプロセスを完了できることを理解されたい。しかし、図８に示されているように、８０で、正規化相関またはグレイスケールベクトル相関などのパターン認識システムに姿勢を報告することができる。その後、これらのパターン認識システムを、物体の姿勢を見つけるように調整することができる。
角度の範囲が±９０°より大きい場合に、本発明は、射影合計を図５の２次元配列と相関させる時に、関連する曖昧さの除去を提供する。これらの曖昧さは、部品の対称性の結果である場合がある。そのような場合に、７４で、ずれた角度で別の合計射影を行い、図５の２次元配列に対して２つの異なる射影合計を相関させる必要がある場合がある。
【００２１】
図９を参照すると、機械視覚システム８２が示されている。視覚システム８２に、カメラ８４および適当な照明８６が含まれる。カメラ８４および照明８６は、機能的に処理ユニット８８に接続され、処理ユニット８８には、物体の角度姿勢を判定するように構成されたコンピュータ可読媒体９０が含まれる。この例では、物体が、カメラ８４の視野を用いて位置決めされたダイ１１’である。
本発明を、現在は最も実用的であり好ましい実施形態と考えられるものに関して説明したが、本発明が、開示された実施形態に制限されないことを理解されたい。たとえば、での射影合計を、任意の仮定される角度でとり、図５の２次元配列に相関させることができることを理解されたい。垂直の角度は、より単純なプロセスを提供されるために選択された。９０°以外の仮定される角度が適用される場合に、追加の計算を使用することができる。本願は、添付請求項の趣旨および範囲に含まれるさまざまな修正形態および同等の配置を含むことが意図されており、添付請求項の範囲は、法の下で許容されるそのような修正形態および同等構造のすべてを含むために最も広義の解釈に従わなければならない。
【図面の簡単な説明】
【００２２】
【図１】既知の物体のサンプルイメージから２次元配列が教示される方法を示す流れ図である。
【図２】既知の物体と、それを介して射影合計を計算できる一連の角度とを示す概略図である。
【図３】射影合計が計算されている、図１の物体を示す概略図である。
【図４】射影合計が図３の代表的な画素にまたがって計算される形を示す詳細な図である。
【図５】角度によって編成された射影合計の２次元配列を示す概略図である。
【図６】図５の配列を利用して既知の物体の角度姿勢を見つけるプロセスを示す流れ図である。
【図７】既知の物体が未知の角度である場合に既知の物体にまたがってとられる垂直射影合計を示す概略図である。
【図８】物体の角度姿勢がパターン認識システムに報告される、図６に似た流れ図である。
【図９】物体の角度姿勢を判定するように構成されたコンピュータ可読媒体を含む視覚システムを示す概略図である。
【符号の説明】
【００２３】
１０  教示を開始するステップ
１１  ダイ
１１’  ダイ
１２  開始角度
１４  終了角度
２０  仮定された姿勢を有する既知の物体のイメージを提供するステップ
３０  開始角度、停止角度、およびステップを選択するステップ
４０  射影を計算し、射影イメージ（２次元配列）に保管するステップ
４２  射影合計線
４４  合計
４５  サンプル画素
４６  取り込まれる部分
４８  取り込まれない部分
５０  角度を増分するステップ
６０  すべての角度について終了したかどうかを判定するステップ
６２  教示を終了するステップ
７０  見出しを開始するステップ
７２  仮定された姿勢を有する既知の物体のイメージを提供するステップ
７４  垂直で列合計射影を計算するステップ
７６  列合計を射影イメージ（２次元配列）と相関させるステップ
７８  最高の行相関に基づいて角度を計算するステップ
８０  角度を認識システムに報告するステップ
８２  機械視覚システム
８４  カメラ
８６  照明
８８  処理ユニット
９０  コンピュータ可読媒体
【図１】
2007528065.tif 000004
【図２】
2007528065.tif 000005
【図３】
2007528065.tif 000006
【図４】
2007528065.tif 000007
【図５】
2007528065.tif 000008
【図６】
2007528065.tif 000009
【図７】
2007528065.tif 000010
【図８】
2007528065.tif 000011
【図９】
2007528065.tif 000012
【国際調査報告】
2007528065.tif 000013