(57)【要約】【課題】部品の実装状態を高速かつ安価に検査し、検査信頼度を高めること。【解決手段】実装部品検査装置１０は、部品２０が実装された回路基板２９の画像をスキャナ５により取得し、取得した回路基板２９の画像から部品２０の本体を示す部品膜部２１の画像を色情報により認識して抽出し、抽出した部品膜部２１の画像と、あらかじめ記憶部１６に記憶された部品２０に関する部品情報によって示される前記部品膜部２１の外形とをパターンマッチングにより比較し、部品膜部２１の形状を認識するとともに回路基板２９上の部品２０の実装位置を認識し、認識した部品膜部２１の形状および部品２０の実装位置と、あらかじめ設定された部品２０の回路基板２９に対する実装可能範囲を示す実装許容情報とに基づき、部品２０の回路基板２９への実装状態を判定し、判定された判定結果を出力する。【選択図】図２
2009021523.tif 000002
【特許請求の範囲】
【請求項１】
部品が実装された回路基板を走査することにより該回路基板の画像を取得する取得手段と、
前記取得手段によって取得された前記回路基板の画像から前記部品の本体を示す部品膜部の画像を色情報により認識し抽出する抽出手段と、
前記抽出手段によって抽出された前記部品膜部の画像と、あらかじめ記憶手段に記憶された前記部品に関する部品情報によって示される前記部品膜部の外形とをパターンマッチングにより比較して、前記部品膜部の形状を認識するとともに前記回路基板上の前記部品の実装位置を認識する認識手段と、
前記認識手段によって認識された前記部品膜部の形状および前記部品の実装位置と、あらかじめ設定された前記部品の前記回路基板に対する実装可能範囲を示す実装許容情報とに基づいて、前記部品の前記回路基板への実装状態を判定する判定手段と、
前記判定手段によって判定された判定結果を出力する出力手段とを備えた
ことを特徴とする実装部品検査装置。
【請求項２】
前記抽出手段は、前記回路基板の画像から取得された色情報に基づいて、該回路基板の画像を前記部品の固有色とは異なる色を用いてマスクすることで前記部品膜部の画像を認識し抽出することを特徴とする請求項１記載の実装部品検査装置。
【請求項３】
前記認識手段は、前記抽出手段によって抽出された前記部品膜部の画像内に認識不能領域が含まれている場合に、該認識不能領域を前記固有色で塗り潰して前記部品膜部全体の仮面積を算出し、該仮面積を前記部品情報により示される部品膜部全体の面積と前記パターンマッチングにより比較して、前記部品膜部の形状を認識することを特徴とする請求項２記載の実装部品検査装置。
【請求項４】
前記判定手段は、前記部品情報を用いて、前記認識手段によって認識された前記部品膜部の形状に該部品膜部に付随する電極部分の形状を付加して部品全体の外形を復元し、該部品全体の前記回路基板への実装状態を判定することを特徴とする請求項１〜３のいずれか１項記載の実装部品検査装置。
【請求項５】
前記判定手段は、前記部品情報を用いて、前記認識手段によって認識された前記部品膜部の形状が正方形を示す場合に、前記部品膜部に付随する電極部分と、前記部品の中心を軸に前記部品膜部を９０°回転させたときに該電極部分に相当する非電極部分との色情報に基づく色を比較して、前記部品の前記回路基板における回転不良を判定することを特徴とする請求項１〜４のいずれか１項記載の実装部品検査装置。
【請求項６】
前記認識手段は、前記パターンマッチングを行う際に、前記部品膜部の形状における矩形又は丸形の辺及び角に相当する部分に相関度の重み付けを行うことを特徴とする請求項１〜５のいずれか１項記載の実装部品検査装置。
【請求項７】
前記判定手段は、前記部品全体の外形と、前記実装許容情報に含まれる実装位置ずれの限界領域を規定するフレーム画像とを比較して、前記部品の実装位置ずれを判定することを特徴とする請求項４〜６のいずれか１項記載の実装部品検査装置。
【請求項８】
前記抽出手段は、前記取得手段によって取得された前記回路基板の画像から前記部品膜部の画像を認識する際に、前記部品の大きさが所定以上の大きさであると判断した場合は、前記部品膜部の画像を２値化したフレーム画像として抽出することを特徴とする請求項１〜７のいずれか１項記載の実装部品検査装置。
【請求項９】
前記判定手段は、前記実装許容情報に含まれる複数の実装判定基準値を用いて、前記部品の前記回路基板への実装状態を正常、異常及び判別不能のうちのいずれかと判定することを特徴とする請求項１〜８のいずれか１項記載の実装部品検査装置。
【請求項１０】
前記判定手段は、判別不能と判定した場合は、所定の処理が施された前記部品膜部の画像に基づく部品膜部の形状、部品の実装位置および前記複数の実装判定基準値に基づいて、前記実装状態を再度判定することを特徴とする請求項９記載の実装部品検査装置。
【請求項１１】
前記判定手段は、前記部品情報を用いて、あらかじめ指定されている前記部品の極性部分に対して前記部品の中心を介した点対称位置に非極性部分を設定し、前記極性部分と前記非極性部分との色情報に基づく色を比較して、前記部品の前記回路基板における極性を判定することを特徴とする請求項１〜１０のいずれか１項記載の実装部品検査装置。
【請求項１２】
前記取得手段は、スキャナにより構成されることを特徴とする請求項１〜１１のいずれか１項記載の実装部品検査装置。
【請求項１３】
前記出力手段は、前記判定手段によって判定された前記判定結果を、画像表示、音声出力および印刷出力のうちの少なくとも一つにより出力することを特徴とする請求項１〜１２のいずれか１項記載の実装部品検査装置。
【請求項１４】
部品が実装された回路基板を走査することにより該回路基板の画像を取得する取得工程と、
前記取得工程にて取得された前記回路基板の画像から前記部品の本体を示す部品膜部の画像を色情報により認識し抽出する抽出工程と、
前記抽出工程にて抽出された前記部品膜部の画像と、あらかじめ記憶手段に記憶された前記部品に関する部品情報を参照して、該部品情報により示される前記部品膜部の外形とをパターンマッチングにより比較し、前記部品膜部の形状を認識するとともに前記回路基板上の前記部品の実装位置を認識する認識工程と、
前記認識工程にて認識された前記部品膜部の形状および前記部品の実装位置と、あらかじめ設定された前記部品の前記回路基板に対する実装可能範囲を示す実装許容情報とに基づいて、前記部品の前記回路基板への実装状態を判定する判定工程と、
前記判定工程にて判定された判定結果を出力する出力工程とを含む
ことを特徴とする実装部品検査方法。
【請求項１５】
コンピュータに、
部品が実装された回路基板を走査することにより該回路基板の画像を取得させる取得工程と、
前記取得工程にて取得された前記回路基板の画像から前記部品の本体を示す部品膜部の画像を色情報により認識し抽出させる抽出工程と、
前記抽出工程にて抽出された前記部品膜部の画像と、あらかじめ記憶手段に記憶された前記部品に関する部品情報を参照して、該部品情報により示される前記部品膜部の外形とをパターンマッチングにより比較し、前記部品膜部の形状を認識させるとともに前記回路基板上の前記部品の実装位置を認識させる認識工程と、
前記認識工程にて認識された前記部品膜部の形状および前記部品の実装位置と、あらかじめ設定された前記部品の前記回路基板に対する実装可能範囲を示す実装許容情報とに基づいて、前記部品の前記回路基板への実装状態を判定させる判定工程と、
前記判定工程にて判定された判定結果を出力させる出力工程とを
実行させるための実装部品検査プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子部品などの部品が実装された回路基板の実装部品検査装置および実装部品検査方法および実装部品検査プログラムに関し、特に部品の実装状態を高速かつ安価に検査することができるとともに、検査信頼度を高めることができる実装部品検査装置および実装部品検査方法および実装部品検査プログラムに関する。
【背景技術】
【０００２】
近年、電子部品などの部品の高密度実装化が進展しており、部品自体も小型化が図られている。このため、例えば目視などにより部品の実装状態を検査することは困難となっており、高解像度の画像を撮影することができるエリアカメラなどを備えた実装部品検査装置が実現されている。このような実装部品検査装置としては、例えば下記特許文献１に開示されているものが知られている。
【０００３】
この実装部品検査装置は、例えば撮像手段の位置決め手段によって、ＣＣＤカメラを指定された設定位置に移動させ、実際位置との差を算出し、この差をピクセル数に換算して記憶手段に記憶された部品の画像データをメモリ上で移動させ、移動後の画像データを用いて画像表示手段に部品の画像を表示させるようにすることで、実際に撮像した位置に対応した部品の画像を表示することができる構成となっている。
【０００４】
【特許文献１】特開２００６−２６９９１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に開示されている実装部品検査装置では、高性能なＣＣＤカメラやこのＣＣＤカメラを駆動するリニアエンコーダなどが必要となり、装置自体が高価なものとなってしまうとともに、ＣＣＤカメラの駆動などに所定の時間が必要であるため、高速に検査を行うことができないという問題があった。
【０００６】
また、撮像した回路基板の画像に示される実装された部品ごとの電極（端子）の形状や色が異なる場合には、高度な画像認識技術を用いなければ、部品の電極（端子）部分を含めた部品全体の外形の画像を忠実に再現することが困難であるという問題があった。そして、この画像認識技術が劣っている場合は、正常な実装状態の判定が曖昧になることがあり、検査結果の信頼性が低くなってしまうという問題がある。
【０００７】
本発明は、このような問題を解消し、部品の実装状態を高速かつ安価に検査することができるとともに、検査信頼度を高めることができる実装部品検査装置および実装部品検査方法および実装部品検査プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る実装部品検査装置は、部品が実装された回路基板を走査することにより該回路基板の画像を取得する取得手段と、前記取得手段によって取得された前記回路基板の画像から前記部品の本体を示す部品膜部の画像を色情報により認識し抽出する抽出手段と、前記抽出手段によって抽出された前記部品膜部の画像と、あらかじめ記憶手段に記憶された前記部品に関する部品情報によって示される前記部品膜部の外形とをパターンマッチングにより比較して、前記部品膜部の形状を認識するとともに前記回路基板上の前記部品の実装位置を認識する認識手段と、前記認識手段によって認識された前記部品膜部の形状および前記部品の実装位置と、あらかじめ設定された前記部品の前記回路基板に対する実装可能範囲を示す実装許容情報とに基づいて、前記部品の前記回路基板への実装状態を判定する判定手段と、前記判定手段によって判定された判定結果を出力する出力手段とを備えたことを特徴とする。
【０００９】
上記のように構成したことで、部品の電極（端子）部分を除いた本体を示す部品膜部を、実装時の半田などの状態に影響を受けずに色情報によって安定的に抽出することができる。また、抽出した部品膜部の形状が不完全であっても、部品情報を用いたパターンマッチングにより部品膜部の形状と部品の実装位置を容易かつ正確に認識することができ、これらを用いて部品の実装状態の判定を高速に行うことができる。これにより、部品の実装状態を高速かつ安価に検査して、検査信頼度を高めることが可能となる。
【００１０】
前記抽出手段は、前記回路基板の画像から取得された色情報に基づいて、該回路基板の画像を前記部品の固有色とは異なる色を用いてマスクすることで前記部品膜部の画像を認識し抽出するように構成されていてもよい。このように構成すれば、種々の実装条件下においても影響を受けることなく部品膜部の抽出を高い信頼性にて行うことができる。
【００１１】
前記認識手段は、前記抽出手段によって抽出された前記部品膜部の画像内に認識不能領域が含まれている場合に、該認識不能領域を前記固有色で塗り潰して前記部品膜部全体の仮面積を算出し、該仮面積を前記部品情報により示される部品膜部全体の面積と前記パターンマッチングにより比較して、前記部品膜部の形状を認識するように構成されていてもよい。このように構成すれば、例えば部品膜部に印刷された文字や記号が部品膜部の色情報により識別できない認識不能領域となった場合であっても、その部分に抜けが生じることを防止して、正常な部品膜部の形状を認識し、種々の実装条件下においても影響を受けることなく部品全体の外形を得ることが可能となる。
【００１２】
前記判定手段は、前記部品情報を用いて、前記認識手段によって認識された前記部品膜部の形状に該部品膜部に付随する電極部分の形状を付加して部品全体の外形を復元し、該部品全体の前記回路基板への実装状態を判定するように構成されていてもよい。このように構成すれば、部品の電極（端子）が回路基板のフットパターンと半田などにより接合されており、その形状が不安定な場合であっても、部品情報を利用して部品全体の外形を復元した上で実装状態を判定することができ、検査信頼度を高めることができる。
【００１３】
前記判定手段は、前記部品情報を用いて、前記認識手段によって認識された前記部品膜部の形状が正方形を示す場合に、前記部品膜部に付随する電極部分と、前記部品の中心を軸に前記部品膜部を９０°回転させたときに該電極部分に相当する非電極部分との色情報に基づく色を比較して、前記部品の前記回路基板における回転不良を判定するように構成されていてもよい。このように構成すれば、部品の実装方向が認識できない場合であっても、回路基板における部品の回転不良を確実に判定することができる。
【００１４】
前記認識手段は、前記パターンマッチングを行う際に、前記部品膜部の形状における矩形又は丸形の辺及び角に相当する部分に相関度の重み付けを行うように構成されていてもよい。このように構成すれば、抽出された部品膜部の画像が不完全であっても、部品膜部の辺や角を重要な要素としてパターンマッチングを行うことができるので、精度の高いパターンマッチングを実現することができる。
【００１５】
前記判定手段は、前記部品全体の外形と、前記実装許容情報に含まれる実装位置ずれの限界領域を規定するフレーム画像とを比較して、前記部品の実装位置ずれを判定するように構成されていてもよい。このように構成すれば、回路基板に実装された部品の実装位置ずれを容易に判定することができる。
【００１６】
前記抽出手段は、前記取得手段によって取得された前記回路基板の画像から前記部品膜部の画像を認識する際に、前記部品の大きさが所定以上の大きさであると判断した場合は、前記部品膜部の画像を２値化したフレーム画像として抽出するように構成されていてもよい。このように構成すれば、実装状態の判定に用いられる部品膜部やその他の構成部を表すデータ量を削減することができ、処理時間を大幅に短縮することができる。
【００１７】
前記判定手段は、前記実装許容情報に含まれる複数の実装判定基準値を用いて、前記部品の前記回路基板への実装状態を正常、異常及び判別不能のうちのいずれかと判定するように構成されていてもよい。このように構成すれば、正常あるいは異常のいずれの判定結果においても曖昧な結果を排除して、実装部品検査における良品または不良品の判別に際しての虚報が発生してしまうことを効果的に防止することができる。
【００１８】
前記判定手段は、判別不能と判定した場合は、所定の処理が施された前記部品膜部の画像に基づく部品膜部の形状、部品の実装位置および前記複数の実装判定基準値に基づいて、前記実装状態を再度判定するように構成されていてもよい。このように構成すれば、判定結果において曖昧な結果を排除することができるとともに、正常あるいは異常な判定結果の判定間違いを防止することができ、さらに高精度な判定結果を高速に得ることが可能となる。
【００１９】
前記判定手段は、前記部品情報を用いて、あらかじめ指定されている前記部品の極性部分に対して前記部品の中心を介した点対称位置に非極性部分を設定し、前記極性部分と前記非極性部分との色情報に基づく色を比較して、前記部品の前記回路基板における極性を判定するように構成されていてもよい。このように構成すれば、部品に設けられた極性を示す記号などの領域が微かなものであり、視認による認識が困難な場合であっても、確実に部品の極性を判定することが可能となる。
【００２０】
前記取得手段は、スキャナにより構成されるとよい。このようにスキャナにより構成されれば、部品が実装された回路基板の画像を安価かつ高速に取得することができる。
【００２１】
前記出力手段は、前記判定手段によって判定された前記判定結果を、画像表示、音声出力および印刷出力のうちの少なくとも一つにより出力するように構成されていてもよい。このように構成すれば、判定結果を視覚的あるいは聴覚的に示すことができる。
【００２２】
また、本発明に係る実装部品検査方法は、部品が実装された回路基板を走査することにより該回路基板の画像を取得する取得工程と、前記取得工程にて取得された前記回路基板の画像から前記部品の本体を示す部品膜部の画像を色情報により認識し抽出する抽出工程と、前記抽出工程にて抽出された前記部品膜部の画像と、あらかじめ記憶手段に記憶された前記部品に関する部品情報を参照して、該部品情報により示される前記部品膜部の外形とをパターンマッチングにより比較し、前記部品膜部の形状を認識するとともに前記回路基板上の前記部品の実装位置を認識する認識工程と、前記認識工程にて認識された前記部品膜部の形状および前記部品の実装位置と、あらかじめ設定された前記部品の前記回路基板に対する実装可能範囲を示す実装許容情報とに基づいて、前記部品の前記回路基板への実装状態を判定する判定工程と、前記判定工程にて判定された判定結果を出力する出力工程とを含むことを特徴とする。
【００２３】
また、本発明に係る実装部品検査プログラムは、コンピュータに、部品が実装された回路基板を走査することにより該回路基板の画像を取得させる取得工程と、前記取得工程にて取得された前記回路基板の画像から前記部品の本体を示す部品膜部の画像を色情報により認識し抽出させる抽出工程と、前記抽出工程にて抽出された前記部品膜部の画像と、あらかじめ記憶手段に記憶された前記部品に関する部品情報を参照して、該部品情報により示される前記部品膜部の外形とをパターンマッチングにより比較し、前記部品膜部の形状を認識させるとともに前記回路基板上の前記部品の実装位置を認識させる認識工程と、前記認識工程にて認識された前記部品膜部の形状および前記部品の実装位置と、あらかじめ設定された前記部品の前記回路基板に対する実装可能範囲を示す実装許容情報とに基づいて、前記部品の前記回路基板への実装状態を判定させる判定工程と、前記判定工程にて判定された判定結果を出力させる出力工程とを実行させるためのものである。
【発明の効果】
【００２４】
本発明によれば、部品膜部を安定的に抽出し、部品膜部の形状と部品の実装位置を容易かつ正確に認識し、部品の実装状態の判定を高速に行うことができるので、部品の実装状態を高速かつ安価に検査して、検査信頼度を高めることができる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実装部品検査装置および実装部品検査方法および実装部品検査プログラムに係る一実施の形態について図面を参照して説明する。
【００２６】
図１は、本発明の一実施の形態に係る実装部品検査装置の全体構成の例を示す説明図である。また、図２は、同実装部品検査装置の機構的構成の例を示すブロック図である。図１に示すように、実装部品検査装置１０は、パーソナルコンピュータ（以下、「ＰＣ」と呼ぶ）１と、このＰＣ１に接続された入力装置であるキーボード２およびマウス３と、液晶表示装置などからなるモニタ４と、スキャナ５とを備えて構成されている。
【００２７】
ＰＣ１は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有する制御回路と、ハードディスク（ＨＤ）などの記憶装置とを備え、実装部品検査処理などを実行するための各種制御プログラムに基づいて、実装部品検査装置１０の全体の動作に関する処理を実行する。キーボード２は文字や記号などを入力するために用いられ、マウス３はモニタ４の表示画面上に表示されたカーソルなどによる指示入力を行うために用いられる。
【００２８】
モニタ４は、例えばＰＣ１からの情報に基づいて、文字、記号、模様、画像などの各種情報を表示画面上に表示する。スキャナ５は、本例の実装部品検査装置１０においては、位置決め治具５ａを介して所定位置にセットされた部品２０が実装された回路基板２９の画像（例えば、カラー画像）を走査することにより取得する。
【００２９】
このように構成された実装部品検査装置１０は、図２に示すように、例えばＰＣ１の制御回路において機能的に実行される各構成部として、画像入力部１１と、抽出部１２と、パターンマッチング処理部１３と、判定部１４と、出力部１５と、記憶部１６とを備えている。
【００３０】
画像入力部１１は、スキャナ５により取得された回路基板２９の画像を入力する。抽出部１２は、画像入力部１１に入力された回路基板２９の画像から、部品２０の本体を示す後述する部品膜部２１（図７参照、以下同じ）の画像を色情報（例えば、ＲＧＢ値）に基づき認識して抽出する。パターンマッチング処理部１３は、抽出部１２によって抽出された部品膜部２１の画像と、記憶部１６にあらかじめ記憶された部品２０に関する部品情報によって示される部品膜部２１の外形とのパターンマッチング処理を行う。このパターンマッチング処理によって、部品膜部２１の形状と回路基板２９上の部品２０の実装位置がＰＣ１に認識され、記憶部１６に一時的あるいは恒久的に記憶される。なお、記憶部１６に記憶された部品情報は、部品２０の形状、色、サイズ、極性、電極位置および性能（機能）など、部品２０に関する各種の情報を含む。
【００３１】
判定部１４は、パターンマッチング処理部１３におけるパターンマッチング処理を経てＰＣ１に認識された部品膜部２１の形状および部品２０の実装位置と、あらかじめ設定されて記憶部１６に記憶された部品２０の回路基板２９に対する実装可能範囲を示す実装許容情報とに基づいて、部品２０の回路基板２９への実装状態を判定する。なお、実装許容情報は、例えば回路基板２９における実装位置ずれの限界領域を規定するフレーム画像や、実装位置の判定基準に用いられる実装判定基準値などの実装可能範囲を表す各種情報を含む。
【００３２】
出力部１５は、判定部１４によって判定された判定結果を、例えばモニタ４の表示画面上に表示可能に出力する。この出力部１５は、モニタ４などの表示装置を一体的に備えていてもよい。また、出力部１５は、この他、図示しないスピーカなどの音声出力装置に対して判定結果を音声により認識可能に出力したり、図示しないプリンタなどの印刷出力装置を介して印刷により視認可能に出力したりしてもよい。
【００３３】
なお、抽出部１２は、具体的には、例えば画像入力部１１に入力された回路基板２９の画像から取得された色情報に基づいて、この回路基板２９の画像を部品２０の固有色（部品２０から抽出された色）とは異なる色を用いてマスクすることによって、部品膜部２１の画像を認識して抽出する。
【００３４】
また、抽出部１２は、画像入力部１１に入力された回路基板２９の画像から部品膜部２１の画像を認識する際に、例えば記憶部１６に記憶された部品２０の大きさを判断するために用いられる判断値を参照して、部品２０の大きさを算出する。そして、抽出部１２は、算出した部品２０の大きさが判断値より大きく所定以上であると判断した場合は、部品膜部２１の画像を、例えば２値化して後述するフレーム画像２１ａ（図８参照、以下同じ）として抽出する。
【００３５】
また、パターンマッチング処理部１３は、抽出部１２によって抽出された部品膜部２１の画像内に、例えば捺印文字や記号などを表す部品２０の固有色から色が外れている部分が存在して認識することができない認識不能領域が形成されている（認識不能領域が含まれている）場合には、次のような処理を行う。
【００３６】
すなわち、パターンマッチング処理部１３は、認識不能領域を部品２０の固有色で塗り潰して部品膜部２１全体の仮面積を算出し、算出した仮面積を部品情報により示される正規の部品膜部２１全体の面積とパターンマッチングにより比較して、部品膜部２１の形状を認識する。
【００３７】
なお、パターンマッチング処理部１３は、パターンマッチング処理を行う際に、例えば部品膜部２１の形状における矩形または丸形の辺および角に相当する部分に注目して、相関度に応じた重み付けを行ってパターンマッチング処理を実行するようにしてもよい。このように重み付けを行えば、パターンマッチング処理の精度を高めることができる。
【００３８】
さらに、判定部１４は、記憶部１６に記憶された部品情報を用いて、次のような処理を行ってもよい。すなわち、判定部１４は、パターンマッチング処理部１３によるパターンマッチング処理を経てＰＣ１に認識された部品膜部２１の形状に、部品膜部２１に付随する電極（端子）部分の形状を付加して部品２０全体の外形を復元する。そして、復元したこの部品２０全体の回路基板２９への実装状態を判定するようにしてもよい。
【００３９】
また、判定部１４は、ＰＣ１に認識された部品膜部２１の形状が正方形を示す場合に、上述した電極（端子）部分と、部品２１の中心を軸に部品膜部２１を９０°回転させたときに電極（端子）部分に相当する非電極部分との色情報に基づく色（すなわち、電極部分色と非電極部分色）を比較して、部品２０の回路基板２９における回転不良を判定するようにしてもよい。
【００４０】
また、判定部１４は、部品２０全体の外形と、上述した実装許容情報に含まれるフレーム画像とを比較して、回路基板２９における部品２０の実装位置ずれを判定するようにしてもよい。その他、判定部１４は、復元した部品２０全体の部品膜部２１の画像のピクセル数から上記仮面積を算出し、部品膜部２１全体の面積との比率を算出することにより比較を行い、この比較結果を示す値を実装検出値として記憶部１６に記憶する。
【００４１】
そして、判定部１４は、この実装検出値と、上述した実装許容情報に含まれる複数の実装判定基準値とを用いて、部品２０の回路基板２９への実装状態を、例えば実装検出値が第１の実装判定上限基準値を上回った場合には正常、第２の実装判定下限基準値を下回った場合には異常、第１および第２の実装判定基準値の範囲内にある場合には判別不能と判定する。
【００４２】
この判定部１４は、特に判別不能と判定した場合は、例えば判定に関して利用する部品２０のさらなる詳細情報を検出するための詳細検出アルゴリズムを実行し、上述したような塗り潰し処理が施された部品膜部２１の画像に基づき得られた部品膜部２１の形状、部品２０の実装位置および上記複数の実装判定基準値に基づいて、部品２０の回路基板２９への実装状態を再度判定する。この処理は、例えば判定部１４が正常あるいは異常と判別不能となるまで繰り返し行われてもよい。
【００４３】
さらに、判定部１４は、上述した部品情報を用いて、部品２０においてあらかじめ指定されている部品２０の極性部分に対して部品２０の中心を介した点対称位置に極性部分とは異なる非極性部分を設定し、これら極性部分と非極性部分との色情報に基づく色を比較して、部品２０の回路基板２９における極性を判定するようにしてもよい。
【００４４】
なお、このように構成された実装部品検査装置１０によれば、複数の部品２０が実装された回路基板２９においても、スキャナ５による一度のスキャン動作（画像取得動作）にて回路基板２９上の各部品２０の部品膜部２１をそれぞれ安定的に抽出し、部品膜部２１の形状と部品２０の実装位置を容易かつ正確に認識して、各部品２０の実装状態の判定を高速に行うことができる。これにより、この実装部品検査装置１０は、部品２０の実装状態を高速かつ安価に検査して、検査信頼度を高めることが可能となる。
【００４５】
次に、上述した実装部品検査装置１０にて実行される実装部品検査方法による実装部品検査処理手順について説明する。図３は、本発明の一実施の形態に係る実装部品検査方法による実装部品検査処理手順の例を示すフローチャートである。また、図４〜図６は、同実装部品検査処理手順において実行される実装状態判定処理の例を示すフローチャートである。また、図７〜図１４は、同実装部品検査処理手順の処理工程における画像を説明するための説明図である。なお、以降においては、既に説明した部分と重複する箇所には同一の符号を付して説明を省略する。
【００４６】
図３に示すように、まず、ＰＣ１の制御回路の制御によって、スキャナ５に位置決め治具５ａを介してセットされた検査対象となる部品２０が実装された回路基板２９の全体の画像を取得し（ステップＳ１０１）、画像入力部１１を介して回路基板２９の画像がＰＣ１に入力される。
【００４７】
次に、抽出部１２は、部品２０の部品膜部２１の画像を色情報に基づき認識し、記憶部１６の判断値を参照して、回路基板２９に実装された部品２０が大型部品であるか否かを判断する（ステップＳ１０２）。大型部品であると判断した場合は（ステップＳ１０２のＹ）、画像のデータ量を削減して回路基板２９のフレーム画像を切り出す（ステップＳ１０３）。
【００４８】
一方、大型部品でないと判断した場合は（ステップＳ１０２のＮ）、抽出部１２は、記憶部１６の実装許容情報を参照して、実装位置ずれの限界領域を規定するフレーム画像として回路基板２９のフレーム画像を切り出す（ステップＳ１０４）。このようにフレーム画像を切り出せば、画像サイズにかかわらず一定のサイズ以下のデータとして処理することができるので、部品２０の大きさに影響されずに検査処理の高速化を図ることができる。
【００４９】
ここで、部品２０が回路基板２９上に正常に実装されている場合は、上記ステップＳ１０４の切出処理を経て得られたフレーム画像３０は、図７に示すようなものとなる。すなわち、フレーム画像３０は、回路基板２９上のパッド２８と対応する位置に電極２２が位置するように部品２０が実装されていることを示している。
【００５０】
フレーム画像３０を切り出したら、抽出部１２は、色情報を用いて、例えば回路基板２９のパッド２８と部品２０の電極２２とが半田を介して接合したような不安定な形状部分を除き、部品膜部２１のみを抽出して（ステップＳ１０５）、２値化処理により２値化されたフレーム画像３０を得る。
【００５１】
部品膜部２１の抽出が正常に行われた場合は、上記ステップＳ１０５の抽出処理を経て得られたフレーム画像３０は、図８に示すようなものとなる。すなわち、フレーム画像３０は、回路基板２９上の部品２０の部品膜部２１の形状２１ａを表している。また、部品膜部２１の抽出が不完全である場合は、図９に示すように、フレーム画像３０の部品膜部２１の形状２１ａは、実際の部品膜部２１の形状から一部が欠けたような状態となる。
【００５２】
部品膜部２１を抽出したら、パターンマッチング処理部１３は、記憶部１６の部品情報を参照して、部品膜部２１の外形と抽出した部品膜部２１の形状２１ａとの形状パターンマッチングを行い（ステップＳ１０６）、部品膜部２１の形状を確定する（ステップＳ１０７）。
【００５３】
上記ステップＳ１０６のパターンマッチング処理では、図１０に示すように、フレーム画像３０の部品膜部２１の形状２１ａにおける辺や角の部分に相関度に応じた重み付けを行うことにより、不完全な形状２１ａを補完した完全な形状２１ｂを精度よく得ることができ、この形状２１ｂを部品膜部２１の形状として確定することができる。
【００５４】
部品膜部２１の形状を確定したら、判定部１４は、記憶部１６の部品情報を用いて、部品２０全体の外形を復元する（ステップＳ１０８）。図１１に示すように、復元された部品２０全体の外形２１ｃは、部品膜部２１の不完全な形状２１ａを補完する形状２１ｂに、電極２２に対応する形状を付加したものとなる。そして、判定部１４は、例えば記憶部１６の実装許容情報を参照して、実装状態判定処理を行い（ステップＳ１０９）、部品２０の実装位置が許容範囲内にあるか否かを判断する（ステップＳ１１０）。
【００５５】
図４に示すように、このステップＳ１０９の実装状態判定処理では、判定部１４は、例えば図１２に示すように、ステップＳ１０８にて復元した部品２０全体の外形２１ｃがフレーム画像３０からはみ出してしまうか否かを判断し（ステップＳ１２１）、はみ出してしまうような場合には（ステップＳ１２１のＹ）、図１３に示すように、部品２０の回路基板２９上における実装位置が実装位置ずれを起こしており、許容範囲外であると決定して（ステップＳ１２２）、実装位置が許容範囲内ではないと判断し（ステップＳ１１０のＮ）、回路基板２９が不良品であると判定する（ステップＳ１１２）。
【００５６】
一方、判定部１４は、ステップＳ１０８にて復元した部品２０全体の外形２１ｃがフレーム画像３０からはみ出さずに画像内の所定位置にあるような場合には（ステップＳ１２１のＮ）、上述した図７に示すように、部品２０の回路基板２９上における実装位置が正常であり、許容範囲内であると決定して（ステップＳ１２３）、実装位置が許容範囲内であると判断し（ステップＳ１１０のＹ）、回路基板２９が良品であると判定する（ステップＳ１１１）。
【００５７】
判定部１４によって、回路基板２９が不良品であると判定され（ステップＳ１１２）、あるいは良品であると判定された（ステップＳ１１１）後は、出力部１５によって、これらの判定結果に基づく検査結果を示す検査結果画面などがモニタ４の表示画面上に表示され（ステップＳ１１３）、本フローチャートによる一連の実装部品検査処理を終了する。
【００５８】
なお、上記ステップＳ１０９の実装状態判定処理は、例えば図５に示すように行われてもよい。すなわち、判定部１４は、上記ステップＳ１０８にて復元した部品２０全体の外形における部品膜部２１の画像のピクセル数から、部品膜部２１の面積を算出し（ステップＳ１３１）、部品情報にて示される部品膜部２１の本来の面積と算出した部品膜部２１の面積との比率を求めて実装検出値を算出する（ステップＳ１３２）。
【００５９】
実装検出値を算出したら、判定部１４は、実装許容情報の実装判定基準値などを利用して、実装検出値が良品基準値以上を示しているか否かを判断し（ステップＳ１３３）、良品基準値以上を示していると判断された場合には（ステップＳ１３３のＹ）、実装位置が正常であるため許容範囲内であると決定して（ステップＳ１３４）、実装位置が許容範囲内であると判断し（ステップＳ１１０のＹ）、回路基板２９が良品であると判定する（ステップＳ１１１）。
【００６０】
一方、良品基準値以上を示していないと判断された場合には（ステップＳ１３３のＮ）、実装検出値が不良品基準値以下であるか否かを判断し（ステップＳ１３５）、不良品基準値以下を示していると判断された場合には（ステップＳ１３５のＹ）、実装位置が異常であるため許容範囲外であると決定して（ステップＳ１３６）、実装位置が許容範囲外であると判断し（ステップＳ１１０のＮ）、回路基板２９が不良品であると判定する（ステップＳ１２２）。
【００６１】
そして、不良品基準値以下を示していないと判断された場合（すなわち、良品とも不良品とも判断できない場合）には（ステップＳ１３５のＮ）、上述した詳細検出アルゴリズムを実行し、塗り潰し処理によって部品膜部２１の画像に詳細検出用の穴埋め処理を施し（ステップＳ１３７）、上記ステップＳ１３２に移行して再度実装検出値を算出し、以降の処理を繰り返す。このように実装状態を判定すれば、判定結果において曖昧な結果を排除し、正常あるいは異常な判定結果の判定間違いを防止することができ、高精度な判定結果を高速に得ることができる。
【００６２】
さらに、上記ステップＳ１０９の実装状態判定処理は、例えば図６に示すように行われてもよい。すなわち、判定部１４は、上記ステップＳ１０７にて確定された部品膜部２１の形状が正方形であるか否かを判断し（ステップＳ１４１）、正方形であると判断した場合には（ステップＳ１４１のＹ）、部品膜部２１に付随する電極２２に相当する部分を電極フレームとして認識し（ステップＳ１４２）、図１４に示すように、例えば部品２０を中心Ｐを軸に図中矢印Ａで示す方向に９０°回転させて（ステップＳ１４３）、非電極フレームを認識する。
【００６３】
このとき、非電極フレームは、部品２０を回転させた場合に位置する電極フレーム２２ａの色とは異なり、回転前に電極フレームが存在していたパッド２８の色やその他の色と同じ色情報を有することとなる。そして、判定部１４は、電極フレームと非電極フレームの色情報を比較して、比較結果が良好であるか否かを判断し（ステップＳ１４４）、良好であると判断された場合は（ステップＳ１４４のＹ）、部品２０の回転不良がなく許容範囲内であると決定して（ステップＳ１４８）、実装位置が許容範囲内であると判断し（ステップＳ１１０のＹ）、回路基板２９が良品であると判定する（ステップＳ１１１）。
【００６４】
比較結果が良好でないと判断された場合は（ステップＳ１４４のＮ）、判定部１４は、部品２０の回転不良があり許容範囲外であると決定して（ステップＳ１４５）、実装位置が許容範囲外であると判断し（ステップＳ１１０のＮ）、回路基板２９が不良品であると判定する（ステップＳ１１１）。このように実装状態を判定すれば、部品２０の実装方向が認識できない場合であっても、回路基板２９における部品２０の回転不良を確実に判定することができる。
【００６５】
一方、上記ステップＳ１４１にて部品膜部２１の形状が正方形でないと判断した場合には（ステップＳ１４１のＮ）、判定部１４は、部品情報を参照して部品２０の極性を規定する極性フレームを認識し（ステップＳ１４６）、認識した極性フレームに対して部品２０の中心を介した点対称位置に非極性フレームを設定する（ステップＳ１４７）。そして、判定部１４は、これら極性フレームと非極性フレームの色情報を比較して、比較結果が良好であるか否かを判断し（ステップＳ１４４）、良好であると判断された場合は（ステップＳ１４４のＹ）、部品２０の極性が正常であり許容範囲内であると決定して（ステップＳ１４８）、実装位置が許容範囲内であると判断し（ステップＳ１１０のＹ）、回路基板２９が良品であると判定する（ステップＳ１１１）。
【００６６】
比較結果が良好でないと判断された場合は（ステップＳ１４４のＮ）、判定部１４は、部品２０の極性が異常であり許容範囲外であると決定して（ステップＳ１４５）、実装位置が許容範囲外であると判断し（ステップＳ１１０のＮ）、回路基板２９が不良品であると判定する（ステップＳ１１１）。このように実装状態を判定すれば、例えば部品２０に設けられた極性を示す記号などの領域が微かなものであり、視認による認識が困難な場合であっても、確実に部品２０の極性を判定することができる。
【００６７】
以上説明したように、上述した一実施の形態では、部品２０が実装された回路基板２９の画像をスキャナ５により取得し、取得した回路基板２９の画像から部品２０の本体を示す部品膜部２１の画像を色情報により認識して抽出し、抽出した部品膜部２１の画像と、あらかじめ記憶部１６に記憶された部品２０に関する部品情報によって示される前記部品膜部２１の外形とをパターンマッチングにより比較し、部品膜部２１の形状を認識するとともに回路基板２９上の部品２０の実装位置を認識し、認識した部品膜部２１の形状および部品２０の実装位置と、あらかじめ設定された部品２０の回路基板２９に対する実装可能範囲を示す実装許容情報とに基づき、部品２０の回路基板２９への実装状態を判定し、判定された判定結果を出力するようにしているので、部品２０の電極２２の部分を除いた本体を示す部品膜部２１を、実装時の半田などの状態に影響を受けずに色情報によって安定的に抽出することができ、抽出した部品膜部２１の形状が不完全であっても、部品情報を用いたパターンマッチングにより部品膜部２１の形状と部品２０の実装位置を容易かつ正確に認識することができ、部品２０の実装状態の判定を高速に行うことができる。従って、部品２０の回路基板２９への実装状態を高速かつ安価に検査して、検査信頼度を高めることができる。
【００６８】
また、上述した一実施の形態では、回路基板２９の画像から取得された色情報に基づいて、この回路基板２９の画像を部品２０の固有色（抽出色）とは異なる色を用いてマスクすることで部品膜部２１の画像を認識して抽出するようにしているので、種々の実装条件下においても影響を受けることなく部品膜部２１の抽出を高い信頼性にて行うことができる。
【００６９】
また、上述した一実施の形態では、抽出された部品膜部２１の画像内に認識することができない認識不能領域が含まれている場合に、この認識不能領域を部品２０の固有色（抽出色）で塗り潰して部品膜部２１全体の仮面積を算出し、この仮面積を部品情報により示される部品膜部２１全体の正規の面積とパターンマッチングにより比較し、部品膜部２１の形状を認識するようにしているので、例えば部品膜部２１に印刷された文字や記号が部品膜部２１の色情報により識別できない認識不能領域となった場合であっても、その部分に抜けが生じることを防止して、正常な部品膜部２１の形状を認識し、種々の実装条件下においても影響を受けることなく部品２０全体の外形を得ることができる。
【００７０】
また、上述した一実施の形態では、部品情報を用いて、認識された部品膜部２１の形状にこの部品膜部２１に付随する電極２２の部分の形状を付加して部品２０全体の外形を復元し、この部品２０全体の回路基板２９への実装状態を判定するようにしているので、部品２０の電極２２が回路基板２９のフットパターンと半田などにより接合されており、その形状が不安定な場合であっても、部品情報を利用して部品２０全体の外形を復元した上で実装状態を判定することができ、検査信頼度を高めることができる。
【００７１】
また、上述した一実施の形態では、部品情報を用いて、認識された部品膜部２１の形状が正方形を示す場合に、部品膜部２１に付随する電極２２の部分と、部品２０の中心Ｐを軸に部品２０（部品膜部２１）を９０°回転させたときに電極２２の部分に相当する非電極部分との色情報に基づく色を比較して、部品２０の回路基板における回転不良を判定するようにしているので、部品２０の実装方向が認識できない場合であっても、回路基板２９における部品２０の回転不良を確実に判定することができる。
【００７２】
また、上述した一実施の形態では、パターンマッチングを行う際に、部品膜部２１の形状における矩形又は丸形の辺及び角に相当する部分に相関度の重み付けを行うようにしているので、抽出された部品膜部２１の画像が不完全であっても、部品膜部２１の辺や角を重要な要素としてパターンマッチングを行うことができ、精度の高いパターンマッチングを実現することができる。
【００７３】
また、上述した一実施の形態では、部品２０全体の外形と、実装許容情報に含まれる実装位置ずれの限界領域を規定するフレーム画像とを比較して、部品２０の実装位置ずれを判定するようにしているので、回路基板２９に実装された部品２０の実装位置ずれを容易に判定することができる。
【００７４】
また、上述した一実施の形態では、スキャナ５により取得された回路基板２９の画像から部品膜部２１の画像を認識する際に、部品２０の大きさが所定以上の大きさであると判断した場合は、部品膜部２１の画像を２値化したフレーム画像３０として抽出するようにしているので、実装状態の判定に用いられる部品膜部２１やその他の構成部を表すデータ量を削減することができ、処理時間を大幅に短縮することができる。
【００７５】
また、上述した一実施の形態では、実装許容情報に含まれる複数の実装判定基準値を用いて、部品２０の回路基板２９への実装状態を正常、異常及び判別不能のうちのいずれかと判定するようにしているので、正常あるいは異常のいずれの判定結果においても曖昧な結果を排除して、実装部品検査における良品または不良品の判別に際しての虚報が発生してしまうことを効果的に防止することができる。
【００７６】
また、上述した一実施の形態では、判別不能と判定した場合は、所定の処理が施された部品膜部２１の画像に基づく部品膜部２１の形状、部品２０の実装位置および複数の実装判定基準値に基づいて、実装状態を再度判定するようにしているので、判定結果において曖昧な結果を排除することができるとともに、正常あるいは異常な判定結果の判定間違いを防止することができ、高精度な判定結果を高速に得ることができる。
【００７７】
また、上述した一実施の形態では、部品情報を用いて、あらかじめ指定されている部品２０の極性部分に対して部品２０の中心Ｐを介した点対称位置に非極性部分を設定し、極性部分と非極性部分との色情報に基づく色を比較して、部品２０の回路基板２９における極性を判定するようにしているので、部品２０に設けられた極性を示す記号などの領域が微かなものであり、視認による認識が困難な場合であっても、確実に部品２０の極性を判定することが可能となる。
【００７８】
また、上述した一実施の形態においては、部品２０が実装された回路基板２９の画像を取得するものとしてスキャナ５が用いられているので、ＣＣＤカメラなどをリニアエンコーダなどによって移動させて画像を取得する場合と比較して、部品２０が実装された回路基板２９の画像を安価かつ高速に取得することができる。
【００７９】
さらに、上述した一実施の形態では、部品２０の回路基板２９への実装状態の判定結果を、モニタ４の表示画面上に表示したり、音声出力や印刷出力により出力したりすることができるので、判定結果を視覚的あるいは聴覚的に提示して示すことができる。
【００８０】
なお、上述した一実施の形態で説明した実装部品検査方法は、例えばあらかじめ用意された実装部品検査プログラムをパーソナルコンピュータ等のコンピュータで実行することにより実現可能である。この実装部品検査プログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されており、コンピュータによって記録媒体から読み出されることによって実行され得る。またこの実装部品検査プログラムは、インターネット等の通信ネットワークを介して配布することが可能な伝送媒体であってもよいことは言うまでもない。
【産業上の利用可能性】
【００８１】
本発明は、回路基板に実装された部品の実装状態を検査する実装部品検査システムや、その実装部品検査システムに用いられるパーソナルコンピュータなどの情報処理装置などに適用するのに有用である。
【図面の簡単な説明】
【００８２】
【図１】本発明の一実施の形態に係る実装部品検査装置の全体構成の例を示す説明図である。
【図２】実装部品検査装置の機構的構成の例を示すブロック図である。
【図３】本発明の一実施の形態に係る実装部品検査方法による実装部品検査処理手順の例を示すフローチャートである。
【図４】実装部品検査処理手順において実行される実装状態判定処理の例を示すフローチャートである。
【図５】実装部品検査処理手順において実行される実装状態判定処理の例を示すフローチャートである。
【図６】実装部品検査処理手順において実行される実装状態判定処理の例を示すフローチャートである。
【図７】実装部品検査処理手順の処理工程における画像を説明するための説明図である。
【図８】実装部品検査処理手順の処理工程における画像を説明するための説明図である。
【図９】実装部品検査処理手順の処理工程における画像を説明するための説明図である。
【図１０】実装部品検査処理手順の処理工程における画像を説明するための説明図である。
【図１１】実装部品検査処理手順の処理工程における画像を説明するための説明図である。
【図１２】実装部品検査処理手順の処理工程における画像を説明するための説明図である。
【図１３】実装部品検査処理手順の処理工程における画像を説明するための説明図である。
【図１４】実装部品検査処理手順の処理工程における画像を説明するための説明図である。
【符号の説明】
【００８３】
１    パーソナルコンピュータ（ＰＣ）
２    キーボード
３    マウス
４    モニタ
５    スキャナ
５ａ  位置決め治具
１０  実装部品検査装置
１１  画像入力部
１２  抽出部
１３  パターンマッチング処理部
１４  判定部
１５  出力部
１６  記憶部
２０  部品
２１  部品膜部
２２  電極
２８  パッド
２９  回路基板
３０  フレーム画像
【図１】
2009021523.tif 000003
【図２】
2009021523.tif 000004
【図３】
2009021523.tif 000005
【図４】
2009021523.tif 000006
【図５】
2009021523.tif 000007
【図６】
2009021523.tif 000008
【図７】
2009021523.tif 000009
【図８】
2009021523.tif 000010
【図９】
2009021523.tif 000011
【図１０】
2009021523.tif 000012
【図１１】
2009021523.tif 000013
【図１２】
2009021523.tif 000014
【図１３】
2009021523.tif 000015
【図１４】
2009021523.tif 000016