平成8年度 研究報告 大分県産業科学技術センター

カラーパターン投影法に基づくBGA外観検査装置の試作
佐藤辰雄＊。北山公也＊不＊機械電子部・＊＊新鶴海興産株式会社ÅPぎ0も0もぎpeEq硯ipmenも王nspeeもまmgBGÅBasedon
ごこさ．1●・、㌣津一重ご†−P！て；j打ミ．汀・Tllヰ、汀†：．：・・ミTatsuoSATO★andKimiyaKITAYA丸鼠A☆kTユ′竺eehanics＆ElectronicsDivision，☆★shinTsurukaiKousanCo．Ltd．
要旨
2次元の画像処理と3次元計測を併用し、BG．Aパッケージのはんだボール頂点の3次元座標を計測する外観検査装置を試作した．画像処理によりボールのⅩY位置を計測し，その中心付近の高さを3次元計測により計測するものである．画像処理と3次元計測には同一のカラーCCDカメラを使うことにより位置ずれは起こらない．3次元計動乱色相が直線的に変化する縞模様のカラーパターンを平行光で投影したカラーパターン投影法を用いた．距離の算出は，対象物体の凹凸に応じて生じるカラーパターンのゆがみ量を，基準面からの色相差で検出する方法を採った．この手法は対象物表面の分光反射率の違いなどにより誤差が発生するが，誤差の軽滅法の検討を行うとともに，測定対象をBG．Åに，計測範囲をはんだボールの頂点付近に限定することで問題を回避した．また，全視野を一括計測できるので原理的に高速である。本検査装置は①特殊な光学系を必要とせず．忍市販のCCDカメラが使用できるのでローコスト化が可能，笠画像処理と3次元計測の併用で高速処理，等の特徴を有する．

L はじめに

2．検査装置の概要

ICの製造では最終工程として電気的な性能検査の他に，外試作した検査装置は，モノクロ画像による画像処理と，カラ観検査を行うが，QFPなどのパッケージについてはリードの浮ーパターン投影法に基づく3次元計測とを組み合わせることにきや曲がりといった項目について検査を行っており，これらのより，BGAのはんだボール面に関する検査を高速に行うものでパッケージに対応した非接触の計測検査装置が多く開発されある．
2次元計測ている．

しかし最近は高集積度LSIのパッケージは，QFPからBGA
またはCSPへ移行しようとしでノ、る．BGAやCSPはICリードに相当するはんだのボールをパッケージ底面に2次元に配置した構造となっており。ボール面の外観検査が必要となってきた。
これらの検査は人手による目視検査ではもちろんだがゥ従来の画像処理手法で行う自動検査ではほとんど検査不可能で、特にボールの平坦度は計測が困難である．
血方，BC」Aパッケージに対応した検査装置も市販されるようになってきてはいるが，それらはいずれもレーザ変位計を搭載したもので，レーザスポットでボール面を2次元にスキャンする

Fig．且 検査装置の概要
カラーパターン投影法については，田島らが，Rain！〕0＼㌔ようになってお畑ボ」ル高さ方向の精度は高いもGr）の，処理速度が遅く高価であるという欠点がある．

Range Fin〔ier（RRFT）′と呼ぶシステムを提案している．これは回

本研究は，画像処理に併弼して，カラーパターン投影法に折格子によって分光した虹状の連続スペクトルパターンを対象基づく3次元計測法を導入することで、ポール面をスキャンす物に照射し，それぞれ分光感度の異なる2程のセンサでスペクることなく1度に計測することにより検査速度を高速にできる検トル分布を求めて三角測量により距離を求めるものである．光

査装置を試作した≠Jので、以下これについて説明する．

学系やセンサが特殊であるが，本質的に対象物の表面〔ノり色の影響を受けにくいこと，一一山度に視野内の全面を計測できる等の優れた特徴を持っで．、る。

−105−平成8年廣 研究報告 大分県産♯科学残菊センター
ー方本提案では，投影するカラーパターンを，通常の平行平行な縞模様のカラーパターンを斜め上から投影し5直上白色光源とカラーパターンを印刷したフィルタにより発生させ、のカメラで観測すると，投影された平行カラーパターンの像は受ける側のセンサも市販のカラーCCDカメラとすることにより簡略化した−これにより装置がローコストで製作できるとともに，照対象物の凹凸に応じてゆがみが生じている．このとき画像上の任意の点における色合いと，その点の基準面（高さ）における明光の強度を強くできる利点がある．

色合いの定量化ができれば，投影角と色合いの差の関係からモノクロ画像は∴通常の画像処理を行い，BG．1のさまんだボその点における高さが計算できる．

ールの輪郭をとらえてその中心位置などを計測する。カラー画

3．2．色相像では，カラーパターン投影法による距離計測を行い，はんだ色合いの表現のために色相（Hue）を導入する．色相の計算

ボールの頂点の高さを計測する．この時，モノクロ画像の取得にはいくつかの方法があるようだが，ここでは次の式によりカラとカラー画像の取得は同一のCCDカメラで行うため位置ずれ

ーカメラのRGB信号から計算で求める．

は生じない．また，3次元計測時，カラーパターンを斜め方向

朋玩＝min（尿，G，β）から投影するときオクルージョンにより投影（計測）不可能な場

厨′＝属一朗玩所が生じるが，少なくともはんだボールの頂点は必ず計測可能

G′＝G−．り沈なため検査の目的に関しては問題とはならない．
／＋ii、▲lJ／J〜＝β／i 2＋ ＋＋G＋β

主ぎ 財gれ＝腰 （i）
il、▲lナノ■〃＝G児

計測の基本的な原理は光切断法と同じである．一本のスリッ

榊榊

ニ

3．1．計測原理の概要′F−ノ︑盲し〃3．三次元計測の原理

勘勘

β′＝β−．り′／Jト光を斜め上方から物体に投影し，それを直上から観察すると，ここでガは色相で，0≦ガ＜3で循環するものとする．

物体の凹凸に応じてゆがんだスリット像が得られ，そのゆがん3．3．距離（高さ）の算出

だスリット像のずれ量から物体の高さが計算できる．

高さの算出のため座標系を次のようにおく．即ち高さ方向を視野内の全面を計測するためには，このスリット光を視野内Zとし，投影光の中心線がズ∴−Z面内で，カラーパターンの全面にわたって走査する方法や，スリットの本数を増やす方法

平行縞模様がy軸に平行になるようにする．この様子をFig．3などが考えられるが，走査の場合には計測時間が遅くなり，複に示す．

数スリットとすると一度に全面のスリット像が得られそうに思えるがスリット光とスリット像との対応関係が決定できなくなるなどの顔2）を投影し，それをカラーカメラで観測した像は，同じ色合い跡操作を様々な色合いについて行うことにより複数のスリット像つJ

損什

−ヽ・．

Jン．ハ︑︑

＼2≠什

ーン．√︑

ユ‖許Jンーノタ

多くなり，処理が遅くなる．

ト︑・

測が可能となる。しかしこの操作は実際には繰り返し処理量がヾ︑を同時に得たのと同じ結果が得られ，結果として全面同時計

行∴∵−〜−∴の部分を追跡すれば一本のスリットの像と同じになる．この追予∴−る．色合いが連続に変化している縞模様のカラーパターン（Fig．

源
光色 ＼ヨこの問題を解決するにはカラーパターン投影法が考えられ﹁′J＼欠点が発生する．

Fig。3 光学系の配置の様子（計測範囲は基準面の上30×30×5狩官椚のエリア）（a）

平行縞模様カラーパターンを投影するカラーフィルタはフ色（b）

ぎig．2 カラーパターン像の例

相が直線的に変化するように設計する．このときの任意の点の色相変化の勾配を次のように決める．

（a）白色基準面に投影したカラーパターンの像

d紺／戊＝A（b）基準面上に27×27×2 椚椚の白色平板状のブロッ

A：CO昂ぶf．

このとき，対象物の凹凸に応じてゆがんだカラーパターン像

クを置いたときのカラーパターン像ーユ06−

平成8年度 研究鎚告 大分県産業科学技術センター
から計測した色相差Åガは次式によりガ座標の変位Å方に画像が、そのバイアスの影響を位相シフトすることにより軽減さ変換される．

れる・この処理手順とキャンセルされる様子をFig．5，Fig．6に不丁△斉＝△ガ／鬼没影光が平行で投影角が∂とすれ楓その点における基準面からの距離（高さ）は次式により求められる．

ÅZ＝△方tan∂＝（△％）tan∂＝（・上〃ここで係数C＝tan √∫．さ（2）は一定値である．したがって、ある点における高さは本来基準面に投影されたであろうパターンの色相からの色相差に比例する．そこで基準面位置をZ＝0とし，この係数をキャリブレーションで求めておけば，投影角および投影パターンの色相変化の勾配はあらかじめ測定することなく高さが測れる．この様子をFig．4に示す．
Fig，5 対象物の分光反射率の影響の軽減
この様な操作はさらに複数回繰り返してノイズ等の影響を軽減することもできる。

韓志蒜昏↓旧鮒酪
（a）

（b）

（c）

嫁窓蒜百庖蛸革Fig・6 色相ずらし処理の効果（距離画像での表示は，低いところを暗く，高い方を明るく表示してある）（a）基準面に置いたの平板状のブロックのカラー画像（b）色相ずらしをしないで計測したときの距離画像（c）色相ずらしによりほぼ正しく計測された距離画像

3．5．BGAへの対応（金属表面における鏡面反射）
多くの3次元計測手法では表面が金属のような鏡面反射特性を持つ物体を計測することは一般にできない．しかしはんだ

訝ig．4 距離算出原理

ボールの場合は通常かなり酸化されているので完全な鏡面反3．4．測定対象の表面色の影響の軽減

射とはならず，散乱反射もかなりみられチカラーパターンの色

この様なカラーパターン投影法では計測対象物の表面色の相を決定することが可能である。

影響が問題となる．この影響を軽減するために、色相がそれぞ

鏡面反射特性を持つ物体の計測ではこのほかにも周囲のれ循郡勺に2方／3づっずらした3通りの投影パターンを準備し，投影像を3回取り込む．このときそれぞれのRGB信号を映り込み（2次反射）らある．形状によっては計測点での散乱反（度0，Go，β0），（厨i，Gいβ】），（厨ニラG2，腰2）とし．次の射成分より近傍からの2次反射成分の方が大きくなり，偶の距ようにして合成を行い，色相を算出する。

離（高さ）が計測される場合がある．

このような理由から，BGAを対象とする場合，全面にわたっ腰＝願0＋G三＋β2て正確な計測を行うことはできない．しかしここではボール頂点

G＝Go＋風＋児2付近の高さ分布さえ得られればいいので，ボール中央部につ彪＝β0＋尿】＋Gz

いてのみ高さ計測を行うものとする．中央部はほぼ平坦であり．

この操作により対象物体の表面色によりバイアスを与えられた2次反射の影響はあまり受けない∴また，前述のようにボール−107…

平成8考慮 研究報告 充分興産轟科学扱衆奄影潜血中心レ㌻〕座標取得にさま2次元〔′り動豪処理を用いるたれ問題は試作した実験装置ずハ十ご、ウェアぎ まノ、ミソニコンとモノク；二・画ない．

像町入カポ山∴カラー画像の入刀ポ山一ヾ＼カラーバターン投
3．6．ブイノ♭タとカメラ分光感度の非直線性歪の軽減

影削り光源とカラー血フィルタ。モノクコ画像取得時㌻）7二ぉうの

カラーフィルタはそれを軒削するとき〔7〕出力装置（／り特性によLEざ〕光源，カラ州〔二C［）カメフなとからなる、 1

り設計通りの色相が表現できていない．また，カメラの分光感

2次元〔類句像処理を行う場合悠∵対象物の両サイド斜め上

蜜特性もRGBの境界での特性が直線的に減衰しているわけ

方から1」E［〕照明を与え，ニれをカラーCCDカメラにより真上かでごまない。ニれらの理由からタカラーフィルタの色相変化を直ら塞影し1

モノクロ画像琵か〕込みボードを経由Lてパソコンに取線に設計したにも関わらず、カラ血㌧ベターンを寮影したときのり込むさカラ椚−カメラを使／つてモノク㌻ニブ画像を得る…ニさ；ヒゝ実際〔′一つ画像から得られる色相の変化は直線とはならない．そこで、投対象物である己G．ごゝが、金罵（ぎまんだ〉と黒またほ濃すグリーン

影光の色相変化が基準面上で観測した時に直線となるようにの樹脂からなるためサニントラスト比が碍易いごいうことでRチャ補正を行う．二の補正データは，基準面上に白い平板を置い不ルを使ったbニのときLE盲〕照明光章ノ赤色としたて得た投影画像の色相分布の回帰分析から求めた直線と，実】3次元計測を行うときはブライトガイドを経由して導入された際の分布との差から求める．

白色光は〉スリット及びレンズを通して十分な面積の平行光とニのようにして得た，白色基準面上に投影したカラーパターなり，さらにフィルタを通ってカラ血パター・ンとして対象物に投影される−ニれをカラーーCCDカメラにより真上から横影しタカランの色相変化の例をFig．7に示す

一画像取り込みボ十ヾを経由してバソニンに取り込む。
このように、モノクロ画像の取得とカラー画像の取得は筒一のカラーCCDカメラで行うため、両者の問での位置ずれは生じない．カメラと投光器グ〕周りの光学系部分の実際の様子を
FiE−9に示つ∴Fig．7 白色基準面上に投影されたカラーパターン健から得られる魚種変化の例

4．実験

〒

尋．1．試作した実験装置「⊥「ヵラ＿ 【 ⊂Cごカメラ

ファづハー￣ライ1ガイドレンズ＼＼軋
F豆g．9 カ．メラと投光暴腰りの光学系
ノ／ヽ

C／ノLE⊃象賢明

二−∴ユニrT∴

名．2．距離（高さ）計測め精度評檎
距離計捌精度の評価実験としてはぎカメラCつ視野ミニ対して′＼トー」、 ナウブ広1′、ヨ色の平板（ノ写さ約0∴まfll三1程度二せ順；ニ重ねてその高さを計測した−ニのときフそれぞれ〔 ）高さについて5回計測し，
芳ラーモニタCZU「、汁 一㌦㌣：：

rrr

誤差範降を三三Ⅳと見積じれば＼現状ず測定精度烏宣㍑そ−⊥ビデオ「− ンタ箋

±日脚錐椚とみなせる⊥ヱニヒエ上」モノ糾ライバ

その手均幸標準偏差士で評価しニ．結果を ！己t涙ユに示す
こ〔7っとき紆腋藩論美甘笹均は約封施踊である．ニ〔′：結果カーらごこ二竿竺＝二二J十七』− ∵」 「 」、∴・ミち耶舜音量」仙」

F主g申S 試作した検査装置のハードウエア構成

ーユC18Ⅶ平成8尊慮 研究報告 水分興産薬科学務審センタ叫T亀biel 距離く高さ）計測の実験結果
平板重ね放数 測定値半均

測定値標準偏差3〔〕

5虚 今後の課題
以上述べてきたように、現状の試作機では計測精度∵処理

30

−‡6〔）

50920

50

速度ともに実用域には到達できなかった，
5、1．距離計測誤差につし㌔て

138〔j1850

荘パターン光投影像を取り込む段階でF対象物の色の影響（分光反射率の問題）を受けていることが大きい。これを改善す

5〔）るには，根本的に表面の亀などの影響をキャンセルできる方法

50を考える必要がある．同時にカメラの分光感度もキャンセルできることが望ましい．
（単位二 錘ア￡）

芝投影するカラーパターンのスペクトル分布の問題もある。こ4．3．BGAの計測例の問題については，色表現が的確に行える方法を検討する必実際にBGAのボール面の計測を行った．3次元計測結果

要がある．同時に，補正についても検討の余地がある．の距離画像をFig。10（a）に，またその上に2次元画像処理に雷照明光源の平行度も問題となる。現時点では特に評価してよって求めたボール中心のマークを重ねて表示したものをFig．

いないが，これを改善することも精度向上に寄与する。

10（b）に示す。

5．2．処理時間について①現状ではかなり遅いが，計算時間自体はあまり遅くはなく，この時問の大半は3種のカラ山フィルタを交換するためにステッピングモータを駆動し機械的に移動するのに要している，したがって，投影パターンを電子的に換える等して高速化する必要がある．例えば，カラ山フィルタの代わりに液晶投射器などを使用することが考えられる。
②計算時間については処理をDSPで置き換える等すれば，さらに高速化できると思われる．

6巳 むすび

高密度実装用LSレヾッケージのBG▲Åを対象とした検査装置（a）BG▲ちの距離画像を試作した。計測には∴従来からよく使われている2次元の画像処理と，3次元計測を併用して処理の簡単化を計った．

3次元計測手隠鼠色相が直線的に変化する平行縞模様を用いることにより光切断法を拡張し，色相に着目して処理の簡単化を計った．この手法はカラーパターン投影法に属すむのと考えられる−

また，いくつかの誤差要凶についても，完全ではないが改善を試みた。今後は実弔域までの精度向上が必須である，
なお，太研究は実践的研究者養成事業にて実施し，第8［彗「外観検査の自動化＿ワ州クショップニ5jにて発表したものを再掲したものであるン
臣こb）距離画像の上にポールセンター位置を重ねて菜示

ー：、．・一Fig｝且駿 箆GÅのボレゾレ面を計測した結果

4．司▲．計測時閻二1］田島譲二、岩川正人∴職血boⅥ・Rarlge Fi‡1dピj、による距離

現状紆許浮簸では 一連〔つ計測に烏耳目頂捗を要していな

画像取得 ，信幸論（こ工）…H），、j73m【トⅠⅠぅ3，PP。374こぅ82（ヱ990こ≡［2コ井口征士∴佐藤宏介∵三次元画像計測 ，昭晃堂（1990j

ただし，ニの時間の大半悠3程のカラーフィルタを交換するた／た〉に要Lている時間でありぎ3次元計測の処理時間はおよそ：3二 佐藤辰雄，北山公也ク カラーパターン投影法に基づく

2．4型∴2次元画像処‡撃の時間さまおよそ1。2秒である∴使用しBGA外観検査装置の試作 ，第8回「】外観検査の自動化」ワレた計算機はヰ86工）X2二芦6弘三をizである．

クショップ，精密工学会〜主）PlOO【105（1996）

ーユ09Ⅶ