FPD 点灯検査用画像処理システムの開発
劉偉

北英樹
岩澤 剣
株式会社ファースト

三谷洋之

近年、フラットパネルディスプレイを代表する PDP・LCD 薄型テレビの普及に伴って、特に大型高精細パネルの生産量が急激に増加している。生産量の増大による検査要員不足や検査要員の個人差に依存しない安定な検査を実現するため、検査の自動化への要求が高まっている。本報告では、4 台の 1000 万画素カメラを用いた、フルスペックハイビジョンパネルまでの画質検査に対応できる点灯検査用画像処理システムの開発を紹介する。また、点線欠陥、しみむら検査のアルゴリズムも紹介する。

1．はじめに90 年代からノート PC 液晶パネル画質検査システ
ムが開発されてきた(1)(2)(3)(4)。正方配列 CCD カメラを用いて格子模様の液晶パネルを撮像すると、ある倍率で撮像モアレが現れる。撮像モアレにより生じる明暗の暗部に欠陥が存在する場合、検出は極めて困難になる(5)。LCD パネル画質検査には、１LCD 画
素当たり最低 4CCD 画素、できれば 9CCD 画素の正方領域(つまり 3×3CCD 画素)が必要となると言われている(1)。しかし、当時は、高解像度カメラが高価であったため、画素ずらし画像合成方式が開発された(1)。
近年、デジタル放送や薄型テレビの普及に伴って、テレビ用パネル生産の主体が、ハイビジョン用高精細化パネルにシフトしている(8)(9)。また、1000 万画素や 1100 万画素 CCD デジタルカメラも商品化されており、それを利用したパネル点灯検査装置も紹介されている(10)(11)。しかし、1LCD：9CCD の原則でフルスペックハイビジョンパネル(1920X1080)までの点灯検査に対応しようとすると、5760X3240 の CCD画素数が必要となるが、現時点では、それに対応できる適切な高解像度のカメラはない。解決策として1000 万画素カメラを複数台使ったマルチカメラシステムで撮像するのが現実的である。
本報告では、最近開発した 4 台の 1000 万画素カメラを用いた FPD 点灯検査用画像処理システムを紹介する。また、点灯検査の際に用いる点線欠陥、点状しみ・むら欠陥検査アルゴリズムを報告する。
2.

点灯検査用画像処理システム
2.1 点灯検査用画像処理システムの構成

Image Processing Engine
11223434

PanelHUB

Back Light

Pattern Generator

Host Computer
PLC

図 1 点灯検査システム構成

CIM

図 1 に液晶点灯検査システム構成図を示す。点灯
検査用画像処理システムは、カメラ、光学系、画像処理装置、ホスト PC から構成されている。
・1000 万画素高解像度カメラ
露光時間、ゲインなどのカメラパラメータを外部
か ら RS232C で 制 御 で き る 浜 松 ホ ト ニ ク ス 製
ORCA-HR(12)(4000X2624X12bit)を採用している。複数台カメラを使用する場合、カメラ間感度のばらつきが大きいと、検査システムの安定性に影響を与える。あらかじめ同じ条件で各カメラの出力の濃淡平均値を調べ、ゲインを調整しながら各カメラをほぼ同じ出力レベルまで調整する。各カメラ間のゲイン差値を補正係数として使用する。
・レンズ
ORCA-HR は F マウントレンズしか使用できないため、低ディストーションのニコン製 f = 60mm 固定焦点レンズを採用している。

・光学フィルター回転機構
欠陥の色を区別するため、手動或いは自動カラーフィルター回転機構をオプションとして用意している。
・画像処理エンジン
弊社製 FV-pixellence(P4-3.0GHz, MEM:1G HDD40G)を使用している(13)。
・ホスト PC
弊社製 902Limited(P4-3.0GHz,MEM:1G HDD 40G)を使用している。各画像処理エンジンに対する画像取り込み制御、検査設定ファイルの指定、検査開始などの制御は Ethernet を使用して行う。外部照明の点灯・消灯、パターン発生装置表示パターンの切り替えも制御する。さらに検査結果の上位 PC への通信作業、装置側 PLC とのやりとりなども行う。

ドットと CCD の比率を示す。46 型パネルを基準にして検査分解能を 0.135mm/画素に設定すると、46型、40 型、32 型、26 型の種類パネルの検査に光学
表 2 LCD パネルの例(9)パネルサイズ

46 型

40 型

32 型

26 型

RGB:CCD

1:3.9X3.9

1:4.8X4.8

1:3.8X3.8

1:3.1X3.1

540mm

4640352mm

3226
Camera1

Camera2

Camera3

Camera4

Resolution = 0.135mm/pixel

2.2 多種サイズのパネル検査対応の検討
インライン点灯検査装置としてはプローブ部分や光学系などの段取り替えレスが望ましい(6)。ここで検査分解能を固定し、4 台の 1000 万画素カメラシス
テムで検査できるパネルを検証する。
表 1 に市販大型 PDP テレビサイズ及び RGB の 1ドットと CCD の比率を示す。65 型パネルを基準にして検査分解能を 0.200mm/画素に設定する場合、65型、50 型、42 型、37 型パネルのドットと CCD 比率は 9CCD 画素より多い。即ち、同じインライン検査装置で光学系の調整なしで 4 種類のパネルの点灯検査に対応できる。
表 1 PDP パネルの例(8)パネルサイズ

65 型

50 型

42 型

37 型

RGB:CCD

1:5.2X5.2

1:4X4

1:4.5X3.34

1:4X3.2800mm

図 3 大中型 LCD パネルの例系の調整なしで対応できることが分かった。
検査装置の初期導入期で光学系を調整すれば、生産機種を変える際、ワークディスタンスが変わらなければ多種パネルの点灯検査に対応できる。
欠陥検査アルゴリズム
3.1 FPD 点灯検査における課題・欠陥の種類
図 4 に示すように LCD 後工程における欠陥検査対象は、主にパネルサブドット単位の明暗点欠陥、線欠陥、点状しみ・むら、薄い線欠陥であるが、最近、偏光板キズ、偏光板内異物、微小点欠陥も検査対象となっている。特にむら検査に対する要望が高まっている(6)。
3.

Dim Line Defect

65Mura50524.8mm

4237Camera1

Camera2

Camera3

Camera4

Spot MuraLine DefectRipple MuraResolution = 0.200mm/pixel

Dark Defect DotsBright Defect Dots

図 4 点灯検査主な欠陥種類

図 2 大型 PDP パネルの例
表 2 に市販大中型液晶テレビサイズ及び RGB の 1

・点灯検査の特徴と問題点複数の表示画面を点灯する必要があり、欠陥検査

に必要なコントラストを得るための各検査画面に最適な撮像条件が成功のカギとなる。バックライト不均一、レンズ収差、パネル視野角などに起因した欠陥部コントラストの変動及び背景のシェーディングが存在するので、ロバスト性が高くかつ高速な検査アルゴリズムが望ましい。パネル表面ごみ、異物などの影響で、検査装置のスライスレベルを緩めると不良流出が増え、厳しくするとオーバーキルとなってしまう(7)。複数台のカメラを使う場合、各カメラの感度ばらつきによる検査安定性が低下する。
また、画像オーバーラップ部分にあった欠陥が複数回カウントされると、OK/NG が誤判定となる。
3.2 近傍差分処理の基本的な考え方
点灯検査の場合、画素欠陥最小単位は RGB のサブドットである。注目した検査ドットに対して周辺の同じ色の 8 ドットと比較すれば、画素欠陥を検出することができる。

P2

RadiusH

P3

P1

RadiusV

P8P4

図 5 は近傍差分処理の原理を示している。LCD やPDP の 1 ドットに対して CCD 画素が 3×3 以上ある
ため、3×3 の CCD 画素の塊をパターン比較の最小単位としている。
パターン間不一致を比較するため、パターンの平均値と統計量の標準偏差を使うことができるが、ここで計算の便宜を図るため、3×3 の中心点を除く平均値をパターン間不一致特徴量とする。こうすれば、画像の前処理の後、注目画素と水平距離 RadiusH と垂直距離 RadiusV にある 8 点画素 P1…P7 の平均値との差分に簡素化できる。差分した結果は欠陥コントラスト値との相関性を持ち、欠陥部コントラストがよければ、2 値化処理によって欠陥の形状特徴量を算出できる。しかし、レンズなどの要因で画面中央部より周辺部にある欠陥のコントラストが低下する傾向があるため、差分の結果に対して重み係数を掛けることによって、欠陥部のコントラスト値が拡大され、2 値化レベルの設定範囲も拡大される。また、P1…P7 の平均値を求める際、注目画素 P8 との差をあらかじめ設定した閾値と比べ、閾値範囲内の点と、その他の 2 グループに分けて、個数が少ない点を除外して平均値を計算する。

P0
P7P5P6A target pixel

8Neighboring pixels(a)Gray level of target pixel:GP8(a)(b)

Mean value of 8Neighboring pixels P0〜P7:Gmean(b)

Difference:GP8-Gmean(c)
A wide range of threshold level
Threshold level
Gdiff = (GP8-Gmean)×Weight(c)

(d)

(d)
(a)近傍差分処理のサンプリング点(a)ドットパターン周辺部分の元画像(LCD:CCD=1:3X3)(b)注目画素、周辺 8 点平均値との差分(b)(a)の最外周部ドットを検出しようとした 2 値化画像(c) (b)の結果、2 値化レベル設定範囲があまりない状況(c)近傍差分処理の結果(RadiusH=6, RadiusV=6,Weight=8)(d)最終結果(d)(c)の 2 値画像とその検出結果(2 値化レベル 64)

図 5. 近傍差分処理の原理

図 6 擬似ドット欠陥の抽出例

3.3 線欠陥の検出
LCD や PDP パネルに発生した水平垂直線欠陥の検出方法を述べる。
図 7 に線欠陥種類を示す。線欠陥の場合には、線の位置だけではなく、端点位置、断線、破線、線端部勾配性も検出する必要がある。

3.4 点状しみ・むら欠陥の抽出
LCD、PDP の点状しみ・むら欠陥の検出方法を述べる。点状しみ・むらを抽出する際、まず前処理で周期的なノイズを除去してから、近傍差分処理で欠陥を抽出する。その後、欠陥画像を 2 値化し、欠陥の特徴量を求める。図 8 に点状しみの抽出例を示す。
点状しみ・むら欠陥を抽出する際、点線欠陥よりRadiusH,RadiusV を大きく設定する必要がある。

Horizontal line

Broken line

Vertical line

The edge of line with a slope

(a)

(b)

(c)

(d)

(a)

(b)

Check line peakslope(c)(a)点状しみ・むらの例(b)(a)を 2 値化した結果。中心部にある点状しみを抽出しようとすると、しみ・むら以外部分も検出された(c) 近傍差分処理の結果(RadiusH=30, RadiusV=30,Weight=8)(a)線欠陥の種類(b)線特徴量の抽出(d)(c)の 2 値化の結果(2 値化レベル:32)

図 8 点状しみ欠陥の検出例(c)線ピークの検出と線スコア

図 7 線欠陥の種類及び線特徴量の抽出方法
線抽出は近傍差分後の画像に対して、水平と垂直投影で線の位置を抽出する。また線欠陥の性質を判定する必要もある。投影で線のピーク位置から線欠陥の大体の位置が決められたため、図 7(b)(c)に示す
ように線に沿って線上のピーク点をチェックする。
最後に線の開始点と終了点に対してピーク値の勾配があるかどうかをチェックする。破線の判定については、線上のピーク点数と線長さの比率という線スコアで決定する。実線なら線スコアが 1.0 に近い値になる。

3.5 各点灯画面間画像特徴情報の利用
点灯欠陥検査を行う際、パネルに付着したごみ、偏光板異物、近傍差分処理による擬似欠陥などが画素欠陥以外にも存在する。オーバーキルを防ぐため、検出した欠陥候補に対してより多くの画像情報を利用して分類したりあるいは OK/NG を判定すれば欠陥検査システムのロバスト性を向上できる。各点灯
パターン元画像は画像処理エンジンに残っているため、図 9 に示すように多くの欠陥情報を獲得できる。
・ごみと欠陥との区別方法
非点灯状態で暗視野光学系を用いてごみを検出する。まず、カメラでごみ画面を撮影する。近傍差分でごみを検出し、ごみ位置形状を専用メモリバッフ

ァに登録する。欠陥を判定する際、まず欠陥候補の形状因子をチェックする。円形なら重心位置を用いてごみ画面にごみがあるかどうかチェックする。形状因子が小さい糸くず系ものなら、欠陥候補領域の外接四角領域でごみ画面の面積占有率を計算し、設定したしきい値と比べ、本欠陥候補を除去するかどうか判断する。また、元画像から欠陥候補の濃淡情報などを算出し、ごみ画面にごみがあっても濃淡条件を満たさなければ、欠陥候補をごみとして除去しない。
・欠陥位置の座標変換
欠陥をリペアするために、画素座標からワーク座標へ変換する必要がある。また、複数カメラの検査システムにはカメラオーバーラップ部分があり、同じ欠陥を複数回カウントした場合は、欠陥の OK/NG判定に影響する。ここでは、図 9 の Calibration 画面に示すように点灯検査の際、等間隔の線パターンを表示させ、水平線と垂直線の交点を検出し、局所領域で座標変換をする。画像オーバーラップ部分の処理は、ホスト PC は各画像処理エンジンから送られてきた位置結果を分析し、同一欠陥なら、一回のみカウントする。また、明点ドット欠陥色判定にも利用できる。Black 画面に RGB カラーフィルターを用いて画像を 3 回撮影し、それぞれ欠陥を検出すると明点色判定ができるが、撮像画面数が増えると検査タクトへ影響する欠点もある。局所領域の座標変換により、欠陥座標から色判定をすることができる。
RGB ドットに対して CCD 数(推奨 9 以上)が多いほど精度がよくなる。
Inspection Area of Camera1
x3.6 多種サイズのパネル検査の対応
RGB:CCD の比率を参照し RadiusH と RadiusV の2 つのパラメータを設定する。例えば、表 1 に記載
し た 65 型 の 比 率 は 1:5.2 × 5.2 で あ る の で 、RadiusH=10 と RadiusV=10 に設定する。42 型の場合の 比 率 は 1:4.5 × 4.5 で あ る の で 、 RadiusH=9 とRadiusV=9 に設定する。また、図 2,3 に示すように、検査エリアの変化があるので、自動的にエリアを抽出するため、予め、エリアの初期位置のティーチングを行う。機種を替える際、設定した検査ファイルのみを変更すれば、検査対応が可能となる。
3.7 点線欠陥検査の流れ
図 10 に点線検査のフローチャートを示す。
各画像処理エンジン 1〜4

ホスト PC

各画面の画像取り込
各画面画像取り込み

取り込み開始検査ファイル指定

前処理

差分処理

2 値化

投影処理

2 値化処理線パラメータX(4000)

欠陥候補点xʼyʼyY(2624)

ごみ、諸条件と照合

White各点灯画面間情報

RedGreenBlueBlack

欠陥リスト修正
最終欠陥

Gray

座標変換

DustShading
Calibration

ホスト PC 送信

OK/NG 判定

Memory buffer

図 9 画面間情報の相互利用

図 10 点線検査のフローチャート

点状しみ・むら検査については、同じ検査のフローで行う。面積がドット欠陥より大きく、また、検出塊の平均濃度が低いため、ドット欠陥と切り分けることができる。
欠陥特徴量について、画面中心部にあった欠陥が周囲部欠陥より良いコントラスト値を持つため、固定 2 値化レベル方式では同じ欠陥でも中心部欠陥の面積のほうが大きい。欠陥サイズのばらつきを抑えるため、欠陥ごとに濃度ピークと周囲濃度の平均値で再度 2 値化し、面積を修正する。
モジュール点灯検査システム試作例
図 11 に 32 インチまで対応できる LCD パネル点灯検査システムの試作機を示す。

4.

Camera1〜4
Image Processing Engine 1〜4
Host Computer

図 11 LCD パネル点灯検査システムの試作機
まとめ4 台の 1000 万画素カメラを用いた FPD 点灯検査用画像処理システムを開発した。光学系を変えずに多種類パネルの検査に対応できるのが特徴である。
この画像処理システムを利用してセル工程、モジュール工程のインライン自動検査システムを構築することができる。近傍差分処理を中心とした点線、点状しみ・むら検査アルゴリズムを紹介したが、この5.

検査アルゴリズムを搭載した FV-pixellence が PDP
点灯検査、液晶セル工程、モジュール検査工程で使われている。
今後、点線欠陥の定量化および各種むら検査アルゴリズムを開発していく予定である。
謝辞
本 検 査シ ステ ム 開発 に協 力 して 頂い た 株式 会社
SHONICS(韓国)に感謝の意を表す。
参考文献(1) 青木博幸：“LCD パネル画質検査技術の最新動向”,エレクトロニクス実装技術, Vol.11,No.7 ,pp.2327(1995)(2)浅野敏郎, 吉田敦志, 望月淳：“カラー液晶ディスプ レ イ の 画 質 評 価 技 術 ”, 画 像 応 用 技 術 ,Vol.10,No.4 ,pp.24-29(1996)(3)野尻豊,他：“LCD 映像検査装置の開発”,第 8 回「外観検査の自動化」ワークショプ,pp.62-65(1996)(4)斉藤文彦：“液晶ディスプレイ画質検査装置における画素欠陥検出手法”精密工学会誌,Vol.63,No.4,pp.520-524(1997)(5)望月淳, 浅野敏郎：“周期的にパターン撮像におけるモアレノイズ低減手法の検討”,電子情報通信論文
誌,D-ⅡVol.J83-D-Ⅱ, No.2 ,pp.595-574 (2000)(6)竹内俊一：“後工程検査の自動化への課題と装置への要望”,日経 BP 社液晶ディスプレイセミナー
99(1999)(7)丸山嘉昭：“液晶パネルの検査システム、検査装置への要望”,日経 BP 社液晶ディスプレイセミナー
99 (1999)(8)http://panasonic.jp/tv/(9)http://www.samsung.com/Products/TFTLCD/common/product_list.aspx?family_cd=LCD04(10)小田島伸寿：“高解像度カメラを使用した FPD 検査システム”,映像情報,pp87-92(2004.10)(11)阿久津実, 大谷哲也, 岸卓人, 藤木憲英：“フラットパネルディスプレイおよびイメージセンサの自動画質検査アルゴリズム”,ViEW2003 ビジョン技術の実利用ワークショップ,pp.54-57 (2003)(12)http://www.hpk.co.jp/Jpn/products/sys/pdf/ORCAH
R.pdf(13)http://www.fast-corp.co.jp/jp/products/fvpixellence/fvpixellence.html