カメラキャリブレーションを用いた液晶欠陥検査システムの座標変換方法
A Coordinate Transform Method for LCD Defect Inspection System by Using Camera Calibration
寧兆彬†，三谷洋之‡，賈波‡，劉偉‡
ZhaoBin NING†, Hiroyuki MITANI‡, Bo JIA‡, Wei LIU‡†: 法視特（上海）画像科技有限公司，B.Jia@fast-corp.com.cn‡: 株式会社ファースト，W.Liu@fast-corp.co.jp
概要： この近年,薄型テレビの普及に伴って，特に大型高精細パネルの生産量が急激に増加している．生産量の増大による検査要員不足や検査要員の個人差に依存しない安定な検査を実現するため，検査の自動化への要求が高まっている．欠陥の画像座標からパネル座標へ変換するのは欠陥検査システムに必要な機能である．複数台カメラを用いた欠陥検査システムの場合には，予め，カメラキャリブレーションを行い，各カメラの画像座標から世界座標へ変換する．パネルを検査する際、パネルの原点，傾きを検出し，パネル解像度情報で最終的に欠陥のパネル座標へ変換する．本報告では実用性に着目し，一般的な 3 次元方式のカメラキャリブレーション方法を参考にして光学系の条件を設定し，ホモグラフィー(Homography)行列の線形解法によるカメラキャリブレーション方法を提案し，評価結果を報告する．

１． はじめに
近年，デジタル放送や薄型テレビの普及に伴って，テレビ用パネル生産の主体が，大型，高精細化にシフトしつつある．さらに，液晶パネルメーカーがフルHD(1920X1080)の82インチパネル[1]やフルHD画素数の4 倍の3840×2160 画素液晶パネルを開発した．
また，1000 万画素や1100 万画素CCD デジタルカメラも商品化されており，それらを利用したパネル点灯検査装置も紹介されている[2][3][4] ．しかし，1LCD：9CCD の原則でフルHD パネルまでの点灯検査に対応しようとすると，5760X3240 のCCD 画素数が必要となり，さらに，3840X2160 のパネル検査に対応しようとすると，11520X6480 のCCD 画素数が必要となるが，現時点では，それに対応できる適切な高解像度のカメラはない．解決策としては1000 万画素カメラを複数台使ったマルチカメラシステムで撮像するのが現実的である．
液晶パネル製造工程は主にガラス工程，パターン形成工程，セル工程，モジュール工程に分けられている[5]．セル工程において，セル組立工程完了時点
で，簡単なパターンしかパネルに表示できないまま，
図 1 に示すようにカメラで画面を撮影し，点と線欠陥を検出する．不良パネルを見つけたら、検査システムから得られた欠陥位置座標に基づいてレーザーリペア装置で欠陥部を修正しなければならないので，高精度な欠陥位置精度が要求される．良品及び修正されたパネルに偏光板を貼り付けた後，LSI 駆動部品，バックライトを取り付けて液晶モジュールにする．モジ
ュール工程において，点と線欠陥だけではなく，しみ・むら，階調まで欠陥検査を行う．色々なパターンを表示できるため，欠陥の画像座標からパネル座標へ変換するために，図 2 に示すように等間隔線の校正パターンを表示し，水平垂直線の交点を局所領域投影方式で検出し，画像座標をパネル座標へ変換できる[7]．しかし，セル工程において，キャリブレーシ
ョン用パターンを表示でない場合には，上記方法を利用することができない．
また，全面検査できるようにカメラを設置する際，隣接カメラ間の一定の検査エリアをオーバーラップさせるが，このエリアにおいて欠陥が複数回カウントされると，OK/NG が誤判定となる．

Cam1

Cam2

Cam3

Cam4

図1 複数カメラを用いた検査システムの例

合にも誤差が生じると考えられる．キャリブレーション
段階の座標変換をできるだけ CCD のサブ画素単位で実現したいと考えている．ここで，キャリブレーション目標値を0.5 画素以内に設定する．

校正用画面

検査画面

欠陥座標

欠陥近傍基準座標

図2 キャリブレーション画面と検査画像(擬似欠陥)

２．２ 一般的なカメラキャリブレーション方法
予め標準校正パターンを用意し、カメラキャリブレーションを行い，各カメラの画像座標から世界座標へ変換し，さらに，パネルの基準点，傾きを検出し，パネル解像情報を用いて欠陥の画像座標からパネル座標へ変換する． ３次元計測分野において，カメラキャリブーション技術が確立され，種々の分野で実用されている[8] [9] [10]．

２． カメラキャリブレーション方法の適用
２．１ 使用環境
インライン点灯検査装置としてはプローブ部分や光学系などの段取り替えレスが望ましい[6]．弊社の複数台カメラを用いた検査システムは多機種生産に対応できるようにカメラ固定方式を採用している[4]．
検査装置の初期導入期で光学系を調整すれば，生産機種を変える際，ワークディスタンスが変わらなければ多種パネルの点灯検査に対応できる．例えば，
図 4 に示すように最大サイズの 46 インチパネルに合わせてカメラキャリブレーションを実行すれば，40,32,26 インチもカバーすることができる．
540mm

46352mm

4032

26
Camera1

Camera2

Camera3

Camera4

分解能= 0.135mm/pixel

図4 多機種パネル検査の対応
表1 にLCD 絵素に対してCCD 数の比率を示す．
表1 LCD パネルの例
パネルサイズ

46 型

40 型

32 型

26 型

RGB:CCD

1:3.9X3.9

1:4.8X4.8

1:3.8X3.8

1:3.1X3.1

即ち，1LCD に対して3X3 以上となっている．最終のパネル位置精度を±1 絵素(RGB)以内に収めることを目標にする．パネル基準点，傾きを検出する際，誤差が生じる．また，複数カメラの場合，カメラ間座標統

図3 設計した基準パターンの例
一般的なカメラキャリブレーション方法は図3 のような標準パターンを複数回撮影し，カメラ内部と外部パラメータを求め，座標変換を行うが，具体的には下記のような手順で実現することができる．
Step1 カメラを検査システムに取り付ける
Step2 被写体にカメラのピントを合わせるため，カメラとレンズを調整する
Step3 各カメラ固定のまま,標準パターンをいくつかの方向に設置し，5 枚画像を撮像する
Step4 5 枚の画像より自動的に各カメラの内部パラメータを計算する
Step5 実際検査と同じ条件で，標準パターンを撮影し，カメラの位置姿勢を計算する
この方法のメリットとしてはレンズ歪み等の非線形誤差が校正できるので，座標変換精度が高いことが挙げられ，デメリットとしてはキャリブレーション作業に手間がかかることが挙げられる．また，検査システムスペースがあまりないので，大きな基準パターンを角度を変え作業するのは難しい．実際に使われる現場では簡単且つ高精度の座標変換方法が望ましい．

２．３ ホモグラフィー行列による線形解法
4 点以上の対応点群によってホモグラフィー行列線形解を求められる．メリットとしては操作が簡単なことであり，デメリットとしてはレンズ歪みのような非線形誤差を補正できずに，応用が制限されることである．
N 個の対応済み点群を以下のように記述する．
デジタル画像座標は｛(ui,vi)¦ i=1,…N｝
標準パターンでの世界座標は｛(Xi,Yi)¦ i=1,…N｝
・対応点群の正規化デジタル画像座標を計算する(u i , vi ,1) T = Tuv (u i , vi ,1) T0
1 / σ uTuv =  01/ σ v
 0(1)− u /σu − v / σ v 1 0N

(u , v )T = 1 ∑ (ui , vi )T
N i =1(σ u ,σ v )

T

1/ 2
1/ 2
 1 N
1 N22=   ∑ (ui − u )  ,  ∑ (vi − v )    N i =1N  i =1 

Trr
B2 N*9 h9*1 = 0(4)rを得ることができるので，ベクトル h9*1 （即ちH ）が最小固有値に対応する固有ベクトルとなる．
・ホモグラフィー行列( H )を計算する−1H = Tuv HTXY

(5)

２．４ カメラキャリブレーションの実現
・マーカー重心点検出の流れ
図 3 に単体カメラの性能評価用キャリブレーション標
準パターンを示す．先ず，2 値化処理でマーカーのブロッブを検出する．そして，ブロッブ重心より放射方向にマーカーのエッジを抽出する．最後に，ロバスト推定法により，近似楕円中心を求める．図6 にマーカーを検出するフローチャートを示す．

・対応点群の正規化世界座標を計算する( X i , Yi ,1) T = TXY ( X i , Yi ,1) T1 / σ X0TXY =  0
1/ σ Y

0
 0

(2)

− X /σ X − Y /σY 1 

画像を２値化する

ブロッブ解析で有効なマーカーをN(X , Y ) = 1 ∑ ( Xi , Yi )T
N i =1

検出するT



スタート

1/ 2

(σ X ,σ Y )T =   1 ∑ (Xi − X )2 N  N i =1

1/ 2 T1 N2,  ∑ (Yi − Y )  N i =1
あるブロッブ中心より角度毎にスキャンラインを出す・正規化ホモグラフィー( H )を計算する
 X i   h11
u i   s  vi  = H  Yi  =  h21
 1   h31
 1   

h12h22h32

各スキャンラインに沿ってエッジ点を検出する

h13   X i  h23   Yi h33   1 (3)検出されるエッジ点群を楕円にフィッティングするr

以下のように行列B2 N *9 とベクトルh9*1 を定義す

特徴点として使う

ればrT
h9*1 = (h11 , h12 , h13 , h21 , h22 , h23 , h31 , h32 , h33 )
 X1

0
B2 N*9 = K
 XN
0

フィッティングされる楕円中心を当ブロッブのY1100 0− u1 X1− u1Y100

X1 Y1 1− v1 X1− v1Y1

YN 100 − u N XN− u NYN0X N YN 1 − vN X N− vNYN0

式（3）より方程式

0− u1 − v1 
− uN 
− vN N
全てのブロッブを処理し終わったかY
エンド

図6 マーカー重心検出の流れ

・特徴点自動対応の流れ
自動的にホモグラフィー行列係数を求めるため，
図7 に示すように基準マーカーと2,3,4 番目のマーカー点を設定する．図8 にマーカー対応点を自動的に検出するフローチャートを示す．
(8,0)

図9 に上記方法を用いた自動検出の例を示す．

(8,12)

4 番目マーカー

3 番目マーカー

基準マーカー

2 番目マーカー

図9 自動処理した結果の例

３． 評価実験(0,0)(0,12)

図7 基準マーカー点の設置

３．１ 単体カメラ校正実験
実験条件
・レンズ：表2・カメラ：浜松ホトニクス製ORCA-HR 4000X2624

スタート・校正用基準パターン：印刷A3
穴付けマーカーの探し

表2 レンズの使用条件
基準マーカーの位置決め

基準点と反時計順序によって２，３，４番目マーカー位置決め

決めた４つ対応点でホモグラフィー

条件1条件2条件3条件4

Nikon

35mm

50mm

55mm

60mm

WD(mm)

745

1064

1147

1205

分解能mm

0.124

0.123

0.125

0.124

しぼり

5.6

5.6

5.6

5.6

行列の初期値の計算更新されたホモグラフィー行列でプラットホーム
平面上のマーカー群を画像平面へ変換

逆投影誤差が１画素以下の特新対応済点群でホモグラフィー徴点を対応済点群に追加する

行列更新値の計算

対応点群個数がY変わったか？

Nエンド

図8 マーカー対応点検出の流れ

実験方法は図10 に示すようにカメラを固定し，キャリブレーション用基準パターンタを 10 回微小移動させ，10 枚画像を撮影する．また，キャリブレーション用基準パターンを固定し，カメラの角度を 1゜単位で調整し，-5゜〜5゜範囲で 11 枚画像を撮影する． 各撮像画像から抽出したマーカー群の中心座標を観察座標とし，計算結果のマーカー中心座標を画像平面へ逆投影した値を逆投影座標とし，逆投影座標，観察座標との差を逆投影誤差と定義する．
一枚の画像の有効マーカー逆投影誤差の絶対値の和とマーカー点数の割合を平均誤差と定義したパラメータとして性能評価を行う．

３．２ 複数台カメラ校正実験
図11 に実験環境を示す．
実験条件
・レンズ：Nikon 製 60mm 固定焦点
・しぼり：5.6

θ –5゜〜5゜・分解能：0.065mm/pixel
・カメラ：浜松ホトニクス製ORCA-HR 4000X2624
・校正用基準パターン：印刷A4 80%
Y 微小移動X 微小移動図10 カメラ単体実験
表3 実験結果(パターン移動10 枚画像)
レンズ

平均誤差 平均誤差

平均誤差

平均誤差

最小(X)

最大(X)

最小(Y)

最大(Y)

35mm

1.600

1.684

1.125

1.203

50mm

1.495

1.566

1.086

1.146

55mm

0.179

0.171

0.128

0.136

60mm

0.260

0.273

0.2080.218

表4 実験結果(カメラ移動11 枚画像)
レンズ

平均誤差

平均誤差

平均誤差

平均誤差

最小(X)

最大(X)

最小(Y)

最大(Y)

35mm

1.493

1.671

1.111

1.239

50mm

1.398

1.482

1.084

1.237

55mm

0.243

0.259

0.144

0.155

60mm

0.243

0.305

0.208

0.227

図11 4 台カメラを用いた検査システム
表5 実験結果
カメラ

表3 と表4 に示すように，55mm と 60mm レンズを使用した場合，キャリブレーションパターンを 10 回移動し，カメラ角度(光軸)を調整したとしても，最大逆投
影誤差が 0.5 画素以内に収められるが，35mm と50mm レンズを使った場合，レンズの歪等の非線形要因を補正できずに，誤差も 1 画素以上と大きくなってしまう．即ち，歪みが小さいレンズ(例えば，Nikon
55mm,60mm)を使う前提であれば，ホモグラフィー行列線形解方法でもサブ画素精度で座標変換できる．

平均誤差

平均誤差

(X)

(Y)

Cam1

0.439

0.344

Cam2

0.358

0.307

Cam3

0.478

0.432

Cam4

0.378

0.373

表5 に複数台カメラの実験結果を示す．4 台カメラの最大逆投影平均誤差が0.5 画素以内に収められる．

４． まとめと今後の課題
・大型液晶パネル用欠陥検査システムに対して，高精度な欠陥位置情報が必要である．また，複数台カメラを用いた検査システムに，オーバーラップの検査エリアが存在するため、カメラ間の欠陥位置関係を確立する必要がある．ここで，高性能レンズを使用する条件で，ホモグラフィー行列線形解法を提案した．
実験を通して，0.5 画素以内のサブ画素精度が確認された．しかし，最終的に液晶パネル座標まで変換
すると，座標変換精度はパネルの基準点と傾きの検出精度にも影響されるので，高精度な基準点，傾きを検出する手法を開発する必要がある．
・実験では，印刷パターンを使用したので，精度に多少の悪影響を与えたと考えられる．さらに高精度キャリブレーションを実現するため，今後，検査液晶パネルサイズに合わせて，専用キャリブレーションパターンを製作する．また，液晶パネルを利用してキャリブレーションパターンを製作してみる．
謝辞 有益な議論を賜った株式会社ファースト技術開発センター長増田勝利氏に感謝の意を表す．
検査システム開発にあたり，協力して頂いた株式会
社SHONICS(韓国)羅仁錫氏に感謝の意を表す.
特徴点検出アルゴリズムの開発を担当していた法視特（上海）画像科技有限公司徐可佳氏と秦鵬氏にも感謝の意を表す．
参考文献[1] 例えば：韓国液晶戦略，MICRODEVICES，2005，6．
[2] 小田島伸寿：高解像度カメラを使用した FPD 検査システム，映像情報，pp87-92，2004．10．
[3] 阿久津実，大谷哲也，岸卓人，藤木憲英：フラットパネル
ディスプレイおよびイメージセンサの自動画質検査アルゴリズム，ViEW2003 ビジョン技術の実利用ワークショッ
プ，pp.54-57，2003．
[4] 劉偉，北英樹，岩澤剣，三谷洋之：FPD 点検査用画像処理システムの開発，動的画像処理実利用化ワークショッ
プ2005，pp33−38,2005．
[5] 清水誠：光切断法を用いた透明積層製品の層間異物検査に関する研究，立命館大学博士論文，2002．
[6] 竹内俊一：後工程検査の自動化への課題と装置への要
望，日経BP 社液晶ディスプレイセミナ99(1999)．
[7] 斉藤文彦：液晶ディスプレイ画質検査装置における画素欠陥検出手法，精密工学誌，Vol.63，No.4，pp.520-524
1997．

[8] 徐剛，辻三朗：３次元ビジョン，共立出版，1998．
[9] Z.Y. Zhang ：A Flexible New Technique for Camera
Calibration,http://research.microsoft.com/~zhang/Papers/TR9871.pdf．
[10] 浅野尚紀：カメラキャリブレーション，コンピュータビジョン
技術評論と将来展望，pp34-53，1998．

寧兆彬：法視特（上海）画像科技有限公司．画像応用システ
ム開発に従事
三谷洋之：株式会社ファースト画像事業本部．画像応用システム開発に従事．
賈波：株式会社ファースト画像事業本部．画像応用，３次元画像処理アルゴリズム開発に従事．
劉偉：株式会社ファースト画像事業本部．画像応用システム，検査アルゴリズム開発に従事．