(57)【特許請求の範囲】
【請求項１】
正反射方向からの角度と鏡面スパイクに対する鏡面ローブの光強度の比である反射特性が未知の計測対象物の表面形状を測定する３次元形状計測装置であって、
所定の照明パタンで前記計測対象物に光を照射する照明手段と、
前記計測対象物を撮像する撮像手段と、
複数の反射特性および複数の法線方向の組合せについて、当該反射特性および法線方向を有する表面に対して前記照明パタンの光を照射したときの前記表面からの反射光に関する特徴量を記憶する参照テーブルと、
前記撮像手段によって撮像された画像から前記計測対象物の各位置における前記特徴量を算出する特徴量算出手段と、
前記特徴量算出手段によって算出された前記特徴量と、前記参照テーブルとに基づいて、前記計測対象物の各位置における表面の法線方向を求める形状算出手段と、
を有する３次元形状計測装置。
【請求項２】
前記照明パタンは、前記参照テーブルにおける一つの特徴量が、一つの法線方向に対応付けられるようなパタンである、
請求項１に記載の３次元形状計測装置。
【請求項３】
前記照明パタンは、複数の照明サブパタンの組合せであり、
前記特徴量は、各照明サブパタンの光を照射した時の計測対象物からの反射光の明るさの組合せである、
請求項１または２に記載の３次元形状計測装置。
【請求項４】
前記特徴量算出手段は、それぞれの照明サブパタンで前記照明手段が前記計測対象物に光を照射し、前記撮像手段が前記計測対象物を撮像し反射光の明るさを測定する処理を繰り返すことによって、前記特徴量を求める、
請求項３に記載の３次元形状計測装置。
【請求項５】
前記複数の照明サブパタンはそれぞれ異なる色の照明であり、
前記特徴量算出手段は、前記照明手段からそれぞれの照明サブパタンを重ね合わせた光
を前記計測対象物に照射して、前記撮像手段が前記計測対象物を撮像し、各色の明るさを求めることによって、前記特徴量を求める、
請求項３に記載の３次元形状計測装置。
【請求項６】
前記照明手段は、略半球形状の発光領域を有し、
前記複数の照明サブパタンのそれぞれは、方位角方向には発光強度が変化せず、天頂角方向に発光強度が変化し、所定の天頂角においてピークをとるパタンであり、
各照明サブパタンにおいて、前記ピークをとる天頂角が異なる、
請求項３〜５のいずれかに記載の３次元形状計測装置。
【請求項７】
前記複数の照明サブパタンの一つは、前記略半球形状の端部においてピークをとる、
請求項６に記載の３次元形状計測装置。
【請求項８】
前記照明手段は、略半球形状の発光領域を有し、
前記複数の照明サブパタンのそれぞれは、互いに異なる方向に発光強度が変化するパタンである、
請求項３〜５のいずれかに記載の３次元形状計測装置。
【請求項９】
前記照明手段は、略半球形状の発光領域を有し、
１つの照明サブパタンは、全発光領域で均一の発光強度を有するパタンであり、
他の照明サブパタンのそれぞれは、互いに異なる方向に発光強度が変化するパタンである、
請求項３〜５のいずれかに記載の３次元形状計測装置。
【請求項１０】
計測対象物に照明装置で光を照射し、光を照射した状態で前記計測対象物を撮像手段で撮像し、撮像された画像の各位置における反射光の特徴量から、前記計測対象物表面の法線方向を求める３次元形状計測装置のキャリブレーション方法であって、
前記照明装置の照明パタンの光源ベクトルを取得し、
複数の反射特性（正反射方向からの角度と鏡面スパイクに対する鏡面ローブの光強度の比を意味する。以下同じ。）および複数の法線方向の組み合わせについて、当該反射特性および法線方向を有する表面に対して前記照明パタンの光を照射したときの前記表面からの反射光の特徴量を、レンダリング方程式を解くことで算出し、
反射特性および法線方向と特徴量とを対応づけた参照テーブルを作成する、
キャリブレーション方法。
【請求項１１】
前記光源ベクトルの取得は、表面の傾きが既知の物体を配置して、前記照明装置で光を照射して前記撮像手段で撮像し、該物体の各位置における特徴量を取得することによって行う、
請求項１０に記載のキャリブレーション方法。
【請求項１２】
反射特性が未知の計測対象物の表面形状を測定する３次元形状計測方法であって、
所定の照明パタンで前記計測対象物に光を照射する照明手段を用いて前記計測対象物に光を照射した状態で前記計測対象物を撮像する撮像工程と、
複数の反射特性（正反射方向からの角度と鏡面スパイクに対する鏡面ローブの光強度の比を意味する。以下同じ。）および複数の法線方向の組合せについて、当該反射特性および法線方向を有する表面に対して前記照明パタンの光を照射したときの前記表面からの反射光に関する特徴量を記憶する参照テーブルをあらかじめ記憶する工程と、
前記撮像工程において撮像された画像から前記計測対象物の各位置における前記特徴量を算出する特徴量算出工程と、
前記特徴量算出工程において算出された前記特徴量と、前記参照テーブルとに基づいて
、前記計測対象物の各位置における表面の法線方向を求める形状算出工程と、
を有する３次元形状計測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計測対象物の表面の３次元形状を計測する技術に関する。
【背景技術】
【０００２】
カメラで撮影した画像を解析することにより計測対象物表面の法線（もしくは勾配）を求め、その３次元形状を復元する技術が知られている。
【０００３】
このような技術の一つとしてカラーハイライト方式が知られている（特許文献１）。カラーハイライト方式では、例えば赤、青、緑のリング照明をドーム上に配置して、計測対象に各色を照射する。そして、計測対象からの反射光の色を解析することで、計測対象表面の法線（天頂角成分のみ）の方向を算出している。
【０００４】
カラーハイライト法は、計測対象物の反射特性が完全鏡面反射ではない場合（鏡面ローブを有する場合）は、反射光の色混じりによって測定精度が低下してしまう。これに対して、反射特性が完全鏡面ではない場合であっても計測対象物の表面形状を精度良く算出する技術が提案されている（特許文献２）。この技術では、照明パタンを工夫することにより、計測対象物が完全鏡面ではない場合であっても計測対象物からの反射光が正反射光と同じになるようにしている。
【０００５】
完全鏡面ではない物体に入射した光の反射光は、図１５に示すように正反射の方向に鋭く狭い光（鏡面スパイク）と、正反射方向からずれた方向へのぼんやりと広がった光（鏡面ローブ）の２つからなる。鏡面ローブとは、計測対象表面上の微小凹凸面（マイクロファセット）によって引き起こされる鏡面反射光の広がりのことを指す。マイクロファセットの向きがばらつくほど、すなわち表面が粗くなるほど鏡面ローブは広がり、逆にマイクロファセットの向きのばらつきが小さくなるほど完全鏡面の状態に近づく。ここで、正反射方向からのずれ（角度）とスパイクに対するローブの光強度の比が、反射特性を表す。反射特性が均一ではない物体では、各表面位置における表面粗さに応じて鏡面ローブの形状が異なる。表面が非常に粗い場合、反射光は鏡面ローブのみで構成されることになる。鏡面ローブと鏡面スパイクの比は１に近くなり、両者の区別がつきにくくなる。
【０００６】
このとき、周囲の領域からの光がちょうどキャンセルして完全鏡面の場合と同様のスペクトル特徴が保たれるような照明を採用すれば、反射特性が均一でない物体や表面が粗い物体でも、あたかも完全鏡面の物体と同じように計測することができる。特許文献２には、図１６（Ａ）に示すようにドーム形状の照明装置３００を用い、完全鏡面以外の計測対象物からの反射光が完全鏡面物体と同じになるような照明パタンが開示されている。計測対象物２００が鏡面ローブ４００を有するので、照明装置３００から計測対象物２００に照射されてカメラ１００に到達する反射光は、照明装置の領域３０２および３０３の範囲の照明の合成光となる。ここで、領域３０２と領域３０３の照明が互いにキャンセルするような照明パタンを採用することで、カメラ１００に到達する反射光は、正反射方向３０１からの反射光と同一とすることができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平３−１４２３０３号公報
【特許文献２】国際公開第２０１０−１１８２８１号
【発明の概要】
【発明が解決しようとする課題】
【０００８】
図１６（Ａ）に示すように計測対象物の法線の傾きがそれほど大きくない時は、鏡面ローブ全体が照明装置の範囲に収まるため、計測対象物からの反射光を正反射光と同一とすることができる。しかしながら、図１６（Ｂ）に示すように計測対象物の法線の傾きが大きい場合には、鏡面ローブ全体が照明装置の範囲に収まらなくなる。この場合は、カメラ１００に到達する反射光と、正反射方向の反射光とが異なるものとなってしまう。すなわち、照明装置の端部（勾配が急峻な表面に対応）では特許文献２の原理が適用できず、法線計測の精度が大幅に低下してしまう。
【０００９】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、照明装置の端部付近に対応する傾きの法線を有する表面であっても、精度良くその向きを計測可能とする技術を提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するために本発明では、観測される反射光の特徴量と、法線の向きおよび反射特性（ローブ）との関係をあらかじめ予測して、その関係を参照テーブルとして作成しておき、観測時の反射光の特徴量と参照テーブルを用いて正しい法線の向きを求めることを特徴とする。
【００１１】
より具体的には、本発明は、反射特性が未知の計測対象物の表面形状を測定する３次元形状計測装置であって、所定の照明パタンで前記計測対象物に光を照射する照明手段と、前記計測対象物を撮像する撮像手段と、複数の反射特性および複数の法線方向の組合せについて、当該反射特性および法線方向を有する表面に対して前記照明パタンの光を照射したときの前記表面からの反射光に関する特徴量を記憶する参照テーブルと、前記撮像手段によって撮像された画像から前記計測対象物の各位置における前記特徴量を算出する特徴量算出手段と、前記特徴量算出手段によって算出された前記特徴量と、前記参照テーブルとに基づいて、前記計測対象物の各位置における表面の法線方向を求める形状算出手段と、を有する。
【００１２】
なお、上記において法線の方向というのは、法線の天頂角方向と方位角方向を合わせたものであっても良いし、天頂角方向だけであっても良い。また、反射光に関する特徴量とは、反射光の明るさまたは色、あるいはこれらの量から求められる値とすることができる。
【００１３】
このような構成を採用することで、照明手段の端部付近に対応する傾きの法線を有する表面であっても、精度良くその向きを計測可能となる。表現を変えれば、照明手段の角度範囲全体に対応する法線傾きを精度良く測定可能となる。
【００１４】
上記の照明パタンは、前記参照テーブルにおける一つの特徴量が、一つの法線方向に対応付けられるようなパタンである、ことが好ましい。ここでいう「一つの法線方向」とは、ある程度の範囲を有していても構わない。その範囲は計測に要求される精度によって決定される。
【００１５】
このような照明パタンを採用することで、任意の反射特性の計測対象物について、反射光の特徴量から法線方向を一意に決定することができる。なお、一つの特徴量が、法線方向および反射特性の組み合わせと１対１に対応づけられる照明パタンを採用すれば、撮影された反射光の特徴量から法線方向と反射特性の両方を一意に決定することができる。しかし反射特性を求める必要がなければ、法線の向きが異なれば特徴量が変わるような照明パタン（法線の向きが同じであれば、異なる反射特性でも同一の特徴量と対応づけられても良いような照明パタン、と表現することもできる）を採用することで、撮影された反射
光の特徴量から法線の向きを一意に決定することができる。
【００１６】
本発明における照明パタンは、複数の照明サブパタンの組合せとすることができる。この場合、特徴量は、各照明サブパタンの光を照射した時の計測対象物からの反射光の明るさの組合せとすることができる。
【００１７】
このように複数の照明サブパタンを組み合わせて一つの照明パタンを形成することにより、法線方向の分解能を向上させることができる。
【００１８】
ここで、前記特徴量算出手段は、それぞれの照明サブパタンで前記照明手段が前記計測対象物に光を照射し、前記撮像手段が前記計測対象物を撮像し反射光の明るさを測定する処理を繰り返すことによって、前記特徴量を求める、ことができる。この場合、照明サブパタンの数と同じ回数だけ撮像を行い、各撮像画像から得られる反射光の明るさの組合せを特徴量として用いることになる。この構成では、それぞれの照明サブパタンにおける照明の色は同じとすることができる。
【００１９】
また、前記複数の照明サブパタンはそれぞれ異なる色の照明であり、前記特徴量算出手段は、前記照明手段からそれぞれの照明サブパタンを重ね合わせた光を前記計測対象物に照射して、前記撮像手段が前記計測対象物を撮像し、各色の明るさを求めることによって、前記特徴量を求める、ようにしても良い。この場合は、各色の明るさの組合せが特徴量となる。この構成では、１回のみの撮像によって特徴量を取得することが可能となる。
【００２０】
本発明において、前記照明手段は、略半球形状（ドーム形状）の発光領域を有し、前記複数の照明サブパタンのそれぞれは、方位角方向には発光強度が変化せず、天頂角方向に発光強度が変化し、所定の天頂角においてピークをとるパタンであり、各照明サブパタンにおいて、前記ピークをとる天頂角が異なる、ようにすることができる。
【００２１】
このような構成によれば、各照明サブパタンの反射光の特徴量は、法線の傾き（天頂角）の変化に応じて連続的に変化する。したがって、一つの特徴量は一つの法線の傾き（天頂角）に対応付けられる。また、このような照明サブパタンは、反射特性（ローブ）と法線の傾きの変化に応じて、反射光の特徴量が敏感に変化するパタンである。したがって、法線の傾きを精度良く測定できる。また、このような照明サブパタンを複数組み合わせることで、法線傾きの測定分解能を向上させることができる。この照明サブパタンは方位角方向には変化しないため、法線方向の天頂角成分のみを測定の対象とするための照明構成である。
【００２２】
また、上記のような照明サブパタンを採用する場合に、前記複数の照明サブパタンの一つは、前記略半球形状の端部においてピークをとる、ことが好ましい。
【００２３】
傾きが急峻な表面における鏡面ローブは、その一部が照明から外れてしまう。すなわち、反射光の光量が少なくなってしまう。上記のような構成を採用することで、照明端部に対応する法線傾きを有する表面であっても、反射光の光量を比較的大きくすることができ、したがって測定精度を向上させることができる。
【００２４】
また、照明手段の照明パタンは、複数の照明サブパタンのそれぞれが、互いに異なる方向に発光強度が変化するようなパタンとすることができる。あるいは、１つの照明サブパタンは全発光領域で均一の発光強度を有し、その他の照明サブパタンのそれぞれは、互いに異なる方向に発光強度が変化するようなパタンとすることができる。
【００２５】
このような照明パタンを採用することで、計測対象物の法線方向を、天頂角成分および
方位角成分について求めることができる
【００２６】
なお、本発明は、上記手段の少なくとも一部を有する３次元形状計測装置として捉えることができる。また、本発明は、そのような３次元形状計測装置のキャリブレーション方法、または、上記処理の少なくとも一部を含む３次元形状計測方法若しくはかかる方法を実現するためのプログラムとして捉えることもできる。上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
【発明の効果】
【００２７】
本発明によれば、照明装置の端部付近に対応する傾きの法線を有する表面であっても、精度良くその向きを計測することが可能となる。
【図面の簡単な説明】
【００２８】
【図１】実施形態にかかる３次元形状計測装置の全体構成を示す図である。
【図２】測定対象物表面の法線の向きと発光領域の対応を説明する図である。
【図３】照明装置の発光領域におけるカラーパタンを示す図である。
【図４】テーブル作成処理の機能ブロック図を示す図である。
【図５】テーブル作成処理の流れを示すフローチャートである。
【図６】作成されるテーブルの模式図である。
【図７】形状計測処理の機能ブロック図を示す図である。
【図８】形状計測処理の流れを示すフローチャートである。
【図９】（Ａ）は法線マップの一例を示す図であり、（Ｂ）は復元された形状の一例を示す図である。
【図１０】照明パタンの変形例を示す図である。
【図１１】照明パタンの変形例を示す図である。
【図１２】照明パタンの変形例を示す図である。
【図１３】平板形状の照明装置を備える形状計測装置の構成を示す図である。
【図１４】平板形状の照明装置における照明パタンを説明する図である。
【図１５】反射特性を説明する図である。
【図１６】（Ａ）照明領域中央付近と（Ｂ）照明領域端部での、反射光を説明する図である。
【発明を実施するための形態】
【００２９】
以下、図面を参照して本発明の好適な実施形態について説明する。本実施形態の３次元形状計測装置（以下単に、形状計測装置と称する）は、画像解析により不完全拡散物体の３次元形状計測を行うものである。
【００３０】
ここではまず、法線の天頂角方向のみを計測対象とし、法線の方位角方向は測定しない形状計測装置について説明する。法線の方位角方向も測定するための構成は別途説明する。
【００３１】
本実施形態で説明する形状計測装置は、各種の自動計測装置、自動検査装置、ロボットビジョンなどにおける物体認識に適用可能であり、例えば基板外観検査装置（ＡＯＩシステム）におけるはんだ付けの良否検査や、金属加工物表面の凹凸検査などに好ましく適用することができる。
【００３２】
＜計測装置の全体構成＞
図１を参照して、形状計測装置の全体構成について説明する。図１は形状計測装置のハードウェア構成を模式的に示す図である。
【００３３】
形状計測装置は、概略、計測ステージ５、検査ヘッドＨ、および、情報処理装置６を備えて構成される。検査ヘッドＨには、計測ステージ５上に配置された計測対象物４に測定光を照射するための照明装置３と、鉛直上方から計測対象物４を撮影するカメラ（イメージセンサ）１とが取り付けられている。情報処理装置６は、ＣＰＵ（中央演算処理装置）６０、メモリ６１、記憶装置６２、検査ヘッド制御部６３、画像入力部６４、照明装置制御部６６、ステージ制御部６７、ユーザＩ／Ｆ６８、表示部６９などを備えている。検査ヘッド制御部６３は検査ヘッドＨのＺ方向（計測ステージ５に垂直な方向）の移動を制御する機能であり、ステージ制御部６７は計測ステージ５のＸＹ方向の移動を制御する機能である。照明装置制御部６６は照明装置３の点灯および消灯（必要に応じて照明パタンの切り替え）を制御する機能である。画像入力部６４はカメラ１からデジタル画像を取り込む機能である。ユーザＩ／Ｆ６８はユーザにより操作される入力装置であり、例えばポインティングデバイス、タッチパネル、キーボードなどが該当する。表示部６９は計測結果などが画面表示される部分であり、例えば液晶ディスプレイなどで構成される。
【００３４】
計測時には、検査ヘッドＨと計測ステージ５が相対的に移動し、計測対象物４が所定の計測位置（図１の例では、照明装置３の中央（カメラ１の光軸と計測ステージ５の交点））に位置決めされる。そして、照明装置３から測定光を照射した状態で画像が撮影される。カメラ１で撮影された画像は画像入力部６４を介して情報処理装置６に取り込まれ、後述する画像解析に供される。以下、形状計測装置の構成および処理について詳しく説明する。
【００３５】
（照明装置）
照明装置３は、図１に示すようにドーム形状をした面光源であり、このドーム形状の全てが発光領域である。なお、照明装置３の天頂部分にはカメラ１のための開口が設けられている。このような照明装置３は、例えば、ドーム形状のカラーフィルタと、その外部から白色光を照射する光源とから構成することができる。また、例えば、複数のＬＥＤチップをドームの内側に配列させて拡散板を通して光を照射する構成にしても良い。また、液晶ディスプレイや有機ＥＬディスプレイなどをドーム形状にして、照明装置３を構成することもできる。
【００３６】
照明装置３の発光領域の形状は、計測対象物４の全方位から光を照射できるように半球状のドーム形状であることが好ましい。こうすることにより、あらゆる方向の法線を計測可能となる。しかしながら、計測の対象とする法線方向に対応した位置から光が照射されるような形状であれば、発光領域の形状はどのようなものであっても良い。例えば、表面の法線の向きがほぼ鉛直方向に限られるのであれば、水平方向（角度の浅い方向から）は光を照射する必要がない。
【００３７】
このような照明装置を利用し適切な照明パタンを採用すれば、１枚の画像のみから計測対象物の表面形状（法線の向き）を計測することができる。このことを図２を参照して説明する。計測対象物４の表面上のある点における法線の向きが矢印Ｎの向きであり、天頂角がθ、方位角がφであるとする。このとき、カメラ１によって撮影されるその点の色は、照明装置３の領域Ｒで発光し計測対象物４へ入射する光の反射光となる。ここで領域Ｒは反射特性（鏡面ローブの形状）に応じた広がりを有しており、カメラ１によって撮影される色は、領域Ｒ内の光を反射特性に応じて重み付けされた色となる。ここで、反射光の色が、法線の向きおよび反射特性の組合せと１対１に対応するような照明パタンを採用すれば、１画像のみから計測対象物の法線の向きと反射特性とを求めることができる。また、少なくとも法線の向きが異なれば反射光の色が異なるような照明パタン（法線の向きが同じであれば反射特性が異なっていても反射光の色が同一となることを許容するパタン）であれば、反射特性については一意に定まらないこともあるが、計測対象物の法線の向きは一意に定めることができる。
【００３８】
照明装置３は、上記の条件を満たす照明分布（照明パタン）を有している。ただし、本実施形態では、表面形状の法線の向きのうち天頂角成分のみを計測対象とするため、反射光の色と法線の天頂角とが１対１に対応する照明パタンを採用する。方位角方向も計測可能な照明パタンについては別途説明する。
【００３９】
本実施形態における照明装置３の発光領域の照明分布（照明パタン）は、異なる複数の照明サブパタンを合成したものである。ここでは、３つの照明サブパタンを用い、それぞれの照明サブパタンは赤色光（Ｒ）、緑色光（Ｇ）、青色光（Ｂ）の単色光で実現される。各照明サブパタンは、図３（Ａ）に示すように、発光領域の方位角には依存せず、天頂角のみに依存して変化する分布である。各照明サブパタンは、所定の天頂角においてピークをとり、その角度から離れるに従って徐々に弱くなるようなパタンである。図３（Ｂ）に示すように、Ｒ，Ｇ，Ｂのそれぞれでピークを取る天頂角位置が異なっており、一つの照明サブパタン（ここではＧ）は、ドーム形状の発光領域の端部においてピークを取るように設定されている。
【００４０】
照明装置３の照明パタンは、任意の反射特性の計測対象物４について、カメラ１によって撮影される反射光の特徴量（ＲＧＢの各輝度値）が、法線の天頂角と一意に対応する照明パタンであれば任意のパタンを採用可能である。上記で説明した図３（Ａ）（Ｂ）に示すようなパタンは、この条件を満たす照明パタンの一つである。なお、照明サブパタンがピークをとる位置を変えてもこの条件を満たすので、照明領域の端部にピークを持つような照明サブパタンは必ずしも採用しなくても構わない。
【００４１】
（テーブル）
このように画素の色や明るさは、その点における法線の向きや光源の角度と１対１に対応する。したがって、この形状計測装置では、画素の色や明るさに関する特徴量の値と光源の角度とを対応付けたテーブルを予め作成し、記憶装置６２に登録しておく。本実施形態では、照明装置３が、赤色光（Ｒ）、緑色光（Ｇ）および青色光（Ｂ）の３つの成分光を組み合わせた光を投光しているため、特徴量としては、ＲＧＢ各成分の比を利用する。例えば、ＲＧＢの各成分について、最大輝度を１で正規化した上で、（Ｒ，Ｇ，Ｂ）の組み合わせを特徴量とすることができる。また、ある色（ここではＧ）に対する他の色の比、例えば、Ｒ／（Ｒ＋Ｇ），Ｂ／（Ｂ＋Ｇ）などを特徴量としても良い。
【００４２】
以下、図４と図５を参照して、テーブル作成処理について詳しく説明する。図４は、テーブル作成処理を行う情報処理装置６によって実現される機能の機能ブロックを示す図である。図５はテーブル作成処理の流れを示すフローチャートである。テーブル作成処理は、情報処理装置６のＣＰＵ６０が記憶装置６２からプログラムを読み込み実行することにより実現されるものである。ただしこれらの機能ブロックの一部または全部をＡＳＩＣ（エーシック）やＰＬＤ（プログラマブルロジックデバイス）などで構成してもよい。
【００４３】
情報処理装置６は、鏡面の真半球を教示用物体として用いて、輝度値と光源ベクトルの対応関係を取得し（Ｓ１０１）、照明データを作成する（Ｓ１０２）。具体的には、形状が既知な真半球の鏡面物体を教示用物体として計測ステージ５に配置し、照明装置３から上述した照明パタンで投光した状態で、カメラ１によって教示用物体を撮影する。カメラ１によって撮影されたデータは画像入力部６４によって情報処理装置６に取り込まれて、鏡面球画像データ６０１として記憶装置６２に格納される。また、教示用物体の形状は既知であるので各位置における表面の法線の向きも既知であり、この情報が形状情報６０２として記憶装置６２にあらかじめ格納される。照明データ作成部６０３は、鏡面球画像データ６０１と形状情報６０２を参照することで、光源ベクトルと特徴量（ＲＧＢの各輝度値）の対応関係を取得できる。照明データ作成部６０３は、この対応関係を照明データ６
０４として作成して記憶装置６２に格納する。
【００４４】
反射特性情報６０５は、半田などの計測対象物が取り得る反射特性の範囲を格納したデータである。法線情報６０６は、計測対象物が取り得る法線の範囲を格納したデータである。
【００４５】
レンダリング方程式計算部６０７は、これらのデータを用いて、表面が任意の反射特性および法線傾きを有する場合の反射光の特徴量を、レンダリング方程式に基づいて算出する。具体的には、反射特性情報６０５に定義された反射特性σの範囲内でのループ（Ｓ１０３）および法線情報６０６に定義された法線の向きθの範囲内でのループ（Ｓ１０４）の二重ループにより、範囲内の全ての反射特性σおよび法線の向きθの組み合わせについて以下のレンダリング方程式の計算を行う（Ｓ１０５）。
【００４６】
レンダリング方程式計算部６０７は、BRDFモデルに基づく以下のレンダリング方程式を用いる。本実施形態では鉛フリー半田などの金属を計測の主対象とするので、鏡面ハイライトを対象とするCook-Torranceモデルを利用するが、計測対象物に応じてその他のモデ
ルを用いても良い。
【数１】
0005867123.tif 000002
ここで、Ｅは視線ベクトル、Ｎは法線ベクトル、Ｈはハーフベクトル、Ｌは光源ベクトル、ρは鏡面反射率、σは反射特性（ローブの広がり）、θは法線ベクトルの天頂角である。
【００４７】
このレンダリング方程式を解くことで、反射特性σ、法線の天頂角θの表面に照明装置３からの照明を投光した時にカメラ１によって撮影される反射光の特徴量（ＲＧＢの輝度値の組合せ）が求められる。出力部６０８は、各反射特性σおよび法線の天頂角θと、特徴量ＲＧＢとの対応を参照テーブル６０９として作成し記憶装置６２に格納する（Ｓ１０６）。
【００４８】
図６はこのようにして求められた参照テーブルの模式図である。ここで、反射特性σと天頂角θの組合せが異なると、特徴量ＲＧＢも異なることが好ましいが、少なくとも天頂角θが異なると特徴量ＲＧＢが異なるような照明パタンを採用していれば、反射光の特徴量ＲＧＢから天頂角θが求められる。
【００４９】
なお、レンダリング方程式を解くことで得られる特徴量に、全ての特徴量が現れるとは限らない。例えば、レンダリング方程式を解いても、特徴量（ｒ，ｇ，ｂ）が得られるとは限らない。そこで、レンダリング方程式によって対応する反射特性σと天頂角θが与えられない特徴量ＲＧＢについては、最近傍の特徴量に対応する反射特性σと天頂角θを対応する値として採用する（Ｓ１０７）。具体的には、以下の式で与えられる反射特性σと天頂角θを採用する。
【数２】
0005867123.tif 000003
他の方法としては、近傍の複数の特徴量に対応する反射特性σと天頂角θから補間によって求めることも好ましい。
【００５０】
このように作成することで、参照テーブル６０９には、任意の特徴量ＲＧＢについて、反射特性σと天頂角θとが対応付けられることになる。
【００５１】
なお、他の形状計測装置により作成したテーブル（汎用テーブル）を利用することも可能ではあるが、好ましくは、この装置自身を用いてテーブルを作成するとよい。そうすることで、照明装置３およびカメラ１の個体差や組み付け誤差などをテーブルに織り込むことができるため、汎用テーブルを利用するより精度の向上を期待できるからである。このようなテーブル作成処理は装置の出荷時に行うことが好ましい。さらに、照明装置３やカメラ１の経年劣化がある場合には定期的にテーブルの更新（キャリブレーション）を行ってもよい。
【００５２】
教示用物体としてはいかなる形状のものを用いることもできる。例えば、多面体を用いてもよいし、形状が既知の板を様々な角度に傾けたり回転させたりすることもできる。ただし、撮影回数を少なくしテーブル作成の手間を軽減するために、できるだけ多くの法線（勾配）成分を含む表面形状の物体を用いることが好ましい。球体（撮像方向が一方向の場合は本実施形態のように半球でもよい）は、１回の撮像で全方向の法線情報が得られるとともに、球体の方程式から法線ベクトルを簡単に算出できるため、教示用物体に最適である。
【００５３】
（形状計測）
次に図７と図８を参照して、形状計測に関わる機能および処理の流れを説明する。図７は、形状計測処理を行う情報処理装置６によって実現される機能の機能ブロックを示す図である。図８は形状計測処理の流れを示すフローチャートである。形状計測処理も、情報処理装置６のＣＰＵ６０が記憶装置６２からプログラムを読み込み実行することにより実現されるものであるが、その一部または全部をＡＳＩＣ（エーシック）やＰＬＤ（プログラマブルロジックデバイス）などで構成してもよい。
【００５４】
計測対象物が所定の計測位置に位置決めされると、ＣＰＵ６０は照明装置３から計測対象物に光を照射し、カメラ１による撮影を行う（Ｓ２０１）。撮影された画像は画像入力部６４を介して天頂角算出部６１１に取り込まれる。また、天頂角算出部６１１は、テーブル作成処理によって作成された参照テーブル６０９を読み込む（Ｓ２０２）。
【００５５】
天頂角算出部６１１は、撮影画像６１０の各画素について、その特徴量をキーとして参照テーブル６０９から天頂角θと反射特性σとを取得する（Ｓ２０３，Ｓ２０４）。ここでは計測対象物の反射特性σを求めることも可能であるが、法線の向きのみを計測する場合には反射特性σを取得する必要は無い。撮像画像中の全ての画素について上記処理を行うことで、天頂角算出部６１１は計測対象物の全表面について法線の向きを得ることができる（Ｓ２０５）。なお、撮像画像に鏡面表面と拡散表面が含まれる場合には、鏡面表面のみを抽出しその領域に対してのみ上記処理により法線の向きを取得すればよい。
【００５６】
このようにして半球状の計測対象物４を対象とした場合の法線マップの例を図９（Ａ）に示す。なお法線マップとは、計測対象物表面の各点における法線を単位ベクトルで図示したものである。
【００５７】
天頂角算出部６１１は、法線マップを最終的な出力としても良いが、法線マップから３次元形状を復元することもできる。３次元形状の復元は、ステップＳ２０４で得られた各注目点の法線を勾配に変換し、それらをつなぎ合わせることで行われる。この処理をここでは「積分」と表現する。図９（Ａ）の法線マップから復元された形状を図９（Ｂ）に示す。この方法によれば、計測対象物の表面の３次元形状を精度良く復元することができる。
【００５８】
＜実施形態の利点＞
本実施形態の形状計測装置によれば、勾配が急峻であり、照明領域の端部に対応する法線を有する表面であっても、その法線の向きを精度良く測定することができる。表現を変えると、照明領域の端部の角度に対応する天頂角範囲まで、精度良く法線の向きを測定することができる。すなわち、従来の形状計測装置ではドーム照明による面勾配の計測可能範囲は照明の角度範囲からローブの大きさを引いた範囲であったが、本実施形態によれば照明範囲全体を計測可能範囲とすることができる。
【００５９】
また、本実施形態によれば、計測対象物の反射特性が未知であっても、その表面形状を計測することができる。既知形状の教示用物体に基づいて参照テーブルを作成する従来の手法では、教示用物体と同じ反射特性の物体のみが計測可能であったが、本実施形態であれば任意の反射特性の物体を計測できる。さらに、計測対象物の反射特性を求めることもできる。
【００６０】
また、形状計測の照明として、各照明サブパタンを異なる色の光で実現し、それらを重ね合わせた照明パタンの光を計測対象に投光しているので、１枚の画像だけから色特徴を取得でき、したがって、計測対象物４の法線の向きを求めることができる。画像の撮影が１回だけであること、および、法線の向きの算出が法線と特徴量の対応関係を格納したテーブルを調べるだけで分かることから簡単に（高速に）計測対象物４の表面形状を計測することが可能である。
【００６１】
また、各照明サブパタンは天頂角にのみ応じて変化するパタンであり、所定の天頂角においてピークを取るベル型の発光強度分布を有している。ここで、１つの照明サブパタンは、照明領域の端部付近においてピークをとる構成としている。発光領域端部に対応する急峻な勾配を有する表面では、鏡面ローブの一部が照明領域から外れてしまうため、カメラ１に入射する反射光の光量が低下する。光量の低下は測定精度の低下につながるため、発光領域端部にピークを持つような照明サブパタンを採用することで、このような急峻な勾配の表面からの反射光であっても光量が低下しない構成としている。これにより、照明領域端部に対応する法線傾きであっても精度良く測定できる。
【００６２】
＜照明装置の変形例＞
上記の実施形態では、図３に示すようにＲＧＢの３色の発光強度が天頂角のみに依存し、所定の天頂角においてピークを取るベル型の発光強度分布を有する照明パタンを採用している。しかしながら、ベル型の発光強度分布とする必要は無く、図１０に示すように、所定の天頂角範囲において一定のピーク値を取るような台形型の発光強度分布を採用しても良い。この場合、各照明サブパタンにおいて、ピーク値を取る天頂角は重ならないようにすることが好ましい。またこのような照明パタンを採用する場合も、１つの照明サブパタンについては照明の端部においてピークを取るような構成とすることが好ましい。
【００６３】
上記の実施形態では、計測対象物表面の法線のうち天頂角成分のみを測定することを目的としていたのでＲＧＢ３色の発光強度は天頂角にのみ依存して変化している。しかしながら、計測対象物表面の法線の天頂角成分と方位角成分の両方を測定することを目的とする場合には、方位角にも応じて変化するような照明パタンを採用すればよい。なお、この場合は、参照テーブルは、反射特性σと法線の天頂角θおよび方位角φの組合せについて、特徴量ＲＧＢが対応付けられたものとなる。テーブルの作成方法は上記の実施形態と同様にして行うことができるので詳細な説明は省略する。なお、上記の実施形態と同様に、天頂角θ、方位角φ、反射特性σの３つの組合せと、反射光の色とが１対１に対応する照明パタンを採用すれば、１枚の撮影画像から、これら３つの量を測定できる。また、少なくとも法線の向き（θ、φ）が異なれば反射光の色が異なるような照明パタン（法線の向
き（θ、φ）が同じであれば反射特性σが異なっていても反射光の色が同一となることを許容するパタン）を採用すれば、反射特性σを一意に定まらないこともあるが、１画像のみから計測対象物の法線の向き（θ、φ）は一意に定めることができる。
【００６４】
例えばこのような照明パタンとして、図１１に示すようにＲＧＢの各成分の発光強度をドーム上で異なる方向に対して変化させるパタンがある。ここでは、変化方向が互いに１２０度となるようにしている。このようなパタンを採用すれば、各照明サブパタンにおいて、天頂角および方位角に応じて発光強度が変化する構成となるので、計測対象物表面の法線の向きを天頂角成分と方位角成分の両方について求めることができるようになる。
【００６５】
別の例として、図１２（Ａ）に示すように３色がそれぞれ下方向、右方向、左方向に変化するパタンのように、それぞれが異なる方向に対して変化するパタンを組み合わせたものを利用しても良い。また、３色全てを角度ともに変化させる必要はなく、図１２（Ｂ）に示すように１色については全面で均一の輝度で発光し、その他の２色については異なる方向に角度とともに変化するようなパタンを採用しても良い。
【００６６】
またここまでの説明では、異なる色の照明サブパタンを重ね合わせた照明パタンを用いることにより、１回の計測（照明および撮影）だけで対象物の３次元形状を復元することを可能にする構成を述べた。ただし、これに比べて計測時間は長くはなるものの、２種類以上の照明サブパタンを順次点灯してそれぞれ撮影を行い、得られた複数枚の画像を用いて３次元形状を復元してもよい。この方法でも同じ復元結果を得ることができる。なお、異なる照明サブパタンで順次撮影する場合は、各照明サブパタンの発光色と同一色（例えば緑色）とすることができる。この場合、反射光の特徴量は、反射光の各色の輝度値の組合せ（Ｒ，Ｇ，Ｂ）の代わりに、各照明サブパタンによる反射光の輝度値の組合せ（Ｇ１，Ｇ２，Ｇ３）を採用すればよい。このように複数回の計測を繰り返す方式は、計測時間が長くなるというデメリットはあるものの、単色の光源を用いればよいので構成が簡単になり製造コストを下げられるというメリットがある。また、照明サブパタンの数を容易に増やすことができるので、４つ以上照明サブパタンを採用して法線測定の分解能をさらに向上できるというメリットもある。
【００６７】
また照明装置３の形状はドーム状（半球状）に限られず、図１３に示すような平板形状でもよい。また平板を弧状に湾曲させた形状でもよい。形状を復元するのであれば、光源の位置が観測した画像から一意に求められる照明であればよい。
【００６８】
また、図１４（Ａ）の例のように、右方向に行くほど発光強度が大きくなる赤色光（Ｒ）パタンと、左方向に行くほど発光強度が大きくなる緑色光（Ｇ）パタンと、上方向に行くほど発光強度が大きくなる青色光（Ｂ）パタンを重ね合わせてもよい。この場合は、図１４（Ｂ）に示すように、各照明サブパタンにおいて、発光強度を角度θに応じて変化するような構成とすればよい。
【符号の説明】
【００６９】
１：カメラ、３：照明装置、４：計測対象物、５：計測ステージ、６：情報処理装置、１１：検査ヘッド
【図１】
0005867123.tif 000004
【図２】
0005867123.tif 000005
【図３】
0005867123.tif 000006
【図４】
0005867123.tif 000007
【図５】
0005867123.tif 000008
【図６】
0005867123.tif 000009
【図７】
0005867123.tif 000010
【図８】
0005867123.tif 000011
【図９】
0005867123.tif 000012
【図１０】
0005867123.tif 000013
【図１１】
0005867123.tif 000014
【図１２】
0005867123.tif 000015
【図１３】
0005867123.tif 000016
【図１４】
0005867123.tif 000017
【図１５】
0005867123.tif 000018
【図１６】
0005867123.tif 000019