(57)【特許請求の範囲】
【請求項１】
鏡面対象の表面角度を計測する三次元形状計測装置であって、
カラー画像表示装置であり、第一位相においては表面法線ベクトル天頂角成分センシング・パタンを表示して対象を照明し、第二位相においては表面法線ベクトル方位角成分センシング・パタンを表示して対象を照明する投光手段と、
この投光手段とは、対象に対して三次元形状計測を可能とする幾何光学的空間位置関係に設置され、対象を前記２位相の照明にそれぞれ同期して撮像し、各位相において得られた２組の画像信号を出力する撮像手段と、
画像信号を貯蔵するメモリ手段と、
貯蔵された２組の画像信号を組合せて対象表面各面素の法線ベクトルを演算し、対象の三次元形状を算出する演算手段と、
を備えて成ることを特徴とする形状計測装置。
【請求項２】
前記投光手段は、対象を原点とする幾何光学的空間座標に位置付けた仮想ガウス球表面上の緯度線あるいは経度線もしくは緯度上のエリアあるいは経度上のエリアを中心射影法あるいはその他の球体投影法に基づいて、前記投光手段画面上に描出することによって対象の表面法線ベクトルセンシング・パタンとしたことを特徴とする請求項１記載の形状計測装置。
【請求項３】
三次元形状計測方法採用の鏡面対象検査装置であって、
カラー画像表示装置であり、第一位相においては表面法線ベクトル天頂角成分センシング・パタンを表示して対象を照明し、第二位相においては表面法線ベクトル方位角成分センシング・パタンを表示して対象を照明する投光手段と、
この投光手段とは、対象に対して三次元形状計測を可能とする幾何光学的空間位置関係に設置され、対象を前記２位相の照明にそれぞれ同期して撮像し、各位相において得られた２組の画像信号を出力する撮像手段と、
画像信号を貯蔵するメモリ手段と、
貯蔵された２組の画像信号を組合せて対象表面各面素の法線ベクトルを演算し、対象の三次元形状を算出する演算手段と、
演算手段の三次元計測演算データを用いて対象の品質良否判定を行う判定手段と、
を備えたものであることを特徴とする検査装置。
【請求項４】
三次元形状計測方法採用の鏡面対象検査装置であって、
カラー画像表示装置であり、第一計測位相においては表面法線ベクトル天頂角成分センシング・パタンを表示して対象を照明し、第二計測位相においては表面法線ベクトル方位角成分センシング・パタンを表示して対象を照明する投光手段と、
この投光手段とは、対象に対して三次元形状計測を可能とする幾何光学的空間位置関係に設置され、対象を前記２計測位相の照明にそれぞれ同期して撮像し、各計測位相において得られた２組の画像信号を出力する撮像手段と、
画像信号を貯蔵するメモリ手段と、
貯蔵された２組の画像信号を組合せて対象表面各面素の法線ベクトルを演算し、対象の三次元形状を算出する演算手段と、
演算手段の三次元計測演算データを用いて対象の品質良否判定を行う判定手段と、
第一検査位相において自動検査され、不良判定された対象を同定するデータ（ＩＤデータ）を保存する保存手段と、
第二検査位相において前記同定データを用いて選択され、投光手段が白色エリア表示して対象を白色照明し、撮像手段によって撮像された不良判定対象の画像を、不良判定の目視再検査に供するため表示する表示手段と、
を備えたものであることを特徴とする検査装置。
【請求項５】
鏡面対象の形状を検査し、不良判定された対象に修理修正を施すことによって、半製品から完成品を製造する方法であって、製品製造ライン内に、
三次元形状計測装置であって、カラー画像表示装置であり、第一位相においては表面法線ベクトル天頂角成分センシング・パタンを表示して対象を照明し、第二位相においては表面法線ベクトル方位角成分センシング・パタンを表示して対象を照明する投光手段と、この投光手段とは、対象に対して三次元形状計測を可能とする幾何光学的空間位置関係に設置され、対象を前記２位相の照明にそれぞれ同期して撮像し、各位相において得られた２組の画像信号を出力する撮像手段と、画像信号を貯蔵するメモリ手段と、貯蔵された２組の画像信号を組合せて対象表面各面素の法線ベクトルを演算し、対象の三次元形状を算出する演算手段とを備える検査装置を設置し、
この検査装置により、半製品の品質の良否判定を行い、不良判定された箇所の修理修正を行い、半製品を完成することを特徴とする製品製造方法。
【請求項６】
鏡面対象の形状を検査し、不良判定された対象に修理修正を施すことによって、半製品から完成品を製造する方法であって、製品製造ライン内に、
三次元形状計測方法採用の検査装置であって、カラー画像表示装置であり、第一計測位相においては表面法線ベクトル天頂角成分センシング・パタンを表示して対象を照明し、第二計測位相においては表面法線ベクトル方位角成分センシング・パタンを表示して対象を照明する投光手段と、この投光手段とは、対象に対して三次元形状計測を可能とする幾何光学的空間位置関係に設置され、対象を前記２計測位相の照明にそれぞれ同期して撮像し、各計測位相において得られた２組の画像信号を出力する撮像手段と、画像信号を貯蔵するメモリ手段と、貯蔵された２組の画像信号を組合せて対象表面各面素の法線ベクトルを演算し、対象の三次元形状を算出する演算手段と、演算手段の三次元計測演算データを用いて対象の品質良否判定を行う判定手段と、第一検査位相において自動検査され、不良判定された対象を同定するデータ（ＩＤデータ）を保存する保存手段と、第二検査位相において前記同定データを用いて選択され、投光手段が白色エリア表示して対象を白色照明し、撮像手段によって撮像された不良判定対象の画像を、不良判定の目視再検査に供するため表示する表示手段とを備えた検査装置を設置し、  この検査装置により、半製品の品質の良否判定を行い、不良判定された箇所の品質の修理修正を行い、半製品を完成することを特徴とする製品製造方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、物体の三次元形状を計測する計測方法を採用する形状計測装置、及び三次元計測データを利用して製品を検査する検査装置、及び製品製造ライン中の半製品を検査し、不良品を修理修正する場合に利用される製品製造方法に関するものであり、特に、自動化検査のための三次元形状情報獲得技術の中でも特に形状が未知で、非完全拡散反射表面（非ランバート面：後述）を有する対象に適用される検査装置、及びこれらの検査装置を利用した製品製造方法に関する。
【０００２】
【従来の技術】
従来から物体の三次元形状を計測したり、その計測データを用いて自動化検査を行ったりする必要性は多くの産業分野において発生している。これらの場合は、三次元計測方法から見て、既知形状の対象の発見、同定、選別を目的とする場合と、対象の形状が未知で、その形状を自動的に知ろうとする場合とに大別される。後者の場合は、前者に比して数段困難な場合が多く、現在の三次元画像計測技術を以ってしても、必ずしも満足すべき成果が収められるとは限らない。対象の形状が未知の場合には、通常用いられる代表的三次元形状計測法である受動的センシング法の一種、両眼視三角測量法の適用が不可能であるために、能動的センシング法を採用するが、この方法にも限界及び短所がある。
【０００３】
能動的センシング法は既知のパタンを有する構造化光（Ｓｔｒｕｃｔｕｒｅｄ  ｌｉｇｈｔ）を対象に投光し、対象表面に当たった光の構造が対象の形状に従って歪むので、その歪み方を画像検出して対象の形状を三角測量法の逆問題解として算出する方法として知られている。例えば、光源からの光束を一定の形態を成す単数や複数のスリットを通過させることによりパタン光とし、これを対象に投光する方法がある（井口征士・佐藤宏介著「三次元画像計測」、昭晃堂、１９９０年、２章参照）。これらの従来法は、直進光束を構成するパタンを完全拡散反射表面即ち、ランパート面（Ｌａｍｂｅｒｔｉａｎ  ｓｕｒｆａｃｅ）の対象に投光すること、及び対象に対して一定の角度に配置された撮像装置が対象形状により、歪みを受けた変形投光パタンを撮像することをその基本原理としている。
【０００４】
ところが、本発明の課題は未知形状の計測であり、対象の代表的表面形状を自由曲面体とすると、前述のパタン光の計測限界は生成されたパタンの精細度に依存するので、それよりも急峻な、あるいは細い表面変化を有する自由曲面は計測対象範囲から外されることになる。また、多くの物体表面は完全なランバート面ではなく、多少のハイライト部を伴うものなので、これが投光パタン検出の障害となり、計測に良好な結果が得られないこともしばしば生起する。
【０００５】
このような構造化光を用いる三角測量法は基本原理として距離計測法であるが、これに対して対象表面の非ランバート性を利用する表面角度センシング法がある。その計測原理は、光源と受光センサと対象を一定の幾何光学的位置関係（ジオメトリ）に設定することによって、対象表面からの正反射成分を検出し、未知形状の表面法線ベクトルを計測するものである。例えば、Ａｒｔｈｕｒ  Ｃ．Ｓａｎｄｅｒｓｏｎ  ｅｔ  ａｌ．  は、その論文（“Ｓｔｒｕｃｔｕｒｅｄ  ｈｉｇｈｉｇｈｔ  ｉｎｓｐｅｃｔｉｏｎ  ｏｆ  ｓｐｅｃｕｌａｒ  ｓｕｒｆａｃｅｓ  ”，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，  Ｖｏｌｕｍｅ  １０，Ｎｕｍｂｅｒ  １，ｐａｇｅｓ  ４６−５１，１９８８）において、半球構造体の内側に光ファイバで誘導した多数の点光源を配置し、上方よりそれぞれの照射角度を以って対象に投光し、その真上に設置したカメラで正反射光を撮像する計測方法を発表している。対象の表面法線ベクトルのモデルはガウス球なので、光源の概念構成は図２４に示したようになる。このような表面法線ベクトルの直接的センシング法は絶対値計測法ではないので、別途基準位置を計測する付帯条件を必要とするが、急峻な面や微細な部分の面素の表面角度の検出も可能な実用性の高い方法である。
【０００６】
しかし、彼等の装置は、その後の論文（Ｓｈｒｅｅ  Ｋ．Ｎａｙａｒ  ｅｔ  ａｌ．，  “Ｓｐｅｃｕｌａｒ  ｓｕｒｆａｃｅ  ｉｎｓｐｅｃｔｉｏｎ  ｕｓｉｎｇ  ｓｔｒｕｃｔｕｒｅｄ  ｈｉｇｈｌｉｇｈｔ  ａｎｄ  Ｇａｕｓｓｉａｎ  Ｉｍａｇｅｓ    ”，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｒｏｂｏｔｉｃｓ  ａｎｄ  Ａｕｔｏｍａｔｉｏｎ，Ｖｏｌｕｍｅ  ６，Ｎｕｍｂｅｒ  ２，ｐａｇｅ  ２１４，１９９０  ）によると、１２７個の点光源を直列時分割的に点灯していくと、１回の計測のための各画像フレームの取込みに７．６２秒も要してしまい、とても実用的とは言えない。そこで、彼等は、７光源ずつの組合わせ点灯により、７画像フレーム取込みで課題を解決したと報告しているが、複数光源の同時点灯によるセンシングの信頼性は、特に未知の自由曲面体においては、顕著に低下してしまう。例えば、対象が波形状表面をなしていると不都合が生じる。それは、１光源に対応して正反射をする箇所は１箇所ではないからで、複数個光源を点灯すると、表面ハイライト反射点がどの光源に対応しているのか判別不能となる。即ち、彼等の解決法は単調凹面あるいは単調凸面の対象にしか適用できないのである。このように能動的三次元計測法の最近の成果である表面角度センシング法も実用化には未だ一歩届かない状況にある。彼等の方法は、対象表面の各法線ベクトルＮを投光撮像ジオメトリの逆問題解として、その天頂角成分ベクトルθ＝ａｒｃｃｏｓ（Ｎｚ）と、その方位角成分ベクトルφ＝ａｒｃｔａｎ（Ｎｙ／Ｎｘ）、（ここでｘ、ｙ、ｚは三次元直交座標軸）を几帳面に計測しようとする方法である。
【０００７】
これに対し、この方法の長所を生かした上で、実用性を発揮しようとした検査装置も発表されている。例えば、はんだ付接合部のはんだ形状情報をセンシングするために方位角成分検出を断念し、円環状の光源を異なる高さから（即ち対象への異なる入射天頂角）の照明によって、表面法線ベクトルの中の天頂角成分だけを検出する装置である。この場合は、フレーム画像取込み回数も前述の全方向全時分割法に比して、遙かに少数で済み、演算プロセスもずっと簡単なので、検査速度の向上が実現できている。しかし、これは飽くまでも実用性を最優先するための簡略法であり、真の意味での三次元形状情報は得られていない。
【０００８】
【発明が解決しようとする課題】
未知の対象の三次元形状計測法を実用化するためには能動的センシング法の中でも、表面角度センシング法が理論上適合している。しかし、この方法は前述したような“画像取込み時間浪費型”であるために実用化には程遠い。また、計測目的や対象の特性から必ずしも常に全方向センシングを必要とするわけではないので、方法上何等かの省略を加え、実用化を計ると投光撮像ジオメトリが固定化されるため、そのジオメトリで検出できる範囲も固定されてしまい、計測装置としての適用範囲が限定される。その典型的な例が上述の天頂角ベクトルのみをセンシングする検査装置である。この例は方位角成分センシングを放棄したために、計測データから対象の三次元形状を再構成することが出来ない。そこで、この表面角度センシング法の全方向センシングを省略を加えずに実行し、また省略が可能な場合には、自在に省略した計測法を適用出来る計測装置の実現こそ、本発明が解決しようとする課題である。
【０００９】
【課題を解決するための手段及び作用】
上述の課題を解決するために、本発明は表面角度センシング法の投光撮像ジオメトリ機能が固定化されたハードウェア依存型のせいで実用化を阻害されていると考え、これをソフトウェア型機能とすることによって実用化ボトルネックを排除する提案を行っている。そのための手段としては、投光手段にカラー画像表示装置を用いた上、投光撮像方式規定手段からの指令によって必要なカラー画像パタンを自在に画面上に生成し、その構造化光束を対象に投光し、カラー撮像することによって表面形状情報として必要な情報を省略化することなく獲得する形状計測方法を提案している。この提案により、表面角度のカラー分割センシング法と時分割センシング法を容易に組合わせることが出来るようになったので、特に天頂角成分ベクトルセンシング位相と方位角成分ベクトルセンシング位相に、それぞれの計測用画像パタンを投光装置の画面に表示し投光することで、従来、最大の難問題であった表面法線ベクトルの完全計測を実用条件の中で達成している。また、本発明になる形状計測装置に品質良否判定プログラムを付加することで、実用性のある検査装置の実現を提案している。更に、本発明に係る自動検査を実施しつつ不良品を修理修正することにより、半製品を完成品とする製造方法をも提案している。
【００１０】
特許請求範囲の請求項１に係る形状計測装置は、鏡面対象の表面角度を計測する三次元形状計測装置であって、カラー画像表示装置であり、第一位相においては表面法線ベクトル天頂角成分センシング・パタンを表示して対象を照明し、第二位相においては表面法線ベクトル方位角成分センシング・パタンを表示して対象を照明する投光手段と、この投光手段とは、対象に対して三次元形状計測を可能とする幾何光学的空間位置関係に設置され、対象を前記２位相の照明にそれぞれ同期して撮像し、各位相において得られた２組の画像信号を出力する撮像手段と、画像信号を貯蔵するメモリ手段と、貯蔵された２組の画像信号を組合せて対象表面各面素の法線ベクトルを演算し、対象の三次元形状を算出する演算手段と、を備えている。
【００１１】
この形状計測装置は、能動的三次元情報センシングにおける投光光束構造をソフトウェア指示により、画像表示装置の画面上のカラーパタンとして描出し、自在に投光パタンを生成して目的に応じた三次元形状計測を実行出来るようにしている。即ち、計測対象と投光手段と撮像手段が一定の幾何光学的配置に固定化された計測装置において、投光手段がカラー画像表示装置であり、採用した三次元計測方法に従って、その画面上に第一位相においては表面法線ベクトル天頂角成分センシング・パタンを表示し、第二位相においては表面法線ベクトル方位角成分センシング・パタンを表示し、その光束の投光を受けた計測対象を撮像装置が撮像して出力した各位相の２組の画像信号から採用した三次元計測方法に応じて、演算手段が三次元形状計測演算を実施し、計測対象の三次元形状を算出する形状計測装置であり、目的に応じて三次元形状計測投光手段と撮像手段の投光撮像方式を規定することが出来る。
【００１２】
また、投光手段と撮像手段が第一位相と第二位相において画像センシングすることができ、しかも各位相における投光パタンが異なるようになしているので、それらの画像データをメモリして計測演算すれば、最少回数の撮像によって対象の十分な三次元データが得られる。
更に、表面法線ベクトルのうちの天頂角成分ベクトル計測のためのパタン光を投光して撮像する第一位相と、同じく方位角成分ベクトル計測のためのパタン光を投光して撮像する第二位相とを用意したので、両位相の画像データをメモリして三次元形状計測演算に利用し、最短時間で対象の表面法線ベクトルが算出できる。
【００１３】
請求項２に係る形状計測装置は、請求項１に記載のものにおいて、投光手段は、対象を原点とする幾何光学的空間座標に位置付けた仮想ガウス球表面上の緯度線あるいは経度線もしくは緯度上のエリアあるいは経度上のエリアを中心射影法あるいはその他の球体投影法に基づいて、前記投光手段画面上に描出することによって対象の表面法線ベクトルセンシング・パタンとしたことを特徴とするものである。
【００１４】
この形状計測装置は、投光手段の画面上に表示するパタンの描出方法に関し、このパタンは、計測対象を原点とする空間座標に仮想的に位置するガウス球表面上の緯度線あるいは経度線もしくは緯度上のエリアあるいは経度上のエリアを画面上に中心射影法あるいはその他の投影法により描いたパタンである。
【００１５】
請求項３に係る検査装置は、三次元形状計測方法採用の鏡面対象検査装置であって、カラー画像表示装置であり、第一位相においては表面法線ベクトル天頂角成分センシング・パタンを表示して対象を照明し、第二位相においては表面法線ベクトル方位角成分センシング・パタンを表示して対象を照明する投光手段と、この投光手段とは、対象に対して三次元形状計測を可能とする幾何光学的空間位置関係に設置され、対象を前記２位相の照明にそれぞれ同期して撮像し、各位相において得られた２組の画像信号を出力する撮像手段と、画像信号を貯蔵するメモリ手段と、貯蔵された２組の画像信号を組合せて対象表面各面素の法線ベクトルを演算し、対象の三次元形状を算出する演算手段と、演算手段の三次元計測演算データを用いて対象の品質良否判定を行う判定手段とを備えている。
【００１６】
この検査装置は、請求項１記載の装置の構成に加えて判定手段を備え、計測された対象の三次元形状データを用いて対象品質の良否判定を行う。
【００１７】
請求項４に係る検査装置は、三次元形状計測方法採用の鏡面対象検査装置であって、カラー画像表示装置であり、第一計測位相においては表面法線ベクトル天頂角成分センシング・パタンを表示して対象を照明し、第二計測位相においては表面法線ベクトル方位角成分センシング・パタンを表示して対象を照明する投光手段と、この投光手段とは、対象に対して三次元形状計測を可能とする幾何光学的空間位置関係に設置され、対象を前記２計測位相の照明にそれぞれ同期して撮像し、各計測位相において得られた２組の画像信号を出力する撮像手段と、画像信号を貯蔵するメモリ手段と、貯蔵された２組の画像信号を組合せて対象表面各面素の法線ベクトルを演算し、対象の三次元形状を算出する演算手段と、演算手段の三次元計測演算データを用いて対象の品質良否判定を行う判定手段と、第一検査位相において自動検査され、不良判定された対象を同定するデータ（ＩＤデータ）を保存する保存手段と、第二検査位相において前記同定データを用いて選択され、投光手段が白色エリア表示して対象を白色照明し、撮像手段によって撮像された不良判定対象の画像を、不良判定の目視再検査に供するため表示する表示手段とを備えたものである。
【００１８】
この検査装置は、自動検査位相で不良判定した検査対象の同定データ（ＩＤデータ）をメモリし、その同定データを用いて、対象の自動検査が完了した後に自動検査不良判定対象を撮像してその画像を表示し、目視による再検査に提供する。
【００１９】
請求項５に係る製品製造方法は、鏡面対象の形状を検査し、不良判定された対象に修理修正を施すことによって、半製品から完成品を製造する方法であって、製品製造ライン内に、三次元形状計測装置であって、カラー画像表示装置であり、第一位相においては表面法線ベクトル天頂角成分センシング・パタンを表示して対象を照明し、第二位相においては表面法線ベクトル方位角成分センシング・パタンを表示して対象を照明する投光手段と、この投光手段とは、対象に対して三次元形状計測を可能とする幾何光学的空間位置関係に設置され、対象を前記２位相の照明にそれぞれ同期して撮像し、各位相において得られた２組の画像信号を出力する撮像手段と、画像信号を貯蔵するメモリ手段と、貯蔵された２組の画像信号を組合せて対象表面各面素の法線ベクトルを演算し、対象の三次元形状を算出する演算手段とを備える検査装置を設置し、この検査装置を使用する。
【００２０】
そして、その検査装置により、半製品の品質の良否判定を行い、不良判定された箇所の修理修正を行い、半製品を完成する。
【００２１】
請求項６に係る製品製造方法は、鏡面対象の形状を検査し、不良判定された対象に修理修正を施すことによって、半製品から完成品を製造する方法であって、製品製造ライン内に、三次元形状計測方法採用の検査装置であって、カラー画像表示装置であり、第一計測位相においては表面法線ベクトル天頂角成分センシング・パタンを表示して対象を照明し、第二計測位相においては表面法線ベクトル方位角成分センシング・パタンを表示して対象を照明する投光手段と、この投光手段とは、対象に対して三次元形状計測を可能とする幾何光学的空間位置関係に設置され、対象を前記２計測位相の照明にそれぞれ同期して撮像し、各計測位相において得られた２組の画像信号を出力する撮像手段と、画像信号を貯蔵するメモリ手段と、貯蔵された２組の画像信号を組合せて対象表面各面素の法線ベクトルを演算し、対象の三次元形状を算出する演算手段と、演算手段の三次元計測演算データを用いて対象の品質良否判定を行う判定手段と、第一検査位相において自動検査され、不良判定された対象を同定するデータ（ＩＤデータ）を保存する保存手段と、第二検査位相において前記同定データを用いて選択され、投光手段が白色エリア表示して対象を白色照明し、撮像手段によって撮像された不良判定対象の画像を、不良判定の目視再検査に供するため表示する表示手段とを備えた検査装置を設置し、この検査装置を使用する。
【００２２】
そして、その検査装置により、半製品の品質の良否判定を行い、不良判定された箇所の品質の修理修正を行い、半製品を完成する。
【００２３】
【実施例】
以下、実施例により、この発明をさらに詳細に説明する。図１は、本発明を具体化した第１実施例の形状計測装置の構成を示す図である。この形状計測装置の投光ユニット３は二次元カラー画像表示装置であり、この実施例では、カラーＬＣＤ（液晶）表示装置であるが、勿論カラーＣＲＴ（陰極線管）でも、また可変色ＥＬ（エレクトロルミネッセンス）板や投影映写（プロジェクション）システム等、入力信号に従ってカラー画像を表示しうる装置であれば、いずれも適用可能である。
【００２４】
計測対象の計測目的に応じて入力ユニット１１から入力された指示信号により、選択した能動法三次元計測法に従って投光撮像制御ユニット６は投光制御指令を投光ユニット３に伝達し、投光ユニット３はその表示画面上に指令された三次元計測用カラーパタンを表示する。同時に投光撮像制御ユニット６は撮像方式指令をカラーカメラを備えた撮像装置４に伝達し、更に撮像角度及び撮像倍率を設定する。この実施例では、先ず図５の天頂角用中心射影カラーパタンを投光ユニット３の画面上に表示し、その投光によって計測対象１の表面法線ベクトルの天頂角成分ベクトルをセンシングの上計測し、次に図６の方位角用中心射影カラーパタンを投光ユニット３の画面上に表示し、その投光によって対象１の表面法線ベクトルの方位角成分ベクトルをセンシングの上計測する。撮像された対象１の各表面面素の法線ベクトルを規定する成分である天頂角ベクトルと方位角ベクトルは上述の２回の計測によって得られるので、対象１の三次元表面形状の計測が達成される。  以下にその計測原理を説明する。図２３は図１に示された投光装置Ｌ、撮像装置Ｖ、及び原点に置かれた対象表面の法線ベクトルＮの幾何光学的位置関係を極座標表示したものである。また、演算式（１）、（２）、（３）は、その三次元直交座標表示を示す。ここで非ランバート面の正反射性は拘束条件であって、Ｎθ＝（Ｌθ−Ｖθ）／２、Ｎφ＝Ｌφ＝Ｖφ、Ｖｘ＝ＶｒｓｉｎＶθｃｏｓＬφ、Ｖｙ＝ＶｒｓｉｎＶθｓｉｎＬφ、Ｖｚ＝ＶｒｃｏｓＶθであるので、投光装置と撮像装置の位置関係で方位角ベクトルＮφがＬとＶの作る平面に有り、かつ天頂角ベクトルＮθがＬθとＶθと成す角の１／２である対象面素だけが撮像装置へ反射光束を投射する。そこで、逆算すれば、その画素に相当する面素の反射光がセンシング出来、その値から法線ベクトルが算出できる。この時、Ｌが入射光束としての拡がりと構造を持ったカラーパタンであれば、撮像されるカラー画像は測定系空間におけるパタン微小部分の幾何光学的位置と対象表面角度に対応して“対象のカラー角度画像”となる。
【００２５】
また図２に示すように、撮像装置４をｚ軸上に配置すると、Ｖθ＝０、Ｖｘ＝Ｖｙ＝０、Ｖｚ＝Ｖｒであり、正反射性との複合光束条件は、Ｎθ＝Ｌθ／２、Ｎφ＝Ｌφ＝Ｖφ、Ｖｚ＝Ｖｒ、Ｖｘ＝Ｖｙ＝０となり、逆問題解を得るための演算が著しく簡略化出来る。逆に、例えば図３に示すように投光装置３をｚ軸上に、また撮像装置４を＋ｘ軸に配置すると、演算式（１）は、Ｌｘ＝ＬｒｓｉｎＬθ、Ｌｙ＝０、Ｌｚ＝ＬｒｃｏｓＬθ、演算式（２）は、Ｖｘ＝ＶｒｓｉｎＶθ、Ｙｙ＝０、Ｖｚ＝ＶｒｃｏｓＶθ、演算式（３）は、Ｎθ＝ａｒｃｃｏｓ（Ｎｚ）、Ｎφ＝０となる。正反射性との複合光束条件はＮθ＝（Ｌθ−Ｖθ）／２で逆問題解を得る。これらの関係は撮像装置４を±ｘ軸、あるいは±ｙ軸のいずれかにセットした場合も、φ＝ｎπ／２（ｎ＝０、１、２、３）を与えれば同様の結果が得られる。また、撮像装置４が任意のφ値である場合は、図２３の３演算式と正反射性との複合光束条件により、幾何光学的関係が算出出来る。
【００２６】
次に、投光装置３の画面上に生成するカラーパタンの形状について説明する。パタンは天頂角については図２１のように水平カラーバーを、また方位角については図２２のように垂直カラーバーをそれぞれ使用しても良いが、投光装置３の画面が平面状であるためにパタン中心から左右両端、または上下両端に向かって離れるに従って幾何光学的誤差が大となっていく。原点に位置する対象表面形状の法線ベクトルモデルはガウス球であるので、対象から投光装置画面への再短距離を半径とするガウス球面の投光装置画面上への中心射影が理論上の正確な表面角度ベクトル検出用投光パタンに相当することになる（図７参照）。そこで、図２に示される投光撮像ジオメトリに関しては、図５、図６に示すような形態のパタンを画面上に表示して、これを投光すれば、精確な三次元計測が実現される。図５、図６のパタンは図７の演算式（４）を用いて画面上に描くことが出来る。また、図３、図４に示される投光撮像ジオメトリに関しては図７の演算式（６）、（５）をそれぞれ適用することによって、同様に計測の目的に適合する投光パタンを画面上に描くことが出来る。実用的な計測装置あるいは検査装置においては、以上述べたような厳密なパタンでなくとも差支えないケースも有り、それらでは中心射影以外の投射投影法や円錐投影法や円筒投影法を準用しても良い。
【００２７】
計測対象１に当たった光束は反射光となって撮像装置４に入射する。前述のように、一般に殆どの物体表面は散乱反射と鏡面反射の両者の性質をその物体表面固有の比率で有する「非ランバート面」をなし、本発明はその鏡面反射成分即ち正反射成分を利用している。対象１に対して撮像装置４を一定の方位角及び天頂角に設置し、投光ユニット３が図５の天頂角用中心射影カラーパタンを光束として投光すると、各カラーパタンはそれぞれの入射天頂角を以って対象に投射され、対象表面からの正反射光成分はその面素の法線ベクトルの天頂角成分に従って正反射し、撮像装置４が天頂角ベクトルに応じたカラー画像として撮像し、その画像データは画像入力処理演算ユニット７が内蔵するメモリフレーム（図示せず）に取り込まれ、画素入力レベルの基準化等の基本的演算を施された後、ＣＰＵ９によって各カラー宛逆問題解として対象各面素毎の天頂角ベクトルが算出される。この各面素毎の天頂角データは、メモリ１０に貯蔵される。次に投光ユニット３の画面上に図６の方位角用カラーパタンを表示し、これを投光すると同様にして正反射の原理に従って対象表面からの反射光成分は撮像装置４によって表面方位角ベクトル対応カラー画像として撮像され、画像入力処理演算ユニット７が内蔵するメモリフレームに取り込まれ、入力レベルの基準化等の基本的演算が施された後、ＣＰＵ９によって各カラー宛逆問題解として対象各面素毎の方位角ベクトルが算出され、メモリ１０に貯蔵される。
【００２８】
最後に、このようにしてメモリされた各面素の表面天頂角ベクトルと表面方位角ベクトルのデータは併せてＣＰＵ９において各面素の法線ベクトル算出に使用され、計測対象１の形状計測が完結する。計測結果データは、表示ユニット１３に表示するか、あるいは出力ユニット１２から出力する。なお、図１中のシステム制御ユニット８はこの形状計測装置の全システム動作を制御するユニットであり、１４はバスである。
【００２９】
第１実施例による計測全体の動作順序を図８のフローチャートに示す。先ず、図１の計測対象をステージ２にセットすると（ＳＴ１）、計測シーケンスに従ってシステム制御ユニット８の制御信号を受けて投光撮像制御ユニット６が投光装置３の画面にメモリ１０にメモリされているプログラムに従って、天頂角計測用カラーパタンを表示する（ＳＴ２）。表示されたパタンが発する光束を受けた対象を撮像装置４のカラーカメラが撮像する（ＳＴ３）。そこで、撮像装置４はこれを画像信号に変換して画像入力処理演算ユニット７へ出力する。画像処理演算ユニット７はこの画像信号に基準化演算等の基本的演算を施した後、内蔵するフレームメモリ（図示せず）にメモリする。ＣＰＵ９はこのデータから各面素の天頂角成分ベクトルを算出して（ＳＴ４）、データをメモリ１０に貯蔵する（ＳＴ５）。
【００３０】
次に、計測シーケンスに従ってシステム制御ユニット８の制御信号を受けて投光撮像制御ユニット６が投光装置３の画面にメモリ１０にメモリされているプログラムに従って方位角計測用カラーパタンを表示する（ＳＴ６）。表示されたパタンの光束を受けた対象を撮像装置４のカラーカメラが撮像する（ＳＴ７）。そこで、撮像装置４はこれを画像信号に変換して画像入力処理演算ユニット７へ出力する。画像処理演算ユニット７は、この画像信号に基準化演算等の基本的演算を施した後、内蔵するフレームメモリにメモリする。ＣＰＵ９はこのデータから各面素の方位角成分ベクトルを算出して（ＳＴ８）、データをメモリ１０に貯蔵する（ＳＴ９）。次に以上によりメモリ１０に貯蔵された天頂角・方位角両成分データを用いてＣＰＵ９が三次元計測演算により対象各面素の法線ベクトルを算出し（ＳＴ１０）、計測結果を表示ユニット１３に表示するか、あるいは出力ユニット１２から出力して計測を完了する。
次に、本発明を具体化した第２実施例を説明する。第２実施例の構成図は、第１実施例と同様であり、図１の通りである。しかし、第２実施例は時分割投光法に依拠しており、カラー分割投光法の第１実施例とは異なる。即ち、投光ユニット３は位相Ｔｉ（ｉ＝１、２、…、ｍ）では天頂角検出用の単色パタン画像を表示し、次に位相Ｔｊ（ｊ＝１、２、…、ｎ）では方位角検出用の単色パタン画像を表示すること、及び撮像装置４がそれぞれの位相において、各パタン表示に対応してｍ回及びｎ回の撮像を行う点で第１実施例と異なっている。そのために、撮像装置４はモノクロカメラでも良い（勿論、第１実施例のカラーカメラであっても良い）。
【００３１】
先ず、投光ユニット３の画面上に図９の天頂角用単色パタンを表示し、これを位相Ｔｉ（ｉ＝１、２、…、ｍ：図９ではｍ＝６）において順次投光すると、各パタンはそれぞれの入射天頂角を以って対象に投射され、対象表面からの正反射光成分はその面素の法線ベクトルの天頂角成分に従って正反射し、撮像装置４が天頂角ベクトルに応じた画像としてＴｉのタイミングで計ｍ回撮像し、そのｍ枚の画像データは画像入力処理演算ユニット７が内蔵するメモリフレームに取込まれ、画素入力レベルの基準化等の基本的演算を施された後、ＣＰＵ９によって各位相画像データ宛逆問題解として対象各面素毎の天頂角ベクトルが算出される。この各面素毎の天頂角データはメモリ１０に貯蔵される。
【００３２】
次に、投光ユニット３の画面上に図１０の方位角用単色パタンを表示し、これを位相Ｔｊ（ｊ＝１、２、…ｎ：図１０ではｎ＝６）おいて順次投光すると各パタンはそれぞれの入射方位角を以って対象に投射され、対象表面からの正反射光成分は、その面素の法線ベクトルの方位角成分に従って正反射し、撮像装置４が表面法線ベクトルを構成する方位角ベクトルに応じた画像としてＴｊのタイミングで計ｎ回撮像し、そのｎ枚の画像データは画像入力処理演算ユニット７が内蔵するメモリフレームに取込まれ、画素入力レベルの基準化等の基本的演算を施された後、ＣＰＵ９によって各位相画像データ宛逆問題解として対象各面素毎の方位角ベクトルが算出される。この各面素毎の方位角データはメモリ１０に貯蔵される。
【００３３】
最後に、このようにしてメモリされた各面素の表面天頂角ベクトルと表面方位角ベクトルのデータは併せてＣＰＵ９において各面素の法線ベクトル算出に使用され、計測対象１の形状計測が完結する。計測結果データは表示ユニット１３に表示するか、あるいは出力ユニット１２から出力する。この第２実施例は撮像装置４をモノクロカメラに置き換え出来るため、コストの低減効果を有するばかりでなく、前述の点光源を用いたＮａｙａｒ等の方法が（ｍ×ｎ）回の点灯による（ｍ×ｎ）枚の画像データのメモリを要したのに対して、（ｍ＋ｎ）回のパタン投光による（ｍ＋ｎ）枚の画像データのメモリで全く同精度の形状計測が可能であり、大幅な計測時間の短縮とコストの削減が実現される。
【００３４】
第２実施例による計測全体の動作順序を図１１のフローチャートに示す。先ず、図１の計測対象１をステージ２にセットすると（ＳＴ１）、計測シーケンスに従ってシステム制御ユニット８の制御信号を受けて投光撮像制御ユニット６が投光装置３の画面にメモリ１０にメモリされているプログラムに従って、天頂角計測用単色パタンＴ１を表示する（ＳＴ２）。表示されたパタンの光束を受けた対象を撮像装置４が撮像する（ＳＴ３）。そこで、撮像装置４はこれを画像データに変換して画像入力処理演算ユニット７へ出力する。画像処理演算ユニット７はこの画像データに基準化演算等の基本的演算を施した後、内蔵するフレームメモリ（図示せず）にメモリする。
【００３５】
以下、Ｔ２乃至Ｔｍの各パタンを順次投光装置に表示し（ＳＴ２）、都度対象を撮像装置４が撮像し（ＳＴ３）、画像データに変換して画像入力処理演算ユニット７へ出力する。画像処理演算ユニット７は、この画像データに基準化演算等の基本的演算を施した後、内蔵するフレームメモリにメモリする。フレームメモリにｍ枚の画像データがメモリされたら、ＣＰＵ９はこのデータから各面素の天頂角成分ベクトルを算出して（ＳＴ４）、データをメモリ１０に貯蔵する（ＳＴ５）。
【００３６】
次に計測シーケンスに従って、システム制御ユニット８の制御信号を受けて投光撮像制御ユニット６が投光装置３の画像にメモリ１０にメモリされているプログラムに従って方位角計測用単色パタンを表示する（ＳＴ６）。表示されたパタンの光束を受けた対象を撮像を装置４が撮像する（ＳＴ７）。そこで、撮像装置４はこれを画像データに変換して画像入力処理演算ユニット７へ出力する。画像処理演算ユニット７はこの画像データに基準化演算等の基本的演算を施した後、内蔵するフレームメモリにメモリする。以下、Ｔ２乃至Ｔｎの各パタンを順次投光装置に表示し（ＳＴ６）、都度対象を撮像装置４が撮像し（ＳＴ７）、画像データに変換して画像入力処理演算ユニット７へ出力する。画像処理演算ユニット７は、この画像データに基準化演算等の基本的演算を施した後、内蔵するフレームメモリにメモリする。
【００３７】
フレームメモリにｎ枚の画像データがメモリされたら、ＣＰＵ９はこのデータから各面素の方位角成分ベクトルを算出して（ＳＴ８）、データをメモリ１０に貯蔵する（ＳＴ９）。次に以上によりメモリ１０に貯蔵された両成分データを用いてＣＰＵ９が三次元計測演算により、対象各面素の法線ベクトルを算出し（ＳＴ１０）、計測結果を表示ユニット１３に表示するか、あるいは出力ユニット１２から出力して計測を完了する。
【００３８】
次に、本発明を具体化した形状検査装置を第３実施例として説明する。その装置構成を図１２に示す。第３実施例は、Ｘ−Ｙ−Ｚ座標軸の原点に対象１を置き、これに対して４台の投光装置３ａ、３ｂ、３ｃ、３ｄ（図１２中投光装置３ｃ及び３ｄは重畳）をＸ−Ｙ直交軸真上の同一高さ（Ｚ軸）の空間座標位置、即ちＺ軸対称位置に設置し、それぞれの光束を対象に投射し、真上への反射光を撮像する撮像装置４を備えた検査装置である。即ち、第１実施例の投光装置３を各直交軸より浮上した位置に１台宛配置したものである。検査対象１をどの方向から計測・検査するかの指示は予め教示されているので、その教示内容に従って投光装置３ａ、３ｂ、３ｃ、３ｄの中のいずれか１台が第１実施例と同様に図２の天頂角計測用カラーパタンと方位角計測用カラーパタンを順次表示して、撮像装置４が都度撮像し、計測された三次元形状データを元に良否判定プログラムが対象品質良否判定を下す。また、必要により複数台の投光装置３を複合的に機能させて自動検査を実行することも出来る。つまり、複数台の投光装置３のそれぞれの計測位相を教示によって定めておき、良否判定プログラムがそれらの計測データを総合して判定を下すようにすることも出来る。
【００３９】
次に、第３実施例の動作を図１３のフローチャートを用いて説明する。先ず、図１２の検査対象１をＸ−Ｙステージ２にセットすると（ＳＴ１）、装置は教示された計測シーケンスに従ったシステム制御ユニット８の制御信号を受けて検査対象１を自動検査位置にもたらす（ＳＴ２）。投光撮像制御ユニット６はシステム制御ユニット８の制御信号を受けて教示データにより選択された投光装置３の中の１台の画面にメモリ１０にメモリされているプログラムに従って、天頂角計測用カラーパタンを表示する（ＳＴ３）。表示されたパタンの光束を受けた対象を測定系空間ｚ軸上の撮像装置４のカラーカメラが撮像する（ＳＴ３）。そこで、撮像装置４はこれを画像信号に変換して画像入力処理演算ユニット７へ出力する。画像処理演算ユニット７はこの画像信号に基準化演算等の基本的演算を施した後、内蔵するフレームメモリ（図示せず）にメモリする。ＣＰＵ９は、このデータから各面素の天頂角成分ベクトルを算出して、データをメモリ１０に貯蔵する（ＳＴ４）。
【００４０】
次に教示された検査シーケンスに従ってシステム制御ユニット８の制御信号を受けて投光撮像制御ユニット６が投光装置３の画面にメモリ１０にメモリされているプログラムに従って方位角計測用カラーパタンを表示する（ＳＴ５）。表示されたパタンの光束を受け反射する対象を撮像装置４のカラーカメラが撮像する。そこで、撮像装置４はこれを画像信号に変換して画像入力処理演算ユニット７へ出力する。画像処理演算ユニット７はこの画像信号に基準化演算等の基本的演算を施した後、フレームメモリにメモリする。ＣＰＵ９はこのデータから各面素の方位角成分ベクトルを算出して、データをメモリ１０に貯蔵する（ＳＴ６）。次に、以上によりメモリ１０に貯蔵された両成分データを用いてＣＰＵ９が三次元計測演算により、対象各面素の法線ベクトルを算出し（ＳＴ７）、算出された三次元データを用いて判定アルゴリズムが検査対象の品質良否を判定する（ＳＴ８）。検査結果は必要によりメモリ１０に貯蔵するか、表示ユニット１３に表示するか、あるいは出力ユニット１２から出力して（ＳＴ９）、検査対象を排出し（ＳＴ１０）、検査を完了する。
【００４１】
図１２のハードウェア構成を有する第３実施例は教示するデータ、即ちソフトウェアの変更だけで更に種々の内容の検査を行うことが出来る。その例を上げると下記のようである。
第１例：対象表面天頂角ベクトル検査装置その１
図１２の投光装置３は、４台とも図５の天頂角センシング用カラーパタンのみを表示して、同時的に投光・撮像し、計測及び検査を行う。はんだ形状のように天頂角方向成分が特に品質に第一義の意味を持つ対象には有効な検査方法であり、副次的な条件の結果に過ぎない方位角成分計測を省略出来るので、センシング時間と演算時間の節約に通じる。
【００４２】
第２例：対象表面天頂角ベクトル検査装置その２
第１例の投光装置（図１２：３）の相対向する３ａと３ｂ、３ｃと３ｄを組合わせて、それぞれ順次点灯（画像表示）するといずれも天頂角センシングパタンを表示しているが、方位角成分の要素が加わるので、第１例に比して新たな性能が出現する。例えば３ａと３ｂの組み合わせでは、３ａに天頂角センシングパタンを表示し、一方３ｂには全面を白色表示として同時点灯すると、凹凸面の識別が可能となる。凹面では対象表面の右側部にカラーパタン、左側部に白色面が現れ、また、凸面ではその左右の図柄が逆になる。凹凸面の区別は第１例では不可能であった。
【００４３】
第３例：方位角ベクトル検査装置
第１例とは逆に、図１２の投光装置３は４台とも図６の方位角センシング用カラーパタンのみを表示して投光・撮像し、計測及び検査を行う。検査対象の向きのみを検査するケースで天頂角成分計測を省略出来るので、センシング時間と演算時間の節約に通じる。
【００４４】
第３実施例は、以上のようなソフトウェア変更で様々な検査を実行出来るが、また本実施例と同様な機能は異なるハードウェアによっても実現される。例えば、図１２の投光装置３が３ａのみを備え、これを投光装置回転機構（図示せず）により、第３実施例の説明で述べた投光装置３ａ、３ｂ、３ｃ、３ｄの画像表示・撮像タイミングにそれぞれの投光位置に移動させることにより、第３実施例と同じ検査目的が達成される。
【００４５】
次に、本発明の第４実施例である形状検査装置を説明する。第４実施例の構成は図１２の通りであり、第３実施例と同様であるが、第３実施例と異なる要素は、検査対象の自動検査を行った後、不良判定された箇所のみを画像表示して目視再検査を行う点であり、目視再検査時には白色照明を行うことである。本例では、図１２に示された投光装置３ａ、３ｂ、３ｃ、３ｄの各画面上に白色エリアを表示し、これを白色照明光源となしている。しかし、投光装置３以外に別途白色光源を備え、目視再検査時のみこれを点灯して用いても、一向に差支えはない。
【００４６】
更に、目視再検時の照明として一般的な室内照明用白色灯の光束が品質の観測判別に充分な対象画像を提供しうる場合は、その光束を利用しても支障がないこと言うまでもない。
ここで、目視観察時白色照明とする理由は、対象が本来保有する色彩を飽くまでも自然色で観測するためである。自動検査位相で用いたカラー光束では対象の持つ本来の色合いが失われ、目視判定を著しく困難にするばかりか、眼精疲労の原因となる。特に非ランバート面には画像として全く非日常的な色付けがなされる。また、投光装置３を光源に利用するメリットはその画面上に表示する白色領域の形や面積や位置をカラー表示指令プログラムで自由に決められるので、目視観察に最適な照明が得られることにある。特に鏡面反射性を持つ非ランバート面は正反射方向を精確に捕捉しなければ単なる暗領域となり、目視観察が不可能となるので、光源のジオメトリ上の条件を自由に設定出来ることは大きな有利である。以上述べた目視再検査位相での照明方法以外の自動検査位相での投光・撮像方法は、第３実施例と同様であり、第３実施例の既出説明の通りである。
【００４７】
次に、第４実施例の動作を図１４及び図１５に示すフローチャートを用いて説明する。図１４は三次元形状計測及び自動検査の基本原理が図１３で説明した第３実施例のものと全く同様であるので、その点については説明を省略するが、次の点のみ第３実施例と異なるので説明を加える。
（１）第４実施例は、１検査対象の中に複数の検査領域を包含した場合の検査フローを例示したものである。例えば、プリント配線板上に搭載された電子部品のはんだ付け検査の場合がこれに該当する。そこで、１標本の中で順次全検査領域を自動的に走査し（Ａ→Ｂルートサイクル）領域毎に良否判定を行うようにしている。これらのシーケンス制御はシステム制御ユニット８からの制御信号によって行われる。
【００４８】
（２）それらの検査領域の中で品質不良と自動判定された場合には、その位置データをメモリする（ＳＴ８）。
（３）１標本の全検査領域の自動判定が終了したら自動検査位相が終了したので、標本は再検査の位置にセットされ、目視再検査位相が始まる（図１５、ＳＴ１０）。
【００４９】
図１５の目視再検査ステップにおいては、再検査シーケンスは図１２のメモリ１０にメモリされている不良箇所位置データに従ってシステム制御ユニット８の制御信号により、位置決め装置（図示せず）がＸ−Ｙステージ２を移動させて、上述のように検査対象１の再検査領域を再検査位置にもたらす（ＳＴ１０）。そこで、ＳＴ１０において、投光装置３が白色面を表示して検査対象１に対して白色光束を照射すると、撮像装置４のカラーカメラが再検査領域を撮像し（ＳＴ１１）、その画像を表示ユニット１３のスクリーン上に表示する（ＳＴ１２）。そこでオペレータは、この画像を観測することによって目視検査を行い、良否判定を下し（ＳＴ１３）、判定結果を入力ユニット１１に入力する（ＳＴ１４）。結果の入力が終わると、ＳＴ１５がＮＯであれば再検査シーケンスはメモリ１０にメモリされている不良箇所位置データに従って（ＳＴ１６）制御ユニット８の制御信号により位置決め装置（図示せず）が再びＸ−Ｙステージ２を移動させて検査対象１を次の再検査位置にもたらし、以上述べた動作が反復される（Ｃ→Ｄルートサイクル）。
【００５０】
このようにして、全ての再検査位置の再検査が完了したら、ＳＴ１５がＹＥＳとなり検査対象１がＸ−Ｙステージ２から排出され（ＳＴ１７）、全検査工程が完了する。以上述べたように、本実施例は良否判定を自動的に行い、不良の領域だけを画像として表示するので、オペレータは極く少数の目視検査を行えば良いことになり、大幅な省力化が実現されるばかりでなく、稍緩かな自動検査判定基準を設定することによって、不良箇所の不検出リスクを回避し、少数の良箇所過検出を許容して不良判定し、不良判定のみの目視再検査を表示画像によって行うのである。
【００５１】
次に、本発明の第５実施例である画像表示検査装置について説明する。第５実施例の構成を図１９に、また動作のフローチャートを図２０にそれぞれ示す。本実施例は、検査対象の自動検査を行わず検査箇所を撮像し、画像表示してオペレータが目視することにより良否判定する検査装置であり、目視検査のために対象の形状や表面特性に対応して最適の白色照明を行う。ここで目視観測時白色照明とする理由は、既に第４実施例の再検査ステップの説明で述べた通りである。特に、鏡面反射性を持つ非ランバート面は正反射方向を正確に捕捉しなければ、単なる暗領域となり目視観察が不可能になる。
【００５２】
本実施例は形状不明かつ自由曲面体である非ランバート面検査対象に最適の白色照明を得るために、第２実施例の時分割角度照明の原理を応用した照明を行い、照明過多も過少もない、最良の対象画像が得られるようにしている。まず、搬入装置（図示せず）により、図１９の検査対象１が搬入され、Ｘ−Ｙステージ２にセットされると（ＳＴ１）、検査シーケンスに従ってシステム制御ユニット７の制御信号により位置決め装置（図示せず）が、Ｘ−Ｙステージ２を移動させて検査対象１の検査領域を検査位置にもたらす（ＳＴ２）。
【００５３】
投光装置３は実施例３及び４で説明した図１２の投光装置３と同様な構造と機能を有している。投光撮像制御ユニット６は教示された検査データに従って検査方位角に該当する投光装置３ａ乃至３ｄのいずれかに検査用画像を表示せしめる（ＳＴ３）。この時、表示する画像はまず天頂角センシング用画像であって、例えば図９に示す第２実施例の表示画像Ｔｉを各０．５〜２秒宛Ｔ１〜Ｔ６順に表示しては消去して行く。撮像された（ＳＴ４）画像は、順次表示装置１２の画面上に表示される（ＳＴ５）ので、この画像をオペレータが目視観測して判定可能であれば（ＳＴ６）品質の良否を判定し（ＳＴ１０）、判定結果を入力装置１０により入力する。
【００５４】
ここで、対象に対して入射天頂角の異なる白色画像を順次表示する理由は、前述したように対象が未知形状の自由曲面体であるためで、検査前にはどの天頂角照明が最適か不明だからである。オペレータは最適の画像が得られたＴｉ照明で入力ユニット１０からの指令入力により自動的角度変更を一時中断し、良否判定をつけられるまで画像を十分に視察することも出来る。もし、ＳＴ６がＮＯであり、天頂角成分画像では判定不能であれば、検査シーケンスは次に方位角センシングのステップに入り（ＳＴ７〜９）、例えば図１０に示す第２実施例の表示画像Ｔｊを各０．５〜２秒宛Ｔ１〜Ｔ６順に表示しては消去して行く。撮像された（ＳＴ８）画像は順次表示装置１２の画面上に表示される（ＳＴ９）ので、オペレータが良否判定をして（ＳＴ１０）、次の検査位置に対象を移動する（Ａ−Ｂフローサイクル）。全検査領域の検査が完了したら（ＳＴ１１）検体を排出して（ＳＴ１２）、検査を完了する。このフローにおいて必要があれば、判定結果データをメモリ９にメモリしたり、または出力装置１１によりプリント・アウトしたり、他のコンピュータ等に送信したりすることも出来る。
【００５５】
次に、第４実施例による画像目視再検査を行いながら、最終的不良と判定された箇所を修理修正することによって半製品を完成する、プリント配線板電子部品実装製造工程を例にとり説明する。図１７はプリント配線板に電子部品をはんだ付けする製造ラインを示している。左端のはんだ印刷機２１にプリント配線板が搬入されると、そこでスクリーン印刷によりクリームはんだが塗布され、ベルトコンベアによりチップ装着機２２に搬入され、チップ部品が装着されて次に異形部品装着機２３に運ばれて異形部品が装着される。予定された全ての部品の装着が終わると、リフロー炉２４に搬入され、クリームはんだが熔融されてはんだ付けが完了する。はんだ付けプリント配線板は、次に本発明に係る第３実施例あるいは第４実施例の自動検査装置２５に送りこまれて、電子部品の有無やはんだ付けの良否の検査がなされる。自動検査装置２５で自動検査が終わったプリント配線板は、第３実施例検査装置の場合には、ベルトコンベアにより本発明に係る第４実施例検査装置に送り込まれると同時に、自動検査結果データも通信線を通じて本発明に係る検査装置に送信される。また、第４実施例検査装置の場合には、第４実施例で説明した通りの再検査ステップに入る。そこで、オペレータは表示画像について目視再検査を行った上、この半製品プリント配線板の不良箇所の修理修正をその場で即実行する。図１６は検査装置が修理台１６を備え、画像目視再検査がなされて不良と判定された場合、検査対象１は修理台１６へ引き出され、そこで修理対象１５として修理または修正が施される。その場合の動作ステップは、図１８のフローチャートの通りであり、オペレータが画像目視により不良判定する度に（ＳＴ６）、その箇所の修理修正を実施し（ＳＴ７）、再び対象をＸ−Ｙテーブルに戻すと、再検査対象１は上述の通りに次の再検査位置に位置決めされ、次の再検査箇所が画像表示される。
【００５６】
このようにして、再検査と修理修正が施されて全箇所の部品実装状態が完璧となった実装プリント配線板は製品として仕上げられたものであり、完成品として出荷される。検査と修理修正はこのように不即不離の関係にあり、不可欠のステップとして製造工程に組み込まれているのである。説明では、自動検査装置と本発明になる検査装置とがベルトコンベアで連結されている例を上げたが、現場の必要性から両検査装置が切り離された状態にあって、プリント配線板がストッカによって一括して後者に運ばれ、一方自動検査結果データが通信方式またはフロッピディスクによって入力ユニット１０に伝達されても一向に構わない。また、図１０の修理台１６はＸ−Ｙテーブル２が兼用されて、その機能を果たす構成であっても良い。
【００５７】
【発明の効果】
請求項１に記載の発明によれば、従来の三次元計測装置は対象と投光手段と撮像手段が一定の幾何光学的配置に固定化されるために、一度装置のハードウェアが決まると、目的や対象の特性に従ってそれぞれに適した三次元計測法に変更して計測を実行することが出来ない宿命であったのに対して、画像表示装置を投光装置とし最適の投光パタンをソフトウェア指令により、その画面上に自在に描出し、能動的三次元情報センシングを行うことが出来るので、異なる目的の多種の計測を種々の表面特性を有する対象に適用することが出来るようになった。
【００５８】
また、投光手段が各位相において異なるパタンを表示して投光し、これと同期して対象を撮像する機能を有するために、それらの画像データをメモリして計測演算すると、最少回数の撮像によって十分な三次元計測を実行できるようになった。
更に、天頂角成分ベクトル計測のためのパタン光と方位角成分ベクトル計測のためのパタン光を異なる位相で投光して撮像し、両位相の画像データをメモリして三次元形状計測演算を行うので、対象の表面法線ベクトルが最短時間で算出出来るようになった。
【００５９】
請求項２に記載の発明によれば、投光手段は、対象を原点とする空間座標に仮想的に位置するガウス球表面上の緯度線あるいは経度線もしくは緯度上のエリアあるいは経度上のエリアを画面上に中心射影法あるいはその他の投影法により描いたパタンを表示して光源として使用するので、精確な三次元計測が実現した。
【００６０】
請求項３に記載の発明によれば、品質良否判定を行う判定手段を備えたので、計測された対象の三次元形状データを用いて対象品質の良否判定を行うことが出来るようになった。
【００６１】
請求項４に記載の発明によれば、自動検査位相で不良判定した対象の同定データ（ＩＤデータ）をメモリし、その同定データを用いて対象の自動検査が完了した後に、自動検査不良判定対象を撮像して、その画像を表示し、目視による再検査に提供することが出来るようになった。
【００６２】
請求項５及び請求項６の発明によれば、ラインを流れる半製品の検査を行い、その結果品質不良と判定された箇所を修理修正して完成品を得ることが出来るようになった。
以上述べたように、本発明によれば、三次元形状計測装置において能動的センシング方法を実行するにあたり、計測対象に投光する光束の生成をカラー画像表示装置の画面上に描出した計測用カラーパタンにより実現したので、特に表面角度センシング法の適用例に見られるように、従来は極端に多数回の計測が必要なために実用性に劣った方法が、例えば２回の計測で十分な三次元情報が得られ、実用範囲に十分入るという大きな効果を生むことになった。この基本技術に伴い、計測用白色パタンの表示投光でも、従来法より短時間の計測が実現出来るし、また目視検査に好都合な画像を得るための白色エリア表示を実現した目視検査用撮像検査装置も実現出来る。更に、この基本計測技術を応用した自動検査装置が実現出来るので、これにより半製品の検査を行いながら、即不良箇所の修理修正を行い、検査・修理修正工程を製造工程の中に組込んで完成品を仕上げる一貫製造方法のシステム化による高信頼性化、省人化、低コスト化の効果がある。
【図面の簡単な説明】
【図１】この発明の一実施例形状計測装置を示す図である。
【図２】同実施例形状計測装置の計測対象、投光ユニット、撮像装置の配置例を示す図である。
【図３】同実施例形状計測装置の計測対象、投光ユニット、撮像装置の他の配置例を示す図である。
【図４】同実施例形状計測装置の計測対象、投光ユニット、撮像装置の他の配置例を示す図である。
【図５】同実施例形状計測装置の投光ユニット画面上に描出する表面角度センシング用カラーパタンである。
【図６】同実施例形状計測装置の投光ユニット画面上に描出する表面角度センシング用カラーパタンである。
【図７】同投光ユニット画面上に表示する表面角度センシング用パタンの数字的描出方法を説明する図である。
【図８】実施例形状計測装置における計測プロセスを説明するためのフローチャートである。
【図９】この発明の他の実施例形状計測装置の投光ユニット画面上に描出する表面角度センシング用時分割単色パタンである。
【図１０】この発明の他の実施例形状計測装置の投光ユニット画面上に描出する表面角度センシング用時分割単色パタンである。
【図１１】同実施例形状計測装置における計測のプロセスを説明するためのフローチャートである。
【図１２】この発明の他の実施例製品の検査装置を示す図である。
【図１３】この発明の他の実施例検査装置の動作を説明するためのフローチャートである。
【図１４】この発明の更に他の実施例検査装置の動作を説明するためのフローチャートである。
【図１５】図１４とともに、実施例検査装置の動作を説明するためのフローチャートである。
【図１６】この発明の他の実施例検査装置を示す図である。
【図１７】プリント配線板に電子部品をはんだ付けする工程での処理方法を説明する図である。
【図１８】同実施例検査装置の動作を説明するためのフローチャートである。
【図１９】この発明の更に他の実施例検査装置を示す図である。
【図２０】同実施例検査装置の動作を説明するためのフローチャートである。
【図２１】同実施例計測装置の投光ユニット画面上に描出する単純かつ低精度の表面角度センシング用カラーパタン参考例である。
【図２２】同実施例計測装置の投光ユニット画面上に描出する単純かつ低精度の表面角度センシング用カラーパタン参考例である。
【図２３】計測対象と投光装置と撮像装置の幾何光学的空間座標と、その数字的表現を説明する図である。
【図２４】従来の表面角度センシング方法における投光装置の光源配置を説明するための図である。
【符号の説明】
１      計測対象
２      Ｘ−Ｙステージ
３      投光装置
４      カラーカメラ
１１    入力ユニット
【図１】
0003553652.tif 000002
【図２】
0003553652.tif 000003
【図３】
0003553652.tif 000004
【図４】
0003553652.tif 000005
【図５】
0003553652.tif 000006
【図６】
0003553652.tif 000007
【図７】
0003553652.tif 000008
【図８】
0003553652.tif 000009
【図９】
0003553652.tif 000010
【図１０】
0003553652.tif 000011
【図１１】
0003553652.tif 000012
【図１２】
0003553652.tif 000013
【図１３】
0003553652.tif 000014
【図１４】
0003553652.tif 000015
【図１５】
0003553652.tif 000016
【図１６】
0003553652.tif 000017
【図１７】
0003553652.tif 000018
【図１８】
0003553652.tif 000019
【図１９】
0003553652.tif 000020
【図２０】
0003553652.tif 000021
【図２１】
0003553652.tif 000022
【図２２】
0003553652.tif 000023
【図２３】
0003553652.tif 000024
【図２４】
0003553652.tif 000025