(57)【特許請求の範囲】
【請求項１】
画像取得部によって取得された検査対象とする対象物の外観の２次元的な画像と、形状計測部によって測定された前記対象物の３次元的な形状とを、入力として受け入れる入力部と、
前記対象物に関する元々のデータであり経年的な変形や欠陥についての判断の基準となる基準外形データと測定された前記３次元的な形状に関する情報である形状データの位置調整を実施し、取得された前記２次元的な画像に関する情報である画像データと前記形状データとに基づいて前記対象物の表面に存在する表面欠陥に関する情報を取得する演算部と、
を備えることを特徴とする表面欠陥評価装置。
【請求項２】
前記演算部は、前記位置調整において、前記対象物の前記形状データと前記基準外形データ内のそれぞれの少なくとも３点を用いて、これらの対応付けにより位置調整を行うことを特徴とする請求項１に記載の表面欠陥評価装置。
【請求項３】
前記演算部は、前記位置調整において、前記対象物の前記形状データと前記基準外形データに基づく形状変化量が所定のしきい値以下となる領域から少なくとも３つの基準位置を設定することにより位置調整を行うことを特徴とする請求項１に記載の表面欠陥評価装置。
【請求項４】
前記演算部は、前記位置調整において、前記対象物の前記形状データと前記基準外形データの双方について形状が一致する領域をマッチングにより特定することを特徴とする請求項１に記載の表面欠陥評価装置。
【請求項５】
画像取得部によって取得された検査対象とする対象物の外観の２次元的な画像と、形状計測部によって測定された前記対象物の３次元的な形状とを、入力として受け入れる入力部と、
前記対象物に関する元々のデータである基準外形データと測定された前記３次元的な形状に関する情報である形状データの位置調整を実施し、取得された前記２次元的な画像に関する情報である画像データと前記形状データとに基づいて前記対象物の表面に存在する表面欠陥に関する情報を取得する演算部と、
を備える表面欠陥評価装置であって、
前記演算部は、前記位置調整において、前記対象物の前記形状データと前記基準外形データ内のそれぞれの少なくとも３点を用いて、これらの対応付けにより位置調整を行うことを特徴とする表面欠陥評価装置。
【請求項６】
画像取得部によって取得された検査対象とする対象物の外観の２次元的な画像と、形状計測部によって測定された前記対象物の３次元的な形状とを、入力として受け入れる入力部と、
前記対象物に関する元々のデータである基準外形データと測定された前記３次元的な形状に関する情報である形状データの位置調整を実施し、取得された前記２次元的な画像に関する情報である画像データと前記形状データとに基づいて前記対象物の表面に存在する表面欠陥に関する情報を取得する演算部と、
を備える表面欠陥評価装置であって、
前記演算部は、前記位置調整において、前記対象物の前記形状データと前記基準外形データに基づく形状変化量が所定のしきい値以下となる領域から少なくとも３つの基準位置を設定することにより位置調整を行うことを特徴とする表面欠陥評価装置。
【請求項７】
画像取得部によって取得された検査対象とする対象物の外観の２次元的な画像と、形状計測部によって測定された前記対象物の３次元的な形状とを、入力として受け入れる入力部と、
前記対象物に関する元々のデータである基準外形データと測定された前記３次元的な形状に関する情報である形状データの位置調整を実施し、取得された前記２次元的な画像に関する情報である画像データと前記形状データとに基づいて前記対象物の表面に存在する表面欠陥に関する情報を取得する演算部と、
を備える表面欠陥評価装置であって、
前記演算部は、前記位置調整において、前記対象物の前記形状データと前記基準外形データの双方について形状が一致する領域をマッチングにより特定することを特徴とする表面欠陥評価装置。
【請求項８】
前記演算部は、
前記画像取得部により取得する前記画像データの座標系と、前記形状計測部により測定する前記形状データの座標系との対応関係を導出するキャリブレーション部と、
前記キャリブレーション部で導出された対応関係を用いて、前記画像データは存在するが前記形状データが存在しない個所について、内挿により前記形状データを補間する補間部と、
前記画像データに基づいて、表面欠陥を判別する画像データ表面欠陥判別部と、
前記形状データに基づいて、表面欠陥を判別する形状データ表面欠陥判別部と、
前記画像データ表面欠陥判別部による判別結果と前記形状データ表面欠陥判別部による判別結果とに基づいて、表面欠陥の箇所を特定し、前記表面欠陥の箇所について寸法を推定する表面欠陥寸法推定部と、
を有することを特徴とする請求項１ないし請求項７のいずれか一項に記載の表面欠陥評価装置。
【請求項９】
前記表面欠陥の箇所の特定は、前記画像データ表面欠陥判別部による表面欠陥の箇所との判別結果と、前記形状データ表面欠陥判別部による表面欠陥の箇所との判別結果との、論理積、あるいは論理和のいずれかによることを特徴とする請求項１ないし請求項８のいずれか一項に記載の表面欠陥評価装置。
【請求項１０】
表面データ取得装置と表面欠陥評価装置とを備える表面欠陥検査システムであって、
前記表面データ取得装置は、
検査対象とする対象物の外観の２次元的な画像を取得する画像取得部と、
前記対象物の３次元的な形状を取得する形状計測部と、
を具備し、
前記表面欠陥評価装置は、
前記２次元的な画像と前記３次元的な形状を入力として受け入れる入力部と、
前記対象物に関する元々のデータであり経年的な変形や欠陥についての判断の基準となる基準外形データと測定された前記３次元的な形状に関する情報である形状データの位置調整を実施し、取得された前記２次元的な画像に関する情報である画像データと前記形状データとに基づいて前記対象物の表面に存在する表面欠陥に関する情報を取得する演算部と、
を備えることを特徴とする表面欠陥検査システム。
【請求項１１】
表面欠陥評価装置の入力部が、画像取得部により取得された対象とする対象物の外観の２次元的な画像を受け入れる画像受け入れステップと、
前記入力部が、形状計測部により測定された前記対象物の３次元的な形状を受け入れる形状受け入れステップと、
演算部が、前記対象物に関する元々のデータであり経年的な変形や欠陥についての判断の基準となる基準外形データと測定された前記３次元的な形状に関する情報である形状データの位置調整を実施する位置調整ステップと、
前記演算部が、取得された前記２次元的な画像に関する情報である画像データと前記形状データとに基づいて前記対象物に存在する表面欠陥に関する情報を取得する表面欠陥情報取得ステップと、
を有することを特徴とする表面欠陥検査方法。
【請求項１２】
前記表面欠陥情報取得ステップは、
キャリブレーション部が、前記画像取得部により取得する前記画像データの座標系と、前記形状計測部により測定する前記形状データの座標系との対応関係を導出するキャリブレーションステップと、
補間部が、前記キャリブレーション部で導出された対応関係を用いて、前記画像データが存在しかつ前記形状データが存在しない個所について、内挿により前記形状データを補間する補間ステップと、
画像データ表面欠陥判別部が、前記画像データに基づいて、表面欠陥を判別する画像データ表面欠陥判別ステップと、
形状データ表面欠陥判別部が、前記形状データに基づいて、表面欠陥を判別する形状データ表面欠陥判別ステップと、
表面欠陥寸法推定部が、前記画像データ表面欠陥判別部による判別結果と前記形状データ表面欠陥判別部による判別結果とに基づいて、表面欠陥の箇所を特定し、前記表面欠陥の箇所について寸法を推定する表面欠陥寸法推定ステップと、
を有することを特徴とする請求項１１に記載の表面欠陥検査方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、表面欠陥評価装置、表面欠陥検査システムおよび表面欠陥検査方法に関する。
【背景技術】
【０００２】
発電プラントの多くの機器の検査では、目視検査、超音波探傷検査、渦流探傷検査（ＥＣＴ：Ｅｄｄｙ  Ｃｕｒｒｅｎｔ  Ｔｅｓｔｉｎｇ）などの非破壊検査技術が用いられている。たとえば、ガスタービンの静翼の内在欠陥等については、超音波探傷検査や渦流探傷検査（ＥＣＴ：Ｅｄｄｙ  Ｃｕｒｒｅｎｔ  Ｔｅｓｔｉｎｇ）による探傷検査が主に用いられている。
【０００３】
この際、静翼の内在欠陥については、超音波探傷検査や渦流探傷検査により自動的に検出され、記録される。一方、表面のき裂や減肉などによる損傷等の欠陥（以下、表面欠陥という。）については、目視検査により手作業で記録されている。そのため、き裂発生時のき裂補修を含め、多大な補修時間およびコストが発生することになる。
【０００４】
表面欠陥を検出する方法として、画像処理による方法と形状データ比較による方法が知られている。形状データ比較による方法は、表面欠陥内部に計測点群が存在しない場合には、表面欠陥の検出漏れや途切れが発生する。また、高分解能な形状データを取得するためには、対象物に接近する必要があり、１回に計測できる範囲が狭まるため、計測時間を要するという課題もある。
【０００５】
さらに、形状データを取得する方法は、基本的に三角測量の原理を用いることから、死角が発生することがあり、例えば表面欠陥輪郭の片側や端部が欠けたりするためこれを考慮する必要があるという課題がある。一方で、画像処理による方法は照明の影響により表面欠陥の認識が困難になる場合があり、表面欠陥検出漏れが生じる可能性がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第５２１８７２３号公報
【特許文献２】特開２０１４−２０２５３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記のような、基準となる形状データと計測結果の形状データとの形状比較を行うためには、まず、位置調整を行う必要がある。この位置調整方法においては、経年的な変形によって、基準データと計測データの形状が異なることにより、位置調整のずれが生ずる。このため、表面欠陥検出位置が異なる点や表面欠陥ではない部分が検出される可能性がある。あるいは、減肉部分により変形がある部分は、広範囲で差異が生じ、位置調整に影響が生ずる。
【０００８】
また、広範囲に差異が生じることによって、表面欠陥が減肉部分に埋もれてしまい、検出できない点も課題として挙げられる。さらに、き裂には貫通部分も存在するため、開口しているき裂における種類に影響を受ける可能性がある。
【０００９】
そこで、表面欠陥検査において、検出率を高め、検査記録に記載すべきレベルの表面欠陥の寸法を測定可能とする自動的な検査を可能とすることを目的とする。
【課題を解決するための手段】
【００１０】
上述の目的を達成するため、本実施形態に係る表面欠陥評価装置は、画像取得部によって取得された検査対象とする対象物の外観の２次元的な画像と、形状計測部によって測定された前記対象物の３次元的な形状とを、入力として受け入れる入力部と、前記対象物に関する元々のデータであり経年的な変形や欠陥についての判断の基準となる基準外形データと測定された前記３次元的な形状に関する情報である形状データの位置調整を実施し、取得された前記２次元的な画像に関する情報である画像データと前記形状データとに基づいて前記対象物の表面に存在する表面欠陥に関する情報を取得する演算部と、を備えることを特徴とする。
また、本実施形態に係る表面欠陥評価装置は、画像取得部によって取得された検査対象とする対象物の外観の２次元的な画像と、形状計測部によって測定された前記対象物の３次元的な形状とを、入力として受け入れる入力部と、前記対象物に関する元々のデータである基準外形データと測定された前記３次元的な形状に関する情報である形状データの位置調整を実施し、取得された前記２次元的な画像に関する情報である画像データと前記形状データとに基づいて前記対象物の表面に存在する表面欠陥に関する情報を取得する演算部と、を備える表面欠陥評価装置であって、前記演算部は、前記位置調整において、前記対象物の前記形状データと前記基準外形データ内のそれぞれの少なくとも３点を用いて、これらの対応付けにより位置調整を行うことを特徴とする。
また、本実施形態に係る表面欠陥評価装置は、画像取得部によって取得された検査対象とする対象物の外観の２次元的な画像と、形状計測部によって測定された前記対象物の３次元的な形状とを、入力として受け入れる入力部と、前記対象物に関する元々のデータである基準外形データと測定された前記３次元的な形状に関する情報である形状データの位置調整を実施し、取得された前記２次元的な画像に関する情報である画像データと前記形状データとに基づいて前記対象物の表面に存在する表面欠陥に関する情報を取得する演算部と、を備える表面欠陥評価装置であって、前記演算部は、前記位置調整において、前記対象物の前記形状データと前記基準外形データに基づく形状変化量が所定のしきい値以下となる領域から少なくとも３つの基準位置を設定することにより位置調整を行うことを特徴とする。
また、本実施形態に係る表面欠陥評価装置は、画像取得部によって取得された検査対象とする対象物の外観の２次元的な画像と、形状計測部によって測定された前記対象物の３次元的な形状とを、入力として受け入れる入力部と、前記対象物に関する元々のデータである基準外形データと測定された前記３次元的な形状に関する情報である形状データの位置調整を実施し、取得された前記２次元的な画像に関する情報である画像データと前記形状データとに基づいて前記対象物の表面に存在する表面欠陥に関する情報を取得する演算部と、を備える表面欠陥評価装置であって、前記演算部は、前記位置調整において、前記対象物の前記形状データと前記基準外形データの双方について形状が一致する領域をマッチングにより特定することを特徴とする。
【００１１】
また、本実施形態は、表面データ取得装置と表面欠陥評価装置とを備える表面欠陥検査システムであって、表面データ取得装置と表面欠陥評価装置とを備える表面欠陥検査システムであって、前記表面データ取得装置は、検査対象とする対象物の外観の２次元的な画像を取得する画像取得部と、前記対象物の３次元的な形状を取得する形状計測部と、を具備し、前記表面欠陥評価装置は、前記２次元的な画像と前記３次元的な形状を入力として受け入れる入力部と、前記対象物に関する元々のデータであり経年的な変形や欠陥についての判断の基準となる基準外形データと測定された前記３次元的な形状に関する情報である形状データの位置調整を実施し、取得された前記２次元的な画像に関する情報である画像データと前記形状データとに基づいて前記対象物の表面に存在する表面欠陥に関する情報を取得する演算部と、を備えることを特徴とする。
【００１２】
また、本実施形態に係る表面欠陥検査方法は、表面欠陥評価装置の入力部が、画像取得部により取得された対象とする対象物の外観の２次元的な画像を受け入れる画像受け入れステップと、前記入力部が、形状計測部により測定された前記対象物の３次元的な形状を受け入れる形状受け入れステップと、演算部が、前記対象物に関する元々のデータであり経年的な変形や欠陥についての判断の基準となる基準外形データと測定された前記３次元的な形状に関する情報である形状データの位置調整を実施する位置調整ステップと、前記演算部が、取得された前記２次元的な画像に関する情報である画像データと前記形状データとに基づいて前記対象物に存在する表面欠陥に関する情報を取得する表面欠陥情報取得ステップと、を有することを特徴とする。
【発明の効果】
【００１３】
本発明の実施形態によれば、表面欠陥検査において、検出率を高め、検査記録に記載すべきレベルの表面欠陥の寸法を測定可能とする自動的な検査が可能となる。
【図面の簡単な説明】
【００１４】
【図１】実施形態に係る表面欠陥評価装置の構成を示すブロック図である。
【図２】実施形態に係る表面欠陥評価装置の演算部の構成を示すブロック図である。
【図３】実施形態に係る表面欠陥評価装置のキャリブレーション部によるキャリブレーションの内容を説明するための概念図である。
【図４】キャリブレーション時の３つの位置を説明するための概念図であり、（ａ）は位置Ａ、（ｂ）は位置Ｂ、（ｃ）は位置Ｃの場合を示す。
【図５】実施形態に係る表面欠陥評価装置の画像データ合成部による画像データのデータ合成の内容を説明するための概念図であり、（ａ）は個別の矩形領域の画像データ、（ｂ）はデータ合成を行った画像データである。
【図６】実施形態に係る表面欠陥評価装置の画像データ合成部による画像データのデータ合成の内容を説明するための概念図であり、（ａ）は個別の線状領域の画像データ、（ｂ）はデータ合成を行った画像データである。
【図７】実施形態に係る表面欠陥評価装置の補間部による補間処理を説明するための概念図である。
【図８】実施形態に係る表面欠陥評価装置の画像データ表面欠陥判別部の構成を示すブロック図である。
【図９】実施形態に係る表面欠陥評価装置の形状データ表面欠陥判別部の構成を示すブロック図である。
【図１０】形状データ表面欠陥判別部の深さ方向決定部の機能を説明するための概念的斜視図である。
【図１１】実施形態に係る表面欠陥評価装置の表面欠陥寸法推定部の構成を示すブロック図である。
【図１２】実施形態に係る表面欠陥評価装置による寸法測定処理を説明するための概念的斜視図である。
【図１３】実施形態に係る表面欠陥検査方法の全体の手順を示すフロー図である。
【図１４】実施形態に係る表面欠陥検査方法の中の表面欠陥判別ステップの基本的な手順を示すフロー図である。
【図１５】実施形態に係る表面欠陥検査方法の中の表面欠陥判別ステップのうちの画像データからの表面欠陥認識処理の手順を示すフロー図である。
【図１６】実施形態に係る表面欠陥検査方法の中の表面欠陥判別ステップのうちの形状データからの表面欠陥認識処理の手順を示すフロー図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照して、本発明の実施形態に係る表面欠陥評価装置、表面欠陥検査システムおよび表面欠陥検査方法について説明する。ここで、互いに同一または類似の部分には、共通の符号を付して、重複説明は省略する。ここで、検査のための測定の対象とする測定対象物を以下、対象物という。
【００１６】
図１は、実施形態に係る表面欠陥評価装置の構成を示すブロック図である。欠陥測定システム５００は、表面データ取得装置１００、および表面欠陥評価装置４００を有する。
【００１７】
表面データ取得装置１００は、画像を取得する画像取得部１１０、３次元形状データを取得する形状計測部１２０、および画像取得部１１０と形状計測部１２０を移動駆動するスキャン部１３０を有する。
【００１８】
画像取得部１１０は、撮像素子、レンズ光学系および照明光学系を備えたカメラを有する。画像取得部１１０は、対象物の画像を取得するものであり、線状領域の画像データ、あるいは線状ではない２次元的な領域（以下、矩形領域と呼ぶ）の画像データを取得する。
【００１９】
形状計測部１２０は、線状模様にたとえばレーザ光などの照射光を対象物に照射するレーザ照射部１２１、対象物に照射されたレーザの反射光を撮影するレーザ光撮影用カメラ１２２を有する。照射された線状模様を三角測量の原理で測定し、表面の凹凸形状を形状データとして取得する。以下、画像データと形状データを、外形データと総称する。
【００２０】
なお、上記は、線状領域の形状データを取得するカメラと照射光（レーザ光）の組合せによる光切断法を用いた装置の場合であるが、矩形領域の形状データを取得する２台以上のカメラによるステレオ視やレーザスキャナ等による方法でも良い。
【００２１】
スキャン部１３０は、移動駆動部１３１、回転駆動部１３２、および固定部１３３を有する。対象物としては、様々な形状が考えられるため、対象物の表面の全面を計測するために、移動駆動部１３１は、画像取得部１１０および形状計測部１２０のそれぞれの計測ヘッドを３軸方向に移動駆動する。回転駆動部１３２は、３軸のそれぞれを中心に回転駆動可能に構成されている。
【００２２】
固定部１３３は、対象物と、移動駆動部１３１および回転駆動部１３２とを、所定の相対的な位置関係に維持するために、対象物を固定する固定具を有する。スキャン部１３０は、たとえば測定開始時に設定された、表面データ取得装置１００に関する座標の原点からの、移動量、回転量および現在位置を、画像取得部１１０および形状計測部１２０のそれぞれについて取得する。取得した結果は、表面欠陥評価装置４００の入力部４１０に出力される。
【００２３】
スキャン部１３０の移動駆動部１３１および回転駆動部１３２は、画像取得部１１０による画像データの光軸と、形状計測部１２０による形状計測データの光軸の双方を同一軸にする機能も有する。
【００２４】
表面欠陥評価装置４００は、メモリ２００、ＣＰＵ３００、入力部４１０、および出力部４２０を有する計算機システムである。ＣＰＵ３００は、計算機システムを制御する制御部３１０と、欠陥評価のための演算を実行する演算部３２０を有する。メモリ２００は、表面データ取得装置１００で取得された形状データを記憶する外形データ記憶部２１０と、演算部３２０での演算結果を記憶する演算結果記憶部２２０を有する。
【００２５】
入力部４１０は、表面データ取得装置１００で取得された外形データを、計算機システムとして受け入れる。出力部４２０は、演算部３２０で実施した欠陥評価の結果を出力する。
【００２６】
なお、外形データ記憶部２１０は、表面データ取得装置１００で取得された形状データ以外に、入力部４１０に外部入力された基準外形データ、スキャン部１３０から入力部４１０に入力された画像取得部１１０および形状計測部１２０の移動量、回転量および現在位置を記憶する。基準外形データは、対象物に関する元々の外形データであり、変形や欠陥についての判断の基準となるデータである。
【００２７】
図２は、実施形態に係る表面欠陥評価装置の演算部の構成を示すブロック図である。演算部３２０は、キャリブレーション部３２１、画像データ合成部３２２、形状データ合成部３２３、位置調整・面認識部３２４、補間部３２５、欠陥評価部３３０、および結果作成部３４０を有する。欠陥評価部３３０は、前処理部３３１、画像データ表面欠陥判別部３３２、形状データ表面欠陥判別部３３３、欠陥判定部３３４、および表面欠陥寸法推定部３３５を有する。以下、演算部３２０を構成する各要素について説明するが、それぞれの演算結果は、演算結果記憶部２２０に格納される。
【００２８】
キャリブレーション部３２１は、形状データと画像データとの対応関係を推定する。キャリブレーション部３２１について、画像取得部１１０の光軸と形状計測部１２０の光軸が一致しない場合と、画像取得部１１０の光軸と形状計測部１２０の光軸が一致する場合とについて、以下に説明する。図３は、実施形態に係る表面欠陥評価装置のキャリブレーション部によるキャリブレーションの内容を説明するための概念図である。
【００２９】
形状計測部１２０のレーザ照射部１２１から発せられるレーザ光は、微小角度に広がった面状であり、照射面Ｓに照射されると、レーザ光の照射部分は線状となる。このレーザ光の両側の直線部分をＬ１、Ｌ２とし、中心の直線をＬ０とする。また、照射面Ｓと直線Ｌ１、Ｌ２、Ｌ０との交点をそれぞれＱ１、Ｑ２、Ｑ０とする。レーザ光の広がりの中心線、すなわち中心部Ｑ０を通過する直線が、形状計測部１２０の光軸Ｌ０である。
【００３０】
照射面Ｓ上の線分Ｑ１−Ｑ２の位置は、レーザ照射部１２１と既知の間隔ｄをもって配されているレーザ光撮影用カメラ１２２から線分Ｑ１−Ｑ２を見る角度θと、間隔ｄとから、対象物の座標位置ＺＬはｄ／ｔａｎθにより算出できる。移動駆動部１３１および回転駆動部１３２からの情報と、元々のレーザ照射部１２１とレーザ光撮影用カメラ１２２との相対的な位置とから、水平座標位置ＸおよびＹが算出でき、この結果、間隔ｄが算出できる。
【００３１】
一方、画像取得部１１０は、測定対象との間に、レンズ１１１、全ミラー１１２、およびハーフミラー１１３を備える。照射面Ｓからの光は、ハーフミラー１１３で反射して方向を転換し、全ミラー１１２で反射し、レンズ１１１により焦点Ｆに集光される。この中で、レンズ１１１の中心を垂直に通過する光を逆に辿ったときの照射面Ｓに交差する直線Ａ１が、画像取得部１１０の光軸Ａ１である。
【００３２】
まず、画像取得部１１０の光軸Ａ１と形状計測部１２０の光軸Ｌ０が一致しない場合は、画像取得部１１０の光軸Ａ１と形状計測部１２０の光軸Ｌ０が一致しない場合の光学原点座標を設定する。たとえば、形状計測部１２０の光軸Ｌ０に基づいて光学原点座標を設定することでよい。
【００３３】
形状計測部１２０のレーザ光は、微細な広がり角度をもって帯状に延びており、その両側部Ｌ１、Ｌ２および中央部Ｌ０による画像上のレーザ光の両端部の点Ｑ１、Ｑ２と中央部の点Ｑ０の座標位置を、対象物との相対位置が、位置Ａ、位置Ｂおよび位置Ｃの場合において取得する。図３は、位置Ａの場合を示す。この結果、Ｑ１、Ｑ０、Ｑ２のそれぞれの座標位置が、位置Ａ、Ｂ、Ｃについて得られる。
【００３４】
図４は、３つの位置を説明するための概念図であり、（ａ）は位置Ａ、（ｂ）は位置Ｂ、（ｃ）は位置Ｃの場合を示す。位置Ａにおける対象物の照射面Ｓ１上のレーザ光のＬ１との交点をＱＡ１、Ｌ０との交点をＱＡ０、Ｌ２との交点をＱＡ２とする。また、画像上のこれらに相当する点をそれぞれＰＡ１、ＰＡ０、ＰＡ２とする。
【００３５】
同様に、位置Ｂにおける対象物の照射面Ｓ２上のレーザ光のＬ１との交点をＱＢ１、Ｌ０との交点をＱＢ０、Ｌ２との交点をＱＢ２とする。また、画像上のこれらに相当する点をそれぞれＰＢ１、ＰＢ０、ＰＢ２とする。また、位置Ｃにおける対象物の照射面Ｓ３上のレーザ光のＬ１との交点をＱＣ１、Ｌ０との交点をＱＣ０、Ｌ２との交点をＱＣ２とする。また、画像上のこれらに相当する点をそれぞれＰＣ１、ＰＣ０、ＰＣ２とする。
【００３６】
レーザ光のそれぞれの光線は直線的に進行することから、たとえば、ＱＡ１、ＱＢ１、ＱＣ１は同一直線状にある。また、ＱＡ２、ＱＢ２、ＱＣ２も同一直線状にある。画像上の点ＰＡ１、ＰＢ１、ＰＣ１も同一直線状にある。他の点についても同様である。
【００３７】
次の式（１）は、レーザ光の３次元上の座標（ＸＱ、ＹＱ、ＺＱ）と、画像上の２次元座標を３次元空間に投影した座標（ＸＰ、ＹＰ、ＺＰ）との関係を示す。ここで、ａ１１〜ａ３３は回転変換成分である。
【００３８】
【数１】
0006577243.tif 000002
【００３９】
ここで、各回転変換成分は、次のように表される。
ａ１１＝ｃｏｓω・ｃｏｓκ
ａ１２＝−ｃｏｓφ・ｓｉｎκ
ａ１３＝ｓｉｎφ
ａ２１＝ｃｏｓω・ｓｉｎκ＋ｓｉｎφ・ｃｏｓκ
ａ２２＝ｃｏｓω・ｃｏｓκ＋ｓｉｎω・ｓｉｎκ
ａ２３＝−ｓｉｎω・ｃｏｓφ
ａ３１＝ｓｉｎω・ｓｉｎκ−ｓｉｎφ・ｃｏｓκ
ａ３２＝ｓｉｎω・ｃｏｓκ＋ｃｏｓω・ｓｉｎκ
ａ３３＝ｃｏｓω・ｃｏｓφ
【００４０】
前述のようにレーザ光の３次元上の座標（ＸＱ、ＹＱ、ＺＱ）は算出可能である。また、画像上の２次元座標（ＸＰ、ＹＰ、ＺＰ）は、画像データから決められる値である。したがって、測定された９つの点のそれぞれについて、３次元上の座標（ＸＱ、ＹＱ、ＺＱ）および２次元座標（ＸＰ、ＹＰ、ＺＰ）が与えられる。
【００４１】
これらの値を用いて、式（１）について、最小二乗法などを用いて、回転変換成分ａ１１〜ａ３３を求めることができる。この結果、任意の点の座標位置を変換することが可能となる。
【００４２】
また、位置Ａでの点をＱＡ１、ＱＡ０、ＱＡ２とし、位置Ｃでの点をＱＣ１、ＱＣ０、ＱＣ２とすると、位置Ａと位置Ｃとの間の任意の位置に関しての画像上の位置は、前述のように、直線関係にあることを利用して、内挿により求められる。なお、画像取得部１１０と形状計測部１２０の光学原点座標は、キャリブレーション精度に影響するため、レーザの分解能と画像の分解能のいずれか精度のよい方より、さらに精度よく設定されることが好ましい。
【００４３】
次に、画像取得部１１０の光軸Ａ１と形状計測部１２０の光軸Ｌ０が一致する場合を説明する。まず、形状計測部１２０により、画像上のレーザ光の点Ｑ０、Ｑ１、Ｑ２の座標位置を位置Ａ、ＢおよびＣについて取得する。また、画像取得部１１０により、対応する点Ｐ０、点Ｐ１、および点Ｐ２を取得する。その後、平行移動量、回転量、スケールファクタを、次の式（２）、式（３）について最小二乗法などにより求める。
【００４４】
【数２】
0006577243.tif 000003
【００４５】
ただし、Ｘ、Ｙ、Ｚはレーザ光の３次元座標、ｘ、ｙは画像上の２次元座標、Ｘｍ、Ｙｍ、Ｚｍは平行移動量の３次元座標、ａ１１〜ａ３３は回転変換成分、ｃはスケールファクタである。
【００４６】
また、位置Ａ、Ｂ、Ｃにおいてそれぞれ求められた点Ｐ１、Ｐ２を、位置Ａの場合を点Ｐ１Ａ、点Ｐ２Ａとし、位置Ｃの場合を点Ｐ１Ｃ、Ｐ２Ｃとすると、前述のように、それぞれの直線関係を用いて、画像上の点Ｐ１Ａと点Ｐ１Ｃの間の画像上の座標値を直線式で補間することができる。同様に点Ｐ２Ａと点Ｐ２Ｃの間の画像上の座標値も直線式で補間することができる。この手順により、一致しない場合の補間処理が実施される。
【００４７】
画像データ合成部３２２は、対象物表面の矩形領域もしくは線状領域を複数撮影した場合の画像データに基づいて、互いの対応点から平行移動量と回転量を演算し、求めた平行移動量と回転量を用いて画像を変換・合成する。以下、矩形領域を撮影した場合と、線状領域を撮影した場合に分けて説明する。
【００４８】
図５は、実施形態に係る表面欠陥評価装置の画像データ合成部による画像データのデータ合成の内容を説明するための概念図であり、（ａ）は個別の矩形領域の画像データ、（ｂ）はデータ合成を行った画像データである。図５（ａ）は、矩形領域を撮影した２つの画像Ｆ１、Ｆ２を示す。図５（ａ）に示すように、画像Ｆ１で、丸、正方形、三角形で示す部分Ｋ１、および画像Ｆ２で、丸、正方形、三角形で示す部分Ｋ２は共通である。図５（ｂ）に示すように、画像Ｆ２を回転することにより、部分Ｋ１と部分Ｋ２は重なる。
【００４９】
このように、異なる位置で撮影した２つの画像の互いに重なる領域において、一致あるいは近似する画素をテンプレートマッチングにより検索し、２つの画像間の対応する点を特定する。対応する点のそれぞれの座標に基づいて、次の式（４）により平行移動量と回転量を求める。
【００５０】
【数２】
0006577243.tif 000004
【００５１】
ここで、ｘ、ｙは画像上の2次元座標、ｘ’、ｙ’は検索先の画像上の2次元座標、ｘｍ、ｙｍは平行移動量の2次元座標、ａ１１〜ａ２２は回転変換成分である。
【００５２】
なお、式（４）の平行移動量と回転量を求めるため、図５（ａ）のそれぞれの画像において丸、四角、三角で示すように、最低でも３点以上の対応点を検索する必要がある。これにより、平行移動量と回転量から検索先の画像の座標を全て変換し、合成する。この手順を全ての連続画像について実施することで対象物表面を合成することができる。
【００５３】
また、図５（ａ）に示すような矩形領域を撮影した場合において、線状領域を抽出して合成する場合も可能であり、キャリブレーション結果の平行移動量と回転量から求めた画像上の補間直線式より、各画像から線状領域に対応する画素を抽出し、次の撮影画像から抽出した画素を並列することで合成画像を作成する。この手順を全ての連続画像について実施することで対象物表面を合成することができる。
【００５４】
次に、線状領域を撮影した場合を説明する。図６は、画像データのデータ合成の内容を説明するための概念図であり、（ａ）は個別の線状領域の画像データ、（ｂ）はデータ合成を行った画像データである。すなわち、（ａ）は、対象物へのレーザ照射位置Ｇ１〜Ｇ５を順次、ずらした場合の各画像データである。
【００５５】
画像データ合成部３２２は、スキャン部１３０の３軸の移動駆動部１３１および回転駆動部１３２から移動量と回転量をそれぞれ取得し、次の式（５）および式（６）に代入することにより、合成後の画像座標を得る。
【００５６】
【数３】
0006577243.tif 000005
【００５７】
ただし、Ｘ、Ｙ、Ｚはスキャン部１３０の３次元座標、ｘ、ｙは画像上の２次元座標、Ｘｍ、Ｙｍ、Ｚｍは平行移動量の３次元座標、ａ１１〜ａ３３は回転変換成分、ｃはスケールファクタである。
【００５８】
形状データ合成部３２３は、複数の形状データを３次元的に合成する。形状データ合成部３２３は、次の２つの形状データ合成方法のいずれかが可能に構成されている。なお、いずれも可能に構成されていてもよい。
【００５９】
形状データの第１の合成方法は以下のとおりである。まず、形状計測部１２０での測定により、対象物との距離を１計測あたり３点以上取得する。距離は、図３について説明したように、形状計測部１２０のレーザ照射部１２１とレーザ光撮影用カメラ１２２とを用いて測定、演算が可能である。具体的には、たとえば、まず、形状計測部１２０で測定し、任意の計測位置を原点として距離を演算する。
【００６０】
次に、スキャン部１３０を移動、回転させるとともに、形状データ合成部３２３が、移動量および回転量をスキャン部１３０から受け取り、次の式（７）に示す座標変換式により、移動および回転後の計測位置を算出する。
【００６１】
【数４】
0006577243.tif 000006
【００６２】
ここで、各回転変換成分は、次のように表される。
ａ１１＝ｃｏｓω・ｃｏｓκ
ａ１２＝−ｃｏｓφ・ｓｉｎκ
ａ１３＝ｓｉｎφ
ａ２１＝ｃｏｓω・ｓｉｎκ＋ｓｉｎω・ｓｉｎφ・ｃｏｓκ
ａ２２＝ｃｏｓω・ｃｏｓκ−ｓｉｎω・ｓｉｎφ・ｓｉｎκ
ａ２３＝−ｓｉｎω・ｃｏｓφ
ａ３１＝ｓｉｎω・ｓｉｎκ−ｃｏｓω・ｓｉｎφ・ｃｏｓκ
ａ３２＝ｓｉｎω・ｃｏｓκ＋ｃｏｓω・ｓｉｎφ・ｓｉｎκ
ａ３３＝ｃｏｓω・ｃｏｓφ
【００６３】
ここで、Ｘ’、Ｙ’、Ｚ’は座標変換後の計測データ、Ｘｍ、Ｙｍ、Ｚｍは移動駆動部１３１の移動量、Ｘ０、Ｙ０、Ｚ０はスキャン部１３０の基準位置、Ｘ、Ｙ、Ｚは形状データの座標値、ω、φ、κはそれぞれ回転駆動部１３２のＸ軸、Ｙ軸、Ｚ軸まわりの回転角度である。
【００６４】
移動と回転後の計測位置から、２つ目の形状計測データに基づいて任意の点を仮の原点とした計測位置との計測距離を求める。３つ目の距離についても同様に求める。これにより少なくとも９点の仮の原点との距離が求まる。この時、これら距離を拘束条件として、式（７）の逆変換により、各計測位置の形状計測データの座標値を求める。これにより、全ての計測位置における仮の原点を基準とした形状計測データの座標値を求めることが可能になる。
【００６５】
第２の形状合成方法は、スキャン部１３０の第１軸と定めた移動および回転駆動部１３２の基準位置を原点として、基準位置に対する距離を取得する。この時、基準位置を原点とするため、計測データに対して式（７）により座標変換する。この変換によりスキャン部１３０の原点と定めた位置に対する対象物の形状データを合成することが可能になる。
【００６６】
位置調整・面認識部３２４は、以上のような形状合成手段により、１つの対象物に対する形状計測データの全面もしくは任意の面を１つの形状データに合成した結果を用いて、基準外形データと形状計測データの位置調整を実施する。また、基準外形データにあらかじめ面を識別するラベルを付加しておき、位置調整の際に形状データの座標と基準外形データの座標間の距離が一番近い点にラベルをコピーすることで面認識を行う。以上のように、位置調整・面認識部３２４は、位置調整機能と面認識機能とを有する。
【００６７】
まず、位置調整については、対象物の形状データと基準外形データについて、次の欠陥評価部３３０において同一箇所の形状を比較するために行うものである。位置調整・面認識部３２４は、以下の３つの機能を選択もしくは順次適用して位置調整が可能に構成されている。
【００６８】
位置調整の第１の機能は、対象物の形状が経年変化した場合に、対応可能な方法である。形状データと基準外形データ内のそれぞれの最低３点の基準位置を選択し、あるいは基準位置を含む周辺の形状特徴量を検出し、形状データと基準外形データとのマッチングにより基準位置を決定する。
【００６９】
ここで、形状データと基準外形データのそれぞれの基準位置が必ずしも一致しない場合がある。そこで、補正的な処理として、選択した基準位置の点を含む周辺の形状データを形状特徴量として扱い、点の法線ベクトルやエッジとなる形状部分の座標値を求め、手動選択した点の位置を補正する。この補正した点を最低３点ずつ用いて形状データと基準外形データとの対応付けを行う。対応付けられたそれぞれの３点を用いて、次の式（８）に示す座標変換式にて、移動と回転により位置調整する。
【００７０】
【数６】
0006577243.tif 000007
【００７１】
ここで、Ｘ’、Ｙ’、Ｚ’は座標変換後の形状データ、Ｘｍ、Ｙｍ、Ｚｍは形状データの移動量、Ｘ、Ｙ、Ｚは形状データの座標値である。また、各回転変換成分ａ１１〜ａ３３は、式（７）の注記と同様である。
【００７２】
式（８）について、基準位置について、形状データの変換後の座標と、基準外形データの座標値の差分が最小となるように、たとえば最小二乗法により移動量と回転量を求めればよい。
【００７３】
位置調整の第２の機能は、経年変化により形状変形した場合に、経年変化の影響を受けない部分を用いる方法である。形状計測データと基準形状データから計測点や面の法線ベクトルや形状変化量の特徴量を演算処理により検出し、形状変化量が、任意に設定したしきい値以下の領域を、経年変化の影響を受けていない部分として、その領域から最低３点の基準位置を決定する。なお、位置調整は前述の式（８）を用い、同様の方法で移動量と回転量を求め、座標変換を行う。
【００７４】
位置調整の第３の機能は、形状データと基準外形データの双方に対して、形状が一致する領域を特定し、最低３点の基準位置を決定する。形状が一致する領域を特定するために、形状データから法線ベクトルやエッジ形状を求める。求めた法線ベクトルやエッジ形状の演算データを双方の形状データに対して一致する領域をマッチングにより特定する。
【００７５】
得られた領域内から第１の機能と同様に、特定した領域内から点を選択し、位置調整は前記の式（８）を用い、同様の方法で移動量と回転量を求め、座標変換を行う。
【００７６】
なお、形状が一致する領域は可能な限り対象物の全域に分散していることが望ましいため、特定した領域の重心位置を求め、２つの領域の重心位置間距離に対して任意に設定したしき値により選択することでもよい。
【００７７】
位置調整・面認識部３２４は、以上の機能を用いて、次の欠陥評価部３３０による欠陥の特定のために、形状データと基準外形データの比較を可能とする位置調整を実施する。
【００７８】
次に、位置調整・面認識部３２４の面認識処理機能について説明する。面認識は、前述のように、基準外形データにあらかじめ面を識別するラベルを付加しておき、位置調整の際に、形状データの座標と基準外形データの座標間の距離が一番近い点にラベルをコピーすることで面認識を可能とするものである。また、形状データもしくは基準外形データに対して、最低３点から構成される三角面の法線ベクトルを求めることで、一意に決定されている各面の法線方向と比較し、同一もしくは近似する法線方向から面を認識する方法を用いてもよい。
【００７９】
この面認識処理により、対象物に存在する平面や平面に直交する側面等の面を区別して識別することが可能である。面の区別の仕方は、例えばガスタービン静翼の場合、静翼面、左側面、右側面のそれぞれについて表裏面が存在するため、最低でも６つの面を区別して識別することとなる。
【００８０】
また、位置調整・面認識部３２４は、対象物において設計上存在する特定形状、例えば、静翼面と側壁面の境界や、整流するための孔溝等を、欠陥と誤認識することを防ぐ処理機能を有する。具体的には、基準外形データもしくは設計図面データからテンプレートを作成し、形状データに対し、設計上存在する特定形状を検索する。これにより得られた領域をあらかじめ欠陥評価の対象外領域と設定する。
【００８１】
補間部３２５は、画像データ合成部３２２により合成された画像データと、形状データ合成部３２３により合成された形状データとを、キャリブレーション部３２１の結果を用いて、平行移動量と回転量とを用いて同一座標系上の座標点として対応付け、画素と形状計測点間の座標点を補間する。
【００８２】
まず、キャリブレーション部３２１によるキャリブレーションで導出した画像上の点とレーザ光の対応する点とを関係づける前述の式（１）から、各画素の対応する３次元座標を一致させる。画像データと形状データの分解能が同じ場合には、各画素ごとにそのままのデータで一致させることができる。
【００８３】
図７は、実施形態に係る表面欠陥評価装置の補間部による補間処理を説明するための概念図である。図７では、白丸Ｑで表示する箇所は画素に対応する。その中で、黒丸Ｐで表示する箇所は、形状データでの計測点でもある箇所を示す。たとえば、図７の上下方向の場合に示すように、画像データの分解能はσｐに対し、形状データの分解能はσｍと粗く、双方の分解能が一致しない場合には、細かい方の分解能、すなわちこの例では画像データの分解能σｐを基準として、対応付けをすべき画素の間隔もしくは形状データの間隔についての対応付けを実施する。
【００８４】
形状データの分解能σｍを画像データの分解能σｐで除すると、対応すべき画素の間隔が得られる。例えば、画像データの分解能σｐを０．１ｍｍ／ｐｉｘｅｌ、形状データの分解能σｍを０．４ｍｍとすると、画素の間隔４ｐｉｘｅｌで対応ができることになる。そのため、対応できない画像データの画素２ｐｉｘｅｌ分に相当する形状計測データが不足することになる。
【００８５】
そこで、補間する形状計測データの座標値は、次の式（９）に示す重み付き平均内挿法により求める。
Ｚｐ＝（ΣｗｉＺｉ）／（Σｗｉ）                …（９）
ここで、Ｚｐは補間後の３軸のＸ、Ｙ、Ｚのいずれかの座標値（画像データを補間した場合には、ＲＧＢ色空間の輝度値）、ｗは重み、Ｚは補間前の座標値、ｉは補間する間隔の番号である。
【００８６】
次に、欠陥評価部３３０を構成する前処理部３３１、画像データ表面欠陥判別部３３２、形状データ表面欠陥判別部３３３、欠陥判定部３３４、および表面欠陥寸法推定部３３５について順次説明する。
【００８７】
前処理部３３１は、画像データと形状データの双方に共通する前処理を行う。具体的には、形状データ合成部３２３で合成した形状データと、当初の形状に関する基準外形データとに基づいて、形状が変化した領域の特定処理を実施する。
【００８８】
ここで、当初の形状から変化した領域の特定は、位置調整済みの形状データと基準外形データそれぞれの座標値の差分を求めることにより行う。差分が所定の値より大きな領域を変更領域と判定する。なお、設計上の形状から変更が明確な領域は、判定の対象外としてもよい。この特定された領域に対して、画像データ表面欠陥判別部３３２および形状データ表面欠陥判別部３３３が表面欠陥判別を行う。
【００８９】
図８は、画像データ表面欠陥判別部の構成を示すブロック図である。画像データ表面欠陥判別部３３２は、画像データから欠陥の特徴量を演算し、画像データ上の欠陥の特徴量の集合領域を特定する。画像データ表面欠陥判別部３３２は、画像データ読み込み部３３２ａ、エッジ検出部３３２ｂ、閉領域検出部３３２ｃ、誤検出部分除去部３３２ｄ、および欠陥領域連結部３３２ｅを有する。
【００９０】
画像データ読み込み部３３２ａは、補間部３２５が対応付けし、補間を行った画像データを読み込む。エッジ検出部３３２ｂは、任意に設定した領域サイズに応じた小領域を画像データから抽出する。
【００９１】
閉領域検出部３３２ｃは、画像データの小領域に対して欠陥エッジ検出処理を実施する。なお、小領域の抽出処理は必ずしも必要はないため、処理を省くことができる。欠陥エッジ検出処理は、注目した画素の輝度値を基に、隣接する４つもしくは８つの近傍の輝度値に対してエッジ検出フィルタ（例えば、ソーベルフィルタ）によりエッジ強度、濃度勾配を算出する。
【００９２】
また、エッジ強度に対して任意に設定したしきい値を用いた２値化処理により、エッジか否かを判別し、エッジ領域を検出する。また、濃度勾配結果とエッジ領域検出結果を用いて、隣接する画素間の内積により濃度勾配方向に同様の値を持つ画素を追跡する。画像上の欠陥は閉領域となることを利用して、追跡結果より閉領域（任意の出発点となる画素からどちらか一方の方向に追跡したときに同じ出発点の画素に戻ってくる）を検出する。
【００９３】
誤検出部分除去部３３２ｄは、閉領域検出部３３２ｃが検出した閉領域には、欠陥以外を含む可能性があるため、欠陥の領域と欠陥以外の領域を、画素の面積や閉領域の形状等の演算情報から判別し、誤検出部分を除去処理する。なお、この部分は、経験的な知見が有効であるため、結果を表示して、検査関係者が判断することでもよい。
【００９４】
欠陥領域連結部３３２ｅは、２つ以上に分かれた閉領域を連結する。エッジ検出部３３２ｂ、閉領域検出部３３２ｃ、および誤検出部分除去部３３２ｄのそれぞれによる処理の結果、１つの欠陥が途切れた欠陥として認識される場合がある。そこで、閉領域の輪郭同士が、所定の画素距離以内であれば、輪郭の幅に合わせて欠陥として認識されていない空白領域を欠陥として特定する。
【００９５】
図９は、形状データ表面欠陥判別部の構成を示すブロック図である。形状データ表面欠陥判別部３３３は、位置調整した形状データと基準外形データの座標値を比較し、形状変化している領域を特定し、欠陥のエッジに囲まれた領域を特定する。形状データ表面欠陥判別部３３３は、形状データ読み込み部３３３ａ、小領域抽出部３３３ｂ、深さ方向決定部３３３ｃ、データ投影部３３３ｄ、ノイズ除去部３３３ｅ、エッジ検出部３３３ｆ、閉領域検出部３３３ｇ、誤検出部分除去部３３３ｈ、および欠陥領域連結部３３３ｋを有する。
【００９６】
形状データ読み込み部３３３ａは、補間部３２５にて対応付け、補間された形状データを読込む。小領域抽出部３３３ｂは、任意に設定した領域サイズに応じた小領域を形状計測データから抽出する。なお、小領域の抽出処理は必ずしも必要はないため、処理を省くことができる。
【００９７】
深さ方向決定部３３３ｃは、位置調整・面認識部３２４により位置調整され、面認識された面識別ラベルデータから欠陥の深さ方向となる方向を確認、決定する。
【００９８】
図１０は、形状データ表面欠陥判別部の深さ方向決定部の機能を説明するための概念的斜視図である。図１０は、ガスタービンの静翼の場合を例にとって示している。静翼面ＳＦと静翼面ＳＦに直交する左側面ＳＬと右側面ＳＲが表裏面にある。静翼面の内部方向をき裂深さ方向のＺ軸マイナス向きとする。静翼面の左側面方向をＹ軸プラス向き、静翼面の右側面方向をＹ軸マイナス向き、残りの方向をＸ軸方向とする。すなわち、図１０に示すように、静翼面はＸ、Ｙ軸方向、流体の流れ方向はマイナスＺ軸方向となる。
【００９９】
データ投影部３３３ｄは、形状計測データのＺ軸方向の値を、画像の輝度に対応する輝度値として、データ投影する。いま、演算対象軸方向（Ｚ軸マイナス方向）に直交する平面をｘ−ｙ平面として、形状計測データのＸ座標を座標値投影データのｘ座標、Ｙ座標を座標値投影データのｙ座標とする。Ｚ座標を、画像の輝度に対応する輝度値としてデータ投影するものである。
【０１００】
ここで、Ｘ、Ｙ座標は、スキャン部１３０が等間隔に移動駆動するのが通常であり、この場合は、得られた形状データのままでデータ投影が可能である。等間隔でない場合には、次の式（１０）、（１１）より、３次元座標を２次元座標に投影することでも対応可能である。
【０１０１】
【数７】
0006577243.tif 000008
【０１０２】
ここで、Ｘ、Ｙ、Ｚは形状データの３次元座標、ｘ、ｙは投影データ上の２次元座標、ａ１１〜ａ３３は回転変換成分であり式（７）におけるものと同様である。また、ｃはスケールファクタである。なお、スケールファクタｃは１として算出してもよく、画像データとのスケールを同一にする場合には、補間部３２５にて用いた画像データの分解能と、形状計測データの分解能との比率を与えてもよい。また、回転成分ａ１１〜ａ３３は基本的に直交座標系であるので、各成分の３軸の角度は回転していないものとして０を与える。
【０１０３】
ノイズ除去部３３ｅは、座標値投影データに対して、座標値が特異な凹凸形状を構成する点を検出し、除去するものである。座標値投影データに対し、任意のサイズに設定した矩形領域を抽出し、矩形領域中心の注目座標の座標値とその周囲の座標値との分散値を算出する。算出した分散値が注目座標の周囲の座標値と任意に設定したしきい値以上である場合には、特異な凹凸形状を構成する点であると判別する。判別された点の座標値と周辺の座標値との個々の差分が任意に設定した距離以内である点の座標値のみ集約し、平均化することで特異な凹凸形状を持つ点を除去する。また、判別された点の周辺の分散値も高い場合は、特異な凹凸形状の集合であることから、前記の平均化するための点が存在しない可能性がある。この場合には、矩形領域サイズを大きくし前記の平均化処理をする方法と矩形領域内の座標値の中央値を採る方法のいずれかで特異な凹凸形状の点を除去する。
【０１０４】
エッジ検出部３３３ｆは、エッジを検出し、欠陥の輪郭を推定する。具体的には、座標値投影データを用いて、注目した形状データの座標値に基づいて、隣接する４つの近傍箇所もしくは８つの近傍箇所の座標値に対して、エッジ検出フィルタ（例えば、ソーベルフィルタ）によりエッジ強度分布を作成する。このエッジ強度分布からしきい値以上のエッジ強度を欠陥の輪郭と認識する。しきい値は、対象物の表面状態により異なるため、部分計測して数値確認により設定する方法と、エッジ強度分布全体の標準偏差を求めしきい値とする方法のいずれかによる。
【０１０５】
ここで、対象物の表面状態によっては、孤立する突起状の形状部分が存在する可能性があり、欠陥の輪郭と認識された点の周囲８つの近傍箇所の輪郭点を数える。周囲８つの輪郭点数が任意に設定したしきい値（通常は、孤立点では１に設定）以下であれば、孤立点として除去する。
【０１０６】
閉領域検出部３３３ｇは、輪郭点の集合が閉領域である場合には、欠陥として認識されるが、部分的に途切れた部分が存在すると、閉領域とはならず欠陥として認識されないため、検査記録に記載すべきき裂長さ以下の途切れた部分を連結する処理を加える。
【０１０７】
誤検出部分除去部３３３ｈは、閉領域検出部３３３ｇにて検出された領域が、誤検出された部分であるかを確認するため、欠陥の領域と欠陥以外の領域は、画素の面積や閉領域の形状等の演算情報から判別し、誤検出部分を除去処理する。
【０１０８】
欠陥領域連結部３３３ｋは、１つの欠陥が途切れた欠陥として認識する場合があるので、閉領域の輪郭間の距離が、任意に設定した画素距離以内であれば、輪郭の幅に合わせ欠陥として認識されていない空白領域を欠陥として認識し、２つ以上に分かれた閉領域を連結する。
【０１０９】
欠陥判定部３３４は、画像データ表面欠陥判別部３３２および形状データ表面欠陥判別部３３３の双方の欠陥認識結果を用いて、欠陥であるか否かを判別する。ここでは、画像データの分解能が形状データの分解能より小さい場合について記載するが、逆の場合も同様の処理を実施することで判別が可能である。
【０１１０】
画像データの分解能が小さい場合には、形状データの欠陥認識結果よりも小さな欠陥を検出可能であるが、誤検出を含む可能性がある。この画像データの欠陥認識結果に含まれる誤検出の可能性のある欠陥に対応するものが、形状計測データの欠陥認識の結果に存在しない場合は、誤検出欠陥として除去する。したがって、表面欠陥寸法推定部３３５は、画像データの欠陥認識結果と形状データの欠陥認識結果の論理積を求める。これにより一方に存在しない欠陥は除去し、欠陥認識結果の統合が並行して実施される。
【０１１１】
表面欠陥寸法推定部３３５は、欠陥の寸法を推定する。図１１は、表面欠陥評価装置の表面欠陥寸法推定部の構成を示すブロック図である。表面欠陥寸法推定部３３５は、画像基準推定部３３５ａと形状基準推定部３３５ｂとを有する。
【０１１２】
画像基準推定部３３５ａは、画像データからき裂の開始点と終端点を検出して欠陥の寸法を推定する。具体的には、まず、画像基準推定部３３５ａは、画像データから欠陥と認識された領域の中心線を、細線化あるいは骨格化処理により求める。また、き裂領域の最外矩形を求め、き裂領域と矩形の接点を開始点もしくは終端点に相当する点から中心線として検出された端点まで延長する。これにより、開始点または終端点を決定する。ここで、複数個の開始点と終端点の候補が存在することになるため、すべての組合せの中で中心線上の距離が最も長い組み合わせをき裂の開始点と終端点とする。得られた開始点と終端点及びその両端点間の中心線の形状計測データと対応付けられた座標値を積算することで、欠陥の長さを求める。
【０１１３】
また、欠陥の幅は中心線に直交する垂線とき裂の輪郭の両接点の距離を開始点から終端点まで求め、その平均値、最大値、あるいは最小値のうち任意に選択した値を欠陥の幅として求める。ただし、欠陥に分岐点がある場合には、求めた欠陥の幅を長く求める可能性があるため、任意に設定した分岐点前後の区間を除外するか否かの選択が可能に構成されている。通常、この区間は検査記録に記載する最小欠陥幅に基づいて設定する。
【０１１４】
形状基準推定部３３５ｂは、形状データとの対応付けされた座標値から、欠陥の寸法を推定する。すなわち、形状計測データからき裂の開始点と終端点を検出して欠陥の寸法を推定する。
【０１１５】
図１２は、寸法測定処理を説明するための概念的斜視図である。まず、形状計測データから欠陥と認識された領域のき裂方向の中心線Ｌ０を、細線化や骨格化処理により求める。また、欠陥領域の最外の矩形Ａを求め、欠陥領域と矩形Ａの接点を開始点もしくは終端点に相当する点から中心線として検出された端点まで延長する。これにより、開始点または終端点が決定される。ここで、複数個の開始点と終端点の候補が存在することになるため、すべての組合せの中で中心線上の距離が最も長い組み合わせを欠陥の開始点と終端点とする。
【０１１６】
得られた開始点と終端点及びその両端点間の中心線の形状計測データの座標値を積算することで、欠陥の長さが求められる。また、欠陥の幅も画像基準推定部３３５ａの場合と同様に、中心線に直交する垂線とき裂の輪郭の両接点の距離を開始点から終端点まで求め、その平均値、最大値、最小値から任意に選択した値を欠陥の幅として求める。ただし、欠陥に分岐点がある場合には、求めた欠陥の幅が長く求まる可能性があるため、任意に設定した分岐点前後の区間を除外するか否かの選択はできる方法としている。通常、この区間は検査記録に記載する最小き裂幅に基づいて設定する。
【０１１７】
結果作成部３４０は、欠陥評価部３３０での結果を用いて、欠陥長さおよび幅について所定のしきい値を超える値を、検査記録として記録するとともに、表示する画像を作成して、出力部４２０に出力する。
【０１１８】
まず、結果作成部３４０は、検査記録として対象物の各面を２次元画像として記録するために、外形データ記憶部２１０に格納されている形状データおよび基準外形データのそれぞれに対して、形状データの座標値を用いてエッジとなる輪郭を検出する。さらに、検出した対象物の輪郭を３次元空間上の任意に指定した視点から２次元空間に投影した投影画像を作成する。
【０１１９】
形状輪郭を検出する方法は、対象物の形状データと基準外形データのそれぞれに対して、エッジとなる形状変化点を法線ベクトルや形状勾配量（形状データの周辺の微分値）から検出する。検出された形状変化点を用いて、その変化点が連続する点のみを検出する。不連続となる場合には、任意に設定した形状変化点の連続点として判別可能として設定したしきい値以内であれば、連続点として検出する。この機能により、対象物の形状輪郭を検出する。
【０１２０】
次に、検出した対象物の輪郭を３次元空間上の任意に指定した視点から２次元空間に投影した投影画像を作成する。任意に指定する点は、例えば対象物の上面から見た状態や側面を見た状態であり、適宜視点は変えられるものとして、視点の座標値を入力する方法と、３次元空間上で任意の視点から対象物の形状データを確認できるモニタ表装置上で演算処理装置の入力補助装置であるマウスやキーボードで指定する方法である。
【０１２１】
さらに、以上の結果、記録すべき欠陥と判定された欠陥について、形状データと、以上により作成された投影画像とから、合成画像を作成する。また、個々の欠陥に対応した表面欠陥寸法推定部３３５により得られる欠陥長さ等の欠陥情報を、合成画像上に描画する。さらに、表面欠陥寸法推定部３３５により得られる欠陥長さ等の欠陥情報を形状データや合成画像とともに、対象物ごとに一元管理して演算結果記憶部２２０に格納する。
【０１２２】
図１３は、実施形態に係る表面欠陥検査方法の全体の手順を示すフロー図である。
【０１２３】
まず、キャリブレーション部３２１がキャリブレーションを行う（ステップＳ１００）。すなわち、キャリブレーション部３２１が、形状データと画像データとの対応関係を推定する。
【０１２４】
次に、表面データ取得装置１００により、外形データを取得する（ステップＳ２００）。すなわち、画像取得部１１０により画像データを、形状計測部１２０により形状データを取得する。
【０１２５】
次に、データ合成を行う（ステップＳ３００）。すなわち、画像データ合成部３２２が画像データの合成を行い、形状データ合成部３２３が形状データの合成を行う。次に、位置調整・面認識部３２４が、基準外形データと形状計測データの位置調整を実施する（ステップＳ４００）。位置調整の後に、補間部３２５が、キャリブレーション部３２１の結果を用いて、画像データと形状データとを対応付け、画素と形状計測点間の座標点を補間する（ステップＳ５００）。
【０１２６】
次に、表面欠陥の判別を行う（ステップＳ６００）。図１４は、実施形態に係る表面欠陥検査方法の中の表面欠陥判別ステップＳ６００の基本的な手順を示すフロー図である。
【０１２７】
まず、欠陥評価部３３０の前処理部３３１が、画像データと形状データの双方に共通する前処理として、形状データ合成部３２３で合成した形状データと、当初の形状に関する基準外形データとに基づいて、形状が変化した領域の特定処理を実施する（ステップＳ６１０）。
【０１２８】
次に、画像データ表面欠陥判別部３３２が、画像データに基づいて表面欠陥認識処理を行う（ステップＳ６２０）。図１５は、実施形態に係る表面欠陥検査方法の中の表面欠陥判別ステップＳ６００のうちの画像データからの表面欠陥認識処理Ｓ６２０の手順を示すフロー図である。
【０１２９】
まず、画像データ読み込み部３３２ａが、外形データ記憶部２１０から画像データを読み込む（ステップＳ６２１）。次に、画像データ表面欠陥判別部３３２が設定領域を抽出し（ステップＳ６２２）、エッジ検出部３３２ｂがエッジ検出処理を行う（ステップＳ６２３）。
【０１３０】
次に、閉領域検出部３３２ｃが、欠陥の閉領域の検出をおこなう（ステップＳ６２４）。その後、誤検出部分除去部３３２ｄが、誤検出部分の除去処理を行う（ステップＳ６２５）。次に、画像データ表面欠陥判別部３３２は、すべての対象領域についての処理を完了したか否かを判定する（ステップＳ６２６）。完了していないと判定された場合（ステップＳ６２６  ＮＯ）は、ステップＳ６２２以降を繰り返す。完了していると判定された場合（ステップＳ６２６  ＹＥＳ）は、欠陥領域連結部３３２ｅが、欠陥領域の連結処理を行う（ステップＳ６２７）。
【０１３１】
また、図１４において、形状データ表面欠陥判別部３３３が、形状データに基づいて欠陥認識処理を行う（ステップＳ６３０）。なお、ステップＳ６２０とステップＳ６３０の順序は問わない。並行に行ってもよい。
【０１３２】
図１６は、実施形態に係る表面欠陥検査方法の中の表面欠陥判別ステップＳ６００のうちの形状データからの表面欠陥認識処理Ｓ６３０の手順を示すフロー図である。
【０１３３】
まず、形状データ読み込み部３３３ａが、外形データ記憶部２１０から形状データを読み込む（ステップＳ６３１）。小領域抽出部３３３ｂが設定領域を抽出し（ステップＳ６３２）、深さ方向決定部３３３ｃが設定領域の面情報の確認を行う（ステップＳ６３３）。
【０１３４】
次に、データ投影部３３３ｄが、周方向に合わせたデータ投影処理を行う。また、ノイズ除去部３３３ｅが、ノイズ除去を行う（ステップＳ６３４）。その後、エッジ検出部３３３ｆがエッジ検出を行い（ステップＳ６３５）、閉領域検出部３３３ｇが欠陥の閉領域検出処理を行う（ステップＳ６３６）。また、誤検出部分除去部３３３ｈが、誤検出部分の除去処理を行う（ステップＳ６３７）。
【０１３５】
次に、形状データ表面欠陥判別部３３３は、すべての対象領域についての処理を完了したか否かを判定する（ステップＳ６３８）。完了していないと判定された場合（ステップＳ６３８  ＮＯ）は、ステップＳ６３２以降を繰り返す。完了していると判定された場合（ステップＳ６３８  ＹＥＳ）は、欠陥領域連結部３３３ｋが、欠陥領域の連結処理を行う（ステップＳ６３９）。
【０１３６】
次に、欠陥判定部３３４は、画像データ表面欠陥判別部３３２および形状データ表面欠陥判別部３３３の双方の欠陥認識結果を用いて、欠陥であるか否かの判別、すなわち欠陥データの統合判別の処理を行う（ステップＳ６４０）。以上の表面欠陥判別（ステップＳ６００）の後に、図１３に示すように、表面欠陥寸法推定を行う（ステップＳ７００）。この後に、結果作成部３４０が、表面欠陥寸法推定の結果に基づいて記録を作成する（ステップＳ８００）。また、出力部４２０は、この結果を、表示あるいは印刷等により出力する。
【０１３７】
以上のような本実施形態によれば、表面欠陥検査において、画像データと形状データの両者に基づいて演算処理を行うことによって、検出率を高め、検査記録に記載すべきレベルの表面欠陥寸法を測定可能とする自動的な検査が可能となる。
【０１３８】
［その他の実施形態］
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。たとえば、実施形態では、表面欠陥寸法推定部３３５では、画像データでの欠陥認識結果と形状データでの欠陥認識結果の論理積により推定する場合を示したがこれに限定されない。たとえば、論理和、すなわち、画像データでの欠陥認識結果と形状データか欠陥認識結果のいずれかが欠陥と認識した場合は、欠陥と判定することとしてもよい。ただし、この場合は、いずれかのみの認識の結果であるという情報を付しておくことが、その後の調査のために有効である。
【０１３９】
また、各実施形態の特徴を組み合わせてもよい。さらに、これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【０１４０】
１００…表面データ取得装置、１１０…画像取得部、１１１…レンズ、１１２…全ミラー、１１３…ハーフミラー、１２０…形状計測部、１２１…レーザ照射部、１２２…レーザ光撮影用カメラ、１３０…スキャン部、１３１…移動駆動部、１３２…回転駆動部、１３３…固定部、２００…メモリ、２１０…外形データ記憶部、２２０…演算結果記憶部、３００…ＣＰＵ、３１０…制御部、３２０…演算部、３２１…キャリブレーション部、３２２…画像データ合成部、３２３…形状データ合成部、３２４…位置調整・面認識部、３２５…補間部、３３０…欠陥評価部、３３１…前処理部、３３２…画像データ表面欠陥判別部、３３２ａ…画像データ読み込み部、３３２ｂ…エッジ検出部、３３２ｃ…閉領域検出部、３３２ｄ…誤検出部分除去部、３３２ｅ…欠陥領域連結部、３３３…形状データ表面欠陥判別部、３３３ａ…形状データ読み込み部、３３３ｂ…小領域抽出部、３３３ｃ…深さ方向決定部、３３３ｄ…データ投影部、３３３ｅ…ノイズ除去部、３３３ｆ…エッジ検出部、３３３ｇ…閉領域検出部、３３３ｈ…誤検出部分除去部、３３３ｋ…欠陥領域連結部、３３４…欠陥判定部、３３５…表面欠陥寸法推定部、３３５ａ…画像基準推定部、３３５ｂ…形状基準推定部、３４０…結果作成部、４００…表面欠陥評価装置、４１０…入力部、４２０…出力部、５００…欠陥測定システム
【図１】
0006577243.tif 000009
【図２】
0006577243.tif 000010
【図３】
0006577243.tif 000011
【図４】
0006577243.tif 000012
【図５】
0006577243.tif 000013
【図６】
0006577243.tif 000014
【図７】
0006577243.tif 000015
【図８】
0006577243.tif 000016
【図９】
0006577243.tif 000017
【図１０】
0006577243.tif 000018
【図１１】
0006577243.tif 000019
【図１２】
0006577243.tif 000020
【図１３】
0006577243.tif 000021
【図１４】
0006577243.tif 000022
【図１５】
0006577243.tif 000023
【図１６】
0006577243.tif 000024