(57)【特許請求の範囲】
【請求項１】
金属材料の鏡面研磨した試料面を金属顕微鏡により観察して非金属介在物を自動検査する方法であって、焦点合せ、粗検査および精密検査を行い、焦点合せにおいては、試料面内のＸ方向およびＹ方向と高さ方向のＺ方向にそれぞれ位置調整可能な試料ステージに被検査試料を固定し、試料面のＸ方向傾斜およびＹ方向傾斜を求め、該各傾斜から被検査範囲各視野の焦点位置を演算し、粗検査においては、被検査範囲の全視野について、前記演算結果の焦点位置に合せつつ、試料ステージの全視野スキャニングを行い、ＣＣＤカメラによる顕微鏡像の撮像結果を画像処理して異物の有無を判定し、精密検査においては、前記粗検査で異物有りと判定した各視野について選択スキャニングを行い、画像処理により、異物の円形度、複雑度およびアスペクト比からなる形状パラメータ、赤緑青３原色のヒストグラムからなる色パラメータ、該ヒストグラムの分散度およびパターン合致度をパラメータとするニューロ・ファジー推論を行い、前記異物が非金属介在物であるか否か、非金属介在物である場合はその種類を判別し、必要データを出力することを特徴とする金属材料中の非金属介在物検査方法。
【請求項２】
金属材料の鏡面研磨した試料面を金属顕微鏡により観察して非金属介在物を自動検査する装置であって、金属顕微鏡、該顕微鏡の試料ステージを試料面内のＸ方向およびＹ方向に位置調整するための試料ステージコントローラ、該試料ステージを高さ方向のＺ方向に位置調整するためのＺ軸コントローラ、試料面の顕微鏡像を撮像するためのＣＣＤカメラ、および演算制御処理装置からなり、演算制御処理装置は、焦点合せ機構、粗検査機構および精密検査機構を有し、焦点合せ機構は、試料面のＸ方向傾斜およびＹ方向傾斜から被検査範囲各視野の焦点位置を演算し、前記試料ステージコントローラおよびＺ軸コントローラを作動させる機構であり、粗検査機構は、被検査範囲の全視野について、前記試料ステージコントローラおよびＺ軸コントローラを作動させ、試料ステージの全視野スキャニングを行うとともに、前記ＣＣＤカメラによる顕微鏡像の撮像結果を画像処理して異物の有無を判定する機構であり、精密検査機構は、前記試料ステージコントローラおよびＺ軸コントローラを作動させ、前記粗検査で異物有りと判定した各視野について選択スキャニングを行い、画像処理により、異物の円形度、複雑度およびアスペクト比からなる形状パラメータ、および赤緑青３原色のヒストグラムからなる色パラメータ、該ヒストグラムの分散度およびパターン合致度をパラメータとするニューロ・ファジー推論を行い、前記異物が非金属介在物であるか否か、非金属介在物である場合はその種類を判別し、必要データを出力する機構であることを特徴とする金属材料中の非金属介在物検査装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、鋼材など金属材料中の非金属介在物を自動検査するための方法およびその装置に関するものである。
【０００２】
【従来の技術】
鋼材中の非金属介在物は、疲労強度など各種材料特性に多大の影響を及ぼすため、鏡面研磨した試料を金属顕微鏡でオペレーターが観察して、非金属介在物の種類を判別し、必要な検査データを算出していた。検査データとしては、JIS G 0555に規定される清浄度等が一般に採用されている。清浄度は、接眼鏡に縦横各２０本の格子線をもつガラス板を挿入して、被検査面をランダムに繰り返し検鏡し、介在物によって占められた格子点中心の数を数えて算出するものである。
【０００３】
金属顕微鏡による非金属介在物の観察には、介在物種類の判別に高度な判断力を要するうえ、ＪＩＳ規格では原則６０視野測定すると規定されているように、観察視野数が多いため根気も必要である。したがって、オペレーターに精神的および肉体的な負荷がかかっている。そこで、近年、顕微鏡像の画像処理を利用した検査の自動化が試みられている。
【０００４】
【発明が解決しようとする課題】
従来の非金属介在物自動検査においては、金属顕微鏡の観察視野毎に焦点合せを行うため処理速度が遅く、長時間を必要としていた。そのうえ画像処理では、非金属介在物とゴミなどの付着物との判別や、非金属介在物の種類の判別に際して誤認識の確率が高く、検査データの信頼性が不十分であった。
【０００５】
本発明は、鋼材など金属材料中の非金属介在物を自動検査するための方法およびその装置であって、従来よりも処理時間を大幅に短縮するとともに、非金属介在物とゴミなどの付着物との判別、および非金属介在物の種類の判別に際しては、誤認識の確率を低減することで信頼性を高め、人手による検査に置換え可能とすることを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するための本発明法は、金属材料の鏡面研磨した試料面を金属顕微鏡により観察して非金属介在物を自動検査する方法であって、焦点合せ、粗検査および精密検査を行い、焦点合せにおいては、試料面内のＸ方向およびＹ方向と高さ方向のＺ方向にそれぞれ位置調整可能な試料ステージに被検査試料を固定し、試料面のＸ方向傾斜およびＹ方向傾斜を求め、該各傾斜から被検査範囲各視野の焦点位置を演算し、粗検査においては、被検査範囲の全視野について、前記演算結果の焦点位置に合せつつ、試料ステージの全視野スキャニングを行い、ＣＣＤカメラによる顕微鏡像の撮像結果を画像処理して異物の有無を判定し、精密検査においては、前記粗検査で異物有りと判定した各視野について選択スキャニングを行い、画像処理により、異物の円形度、複雑度およびアスペクト比からなる形状パラメータ、赤緑青３原色のヒストグラムからなる色パラメータ、該ヒストグラムの分散度およびパターン合致度をパラメータとするニューロ・ファジー推論を行い、前記異物が非金属介在物であるか否か、非金属介在物である場合はその種類を判別し、必要データを出力することを特徴とする金属材料中の非金属介在物検査方法である。
【０００７】
また上記目的を達成するための本発明装置は、金属材料の鏡面研磨した試料面を金属顕微鏡により観察して非金属介在物を自動検査する装置であって、金属顕微鏡、該顕微鏡の試料ステージを試料面内のＸ方向およびＹ方向に位置調整するための試料ステージコントローラ、該試料ステージを高さ方向のＺ方向に位置調整するためのＺ軸コントローラ、試料面の顕微鏡像を撮像するためのＣＣＤカメラ、および演算制御処理装置からなり、演算制御処理装置は、焦点合せ機構、粗検査機構および精密検査機構を有し、焦点合せ機構は、試料面のＸ方向傾斜およびＹ方向傾斜から被検査範囲各視野の焦点位置を演算し、前記試料ステージコントローラおよびＺ軸コントローラを作動させる機構であり、粗検査機構は、被検査範囲の全視野について、前記試料ステージコントローラおよびＺ軸コントローラを作動させ、試料ステージの全視野スキャニングを行うとともに、前記ＣＣＤカメラによる顕微鏡像の撮像結果を画像処理して異物の有無を判定する機構であり、精密検査機構は、前記試料ステージコントローラおよびＺ軸コントローラを作動させ、前記粗検査で異物有りと判定した各視野について選択スキャニングを行い、画像処理により、異物の円形度、複雑度およびアスペクト比からなる形状パラメータ、および赤緑青３原色のヒストグラムからなる色パラメータ、該ヒストグラムの分散度およびパターン合致度をパラメータとするニューロ・ファジー推論を行い、前記異物が非金属介在物であるか否か、非金属介在物である場合はその種類を判別し、必要データを出力する機構であることを特徴とする金属材料中の非金属介在物検査装置である。
【０００８】
【発明の実施の形態】
本発明法を図１のブロック図に示す具体例により説明する。
金属顕微鏡１には試料ステージ２、Ｚ軸コントローラ４およびＣＣＤカメラ６が接続されている。そして、試料ステージ２には試料ステージコントローラ３が、ＣＣＤカメラ６にはカメラ用電源７が、それぞれ付設されている。
【０００９】
試料ステージコントローラ３およびＺ軸コントローラ４は、通信インターフェース５を経てホストパソコン１０に接続され、ＣＣＤカメラ６およびカメラ用電源７は、画像処理ボード８を経てホストパソコン１０に接続されている。画像処理ボード８には画像モニター９が付設されている。またホストパソコン１０には、キーボード１１、マウス１２、ＰＣ用モニター１３およびプリンター１４が、それぞれ接続されている。
【００１０】
試料ステージ２は、試料ステージコントローラ３によりＸ方向およびＹ方向に位置調整され、Ｚ軸コントローラ４によりＺ方向に位置調整される。Ｘ方向およびＹ方向は試料面内のたがいに直交する方向であり、Ｚ方向は試料面の高さ方向である。なおＺ軸コントローラ４は、レンズ切替えなど金属顕微鏡１本体のコントローラに試料ステージ２のＺ方向位置調整機能を付加したものであり、金属顕微鏡１を経て試料ステージ２をコントロールする。
【００１１】
本発明法を行うには、まず検査すべき金属材料の鏡面研磨したものを、金属顕微鏡１の試料ステージ２に固定する。ついで初期入力として、試料面の被検査範囲と出力すべき検査データをキーボード１１によりホストパソコン１０に入力し、試料ステージコントローラ３に対し試料面の初期被検査位置を指定する。その後、本発明法によりつぎの手順で自動検査が遂行される。
【００１２】
１．焦点合せ
1-1）試料ステージコントローラ３およびＺ軸コントローラ４が作動して試料ステージ２がＸＹＺ方向に位置調整され、被検査範囲の正方形または長方形のコーナー部４視野中の３視野に焦点を合せ、該３視野各中心点のＸＹＺ各座標点が読み取られ、ホストパソコン１０にて被検査範囲のＸ方向傾斜およびＹ方向傾斜を演算する。ただし、Ｘ，Ｙは試料面内の直交２方向、Ｚは高さ方向である。
1-2）上記３点のＸＹＺ各座標点とＸ方向傾斜およびＹ方向傾斜から、被検査範囲各視野毎に焦点のＺ座標点を演算する。
【００１３】
２．粗検査
2-1）被検査範囲の全視野について試料ステージ２が位置調整されつつ移動し、上記各視野毎のＺ座標点を焦点高さとして全視野スキャニングを行う。
2-2）ＣＣＤカメラ６による全視野の撮像結果を、ホストパソコン１０の指示に従って画像処理ボード８にて画像処理を行い、その結果からホストパソコン１０にて異物の有無を判別し、異物有りの視野位置を記憶する。
【００１４】
３．精密検査
3-1）上記異物有りの視野のみについて試料ステージ２が位置調整され、選択スキャニングを行う。
3-2）ＣＣＤカメラ６による上記異物有り視野の撮像結果を、ホストパソコン１０の指示に従って画像処理ボード８にて画像処理を行い、その結果からホストパソコン１０にて、異物が非金属介在物であるか否かを判別し、非金属介在物である場合はその種類を判別して、種類別の個数、大きさ、面積率等を計測する。JIS G 0555に規定される清浄度を出力する場合は、金属顕微鏡１の接眼鏡に挿入したガラス板の縦横各２０本の格子線で形成される格子点のうち、非金属介在物によって占められた格子点の数を計測する。
3-3）検査データを演算して表示および記録する。
【００１５】
上記手順において、検査データとしては、ＪＩＳに規定される非金属介在物清浄度のほか、非金属介在物の種類別および大きさ別個数等を出力することができる。
【００１６】
ここで、焦点合せにおける試料面のＸ方向傾斜およびＹ方向傾斜の求め方、および各視野毎の焦点のＺ座標点の求め方について図２〜図４により説明する。被検査範囲の正方形または長方形内に、図２のように顕微鏡視野が区切られているとする。Ｘ方向の全視野数をＸmax 、Ｙ方向の全視野数をＹmax 、試料ステージ２の移動により観察視野がＸ方向に移動した視野数をｉ、Ｙ方向に移動した視野数をｊとする。
【００１７】
被検査範囲のコーナー部４視野すなわちＡ，Ｂ，Ｃ，Ｄ中の３視野、例えばＡ，Ｂ，Ｃに焦点を合せ、Ａ視野のＺ座標を０とすると、Ｘ方向傾斜は図３のようにΔＡＢ／Ｘmax 、Ｙ方向傾斜は図４のようにΔＡＣ／Ｙmax となる。被検査範囲は平面であると仮定できるので、ＸＹ座標（ｉ，ｊ）の任意の観察視野における焦点位置のＺ座標点は、
Ｚ＝（ΔＡＢ／Ｘmax ）・ｉ＋（ΔＡＣ／Ｙmax ）・ｊ        （１）
と表すことができる。
なお、Ａ，Ｂ，Ｃ各視野の焦点合せは、従来の顕微鏡で一般に採用されているオートフォーカスロジックににより行うことができる。
【００１８】
粗検査における異物有無の判別に際しては、ＣＣＤカメラ６の撮像結果を画像処理により２値化し、視野面積に対する異物らしきものの面積率が所定のしきい値を超えた場合、異物有りと判断することができ、１視野あたりの所要時間は数１００ｍｓｅｃである。
【００１９】
精密検査において、異物が非金属介在物であるか否かの判別、および非金属介在物である場合の介在物種類の判別は、ＣＣＤカメラ６の撮像結果を画像処理し、ニューロ・ファジー推論により行う。ニューロ・ファジーのパラメータとしては、異物の円形度、複雑度およびアスペクト比からなる形状パラメータ、赤緑青３原色のヒストグラムからなる色パラメータ、該ヒストグラムの分散度およびパターン合致度を採用する。
【００２０】
非金属介在物の種類は、鋼材の場合、JIS G 0555に規定されるＡ系、Ｂ系およびＣ系、必要ある場合はさらにＡ1 系、Ａ2 系、Ｂ1 系、Ｂ2 系、Ｃ1 系、Ｃ2 系に判別することができる。非金属介在物以外の異物としては、付着したゴミなどの凸部およびホールや疵などの凹部を判別することができる。
ちなみに、Ａ系介在物は加工によって粘性変形したもの（硫化物、けい酸塩など）で、必要ある場合には、さらにＡ1 系（硫化物）とＡ2 系（けい酸塩）に分けると規定されている。Ｂ系介在物は加工方向に集団をなして不連続的に粒状の介在物が並んだもの（アルミナなど）で、Ｎｂ，Ｔｉ，Ｚｒの１種または２種以上を含む鋼においては、必要ある場合には、さらにＢ1 系（アルミナなどの酸化物系）とＢ2 系（Ｎｂ，Ｔｉ，Ｚｒの炭窒化物系）に分けると規定されている。また、Ｃ系介在物は粘性変形をしないで不規則に分散するもの（粒状酸化物など）で、Ｎｂ，Ｔｉ，Ｚｒの１種または２種以上を含む鋼においては、必要ある場合には、さらにＣ1 系（酸化物系）とＣ2 系（Ｎｂ，Ｔｉ，Ｚｒの炭窒化物系）に分けると規定されている。
【００２１】
形状パラメータの円形度ａ、複雑度ｂおよびアスペクト比ｃは、
ａ＝４π×（面積）／（周囲長）2 
ｂ＝（周囲長）2 ／（面積）
ｃ＝（長径）／（短径）
で定義される。
【００２２】
ヒストグラムの分散度は、図５のように、ヒストパターン全面積に対する斜線で示す設定範囲中の面積の比率で定義される。また、ヒストグラムのパターン合致度は、あらかじめ既知の各種非金属介在物についてヒストグラムの標準パターンを作成しておき、未知異物について得られたヒストグラムを重ねたときの面積差と標準パターンの面積との比で定義される。
【００２３】
パターン合致度の例を示すと、図６（ｂ）のように、実線の標準パターンと破線で示す未知異物のヒストグラムパターンとの面積差、すなわち斜線部分の面積と標準パターンの面積との比がパターン合致度である。なお、未知異物のヒストグラムパターンのピーク位置が、図６（ａ）の破線のように標準パターンのピーク位置と一致しないときは、あらかじめ設定した範囲内のものについて、ピーク位置を図６（ｂ）のように一致させて面積差を求める。
【００２４】
本発明法におけるニューロ・ファジー推論は、上記各パラメータを採用して、従来から一般に行われている手法により行うことができる。すなわち上記各パラメータについて、既知異物の計測値をあらかじめ記憶させておき、未知異物の計測値を順次比較して判別する。判別結果については、熟練オペレーターが正認識か誤認識かを判定し、繰り返し学習させることで、正認識率を高めかつ判別速度を向上させていく。
【００２５】
つぎに本発明装置は、図１の例に示すように、金属顕微鏡１、試料ステージ２、試料ステージコントローラ３、Ｚ軸コントローラ４、ＣＣＤカメラ６、および演算制御処理装置からなる。演算制御処理装置は、焦点合せ機構、粗検査機構および精密検査機構を有する。
【００２６】
焦点合せ機構は、試料面のＸ方向傾斜およびＹ方向傾斜から被検査範囲各視野の焦点位置を演算し、試料ステージコントローラ３およびＺ軸コントローラ４を作動させる機構であり、図１の例ではホストパソコン１０、通信インターフェース５、試料ステージコントローラ３、Ｚ軸コントローラ４、画像処理ボード８、カメラ電源７、およびＣＣＤカメラ６で構成される。
【００２７】
粗検査機構は、被検査範囲の全視野について、試料ステージコントローラ３およびＺ軸コントローラ４を作動させ、試料ステージ２の全視野スキャニングを行うとともに、ＣＣＤカメラ６による顕微鏡像の撮像結果を画像処理して異物の有無を判定する機構であり、図１の例ではホストパソコン１０、通信インターフェース５、試料ステージコントローラ３、Ｚ軸コントローラ４、画像処理ボード８、カメラ電源７、およびＣＣＤカメラ６で構成される。
【００２８】
精密検査機構は、試料ステージコントローラ３およびＺ軸コントローラ４を作動させ、粗検査で異物有りと判定した各視野について選択スキャニングを行い、画像処理により、異物の円形度、複雑度およびアスペクト比からなる形状パラメータ、および赤緑青３原色のヒストグラムからなる色パラメータ、該ヒストグラムの分散度およびパターン合致度をパラメータとするニューロ・ファジー推論を行い、異物が非金属介在物であるか否か、非金属介在物である場合はその種類を判別し、必要データを出力する機構である
図１の例では、精密検査機構は、ホストパソコン１０、通信インターフェース５、試料ステージコントローラ３、Ｚ軸コントローラ４、画像処理ボード８、カメラ電源７、ＣＣＤカメラ６、ＰＣ用モニター１３およびプリンター１４で構成される。
そして、各機構の作用については、上記本発明法において説明したとおりである。
【００２９】
【実施例】
軸受鋼圧延材について４０個のサンプルを切り出し、圧延方向に平行な面を鏡面研磨して、図１に示す構成の本発明法および装置により非金属介在物の検査を行った。被検査範囲は各サンプルとも５mm×５mmの正方形とし、顕微鏡倍率は４００倍でそれぞれ２２０視野検査した。検査所要時間は、１サンプルあたり４分であった。
各サンプル内に存在した最大の異物について、本発明法および装置による自動判別結果と熟練オペレーターの判別結果とを対比し、熟練オペレーターの判別を正しいとすると、表１に示すように、正認識数は合計４０個中３６個であり、正解率９０％であった。
【００３０】
判別例を図７、図８および図９に示す。各図において、左側はＣＣＤカメラで撮像後、画像処理により２値化した像、右側は３原色のヒストグラムである。図７はサルファイド（硫化物）、図８はオキサイド（酸化物）、図９は付着したゴミと判別したものである。
【００３１】
【表１】
0003869905.tif 000002
【００３２】
【発明の効果】
本発明法および装置の採用により、従来、オペレーターに多大な精神的および肉体的な負荷がかかっていた非金属介在物検査の自動化が、実用レベルで可能となる。すなわち従来の自動化処理では長時間を要し、かつ介在物種類の判別結果においては誤認識の確率が高く、信頼性が不十分であったが、実用レベルの時間で正認識率９０％以上が可能である。
【図面の簡単な説明】
【図１】本発明法および装置の構成例を示すブロック図である。
【図２】本発明法および装置における焦点合せ機構の説明図である。
【図３】本発明法および装置における試料面のＸ方向傾斜の説明図である。
【図４】本発明法および装置における試料面のＹ方向傾斜の説明図である。
【図５】本発明法および装置におけるヒストグラム分散度の説明図である。
【図６】本発明法および装置におけるヒストグラムのパターン合致度の説明図である。
【図７】本発明法および装置の実施例における判別結果の例を示す画像およびヒストグラムである。
【図８】本発明法および装置の実施例における判別結果の別の例を示す画像およびヒストグラムである。
【図９】本発明法および装置の実施例における判別結果の別の例を示す画像およびヒストグラムである。
【符号の説明】
１…金属顕微鏡
２…試料ステージ
３…試料ステージコントローラ
４…Ｚ軸コントローラ
５…通信インターフェース
６…ＣＣＤカメラ
７…カメラ用電源
８…画像処理ボード
９…画像モニター
１０…ホストパソコン
１１…キーボード
１２…マウス
１３…ＰＣ用モニター
１４…プリンター
【図１】
0003869905.tif 000003
【図２】
0003869905.tif 000004
【図３】
0003869905.tif 000005
【図４】
0003869905.tif 000006
【図５】
0003869905.tif 000007
【図６】
0003869905.tif 000008
【図７】
0003869905.tif 000009
【図８】
0003869905.tif 000010
【図９】
0003869905.tif 000011