(57)【特許請求の範囲】
【請求項１】
任意固体表面になされた、複数の線描画が交差するマーキング像の位置や大きさ及び形状特徴を画像認識するための画像認識方法において、
固体表面の画像をデジタル採取画像として撮影し、
前記デジタル採取画像の輝度値の平面差分演算を行うことにより、固体表面背景から前記マーキング像のマーキング画像の抽出を行い、
該マーキング画像に対して膨張・ラベリング・穴埋め処理を行ってから、連結画素を囲む最小矩形を求めて、画像内の該マーキング画像の位置から絶対座標を割り出し、
最小矩形範囲内の長辺方向及び短辺方向のそれぞれで、それぞれに直交する方向に輝度値の加算を行ってヒストグラムを求め、
それぞれのヒストグラム平均値とグラフが交差する回数から、長辺方向及び短辺方向それぞれの線描画のマーキング本数を判定し、
前記絶対座標や前記マーキング本数から前記画像認識を行うようにしたことを特徴とする画像認識方法。
【請求項２】
請求項１において、
互いに異なる前記固体表面の背景輝度及びマーキング輝度に応じて、前記デジタル採取画像の撮影に際して、該撮影に用いるカメラの撮影可能輝度範囲の外側に前記背景輝度が来るように、該カメラの光学系の絞りを調整するようにしたことを特徴とする画像認識方法。
【請求項３】
請求項１又は２において、
前記デジタル採取画像の画面表示に対して、前記画像認識結果の情報の少なくとも一部を重ねて表示すると共に、該表示の拡大・縮小及び縦・横スクロールを可能とし、
該表示を参照しながらなされる前記画像認識結果の修正の人手入力に応じて、前記画像認識結果の変更、及び該変更に従った前記表示の更新を行うようにしたことを特徴とする画像認識方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、任意固体表面になされた、複数の線描画が交差するマーキング像の位置や大きさ及び形状特徴を画像認識するための画像認識方法に係り、特に任意固体表面になされたマーキング像の、位置や大きさ及び形状特徴の画像認識の精度を向上することができる画像認識方法に関する。
【０００２】
【従来の技術】
従来から任意固体表面の任意寸法矩形範囲の座標及び状況種類を設定することが行われている。例えば鉄鋼スラブのような金属片表面の欠陥や疵の除去の自動化のために、欠陥や疵がある対象となる位置や範囲や欠陥・疵の状況を設定するために、人手により○、△、□、×等のパターン図形を対象箇所に単色で、あるいは必要に応じ複数色でマーキングし、そのパターン図形の種類やマーキング色を後工程で自動認識することで該当箇所の位置や状況を把握し、対応する加工処理を行っている。単色マーキング等の場合には、その範囲等は自動計測し、一方、状況種類等の付加情報を人手による追加情報入力に頼る方法が行われている。
【０００３】
又従来このような自動認識結果は、リモートコントローラに座標だけ表示しており、鉄鋼スラブにおける該当箇所などをグラフィックには表示していなかった。又この座標を修正する場合は、このリモートコントローラのキーボードから行っている。一方、欠陥・疵レベルは独立してグラフィック画面に表示されている。従ってこの欠陥・疵レベルを修正する場合は、このリモートコントローラとは別のキーボードから入力する。
【０００４】
【発明が解決しようとする課題】
上記のようにパターン図形やそのマーキング色を自動認識する方法では、鉄鋼スラブ表面に錆があったり、該表面がざらざらだったり、表面の光沢が増大していると、認識できなかったり、その精度が低下してしまう。例えばバーナで加熱して表面の疵をとる等するマシンスカーフ処理の後では、表面の光沢が増大してしまっている。
【０００５】
又単色マーキングの場合で対象範囲のみ自動認識する方法では、前述したように状況種類等の付加情報を人手により行わなければならないという制限がある。人手作業を行うと作業効率向上を図ることができない。
【０００６】
又ユーザインタフェイスという点では、前述のようにリモートコントローラに座標だけ表示すると、マーキング位置と欠陥・疵の自動認識位置とを関連付けて認識することが難しくなるという問題がある。又欠陥・疵レベルは独立してグラフィック画面に表示する場合は、鉄鋼スラブ全体に対するその位置の把握は容易であるが、実際の数値として座標値を検討把握してからキーボードで入力する必要があり、いずれにしても修正時間がかかるという問題がある。
【０００７】
又従来このような自動認識結果は、リモートコントローラに座標だけ表示しており、鉄鋼スラブにおける該当箇所などをグラフィックには表示していなかった。又この座標を修正する場合は、このリモートコントローラのキーボードから行っている。一方、欠陥・疵レベルは独立してグラフィック画面に表示されている。従ってこの欠陥・疵レベルを修正する場合は、このリモートコントローラとは別のキーボードから入力する。
【０００８】
本発明は、前記従来の問題点を解決するべくなされたもので、任意固体表面になされたマーキング像の、位置や大きさ及び形状特徴の画像認識の精度を向上することができる画像認識方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本願発明は、任意固体表面になされた、複数の線描画が交差するマーキング像の位置や大きさ及び形状特徴を画像認識するための画像認識方法において、固体表面の画像をデジタル採取画像として撮影し、前記デジタル採取画像の輝度値の平面差分演算を行うことにより、固体表面背景から前記マーキング像のマーキング画像の抽出を行い、該マーキング画像に対して膨張・ラベリング・穴埋め処理を行ってから、連結画素を囲む最小矩形を求めて、画像内の該マーキング画像の位置から絶対座標を割り出し、最小矩形範囲内の長辺方向及び短辺方向のそれぞれで、それぞれに直交する方向に輝度値の加算を行ってヒストグラムを求め、それぞれのヒストグラム平均値とグラフが交差する回数から、長辺方向及び短辺方向それぞれの線描画のマーキング本数を判定し、前記絶対座標や前記マーキング本数から前記画像認識を行うようにしたことにより、前記目的を達成することができる画像認識方法を提供したものである。
【００１１】
又、前記画像認識方法において、互いに異なる前記固体表面の背景輝度及びマーキング輝度に応じて、前記デジタル採取画像の撮影に際して、該撮影に用いるカメラの撮影可能輝度範囲の外側に前記背景輝度が来るように、該カメラの光学系の絞りを調整するようにしたことで、画像認識の認識精度や認識安定性を向上することができる。
【００１２】
更に、前記画像認識方法において、前記デジタル採取画像の画面表示に対して、前記画像認識結果の情報の少なくとも一部を重ねて表示すると共に、該表示の拡大・縮小及び縦・横スクロールを可能とし、該表示を参照しながらなされる前記画像認識結果の修正の人手入力に応じて、前記画像認識結果の変更、及び該変更に従った前記表示の更新を行うようにしたことで、画像認識結果の確認及び該画像認識結果の修正に関する作業の簡便化及び能率向上を図ることができる。
【００１３】
以下、本願発明の作用について簡単に説明する。
【００１８】
本発明では任意固体表面になされた、複数の線描画が交差するマーキング像を対象としており、このようなマーキング像の位置や大きさ及び形状特徴を画像認識するための画像認識方法を対象としている。該マーキング像の絶対座標や、長辺方向及び短辺方向それぞれの線描画のマーキング本数の判定結果から、該マーキング像の位置や大きさ及び形状特徴の画像認識を行うようにしている。本発明はこのような画像認識を効果的に行うための処理や手順を見出したものである。従って、任意固体表面になされたマーキング像の、位置や大きさ及び形状特徴の画像認識の精度を向上することができる。なお、本発明にある処理やその手順については実施形態の説明の部分で後述する。
【００１９】
なお本願発明において、実施形態として後述するようにデジタル採取画像の撮影に用いるカメラの光学系の絞りを調整するようにして、極力背景画像を除去した後にデジタル採取画像を処理するようにしてもよい。このようにすると、マーキング像が描かれている固体表面の性状に影響されにくい安定した、矩形範囲の位置や大きさ及び形状特徴の画像認識ができるようになる。
【００２０】
なお本願発明によれば、用いるマーキング像の位置や大きさ及び形状特徴の画像認識ができる。従って、マーキング像をデジタル採取画像として撮影し、取り込んだマーキング画像の線描画の太さ等を適切に制御する画像制御系の処理で、任意寸法の矩形の位置や大きさ及び形状特徴の画像認識ができる。
【００２１】
【発明の実施の形態】
以下、図を用いて本発明の実施の形態を詳細に説明する。
【００２２】
図１は本発明が適用された実施形態の表面自動研削装置３２の平面図である。又図２は図１の左方から見た場合のカメラ１０Ａ及び１０Ｂの部分の側面図である。
【００２３】
上記の表面自動研削装置３２には前記第１発明及び前記第２発明が適用されている画像認識装置が併設されている。該表面自動研削装置３２は走行用レール２２を、例えば図１では図中左右方向に走行する。又該表面自動研削装置３２上には走行用レール２４が設けられており、機上走行部３４は該走行用レール２４を例えば図１では図中上下方向に、又図２では図中左右方向に走行する。なお符号４０はオペレータキャビンであり、符号４２は操作卓である。該操作卓は、手動操作のために用いられる。図３４や図３５の画面表示や、該画面表示を行いながらなされる操作は、中央操作室に画面表示を行って遠隔操作でなされる。
【００２４】
この機上走行部３４には電動機２６で回転するグラインダ２８が設けられており、鉄鋼スラブ１の上面を研削できるようになっている。該グラインダ２８は回転しながら、走行用レール２２の走行により図１中では左右方向に、走行用レール２４の走行により図１中では上下方向に移動可能となっていると共に、図２中で上下方向に移動可能となり、鉄鋼スラブ１に対して接近あるいは離反可能となっている。
【００２５】
なお図３に示すように鉄鋼スラブ１はローラテーブル３６上に搭載されており、搬出入が容易にできるようになっている。又図１〜図３に示されるように、カメラ１０Ａは鉄鋼スラブ１の上面を、カメラ１０Ｂは鉄鋼スラブ１の側面を撮影できるようになっている。これらカメラ１０Ａ及び１０Ｂの解像度は、要求されるマーキング像の認識が可能なように考慮され、設計されている。
【００２６】
なお図１において符号Ａはカメラの光軸中心であり、符号Ｂは鉄鋼スラブ１の幅を計測する幅計の光軸中心であり、符号Ｃは鉄鋼スラブ１の長さを計測するために該鉄鋼スラブ１の有無を検知する光電管の光軸中心である。又図３において符号Ｄはカメラ１０Ａの光軸中心であり、符号Ｅはカメラ１０Ｂの光軸中心である。
【００２７】
図４は本実施形態の制御装置の構成を示すブロック図である。
【００２８】
この図４において、自動研削機制御シーケンサ６０の制御により本実施形態の表面自動研削装置３２の各部を作動させながら、スラブ疵マーキング自動認識装置６４で本発明に係るマーキング像の自動認識を行い、マーキング像の位置や大きさ及び形状特徴の認識を行うようにしている。
【００２９】
自動研削機制御シーケンサ６０及びスラブ疵マーキング自動認識装置６４は、その他シーケンサ６２及びスラブ精整統括計算機６６と共にシーケンサネットワーク５２で相互に接続されている。又スラブ疵マーキング自動認識装置６４及びスラブ精整統括計算機６６は、上位プロセスコンピュータ７０と共に計算機間ネットワーク５０で相互に接続されている。
【００３０】
更に詳しく説明すると図４において、スラブ精整統括計算機６６が上位のプロセスコンピュータ７０より、鉄鋼スラブ１毎の手入れ情報を受ける。スラブ精整統括計算機６６はこの情報に従って、該当する鉄鋼スラブ１がグラインダに到着すると画像処理指令をスラブ疵マーキング自動認識装置６４に対して計算機間ネットワーク５０を経由して出力する。これによりスラブ疵マーキング自動認識装置６４はグラインダ装置のスラブ先尾端検出信号と走行パルスとに同期して、鉄鋼スラブ１の上面と側面の画像をそれぞれ分割採取する。グラインダのスラブ全長走行後に、グラインダ装置自体でテーブル中のスラブ側面計測座標を採取する。その後は図１１を用いて後述するような疵マーク自動認識がなされる。
【００３１】
以上のような装置において本実施形態では、図５に示すような手順で極力人手作業は抑えスラブの欠陥や疵を自動的に研削する。
【００３２】
図５においてまずステップ１０４では、まず鉄鋼スラブ１を検査テーブル上に搬入し、その後図６に示すようなマーキングを行う。
【００３３】
図６では上段行が３列で、下段行が２列で、合計５つのマーキング像の例が示されている。まず図６において、図７に示すような塗りつぶし領域が欠陥や疵がある部分であり、該部分に接する破線の矩形にて該部分を表わす矩形範囲が示されている。
【００３４】
又該矩形範囲には本実施形態では第１発明を適用して、例えば図８に示すような複数の線画像が交差するマーキング像を人手により描いている。このマーキング像は例え単色のみでも、該当する矩形範囲の位置、大きさ、及び状況種類（即ち欠陥や疵の状況）を表わすことができる優れたものである。このマーキング像は、前記矩形範囲の長辺方向全長に亘って固体表面背景と異なる輝度値の線状のマーキングを行い、前記矩形範囲の短辺方向全長に亘って同様の輝度値で、前記状況種類に応じた本数で線状のマーキングを行うことで、該当する矩形範囲の箇所に前記状況種類に応じて描かれる。
【００３５】
即ち、まず該マーキング像が描かれている場所により、そこが該当する矩形範囲の場所であることが示され、該矩形範囲の位置が示される。又該マーキング像は長辺方向全長の線状のマーキングと、短辺方向全長の線状のマーキングとを含んでおり、該当する矩形範囲に内接している。このため該マーキング像は該当する矩形範囲を示していることになる。
【００３６】
更に該マーキング像では図６に示すように、欠陥や疵の程度を示すレベル数、即ちレベル１〜３をも示すようになっている。レベル数が大きくなるにつれ欠陥や疵の程度が大きくなり、その欠陥や疵を取り除くために必要な研削の深さが深くなる。図６において１列目のマーキング像それぞれはレベル１を示し、２列目はレベル２を示し、３列目はレベル３を示す。即ち該当する矩形範囲の短辺方向全長に亘って描かれる線状のマーキングの本数で、該当する矩形範囲の状況種類が示され、レベル数が示される。
【００３７】
図５において次にステップ１０６ではまず、グラインダテーブルに鉄鋼スラブ１を自動搬送する。この後に表面自動研削装置３２の走行に同期して、カメラ１０Ａで鉄鋼スラブ１の上面全体を撮影し、デジタル画像を採取する。
【００３８】
該採取は例えば、検査テーブル上で停止した鉄鋼スラブ１を複数のカメラで撮像す方法や、ローラテーブル３６に取り付けられたパルスジェネレータが該ローラテーブル３６の回転に応じて発生するパルス信号に同期して該ローラテーブル３６の回転によりその上を移動する鉄鋼スラブ１を撮像する方法や、表面自動研削装置３２の機上走行部３４側より、グラインダ２８の走行位置に応じて撮像する方法等がある。本発明はいずれの方法でも適用できるが、本実施形態では、ローラテーブル３６上の鉄鋼スラブ１を表面自動研削装置３２の走行に応じて撮像する方法を採った。
【００３９】
又該ステップ１０６でデジタル採取画像を得る際、鉄鋼スラブ１表面の輝度のばらつきがノイズとなって悪影響を与えないようにするため、カメラ１０Ａの光学系の絞りを調整する。例えば鉄鋼スラブ１表面の凸凹や、錆、表面状態のばらつき等のノイズの悪影響が問題となる場合がある。又この調整は具体的には、互いに異なる鉄鋼スラブ１表面（固体表面）の背景輝度及びマーキング輝度に応じて、デジタル採取画像の撮影に際して、該撮影に用いるカメラ１０Ａの撮影可能輝度範囲の外側に前記背景輝度が来るように、該カメラ１０Ａの光学系の絞りを調整する。
【００４０】
図９のグラフはこのような調整前のものであり、図１０グラフは該調整後のものである。又これらグラフいずれにおいても、折れ線の左側のピークは鉄鋼スラブ１表面の輝度分布によるものであり、右側のピークはマーキング輝度によるものである。
【００４１】
絞りの調整の前と後とでは、マーキング輝度のピークの変化は比較的小さい。これに対して絞りの調整後では、図９に比べて明らかなように図１０では鉄鋼スラブ１表面の輝度分布によるピークが抑えられている。図９では鉄鋼スラブ１の輝度のピークがマーキング輝度に比べ高い。これに対し図１０では、鉄鋼スラブ１の輝度のピークがマーキング輝度に比べ低く、鉄鋼スラブ１の輝度の影響が少なくなっている。
【００４２】
続いて図５のステップ１０８では図１１〜図１６に示すような疵マーク自動認識処理を行う。
【００４３】
図１１においてステップ１３２では、前述した幅計及び光電管により、鉄鋼スラブ１の幅及び長さを測定し、鉄鋼スラブ１の形状データを得る。ステップ１３４では、以降に行う処理にあたって疵データの初期化を行う。ステップ１３６では、画像ボードの初期化を行う。ステップ１３８では前述の図５のステップ１０６で得、ハードディスク装置に保存されているデジタル採取画像を読み出す。ステップ１４０では疵マーク検出として、図１２〜図１６に示されるような疵マーキング検出の処理を行う。
【００４４】
上記の疵マーク検出は、具体的には図１２及び図１３に示すように行われる。なお図１４のソーベル処理、図１５のレベル処理、図１６の疵レベル保存はそれぞれ、図１２のステップ１５４、図１３のステップ１８４、同図１３のステップ１８６を詳しく示したものである。
【００４５】
疵マーク検出においてまず図１２のステップ１５２では、スラブ形状のデータに基づき、鉄鋼スラブ１上面において周辺端部の画像を取り除く。
【００４６】
図１２のステップ１５４では、図１４に示すステップ２１２で斜め方向の差分演算を行い、例えば図１７に示すような原画像に対して図１８に示すような画像を得る。ステップ２１４でヒストグラムを生成する。ステップ２１６ではヒストグラムにおいて、クラス毎の輝度分散を最小とし、かつクラス間の輝度分散を最大とする閾値ｔｈｒ’を求める。ステップ２１８ではこの閾値ｔｈｒ’から閾値ｔｈｒを求める。ステップ２２０では輝度値が閾値ｔｈｒ以上であれば輝度値を２５５とし、閾値ｔｈｒ未満であれば輝度値を０とする、輝度値の変換処理を行う。
【００４７】
ここでソーベル処理において、縦方向の処理を行うと縦方向のノイズを平滑化して除去でき、横方向の処理を行うと横方向のノイズを平滑化して除去できる。例えば図２５のような原画像に対して縦方向のソーベル処理を行うと図２６のようになり、横方向のソーベル処理を行うと図２７のようになり、縦方向及び横方向のソーベル処理を共に行うと図２８のようになる。
【００４８】
図１２において次にステップ１５６では画像の膨張処理として、各画素の近傍８画素の膨張処理を行う。例えば図１８に示すような画像に対して図１９に示すような画像を得る。
【００４９】
ステップ１５８ではソーベル処理の黒抜け部分を白く戻すために、多角形の塗りつぶし処理として、マーキング線中の穴埋め処理を行う。例えば図１９に示すような画像に対して図２０に示すような画像を得る。
【００５０】
ステップ１６０では画像の縮小処理として、８連接画素以外を消去する。これによりマーキング線は本来の太さに戻される。例えば図２０に示すような画像に対して図２１に示すような画像を得る。
【００５１】
ステップ１６２では連接画素毎にラベル付けする処理を行う。これは連接画素の画素群毎に１から２５５の番号を付与していき、番号の輝度値に変換する処理である。
【００５２】
ステップ１６４では連接画素毎に面積計算を行う。この面積は連接画素の画素群毎の画素数（ピクセル数）である。ステップ１６６では連接画素毎に外接する最小矩形の各頂点の座標を求める。この座標は即ちフィレ座標である。例えば図２１に示すような画像では、図２２に示すようになる。なおこの座標は、欠陥や疵を修正するための研削範囲の座標とされ、後述する疵幅や疵長のデータ生成にも用いられる。又この座標は矩形範囲の座標でもある。
【００５３】
ステップ１６８では求められたラベリング画像毎のフィレ座標をメモリに読み出す。具体的にはｆｉｌｅＣに読み出している。
【００５４】
図１２のステップ１６８に続いて図１３のステップ１７４では変数ｉを初期値１に設定する。
【００５５】
ステップ１７６ではラベルのサイズ及び鉄鋼スラブ１範囲内での位置により、ラベルの適正を判定する。“ＯＫ”であれば続くステップ１７８に、“ＮＧ”であればステップ１８８に進む。
【００５６】
ステップ１７８ではラベル番号の輝度値を“２５５”に変換し、正規化する。例えば図２２に示すような画像では、図２３に示すようになる。ステップ１８０では前述のｆｉｌｅＣのデータから、フィレ図形の幅及び長さを設定する。
【００５７】
ステップ１８２ではまず、ラベリング画像毎のＸ軸及びＹ軸の輝度値投影計算を行う。これはフィレ図形内でＸ軸方向及びＹ軸方向それぞれで、輝度値を加算していくというものであり、最小矩形範囲の縦及び横それぞれでの輝度値のヒストグラムが求められる。該ステップ１８２では次に、ラベリング画像のＸ軸輝度値投影計算結果を読み出しメモリに保存する。又ラベリング画像のＹ軸輝度値投影計算結果を読み出しメモリに保存する。
【００５８】
例えば図２３のマーキング像のＸ軸の輝度値投影計算結果は、図２４のマーキング像の右側に書かれたグラフの通りである。又このマーキング像のＹ軸の輝度値投影計算結果は、図２４のマーキング像の上側に書かれたグラフの通りである。更には同様にＸ軸及びＹ軸の輝度値投影計算結果について、レベル１のマーキング像については例えば図３１のようになる。レベル２のマーキング像については例えば図３２のようになる。レベル３のマーキング像については例えば図３３のようになる。
【００５９】
ステップ１８４は図１５に示されるようなレベル処理を行う。具体的にはまずステップ２３２でラベリング画像におけるＸ軸方向のマーキング線の本数（マーキング本数あるいはＸ軸レベル線数：Ｘｃｏｕｎｔ）を求め、同様にラベリング画像におけるＹ軸方向のマーキング線の本数（マーキング本数あるいはＹ軸レベル線数：Ｙｃｏｕｎｔ）を求める。この際にＸ軸及びＹ軸の輝度値投影計算結果の移動平均の計算を行う。このように移動平均を演算するのは、前述したソーベル処理や、画像の収縮膨張処理等の画像の前処理を行っても、マーキングのかすれや画像上のノイズを除去しきれない場合があるためである。移動平均演算を行うと、Ｘ軸及びＹ軸の輝度値投影計算結果が平滑化され、上記のようなかすれやノイズを低減できる。
【００６０】
例えば図２９のように「エ」の字型のマーキング像で、水平線が２本のところ、３本と認識されてレベル３と誤判定されてしまう場合、この移動平均演算によりかすれが除去され、図３０のように水平線が２本で従ってレベル２と正しく判定されるようになる。
【００６１】
図１５において次に、“Ｘｃｏｕｎｔ＋Ｙｃｏｕｎｔ”の値に応じ、その値が“２”であればステップ２３４で“レベル１”と判定し、ステップ２４０の処理として次式の処理を行う。即ち右辺の値を左辺の変数に書き込む。
【００６２】
ｋｉｚｕ＿ｆｌｇ  ＝１        …（１）
ｋｉｚｕ＿ｋｉｎｄ＝１        …（２）
【００６３】
“Ｘｃｏｕｎｔ＋Ｙｃｏｕｎｔ”の値に応じ、その値が“３”であればステップ２３５で“レベル２”と判定し、ステップ２４１の処理として次式の処理を行う。即ち右辺の値を左辺の変数に書き込む。
【００６４】
ｋｉｚｕ＿ｆｌｇ  ＝１        …（３）
ｋｉｚｕ＿ｋｉｎｄ＝２        …（４）
【００６５】
“Ｘｃｏｕｎｔ＋Ｙｃｏｕｎｔ”の値に応じ、その値が“４”であればステップ２３６で“レベル３”と判定し、ステップ２４２の処理として次式の処理を行う。即ち右辺の値を左辺の変数に書き込む。
【００６６】
ｋｉｚｕ＿ｆｌｇ  ＝１        …（５）
ｋｉｚｕ＿ｋｉｎｄ＝３        …（６）
【００６７】
図１３のステップ１８４として以上のように図１５の処理を行うことで、マーキング像のマーキング本数（レベル線の本数）をカウントして欠陥や疵の深さのレベル数を認識することができ、このようにしてレベルの判定が完了する。レベル１のマーキング像については例えば図３１のように判定される。レベル２のマーキング像については例えば図３２のように判定される。レベル３のマーキング像については例えば図３３のように判定される。
【００６８】
ステップ１８４の後に図１３のステップ１８６では、疵レベル保存として図１６に示す処理を行う。まず図１６のステップ２６２では、ｋｉｚｕ＿ｆｌｇ＝１であるか判定する。１であればステップ２６４に、そうでなければ「復帰」に進む。ステップ２６４ではラベリング画像のフィレ座標を疵座標として保存と共に、レベル判定結果を疵レベルとして保存する。ステップ２６６では変数処理として、次の計算を行う。即ち右辺の値を左辺の変数に書き込む。
【００６９】
ｋｉｚｕ＿ｆｌｇ  ＝０                      …（７）
ｋｉｚｕ＿ｃｎｔ  ＝ｋｉｚｕ＿ｃｎｔ＋１    …（８）
【００７０】
図１６の処理が終了し即ち図１３のステップ１８６が終了すると、ステップ１８８でｉが２５５未満であるか判定する。未満であればステップ１９０で変数ｉのインクリメント（値を１だけ増加）した後にステップ１７６の前方に分岐し、そうでなければ図１２及び図１３の全ての処理が終了したとして、図１１の処理に復帰する。すると該図１１の疵マーク自動認識も終了したことになり、図５のステップ１１２に進む。
【００７１】
このステップ１１２では疵マークの自動認識結果を人手によりチェックし、修正する。具体的には図３４の全体像表示画面図や図３５の原画像表示画面図にあるような画面表示を行いながらこのようなチェックや修正を行う。
【００７２】
ここで図３４では全体の上方１／３の範囲で、前述の幅計や光電管の測定結果による鉄鋼スラブ１の上面外形を示す黒背景部分に重ね合わせて、欠陥や疵に係わる自動認識された矩形範囲が白枠で表示されている。又図３５では全体の上方２／３の範囲に、鉄鋼スラブ１の上面撮影映像（レベル１〜３に相当するマーキング像等のデジタル採取画像を含む）を表示すると共に、該撮影映像と重ね合わせて、前述した該マーキング像に外接する黒枠の自動認識された矩形範囲が表示されている。このように重ね合わせて表示されているため、画像認識結果の確認及び該画像認識結果の修正に関する作業の簡便化及び能率向上を図ることができている。
【００７３】
これら図３４及び図３５ではこのような矩形範囲の枠表示の左上や右上には連番が付されている。又該連番で対応させながら、これら図３４及び図３５のいずれでも、画面下方１／３には一覧表形態で、欠陥や疵の幅や長さやレベル（画面表示では「種」とされる）が表示されている。このように対応づけされて単一の画面で表示されるため、画像認識結果の確認及び該画像認識結果の修正に関する作業の簡便化及び能率向上を図ることができている。
【００７４】
図３５の表示では、画面の表示サイズとして、原画像サイズ、１／２縮小、１／４縮小の表示倍率切替え機能を有する。又キーボードのカーソルキー（上下左右の各方向の矢印キー）の操作により、文字をキー入力する入力位置を移動しながら、ステップ１０８の自動認識結果の修正等を行うことができる。又修正すると該当するデータが更新され、矩形範囲等の表示も更新される。このような作業に際しては図３５においてデジタル採取画像のマーキング像と矩形範囲が重ね合わせて表示されるので、入力結果を容易に確認できる。又原画像サイズ、１／２縮小、１／４縮小の表示倍率切替えを行えば、拡大表示して詳細位置を確認したり、縮小表示して全体像を確認したり様々な操作状況に適切に対応することができる。又シフトキーを押しながら上述のカーソルキーを操作すると、このような画像のスクロールも可能になっているので、細部の確認を容易に又操作性よく行うことができる。
【００７５】
例えば図３６のようなマーキング像が自動認識されず、従って欠陥や疵の範囲を示す矩形範囲が認識されない場合がまれに発生したとする。このような場合には図中黒矢印で示されるマウスポインタをマウスで操作しながら、該矩形範囲を人手操作で認識させることができる。即ち図３７に示すようにマウスの移動操作で始点を示しながらマウスのボタン操作で該始点の選択指定をする。同様にマウスの移動操作で終点を示しながらマウスのボタン操作で該終点の選択指定をする。すると図３７中の破線枠の如く、指定した始点及び終点を頂点とする矩形範囲の枠を入力することができる。更に関連するデータをキー入力することができる。これにより、該矩形範囲に係る疵幅や疵長や種（種類あるいはレベル）のデータが設定される。
【００７６】
図５のステップ１１２の認識結果の修正作業が以上のように終了すると、図４のスラブ疵マーキング自動認識装置６４には欠陥や疵を修正するための研削に必要なデータが得られる。すると次にステップ１１６では、シーケンサネットワーク５２を経由して該スラブ疵マーキング自動認識装置６４から自動研削機制御シーケンサ６０に、このようなデータが送信される。この後該自動研削機制御シーケンサ６０はこのデータを用いて、表面の欠陥や疵を修正するためにグラインダ２８により鉄鋼スラブ１を研削する。又該研削が終了すれば、図５の疵処理作業はすべて終了する。
【００７７】
ここで本実施形態については、黒皮の状態そのままの鉄鋼スラブ１、黒皮を除去するというショットブラストの後の鉄鋼スラブ１、前述したスカーフ後の鉄鋼スラブ１について、欠陥や疵のレベル数に応じた手書きの多数のマーキング像で自動認識を実際に行っている。この結果は下記の通りである。下記の表１では鉄鋼スラブ１の上面について、表２では側面について、表３ではこれらを総合したものとして、それぞれマーキング像の自動認識の検出率（％）及び総合性能（％）が示される。ここで、総合性能（％）は、マーキング像の自動認識成功、かつマーキングレベル判定成功の比率を示したものである。本実施形態においてはいずれの鉄鋼スラブ１でも、高い疵検出率、レベル判定率を実現することができている。
【００７８】
【表１】
0003849059.tif 000002
【００７９】
【表２】
0003849059.tif 000003
【００８０】
【表３】
0003849059.tif 000004
【００８１】
以上説明したように本実施形態では効果的に本発明を適用することができ、又任意固体表面の任意寸法矩形範囲の座標及び状況種類を設定入力する際の作業の簡便化及び能率向上を図ることができる。
【００８２】
【発明の効果】
本願発明によれば、任意固体表面になされたマーキング像の、位置や大きさ及び形状特徴の画像認識の精度を向上することができる。
【図面の簡単な説明】
【図１】本発明が適用された実施形態の表面自動研削装置の平面図
【図２】図１の左方から見た場合のカメラ部分の側面図
【図３】前記実施形態のローラテーブル上の鉄鋼スラブの側面図
【図４】前記実施形態の制御装置の構成を示すブロック図
【図５】前記実施形態の疵処理作業のフローチャート
【図６】前記実施形態のマーキング像を示す平面図
【図７】前記実施形態の欠陥や疵がある塗りつぶし領域部分の平面図
【図８】前記実施形態の１つのマーキング像の平面図
【図９】前記実施形態の輝度のばらつきの悪影響を抑える絞りを調整前の輝度ヒストグラム
【図１０】前記調整の後の輝度ヒストグラム
【図１１】前記実施形態の疵マーク自動認識処理のフローチャート
【図１２】前記実施形態の疵マーク検出処理の第１のフローチャート
【図１３】前記実施形態の疵マーク検出処理の第２のフローチャート
【図１４】前記実施形態のソーベル処理のフローチャート
【図１５】前記実施形態のレベル処理のフローチャート
【図１６】前記実施形態の疵レベル保存処理のフローチャート
【図１７】前記実施形態のマーキング像の原画像例の平面図
【図１８】前記実施形態のマーキング像の平面差分演算後の平面図
【図１９】前記実施形態のマーキング像の膨張処理及びラベリング処理後の平面図
【図２０】前記実施形態のマーキング像の穴埋め処理後の平面図
【図２１】前記実施形態のマーキング像の縮小処理後の平面図
【図２２】前記実施形態のマーキング像のフィレ座標採取後の平面図
【図２３】前記実施形態のマーキング像の輝度変換処理後の平面図
【図２４】前記実施形態のマーキング像の輝度投影ヒストグラムを含む平面図
【図２５】前記実施形態のソーベル処理の対象となる原画像例の平面図
【図２６】前記実施形態の縦方向のソーベル処理後の画像例の平面図
【図２７】前記実施形態の横方向のソーベル処理後の画像例の平面図
【図２８】前記実施形態の縦方向及び横方向のソーベル処理後の画像例の平面図
【図２９】前記実施形態の移動平均処理前の画像例を示す平面図
【図３０】前記実施形態の移動平均処理後の画像例を示す平面図
【図３１】前記実施形態のレベル１のマーキング像の一例の平面図
【図３２】前記実施形態のレベル２のマーキング像の一例の平面図
【図３３】前記実施形態のレベル３のマーキング像の一例の平面図
【図３４】前記実施形態の全体像表示画面図
【図３５】前記実施形態の原画像表示画面図
【図３６】前記実施形態で矩形範囲が自動認識されなかったマーキング像の一例の平面図
【図３７】上記マーキング像に矩形範囲を設定する一例の平面図
【符号の説明】
１…鉄鋼スラブ
１０Ａ、１０Ｂ…カメラ
２２、２４…走行用レール
２６…電動機
２８…グラインダ（特に、グラインダ研削砥石）
３２…表面自動研削装置
３４…機上走行部
３６…ローラテーブル
４０…オペレータキャビン
４２…操作卓
５０…計算機間ネットワーク
５２…シーケンサネットワーク
６０…自動研削機制御シーケンサ
６２…その他シーケンサ
６４…スラブ疵マーキング自動認識装置
６６…スラブ精整統括計算機
７０…上位プロセスコンピュータ
【図１】
0003849059.tif 000005
【図２】
0003849059.tif 000006
【図３】
0003849059.tif 000007
【図４】
0003849059.tif 000008
【図５】
0003849059.tif 000009
【図６】
0003849059.tif 000010
【図７】
0003849059.tif 000011
【図８】
0003849059.tif 000012
【図９】
0003849059.tif 000013
【図１０】
0003849059.tif 000014
【図１１】
0003849059.tif 000015
【図１２】
0003849059.tif 000016
【図１３】
0003849059.tif 000017
【図１４】
0003849059.tif 000018
【図１５】
0003849059.tif 000019
【図１６】
0003849059.tif 000020
【図１７】
0003849059.tif 000021
【図１８】
0003849059.tif 000022
【図１９】
0003849059.tif 000023
【図２０】
0003849059.tif 000024
【図２１】
0003849059.tif 000025
【図２２】
0003849059.tif 000026
【図２３】
0003849059.tif 000027
【図２４】
0003849059.tif 000028
【図２５】
0003849059.tif 000029
【図２６】
0003849059.tif 000030
【図２７】
0003849059.tif 000031
【図２８】
0003849059.tif 000032
【図２９】
0003849059.tif 000033
【図３０】
0003849059.tif 000034
【図３１】
0003849059.tif 000035
【図３２】
0003849059.tif 000036
【図３３】
0003849059.tif 000037
【図３４】
0003849059.tif 000038
【図３５】
0003849059.tif 000039
【図３６】
0003849059.tif 000040
【図３７】
0003849059.tif 000041