(57)【要約】【課題】  スチフナ等の鋼材の形状を迅速かつ正確に認識できることを目的とする。【解決手段】  専用パレット１８上に重ね合わせて載置された複数のスチフナ１０に対してそれらの上方四方向に設置されたハロゲンランプ２１で順に照射し、専用パレットの略中央の上方に設置されたＣＭＯＳカメラ２０が撮影して４枚の撮影画像を取得する工程と、４枚の撮影画像を１枚の画像に合成する工程と、１枚の合成画像の歪を補正し、歪み補正された画像を生成する工程と、歪み補正された画像と専用パレット上に載置されるスチフナの予め登録された複数のマスタ画像とのマッチング処理を行い最上段の鋼材を仮特定する工程と、仮特定された鋼材にマーキングされている文字を文字認識し、仮特定された鋼材の名称と形状を認識する工程と、名称と形状が認識された鋼材が最上段の鋼材であるどうかを判定する工程とを有している。【選択図】        図１
2006329659.tif 000002
【特許請求の範囲】
【請求項１】
パレット上に重ね合わせて載置された複数の鋼材に対してそれらの上方四方向以上の複数方向に設置された照明装置で順に照射し、パレットの略中央の上方に設置されたカメラが撮影して複数枚の撮影画像を取得する工程と、
複数枚の撮影画像を１枚の画像に合成する工程と、
１枚の合成画像の歪みを補正し、歪み補正された画像を生成する工程と、
歪み補正された画像とパレット上に載置される鋼材の予め登録された複数のマスタ画像とのマッチング処理を行い最上段の鋼材を仮特定する工程と、
仮特定された鋼材にマーキングされている文字を文字認識し、仮特定された鋼材の名称と形状を認識する工程と、
名称と形状が認識された鋼材が最上段の鋼材であるどうかを判定する工程と、
を有することを特徴とする鋼材の形状認識方法。
【請求項２】
前記最上段の鋼材を仮特定する工程は、
前記複数のマスタ画像の鋼材における形状に特徴のある四隅の座標と歪み補正された画像の複数の鋼材の四隅の座標とのパターンマッチングを行い、両者における四隅の座標の輝度値の一致からいくつかの鋼材の仮特定を行う工程と、
歪み補正された画像における仮特定されたいくつかの鋼材とマスタ画像の鋼材の両画像の輪郭の座標の輝度値の一致度と、該輪郭内のすべての座標における既度値の一致度から所定以上の一致度のものを鋼材の形状が略一致していると判定する工程と、
鋼材の形状が略一致していると判定された鋼材のうち、一致度の高い方を上に位置する鋼材と判定する工程と、
を有することを特徴とする請求項１記載の鋼材の形状認識方法。
【請求項３】
名称と形状が認識された鋼材が最上段の鋼材であるどうかを判定する工程は、
パレットの上に位置する判定された鋼材について、その鋼材の画像上の輝度を計算し、計算された輝度が一定輝度以上であれば、最上段の鋼材と判定するようにしたことを特徴とする請求項１又は２記載の鋼材の形状認識方法。
【請求項４】
複数の鋼材が載置されたパレットの上方四方向以上の複数方向に設置された照明装置と、
パレットの略中央の上方に設置されたカメラと、
請求項１乃至３のいずれかに記載の鋼材の形状認識方法を演算処理する画像処理装置と、
を有することを特徴とする鋼材の形状認識装置。
【請求項５】
前記カメラは超広角レンズを採用したカメラであることを特徴とする請求項４記載の鋼材の形状認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は船舶の船殻ブロックや橋梁の板桁などの製造に使用されるスチフナ等の鋼材の形状認識方法及び装置、特にパレットに載置された最上段のスチフナ等の鋼材の形状を短時間で認識することができる鋼材の形状認識方法及び装置に関するものである。
【背景技術】
【０００２】
従来は、専用のパレットに山積みされたスチフナを次工程の例えば溶接を行うために、パネルの組立場所に搬送する場合に、パレットに載置された最上段のスチフナの形状を目視で認識し、その形状に見合う使用場所まで搬送装置の把持装置で最上段のスチフナ把持して搬送するようにしていた。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来のように専用のパレットに載置された最上段のスチフナの形状を目視で認識していたのでは、スチフナには各種の形状が多数あるためにオペレータがスチフナの形状を認識するのに熟練した搬送装置のオペレータでも時間がかかるという問題があった。
本発明はかかる問題点を解決するためになされたもので、スチフナ等の鋼材の形状を迅速かつ正確に認識し、その認識情報を鋼材を次工程に搬送する搬送装置に提供するようにした鋼材の形状認識方法及び装置を得ることを目的とする。
【課題を解決するための手段】
【０００４】
本発明に係る鋼材の形状認識方法は、パレット上に上下に重ね合わせて載置された複数の鋼材をそれらの上方の四方向以上の複数方向に設置された照明装置を順に照射し、パレットの略中央の上方に設置されたカメラで撮影して複数枚の撮影画像を取得する工程と、複数枚の撮影画像を１枚の画像に合成する工程と、１枚の合成画像の歪みを補正し、歪み補正された画像を生成する工程と、歪み補正された画像とパレット上に載置される鋼材の予め登録されたマスタ画像とのマッチング処理を行い最上段の鋼材を仮特定する工程と、仮特定された鋼材にマーキングされている文字を文字認識し、仮特定された鋼材の名称と形状を認識する工程と、名称と形状が認識された鋼材が最上段の鋼材であるどうかを判定する工程とを有するものである。
【発明の効果】
【０００５】
本発明は以上説明したとおり、パレット上に上下に重ね合わせて載置された複数の鋼材をそれらの上方の四方向以上の複数方向に設置された照明装置を順に照射し、パレットの略中央の上方に設置されたカメラで撮影して複数枚の撮影画像を取得し、その複数枚の撮影画像を１枚の画像に合成し、その１枚の合成画像の歪みを補正し、歪み補正された画像を生成する工程と、歪み補正された画像とパレット上に載置される鋼材の予め登録されたマスタ画像とのマッチング処理を行い最上段の鋼材を仮特定し、仮特定された鋼材にマーキングされている文字を文字認識し、仮特定された鋼材の名称と形状を認識し、名称と形状が認識された鋼材が最上段の鋼材であるどうかを判定するようにしたので、パレット上に重ね合わせて載置された複数の鋼材のうち、最上段の鋼材を自動的に迅速かつ正確に認識することができ、その認識情報を鋼材の次工程にも提供することができる。
【発明を実施するための最良の形態】
【０００６】
図１は本発明の実施の形態１に係る鋼材ハンドリング装置の全体構成を示す正面図、図２は同鋼材ハンドリング装置の全体構成を示す側面図、図３は同鋼材ハンドリング装置の把持装置を示す構成図、図４は同鋼材ハンドリング装置に取り付けられた照明装置の配置状態を示す概略構成図、図５は専用パレットにスチフナが載置された状態を示す説明図、図６は同鋼材ハンドリング装置の一部が遮光カバーで遮光された状態を示す正面図、図７は鋼材の形状認識装置の構成を示すブロック図である。
図１〜図４において、本実施の形態１の鋼材ハンドリング装置１は一対の走行レール２上を往復動走行自在な門型の門柱３ａとガーダー３ｂとからなる走行台車３と、走行台車３のガーダー３ｂの両側にそれぞれ張り出すよう設けられ、該ガーダー３ｂの側部を移動自在とする一対の鋼材取付ロボット４とを備えて構成されている。
その各鋼材取付ロボット４は、ガーダー３ｂに沿って往復移動が可能な横行部５と、横行部５の下部に旋回可能に設けられれた円板状の第１旋回部６と、第１旋回部６の下側に垂下して設けられた昇降ガイド７と、昇降ガイド７に対して垂直方向に昇降可能な昇降部８とで大略構成されている。
【０００７】
さらに、昇降部８の下部に円板状の第２旋回部９が旋回可能に設けられている。その第２旋回部９の下側には、被溶接・搬送部材である鋼材としてのスチフナ１０を把持するための把持装置１２と、多関節の溶接ロボット１３とが垂下するよう取り付けられている。
把持装置１２はベース部８ｂの下側に垂下するよう取り付けられたアーム１４と、アーム１４の先端に開脚自在に設けられた一対の把持ハンド１５と、アーム１４の先端側に設けられ、一対の把持ハンド１５を開脚させるハンド旋回モータ１６とで構成され、一対の把持ハンド１５にはそれぞれ吸着マグネット１５ａが取り付けられている。
【０００８】
また、走行台車３のガータ３ａの略中央の下部には、鋼材ハンドリング装置１の下方に設置された支持台１７に載せられた専用パレット１８上に２列に山積みされているスチフナ１０を撮影する画角が９０°の超広角レンズを採用したＣＭＯＳカメラ２０が取り付けられている。
さらに、専用パレット１８上のスチフナ１０を対角線的に４方向から照射できるように照明装置であるハロゲンランプ２１が４箇所に設置されている。
そのハロゲンランプ２１の設置場所は、図４に示すように、走行台車３の一方の門柱３ａの上方両側の２箇所と、一対の鋼材取付ロボット４の昇降部８の下部に設けられた第２旋回部９の２箇所との計４箇所である。各ハロゲンランプ２１は２ＫＷである。
【０００９】
さらに、専用パレット１８上のスチフナ１０をＣＭＯＳカメラ２０で撮影する場合に、太陽光の影響を軽減させるため、鋼材ハンドリング装置１には、その周囲を覆う遮光カバー２２が設けられている。
その遮光カバー２２は、鋼材ハンドリング装置１の上方を覆う天井遮光カバー２２ａと、鋼材ハンドリング装置１の正面と裏面で、それらの上側を覆う上部遮光カバー２２及びそれらの下側を覆う下部遮光カバー２２ｃと、鋼材ハンドリング装置１の両側面を覆うサイド遮光カバー２２ｄとからなり、いずれの遮光カバーもダークグリーンのウエルディングシートで構成され、入射する光の７割をカットするものである。
また、正面・裏面の下部遮光カバー２２ｃは隣合う端部が重なるようにしたのれん型のものとしている。これは、作業員が中に入り込むことができるためと、スチフナ１０の端部が専用パレット１８からはみ出す場合があることを考慮したものである。
さらに、専用パレット１８も後述する画像処理がし易いように、つや消し黒色の塗装を施している。
【００１０】
なお、本発明に係る鋼材ハンドリング装置１は、走行台車３の一方の門柱３ａの側方に設置された制御盤５０により制御される。
その制御盤５０は、具体的には、母材と被溶接物であるスチフナ１０の形状、スチフナ１０の母材上の取り付け位置等の情報を含むＣＡＤデータからＣＡＭシステムによって生成されたＮＣデータと、鋼材の形状認識装置１００が認識したスチフナの認識情報のデータ等によって制御される。
【００１１】
この鋼材の形状認識装置１００は、図７に示すように、ＣＭＯＳカメラ２０と、ＣＭＯＳカメラ２０が撮像したスチフナ１０の画像のデータを図示しないＡ／Ｄ変換器によりアナログ信号からデジタル信号に変換してスチフナの形状認識を行う画像処理装置であるコンピュータ１０１と、ＣＭＯＳカメラ２０が撮像したスチフナ１０の画像を表示するモニタ１０２とから構成されている。この鋼材の形状認識装置１００は制御盤５０に設けられている。
【００１２】
次に、本発明に係る鋼材ハンドリング装置１に設けられた鋼材の形状認識装置１００の動作について、図８の鋼材の形状認識処理の過程を示すフローチャートに基づいて説明する。
なお、図９は登録された各種マスタ画像を示す説明図、図１０は４枚の撮影画像とこれらの合成画像を示す説明図、図１１は合成画像の歪み補正の過程を示す説明図、図１２はマスタ画像と歪み補正された合成画像とのマッチング処理を示す説明図である。
ＣＭＯＳカメラ２０の撮影画像から鋼材の形状認識処理は鋼材の形状認識装置１００のコンピュータ１０１に組み込まれた形状認識処理プログラムに従って自動的に行われる。  なお、ここでいう鋼材形状認識処理とは専用パレット１８上に２列に山積みされたスチフナ１０（１２枚程度）から次に取り出すスチフナ１０を認識するために、専用パレット１８の上方からＣＭＯＳカメラ２０で撮影し、一番上に置かれているスチフナ１０の種類と形状を識別することをいう。
【００１３】
（１）マスタ画像の登録（ステップＳ１）
上位システムから母材であるパネルに溶接される全てのスチフナ１０の形状データを取得し、ビットマップ画像へ変換後、スチフナ１０のマスタ画像として鋼材の形状認識装置１００の画像処理装置であるコンピュータ１０１の記憶部に登録する。図９はコンピュータ１０１の記憶部に登録されたマスタ画像の一例を示す。
【００１４】
（２）４枚の撮影画像取得（ステップＳ２）
ＣＭＯＳカメラ２０で専用パレット１８上のスチフナ１０を撮影して撮影画像を取得するが、その前に遮光カバー２２内の照度を算出しておき、ＣＭＯＳカメラ２０の画像全体のグレーレベルから算出した照度に基づいてＣＭＯＳカメラ２０の感度をシャッタスピード、ゲイン等により調整しておく。
【００１５】
次に、専用パレット１８上のスチフナ１０を対角線的に照射できるように上述の如く、
４箇所に設置されたハロゲンランプ２１を順に１箇所ずつ点灯し、それぞれＣＭＯＳカメラにて４枚の撮影画像を取得する（図１０参照）。
このように、４箇所に設置されたハロゲンランプ２１を順に１箇所ずつ点灯し、それぞれＣＭＯＳカメラ２０にて４枚の撮影画像を取得するようにしたのは、上方からの照射だけでは重ね合わされたスチフナ１０の境界がはっきりしないため、重ね合わされたスチフナ１０の陰を強制的に作るためである。
【００１６】
（３）４枚の撮影画像の合成（ステップＳ３）
次に、ＣＭＯＳカメラ２０が撮像した４枚の撮影画像を合成することにより、合成画像を作成する。
かかる合成画像の作成は、１枚の撮影画像が例えば、４００万画素とした場合、４枚の撮影画像について、同じ位置にある１画素（１ピクセル）毎にグレーレベルを比較して一番小さいグレーレベルのものを選択し、それを合成画像の１画素の値とし、それを４００万画素についてそれぞれ行って１枚の合成画像を作成するるものである。
このように４枚の撮影画像を合成して合成画像を作成することで、スチフナ１０の影も合成され、スチフナの周囲にできる影により、スチフナのエッジが強調されることとなる。
【００１７】
（４）合成画像の歪み補正（ステップＳ４）
この合成画像の歪み補正はＣＭＯＳカメラ２０に広角レンズを使用していることにより、撮像画像、即ち合成画像はレンズ収差による歪みが大きいため、その歪みを補正するというものである。
かかる合成画像の歪み補正は、正規の画像の全て画素数及び各画素相互の間隔が画像データとしてコンピュータ１０１に記憶されており、歪み合成画像について全て画素数及び各画素相互の間隔を求め、次に正規の画像の全ての画素における各画素相互の間隔と歪み合成画像の全ての各画素相互の間隔とを比較して歪み係数をそれぞれ求め、その歪み係数に基づいて歪み合成画像の全ての各画素相互の間隔を補正するものである（図１１参照）。
【００１８】
（５）マスタ画像と歪み補正された合成画像とのマッチング処理（ステップＳ５）
このマスタ画像と歪み補正された合成画像とのマッチング処理は専用パレット１７上のスチフナ１０の仮特定を行うものである。
このマッチング処理によるスチフナ１０の仮特定は以下に説明する３段階の手順により行う。
【００１９】
第１番目は、例えば図１２に（ａ）〜（ｎ）に示す複数のマスタ画像におけるスチフナ形状に特徴のある四隅の座標と補正処理した合成画像の複数のスチフナ１０の四隅の座標とのパターンマッチング（四隅の数画素についてパターンマッチングを行うこと）を行い、両者における四隅の座標における輝度値（明度）が一致すれば、両者の形状が一致するものとしていくつかのスチフナ１０の仮特定を行う。
しかし、この段階では四隅が一致するだけで、マスタ画像のスチフナ形状と合成画像のスチフナ１０の形状が一致しているとはいえない場合がある。
【００２０】
そこで、第２番目には、四隅が一致した両画像におけるいくつかのスチフナ１０の輪郭の座標の輝度値（明度）の一致と輪郭内の全ての座標における輝度値の一致を見る。
両者の輪郭の座標の輝度値と輪郭内の全ての座標における輝度値が一致すれば、仮特定されたいくつかのスチフナ１０の形状が一致していることになる。
この場合、輪郭の座標の輝度値と輪郭内の全ての座標における輝度値が完全に一致することは画像の解像度の点からも困難なので、それぞれ一致度の近い順に点数をつけ、一番高い点数のものをそれぞれ該当するスチフナ１０とする。
【００２１】
ここで、例えば３つのスチフナ１０が該当する一番高い点数のものとして該当する場合、専用パレット１７上のスチフナ１０は一番上にあるものから搬送されるため、どちらが上にあるかどうかを知る必要があるが、この段階では両者の上下関係が分からない。
通常、両者に上下関係があるときは上のスチフナ１０の撮影画像にノイズがないが、下のスチフナ１０の撮影画像はノイズがあるため、下のスチフナ１０の撮影画像の方が一致度が低くなる。
そこで、第３番目には、２つのスチフナ１０が該当する一番高い点数のものとして該当する場合に、両者の一致度を比較し、一致度の高い方を上のスチフナ１０であると仮特定し、マスタ画像と歪み補正された合成画像とのマッチング処理は終了する。
【００２２】
（６）仮特定されたスチフナの文字認識処理（ステップＳ６）
次に、合成画像から仮特定されたスチフナ１０について、コンピュータ１０１にＯＣＲ機能を持たせ、合成画像からさらにそのスチフナ１０に書かれた文字を認識し、認識した文字による名称と仮特定した形状とでスチフナ１０を特定する。
（７）最上段のスチフナの認識
こうして特定されたスチフナ１０について、そのスチフナ１０の画像上の輝度を計算し、一定輝度以上であれば、最上段のスチフナ１０であると判定する。
（８）スチフナの把持位置算出
最上段と判定されたスチフナ１０について、鋼材取付ロボット４のロボット座標系での「位置」「設置角度」「裏表」算出し、把持ハンド１５で把持すべき位置を幅の中心と高さの中心に基づいて計算する。
以上で、スチフナの形状認識処理は終了する。
【００２３】
このようにして、鋼材ハンドリング装置１の鋼材の形状認識装置１００が専用パレット１８上のスチフナ１０の形状を認識して把持位置を算出したら、鋼材ハンドリング装置１の一対の鋼材取付ロボット４の把持装置１２が専用パレット１８に載置されている最上段のスチフナ１０の両端部を把持する。
次に、昇降部８を上昇させ、把持装置１２でスチフナ１０の両端部を把持した状態で門型の走行台車３を移動させることにより、スチフナ１０を母材上の据え付け位置近傍まで搬送する。この搬送時に、主に走行台車３が走行レール２上を移動するため、スチフナ１０の高速搬送が可能である。
【００２４】
その後、スチフナ１０が母材上の据え付け位置近傍まで搬送されたら、一対の鋼材取付ロボット４を動作させて母材上の据え付け位置に対してスチフナ１０を位置決めし、しかる後に把持装置１２がスチフナ１０を把持した状態で、溶接ロボット１３がＮＣデータに従ってスチフナ１０と母材で形成される部位を溶接する。
以上の操作を、専用パレット１８に載置されている全てのスチフナ１０を母材に溶接により取り付けるまで繰り返す。
【００２５】
上記実施の形態１では、照明装置としてハロゲンランプ２１を使用しているが、強い光を発するものであれば、立ち上がりは遅いが水銀灯等であってもよい。
また、上記実施の形態１では、照明装置としてのハロゲンランプ２１を４個使用しているが、４個以上複数個を専用パレット１８上のスチフナ１０に対して複数の方向から照射するようにしてよいことはいうまでもない。
さらに、実施の形態１では、撮影装置としてＣＭＯＳカメラ２０を用いているが、それ以外にＣＣＤカメラ等のいわゆる電子カメラであればよいことは勿論である。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施の形態１に係る鋼材ハンドリング装置の全体構成を示す正面図。
【図２】同鋼材ハンドリング装置の全体構成を示す側面図。
【図３】同鋼材ハンドリング装置の把持装置を示す構成図。
【図４】同鋼材ハンドリング装置に取り付けられた照明装置の配置状態を示す概略構成図。
【図５】専用パレットにスチフナが載置された状態を示す説明図。
【図６】同鋼材ハンドリング装置の一部が遮光カバーで遮光された状態を示す正面図。
【図７】鋼材の形状認識装置の構成を示すブロック図。
【図８】鋼材の形状認識処理の過程を示すフローチャート。
【図９】登録された各種マスタ画像を示す説明図。
【図１０】４枚の撮影画像とこれらの合成画像を示す説明図。
【図１１】合成画像の歪み補正の過程を示す説明図。
【図１２】マスタ画像と歪み補正された合成画像とのマッチング処理を示す説明図。
【符号の説明】
【００２７】
１  鋼材ハンドリング装置、２  走行レール、３  走行台車、３ａ  門柱、３ｂ  ガータ、４  鋼材取付ロボット、５  横行部、６  第１旋回部、７  昇降ガイド、８  昇降部、９  第２旋回部、１０  スチフナ、１２  把持装置、１３  溶接ロボット、１４  アーム、１５  把持ハンド、１５ａ  吸着マグネット、１６  ハンド旋回モータ、１７  専用パレット、２０  ＣＭＯＳカメラ、２１  ハロゲンランプ（照明装置）、２２  遮光カバー、５０  制御盤、１００  鋼材の形状認識装置、１０１  コンピュータ、１０２  モニタ。
【図１】
2006329659.tif 000003
【図２】
2006329659.tif 000004
【図３】
2006329659.tif 000005
【図４】
2006329659.tif 000006
【図５】
2006329659.tif 000007
【図６】
2006329659.tif 000008
【図７】
2006329659.tif 000009
【図８】
2006329659.tif 000010
【図９】
2006329659.tif 000011
【図１０】
2006329659.tif 000012
【図１１】
2006329659.tif 000013
【図１２】
2006329659.tif 000014