(57)【要約】【課題】画像識別処理装置を安価に構成するとともに、画像認識に要する処理時間も必要最低限のものにする。また誤認識を防止するためオペレータが手動でひとつひとつ確認する必要がないようにする。【解決手段】識別対象の画像を予め基準画像１１０として登録するとともに、各基準画像対応に固有の識別ルール２１０を登録し、撮像画像を前記基準画像１１０及び識別ルール２１０に基づいて識別する構成とした。また識別ルール２１０を登録する際には、各画像が一意に識別可能かどうか予め確認を行ってから登録するようにした。【選択図】　　　　図１
2004021278.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像を識別する画像識別処理装置において、識別対象の画像を予め基準画像として登録する手段と、各基準画像対応に固有の識別ルールを登録する手段と、撮像画像を前記基準画像及び識別ルールに基づいて識別する手段とを備えてなる画像識別処理装置。
【請求項２】
前記識別ルールを登録する際、該識別ルールに対応する基準画像が該識別ルールにより一意に識別可能かどうかを自動判定する手段を有することを特徴とする請求項１に記載の画像識別処理装置。
【請求項３】
入力データを基に画像中の特徴を表す識別領域を指定し、前記撮像画像の判別時に前記指定された識別領域に対してのみ判別を行うルールを自動生成する手段を有することを特徴とする請求項１に記載の画像識別処理装置。
【請求項４】
前記識別ルールをオペレータが編集することを可能とする手段を有することを特徴とする請求項１に記載の画像識別処理装置。
【請求項５】
前記識別対象の画像を予め基準画像として登録する手段が、識別対象物が正常な状態での画像を基準画像として登録するものであるとともに、前記各基準画像対応に固有の識別ルールを登録する手段が、識別対象物が正常な状態での識別ルールを登録するものであり、且つ前記撮像画像を基準画像及び識別ルールに基づいて識別する手段が、前記対象物を撮像した画像を前記基準画像及び識別ルールに基づいて識別することにより、正しく識別できなかった場合には異常が発生したものとして判定するものであることを特徴とする請求項１に記載の画像識別処理装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、工作機械で使用される工具の判別、加工ワークの判別等に使用される画像識別処理装置に関するものである。
【０００２】
【従来の技術】
画像認識においては、基準画像を予め登録しておき、認識対象の画像と前記基準画像とを比較するパターンマッチング法等を用いて対象物の認識を行っている。
図１２は従来の画像認識装置の説明図で、撮像した工具の画像５０と、予め登録されている基準画像１１０とを、予め定められた識別ルール７０により識別し、撮像した工具を認識する。
なお、図１２に相当するものは、特開平９−８５５８４号公報等に開示されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の画像識別処理装置では正しく認識が行われなかった場合、より認識精度を向上させたり識別ルールを変更し、より高精度に認識するようにさせたりして対処しなければならなかった。
なお、認識精度を上げる為には、より高解像度の高価な画像処理装置を必要とし、また識別ルールを変更してより高精度に認識させる為には、認識処理に有する処理時間が大幅に増加する等の問題が生じる。
【０００４】
本発明は上記のような問題を解決するためになされたもので、画像認識を認識対象の画像に合わせて最適に実施することにより、効率的に画像処理を実施する画像認識処理装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明に係る画像識別処理装置は上記課題を解決する為になされたもので、識別対象の画像を予め基準画像として登録する手段と、各基準画像対応に固有の識別ルールを登録する手段と、撮像画像を前記基準画像及び識別ルールに基づいて識別する手段とを備えてなるものである。
【０００６】
また本発明に係る画像識別処理装置は、前記識別ルールを登録する際、該識別ルールに対応する基準画像が該識別ルールにより一意に識別可能かどうかを自動判定する手段を有するものである。
【０００７】
また本発明に係る画像識別処理装置は、入力データを基に画像中の特徴を表す識別領域を指定し、前記撮像画像の判別時に前記指定された識別領域に対してのみ判別を行うルールを自動生成する手段を有するものである。
【０００８】
また本発明に係る画像識別処理装置は、前記識別ルールをオペレータが編集することを可能とする手段を有するものである。
【０００９】
また本発明に係る画像識別処理装置は、前記識別対象の画像を予め基準画像として登録する手段が、識別対象物が正常な状態での画像を基準画像として登録するものであるとともに、前記各基準画像対応に固有の識別ルールを登録する手段が、識別対象物が正常な状態での識別ルールを登録するものであり、且つ前記撮像画像を基準画像及び識別ルールに基づいて識別する手段が、前記対象物を撮像した画像を前記基準画像及び識別ルールに基づいて識別することにより、正しく識別できなかった場合には異常が発生したものとして判定するものである。
【００１０】
【発明の実施の形態】
実施の形態１．
以下、本発明の実施の形態１を図１〜図８に基づいて説明する。
なお本実施の形態１では工作機械で使用される工具の認識について述べる。
また本実施の形態１では、予め全ての工具の画像を基準画像として複数登録しておくとともに、各基準画像を一意に識別可能となるように各基準画像対応に識別ルールをデータベースに格納しておき、そして認識対象工具を撮像し、認識対象工具がどのような工具であるかを前記基準画像及び識別ルールにより判定を行う例を説明する。
また本実施の形態１では、常に同じ位置で工具を撮像する為、同じ工具であれば認識対象工具と該認識対象工具に対応する基準画像とは必ず一致することを前提とする。なお、工具の撮像方法としては、特開平９−８５５８４号公報に示されているように、常に一定の条件下で工具が撮像されるように実施すればよい。
【００１１】
図１は画像認識の為の識別ルールの登録フローチャートである。
まず、工具を撮像する（ステップ　Ｓ１０１）。図２がこの撮像の様子を示した説明図であり、工具２０をカメラ１０により予め定められた固定位置で撮像する。カメラ１０で撮像した画像が撮像画像５０である。
【００１２】
次に、前記撮像画像５０を基準画像として格納する（ステップ　Ｓ１０２）。図３がこの基準画像を格納する様子を示した説明図であり、撮像した工具の画像５０を画像データベース１００内に基準画像１１０として格納する。
【００１３】
次に、全ての工具を処理したかどうかを判別し（ステップ　Ｓ１０３）、未処理の工具があれば未処理の工具に対して工具撮像（ステップ　Ｓ１０１）を繰り返す。全ての工具の処理が終了していればステップＳ１０４を実行する。
【００１４】
ステップＳ１０４では、識別ルールを設定しようとする工具の工具情報をオペレータが画面上（図示せず）から入力する。なお、工具情報とは例えば、工具名称・工具種類・工具長・工具径等工具の識別に必要な情報である。またこの工具情報は、ＮＣ加工プログラム、ＮＣの工具パラメータ格納メモリ等より得てもよい。
【００１５】
次に、工具の識別に必要な識別ルールを自動生成する（ステップ　Ｓ１０５）。
図４がこの識別ルールを自動生成する様子を示した説明図であり、撮像画像５０のうち対象工具の特徴を最も示す部位を、前記ステップＳ１０４で入力された情報を元に判別領域として指定し、予め定められた判別方法をもって工具を認識するルールを自動生成する。
即ち、工具種類や工具のフォルダー形状、工具の形状（工具長、工具径）からどの部分を判別すれば他の工具と識別できるかを予め定められた方法で識別するルールを自動生成する。図４の例では、工具の先端部分１２１と工具フォルダーの一部１２２を判別領域としてルールに登録する例を示している。
【００１６】
図５は識別ルールをデータベースに格納する際の説明図である。
識別ルールデータベース２００は、各基準画像対応に識別ルール２１０が格納されている。各識別ルール２１０の構造は、識別名称２２０と１つ以上の判別ルール２３０から構成されている。本実施の形態１の場合では、識別名称２２０は工具の名称である。判別ルール２３０とは、画像のどの部分（判別領域）をどの画像認識処理で行うかを定義したデータであり、一つの基準画像１１０に対して複数の判別ルール２３０を設定することが可能である。複数の判別ルール２３０を設定した場合には、全ての判別ルールが全て適合して初めて識別ルール２１０に適合したと判定される。
【００１７】
次に、該識別ルールによって該基準画像が一意に識別可能かどうかを判別する（ステップ　Ｓ１０６）。
図６がこの判別フローチャートである。まず、ルール番号を１に初期設定する（ステップ　Ｓ２０１）。これは、識別ルール２１０の１番目から判定を開始することを示している。
【００１８】
次に、ルール番号に対応する判別ルールを抽出する（ステップ　Ｓ２０２）。これは、図５で言えばルール番号に対応した識別ルール２１０から、該識別ルール２１０に対応して格納されている１つ以上の判別ルール２３０をデータベースから取り出すことを意味する。
【００１９】
次に画像番号を１に初期設定する（ステップ　Ｓ２０３）。これは、基準画像１１０の１番目から判定を開始することを示している。
【００２０】
次に、画像番号に対応する基準画像データを抽出する（ステップ　Ｓ２０４）。これは、図３で言えば画像番号に対応した基準画像１１０を取り出すことを意味する。
【００２１】
次に、判別ルールを１に初期設定する。（ステップ　Ｓ２０５）。これは、１つの識別ルール２１０中には複数の判別ルール２３０を指定可能であるので、一番目の判別ルール２３０から判別を開始することを意味している。
【００２２】
次に、基準画像１１０が該判別ルール２３０に適合しているかどうかを判定する（ステップ　Ｓ２０６）。これは従来の画像処理と同様の画像判定である。この判定結果に応じて、該判別ルール２３０が適合していればステップＳ２０８を実行し、不適合であればステップＳ２１１を実行する（ステップ　Ｓ２０７）。
【００２３】
ステップＳ２０８では、該判別ルール２３０が最終判別ルールかどうか判定する。これは、該識別ルール２１０中に指定されている全ての判別ルール２３０を判別終了したかどうかを確認するものである。最終ルールでなければ、即ち、まだ判別を行っていない判別ルール２３０が存在していれば、ステップＳ２０９を実行し、全ての判別ルール２３０の判定が終了したならステップＳ２１０を実行する。
【００２４】
ステップＳ２０９では、判別ルールの番号を１だけ増加させ、ステップＳ２０６を実行する。これは、該識別ルール２１０中に指定されている次の判別ルール２３０の判別を実行させるものである。
【００２５】
ステップＳ２１０では、該基準画像が該識別ルールに適合したものとしてテンポラリィテーブル（図示せず）に登録する。
【００２６】
ステップＳ２１１では、全ての基準画像１１０の判定が終了したかどうか判定し、まだ判定していない基準画像１１０があればステップＳ２１２を実行し、全ての基準画像の判定が終了していればステップＳ２１３を実行する。
【００２７】
ステップＳ２１２では、画像番号を１だけ増加させ、ステップＳ２０４を実行する。これは、まだ判別を行っていない基準画像の判別を実行させるものである。
【００２８】
ステップＳ２１３では、全ての識別ルール２１０の判定が終了したかどうか判定し、まだ判定していない識別ルール２１０があればステップＳ２１４を実行し、全ての識別ルール２１０の判定が終了していれば処理を終了する。
【００２９】
ステップＳ２１４では、ルール番号を１だけ増加させ、ステップＳ２０２を実行する。これは、まだ判別を行っていない識別ルール２１０の判別を実行させるものである。
【００３０】
図１に戻り、図６で示した識別ルールチェックを行い（ステップ　Ｓ１０６）、各識別ルール２１０によって適合と判断された基準画像１１０が全て一つだけの場合、即ち、各識別ルール２１０が全て対応する基準画像１１０のみを適合とするルールとなっていれば識別ルール２１０は正しいと判断し（ステップ　Ｓ１０７）、ステップＳ１０９を実行する。もし、ある識別ルール２１０が複数の基準画像１１０を適合と判断してしまった場合には、該識別ルール２１０では撮像画像５０を一意に識別できないものと判断し、識別ルール２１０の修正を行う（ステップ　Ｓ１０８）。
【００３１】
図７は識別ルール２１０の修正を行う画面例であり、オペレータが識別ルール２１０をオペレーション画面３００上で編集するものである。オペレーション画面３００は、画像ウィンドウ３１０、識別ルール設定ウィンドウ３２０、判定ルール設定ウィンドウ３３０から構成されている。
【００３２】
画像ウィンドウ３１０上には基準画像１１０が表示されており、この画面上で判別領域１２０をどの部分に設けるかをオペレータが指定する。
【００３３】
識別ルール設定ウィンドウ３２０上には、識別名称２２０及び判別ルール２３０が表示されており、判別ルール２３０の編集、追加、削除を行うことが出来る。
【００３４】
判定ルール設定ウィンドウ３３０上では、画像の識別方法３４０の指定及び各画像識別方法３４０に対応した識別パラメータ３５０の指定が行えるようになっている。図７の表示画面の例では、判別ルール２の編集を行っている様子が示されており、画像ウィンドウ３１０上で示されている判別領域１２０を判定ルール設定ウィンドウ３３０上で示されている各画像認識方法３４０のうち「２値特徴量」を用いて、「２値特徴量」に対応した認識パラメータ３５０である「重心」を求める方法で、２値化のための閾値を「１２１」にしている例を示している。
【００３５】
図１に戻り、図７で示した識別ルールの編集機能を用いて識別ルールを修正後（ステップ　Ｓ１０８）、ステップＳ１０６を再度実行する。
【００３６】
ステップＳ１０９では、該識別ルール２１０を正式に識別ルールデータベース２００に登録する。次に全ての工具に関して識別ルール２１０の登録が完了したかどうかを判別する（ステップ　Ｓ１１０）。識別ルール２１０の登録が未完の工具があれば、ステップＳ１０４より再度次の工具の処理を行い、全工具の識別ルール登録が完了していれば処理を終了する。
【００３７】
次に、使用工具を識別する方法を図８で説明する。
図８は、使用する可能性のある工具を、図１で示したように予め基準画像１１０と各工具の識別ルール２１０として登録しておき、実際に使用する工具を撮像し、この撮像した工具がどの工具に相当するか前記基準画像１１０及び識別ルール２１０を用いて識別する方法を示したものである。
【００３８】
まず、ルール番号を１に初期設定する（ステップ　Ｓ３０１）。これは、識別ルール２１０の１番目から判定を開始することを示している。
【００３９】
次に、ルール番号に対応する判別ルール２３０を抽出する（ステップ　Ｓ３０２）。これは、図５で言えばルール番号に対応した識別ルール２１０から、該識別ルール２１０に対応して格納されている１つ以上の判別ルール２３０をデータベースから取り出すことを意味する。
【００４０】
次に、判別ルールを１に初期設定する。（ステップ　Ｓ３０３）。これは、１つの識別ルール２１０中には複数の判別ルール２３０を指定可能であるので、一番目の判別ルール２３０から判別を開始することを意味している。
【００４１】
次に、撮像画像５０が該判別ルール２３０に適合しているかどうかを判定する（ステップ　Ｓ３０４）。これは従来の画像処理と同様の画像判定である。この判定結果に応じて、該判別ルール２３０が適合していればステップＳ３０６を実行し、不適合であればステップＳ３０９を実行する（ステップ　Ｓ３０５）。
【００４２】
ステップＳ３０６では、該判別ルール２３０が最終判別ルールかどうか判定する。これは、該識別ルール２１０中に指定されている全ての判別ルール２３０を判別終了したかどうかを確認するものである。最終ルールでなければ、即ち、まだ判別を行っていない判別ルール２３０が存在していれば、ステップＳ３０７を実行し、全ての判別ルール２３０の判定が終了したならステップＳ３０８を実行する。
【００４３】
ステップＳ３０７では、判別ルールの番号を１だけ増加させ、ステップＳ３０４を実行する。これは、該識別ルール２１０中に指定されている次の判別ルール２３０の判別を実行させるものである。
【００４４】
ステップＳ３０８では、該撮像画像５０が該識別ルール２１０に適合したものと判定し、該識別ルール２１０に相当する工具が使用される工具と判断する。
【００４５】
ステップＳ３０９では、全ての識別ルール２１０の判定が終了したかどうか判定し、まだ判定していない識別ルール２１０があればステップＳ３１０を実行し、全ての識別ルール２１０の判定が終了していればステップＳ３１１を実行する。
【００４６】
ステップＳ３１０では、ルール番号を１だけ増加させ、ステップＳ３０２を実行する。これは、まだ判別を行っていない識別ルール２１０の判別を実行させるものである。
【００４７】
ステップＳ３１１では、該撮像画像５０が適合する識別ルール２１０が存在しなかったものと判定し、該撮像画像５０は認識不可能と判断する。
【００４８】
実施の形態２．
次に、撮像した画像５０を判別する別の例を図９で説明する。
図９の例では、使用する可能性のある工具を、図１で示したように基準画像１１０と各工具の識別ルール２１０として予め登録しておき、実際に使用する工具を撮像し、この撮像した工具が相当するはずの該識別ルール２１０に適合するかどうかを判定する方法を示したものである。これは、使用する工具が正しい工具であるかどうか画像認識を用いて確認する際に使用する。
【００４９】
まず、ルール番号をｎに初期設定する（ステップ　Ｓ４０１）。これは、使用工具に相当する識別ルール２１０の判定を行うことを示している。即ち、使用工具が正しい工具であれば、必ず該識別ルール２１０に適合するはずであることを示している。
【００５０】
次に、ルール番号に対応する判別ルール２３０を抽出する（ステップ　Ｓ４０２）。これは、図５で言えばルール番号に対応した識別ルール２１０から、該識別ルール２１０に対応して格納されている１つ以上の判別ルール２３０をデータベースから取り出すことを意味する。
【００５１】
次に、判別ルール２３０を１に初期設定する。（ステップ　Ｓ４０３）。これは、１つの識別ルール２１０中には複数の判別ルール２３０を指定可能であるので、一番目の判別ルール２３０から判別を開始することを意味している。
【００５２】
次に、撮像画像５０が該判別ルール２３０に適合しているかどうかを判定する（ステップ　Ｓ４０４）。これは従来の画像処理と同様の画像判定である。この判定結果に応じて、該判別ルール２３０が適合していればステップＳ４０６を実行し、不適合であればステップＳ４０９を実行する（ステップ　Ｓ４０５）。
【００５３】
ステップＳ４０６では、該判別ルール２３０が最終判別ルールかどうか判定する。これは、該識別ルール２１０中に指定されている全ての判別ルール２３０を判別終了したかどうかを確認するものである。最終ルールでなければ、即ち、まだ判別を行っていない判別ルール２３０が存在していれば、ステップＳ４０７を実行し、全ての判別ルール２３０の判定が終了したならステップＳ４０８を実行する。
【００５４】
ステップＳ４０７では、判別ルールの番号を１だけ増加させ、ステップＳ４０４を実行する。これは、該識別ルール２１０中に指定されている次の判別ルール２３０の判別を実行させるものである。
【００５５】
ステップＳ４０８では、該撮像画像５０が該識別ルール２１０に適合したものと判定し、判定する工具は正しい工具が使用されているもの判断する。
【００５６】
ステップＳ４０９では、該撮像画像５０が対応する識別ルール２１０に適合しなかったものと判定し、判定する工具は正しい工具が使用されていないもの判断する。
【００５７】
実施の形態３．
なお、上記実施の形態１，２では工具の判別に関する実施の形態を示したが、図１０で示すように加工ワークの判別にも適用可能である。図１０は旋削加工の例が示されており、装着されているワーク３０が正しいワークかどうかの判定に使用できる。
【００５８】
また、図９で示した実施の形態２の判定方法を用いれば、図１１で示すように工具２０に切り屑６０が絡み付いた場合の検出にも適用可能である。正常な場合（切り屑６０が絡み付いていない場合）の撮像画像５０を基準画像１１０と識別ルール２１０として予め登録しておき、切り屑６０が絡み付いていないかどうかの判定を判定時の撮像画像５０を識別ルールに基づいて認識させることで、正しく認識できれば切り屑６０は絡み付いていないと判断し、正しく認識できなければそれは切り屑６０が絡み付いていると判断することで切り屑６０の絡み付きを検出できる。
【００５９】
実施の形態４．
さらに、本実施の形態では識別ルールはオペレータが自在に設定可能であるので、非常に似通った形状の対象物で、どうしても両者の識別が不可能な場合には、どちらかの対象物に特徴的な識別情報を付加し、この特徴的な識別情報を元に両者の識別を行うようにも出来る。例えば、撮像画像５０だけでは識別が困難なほど似通った工具を識別する際、どちらかの工具のフォルダー部分に識別の為のシールを貼り、このシールの有無によって識別を行うルールを設定する等によりその対処が可能となる。
【００６０】
【発明の効果】
以上説明したように本発明によれば、各基準画像夫々に対して最適な認識ルールを設定可能であるので、従来の全ての基準画像に対して同一の認識ルールを適用する方式と比べて、簡単な画像認識で容易に対象物を識別可能で、画像認識システムを安価に構成することが可能となり、画像認識に要する処理時間も必要最低限のものに留めることが可能となる。
【００６１】
また、登録する識別ルールにより識別する対象物が必ず一意に認識可能かどうかの判定を自動で行えるので、確実に誤認識を防止することが可能となり、しかも誤認識を防止するためオペレータが手動でひとつひとつ確認する必要がなく、その確認作業が不要になる。
【００６２】
また、入力データを基に画像中の特徴を表す識別領域を指定し、前記撮像画像の判別時に前記指定された識別領域に対してのみ判別を行うルールを自動生成するので、ルール生成が簡単であるとともに、確実に誤認識を防止することが可能となる。
【００６３】
また、識別ルールをオペレータが編集可能であるので、非常に似通っており判別するのが通常のルールでは困難な対象物に関して、オペレータが両者の対象物の特徴部分を考慮して好適な識別ルールを設定することが可能となり、よって識別ルールを調整することで対象物の判別を可能にすることが出来る。さらに、どうしても判別が出来ないような場合には、いずれかの対象物に判別可能なような特徴を付加してしまうことで判別が可能となる。
【００６４】
更にまた、識別対象物が正常な状態での画像を基準画像として登録するとともに、識別対象物が正常な状態での識別ルールを登録しておき、且つ前記対象物を撮像した画像を前記基準画像及び識別ルールに基づいて識別し、正しく識別できなかった場合には異常が発生したものとして判定するので、識別対象物の異常な状態が容易に検出可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る識別ルールの登録フローチャートである。
【図２】本発明の実施の形態１に係る工具の撮像に関する説明図である。
【図３】本発明の実施の形態１に係る撮像画像の格納に関する説明図である。
【図４】本発明の実施の形態１に係る判別領域の指定に関する説明図である。
【図５】本発明の実施の形態１に係る識別ルールの格納に関する説明図である。
【図６】本発明の実施の形態１に係る識別ルールの処理フローチャートである。
【図７】本発明の実施の形態１に係る識別ルールの設定に関する説明図である。
【図８】本発明の実施の形態１に係る工具の識別に関するフローチャートである。
【図９】本発明の実施の形態２に係る工具の判別に関するフローチャートである。
【図１０】本発明の実施の形態３に係るワークの識別に関する説明図である。
【図１１】本発明の実施の形態３に係る切り屑の巻き付きに関する説明図である。
【図１２】従来の画像識別処理装置の説明図である。
【符号の説明】
１０　カメラ、２０　工具、３０　ワーク、５０　撮像画像、６０　切り屑、７０　識別ルール、１００　画像データベース、１１０　基準画像、１２０　判別領域、１２１　工具先端の判別領域、１２２　工具フォルダー部分の判別領域、２００　識別ルールデータベース、２１０　識別ルール、２２０　認識名称、２３０　判別ルール、３００　オペレーション画面、３１０　画像ウィンドウ、３２０　識別ルール設定ウィンドウ、３３０　判別ルール設定ウィンドウ、３４０　画像認識方法、３５０　認識パラメータ。
【図１】
2004021278.tif 000003
【図２】
2004021278.tif 000004
【図３】
2004021278.tif 000005
【図４】
2004021278.tif 000006
【図５】
2004021278.tif 000007
【図６】
2004021278.tif 000008
【図７】
2004021278.tif 000009
【図８】
2004021278.tif 000010
【図９】
2004021278.tif 000011
【図１０】
2004021278.tif 000012
【図１１】
2004021278.tif 000013
【図１２】
2004021278.tif 000014