(57)【特許請求の範囲】
【請求項１】
内部を撮像する撮像部を備える工作機械における前記撮像部で撮像された撮像画像を処理する画像処理装置であって、
前記撮像画像の少なくとも一部に複数のメッシュ領域を作成するメッシュ分割部と、
前記複数の前記メッシュ領域に対して、ワークを加工することで発生した切屑を認識し、前記メッシュ領域における切屑の存在に関する存在確率を予め定められた項目ごとに算出する切屑認識部と、
前記切屑認識部で算出された前記存在確率がいずれも所定値以下である場合、前記メッシュ領域を再学習すると判別する再学習判別部と、
再学習すると判別された前記メッシュ領域を記憶する再学習画像記憶部と、
を備え、
前記メッシュ領域における前記切屑の存在は、前記メッシュ領域内に存在する切屑の量の多少若しくは切屑の有無またはその両方を含み、
前記存在確率は、任意のメッシュ領域を入力、当該任意のメッシュ領域に対する切屑の存在に関する前記予め定められた項目のいずれかを出力とする教師データを用いて学習させた学習モデルに、前記撮像画像に作成された前記メッシュ領域を入力して、前記メッシュ領域における前記切屑の存在を認識し、前記メッシュ領域における前記切屑の存在が前記予め定められた項目のそれぞれに該当する確率を前記予め定められた項目ごとに算出された確率であり、
前記予め定められた項目は、前記メッシュ領域内での前記切屑の存在を切屑の量の多少若しくは切屑の有無またはその両方により分類して示すように構成された項目であることを特徴とする、画像処理装置。
【請求項２】
前記切屑認識部における切屑の前記存在確率の算出結果を前記メッシュ領域ごとに記憶する算出結果記憶部と、
前記メッシュ領域ごとの切屑の堆積の履歴を生成し、堆積確率または堆積の発生頻度を算出する履歴生成部と、
前記堆積確率または前記発生頻度から前記切屑認識部で算出する頻度を設定する算出頻度設定部と、
をさらに備えることを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記算出頻度設定部はさらに、前記堆積確率または前記発生頻度の大きさに応じて前記切屑認識部で算出する時間的間隔を設定することを特徴とする、請求項２に記載の画像処理装置。
【請求項４】
前記履歴生成部は、前記堆積確率または前記発生頻度が所定値以上変化すると前記履歴を再生成することを特徴とする、請求項２または請求項３に記載の画像処理装置。
【請求項５】
再学習すると判別された前記メッシュ領域を他の記憶装置へ送信する再学習データ送信部、または再学習すると判別された前記メッシュ領域を用いて再学習を行う再学習部をさらに備えることを特徴とする、請求項１から請求項４のいずれか一項に記載の画像処理装置。
【請求項６】
内部を撮像する撮像部と、
前記撮像部で撮像された撮像画像の少なくとも一部に複数のメッシュ領域を作成するメッシュ分割部と、
前記複数の前記メッシュ領域に対して、ワークを加工することで発生した切屑を認識し、前記メッシュ領域における切屑の存在に関する存在確率を予め定められた項目ごとに算出する切屑認識部と、
前記切屑認識部で算出された前記存在確率がいずれも所定値以下である場合、前記メッシュ領域を再学習すると判別する再学習判別部と、
再学習すると判別された前記メッシュ領域を記憶する再学習画像記憶部と、
を備え、
前記メッシュ領域における前記切屑の存在は、前記メッシュ領域内に存在する切屑の量の多少若しくは切屑の有無またはその両方を含み、
前記存在確率は、任意のメッシュ領域を入力、当該任意のメッシュ領域に対する切屑の存在に関する前記予め定められた項目のいずれかを出力とする教師データを用いて学習させた学習モデルに、前記撮像画像に作成された前記メッシュ領域を入力して、前記メッシュ領域における前記切屑の存在を認識し、前記メッシュ領域における前記切屑の存在が前記予め定められた項目のそれぞれに該当する確率を前記予め定められた項目ごとに算出された確率であり、
前記予め定められた項目は、前記メッシュ領域内での前記切屑の存在を切屑の量の多少若しくは切屑の有無またはその両方により分類して示すように構成された項目であることを特徴とする、工作機械。
【請求項７】
工作機械内部を撮像した撮像画像の少なくとも一部に複数のメッシュ領域を作成するステップと、
前記複数の前記メッシュ領域に対して、ワークを加工することで発生した切屑を認識し、前記メッシュ領域における切屑の存在に関する存在確率を予め定められた項目ごとに算出するステップと、
算出された前記存在確率がいずれも所定値以下である場合、前記メッシュ領域を再学習すると判別するステップと、
再学習すると判別された前記メッシュ領域を記憶するステップとを有し、
前記メッシュ領域における前記切屑の存在は、前記メッシュ領域内に存在する切屑の量の多少若しくは切屑の有無またはその両方を含み、
前記存在確率は、任意のメッシュ領域を入力、当該任意のメッシュ領域に対する切屑の存在に関する前記予め定められた項目のいずれかを出力とする教師データを用いて学習させた学習モデルに、前記撮像画像に作成された前記メッシュ領域を入力して、前記メッシュ領域における前記切屑の存在を認識し、前記メッシュ領域における前記切屑の存在が前記予め定められた項目のそれぞれに該当する確率を前記予め定められた項目ごとに算出された確率であり、
前記予め定められた項目は、前記メッシュ領域内での前記切屑の存在を切屑の量の多少若しくは切屑の有無またはその両方により分類して示すように構成された項目である、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、工作機械においてワークを加工した際に生じる切屑に対する画像処理装置、工作機械、および画像処理方法に関する。
【背景技術】
【０００２】
工作機械において加工物であるワークを加工した際、切屑が生じる。切屑が多く堆積すると、加工の継続が困難となる。このため、定期的に工作機械の運転を停止して、エアブローなどを使って作業者が手作業で切屑を除去する必要がある。そのため、工作機械の稼働効率が低下する。そこで、人手によらずに切屑を除去する技術が求められている。
【０００３】
そのような技術として、特許文献１には、取り込んだ画像を解析して、切屑に相当する画像部分を検出して、その位置および大きさを記録する切屑除去装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−１０８４３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、切屑検出の解析には多大な時間を要し、正確な切屑の検出や大きさの把握には、例えば、学習制御等を用いる必要がある。学習制御において、一旦学習した学習モデルが使用されていたとしても、当該学習モデルを再度学習させて精度を向上させるという手法がある。しかし、その場合、再学習のために膨大な画像データを収集する必要があり、大きな処理負荷がかかる。
【０００６】
そこで、本開示は、学習制御を用いた切屑検出に関して、再学習に用いる画像データをより効率的に収集することができる技術を提供することを目的とする。また、切屑検出の処理負荷を軽減することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本開示の一実施形態に係る画像処理装置は、内部を撮像する撮像部を備える工作機械における前記撮像部で撮像された撮像画像を処理する画像処理装置であって、前記撮像画像の少なくとも一部に複数のメッシュ領域を作成するメッシュ分割部と、前記複数の前記メッシュ領域に対して、ワークを加工することで発生した切屑の検出判定確率を算出する切屑認識部と、前記切屑認識部で算出された前記検出判定確率の結果から前記メッシュ領域を再学習するかどうか判別する再学習判別部と、再学習すると判別された前記メッシュ領域を記憶する再学習画像記憶部と、を備えることを特徴とする構成となっている。
【０００８】
また、本開示の一実施形態に係る工作機械は、内部を撮像する撮像部と、前記撮像部で撮像された撮像画像の少なくとも一部に複数のメッシュ領域を作成するメッシュ分割部と、前記複数の前記メッシュ領域に対して、ワークを加工することで発生した切屑の検出判定確率を算出する切屑認識部と、前記切屑認識部で算出された前記検出判定確率の結果から前記メッシュ領域を再学習するかどうか判別する再学習判別部と、再学習すると判別された前記メッシュ領域を記憶する再学習画像記憶部と、を備えることを特徴とする構成となっている。
【０００９】
また、本開示の一実施形態に係る画像処理方法は、工作機械内部を撮像した撮像画像の少なくとも一部に複数のメッシュ領域を作成するステップと、前記複数の前記メッシュ領域に対して、ワークを加工することで発生した切屑の検出判定確率を算出するステップと、算出された前記検出判定確率の結果から前記メッシュ領域を再学習するかどうか判別するステップと、再学習すると判別された前記メッシュ領域を記憶するステップとを有する、ことを特徴とする。
【発明の効果】
【００１０】
本開示によれば、切屑検出に関して、再学習に用いる画像データをより効率的に収集することができる。また、切屑検出の処理負荷を軽減することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、工作システムの一実施形態の構成を示すブロック図である。
【図２】図２は、メッシュ領域の一例を示す。
【図３】図３は、工作機械の内部を撮像した概略的な撮像画像を示す。
【図４】図４は、工作システムの一実施形態に係る切屑認識部の構成を示すブロック図である。
【図５】図５は、工作システムの動作例を説明するためのフローチャートである。
【図６Ａ】図６Ａは、工作システムの動作例を説明するためのフローチャートである。
【図６Ｂ】図６Ｂは、工作システムの動作例を説明するためのフローチャートである。
【図６Ｃ】図６Ｃは、工作システムの動作例を説明するためのフローチャートである。
【図７Ａ】図７Ａは、工作システムの動作例を説明するためのフローチャートである。
【図７Ｂ】図７Ｂは、工作システムの動作例を説明するためのフローチャートである。
【図７Ｃ】図７Ｃは、工作システムの動作例を説明するためのフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本開示の実施形態について図面を参照しながら説明する。
【００１３】
図１は、本実施形態における工作システム１の構成を示す。工作システム１は、工作機械１０および画像処理装置３０を備えている。工作機械１０は、工作機械の内部に搬入された加工対象であるワークに対して切削、研削等の加工を行う装置である。ワークに対して加工を行うと、ワークの一部が分離して切屑が発生し、工作機械の内部に堆積する。
【００１４】
（工作システム）
工作機械１０は、液体放出部１１および撮像部１２を備えている。また、図示しないが機械座標取得部１３を備えている。液体放出部１１は、例えば、液体を放出することができるノズルと、ノズルを駆動するアクチュエータと、液体を貯留している液体貯留部から液体をくみ上げるポンプと、を備える。ノズルから切屑へと液体を放出することで上述の切屑を加工領域外のチップコンベアなどに移動させ、最終的には加工領域から切屑を除去することができる。この液体には、加工時に熱を生じるワークおよび加工装置である主軸などを冷却及び潤滑するためのクーラントを用いてもよいし、他の液体を使用してもよい。以下、本明細書では、切屑を移動させるための液体としてクーラントを用いた場合について説明する。液体放出部１１は、ノズルの位置、ノズルからのクーラントの放出方向、クーラントの放出圧力などを変更することができる。液体放出部１１は、複数のノズルを有する形態が好ましい。一つのノズルの液体放出領域では、工作機械の構成部品で隠れてしまう空間領域ができる。その空間領域に切屑が入り込むとノズルからの液流が十分切屑に作用させることができないため切屑を移動させることが難しいためである。
【００１５】
撮像部１２は、例えば、ＣＣＤやＣＭＯＳなどの撮像素子を備えたカメラであり、工作機械１０内部を撮像することができる。撮像部１２は、撮像された画像を後述する画像処理装置３０へと出力することができる。工作機械１０は、撮像部１２の性能、撮像範囲に応じて、撮像部１２を工作機械内に複数備えてもよい。本実施形態における工作機械１０は、撮像部１２が二つ設けられている。この場合においても、一つの撮像部では撮像できない領域を撮像することができるように、もう一つの撮像部を配置することで、工作機械内の加工領域の全体を撮像部で撮像した画像から確認することができる。
【００１６】
機械座標取得部１３は、工作機械１０の構造のうち、詳細は後述するパレット１４、テーブル１６、主軸２２等の移動する部品について、工作機械１０内部での当該部品の位置を表す機械座標を取得することができる。取得した機械座標は、画像処理装置３０に、特に後述する液体放出制御部４４などに送信することができる。当該機械座標は、加工のためにＮＣ制御装置から工作機械１０へ送信された位置情報を用いることができる。センサーを用いて取得した位置情報も用いることができる。
【００１７】
画像処理装置３０は、工作機械１０の撮像部１２で撮像された撮像画像を処理し、工作機械へと信号を送信する演算部３１、演算部３１で処理される画像および位置等の情報を必要に応じて記憶する記憶部３２を備える。また、画像処理装置３０は、撮像部１２で撮像された撮像画像を表示する表示部３３を備えてもよい。画像処理装置３０は、例えば、コンピュータやタブレットなど、画像を受信し演算する機能を備える装置である。
【００１８】
表示部３３は、例えばコンピュータのディスプレイであり、工作機械１０の撮像部１２が撮像し画像処理装置３０に出力した画像を表示させることができる。また、後述するメッシュ分割部４２において作成されたメッシュを組み合わせて表示するなど、撮像画像に関して演算部３１で処理された画像を表示させてもよい。表示部３３は、例えば、抵抗膜方式や静電容量方式のディスプレイなど、表示画像に作業者が接触することで画像に基づいて直接指示できる、いわゆるタッチパネルであってもよい。
【００１９】
演算部３１は、取得部４１、メッシュ分割部４２、切屑認識部４３、液体放出制御部４４、送信部４５および補正部４６を備える。演算部３１および演算部３１に含まれる各処理部４１〜４６は、プログラムを実行することにより所定の機能を実現するＣＰＵまたはＭＰＵのような汎用プロセッサを含む。演算部３１および演算部３１に含まれる各処理部４１〜４６は、例えば記憶部３２に格納された制御プログラムを呼び出して実行することにより、画像処理装置３０における各種の処理を実現する。演算部３１および演算部３１に含まれる各処理部４１〜４６は、ハードウェアとソフトウェアの協働により所定の機能を実現するものに限定されず、所定の機能を実現する専用に設計されたハードウェア回路でもよい。すなわち、演算部３１および演算部３１に含まれる各処理部４１〜４６は、ＣＰＵ、ＭＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣ等、種々のプロセッサで実現することができる。
【００２０】
取得部４１は、撮像部１２にて撮像された画像を取得し、メッシュ分割部４２に出力する。また、表示部３３に出力してもよい。
【００２１】
メッシュ分割部４２は、撮像部１２にて撮像された撮像画像の少なくとも一部を複数のメッシュ領域に分割することができる。メッシュ領域は、撮像画像が所定の幾何学的な形状（メッシュ）により分割された領域である。図２は、工作機械１０の内部を撮像した撮像画像が、正方形のメッシュ領域に分割された図である。このような複数のメッシュ領域で構成された画像をメッシュ画像と称することができる。分割するメッシュの大きさおよび形状は、必要に応じて変更できるように構成されてもよい。なお、本明細書のメッシュ画像は、撮像画像にメッシュの情報を付加し新たな画像を生成したものに限られず、撮像画像とメッシュとを関連付けたものでもよい。つまり、撮像画像とメッシュとを別々のデータとして保存しているものもメッシュ画像という。
【００２２】
切屑認識部４３は、詳細は後述するが、メッシュ分割部４２において撮像画像から作成された各メッシュ領域に対して自動的に切屑を認識し、当該メッシュ領域において切屑が存在しているか否かと、存在している切屑の量との少なくとも一方について検出判定確率を算出する。切屑認識部４３は、メッシュ領域に切屑があると判定した場合、メッシュ画像におけるメッシュ領域に対応する撮像画像上の位置を切屑の堆積位置と認識する。当該判定は、検出判定確率について所定の閾値を設定し、当該確率が閾値より高ければ切屑があると判定してもよい。切屑があると判定し、その堆積位置を認識すると、自動検知信号を液体放出制御部４４に出力する。自動検知信号は、撮像画像において切屑が堆積していると認識された所定位置に関する情報を少なくとも含む。
【００２３】
液体放出制御部４４は、自動検知信号に基づいて、クーラントを放出する位置を設定する。切屑認識部４３から出力された自動検知信号に基づいて、撮像画像における所定位置を取得し、工作機械内部で切屑が堆積している関連領域を取得する。液体放出制御部４４は、関連領域に応じて所定のクーラント放出経路を設定する。そして、液体放出制御部４４は、少なくとも当該関連領域にクーラントを放出するための情報を含む制御信号を送信部４５へと出力する。したがって、自動検知信号に基づいて液体放出部１１を制御することができるため、所定位置を認識することで、液体放出部１１を制御することにより、クーラントを放出させて、切屑を移動させることができる。
【００２４】
送信部４５は、液体放出部１１にクーラントの放出信号を出力する。放出信号は、切屑がある指示された所定位置に関連する関連領域に対して、切屑を移動させるためのクーラントを放出するための信号である。放出信号に応じて、工作機械１０の液体放出部１１のノズルは、当該関連領域へ所定の方法でクーラントを放出する。工作機械１０と画像処理装置３０とが一体となって構成された場合、本工作システム１は送信部４５を備えず、液体放出制御部４４から液体放出部１１へと信号を直接出力するように構成することもできる。
【００２５】
記憶部３２は、種々の情報を記録する記憶媒体である。記憶部３２は、例えば、ＤＲＡＭ、ＳＲＡＭ、フラッシュメモリ、ＭＲＡＭ、ＲｅＲＡＭ、ＦｅＲＡＭ、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｅｖｉｃｅ）、ハードディスク、その他の記憶デバイスまたはそれらを適宜組み合わせて実現される。記憶部３２は、取得部４１で取得された撮像画像、メッシュ分割部４２で作成されたメッシュ領域（メッシュ画像）、切屑認識部４３で切屑が存在していると認識された所定位置の情報、切屑の量に関する情報および算出結果、後述する再学習判別部６０で再学習に使用すると判別された再学習メッシュ領域、履歴生成部６５で生成された堆積の履歴などを格納することができる。また、演算部３１の各処理部は、必要に応じて当該記憶部３２に記憶された画像および情報等の入力、並びに当該処理部で処理された画像および作成された情報等の出力はそれぞれ、ある処理部から当該処理部へ直接入力され、当該処理部から別の処理部へ直接出力されるなど、記憶部３２を介さない構成で記載している。しかし、これに限定されず、演算部３１の各処理部は、画像処理、信号検知または検出確率算出等の際に記憶部３２から画像および情報等を読み込んでもよく、当該処理部にて画像処理された画像および作成された情報等を記憶部３２に記憶してもよい。
【００２６】
図３は、工作機械１０の内部を撮像した撮像画像であり、パレット１４、カバー１５、テーブル１６、旋回扉１７、側面１８、斜面１９、プロテクタ２０、シュータ２１、および主軸２２が示されている。本実施形態において、図３に示す主軸２２の長軸２３を工作機械１０内部の前後方向として、主軸２２の根元側と手前側、先端側を奥側とする。また、長軸２３に直交する水平方向を左右方向、長軸２３に直交する垂直方向を上下方向とする。
【００２７】
パレット１４は、ワーク２４（図示せず）を載せて固定する台である。工作機械１０は、複数のパレット１４を設けることができる。それにより、加工するワークを変更する際、パレット１４を変更することでワークを変更でき、時間の効率化を図ることができる。
【００２８】
カバー１５は、図３においてパレット１４の左右の側部に位置している部品であり、後述する旋回扉１７が回転してパレット１４を交換する際、カバー１５が例えばパレット１４を持ち上げることでテーブル１６から分離させる。本実施形態において、カバー１５は旋回扉１７に固定されている。
【００２９】
テーブル１６は、パレット１４を取り付けることができる部品である。テーブル１６は前後方向へ移動することができ、それによりパレット１４上に固定されたワークを移動させることができる。また、テーブル１６は少なくともテーブル１６の一部を水平方向へ回転することができ、それによりパレット１４上に固定されたワークを回転させることができる。
【００３０】
旋回扉１７は、軸２５を中心に回転することができる扉である。旋回扉１７が回転する際、カバー１５がパレット１４をテーブル１６から分離させて、パレット１４およびカバー１５と一緒に回転する。それによりワークの加工が終了したパレット１４をパレット格納部２６（図示せず）へと搬出することができ、また次に加工するワークが固定されたパレット１４をパレット格納部２６から工作機械内へと搬入することができる。旋回扉の工作機械内側と格納部側の両方にカバー１５を取り付け、旋回扉が１８０度回転することでパレットの搬入と搬出を同時に行ってもよい。
【００３１】
側面１８は、工作機械１０の開閉可能な壁である。側面１８は、工作機械１０の内部と、外部とを区画しており、側面１８を開放すると作業者が工作機械１０の内部に入ることができる。また、側面１８に対向する位置にある図示しない側面２７は、工作機械１０の内部と、工具格納部２８（図示せず）とを区画している。工具格納部２８は、複数の工具を格納しており、加工の際、必要に応じて側面２７が開き、主軸２２に取り付けられている工具を工具格納部２８に格納されている別の工具と交換することができる。
【００３２】
シュータ２１は、洗浄によって切屑が流れていく場所である。斜面１９、プロテクタ２０は、旋回扉１７および側面１８、２７の下側に設けられており、シュータ２１へと切屑が流れやすいように、それぞれシュータへ向けて下向きに傾斜している。
【００３３】
主軸２２は、先端に工具を取り付け、その長軸２３を中心に回転させることにより、ワークを加工することができる。本実施形態においては、図３に示すように、主軸２２は円柱形の外形を有する。
【００３４】
次に、撮像画像を用いて自動的に切屑を認識する方法について説明する。図４は、切屑を自動的に認識する切屑認識部４３の構成の概略図である。図４に示すように、切屑認識部４３は、算出部５０および判定部５１を備える。また、演算部３１は、モデル学習部５２を備え、記憶部３２は、モデル記憶部５３を備える。
【００３５】
モデル学習部５２は、学習モデルを作成する。学習モデルは、入力としてメッシュ分割部３６で作成されたメッシュ領域の一つを入力すると、当該メッシュ領域内の切屑に関する、所定の項目の内どれに該当するか、その確率を算出して出力することができるモデルである。学習モデルは例えば、対となる入力データと出力データを教師データとしてあらかじめ、ＣＮＮ（畳み込みニューラルネットワーク）に入力して学習させることで作成することができる。一般的なＣＮＮは、畳み込み層、プーリング層によって画像の特徴を抽出し、当該特徴をニューラルネットワークへと入力し処理を行う学習手法であり、画像の特徴抽出によく利用される。なお、例えばＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）を用いるなど、ＣＮＮ以外の学習手法を用いて学習モデルを作成してもよい。本実施形態においては、入力データにメッシュ領域を、出力データにメッシュ領域における切屑の有無および量に関する情報を用いることができる。本実施形態において、出力データは、後述するように３項目のいずれに該当するかに関する情報を使用している。より多くの教師データを入力し、より多くのメッシュ領域（つまり、より様々なメッシュ領域）に関する切屑の有無および量を学習させることで、当該学習モデルによる切屑認識の精度を向上させることができる。
【００３６】
モデル記憶部５３は、切屑の有無を自動的に判定する学習モデルを記憶する。学習モデルは、必要に応じて算出部５０に読み込まれる。本実施形態においては、切屑認識部４３がモデル学習部５２を備え、記憶部３２がモデル記憶部５３を備えるが、画像処理装置３０とは別の装置にて学習モデルを作成し、記憶部３２に学習モデルを記憶させて必要に応じて当該学習モデルを読み込む方式でもよい。画像処理装置３０とは別の外部の記憶装置に学習モデルを記憶し、必要に応じて学習モデルを読み込む方式でもよい。
【００３７】
算出部５０は、メッシュ領域内の切屑に関する、あらかじめ定められた項目に該当する確率である検出判定確率を算出する。本実施形態において、算出部５０は具体的には、モデル学習部５２で学習した学習モデルを用いて、入力データとして入力されたメッシュ領域が「切屑が多い（クラス２）」、「切屑が少ない（クラス１）」、「切屑がない（クラス０）」という３項目のいずれに該当するかに関する確率を算出する。また、項目をさらに細分化してもよいし、単純に切屑が存在する確率を算出してもよい。以下、上述したようにクラス０〜２の３項目に分類する場合について記載する。
【００３８】
判定部５１は、入力されたメッシュ領域に関して算出部５０が算出した検出判定確率から、当該メッシュ領域において切屑がクラス０〜２のいずれに該当するかを判定する。判定部５１は、メッシュ領域内に存在する切屑に関して算出部５０から算出した検出判定確率から、どのように判定するかを設定することができる。例えば、算出部５０が算出したクラス０〜２の確率のうち、一番高い項目に該当すると判定してもよい。また、「クラス２」が２５％、「クラス１」が３５％、「クラス０」が４０％と算出された場合のように、「切屑がある（クラス２＋クラス１）」の確率が「切屑がない（クラス０）」の確率よりも高いときに、「クラス１」（または「クラス２」）に該当すると判定してもよい。判定部５１は、メッシュ領域に切屑があると判定（つまり、クラス２またはクラス１であると判定）した場合、メッシュ画像における当該メッシュ領域の位置に対応した撮像画像上の位置情報を少なくとも有する自動検知信号を、上述したように液体放出制御部４４へと出力する。自動検知信号は、切屑の量に関する情報を含んでもよい。
【００３９】
このようにして、工作システム１は、ワークの加工中、または加工終了後、撮像部１２で撮像された撮像画像に基づいて自動的に切屑を認識し、クーラントを放出する自動洗浄を行うことができる。当該自動洗浄は、定期的に行われてもよく、また、例えば作業者による指示など何らかの指示を与えることで実行されてもよい。
【００４０】
自動洗浄によって切屑の多くは除去することができるが、切屑認識部は必ずしも全ての切屑を認識できるわけではない。切屑認識部によって切屑を認識できない場合、当該切屑は工作機械内に残り続ける可能性があり、切屑が残り続けると加工不良や動作不良の原因となり得る。また、切屑が除去されずに残り続けて切屑の量が多くなると、クーラントでは切屑を移動させることができなくなり、作業者が内部に入り、切屑を除去する必要が生じる。そのため、画像処理装置３０は、作業者が表示部３３を確認し、切屑の位置を指示する入力部を設けることで、手動で切屑の位置を指示し、クーラントを放出する洗浄を行うことができるように構成されてもよい。
【００４１】
以下、特別に記載のある場合を除き、任意のメッシュ領域に対する処理は、当該メッシュ画像における他の全てまたは一部のメッシュ領域にも行われるものとする。
【００４２】
（再学習用画像の判別）
再学習用の画像を判別する方法について説明する。図１に示すように、本実施形態における画像処理装置３０の演算部３１の補正部４６は、再学習判別部６０を備える。再学習判別部６０は、切屑認識部で算出されたメッシュ領域に対する切屑の検出判定確率の結果から、当該メッシュ領域を学習用データとして学習モデルに再学習、つまり追加の学習をさせるかどうかを判別する。再学習させると判別されたメッシュ領域は、再学習画像記憶部６１へと出力される。再学習判別部６０は、検出判定確率が所定の閾値を超えない場合、当該メッシュ領域を再学習する画像であると判別してもよい。また、補正部４６は、閾値を設定する判別閾値設定部６２を備えてもよく、当該閾値は例えば、５０％、７０％または９０％など要求に応じて任意の値で設定してもよい。再学習すると判別されたメッシュ領域は、再学習画像記憶部６１へと出力される。
【００４３】
再学習画像記憶部６１は、再学習判別部６０にて再学習すると判別されたメッシュ領域を再学習用の画像として記憶する。そして、必要に応じて、モデル学習部５２へと出力することができる。また、例えば作業者が当該メッシュ領域を確認して、当該メッシュ領域が上記クラス０〜２のいずれに該当するか判定する。モデル学習部５２は、当該メッシュ領域を入力データ、作業者によって判定された当該メッシュ領域の切屑の有無または量に関する情報を出力データとして、教師データを与えて学習モデルをさらに学習させる再学習部として動作することができ、それによって学習モデルを用いた切屑認識の精度を向上させることができる。上述しているように、演算部３１はモデル学習部５２を備えるため、本実施形態における画像処理装置３０自体で再学習を行うことができる。また、補正部４６が、再学習部としてモデル学習部５３またはそれに類するものを備えてもよい。
【００４４】
また、補正部４６は、再学習用の画像を他の外部の記憶装置に送信できる再学習データ送信部６３を備えてもよい。これにより画像処理装置３０以外の外部装置にて、再学習用の画像を記憶し、学習モデルをさらに学習させることができる。他の外部の記憶装置への送信は、例えばネットワークを介した任意のサーバまたはクラウド上への保存、フラッシュメモリへの保存などが想定される。外部装置で再学習された学習モデルは同様にネットワーク等を介して、記憶部３２のモデル記憶部５３に記憶されてもよいし、外部の記憶装置に学習モデルを記憶し、必要に応じて切屑認識部４３に読み込むように構成されてもよい。
【００４５】
このようにして、切屑認識部４３での自動的な切屑の検出において、検出判定確率が高くないメッシュ領域、すなわち当該検出が正確ではない可能性があり再学習することが好ましい画像データを自動的に記憶することができる。従来は、切屑を検出したメッシュ領域を再学習に使用する場合、再学習する必要性がある画像データを抽出せずに記憶していたため、大量のデータを記憶する必要があった。また、当該データを収集するために大量のデータを送信する必要があった。さらに、当該大量のデータから再学習するデータを選択するために多大な労力が必要であった。しかし、上記のように本開示の技術によれば、切屑認識部４３での自動的な切屑の検出において、検出判定確率が高くないメッシュ領域、すなわち当該検出が正確ではない可能性があり再学習することが好ましい画像データを判定して自動的に記憶することができるため、再学習用のデータを効率的に収集することができる。
【００４６】
例えば、図２に示したようにメッシュ領域を作成すると、１枚の撮像画像において、約３００枚のメッシュ領域が作成される。このうちの２０％が再学習することが好ましいメッシュ領域だった場合、再学習する必要がないメッシュ領域を記憶しなければ記憶容量も２０％に軽減される。また、再学習することにより切屑検出の精度が向上するため、再学習することが好ましいメッシュ領域は、再学習を行うことで減少していくと考えられ、長期的に実施するとさらなる効果を得ることができる。
【００４７】
（切屑検出の処理負荷軽減）
次に本実施形態における切屑認識部４３での切屑検出の処理負荷軽減について説明する。図１に示すように、本実施形態における画像処理装置３０の演算部３１の補正部４６は、さらに算出結果記憶部６４、履歴生成部６５、算出頻度設定部６６を備える。
【００４８】
算出結果記憶部６４は、切屑認識部４３で算出した、切屑についての検出判定確率の結果を第１の算出結果としてメッシュ領域ごとに記憶することができる。例えば、クラス２およびクラス１と判定した場合、「切屑有り」として記憶し、クラス０と判定した場合、「切屑無し」として記憶する。当然、クラス２を「切屑有り（多）」、クラス１を「切屑有り（少）」として記憶してもよい。
【００４９】
任意のメッシュ領域の第１の算出結果を少なくとも所定回数分記憶すると、履歴生成部６５は、当該メッシュ領域の切屑の堆積の第１の履歴を生成する。当該所定回数は、任意に設定することができ、例えば、数十回、百回または数百回などが想定される。履歴生成部６５は、堆積の第１の履歴から、当該メッシュ領域の切屑の第１の堆積確率を算出することができる。第１の堆積確率は、「切屑有りと判定した回数／総検出回数」として算出できる。例えば、切屑認識部４３で切屑の検出判定確率を算出した回数が２００回、メッシュ領域３−３において「切屑有り」と判定された回数が１０回である場合、メッシュ領域３−３での第１の堆積確率は５％となる。切屑認識部４３で切屑の検出判定確率を算出した回数が４００回、メッシュ領域１４−４において「切屑有り」と判定された回数が２８０回だった場合、メッシュ領域１４−４での堆積確率は７０％となる。
【００５０】
算出頻度設定部６６は、履歴生成部６５にて算出されたメッシュ領域の第１の堆積確率に応じて、切屑認識部４３において当該メッシュ領域での切屑の検出判定確率を算出する頻度を設定することができる。例えば、あるメッシュ領域での第１の堆積確率が３０％以下であれば、切屑認識部において当該メッシュ領域での算出頻度を１／２に設定してもよい。この算出頻度は例えば、ある領域でのメッシュ領域について切屑の検出判定確率を算出すると、時間的に次のタイミングで撮像された撮像画像での同一の領域におけるメッシュ領域に関しては、切屑の検出判定確率を算出しないように設定するような頻度となる。第１の堆積確率が１０％以下であれば、算出頻度を１／５に、第１の堆積確率が５％以下であれば、算出頻度を１／１０に設定してもよい。また、算出頻度設定部６６は、メッシュ領域の第１の堆積確率が高ければ、算出頻度を設定しない、または１／１に設定してもよい。当然、上記した第１の堆積確率と算出頻度の関係は一例であり、任意に設定することができる。
【００５１】
このように、メッシュ領域ごとの切屑の堆積しやすさに応じて、切屑認識部４３での算出頻度を低くすることで、検出ごとの時間的間隔が大きくなる。その結果、検出回数を減らすことができ、使用状況に応じて適切に切屑認識部４３の処理負荷を低減することができる。
【００５２】
また、履歴生成部６５は、切屑の第１の堆積確率の代わりに、または第１の堆積確率に加えて、切屑の堆積の発生頻度を算出することができる。堆積の発生頻度は、「切屑有りと判定した回数／（総検出回数×検出インターバル）」として算出できる。検出インターバルとは、切屑認識部４３において同一のメッシュ領域で切屑の検出判定確率を算出する際の時間的間隔である。例えば、切屑認識部４３で切屑の検出判定確率を算出した回数が２００回、検出インターバルが１分、メッシュ領域３−３において「切屑有り」と判定された回数が１０回である場合、メッシュ領域３−３での堆積の発生頻度は０．０５回／分となる。切屑認識部４３で切屑の検出判定確率を算出した回数が４００回、検出インターバルが０．３分、メッシュ領域１４−４において「切屑有り」と判定された回数が２８０回である場合、メッシュ領域１４−４での堆積の発生頻度は２．３回／分となる。
【００５３】
算出頻度設定部６６は、履歴生成部６５にて算出されたメッシュ領域の堆積の発生頻度に応じて、切屑認識部４３において当該メッシュ領域での切屑の検出判定確率を算出する頻度として検出インターバルを設定することができる。例えば、あるメッシュ領域での堆積の発生頻度が０．０５回／分であれば、堆積は２０分に１回発生すると見込まれるため、切屑認識部において当該メッシュ領域での検出インターバルを４分と設定してもよい。これは、切屑認識部４３で５回検出すると、切屑の堆積が１回発生している（つまり、１／５の周期）と想定される設定である。また、あるメッシュ領域での堆積の発生頻度が２．３回／分であれば、堆積は２６秒に１回発生すると見込まれるため、切屑認識部において当該メッシュ領域での検出インターバルを５秒と設定してもよい。これは、切屑認識部４３で５回検出すると、切屑の堆積が１回発生している（つまり、１／５の周期）と想定される設定である。検出インターバルは、堆積の発生頻度に応じて自動的に設定されてもよいし、手動で設定してもよい。上記から分かるように、検出インターバルを変更することで、切屑認識部４３での検出回数に対する、切屑の堆積の発生回数の割合を変更することができる。図示しないが、補正部４６は、切屑検出の周期を設定できる切屑検知周期設定部６７を備えてもよい。このように周期を設定することで、検出インターバルの設定が自動であったとしても調整することができる。
【００５４】
このように、メッシュ領域ごとに切屑の堆積しやすさに応じて切屑認識部４３での検出インターバルを長くすることで、検出ごとの時間的間隔が大きくなる。その結果、検出回数を減らすことができ、使用状況に応じて適切に切屑認識部４３の処理負荷を低減することができる。
【００５５】
本実施形態における工作システム１では、工作機械１０と画像処理装置３０は、それぞれ１台ずつ記載されているが、１台の画像処理装置に対して複数の工作機械を接続することも可能である。また、上述しているように１台の工作機械に対して複数の撮像部を設けることも可能である。この場合、１台の画像処理装置で複数の撮像画像に対して切屑の検出を行う必要があり、画像処理装置の処理負荷が高くなる。本開示の技術によれば、画像処理装置での処理負荷を軽減するため、処理性能が高くない装置であっても実行することができる。また、処理負荷軽減により、複数の工作機械で撮像された複数の撮像画像に対する切屑検出をより容易に行うことができる。
【００５６】
上述した算出頻度、または検出インターバルは、同一の環境および条件であれば、同一の設定を使用することができる。しかし、加工するワークの変更など、加工条件等が変更されると、堆積確率または堆積の発生頻度が変化することがある。このため、履歴生成部６５は、メッシュ領域の堆積確率または堆積の発生頻度が変化したと判断すると、当該メッシュ領域の切屑の堆積の履歴を新しく作り直すことができるように構成されてもよい。この場合、全てのメッシュ領域について履歴を作り直すように構成してもよいし、堆積確率または堆積の発生頻度が変化したメッシュ領域のみ履歴を再生成（リセット）、つまり作り直すように構成してもよい。履歴の再生成は、堆積確率または堆積の発生頻度が所定値以上変化すると実行するように構成されてもよい。また、作業者が何らかの指示をすることで、履歴の再生成を行うように構成することもできる。
【００５７】
このような、履歴の再生成を自動的に行うことができる実施形態について説明する。本実施形態においては、切屑認識部４３が第１の履歴が存在するか確認し、第１の履歴の有無によって制御を変更することができる。切屑認識部４３は、第１の履歴が存在しない場合、上述したように第１の算出結果を記録し、それに基づいて算出頻度を設定する。第１の履歴が存在する場合、切屑認識部４３は、各メッシュ領域に設定された算出頻度に応じて、当該メッシュ領域に対して切屑の量を判定するか判断する。切屑の量を判定しない場合、当該メッシュ領域に対しては切屑の量を判定せず、次に撮像した撮像画像から作成したメッシュ領域に対して、再度切屑の量を判定するか判断する。切屑の量を判定する場合、切屑認識部４３は、当該メッシュ領域に対して、切屑の有無および量に該当する検出判定確率を算出し、判定する。
【００５８】
そして、算出結果記憶部６４は、第１の履歴が存在する場合に切屑認識部４３で算出した、切屑についての検出判定確率の結果を第２の算出結果としてメッシュ領域ごとに記憶する。任意のメッシュ領域の第２の算出結果を所定回数分記憶すると、履歴生成部６５は、当該メッシュ領域の第２の履歴を生成する。当該所定回数は、第１の算出結果から第１の履歴を生成する際に用いた回数と同じ回数でもよいし、第１の履歴生成時の所定回数に対して１／２、１／５または１／１０の回数など異なるように設定してもよい。また、当該メッシュ領域について設定された算出頻度に応じて調整するように設定されてもよい。履歴生成部６５は、第２の履歴から、当該メッシュ領域の切屑の第２の堆積確率を算出することができる。第２の堆積確率は、第１の堆積確率と同じく「切屑有りと判定した回数／総検出回数」として算出できる。
【００５９】
第２の堆積確率は、更新することができる。例えば、あるメッシュ領域の第２の履歴を生成した後、当該メッシュ領域についての検出判定確率の第２の算出結果をさらに記憶し、所定回数分記憶すると第２の履歴を更新するように制御されてもよい。また、あるメッシュ領域の第２の履歴生成後、当該メッシュ領域についての検出判定確率の第２の算出結果を所定回数分記憶した以降はさらに記憶するたびに、第２の履歴を更新するように制御されてもよい。このように第２の履歴を更新できるように構成することで、最新の検出判定確率を考慮した第２の履歴を生成することができる。
【００６０】
履歴生成部６５は、任意のメッシュ領域に関して、第１の堆積確率と第２の堆積確率とを比較して、顕著な差があった場合、当該メッシュ領域の算出結果および関連する履歴を削除することができる。例えば、第１の堆積確率が３０％の場合、第２の堆積確率が第１の堆積確率の５０％〜１５０％の範囲でない場合、すなわち第２の堆積確率が１５％〜４５％の範囲にない場合、顕著な差があるとしてもよい。また、例えば、第１の堆積確率±２０％の範囲にない場合、すなわち第２の堆積確率が１０％〜５０％の範囲にない場合、顕著な差があるとしてもよい。これらの数字は一例であり、任意の値を設定してもよい。また、顕著な差の判断方法もこれに限らず任意の方法で設定することができる。
【００６１】
画像処理装置３０は、算出結果および履歴を削除後、必要に応じて、再度、工作機械内を撮像した撮像画像から、メッシュ領域を作成する。切屑認識部４３がメッシュ領域について切屑の量を判定する際、当該メッシュ領域の第１の履歴を削除しているため、第１の履歴が存在せず、第１の履歴を生成するように制御される。これによって、堆積確率が変化した場合、当該メッシュ領域の切屑の堆積の履歴を新しく作り直すことができ、加工するワークの形状の変更などにより使用環境が変化したとしても、画像処理装置の処理負荷を軽減しつつ、より正確に切屑を認識するように制御することができる。
【００６２】
以上が、堆積確率が変化した場合に履歴を自動的に新しく作り直す制御の実施形態の一例である。堆積の発生頻度を算出して制御する場合も、堆積確率と同様に、堆積の発生頻度の変化に応じて、履歴を新しく作り直すことができる。
【００６３】
上述したように、履歴の再生成は、作業者の指示により任意のタイミングで行うこともできる。例えば、加工するワークを変更した際、作業者が工作システム１の任意の装置に設けられた任意の入力部を操作すると（例えば、コンピュータの入力装置であるマウスによってコンピュータのディスプレイに表示された所定の領域をクリックすると）、履歴の再生成が行われるように設定することができる。また、加工するワークを変更した際、作業者が工作機械の加工プログラムを変更前のワーク用から変更後のワーク用のプログラムに変えると履歴の再生成が行われるなど、ワーク変更時に作業者が行う動作に連動して履歴の再生成が行われるように設定してもよい。
【００６４】
この場合、履歴生成部６５は、上記したような指示に応じて、各メッシュ領域の指示以前に生成された算出結果および関連する履歴を削除し、上述したような処理によって履歴を再生成する。履歴の再生成は、全てのメッシュ領域の位置に関して行ってもよいし、所定のメッシュ領域の位置のみに関して行ってもよい。例えば、作業者の指示による履歴の再生成を行わないメッシュ領域の位置をあらかじめ指定してもよい。これにより、例えば側面１８に関する位置など、経験的に切屑があまり堆積しない領域について、再生成を行わずに処理することができる。また、上記とは逆に、履歴の再生成を行うメッシュ領域の位置を指定してもよい。
【００６５】
本実施形態において、メッシュ領域の大きさは、全て同一サイズで記載している。しかし、例えばパレット１４、テーブル１６またはパレット１４上に載っているワークなど、工作機械１０内で撮像部１２に対して位置が変化する移動部品の場合、同じような大きさの切屑であっても撮像部１２との距離が変化することで、撮像画像上での大きさが変動する。すなわち、撮像部１２と切屑との距離が遠いとき、切屑は撮像画像上で小さくなり、撮像部１２と切屑との距離が近いとき、切屑は撮像画像上で大きくなる。このように撮像画像上での切屑の大きさが変化すると、メッシュ領域内の切屑の大きさが適切ではなくなり検出判定確率が低下する恐れがある。
【００６６】
これに対応するため、部分的にメッシュ領域の大きさを変更できるように構成してもよい。例えば、機械座標取得部１３で取得した位置情報を用いて、その位置に応じて移動部品が表示されているメッシュ領域の大きさを変更してもよい。また、撮像画像に表示された切屑の分解能が高くなると、当該部分のメッシュ領域を大きくするようにしてもよい。メッシュ領域内の切屑の大きさに差があったとしても、このようにメッシュ領域の大きさを変更することで、より正確に切屑の有無および量について判定することができる。
【００６７】
（再学習用画像の判別の制御例）
次に、本実施形態における工作システム１の再学習用画像の判別に関する制御例について、図５のフローチャートを参照しつつ説明する。図５は、本実施形態における工作システム１の再学習用画像の判別の動作例を示すフローチャートである。
【００６８】
まず、工作機械１０にワークが搬入され、加工が開始される（Ｓ１０）。当該加工によって切屑が発生する。
【００６９】
次に工作機械１０の撮像部１２が工作機械内を撮像し（Ｓ１１）、画像処理装置３０の取得部４１が撮像画像を取得する（Ｓ１２）。メッシュ分割部４２は、ステップＳ１２で撮像した撮像画像を複数のメッシュ領域に分割し、メッシュ画像を作成する（Ｓ１３）。切屑認識部４３は、ステップＳ１３で作成されたメッシュ画像の各メッシュ領域に対して、切屑の有無および量に該当する検出判定確率を算出し、判定する（Ｓ１４）。
【００７０】
そして再学習判別部６０は、ステップＳ１４で算出された各メッシュ領域の検出判定確率を所定の閾値と比較して、当該メッシュ領域を再学習するべきか判別する（Ｓ１５）。任意のメッシュ領域の検出判定確率が所定の閾値より低い場合、当該メッシュ領域を再学習画像記憶部６１に出力する。再学習画像記憶部６１は、当該メッシュ領域を記憶する（Ｓ１６）。
【００７１】
検出判定確率が所定の閾値より低いメッシュ領域を全て記憶した後、またはステップＳ１５において検出判定確率が所定の閾値より低いメッシュ領域がない場合、ワークの加工が継続していれば再度ステップＳ１１へと戻り、撮像画像を取得する。加工が終了している場合、工作システム１の動作を終了する（Ｓ１７）。以上が、再学習用画像の判別の制御例である。
【００７２】
工作システム１は、ステップＳ１４において判定した切屑の有無および量に関する情報を用いて、切屑を移動させるために切屑が存在する領域へとクーラントを放出するように制御することもできる。ステップＳ１７において加工が終了していたとしても切屑が残っていれば、再度ステップＳ１１へと戻るように制御してもよい。
【００７３】
（切屑検出の処理負荷軽減の制御例）
次に、本実施形態における工作システム１の切屑検出の処理負荷軽減に関する制御例について、図６Ａ〜図６Ｃのフローチャートを参照しつつ説明する。図６Ａ〜図６Ｃは、本実施形態における工作システム１の切屑検出の処理負荷軽減の動作例を示すフローチャートである。
【００７４】
まず、工作機械１０にワークが搬入され、加工が開始される（Ｓ３０）。当該加工によって切屑が発生する。
【００７５】
次に工作機械１０の撮像部１２が工作機械内を撮像し（Ｓ３１）、画像処理装置３０の取得部４１が撮像画像を取得する（Ｓ３２）。メッシュ分割部４２は、ステップＳ３２で撮像した撮像画像を複数のメッシュ領域に分割し、メッシュ画像を作成する（Ｓ３３）。
【００７６】
切屑認識部４３は、後述する第１の履歴が存在するかどうかを確認する（Ｓ３４）。第１の履歴が存在しない場合、図６Ｂに示す制御を行う（Ｓ１Ａ）。第１の履歴が存在する場合、図６Ｃに示す制御を行う（Ｓ２Ａ）。
【００７７】
ステップＳ１Ａで表している、第１の履歴が存在しない場合について説明する。図６Ｂは、本実施形態における工作システム１の画像処理装置３０に関して、第１の履歴を生成する、第１の履歴生成工程の動作例を示すフローチャートである。
【００７８】
まず、切屑認識部４３は、ステップＳ３３で作成されたメッシュ画像の各メッシュ領域に対して、切屑の有無および量に該当する検出判定確率を算出し、判定する（Ｓ３５）。そして、算出結果記憶部６４は、各メッシュ領域について切屑認識部４３が判定した第１の算出結果を記憶する（Ｓ３６）。
【００７９】
履歴生成部６５は、算出結果記憶部６４で記憶された第１の算出結果が所定の回数を超えると（Ｓ３７）、当該第１の算出結果よりメッシュ領域ごとに第１の履歴を生成する（Ｓ３８）。ステップＳ３７において、第１の算出結果が所定の回数より少ないと、ステップＳ１Ａは終了し、後述するステップＳ４１へと進む。
【００８０】
履歴生成部６５は、ステップＳ３８で生成された第１の履歴から当該メッシュ領域での切屑の第１の堆積確率を算出する（Ｓ３９）。算出頻度設定部６６は、算出された第１の堆積確率に応じて、切屑認識部４３での当該メッシュ領域における切屑の算出頻度を設定し（Ｓ４０）、ステップＳ１Ａは終了する。そして、後述する第２の履歴は存在しないため（Ｓ４８）、加工継続中であればステップＳ３１へと戻り（Ｓ４１）、再度、工作機械内を撮像する。加工が終了するまで上記処理を繰り返す。
【００８１】
また、ステップＳ３４において第１の履歴が存在している場合、ステップＳ３５以降において異なる制御を行う（Ｓ２Ａ）。ステップＳ３４における判定は、メッシュ領域ごとに行うことができる。すなわち、あるメッシュ領域においては、ステップＳ３５以降の制御が行われ、同一のメッシュ画像における別のメッシュ領域においては、ステップＳ４２以降の制御が行われる、という制御も可能である。
【００８２】
ステップＳ２Ａで表している、第１の履歴が存在する場合について説明する。図６Ｃは、本実施形態における工作システム１の画像処理装置３０に関して、第２の履歴を生成する、第２の履歴生成工程の動作例を示すフローチャートである。
【００８３】
まず、第１の履歴が存在すると、切屑認識部４３は、ステップＳ３３で作成されたメッシュ画像の各メッシュ領域に設定された算出頻度によってそのタイミングにおいて切屑の有無および量を判定するか決定する（Ｓ４２）。判定する場合、当該メッシュ領域に対して、切屑の有無および量に該当する検出判定確率を算出し、判定する（Ｓ４３）。判定しない場合、ステップＳ２Ａは終了し、ステップＳ４１へと進む。
【００８４】
算出結果記憶部６４は、各メッシュ領域について切屑認識部４３が判定した第２の算出結果を記憶する（Ｓ４４）。履歴生成部６５は、算出結果記憶部６４で記憶された第２の算出結果が所定の回数を超えると（Ｓ４５）、当該第２の算出結果よりメッシュ領域ごとに第２の履歴を生成する（Ｓ４６）。ステップＳ４５における所定の回数は、ステップＳ３７における所定の回数と異なっていてもよい。ステップＳ４５において、第２の算出結果が所定の回数より少ないと、ステップＳ２Ａは終了し、ステップＳ４１へと進む。
【００８５】
履歴生成部６５は、ステップＳ４６で生成された第２の履歴から当該メッシュ領域での切屑の第２の堆積確率を算出し（Ｓ４７）、ステップＳ１Ａは終了する。そして、加工継続中であり（Ｓ４１）、第２の履歴が存在している場合（Ｓ４８）、履歴生成部６５は、第１の堆積確率と第２の堆積確率を比較する（Ｓ４９）。第１の堆積確率と第２の堆積確率の差が顕著でなければ、ステップＳ３１へと戻り（Ｓ４１）、再度、工作機械内を撮像する。差が顕著であれば、当該メッシュ領域の算出結果並びに関連する第１の履歴および第２の履歴を削除し、ステップＳ３１へと戻り（Ｓ５０）、再度、工作機械内を撮像する。加工が終了するまで上記処理を繰り返す。以上が、切屑検出の処理負荷軽減の制御例である。
【００８６】
（切屑検出の処理負荷軽減の制御例）
次に、本実施形態における工作システム１の切屑検出の処理負荷軽減の別の制御例について、図７Ａ〜図７Ｃのフローチャートを参照しつつ説明する。図７Ａ〜図７Ｃは、本実施形態における工作システム１の切屑検出の処理負荷軽減の動作例を示すフローチャートである。
【００８７】
まず、工作機械１０にワークが搬入され、加工が開始される（Ｓ６０）。当該加工によって切屑が発生する。
【００８８】
次に工作機械１０の撮像部１２が工作機械内を撮像し（Ｓ６１）、画像処理装置３０の取得部４１が撮像画像を取得する（Ｓ６２）。メッシュ分割部４２は、ステップＳ６２で撮像した撮像画像を複数のメッシュ領域に分割し、メッシュ画像を作成する（Ｓ６３）。
【００８９】
切屑認識部４３は、後述する第１の履歴が存在するかどうかを確認する（Ｓ６４）。第１の履歴が存在しない場合、図７Ｂに示す制御を行う（Ｓ１Ｂ）。第１の履歴が存在する場合、図７Ｃに示す制御を行う（Ｓ２Ｂ）。
【００９０】
ステップＳ１Ｂで表している、第１の履歴が存在しない場合について説明する。図７Ｂは、本実施形態における工作システム１の画像処理装置３０に関して、第１の履歴を生成する、第１の履歴生成工程の動作例を示すフローチャートである。
【００９１】
まず、切屑認識部４３は、ステップＳ６３で作成されたメッシュ画像の各メッシュ領域に対して、切屑の有無および量に該当する検出判定確率を算出し、判定する（Ｓ６５）。そして、算出結果記憶部６４は、各メッシュ領域について切屑認識部４３が判定した第１の算出結果を記憶する（Ｓ６６）。
【００９２】
履歴生成部６５は、算出結果記憶部６４で記憶された第１の算出結果が所定の回数を超えると（Ｓ６７）、当該第１の算出結果よりメッシュ領域ごとに第１の履歴を生成する（Ｓ６８）。ステップＳ６７において、第１の算出結果が所定の回数より少ないと、ステップＳ１Ｂは終了し、後述するステップＳ７１へと進む。
【００９３】
履歴生成部６５は、ステップＳ６８で生成された第１の履歴から当該メッシュ領域での切屑の第１の堆積の発生頻度を算出する（Ｓ６９）。算出頻度設定部６６は、算出された第１の堆積の発生頻度に応じて、切屑認識部４３での当該メッシュ領域における切屑の算出頻度（すなわち検出インターバル）を設定し（Ｓ７０）、ステップＳ１Ｂは終了する。そして、後述する第２の履歴は存在しないため（Ｓ７８）、加工継続中であればステップＳ３１へと戻り（Ｓ７１）、再度、工作機械内を撮像する。加工が終了するまで上記処理を繰り返す。
【００９４】
また、ステップＳ６４において第１の履歴が存在している場合、ステップＳ６５以降において異なる制御を行う（Ｓ２Ｂ）。ステップＳ６４における判定は、メッシュ領域ごとに行うことができる。すなわち、あるメッシュ領域においては、ステップＳ６５以降の制御が行われ、同一のメッシュ画像における別のメッシュ領域においては、ステップＳ７２以降の制御が行われる、という制御も可能である。
【００９５】
ステップＳ２Ｂで表している、第１の履歴が存在する場合について説明する。図７Ｃは、本実施形態における工作システム１の画像処理装置３０に関して、第２の履歴を生成する、第２の履歴生成工程の動作例を示すフローチャートである。
【００９６】
まず、第１の履歴が存在すると、切屑認識部４３は、ステップＳ６３で作成されたメッシュ画像の各メッシュ領域に関して、前回に切屑の検出判定確率を判定してから、当該メッシュ領域において設定された算出頻度である検出インターバルが経過したかどうかによってそのタイミングにおいて切屑の有無および量を判定するか決定する（Ｓ７２）。判定する場合、当該メッシュ領域に対して、切屑の有無および量に該当する検出判定確率を算出し、判定する（Ｓ７３）。判定しない場合、ステップＳ２Ｂは終了し、ステップＳ７１へと進む。
【００９７】
算出結果記憶部６４は、各メッシュ領域について切屑認識部４３が判定した第２の算出結果を記憶する（Ｓ７４）。履歴生成部６５は、算出結果記憶部６４で記憶された第２の算出結果が所定の回数を超えると（Ｓ７５）、当該第２の算出結果よりメッシュ領域ごとに第２の履歴を生成する（Ｓ７６）。ステップＳ７５における所定の回数は、ステップＳ６７における所定の回数と異なっていてもよい。ステップＳ７５において、第２の算出結果が所定の回数より少ないと、ステップＳ２Ｂは終了し、ステップＳ７１へと進む。
【００９８】
履歴生成部６５は、ステップＳ７６で生成された第２の履歴から当該メッシュ領域での切屑の第２の堆積の発生頻度を算出し（Ｓ７７）、ステップＳ１Ａは終了する。そして、加工継続中であり（Ｓ７１）、第２の履歴が存在している場合（Ｓ７８）、履歴生成部６５は、第１の堆積の発生頻度と第２の堆積の発生頻度を比較する（Ｓ７９）。第１の堆積の発生頻度と第２の堆積の発生頻度の差が顕著でなければ、ステップＳ６１へと戻り（Ｓ７１）、再度、工作機械内を撮像する。差が顕著であれば、当該メッシュ領域の算出結果並びに関連する第１の履歴および第２の履歴を削除し、ステップＳ６１へと戻り（Ｓ８０）、再度、工作機械内を撮像する。加工が終了するまで上記処理を繰り返す。以上が、切屑検出の処理負荷軽減の制御例である。
【００９９】
本開示に係る画像処理装置、工作機械および画像処理方法は、ハードウェア資源、例えば、プロセッサ、メモリ、およびプログラムとの協働などによって、実現される。本開示は、例示された実施形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において、種々の改良及び設計上の変更が可能である。
【符号の説明】
【０１００】
１      工作システム
１０    工作機械
１２    撮像部
３０    画像処理装置
４２    メッシュ分割部
４３    切屑認識部
６０    再学習判別部
６１    再学習画像記憶部
６２    判別閾値設定部
６５    履歴生成部
６６    算出頻度設定部
【要約】      （修正有）【課題】学習制御を用いた切屑検出に関して、再学習に用いる画像データをより効率的に収集することができる技術また、切屑検出の処理負荷を軽減することができる技術を提供する。【解決手段】内部を撮像する撮像部１２を備える工作機械１０における前記撮像部１２で撮像された撮像画像を処理する画像処理装置３０は、前記撮像画像の少なくとも一部に複数のメッシュ領域を作成するメッシュ分割部４２と、前記複数の前記メッシュ領域に対して、ワークを加工することで発生した切屑の検出判定確率を算出する切屑認識部４３と、前記切屑認識部４３で算出された前記検出判定確率の結果から前記メッシュ領域を再学習するかどうか判別する再学習判別部６０と、再学習すると判別された前記メッシュ領域を記憶する再学習画像記憶部６１と、を備える。【選択図】図１【図１】
0006887033.tif 000002
【図２】
0006887033.tif 000003
【図３】
0006887033.tif 000004
【図４】
0006887033.tif 000005
【図５】
0006887033.tif 000006
【図６Ａ】
0006887033.tif 000007
【図６Ｂ】
0006887033.tif 000008
【図６Ｃ】
0006887033.tif 000009
【図７Ａ】
0006887033.tif 000010
【図７Ｂ】
0006887033.tif 000011
【図７Ｃ】
0006887033.tif 000012