(57)【要約】【課題】加工状況の変化に合わせて適切な加工条件を求めることを可能とする制御装置付き加工装置を提供すること。【解決手段】本発明の加工装置は、ワークの加工形状をオンマシンで測定するオンマシン測定部と、ワークの加工時間を測定する加工時間測定部と、加工形状と設計データとの間の加工精度、および加工時間を入力として機械学習する機械学習器を備え、機械学習器は、加工精度と加工時間を状態データとして取得する状態観測部と、状態データに基づいて報酬を計算する報酬計算部と、機械学習結果および状態データに基づいて加工条件の調整を行う加工条件調整学習部と、加工条件調整学習部が調整した加工条件を出力する加工条件出力部と、を有し、加工条件調整学習部は、調整された前記加工条件と、状態観測部により取得された状態データと、報酬計算部が計算した前記報酬と、に基づいて加工条件の調整を機械学習する。【選択図】図４
2017030067.tif 000002
【特許請求の範囲】
【請求項１】
ワークの加工形状をオンマシンで測定するオンマシン測定部と、ワークの加工時間を測定する加工時間測定部とを備えた加工装置において、
前記加工形状と前記ワークの設計データとの間の加工精度、および前記加工時間を入力として機械学習する機械学習器を備え、
該機械学習器は機械学習の結果に基づいて、前記加工精度が向上するように、また、前記加工時間を最短にするように加工条件を変更する、
ことを特徴とする加工装置。
【請求項２】
前記機械学習器は、前記加工装置が前記ワークの設計データとの間の誤差が小さくなるように加工した場合または前記加工時間が短縮された場合をプラスの報酬とし、前記ワークの設計データとの誤差が大きくなるように加工した場合または前記加工時間が長くなった場合をマイナスの報酬として機械学習する、
ことを特徴とする請求項１に記載の加工装置。
【請求項３】
前記機械学習器は、機械学習に際して、前記ワークの設計データとの誤差を小さくすること、および、加工時間を短縮すること、のどちらを重視するか重み付けを行うことができる、
ことを特徴とする請求項１または２に記載の加工装置。
【請求項４】
少なくとも１つの他の加工装置と接続可能であり、
前記他の加工装置との間で機械学習の結果を相互に交換または共有する、
ことを特徴とする請求項１〜３のいずれか１つに記載の加工装置。
【請求項５】
加工装置によるワークの加工における加工条件の調整を機械学習した機械学習器であって、
前記加工条件の調整の機械学習結果を記憶する学習結果記憶部と、
少なくとも前記加工装置によるワークの加工おける加工時間、ワークの加工精度、および加工条件を含む状態データを取得する状態観測部と、
前記加工条件の調整の機械学習結果と、前記状態観測部が取得した前記状態データと、に基づいて前記加工条件の調整を行う加工条件調整学習部と、
前記加工条件調整学習部が調整した前記加工条件を出力する加工条件出力部と、
を備えたことを特徴とする機械学習器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、加工装置に関し、特に加工時間測定機能とオンマシン測定機能を有する制御装置付き加工装置に関する。
【背景技術】
【０００２】
従来より、加工プログラムを作成し、該加工プログラムに基づいて加工装置を制御してワークを加工することが行われている。加工装置によるワークの加工においては、作業者は所定の水準以上の加工精度を保ちながら、より短い時間で加工ができるように加工条件の調整を行っている。しかし、加工条件の調整においては、工具の特性やワークの特性、加工内容や加工装置の種類などによって加工条件の最適値が異なるため、作業者は新しく加工を行うたびに知識と経験に基づき試行錯誤しながら労力をかけて加工条件の調整を行っていた。
【０００３】
このような加工条件の調整に関連する従来技術として、特許文献１には、作業者を支援することを目的として過去に行った加工運転で用いられた加工条件をデータベース化して利用する発明が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第００／０１０７６９号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示される技術を用いることで、作業者は似たような状況における加工条件を再利用することができるため、加工条件調整における労力をある程度軽減することができる。しかしながら、過去の加工条件をデータベースから読み出した後、読み出した加工条件を現在の加工状況に合わせて調整するために作業者が試行錯誤しなければならない点に変わりはなく、特許文献１に開示される技術では作業者の労力を完全に軽減することはできないという課題がある。
【０００６】
そこで本発明の目的は、加工状況の変化に合わせて適切な加工条件を求めることを可能とする制御装置付き加工装置を提供することである。
【課題を解決するための手段】
【０００７】
本願の請求項１に係る発明は、ワークの加工形状をオンマシンで測定するオンマシン測定部と、ワークの加工時間を測定する加工時間測定部とを備えた加工装置において、前記加工形状と前記ワークの設計データとの間の加工精度、および前記加工時間を入力として機械学習する機械学習器を備え、該機械学習器は機械学習の結果に基づいて、前記加工精度が向上するように、また、前記加工時間を最短にするように加工条件を変更する、ことを特徴とする加工装置である。
【０００８】
本願の請求項２に係る発明は、前記機械学習器は、前記加工装置が前記ワークの設計データとの間の誤差が小さくなるように加工した場合または前記加工時間が短縮された場合をプラスの報酬とし、前記ワークの設計データとの誤差が大きくなるように加工した場合または前記加工時間が長くなった場合をマイナスの報酬として機械学習する、ことを特徴とする請求項１に記載の加工装置である。
【０００９】
本願の請求項３に係る発明は、前記機械学習器は、機械学習に際して、前記ワークの設計データとの誤差を小さくすること、および、加工時間を短縮すること、のどちらを重視するか重み付けを行うことができる、ことを特徴とする請求項１または２に記載の加工装置である。
【００１０】
本願の請求項４に係る発明は、少なくとも１つの他の加工装置と接続可能であり、前記他の加工装置との間で機械学習の結果を相互に交換または共有する、ことを特徴とする請求項１〜３のいずれか１つに記載の加工装置である。
【００１１】
本願の請求項５に係る発明は、加工装置によるワークの加工における加工条件の調整を機械学習した機械学習器であって、前記加工条件の調整の機械学習結果を記憶する学習結果記憶部と、少なくとも前記加工装置によるワークの加工における加工時間、ワークの加工精度、および加工条件を含む状態データを取得する状態観測部と、前記加工条件の調整の機械学習結果と、前記状態観測部が取得した前記状態データと、に基づいて前記加工条件の調整を行う加工条件調整学習部と、前記加工条件調整学習部が調整した前記加工条件を出力する加工条件出力部と、を備えたことを特徴とする機械学習器である。
【発明の効果】
【００１２】
本発明において、制御装置付き加工装置に対して機械学習を導入することにより加工状況に合わせて加工精度を保ちながらより短時間で加工を行うことができる適切な加工条件を求めることが可能となる。
【図面の簡単な説明】
【００１３】
【図１】強化学習アルゴリズムの基本的な概念を説明する図である。
【図２】本発明の実施形態における加工装置の機械学習に関するイメージ図である。
【図３】本発明の実施形態において扱う各データについて説明する図である。
【図４】本発明の実施形態における加工装置の機能ブロック図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態を図面と共に説明する。
本発明では、ワークの加工を行う加工装置に対して人工知能となる機械学習器を導入し、ワークの加工における加工条件の調整について機械学習を行うことで、ワークの加工に最適な加工条件を自動的に求めることができるようにする。加工条件の調整では、より短い時間での加工と、加工精度の維持を目的とする。
【００１５】
＜１．機械学習＞
一般に、機械学習には教師あり学習や教師なし学習など、その目的や条件によって様々なアルゴリズムに分類されている。本発明ではワークの加工における加工装置に設定する加工条件調整の学習を目的としており、設定された加工条件に基づいて加工装置で加工を行った結果、測定された加工時間と加工精度に対してどのような行動（送り速度、主軸回転数、テーブル送り、一刃送りなどの調整）をすることが正しいのかを明示的に示すことが困難であることを考慮して、報酬を与えるだけで機械学習器が目標到達のための行動を自動的に学習する強化学習のアルゴリズムを採用する。
【００１６】
図１は、強化学習アルゴリズムの基本的な概念を説明する図である。強化学習においては、学習する主体となるエージェント（機械学習器）と、制御対象となる環境（制御対象システム）とのやりとりにより、エージェント学習と行動が進められる。より具体的には、（１）エージェントはある時点における環境の状態ｓtを観測し、（２）観測結果と過去の学習に基づいて自分が取れる行動ａtを選択して行動ａtを実行し、（３）行動ａtが実行されることで環境の状態ｓtが次の状態ｓt+1へと変化し、（４）行動ａtの結果としての状態の変化に基づいてエージェントが報酬ｒt+1を受け取り、（５）エージェントが状態ｓt、行動ａt、報酬ｒt+1および過去の学習の結果に基づいて学習を進める、といったやりとりがエージェントと環境の間で行われる。
【００１７】
上記した（５）における学習では、エ−ジェントは将来取得できる報酬の量を判断するための基準となる情報として、観測された状態ｓt，行動ａt，報酬ｒt+1のマッピングを獲得する。例えば、各時刻において取り得る状態の個数がｍ、取り得る行動の個数がｎとすると、行動を繰り返すことによって状態ｓtと行動ａtの組に対する報酬ｒt+1を記憶するｍ×ｎの２次元配列が得られる。
そして、上記得られたマッピングに基づいて現在の状態や行動がどのくらい良いのかを示す関数である価値関数（評価関数）を用い、行動を繰り返す中で価値関数（評価関数）を更新していくことにより状態に対する最適な行動を学習していく。
【００１８】
状態価値関数は、ある状態ｓtがどのくらい良い状態であるのかを示す価値関数である。状態価値関数は、状態を引数とする関数として表現され、行動を繰り返す中での学習において、ある状態における行動に対して得られた報酬や、該行動により移行する未来の状態の価値などに基づいて更新される。状態価値関数の更新式は強化学習のアルゴリズムに応じて定義されており、例えば、強化学習アルゴリズムの１つであるＴＤ学習においては、状態価値関数は以下の数１式で定義される。なお、数１式においてαは学習係数、γは割引率と呼ばれ、０＜α≦１、０＜γ≦１の範囲で定義される。
【００１９】
【数１】
2017030067.tif 000003
【００２０】
また、行動価値関数は、ある状態ｓtにおいて行動ａtがどのくらい良い行動であるのかを示す価値関数である。行動価値関数は、状態と行動を引数とする関数として表現され、行動を繰り返す中での学習において、ある状態における行動に対して得られた報酬や、該行動により移行する未来の状態における行動の価値などに基づいて更新される。行動価値関数の更新式は強化学習のアルゴリズムに応じて定義されており、例えば、代表的な強化学習アルゴリズムの１つであるＱ学習においては、行動価値関数は以下の数２式で定義される。なお、数２式においてαは学習係数、γは割引率と呼ばれ、０＜α≦１、０＜γ≦１の範囲で定義される。
【００２１】
【数２】
2017030067.tif 000004
【００２２】
なお、学習結果としての価値関数（評価関数）を記憶する方法としては、近似関数を用いる方法や、配列を用いる方法以外にも、例えば状態ｓが多くの状態を取るような場合には状態ｓt、行動ａtを入力として価値（評価）を出力する多値出力のＳＶＭやニューラルネットワーク等の教師あり学習器を用いる方法などがある。
【００２３】
そして、上記した（２）における行動の選択においては、過去の学習によって作成された価値関数（評価関数）を用いて現在の状態ｓtにおいて将来にわたっての報酬（ｒt+1＋ｒt+2＋…）が最大となる行動ａt（状態価値関数を用いている場合には、もっとも価値の高い状態へ移るための行動、行動価値関数を用いている場合には該状態において最も価値の高い行動）を選択する。なお、エージェントの学習中には学習の進展を目的として（２）における行動の選択において一定の確率でランダムな行動を選択することも有効である（εグリーディ法）。
【００２４】
このように、（１）〜（５）を繰り返すことで学習が進められる。ある環境において学習が終了した後に、新たな環境におかれた場合でも追加の学習を行うことでその環境に適応するように学習を進めることができる。したがって、本発明のように加工装置でのワークの加工における加工条件の決定に適用することで、新しい設計データに基づくワークの加工を行う際にも、過去の加工条件調整の学習に基づいて新しい設計データを新たな環境とした追加の学習をすることで、適切な加工条件の調整を短時間で行うことが可能となる。
【００２５】
また、強化学習においては、複数のエージェントをネットワークなどを介して接続したシステムとし、エージェント間で状態ｓ、行動ａ、報酬ｒなどの情報を共有してそれぞれの学習に利用することで、それぞれのエージェントが他のエージェントの環境も考慮して学習をする分散強化学習を行うことで効率的な学習を行うことができる。本発明においても、複数の環境（制御対象となる加工装置）を制御する複数のエージェント（機械学習器）がネットワークなどを介して接続された状態で分散機械学習を行うことで、加工装置でのワークの加工における加工条件調整の学習を効率的に行わせることができるようになる。
【００２６】
なお、強化学習のアルゴリズムとしては、Ｑ学習、ＳＡＲＳＡ法、ＴＤ学習、ＡＣ法など様々な手法が周知となっているが、本発明に適用する方法としていずれの強化学習アルゴリズムを採用してもよい。なお、それぞれの強化学習アルゴリズムは周知なので、本明細書における各アルゴリズムの詳細な説明は省略する。
以下では、機械学習器を導入した本発明の加工装置について、具体的な実施形態に基づいて説明する。
【００２７】
＜２．実施形態＞
図２は、本発明の一実施形態における人工知能となる機械学習器を導入した加工装置における加工条件調整の機械学習に関するイメージを示す図である。なお、図２には本実施形態における加工装置における機械学習の説明に必要な構成のみを示している。
【００２８】
本実施形態において、機械学習器２０が環境（＜１．機械学習＞で説明した状態ｓt）を特定するための情報として、加工装置の出力データである加工精度と加工時間を機械学習器に対して入力している。加工時間は加工装置１が備える加工時間測定部４により測定された値であり、加工精度は加工装置１が備えるオンマシン測定部３により測定された加工後ワークの加工形状とＣＡＤなどで作成された設計データ（目標となる加工後ワークの加工形状を示すデータ）とに基づいて算出された値（設計データが示す加工形状と、加工後ワークの加工形状との誤差）である。
本実施形態における加工装置１は、オンマシン測定部３を備えており、加工装置１に固定された状態でワークの加工形状を測定することができる。加工装置１は、設計データが示すワークの加工形状と、オンマシン測定部３により測定された加工後ワークの加工形状とを比較し、加工精度に係るデータを算出する。図３は、本実施形態における加工精度に係るデータの一例を示す図である。加工精度に係るデータの種類としては、例えば、それぞれのワークの段差における設計データにおける深さ方向（Ｚ軸方向）の長さと加工後ワークにおける深さ方向の長さとの誤差を示す深さ方向精度Ａz、それぞれのワークの段差における設計データにおける幅方向（Ｘ軸方向）の長さと加工後ワークにおける幅方向の長さとの誤差を示す幅方向精度Ａx、それぞれのワークのコーナ部において内回り誤差などが原因で生じる設計データと加工後ワークの誤差（コーナ近傍部分の体積差）を示すコーナ部精度Ａc、それぞれの加工面において加工面の仕上げの粗さや歪みなどが原因で生じる設計データと加工後ワークの誤差（面近傍部分の体積差）を示す面精度Ａs、などが挙げられる。これら各加工精度を示すデータをワークの部分毎に求め、それぞれの値を機械学習器２０が状態を決定するためのパラメータとして用いてもよいし、ワークの各部分毎に求めた加工精度の絶対値を、深さ方向精度、幅方向精度などの加工精度の種類毎に積算した値（例えば、図３におけるワーク上の２つの段差形状における深さ方向精度をそれぞれＡz1、Ａz2としたとき、｜Ａz1｜＋｜Ａz2｜を深さ方向精度として算出するなど）を機械学習器２０が状態を決定するためのパラメータとして用いてもよい。
なお、図３で示した加工精度に係るデータは一例に過ぎず、他の加工精度の表現方法を採用してもよい。また、加工の種類や加工対象などに合わせた加工精度に係るデータの種類を適宜定めるようにしてよく、例えば、ねじきり加工の場合には螺溝深さ精度を採用するようにしてもよい。
【００２９】
本実施形態では、機械学習器２０は環境に対して出力するもの（＜１．機械学習＞で説明した行動ａt）として、加工装置１に入力される加工条件の調整量を出力している。加工条件には、例えば、送り速度、主軸回転数、テーブル送り、一刃送りなどが挙げられる。
【００３０】
また本実施形態では、機械学習器２０に対して与えられる報酬（＜１．機械学習＞で説明した報酬ｒt）として、加工時間と加工精度データを用いる。報酬の算出においては、加工時間が所定の基準値から見て短ければ短いほどプラス値が大きくなる報酬となるようにし、長ければ長いほどマイナス値が大きくなる報酬となるようにする。また、加工精度データは、所定の基準値から見て０に近ければ近いほどプラス値が大きくなる報酬となるようにし、所定の基準値よりも大きくなるほどマイナス値が大きくなる報酬となるようにする。加工時間、加工精度データの所定の基準値については、加工装置１の加工条件を初期設定にしてワークの加工を行った際に測定された加工時間、および加工精度に係るデータを基準とすればよい。
なお、いずれのデータに基づいて報酬を決定するのかについては、加工装置１でのワークの加工内容に応じてオペレータが適宜設定するようにしてもよい。
【００３１】
更に、本実施形態では、機械学習器２０は上記した状況、行動、および報酬に基づいて機械学習を行う。機械学習においては、ある時刻ｔにおいて、入力データの組み合わせにより状態ｓtが定義され、定義された状態ｓtに対して行われる加工条件の変更が行動ａtとなり、そして、行動ａtにより加工条件の変更が行われた結果として新たに得られた入力データに基づいて評価計算された値が報酬ｒt+1となり、これを＜１．機械学習＞で説明したように、機械学習のアルゴリズムに応じた価値関数（評価関数）の更新式に当てはめることにより学習を進める。
【００３２】
以下では、加工装置の機能ブロック図に基づいて説明する。
図４は、本実施形態の加工装置の機能ブロック図である。本実施形態の加工装置１は、部品の加工において各軸を駆動するためのサーボモータなどの駆動部（図示せず）、該サーボモータを制御するサーボ制御部（図示せず）などの加工装置が標準的に備える構成と周辺機器（図示せず）、該駆動部や該周辺機器を制御する制御部２、加工装置１により加工するワークの加工形状をオンマシンで測定するオンマシン測定部３、ワークの加工に掛かる加工時間を測定する加工時間測定部４、および機械学習を行う人工知能となる機械学習器２０を備える。図４に示した構成を、図１に示した強化学習における要素と対比すると、機械学習器２０がエージェントに対応し、加工装置１が備える駆動部や周辺機器、制御部２などを含む全体が環境に対応する。
【００３３】
制御部２は、図示しないメモリから読み出された、または図示しない入力機器などを介して入力されたプログラムを解析して加工装置１の各部を制御する。制御部２には、ワークの加工において用いられる加工条件と、プログラムにより加工されるワークの加工形状を示す設計データとが、図示しないメモリに対してあらかじめ記憶されている。
【００３４】
オンマシン測定部３は、加工装置１により加工するワークの加工形状をオンマシンで測定する機能手段である。オンマシン測定部３は、例えばレーザ測定器や磁気測定器などで構成され、加工装置１に固定された状態でワークの加工形状を測定する。測定したワークの加工形状は制御部２に入力される。そして、オンマシン測定部３から入力された加工後ワークの加工形状と、図示しないメモリに記憶されている目標とするワークの加工形状を示す設計データとに基づいて、加工後ワークの加工形状の加工精度を算出する。加工精度の算出においては、上記したようにワークの各部位ごとに加工精度を算出する。
加工時間測定部４は、加工装置１による１つのワークの加工にかかる加工時間を測定する機能手段である。加工時間測定部４は、例えば制御部２の図示しない計時機能などを用いて加工に用いるプログラムが起動してから終了するまでの時間を測定し、加工時間とする。
そして、測定された加工時間と、算出された加工精度とが、機械学習器２０の学習における報酬の計算に用いられる。
【００３５】
機械学習を行う機械学習器２０は、状態観測部２１、状態データ記憶部２２、報酬条件設定部２３、報酬計算部２４、加工条件調整学習部２５、学習結果記憶部２６、加工条件出力部２７を備える。前記機械学習器２０は、加工装置１内に備えてもよいし、加工装置１外のパソコン等に備えるようにしてもよい。
【００３６】
状態観測部２１は、制御部２を介して加工装置１に関する状態データを観測して機械学習器２０内に取得する機能手段である。状態データとしては上記した加工時間、および加工精度に掛かるデータなどがある。
【００３７】
状態データ記憶部２２は状態データを入力して記憶し、記憶した該状態データを報酬計算部２４や加工条件調整学習部２５に対して出力する機能手段である。入力される状態データは、最新の加工運転で取得したデータでも、過去の加工運転で取得したデータでも構わない。また、他の加工装置１や集中管理システム３０に記憶された状態データを入力して記憶したり、出力したりすることも可能である。
【００３８】
報酬条件設定部２３は、機械学習において報酬を与える条件を設定するための機能手段である。報酬にはプラスの報酬とマイナスの報酬があり、適宜設定が可能である。さらに、報酬条件設定部２３への入力は集中管理システム３０で使用しているパソコンやタブレット端末等からでも構わないが、加工装置１が備える図示しないＭＤＩ機器を介して入力できるようにすることで、より簡便に設定することが可能となる。
報酬計算部２４は、報酬条件設定部２３で設定された条件に基づいて状態観測部２１または状態データ記憶部２２から入力された状態データを分析し、計算された報酬を加工条件調整学習部２５に出力する。
【００３９】
以下に、本実施形態における報酬条件設定部２３で設定する報酬条件の例を示す。
●［報酬１：加工時間の短縮（プラス報酬，マイナス報酬）］
１つのワークの加工に掛かった加工時間が短縮された場合に、部品加工のサイクルタイムの向上につながるため、その度合いに応じてプラスの報酬を与える。報酬の算出においては、加工時間が所定の基準値から見て短ければ短いほどプラス値が大きくなる報酬となるようにし、長ければ長いほどマイナス値が大きくなる報酬となるようにする。加工時間の所定の基準値については、加工装置１の加工条件を初期設定にしてワークの加工を行った際に測定された加工時間を基準とすればよい。
【００４０】
●［報酬２：加工精度の向上（プラス報酬，マイナス報酬）］
設計データにより示される目標とするワークの加工形状に対する、加工後ワークの加工形状の加工精度が高い場合に、その度合いに応じてプラスの報酬を与える。加工精度に基づく報酬は、上述したように加工精度の種類毎に算出するようにしても良い。報酬の算出においては、加工精度データは、所定の基準値から見て０に近ければ近いほどプラス値が大きくなる報酬となるようにし、所定の基準値よりも大きくなるほどマイナス値が大きくなる報酬となるようにする。加工精度データの所定の基準値については、加工装置１の加工条件を初期設定にしてワークの加工を行った際に測定された加工精度データを基準とすればよい。
【００４１】
なお、加工時間により得られる報酬と、加工精度により得られる報酬に、その重要度に応じた重み付けをするようにしても良い。このようにすることで、加工時間を重視する加工条件の調整を行うように学習をさせたり、加工精度を重視した加工条件の調整を行うように学習させたりすることができる。
また、上記したように、加工精度に係るデータが複数ある場合においては、加工精度に係るデータ毎に重みをつけるようにしても良い。このようにすることで、深さ方向の精度を重視したり、コーナ部精度を重視したりする学習をさせることができる。
【００４２】
図４に戻って、加工条件調整学習部２５は、加工装置１による１つのワークの加工が完了する度に、状態データと、自身が行った加工装置１の加工条件の調整結果、および報酬計算部２４で計算された報酬とに基づいて機械学習（強化学習）を行うと共に、過去の学習結果に基づいて現在の状態データに基づいて加工装置１がワークの加工に用いる加工条件を調整する。ここでいう加工条件の調整が、機械学習に用いられる行動ａに相当する。
【００４３】
加工条件の調整方法は、例えば、調整する加工条件と加工条件の調整量の組み合わせのそれぞれを選択可能な行動としてあらかじめ定義しておき、過去の学習結果に基づいて将来に得られる報酬が最も大きくなる行動を選択するようにしてもよい。また、上記したεグリーディ法を採用し、所定の確率でランダムな行動を選択することで学習の進展を図るようにしてもよい。
【００４４】
ここで、加工条件調整学習部２５が行う機械学習においては、ある時刻ｔにおける状態データの組み合わせにより状態ｓtが定義され、定義された状態ｓtに応じて加工条件を調整して後述する加工条件出力部２７により該調整結果を出力することが行動ａtとなり、そして、調整結果に基づいて加工装置１によるワークの加工が行われた結果として得られた状態データに基づいて前記報酬計算部２４で計算された値が報酬ｒt+1となる。学習に用いられる価値関数については、適用する学習アルゴリズムに応じて決定する。例えば、Ｑ学習を用いる場合には、上記した数２式に従って行動価値関数Ｑ（ｓt，ａt）を更新することにより学習を進めるようにすれば良い。
【００４５】
学習結果記憶部２６は、前記加工条件調整学習部２５が学習した結果を記憶する。また、加工条件調整学習部２５が学習結果を再使用する際には、記憶している学習結果を加工条件調整学習部２５に出力する。学習結果の記憶には、上述したように、利用する機械学習アルゴリズムに応じた価値関数を、近似関数や、配列、又は多値出力のＳＶＭやニューラルネットワーク等の教師あり学習器などにより記憶するようにすれば良い。
なお、学習結果記憶部２６に、他の加工装置１や集中管理システム３０が記憶している学習結果を入力して記憶させたり、学習結果記憶部２６が記憶している学習結果を他の加工装置１や集中管理システム３０に対して出力したりすることも可能である。
【００４６】
加工条件出力部２７は、前記加工条件調整学習部２５による加工条件の調整結果を制御部２に対して出力する。制御部２は加工条件出力部２７から出力された加工条件に基づいて加工装置１を制御してワークの加工を行う。
【００４７】
そして、加工が完了したら再び状態データの取得が機械学習器２０により行われ、入力された状態データを使用して学習を繰り返すことにより、より優れた学習結果を得ることができる。
【００４８】
上記学習が完了した学習データを用いて実際に加工装置１で加工する際には、機械学習器２０は新たな学習を行なわないようにして学習完了時の学習データをそのまま使用して繰り返し運転をするようにしてもよい。
また、学習が完了した機械学習器２０（または、他の機械学習器２０の完了した学習データを学習結果記憶部２６に複写した機械学習器２０）を他の加工装置１に取付けて、学習完了時の学習データをそのまま使用して繰り返し運転をするようにしてもよい。
更に、学習が完了した機械学習器２０の学習機能を有効にしたままで他の加工装置１に取付けて、ワークの加工を続けることで、加工装置１毎に異なる個体差や経年変化などを更に学習させ、当該加工装置１にとってより良い加工条件を探索しながら運転することも可能である。
【００４９】
加工装置１は単独で機械学習をするようにしてもよいが、複数の加工装置１がそれぞれ外部との通信手段を更に備えると、それぞれの前記状態データ記憶部２２が記憶した状態データや学習結果記憶部２６が記憶した学習結果を送受信して共有することが可能となり、より効率良く機械学習を行うことができる。例えば、所定の範囲内で加工条件を変動させて学習する際に、複数の加工装置１において異なる加工条件を所定の範囲内でそれぞれ変動させてワークの加工を行いながら、それぞれの加工装置１の間で状態データや学習データをやり取りすることにより並列して学習を進めるようにすることで効率的に学習させることができる。
このように複数の加工装置１間でやり取りする際には、通信は集中管理システム３０等のホストコンピュータを経由しても、直接加工装置１同士が通信しても構わないし、クラウドを使用しても構わないが、大量のデータを取り扱う場合があるため、なるべく通信速度が速い通信手段が好ましい。
【００５０】
また、いきなり製品となる部分を加工するのではなく、ワークの不要な部分を用いて予備加工を行い、ある程度機械学習してから製品となる部分の本加工を行うことにより、最初からある程度精度の高い加工形状を得ることが可能である。
【００５１】
以上、本発明の実施の形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。
【符号の説明】
【００５２】
１  加工装置
２  制御部
３  オンマシン測定部
４  加工時間測定部
２０  機械学習器
２１  状態観測部
２２  状態データ記憶部
２３  報酬条件設定部
２４  報酬計算部
２５  加工条件調整学習部
２６  学習結果記憶部
２７  加工条件出力部
３０  集中管理システム
【図１】
2017030067.tif 000005
【図２】
2017030067.tif 000006
【図３】
2017030067.tif 000007
【図４】
2017030067.tif 000008