(57)【要約】  機械学習装置（１００）は、放電加工機（１）における加工条件を制御する制御パラメータを学習する。機械学習装置（１００）は、放電加工中の加工状態を表す複数の状態変数を観測する状態観測部（３０）と、複数の状態変数に基づいて制御パラメータを学習する学習部（４０）と、を備える。
2019202672.tif 000002
【特許請求の範囲】
【請求項１】
放電加工機における加工条件を制御する制御パラメータを学習する機械学習装置であって、
放電加工中の加工状態を表す複数の状態変数を観測する状態観測部と、
複数の前記状態変数に基づいて前記制御パラメータを学習する学習部と、
を備える
ことを特徴とする機械学習装置。
【請求項２】
前記状態観測部は、
パルスの不安定信号の発生回数を予め定めた期間の間に累積させた値である第１状態の値、前記予め定めた期間において発生したパルス数である第２状態の値、および駆動装置における軸の送り量である第３状態の値を複数の前記状態変数として観測する
ことを特徴とする請求項１に記載の機械学習装置。
【請求項３】
前記状態観測部は、
加工電源を制御する加工電源制御部の指令に基づいて前記第１状態の値および前記第２状態の値を求めるパルス状態認識部と、
加工電極と被加工物との間の距離を制御するための前記駆動装置を制御する軸駆動制御部の指令に基づいて前記第３状態の値を求める軸駆動認識部と、
を備える
ことを特徴とする請求項２に記載の機械学習装置。
【請求項４】
前記学習部は、
前記状態変数に基づいて報酬を計算する報酬計算部と、
前記報酬に基づいて、前記制御パラメータを決定するための関数を更新する関数更新部と、
を備える
ことを特徴とする請求項２または３に記載の機械学習装置。
【請求項５】
前記報酬計算部は、前記状態変数が前回よりも安定した状態を示す場合には、前記報酬を増やし、前記状態変数が前回よりも不安定な状態を示す場合には、前記報酬を減らす
ことを特徴とする請求項４に記載の機械学習装置。
【請求項６】
前記報酬計算部は、電圧制御にかかる報酬を計算する第１報酬計算部と、パルス制御にかかる報酬を計算する第２報酬計算部と、軸駆動制御にかかる報酬を計算する第３報酬計算部とを備え、
前記関数更新部は、電圧制御にかかる関数を更新する第１関数更新部と、パルス制御にかかる関数を更新する第２関数更新部と、軸駆動制御にかかる関数を更新する第３関数更新部とを備える
ことを特徴とする請求項４または５に記載の機械学習装置。
【請求項７】
前記第１報酬計算部は、前記第１状態の値が前回よりも小さい場合には、前記報酬を増やし、前記第１状態の値が前回よりも大きい場合には、前記報酬を減らす
ことを特徴とする請求項６に記載の機械学習装置。
【請求項８】
前記第１報酬計算部は、前記第２状態の値が前回よりも大きい場合には、前記報酬を増やし、前記第２状態の値が前回よりも小さい場合には、前記報酬を減らす
ことを特徴とする請求項６に記載の機械学習装置。
【請求項９】
前記第２報酬計算部は、前記第１状態の値が前回よりも小さい場合には、前記報酬を増やし、前記第１状態の値が前回よりも大きい場合には、前記報酬を減らす
ことを特徴とする請求項６に記載の機械学習装置。
【請求項１０】
前記第２報酬計算部は、前記第２状態の値が前回よりも大きい場合には、前記報酬を増やし、前記第２状態の値が前回よりも小さい場合には、前記報酬を減らす
ことを特徴とする請求項６に記載の機械学習装置。
【請求項１１】
前記第３報酬計算部は、前記第２状態の値が前回よりも大きい場合には、前記報酬を増やし、前記第２状態の値が前回よりも小さい場合には、前記報酬を減らす
ことを特徴とする請求項６に記載の機械学習装置。
【請求項１２】
前記第３報酬計算部は、前記第３状態の値が前回よりも大きい場合には、前記報酬を増やし、前記第３状態の値が前回よりも小さい場合には、前記報酬を減らす
ことを特徴とする請求項６に記載の機械学習装置。
【請求項１３】
請求項１から１２のいずれか１つに記載の機械学習装置と、
加工条件設定値を設定する加工条件設定部と、
前記制御パラメータを保持する制御パラメータ保持部と、
前記加工条件設定値及び前記制御パラメータに基づいて加工電源を制御する加工電源制御部と、
前記加工条件設定値及び前記制御パラメータに基づいて加工電極と被加工物との間の距離を制御するための駆動装置を制御する軸駆動制御部と、
前記学習部が学習した結果に基づいて、前記制御パラメータ保持部が保持する前記制御パラメータを変更するパラメータ変更部と、
を備える
ことを特徴とする放電加工機。
【請求項１４】
加工結果を受け付ける加工結果入力部をさらに備え、
前記パラメータ変更部は前記加工結果に基づいて前記制御パラメータの変更に制限の追加または解除を行う
ことを特徴とする請求項１３に記載の放電加工機。
【請求項１５】
他の放電加工機と通信することができる通信部をさらに備える
ことを特徴とする請求項１３または１４に記載の放電加工機。
【請求項１６】
前記パラメータ変更部により変更された前記制御パラメータを記憶する学習結果記憶部をさらに備える
ことを特徴とする請求項１３から１５のいずれか１つに記載の放電加工機。
【請求項１７】
放電加工機における加工条件を制御する制御パラメータを学習する機械学習装置の機械学習方法であって、
放電加工中の加工状態を表す複数の状態変数を求めるステップと、
複数の前記状態変数に基づいて、前記制御パラメータを学習するステップと、
を備える
ことを特徴とする機械学習方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、放電加工を制御する制御パラメータを学習する機械学習装置、放電加工機および機械学習方法に関する。
【背景技術】
【０００２】
放電加工機において安定した加工を行うために、電源電圧波形および電源電流波形の変更、サーボ動作である極間制御動作の変更といった物理量として表現される加工条件の自動変更を行う機能として適応制御機能がある。上記加工条件は、ユーザが変更可能な数種から十数種の加工パラメータにより決定される。被加工物を加工するために印加される電圧の大小または加工電流パルスの形状を変更するパラメータ、被加工物と工具となる加工電極との相対距離を調整するパラメータ、加工電極の送り速度を変えるパラメータなどが加工パラメータに該当する。【０００３】
これらの加工パラメータの組合せは、代表的な加工形状、被加工材質および電極材質を使用して実験的に適切な値のセットとして求められたりすることにより、放電加工機に予め複数のセットが設定されていて、ユーザが選択できるようになっている場合もある。しかし、放電加工機で加工の対象とされる形状は三次元的な複雑形状であり、また通電できれば加工可能という放電加工機の特性上被加工材質も種々に渡る。したがって、加工パラメータの最適化が必要であり、例えば、特許文献１においては、作業者が入力した加工状態を利用して、加工パラメータを自動設定することが示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平２−２１２０４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載の自動設定では、単一種類の加工状態に基づいて、ユーザも設定することが可能な加工パラメータの一部を調整するのみである。また、加工パラメータに基づいて、最終的に物理量として表現される加工条件を実現するためには各種制御パラメータがその背景として無数に存在しており、それらの制御パラメータの調整は行われていない。【０００６】
したがって、放電加工機の適応制御において、物理量としてより適切な加工条件を取得できる適応制御が求められていた。【０００７】
本発明は、上記に鑑みてなされたものであって、放電加工においてより適切な加工条件を自動的に学習することができる機械学習装置を得ることを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明の機械学習装置は、放電加工機における加工条件を制御する制御パラメータを学習する。本発明の機械学習装置は、放電加工中の加工状態を表す複数の状態変数を観測する状態観測部と、複数の状態変数に基づいて制御パラメータを学習する学習部と、を備える。
【発明の効果】
【０００９】
本発明にかかる機械学習装置は、放電加工においてより適切な加工条件を自動的に学習することができるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態１にかかる放電加工機の構成を示すブロック図
【図２】実施の形態１にかかる加工条件を制御目的で分類した図
【図３】実施の形態１にかかる電圧制御に関わる加工条件の制御パラメータを説明する図
【図４】実施の形態１にかかる電圧制御に関わる加工条件と電流パルスの発生周期との関係を示す図
【図５】実施の形態１にかかるパルス制御に関わる加工条件の制御パラメータを説明する図
【図６】実施の形態１にかかるパルス制御に関わる加工条件と電流パルスの形状との関係を示す図
【図７】実施の形態１にかかる軸駆動制御に関わる加工条件の制御パラメータを説明する図
【図８】実施の形態１にかかる軸駆動制御に関わる加工条件と軸駆動による極間制御との関係を示す図
【図９】実施の形態１にかかる電圧パルスおよび電流パルスの状態を説明する図
【図１０】実施の形態１にかかる電圧パルスおよび電流パルスが安定である場合を示す図
【図１１】実施の形態１にかかる電圧パルスおよび電流パルスが不安定である場合を示す図
【図１２】実施の形態１にかかる理想的な平均電圧値の分布を示す図
【図１３】実施の形態１にかかる安定した放電が継続するときの平均電圧値の分布を示す図
【図１４】実施の形態１にかかる不安定な放電が継続するときの平均電圧値の分布を示す図
【図１５】実施の形態１にかかる電圧制御に関わる加工条件の制御パラメータの学習による最適化処理を説明するフローチャート
【図１６】実施の形態１にかかるパルス制御に関わる加工条件の制御パラメータの学習による最適化処理を説明するフローチャート
【図１７】実施の形態１にかかる軸駆動制御に関わる加工条件の制御パラメータの学習による最適化処理を説明するフローチャート
【図１８】本発明の実施の形態２にかかる放電加工機の構成を示すブロック図
【図１９】本発明の実施の形態３にかかる放電加工機の構成を示すブロック図
【図２０】実施の形態１から３にかかる機械学習装置の機能をコンピュータシステムで実現する場合のハードウェア構成を示す図
【発明を実施するための形態】
【００１１】
以下に、本発明の実施の形態にかかる機械学習装置、放電加工機および機械学習方法を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
【００１２】
実施の形態１．
図１は、本発明の実施の形態１にかかる放電加工機１の構成を示すブロック図である。放電加工機１には、加工工具となる加工電極２と、加工電極２と被加工物３との間の距離を制御するための駆動装置４と、加工電極２と被加工物３との間に放電を発生させるための加工電源５と、駆動装置４および加工電源５を制御する制御装置１０とを備える。被加工物３は加工電源５に接続されている。駆動装置４は、加工電極２および被加工物３のいずれか、または両方を駆動することができる。
【００１３】
制御装置１０は、駆動装置４を制御する軸駆動制御部１１と、加工電源５を制御する加工電源制御部１２と、加工条件設定値を設定する加工条件設定部１５と、加工条件に対応する制御パラメータを保持する制御パラメータ保持部１３と、制御パラメータの初期値を設定する初期パラメータ設定部１４と、を備える。なお、加工条件設定値は、加工条件を指定する設定値である。
【００１４】
制御パラメータは、加工条件設定値と加工条件との関係を規定するパラメータであり、加工条件設定値および制御パラメータに基づいて具体的な物理量で表現される加工条件が決定される。したがって、加工電極２と被加工物３との間に放電を発生させて加工する際の加工パターンの加工条件は、加工条件設定部１５が設定した加工条件設定値と、制御パラメータ保持部１３に保持されている制御パラメータとに基づいて決定される。すなわち、放電加工機１における物理量で表現される加工条件は制御パラメータにより制御される。ユーザは、加工条件設定値を設定することができるが、制御パラメータを設定したり変更したりすることはできない。軸駆動制御部１１および加工電源制御部１２は、加工条件設定部１５および制御パラメータ保持部１３から与えられた情報に基づいて、上記加工条件の加工パターンに応じた指令を発する。後述するように制御パラメータは変更されるが、制御パラメータ保持部１３に最初に設定されている制御パラメータの初期値は初期パラメータ設定部１４により設定される。制御パラメータが加工条件設定値と加工条件との対応テーブルで表現される場合、制御パラメータの初期値は、初期値となる対応テーブルとなる。
【００１５】
駆動装置４は、軸駆動制御部１１からの上記指令に基づいて、加工電極２と被加工物３との相対距離および相対速度を制御する。加工電源５は、加工電源制御部１２からの上記指令に基づいて、加工電極２と被加工物３との間に電圧を印加して、放電時の電流波形を制御する。
【００１６】
制御装置１０は、さらに、入出力部２０と、機械学習装置１００と、パラメータ変更部５０と、学習結果記憶部８０とを備える。
【００１７】
入出力部２０は、ユーザの入力を受け付け、表示によりユーザの確認作業をサポートする入出力インタフェースである。入出力部２０は、加工条件設定部１５にユーザが設定させたい加工条件設定値を受け付ける加工条件入力部２１と、ユーザが加工状態を観測する確認作業を行うための表示部２２とを備える。
【００１８】
機械学習装置１００は、状態観測部３０および学習部４０を備える。状態観測部３０は、軸駆動認識部３１と、パルス状態認識部３２と、加工状態観測部３３とを備える。学習部４０は、報酬計算部４７および関数更新部４８を備え、制御パラメータを学習することにより最適化する。
【００１９】
報酬計算部４７は、電圧制御にかかる報酬を計算する第１報酬計算部４１と、パルス制御にかかる報酬を計算する第２報酬計算部４３と、軸駆動制御にかかる報酬を計算する第３報酬計算部４５とを備える。関数更新部４８は、電圧制御にかかる関数を更新する第１関数更新部４２と、パルス制御にかかる関数を更新する第２関数更新部４４と、軸駆動制御にかかる関数を更新する第３関数更新部４６とを備える。
【００２０】
パラメータ変更部５０は、電圧制御に関わる加工条件の制御パラメータを変更する第１制御パラメータ変更部５１と、パルス制御に関わる加工条件の制御パラメータを変更する第２制御パラメータ変更部５２と、軸駆動制御に関わる加工条件の制御パラメータを変更する第３制御パラメータ変更部５３とを備える。パラメータ変更部５０は、学習部４０が学習した結果に基づいて、制御パラメータ保持部１３が保持する制御パラメータを変更する。
【００２１】
学習結果記憶部８０は、機械学習装置１００による学習結果を記憶する。
【００２２】
放電加工機１が放電加工を開始すると、加工条件設定部１５が出力する加工条件設定値に基づいて、軸駆動制御部１１および加工電源制御部１２が指令を行い、駆動装置４および加工電源５の動作によって、加工電極２と被加工物３との間に放電が発生する。
【００２３】
放電加工が行われている間、駆動装置４は軸駆動制御部１１の指令に従って、加工電極２と被加工物３との相対距離を小さくまたは大きくさせながら、放電が発生する最適な相対距離を探索する。この時の駆動軸の位置および駆動軸の動作についての情報は、軸駆動認識部３１が取得して、加工状態観測部３３に軸挙動履歴として記録される。
【００２４】
また、放電加工が行われている間は、上記した駆動装置４の動作と同時に、加工電源５は加工電源制御部１２の指令によって、加工電極２と被加工物３との間に電圧を印加して、指令された形状の電流波形の電流パルスを発生させる。加工電源制御部１２は、加工条件設定部１５からの加工条件設定値に基づいて、指令された形状の電流波形の電流パルスを一定周期で発生させるように加工電源５の電圧を制御する。しかし、物理特性上、放電加工において確実に一定周期で電流パルスを発生させることは不可能である。また、電流パルスの形状も理論値が示す電流波形とは異なるものが生成される場合がある。この電流パルスの発生周期および電流パルスの形状、それに加えて、パルス発生の元となる印加電圧の大きさおよび印加周期、電圧パルス形状を示す電圧波形の情報は、パルス状態認識部３２が取得して、加工状態観測部３３にパルス挙動履歴として記録される。
【００２５】
加工状態観測部３３は、パルス挙動履歴および軸挙動履歴から、一定期間における電圧値の分布、電流パルスの発生周期、電流パルスが発生した際の軸の位置情報、速度情報および加速度情報を得る。加工状態観測部３３は、現在使用されている制御パラメータの下で実行されている放電加工により得られたこれらの情報を、制御パラメータ保持部１３に設定されている現在使用されている制御パラメータと紐付けて学習部４０に与える。
【００２６】
以下では、加工条件及び加工条件と制御パラメータとの関係について詳細に説明する。図２は、実施の形態１にかかる加工条件を制御目的で分類した図である。図３は、実施の形態１にかかる電圧制御に関わる加工条件の制御パラメータを説明する図である。図４は、実施の形態１にかかる電圧制御に関わる加工条件と電流パルスの発生周期との関係を示す図である。図５は、実施の形態１にかかるパルス制御に関わる加工条件の制御パラメータを説明する図である。図６は、実施の形態１にかかるパルス制御に関わる加工条件と電流パルスの形状との関係を示す図である。図７は、実施の形態１にかかる軸駆動制御に関わる加工条件の制御パラメータを説明する図である。図８は、実施の形態１にかかる軸駆動制御に関わる加工条件と軸駆動による極間制御との関係を示す図である。
【００２７】
図２では、（１）加工回路の種別、（２）回路補助設定、（３）電流パルスピーク値、（４）電流パルス長さ、（５）パルス休止時間、（６）極間ギャップ調整値、（７）ジャンプスピード、（８）ジャンプ高さ、（９）最深値持続時間、（１０）軸応答性、（１１）狙い電圧値、といった加工条件が、電圧制御に関わる加工条件、パルス制御に関わる加工条件または軸駆動制御に関わる加工条件に該当する場合には対応する欄に黒丸を付してある。電圧制御に関わる加工条件は電流パルスの発生周期に関係し、パルス制御に関わる加工条件は電流パルスの形状に関係し、軸駆動制御に関わる加工条件は極間制御に関係する。
【００２８】
図３、図５および図７は、加工条件設定部１５が加工条件設定値を設定する加工条件に対応して制御パラメータ保持部１３が保持する制御パラメータを示している。図２に示した各加工条件は、電流パルスの発生周期、電流パルスの形状、極間制御に関わっているが、重複して関わっていることがある。したがって、電流パルスの発生周期、電流パルスの形状または極間制御のいずれかを変更するように関連する加工パラメータを変更すると、他のものにも影響することがある。
【００２９】
また、各加工条件は加工条件設定値によりノッチが指定され、複数の加工条件は各加工条件の指定されたノッチの組み合わせであるノッチパターンとして表現される。ノッチとは、加工条件を示す物理量を離散的に指定する刻みのことである。通常、数種類または数十種類のノッチパターンが放電加工機１に予め登録されている。各加工条件は、加工条件設定値によるノッチの選択とは別に、ユーザが変更することが出来ない制御パラメータを有している。先に説明したように、ノッチの選択を示す加工条件設定値および制御パラメータに基づいて具体的な物理量である加工条件が決定される。制御パラメータの具体例は、ノッチ分割数およびノッチ配分値である。ノッチ分割数は、当該加工条件において選択可能なノッチの数である。ノッチ配分値は、各ノッチに割当てられる加工条件の物理量の値である。ただし、制御パラメータはこれらに限定されない。図２に挙げた１１種類の加工条件それぞれの制御パラメータを変数としてとらえた場合、その変数の総数は、数十から数百に及ぶ。
【００３０】
図３は、電圧制御に関わる加工条件の制御パラメータを説明している。図４は、電圧制御に関わる加工条件である、（４）電流パルス長さ、（５）パルス休止時間、（６）極間ギャップ調整値、（９）最深値持続時間、（１０）軸応答性および（１１）狙い電圧値が電流パルスの発生周期とどのように関わるかの概略を示している。（４）電流パルス長さおよび（５）パルス休止時間は図４の矢印で示した幅で示した加工条件であり、（６）極間ジャンプ調整値、（９）最深値持続時間、（１０）軸応答性および（１１）狙い電圧値は電流パルスの発生周期に関連する加工条件である。
【００３１】
具体例を挙げると、（４）電流パルス長さの制御パラメータは長さ制御パラメータとなるノッチ分割数およびノッチ配分値である。電流パルス長さに対してある制御パラメータであるノッチ分割数およびノッチ配分値が設定されているとする。このとき、加工条件設定値０が指定するノッチに対して電流パルス長さ＝２μsecが対応し、加工条件設定値１が指定するノッチに対して電流パルス長さ＝４μsecが対応し、加工条件設定値２が指定するノッチに対して電流パルス長さ＝８μsecが対応するといった対応関係が上記制御パラメータにより規定される。電流パルス長さの制御パラメータが変更されると上記対応関係が変更されるので、同じ加工条件設定値に対する電流パルス長さが変更されることになる。ただし、制御パラメータが変更されたとしても、変更されたノッチ配分値によっては、全ての加工条件設定値に対する加工条件の値が変更されなくてもかまわない。
【００３２】
図５は、パルス制御に関わる加工条件の制御パラメータを説明している。図６は、パルス制御に関わる加工条件である、（１）加工回路の種別、（２）回路補助設定、（３）電流パルスピーク値、（４）電流パルス長さ、（６）極間ギャップ調整値、（１１）狙い電圧値が電流パルスの形状とどのように関わるかの概略を示している。（１）加工回路の種別の回路呼び出しパラメータが変更されると加工回路が変更されるので電流パルスの形状が変化する。（２）回路補助設定は電流パルスの立ち上がりの傾きを規定する。（３）電流パルスピーク値は電流パルスのピーク値を規定する。（４）電流パルス長さは電流パルスのパルス長さを規定する。（６）極間ギャップ調整値および（１１）狙い電圧値は電流パルスの間隔に関連する加工条件である。
【００３３】
具体例を挙げると、（３）電流パルスピーク値の制御パラメータはピーク制御パラメータとなるノッチ分割数およびノッチ配分値である。電流パルスピーク値Ｉpに対してある制御パラメータであるノッチ分割数およびノッチ配分値が設定されているとする。このとき、加工条件設定値０が指定するノッチに対してＩp＝１Ａが対応し、加工条件設定値１が指定するノッチに対してＩp＝２Ａが対応し、加工条件設定値２が指定するノッチに対してＩp＝４Ａが対応するといった対応関係が上記制御パラメータにより規定される。電流パルスピーク値Ｉpの制御パラメータが変更されると上記対応関係が変更されるので、同じ加工条件設定値に対するＩpの値が変更されることになる。ただし、制御パラメータが変更されたとしても、変更されたノッチ配分値によっては、全ての加工条件設定値に対する加工条件の値が変更されなくてもかまわない。
【００３４】
図７は、軸駆動制御に関わる加工条件の制御パラメータを説明している。図８は、軸駆動制御に関わる加工条件である、（６）極間ギャップ調整値、（７）ジャンプスピード、（８）ジャンプ高さ、（９）最深値持続時間、（１０）軸応答性および（１１）狙い電圧値が軸駆動制御とどのように関わるかの概略を示している。（６）極間ギャップ調整値、（９）最深値持続時間、（１０）軸応答性および（１１）狙い電圧値は、加工電極２と被加工物３とのアプローチ動作に関連する加工条件である。（７）ジャンプスピード、（８）ジャンプ高さおよび（１０）軸応答性は、駆動軸のジャンプ動作を含んだ被加工物３からの加工電極２の退避動作に関連する加工条件である。
【００３５】
つぎに、放電加工における電圧パルスおよび電流パルスの安定または不安定について説明する。図９は、実施の形態１にかかる電圧パルスおよび電流パルスの状態を説明する図である。図１０は、実施の形態１にかかる電圧パルスおよび電流パルスが安定である場合を示す図である。図１１は、実施の形態１にかかる電圧パルスおよび電流パルスが不安定である場合を示す図である。図９〜図１１においては、上が電圧波形を示し、下が電流波形を示す。
【００３６】
加工電極２と被加工物３との間に電圧が印加されると、予期できないタイミングで絶縁破壊が生じて電流が流れる。安定的に加工を行える理想的な電圧および電流の関係が生じるとトランジスタ回路等で成形された一定の傾きを有する矩形波に近い電流パルスが発生する。この電流パルスが図９に安定した放電として示される。このような理想的な電圧および電流の関係が満たされない場合は、電流パルスの電流波形の形状が理想と異なる図９の不安定な放電のようになったり、加工に有効でない電流として極間に異形状の電流波形が発生する図９の異常放電のようになったりする。
【００３７】
放電加工の制御においては、極間の相対距離を制御するためのひとつの指標として、放電発生時における一定の時間あたりの平均電圧値を観測して制御を行う。理想的な電圧および電流の関係が維持される場合は、図１０に示すように平均電圧値が理論値となるように維持されて安定した放電が継続する。しかし、図９の不安定な放電または異常放電が繰り返される場合は、図１１に示すように平均電圧値が理論値から変動してしまい、不安定な放電が継続する。極間距離が無くなり加工電極２と被加工物３とが接触してしまった場合は短絡状態となり、加工電極２と被加工物３との距離が放電が発生しない距離まで離れてしまう場合は開放状態となるため、理論値に対する平均電圧値の変動が、ただちに放電パルスの安定または不安定を決定するものではない。また、理想的な条件下において図１０に示される安定した電流パルスのパターンが発生し続けている場合においても、絶縁破壊が生じるまでの無負荷電圧時間と呼ばれる予期できない時間間隔があるため、放電発生の周期は一定ではない。したがって、放電発生周期の増減は、加工の安定性とは独立した指標である。
【００３８】
図１２は、実施の形態１にかかる理想的な平均電圧値の分布を示す図である。図１３は、実施の形態１にかかる安定した放電が継続するときの平均電圧値の分布を示す図である。図１４は、実施の形態１にかかる不安定な放電が継続するときの平均電圧値の分布を示す図である。図１２〜図１４においては、横軸が放電発生時における一定の時間あたりの平均電圧値を示し、縦軸が一定の時間あたりのパルス数を示す。
【００３９】
理想的な電圧および電流の関係が維持される場合は、図１２に示すように、上記平均電圧値は、理論値において定められたパルス数となる。実際の加工においては、物理現象上、目標とする電圧値を示す加工条件である狙い電圧値の周りに平均電圧値は分布すると共にパルス数も分布する。狙い電圧値は、理論値である必要はない。加工が安定していて図１０に示すように安定した放電が継続する場合は、図１３に示すように平均電圧値のばらつきも小さく、平均電圧値が狙い電圧値においてパルス数が最大になっている。また、加工が不安定で図１１に示すように不安定な放電が継続する場合は、図１４に示すように平均電圧値が狙い電圧値の周りに分散して大きくばらつくと共に、パルス数もばらついてしまう。
【００４０】
パルス状態認識部３２は、一定期間における放電発生時の電圧の分布を基に分布の良否判定を行い、パルスが安定しているか不安定であるかを判定する。一例として、パルス状態認識部３２は、加工電源制御部１２から得た平均電圧値、狙い電圧値および電圧閾値との関係に基づいて、電圧パルスおよび電流パルスが安定しているか不安定であるかを判定する。具体的には、パルス状態認識部３２は、加工電源制御部１２の指令に基づいて、放電発生時における一定の時間あたりの平均電圧値の狙い電圧値からの偏差の絶対値が電圧閾値より大きい場合はパルスの不安定信号を発生させ、不安定信号の発生回数を上記一定の時間より長い予め定めた期間の間に累積させた値を第１状態の値として求める。さらに、パルス状態認識部３２は、加工電源制御部１２の指令から得た予め定めた期間において発生したパルス数を第２状態の値として求める。上記予め定めた期間は、例えば、ジャンプ動作と言われる退避動作が終了し、放電を発生させるための極間位置制御が行われ、再び次のジャンプ動作が行われるまでの動作時間とすることができる。軸駆動認識部３１は、軸駆動制御部１１の指令から得た駆動装置４における軸の送り量を第３状態の値として求める。第３状態の値は、軸の送り量が加工進行方向に大きくなるほど正の大きな値になり、軸の送り量が後退方向に大きくなるほど、負の大きな値になるように設定される。第１状態の値、第２状態の値および第３状態の値はそれぞれ放電加工中の加工状態を表す状態変数であり、加工状態観測部３３は、取得した複数の状態変数である第１状態の値、第２状態の値および第３状態の値を分布図または棒グラフによるヒストグラムといった形式でユーザが目視で観測できるように表示部２２に表示させる。このようにして、状態観測部３０は、複数の状態変数である第１状態の値、第２状態の値および第３状態の値を観測する。そして、学習部４０の第１報酬計算部４１、第２報酬計算部４３および第３報酬計算部４５は、加工状態観測部３３が取得した第１状態の値、第２状態の値および第３状態の値に基づいて報酬を計算する。
【００４１】
状態観測部３０、学習部４０およびパラメータ変更部５０を備えた機械学習装置１００が用いる学習アルゴリズムはどのようなものを用いてもよい。一例として、強化学習（Ｒｅｉｎｆｏｒｃｅｍｅｎｔ  Ｌｅａｒｎｉｎｇ）を適用した場合について説明する。
【００４２】
強化学習は、ある環境内におけるエージェントである行動主体が、現在の状態を観測し、取るべき行動を決定する、というものである。エージェントは、行動を選択することで環境から報酬を得て、一連の行動を通じて報酬が最も多く得られるような方策を学習する。強化学習の代表的な手法として、Ｑ学習（Ｑ−ｌｅａｒｎｉｎｇ）またはＴＤ学習（ＴＤ−ｌｅａｒｎｉｎｇ）が知られている。例えば、Ｑ学習の場合、行動価値関数Ｑ（ｓ，ａ）の一般的な更新式は、以下の数式（１）で表される。行動価値関数Ｑ（ｓ，ａ）は、行動価値テーブルとも呼ばれる。
【００４３】
【数１】
2019202672.tif 000003
【００４４】
数式（１）において、ｓtは時刻ｔにおける状態を表し、ａtは時刻ｔにおける行動を表す。行動ａtにより、状態はｓt+1に変わる。ｒt+1はその状態の変化によってもらえる報酬を表し、γは割引率を表し、αは学習係数を表す。
【００４５】
Ｑ学習における数式（１）で表される更新式は、時刻ｔ＋１における最良の行動ａの行動価値が、時刻ｔにおいて実行された行動ａtの行動価値Ｑよりも大きければ、時刻ｔの行動価値Ｑを大きくし、逆の場合は、時刻ｔの行動価値Ｑを小さくする。換言すれば、時刻ｔにおける行動ａtの行動価値Ｑを、時刻ｔ＋１における最良の行動価値に近づけるように、行動価値関数Ｑ（ｓt，ａt）を更新する。それにより、或る環境における最良の行動価値が、それ以前の環境における行動価値に順次伝播していくようになる。
【００４６】
したがって、以下で説明する機械学習装置１００の動作において、制御パラメータの変更行動を時刻ｔにおける行動ａtとし、上記第１、第２および第３状態を時刻ｔにおける状態ｓtとすれば、Ｑ学習を行っていると理解することができる。
【００４７】
以下、機械学習装置１００による制御パラメータの最適化動作を説明する。
【００４８】
図１５は、実施の形態１にかかる電圧制御に関わる加工条件の制御パラメータの学習による最適化処理を説明するフローチャートである。電圧制御に関わる加工条件の制御パラメータは、加工条件として設定される狙い電圧値の基となっている電圧制御を行うための変数値であり、これにより電圧の大きさだけでなく電圧波形の形状、放電を検出するための基準電圧と呼ばれる電圧基準値も含まれる。また、電圧制御に関わる加工条件の制御パラメータの最適化により、制御パラメータとして設定されている無負荷電圧時間の電圧および狙い電圧値の初期ノッチパターンを別のノッチパターンに変更するなどの処理も行われる。
【００４９】
電圧制御にかかる報酬を計算する第１報酬計算部４１は、パルス状態認識部３２が求めた状態変数である第１状態の値および第２状態の値に基づいて報酬の変化量を計算する。第１報酬計算部４１は、第１状態の値が小さく、第２状態の値が大きくなる場合に報酬を増やすように報酬の変化量を計算するのであれば、第１状態の値および第２状態の値をどのように用いて報酬の変化量を求めるかに制限はない。具体的には、第１状態の値が小さくなった場合に報酬を増やし、第１状態の値が大きくなった場合には報酬を減らす。これに加えて、第２状態の値が大きくなった場合に報酬を増やし、第２状態の値が小さくなった場合には報酬を減らす。また、不安定なパルスの数が減り、安定したパルスの数が増えた場合に報酬を増大させるとする基本的な基準に加え、不安定なパルスが減少したとしても安定したパルスの数が減った場合においては報酬が減少するように報酬の計算方法を定めてもよい。
【００５０】
第１報酬計算部４１が計算した報酬に基づいて、第１関数更新部４２は電圧制御に関わる制御パラメータを決定するための関数である行動価値関数Ｑを更新する。更新された行動価値関数Ｑに基づいて、第１制御パラメータ変更部５１は、報酬が最も多く得られる制御パラメータとなるように電圧制御に関わる加工条件の制御パラメータを変更する。
【００５１】
以上をふまえて、図３に示した電圧制御に関わる加工条件の６種類の制御パラメータの最適化について、図１５を用いて説明する。図１５は放電加工機１が放電加工を継続して実行している状況において実行され、変更される制御パラメータには優先順位が設定されているとして説明するが、６種類の制御パラメータを同時に最適化するようにしてもよい。
【００５２】
図１５のフローチャートが実行される前に、電圧制御にかかる報酬の初期値を第１報酬計算部４１がすでに保持しているとする。報酬の初期値は固定値であれば制限されず０としてもよい。まず、現在の加工条件および制御パラメータで加工を実行しているときの、加工電源制御部１２の情報を状態観測部３０が観測する（ステップＳ１０１）。具体的には、加工中の加工電源制御部１２の指令を状態観測部３０が取得する。そして、加工電源制御部１２の指令に基づいて、パルス状態認識部３２が第１状態の値および第２状態の値を算出する（ステップＳ１０２）。次に、パルス状態認識部３２が求めた状態変数である第１状態の値および第２状態の値が加工状態観測部３３から第１報酬計算部４１に与えられる。ここで、第１状態の値および第２状態の値は、制御パラメータ保持部１３に設定されている現在使用されている制御パラメータと紐付けされて加工状態観測部３３から第１報酬計算部４１に与えられる。
【００５３】
そして、第１報酬計算部４１は、与えられた第１状態の値を前回の第１状態の値と比較する（ステップＳ１０３）。第１報酬計算部４１は前回与えられた第１状態の値を保持しており、今回与えられた第１状態の値と比較することができる。第１状態の値が前回の第１状態の値より小さい場合（ステップＳ１０３：小）、第１報酬計算部４１は報酬を増やす（ステップＳ１０４）。すなわち、第１状態の値が前回よりも安定した状態を示す場合には、報酬を増やす。ここでの報酬の増加値は予め定めた値である。第１状態の値が前回の第１状態の値と同じ場合（ステップＳ１０３：同じ）、第１報酬計算部４１は報酬を変化させない（ステップＳ１０５）。第１状態の値が前回の第１状態の値より大きい場合（ステップＳ１０３：大）、第１報酬計算部４１は報酬を減らす（ステップＳ１０６）。すなわち、第１状態の値が前回よりも不安定な状態を示す場合には、報酬を減らす。ここでの報酬の減少値は予め定めた値である。なお、最初にステップＳ１０３が実行されるときは前回与えられた第１状態の値が存在しないので、ステップＳ１０５に進む。
【００５４】
次に、第１報酬計算部４１は、与えられた第２状態の値を前回の第２状態の値と比較する（ステップＳ１０７）。第１報酬計算部４１は前回与えられた第２状態の値を保持しており、今回与えられた第２状態の値と比較することができる。第２状態の値が前回の第２状態の値より大きい場合（ステップＳ１０７：大）、第１報酬計算部４１は報酬を増やす（ステップＳ１０８）。すなわち、第２状態の値が前回よりも安定した状態を示す場合には、報酬を増やす。ここでの報酬の増加値は予め定めた値である。第２状態の値が前回の第２状態の値と同じ場合（ステップＳ１０７：同じ）、第１報酬計算部４１は報酬を変化させない（ステップＳ１０９）。第２状態の値が前回の第２状態の値より小さい場合（ステップＳ１０７：小）、第１報酬計算部４１は報酬を減らす（ステップＳ１１０）。すなわち、第２状態の値が前回よりも不安定な状態を示す場合には、報酬を減らす。ここでの報酬の減少値は予め定めた値である。なお、最初にステップＳ１０７が実行されるときは前回与えられた第２状態の値が存在しないので、ステップＳ１０９に進む。
【００５５】
そして、第１関数更新部４２は、第１報酬計算部４１が計算した報酬に基づいて、数式（１）に従って行動価値関数Ｑを更新する（ステップＳ１１１）。さらに、第１関数更新部４２は、ステップＳ１１１において更新が行われなくなり、行動価値関数Ｑが収束したか否かを判定する（ステップＳ１１２）。行動価値関数Ｑが収束していないと判定された場合（ステップＳ１１２：Ｎｏ）、第１制御パラメータ変更部５１は、ステップＳ１１１で更新された行動価値関数Ｑに基づいて、電圧制御に関わる加工条件の制御パラメータを変更する（ステップＳ１１３）。ステップＳ１１３の後はステップＳ１０１に戻る。行動価値関数Ｑが収束したと判定された場合（ステップＳ１１２：Ｙｅｓ）、学習部４０は、第１制御パラメータ変更部５１によって、電圧制御に関わる加工条件の制御パラメータの全てが変更されたか否かを判定する（ステップＳ１１４）。電圧制御に関わる加工条件の制御パラメータの全てが変更されてはいないと判定された場合（ステップＳ１１４：Ｎｏ）、ステップＳ１１３において第１制御パラメータ変更部５１の変更対象となる制御パラメータを別の制御パラメータに替える（ステップＳ１１５）。ステップＳ１１５において新たな変更対象となった別の制御パラメータとは、電圧制御に関わるまだ変更されていない制御パラメータである。ステップＳ１１５の後はステップＳ１１３に進む。
【００５６】
ステップＳ１１３における、電圧制御に関わる加工条件の制御パラメータの変更について以下に詳細に説明する。上述したように、ステップＳ１１３において変更される図３に示した電圧制御に関わる加工条件の６種類の制御パラメータには、変更対象となる優先順位が定められている。最初にステップＳ１１３に入ったときに第１制御パラメータ変更部５１によって変更されるのは、狙い電圧値の制御パラメータである電圧制御パラメータである。そして、ステップＳ１１２において行動価値関数Ｑが収束したと判定される毎に、第１制御パラメータ変更部５１の変更対象となる制御パラメータが、軸応答性の制御パラメータであるＧＡＩＮ制御パラメータ、パルス休止時間の制御パラメータである長さ制御パラメータ、極間ギャップ調整値の制御パラメータであるギャップ制御パラメータ、最深値持続時間の制御パラメータである長さ制御パラメータ、電流パルス長さの制御パラメータである長さ制御パラメータの順にステップＳ１１５で替えられていく。
【００５７】
行動価値関数Ｑが収束して、電圧制御に関わる加工条件の制御パラメータの全てが変更されたと学習部４０が判定した場合（ステップＳ１１４：Ｙｅｓ）、電圧制御に関わる加工条件の制御パラメータの学習による最適化処理は終了し、学習結果が学習結果記憶部８０に記憶される（ステップＳ１１６）。学習結果には、ステップＳ１１３で変更されて最終的に決定された各制御パラメータに加えて、各制御パラメータの変更過程の値、および制御パラメータに対応する第１状態の値および第２状態の値が含まれる。学習結果記憶部８０に記憶された学習結果は、制御パラメータの変更前後の良否判断に利用することができる。また、上記のようにして最終的に決定された制御パラメータは、上記学習において報酬が最も多く得られ、与えられた加工条件設定値において最適な制御パラメータとして制御パラメータ保持部１３に保持される。電圧制御に関わる加工条件の制御パラメータを学習により最適化することで、加工開始から終了までの間に不安定信号が発生することを防いで、安定信号のパルスの数を最大化することが可能になる。なお、上述したように、電圧制御に関わる加工条件の６種類の制御パラメータを同時に最適化する場合は、ステップＳ１１３において、第１制御パラメータ変更部５１は、ステップＳ１１１で更新された行動価値関数Ｑに基づいて、６種類の制御パラメータを同時に変更する。この場合、ステップＳ１１４およびＳ１１５は不要であり、ステップＳ１１２において行動価値関数Ｑが収束したと判定された場合（ステップＳ１１２：Ｙｅｓ）、ただちにステップＳ１１６に進むようにすればよい。
【００５８】
図１６は、実施の形態１にかかるパルス制御に関わる加工条件の制御パラメータの学習による最適化処理を説明するフローチャートである。パルス制御に関わる加工条件の制御パラメータは、パルスの傾き、パルス発生周期の理論値の元となっている異常放電検出閾値など、電流パルス制御を行うための変数値である。パルス制御に関わる加工条件の制御パラメータには、電流パルスの大きさおよび幅だけでなく電流波形の形状、電流値を理想的な形状に近づけるための加工電極２と被加工物３との相対距離を調整するための極間ギャップの調整値も含まれる。また、パルス制御に関わる加工条件の制御パラメータの最適化により、制御パラメータとして設定されている電流の大きさおよび幅の初期ノッチパターンを別のノッチパターンに変更するなどの処理も行われる。
【００５９】
パルス制御にかかる報酬を計算する第２報酬計算部４３は、パルス状態認識部３２が求めた状態変数である第１状態の値および第２状態の値に基づいて報酬を計算する。第２報酬計算部４３の報酬の計算方法は、第１報酬計算部４１と同じである。
【００６０】
第２報酬計算部４３が計算した報酬に基づいて、第２関数更新部４４はパルス制御に関わる制御パラメータを決定するための関数である行動価値関数Ｑを更新する。更新された行動価値関数Ｑに基づいて、第２制御パラメータ変更部５２は、報酬が最も多く得られる制御パラメータとなるようにパルス制御に関わる加工条件の制御パラメータを変更する。
【００６１】
以上をふまえて、図５に示したパルス制御に関わる加工条件の６種類の制御パラメータの最適化について、図１６を用いて説明する。図１６は放電加工機１が放電加工を継続して実行している状況において実行され、変更される制御パラメータには優先順位が設定されているとして説明するが、６種類の制御パラメータを同時に最適化するようにしてもよい。
【００６２】
図１６のフローチャートが実行される前に、パルス制御にかかる報酬の初期値を第２報酬計算部４３が保持しているとする。報酬の初期値は固定値であれば制限されず０としてもよい。まず、現在の加工条件および制御パラメータで加工を実行しているときの、加工電源制御部１２の情報を状態観測部３０が観測する（ステップＳ２０１）。具体的には、加工中の加工電源制御部１２の指令を状態観測部３０が取得する。そして、加工電源制御部１２の指令に基づいて、パルス状態認識部３２が第１状態の値および第２状態の値を算出する（ステップＳ２０２）。次に、パルス状態認識部３２が求めた状態変数である第１状態の値および第２状態の値が加工状態観測部３３から第２報酬計算部４３に与えられる。ここで、第１状態の値および第２状態の値は、制御パラメータ保持部１３に設定されている現在使用されている制御パラメータと紐付けされて加工状態観測部３３から第２報酬計算部４３に与えられる。
【００６３】
そして、第２報酬計算部４３は、与えられた第１状態の値を前回の第１状態の値と比較する（ステップＳ２０３）。第２報酬計算部４３は前回与えられた第１状態の値を保持しており、今回与えられた第１状態の値と比較することができる。第１状態の値が前回の第１状態の値より小さい場合（ステップＳ２０３：小）、第２報酬計算部４３は報酬を増やす（ステップＳ２０４）。ここでの報酬の増加値は予め定めた値である。第１状態の値が前回の第１状態の値と同じ場合（ステップＳ２０３：同じ）、第２報酬計算部４３は報酬を変化させない（ステップＳ２０５）。第１状態の値が前回の第１状態の値より大きい場合（ステップＳ２０３：大）、第２報酬計算部４３は報酬を減らす（ステップＳ２０６）。ここでの報酬の減少値は予め定めた値である。なお、最初にステップＳ２０３が実行されるときは前回与えられた第１状態の値が存在しないので、ステップＳ２０５に進む。
【００６４】
次に、第２報酬計算部４３は、与えられた第２状態の値を前回の第２状態の値と比較する（ステップＳ２０７）。第２報酬計算部４３は前回与えられた第２状態の値を保持しており、今回与えられた第２状態の値と比較することができる。第２状態の値が前回の第２状態の値より大きい場合（ステップＳ２０７：大）、第２報酬計算部４３は報酬を増やす（ステップＳ２０８）。ここでの報酬の増加値は予め定めた値である。第２状態の値が前回の第２状態の値と同じ場合（ステップＳ２０７：同じ）、第２報酬計算部４３は報酬を変化させない（ステップＳ２０９）。第２状態の値が前回の第２状態の値より小さい場合（ステップＳ２０７：小）、第２報酬計算部４３は報酬を減らす（ステップＳ２１０）。ここでの報酬の減少値は予め定めた値である。なお、最初にステップＳ２０７が実行されるときは前回与えられた第２状態の値が存在しないので、ステップＳ２０９に進む。
【００６５】
そして、第２関数更新部４４は、第２報酬計算部４３が計算した報酬に基づいて、数式（１）に従って行動価値関数Ｑを更新する（ステップＳ２１１）。さらに、第２関数更新部４４は、ステップＳ２１１において更新が行われなくなり、行動価値関数Ｑが収束したか否かを判定する（ステップＳ２１２）。行動価値関数Ｑが収束していないと判定された場合（ステップＳ２１２：Ｎｏ）、第２制御パラメータ変更部５２は、ステップＳ２１１で更新された行動価値関数Ｑに基づいて、パルス制御に関わる加工条件の制御パラメータを変更する（ステップＳ２１３）。ステップＳ２１３の後はステップＳ２０１に戻る。行動価値関数Ｑが収束したと判定された場合（ステップＳ２１２：Ｙｅｓ）、学習部４０は、第２制御パラメータ変更部５２によって、パルス制御に関わる加工条件の制御パラメータの全てが変更されたか否かを判定する（ステップＳ２１４）。パルス制御に関わる加工条件の制御パラメータの全てが変更されてはいないと判定された場合（ステップＳ２１４：Ｎｏ）、ステップＳ２１３において第２制御パラメータ変更部５２の変更対象となる制御パラメータを別の制御パラメータに替える（ステップＳ２１５）。ステップＳ２１５において新たな変更対象となった別の制御パラメータとは、パルス制御に関わるまだ変更されていない制御パラメータである。ステップＳ２１５の後はステップＳ２１３に進む。
【００６６】
ステップＳ２１３における、パルス制御に関わる加工条件の制御パラメータの変更について以下に詳細に説明する。上述したように、ステップＳ２１３において変更される図５に示したパルス制御に関わる加工条件の６種類の制御パラメータには、変更対象となる優先順位が定められている。最初にステップＳ２１３に入ったときに第２制御パラメータ変更部５２によって変更されるのは、狙い電圧値の制御パラメータである電圧制御パラメータである。そして、ステップＳ２１２において行動価値関数Ｑが収束したと判定される毎に、第２制御パラメータ変更部５２の変更対象となる制御パラメータが、極間ギャップ調整値の制御パラメータであるギャップ制御パラメータ、回路補助設定の制御パラメータであるパルス傾き制御パラメータ、電流パルス長さの制御パラメータである長さ制御パラメータ、電流パルスピーク値の制御パラメータであるピーク制御パラメータ、加工回路の種別の制御パラメータである回路呼出しパラメータの順にステップＳ２１５で替えられていく。
【００６７】
行動価値関数Ｑが収束して、パルス制御に関わる加工条件の制御パラメータの全てが変更されたと学習部４０が判定した場合（ステップＳ２１４：Ｙｅｓ）、パルス制御に関わる加工条件の制御パラメータの学習による最適化処理は終了し、学習結果が学習結果記憶部８０に記憶される（ステップＳ２１６）。学習結果には、ステップＳ２１３で変更されて最終的に決定された各制御パラメータに加えて、各制御パラメータの変更過程の値、および制御パラメータに対応する第１状態の値および第２状態の値が含まれる。学習結果記憶部８０に記憶された学習結果は、制御パラメータの変更前後の良否判断に利用することができる。また、上記のようにして最終的に決定された制御パラメータは、上記学習において報酬が最も多く得られ、与えられた加工条件設定値において最適な制御パラメータとして制御パラメータ保持部１３に保持される。パルス制御に関わる加工条件の制御パラメータを学習により最適化することで、加工開始から終了までの間に不安定信号が発生することを防いで、安定信号のパルスの数を最大化することが可能になる。なお、上述したように、パルス制御に関わる加工条件の６種類の制御パラメータを同時に最適化する場合は、ステップＳ２１３において、第２制御パラメータ変更部５２は、ステップＳ２１１で更新された行動価値関数Ｑに基づいて、６種類の制御パラメータを同時に変更する。この場合、ステップＳ２１４およびＳ２１５は不要であり、ステップＳ２１２において行動価値関数Ｑが収束したと判定された場合（ステップＳ２１２：Ｙｅｓ）、ただちにステップＳ２１６に進むようにすればよい。
【００６８】
図１７は、実施の形態１にかかる軸駆動制御に関わる加工条件の制御パラメータの学習による最適化処理を説明するフローチャートである。軸駆動制御に関わる加工条件の制御パラメータは極間制御パラメータとも呼ばれ、加工電極２と被加工物３とを近接させる際の減速距離、ジャンプ動作と呼ばれる瞬時退避行動の挙動を生成する速度および加速度のパラメータなど、放電加工機１の軸駆動挙動の変更を行うための変数値である。極間制御パラメータの変更には、極間に安定的に放電を発生させるための軸応答性の変更だけでなく、極間を清掃するためのジャンプ動作の変更、軸の過応答による固有周波数振動による加振を防ぐためのパラメータの変更も含まれる。
【００６９】
軸駆動制御にかかる報酬を計算する第３報酬計算部４５は、パルス状態認識部３２が求めた状態変数である第２状態の値および軸駆動認識部３１が求めた状態変数である第３状態の値に基づいて報酬を計算する。第３報酬計算部４５は、第２状態の値が大きく、第３状態の値が大きくなる場合に報酬を増やすように報酬の変化量を計算するのであれば、第２状態の値および第３状態の値をどのように用いて報酬の変化量を求めるかに制限はない。具体的には、第２状態の値が大きくなった場合に報酬を増やし、第２状態の値が小さくなった場合には報酬を減らす。これに加えて、第３状態の値が大きくなった場合に報酬を増やし、第３状態の値が小さくなった場合には報酬を減らす。また、軸の送り量に変化が無くても放電パルスの数が増大すれば報酬が増大するようにするが、軸の送り量が加工進行方向に大きくなっても放電パルスの数が減少した場合は報酬が減少するように報酬の計算方法を定めてもよい。
【００７０】
第３報酬計算部４５が計算した報酬に基づいて、第３関数更新部４６は軸駆動制御に関わる制御パラメータを決定するための関数である行動価値関数Ｑを更新する。更新された行動価値関数Ｑに基づいて、第３制御パラメータ変更部５３は、報酬が最も多く得られる制御パラメータとなるように軸駆動制御に関わる加工条件の制御パラメータを変更する。
【００７１】
以上をふまえて、図７に示した軸駆動制御に関わる加工条件の５種類の制御パラメータの最適化について、図１７を用いて説明する。図１７は放電加工機１が放電加工を継続して実行している状況において実行され、変更される制御パラメータには優先順位が設定されているとして説明するが、５種類の制御パラメータを同時に最適化するようにしてもよい。
【００７２】
図１７のフローチャートが実行される前に、軸駆動制御にかかる報酬の初期値を第３報酬計算部４５がすでに保持しているとする。報酬の初期値は固定値であれば制限されず０としてもよい。まず、現在の加工条件および制御パラメータで加工を実行しているときの、加工電源制御部１２の情報を状態観測部３０が観測する（ステップＳ３０１）。具体的には、加工中の加工電源制御部１２の指令を状態観測部３０が取得する。そして、加工電源制御部１２の指令に基づいて、パルス状態認識部３２が第２状態の値を算出する（ステップＳ３０３）。また、現在の加工条件および制御パラメータで加工を実行しているときの、軸駆動制御部１１の情報を状態観測部３０が観測する（ステップＳ３０２）。具体的には、加工中の軸駆動制御部１１の指令を状態観測部３０が取得する。そして、軸駆動制御部１１の指令に基づいて、軸駆動認識部３１が第３状態の値を算出する（ステップＳ３０４）。次に、パルス状態認識部３２が求めた第２状態の値および軸駆動認識部３１が求めた第３状態の値が加工状態観測部３３から第３報酬計算部４５に与えられる。ここで、第２状態の値および第３状態の値は、制御パラメータ保持部１３に設定されている現在使用されている制御パラメータと紐付けされて加工状態観測部３３から第３報酬計算部４５に与えられる。
【００７３】
そして、第３報酬計算部４５は、与えられた第２状態の値を前回の第２状態の値と比較する（ステップＳ３０５）。第３報酬計算部４５は前回与えられた第２状態の値を保持しており、今回与えられた第２状態の値と比較することができる。第２状態の値が前回の第２状態の値より大きい場合（ステップＳ３０５：大）、第３報酬計算部４５は報酬を増やす（ステップＳ３０６）。ここでの報酬の増加値は予め定めた値である。第２状態の値が前回の第２状態の値と同じ場合（ステップＳ３０５：同じ）、第３報酬計算部４５は報酬を変化させない（ステップＳ３０７）。第２状態の値が前回の第２状態の値より小さい場合（ステップＳ３０５：小）、第３報酬計算部４５は報酬を減らす（ステップＳ３０８）。ここでの報酬の減少値は予め定めた値である。なお、最初にステップＳ３０５が実行されるときは前回与えられた第２状態の値が存在しないので、ステップＳ３０７に進む。
【００７４】
次に、第３報酬計算部４５は、与えられた第３状態の値を前回の第３状態の値と比較する（ステップＳ３０９）。第３報酬計算部４５は前回与えられた第３状態の値を保持しており、今回与えられた第３状態の値と比較することができる。第３状態の値が前回の第３状態の値より大きい場合（ステップＳ３０９：大）、第３報酬計算部４５は報酬を増やす（ステップＳ３１０）。すなわち、第３状態の値が前回よりも安定した状態を示す場合には、報酬を増やす。ここでの報酬の増加値は予め定めた値である。第３状態の値が前回の第３状態の値と同じ場合（ステップＳ３０９：同じ）、第３報酬計算部４５は報酬を変化させない（ステップＳ３１１）。第３状態の値が前回の第３状態の値より小さい場合（ステップＳ３０９：小）、第３報酬計算部４５は報酬を減らす（ステップＳ３１２）。すなわち、第３状態の値が前回よりも不安定な状態を示す場合には、報酬を減らす。ここでの報酬の減少値は予め定めた値である。なお、最初にステップＳ３０９が実行されるときは前回与えられた第３状態の値が存在しないので、ステップＳ３１１に進む。
【００７５】
そして、第３関数更新部４６は、第３報酬計算部４５が計算した報酬に基づいて、数式（１）に従って行動価値関数Ｑを更新する（ステップＳ３１３）。さらに、第３関数更新部４６は、ステップＳ３１３において更新が行われなくなり、行動価値関数Ｑが収束したか否かを判定する（ステップＳ３１４）。行動価値関数Ｑが収束していないと判定された場合（ステップＳ３１４：Ｎｏ）、第３制御パラメータ変更部５３は、ステップＳ３１３で更新された行動価値関数Ｑに基づいて、軸駆動制御に関わる加工条件の制御パラメータを変更する（ステップＳ３１５）。ステップＳ３１５の後はステップＳ３０１およびＳ３０２に戻る。行動価値関数Ｑが収束したと判定された場合（ステップＳ３１４：Ｙｅｓ）、学習部４０は、第３制御パラメータ変更部５３によって、軸駆動制御に関わる加工条件の制御パラメータの全てが変更されたか否かを判定する（ステップＳ３１６）。軸駆動制御に関わる加工条件の制御パラメータの全てが変更されてはいないと判定された場合（ステップＳ３１６：Ｎｏ）、ステップＳ３１５において第３制御パラメータ変更部５３の変更対象となる制御パラメータを別の制御パラメータに替える（ステップＳ３１７）。ステップＳ３１７において新たな変更対象となった別の制御パラメータとは、軸駆動制御に関わるまだ変更されていない制御パラメータである。ステップＳ３１７の後はステップＳ３１５に進む。
【００７６】
ステップＳ３１５における、軸駆動制御に関わる加工条件の制御パラメータの変更について以下に詳細に説明する。上述したように、ステップＳ３１５において変更される図７に示した軸駆動制御に関わる加工条件の５種類の制御パラメータには、変更対象となる優先順位が定められている。最初にステップＳ３１５に入ったときに第３制御パラメータ変更部５３によって変更されるのは、狙い電圧値の制御パラメータである電圧制御パラメータである。そして、ステップＳ３１４において行動価値関数Ｑが収束したと判定される毎に、第３制御パラメータ変更部５３の変更対象となる制御パラメータが、軸応答性の制御パラメータであるＧＡＩＮ制御パラメータ、最深値持続時間の制御パラメータである長さ制御パラメータ、ジャンプスピードおよびジャンプ高さの制御パラメータであるジャンプ制御パラメータ、極間ギャップ調整値の制御パラメータであるギャップ制御パラメータの順にステップＳ３１７で替えられていく。
【００７７】
行動価値関数Ｑが収束して、軸駆動制御に関わる加工条件の制御パラメータの全てが変更されたと学習部４０が判定した場合（ステップＳ３１６：Ｙｅｓ）、軸駆動制御に関わる加工条件の制御パラメータの学習による最適化処理は終了し、学習結果が学習結果記憶部８０に記憶される（ステップＳ３１８）。学習結果には、ステップＳ３１５で変更されて最終的に決定された各制御パラメータに加えて、各制御パラメータの変更過程の値、および制御パラメータに対応する第２状態の値および第３状態の値が含まれる。学習結果記憶部８０に記憶された学習結果は、制御パラメータの変更前後の良否判断に利用することができる。また、上記のようにして最終的に決定された制御パラメータは、上記学習において報酬が最も多く得られ、与えられた加工条件設定値において最適な制御パラメータとして制御パラメータ保持部１３に保持される。軸駆動制御に関わる加工条件の制御パラメータを学習により最適化することで、ジャンプ動作と言われる退避動作が終了し、放電を発生させるための極間位置制御が行われ、再び次のジャンプ動作が行われるまでといった１回の動作単位におけるパルス数を増大させて、観測毎における軸の送り量を加工進行方向に大きくして加工の進行を促進することが可能になる。なお、上述したように、軸駆動制御に関わる加工条件の５種類の制御パラメータを同時に最適化する場合は、ステップＳ３１５において、第３制御パラメータ変更部５３は、ステップＳ３１３で更新された行動価値関数Ｑに基づいて、５種類の制御パラメータを同時に変更する。この場合、ステップＳ３１６およびＳ３１７は不要であり、ステップＳ３１４において行動価値関数Ｑが収束したと判定された場合（ステップＳ３１４：Ｙｅｓ）、ただちにステップＳ３１８に進むようにすればよい。
【００７８】
また、上記図１５から図１７の説明において、更新された行動価値関数Ｑに基づいて変更される制御パラメータの変更の方法は、現状の状態ｓtにおける行動価値関数Ｑ（ｓt，ａt）で求められる行動価値Ｑが最大となるような行動ａtすなわち制御パラメータを求めるやり方であれば特に限定されない。
【００７９】
なお、同一の加工条件の制御パラメータは同一であるので、図１５から図１７のフローチャートを並列して実行した場合には、それぞれのフローチャートによる変更を同一の制御パラメータが受けることになる。
【００８０】
図１５から図１７のフローチャートによる制御パラメータの最適化の動作は放電加工機１による加工動作が開始され、放電が発生した段階から行われ、放電加工が終了するまで続けられる。すなわち、加工の開始と同時に加工の状態は状態観測部３０により観測され、加工が終了するまで最適な制御パラメータの探索が学習部４０およびパラメータ変更部５０により行われる。すなわち、機械学習装置１００によって、図１５から図１７のフローチャートが並列して実行され、図１５から図１７の全ての終了条件が満たされるまで制御パラメータの更新は継続する。全ての終了条件が満たされた場合に制御パラメータの変更は終了する。
【００８１】
機械学習装置１００による上記学習行動は、放電加工開始から加工終了となるまで継続的に行われる。学習行動における報酬を、上記第１、第２および第３状態に基づいて求めて、制御パラメータの変更行動を行う。この学習行動により、加工終了後に得らえた最適な制御パラメータによる行動価値Ｑは、最初に設定されている制御パラメータによる行動価値Ｑより高められている。実施の形態１にかかる放電加工機１によって、行動価値Ｑが高められることにより、加工終了までにかかる時間の短縮、および安定した放電による加工によって得られる被加工物の加工精度および加工面質の向上が効果として得られる。
【００８２】
従来の適応制御においては、加工が安定するように決められたルールにより加工条件設定値の制御は行なわれていたが、制御パラメータを変更する適応制御は行われていなかった。これに対して、機械学習装置１００によれば、加工物形状および加工材質に応じて、実際に放電加工を実行させながら、制御パラメータを調整する最適化学習を実行するので、物理量としてより適切で安定した加工条件を自動的に学習することができる。すなわち、機械学習装置１００によれば、被加工物の形状、電極材質、電極形状といった、あらかじめ想定が難しい適応制御使用条件下においても、適応制御の適用範囲を限定することなく制御パラメータの最適化を行うことが可能となり、加工の安定性を高めて、加工速度および加工精度の改善を図ることができる。
【００８３】
実施の形態２．
図１８は、本発明の実施の形態２にかかる放電加工機１Ａの構成を示すブロック図である。放電加工機１Ａは、実施の形態１にかかる放電加工機１に、加工結果を利用した追加学習を行うための構成である加工結果入力部２３を入出力部２０に追加している。
【００８４】
実施の形態１においては、ある特定の加工を行う際の制御パラメータの学習行動について説明したが、実施の形態２においては、同じ被加工物３の材料および同じ加工条件設定値においてあらかじめ一度加工が行われたものとする。一度加工が行われた結果として、被加工物３の加工後の面粗さと、加工電極２の加工後の電極消耗量である消耗重量または消耗長さとが得られているとする。
【００８５】
加工結果入力部２３は、ユーザが入力した被加工物３の加工後の面粗さおよび加工電極２の加工後の電極消耗量といった加工結果を受け付ける。加工結果の入力の形式は、表示部２２が選択可能な選択枝を表示して、ユーザの選択結果を加工結果入力部２３が受け付ける形式でもよい。また、ユーザが入力した被加工物３の加工後の面粗さおよび加工電極２の加工後の電極消耗量についての数値データを加工結果入力部２３が受け付ける形式でもよく、限定されない。また、加工結果入力部２３が受け付けた被加工物３の加工後の面粗さおよび加工電極２の加工後の電極消耗量の良否評価の方法も設計事項であり特に限定しない。また、被加工物３の加工後の面粗さおよび加工電極２の加工後の電極消耗量の良否自体を加工結果入力部２３が受け付けるようにしてもかまわない。
【００８６】
一度行われた加工と同じ加工条件設定で再度加工を実行するときに、加工結果入力部２３が受け付けた以前の加工における加工結果を用いることで、図１５から図１７で説明した制御パラメータの変更における変更量に制限の追加または解除を行うことができる。加工結果入力部２３が受け付けた加工結果に基づいて、加工状態観測部３３などが、パラメータ変更部５０に制御パラメータの変更における変更量に制限の追加または解除を実行させる。
【００８７】
具体的には、加工結果入力部２３が受け付けた被加工物３の加工後の面粗さの良否評価が悪いとされた場合、加工面質に影響を及ぼす制御パラメータの変更に制限を加える。一例として、電流パルス長さの制御パラメータである長さ制御パラメータを一定値以上変更しないように長さ制御パラメータの変更幅にパラメータ変更部５０が制限を加える。
【００８８】
また、加工結果入力部２３が受け付けた加工電極２の加工後の電極消耗量が少なくまだ余裕があると判断された場合は、電極消耗量に影響を及ぼす制御パラメータの変更の制限をパラメータ変更部５０が解除する。一例として、回路補助設定のパルス傾き制御パラメータの変更幅を増やして、変更の制限を解除する。逆に電極消耗量が大きい場合は、制御パラメータの変更にパラメータ変更部５０がさらに制限を加えることもできる。
【００８９】
実施の形態２にかかる放電加工機１Ａによれば、一度行われた加工による加工結果を受け付けることにより、同じ被加工物３の材料および同じ加工条件設定値において、制御パラメータの変更の制限を加工結果に依存させることができる。これにより、実施の形態１で得られる効果加えて、加工後の加工面の面質の向上といった精度向上効果、電極消耗量の低減といったコスト削減効果が得られる。
【００９０】
実施の形態３．
図１９は、本発明の実施の形態３にかかる放電加工機１Ｂの構成を示すブロック図である。放電加工機１Ｂは、実施の形態２にかかる放電加工機１Ａに、通信部６０が追加されている。通信部６０は、学習結果記憶部８０に記憶された学習結果を送信可能な学習結果データに変換する学習内容ファイル化部６１と、外部から学習結果データを受信する受信部６２と、学習結果データを外部に送信する送信部６３とを備える。受信部６２および送信部６３は、放電加工機１Ｂの外部に存在するクラウドサーバ３００に接続されて通信が可能である。
【００９１】
クラウドサーバ３００は、放電加工機１Ｂの制御装置１０と同様な学習機能を有した放電加工機３０１〜３０３にも接続されている。したがって、放電加工機１Ｂは、通信部６０を介して他の放電加工機である放電加工機３０１〜３０３と通信することができる。クラウドサーバ３００は、放電加工機１Ｂの学習結果データのみならず、放電加工機３０１〜３０３の学習結果データも記憶することができる。クラウドサーバ３００と放電加工機１Ｂ，３０１〜３０３との通信方式については、公知の技術を利用すればよく特に制限はない。
【００９２】
実施の形態１および２で説明したような制御パラメータの最適化学習が既に実行されている場合に、学習結果記憶部８０に記憶されている学習結果を、外部に存在する放電加工機３０１〜３０３が利用可能な形式の学習結果データに学習内容ファイル化部６１が変換することができる。学習結果データは、制御装置１０と同様な制御装置であれば利用が可能なデータ形式であればその形式は限定されない。
【００９３】
学習内容ファイル化部６１により作成された学習結果データは、送信部６３を経由して、クラウドサーバ３００に蓄えることができる。クラウドサーバ３００に蓄えられた学習結果データは、放電加工機３０１〜３０３に対し自動的または能動的に送信され、放電加工機３０１〜３０３がその学習結果データを利用するかどうかは、放電加工機３０１〜３０３のユーザの判断で決定できるものとする。
【００９４】
この学習結果データを放電加工機３０１〜３０３の中に存在する機械学習装置に取り込むことにより、機械学習装置１００が学習した内容を、放電加工機３０１〜３０３でも同様に利用することができる。
【００９５】
また逆に、放電加工機３０１〜３０３において学習により作成された学習結果データも、クラウドサーバ３００、受信部６２を介して、制御装置１０にて利用することができる。この際、受信部６２を介して放電加工機３０１〜３０３の制御装置で学習した内容または観測の状態は、表示部２２に表示することができる。
【００９６】
これにより、遠隔地といった外部に存在する放電加工機３０１〜３０３の制御装置による学習結果を放電加工機１Ｂで利用したり、放電加工機３０１〜３０３の加工状態を放電加工機１Ｂで観測したりできる。また、放電加工機１Ｂによる学習結果を同一仕様の放電加工機３０１〜３０３に利用させることも可能となる。したがって、１つの放電加工機単体の調整のみならず、同一仕様の複数の放電加工機に対する機械性能の向上を、同一仕様の放電加工機の数が増えるほど効率的に実行することが可能になる。
【００９７】
実施の形態１から３にかかる機械学習装置１００は、パーソナルコンピュータまたは汎用コンピュータといったコンピュータシステムにより実現される。図２０は、実施の形態１から３にかかる機械学習装置１００の機能をコンピュータシステムで実現する場合のハードウェア構成を示す図である。機械学習装置１００の機能をコンピュータシステムで実現する場合、機械学習装置１００の機能は、図２０に示すようにＣＰＵ（Central  Processing  Unit）２０１、メモリ２０２、記憶装置２０３、表示装置２０４および入力装置２０５により実現される。機械学習装置１００が実行する機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述されて記憶装置２０３に格納される。ＣＰＵ２０１は、記憶装置２０３に記憶されたソフトウェアまたはファームウェアをメモリ２０２に読み出して実行することにより、機械学習装置１００の機能を実現する。すなわち、コンピュータシステムは、機械学習装置１００の機能がＣＰＵ２０１により実行されるときに、実施の形態１から３にかかる機械学習方法を実施するステップが結果的に実行されることになるプログラムを格納するための記憶装置２０３を備える。また、これらのプログラムは、機械学習装置１００の機能が実現する処理をコンピュータに実行させるものであるともいえる。メモリ２０２は、ＲＡＭ（Random  Access  Memory）といった揮発性の記憶領域が該当する。記憶装置２０３は、ＲＯＭ（Read  Only  Memory）、フラッシュメモリといった不揮発性または揮発性の半導体メモリ、磁気ディスクが該当する。表示装置２０４の具体例は、モニタ、ディスプレイである。入力装置２０５の具体例は、キーボード、マウス、タッチパネルである。
【００９８】
以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。
【符号の説明】
【００９９】
１，１Ａ，１Ｂ，３０１〜３０３  放電加工機、２  加工電極、３  被加工物、４  駆動装置、５  加工電源、１０  制御装置、１１  軸駆動制御部、１２  加工電源制御部、１３  制御パラメータ保持部、１４  初期パラメータ設定部、１５  加工条件設定部、２０  入出力部、２１  加工条件入力部、２２  表示部、２３  加工結果入力部、３０  状態観測部、３１  軸駆動認識部、３２  パルス状態認識部、３３  加工状態観測部、４０  学習部、４１  第１報酬計算部、４２  第１関数更新部、４３  第２報酬計算部、４４  第２関数更新部、４５  第３報酬計算部、４６  第３関数更新部、４７  報酬計算部、４８  関数更新部、５０  パラメータ変更部、５１  第１制御パラメータ変更部、５２  第２制御パラメータ変更部、５３  第３制御パラメータ変更部、６０  通信部、６１  学習内容ファイル化部、６２  受信部、６３  送信部、８０  学習結果記憶部、１００  機械学習装置、２０１  ＣＰＵ、２０２  メモリ、２０３  記憶装置、２０４  表示装置、２０５  入力装置、３００  クラウドサーバ。
【図１】
2019202672.tif 000004
【図２】
2019202672.tif 000005
【図３】
2019202672.tif 000006
【図４】
2019202672.tif 000007
【図５】
2019202672.tif 000008
【図６】
2019202672.tif 000009
【図７】
2019202672.tif 000010
【図８】
2019202672.tif 000011
【図９】
2019202672.tif 000012
【図１０】
2019202672.tif 000013
【図１１】
2019202672.tif 000014
【図１２】
2019202672.tif 000015
【図１３】
2019202672.tif 000016
【図１４】
2019202672.tif 000017
【図１５】
2019202672.tif 000018
【図１６】
2019202672.tif 000019
【図１７】
2019202672.tif 000020
【図１８】
2019202672.tif 000021
【図１９】
2019202672.tif 000022
【図２０】
2019202672.tif 000023
【手続補正書】
【提出日】平成31年2月15日(2019.2.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
放電加工機における加工条件を決定するための制御パラメータを学習する機械学習装置であって、
放電加工中の加工状態を表す複数の状態変数を観測する状態観測部と、
複数の前記状態変数に基づいて、前記加工状態が安定するような前記制御パラメータを学習する学習部と、
を備え、
前記加工条件は、前記制御パラメータと、ユーザにより設定される加工条件設定値とに基づいて決定される
ことを特徴とする機械学習装置。
【請求項２】
前記状態観測部は、
パルスの不安定信号の発生回数を予め定めた期間の間に累積させた値である第１状態の値、前記予め定めた期間において発生したパルス数である第２状態の値、および駆動装置における軸の送り量である第３状態の値を複数の前記状態変数として観測する
ことを特徴とする請求項１に記載の機械学習装置。
【請求項３】
前記状態観測部は、
加工電源を制御する加工電源制御部の指令に基づいて前記第１状態の値および前記第２状態の値を求めるパルス状態認識部と、
加工電極と被加工物との間の距離を制御するための前記駆動装置を制御する軸駆動制御部の指令に基づいて前記第３状態の値を求める軸駆動認識部と、
を備える
ことを特徴とする請求項２に記載の機械学習装置。
【請求項４】
前記学習部は、
前記状態変数に基づいて報酬を計算する報酬計算部と、
前記報酬に基づいて、前記制御パラメータを決定するための関数を更新する関数更新部と、
を備える
ことを特徴とする請求項２または３に記載の機械学習装置。
【請求項５】
前記報酬計算部は、前記状態変数が前回よりも安定した状態を示す場合には、前記報酬を増やし、前記状態変数が前回よりも不安定な状態を示す場合には、前記報酬を減らす
ことを特徴とする請求項４に記載の機械学習装置。
【請求項６】
前記報酬計算部は、電圧制御にかかる報酬を計算する第１報酬計算部と、パルス制御にかかる報酬を計算する第２報酬計算部と、軸駆動制御にかかる報酬を計算する第３報酬計算部とを備え、
前記関数更新部は、電圧制御にかかる関数を更新する第１関数更新部と、パルス制御にかかる関数を更新する第２関数更新部と、軸駆動制御にかかる関数を更新する第３関数更新部とを備える
ことを特徴とする請求項４または５に記載の機械学習装置。
【請求項７】
前記第１報酬計算部は、前記第１状態の値が前回よりも小さい場合には、前記報酬を増やし、前記第１状態の値が前回よりも大きい場合には、前記報酬を減らす
ことを特徴とする請求項６に記載の機械学習装置。
【請求項８】
前記第１報酬計算部は、前記第２状態の値が前回よりも大きい場合には、前記報酬を増やし、前記第２状態の値が前回よりも小さい場合には、前記報酬を減らす
ことを特徴とする請求項６に記載の機械学習装置。
【請求項９】
前記第２報酬計算部は、前記第１状態の値が前回よりも小さい場合には、前記報酬を増やし、前記第１状態の値が前回よりも大きい場合には、前記報酬を減らす
ことを特徴とする請求項６に記載の機械学習装置。
【請求項１０】
前記第２報酬計算部は、前記第２状態の値が前回よりも大きい場合には、前記報酬を増やし、前記第２状態の値が前回よりも小さい場合には、前記報酬を減らす
ことを特徴とする請求項６に記載の機械学習装置。
【請求項１１】
前記第３報酬計算部は、前記第２状態の値が前回よりも大きい場合には、前記報酬を増やし、前記第２状態の値が前回よりも小さい場合には、前記報酬を減らす
ことを特徴とする請求項６に記載の機械学習装置。
【請求項１２】
前記第３報酬計算部は、前記第３状態の値が前回よりも大きい場合には、前記報酬を増やし、前記第３状態の値が前回よりも小さい場合には、前記報酬を減らす
ことを特徴とする請求項６に記載の機械学習装置。
【請求項１３】
前記複数の状態変数は、パルスの安定性を示す第１状態の値を含み、
前記学習部は、前記第１状態の値に基づいて前記加工状態が安定した状態となるように電圧制御にかかわる前記制御パラメータを学習することを特徴とする請求項１に記載の機械学習装置。
【請求項１４】
前記複数の状態変数は、予め定めた期間において発生したパルス数を示す第２状態の値を含み、
前記学習部は、前記第２状態の値に基づいて前記加工状態が安定した状態となるように電圧制御にかかわる前記制御パラメータを学習することを特徴とする請求項１に記載の機械学習装置。
【請求項１５】
前記複数の状態変数は、駆動装置における軸の送り量である第３状態の値を含み、
前記学習部は、前記第３状態の値に基づいて前記加工状態が安定した状態となるように軸駆動制御にかかる前記制御パラメータを学習することを特徴とする請求項１に記載の機械学習装置。
【請求項１６】
請求項１から１５のいずれか１つに記載の機械学習装置と、
加工条件設定値を設定する加工条件設定部と、
前記制御パラメータを保持する制御パラメータ保持部と、
前記加工条件設定値及び前記制御パラメータに基づいて加工電源を制御する加工電源制御部と、
前記加工条件設定値及び前記制御パラメータに基づいて加工電極と被加工物との間の距離を制御するための駆動装置を制御する軸駆動制御部と、
前記学習部が学習した結果に基づいて、前記制御パラメータ保持部が保持する前記制御パラメータを変更するパラメータ変更部と、
を備える
ことを特徴とする放電加工機。
【請求項１７】
加工結果を受け付ける加工結果入力部をさらに備え、
前記パラメータ変更部は前記加工結果に基づいて前記制御パラメータの変更に制限の追加または解除を行う
ことを特徴とする請求項１６に記載の放電加工機。
【請求項１８】
他の放電加工機と通信することができる通信部をさらに備える
ことを特徴とする請求項１６または１７に記載の放電加工機。
【請求項１９】
前記パラメータ変更部により変更された前記制御パラメータを記憶する学習結果記憶部をさらに備える
ことを特徴とする請求項１６から１８のいずれか１つに記載の放電加工機。
【請求項２０】
放電加工機における加工条件を決定するための制御パラメータを学習する機械学習装置の機械学習方法であって、
放電加工中の加工状態を表す複数の状態変数を求めるステップと、
複数の前記状態変数に基づいて、前記加工状態が安定するような前記制御パラメータを学習するステップと、
を備え、
前記加工条件は、前記制御パラメータと、ユーザにより設定される加工条件設定値とに基づいて決定される
ことを特徴とする機械学習方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上述した課題を解決し、目的を達成するために、本発明の機械学習装置は、放電加工機における加工条件を決定するための制御パラメータを学習する。本発明の機械学習装置は、放電加工中の加工状態を表す複数の状態変数を観測する状態観測部と、複数の状態変数に基づいて、加工状態が安定するような制御パラメータを学習する学習部と、を備える。加工条件は、制御パラメータと、ユーザにより設定される加工条件設定値とに基づいて決定される。
【手続補正書】
【提出日】令和1年7月19日(2019.7.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
放電加工機における加工条件を決定するための制御パラメータを学習する機械学習装置であって、
放電加工中の加工状態を表す複数の状態変数を観測する状態観測部と、
複数の前記状態変数を前回の前記状態変数とそれぞれ比較して、前記加工状態が安定するような前記制御パラメータを学習する学習部と、
を備え、
前記制御パラメータは、ユーザにより設定される加工条件設定値と物理量である前記加工条件との対応テーブルである
ことを特徴とする機械学習装置。
【請求項２】
前記加工条件設定値は、
前記加工条件を離散的に指定する刻みであるノッチをユーザが選択することで設定される
ことを特徴とする請求項１に記載の機械学習装置。
【請求項３】
前記状態観測部は、
パルスの不安定信号の発生回数を予め定めた期間の間に累積させた値である第１状態の値、前記予め定めた期間において発生したパルス数である第２状態の値、および駆動装置における軸の送り量である第３状態の値を複数の前記状態変数として観測する
ことを特徴とする請求項１または２に記載の機械学習装置。
【請求項４】
前記状態観測部は、
加工電源を制御する加工電源制御部の指令に基づいて前記第１状態の値および前記第２状態の値を求めるパルス状態認識部と、
加工電極と被加工物との間の距離を制御するための前記駆動装置を制御する軸駆動制御部の指令に基づいて前記第３状態の値を求める軸駆動認識部と、
を備える
ことを特徴とする請求項３に記載の機械学習装置。
【請求項５】
前記学習部は、
前記状態変数に基づいて報酬を計算する報酬計算部と、
前記報酬に基づいて、前記制御パラメータを決定するための関数を更新する関数更新部と、
を備える
ことを特徴とする請求項３または４に記載の機械学習装置。
【請求項６】
前記報酬計算部は、前記状態変数が前回よりも安定した状態を示す場合には、前記報酬を増やし、前記状態変数が前回よりも不安定な状態を示す場合には、前記報酬を減らす
ことを特徴とする請求項５に記載の機械学習装置。
【請求項７】
前記報酬計算部は、電圧制御にかかる報酬を計算する第１報酬計算部と、パルス制御にかかる報酬を計算する第２報酬計算部と、軸駆動制御にかかる報酬を計算する第３報酬計算部とを備え、
前記関数更新部は、電圧制御にかかる関数を更新する第１関数更新部と、パルス制御にかかる関数を更新する第２関数更新部と、軸駆動制御にかかる関数を更新する第３関数更新部とを備える
ことを特徴とする請求項５または６に記載の機械学習装置。
【請求項８】
前記第１報酬計算部は、前記第１状態の値が前回よりも小さい場合には、前記報酬を増やし、前記第１状態の値が前回よりも大きい場合には、前記報酬を減らす
ことを特徴とする請求項７に記載の機械学習装置。
【請求項９】
前記第１報酬計算部は、前記第２状態の値が前回よりも大きい場合には、前記報酬を増やし、前記第２状態の値が前回よりも小さい場合には、前記報酬を減らす
ことを特徴とする請求項７に記載の機械学習装置。
【請求項１０】
前記第２報酬計算部は、前記第１状態の値が前回よりも小さい場合には、前記報酬を増やし、前記第１状態の値が前回よりも大きい場合には、前記報酬を減らす
ことを特徴とする請求項７に記載の機械学習装置。
【請求項１１】
前記第２報酬計算部は、前記第２状態の値が前回よりも大きい場合には、前記報酬を増やし、前記第２状態の値が前回よりも小さい場合には、前記報酬を減らす
ことを特徴とする請求項７に記載の機械学習装置。
【請求項１２】
前記第３報酬計算部は、前記第２状態の値が前回よりも大きい場合には、前記報酬を増やし、前記第２状態の値が前回よりも小さい場合には、前記報酬を減らす
ことを特徴とする請求項７に記載の機械学習装置。
【請求項１３】
前記第３報酬計算部は、前記第３状態の値が前回よりも大きい場合には、前記報酬を増やし、前記第３状態の値が前回よりも小さい場合には、前記報酬を減らす
ことを特徴とする請求項７に記載の機械学習装置。
【請求項１４】
前記複数の状態変数は、パルスの安定性を示す第１状態の値を含み、
前記学習部は、前記状態変数に基づいて報酬を計算する報酬計算部と、前記報酬に基づいて、前記制御パラメータを決定するための関数を更新する関数更新部とを備え、
前記報酬計算部は、電圧制御にかかる報酬を前記第１状態の値と前回の前記第１状態の値との比較結果に基づいて変更し、
前記関数更新部は、前記電圧制御にかかる報酬に基づいて電圧制御にかかわる前記関数を更新することを特徴とする請求項１または２に記載の機械学習装置。
【請求項１５】
前記複数の状態変数は、予め定めた期間において発生したパルス数を示す第２状態の値を含み、
前記学習部は、前記状態変数に基づいて報酬を計算する報酬計算部と、前記報酬に基づいて、前記制御パラメータを決定するための関数を更新する関数更新部とを備え、
前記報酬計算部は、パルス制御にかかる報酬を前記第２状態の値と前回の前記第２状態の値との比較結果に基づいて変更し、
前記関数更新部は、前記パルス制御にかかる報酬に基づいてパルス制御にかかわる前記関数を更新することを特徴とする請求項１または２に記載の機械学習装置。
【請求項１６】
前記複数の状態変数は、駆動装置における軸の送り量である第３状態の値を含み、
前記学習部は、前記状態変数に基づいて報酬を計算する報酬計算部と、前記報酬に基づいて、前記制御パラメータを決定するための関数を更新する関数更新部とを備え、
前記報酬計算部は、軸駆動制御にかかる報酬を前記第３状態の値と前回の前記第３状態の値との比較結果に基づいて変更し、
前記関数更新部は、前記軸駆動制御にかかる報酬に基づいて軸駆動制御にかかる前記関数を更新することを特徴とする請求項１または２に記載の機械学習装置。
【請求項１７】
請求項１から１６のいずれか１つに記載の機械学習装置と、
加工条件設定値を設定する加工条件設定部と、
前記制御パラメータを保持する制御パラメータ保持部と、
前記加工条件設定値及び前記制御パラメータに基づいて加工電源を制御する加工電源制御部と、
前記加工条件設定値及び前記制御パラメータに基づいて加工電極と被加工物との間の距離を制御するための駆動装置を制御する軸駆動制御部と、
前記学習部が学習した結果に基づいて、前記制御パラメータ保持部が保持する前記制御パラメータを変更するパラメータ変更部と、
を備える
ことを特徴とする放電加工機。
【請求項１８】
加工結果を受け付ける加工結果入力部をさらに備え、
前記パラメータ変更部は前記加工結果に基づいて前記制御パラメータの変更に制限の追加または解除を行う
ことを特徴とする請求項１７に記載の放電加工機。
【請求項１９】
他の放電加工機と通信することができる通信部をさらに備える
ことを特徴とする請求項１７または１８に記載の放電加工機。
【請求項２０】
前記パラメータ変更部により変更された前記制御パラメータを記憶する学習結果記憶部をさらに備える
ことを特徴とする請求項１７から１９のいずれか１つに記載の放電加工機。
【請求項２１】
放電加工機における加工条件を決定するための制御パラメータを学習する機械学習装置の機械学習方法であって、
放電加工中の加工状態を表す複数の状態変数を求めるステップと、
複数の前記状態変数を前回の前記状態変数とそれぞれ比較して、前記加工状態が安定するような前記制御パラメータを学習するステップと、
を備え、
前記制御パラメータは、ユーザにより設定される加工条件設定値と物理量である前記加工条件との対応テーブルである
ことを特徴とする機械学習方法。
【請求項２２】
前記制御パラメータは、電流パルスの立ち上がりの傾きを規定するための制御パラメータ、電流パルスピーク値の制御パラメータ、長さ制御パラメータ、極間ギャップ調整値の制御パラメータ、狙い電圧値の制御パラメータ、および、ジャンプスピードおよびジャンプ高さのパラメータのうち少なくともいずれか１つであることを特徴とする請求項１または２に記載の機械学習装置。
【請求項２３】
放電加工機における加工条件を制御する制御パラメータを学習する機械学習装置であって、
放電加工中の加工状態を表す複数の状態変数を観測する状態観測部と、
複数の前記状態変数に基づいて前記制御パラメータを学習する学習部と、
を備え、
前記状態観測部は、パルスの不安定信号の発生回数を予め定めた期間の間に累積させた値である第１状態の値、前記予め定めた期間において発生したパルス数である第２状態の値、および駆動装置における軸の送り量である第３状態の値を複数の前記状態変数として観測し、
前記学習部は、前記状態変数に基づいて報酬を計算する報酬計算部と、前記報酬に基づいて、前記制御パラメータを決定するための関数を更新する関数更新部を備え、
前記報酬計算部は、電圧制御にかかる報酬を計算する第１報酬計算部と、パルス制御にかかる報酬を計算する第２報酬計算部と、軸駆動制御にかかる報酬を計算する第３報酬計算部とを備え、
前記関数更新部は、電圧制御にかかる関数を更新する第１関数更新部と、パルス制御にかかる関数を更新する第２関数更新部と、軸駆動制御にかかる関数を更新する第３関数更新部とを備え、
前記第１報酬計算部は、前記第１状態の値が前回よりも小さい場合には、前記報酬を増やし、前記第１状態の値が前回よりも大きい場合には、前記報酬を減らす
ことを特徴とする機械学習装置。
【請求項２４】
放電加工機における加工条件を制御する制御パラメータを学習する機械学習装置であって、
放電加工中の加工状態を表す複数の状態変数を観測する状態観測部と、
複数の前記状態変数に基づいて前記制御パラメータを学習する学習部と、
を備え、
前記状態観測部は、パルスの不安定信号の発生回数を予め定めた期間の間に累積させた値である第１状態の値、前記予め定めた期間において発生したパルス数である第２状態の値、および駆動装置における軸の送り量である第３状態の値を複数の前記状態変数として観測し、
前記学習部は、前記状態変数に基づいて報酬を計算する報酬計算部と、前記報酬に基づいて、前記制御パラメータを決定するための関数を更新する関数更新部を備え、
前記報酬計算部は、電圧制御にかかる報酬を計算する第１報酬計算部と、パルス制御にかかる報酬を計算する第２報酬計算部と、軸駆動制御にかかる報酬を計算する第３報酬計算部とを備え、
前記関数更新部は、電圧制御にかかる関数を更新する第１関数更新部と、パルス制御にかかる関数を更新する第２関数更新部と、軸駆動制御にかかる関数を更新する第３関数更新部とを備え、
前記第１報酬計算部は、前記第２状態の値が前回よりも大きい場合には、前記報酬を増やし、前記第２状態の値が前回よりも小さい場合には、前記報酬を減らす
ことを特徴とする機械学習装置。
【請求項２５】
放電加工機における加工条件を制御する制御パラメータを学習する機械学習装置であって、
放電加工中の加工状態を表す複数の状態変数を観測する状態観測部と、
複数の前記状態変数に基づいて前記制御パラメータを学習する学習部と、
を備え、
前記状態観測部は、パルスの不安定信号の発生回数を予め定めた期間の間に累積させた値である第１状態の値、前記予め定めた期間において発生したパルス数である第２状態の値、および駆動装置における軸の送り量である第３状態の値を複数の前記状態変数として観測し、
前記学習部は、前記状態変数に基づいて報酬を計算する報酬計算部と、前記報酬に基づいて、前記制御パラメータを決定するための関数を更新する関数更新部を備え、
前記報酬計算部は、電圧制御にかかる報酬を計算する第１報酬計算部と、パルス制御にかかる報酬を計算する第２報酬計算部と、軸駆動制御にかかる報酬を計算する第３報酬計算部とを備え、
前記関数更新部は、電圧制御にかかる関数を更新する第１関数更新部と、パルス制御にかかる関数を更新する第２関数更新部と、軸駆動制御にかかる関数を更新する第３関数更新部とを備え、
前記第２報酬計算部は、前記第１状態の値が前回よりも小さい場合には、前記報酬を増やし、前記第１状態の値が前回よりも大きい場合には、前記報酬を減らす
ことを特徴とする機械学習装置。
【請求項２６】
放電加工機における加工条件を制御する制御パラメータを学習する機械学習装置であって、
放電加工中の加工状態を表す複数の状態変数を観測する状態観測部と、
複数の前記状態変数に基づいて前記制御パラメータを学習する学習部と、
を備え、
前記状態観測部は、パルスの不安定信号の発生回数を予め定めた期間の間に累積させた値である第１状態の値、前記予め定めた期間において発生したパルス数である第２状態の値、および駆動装置における軸の送り量である第３状態の値を複数の前記状態変数として観測し、
前記学習部は、前記状態変数に基づいて報酬を計算する報酬計算部と、前記報酬に基づいて、前記制御パラメータを決定するための関数を更新する関数更新部を備え、
前記報酬計算部は、電圧制御にかかる報酬を計算する第１報酬計算部と、パルス制御にかかる報酬を計算する第２報酬計算部と、軸駆動制御にかかる報酬を計算する第３報酬計算部とを備え、
前記関数更新部は、電圧制御にかかる関数を更新する第１関数更新部と、パルス制御にかかる関数を更新する第２関数更新部と、軸駆動制御にかかる関数を更新する第３関数更新部とを備え、
前記第２報酬計算部は、前記第２状態の値が前回よりも大きい場合には、前記報酬を増やし、前記第２状態の値が前回よりも小さい場合には、前記報酬を減らす
ことを特徴とする機械学習装置。
【請求項２７】
放電加工機における加工条件を制御する制御パラメータを学習する機械学習装置であって、
放電加工中の加工状態を表す複数の状態変数を観測する状態観測部と、
複数の前記状態変数に基づいて前記制御パラメータを学習する学習部と、
を備え、
前記状態観測部は、パルスの不安定信号の発生回数を予め定めた期間の間に累積させた値である第１状態の値、前記予め定めた期間において発生したパルス数である第２状態の値、および駆動装置における軸の送り量である第３状態の値を複数の前記状態変数として観測し、
前記学習部は、前記状態変数に基づいて報酬を計算する報酬計算部と、前記報酬に基づいて、前記制御パラメータを決定するための関数を更新する関数更新部とを備え、
前記報酬計算部は、電圧制御にかかる報酬を計算する第１報酬計算部と、パルス制御にかかる報酬を計算する第２報酬計算部と、軸駆動制御にかかる報酬を計算する第３報酬計算部とを備え、
前記関数更新部は、電圧制御にかかる関数を更新する第１関数更新部と、パルス制御にかかる関数を更新する第２関数更新部と、軸駆動制御にかかる関数を更新する第３関数更新部とを備え、
前記第３報酬計算部は、前記第２状態の値が前回よりも大きい場合には、前記報酬を増やし、前記第２状態の値が前回よりも小さい場合には、前記報酬を減らす
ことを特徴とする機械学習装置。
【請求項２８】
放電加工機における加工条件を制御する制御パラメータを学習する機械学習装置であって、
放電加工中の加工状態を表す複数の状態変数を観測する状態観測部と、
複数の前記状態変数に基づいて前記制御パラメータを学習する学習部と、
を備え、
前記状態観測部は、パルスの不安定信号の発生回数を予め定めた期間の間に累積させた値である第１状態の値、前記予め定めた期間において発生したパルス数である第２状態の値、および駆動装置における軸の送り量である第３状態の値を複数の前記状態変数として観測し、
前記学習部は、前記状態変数に基づいて報酬を計算する報酬計算部と、前記報酬に基づいて、前記制御パラメータを決定するための関数を更新する関数更新部とを備え、
前記報酬計算部は、電圧制御にかかる報酬を計算する第１報酬計算部と、パルス制御にかかる報酬を計算する第２報酬計算部と、軸駆動制御にかかる報酬を計算する第３報酬計算部とを備え、
前記関数更新部は、電圧制御にかかる関数を更新する第１関数更新部と、パルス制御にかかる関数を更新する第２関数更新部と、軸駆動制御にかかる関数を更新する第３関数更新部とを備え、
前記第３報酬計算部は、前記第３状態の値が前回よりも大きい場合には、前記報酬を増やし、前記第３状態の値が前回よりも小さい場合には、前記報酬を減らす
ことを特徴とする機械学習装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上述した課題を解決し、目的を達成するために、本発明の機械学習装置は、放電加工機における加工条件を決定するための制御パラメータを学習する。本発明の機械学習装置は、放電加工中の加工状態を表す複数の状態変数を観測する状態観測部と、複数の状態変数を前回の状態変数とそれぞれ比較して、加工状態が安定するような制御パラメータを学習する学習部と、を備える。制御パラメータは、ユーザにより設定される加工条件設定値と物理量である加工条件との対応テーブルである。
【手続補正書】
【提出日】令和1年12月27日(2019.12.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
放電加工機における加工条件を制御する制御パラメータを学習する機械学習装置であって、
放電加工中の加工状態を表す複数の状態変数を観測する状態観測部と、
複数の前記状態変数に基づいて前記制御パラメータを学習する学習部と、
を備え、
前記状態観測部は、パルスの不安定信号の発生回数を予め定めた期間の間に累積させた値である第１状態の値、前記予め定めた期間において発生したパルス数である第２状態の値、および駆動装置における軸の送り量である第３状態の値を複数の前記状態変数として観測し、
前記学習部は、前記状態変数に基づいて報酬を計算する報酬計算部と、前記報酬に基づいて、前記制御パラメータを決定するための関数を更新する関数更新部を備え、
前記報酬計算部は、電圧制御にかかる報酬を計算する第１報酬計算部と、パルス制御にかかる報酬を計算する第２報酬計算部と、軸駆動制御にかかる報酬を計算する第３報酬計算部とを備え、
前記関数更新部は、電圧制御にかかる関数を更新する第１関数更新部と、パルス制御にかかる関数を更新する第２関数更新部と、軸駆動制御にかかる関数を更新する第３関数更新部とを備え、
前記第１報酬計算部は、前記第１状態の値が前回よりも小さい場合には、前記報酬を増やし、前記第１状態の値が前回よりも大きい場合には、前記報酬を減らす
ことを特徴とする機械学習装置。
【請求項２】
放電加工機における加工条件を制御する制御パラメータを学習する機械学習装置であって、
放電加工中の加工状態を表す複数の状態変数を観測する状態観測部と、
複数の前記状態変数に基づいて前記制御パラメータを学習する学習部と、
を備え、
前記状態観測部は、パルスの不安定信号の発生回数を予め定めた期間の間に累積させた値である第１状態の値、前記予め定めた期間において発生したパルス数である第２状態の値、および駆動装置における軸の送り量である第３状態の値を複数の前記状態変数として観測し、
前記学習部は、前記状態変数に基づいて報酬を計算する報酬計算部と、前記報酬に基づいて、前記制御パラメータを決定するための関数を更新する関数更新部を備え、
前記報酬計算部は、電圧制御にかかる報酬を計算する第１報酬計算部と、パルス制御にかかる報酬を計算する第２報酬計算部と、軸駆動制御にかかる報酬を計算する第３報酬計算部とを備え、
前記関数更新部は、電圧制御にかかる関数を更新する第１関数更新部と、パルス制御にかかる関数を更新する第２関数更新部と、軸駆動制御にかかる関数を更新する第３関数更新部とを備え、
前記第１報酬計算部は、前記第２状態の値が前回よりも大きい場合には、前記報酬を増やし、前記第２状態の値が前回よりも小さい場合には、前記報酬を減らす
ことを特徴とする機械学習装置。
【請求項３】
放電加工機における加工条件を制御する制御パラメータを学習する機械学習装置であって、
放電加工中の加工状態を表す複数の状態変数を観測する状態観測部と、
複数の前記状態変数に基づいて前記制御パラメータを学習する学習部と、
を備え、
前記状態観測部は、パルスの不安定信号の発生回数を予め定めた期間の間に累積させた値である第１状態の値、前記予め定めた期間において発生したパルス数である第２状態の値、および駆動装置における軸の送り量である第３状態の値を複数の前記状態変数として観測し、
前記学習部は、前記状態変数に基づいて報酬を計算する報酬計算部と、前記報酬に基づいて、前記制御パラメータを決定するための関数を更新する関数更新部を備え、
前記報酬計算部は、電圧制御にかかる報酬を計算する第１報酬計算部と、パルス制御にかかる報酬を計算する第２報酬計算部と、軸駆動制御にかかる報酬を計算する第３報酬計算部とを備え、
前記関数更新部は、電圧制御にかかる関数を更新する第１関数更新部と、パルス制御にかかる関数を更新する第２関数更新部と、軸駆動制御にかかる関数を更新する第３関数更新部とを備え、
前記第２報酬計算部は、前記第１状態の値が前回よりも小さい場合には、前記報酬を増やし、前記第１状態の値が前回よりも大きい場合には、前記報酬を減らす
ことを特徴とする機械学習装置。
【請求項４】
放電加工機における加工条件を制御する制御パラメータを学習する機械学習装置であって、
放電加工中の加工状態を表す複数の状態変数を観測する状態観測部と、
複数の前記状態変数に基づいて前記制御パラメータを学習する学習部と、
を備え、
前記状態観測部は、パルスの不安定信号の発生回数を予め定めた期間の間に累積させた値である第１状態の値、前記予め定めた期間において発生したパルス数である第２状態の値、および駆動装置における軸の送り量である第３状態の値を複数の前記状態変数として観測し、
前記学習部は、前記状態変数に基づいて報酬を計算する報酬計算部と、前記報酬に基づいて、前記制御パラメータを決定するための関数を更新する関数更新部を備え、
前記報酬計算部は、電圧制御にかかる報酬を計算する第１報酬計算部と、パルス制御にかかる報酬を計算する第２報酬計算部と、軸駆動制御にかかる報酬を計算する第３報酬計算部とを備え、
前記関数更新部は、電圧制御にかかる関数を更新する第１関数更新部と、パルス制御にかかる関数を更新する第２関数更新部と、軸駆動制御にかかる関数を更新する第３関数更新部とを備え、
前記第２報酬計算部は、前記第２状態の値が前回よりも大きい場合には、前記報酬を増やし、前記第２状態の値が前回よりも小さい場合には、前記報酬を減らす
ことを特徴とする機械学習装置。
【請求項５】
放電加工機における加工条件を制御する制御パラメータを学習する機械学習装置であって、
放電加工中の加工状態を表す複数の状態変数を観測する状態観測部と、
複数の前記状態変数に基づいて前記制御パラメータを学習する学習部と、
を備え、
前記状態観測部は、パルスの不安定信号の発生回数を予め定めた期間の間に累積させた値である第１状態の値、前記予め定めた期間において発生したパルス数である第２状態の値、および駆動装置における軸の送り量である第３状態の値を複数の前記状態変数として観測し、
前記学習部は、前記状態変数に基づいて報酬を計算する報酬計算部と、前記報酬に基づいて、前記制御パラメータを決定するための関数を更新する関数更新部とを備え、
前記報酬計算部は、電圧制御にかかる報酬を計算する第１報酬計算部と、パルス制御にかかる報酬を計算する第２報酬計算部と、軸駆動制御にかかる報酬を計算する第３報酬計算部とを備え、
前記関数更新部は、電圧制御にかかる関数を更新する第１関数更新部と、パルス制御にかかる関数を更新する第２関数更新部と、軸駆動制御にかかる関数を更新する第３関数更新部とを備え、
前記第３報酬計算部は、前記第２状態の値が前回よりも大きい場合には、前記報酬を増やし、前記第２状態の値が前回よりも小さい場合には、前記報酬を減らす
ことを特徴とする機械学習装置。
【請求項６】
放電加工機における加工条件を制御する制御パラメータを学習する機械学習装置であって、
放電加工中の加工状態を表す複数の状態変数を観測する状態観測部と、
複数の前記状態変数に基づいて前記制御パラメータを学習する学習部と、
を備え、
前記状態観測部は、パルスの不安定信号の発生回数を予め定めた期間の間に累積させた値である第１状態の値、前記予め定めた期間において発生したパルス数である第２状態の値、および駆動装置における軸の送り量である第３状態の値を複数の前記状態変数として観測し、
前記学習部は、前記状態変数に基づいて報酬を計算する報酬計算部と、前記報酬に基づいて、前記制御パラメータを決定するための関数を更新する関数更新部とを備え、
前記報酬計算部は、電圧制御にかかる報酬を計算する第１報酬計算部と、パルス制御にかかる報酬を計算する第２報酬計算部と、軸駆動制御にかかる報酬を計算する第３報酬計算部とを備え、
前記関数更新部は、電圧制御にかかる関数を更新する第１関数更新部と、パルス制御にかかる関数を更新する第２関数更新部と、軸駆動制御にかかる関数を更新する第３関数更新部とを備え、
前記第３報酬計算部は、前記第３状態の値が前回よりも大きい場合には、前記報酬を増やし、前記第３状態の値が前回よりも小さい場合には、前記報酬を減らす
ことを特徴とする機械学習装置。
【国際調査報告】
2019202672.tif 000024
2019202672.tif 000025
2019202672.tif 000026
2019202672.tif 000027