(57)【要約】【課題】ワイヤ放電加工において加工時間を必要以上に増大させること無くコーナだれを防止できる最適な加工経路を算出することが可能な制御装置及び機械学習装置を提供すること。【解決手段】本発明の制御装置１が備える機械学習装置１００は、加工経路の補正量を示す補正量データ、部分加工経路を示す加工経路データ、加工条件を示す加工条件データ、及び加工環境に係る加工環境データを、環境の現在状態を表す状態変数として観測する状態観測部１０６と、加工精度の適否判定結果を示す加工精度判定データ、及び加工に掛かる加工時間の適否判定結果を示す加工時間判定データを判定データとして取得する判定データ取得部１０８と、状態変数と判定データとを用いて、加工の部分加工経路、加工条件及び加工環境と、加工経路の補正とを関連付けて学習する学習部１１０と、を備える。【選択図】図２
2019093451.tif 000002
【特許請求の範囲】
【請求項１】
加工プログラムに基づいてワイヤ放電加工機を制御してワークを加工する制御装置であって、
前記加工の部分加工経路、加工条件及び加工環境に対する前記加工における加工経路の補正を学習する機械学習装置を備え、
前記機械学習装置は、
前記加工における加工経路の補正量を示す補正量データ、前記加工の部分加工経路を示す加工経路データ、前記加工の加工条件を示す加工条件データ、及び前記加工の加工環境に係る加工環境データを、環境の現在状態を表す状態変数として観測する状態観測部と、
前記補正量により補正された加工経路に基づく加工の加工精度の適否判定結果を示す加工精度判定データ、及び前記補正量により補正された加工経路に基づく加工に掛かる加工時間の適否判定結果を示す加工時間判定データを、判定データとして取得する判定データ取得部と、
前記状態変数と前記判定データとを用いて、前記加工の部分加工経路、加工条件及び加工環境と、前記加工における加工経路の補正とを関連付けて学習する学習部と、
を備える制御装置。
【請求項２】
前記学習部は、
前記適否判定結果に関連する報酬を求める報酬計算部と、
前記報酬を用いて、前記加工の部分加工経路、加工条件及び加工環境に対する前記加工における加工経路の補正の価値を表す関数を更新する価値関数更新部と、
を備え、
前記報酬計算部は、前記加工精度が高いほど、また、前記加工時間の増大が少ないほど高い報酬を与える、
請求項１に記載の制御装置。
【請求項３】
前記学習部は、前記状態変数と前記判定データとを多層構造で演算する、
請求項１または２に記載の制御装置。
【請求項４】
加工プログラムに基づいてワイヤ放電加工機を制御してワークを加工する制御装置であって、
前記加工の部分加工経路、加工条件及び加工環境に対する前記加工における加工経路の補正を学習した機械学習装置を備え、
前記機械学習装置は、
前記加工における加工経路の補正量を示す補正量データ、前記加工の部分加工経路を示す加工経路データ、前記加工の加工条件を示す加工条件データ、及び前記加工の加工環境に係る加工環境データを、環境の現在状態を表す状態変数として観測する状態観測部と、
前記加工の部分加工経路、加工条件及び加工環境と、前記加工における加工経路の補正とを関連付けて学習した学習部と、
前記状態観測部が観測した状態変数と、前記学習部による学習結果に基づいて、加工経路の補正量を出力する推定結果出力部と、
を備える制御装置。
【請求項５】
前記機械学習装置は、クラウドサーバに存在する、
請求項１〜４のいずれか１つに記載の制御装置。
【請求項６】
加工プログラムに基づいてワークを加工するワイヤ放電加工機による加工の部分加工経路、加工条件及び加工環境に対する前記加工における加工経路の補正を学習する機械学習装置において、
前記加工における加工経路の補正量を示す補正量データ、前記加工の部分加工経路を示す加工経路データ、前記加工の加工条件を示す加工条件データ、及び前記加工の加工環境に係る加工環境データを、環境の現在状態を表す状態変数として観測する状態観測部と、
前記補正量により補正された加工経路に基づく加工の加工精度の適否判定結果を示す加工精度判定データ、及び前記補正量により補正された加工経路に基づく加工に掛かる加工時間の適否判定結果を示す加工時間判定データを、判定データとして取得する判定データ取得部と、
前記状態変数と前記判定データとを用いて、前記加工の部分加工経路、加工条件及び加工環境と、前記加工における加工経路の補正とを関連付けて学習する学習部と、
を備える機械学習装置。
【請求項７】
加工プログラムに基づいてワークを加工するワイヤ放電加工機による加工の部分加工経路、加工条件及び加工環境に対する前記加工における加工経路の補正を学習した機械学習装置において、
前記加工における加工経路の補正量を示す補正量データ、前記加工の部分加工経路を示す加工経路データ、前記加工の加工条件を示す加工条件データ、及び前記加工の加工環境に係る加工環境データを、環境の現在状態を表す状態変数として観測する状態観測部と、
前記加工の部分加工経路、加工条件及び加工環境と、前記加工における加工経路の補正とを関連付けて学習した学習部と、
前記状態観測部が観測した状態変数と、前記学習部による学習結果に基づいて、加工経路の補正量を出力する推定結果出力部と、
を備える機械学習装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御装置及び機械学習装置に関する。
【背景技術】
【０００２】
ワイヤカット放電加工機による加工中には、図７に示すように、ワイヤ電極と被加工物との間に生じる放電の反発力や加工液の水流によりワイヤ電極に撓みが生じる。このような撓みによる影響を考慮しないで加工を行った場合、コーナ部及び円弧部において、ワイヤ電極の撓み量（ワイヤ電極の遅れ量）によってコーナ部で加工経路と実際のワイヤ軌跡との間にズレが生じ、加工物に凸部欠損や凹部取残しが発生する（図８）。このように、コーナ部及び円弧部においてにおいてはワイヤ電極の撓み量の影響が大きく現れてコーナ部の形状精度が大きく低下してしまい、所謂「コーナだれ」が発生し、意図したような形状が得られない問題がある。
【０００３】
従来、「コーナだれ」を防ぐために、コーナ部および円弧部では、加工条件（放電条件）や加工速度の自動調整（加工条件制御）、および加工経路の自動補正（加工経路補正）を行う技術がある（特許文献１〜３）。このような従来技術を用いることにより、ワイヤ電極が加工経路のコーナ部や円弧部に近づいた際に加工条件を変更し、放電電圧や加工液圧、液量を制御してワイヤ電極に係る圧力を低減させることによりたわみ量を小さくすることで、コーナ部や円弧部における食い込みや取り残しが小さくなるようにすることができる。また、ワイヤ電極の撓みが発生している部分が指令経路通りに移動するようにワイヤ電極の指令経路を補正することで、コーナ部や円弧部における食い込みや取り残しが小さくなるようにすることができる。これらの加工条件制御および加工経路補正は、数値制御装置が計算する加工経路の形状データ（ブロック長、コーナ角度、円弧半径、円弧中心角など）に基づいて制御が行われる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特公平０２−０４６３２７号公報
【特許文献２】特開平０５−２２８７３６号公報
【特許文献３】特開２０１４−１４８０３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ワイヤ電極が加工経路のコーナ部や円弧部に近づいた際に加工条件を変更する従来技術では、加工速度を意図的に変更することでワイヤの撓みを緩和しているため、その分加工速度が低下し、加工時間が増大するという問題がある。
【０００６】
また、ワイヤ電極の撓みを考慮して加工経路を補正する従来技術では、熟練した作業者が経験則に基づいて加工経路を補正する必要があり、単純な形状ではうまく補正できることもあるが、全てコーナに対して効果的な補正を行えるとは限らない。
【０００７】
そこで本発明の目的は、ワイヤ放電加工において加工時間を必要以上に増大させること無くコーナだれを防止できる最適な加工経路を算出することが可能な制御装置及び機械学習装置を提供することである。
【課題を解決するための手段】
【０００８】
本発明では、ワイヤ放電加工機を制御する制御装置に対して機械学習装置を導入し、機械学習によりコーナ部及び円弧部において加工時間を必要以上に増大させること無くコーナだれを防止できる最適な加工経路を学習することで上記課題を解決する。
【０００９】
そして、本発明の一態様は、加工プログラムに基づいてワイヤ放電加工機を制御してワークを加工する制御装置であって、前記加工の部分加工経路、加工条件及び加工環境に対する前記加工における加工経路の補正を学習する機械学習装置を備え、前記機械学習装置は、前記加工における加工経路の補正量を示す補正量データ、前記加工の部分加工経路を示す加工経路データ、前記加工の加工条件を示す加工条件データ、及び前記加工の加工環境に係る加工環境データを、環境の現在状態を表す状態変数として観測する状態観測部と、前記補正量により補正された加工経路に基づく加工の加工精度の適否判定結果を示す加工精度判定データ、及び前記補正量により補正された加工経路に基づく加工に掛かる加工時間の適否判定結果を示す加工時間判定データを、判定データとして取得する判定データ取得部と、前記状態変数と前記判定データとを用いて、前記加工の部分加工経路、加工条件及び加工環境と、前記加工における加工経路の補正とを関連付けて学習する学習部と、を備える制御装置である。
【００１０】
本発明の他の態様は、加工プログラムに基づいてワイヤ放電加工機を制御してワークを加工する制御装置であって、前記加工の部分加工経路、加工条件及び加工環境に対する前記加工における加工経路の補正を学習した機械学習装置を備え、前記機械学習装置は、前記加工における加工経路の補正量を示す補正量データ、前記加工の部分加工経路を示す加工経路データ、前記加工の加工条件を示す加工条件データ、及び前記加工の加工環境に係る加工環境データを、環境の現在状態を表す状態変数として観測する状態観測部と、前記加工の部分加工経路、加工条件及び加工環境と、前記加工における加工経路の補正とを関連付けて学習した学習部と、前記状態観測部が観測した状態変数と、前記学習部による学習結果に基づいて、加工経路の補正量を出力する推定結果出力部と、を備える制御装置である。
【００１１】
本発明の他の態様は、加工プログラムに基づいてワークを加工するワイヤ放電加工機による加工の部分加工経路、加工条件及び加工環境に対する前記加工における加工経路の補正を学習する機械学習装置において、前記加工における加工経路の補正量を示す補正量データ、前記加工の部分加工経路を示す加工経路データ、前記加工の加工条件を示す加工条件データ、及び前記加工の加工環境に係る加工環境データを、環境の現在状態を表す状態変数として観測する状態観測部と、前記補正量により補正された加工経路に基づく加工の加工精度の適否判定結果を示す加工精度判定データ、及び前記補正量により補正された加工経路に基づく加工に掛かる加工時間の適否判定結果を示す加工時間判定データを、判定データとして取得する判定データ取得部と、前記状態変数と前記判定データとを用いて、前記加工の部分加工経路、加工条件及び加工環境と、前記加工における加工経路の補正とを関連付けて学習する学習部と、を備える機械学習装置である。
【００１２】
本発明の他の態様は、加工プログラムに基づいてワークを加工するワイヤ放電加工機による加工の部分加工経路、加工条件及び加工環境に対する前記加工における加工経路の補正を学習した機械学習装置において、前記加工における加工経路の補正量を示す補正量データ、前記加工の部分加工経路を示す加工経路データ、前記加工の加工条件を示す加工条件データ、及び前記加工の加工環境に係る加工環境データを、環境の現在状態を表す状態変数として観測する状態観測部と、前記加工の部分加工経路、加工条件及び加工環境と、前記加工における加工経路の補正とを関連付けて学習した学習部と、前記状態観測部が観測した状態変数と、前記学習部による学習結果に基づいて、加工経路の補正量を出力する推定結果出力部と、を備える機械学習装置である。
【発明の効果】
【００１３】
本発明により、ワイヤ放電加工において加工時間を必要以上に増大させること無くコーナだれを防止できる最適な加工経路を算出することができる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施形態による制御装置の概略的なハードウェア構成図である。
【図２】第１の実施形態による制御装置の概略的な機能ブロック図である。
【図３】制御装置の一形態を示す概略的な機能ブロック図である。
【図４】機械学習方法の一形態を示す概略的なフローチャートである。
【図５Ａ】ニューロンを説明する図である。
【図５Ｂ】ニューラルネットワークを説明する図である。
【図６】制御装置を組み込んだシステムの一形態を示す概略的な機能ブロック図である。
【図７】ワイヤカット放電加工におけるワイヤ電極の撓みについて説明する図である。
【図８】従来技術における加工経路のコーナ部及び円弧部でのコーナだれについて説明する図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態を図面と共に説明する。
図１は第１の実施形態による制御装置の要部を示す概略的なハードウェア構成図である。制御装置１は、例えばワイヤ放電加工機を制御する制御装置として実装することができる。
【００１６】
本実施形態による制御装置１が備えるＣＰＵ１１は、制御装置１を全体的に制御するプロセッサである。ＣＰＵ１１は、ＲＯＭ１２に格納されたシステム・プログラムをバス２０を介して読み出し、該システム・プログラムに従って制御装置１全体を制御する。ＲＡＭ１３には一時的な計算データや表示データ、図示しない入力部を介してオペレータが入力した各種データ等が一時的に格納される。
【００１７】
不揮発性メモリ１４は、例えば図示しないバッテリでバックアップされるなどして、制御装置１の電源がオフされても記憶状態が保持されるメモリとして構成される。不揮発性メモリ１４には、インタフェース１５を介して外部機器７２から読み込まれた加工プログラムや表示器／ＭＤＩユニット７０を介して入力された加工プログラム、制御装置１の各部やワイヤ放電加工機から取得された各種データ（例えば、ワイヤ放電加工の加工条件、ワイヤやワークの情報、ワイヤ放電加工機の各軸位置、ワイヤ位置、外気温、加工液温度、加工液の抵抗率、ノズル間隔等）が記憶されている。不揮発性メモリ１４に記憶された加工プログラムや各種データは、実行時／利用時にはＲＡＭ１３に展開されても良い。また、ＲＯＭ１２には、公知の解析プログラムなどの各種のシステム・プログラム（後述する機械学習装置１００とのやりとりを制御するためのシステム・プログラムを含む）があらかじめ書き込まれている。
【００１８】
インタフェース１５は、制御装置１とアダプタ等の外部機器７２と接続するためのインタフェースである。外部機器７２側からはプログラムや各種パラメータ等が読み込まれる。また、制御装置１内で編集したプログラムや各種パラメータ等は、外部機器７２を介して外部記憶手段に記憶させることができる。ＰＭＣ（プログラマブル・マシン・コントローラ）１６は、制御装置１に内蔵されたシーケンス・プログラムでワイヤ放電加工機及び該ワイヤ放電加工機の周辺装置（例えば、工具交換用のロボットハンドといったアクチュエータ）にＩ／Ｏユニット１７を介して信号を出力し制御する。また、ワイヤ放電加工機の本体に配備された操作盤の各種スイッチ等の信号を受け、必要な信号処理をした後、ＣＰＵ１１に渡す。
【００１９】
表示器／ＭＤＩユニット７０はディスプレイやキーボード等を備えた手動データ入力装置であり、インタフェース１８は表示器／ＭＤＩユニット７０のキーボードからの指令，データを受けてＣＰＵ１１に渡す。インタフェース１９は各軸を手動で駆動させる際に用いる手動パルス発生器等を備えた操作盤７１に接続されている。
【００２０】
ワイヤ放電加工機が備える軸を制御するための軸制御回路３０はＣＰＵ１１からの軸の移動指令量を受けて、軸の指令をサーボアンプ４０に出力する。サーボアンプ４０はこの指令を受けて、ワイヤ放電加工機が備える軸を移動させるサーボモータ５０を駆動する。軸のサーボモータ５０は位置・速度検出器を内蔵し、この位置・速度検出器からの位置・速度フィードバック信号を軸制御回路３０にフィードバックし、位置・速度のフィードバック制御を行う。なお、図１のハードウェア構成図では軸制御回路３０、サーボアンプ４０、サーボモータ５０は１つずつしか示されていないが、実際には制御対象となるワイヤ放電加工機に備えられた軸の数だけ用意される。
【００２１】
インタフェース２１は、制御装置１と機械学習装置１００とを接続するためのインタフェースである。機械学習装置１００は、機械学習装置１００全体を統御するプロセッサ１０１と、システム・プログラム等を記憶したＲＯＭ１０２、機械学習に係る各処理における一時的な記憶を行うためのＲＡＭ１０３、及び学習モデル等の記憶に用いられる不揮発性メモリ１０４を備える。機械学習装置１００は、インタフェース２１を介して制御装置１で取得可能な各情報（例えば、加工プログラム、ワイヤ放電加工の加工条件、ワイヤやワークの情報、ワイヤ放電加工機の各軸位置、ワイヤ位置、外気温、加工液温度、加工液の抵抗率、ノズル間隔等）を観測することができる。また、制御装置１は、機械学習装置１００から出力される、ワイヤ放電加工機の加工経路の調整指令を受けて、ワイヤ放電加工機を制御する。
【００２２】
図２は、第１の実施形態による制御装置１と機械学習装置１００の概略的な機能ブロック図である。図２に示した各機能ブロックは、図１に示した制御装置１が備えるＣＰＵ１１、及び機械学習装置１００のプロセッサ１０１が、それぞれのシステム・プログラムを実行し、制御装置１及び機械学習装置１００の各部の動作を制御することにより実現される。
【００２３】
本実施形態の制御装置１は、不揮発性メモリ１４に記憶された加工プログラム及び機械学習装置１００から出力された加工経路の補正量の推定結果に基づいてワイヤ放電加工機２を制御する制御部３４を備える。
【００２４】
一方、制御装置１が備える機械学習装置１００は、ワイヤ放電加工機２による加工のワイヤ位置の前後の加工経路（以下、部分加工経路とする）、加工条件及び加工環境に対する、加工経路の補正量の推定を、いわゆる機械学習により自ら学習するためのソフトウェア（学習アルゴリズム等）及びハードウェア（プロセッサ１０１等）を含む。制御装置１が備える機械学習装置１００が学習するものは、ワイヤ放電加工機による加工の部分加工経路、加工条件及び加工環境と、加工経路の補正量との、相関性を表すモデル構造に相当する。
【００２５】
図２に機能ブロックで示すように、制御装置１が備える機械学習装置１００は、ワイヤ放電加工機２の加工経路の補正量を示す補正量データＳ１、ワイヤ放電加工機の現在のワイヤ位置の部分加工経路を示す加工経路データＳ２、加工条件を示す加工条件データＳ３、及び加工環境に係る加工環境データＳ４を含む環境の現在状態を表す状態変数Ｓとして観測する状態観測部１０６と、ワイヤ放電加工機２による加工において加工経路が補正された場合における加工精度を示す加工精度判定データＤ１及びワイヤ放電加工機による加工運転における加工時間を示す加工時間判定データＤ２を含む判定データＤを取得する判定データ取得部１０８と、状態変数Ｓと判定データＤとを用いて、ワイヤ放電加工機による加工の部分加工経路と、加工条件及び加工環境に、加工経路の補正量を関連付けて学習する学習部１１０とを備える。
【００２６】
状態観測部１０６が観測する状態変数Ｓのうち、補正量データＳ１は、ワイヤ放電加工機２による加工の加工経路に対する補正量として取得することができる。ワイヤ放電加工機２による加工の加工経路に対する補正量としては、例えば加工経路の進行方向に対する左右方向へのオフセット値（左右いずれかの方向を正符号としたオフセット量）として定義できる。
【００２７】
状態観測部１０６が観測する状態変数Ｓのうち、加工経路データＳ２は、ワイヤの現在位置から、該ワイヤの現在位置の前後の加工経路を所定のサンプリング距離で分割した点へのベクトルデータの系列として取得することができる。ワイヤの現在位置の前後の加工経路を示すサンプリング点へのベクトルデータは、ワイヤの現在位置を原点とし、ワイヤの進行方向を所定の軸となるように座標値を変換することで正規化した場合のベクトルデータとしても良い。
【００２８】
状態観測部１０６が観測する状態変数Ｓのうち、加工条件データＳ３は、ワイヤ放電加工機２によるワイヤ放電加工機２の加工条件のセットとして取得することができる。ワイヤ放電加工の加工条件としては、例えば電圧値、電流値、ワイヤの移動速度、単位時間辺りの放電回数、加工液圧などが挙げられる。
【００２９】
状態観測部１０６が観測する状態変数Ｓのうち、加工環境データＳ４は、ワイヤ放電加工機２によるワイヤ放電加工の環境条件のセットとして取得することができる。ワイヤ放電加工機２の環境条件としては、例えばワーク材質、ワーク板厚、ワイヤ径、ノズル隙間等が挙げられる。
【００３０】
補正量データＳ１は、機械学習装置１００が学習部１１０の学習結果に基づいて１つ前の学習周期にワイヤ放電加工機２で行われた加工の部分加工経路、加工条件、加工環境に対して、当該学習周期において決定した加工経路の補正量をそのまま用いることができ、このような手法を取る場合には、機械学習装置１００は加工経路の補正量を学習周期毎にＲＡＭ１０３に一時的に記憶しておき、状態観測部１０６は、ＲＡＭ１０３から１つ前の学習周期における加工経路の補正量を今回の学習周期の補正量データＳ１として取得するようにしても良い。
【００３１】
判定データ取得部１０８は、加工精度判定データＤ１として、ワイヤ放電加工機２による加工で加工経路の補正が行われた場合における加工精度を用いることができる。判定データ取得部１０８が用いる加工精度判定データＤ１としては、加工経路が補正されて実際に加工が行われた経路をレーザ測定器やカメラ等の測定器３により測定し、それが加工プログラムによって指令される加工経路とどれだけ一致しているか（どれだけ誤差が少ないか）を示す値を用いるようにしても良い。
【００３２】
また、判定データ取得部１０８は、加工時間判定データＤ２として、ワイヤ放電加工機２による加工で加工経路の補正が行われた場合における加工経路の加工に掛かった時間を用いることができる。判定データ取得部１０８が用いる加工時間判定データＤ２としては、例えば加工経路を補正せずに加工した場合に掛かる予測加工時間と、加工経路を補正した場合に実際に掛かった加工時間との差分がどれだけ小さいか（どれだけ時間を掛けずに補正された加工を行うことができたか）を示す値を用いるようにしても良い。
【００３３】
学習部１１０に対して同時に入力される状態変数Ｓは、学習部１１０による学習周期で考えた場合、判定データＤが取得された１学習周期前のデータに基づくものとなる。このように、制御装置１が備える機械学習装置１００が学習を進める間、環境においては、加工経路データＳ２、加工条件データＳ３及び加工環境データＳ４の取得、取得した各データに基づいて推定された補正量データＳ１に基づいたワイヤ放電加工機の加工経路の補正、判定データＤの取得が繰り返し実施される。
【００３４】
学習部１１０は、機械学習と総称される任意の学習アルゴリズムに従い、ワイヤ放電加工機２による加工における部分加工経路、加工条件、加工環境に対する、加工経路の補正を学習する。学習部１１０は、前述した状態変数Ｓと判定データＤとを含むデータ集合に基づく学習を反復実行することができる。ワイヤ放電加工機による加工における部分加工経路、加工条件、加工環境に対する加工経路の補正の学習サイクルの反復中、状態変数Ｓは、上記したように１学習周期前における部分加工経路、加工条件や環境条件、及び１学習周期前において決定された加工経路の補正から取得し、また判定データＤは、補正された加工経路に基づく加工の適否判定結果とする。
【００３５】
このような学習サイクルを繰り返すことにより、学習部１１０は、ワイヤ放電加工機２による加工における部分加工経路、加工条件、加工環境と、加工経路の補正との相関性を暗示する特徴を自動的に識別することができる。学習アルゴリズムの開始時にはワイヤ放電加工機２による加工における部分加工経路、加工条件、加工環境と、加工経路の補正との相関性は実質的に未知であるが、学習部１１０は、学習を進めるに従い徐々に特徴を識別して相関性を解釈する。ワイヤ放電加工機２による加工における部分加工経路、加工条件、加工環境と、加工経路の補正との相関性が、ある程度信頼できる水準まで解釈されると、学習部１１０が反復出力する学習結果は、現在状態（つまりワイヤ放電加工機による加工における部分加工経路、加工条件、加工環境）に対して、加工経路の補正をどうするべきかという行動の選択（つまり意思決定）を行うために使用できるものとなる。つまり学習部１１０は、学習アルゴリズムの進行に伴い、ワイヤ放電加工機２による加工における部分加工経路、加工条件、加工環境と、当該状態に対して加工経路の補正をどのような値とするべきかという行動との、相関性を最適解に徐々に近づけることができる。
【００３６】
推定結果出力部１２２は、学習部１１０が学習した結果に基づいて、加工経路の補正量を決定し、決定した補正量を制御部３４へと出力する。推定結果出力部１２２は、学習部１１０による学習が完了した状態において、機械学習装置１００にワイヤ放電加工機２による加工における部分加工経路、加工条件、加工環境が入力されると、加工経路の補正量を出力する。
【００３７】
上記したように、制御装置１が備える機械学習装置１００は、状態観測部１０６が観測した状態変数Ｓと判定データ取得部１０８が取得した判定データＤとを用いて、学習部１１０が機械学習アルゴリズムに従い、加工経路の補正を学習するものである。状態変数Ｓは、補正量データＳ１、加工経路データＳ２、加工条件データＳ３及び加工環境データＳ４といったデータで構成され、また判定データＤは、制御装置１がワイヤ放電加工機２及び測定器３から取得した情報を解析することで一義的に求められる。したがって、制御装置１が備える機械学習装置１００によれば、学習部１１０の学習結果を用いることで、ワイヤ放電加工機２による加工における部分加工経路、加工条件、加工環境に応じた、加工経路の補正を、自動的かつ正確に行うことが可能となる。
【００３８】
そして、加工経路の補正を、自動的に行うことができれば、ワイヤ放電加工機２による加工の部分加工経路（加工経路データＳ２）、加工条件（加工条件データＳ３）、及び加工環境（加工環境データＳ４）を把握するだけで、加工経路の補正の適切な値を迅速に決定することができる。したがって、加工経路の補正の決定を効率よく行うことができる。
【００３９】
上記構成を有する機械学習装置１００では、学習部１１０が実行する学習アルゴリズムは特に限定されず、機械学習として公知の学習アルゴリズムを採用できる。図３は、図２に示す制御装置１の一形態であって、学習アルゴリズムの一例として強化学習を実行する学習部１１０を備えた構成を示す。強化学習は、学習対象が存在する環境の現在状態（つまり入力）を観測するとともに現在状態で所定の行動（つまり出力）を実行し、その行動に対し何らかの報酬を与えるというサイクルを試行錯誤的に反復して、報酬の総計が最大化されるような方策（本願の機械学習装置では加工経路の補正）を最適解として学習する手法である。
【００４０】
図３に示す制御装置１が備える機械学習装置１００において、学習部１１０は、状態変数Ｓに基づいて加工経路の補正が実施された場合におけるワイヤ放電加工機による加工の適否判定結果（状態変数Ｓが取得された次の学習周期で用いられる判定データＤに相当）に関連する報酬Ｒを求める報酬計算部１１２と、報酬Ｒを用いて、加工経路の補正の価値を表す関数Ｑを更新する価値関数更新部１１４とを備える。学習部１１０は、価値関数更新部１１４が関数Ｑの更新を繰り返すことによってワイヤ放電加工機による加工における加工経路、加工条件、加工環境に対する加工経路の補正を学習する。
【００４１】
学習部１１０が実行する強化学習のアルゴリズムの一例を説明する。この例によるアルゴリズムは、Ｑ学習（Ｑ−ｌｅａｒｎｉｎｇ）として知られるものであって、行動主体の状態ｓと、その状態ｓで行動主体が選択し得る行動ａとを独立変数として、状態ｓで行動ａを選択した場合の行動の価値を表す関数Ｑ（ｓ，ａ）を学習する手法である。状態ｓで価値関数Ｑが最も高くなる行動ａを選択することが最適解となる。状態ｓと行動ａとの相関性が未知の状態でＱ学習を開始し、任意の状態ｓで種々の行動ａを選択する試行錯誤を繰り返すことで、価値関数Ｑを反復して更新し、最適解に近付ける。ここで、状態ｓで行動ａを選択した結果として環境（つまり状態ｓ）が変化したときに、その変化に応じた報酬（つまり行動ａの重み付け）ｒが得られるように構成し、より高い報酬ｒが得られる行動ａを選択するように学習を誘導することで、価値関数Ｑを比較的短時間で最適解に近付けることができる。
【００４２】
価値関数Ｑの更新式は、一般に下記の数１式のように表すことができる。数１式において、ｓt及びａtはそれぞれ時刻ｔにおける状態及び行動であり、行動ａtにより状態はｓt+1に変化する。ｒt+1は、状態がｓtからｓt+1に変化したことで得られる報酬である。ｍａｘＱの項は、時刻ｔ＋１で最大の価値Ｑになる（と時刻ｔで考えられている）行動ａを行ったときのＱを意味する。α及びγはそれぞれ学習係数及び割引率であり、０＜α≦１、０＜γ≦１で任意設定される。
【００４３】
【数１】
2019093451.tif 000003
【００４４】
学習部１１０がＱ学習を実行する場合、状態観測部１０６が観測した状態変数Ｓ及び判定データ取得部１０８が取得した判定データＤは、更新式の状態ｓに該当し、現在状態（つまり、ワイヤ放電加工機による加工における部分加工経路、加工条件、加工環境）に対する加工経路の補正をどのように決定するべきかという行動は、更新式の行動ａに該当し、報酬計算部１１２が求める報酬Ｒは、更新式の報酬ｒに該当する。よって価値関数更新部１１４は、現在状態に対する加工経路の補正の価値を表す関数Ｑを、報酬Ｒを用いたＱ学習により繰り返し更新する。
【００４５】
報酬計算部１１２が求める報酬Ｒは、例えば、加工経路の補正を決定した後に決定した加工経路の補正に基づいてワイヤ放電加工機による加工が行われた時に、ワイヤ放電加工機による加工の適否判定結果が「適」と判定される場合（例えば、補正された加工経路に基づいて加工された部分の加工精度が高かった場合、補正された加工経路に基づく加工に掛かる加工時間の増加量が少なかった場合、等）に正（プラス）の報酬Ｒとし、加工経路の補正を決定した後に決定した加工経路の補正に基づいてワイヤ放電加工機による加工が行われた時に、ワイヤ放電加工機の稼働状態の適否判定結果が「否」と判定される場合（例えば、補正された加工経路に基づいて加工された部分の加工精度が予め定めた所定の閾値よりも悪かった場合、補正された加工経路に基づく加工に掛かる加工時間の増加量が予め定めが所定の閾値異常だった場合、等）に負（マイナス）の報酬Ｒとすることができる。正負の報酬Ｒの絶対値は、互いに同一であってもよいし異なっていてもよい。また、判定の条件として、判定データＤに含まれる複数の値を組み合わせて判定するようにしても良い。
【００４６】
また、ワイヤ放電加工機による加工の適否判定結果を、「適」及び「否」の二通りだけでなく複数段階に設定することができる。例として、ワイヤ放電加工機での加工における加工精度の指標として許容誤差がＥmaxである場合、ワイヤ放電加工機による加工で発生した誤差Ｅが、０≦Ｅ＜Ｅmax／５のときは報酬Ｒ＝５を与え、Ｅmax／５≦Ｅ＜Ｅmax／２のときは報酬Ｒ＝３を与え、Ｅmax／２≦Ｅ＜Ｅmaxのときは報酬Ｒ＝２を、Ｅmax≦Ｅのときは報酬Ｒ＝１を与えるような構成とすることができる。また、例えばワイヤ放電加工機による加工に掛かる加工時間が予め定めた所定の閾値を上回った場合等には、大きなマイナス報酬を与える、といったように、学習の目的に合せて報酬の付与を適宜調整しても良い。更に、学習の初期段階はＥmaxを比較的大きく設定し、学習が進行するにつれてＥmaxを縮小する構成とすることもできる。
【００４７】
価値関数更新部１１４は、状態変数Ｓと判定データＤと報酬Ｒとを、関数Ｑで表される行動価値（例えば数値）と関連付けて整理した行動価値テーブルを持つことができる。この場合、価値関数更新部１１４が関数Ｑを更新するという行為は、価値関数更新部１１４が行動価値テーブルを更新するという行為と同義である。Ｑ学習の開始時には環境の現在状態と加工経路の補正との相関性は未知であるから、行動価値テーブルにおいては、種々の状態変数Ｓと判定データＤと報酬Ｒとが、無作為に定めた行動価値の値（関数Ｑ）と関連付けた形態で用意されている。なお報酬計算部１１２は、判定データＤが分かれば、これに対応する報酬Ｒを直ちに算出でき、算出した値Ｒが行動価値テーブルに書き込まれる。
【００４８】
ワイヤ放電加工機の稼働状態の適否判定結果に応じた報酬Ｒを用いてＱ学習を進めると、より高い報酬Ｒが得られる行動を選択する方向へ学習が誘導され、選択した行動を現在状態で実行した結果として変化する環境の状態（つまり状態変数Ｓ及び判定データＤ）に応じて、現在状態で行う行動についての行動価値の値（関数Ｑ）が書き換えられて行動価値テーブルが更新される。この更新を繰り返すことにより、行動価値テーブルに表示される行動価値の値（関数Ｑ）は、適正な行動（本発明の場合、よりワイヤ放電加工機による加工のサイクルタイムが大きく増大しない範囲で加工精度を向上させる行動）であるほど大きな値となるように書き換えられる。このようにして、未知であった環境の現在状態（ワイヤ放電加工機による加工における部分加工経路、加工条件、加工環境）とそれに対する行動（加工経路の補正）との相関性が徐々に明らかになる。つまり行動価値テーブルの更新により、ワイヤ放電加工機による加工における部分加工経路、加工条件、加工環境と、加工経路の補正との関係が最適解に徐々に近づけられる。
【００４９】
図４を参照して、学習部１１０が実行する上記したＱ学習のフロー（つまり機械学習方法の一形態）をさらに説明する。まずステップＳＡ０１で、価値関数更新部１１４は、その時点での行動価値テーブルを参照しながら、状態観測部１０６が観測した状態変数Ｓが示す現在状態で行う行動として加工経路の補正量を無作為に選択する。次に価値関数更新部１１４は、ステップＳＡ０２で、状態観測部１０６が観測している現在状態の状態変数Ｓを取り込み、ステップＳＡ０３で、判定データ取得部１０８が取得している現在状態の判定データＤを取り込む。次に価値関数更新部１１４は、ステップＳＡ０４で、判定データＤに基づき、加工経路の補正量が適当であったか否かを判断し、適当であった場合、ステップＳＡ０５で、報酬計算部１１２が求めた正の報酬Ｒを関数Ｑの更新式に適用し、次いでステップＳＡ０６で、現在状態における状態変数Ｓ及び判定データＤと報酬Ｒと行動価値の値（更新後の関数Ｑ）とを用いて行動価値テーブルを更新する。ステップＳＡ０４で、加工経路の補正が適当でなかったと判断した場合、ステップＳＡ０７で、報酬計算部１１２が求めた負の報酬Ｒを関数Ｑの更新式に適用し、次いでステップＳＡ０６で、現在状態における状態変数Ｓ及び判定データＤと報酬Ｒと行動価値の値（更新後の関数Ｑ）とを用いて行動価値テーブルを更新する。学習部１１０は、ステップＳＡ０１〜ＳＡ０７を繰り返すことで行動価値テーブルを反復して更新し、加工経路の補正の学習を進行させる。なお、ステップＳＡ０４からステップＳＡ０７までの報酬Ｒを求める処理及び価値関数の更新処理は、判定データＤに含まれるそれぞれのデータについて実行される。
【００５０】
前述した強化学習を進める際に、例えばニューラルネットワークを応用することができる。図５Ａは、ニューロンのモデルを模式的に示す。図５Ｂは、図５Ａに示すニューロンを組み合わせて構成した三層のニューラルネットワークのモデルを模式的に示す。ニューラルネットワークは、例えば、ニューロンのモデルを模した演算装置や記憶装置等によって構成できる。
【００５１】
図５Ａに示すニューロンは、複数の入力ｘ（ここでは一例として、入力ｘ1〜入力ｘ3）に対する結果ｙを出力するものである。各入力ｘ1〜ｘ3には、この入力ｘに対応する重みｗ（ｗ1〜ｗ3）が掛けられる。これにより、ニューロンは、次の数２式により表現される出力ｙを出力する。なお、数２式において、入力ｘ、出力ｙ及び重みｗは、すべてベクトルである。また、θはバイアスであり、ｆkは活性化関数である。
【００５２】
【数２】
2019093451.tif 000004
【００５３】
図５Ｂに示す三層のニューラルネットワークは、左側から複数の入力ｘ（ここでは一例として、入力ｘ１〜入力ｘ３）が入力され、右側から結果ｙ（ここでは一例として、結果ｙ１〜結果ｙ３）が出力される。図示の例では、入力ｘ１、ｘ２、ｘ３のそれぞれに対応の重み（総称してｗ１で表す)が乗算されて、個々の入力ｘ１、ｘ２、ｘ３がいずれも３つのニューロンＮ１１、Ｎ１２、Ｎ１３に入力されている。
【００５４】
図５Ｂでは、ニューロンＮ１１〜Ｎ１３の各々の出力を、総称してｚ１で表す。ｚ１は、入カベクトルの特徴量を抽出した特徴ベクトルと見なすことができる。図示の例では、特徴ベクトルｚ１のそれぞれに対応の重み（総称してｗ２で表す）が乗算されて、個々の特徴ベクトルｚ１がいずれも２つのニューロンＮ２１、Ｎ２２に入力されている。特徴ベクトルｚ１は、重みＷ１と重みＷ２との間の特徴を表す。
【００５５】
図５Ｂでは、ニューロンＮ２１〜Ｎ２２の各々の出力を、総称してｚ２で表す。ｚ２は、特徴ベクトルｚ１の特徴量を抽出した特徴ベクトルと見なすことができる。図示の例では、特徴ベクトルｚ２のそれぞれに対応の重み（総称してｗ３で表す）が乗算されて、個々の特徴ベクトルｚ２がいずれも３つのニューロンＮ３１、Ｎ３２、Ｎ３３に入力されている。特徴ベクトルｚ２は、重みＷ２と重みＷ３との間の特徴を表す。最後にニューロンＮ３１〜Ｎ３３は、それぞれ結果ｙ１〜ｙ３を出力する。
なお、三層以上の層を為すニューラルネットワークを用いた、いわゆるディープラーニングの手法を用いることも可能である。
【００５６】
制御装置１が備える機械学習装置１００においては、状態変数Ｓと判定データＤとを入力ｘとして、学習部１１０が上記したニューラルネットワークに従う多層構造の演算を行うことで、加工経路の補正（結果ｙ）を出力することができる。また、制御装置１が備える機械学習装置１００においては、ニューラルネットワークをＱ学習における価値関数として用い、状態変数Ｓと行動ａとを入力ｘとして、学習部１１０が上記したニューラルネットワークに従う多層構造の演算を行うことで、当該状態における当該行動の価値（結果ｙ）を出力することもできる。なお、ニューラルネットワークの動作モードには、学習モードと価値予測モードとがあり、例えば学習モードで学習データセットを用いて重みｗを学習し、学習した重みｗを用いて価値予測モードで行動の価値判断を行うことができる。なお価値予測モードでは、検出、分類、推論等を行うこともできる。
【００５７】
上記した制御装置１の構成は、プロセッサ１０１が実行する機械学習方法（或いはソフトウェア）として記述できる。この機械学習方法は、加工経路の補正を学習する機械学習方法であって、コンピュータのＣＰＵが、補正量データＳ１、加工経路データＳ２、加工条件データＳ３及び加工環境データＳ４を、ワイヤ放電加工機の加工を行う環境の現在状態を表す状態変数Ｓとして観測するステップと、決定された加工経路の補正に基づくワイヤ放電加工機による加工の適否判定結果を示す判定データＤを取得するステップと、状態変数Ｓと判定データＤとを用いて、加工経路データＳ２、加工条件データＳ３及び加工環境データＳ４と、加工経路の補正とを関連付けて学習するステップとを有する。
【００５８】
図６は、制御装置１を備えた第２の実施形態によるシステム１７０を示す。システム１７０は、セルコンピュータやホストコンピュータ、クラウドサーバ等のコンピュータの一部として実装された少なくとも１台の制御装置１と、試験の対象となる複数のワイヤ放電加工機２と、制御装置１、ワイヤ放電加工機２を互いに接続する有線／無線のネットワーク１７２とを備える。
【００５９】
上記構成を有するシステム１７０は、機械学習装置１００を備える制御装置１が、学習部１１０の学習結果を用いて、ワイヤ放電加工機２による加工の部分加工経路、加工条件及び加工環境に対する加工経路の補正を、それぞれのワイヤ放電加工機２毎に自動的かつ正確に求めることができる。また、制御装置１の機械学習装置１００が、複数のワイヤ放電加工機２のそれぞれについて得られた状態変数Ｓ及び判定データＤに基づき、全てのワイヤ放電加工機２に共通する加工経路の補正を学習し、その学習結果を全てのワイヤ放電加工機による加工において共有するように構成できる。したがってシステム１７０によれば、より多様なデータ集合（状態変数Ｓ及び判定データＤを含む）を入力として、加工経路の補正の学習の速度や信頼性を向上させることができる。
【００６０】
以上、本発明の実施の形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。
【００６１】
例えば、機械学習装置１００が実行する学習アルゴリズムや演算アルゴリズム、制御装置１が実行する制御アルゴリズム等は、上述したものに限定されず、様々なアルゴリズムを採用できる。
【００６２】
また、上記した実施形態では制御装置１と機械学習装置１００が異なるＣＰＵを有する装置として説明しているが、機械学習装置１００は制御装置１が備えるＣＰＵ１１と、ＲＯＭ１２に記憶されるシステム・プログラムにより実現するようにしても良い。
【００６３】
上記した実施形態では、制御装置１が機械学習装置１００から出力される加工経路の補正量の推定結果に基づいて、加工中に加工経路を補正する例を示したが、加工プログラムにより指令される加工経路と、機械学習装置１００から出力される加工経路の補正量の推定結果の系列とに基づいて加工経路の補正が考慮された新たな加工プログラムを作成し、作成した加工プログラムを出力する構成を設けても良い。機械学習装置１００を備えないワイヤ放電加工機２に対して加工経路の補正を考慮した加工プログラムを提供することで、ワイヤ放電加工機２が機械学習装置１００とオフラインの状態でも適切な加工経路による加工を行わせることができる。
【符号の説明】
【００６４】
１  制御装置
２  ワイヤ放電加工機
３  測定器
１１  ＣＰＵ
１２  ＲＯＭ
１３  ＲＡＭ
１４  不揮発性メモリ
１５，１８，１９  インタフェース
１７  Ｉ／Ｏユニット
２０  バス
２１  インタフェース
３０  軸制御回路
３４  制御部
４０  サーボアンプ
５０  サーボモータ
７０  表示器／ＭＤＩユニット
７１  操作盤
７２  外部機器
１００  機械学習装置
１０１  プロセッサ
１０２  ＲＯＭ
１０３  ＲＡＭ
１０４  不揮発性メモリ
１０６  状態観測部
１０８  判定データ取得部
１１０  学習部
１１２  報酬計算部
１１４  価値関数更新部
１２２  推定結果出力部
１７０  システム
１７２  ネットワーク
【図１】
2019093451.tif 000005
【図２】
2019093451.tif 000006
【図３】
2019093451.tif 000007
【図４】
2019093451.tif 000008
【図５Ａ】
2019093451.tif 000009
【図５Ｂ】
2019093451.tif 000010
【図６】
2019093451.tif 000011
【図７】
2019093451.tif 000012
【図８】
2019093451.tif 000013