(57)【要約】【課題】ワークのレーザ加工時にプラズマの発生を抑えるようにレーザ加工条件を調整することが可能な加工条件調整装置及び機械学習装置を提供すること。【解決手段】本発明の加工条件調整装置１は、レーザ加工条件データ、ワークデータと、プラズマ発生量データを含む状態変数を作成する前処理部３２と、レーザ加工装置２によるレーザ加工におけるプラズマの発生量を判定するためのプラズマ発生量判定データを含む判定データを作成する状態判定部３４と、所定のレーザ加工条件の下で行われたワークのレーザ加工において発生したプラズマの量に対するレーザ加工条件の調整行動を学習する学習部１１０と、を備え、プラズマ発生量判定データは、レーザ加工条件の調整行動により調整されたレーザ加工条件の下で行われたワークのレーザ加工において発生したプラズマの量を判定するためのものである。【選択図】図２
2020028909.tif 000002
【特許請求の範囲】
【請求項１】
ワークをレーザ加工するレーザ加工装置のレーザ加工条件を調整する加工条件調整装置であって、
前記レーザ加工におけるレーザ加工条件を示すレーザ加工条件データ、前記ワークに係る情報を示すワークデータと、前記レーザ加工におけるプラズマ発生量を示すプラズマ発生量データを含む状態変数を作成する前処理部と、
前記レーザ加工装置によるレーザ加工におけるプラズマの発生量を判定するためのプラズマ発生量判定データを含む判定データを作成する状態判定部と、
前記状態変数と前記判定データとを用いて、所定のレーザ加工条件の下で行われたワークのレーザ加工において発生したプラズマの量に対する前記レーザ加工条件の調整行動を学習する学習部と、
を備え、
前記プラズマ発生量判定データは、前記レーザ加工条件の調整行動により調整されたレーザ加工条件の下で行われたワークのレーザ加工において発生したプラズマの量を判定するためのものである、
加工条件調整装置。
【請求項２】
前記学習部は、所定のレーザ加工条件の下で行われたワークのレーザ加工において発生したプラズマの量が、予め設定されている、所定のレーザ加工条件の下で最適な加工が行われた際に発生するプラズマ発生量に近い場合に高い報酬を与える強化学習を行う、
請求項１に記載の加工条件調整装置。
【請求項３】
ワークをレーザ加工するレーザ加工装置のレーザ加工条件を調整する加工条件調整装置であって、
前記レーザ加工におけるレーザ加工条件を示すレーザ加工条件データ、前記ワークに係る情報を示すワークデータと、前記レーザ加工におけるプラズマ発生量を示すプラズマ発生量データを含む状態変数を作成する前処理部と、
所定のレーザ加工条件の下で行われたワークのレーザ加工において発生したプラズマの量に対する前記レーザ加工条件の調整行動を学習した学習済みモデルを記憶する学習モデル記憶部と、
前記状態変数に基づいて、前記学習済みモデルを用いた前記レーザ加工条件の調整行動の推定を行う意思決定部と、
を備える加工条件調整装置。
【請求項４】
前記レーザ加工条件の調整行動は、前記レーザ加工装置のノズルと前記ワークとのギャップの調整行動である、
請求項１〜３のいずれか１つに記載の加工条件調整装置。
【請求項５】
前記レーザ加工条件の調整行動は、前記レーザ加工装置のアシストガスの圧力の調整行動である、
請求項１〜４のいずれか１つに記載の加工条件調整装置。
【請求項６】
前記レーザ加工条件の調整行動は、前記レーザ加工装置のノズル径の変更調整行動である、
請求項１〜５のいずれか１つに記載の加工条件調整装置。
【請求項７】
前記レーザ加工条件データは、前記レーザ加工装置のノズルと前記ワークとのギャップを少なくとも含む、
請求項１〜６のいずれか１つに記載の加工条件調整装置。
【請求項８】
ワークをレーザ加工するレーザ加工装置のレーザ加工条件を調整する機械学習装置であって、
前記レーザ加工におけるレーザ加工条件を示すレーザ加工条件データ、前記ワークに係る情報を示すワークデータと、前記レーザ加工におけるプラズマ発生量を示すプラズマ発生量データを含む状態変数と、前記レーザ加工装置によるレーザ加工におけるプラズマの発生量を判定するためのプラズマ発生量判定データを含む判定データとを用いて、所定のレーザ加工条件の下で行われたワークのレーザ加工において発生したプラズマの量に対する前記レーザ加工条件の調整行動を学習する学習部を備え、
前記プラズマ発生量判定データは、前記レーザ加工条件の調整行動により調整されたレーザ加工条件の下で行われたワークのレーザ加工において発生したプラズマの量を判定するためのものである、
機械学習装置。
【請求項９】
ワークをレーザ加工するレーザ加工装置のレーザ加工条件を調整する機械学習装置であって、
所定のレーザ加工条件の下で行われたワークのレーザ加工において発生したプラズマの量に対する前記レーザ加工条件の調整行動を学習した学習済みモデルを記憶する学習モデル記憶部と、
前記レーザ加工におけるレーザ加工条件を示すレーザ加工条件データ、前記ワークに係る情報を示すワークデータと、前記レーザ加工におけるプラズマ発生量を示すプラズマ発生量データを含む状態変数に基づいて、前記学習済みモデルを用いた前記レーザ加工条件の調整行動の推定を行う意思決定部と、
を備える機械学習装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、加工条件調整装置及び機械学習装置に関する。
【背景技術】
【０００２】
レーザ切断加工を行う場合には、ワークとノズルの間を一定間隔に保つとと共に、焦点位置を一定に保ちながら、レーザとアシストガスを流すことにより溶融した金属を吹き飛ばす形で材料加工を行っている。従来は、例えば特許文献１に代表されるように、切断を行う際には、ワーク掛かる圧力が重要視されており、ワークとノズルの距離は成るべく接近させることが良いとされていた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４９６６８４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ノズルとワークが接近した状態で、高速切断を行うと、プラズマの発生が原因で加工面が荒くなる。また、プラズマ発生によりカーフが広がることによりドロス（バリのようなもの）がワークに付着することが多くなり、条件出しが難しい。
【０００５】
そこで本発明の目的は、ワークのレーザ加工時にプラズマの発生を抑えるようにレーザ加工条件を調整することが可能な加工条件調整装置及び機械学習装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明の加工条件調整装置は、ノズルから噴射されるアシストガスの流速が速い部分（マッハディスク部）を利用することでプラズマの発生を抑えるとともに切断品質の向上を図ることで、上記課題を解決する。図６は、レーザ加工装置によるレーザ加工において、ノズルの先端から噴出するアシストガスの流れを示す図である。図６において、（１）はノズルの先端部であり、アシストガスのガス圧が最大となる位置である。上記で説明したように、レーザ加工においてはワークに係る圧力が高いほうが良いとされているため、ノズルとワークとの距離はノズルの先端部からやや離れた（２）の位置で加工が行われる（（１）の位置ではノズルの先端とワークとが密着し、熱によるノズルの破損などが発生するため）。しかしながら、ノズルの先端から超高速でアシストガスを噴出すると、ノズルの口元から衝撃波が発生し、これが壁となってアシストガスが再度収束して位置（３）においてアシストガスの流速が最大となる。出願人がこのようなアシストガスの流速が最大となる地点に着目して実験を繰り返した結果、ワークの表面がアシストガスの流速最大位置（３）又は位置（３）よりもややノズルに近い位置となるようにした上でレーザ加工を行うことで、プラズマの発生量を抑えて良質な切断品質でワークの加工が行えることに気付いた。
【０００７】
しかしながら、上記したプラズマの発生量を抑えて良質な切断品質で加工が行えるワークの位置（ノズルとワークとのギャップ）は、ワークの材料や板厚、加工の状態などによっても変化する。そこで、本発明の加工条件調整装置は、機械学習を用いて現在の加工の状態に応じた最適なレーザ加工条件（ギャップ量）の調整を行う。
【０００８】
そして、本発明の一態様は、ワークをレーザ加工するレーザ加工装置のレーザ加工条件を調整する加工条件調整装置であって、前記レーザ加工におけるレーザ加工条件を示すレーザ加工条件データ、前記ワークに係る情報を示すワークデータと、前記レーザ加工におけるプラズマ発生量を示すプラズマ発生量データを含む状態変数を作成する前処理部と、前記レーザ加工装置によるレーザ加工におけるプラズマの発生量を判定するためのプラズマ発生量判定データを含む判定データを作成する状態判定部と、前記状態変数と前記判定データとを用いて、所定のレーザ加工条件の下で行われたワークのレーザ加工において発生したプラズマの量に対する前記レーザ加工条件の調整行動を学習する学習部と、を備え、前記プラズマ発生量判定データは、前記レーザ加工条件の調整行動により調整されたレーザ加工条件の下で行われたワークのレーザ加工において発生したプラズマの量を判定するためのものである、加工条件調整装置である。
【０００９】
本発明の他の態様は、ワークをレーザ加工するレーザ加工装置のレーザ加工条件を調整する加工条件調整装置であって、前記レーザ加工におけるレーザ加工条件を示すレーザ加工条件データ、前記ワークに係る情報を示すワークデータと、前記レーザ加工におけるプラズマ発生量を示すプラズマ発生量データを含む状態変数を作成する前処理部と、所定のレーザ加工条件の下で行われたワークのレーザ加工において発生したプラズマの量に対する前記レーザ加工条件の調整行動を学習した学習済みモデルを記憶する学習モデル記憶部と、前記状態変数に基づいて、前記学習済みモデルを用いた前記レーザ加工条件の調整行動の推定を行う意思決定部と、を備える加工条件調整装置である。
【００１０】
本発明の他の態様は、ワークをレーザ加工するレーザ加工装置のレーザ加工条件を調整する機械学習装置であって、前記レーザ加工におけるレーザ加工条件を示すレーザ加工条件データ、前記ワークに係る情報を示すワークデータと、前記レーザ加工におけるプラズマ発生量を示すプラズマ発生量データを含む状態変数と、前記レーザ加工装置によるレーザ加工におけるプラズマの発生量を判定するためのプラズマ発生量判定データを含む判定データとを用いて、所定のレーザ加工条件の下で行われたワークのレーザ加工において発生したプラズマの量に対する前記レーザ加工条件の調整行動を学習する学習部を備え、前記プラズマ発生量判定データは、前記レーザ加工条件の調整行動により調整されたレーザ加工条件の下で行われたワークのレーザ加工において発生したプラズマの量を判定するためのものである、機械学習装置である。
【００１１】
本発明の他の態様は、ワークをレーザ加工するレーザ加工装置のレーザ加工条件を調整する機械学習装置であって、所定のレーザ加工条件の下で行われたワークのレーザ加工において発生したプラズマの量に対する前記レーザ加工条件の調整行動を学習した学習済みモデルを記憶する学習モデル記憶部と、前記レーザ加工におけるレーザ加工条件を示すレーザ加工条件データ、前記ワークに係る情報を示すワークデータと、前記レーザ加工におけるプラズマ発生量を示すプラズマ発生量データを含む状態変数に基づいて、前記学習済みモデルを用いた前記レーザ加工条件の調整行動の推定を行う意思決定部と、を備える機械学習装置である。
【発明の効果】
【００１２】
本発明により、レーザ加工装置におけるワークのレーザ加工時のレーザ加工条件の調整を適切に行うことができるようになる。
【図面の簡単な説明】
【００１３】
【図１】一実施形態による加工条件調整装置の概略的なハードウェア構成図である。
【図２】一実施形態による加工条件調整装置の概略的な機能ブロック図である。
【図３】一実施形態によるプラズマ測定器でのプラズマ発生量の測定方法について説明する図である。
【図４】一実施形態によるプラズマ測定器でのプラズマ発生量の測定方法について説明する図である。
【図５】位置実施形態による判定基準テーブルの例を示す図である。
【図６】本発明における判定データとしての昇温値の取得方法について説明する図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態を図面と共に説明する。
図１は一実施形態による機械学習装置を備えた撮像装置の要部を示す概略的なハードウェア構成図である。本実施形態の加工条件調整装置１は、例えばレーザ加工装置を制御する制御装置として実装することができる。また、加工条件調整装置１は、例えばレーザ加工装置を制御する制御装置に併設されたパソコンや、制御装置に有線／無線のネットワークを介して接続されたセルコンピュータ、ホストコンピュータ、エッジサーバ、クラウドサーバ等のコンピュータとして実装することができる。本実施形態では、加工条件調整装置１を、レーザ加工装置２を制御する制御装置として実装した場合の例を示す。
【００１５】
本実施形態による加工条件調整装置１が備えるＣＰＵ１１は、加工条件調整装置１を全体的に制御するプロセッサである。ＣＰＵ１１は、ＲＯＭ１２に格納されたシステム・プログラムをバス２０を介して読み出し、該システム・プログラムに従って加工条件調整装置１全体を制御する。ＲＡＭ１３には一時的な計算データ、入力装置７１を介して作業者が入力した各種データ等が一時的に格納される。
【００１６】
不揮発性メモリ１４は、例えば図示しないバッテリでバックアップされたメモリやＳＳＤ等で構成され、加工条件調整装置１の電源がオフされても記憶状態が保持される。不揮発性メモリ１４には、加工条件調整装置１の動作に係る設定情報が格納される設定領域や、入力装置７１から入力されたレーザ加工装置２の制御用プログラムやデータ等、加工条件調整装置１の各部やレーザ加工装置２から取得された各種データ（例えば、レーザ加工装置２によるレーザ加工におけるレーザ出力、周波数、デューティー、加工速度、アシストガスの種類や圧力、ワークの材料種類や板厚、ノズル径、ギャップ、焦点位置、レーザ加工装置２に取付けられたプラズマ計測器４により検出されたプラズマ発生量等）、図示しない外部記憶装置やネットワークを介して読み込まれたレーザ加工装置２の制御用プログラムやデータ等が記憶される。不揮発性メモリ１４に記憶されたプログラムや各種データは、実行時／利用時にはＲＡＭ１３に展開されても良い。また、ＲＯＭ１２には、各種データを解析するための公知の解析プログラムや後述する機械学習装置１００とのやりとりを制御するためのプログラム等を含むシステム・プログラムが予め書き込まれている。
【００１７】
プラズマ計測器４は、例えばプローブ計測器、電磁計測器、粒子計測器、分光計測器等のような、レーザ加工が行われている近傍でのプラズマの発生量を計測する計測器である。プラズマ計測器４は、レーザ加工装置２が備えるレーザヘッドの近傍に備え付けられていてもよいし、レーザ加工装置２の近傍に設置された図示しないロボットのハンドに取り付けられ、レーザ加工装置２による加工部位の近傍におけるプラズマの発生量を計測するようにしてもよい。プラズマ計測器４により計測された加工部位の近傍におけるプラズマの発生量は、インタフェース１６を介してＣＰＵ１１に渡される。
【００１８】
表示装置７０には、メモリ上に読み込まれた各データ、プログラム等が実行された結果として得られたデータ、プラズマ計測器４が撮像して得られた対象物の距離画像データ、後述する機械学習装置１００から出力されたデータ等がインタフェース１７を介して出力されて表示される。また、キーボードやポインティングデバイス等から構成される入力装置７１は、作業者による操作に基づく指令，データ等を受けて、インタフェース１８を介してＣＰＵ１１に渡す。
【００１９】
インタフェース２１は、加工条件調整装置１と機械学習装置１００とを接続するためのインタフェースである。機械学習装置１００は、機械学習装置１００全体を統御するプロセッサ１０１と、システム・プログラム等を記憶したＲＯＭ１０２、機械学習に係る各処理における一時的な記憶を行うためのＲＡＭ１０３、及び学習モデル等の記憶に用いられる不揮発性メモリ１０４を備える。機械学習装置１００は、インタフェース２１を介して加工条件調整装置１で取得可能な各情報（例えば、レーザ加工装置２によるレーザ加工におけるレーザ出力、周波数、デューティー、加工速度、アシストガスの種類や圧力、ワークの材料種類や板厚、ノズル径、ギャップ、焦点位置、レーザ加工装置２に取付けられたプラズマ計測器４により検出されたプラズマ発生量等）を観測することができる。また、加工条件調整装置１は、機械学習装置１００から出力される処理結果をインタフェース２１を介して取得し、取得した結果を踏まえてレーザ加工装置２の動作を制御する。
【００２０】
図２は、第１の実施形態による加工条件調整装置１と機械学習装置１００の概略的な機能ブロック図である。図２に示した各機能ブロックは、図１に示した加工条件調整装置１が備えるＣＰＵ１１、及び機械学習装置１００のプロセッサ１０１が、それぞれのシステム・プログラムを実行し、加工条件調整装置１及び機械学習装置１００の各部の動作を制御することにより実現される。
【００２１】
本実施形態の加工条件調整装置１は、制御部３０、前処理部３２，状態判定部３４を備え、加工条件調整装置１が備える機械学習装置１００は、学習部１１０、意思決定部１２０を備えている。また、不揮発性メモリ１４上に設けられた基準情報記憶部５０には、予め図示しない外部記憶装置又は有線／無線のネットワークを介して、レーザ加工装置２の制御結果の判定基準となるデータが記憶されている。
【００２２】
制御部３０は、一般に制御用プログラム等による指令に従ってレーザ加工装置２の動作を制御するが、その際に、機械学習装置１００から加工条件の変更指令が出力されると、前記制御用プログラムやレーザ加工装置２に事前に設定された加工条件に代えて、機械学習装置１００から出力された加工条件となるようにレーザ加工装置２を制御する。また、制御部３０は、レーザ加工装置２の制御中に、制御用プログラムなどによるレーザ加工装置２に対する指令値や、レーザ加工装置２からレーザ出力や周波数、デューティー、加工速度等のレーザ加工装置２から取得可能な各データを逐次取得し、前処理部３２及び状態判定部３４へと出力する。
【００２３】
前処理部３２は、制御部３０及びプラズマ計測器４から取得した情報に基づいて、機械学習装置１００による学習及び意思決定に用いる状態データＳを作成する。前処理部３２は、取得したデータを機械学習装置１００において扱われる統一的な形式へと変換（数値化、正規化、サンプリング等）して状態データＳを作成する。前処理部３２が作成する状態データＳは、レーザ加工時における加工条件を示す加工条件データＳ１、レーザ加工の対象となるワークに係るワークデータＳ２、及びプラズマの発生状態に係るプラズマ発生状態データＳ３を含む。
【００２４】
加工条件データＳ１は、レーザ加工装置２において行われるレーザ加工におけるレーザ加工条件として取得することができる。レーザ加工におけるレーザ加工条件は、少なくともノズルの先端からワークまでの距離であるギャップを含む。また、レーザ加工におけるレーザ加工条件は、副次的にレーザ出力、周波数、デューティー、加工速度、アシストガスの種類や圧力、ノズル径、焦点位置等などを含んでいても良い。これらのレーザ加工条件は、レーザ加工装置２の動作を制御する制御用プログラムや、加工条件調整装置１に設定され、不揮発性メモリ１４に記憶されているレーザ加工パラメータ等から取得することができる。
【００２５】
ワークデータＳ２は、レーザ加工装置２によるレーザ加工の対象となるワークの材料の種類（鉄、アルミ等）及び板厚を少なくとも含む。ワークの材料の種類及び板厚は、レーザ加工が開始される前に、例えば作業者によりレーザ加工装置２の操作盤等を介してレーザ加工装置２に入力された情報や、作業者により入力装置７１を介して加工条件調整装置１に入力された情報、図示しないネットワークを介して製造計画装置等の他のコンピュータから取得された情報を利用することができる。
【００２６】
プラズマ発生状態データＳ３は、プラズマ計測器４により計測された、レーザ加工装置２によりレーザ加工が行われている位置の近傍におけるプラズマの発生量を少なくとも含む。プラズマ計測器４は、例えば図３に示されるように、レーザ加工装置２により加工されるワークの加工位置近傍の所定の範囲において発生したプラズマの密度及び温度を計測するようにしても良いし、図４に例示されるように、ロボットハンドに取り付けられたプラズマ計測器４で、レーザ加工装置２により加工されるワークの加工位置近傍の所定の範囲において発生したプラズマの密度及び温度を計測するようにしても良い。プラズマ発生状態データＳ３は、例えば、プラズマの粒子密度及び温度をプラズマの発生量として用いてもよいし、電荷量などによりプラズマの発生量を計測するようにしても良い。
【００２７】
状態判定部３４は、プラズマ計測器４により計測された、レーザ加工装置２によりレーザ加工が行われている位置の近傍におけるプラズマの発生量と、予め基準情報記憶部５０に記憶されている判定基準とに基づいて、現在のプラズマの発生状態を判定し、その判定結果としての判定データＤを作成する。状態判定部３４が作成する判定データＤは、現在の加工条件において最適な加工が行われた際に発生するプラズマの状態を判定基準とし、その判定基準からのズレの程度を示すプラズマ発生量判定データＤ１を含む。プラズマ発生量判定データＤ１は、最適な加工が行われた際に発生するプラズマ発生量と計測されたプラズマ発生との差分でも良いし、最適な加工が行われた際に発生するプラズマ発生量に対する計測されたプラズマ発生量の比率であっても良い。
なお、状態判定部３４は、学習の段階では必須の構成となるが、学習部１１０によるレーザ加工におけるレーザ加工条件の調整行動の学習が完了した後には必ずしも必須の構成ではない。例えば、学習が完了した機械学習装置１００を顧客に出荷する場合等には、状態判定部３４を取り外して出荷するようにしても良い。
【００２８】
図４は、基準情報記憶部５０に記憶されている判定基準テーブルの例を示している。判定基準テーブルは、例えば、レーザ加工条件と、該レーザ加工条件において最適な加工が行われた際に発生するプラズマ発生量とを関連付けたテーブルとして定義することができる。図４の例では、例えばレーザ出力がＰ1、ワークの材料種類がＷｍ1、ワークの板厚がＷｔ1、焦点位置がＦｐ1、…、であるときに、プラズマ密度がＰｄ1、温度がＰｔ1であれば、最適な加工が行われていることを示している。判定基準テーブルに定義される加工条件とプラズマ発生量との関係は、予め実験等により求めて記憶しておくようにすれば良い。なお、判定基準テーブルには設定し得る全ての加工条件について定義を行うことはできないため、加工を行う際に設定した加工条件が判定基準テーブルに定義されている加工条件に一致しない場合もある。このような場合には、判定基準テーブルに定義されている複数の加工条件に基づく線形補間等を行うことで、最適な加工が行われた際に発生するプラズマ発生量を算出するようにすれば良い。
【００２９】
学習部１１０は、前処理部３２が作成した状態データＳと、状態判定部３４が作成した判定データＤとを用いた強化学習を行い、所定の加工条件下でのレーザ加工時におけるプラズマの発生状態に対する加工条件の調整行動の良否を学習した学習済みモデルを生成する（学習する）機能手段である。強化学習は、学習対象が存在する環境の現在状態（つまり入力）を観測すると共に現在状態で所定の行動（つまり出力）を実行し、その行動に対し何らかの報酬を与えるというサイクルを試行錯誤的に反復して、報酬の総計が最大化されるような方策（本願の機械学習装置ではレーザ加工におけるレーザ加工条件の調整行動）を最適解として学習する手法である。本実施形態では、強化学習におけるレーザ加工条件の調整行動として、ギャップの調整を対象とする。
【００３０】
学習部１１０は、例えばＱ学習（Ｑ−ｌｅａｒｎｉｎｇ）として知られるアルゴリズムを用いて、所定のレーザ加工条件（ギャップ）におけるレーザ加工装置２によるワークの加工の良否判定結果（状態変数Ｓが取得された次の学習周期で作成された判定データＤに相当）に関連する報酬Ｒを求め、求めた報酬Ｒを用いてレーザ加工におけるレーザ加工条件の調整行動の価値を表す関数Ｑ（学習モデル）を更新する。このように、所定の状態ｓ（状態変数Ｓで定義される）で行動ａ（レーザ加工条件の調整行動、特にギャップの調整行動）を選択した場合の行動の価値を表す関数Ｑ（ｓ，ａ）を学習モデルとして、状態ｓで価値関数Ｑが最も高くなる行動ａを選択することが最適解となる。学習部１１０は、学習時において、状態ｓと行動ａとの相関性が未知の状態でＱ学習を開始し、任意の状態ｓで種々の行動ａを選択する試行錯誤を繰り返すことで、価値関数Ｑを反復して更新し、最適解に近付ける。学習部１１０は、価値を表す関数Ｑの更新を繰り返すことによって所定の加工条件におけるワークのレーザ加工で発生したプラズマの量に対してレーザ加工におけるレーザ加工条件の調整（例えば、ギャップの調整）を学習する。
【００３１】
学習部１１０によるＱ学習において、報酬Ｒは、例えば、所定のレーザ加工条件におけるレーザ加工時に発生するプラズマの量の良否判定結果が「良」と判定される場合（即ち、プラズマ発生量が最適な加工が行われた際に発生するプラズマ発生量に一致又は近い場合等）に正（プラス）の報酬Ｒとし、良否判定結果が「否」と判定される場合（例えば、プラズマ発生量が最適な加工が行われた際に発生するプラズマ発生量から所定のしきい値異常離れている場合や所定の割合以上に乖離している場合等）に負（マイナス）の報酬Ｒとすることができる。報酬Ｒの値は、最適な加工が行われた際に発生するプラズマ発生量から離れる度合いに応じて変化するものであっても良い。また、判定の条件として、判定データＤに複数のデータが含まれている場合には、それら複数のデータを組み合わせて判定するようにしても良い。
【００３２】
学習部１１０は、ニューラルネットワークを価値観数Ｑ（学習モデル）をとして用い、状態変数Ｓと行動ａとをニューラルネットワークの入力とし、当該状態における当該行動ａの価値（結果ｙ）を出力するように構成しても良い。この様に構成する場合、学習モデルとしては入力層、中間層、出力層の三層を備えたニューラルネットワークを用いても良いが、三層以上の層を為すニューラルネットワークを用いた、いわゆるディープラーニングの手法を用いることで、より効果的な学習及び推論を行うように構成することも可能である。学習部１１０が生成した学習済みモデルは、不揮発性メモリ１０４上に設けられた学習モデル記憶部１３０に記憶され、意思決定部１２０による対象物に係る理想的な距離画像データの推定処理に用いられる。
【００３３】
なお、学習部１１０は、学習の段階では必須の構成となるが、学習部１１０によるレーザ加工におけるレーザ加工条件の調整行動の学習が完了した後には必ずしも必須の構成ではない。例えば、学習が完了した機械学習装置１００を顧客に出荷する場合等には、学習部１１０を取り外して出荷するようにしても良い。
【００３４】
意思決定部１２０は、前処理部３２から入力された状態データＳに基づいて、学習モデル記憶部１３０に記憶された学習済みモデルを用いてレーザ加工条件の調整行動の最適解を求め、求めたレーザ加工条件の調整行動を出力する。本実施形態の意思決定部１２０では、学習部１１０による強化学習により生成された（パラメータが決定された）学習済みモデルに対して、前処理部３２から入力された状態データＳ（加工条件データＳ１、ワークデータＳ２、及びプラズマ発生状態データＳ３）と、レーザ加工条件の調整行動（例えば、ギャップの調整量）を入力データとして入力することで現在の状態において当該行動をとった場合の報酬を算出できるが、この報酬の算出を現在取り得る複数のレーザ加工条件の調整行動について行い、算出された複数の報酬を比較して、最も大きな報酬が算出されるレーザ加工条件の調整行動を最適解として推定する。意思決定部１２０が推定したレーザ加工条件の調整行動の最適解は、制御部３０へと入力されてレーザ加工条件の調整に用いられる他、例えば表示装置７０に表示出力したり、図示しない有線／無線ネットワークを介してホストコンピュータやクラウドコンピュータ等に送信出力して利用するようにしても良い。
【００３５】
本実施形態の加工条件調整装置１の一変形例として、強化学習におけるレーザ加工条件の調整行動として、ギャップの調整に加えて、アシストガスの圧力の調整をレーザ加工条件の調整行動に加えても良い。このようにする場合、学習部１１０による学習時に選択される行動ａとして、ギャップ単体を所定の調整量だけ調整するようにしても良いし、アシストガス圧単体を所定の調整量だけ調整するようにしても良いし、ギャップ及びアシストガス圧力のそれぞれを所定の調整量だけ調整するようにしても良い。
【００３６】
本実施形態の加工条件調整装置１の他の変形例として、強化学習におけるレーザ加工条件の調整行動として、ギャップの調整やアシストガスの圧力の調整に加えて、ノズル径の変更調整をレーザ加工条件の調整行動に加えても良い。このようにする場合、これらの調整行動は単独で、又は適宜組み合わせて選択するようにしても良い。ノズル径の変更は、例えば特開平１１−２２１６９１号公報等に開示される公知の技術により、ノズルの交換を行うことなく自動的に行うことが可能である。ノズル径やアシストガスの圧力はノズルから噴射されるアシストガスの流速が速い部分（マッハディスク部）の位置に影響を与えるため、これらを調整行動に加えることで、より良質な切断品質でワークの加工が行える加工条件へと調整できることが期待される。
【００３７】
本実施形態の加工条件調整装置１の他の変形例として、強化学習におけるレーザ加工条件の調整行動として、ギャップの調整に代えて、アシストガスの圧力の調整及びノズル径の変更調整をレーザ加工条件の調整行動にとしても良い。
【００３８】
本実施形態の加工条件調整装置１の他の変形例として、強化学習におけるレーザ加工条件の調整行動として、ギャップの調整に代えて、アシストガスの圧力の調整をレーザ加工条件の調整行動としても良い。
【００３９】
本実施形態の加工条件調整装置１の他の変形例として、強化学習におけるレーザ加工条件の調整行動として、ギャップの調整に代えて、ノズル径の変更調整をレーザ加工条件の調整行動としても良い。
【００４０】
以上、本発明の実施の形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。
【００４１】
例えば、機械学習装置１００が実行する学習アルゴリズム、機械学習装置１００が実行する演算アルゴリズム、加工条件調整装置１が実行する制御アルゴリズム等は、前記したものに限定されず、様々なアルゴリズムを採用できる。
【００４２】
また、上記した実施形態では加工条件調整装置１と機械学習装置１００が異なるＣＰＵ（プロセッサ）を有する装置として説明しているが、機械学習装置１００は加工条件調整装置１が備えるＣＰＵ１１と、ＲＯＭ１２に記憶されるシステム・プログラムにより実現するようにしても良い。
【符号の説明】
【００４３】
１  加工条件調整装置
２  レーザ加工装置
４  プラズマ計測器
１１  ＣＰＵ
１２  ＲＯＭ
１３  ＲＡＭ
１４  不揮発性メモリ
１６，１７，１８，１９  インタフェース
２０  バス
２１  インタフェース
３０  制御部
３２  前処理部
３４  状態判定部
５０  基準情報記憶部
７０  表示装置
７１  入力装置
１００  機械学習装置
１０１  プロセッサ
１０２  ＲＯＭ
１０３  ＲＡＭ
１０４  不揮発性メモリ
１１０  学習部
１２０  意思決定部
１３０  学習モデル記憶部
【図１】
2020028909.tif 000003
【図２】
2020028909.tif 000004
【図３】
2020028909.tif 000005
【図４】
2020028909.tif 000006
【図５】
2020028909.tif 000007
【図６】
2020028909.tif 000008