(57)【要約】【課題】加工された製品の品質を維持しつつ製造コストを最小にする。【解決手段】工作物の加工を行う加工機械と、該加工機械を加工条件に基づいて制御する制御装置２３と、加工中の加工機械の状態を取得する状態取得装置と、加工後の工作物を検査する検査装置２４と、検査装置２４による検査結果及び状態取得装置において取得された加工機械の状態に基づいて機械学習を行う機械学習装置３と、を備え、機械学習装置３が、機械学習の結果に基づいて、工作物の加工精度が向上するように、又は、工作物の不良率が最小となるように加工条件を変更する加工機械システム１を提供する。【選択図】  図１
2019025561.tif 000002
【特許請求の範囲】
【請求項１】
工作物の加工を行う加工機械と、
該加工機械を加工条件に基づいて制御する制御装置と、
前記加工中の前記加工機械の状態を取得する状態取得装置と、
前記加工後の前記工作物を検査する検査装置と、
該検査装置による検査結果及び前記状態取得装置において取得された前記加工機械の状態に基づいて機械学習を行う機械学習装置と、
を備え、
前記機械学習装置が、前記機械学習の結果に基づいて、前記工作物の加工精度が向上するように、又は、前記工作物の不良率が最小となるように前記加工条件を変更する加工機械システム。
【請求項２】
前記加工機械、前記制御装置、前記状態取得装置及び前記検査装置の夫々が、前記機械学習装置に通信ネットワークを介して互いに接続される請求項１に記載の加工機械システム。
【請求項３】
請求項１又は請求項２に記載の加工機械システムを複数備え、
一の加工機械システムで加工された同一種類の前記工作物を他の加工機械システムで加工する場合に、前記一の加工機械システムにおける前記工作物に対する前記加工条件及び前記検査結果を前記他の加工機械システムにおける前記機械学習用の学習データとして共有する製造システム。
【請求項４】
工作物の加工を行う加工機械と、
該加工機械を加工条件に基づいて制御する制御装置と、
前記加工中の前記加工機械の状態を取得する状態取得装置及び前記加工後の前記工作物を検査する検査装置と、
最終成果物としての前記工作物の評価試験を行う評価試験装置と、
該評価試験装置による前記評価試験の結果、前記検査装置による検査結果及び前記状態取得装置において取得された前記加工機械の状態に基づいて機械学習を行う機械学習装置と、
を備え、
前記機械学習装置が、前記機械学習の結果に基づいて、前記最終成果物のコストが最小となるように、前記加工条件及び前記検査装置における検査条件を変更する製造システム。
【請求項５】
前記加工機械、前記制御装置、前記状態取得装置、前記検査装置及び前記評価試験装置の夫々が、前記機械学習装置に通信ネットワークを介して互いに接続される請求項４に記載の製造システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、加工機械システム及び製造システムに関する。
【背景技術】
【０００２】
一般に、機械加工や組み立てを行う工場においては、工作機械、射出成形機、産業用ロボット等の加工機械を組み合わせた加工機械システムにより加工セルが構築され、この加工セルを単位として、ワーク（工作物）の加工や溶接等の作業が行われている。
このような加工機械システムでは、加工されたワークを検査する段階において異常と判断されて加工条件を調整する必要が出てきた場合、該当する加工機械を停止して、加工条件を人手により調整する必要があった。
特許文献１には、加工された製品の加工結果である数値情報と規格情報とのずれ量を求め、このずれ量に基づいて、設備停止することなく、リアルタイムに加工条件を補正可能な製品加工条件設定装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平５−１０４３９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、製品の規格情報、すなわち、設計データは、品質を優先するため、その製品に最終的に要求される性能に対して厳しすぎる場合がある。このような場合、特許文献１のように、製品の規格情報と製品の加工結果とのずれ量に基づいて加工条件を補正して加工精度を高くすることは、製造コストの面において必ずしも最適であるとはいえない。
【０００５】
本発明は、上述した事情に鑑みてなされたものであって、加工された製品の品質を維持しつつ製造コストを最小にすることが可能な加工機械システム及び製造システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明は以下の手段を提供する。
本発明の第１の態様は、工作物の加工を行う加工機械と、該加工機械を加工条件に基づいて制御する制御装置と、前記加工中の前記加工機械の状態を取得する状態取得装置と、前記加工後の前記工作物を検査する検査装置と、該検査装置による検査結果及び前記状態取得装置において取得された前記加工機械の状態に基づいて機械学習を行う機械学習装置と、を備え、前記機械学習装置が、前記機械学習の結果に基づいて、前記工作物の加工精度が向上するように、又は、前記工作物の不良率が最小となるように前記加工条件を変更する加工機械システムである。
【０００７】
本態様に係る加工機械システムによれば、制御装置によって、工作物の加工を行う加工機械が加工条件に基づいて制御され、状態取得装置によって加工中の加工機械の状態が取得される。一方で、検査装置によって、加工後の工作物が検査される。そして、得られた加工機械の状態及び工作物の検査結果に基づいて、機械学習装置によって機械学習が行われ、工作物の加工精度が向上するように、又は、工作物の不良率が最小となるように加工条件が変更される。
このようにすることで、必要以上に加工精度が高くなることによって製造コストが増大してしまうことを防止することができる。
【０００８】
上記第１の態様に係る加工機械システムにおいて、前記加工機械、前記制御装置、前記状態取得装置及び前記検査装置の夫々が、前記機械学習装置に通信ネットワークを介して互いに接続されていてもよい。
【０００９】
本発明の第２の態様は、上述の加工機械システムを複数備え、一の加工機械システムで加工された同一種類の前記工作物を他の加工機械システムで加工する場合に、前記一の加工機械システムにおける前記工作物に対する前記加工条件及び前記検査結果を前記他の加工機械システムにおける前記機械学習用の学習データとして共有する製造システムである。
このようにすることで、学習効率を高めることができる。
【００１０】
本発明の第３の態様は、工作物の加工を行う加工機械と、該加工機械を加工条件に基づいて制御する制御装置と、前記加工中の前記加工機械の状態を取得する状態取得装置及び前記加工後の前記工作物を検査する検査装置と、最終成果物としての前記工作物の評価試験を行う評価試験装置と、該評価試験装置による前記評価試験の結果、前記検査装置による検査結果及び前記状態取得装置において取得された前記加工機械の状態に基づいて機械学習を行う機械学習装置と、を備え、前記機械学習装置が、前記機械学習の結果に基づいて、前記最終成果物のコストが最小となるように、前記加工条件及び前記検査装置における検査条件を変更する製造システムである。
【００１１】
上記第３の態様に係る製造システムによれば、制御装置によって、工作物の加工を行う加工機械が加工条件に基づいて制御され、状態取得装置によって加工中の加工機械の状態が取得される。また、検査装置によって、加工後の工作物が検査される。一方で、評価試験装置によって、最終成果物としての工作物の評価試験が行われる。そして、評価試験装置による評価試験の結果、検査装置による検査結果及び加工機械の状態に基づいて機械学習が行われ、最終成果物のコストが最小となるように加工条件及び検査条件が変更される。
【００１２】
これにより、最終成果物であるワークの性能評価試験の結果に基づいて、最適な加工条件及び最適な検査条件を決定することができるため、最終成果物のコストを最小にすることができる。
【００１３】
上記第３の態様に係る製造システムにおいて、前記加工機械、前記制御装置、前記状態取得装置、前記検査装置及び前記評価試験装置の夫々が、前記機械学習装置に通信ネットワークを介して互いに接続されていてもよい。
【発明の効果】
【００１４】
本発明によれば、加工された工作物の品質を維持しつつ製造コストを最小にする抑えることができるという効果を奏する。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１実施形態に係る加工機械システムの概略構成を示すブロック図である。
【図２】図１の加工機械システムに備えられる機械学習装置の概略構成を示すブロック図である。
【図３】図２の機械学習装置において実行される処理を示すフローチャートである。
【図４】本発明の第２実施形態に係る製造システムの概略構成を示すブロック図である。
【図５】図４の製造システムに備えられる機械学習装置の概略構成を示すブロック図である。
【図６】図５の機械学習装置において実行される処理を示すフローチャートである。
【図７】本発明の第１及び第２実施形態における強化学習の枠組みを説明する図である。
【発明を実施するための形態】
【００１６】
[第１実施形態]
以下、本発明の第１実施形態に係る加工機械システムについて、図面を参照して詳細に説明する。なお、本実施形態では、加工機械として切削機械を例に挙げて説明するが、これに限定されず、射出成形機やアーク溶接ロボット等であってもよい。
【００１７】
図１に示されるように、本実施形態の加工機械システム１は、ワークの加工を行う切削機械（加工機械）２１、切削機械２１を制御する制御装置２３、切削機械２１に取り付けられて切削機械２１の状態を取得するセンサ（状態取得装置）２２及び加工後のワークを検査する検査装置２４を備える加工セル２と、機械学習装置３と、を備えている。加工セル２に備えられる切削機械２１、センサ２２、制御装置２３及び検査装置２４の夫々は、イーサネット（登録商標）やＦＬ−ＮＥＴ等の通信ネットワーク４を介して、機械学習装置３に接続されている。
【００１８】
加工セル２では、機械学習装置３において決定された加工条件に基づいて、制御装置２３が切削機械２１を制御することでワークの加工が行われる。加工中の切削機械２１の状態は、センサ２２によって検出され、状態データとして機械学習装置３に送信される。一方、検査装置２４は、切削機械２１によって加工された加工後のワークの検査を実施する。検査装置２４における検査では、ワークの設計データと加工後のワークとに基づいて加工誤差が算出されるとともに、ワークの不良率の判定が行われ、検査結果データが機械学習装置３に送信される。そして、機械学習装置３において、切削機械２１の状態データと検査装置２４で得られた検査結果データとに基づいて学習が行われる。
【００１９】
本実施形態における機械学習装置３は、強化学習を行うように構成されている。強化学習の枠組みは、エージェント、環境及びこれらの間の相互作用からなる。相互作用を記述するための数理モデルとしてマルコフ決定過程（ＭＤＰ）を採用した場合の強化学習の枠組みを図７に示す。
なお、本実施形態では、数理モデルとしてマルコフ決定過程を採用するが、エージェントが状態を直接的に受け取ることができない部分観測マルコフ過程等が採用されてもよい。
【００２０】
エージェントは、行動を決定する主体であり、本実施形態においては機械学習装置３がこれに相当する。環境は、エージェントが相互作用を行う対象であり、本実施形態においては制御対象となる切削機械２１がこれに相当する。状態とは、切削機械２１の状態を表しており、例えば、主軸の回転速度、送り速度、工具の位置、切削負荷、外乱、ワーク（工作物）の位置等である。行動とは、エージェントである機械学習装置３が制御対象である切削機械２１に対して行う働きかけであり、例えば、主軸の回転角度や送り速度等の加工条件である。報酬は、行動に対しての即時的な良さである。エージェントが行動を決定するためのルールは方策と呼ばれる。
【００２１】
より具体的には、エージェントと環境は以下のステップを実行する。
ステップ１：  エージェントが時刻ｔにおいて観測された環境の状態ｓｔに応じて意思決定を行い、行動ａｔを出力する。
ステップ２：  環境がｓｔ＋１に状態遷移し、その遷移に応じた報酬ｒｔをエージェントに与える。
ステップ３：  時刻ｔをｔ＋１に進めてステップ１に戻る。
【００２２】
エージェントの学習目標は、収益を最大化すること、又は、そのための方策を求めることである。収益は、ある期間で得られる累積の報酬のことであり、最も単純な収益は、報酬の総計である。強化学習においては、収益として、割引報酬和がよく用いられる。時刻ｔにおける収益Ｇｔは式（１）で定義される。
【００２３】
【数１】
2019025561.tif 000003
ここで、γは割引率（０≦γ＜１）である。
【００２４】
状態価値関数は、ある状態から方策πに従って行動を決定していったときに得られる収益Ｇｔの期待値であり、Ｖπ（ｓ）で表される。また、行動価値関数は、状態のみならず行動を条件に加えたものであり、Ｑπ（ｓ，ａ）で表される。
【００２５】
遷移可能な２つの状態ｓ、ｓ’において成立する関係として、ベルマン方程式が成立する。ある方策πのもとでの状態価値関数に関するベルマン方程式を式（２）に示す。
【００２６】
【数２】
2019025561.tif 000004
【００２７】
ここで、Sは状態集合、Ａ（ｓ）は状態ｓにおける行動集合である。π（ａ｜ｓ）は、状態ｓにおいて行動ａが決定される確率、Ｐ（ｓ’｜ｓ，ａ）は、状態ｓにおいて行動ａが決定された場合に状態ｓ’に遷移する遷移確率、Ｒ（ｓ，ａ，ｓ’）は、状態ｓにおいて行動ａが決定されて状態ｓ’に遷移した際に得られる報酬の期待値である。
【００２８】
ある方策πのもとでの行動価値関数に関するベルマン方程式を式（３）に示す。
【００２９】
【数３】
2019025561.tif 000005
【００３０】
式（３）で示される行動価値関数に関するベルマン方程式を試行錯誤による経験で解くためのアルゴリズムの一つとして、例えば、Sarsaが知られている。Sarsaは、式（４）に示されるように、状態ｓｔにおいて行動ａｔを選択した結果として報酬ｒｔ＋１及び次に遷移する状態ｓｔ＋１を観測した場合に、１時間ステップ後に遷移する状態において選択される行動ａｔ＋１によって行動価値Ｑ（ｓｔ，ａｔ）を更新する学習アルゴリズムである。
【００３１】
【数４】
2019025561.tif 000006
【００３２】
本実施形態における機械学習装置４は、上述のSarsaのほか、ＴＤ学習、Ｑ学習、ＡＣ（Actor-Critic)法等、周知のアルゴリズムを用いて強化学習を行うことができるように構成されている。
【００３３】
機械学習装置３は、互いにバスを介して接続された、不図示のプロセッサと、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶装置と、ＨＤＤ（Hard Disk Drive）等の補助記憶装置と、外部機器との間で種々のデータのやりとりを行う外部インタフェース等とを備えており、プロセッサが後述する各機能を実現するように構成されている。なお、機械学習装置３は、加工セル２を制御するセルコントローラに備えられていてもよい。
機械学習装置３は、機能的には、図２に示されるように、判定データ取得部３１と、状態観測部３２と、意思決定部３３と、学習部３４と、を備えている。
【００３４】
機械学習装置３において、判定データ取得部３１は、学習部３４に備えられる報酬計算部３４１に接続されている。報酬計算部３４１は、学習部３４に備えられる価値関数更新部３４２に接続されている。状態観測部３２は学習部３４に備えられる価値関数更新部３４２に接続されている。学習部３４に備えられる価値関数更新部３４２は、意思決定部３３に接続されている。
【００３５】
判定データ取得部３１は、検査装置２４（図１参照）において検査された加工後のワークの検査結果データ、すなわち、加工後のワークの加工誤差及びワークの良否判定結果を取得するように構成されている。
【００３６】
状態観測部３２は、切削機械２１に取り付けられたセンサ２２及び又は切削機械２１を制御する制御装置２３から、ワーク加工中の切削機械２１の状態を示す状態データを取得するように構成されている。状態データは、ワーク加工中に所定時間毎に取得され、図示しないメモリに時系列で記憶される。なお、この状態データは、後段の学習部３４で使用するのに適した形式となるように必要に応じて加工されてもよい。
【００３７】
学習部３４に備えられる報酬計算部３４１は、判定データ取得部３１で取得した加工後のワークの加工誤差及びワークの良否判定結果に基づいて報酬を計算するように構成されている。
【００３８】
学習部３４に備えられる価値関数更新部３４２は、報酬計算部３４１で計算された報酬と、状態観測部３２で取得された状態データに基づいて価値関数を逐次更新するように構成されている。
【００３９】
意思決定部３３は、価値関数更新部３４２で更新された価値関数に基づいて、行動、すなわち、新たな加工条件を決定し、決定された加工条件を制御装置２３に送信するように構成されている。
以下、機械学習装置３における処理について、図２及び図３を参照しながらさらに詳細に説明する。
【００４０】
まず、意思決定部３３において、決定された加工条件が制御装置２３に出力される（図３のステップＳＡ１）。学習開始直後の場合には、予め設定された初期値が加工条件として出力される。この初期値は、例えば、事前にバッチ学習を行うことで、価値関数の初期値を設定し、これに基づいて加工条件の初期値が決定されてもよい。
【００４１】
加工セル２において、制御装置２３が、意思決定部３３から出力された加工条件に基づいて切削機械２１を動作させ、ワークを加工させる。ワークを加工中の切削機械２１の状態を示す状態データは、切削機械２１に取り付けられたセンサ２２によって検出され、又は、制御装置２３に保持された内部データから得られる。この状態データは、通信ネットワーク４を介して機械学習装置３に送信され、状態観測部３２によって取得される（図３のステップＳＡ２）。
【００４２】
一方で、加工後のワークは加工セル２における検査装置２４で検査が行われる。検査結果データは、通信ネットワーク４を介して機械学習装置３に送信され、判定データ取得部３１によって取得される（図３のステップＳＡ３）。
続いて、報酬計算部３４１において、報酬の計算が行われる（図３のステップＳＡ４〜ＳＡ９）。
【００４３】
まず、判定データ取得部３１において検査結果データとして得られたワークの加工誤差を、１時間ステップ前に得たワークの加工誤差と比較し、誤差値が小さくなったかどうかを判定する（ステップＳＡ４）。誤差値が小さくなっていた場合には、報酬を増加させ（ステップＳＡ５）、誤差値が前回と等しいか、又は大きくなっていた場合には、報酬を減少させる（ステップＳＡ６）。
【００４４】
次に、判定データ取得部３１において検査結果データとして得られたワークの不良率を、１時間ステップ前に得たワークの不良率と比較し、不良率が小さくなったかどうかを判定する（ステップＳＡ７）。不良率が小さくなっていた場合には、報酬を増加させ（ステップＳＡ８）、不良率が前回と等しいか、又は大きくなっていた場合には、報酬を減少させる（ステップＳＡ９）。
【００４５】
なお、上記判定において、今回の不良率と１時間ステップ前の不良率とを比較する代わりに、今回の検査によって得られたワークの良否判定が判定基準とされてもよい。この場合には、ワークが「良」と判定された際に報酬を増加させ、ワークが「不良」と判定された際に報酬を減少させる。
【００４６】
次に、価値関数更新部３４２において、報酬計算部３４１によって算出された報酬と、状態観測部３２によって取得された状態データとに基づいて、価値関数が更新される（図３のステップＳＡ１０）。
【００４７】
最後に、引き続き学習を継続するか否かが判断され（図３のステップＳＡ１１）、学習を継続する場合には、ステップＳＡ１に戻り、更新された価値関数に基づいて、意思決定部３３において新たな加工条件を出力し、その後、ステップＳＡ２〜ステップＳＡ１１までの処理が繰り返される。学習を継続しない場合には、機械学習部３における処理を終了する。
【００４８】
このように、本実施形態では、報酬計算部３４１において、報酬の増減が、上述の２段階の判定基準により行われる。従って、たとえワークの加工誤差が１時間ステップ前の加工誤差と比較して大きくなり、報酬が減じられたとしても、「不良」と判定されない場合には、報酬を増加させることができる。これにより、必要以上に加工精度を高くすることによって製造コストが増大してしまうことを防止することができる。
【００４９】
なお、上述の加工機械システム１とは異なる別の加工機械システムにおいて同一種類のワークを加工する場合に、加工機械システム１における加工条件及び検査結果を、前記別の加工機械システムにおける機械学習用の学習データとして共有すると好適である。又は、上述の加工機械システム１と前記別の加工機械システムとにおいて、価値関数を共有することで分散学習を行ってもよい。
このようにすることで、学習効率を高めることができる。
【００５０】
[第２実施形態]
以下、本発明の第２実施形態に係る製造システムについて、図面を参照して詳細に説明する。なお、本実施形態では、加工機械として切削機械を例に挙げて説明するが、これに限定されず、射出成形機やアーク溶接ロボット等であってもよい。
【００５１】
図４に示されるように、本実施形態の製造システム１０は、ワークの加工を行う切削機械（加工機械）２１、切削機械２１を制御する制御装置２３、切削機械２１に取り付けられて切削機械２１の状態を取得するセンサ（状態取得装置）２２及び加工後のワークを検査する検査装置２４を備える加工セル２と、評価試験装置５と、機械学習装置１３と、を備えている。加工セル２に備えられる切削機械２１、センサ２２、制御装置２３及び検査装置２４の夫々並びに評価試験装置５は、イーサネット（登録商標）やＦＬ−ＮＥＴ等の通信ネットワーク４を介して、機械学習装置１３に接続されている。
【００５２】
製造システム１０は、複数の加工セル２を備えていてもよい。なお、加工セル２で実施される処理は、上述の第１の実施形態と同様であるため、説明を省略する。
評価試験装置５は、最終成果物としてのワークの性能を評価するように構成されている。すなわち、評価試験装置５は、加工セル２を複数備える場合、全ての加工セル２におけるワークの加工が終了した後で、加工後のワークの性能を評価する。なお、評価試験は、非破壊試験で実施されるのが好ましい。
【００５３】
本実施形態における機械学習装置１３は、第１実施形態の機械学習装置３と同様に、強化学習を行うように構成され、不図示のプロセッサと、主記憶装置と、補助記憶装置と、外部インタフェース等を備えており、プロセッサが後述する各機能を実現するように構成されている。
【００５４】
機械学習装置１３は、機能的には、図５に示されるように、判定データ取得部１３１と、状態観測部１３２と、意思決定部１３３と、学習部３４と、を備えている。
機械学習装置１３において、判定データ取得部１３１は、学習部３４に備えられる報酬計算部３４１に接続されている。報酬計算部３４１は、学習部３４に備えられる価値関数更新部３４２に接続されている。状態観測部１３２は学習部３４に備えられる価値関数更新部３４２に接続されている。学習部３４に備えられる価値関数更新部３４２は、意思決定部１３３に接続されている。
【００５５】
判定データ取得部１３１は、評価試験装置５（図４参照）において評価された加工後のワークの評価試験結果を取得するように構成されている。
状態観測部１３２は、切削機械２１に取り付けられたセンサ２２及び又は切削機械２１を制御する制御装置２３からワーク加工中の切削機械２１の状態を示す状態データを取得するとともに、検査装置２４から検査結果データを取得するように構成されている。状態データは、ワーク加工中に所定時間毎に取得され、図示しないメモリに時系列で記憶される。なお、この状態データは、後段の学習部３４で使用するのに適した形式となるように必要に応じて加工されてもよい。検査結果データには、検査装置２４において良否判定される際に使用された検査条件（閾値）に関する情報も含まれている。
【００５６】
学習部３４に備えられる報酬計算部３４１は、判定データ取得部１３１で取得した評価試験結果に基づいて報酬を計算するように構成されている。
学習部３４に備えられる価値関数更新部３４２は、報酬計算部３４１で計算された報酬と、状態観測部３２で取得された状態データ及び検査結果データに基づいて価値関数を逐次更新するように構成されている。
【００５７】
意思決定部１３３は、価値関数更新部３４２で更新された価値関数に基づいて、行動、すなわち、新たな加工条件及び新たな検査条件を決定し、決定された加工条件を制御装置２３に送信するとともに、決定された検査条件を検査装置２４に送信するように構成されている。
【００５８】
以下、機械学習装置１３における処理について、図５及び図６を参照しながらさらに詳細に説明する。
まず、意思決定部１３３において、決定された加工条件及び検査条件が制御装置２３に出力される（図６のステップＳＢ１）。学習開始直後の場合には、予め設定された初期値が加工条件及び検査条件としてそれぞれ出力される。
【００５９】
そして、加工セル２において、制御装置２３が、意思決定部１３３から出力された加工条件に基づいて切削機械２１を動作させ、ワークを加工させる。ワークを加工中の切削機械２１の状態を示す状態データは、切削機械２１に取り付けられたセンサ２２によって検出され、又は、制御装置２３に保持された内部データから得られる。この状態データは、通信ネットワーク４を介して機械学習装置１３に送信され、状態観測部１３２によって取得される（図６のステップＳＢ２）。また、加工後のワークは、意思決定部１３３から出力された検査条件に基づいて、検査装置２４で検査が行われる。検査結果データは、通信ネットワーク４を介して機械学習装置１３に送信され、状態観測部１３２によって取得される（図６のステップＳＢ３）。
【００６０】
一方で、全ての加工工程を終えた加工後のワークは、評価試験装置５においてワークの性能評価が行われる。評価試験結果は、通信ネットワーク４を介して機械学習装置１３に送信され、判定データ取得部１３１によって取得される（図６のステップＳＢ４）。
【００６１】
続いて、報酬計算部３４１において、報酬の計算が行われる（図６のステップＳＢ５〜ＳＢ７）。判定データ取得部１３１で得られた評価試験結果を１時間ステップ前に得た評価試験結果と比較し、最終成果物の歩留まりが大きくなったかどうかを判定する（ステップＳＢ５）。最終成果物であるワークの歩留まりが大きくなっていた場合には、報酬を増加させ（ステップＳＢ６）、最終成果物であるワークの歩留まりが前回と等しいか、又は小さくなっていた場合には、報酬を減少させる（ステップＳＢ７）。
【００６２】
なお、上記判定において、今回の歩留まりと１時間ステップ前の歩留まりとを比較する代わりに、今回の評価試験によって得られたワークの良否判定が判定基準とされてもよい。この場合には、最終成果物であるワークが「良」と判定された際に報酬を増加させ、ワークが「不良」と判定された際に報酬を減少させる。
【００６３】
次に、価値関数更新部３４２において、報酬計算部３４１によって算出された報酬と、状態観測部３２によって取得された状態データ及び検査結果データとに基づいて、価値関数が更新される（図６のステップＳＢ８）。
【００６４】
最後に、引き続き学習を継続するか否かが判断され（図６のステップＳＢ９）、学習を継続する場合には、ステップＳＢ１に戻り、更新された価値関数に基づいて、意思決定部１３３において新たな加工条件及び新たな検査条件を出力し、その後、ステップＳＢ２〜ステップＳＢ９までの処理が繰り返される。学習を継続しない場合には、機械学習部１３における処理を終了する。
【００６５】
このように、本実施形態では、報酬計算部３４１において、報酬が、最終成果物であるワークの評価試験結果に基づいて算出される。また、状態観測部１３２において、切削機械２１の状態データだけでなく、検査装置２４の検査条件も取得される。そして、この報酬、切削機械２１の状態データ及び検査装置２４の検査条件に基づいて価値関数が更新され、新たな加工条件及び新たな検査条件が決定される。
【００６６】
これにより、最終成果物であるワークの性能評価試験の結果に基づいて、最適な加工条件及び最適な検査条件を決定することができるため、最終成果物のコストを最小にすることができる。
【００６７】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００６８】
１  加工機械システム
２  加工セル
３，１３  機械学習装置
４  通信ネットワーク
５  評価試験装置
１０  製造システム
２１  切削機械（加工機械）
２２  センサ（状態取得装置）
２３  制御装置
２４  検査装置
【図１】
2019025561.tif 000007
【図２】
2019025561.tif 000008
【図３】
2019025561.tif 000009
【図４】
2019025561.tif 000010
【図５】
2019025561.tif 000011
【図６】
2019025561.tif 000012
【図７】
2019025561.tif 000013