(57)【特許請求の範囲】
【請求項１】
少なくとも１つの射出成形機を備え、機械学習を行う人工知能を有する射出成形システムであって、
前記射出成形機による射出成形を実行した時、実行中の射出成形に関する物理量を観測する状態観測部と、
前記状態観測部で観測した物理量データを記憶する物理量データ記憶部と、
前記機械学習における報酬条件を設定する報酬条件設定部と、
前記状態観測部が観測した前記物理量データと前記報酬条件設定部に設定された前記報酬条件とに基づいて報酬を計算する報酬計算部と、
前記報酬計算部が算出した前記報酬と前記射出成形システムに設定されている操作条件と前記物理量データとに基づいて操作条件調整の機械学習を行う操作条件調整学習部と、
前記操作条件調整学習部が機械学習した学習結果を記憶する学習結果記憶部と、
前記操作条件調整学習部が行った学習結果に基づいて操作条件調整の対象と調整量を決定して出力する操作条件調整量出力部と、
を備えた機械学習を行う人工知能を有する射出成形システム。
【請求項２】
前記学習結果記憶部に記憶された学習結果を前記操作条件調整学習部の学習に使用することを特徴とした請求項１に記載の射出成形システム。
【請求項３】
計測手段を更に備え、
前記状態観測部が観測する前記物理量データは、前記計測手段によって計測される成形品の重量、寸法、成形品の画像データから算出される外観、長さ、角度、面積、体積、光学成形品の光学検査結果、成形品強度計測結果のうちの少なくとも一つを含み、
前記物理量データ記憶部が他の前記物理量データと共に一つの成形品の物理量データとして記憶する、
ことを特徴とする請求項１または２に記載の射出成形システム。
【請求項４】
前記射出成形機に備えられた表示器から前記報酬条件設定部への報酬条件の入力が可能である、
ことを特徴とする請求項１〜３のいずれか１つに記載の射出成形システム。
【請求項５】
前記報酬計算部が、物理量データの安定化、サイクルタイム短縮、省エネルギー化のうちの少なくとも１つに寄与するとその程度に応じてプラスの報酬を与える、
ことを特徴とする請求項１〜４のいずれか１つに記載の射出成形システム。
【請求項６】
前記報酬計算部が、物理量データが不安定化、サイクルタイム延長、消費エネルギー増大のうちの少なくとも１つの事象が発生したらその程度に応じてマイナスの報酬を与える、
ことを特徴とする請求項１〜５のいずれか１つに記載の射出成形システム。
【請求項７】
前記物理量データに予め許容値が設定されており、
前記報酬計算部が前記許容値内に前記物理量データが収まるとプラスの報酬を与えること、
を特徴とした請求項１〜６のいずれか１つに記載の射出成形システム。
【請求項８】
前記物理量データに予め許容値が設定されており、
前記報酬計算部が前記許容値から前記物理量データが外れるとその乖離量に基づいてマイナスの報酬を与える、
ことを特徴とする請求項１〜７のいずれか１つに記載の射出成形システム。
【請求項９】
前記物理量データに予め目標値が設定されており、
前記報酬計算部が前記目標値に前記物理量データが接近すると前記目標値と前記物理量との乖離量に基づいてプラスの報酬を与える、
ことを特徴とする請求項１〜８のいずれか１つに記載の射出成形システム。
【請求項１０】
前記物理量データに予め目標値が設定されており、
前記報酬計算部が前記目標値から前記物理量データが離れると前記目標値と前記物理量との乖離量に基づいてマイナスの報酬を与える、
ことを特徴とする請求項１〜９のいずれか１つに記載の射出成形システム。
【請求項１１】
前記報酬計算部が、成形不良を示す状態が発生したらその程度に応じてマイナスの報酬を与える、
ことを特徴とする請求項１〜１０のいずれか１つに記載の射出成形システム。
【請求項１２】
前記成形不良が、バリ、ヒケ、ソリ、気泡、ショート、フローマーク、ウェルド、シルバーストリーク、色むら、変色、炭化、不純物の混入、レンズ成形品の光軸の許容値外へのずれ、成形品厚さ不良のうちの少なくとも１つである、
ことを特徴とする請求項１１に記載の射出成形システム。
【請求項１３】
前記操作条件調整学習部が機械学習する操作条件が、型締条件、エジェクト条件、射出保圧条件、計量条件、温度条件、ノズルタッチ条件、樹脂供給条件、型厚条件、成形品取出条件、ホットランナ条件のうちの少なくとも１つである、
ことを特徴とする請求項１〜１２のいずれか１つに記載の射出成形システム。
【請求項１４】
前記成形品取出条件が設定される成形品取出手段としてのロボットを更に備える、
ことを特徴とする請求項１３に記載の射出成形システム。
【請求項１５】
前記操作条件のうちの少なくとも１つを所定の範囲内で変動させて前記操作条件調整学習部に学習させる、
ことを特徴とする請求項１〜１４のいずれか１つに記載の射出成形システム。
【請求項１６】
複数の前記射出成形システムがそれぞれ外部との通信手段を更に備え、それぞれの前記物理量データ記憶部が記憶した物理量データや学習結果記憶部が記憶した学習結果を送受信して共有する、
ことを特徴とする請求項１〜１５のいずれか１つに記載の射出成形システム。
【請求項１７】
射出成形機による射出成形を実行した時、実行中の射出成形に関する物理量を観測する状態観測部と、
前記状態観測部で観測した物理量データを記憶する物理量データ記憶部と、
機械学習における報酬条件を設定する報酬条件設定部と、
前記状態観測部が観測した前記物理量データと前記報酬条件設定部に設定された前記報酬条件とに基づいて報酬を計算する報酬計算部と、
前記報酬計算部が算出した前記報酬と前記射出成形システムに設定されている操作条件と前記物理量データとに基づいて操作条件調整の機械学習を行う操作条件調整学習部と、
前記操作条件調整学習部が機械学習した学習結果を記憶する学習結果記憶部と、
前記操作条件調整学習部が行った学習結果に基づいて操作条件調整の対象と調整量を決定して出力する操作条件調整量出力部と、
を備えたことを特徴とする機械学習器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、射出成形システムに関し、特にオペレータによる調整なしに最適な操作条件を算出できる射出成形システムする。
【背景技術】
【０００２】
新規成形品の金型を作製した場合、該金型に基づく成形品の量産を開始する前に、成形条件を含む操作条件の最適な値を算出する必要がある。射出成形機の最適な操作条件を算出する操作条件出し作業においては、経験に基づいておおよその基準となる操作条件を設定して成形作業を行いつつ、オペレータが、工程監視データや成形品重量計測を参照し、成形品を目視チェックするなどして成形状態を確認しながら、各種操作条件を調整し、最適な操作条件になるよう調整する必要がある。このため、オペレータが各種操作条件の調整や、各操作条件で成形された成形品を比較しながら、時間を掛けて最適な操作条件を算出する必要があった。
【０００３】
一方で、オペレータによる成形条件の設定作業を支援する従来技術として、成形条件や成形データを不揮発性メモリに記憶しておいて比較表示する技術や、オペレータの要求に応じて過去の成形条件を読み出して利用する技術などが開示されている（例えば、特許文献１，２など）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０６−０３９８８９号公報
【特許文献２】特開平１１−３３３８９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
オペレータによる操作条件出し作業には、作業を行うオペレータの技量により、最適な操作条件を算出するまでに時間が掛かったり、オペレータによって最適な操作条件のレベル（品質）に差が生じたりすることがあり、毎回、同じ基準での操作条件を算出することが困難であるという課題があった。
【０００６】
また、操作条件出し作業においては、量産時における成形品の製造コストの観点から成形時の消費電力を抑えることができる操作条件を導出することも重要な観点である。しかし、成形品の品質を高く保ちながら消費電力を抑えて成形するための操作条件を導出することは熟練のオペレータであっても困難であるという課題があった。
【０００７】
そして、このような課題は特許文献１，２に開示されるように、成形条件の履歴を記憶して単に利用するだけでは解決することができない。
【０００８】
そこで本発明の目的は、成形条件を含む操作条件の調整を短時間で行うことが可能であり、また、より消費電力の少ない条件で成形を行うことを可能とする射出成形システムを提供することである。
【課題を解決するための手段】
【０００９】
本願の請求項１に係る発明は、少なくとも１つの射出成形機を備え、機械学習を行う人工知能を有する射出成形システムであって、前記射出成形機による射出成形を実行した時、実行中の射出成形に関する物理量を観測する状態観測部と、前記状態観測部で観測した物理量データを記憶する物理量データ記憶部と、前記機械学習における報酬条件を設定する報酬条件設定部と、前記状態観測部が観測した前記物理量データと前記報酬条件設定部に設定された前記報酬条件とに基づいて報酬を計算する報酬計算部と、前記報酬計算部が算出した前記報酬と前記射出成形システムに設定されている操作条件と前記物理量データとに基づいて操作条件調整の機械学習を行う操作条件調整学習部と、前記操作条件調整学習部が機械学習した学習結果を記憶する学習結果記憶部と、前記操作条件調整学習部が行った学習結果に基づいて操作条件調整の対象と調整量を決定して出力する操作条件調整量出力部と、を備えた機械学習を行う人工知能を有する射出成形システムである。
【００１０】
本願の請求項２に係る発明は、前記学習結果記憶部に記憶された学習結果を前記操作条件調整学習部の学習に使用することを特徴とした請求項１に記載の射出成形システムである。
【００１１】
本願の請求項３に係る発明は、計測手段を更に備え、前記状態観測部が観測する前記物理量データは、前記計測手段によって計測される成形品の重量、寸法、成形品の画像データから算出される外観、長さ、角度、面積、体積、光学成形品の光学検査結果、成形品強度計測結果のうちの少なくとも一つを含み、前記物理量データ記憶部が他の前記物理量データと共に一つの成形品の物理量データとして記憶する、ことを特徴とする請求項１または２に記載の射出成形システムである。
【００１２】
本願の請求項４に係る発明は、前記射出成形機に備えられた表示器から前記報酬条件設定部への報酬条件の入力が可能である、ことを特徴とする請求項１〜３のいずれか１つに記載の射出成形システムである。
【００１３】
本願の請求項５に係る発明は、前記報酬計算部が、物理量データの安定化、サイクルタイム短縮、省エネルギー化のうちの少なくとも１つに寄与するとその程度に応じてプラスの報酬を与える、ことを特徴とする請求項１〜４のいずれか１つに記載の射出成形システムである。
【００１４】
本願の請求項６に係る発明は、前記報酬計算部が、物理量データが不安定化、サイクルタイム延長、消費エネルギー増大のうちの少なくとも１つの事象が発生したらその程度に応じてマイナスの報酬を与える、ことを特徴とする請求項１〜５のいずれか１つに記載の射出成形システムである。
【００１５】
本願の請求項７に係る発明は、前記物理量データに予め許容値が設定されており、前記報酬計算部が前記許容値内に前記物理量データが収まるとプラスの報酬を与えること、を特徴とした請求項１〜６のいずれか１つに記載の射出成形システムである。
【００１６】
本願の請求項８に係る発明は、前記物理量データに予め許容値が設定されており、前記報酬計算部が前記許容値から前記物理量データが外れるとその乖離量に基づいてマイナスの報酬を与える、ことを特徴とする請求項１〜７のいずれか１つに記載の射出成形システムである。
【００１７】
本願の請求項９に係る発明は、前記物理量データに予め目標値が設定されており、前記報酬計算部が前記目標値に前記物理量データが接近すると前記目標値と前記物理量との乖離量に基づいてプラスの報酬を与える、ことを特徴とする請求項１〜８のいずれか１つに記載の射出成形システムである。
【００１８】
本願の請求項１０に係る発明は、前記物理量データに予め目標値が設定されており、前記報酬計算部が前記目標値から前記物理量データが離れると前記目標値と前記物理量との乖離量に基づいてマイナスの報酬を与える、
ことを特徴とする請求項１〜９のいずれか１つに記載の射出成形システムである。
【００１９】
本願の請求項１１に係る発明は、前記報酬計算部が、成形不良を示す状態が発生したらその程度に応じてマイナスの報酬を与える、ことを特徴とする請求項１〜１０のいずれか１つに記載の射出成形システムである。
【００２０】
本願の請求項１２に係る発明は、前記成形不良が、バリ、ヒケ、ソリ、気泡、ショート、フローマーク、ウェルド、シルバーストリーク、色むら、変色、炭化、不純物の混入、レンズ成形品の光軸の許容値外へのずれ、成形品厚さ不良のうちの少なくとも１つである、ことを特徴とする請求項１１に記載の射出成形システムである。
【００２１】
本願の請求項１３に係る発明は、前記操作条件調整学習部が機械学習する操作条件が、型締条件、エジェクト条件、射出保圧条件、計量条件、温度条件、ノズルタッチ条件、樹脂供給条件、型厚条件、成形品取出条件、ホットランナ条件のうちの少なくとも１つである、ことを特徴とする請求項１〜１２のいずれか１つに記載の射出成形システムである。
【００２２】
本願の請求項１４に係る発明は、前記成形品取出条件が設定される成形品取出手段としてのロボットを更に備える、ことを特徴とする請求項１３に記載の射出成形システムである。
【００２３】
本願の請求項１５に係る発明は、前記操作条件のうちの少なくとも１つを所定の範囲内で変動させて前記操作条件調整学習部に学習させる、ことを特徴とする請求項１〜１４のいずれか１つに記載の射出成形システムである。
【００２４】
本願の請求項１６に係る発明は、複数の前記射出成形システムがそれぞれ外部との通信手段を更に備え、それぞれの前記物理量データ記憶部が記憶した物理量データや学習結果記憶部が記憶した学習結果を送受信して共有する、ことを特徴とする請求項１〜１５のいずれか１つに記載の射出成形システムである。
【００２５】
本願の請求項１７に係る発明は、射出成形機による射出成形を実行した時、実行中の射出成形に関する物理量を観測する状態観測部と、前記状態観測部で観測した物理量データを記憶する物理量データ記憶部と、機械学習における報酬条件を設定する報酬条件設定部と、前記状態観測部が観測した前記物理量データと前記報酬条件設定部に設定された前記報酬条件とに基づいて報酬を計算する報酬計算部と、前記報酬計算部が算出した前記報酬と前記射出成形システムに設定されている操作条件と前記物理量データとに基づいて操作条件調整の機械学習を行う操作条件調整学習部と、前記操作条件調整学習部が機械学習した学習結果を記憶する学習結果記憶部と、前記操作条件調整学習部が行った学習結果に基づいて操作条件調整の対象と調整量を決定して出力する操作条件調整量出力部と、を備えたことを特徴とする機械学習器である。
【発明の効果】
【００２６】
本発明では、機械学習を最適な操作条件の算出に取り入れることにより、各種操作条件調整を短時間で行うことや、より安定した成形が可能になる。また、より消費電力の少ない条件で成形を行うことが可能になる。更に、複数の射出成形システムにおける調整中の成形データや学習データを共有して機械学習に利用することで、より優れた結果を得られる機械学習を射出成形システムごとに実現することが可能となる。
【図面の簡単な説明】
【００２７】
【図１】強化学習アルゴリズムの基本的な概念を説明する図である。
【図２】本発明の実施形態における射出成形システムの概略構成図である。
【図３】１ショット間の射出保圧圧力データを圧力波形として表示した例である。
【００２８】
以下、本発明の実施形態を図面と共に説明する。
本発明では、射出成形システムに対して人工知能となる機械学習器を導入し、射出成形に関する操作条件に関する機械学習を行うことで、射出成形における各種条件の調整を行うようにする。これによって、短期間で最適な操作条件を算出して成形をより安定化させたり、より省エネルギーに寄与したりすることが可能な射出成形システムを提案する。
【００２９】
＜１．機械学習＞
一般に、機械学習には教師あり学習や教師なし学習など、その目的や条件によって様々なアルゴリズムに分類されている。本発明では金型に対する操作条件出し作業の学習を目的としており、射出成形システムでは射出環境において直接に測定できないパラメータ等が存在すること、射出した結果である成形品の状態に対してどのような行動（操作条件の調整）をすることが正しいのかを明示的に示すことが困難であることを考慮して、報酬を与えるだけで機械学習器が目標到達のための行動を自動的に学習する強化学習のアルゴリズムを採用する。
【００３０】
図１は、強化学習アルゴリズムの基本的な概念を説明する図である。強化学習においては、学習する主体となるエージェント（機械学習器）と、制御対象となる環境（制御対象システム）とのやりとりにより、エージェント学習と行動が進められる。より具体的には、（１）エージェントはある時点における環境の状態ｓtを観測し、（２）観測結果と過去の学習に基づいて自分が取れる行動ａtを選択して行動ａtを実行し、（３）行動ａtが実行されることで環境の状態ｓtが次の状態ｓt+1へと変化し、（４）行動ａtの結果としての状態の変化に基づいてエージェントが報酬ｒt+1を受け取り、（５）エージェントが状態ｓt、行動ａt、報酬ｒt+1および過去の学習の結果に基づいて学習を進める、といったやりとりがエージェントと環境の間で行われる。
【００３１】
上記した（５）における学習では、エ−ジェントは将来取得できる報酬の量を判断するための基準となる情報として、観測された状態ｓt，行動ａt，報酬ｒt+1のマッピングを獲得する。例えば、各時刻において取り得る状態の個数がｍ、取り得る行動の個数がｎとすると、行動を繰り返すことによって状態ｓtと行動ａtの組に対する報酬ｒt+1を記憶するｍ×ｎの２次元配列が得られる。
そして、上記得られたマッピングに基づいて現在の状態や行動がどのくらい良いのかを示す関数である価値関数（評価関数）を用い、行動を繰り返す中で価値関数（評価関数）を更新していくことにより状態に対する最適な行動を学習していく。
【００３２】
状態価値関数は、ある状態ｓtがどのくらい良い状態であるのかを示す価値関数である。状態価値関数は、状態を引数とする関数として表現され、行動を繰り返す中での学習において、ある状態における行動に対して得られた報酬や、該行動により移行する未来の状態の価値などに基づいて更新される。状態価値関数の更新式は強化学習のアルゴリズムに応じて定義されており、例えば、強化学習アルゴリズムの１つであるＴＤ学習においては、状態価値関数は以下の数１式で定義される。なお、数１式においてαは学習係数、γは割引率と呼ばれ、０＜α≦１、０＜γ≦１の範囲で定義される。
【００３３】
【数１】
0006346128.tif 000002
【００３４】
また、行動価値関数は、ある状態ｓtにおいて行動ａtがどのくらい良い行動であるのかを示す価値関数である。行動価値関数は、状態と行動を引数とする関数として表現され、行動を繰り返す中での学習において、ある状態における行動に対して得られた報酬や、該行動により移行する未来の状態における行動の価値などに基づいて更新される。行動価値関数の更新式は強化学習のアルゴリズムに応じて定義されており、例えば、代表的な強化学習アルゴリズムの１つであるＱ学習においては、行動価値関数は以下の数２式で定義される。なお、数２式においてαは学習係数、γは割引率と呼ばれ、０＜α≦１、０＜γ≦１の範囲で定義される。
【００３５】
【数２】
0006346128.tif 000003
【００３６】
なお、この価値関数（評価関数）を記憶する方法としては、近似関数を用いる方法や、配列を用いる方法以外にも、例えば状態ｓが多くの状態を取るような場合には状態ｓt、行動ａtを入力として価値（評価）を出力する多値出力のＳＶＭやニューラルネットワーク等の教師あり学習器を用いるようにしてもよい。
【００３７】
そして、上記した（２）における行動の選択においては、過去の学習によって作成された価値関数（評価関数）を用いて現在の状態ｓtにおいて将来にわたっての報酬（ｒt+1＋ｒt+2＋…）が最大となる行動ａt（状態価値関数を用いている場合には、もっとも価値の高い状態へ移るための行動、行動価値関数を用いている場合には該状態において最も価値の高い行動）を選択する。なお、エージェントの学習中には学習の進展を目的として（２）における行動の選択において一定の確率でランダムな行動を選択することもある（εグリーディ法）。
【００３８】
このように、（１）〜（５）を繰り返すことで学習が進められる。ある環境において学習が終了した後に、新たな環境におかれた場合でも追加の学習を行うことでその環境に適応するように学習を進めることができる。したがって、本発明のように操作条件出し作業に適用することで、新規に成形品の金型を作製した際にも、過去の操作条件出し作業の学習に、新規の成形品の金型を新たな環境とした追加の操作条件出し作業の学習をすることで、各種条件調整を短時間で行うことが可能となる。
【００３９】
また、強化学習においては、複数のエージェントをネットワークなどを介して接続したシステムとし、エージェント間で状態ｓ、行動ａ、報酬ｒなどの情報を共有してそれぞれの学習に利用することで、それぞれのエージェントが他のエージェントの環境も考慮して学習をする分散強化学習を行うことで効率的な学習を行うことができる。本発明においても、複数の環境（制御対象となる射出成形機）を制御する複数のエージェント（機械学習器）がネットワークなどを介して接続された状態で分散強化学習を行うことで、金型に対する操作条件出し作業の学習を効率的に行わせることができるようになる。
【００４０】
なお、強化学習のアルゴリズムとしては、Ｑ学習、ＳＡＲＳＡ法、ＴＤ学習、ＡＣ法など様々な手法が周知となっているが、本発明に適用する方法としていずれの強化学習アルゴリズムを採用してもよい。なお、それぞれの強化学習アルゴリズムは周知なので、本明細書における各アルゴリズムの詳細説明は省略する。
以下では、機械学習器を導入した本発明の射出成形システムについて、具体的な実施形態に基づいて説明する。
【００４１】
＜２．実施形態＞
図２は、本発明の一実施形態における射出成形システムの概略構成を示す図である。本実施形態の射出成形システム１は、射出成形機２、金型３、その他の周辺装置などの制御対象と、機械学習を行う人工知能となる機械学習器２０などで構成されている。図２に示した構成を、図１に示した強化学習における要素と対比すると、機械学習器２０がエージェントに対応し、射出成形機２、金型３、その他の周辺装置などの制御対象を含む全体が環境に対応する。
【００４２】
射出成形システム１は様々な装置で構成されており、それぞれに制御装置やセンサ等が備えられている場合がある。
射出成形機２が備える制御装置としては、型締力制御装置７、型開閉、型厚調整、エジェクト、スクリュ回転、スクリュ前後進、射出ユニット前後進、適量供給装置用フィーダーの回転等を駆動するための制御装置９の他、ノズル・シリンダ、ホッパ下部温度制御装置、圧力制御装置、ノズルタッチ力制御装置等がある。
【００４３】
金型３関係では、金型温度制御装置、ホットランナ温度・ノズル開閉制御装置、射出圧縮用可動部材制御装置、コアセット・コアプル制御装置、多色成形等のスライドテーブル・ロータリーテーブル用制御装置、多色成形用材料流路切替え装置、金型加振装置などがある。
【００４４】
周辺装置としては、制御装置８に制御される成形品取出装置（ロボット）５の他、インサート品挿入装置、入子挿入装置、インモールド成形の箔送り装置、フープ成形用フープ送り装置、ガスアシスト成形用ガス注入装置、超臨界流体を用いた発泡成形用のガス注入装置や長繊維注入装置、ＬＩＭ成形用２材混合装置、成形品のバリ取り装置、ランナ切断装置、成形品重量計、成形品強度試験機、成形品の光学検査装置、成形品撮影装置及び画像処理装置、成形品運搬用ロボットなどがある。
これらの装置の中にはセンサを備えてクローズドループによるフィードバック制御やフィードフォワード制御を行っている制御装置もある。また、データだけを出力する装置もある。
【００４５】
また、機械学習を行う機械学習器２０は、状態観測部２１、物理量データ記憶部２２、報酬条件設定部２３、報酬計算部２４、操作条件調整学習部２５、学習結果記憶部２６、操作条件調整量出力部２７を備える。前記機械学習器２０は、射出成形機２内に備えてもよいし、射出成形機２外のパソコン等に備えるようにしてもよい。
【００４６】
状態観測部２１は、前記の射出成形システム１の各装置から出力される射出成形に関する物理量データを観測して機械学習器２０内に取得する機能手段である。物理量データとしては温度、位置、速度、加速度、電流、電圧、圧力、時間、画像データ、画像解析データ、トルク、力、歪、消費電力、金型開き量、バックフロー量、タイバー変形量、ヒータ加熱率、成形品の重量、成形品の強度、成形品の寸法、成形品の画像データから算出される外観、成形品各部の長さ、角度、面積、体積、光学成形品の光学検査結果、成形品強度計測結果、透明成形品の光軸ズレ量、さらに各物理量を演算処理して算出した算出値などがある。これら物理量データの組により、機械学習に用いられる環境の状態ｓが定義される。
【００４７】
物理量データ記憶部２２は物理量データを入力して記憶し、記憶した該物理量データを報酬計算部２４や操作条件調整学習部２５に対して出力する機能手段である。物理量データ記憶部２２は、射出成形時に状態観測部２１が観測した物理量データを前記射出成形により成形された一つの成形品の物理量データとして記憶する。入力される物理量データは、最新の成形運転で取得したデータでも、過去の成形運転で取得したデータでも構わない。また、他の射出成形システム１や集中管理システム３０に記憶された物理量データを入力して記憶したり、出力したりすることも可能である。
【００４８】
報酬条件設定部２３は、機械学習において報酬を与える条件を設定するための機能手段である。報酬にはプラスの報酬とマイナスの報酬があり、適宜設定が可能である。さらに、報酬条件設定部２３への入力は集中管理システムで使用しているパソコンやタブレット端末等からでも構わないが、射出成形機２が備える表示器６を介して入力できるようにすることで、より簡便に設定することが可能となる。
報酬計算部２４は、報酬条件設定部２３で設定された条件に基づいて状態観測部２１または物理量データ記憶部２２から入力された物理量データを分析し、計算された報酬を操作条件調整学習部２５に出力する。報酬計算部２４が出力する報酬が、機械学習に用いられる報酬ｒに相当する。
【００４９】
以下に、本実施形態における報酬条件設定部２３で設定する報酬条件の例を示す。
●［報酬１：物理量データの安定化、サイクルタイム短縮、省エネルギー化のうちの少なくとも１つに寄与するとプラスの報酬を与えるケース］
物理量データの安定化の判定は、物理量データを統計処理した結果、バラツキの低減に寄与した場合に、その程度に応じてプラスの報酬を与えるようにしてもよい。バラツキの指標としては標準偏差を用いるのが一般的である。
サイクルタイム短縮の判定は、サイクルタイムが短縮した場合にその程度に応じてプラスの報酬を与える。
省エネルギー化は、射出成形機単体の消費電力、射出成形システム全体の消費電力、複数の射出成形システムの全消費電力などを指標として、これらが削減された場合にその程度に応じてプラスの報酬を与える。
逆に、物理量データの不安定化、サイクルタイム延長、消費エネルギー増大となった場合はその程度に応じてマイナスの報酬を与える。
【００５０】
●［報酬２：物理量データに予め許容値を設定し、報酬計算部が許容値内に物理量データが収まるとプラスの報酬を与えるケース］
最大射出圧力が２００ＭＰａを超えると成形品にバリが発生し、１９０ＭＰａを下回ると成形品にショートが発生することが分かっている場合などには、射出工程での射出圧力に最大２００ＭＰａ最小１９０ＭＰａのような許容値を設定し、許容値内に物理量データが収まった場合にプラスの報酬を与える。また、上記許容値から外れている場合には、その乖離量に応じて乖離量が大きいほど大きなマイナスの報酬を与えるようにしてもよい。
また、射出成形機の画面には、図３示すように、１ショット間の射出保圧圧力データを、横軸（時間またはスクリュ位置）、縦軸（圧力）とした圧力波形で表示する機能があり、該圧力波形の複数の区間に上限や下限を設け、波形がこれらの上限下限から外れた場合にアラームメッセージを表示したり、良否判別させたりする機能が知られている。この圧力波形に設定される上限下限を、上記の報酬条件設定部２３が設定する許容値として、圧力波形に対して報酬を与えることも可能である。
【００５１】
●［報酬３：物理量データに予め目標値を設定し、報酬計算部が目標値に物理量データが接近すると目標値と物理量との乖離量に基づいてプラスの報酬を与えるケース］
成形品重量に金型設計と樹脂選定に基づいて目標値を設定し、目標値に近づくほど大きいプラスの報酬を与えるようにしてもよい。
逆に目標値から物理量データが離れると前記目標値と前記物理量との乖離量に基づいてマイナスの報酬を与えるようにしても良い。また、乖離量の変化率が増大した場合に該変化率に基づいてさらにマイナスの報酬を与えるようにすると、加速度的に乖離量が増加する場合にさらに大きくマイナスの報酬を与えることが可能となる。
【００５２】
また、上記した報酬２の許容値の設定と報酬３の目標値の設定を組み合わせて、許容値内の上限近くに目標値を設定してもよい。射出成形で使用する樹脂は、同グレードであってもロットによって分子量分布や溶融時の粘度が変動する要因を持っているため、許容値内で成形を行っていても許容値の下限付近ではショートの発生確率が増加してしまうような場合がある。このようなリスクを回避する場合には、目標値を許容値の上限以下でかつ上限近くに設定する。これによって、許容値範囲内で、かつ許容値の上限付近で成形が安定するようになり、ショートの発生確率を低減させることが可能となる。このように複数の報酬条件を組み合わせて使用することも可能である。
【００５３】
●［報酬４：成形不良を示す状態が発生したらマイナスの報酬を与えるケース］
成形品を撮影して取得した画像あるいは画像を解析した画像解析データや、光学検査装置等で検知した、バリ、ヒケ、ソリ、気泡、ショート、フローマーク、ウェルド、シルバーストリーク、色むら、変色、炭化、不純物の混入、レンズ成形品の光軸の許容値外へのずれ、成形品厚さ不良などの成形不良が発生したらマイナスの報酬を与える。
また、これらの不良の程度に応じてマイナスの報酬の大きさを変化させても良い。例えば変色が発生した場合は、色差計や撮影した画像の画像解析等から変色の程度を数値化し、その変色の程度に応じてマイナスの報酬の大きさを変化させるようにする。
【００５４】
図２に戻って、操作条件調整学習部２５は、物理量データと、自身が行った射出成形システムの成形条件を含む操作条件の調整、および前記報酬計算部２４で計算された報酬とに基づいて機械学習（強化学習）を行う。また、この際に後述する学習結果記憶部２６に記憶されている学習結果も使用して機械学習（強化学習）を行ってもよい。
そして、後述する操作条件調整量出力部２７は、操作条件調整学習部２５の学習結果に基づいて、型締条件、エジェクト条件、射出保圧条件、計量条件、温度条件、ノズルタッチ条件、樹脂供給条件、型厚条件、成形品取出条件、ホットランナ条件、各周辺装置の制御装置等の設定条件など射出成形システムの操作条件の調整量を出力する。ここでいう操作条件の調整が、機械学習に用いられる行動ａに相当する。
【００５５】
ここで、操作条件調整学習部２５が行う機械学習においては、ある時刻ｔにおける物理量データの組み合わせにより状態ｓtが定義され、定義された状態ｓtに対して行われる射出成形システムの操作条件を調整して後述する操作条件調整量出力部２７により該調整結果を出力することが行動ａtとなり、そして、調整結果に基づいて射出成形が行われた結果として得られたデータに基づいて前記報酬計算部２４で計算された値が報酬ｒt+1となる。学習に用いられる価値関数については、適用する学習アルゴリズムに応じて決定する。例えば、Ｑ学習を用いる場合には、上記した数２式に従って行動価値関数Ｑ（ｓt，ａt）を更新することにより学習を進めるようにすれば良い。
【００５６】
また、学習の際には各操作条件をあらかじめ初期値に定めた上で、少なくとも１つの操作条件を所定の範囲内で変動させることにより学習するようにしてもよい。例えば、計量時のスクリュ回転数を初期値１００ｒｐｍから１０ｒｐｍずつ自動で上昇させて成形を行ったり、背圧を初期値５ＭＰａから１ＭＰａずつ自動で上昇させて成形を行ったりした際の各物理量をとらえて学習させることで、成形不良を発生させずに良品を安定成形できる範囲で、最も消費電力が少なくなるスクリュ回転数と背圧の組み合わせを学習させるようなことが可能となる。
更に、上記したεグリーディ法を採用し、所定の確率でランダムな行動を選択することで学習の進展を図るようにしてもよい。
【００５７】
なお、前記成形品取出条件が設定される成形品取出装置５を、多関節ロボットにしてもよい。金属粉末成形など、成形品（グリーン体）が非常に脆い場合は、一般的な取出機での成形品取出しができないため、ロボットで把持力を必要最低限に抑えて低速で取出しを行うようにするとよい。しかしながら、成形品取出し速度はサイクルタイムに大きく影響を与えるため、成形品を壊さない範囲でなるべく速度を上げて成形品取出しを行うように学習させるとよい。成形品の破損の有無は、成形品重量計測や画像解析等によって物理量データとして出力及び判定が可能である。
【００５８】
学習結果記憶部２６は、前記操作条件調整学習部２５が学習した結果を記憶する。また、操作条件調整学習部２５が学習結果を再使用する際には、記憶している学習結果を操作条件調整学習部２５に出力する。学習結果の記憶には、上述したように、利用する機械学習アルゴリズムに応じた価値関数を、近似関数や、配列、又は多値出力のＳＶＭやニューラルネットワーク等の教師あり学習器などにより記憶するようにすれば良い。
なお、学習結果記憶部２６に、他の射出成形システム１や集中管理システム３０が記憶している学習結果を入力して記憶させたり、学習結果記憶部２６が記憶している学習結果を他の射出成形システム１や集中管理システム３０に対して出力したりすることも可能である。
【００５９】
操作条件調整量出力部２７は、前記操作条件調整学習部２５が学習した操作条件の学習結果に基づいて操作条件調整の対象と調整量を決定して出力する。調整量の決定においては、例えば、現在の状態で取り得る操作条件調整の対象と調整量の組み合わせについて、射出条件学習部２５の学習に基づいて評価関数により評価を行い、最も評価の高い操作条件調整の対象と調整量の組を決定する。そして、操作条件調整量出力部２７による調整量の出力後に、再び前記状態観測部２１に入力された物理量データを使用して学習を繰り返すことにより、より優れた学習結果を得ることができる。また、上記したように所定の確率でランダムな行動を選択することで学習の進展を図るようにしてもよい。
【００６０】
また、報酬が最大なるように物理量データと操作を引数で表現した評価関数を用いて機械学習させることが可能である。機械学習は、最新の成形の物理量データ取得をしながら実施してもよいし、物理量データ記憶部が記憶している取得済の物理量データで実施しても良い。
【００６１】
機械学習を行う際に、前記操作条件のうちの少なくとも１つを所定の範囲内で変動させて前記操作条件調整学習部２５に学習させることが可能である。意図的に変動を与えて学習させることで、変動に対する影響の学習を効率よく実施することが可能となる。
【００６２】
また、複数の前記射出成形システム１がそれぞれ外部との通信手段を更に備えると、それぞれの前記物理量データ記憶部２２が記憶した物理量データや学習結果記憶部２６が記憶した学習結果を送受信して共有することが可能となり、より効率良く機械学習を行うことができる。例えば、所定の範囲内で操作条件を変動させて学習する際に、複数の射出成形システム１において異なる操作条件を所定の範囲内でそれぞれ変動させて成形しながら、それぞれの射出成形システム１の間で物理量データや学習データをやり取りすることにより並列して学習を進めるようにすることで効率的に学習させることができる。
なお、複数の射出成形システム１間でやり取りする際には、通信は集中管理システム３０等のホストコンピュータを経由しても、直接射出成形システム１同士が通信しても構わないし、クラウドを使用しても構わないが、大量のデータを取り扱う場合があるため、なるべく通信速度が速い通信手段が好ましい。
【００６３】
以上、本発明の実施の形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。
【符号の説明】
【００６４】
１  射出成形システム
２  射出成形機
３  金型
５  成形品取出装置
６  表示器
７  型締力制御装置
８  制御装置
９  制御装置
２０  機械学習器
２１  状態観測部
２２  物理量データ記憶部
２３  報酬条件設定部
２４  報酬計算部
２５  操作条件調整学習部
２６  学習結果記憶部
２７  操作条件調整量出力部
３０  集中管理システム
【図１】
0006346128.tif 000004
【図２】
0006346128.tif 000005
【図３】
0006346128.tif 000006