(57)【要約】【課題】優れた樹脂フィルムの製造装置を提供すること。【解決手段】一実施の形態に係る樹脂フィルム製造装置では、ヒートボルト２３毎に、厚みセンサ６０から取得した樹脂フィルム８３の厚み分布から算出した制御偏差に基づいて、現在の状態ｓｔと以前に選択した行動ａｃに対する報酬ｒｗとを決定しする。そして、状態ｓｔと行動ａｃとの組み合わせである制御条件を報酬ｒｗに基づいて更新すると共に、更新された制御条件から現在の状態ｓｔに対応した最適な行動ａｃを選択する。そして、最適な行動ａｃに基づいてヒータ２４を制御する。【選択図】図４
2020152097.tif 000002
【特許請求の範囲】
【請求項１】
一対のリップの長手方向に沿って並べられたヒートボルトと、当該ヒートボルトを加熱するヒータとを複数対有し、前記ヒートボルト毎にリップ間隔を調整可能なダイと、
前記一対のリップの隙間から押し出されたフィルム状の溶融樹脂を冷却しつつ、前記溶融樹脂が固化した樹脂フィルムを搬出する冷却ロールと、
前記冷却ロールから搬出された前記樹脂フィルムの幅方向の厚み分布を測定する厚みセンサと、
前記厚みセンサから取得した前記厚み分布に基づいて、前記リップ間隔をフィードバック制御する制御部と、を備え、
前記制御部は、前記ヒートボルト毎に、
前記厚み分布から算出した制御偏差に基づいて、現在の状態と以前に選択した行動に対する報酬とを決定し、
状態と行動との組み合わせである制御条件を前記報酬に基づいて更新すると共に、更新された制御条件から前記現在の状態に対応した最適な行動を選択し、
前記最適な行動に基づいて前記ヒータを制御する、
樹脂フィルム製造装置。
【請求項２】
前記行動が、前記ヒータの出力の変更である、
請求項１に記載の樹脂フィルム製造装置。
【請求項３】
前記行動が、前記ヒータの出力を制御するＰＩＤコントローラのパラメータの変更である、
請求項１に記載の樹脂フィルム製造装置。
【請求項４】
前記厚みセンサは、非接触式である、
請求項１に記載の樹脂フィルム製造装置。
【請求項５】
前記厚みセンサは、前記樹脂フィルムの幅方向に走査されつつ、前記樹脂フィルムの幅方向の厚み分布を測定する、
請求項４に記載の樹脂フィルム製造装置。
【請求項６】
前記厚みセンサは、水平に搬送されている前記樹脂フィルムの幅方向の厚み分布を測定する、
請求項５に記載の樹脂フィルム製造装置。
【請求項７】
前記一対のリップの一方のみが、前記ヒートボルトに連結されている、
請求項１に記載の樹脂フィルム製造装置。
【請求項８】
（ａ）ダイの一対のリップの隙間からフィルム状の溶融樹脂を押し出す工程、
（ｂ）前記溶融樹脂が固化した樹脂フィルムを搬送しつつ、前記樹脂フィルムの幅方向の厚み分布を測定する工程、
（ｃ）測定された前記厚み分布に基づいて、リップ間隔をフィードバック制御する工程、を備え、
前記ダイは、前記一対のリップの長手方向に沿って並べられたヒートボルトと、当該ヒートボルトを加熱するヒータとを複数対有し、前記ヒートボルト毎に前記リップ間隔を調整可能であって、
前記工程（ｃ）において、コンピュータが、前記ヒートボルト毎に、
（ｃ１）前記厚み分布から算出した制御偏差に基づいて、現在の状態と以前に選択した行動に対する報酬とを決定し、
（ｃ２）状態と行動との組み合わせである制御条件を前記報酬に基づいて更新すると共に、更新された制御条件から前記現在の状態に対応した最適な行動を選択し、
（ｃ３）前記最適な行動に基づいて前記ヒータを制御する、
樹脂フィルム製造方法。
【請求項９】
前記工程（ｃ２）において決定する前記行動が、前記ヒータの出力の変更である、
請求項８に記載の樹脂フィルム製造方法。
【請求項１０】
前記工程（ｃ２）において決定する前記行動が、前記ヒータの出力を制御するＰＩＤコントローラのパラメータの変更である、
請求項８に記載の樹脂フィルム製造方法。
【請求項１１】
前記工程（ｂ）において、非接触式の厚みセンサによって、前記樹脂フィルムの幅方向の厚み分布を測定する、
請求項８に記載の樹脂フィルム製造方法。
【請求項１２】
前記厚みセンサを前記樹脂フィルムの幅方向に走査させつつ、前記樹脂フィルムの幅方向の厚み分布を測定する、
請求項１１に記載の樹脂フィルム製造方法。
【請求項１３】
前記厚みセンサによって、水平に搬送されている前記樹脂フィルムの幅方向の厚み分布を測定する、
請求項１２に記載の樹脂フィルム製造方法。
【請求項１４】
前記一対のリップの一方のみが、前記ヒートボルトに連結されている、
請求項８に記載の樹脂フィルム製造方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は樹脂フィルム製造装置及び樹脂フィルム製造方法に関する。
【背景技術】
【０００２】
押出機に連結されたダイのリップの隙間からフィルム状の溶融樹脂を押し出す樹脂フィルム製造装置が知られている。このような樹脂フィルム製造装置では、樹脂フィルムの幅方向において、厚みを均一にすることが求められている。
【０００３】
そのため、特許文献１〜３に開示されたダイには、リップの長手方向（樹脂フィルムの幅方向）に沿って並んだ複数のヒートボルトが設けられている。各ヒートボルトのヒータによる熱膨張量を個別に制御し、ダイのリップ間隔を局所的に調整することができる。
また、特許文献４には、製造中に樹脂フィルムの厚みを測定し、ダイのリップ間隔をフィードバック制御可能な樹脂フィルム製造装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１６７５８４号公報
【特許文献２】特開２０１２−２４０３３２号公報
【特許文献３】特開２０１３−０５２５７４号公報
【特許文献４】特開２０１３−０３９６７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
発明者は、複数のヒートボルトを有するダイを備え、リップ間隔をフィードバック制御可能な樹脂フィルム製造装置の開発に際し、様々な課題を見出した。
その他の課題と新規な特徴は、本明細書の記述及び添付図面から明らかになるであろう。
【課題を解決するための手段】
【０００６】
一実施の形態に係る樹脂フィルム製造装置では、ヒートボルト毎に、厚みセンサから取得した樹脂フィルムの厚み分布から算出した制御偏差に基づいて、現在の状態と以前に選択した行動に対する報酬とを決定する。そして、状態と行動との組み合わせである制御条件を報酬に基づいて更新すると共に、更新された制御条件から現在の状態に対応した最適な行動を選択する。そして、最適な行動に基づいてヒータを制御する。
【発明の効果】
【０００７】
前記一実施の形態によれば、優れた樹脂フィルムの製造装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１に係る樹脂フィルム製造装置及び樹脂フィルム製造方法の全体構成を示す模式的断面図である。
【図２】Ｔダイ２０の断面図である。
【図３】Ｔダイ２０の下側（リップ側）の部分斜視図である。
【図４】実施の形態１に係る制御部７０の構成を示すブロック図である。
【図５】実施の形態１に係る樹脂フィルム製造方法におけるリップ間隔の制御方法を示すフローチャートである。
【図６】実施の形態２に係る制御部７０の構成を示すブロック図である。
【発明を実施するための形態】
【０００９】
以下、具体的な実施の形態について、図面を参照しながら詳細に説明する。但し、以下の実施の形態に限定される訳ではない。また、説明を明確にするため、以下の記載及び図面は、適宜簡略化されている。
【００１０】
（実施の形態１）
＜樹脂フィルム製造装置の全体構成＞
まず、図１を参照して、実施の形態１に係る樹脂フィルム製造装置及び樹脂フィルム製造方法の全体構成について説明する。図１は、実施の形態１に係る樹脂フィルム製造装置及び樹脂フィルム製造方法の全体構成を示す模式的断面図である。
【００１１】
なお、当然のことながら、図１及びその他の図面に示した右手系ｘｙｚ直交座標は、構成要素の位置関係を説明するための便宜的なものである。通常、ｚ軸正向きが鉛直上向き、ｘｙ平面が水平面であり、図面間で共通である。
また、本明細書において、樹脂フィルムは樹脂シートを含む。
【００１２】
図１に示すように、実施の形態１に係る樹脂フィルム製造装置は、押出機１０、Ｔダイ２０、冷却ロール３０、搬送ロール群４０、巻取機５０、厚みセンサ６０、制御部７０を備えている。実施の形態１に係る樹脂フィルム製造装置は、押出機１０に連結されたＴダイ２０のリップ間の隙間からフィルム状の溶融樹脂８２ａを押し出す押出成形タイプの樹脂フィルム製造装置である。
【００１３】
押出機１０は、例えばスクリュー式押出機である。図１に例示した押出機１０では、ｘ軸方向に延設されたシリンダ１１の内部にｘ軸方向に延設されたスクリュー１２が収容されている。シリンダ１１のｘ軸負方向側端部の上側に、樹脂フィルム８３の原料である樹脂ペレット８１を投入するためのホッパ１３が設けられている。
【００１４】
ホッパ１３から供給された樹脂ペレット８１は、回転するスクリュー１２の根元から先端に向かって、すなわちｘ軸正方向に押し出される。樹脂ペレット８１は、シリンダ１１の内部において回転するスクリュー１２によって圧縮され、溶融樹脂８２に変化する。
なお、図示しないが、スクリュー１２には、例えば、減速機を介してモータが駆動源として連結される。
【００１５】
図１に示すように、Ｔダイ２０は、押出機１０の先端部（ｘ軸正方向側端部）の下側に連結されている。Ｔダイ２０の下端に位置するリップの隙間からフィルム状の溶融樹脂８２ａが下向き（ｚ軸負方向）に押し出される。ここで、Ｔダイ２０のリップ間隔は調整可能である。詳細には後述するように、製造される樹脂フィルム８３の幅方向（ｙ軸方向）における厚みが均一になるように、リップの長手方向（ｙ軸方向）に沿った複数箇所において、Ｔダイ２０のリップ間隔が調整可能である。
【００１６】
冷却ロール３０は、Ｔダイ２０から押し出されたフィルム状の溶融樹脂８２ａを冷却しつつ、フィルム状の溶融樹脂８２ａが固化した樹脂フィルム８３を搬出する。冷却ロール３０から搬出された樹脂フィルム８３は、搬送ロール群４０を介して搬送され、巻取機５０によって巻き取られる。図１の例では、搬送ロール群４０は、８個の搬送ロール４１〜４８を備えている。搬送ロールの個数、配置は適宜決定される。
【００１７】
厚みセンサ６０は、例えば非接触式の厚みセンサであって、冷却ロール３０から搬出された搬送中の樹脂フィルム８３の幅方向の厚み分布を測定する。図１の例では、厚みセンサ６０は、搬送ロール４４、４５の間において水平に搬送される樹脂フィルム８３を上下から挟むように配置されている。厚みセンサ６０は、非接触式であるため、樹脂フィルム８３の幅方向（ｙ軸方向）に走査させることができる。そのため、コンパクトな厚みセンサ６０によって、樹脂フィルム８３の幅方向の厚み分布を測定することができる。また、樹脂フィルム８３が水平に搬送されているため、厚みセンサ６０を走査させても精度良く厚み分布を測定することができる。
【００１８】
制御部７０は、厚みセンサ６０から取得した樹脂フィルム８３の厚み分布に基づいて、Ｔダイ２０のリップ間隔をフィードバック制御する。より具体的には、制御部７０は、樹脂フィルム８３の幅方向において厚みが均一になるように、Ｔダイ２０のリップ間隔を制御する。制御部７０のより詳細な構成及び動作については、後述する。
【００１９】
＜Ｔダイ２０の構成＞
ここで、図２、図３を参照して、Ｔダイ２０の構成についてより詳細に説明する。図２は、Ｔダイ２０の断面図である。また、図３は、Ｔダイ２０の下側（リップ側）の部分斜視図である。
【００２０】
図２、図３に示すように、Ｔダイ２０は、突き合わせられた一対のダイブロック２１、２２からなる。突き合わせられた一対のダイブロック２１、２２は、いずれも外側面から内側面（突き合わせ面）に向かって下方向に傾斜したテーパー部が設けられている。すなわち、ダイブロック２１、２２の突き合わせ面の下端部には、薄肉のリップ２１ａ、２２ａが設けられている。
【００２１】
一対のダイブロック２１、２２の突き合わせ面には、導入口２０ａ、マニホールド２０ｂ、及びスリット２０ｃが形成されている。導入口２０ａは、Ｔダイ２０の上面から下方向（ｚ軸負方向）に延設されている。マニホールド２０ｂは、導入口２０ａの下端からｙ軸正方向及びｙ軸負方向に延設されている。このように、Ｔダイ２０では、導入口２０ａとマニホールド２０ｂとがＴ字状に形成されている。
【００２２】
さらに、マニホールド２０ｂの底面からＴダイ２０の下面に至るスリット２０ｃがｙ軸方向に延設されている。溶融樹脂８２は、導入口２０ａ及びマニホールド２０ｂを介してスリット２０ｃ（すなわちリップ２１ａ、２２ａの隙間）から下方向に押し出される。
【００２３】
ここで、リップ２１ａは動かない固定リップであるのに対し、リップ２２ａはヒートボルト２３に連結された可動リップである。リップ２２ａには、外側面から突き合わせ面に向かって斜め上方向に切り欠き溝２２ｂが形成されている。リップ２２ａは、ヒートボルト２３によって押し引きされ、切り欠き溝２２ｂの底部を支点として動くことができる。このように、リップ２２ａのみが可動リップであるため、簡易な構成によって容易にリップ間隔を調整することができる。
【００２４】
ヒートボルト２３は、ダイブロック２２のテーパー部に沿って、斜め上方向に延設されている。ヒートボルト２３は、ダイブロック２２に固定されたホルダー２５ａ、２５ｂによって支持されている。より詳細には、ヒートボルト２３は、ホルダー２５ａに形成されたねじ穴にねじ止めされている。ヒートボルト２３の締め込み量は適宜調整することができる。他方、ヒートボルト２３は、ホルダー２５ｂに形成された貫通孔に挿通されているが、ホルダー２５ｂには固定されてない。なお、ホルダー２５ａ、２５ｂは、ダイブロック２２と別体でなく、一体に形成されていてもよい。
【００２５】
ここで、図３に示すように、複数のヒートボルト２３が、リップ２１ａ、２２ａの長手方向（ｙ軸方向）に沿って並べられている。リップ２１ａ、２２ａの長手方向は、樹脂フィルムの幅方向に対応する。図３の例では、模式的に３本のヒートボルト２３が設けられているが、通常はより多くのヒートボルト２３が設けられている。
【００２６】
ヒータ２４は、ヒートボルト２３を加熱するためにヒートボルト２３毎に設けられている。図２、図３に示した例では、ホルダー２５ａ、２５ｂの間において、各ヒートボルト２３の外周面を覆うように、ヒータ２４が設けられている。ヒートボルト２３を締め込むことによって、ヒートボルト２３の下端面によってリップ２２ａを押すことができる。さらに、ヒートボルト２３の下端部は、リップ２２ａに固定された断面Ｕ字状の連結部材２６によってリップ２２ａに連結されている。そのため、ヒートボルト２３を緩めることによって、連結部材２６を介してリップ２２ａを引くこともできる。
【００２７】
ヒートボルト２３の締め込み量によってリップ２１ａ、２２ａの間隔を調整することができる。具体的には、ヒートボルト２３の締め込み量を増加させると、ヒートボルト２３がリップ２２ａを押し、リップ２１ａ、２２ａの間隔が狭くなる。反対に、ヒートボルト２３の締め込み量を減少させると、リップ２１ａ、２２ａの間隔が広くなる。ヒートボルト２３の締め込み量は、例えば手動により調整される。
【００２８】
さらに、ヒータ２４によるヒートボルト２３の熱膨張量によって、リップ２１ａ、２２ａの間隔を微調整することができる。具体的には、ヒータ２４の加熱温度を上昇させると、ヒートボルト２３の熱膨張量が増加するため、ヒートボルト２３がリップ２２ａを押し、リップ２１ａ、２２ａの間隔が狭くなる。反対に、ヒータ２４の加熱温度を低下させると、ヒートボルト２３の熱膨張量が減少するため、リップ２１ａ、２２ａの間隔が広くなる。各ヒートボルト２３の熱膨張量すなわち各ヒータ２４の加熱は、制御部７０によって制御される。
【００２９】
＜比較例に係る制御部７０の構成＞
比較例に係る樹脂フィルム製造装置は、図１に示した実施の形態１に係る樹脂フィルム製造装置と同様の全体構成を有している。比較例では、制御部７０が、ＰＩＤ制御を用いて、厚みセンサ６０から取得した樹脂フィルム８３の厚み分布に基づいて、各ヒートボルト２３のヒータ２４をフィードバック制御する。ＰＩＤ制御の場合、プロセス条件を変更する度に、パラメータを調整する必要がある。通常、作業者が試行錯誤してパラメータを調整するため、パラメータ調整に多大な時間及び樹脂材料を要するという問題があった。
【００３０】
＜実施の形態１に係る制御部７０の構成＞
次に、図４を参照して、実施の形態１に係る制御部７０の構成についてより詳細に説明する。図４は、実施の形態１に係る制御部７０の構成を示すブロック図である。図４に示すように、実施の形態１に係る制御部７０は、状態観測部７１、制御条件学習部７２、記憶部７３、制御信号出力部７４を備えている。
【００３１】
なお、制御部７０を構成する各機能ブロックは、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現することができる。従って、各機能ブロックは、コンピュータのハードウェアやソフトウェアやそれらの組み合わせによって色々な形態で実現できる。
【００３２】
状態観測部７１は、厚みセンサ６０から取得した樹脂フィルム８３の厚み分布の測定値ｐｖから、ヒートボルト２３毎の制御偏差を算出する。制御偏差は、目標値と測定値ｐｖとの差分である。ここで、目標値は、全ヒートボルト２３において、厚みセンサ６０によって測定された樹脂フィルム８３の厚み分布の測定値ｐｖの平均値である。
なお、測定値ｐｖの平均値を求める際、製品として利用しない樹脂フィルム８３の両端部の測定値については除外してもよい。
【００３３】
他方、各ヒートボルト２３の測定値ｐｖは、各ヒートボルト２３に割り当てられた測定点における厚み測定値ｐｖから定まる。例えば、各ヒートボルト２３の測定値ｐｖは、各ヒートボルト２３に割り当てられた測定点における厚み測定値ｐｖの平均値である。あるいは、各ヒートボルト２３に割り当てられた測定点において、目標値との差分が最大の厚み測定値ｐｖを各ヒートボルト２３の測定値ｐｖとしてもよい。
【００３４】
そして、状態観測部７１は、各ヒートボルト２３について、算出した制御偏差に基づいて、現在の状態ｓｔと以前（例えば前回）に選択した行動ａｃに対する報酬ｒｗとを決定する。
状態ｓｔは、無限に取り得る制御偏差の値を有限個に区分するために予め設定されている。説明のための簡易な例としては、制御偏差ｅｒｒとした場合、−０．９μｍ≦ｅｒｒ＜−０．６μｍを状態ｓｔ１、−０．６μｍ≦ｅｒｒ＜−０．３μｍを状態ｓｔ２、−０．３μｍ≦ｅｒｒ＜０．３μｍを状態ｓｔ３、０．３μｍ≦ｅｒｒ＜０．６μｍを状態ｓｔ４、０．６μｍ≦ｅｒｒ≦０．９μｍを状態ｓｔ５などと設定される。実際には、より細分化された多数の状態ｓｔが設定される場合が多い。
【００３５】
報酬ｒｗは、以前の状態ｓｔにおいて選択した行動ａｃを評価するための指標である。
具体的には、算出した現在の制御偏差の絶対値が、以前の制御偏差の絶対値よりも小さくなっていれば、状態観測部７１は、以前に選択した行動ａｃが適切であると判断し、例えば報酬ｒｗを正の値とする。換言すると、以前と同じ状態ｓｔにおいて前回選択した行動ａｃが再度選択され易くなるように、報酬ｒｗが決定される。
【００３６】
反対に、算出した現在の制御偏差の絶対値が、以前の制御偏差の絶対値よりも大きくなっていれば、状態観測部７１は、以前に選択した行動ａｃが不適切であると判断し、例えば報酬ｒｗを負の値とする。換言すると、以前と同じ状態ｓｔにおいて前回選択した行動ａｃが再度選択され難くなるように、報酬ｒｗが決定される。
なお、報酬ｒｗの具体例については後述する。また、報酬ｒｗの値は適宜決定することができる。例えば、報酬ｒｗの値が常に正の値であってもよく、報酬ｒｗの値が常に負の値であってもよい。
【００３７】
制御条件学習部７２は、各ヒートボルト２３について、強化学習を行う。具体的には、制御条件学習部７２は、制御条件（学習結果）を報酬ｒｗに基づいて更新すると共に、更新された制御条件から現在の状態ｓｔに対応した最適な行動ａｃを選択する。制御条件は、状態ｓｔと行動ａｃとの組み合わせである。上述の状態ｓｔ１〜ｓｔ５に対応した簡易な制御条件（学習結果）を表１に示す。図４の例では、制御条件学習部７２は、更新した制御条件ｃｃを例えばメモリである記憶部７３に格納すると共に、記憶部７３から制御条件ｃｃを読み出して更新する。
【００３８】
【表１】
2020152097.tif 000003
【００３９】
表１は、強化学習の一例であるＱ学習による制御条件（学習結果）を示している。表１の最上行には上述の５つの状態ｓｔ１〜ｓｔ５が示されている。すなわち、２〜６列目の各列が５つの状態ｓｔ１〜ｓｔ５を示している。他方、表１の最左列には４つの行動ａｃ１〜ａｃ４が示されている。すなわち、２〜５列目の各行が、４つの行動ａｃ１〜ａｃ４を示している。
【００４０】
ここで、表１の例では、ヒータ２４への出力（例えば電圧）を１％減らす行動を行動ａｃ１（出力変化：−１％）と設定している。ヒータ２４への出力を維持する行動を行動ａｃ２（出力変化：０％）と設定している。ヒータ２４への出力を１％増やす行動を行動ａｃ３（出力変化：＋１％）と設定している。ヒータ２４への出力を１．５％増やす行動を行動ａｃ４（出力変化：＋１．５％）と設定している。表１の例は、あくまでも説明のための簡易な例であって、実際には、より細分化された多数の行動ａｃが設定される場合が多い。
【００４１】
表１において状態ｓｔと行動ａｃとの組み合わせから定まる値は、価値Ｑ（ｓｔ、ａｃ）と呼ばれる。価値Ｑは、初期値が与えられた後、公知の更新式を利用して報酬ｒｗに基づいて順次更新される。価値Ｑの初期値は、例えば図４に示す学習条件に含まれる。学習条件は、例えば作業者によって入力される。価値Ｑの初期値は記憶部７３に格納されていてもよく、例えば過去の学習結果を初期値として用いてもよい。また、図４に示す学習条件には、例えば表１に示した状態ｓｔ１〜ｓｔ５及び行動ａｃ１〜ａｃ４も含まれる。
【００４２】
表１における状態ｓｔ４を例に、価値Ｑについて説明する。状態ｓｔ４では、制御偏差が０．３μｍ以上０．６μｍ未満であるため、対象ヒートボルト２３におけるリップ間隔が広過ぎる。そのため、対象ヒートボルト２３を加熱するヒータ２４への出力を増やし、対象ヒートボルト２３の熱膨張量を増加させる必要がある。従って、制御条件学習部７２による学習の結果、ヒータ２４への出力を増加させる行動ａｃ３、ａｃ４の価値Ｑが大きくなっている。一方、ヒータ２４への出力を維持する行動ａｃ２及びヒータ２４への出力を減少させる行動ａｃ４の価値Ｑは小さくなっている。
【００４３】
表１の例において、例えば制御偏差が０．４μｍである場合、状態ｓｔは状態ｓｔ４である。そのため、制御条件学習部７２は、状態ｓｔ４において価値Ｑが最大であって最適な行動ａｃ４を選択し、制御信号出力部７４へ出力する。
制御信号出力部７４は、入力された行動ａｃ４に基づいて、ヒータ２４へ出力する制御信号ｃｔｒを１．５％増やす。制御信号ｃｔｒは例えば電圧信号である。
【００４４】
そして、次回の制御偏差の絶対値が今回の制御偏差の絶対値０．４μｍよりも小さければ、状態観測部７１は、今回の状態ｓｔ４における行動ａｃ４の選択が適切であると判断し、正の値の報酬ｒｗを出力する。そのため、制御条件学習部７２は、状態ｓｔ４における行動ａｃ４の価値＋５．６を報酬ｒｗに応じて増やすように制御条件を更新する。その結果、状態ｓｔ４の場合、制御条件学習部７２は、引き続き行動ａｃ４を選択する。
【００４５】
一方、次回の制御偏差の絶対値が今回の制御偏差の絶対値０．４μｍよりも大きければ、状態観測部７１は、今回の状態ｓｔ４における行動ａｃ４の選択が不適切であると判断し、負の値の報酬ｒｗを出力する。そのため、制御条件学習部７２は、状態ｓｔ４における行動ａｃ４の価値＋５．６を報酬ｒｗに応じて減らすように制御条件を更新する。その結果、状態ｓｔ４における行動ａｃ４の価値が行動ａｃ３の価値＋５．４よりも小さくなると、状態ｓｔ４の場合、制御条件学習部７２は、行動ａｃ４に代えて行動ａｃ３を選択する。
【００４６】
なお、制御条件を更新するタイミングは、次回に限らず、タイムラグなどを考慮して適宜決定すればよい。また、学習初期段階では、学習を促進するために、ランダムに行動ａｃを選択してもよい。さらに、表１では、簡易なＱ学習による強化学習について説明したが、学習アルゴリズムについては、Ｑ学習、ＡＣ（Actor-Critic）法、ＴＤ学習、モンテカルロ法など様々あるが、何ら限定されるものではない。例えば、状態ｓｔ及び行動ａｃの数が増えて組み合わせ爆発が発生する場合は、ＡＣ法などを用いるなど状況によって選定すればよい。
【００４７】
また、ＡＣ法では、方策関数として確率分布関数を用いる場合が多い。その確率分布関数は、正規分布関数に限らず、例えば、簡単化を目的としてシグモイド関数、ソフトマックス関数などを用いてもよい。シグモイド関数は、ニューラルネットワークで最も使用される関数である。強化学習は、ニューラルネットワークと同じ機械学習の１つであるため、シグモイド関数を採用できる。また、シグモイド関数は、関数自体も簡単であり、扱い易いという利点もある。
以上の通り、学習アルゴリズムや用いる関数は様々であるが、プロセスに対して最適なものを適宜選定すればよい。
【００４８】
以上に説明した通り、実施の形態１に係る樹脂フィルム製造装置では、ＰＩＤ制御を用いていないため、そもそもプロセス条件の変更に伴うパラメータ調整が不要である。また、制御部７０が、強化学習によって、制御条件（学習結果）を報酬ｒｗに基づいて更新すると共に、更新された制御条件から現在の状態ｓｔに対応した最適な行動ａｃを選択する。そのため、プロセス条件を変更した場合でも、比較例に比べ、調整に要する時間及び樹脂材料を抑制することができる。
【００４９】
＜樹脂フィルム製造方法＞
次に、図１、図５を参照して、実施の形態１に係る樹脂フィルム製造方法の詳細について説明する。図５は、実施の形態１に係る樹脂フィルム製造方法におけるリップ間隔の制御方法を示すフローチャートである。
【００５０】
図１に示すように、実施の形態１に係る樹脂フィルム製造方法では、Ｔダイ２０の一対のリップ２１ａ、２２ａの隙間からフィルム状の溶融樹脂８２ａを押し出す。
次に、フィルム状の溶融樹脂８２ａが固化した樹脂フィルム８３を搬送しつつ、厚みセンサ６０によって樹脂フィルム８３の幅方向の厚み分布を測定する。
そして、制御部７０は、厚みセンサ６０によって測定された厚み分布に基づいて、リップ間隔をフィードバック制御する。
【００５１】
次に、図５を参照して、実施の形態１に係る樹脂フィルム製造方法におけるリップ間隔の制御方法について説明する。図５の説明においては、図４も適宜参照する。
まず、図５に示すように、図４に示した制御部７０の状態観測部７１は、ヒートボルト２３毎に、樹脂フィルム８３の厚み分布から制御偏差を算出する。そして、算出した制御偏差に基づいて、現在の状態ｓｔと以前に選択した行動ａｃに対する報酬ｒｗとを決定する（ステップＳ１）。なお、初回には、以前（例えば前回）に選択した行動ａｃが存在せず、報酬ｒｗを決定することができないため、現在の状態ｓｔのみを決定する。
【００５２】
次に、制御部７０の制御条件学習部７２は、状態ｓｔと行動ａｃとの組み合わせである制御条件を報酬ｒｗに基づいて更新する。そして、更新された制御条件から現在の状態ｓｔに対応した最適な行動ａｃを選択する（ステップＳ２）。
そして、制御部７０の制御信号出力部７４は、制御条件学習部７２が選択した最適な行動ａｃに基づいて、ヒータ２４に制御信号ｃｔｒを出力する（ステップＳ３）。
【００５３】
樹脂フィルム８３の製造が終了していなければ（ステップＳ４ＮＯ）、ステップＳ１に戻って制御を継続する。一方、樹脂フィルム８３の製造が終了したら（ステップＳ４ＹＥＳ）、制御を終了する。すなわち、樹脂フィルム８３の製造が終了するまで、ステップＳ１〜Ｓ３を繰り返す。
【００５４】
以上に説明した通り、実施の形態１に係る樹脂フィルム製造方法では、ＰＩＤ制御を用いていないため、そもそもプロセス条件の変更に伴うパラメータ調整が不要である。また、コンピュータを用いた強化学習によって、制御条件（学習結果）を報酬ｒｗに基づいて更新すると共に、更新された制御条件から現在の状態ｓｔに対応した最適な行動ａｃを選択する。そのため、プロセス条件を変更した場合でも、比較例に比べ、調整に要する時間及び樹脂材料を抑制することができる。
【００５５】
（実施の形態２）
次に、実施の形態２に係る樹脂フィルム製造装置について説明する。実施の形態２に係る樹脂フィルム製造装置の全体構成は、図１〜図３に示した実施の形態１に係る樹脂フィルム製造装置の全体構成と同様であるため、説明を省略する。実施の形態２に係る樹脂フィルム製造装置は、制御部７０の構成が実施の形態１に係る樹脂フィルム製造装置と異なる。
【００５６】
図６は、実施の形態２に係る制御部７０の構成を示すブロック図である。図６に示すように、実施の形態２に係る制御部７０は、状態観測部７１、制御条件学習部７２、記憶部７３、ＰＩＤコントローラ７４ａを備えている。すなわち、実施の形態２に係る制御部７０は、図４に示した実施の形態１に係る制御部７０における制御信号出力部７４として、ＰＩＤコントローラ７４ａを備えている。ＰＩＤコントローラ７４ａも制御信号出力部の一形態である。
【００５７】
状態観測部７１は、実施の形態１と同様に、各ヒートボルト２３について、算出した制御偏差ｅｒｒに基づいて、現在の状態ｓｔと以前に選択した行動ａｃに対する報酬ｒｗとを決定する。そして、状態観測部７１は、現在の状態ｓｔと報酬ｒｗとを制御条件学習部７２に出力する。さらに、実施の形態２に係る状態観測部７１は、算出した制御偏差ｅｒｒをＰＩＤコントローラ７４ａに出力する。
【００５８】
制御条件学習部７２も、実施の形態１と同様に、各ヒートボルト２３について、強化学習を行う。具体的には、制御条件学習部７２は、制御条件（学習結果）を報酬ｒｗに基づいて更新すると共に、更新された制御条件から現在の状態ｓｔに対応した最適な行動ａｃを選択する。ここで、実施の形態１では、制御条件学習部７２が選択する行動ａｃの内容が、ヒータ２４への出力を直接変更することである。これに対し、実施の形態２では、制御条件学習部７２が選択する行動ａｃの内容が、ＰＩＤコントローラ７４ａのパラメータを変更することである。
【００５９】
図６に示すように、制御条件学習部７２から出力された行動ａｃに基づいて、ＰＩＤコントローラ７４ａのパラメータが逐次変更される。他方、ＰＩＤコントローラ７４ａは、入力された制御偏差ｅｒｒに基づいて、ヒータ２４へ制御信号ｃｔｒを出力する。制御信号ｃｔｒは例えば電圧信号である。
その他の構成は、実施の形態１と同様であるから説明を省略する。
【００６０】
以上に説明した通り、実施の形態２に係る樹脂フィルム製造装置では、ＰＩＤ制御を用いているため、プロセス条件の変更に伴うパラメータ調整が必要である。実施の形態２に係る樹脂フィルム製造装置では、制御部７０が、強化学習によって、制御条件（学習結果）を報酬ｒｗに基づいて更新すると共に、更新された制御条件から現在の状態ｓｔに対応した最適な行動ａｃを選択する。ここで、強化学習における行動ａｃが、ＰＩＤコントローラ７４ａのパラメータの変更である。そのため、プロセス条件を変更した場合でも、比較例に比べ、パラメータ調整に要する時間及び樹脂材料を抑制することができる。
【００６１】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は既に述べた実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。
【符号の説明】
【００６２】
１０  押出機
１１  シリンダ
１２  スクリュー
１３  ホッパ
２０  Ｔダイ
２０ａ  導入口
２０ｂ  マニホールド
２０ｃ  スリット
２１、２２  ダイブロック
２１ａ、２２ａ  リップ
２２ｂ  切り欠き溝
２３  ヒートボルト
２４  ヒータ
２５ａ、２５ｂ  ホルダー
２６  連結部材
３０  冷却ロール
４０  搬送ロール群
４１〜４８  搬送ロール
５０  巻取機
６０  厚みセンサ
７０  制御部
７１  状態観測部
７２  制御条件学習部
７３  記憶部
７４  制御信号出力部
７４ａ  ＰＩＤコントローラ
８１  樹脂ペレット
８２  溶融樹脂
８２ａ  フィルム状の溶融樹脂
８３  樹脂フィルム
ａｃ  行動
ｃｃ  制御条件
ｃｔｒ  制御信号
ｅｒｒ  制御偏差
ｐｖ  測定値
ｒｗ  報酬
ｓｔ  状態
【図１】
2020152097.tif 000004
【図２】
2020152097.tif 000005
【図３】
2020152097.tif 000006
【図４】
2020152097.tif 000007
【図５】
2020152097.tif 000008
【図６】
2020152097.tif 000009