(57)【要約】【課題】熱源システムの運転効率を向上可能とする。【解決手段】熱源システム１の冷却塔制御装置３０は、冷却塔２０の運転条件及び運転能力の入力と運転容量の出力との関係を学習する強化学習部３４と、少なくとも運転条件、運転能力、運転容量を含む状態変数を取得する状態観測部３１と、冷却塔２０の制御結果を評価する冷却塔２０及び冷却水ポンプ４０の消費エネルギーを取得する評価データ取得部３２と、消費エネルギーに基づいて報酬を算出する報酬算出部３３と、を備える。強化学習部３４は、報酬算出部３３により算出された報酬を用いて、運転条件及び運転能力の条件下で消費エネルギーが最低となるように、目標運転容量モデル３６の入力と出力との関係を強化学習により取得する。【選択図】図３
2020183816.tif 000002
【特許請求の範囲】
【請求項１】
被冷却部と、前記被冷却部に冷却水を供給する冷却水ポンプと、前記冷却水ポンプによって前記被冷却部から導かれた前記冷却水を外気と接触させて冷却する冷却塔とを備え、前記冷却塔は前記被冷却部の最大負荷に対応する運転容量を有するように複数台設けられる熱源システムであって、
前記冷却塔の運転条件及び運転能力の入力と前記運転容量の出力との関係を学習する強化学習部と、
少なくとも前記運転条件、前記運転能力、前記運転容量を含む状態変数を取得する状態観測部と、
前記冷却塔の制御結果を評価する前記冷却塔及び前記冷却水ポンプの消費エネルギーを取得する評価データ取得部と、
前記消費エネルギーに基づいて報酬を算出する報酬算出部と、を備え、
前記強化学習部は、前記報酬算出部により算出された報酬を用いて、前記運転条件及び前記運転能力の条件下で前記消費エネルギーが最低となるように、前記入力と前記出力との関係を強化学習により取得する、
熱源システム。
【請求項２】
前記被冷却部は、冷凍機である、
請求項１に記載の熱源システム。
【請求項３】
前記報酬算出部は、前記消費エネルギーが低いほど高い報酬を算出する、
請求項１または２に記載の熱源システム。
【請求項４】
外部負荷と、
前記被冷却部内で熱交換を行うことによって冷却された冷水を前記外部負荷へ供給する冷水ポンプと、を備え、
前記状態変数及び前記入力は、前記被冷却部の負荷を含み、
前記評価データ取得部は、前記冷却塔及び前記冷却水ポンプの消費エネルギーに加えて、前記被冷却部及び前記冷水ポンプの消費エネルギーを取得し、
前記報酬算出部は、前記冷却塔及び前記冷却水ポンプの消費エネルギーと、前記被冷却部及び前記冷水ポンプの消費エネルギーとに基づいて前記報酬を算出する、
請求項１〜３のいずれか１項に記載の熱源システム。
【請求項５】
前記状態変数及び前記入力または前記出力は、前記冷却水の温度を含む、
請求項１〜４のいずれか１項に記載の熱源システム。
【請求項６】
被冷却部と、前記被冷却部に冷却水を供給する冷却水ポンプと、前記冷却水ポンプによって前記被冷却部から導かれた前記冷却水を外気と接触させて冷却する冷却塔とを備え、前記冷却塔は前記被冷却部の最大負荷に対応する運転容量を有するように複数台設けられる熱源システムにおいて、
冷却塔制御装置が、
少なくとも前記冷却塔の運転条件、運転能力、運転容量を含む状態変数を取得するステップと、
前記冷却塔の制御結果を評価する前記冷却塔及び前記冷却水ポンプの消費エネルギーを取得するステップと、
前記消費エネルギーに基づいて報酬を算出するステップと、
前記算出された報酬を用いて、前記運転条件及び前記運転能力の条件下で前記消費エネルギーが最低となるように、前記冷却塔の前記運転条件及び前記運転能力の入力と前記運転容量の出力との関係を強化学習により取得するステップと、
を実行する目標運転容量推定方法。
【請求項７】
被冷却部と、前記被冷却部に冷却水を供給する冷却水ポンプと、前記冷却水ポンプによって前記被冷却部から導かれた前記冷却水を外気と接触させて冷却する冷却塔とを備え、前記冷却塔は前記被冷却部の最大負荷に対応する運転容量を有するように複数台設けられる熱源システムにおいて、
冷却塔制御装置に、
少なくとも前記冷却塔の運転条件、運転能力、運転容量を含む状態変数を取得するステップと、
前記冷却塔の制御結果を評価する前記冷却塔及び前記冷却水ポンプの消費エネルギーを取得するステップと、
前記消費エネルギーに基づいて報酬を算出するステップと、
前記算出された報酬を用いて、前記運転条件及び前記運転能力の条件下で前記消費エネルギーが最低となるように、前記冷却塔の前記運転条件及び前記運転能力の入力と前記運転容量の出力との関係を強化学習により取得するステップと、
を実行させる目標運転容量推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、熱源システム、目標運転容量推定方法、目標運転容量推定プログラムに関する。
【背景技術】
【０００２】
従来、半導体工場における冷水供給や地域冷暖房などに用いられる熱源システムにおいて、外部負荷を冷却する冷凍機（被冷却部）に対して、冷凍機の最大負荷に対応する運転容量を有するように複数台の冷却塔を備える構成が知られている（例えば特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２３６７２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の複数台の冷却塔を備える熱源システムでは、運転効率の向上を図るべく、冷却塔の稼働台数を適切に選択できるのが望ましい。
【０００５】
本開示は、運転効率を向上できる熱源システム、目標運転容量推定方法、目標運転容量推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本開示の第１の態様による熱源システムは、被冷却部と、前記被冷却部に冷却水を供給する冷却水ポンプと、前記冷却水ポンプによって前記被冷却部から導かれた前記冷却水を外気と接触させて冷却する冷却塔とを備え、前記冷却塔は前記被冷却部の最大負荷に対応する運転容量を有するように複数台設けられる熱源システムであって、前記冷却塔の運転条件及び運転能力の入力と前記運転容量の出力との関係を学習する強化学習部と、少なくとも前記運転条件、前記運転能力、前記運転容量を含む状態変数を取得する状態観測部と、前記冷却塔の制御結果を評価する前記冷却塔及び前記冷却水ポンプの消費エネルギーを取得する評価データ取得部と、前記消費エネルギーに基づいて報酬を算出する報酬算出部と、を備え、前記強化学習部は、前記報酬算出部により算出された報酬を用いて、前記運転条件及び前記運転能力の条件下で前記消費エネルギーが最低となるように、前記入力と前記出力との関係を強化学習により取得する。
【０００７】
本開示の第１の態様によれば、運転効率を向上できる熱源システムを提供することができる。
【０００８】
本開示の第２の態様による熱源システムにおいて、前記被冷却部は、冷凍機である。
【０００９】
本開示の第３の態様による熱源システムにおいて、前記報酬算出部は、前記消費エネルギーが低いほど高い報酬を算出する。
【００１０】
本開示の第３の態様によれば、消費エネルギーが低くなるほど強化学習部は高い報酬を得られるので、冷却塔の運転条件及び運転能力の入力と、運転容量の出力との関係の学習を適切な方向に迅速に進めることができる。
【００１１】
本開示の第４の態様による熱源システムは、外部負荷と、前記被冷却部内で熱交換を行うことによって冷却された冷水を前記外部負荷へ供給する冷水ポンプと、を備え、前記状態変数及び前記入力は、前記被冷却部の負荷を含み、前記評価データ取得部は、前記冷却塔及び前記冷却水ポンプの消費エネルギーに加えて、前記被冷却部及び前記冷水ポンプの消費エネルギーを取得し、前記報酬算出部は、前記冷却塔及び前記冷却水ポンプの消費エネルギーと、前記被冷却部及び前記冷水ポンプの消費エネルギーとに基づいて前記報酬を算出する。
【００１２】
本開示の第４の態様によれば、冷却塔及び冷水ポンプの消費エネルギーに加えて、被冷却部及び冷水ポンプの消費エネルギーも考慮して、熱源システム全体の消費エネルギーを報酬計算に反映させることができるので、強化学習部による学習をより適切な方向へ進めることができ、強化学習部による運転容量の推定をより高精度にできる。
【００１３】
本開示の第５の態様による熱源システムにおいて、前記状態変数及び前記入力または前記出力は、前記冷却水の温度を含む。
【００１４】
本開示の第５の態様によれば、冷却水温度を変動させる制御を行う場合に、冷却水温度も考慮して学習を進めることができ、学習精度を向上できる。
【００１５】
本開示の第６の態様による目標運転容量推定方法は、被冷却部と、前記被冷却部に冷却水を供給する冷却水ポンプと、前記冷却水ポンプによって前記被冷却部から導かれた前記冷却水を外気と接触させて冷却する冷却塔とを備え、前記冷却塔は前記被冷却部の最大負荷に対応する運転容量を有するように複数台設けられる熱源システムにおいて、冷却塔制御装置が、少なくとも前記冷却塔の運転条件、運転能力、運転容量を含む状態変数を取得するステップと、前記冷却塔の制御結果を評価する前記冷却塔及び前記冷却水ポンプの消費エネルギーを取得するステップと、前記消費エネルギーに基づいて報酬を算出するステップと、前記算出された報酬を用いて、前記運転条件及び前記運転能力の条件下で前記消費エネルギーが最低となるように、前記冷却塔の前記運転条件及び前記運転能力の入力と前記運転容量の出力との関係を強化学習により取得するステップと、を実行する。
【００１６】
本開示の第６の態様による目標運転容量推定プログラムは、被冷却部と、前記被冷却部に冷却水を供給する冷却水ポンプと、前記冷却水ポンプによって前記被冷却部から導かれた前記冷却水を外気と接触させて冷却する冷却塔とを備え、前記冷却塔は前記被冷却部の最大負荷に対応する運転容量を有するように複数台設けられる熱源システムにおいて、冷却塔制御装置に、少なくとも前記冷却塔の運転条件、運転能力、運転容量を含む状態変数を取得するステップと、前記冷却塔の制御結果を評価する前記冷却塔及び前記冷却水ポンプの消費エネルギーを取得するステップと、前記消費エネルギーに基づいて報酬を算出するステップと、前記算出された報酬を用いて、前記運転条件及び前記運転能力の条件下で前記消費エネルギーが最低となるように、前記冷却塔の前記運転条件及び前記運転能力の入力と前記運転容量の出力との関係を強化学習により取得するステップと、を実行させる。
【図面の簡単な説明】
【００１７】
【図１】実施形態に係る熱源システムの概略構成を示す図である。
【図２】冷却塔制御装置のハードウェア構成の一例を示す図である。
【図３】第１実施形態に係る冷却塔制御装置の機能構成を説明する図である。
【図４】実施形態に係る目標運転容量推定処理の流れを示すフローチャートである。
【図５】熱源システムのシステムＣＯＰのシミュレーション結果の一例を示す図である。
【図６】第２実施形態に係る冷却塔制御装置の機能構成を説明する図である。
【発明を実施するための形態】
【００１８】
以下、添付図面を参照しながら実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は省略する。
【００１９】
［第１実施形態］
図１〜図４を参照して第１実施形態を説明する。まず図１を参照して熱源システム１の全体構成を説明する。図１は、実施形態に係る熱源システム１の概略構成を示す図である。
【００２０】
図１に示すように、熱源システム１は、冷凍機１０（被冷却部）と、冷凍機１０と並列に接続され、ファンが回転して冷却する３台の冷却塔２０ａ，２０ｂ，２０ｃと、冷却塔２０ａ，２０ｂ，２０ｃの制御を行う冷却塔制御装置３０とを備えている。図１では、３台の冷却塔を備えている場合を例示しているが、冷却塔の台数については限定されない。なお、以下特に明記しない場合には冷却塔は冷却塔２０として記載する。
【００２１】
冷凍機１０は、凝縮器１１と蒸発器１２とを備えている。凝縮器１１は、行き配管４１と還り配管４２の冷却水配管が接続されており、冷却塔２０ａ，２０ｂ，２０ｃにより冷却された冷却水Ｗ１が、冷却水配管を介して送給され、冷却水Ｗ１によって冷媒を冷却する。
【００２２】
蒸発器１２は、冷水配管５１，５２が接続されており、冷水配管５１，５２を介して外部負荷５０から冷水Ｗ２が送給され、冷水Ｗ２と冷媒を熱交換させて蒸発させる。蒸発器１２にて冷却された冷水Ｗ２は外部負荷５０に供給される。
【００２３】
外部負荷５０は、例えば、空気調和機（空調機）である。外部負荷５０は、冷水Ｗ２に対して放熱を行い、その後の冷水Ｗ２を冷凍機１０へ還流させる。
【００２４】
各冷却塔２０ａ，２０ｂ，２０ｃは、ファンが回転することにより冷却水Ｗ１を冷却する。各冷却塔２０ａ，２０ｂ，２０ｃは、往き配管４１を介して冷凍機１０と接続され、冷凍機１０で利用された冷却水Ｗ１が供給され、冷却塔２０で冷却された冷却水Ｗ１を還り配管４２を介して接続される冷凍機１０に供給する。
【００２５】
往き配管４１には送水ヘッダ４３が設けられ、還り配管４２には還水ヘッダ４４が設けられている。還り配管４２における還水ヘッダ４４よりも冷却水流れの下流側には冷却水ポンプ４０が設けられている。冷却水ポンプ４０の出力を調整することで、冷却塔２０ａ，２０ｂ，２０ｃと凝縮器１１の間で冷却水Ｗ１を循環させる。送水ヘッダ４３と還水ヘッダ４４との間にはバイパス配管４５が設けられている。バイパス配管４５には冷却水バイパス弁（バイパス弁）４６が設けられている。冷却水バイパス弁４６の開度を調整することにより、送水ヘッダ４３から還水ヘッダ４４へバイパスさせる流量が調整される。
【００２６】
還り配管４２において、還水ヘッダ４４よりも冷却水流れの下流側には、冷却塔２０ａ，２０ｂ，２０ｃにおいて冷却されて冷凍機１０に流入される冷却水Ｗ１の温度（冷却水入口温度Ｔ１）を計測する温度センサ２２が設けられている。温度センサ２２で計測された冷却水入口温度Ｔ１の情報は冷却塔制御装置３０へ出力される。
【００２７】
同様に、往き配管４１において、送水ヘッダ４３よりも冷却水流れの上流側には、冷凍機１０にて冷媒と熱交換した後の冷却水Ｗ１の温度（冷却水出口温度Ｔ２）を計測する温度センサ２３が設けられている。温度センサ２３で計測された冷却水出口温度Ｔ２の情報は冷却塔制御装置３０へ出力される。
【００２８】
熱源システム１は、各冷却塔２０ａ，２０ｂ，２０ｃに対応して湿球温度計２１ａ，２１ｂ，２１ｃを備えている。湿球温度計２１ａ，２１ｂ，２１ｃは、外気の湿球温度を計測し、計測されたそれぞれの湿球温度の情報を冷却塔制御装置３０に出力する。
【００２９】
冷凍機１０から外部負荷５０へ冷水Ｗ２を供給する冷水配管５２には、外部負荷５０へ流入される冷水Ｗ２の温度Ｔ３を計測する温度センサ２４が設けられている。温度センサ２４で計測された冷水温度Ｔ３の情報は冷却塔制御装置３０へ出力される。
【００３０】
同様に、外部負荷５０から冷凍機１０へ冷水Ｗ２を戻す冷水配管５１には、外部負荷５０にて熱交換した後の冷水Ｗ２の温度Ｔ４を計測する温度センサ２５が設けられている。温度センサ２５で計測された冷水温度Ｔ４の情報は冷却塔制御装置３０へ出力される。
【００３１】
冷水配管５２には冷水ポンプ４７が設けられている。冷水ポンプ４７の出力を調整することで、冷凍機１０と外部負荷５０との間で冷水Ｗ２を循環させる。
【００３２】
冷却塔制御装置３０は、冷却塔２０の目標運転容量を算出して、目標運転容量を達成するために稼働させる必要がある冷却塔の台数を算出して、この台数に応じて冷却塔の動作を制御する。
【００３３】
ここで図５を参照して、熱源システム１において冷却塔２０の台数制御を行う理由を説明する。図５は、熱源システム１のシステムＣＯＰ（Coefficient Of Performance：消費効率）のシミュレーション結果の一例を示す図である。システムＣＯＰは、熱源システム１の全体の効率である。図５の横軸は冷凍機１０の部分負荷率を示し、縦軸はシステムＣＯＰを示す。図５では、部分負荷率に応じたシステムＣＯＰの特性が、外気湿球温度ごとに同一マークでプロットされている。実線は冷却塔容量１００％の場合の特性、破線は冷却塔容量３００％の特性を示している。
【００３４】
図５に示すように、システムＣＯＰは、外気湿球温度が８℃以下の場合には、全ての冷凍機部分負荷率において、冷却塔容量を１００％から３００％に増大することによって増加する傾向がある。一方、外気湿球温度が１２℃以上の場合には、冷凍機部分負荷率が大きい領域では冷却塔容量３００％のシステムＣＯＰの方が１００％のものよりの高いが、冷凍機部分負荷率が低い領域では冷却塔容量１００％のシステムＣＯＰの方が３００％のものより高くなっている。このように、冷却塔容量３００％におけるシステムＣＯＰと、冷却塔容量１００％におけるシステムＣＯＰの大小関係が逆転する冷凍機部分負荷率は、外気湿球温度が高くなるほど高負荷側に移動する傾向がある。
【００３５】
したがって、熱源システム１の運転効率を高めるためには、冷却塔２０の運転容量の最適値が、外気湿球温度などの運転条件や、冷凍機負荷率などの運転能力などのパラメータを考慮して得られる必要がある。
【００３６】
特許文献１などの従来技術では、例えば図５の関係のような、外気湿球温度と冷凍機負荷率との関係で熱源システム全体のＣＯＰを把握できる表を作成し、この表から熱源システム全体のＣＯＰが最も高くなる演算式に用いるパラメータを決定し、この演算結果に基づいて冷却塔の運転台数などを制御していた。このため、予め表を用意してシステムに保持させるための記憶容量が必要だったり、煩雑な演算処理を行うため計算コストがかかるなどの問題があった。
【００３７】
これに対して本実施形態では、冷却塔制御装置３０は、熱源システム１の各位置から取得する運転条件や運転能力などのパラメータに基づき、学習系を用いて冷却塔２０の適切な稼働台数を推定する。これにより記憶容量や計算コストを抑制でき、運転効率を簡易に向上できる。
【００３８】
以下に、実施形態に係る冷却塔制御装置３０のハードウェア構成について説明する。図２は、冷却塔制御装置３０のハードウェア構成の一例を示す図である。
【００３９】
冷却塔制御装置３０は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３を有する。ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３は、いわゆるコンピュータを形成する。また、冷却塔制御装置３０は、補助記憶装置１０４、出力装置１０５、入力装置１０６、Ｉ／Ｆ（Interface）装置１０７、ドライブ装置１０８を有する。冷却塔制御装置３０の各ハードウェアは、バス１０９を介して相互に接続される。
【００４０】
ＣＰＵ１０１は、補助記憶装置１０４にインストールされている各種プログラム（例えば、目標運転容量推定プログラム等）を実行する演算デバイスである。ＲＯＭ１０２は、不揮発性メモリである。ＲＯＭ１０２は、主記憶デバイスとして機能し、補助記憶装置１０４にインストールされている各種プログラムをＣＰＵ１０１が実行するために必要な各種プログラムやデータ等を格納する。具体的には、ＲＯＭ１０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する。
【００４１】
ＲＡＭ１０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ１０３は、主記憶デバイスとして機能し、補助記憶装置１０４にインストールされている各種プログラムがＣＰＵ１０１によって実行される際に展開される作業領域を提供する。
【００４２】
補助記憶装置１０４は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する。
【００４３】
出力装置１０５は、冷却塔制御装置３０が取得した情報を出力する出力デバイスである。出力装置１０５は、例えば、表示装置等であっても良い。入力装置１０６は、例えば、冷却塔制御装置３０に対して各種操作を行うための入力デバイスである。Ｉ／Ｆ装置１０７は、冷却塔制御装置３０が他の機器と通信を行うための通信デバイスである。
【００４４】
ドライブ装置１０８は記録媒体１１０をセットするためのデバイスである。ここでいう記録媒体１１０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体１１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
【００４５】
尚、補助記憶装置１０４にインストールされる各種プログラムは、例えば、配布された記録媒体１１０がドライブ装置１０８にセットされ、記録媒体１１０に記録された各種プログラムがドライブ装置１０８により読み出されることでインストールされる。あるいは、補助記憶装置１０４にインストールされる各種プログラムは、ネットワークよりダウンロードされることで、インストールされてもよい。
【００４６】
次に、図３を参照して、冷却塔制御装置３０の機能構成について説明する。図３は、第１実施形態に係る冷却塔制御装置３０の機能構成を説明する図である。
【００４７】
本実施形態の冷却塔制御装置３０は、例えば、ＣＰＵ１０１が、補助記憶装置１０４にインストールされた目標運転容量推定プログラムを読み込んで実行することで、図３に示す機能を実現する。
【００４８】
冷却塔制御装置３０は、状態観測部３１と、評価データ取得部３２と、報酬算出部３３と、強化学習部３４と、冷却塔制御部３５とを備える。
【００４９】
状態観測部３１は、熱源システム１の状態変数を取得して、強化学習部３４に出力する。状態変数は、学習対象が存在する環境の現在状態を示すデータであり、本実施形態では少なくとも冷却塔２０の運転条件、運転能力、運転容量を含む。
【００５０】
冷却塔２０の運転条件とは、例えば冷却塔２０の現在の外気湿球温度（外気温）の情報を含み、湿球温度計２１ａ，２１ｂ，２１ｃの計測値から取得できる。
【００５１】
冷却塔２０の運転能力とは冷却塔２０の現在の負荷であり、冷却塔２０が冷凍機１０と熱交換する冷却熱量である。運転能力は、例えば、往還水温度差（冷凍機入口出口の冷却水の温度差）と冷却水流量（例えば冷却水ポンプ４０のインバータの電圧や周波数から計算、または流量計の測定値）との積で算出できる。往還水温度差は、例えば温度センサ２２、２３により計測される冷却水入口温度Ｔ１、冷却水出口温度Ｔ２の差分を用いて算出できる。
【００５２】
冷却塔２０の運転容量は、例えば現在稼働している冷却塔の台数と各冷却塔の容量との積で算出できる。稼働台数は、例えば目標運転容量モデル３６の出力に基づき冷却塔制御部３５が現在稼働させている冷却塔２０の台数の情報から取得できる。
【００５３】
報酬算出部３３は、強化学習部３４が強化学習を行う際に用いる報酬を算出する。報酬算出部３３は、消費エネルギーに基づいて報酬を算出する。本実施形態では、報酬算出部３３は、消費エネルギーが低いほど高い報酬を算出する。
【００５４】
評価データ取得部３２は、冷却塔２０の制御結果を評価する冷却塔２０及び冷却水ポンプ４０の消費エネルギーを評価データとして取得して報酬算出部３３に出力する。ここで「消費エネルギー」は、消費電力、エネルギー消費効率（ＣＯＰ；Coefficient Of Performance）、ＣＯ２排出量、エネルギーコストの少なくとも１つを含む。これにより、強化学習部３４が強化学習を行う際に用いる報酬に消費エネルギーを反映させることができる。
【００５５】
強化学習部３４は、状態観測部３１から入力される状態変数に基づいて、運転容量の目標値である目標運転容量を出力するためのモデルについて強化学習を行う。強化学習部３４は、冷却塔２０の運転条件及び運転能力の入力と目標運転容量の出力との関係を学習する。また、強化学習部３４は、強化学習を行うことで取得される目標運転容量を冷却塔制御部３５に送信する。
【００５６】
強化学習部３４は、目標運転容量モデル３６を有する。強化学習部３４は、報酬算出部３３により算出された報酬を用いて、報酬が最大となるように、すなわち、運転条件及び運転負荷の条件下で消費エネルギーが最低となるように、目標運転容量モデル３６のモデルパラメータを変更して、冷却塔２０の運転条件及び運転負荷の入力と運転容量の出力との関係を強化学習により取得する。目標運転容量モデル３６は、例えば多層ニューラルネットワークである。
【００５７】
また、強化学習部３４は、モデルパラメータが変更された目標運転容量モデル３６に、状態観測部３１が取得した状態変数を入力することで、目標運転容量を出力させる。強化学習部３４は、目標運転容量モデル３６より出力された目標運転容量を冷却塔制御部３５に送信する。これにより、強化学習部３４は、適切な目標運転容量を導出することができる。
【００５８】
また、上記説明では、強化学習部３４は、状態観測部３１から入力される状態変数のすべてを目標運転容量モデル３６に入力するものとした。しかしながら強化学習部３４は、状態変数の一部のみを目標運転容量モデル３６に入力する構成でもよい。例えば、上記の状態変数のうち、現在稼働中の冷却塔２０の運転容量の情報を、目標運転容量モデル３６の入力に含めない構成でもよい。
【００５９】
なお、冷却塔２０の制御では、冷却水温度を所定値に固定するのが一般的であるが、冷却水温度を変動させる場合もある。この場合には、状態観測部３１が取得する状態変数に、さらに送水温度（冷却水温度設定値）の情報を含んでもよい。この場合、目標運転容量モデル３６の入力にも送水温度が加わる。これにより、冷却水温度を変動させる制御を行う場合にも、冷却水温度も考慮してモデルの学習を進めることができ、学習精度を向上できる。この送水温度には、例えば温度センサ２２により計測される冷却水入口温度Ｔ１を利用できる。
【００６０】
「冷却水Ｗ１」及び「冷水Ｗ２」は、水以外の熱媒体に置き換えてもよい。
【００６１】
冷却塔制御部３５は、目標運転容量モデル３６が出力した目標運転容量に基づき、この目標運転容量を達成するために必要な冷却塔２０の稼働台数を算出して、算出した稼働台数に基づき冷却塔２０の動作を制御する。
【００６２】
次に、冷却塔制御装置３０による目標運転容量推定処理の流れについて説明する。図４は、実施形態に係る目標運転容量推定処理の流れを示すフローチャートである。
【００６３】
ステップＳ１において、状態観測部３１は、現在の目標運転容量に基づき現在稼働中の冷却塔の運転条件、運転能力、運転容量を熱源システム１の状態変数として取得して、強化学習部３４に出力する。
【００６４】
ステップＳ２において、評価データ取得部３２は、現在の目標運転容量に基づき現在稼働中の冷却塔２０及び冷却水ポンプ４０の消費エネルギーを取得して報酬算出部３３に出力する。
【００６５】
報酬算出部３３は、ステップＳ２にて取得した消費エネルギーに基づいて、現在の冷却塔２０の稼働状態に関する報酬を算出する。まずステップＳ３において、報酬算出部３３は、ステップＳ２にて取得した消費エネルギーが、前回取得した消費エネルギーよりも減少したか否かを判定する。
【００６６】
消費エネルギーが減少した場合（ステップＳ３のＹｅｓ）、ステップＳ４に進み、報酬算出部３３は報酬を現在値より増やす。一方、消費エネルギーが増加した場合（ステップＳ３のＮｏ）、ステップＳ５に進み、報酬算出部３３は報酬を現在値より減らす。
【００６７】
ステップＳ６において、強化学習部３４は、ステップＳ５またはＳ６にて算出された報酬に基づき、目標運転容量モデル３６について機械学習を行う。強化学習部３４は、例えば報酬が最大となる方向に学習が進むように、目標運転容量モデル３６のモデルパラメータを更新する。
【００６８】
ステップＳ７において、強化学習部３４は、ステップＳ６にて学習した後の目標運転容量モデル３６を用いて目標運転容量の推論を行う。強化学習部３４は、ステップＳ１にて取得した状態変数を目標運転容量モデル３６に入力して、目標運転容量モデル３６を実行して目標運転容量を出力させて、目標運転容量の推論を行う。強化学習部３４は、推論した目標運転容量を冷却塔制御部３５に出力する。
【００６９】
ステップＳ８において、冷却塔制御部３５は、推論した目標運転容量を達成すべく可動させる冷却塔２０の台数を決定して、決定した台数の冷却塔２０を作動させる。
【００７０】
ステップＳ９において、強化学習部３４は、目標運転容量モデル３６の学習を継続するか否かを判定する。学習を継続する場合（ステップＳ９のＹｅｓ）ステップＳ１に戻る。学習を終了する場合（ステップＳ９のＮｏ）は本制御フローを終了する。学習終了の判定基準としては、例えば、報酬算出部３３が算出した報酬の値が所定の閾値以上となったときに学習を終了する。
【００７１】
学習終了後は、現在の冷却塔２０の運転条件、運転負荷が維持されている間は、目標運転容量モデル３６が出力した現在の目標運転容量に基づき冷却塔２０の台数制御を継続する。
【００７２】
なお、ステップＳ１の状態変数の取得処理は、ステップＳ７の前に実施してもよい。また、ステップＳ６の目標運転容量モデル３６の学習は、報酬が増加した場合のみ実行してもよい。
【００７３】
このように、第１実施形態に係る熱源システム１は、冷凍機１０と、冷凍機１０内で熱交換を行うことによって冷媒を冷却する冷却水を供給する冷却水ポンプ４０と、冷却水ポンプ４０によって冷凍機１０から導かれた冷却水を外気と接触させて冷却する冷却塔２０とを備え、冷却塔２０は冷凍機１０の最大負荷に対応する運転容量を有するように複数台設けられる。熱源システム１の冷却塔制御装置３０は、冷却塔２０の運転条件及び運転能力の入力と運転容量の出力との関係を学習する強化学習部３４と、少なくとも運転条件、運転能力、運転容量を含む状態変数を取得する状態観測部３１と、冷却塔２０の制御結果を評価する冷却塔２０及び冷却水ポンプ４０の消費エネルギーを取得する評価データ取得部３２と、消費エネルギーに基づいて報酬を算出する報酬算出部３３と、を備える。強化学習部３４は、報酬算出部３３により算出された報酬を用いて、運転条件及び運転能力の条件下で消費エネルギーが最低となるように、目標運転容量モデル３６の入力と出力との関係を強化学習により取得する。
【００７４】
この構成により、熱源システム１における冷却塔２０の運転条件と運転負荷に応じて、消費エネルギーが最も小さくなるように、起動させる冷却塔２０の台数を決定することができる。これにより第１実施形態の熱源システム１は運転効率を向上できる。
【００７５】
また、図５を参照して説明したように、特許文献１などの従来の冷却塔制御手法では、例えば図５の関係のような、外気湿球温度と冷凍機負荷率との関係で熱源システム全体のＣＯＰを把握できる表を作成し、この表から熱源システム全体のＣＯＰが最も高くなる演算式に用いるパラメータを決定し、この演算結果に基づいて冷凍機の運転台数などを制御する、という手順が必要であった。これに対して第１実施形態の熱源システム１では、強化学習部３４によって学習が行われた目標運転容量モデル３６を用いて、冷却塔２０の運転条件等の情報に基づき冷却塔２０の運転容量（稼働台数）を推定するので、計算コストや記憶容量を抑制でき、冷却塔２０の適切な稼働台数を簡易に決定できる。
【００７６】
なお、上記実施形態では、複数の冷却塔２０ａ、２０ｂ、２０ｃと接続され、冷却塔２０ａ、２０ｂ、２０ｃにより冷却された冷却水が供給される対象として冷凍機１０を備える構成を例示したが、被冷却部に含まれる冷凍機１０以外の装置を適用してもよい。被冷却部は、冷却水を循環させて目的の試料、または装置や装置の一部を冷却、温度制御する装置の総称であり、冷却水により冷媒を冷却してこの冷媒により冷却した冷水を外部負荷５０に供給する構成と、外部負荷５０と接続せずに装置自体が冷却水により冷却される構成とを含む。冷凍機１０以外の装置としては、例えば、製造ラインにおける金型の冷却装置、蒸気タービンの復水器、水冷サーバーなどが挙げられる。
【００７７】
このように冷凍機１０を水冷チラーに拡張した場合、熱源システム１が外部負荷５０を備えない構成も考えられる。第１実施形態では、評価データを冷却塔２０と冷却水ポンプ４０の消費エネルギーに限定しているので、外部負荷５０を備えない構成にも適用可能となり、汎用性を向上できる。
【００７８】
また、第１実施形態に係る熱源システム１では、報酬算出部３３は消費エネルギーが低いほど高い報酬を算出する。これにより、消費エネルギーが低くなるほど強化学習部３４は高い報酬を得られるので、冷却塔２０の運転条件及び運転能力の入力と、運転容量の出力との関係の学習を適切な方向に迅速に進めることができる。
【００７９】
［第２実施形態］
図６を参照して第２実施形態を説明する。図６は、第２実施形態に係る冷却塔制御装置３０Ａの機能構成を説明する図である。
【００８０】
図６に示すように、状態観測部３１が取得する状態変数（モデルへの入力情報）は、さらに冷凍機１０の負荷を含む。冷凍機１０の負荷は、例えば、往還水温度差（外部負荷５０の入口出口の冷水の温度差）と冷水流量（例えば冷水ポンプ４７のインバータの電圧や周波数から計算、または流量計の測定値）との積や、冷凍機１０の負荷率から算出できる。
【００８１】
評価データ取得部３２は、冷却塔２０及び冷却水ポンプ４０の消費エネルギーに加えて、冷凍機１０及び冷水ポンプ４７の消費エネルギーを取得する。この場合、報酬算出部３３は、冷却塔２０及び冷却水ポンプ４０の消費エネルギーと、冷凍機１０及び冷水ポンプ４７の消費エネルギーとに基づいて報酬を算出する。すなわち、熱源システム１全体の消費エネルギーに基づいて報酬を算出する。これにより熱源システム１全体の消費エネルギーを報酬計算に反映させることができるので、強化学習部３４による学習をより適切な方向へ進めることができ、強化学習部３４による運転容量の推定をより高精度にできる。
【００８２】
目標運転容量モデル３６は、出力に冷却水温度を含んでもよい。この場合、状態観測部３１が取得する状態変数の出力項目にも冷却水温度の情報が含まれる。また、第１実施形態と同様に、状態変数の運転目標値として冷却水温度を取得して、目標運転容量モデル３６に入力する構成としてもよい。
【００８３】
なお、第２実施形態では、目標運転容量モデル３６の学習は、現在の熱源システム１の運転状態が、始動後に「負荷＝運転能力」となる定常運転に遷移した後に行なうのが好ましい。これにより状態観測部３１が取得する状態変数に含まれる負荷の情報の精度が向上するので、目標運転容量モデル３６の学習精度も向上できる。
【００８４】
以上、具体例を参照しつつ本実施形態について説明した。しかし、本開示はこれらの具体例に限定されるものではない。これら具体例に、当業者が適宜設計変更を加えたものも、本開示の特徴を備えている限り、本開示の範囲に包含される。前述した各具体例が備える各要素およびその配置、条件、形状などは、例示したものに限定されるわけではなく適宜変更することができる。前述した各具体例が備える各要素は、技術的な矛盾が生じない限り、適宜組み合わせを変えることができる。
【００８５】
上記実施形態では、学習部の目標運転容量モデルが目標運転容量を出力し、冷却塔制御部が目標運転容量に応じて稼働させる冷却塔の台数を決定する構成を例示したが、学習部の目標運転容量モデルが冷却塔の稼働台数を直接出力する構成でもよい。
【符号の説明】
【００８６】
１    熱源システム
１０    冷凍機（被冷却部）
２０、２０ａ、２０ｂ、２０ｃ    冷却塔
３０、３０Ａ    冷却塔制御装置
３１    状態観測部
３２    評価データ取得部
３３    報酬算出部
３４    強化学習部
４０    冷却水ポンプ
４７    冷水ポンプ
５０    外部負荷
【図１】
2020183816.tif 000003
【図２】
2020183816.tif 000004
【図３】
2020183816.tif 000005
【図４】
2020183816.tif 000006
【図５】
2020183816.tif 000007
【図６】
2020183816.tif 000008