(57)【要約】【課題】実環境を対象とした最適制御を簡易かつ精度よく実行すること。【解決手段】制御装置１０は、制御対象設備２０に設置されたセンサ２１によって取得されたデータを収集し、収集したデータを入力として、制御対象設備２０の制御内容を決定するためのモデルを用いて制御内容を決定し、該制御内容に基づいて、制御対象設備２０を制御する。そして、制御装置１０は、モデルについて、制御が行われた後のセンサ２１によって得られたデータの値が、所定の値に近いほど高い報酬が付与されるように学習する。【選択図】図１
2019067238.tif 000002
【特許請求の範囲】
【請求項１】
制御対象設備に設置されたセンサによって取得されたデータを収集する収集手段と、
前記収集手段によって収集されたデータを入力として、前記制御対象設備の制御内容を決定するためのモデルを用いて制御内容を決定し、該制御内容に基づいて、前記制御対象設備を制御する制御手段と、
前記モデルについて、前記制御手段によって制御が行われた後の前記センサによって得られたデータの値が、所定の値に近いほど高い報酬が付与されるように学習する学習手段と
を有することを特徴とする制御装置。
【請求項２】
前記収集手段は、複数の制御対象設備にそれぞれ設置された各センサのデータをそれぞれ収集し、
前記制御手段は、前記収集手段によって収集された各センサのデータを、各モデルにそれぞれ入力して前記制御内容をそれぞれ決定し、各制御内容に基づいて、各制御対象設備をそれぞれ制御し、
前記学習手段は、各モデルについて、前記制御手段によって制御が行われた後の前記各センサのデータの値が、所定の値に近いほど高い報酬が付与されるようにそれぞれ学習することを特徴とする請求項１に記載の制御装置。
【請求項３】
前記制御手段は、前記収集手段によって収集された各センサのデータを記憶部に格納し、同一時刻のデータを同時に各モデルにそれぞれ入力して前記制御内容をそれぞれ決定し、各制御内容に基づいて、各制御対象設備をそれぞれ制御することを特徴とする請求項２に記載の制御装置。
【請求項４】
前記収集手段は、複数の制御対象設備にそれぞれ設置された各センサのデータを同時に収集し、
前記制御手段は、前記収集手段によって収集された各センサのデータを、モデルに同時に入力して前記制御内容をそれぞれ決定し、該制御内容に基づいて、各制御対象設備を同時に制御することを特徴とする請求項１に記載の制御装置。
【請求項５】
前記学習手段は、前記制御手段によって制御が行われた後の前記センサによって得られたデータの値が、予め設定された所定の上限値と所定の下限値との平均値に近いほど高い報酬を付与することを特徴とする請求項１に記載の制御装置。
【請求項６】
制御装置によって実行される制御方法であって、
制御対象設備に設置されたセンサによって取得されたデータを収集する収集工程と、
前記収集工程によって収集されたデータを入力として、前記制御対象設備の制御内容を決定するためのモデルを用いて制御内容を決定し、該制御内容に基づいて、前記制御対象設備を制御する制御工程と、
前記モデルについて、前記制御工程によって制御が行われた後の前記センサによって得られたデータの値が、所定の値に近いほど高い報酬が付与されるように学習する学習工程と
を含んだことを特徴とする制御方法。
【請求項７】
制御対象設備に設置されたセンサによって取得されたデータを収集する収集ステップと、
前記収集ステップによって収集されたデータを入力として、前記制御対象設備の制御内容を決定するためのモデルを用いて制御内容を決定し、該制御内容に基づいて、前記制御対象設備を制御する制御ステップと、
前記モデルについて、前記制御ステップによって制御が行われた後の前記センサによって得られたデータの値が、所定の値に近いほど高い報酬が付与されるように学習する学習ステップと
をコンピュータに実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御装置、制御方法および制御プログラムに関する。
【背景技術】
【０００２】
従来、工場、プラント、ビル、データセンタ等の様々な環境において、制御装置や空調その他様々な機器の制御を行っている。従来の手法では、一般的に、人間が閾値や制御内容などを決めてルール化を行い、最適な温度や安定した制御状態を作り出す。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１４２６５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の手法では、実環境を対象とした最適制御を簡易かつ精度よく実行することができないという課題があった。例えば、人間が閾値や制御内容などを決めてルール化を行い、最適な温度や安定した制御状態を作り出す場合には、専門家が手動でルールを決めたりするので、手間が掛かり簡易に実行することができなかった。
【０００５】
なお、強化学習を用いて閾値や制御内容などを学習し、機器の制御を自動的に行うことが考えられる。このような強化学習の報酬の設計では、シンプルな報酬設計が行われるので、最適制御を精度よく実行することができなかった。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明の制御装置は、制御対象設備に設置されたセンサによって取得されたデータを収集する収集手段と、前記収集手段によって収集されたデータを入力として、前記制御対象設備の制御内容を決定するためのモデルを用いて制御内容を決定し、該制御内容に基づいて、前記制御対象設備を制御する制御手段と、前記モデルについて、前記制御手段によって制御が行われた後の前記センサによって得られたデータの値が、所定の値に近いほど高い報酬が付与されるように学習する学習手段とを有することを特徴とする。
【０００７】
また、本発明の制御方法は、制御装置によって実行される制御方法であって、制御対象設備に設置されたセンサによって取得されたデータを収集する収集工程と、前記収集工程によって収集されたデータを入力として、前記制御対象設備の制御内容を決定するためのモデルを用いて制御内容を決定し、該制御内容に基づいて、前記制御対象設備を制御する制御工程と、前記モデルについて、前記制御工程によって制御が行われた後の前記センサによって得られたデータの値が、所定の値に近いほど高い報酬が付与されるように学習する学習工程とを含んだことを特徴とする。
【０００８】
また、本発明の制御プログラムは、制御対象設備に設置されたセンサによって取得されたデータを収集する収集ステップと、前記収集ステップによって収集されたデータを入力として、前記制御対象設備の制御内容を決定するためのモデルを用いて制御内容を決定し、該制御内容に基づいて、前記制御対象設備を制御する制御ステップと、前記モデルについて、前記制御ステップによって制御が行われた後の前記センサによって得られたデータの値が、所定の値に近いほど高い報酬が付与されるように学習する学習ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、実環境を対象とした最適制御を簡易かつ精度よく実行することができるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】図１は、第１の実施形態に係る制御システムの構成例を示すブロック図である。
【図２】図２は、第１の実施形態に係る制御装置が最適制御を行う実環境の一例を示す図である。
【図３】図３は、第１の実施形態に係る制御装置の構成例を示すブロック図である。
【図４】図４は、センサデータ記憶部に記憶されるデータの一例を示す図である。
【図５】図５は、第１の実施形態に係る制御装置における最適制御処理の流れを説明する図である。
【図６】図６は、第１の実施形態に係る制御装置における最適制御学習の並列処理を説明する図である。
【図７】図７は、第１の実施形態に係る制御装置における報酬付与について説明する図である。
【図８】図８は、第１の実施形態に係る制御装置における処理の流れの一例を示すフローチャートである。
【図９】図９は、第２の実施形態に係る制御装置の処理の概要を示す図である。
【図１０】図１０は、制御プログラムを実行するコンピュータを示す図である。
【発明を実施するための形態】
【００１１】
以下に、本願に係る制御装置、制御方法および制御プログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態により本願に係る制御装置、制御方法および制御プログラムが限定されるものではない。
【００１２】
［第１の実施形態］
以下の実施の形態では、第１の実施形態に係る制御システム１００の構成、制御装置１０の構成、制御装置１０の処理の流れを順に説明し、最後に第１の実施形態による効果を説明する。
【００１３】
［制御システムの構成］
図１は、第１の実施形態に係る制御システムの構成例を示すブロック図である。第１の実施形態に係る制御システム１００は、制御装置１０と実環境である複数の制御対象設備２０Ａ〜２０Ｃとを有し、制御装置１０と制御対象設備２０Ａ〜２０Ｃはネットワーク３０を介して互いに接続されている。なお、図１に示す構成は一例にすぎず、具体的な構成や各装置の数は特に限定されない。また、制御対象設備２０Ａ〜２０Ｃについて、特に区別なく説明する場合には、適宜制御対象設備２０と記載する。
【００１４】
制御装置１０は、制御対象設備２０Ａ〜２０Ｃに設置されたセンサ２１によって取得されたデータを収集する。そして、制御装置１０は、収集したセンサのデータを入力として、制御対象設備２０Ａ〜２０Ｃの制御内容を決定するためのニューラルネットワークモデル等のモデルを用いて制御内容を決定し、該制御内容に基づいて、制御対象設備２０Ａ〜２０Ｃを制御する。
【００１５】
続いて、制御装置１０は、モデルについて、制御が行われた後のセンサ２１によって得られたデータの値が、所定の値に近いほど高い報酬が付与されるように強化学習を実施する。例えば、制御装置１０は、予め設定された所定の上限値と所定の下限値との平均値に近いほど高い報酬を段階的に付与する。
【００１６】
制御対象設備２０Ａ〜２０Ｃは、それぞれ複数のセンサ２１が設置されている。制御対象設備は、例えば、プラント内装置や反応炉、建物空調、データセンタ内ラック等である。なお、ここでは各制御対象設備２０Ａ〜２０Ｃは、距離的に離れているものとする。制御対象設備２０について具体例を挙げて説明すると、例えば、図２に例示するように、プラント内に設置されたタンクであり、各６基のタンクにそれぞれ温度センサ（図示略）が設けられている。図２は、第１の実施形態に係る制御装置が最適制御を行う実環境の一例を示す図である。
【００１７】
この例では、各センサ２１がタンクの温度のデータを取得し、制御装置１０に送信する。そして、制御装置１０は、実環境のデータを取得して強化学習を行うので、仮想環境では得られない実環境上の外的要因なども含むこととなり、ランダム性がより高まり、様々な状況における学習を実行することが可能である。
【００１８】
また、制御装置１０は、例えば、収集したセンサ２１のデータに応じて、各６基のタンクに対して制御内容を決定し、空冷、冷水等で各６基のタンクの温度を調整する。温度の調節は、常に最適な値でとどまるように、自動調整される。
【００１９】
［制御装置の構成］
次に、図３を用いて、制御装置１０の構成を説明する。図３は、第１の実施形態に係る制御装置の構成例を示すブロック図である。図３に示すように、この制御装置１０は、通信処理部１１、制御部１２および記憶部１３を有する。以下に制御装置１０が有する各部の処理を説明する。
【００２０】
通信処理部１１は、各種情報に関する通信を制御する。例えば、通信処理部１１は、制御対象設備２０との間でセンサのデータの送受信を行う。
【００２１】
記憶部１３は、制御部１２による各種処理に必要なデータおよびプログラムを格納するが、特に本発明に密接に関連するものとしては、センサデータ記憶部１３ａを有する。例えば、記憶部１３は、ＲＡＭ（Random  Access  Memory）、フラッシュメモリ（Flash  Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置などである。
【００２２】
センサデータ記憶部１３ａは、後述する収集部１２ａによって各制御対象設備２０の各センサ２１から収集された同一時刻のセンサ２１のデータを一時的に記憶する。例えば、センサデータ記憶部１３ａは、図４に例示するように、時刻１２：００に各センサ２１によって取得されたセンサ２１のデータとして、実環境Ａの状態１〜３、実環境Ｂの状態１〜３、実環境Ｃの状態１〜３を記憶する。ここで、「状態」とは、センサ２１が取得した温度や圧力、音、振動等の各種データである。図４は、センサデータ記憶部に記憶されるデータの一例を示す図である。
【００２３】
具体例を挙げて説明すると、実環境Ａの状態１〜３とは、例えば、プラント内のそれぞれ異なる場所に設置された各温度センサの温度の値であってもよいし、状態１が温度の値、状態２が圧力の値、状態３が振動の値というように、それぞれ異なる種類のセンサ２１のデータであってもよい。なお、以下では、各状態が、それぞれ異なる場所に設置された各温度センサの温度の値である場合を例として説明する。
【００２４】
例えば、図４の例では、センサデータ記憶部１３ａは、時刻１２：００における実環境Ａの状態１として「４０」度、状態２として「３１」度、状態３として「１７」度を記憶し、実環境Ｂの状態１として「７０」度、状態２として「８０」度、状態３として「６６」度を記憶し、実環境Ｃの状態１として「５０」度、状態２として「４５」度、状態３として「５６」度を記憶する。
【００２５】
制御部１２は、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行するが、特に本発明に密接に関連するものとしては、収集部１２ａ、制御部１２ｂおよび学習部１２ｃを有する。ここで、制御部１２は、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）などの電子回路やＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）などの集積回路である。
【００２６】
収集部１２ａは、制御対象設備２０に設置されたセンサ２１によって取得されたデータを収集する。具体的には、収集部１２ａは、複数の制御対象設備２０にそれぞれ設置された各センサ２１のデータをそれぞれ収集し、センサデータ記憶部１３ａに同時刻のデータをバッファリングする。
【００２７】
例えば、収集部１２ａは、工場やプラントなどの制御対象設備２０に設置されるセンサ２１からデータを定期的（例えば、１分ごと）に受信し、センサデータ記憶部１３ａにバッファリングする。ここでセンサ２１が取得するデータとは、例えば、制御対象設備である工場、プラント内の装置や反応炉についての温度や圧力、音、振動等の各種データである。
【００２８】
制御部１２ｂは、収集部１２ａによって収集されたデータを入力として、制御対象設備２０の制御内容を決定するためのモデルを用いて制御内容を決定し、該制御内容に基づいて、制御対象設備２０を制御する。制御部１２ｂは、収集部１２ａによって収集された各センサ２１のデータを、各モデルにそれぞれ入力して制御内容をそれぞれ決定し、各制御内容に基づいて、各制御対象設備２０をそれぞれ制御する。
【００２９】
例えば、制御部１２ｂは、収集部１２ａによって収集された各センサのデータをセンサデータ記憶部１３ａに格納し、同一時刻のデータを同時に各モデルにそれぞれ入力して制御内容をそれぞれ決定し、各制御内容に基づいて、各制御対象設備２０をそれぞれ制御する。
【００３０】
学習部１２ｃは、モデルについて、制御部１２ｂによって制御が行われた後のセンサ２１によって得られたデータの値が、所定の値に近いほど高い報酬が付与されるように学習する。例えば、学習部１２ｃは、制御部１２ｂによって制御が行われた後のセンサ２１によって得られたデータの値が、予め設定された所定の上限値と所定の下限値との平均値に近いほど高い報酬を付与する。つまり、学習部１２ｃは、安定の中心に行くほど、段階的に高い報酬を付与する。
【００３１】
ここで、図５を用いて、第１の実施形態に係る制御装置１０における最適制御処理の流れを説明する。図５は、第１の実施形態に係る制御装置における最適制御処理の流れを説明する図である。図５に例示するように、制御装置１０は、実環境Ａの状態１〜３、実環境Ｂの状態１〜３、実環境Ｃの状態１〜３として、各実環境Ａ〜Ｃに設置されたセンサ２１のデータを収集する。そして、制御装置１０は、各実環境Ａ〜Ｃにおいて最適制御学習を並列して実施し、各実環境Ａ〜Ｃそれぞれに適用したモデルのうち、最適なモデルを採用する。
【００３２】
ここで、図６を用いて、最適制御学習の並列処理を具体的に説明する。図６は、第１の実施形態に係る制御装置における最適制御学習の並列処理を説明する図である。図６に示すように、制御装置１０は、各実環境Ａ〜Ｃのセンサ２１のデータを各モデルにそれぞれ入力し、制御対象設備２０に対する制御内容を各モデルの出力としてそれぞれ取得する。そして、制御装置１０は、各制御内容に基づいて、各実環境Ａ〜Ｃの制御を実行する。
【００３３】
そして、制御装置１０は、各実環境Ａ〜Ｃの制御結果を取得する。具体的には、制御装置１０は、制御が行われた後の各実環境Ａ〜Ｃのセンサ２１によって得られたデータの値を取得する。続いて、制御装置１０は、各モデルについて、制御が行われた後のセンサ２１によって得られたデータの値が、予め設定された所定の上限値と所定の下限値との平均値に近いほど高い報酬が付与されるように学習する。
【００３４】
ここで、図７の例を用いて、報酬付与について具体的に説明する。図７は、第１の実施形態に係る制御装置における報酬付与について説明する図である。図７に示すように、制御装置１０は、各モデルについて、制御が行われた後のセンサ２１によって得られたデータの値が、求める適切な値の上限（例えば、上限温度）と求める適切な値の下限（例えば、下限温度）との平均値に近いほど高い報酬が付与され、平均値から遠くなるほど低い報酬が付与されるように学習する。
【００３５】
例えば、制御装置１０は、制御が行われた後のセンサ２１によって得られたデータの値「ｘ」と、予め設定された所定の上限値「θ１」および所定の下限値「θ２」とを用いて、付与する報酬を算出する方法として、「−ａ（ｘ−θ１）（ｘ−θ２）」を計算する。なお、ここで「ａ」は、任意に変更可能な変数である。
【００３６】
このような学習を行った後、制御装置１０は、実環境Ａ〜Ｃのモデルのうち、最適なモデルを採用し、全てのモデルを最適なモデルに更新する。なお、更新するタイミングは、学習を行うたびに行ってもよいし、任意のタイミングであってもよい。また、最適なモデルをどのように決定するかについては、所定の条件から自動で決定してもよいし、手動で決定してもよい。
【００３７】
［制御装置の処理手順］
次に、図８を用いて、第１の実施形態に係る制御装置１０による処理手順の例を説明する。図８は、第１の実施形態に係る制御装置における処理の流れの一例を示すフローチャートである。
【００３８】
図８に例示するように、収集部１２ａは、制御対象設備２０におけるセンサ２１のデータを収集すると（ステップＳ１０１肯定）、収集したデータをセンサデータ記憶部１３ａを格納する（ステップＳ１０２）。
【００３９】
そして、制御部１２ｂは、全ての実環境における同時刻のデータを収集したかを判定する（ステップＳ１０３）。この結果、制御部１２ｂは、全ての実環境における同時刻のデータを収集していない場合には（ステップＳ１０３否定）、ステップＳ１０１に戻り、全ての実環境における同時刻のデータを収集するまでステップＳ１０１〜ステップＳ１０３の処理を繰り返す。
【００４０】
また、制御部１２ｂは、全ての実環境における同時刻のデータを収集した場合には（ステップＳ１０３肯定）、収集部１２ａによって収集された各センサ２１のデータを、各モデルにそれぞれ入力する（ステップＳ１０４）。そして、制御部１２ｂは、制御内容をそれぞれ決定し（ステップＳ１０５）、各制御内容に基づいて、各制御対象設備２０をそれぞれ制御する（ステップＳ１０６）。
【００４１】
続いて、学習部１２ｃは、モデルについて、制御部１２ｂによって制御が行われた後のセンサ２１によって得られたデータの値が、所定の値に近いほど高い報酬を付与する（ステップＳ１０７）。例えば、学習部１２ｃは、制御部１２ｂによって制御が行われた後のセンサ２１によって得られたデータの値が、予め設定された所定の上限値と所定の下限値との平均値に近いほど高い報酬を付与する。そして、制御装置１０は、各実環境Ａ〜Ｃそれぞれに適用したモデルのうち、最適なモデルを採用する（ステップＳ１０８）。
【００４２】
［第１の実施形態の効果］
第１の実施形態に係る制御装置１０は、制御対象設備２０に設置されたセンサ２１によって取得されたデータを収集し、収集したデータを入力として、制御対象設備２０の制御内容を決定するためのモデルを用いて制御内容を決定し、該制御内容に基づいて、制御対象設備２０を制御する。そして、制御装置１０は、モデルについて、制御が行われた後のセンサ２１によって得られたデータの値が、所定の値に近いほど高い報酬が付与されるように学習する。このため、制御装置１０では、実環境を対象とした最適制御を簡易かつ精度よく実行することが可能である。つまり、制御装置１０では、例えば、強化学習の報酬の与え方を、安定の中心に行くほど、報酬が高くなるモデルを適用し、より望ましい報酬の価値を高めることで、強化学習の最適解が生み出される確率が高めることが可能である。
【００４３】
また、制御装置１０は、複数の制御対象設備２０にそれぞれ設置された各センサ２１のデータをそれぞれ収集し、収集された各センサ２１のデータを、各モデルにそれぞれ入力して制御内容をそれぞれ決定し、各制御内容に基づいて、各制御対象設備２０をそれぞれ制御する。そして、制御装置１０は、各モデルについて、制御が行われた後の各センサ２１のデータの値が、所定の値に近いほど高い報酬が付与されるようにそれぞれ学習する。このため、実環境においては、仮想環境では得られない実環境上の外的要因なども含むこととなる。制御装置１０では、その実環境を並列的に学習することで、ランダム性がより高まり、様々な状況における学習を実行することが可能となる。
【００４４】
また、制御装置１０は、収集した各センサのデータをセンサデータ記憶部１３ａに格納し、同一時刻のデータを同時に各モデルにそれぞれ入力して制御内容をそれぞれ決定し、各制御内容に基づいて、各制御対象設備２０をそれぞれ制御する。制御装置１０では、実環境において並列処理を行う際に、生じる時間的な差分をバッファリングして、似たような環境において同時に学習することを可能とする。このため、実環境同士の距離が離れている等の原因から生じてしまう時間的な差分を、バッファリングを用いることで吸収し、同時実行の状態を作り出すことが可能となる。
【００４５】
［第２の実施形態］
上述した第１の実施形態では、制御装置１０が、各センサのデータをセンサデータ記憶部１３ａにバッファリングし、同一時刻のデータを同時に各モデルにそれぞれ入力し、制御内容をそれぞれ決定し、各制御内容に基づいて、各制御対象設備をそれぞれ制御する場合を説明したが、これに限定されるものではない。例えば、制御装置は、複数の制御対象設備にそれぞれ設置された各センサのデータを同時に収集し、収集された各センサのデータを、モデルに同時に入力して制御内容をそれぞれ決定し、該制御内容に基づいて、各制御対象設備を同時に制御するようにしてもよい。
【００４６】
そこで、以下では、第２の実施形態に係る制御装置が、複数の制御対象設備にそれぞれ設置された各センサのデータを同時に収集し、収集された各センサのデータを、モデルに同時に入力して制御内容をそれぞれ決定し、該制御内容に基づいて各制御対象設備を同時に制御する場合について説明する。なお、第１の実施形態に係る制御装置１０と同様の構成や処理については説明を省略する。
【００４７】
第２の実施形態に係る制御装置の収集部１２ａは、複数の制御対象設備２０にそれぞれ設置された各センサ２１のデータを同時に収集する。また、第２の実施形態に係る制御装置の制御部１２ｂは、収集された各センサ２１のデータを、モデルに同時に入力して制御内容をそれぞれ決定し、該制御内容に基づいて、各制御対象設備２０を同時に制御する。
【００４８】
ここで、図９を用いて、第２の実施形態に係る制御装置の処理の概要を説明する。図９は、第２の実施形態に係る制御装置の処理の概要を示す図である。図９に示すように、第２の実施形態に係る制御装置は、実環境Ａの状態１〜３、実環境Ｂの状態１〜３、実環境Ｃの状態１〜３として、各実環境Ａ〜Ｃに設置されたセンサ２１のデータを同時に収集する。なお、ここでは各各実環境Ａ〜Ｃは、距離的に近いものとする。
【００４９】
そして、第２の実施形態に係る制御装置は、各実環境Ａ〜Ｃのセンサ２１のデータをモデルに同時に入力し、制御対象設備２０に対する制御内容を決定する。そして、第２の実施形態に係る制御装置は、決定した制御内容に基づいて、各環境Ａ〜Ｃにおける制御対象設備２０の制御を同時に行う。
【００５０】
［第２の実施形態の効果］
第２の実施形態に係る制御装置は、複数の制御対象設備にそれぞれ設置された各センサ２１のデータを同時に収集し、収集された各センサ２１のデータを、モデルに同時に入力して制御内容をそれぞれ決定し、該制御内容に基づいて、各制御対象設備２０を同時に制御する。つまり、第２の実施形態に係る制御装置では、例えば、より近い場所に置かれた実環境には、なんらかの相互影響があるものと想定し、それらも含みながら同時に学習を行うことで、より効率化された学習が可能となる。
【００５１】
［システム構成等］
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００５２】
また、本実施の形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【００５３】
［プログラム］
また、上記実施形態において説明した制御装置が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。例えば、実施形態に係る制御装置１０が実行する処理をコンピュータが実行可能な言語で記述した制御プログラムを作成することもできる。この場合、コンピュータが制御プログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかる制御プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録された制御プログラムをコンピュータに読み込ませて実行することにより上記実施形態と同様の処理を実現してもよい。
【００５４】
図１０は、制御プログラムを実行するコンピュータを示す図である。図１０に例示するように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有し、これらの各部はバス１０８０によって接続される。
【００５５】
メモリ１０１０は、図１０に例示するように、ＲＯＭ（Read  Only  Memory）１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic  Input  Output  System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、図１０に例示するように、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、図１０に例示するように、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、図１０に例示するように、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、図１０に例示するように、例えばディスプレイ１１３０に接続される。
【００５６】
ここで、図１０に例示するように、ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、上記の、制御プログラムは、コンピュータ１０００によって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクドライブ１０９０に記憶される。
【００５７】
また、上記実施形態で説明した各種データは、プログラムデータとして、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出し、各種処理手順を実行する。
【００５８】
なお、制御プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、制御プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local  Area  Network）、ＷＡＮ（Wide  Area  Network）等）を介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
【００５９】
上記の実施形態やその変形は、本願が開示する技術に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００６０】
１０  制御装置
１１  通信処理部
１２  制御部
１２ａ  収集部
１２ｂ  制御部
１２ｃ  学習部
１３  記憶部
１３ａ  センサデータ記憶部
２０、２０Ａ〜２０Ｃ  制御対象設備
２１  センサ
１００  制御システム
【図１】
2019067238.tif 000003
【図２】
2019067238.tif 000004
【図３】
2019067238.tif 000005
【図４】
2019067238.tif 000006
【図５】
2019067238.tif 000007
【図６】
2019067238.tif 000008
【図７】
2019067238.tif 000009
【図８】
2019067238.tif 000010
【図９】
2019067238.tif 000011
【図１０】
2019067238.tif 000012