(57)【要約】室内空間を調整する空調システムの動作を制御させるコントローラーは、空間内の複数の点における空間の状態データを受信するデータ入力と、強化学習アルゴリズムのコード、状態データの履歴、及び空調システムに適用されてきた制御コマンドの履歴を記憶するメモリであって、制御コマンドの履歴は、状態データ及び報酬の履歴に関連付けられる、メモリと、メモリに結合され、報酬の累積価値を出力する価値関数を決定し、強化学習アルゴリズムを用いることによって制御コマンドを送信するプロセッサと、プロセッサから制御コマンドを受信し、空調システムに制御信号を送信するデータ出力であって、該制御信号は、制御コマンドに従って空調システムの少なくとも１つのアクチュエーターを制御する、データ出力とを備える。
2019522163.tif 000002
【特許請求の範囲】
【請求項１】
室内空間を調整する空調システムを動作させるコントローラーであって、該コントローラーは、
前記空間内の複数の点における前記空間の状態データを受信するデータ入力と、
強化学習アルゴリズムのコード、前記状態データの履歴、及び前記空調システムに適用されてきた制御コマンドの履歴を記憶するメモリであって、該制御コマンドの該履歴は、前記状態データ及び報酬の履歴に関連付けられる、メモリと、
前記メモリに結合され、前記報酬の累積価値を出力する価値関数を決定し、前記強化学習アルゴリズムを用いることによって制御コマンドを送信するプロセッサであって、前記強化学習アルゴリズムは、前記状態データの履歴、制御コマンドの履歴及び報酬データの履歴を処理し、制御コマンドを送信する、プロセッサと、
前記プロセッサから前記制御コマンドを受信し、前記空調システムに制御信号を送信するデータ出力であって、該制御信号は、前記制御コマンドに従って前記空調システムの少なくとも１つのアクチュエーターを制御する、データ出力と
を備える、コントローラー。
【請求項２】
各点における最新の状態データが、該点における温度、空気流及び湿度の測定値のうちの１つ又は組み合わせを含む、請求項１に記載のコントローラー。
【請求項３】
前記センサーは、前記空間内の物体の表面上の温度を測定する赤外線（ＩＲ）センサーである、請求項１に記載のコントローラー。
【請求項４】
前記物体は前記空間を形成する壁である、請求項１に記載のコントローラー。
【請求項５】
前記強化学習アルゴリズムは、最新の状態データと、前記状態データの前記履歴の先行する状態データとの間の距離に基づいて、前記価値関数を決定する、請求項１に記載のコントローラー。
【請求項６】
前記距離は、２つの画像に対応する２つの状態を用いて、カーネル関数によって求められる、請求項５に記載のコントローラー。
【請求項７】
前記強化学習アルゴリズムは、正則化予測Ｑ反復（ＲＦＱＩ）アルゴリズムに基づいて実行される、請求項１に記載のコントローラー。
【請求項８】
各前記状態データは、前記空間内の温度分布を示すＩＲ画像である、請求項１に記載のコントローラー。
【請求項９】
各前記状態データは、前記少なくとも１つのセンサーによって測定されたＩＲ画像のピクセルデータから形成される、請求項１に記載のコントローラー。
【請求項１０】
前記少なくとも１つのセンサーはマイクロフォン及び音声認識システムを含む、請求項１に記載のコントローラー。
【請求項１１】
室内空間を調整する空調システムの制御方法であって、該方法は、
少なくとも１つのセンサーを用いることによって、前記空間内の複数の点における前記空間の状態データを測定するステップと、
前記状態データの履歴、及び前記空調システムに適用されてきた制御コマンドの履歴を記憶するステップであって、該制御コマンドの該履歴は、前記状態データ及び報酬の履歴に関連付けられる、ステップと、
前記報酬の累積価値を出力する価値関数を決定するステップであって、該価値関数を該決定するステップは、強化学習アルゴリズムを用いることによって実行され、該強化学習アルゴリズムは、前記状態データの履歴、制御コマンドの履歴及び報酬データの履歴を処理し、制御コマンドを送信する、ステップと、
最新の状態データ及び前記状態データの前記履歴を用いて、前記価値関数に基づいて、制御コマンドを決定するステップと、
前記制御コマンドに従って少なくとも１つのアクチュエーターを用いることによって前記空調システムを制御するステップと
を含む、制御方法。
【請求項１２】
各点における前記最新の状態データが、該点における温度、空気流及び湿度の測定値のうちの１つ又は組み合わせを含む、請求項１１に記載の制御方法。
【請求項１３】
前記少なくとも１つのセンサーは、前記空間内の物体の表面上の温度を測定する赤外線（ＩＲ）センサーである、請求項１１に記載の制御方法。
【請求項１４】
前記物体は前記空間を形成する壁である、請求項１１に記載の制御方法。
【請求項１５】
前記強化学習アルゴリズムは、前記最新の状態データと、前記状態データの前記履歴との間の距離に基づいて、前記価値関数を決定する、請求項１１に記載の制御方法。
【請求項１６】
前記距離は、２つの画像に対応する２つの状態の状態変数によって形成される、該２つの状態間のカーネル関数によって求められる、請求項１５に記載の制御方法。
【請求項１７】
前記強化学習アルゴリズムは、正則化予測Ｑ反復（ＲＦＱＩ）アルゴリズムに基づいて実行される、請求項１１に記載の制御方法。
【請求項１８】
命令を有するプログラムを記憶している非一時的コンピューター可読記録媒体であって、コンピューターによって実行されるときに、該プログラムは該コンピューターに、室内空間を空気調整する空調システムを制御するための命令を実行させ、該命令は、
少なくとも１つのセンサーを用いることによって、前記空間内の複数の点における前記空間の状態データを測定するステップと、
前記状態データの履歴、及び前記空調システムに適用されてきた制御コマンドの履歴を記憶するステップであって、該制御コマンドの該履歴は、前記状態データ及び報酬の履歴に関連付けられる、ステップと、
前記報酬の累積価値を出力する価値関数を決定するステップであって、該価値関数を該決定するステップは、強化学習アルゴリズムを用いることによって実行され、該強化学習アルゴリズムは、前記状態データの履歴、制御コマンドの履歴及び報酬データの履歴を処理し、制御コマンドを送信する、ステップと、
最新の状態データ及び前記状態データの前記履歴を用いて、前記価値関数に基づいて、制御コマンドを決定するステップと、
前記制御コマンドに従って少なくとも１つのアクチュエーターを用いることによって前記空調システムを制御するステップと
を含む、非一時的コンピューター可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＨＶＡＣシステムを制御する方法及びＨＶＡＣ制御システムに関し、より具体的には、強化学習に基づくＨＶＡＣ制御方法及びＨＶＡＣ制御システムに関する。
【背景技術】
【０００２】
暖房、換気及び空調（ＨＶＡＣ（Heating Ventilation and Air Conditioning））システムは、多数のセンサー及びアクチュエーターにアクセスする。センサーは建物内の種々の場所にある温度計、又は部屋内の人々、物体及び壁の温度を読み取ることができる赤外線カメラである。さらに、ＨＶＡＣシステム内のアクチュエーターは、部屋内の温度を制御するために、空気を送り込み、空気の流速を制御するファンである。ＨＶＡＣシステムの最終的な目標は、システムの動作コストを最小化しながら、居住者が、より心地良く感じられるようにすることである。
【０００３】
居住者の快適度は、部屋内の居住者の周囲の温度、湿度及び空気流を含む、数多くの要因によって決まる。また、快適度は、体の中核体温、及び快適であるという感覚に影響を及ぼす他の生理的及び心理的要因にも依存する。複雑な挙動を伴う外部要因及び内部要因がある。外部要因は、空気流の温度及び湿度に依存し、ブシネスク（Boussinesq）又はナビエ−ストークス方程式（Navier-Stokes equation）及び移流拡散方程式の結合によって記述することができる。これらの方程式は、部屋内の、空気流の運動量及び質量輸送、並びに熱伝達を記述する偏微分方程式（ＰＤＥ）によって表される。空気流の物理モデルは複雑な動的システムであるので、その動的システムをモデル化し、リアルタイムに解くのは極めて困難である。空気流の支配的な方程式は、ＰＤＥによって表されるので、温度及び湿度は時間変動するだけでなく、空間変動もする。例えば、冬期の窓付近の温度は、窓から離れた場所の温度より低い。したがって、部屋内の平均温度が標準的な快適ゾーン内にある場合であっても、窓の近くに座っている人は快適に感じない場合がある。
【０００４】
内部要因の動態も複雑であり、個人の生理機能及び心理状態によって決まり、それゆえ、個人依存的である。理想的なＨＶＡＣシステムは、これら２つの内部システム及び外部システムの相互作用を考慮すべきである。システムが複雑であるため、ＨＶＡＣコントローラーを設計するのは極めて難しい。
【０００５】
現在のＨＶＡＣシステムは、一連の限定的及び制限的近似を通して、これらの複雑さを無視する。現在のＨＶＡＣシステムにおいて使用される大部分の手法は、１つ又は少数のスカラー値のみによって示される全ての関連する物理的変数の集中モデルに基づく。空気流、温度及び湿度の変化の複雑な動態が無視されるので、これは、動作コストを最小化しながら居住者を快適にすることに関して、現在のＨＶＡＣシステムの性能を制限する。
【０００６】
したがって、ＨＶＡＣシステムを制御することに関する更なる進歩が要求されている。
【発明の概要】
【０００７】
いくつかの実施形態は、室内空間を調整する空調システムを動作させるコントローラーは、空間内の複数の点における空間の状態データを受信するデータ入力と、強化学習アルゴリズムのコード、状態データの履歴、及び空調システムに適用されてきた制御コマンドの履歴を記憶するメモリであって、制御コマンドの履歴は、状態データ及び報酬の履歴に関連付けられる、メモリと、メモリに結合され、報酬の累積価値を出力する価値関数を決定し、強化学習アルゴリズムを使用することによって制御コマンドを送信するプロセッサであって、強化学習アルゴリズムは、状態データ、制御コマンド及び報酬データの履歴を処理し、制御コマンドを送信する、プロセッサと、プロセッサから制御コマンドを受信し、空調システムに制御信号を送信するデータ出力であって、制御信号は、制御コマンドに従って空調システムの少なくとも１つのアクチュエーターを制御する、データ出力とを備える、という認識及び理解に基づく。
【０００８】
別の実施形態は、室内空間を調整する空調システムの制御方法を開示する。制御方法は、少なくとも１つのセンサーを使用することによって、空間内の複数の点における空間の状態データを測定するステップと、状態データの履歴、及び空調システムに適用されてきた制御コマンドの履歴を記憶するステップであって、制御コマンドの履歴は、状態データ及び報酬の履歴に関連付けられる、ステップと、報酬の累積価値を出力する価値関数を決定するステップであって、価値関数を決定するステップは、強化学習アルゴリズムを使用することによって実行され、強化学習アルゴリズムは、状態データ、制御コマンド及び報酬データの履歴を処理し、制御コマンドを送信する、ステップと、最新の状態データ及び状態データの履歴を使用する価値関数に基づいて、制御コマンドを決定するステップと、制御コマンドに従って少なくとも１つのアクチュエーターを使用することによって空調システムを制御するステップとを含む。
【０００９】
別の実施形態は、室内空間を調整する空調システムを開示する。空調システムは、空間内の複数の点において空間の状態データを測定するように構成される少なくとも１つのセンサーと、アクチュエーター制御デバイスであって、圧縮器を制御するように構成される圧縮制御デバイスと、膨張弁を制御するように構成される膨張弁制御デバイスと、蒸発器ファンを制御するように構成される蒸発器ファン制御デバイスと、凝縮器ファンを制御するように構成される凝縮器ファン制御デバイスとを備える、アクチュエーター制御デバイスと、アクチュエーター制御デバイスに制御コマンドを送信するように構成されるコントローラーとを備え、コントローラーは、空間内の複数の点における空間の状態データを受信するデータ入力と、強化学習アルゴリズムのコード、状態データの履歴、及び空調システムに適用されてきた制御コマンドの履歴を記憶するメモリであって、制御コマンドの履歴は状態データ及び報酬の履歴に関連付けられる、メモリと、メモリに結合され、強化学習アルゴリズムを使用することによって、報酬の累積価値を出力する価値関数を決定し、制御コマンドを送信するプロセッサであって、強化学習アルゴリズムは、状態データ、制御コマンド及び報酬データの履歴を処理し、制御コマンドを送信する、プロセッサと、プロセッサから制御コマンドを受信し、空調システムに制御信号を送信するデータ出力であって、制御信号は、制御コマンドに従って空調システムの少なくとも１つのアクチュエーターを制御する、データ出力とを備える。
【００１０】
別の実施形態は、命令を有するプログラムを記憶している非一時的コンピューター可読記録媒体であって、コンピューターによって実行されるときに、プログラムはコンピューターに、室内空間を空気調整する空調システムを制御するための命令を実行させ、命令は、少なくとも１つのセンサーを使用することによって、空間内の複数の点における空間の状態データを測定するステップと、状態データの履歴、及び空調システムに適用されてきた制御コマンドの履歴を記憶するステップであって、制御コマンドの履歴は、状態データ及び報酬の履歴に関連付けられる、ステップと、報酬の累積価値を出力する価値関数を決定するステップであって、価値関数を決定するステップは、強化学習アルゴリズムを使用することによって実行され、強化学習アルゴリズムは、状態データ、制御コマンド及び報酬データの履歴を処理し、制御コマンドを送信する、ステップと、最新の状態データ及び状態データの履歴を使用する価値関数に基づいて、制御コマンドを決定するステップと、制御コマンドに従って少なくとも１つのアクチュエーターを使用することによって空調システムを制御するステップとを含む、非一時的コンピューター可読記録媒体を開示する。
【図面の簡単な説明】
【００１１】
【図１Ａ】空調システムのブロック図である。
【図１Ｂ】空調システムによって制御される部屋の概略図である。
【図２Ａ】空調システムのコントローラーの制御プロセスのブロック図である。
【図２Ｂ】環境と相互作用する強化学習エージェントのブロック図である。
【図２Ｃ】ＨＶＡＣシステムを制御するための、強化学習プロセスと、ＲＦＱＩアルゴリズムを処理するコンピューターシステムとを示す図である。
【図３】高温エリア及び低温エリアの絵画図（caricature）として示される部屋の異なる状態を示す図である。
【図４】部屋の２つの熱状態の比較を示す図である。
【図５】ＲＦＱＩアルゴリズムのフローチャートである。
【図６】行動を選択するために、部屋の現在の状態とデータベースとを比較するＲＦＱＩアルゴリズムを示す図である。
【図７】報酬関数を決定するためのブロック図である。
【発明を実施するための形態】
【００１２】
本発明の様々な実施形態が、図面を参照して以下で説明される。図面は縮尺どおり描かれておらず、類似の構造又は機能の要素は、図面全体にわたって同様の参照符号によって表されることに留意されたい。図面は、本発明の特定の実施形態の説明を容易にすることのみを意図することにも留意されたい。図面は、本発明の網羅的な説明として意図されるものでもなければ、本発明の範囲を限定するものとして意図されるものでもない。加えて、本発明の特定の実施形態と併せて説明される態様は、必ずしもその実施形態に限定されず、本発明の任意の他の実施形態において実施することができる。
【００１３】
いくつかの実施形態は、室内空間を調整する空調システムの動作を制御するコントローラーは、空間内の複数の点における空間の状態データを受信するデータ入力と、強化学習アルゴリズムのコード、状態データの履歴、及び空調システムに適用されてきた制御コマンドの履歴を記憶するメモリであって、制御コマンドの履歴は、状態データ及び報酬の履歴に関連付けられる、メモリと、メモリに結合され、報酬の累積価値を出力する価値関数を決定し、強化学習を使用することによって制御コマンドを送信するプロセッサであって、強化学習は、状態データ、制御コマンド及び報酬データの履歴を処理し、制御コマンドを送信する、プロセッサと、プロセッサから制御コマンドを受信し、空調システムに制御信号を送信するデータ出力であって、制御信号は、制御コマンドに従って空調システムの少なくとも１つのアクチュエーターを制御する、データ出力とを備える、という認識に基づく。
【００１４】
状態の履歴は、空間の状態の一連の観測結果、及びシステムの履歴である経時的な制御コマンドとすることができる。
【００１５】
図１Ａは、部屋内の空調システムのブロック図を示す。空調システムは、ＨＶＡＣシステム１００と呼ばれる場合がある。ＨＶＡＣシステムは、コントローラー１０５と、圧縮器制御デバイス１２２と、膨張弁制御デバイス１２１と、蒸発器ファン制御デバイス１２４と、凝縮器ファン制御デバイス１２３とを含む。これらのデバイスは、蒸発器ファン１１４、凝縮器ファン１１３、膨張弁１１１及び圧縮器１１２等の構成要素の１つ又は組み合わせに接続される。
【００１６】
さらに、図１Ｂは、空調された部屋の概略図を示す。この場合、部屋１６０はそれぞれ１つ以上のドア１６１と、窓１６５と、隣接する部屋を隔てる壁とを有する。部屋１６０の温度及び空気流は、部屋１６０の天井に配置される換気ユニット１０１を通して、ＨＶＡＣシステム１００によって制御される。場合によっては、換気ユニット１０１は部屋１６０の壁に取り付けることができる。各換気ユニット１０１は、ファンの角度を変更することによって、空気流の方向を変更するファンを含むことができる。この場合、ファンの角度は、ＨＶＡＣシステム１００に接続されるコントローラー１０５からの信号によって制御することができる。場合によっては、換気ユニット１０１は、ＨＶＡＣシステム１００に接続されるコントローラー１０５からの信号によって制御される、空気流の方向を変更するファンに取り付けられる空気流偏向板を含む。部屋１６０の壁にセンサー１３０の組が配置され、コントローラー１０５に物理的情報を与える。さらに、センサー１３０は、ＨＶＡＣシステム１００の状態を観測又は測定する。
【００１７】
コントローラー１０５は、部屋１６０内に配置されるセンサー１３０からの信号を送信及び受信するデータ入力／出力（Ｉ／Ｏ）ユニット１３１と、プロセッサ、及び学習アルゴリズム（又は学習ニューラルネットワーク）のコードデータを記憶するメモリを含む学習システム１５０と、制御信号１７１を決定し、送信するコマンド生成ユニット１７０と、制御コマンド１８１を生成し、ＨＶＡＣシステム１００のアクチュエーターに送信するコマンド生成ユニット１７０からコマンド信号１７１を受信するアクチュエーター制御ユニット１８０とを含む。アクチュエーターは、圧縮制御デバイス１２２と、膨張弁制御デバイス１２１と、凝縮器ファン制御デバイス１２３と、蒸発器ファン制御デバイス１２４とを含むことができる。
【００１８】
本発明のいくつかの実施形態において、センサー１３０は、部屋内又は別の室内空間内に配置される物体の表面にわたる温度を測定する赤外線（ＩＲ）カメラとすることができる。ＩＲカメラが部屋１６０内の予め設定されたゾーンをカバーすることができるように、ＩＲカメラは、部屋１６０の天井又は部屋１６０の壁上に配置される。さらに、各ＩＲカメラは、予め設定された時刻ごとに部屋内の物体の表面にわたる温度を測定し、温度分布画像を記録することができる。この場合、予め設定された時刻は、ＨＶＡＣシステム１００のコントローラー１０５から送信される制御コマンドに従って変更することができる。さらに、センサー１３０は、部屋内の物体の表面上の温度を検出し、温度の信号をＨＶＡＣシステム１００に送信する温度センサーとすることができる。また、センサーは、部屋１６０内の予め設定された空間において湿度を検出し、湿度の信号をＨＶＡＣシステム１００に送信する湿度センサーとすることができる。センサー１３０は、部屋１６０内の予め設定された位置において空気流量を測定し、測定された空気流量の信号をＨＶＡＣシステム１００に送信する空気流センサーとすることができる。
【００１９】
ＨＶＡＣシステム１００は、部屋１６０内に散在し、部屋１６０の至る所において温度、湿度及び空気流を読み取る他のセンサーを含むことができる。センサー１３０からＨＶＡＣシステム１００に送信されるセンサー信号が図１Ａに示される。さらに、センサー１３０は、部屋の天井又は壁以外の場所に配置することができる。例えば、センサー１３０は、部屋１６０内のテーブル、机、棚、椅子又はソファー等の任意の物体の周囲に配置することができる。さらに、物体は、部屋の空間を形成する壁、又は部屋のゾーンを仕切るパーティションとすることができる。
【００２０】
場合によっては、センサー１３０は、居住者の声を検出するために、部屋１６０内の予め設定された場所に配置されるマイクロフォンを含む。マイクロフォンは部屋１６０内のゾーンに配置され、そのゾーンは居住者の作業位置に近い。例えば、予め設定された場所は、作業机、会議テーブル、椅子、壁、又は机若しくはテーブルの周囲に配置される仕切り壁とすることができる。センサー１３０は、データ入力／出力ユニット１３１を介してコントローラー１０５と通信するワイヤレスセンサーとすることができる。
【００２１】
別の実施形態において、他のタイプの設定、例えば、複数のＨＶＡＣユニットを備える部屋、マルチゾーンのオフィス、複数の部屋を備える住宅を考慮することができる。
【００２２】
図２Ａは、空調システム１００のコントローラー１０５の制御プロセスのブロック図である。ステップＳ１において、コントローラー１０５が、データ入力／出力（Ｉ／Ｏ）ユニット１３１を介して、センサー１３０から信号を受信する。データＩ／Ｏユニット１３１は、センサー１３０に含まれるワイヤレスセンサーからワイヤレス信号を受信するワイヤレス検出モジュール（図示せず）、又は居住者によって使用されるワイヤレスデバイス内に設置されるワイヤレス入力デバイスを含む。
【００２３】
学習システム１５０は、学習システム１５０内のプロセッサに関連するメモリに記憶される強化学習アルゴリズムを含む。学習システム１５０は、報酬関数１４０から報酬を得る。場合によっては、報酬価値は、居住者によって操作されるワイヤレスデバイスから信号を受信するワイヤレスデバイス１０２からの報酬信号（図示せず）によって決定することができる。学習システム１５０は、ステップＳ２において、コマンド生成ユニット１７０に信号１５１を送信する。
【００２４】
信号を受信した後に、コマンド生成ユニット１７０は、ステップＳ３において、信号１７１を生成し、アクチュエーター制御ユニット１８０に送信する。信号１７１に基づいて、アクチュエーター制御ユニット１８０は、ステップＳ４において、空調システム１００のアクチュエーターに制御信号１８１を送信する。
【００２５】
報酬関数１４０は報酬１４１を与える。報酬１４１は、温度が所望の限度内にあるときにいつでも正とすることができ、そうでないときには負とすることができる。この報酬関数１４０は、モバイルアプリケーションを用いて、又は壁上の電子デバイスを用いて設定することができる。学習システム１５０は、データＩ／Ｏユニット１３１を介してセンサー１３０を観測し、予め設定された一定時刻にセンサー１３０からデータを収集する。学習システム１５０は、観測を通して、センサー１３０のデータセットを与えられる。データセットを用いて、ＨＶＡＣシステムの各状態の望ましさを与える関数を学習する。この望ましさは、状態の価値と呼ばれ、正式に規定されることになる。価値を用いて、制御コマンド（又は制御信号）１７１を決定する。例えば、制御コマンドは、部屋に吹き出す空気の温度を昇降温させることである。別の制御コマンドは、特定の弁を開閉させるように選択することである。これらの上位の制御コマンドは、データ出力（図示せず）上で下位のアクチュエーター制御信号１８１に変換される。このコントローラーは、制御信号の組を対応する構成要素のための特定の制御入力の組に変換するための制御デバイスの組に動作可能に接続される。
【００２６】
例えば、コントローラー１０５内のコントローラーユニット１８０は、圧縮器制御デバイス１２２、膨張弁制御デバイス１２１、蒸発器ファン制御デバイス１２４及び凝縮器ファン制御デバイス１２３を含む、アクチュエーターを制御することができる。これらのデバイスは、蒸発器ファン１１４、凝縮器ファン１１３、膨張弁１１１及び圧縮器１１２等の構成要素のうちの１つ又は組み合わせに接続される。
【００２７】
本発明によるいくつかの実施形態において、学習システム１５０は、ＨＶＡＣシステム１００を制御するためにメモリに記憶される強化学習（ＲＬ（Reinforcement Learning））アルゴリズムを使用することができ、コントローラーの設計前に、いかなるモデル縮小又は簡略化も実行する必要はない。ＲＬベース学習システム１５０によって、データを直接使用できるようになるので、新たな建物ごとに専門家がコントローラーを設計する必要性を少なくするか、又は設計するのを不要にする。ＲＬベースコントローラーの更なる利点は、最適化すべき対象に応じて、多種多様な報酬（又はコスト）関数を使用できることである。例えば、室内の平均温度に基づく２次コスト関数にもはや限定されない。また、居住者の快適度等の、より主観的なコスト概念を容易に含むことができるので、平均温度等の外部要因にのみ依存するコスト関数には限定されない。
【００２８】
場合によっては、強化学習は、最新の状態データと、状態データの履歴の先行する状態データとの間の距離に基づいて、価値関数を決定する。
【００２９】
ＲＬベースコントローラーの別の利点は、コントローラーが、高い次元の、そして理論的には無限次元のシステム状態の場合に直接機能することである。多数のセンサーを通して観測される温度又は湿度フィールドが、そのアルゴリズムによって直接使用することができる高次元入力を規定する。これは、システム状態の低次元表現を必要とする従来のモデルとは対照的である。高次元システム状態は、部屋内の種々の場所に温度センサー及び空気流センサーを配置することによって近似的に取得することができるか、又は部屋内の固形物の赤外線画像を読み取ることによって取得することができる。本発明によれば、根幹をなすアルゴリズムにいかなる変更も加えることなく、種々の形の観測結果を使用できるようになる。高次元のシステム状態を用いて機能することによって、システム状態の低次元表現を用いて機能するコントローラーに比べて、コントローラーの性能を高めることができるようになる。
【００３０】
偏微分方程式制御
強化学習（ＲＬ）は、累積報酬の何らかの概念を最大化するために、ソフトウェアエージェントが或る環境内でいかに行動をとるべきであるかに関係しているモデルフリー機械学習パラダイムである。環境は、エージェントの挙動に応じて変化する動的システムである。累積報酬は、エージェントの長期性能を決定する指標である。強化学習パラダイムによれば、自らの環境と相互作用することによって、その長期性能を改善するエージェントを設計できるようになる。
【００３１】
図２Ｂは、ＲＬエージェント２２０が自らの環境２１０といかに相互作用するかを示す。時間ステップｔ∈｛１，２，３，．．．｝において、ＲＬエージェント２２０は、環境状態ｘｔ２１１を観測する。ＲＬエージェントは、状態を部分的に観測する場合もあり、例えば、状態のいくつかの様相がエージェントには見えない場合がある。環境状態は、動的システムの履歴を要約する変数である。ＨＶＡＣシステム１００が部屋又は建物の温度を制御する場合、システム状態は、部屋内又は建物内の各点の温度、並びに各点における空気流速度及び各点における湿度である。場合によっては、システム状態を直接観測できないとき、ＲＬエージェント２２０は、観測することができる状態の関数を観測する。例えば、ＲＬエージェント２２０は、センサーが配置される部屋内の少ない場所において温度及び湿度を観測する。この結果として、情報が失われる。ＲＬエージェント２２０は、観測結果が全ての状態情報を有しない場合であっても、比較的良好に機能することができる。
【００３２】
状態を観測した後に、又は状態を部分的に観測した後に、ＲＬエージェント２２０は、２２１において行動を選択する。行動は、コントローラーを有するＨＶＡＣシステム１００のアクチュエーターに送信されるコマンドである。例えば、行動は、ファンの速度を増減すること、又は空気の温度を昇降温させることとすることができる。本発明のいくつかの実施形態によれば、行動の計算は、１５０によって出力される価値関数を使用する、制御コマンド１７１によって実行される。
【００３３】
図２Ｃは、ＨＶＡＣシステム１００を制御するために、ＲＦＱＩアルゴリズムがいかに実施されるかを示す。センサー１３０が、ＨＶＡＣシステムの現在の状態を読み取る。現在の状態は、最新の状態と呼ぶことができる。
【００３４】
プロセッサ、作業メモリ、及びプログラムコードを記憶する何らかの不揮発性メモリを用いて、学習システム１５０がＲＦＱＩアルゴリズムを実行する。そのコードは、ＩＲセンサーを含む、センサー１３０を処理するためのコードを含む。メモリはＲＦＱＩコード５１０、５３０、５４０、５５０と、行動選択のためのコード６６０と、カーネル関数４５０及び報酬関数１４０を計算するためのコードとを記憶する。作業メモリは、ＲＦＱＩアルゴリズム６４０によって出力される学習された係数と、中間結果とを記憶する。詳細は、図５に関して後に説明される。リムーバブル記憶装置７２０を通して、ＲＦＱＩアルゴリズムのコードをＲＦＱＩラーナー（Learner）７１０にインポートすることができる。リムーバブル記憶装置は、ディスク、フラッシュディスク又はクラウドコンピューターへの接続とすることができる。
【００３５】
図２Ｂに関して、行動ａｔ２２１の所与の選択に際して、環境状態がｘｔからｘｔ＋１に変化する。例えば、ＨＶＡＣシステム１００において、吹き付けられる空気の温度を高めることは、その部屋の温度プロファイルの変化につながる。ＨＶＡＣシステムにおいて、この変化の動態は、部屋の熱力学及び流体力学を記述する偏微分方程式（ＰＤＥ）の組によって支配される。
【００３６】
本発明のいくつかの実施形態は、ＨＶＡＣコントローラーを設計するために、これらの力学方程式を明確に知る必要はない。ＲＬエージェント２２０は、新たな状態２１２への各移行後に、いわゆる、報酬関数の価値を受信する。報酬関数の価値は実数ｒｔであり、それは、状態ｘｔ、選択された行動ａｔ及び次の状態ｘｔ＋１によって決まる可能性がある。
【００３７】
報酬関数は、選択された行動を実行しながら、現在の状態から次の状態への変化の望ましさを判断する。ＨＶＡＣ制御システムの場合、報酬関数は、部屋の現在の状態が部屋内の居住者にとって快適な温度ゾーン及び／又は湿度ゾーン内にあるか否かを判断する。しかしながら、報酬関数は、現在の行動の長期的影響及び状態の変化を考慮に入れない。或る行動の長期的影響及び望ましさは、以下に説明される価値関数内に符号化される。
【００３８】
数学的には、ＲＬ問題は、マルコフ決定過程（ＭＤＰ）として定式化することができる。一実施形態において、有限行動割引（finite-action discounted）ＭＤＰを用いて、ＲＬ問題を記述することができる。そのようなＭＤＰは４個１組の要素（Ｘ、Ａ、Ｐ、Ｒ、γ）によって記述される。ただし、Ｘは無限次元状態空間であり、Ａは行動の有限の組であり、Ｐ：Ｘ×Ａ→Ｍ（Ｘ）は遷移確率カーネルであり、
【数１】
2019522163.tif 000003
は即時報酬分布である。定数０≦γ＜１は割引因子である。それゆえ、これらの量は、ＨＶＡＣ  ＰＤＥ制御の文脈内で特定される。
【００３９】
部屋又は建物内部を表す場合がある領域
【数２】
2019522163.tif 000004
を考える。∂Ｚがその境界を表すものとし、境界は壁、ドア等からなる。ＰＤＥの状態はｘ∈Ｘによって記述される。この変数は、ＰＤＥの物理的状態を記述する関連する量を符号化する。これらの変数の例は、温度
【数３】
2019522163.tif 000005
及び空気流フィールド
【数４】
2019522163.tif 000006
である。
【００４０】
ＰＤＥが境界温度Ｔｂ（ｚ，ｔ）及び空気流速度ｖを変更することによって制御される制御問題を考える。例えば、その方法の一実施形態において、境界温度は暖房又は冷房をオン／オフにすることによって変更され、空気流は、壁上のファンを使用し、速度を変更することによって制御される。
【００４１】
有限行動割引ＭＤＰ定式化において、制御コマンド（Ｔｂ及びｖ）は、有限行動（すなわち、制御）集合Ａに属する。ただし、｜Ａ｜＜∞である。
【数５】
2019522163.tif 000007
これは、時刻ｔにおいて行動ａを選択することが、例えば、境界∂Ｚにおいて直接制御することができる場所ｚ∈Ｚに関して、境界条件を
【数６】
2019522163.tif 000008
と設定し、流速をｖ（ｚ，ｔ）＝ｖａ（ｚ）と設定することにつながると解釈されるべきである。
【００４２】
ＰＤＥは、以下のコンパクトな形に書くことができる。
【数７】
2019522163.tif 000009
ただし、領域及びその境界条件の両方が関数ｇの定義に暗に組み込まれる。関数ｇは、ＰＤＥの状態の変化を現在の状態ｘ及び行動ａの関数として記述する。提案される方法の場合に、関数ｇの厳密な定義は不要であるが、本発明者らは、その定義が存在するものと仮定する。例えば、関数ｇは、移流拡散方程式及びナビエ−ストークス方程式によって書くことができる関数である。
【００４３】
本発明者らは時間を離散化し、離散時間偏差分方程式（discrete-time Partial Difference Equation）を用いて作業する。
【数８】
2019522163.tif 000010
【００４４】
時間ステップとして１を選択するのは任意であり、任意のΔｔ（例えば、秒、分等）で置き換えることができるが、簡単にするために、実際には１に等しいと仮定する。ＨＶＡＣシステムにおいて、これは、ＨＶＡＣコントローラーがアクチュエーターを変更する場合がある頻度に基づいて決定される。
【００４５】
より一般的には、遷移確率カーネルによってＰＤＥの時間的進展を記述することができる。
【数９】
2019522163.tif 000011
【００４６】
確率変数であることを強調するために、ｘの代わりに、Ｘを使用する。この方程式は、現在の状態がＸｔであり、選択行動がａｔであるときに、次の状態Ｘｔ＋１にある確率を決定する。決定的動態の場合、（ｘ｜Ｘ，ａ）＝δ（ｘ−ｆ（Ｘ，ａ））である。ただし、δは、ｆ（Ｘ，ａ）において１の確率質量を与えるディラックのデルタ関数である。
【００４７】
状態空間Ｘ及び動態ｆ：Ｘ×Ａ→Ｘ（又は確率システムの場合にＰ）を定義した後に、本発明者らは、報酬関数
【数１０】
2019522163.tif 000012
を規定する。この関数は、現在の行動にいかにコストがかかるかだけでなく、システムの現在の状態がいかに望ましいかを評価する。
【００４８】
一実施形態において、報酬関数は以下のように定義することができる。部屋内の人々の快適ゾーンがＺｐ⊂Ｚによって表されると考え、Ｔ＊を所望の温度プロファイルとする。一例として、Ｚｐは、人々が座っている部屋のエリアであり、そのエリアは部屋全体のサブセットである。所望の温度Ｔ＊は、一定の温度とすることができるか、又は空間的に変動する温度プロファイルとすることができる。例えば、冬期には、居住者が座っている場所ではどこでも、居住者は温度が適度に暖かいことを好む場合があり、一方、誰もいない場所では、それより低い温度にすることができる。報酬関数１４０は、以下の方程式によって定義することができる。
【数１１】
2019522163.tif 000013
ただし、ｃａｃｔｉｏｎ（ａ）は、行動を選択するコストである。これは、暖房又は冷房の動作コスト、及びファンをオンに切り替えるコストを含む場合がある。
【００４９】
いくつかの実施形態において、他の項を含めることができる。例えば、居住者が、ファンの空気が体に吹き付けられるのを嫌うとき、それにペナルティを科すために、
【数１２】
2019522163.tif 000014
の形のコスト項を単に含めることができる。一般に、報酬関数の定義にｘ及びａの任意の関数を含むことができる。これは、その解析が簡単であることに起因して２次コスト関数等の簡単な形を要求する従来の手法とは対照的である。
【００５０】
本発明のいくつかの実施形態において、ユーザーはスマートフォンアプリケーションを通して、自分の現在の快適度を入力する。報酬関数１４０によって報酬が与えられる。
【００５１】
ここで、方策の概念を定義する必要がある。状態空間から行動空間への写像π：Ｘ→Ａが方策πと呼ばれる。ＭＤＰにおいて方策πに従うことは、各時間ステップｔにおいて、Ａｔ＝π（Ｘｔ）に従って、行動Ａｔを選択することを意味する。方策はコントローラーと呼ばれる場合もある。
【００５２】
方策πに関して、本発明者らは、行動−価値関数Ｑπの概念を定義し、それは状態及び行動の関数である。行動−価値関数Ｑπは、エージェントが状態ｘにおいて開始し、行動ａを選択し、その後、その行動選択において方策πに従う場合に、エージェントがどの程度の割引された累積報酬を取得するかを示す関数である。方策πの価値関数は、πに従う長期的な望ましさを決定する。形式的に、Ｒ１，Ｒ２，Ｒ３，．．．を、マルコフ連鎖が、χ×Ａにわたる正の確率分布から引き出された状態−行動（Ｘ１，Ａ１）から開始され、エージェントが方策πに従うときの一連の報酬とする。その際、状態−行動（ｘ，ａ）における行動−価値関数
【数１３】
2019522163.tif 000015
は以下のように定義される。
【数１４】
2019522163.tif 000016
【００５３】
割引ＭＤＰの場合、本発明者らは、全ての可能な方策の選択の中の最も高い価値を有する行動−価値関数として、最適行動−価値関数を定義する。形式的には、それは、全ての状態−行動（ｘ，ａ）∈Ｘ×Ａに関して、以下のように定義される。
【数１５】
2019522163.tif 000017
【００５４】
方策の価値が全ての状態において最良の価値を達成する場合、すなわち、
【数１６】
2019522163.tif 000018
である場合には、方策π＊は最適であると定義される。ＲＬエージェント２２０の最終目標は、最適な方策π＊又はその近似を見つけることである。
【００５５】
さらに、全てのｘ∈χの場合に、行動−価値
【数１７】
2019522163.tif 000019
関数Ｑに関して、方策πは貪欲（greedy）と定義される。
【００５６】
本発明者らは
【数１８】
2019522163.tif 000020
関数（１）を定義し、その関数は、行動−価値関数Ｑの貪欲方策を返す。複数のマキシマイザ（maximizer）が存在する場合には、任意の決定論的方法において１つのマキシマイザが選択される。最適行動−価値関数Ｑ＊に対する貪欲方策は最適な方策であるので、貪欲方策は重要である。それゆえ、最適に挙動するために、Ｑ＊がわかれば十分である。
【００５７】
ベルマン（Bellman）最適性演算子Ｔ＊：Ｂ（χ×Ａ）→Ｂ（χ×Ａ）が以下のように定義される。
【数１９】
2019522163.tif 000021
【００５８】
ベルマン最適性演算子は、その固定点が最適価値関数であるという適切な特性を有する。
【００５９】
次に、データを用いてベルマン最適性演算子の固定点に対する近似解を見つけるＲＦＱＩ法１５０を説明する。その方法の出力は行動−価値関数の推定値であり、その推定値はコマンド生成ユニット１７０に与えられる。コマンド生成ユニット１７０は、その際、推定された行動−価値関数に対する貪欲方策を計算する。
【００６０】
正則化予測Ｑ反復法（Regularized Fitted Q-Iteration）
本発明のいくつかの実施形態は、特定の強化学習アルゴリズムを用いて、最適な方策π＊に近い方策を見つける。強化学習アルゴリズムは、状態ｘが非常に高い次元であるときに最適行動−価値関数を推定することに基づく。そのような推定値が与えられた場合に、推定された行動−価値関数に対する貪欲方策を選択することによって、最適に近い方策を見つけることができる。例えば、正則化予測Ｑ反復（ＲＦＱＩ）アルゴリズムを使用することができる。
【００６１】
ＲＦＱＩアルゴリズムは、一連の回帰問題を繰り返し解くことに基づく。ＲＦＱＩアルゴリズムは、再生カーネルヒルベルト空間（ＲＫＨＳ）を用いて、行動−価値関数を表す。ＲＫＨＳは、カーネル関数に基づいて定義される。カーネル関数は、２つの異なる状態を受信し、それらの「類似度」の指標を返す。その値は、２つの状態が類似しているほど大きい。
【００６２】
本発明のいくつかの実施形態によれば、ＰＤＥの各高次元状態を２次元、３次元、又は４次元以上の画像と見なすことによって、ＰＤＥを制御するのに適したカーネルを定義することができる。状態は、ＩＲカメラによって撮影された空間内の温度分布を示すＩＲ画像のピクセル値、又はセンサーによって取得された温度、湿度若しくは空気流データに関連するスカラー数、又はＩＲ画像のピクセル値若しくは温度、湿度若しくは空気流データに関連する数の組み合わせからなるベクトルとすることができる。例えば、部屋の温度プロファイルは、各ピクセル（又はボクセル又は要素）の密度が温度に対応する３次元画像である。同じことが湿度にも当てはまり、空気流の場合も同様である。ＩＲカメラは、サーモグラフィカメラ又は温度カメラを含む。ＩＲカメラは、部屋内の物体又はゾーンの温度変動を示す画像を提供する。物体は、ＩＲカメラから見える居住者、机、椅子、壁、任意の物体を含む。温度変動は予め設定された異なる色で表される。ＩＲカメラによって提供される画像内の各点は属性を含むことができる。この場合、ＩＲカメラによって撮影された単数又は複数の画像の対応する点が属性を含むことができる。例えば、属性は色情報を含むことができる。ＩＲカメラは、予め設定された色及び輝度に基づいて、温度情報を示すピクセルに対応する画像を出力又は生成する。例えば、ＩＲカメラの画像内の温度が高いエリアは赤色又は明色とすることができ、画像内の温度が低いエリアは青色又は暗色とすることができる。言い換えると、ＩＲカメラによって観測される画像内の位置における各色は、予め設定された温度範囲を表す。部屋内の予め設定されたエリア又はゾーンを観測するために、部屋内に複数のＩＲカメラを配置することができる。ＩＲカメラは、あらかじめ設定された時刻において部屋内の予め設定されたエリアにおける画像を撮影、観測又は測定する。同一のＩＲカメラによって測定された画像は、温度変化又は温度遷移を時間の関数として与える。したがって、異なる時点における部屋内の温度分布間の差を、あらかじめ設計されたフォーマットに従って、データ入力／出力ユニット１３１を介して、異なる状態（又は状態データ）としてコントローラー１０５に入力することができる。学習システム１５０は、価値関数を特定するために２つの状態データを計算する。
【００６３】
場合によっては、各点における最新の状態データは、その点における温度、空気流及び湿度の測定値のうちの１つ又は組み合わせを含むことができる。
【００６４】
図３は、部屋のいくつかの状態の絵画図を示す。この場合、４つの状態（又は状態データ）３１０、３２０、３３０及び３４０が図示される。状態３１０、３２０、３３０及び３４０は温度プロファイルとすることができる。さらに、状態３１０、３２０、３３０及び３４０は、空気流及び湿度を含むことができる。一例として、状態３１０は、部屋の右上が或る予め設定された温度より暖かく、左下が別の予め設定された温度より寒い時点を示す。極めて類似の状態が状態３２０に示される。ここでは、寒い領域の場所がわずかに変更されるが、部屋の全体的な温度プロファイルは状態３１０に類似である。状態３３０は、状態３１０又は状態３２０と比べて異なる状況を示し、暖かい領域が部屋の左側に集中し、一方、寒い領域は右側に近い。別の例示的な状態が状態３４０に示される。当然、実際の実現されたシステムでは、これらの絵画図の代わりに、実数値の温度フィールドを使用する。
【００６５】
部屋の状態を画像として表すことは、２つの画像の類似度を返すカーネル関数を定義できることを示唆する。２つの画像間の距離は迅速に計算することができるので、カーネルを規定する上記の方法を用いるＲＦＱＩアルゴリズムは、非常に高次元の状態を効率的に扱うことができる。
【００６６】
より具体的には、カーネル関数
【数２０】
2019522163.tif 000022
は、２つの状態ｘ１及びｘ２を受信し、２つの状態間の類似度を示す実数値の数値を返す関数である。ＨＶＡＣ問題では、その状態を画像と見なすことができる。
【００６７】
Ｋの選択は自由度がある。１つの取り得る選択は、二乗指数カーネル（すなわち、ガウスカーネル）であり、それは以下のように定義される。
【数２１】
2019522163.tif 000023
ただし、σ（＞０）は帯域幅パラメーターであり、||・||χは状態空間にわたって定義されるノルムである。このノルムは、２つの状態ｘ１とｘ２との間の距離を測定する。一般的な状態はＺにわたる温度フィールド又は空気流フィールド等のベクトルフィールドとすることができるので、ノルムは、潜在的に無限次元のベクトルとすることができる。ベクトルフィールドにわたるノルムを定義するために、それらのベクトルフィールドを、マシンビジョン技法において一般的に使用されるように、（２Ｄ又は３Ｄ又は４Ｄ以上の次元の）画像に類似であると見なし、２つの画像間の距離を計算しているかのようにそれらのベクトルフィールドを計算する。
【００６８】
図４は、カーネル関数を計算する一例を示す。２つの画像ｘ１４１０及びｘ２４２０が与えられたとすると、画像４１０と４２０との間の差４３０が最初に計算される。その差は、画像として扱われる、２つのベクトルフィールド間の差を示す画像によって示される。その後、この差のノルムを計算する。このノルムの一実施形態がユークリッドノルムであり、それは以下のように定義される。
【数２２】
2019522163.tif 000024
ただし、ｘ（ｉ）は画像ｘ内の第ｉのピクセル（又はボクセル又は要素）である。二乗指数カーネルの場合、その後、図４に示されるように、ガウスカーネル
【数２３】
2019522163.tif 000025
に基づいて、偏差値４４０を計算する。計算するステップ４３０後の結果４５０が、Ｋ（ｘ１，ｘ２）として出力される。この作業の別の実施形態において、半正定値カーネルであるという技術的条件を満たす限り、カーネル関数として、２つの画像間の他の類似度距離を使用することができる。また、ディープニューラルネットワークによって抽出された特徴を用いて、類似度を計算することもできる。
【００６９】
場合によっては、その距離は、２つの画像に対応する２つの状態を用いて、カーネル関数によって求めることができる。例えば、画像がＩＲカメラによって取得されるとき、画像がピクセルで形成され、個々のピクセルが、ＩＲカメラ又はＩＲセンサーによって撮影された空間内の対応する場所における温度情報を含む。ピクセルの温度情報は、予め設定された温度に対応する予め設定された値の範囲にある値（数）とすることができる。したがって、ＩＲカメラによって取得された２つの画像は２つの状態を与える。カーネル関数で２つの状態を処理することによって、２つの状態の距離を求めることができる。
【００７０】
ＲＦＱＩアルゴリズム
ＲＦＱＩアルゴリズムは、価値反復（ＶＩ）を近似的に実行する反復アルゴリズムである。汎用ＶＩアルゴリズムは、
【数２４】
2019522163.tif 000026
を繰り返し実行する。
【００７１】
ここで、Ｑｋは、第ｋの反復における価値関数の推定値である。Ｑｋ→Ｑ＊である、すなわち、価値関数の推定値が、最適行動−価値関数に漸近的に収束することを示すことができる。
【００７２】
大きい状態空間を有するＭＤＰの場合、Ｑの厳密な表現を取得するのは困難であるか、又は不可能であるので、厳密なＶＩは実現困難である。この場合、近似価値反復（ＡＶＩ）を使用することができる。
【数２５】
2019522163.tif 000027
ただし、Ｑｋ＋１は関数空間
【数２６】
2019522163.tif 000028
から取得される関数によって表される。その関数空間χ×Ａは、Ｆ｜Ａ｜上の全ての測定可能な関数の空間よりはるかに小さくすることができる。関数空間Ｆ｜Ａ｜の選択は、ＡＶＩアルゴリズムの重要な側面であり、例えば、関数空間は、ソボレフ空間Ｗｋ（χ×Ａ）とすることができる。直観的に、ＡＶＩ  Ｔ＊ＱｋがＦ｜Ａ｜内で十分に近似できる場合には、ＡＶＩは十分に機能する。
【００７３】
さらに、ＨＶＡＣ制御システムにおいて、非常に複雑なデータ（ＲＬ設定）又はモデルしか入手できないときに特に、ＡＶＩ  Ｔ＊Ｑｋ内の積分は容易に計算することができない。代わりに、状態−行動対
【数２７】
2019522163.tif 000029
の有限の組に関するサンプル
【数２８】
2019522163.tif 000030
のみを有する。ＨＶＡＣ制御システムにおいて、Ｘｉは、温度及び空気流フィールドのスナップショットとすることができる。それは、多数の空間内に分布した温度及び空気流センサー１３０を用いて測定することができる。別の実施形態は、赤外線センサーを用いて固形物上の温度を測定することである。
【００７４】
任意の決まった関数Ｑの場合に、
【数２９】
2019522163.tif 000031
であり、すなわち、
【数３０】
2019522163.tif 000032
の形のサンプルの条件付き期待値が実際にはＴ＊Ｑｋと同じであることを留意されたい。この期待値を見つけることは、回帰の問題である。ＲＦＱＩアルゴリズムは、このために正則化最小二乗回帰推定を使用するＡＶＩアルゴリズムである。
【００７５】
ＲＦＱＩアルゴリズムは、図５に概略的に示されるように、以下のように機能する。最初の反復時に、ＲＦＱＩアルゴリズムは、行動−価値関数
【数３１】
2019522163.tif 000033
５１０を初期化することから開始する。行動−価値関数
【数３２】
2019522163.tif 000034
は、ゼロ関数に初期化することができるか、又は最適行動−価値関数が何らかの他の非ゼロ関数に近いという予備知識を有する場合には、その非ゼロ関数に初期化することができる。非ゼロ初期関数は、マルチタスク強化学習設定において他の関連するＨＶＡＣ制御タスクを解くことから取得することができる。
【００７６】
反復ｋにおいて、データセット
【数３３】
2019522163.tif 000035
５２０を与えられる。ここで、Ｘｉは、サンプル状態であり、行動Ａｉは、πｂ（・｜Ｘｉ）、挙動方策、報酬Ｒｉ〜Ｒ（・｜Ｘｉ，Ａｉ）、及び次の状態
【数３４】
2019522163.tif 000036
から引き出される。ＨＶＡＣシステムにおいて、これらのデータは、センサー１３０、ＨＶＡＣシステム１００に適用される制御コマンド（又はコマンド信号）１７１、及び報酬価値を与える報酬関数１４０から収集される。データの収集は、ＲＬアルゴリズムを実行する前に、又はアルゴリズムの機能中に行うことができる。
【００７７】
ＲＫＨＳアルゴリズムの場合、カーネル関数Ｋ：（χ×Ａ）×（χ×Ａ）→Ｒに対応する関数空間Ｆ｜Ａ｜＝Ｈ：χ×Ａ→Ｒも与えられる。任意のＸｉの場合に、回帰の目標を
【数３５】
2019522163.tif 000037
５３０と設定し、正則化最小二乗回帰問題５４０を解く。すなわち、以下の最適化問題を解く。
【数３６】
2019522163.tif 000038
【００７８】
ヒルベルト空間である関数空間Ｈは、無限次元とすることができる。しかし、再生性のカーネル特性を有するヒルベルト空間の場合、この最適化問題の解が、何らかのベクトル、
【数３７】
2019522163.tif 000039
の場合に、
【数３８】
2019522163.tif 000040
の形の有限表現を有することを示す代表的な定理を証明することができる。ここで、Ｋ（（Ｘｉ，Ａｉ），（ｘ，ａ））は、状態−行動（ｘ，ａ）と（Ｘｉ，Ａｉ）との間の類似度である。ここで、カーネルは、上述され、図４に示されたのと同様に定義されるが、（状態のみとは対照的に）状態−行動が比較されることが異なる。一実施形態において、
【数３９】
2019522163.tif 000041
が定義される。
【００７９】
本発明の一実施形態の場合に、カーネル関数Ｋ（ｘ１，ｘ２）の選択が既に論じられた。
【００８０】
ＲＦＱＩアルゴリズムは、繰り返し機能するので、
【数４０】
2019522163.tif 000042
が類似の表現を有すると仮定するのが合理的である（ただし、α（ｋ＋１）の代わりに、α（ｋ）である）。さらに、初期価値関数が０である、すなわち、
【数４１】
2019522163.tif 000043
であると仮定する。ここで、Ｑ及び
【数４２】
2019522163.tif 000044
をその展開式で置き換えることができる。本発明者らは、
【数４３】
2019522163.tif 000045
の場合に、
【数４４】
2019522163.tif 000046
であるという事実を使用する。ただし、Ｋは簡潔に定義されるグラミアン行列である。いくつかの代数操作後に、（２）の解が
【数４５】
2019522163.tif 000047
であることがわかる。
【００８１】
ここで、
【数４６】
2019522163.tif 000048
である。
【数４７】
2019522163.tif 000049
を定義するために、最初に、
【数４８】
2019522163.tif 000050
すなわち、次の状態
【数４９】
2019522163.tif 000051
における
【数５０】
2019522163.tif 000052
に対する貪欲行動を定義する。その際、
【数５１】
2019522163.tif 000053
である。
【００８２】
この計算は、Ｋ回の反復に対して実行される。その後、ＲＦＱＩアルゴリズムは、
【数５２】
2019522163.tif 000054
５５０を返す。
【００８３】
図６は、新たな状態ｘを与えられた場合に、行動を選択する方法を示す。新たな状態ｘ６１０がＨＶＡＣシステム１３０の状態を観測する多数のセンサーによって与えられるとき、データセットＤｎ６３０内の以前に観測された全ての状態−行動に対して類似度６２０が計算される。その後、対にして比較した類似度６２０とともに、６４０に示される、（４）によって得られた係数α（ｋ）を用いて、（３）を使用して、全てのａ∈Ａに対する
【数５３】
2019522163.tif 000055
６５０を計算する。選択された行動６６０は、
【数５４】
2019522163.tif 000056
に対する貪欲方策（１）を用いて、すなわち、
【数５５】
2019522163.tif 000057
を用いて選択される。
【００８４】
これは、行動を制御コマンド１７１として決定する。制御コマンド１７１は、ＨＶＡＣシステムのアクチュエーターのための制御信号１８１を生成するために、アクチュエーター制御ユニット１８０に送信される。このアルゴリズムは、人間の介在を全く必要とすることなく、方策を改善するために、絶えず、新たなデータを収集し、
【数５６】
2019522163.tif 000058
を更新することができる。それらの実施形態は、正則化最小二乗回帰及びＲＦＱＩアルゴリズムに限定されない。画像間の類似度距離を用いて機能することができる他の回帰方法を使用することができる。本発明のいくつかの実施形態において、
【数５７】
2019522163.tif 000059
関数の表現としてディープニューラルネットワークを使用することができる。
【００８５】
別の実施形態において、赤外線カメラからの入力を処理するために、畳み込みディープニューラルネットワークが使用される。上記方法の各反復において、ディープ畳み込みニューラルネットワークを用いて、以下の最適化問題を解くことによって、データを適合させる。
【数５８】
2019522163.tif 000060
【００８６】
最適化は厳密に行われる必要はなく、確率的勾配降下又は何らかの他のパラメーター調整アルゴリズムを用いて、ニューラルネットワークの重みを更新することができる。上記ＤＮＮ実施態様において、ネットワークの畳み込み層が、ＩＲセンサーの形をとる、画像のような入力を処理する。他のセンサーを追加することもできる。
【００８７】
図７は、報酬関数１４０を計算するための手順の一例を示す。各時間ステップにおいて、センサー１３０が、部屋６１０の現在の温度を観測する。センサー１３０は、部屋１６０内に配置されるＩＲセンサー又は何らかの他の温度センサーを含む。
【００８８】
好ましい温度に関する信号７１０が、ＨＶＡＣシステム１００に入力される。信号７１０は、サーモスタットから受信される温度信号に関連するスカラー値とすることができる。いくつかの実施形態において、コマンド信号７１０は、スマートフォンのモバイルアプリケーションを通して、又はウェブベースインターフェースを通して入力することができる。温度は単一の数値とすることができるか、又は部屋１６０の異なる領域内の異なる温度として指定することができる。部屋１６０内の予め設定された点における所望の温度がベクトルフィールド７２０としてメモリ内に記憶される。所望の温度は、入力デバイスを使用してユーザーによって入力される単一の数値から推測することができる。入力デバイスは何らかの他の手段とすることができる。例えば、入力デバイスは、部屋１６０内のセンサー１３０内に設置される音声認識システムとすることができる。音声認識システムが居住者の好ましい温度を認識したとき、センサー１３０の音声認識システムは、居住者の話し言葉から認識された所望の温度に関連付けられる信号をＨＶＡＣシステム１００に送信する。
【００８９】
報酬関数は、式（１）に従って報酬価値１４１を計算する。この手順は報酬メトリックと呼ばれる場合がある。
【００９０】
上述したように、室内空間を調整する空調システムの制御方法は、少なくとも１つのセンサーを使用することによって、空間内の複数の点における空間の状態データを測定するステップと、状態データの履歴、及び空調システムに適用されてきた制御コマンドの履歴を記憶するステップであって、制御コマンドの履歴は、状態データ及び報酬の履歴に関連付けられる、ステップと、報酬の累積価値を出力する価値関数を決定するステップであって、価値関数を決定するステップは、強化学習アルゴリズムを使用することによって実行され、強化学習アルゴリズムは、状態データ、制御コマンド及び報酬データの履歴を処理する、ステップと、最新の状態データ及び状態データの履歴を使用する価値関数に基づいて、制御コマンドを決定するステップと、制御コマンドに従って少なくとも１つのアクチュエーターを使用することによって空調システムを制御するステップとを含む。
【００９１】
さらに、上述した方法のステップは、命令を有するプログラムとして、非一時的コンピューター可読記録媒体に記憶することができる。コンピューター又はプロセッサによって実行されるときに、プログラムはコンピューターに、室内空間を空気調整する空調システムを制御するための命令を実行させ、命令は、少なくとも１つのセンサーを使用することによって、空間内の複数の点における空間の状態データを測定するステップと、状態データの履歴、及び空調システムに適用されてきた制御コマンドの履歴を記憶するステップであって、制御コマンドの履歴は、状態データ及び報酬の履歴に関連付けられる、ステップと、報酬の累積価値を出力する価値関数を決定するステップであって、価値関数を決定するステップは、強化学習アルゴリズムを使用することによって実行され、強化学習アルゴリズムは、状態データ、制御コマンド及び報酬データの履歴を処理し、制御コマンドを送信する、ステップと、最新の状態データ及び状態データの履歴を使用する価値関数に基づいて、制御コマンドを決定するステップと、制御コマンドに従って少なくとも１つのアクチュエーターを使用することによって空調システムを制御するステップとを含む。
【００９２】
さらに、いくつかの実施形態において、室内空間を調整する空調システムは、空間内の複数の点において空間の状態データを測定するように構成される少なくとも１つのセンサーと、アクチュエーター制御デバイスであって、圧縮器を制御するように構成される圧縮制御デバイスと、膨張弁を制御するように構成される膨張弁制御デバイスと、蒸発器ファンを制御するように構成される蒸発器ファン制御デバイスと、凝縮器ファンを制御するように構成される凝縮器ファン制御デバイスとを備える、アクチュエーター制御デバイスと、アクチュエーター制御デバイスに制御コマンドを送信するように構成されるコントローラーとを備え、コントローラーは、空間内の複数の点における空間の状態データを受信するデータ入力と、強化学習アルゴリズムのコード、状態データの履歴、及び空調システムに適用されてきた制御コマンドの履歴を記憶するメモリであって、制御コマンドの履歴は状態データ及び報酬の履歴に関連付けられる、メモリと、メモリに結合され、強化学習を使用することによって、報酬の累積価値を出力する価値関数を決定し、制御コマンドを送信するプロセッサであって、強化学習は、状態データ、制御コマンド及び報酬データの履歴を処理し、制御コマンドを送信する、プロセッサと、プロセッサから制御コマンドを受信し、空調システムに制御信号を送信するデータ出力であって、制御信号は、制御コマンドに従って空調システムの少なくとも１つのアクチュエーターを制御する、データ出力とを含む。
【００９３】
本発明の上記の実施形態は数多くの方法のいずれかにおいて実現することができる。例えば、それらの実施形態は、ハードウェア、ソフトウェア又はその組み合わせを用いて実現することができる。ソフトウェアにおいて実現されるとき、そのソフトウェアコードは、単一のコンピューター内に設けられるにしても、複数のコンピューター間に分散されるにしても、任意の適切なプロセッサ、又はプロセッサの集合体において実行することができる。そのようなプロセッサは集積回路として実現することができ、集積回路コンポーネント内に１つ以上のプロセッサが含まれる。しかしながら、プロセッサは、任意の適切な構成の回路を用いて実現することができる。
【００９４】
また、本発明の実施形態は方法として具現することができ、その一例が提供されてきた。その方法の一部として実行される動作は、任意の適切な方法において順序化することができる。したがって、例示的な実施形態において順次の動作として示される場合であっても、例示されるのとは異なる順序において動作が実行される実施形態を構成することもでき、異なる順序は、いくつかの動作を同時に実行することを含むことができる。
【００９５】
請求項要素を変更するために特許請求の範囲において「第１の」、「第２の」のような序数の用語を使用することは、それだけで、或る請求項要素が別の請求項要素よりも優先度が高いこと、優位であること、若しくは上位にあることを、又は方法の動作が実行される時間的な順序を暗示するのではなく、請求項要素を区別するために、或る特定の名称を有する１つの請求項要素を（序数用語を使用しなければ）同じ名称を有する別の要素から区別するラベルとして単に使用される。
【図１Ａ】
2019522163.tif 000061
【図１Ｂ】
2019522163.tif 000062
【図２Ａ】
2019522163.tif 000063
【図２Ｂ】
2019522163.tif 000064
【図２Ｃ】
2019522163.tif 000065
【図３】
2019522163.tif 000066
【図４】
2019522163.tif 000067
【図５】
2019522163.tif 000068
【図６】
2019522163.tif 000069
【図７】
2019522163.tif 000070
【国際調査報告】
2019522163.tif 000071
2019522163.tif 000072
2019522163.tif 000073