(57)【要約】      （修正有）【課題】状態遷移頻度情報を高速に参照し、制御処理を高速化することができる人工知能を用いた制御装置を提供する。【解決手段】制御対象の状態の遷移の確率又は頻度を示す状態遷移情報を格納する状態遷移情報記憶部２と、状態遷移情報記憶部に格納された状態遷移情報の一部を、状態遷移情報が記憶されている第１の記憶装置とは異なる第２の記憶装置に移動又は複製する範囲を決定する範囲決定部３とを備える。【選択図】図１
2020046904.tif 000002
【特許請求の範囲】
【請求項１】
人工知能を用いた制御装置であって、
制御対象の状態の遷移の確率又は頻度を示す状態遷移情報を格納する状態遷移情報記憶部と、
前記状態遷移情報記憶部に格納された状態遷移情報の一部を、前記状態遷移情報が記憶されている第１の記憶装置とは異なる第２の記憶装置に移動又は複製する範囲を決定する範囲決定部とを備えることを特徴とする制御装置。
【請求項２】
請求項１に記載の制御装置であって、
前記状態遷移情報は、時刻Ｔ（ｉ）における制御対象の状態Ｓ（ｉ）、及び、少なくとも前記時刻Ｔ（ｉ）より後の時刻Ｔ（ｊ）における制御対象の状態Ｓ（ｊ）が定義されており、前記状態Ｓ（ｉ）から状態Ｓ（ｊ）へ遷移する確率又は頻度を表す遷移確率行列であることを特徴とする制御装置。
【請求項３】
請求項２に記載の制御装置であって、
前記状態遷移情報記憶部は、今回計算タイミングＴ（ｉ）において検出又は推定された制御対象の状態Ｓ（ｉ）を入力とし、所定の条件に基づいて選択された前記状態Ｓ（ｊ）を出力するものであって、
前記範囲決定部は、前記状態Ｓ（ｉ）から前記状態Ｓ（ｊ）へ遷移する確率又は頻度が最大となるＳ（ｊ）を取得し、前記遷移確率行列において、前記取得したＳ（ｊ）をＳ（ｉ）としたときの前記Ｓ（ｉ）に該当する行列要素を前記第２の記憶装置に移動又は複製する範囲として決定することを特徴とする制御装置。
【請求項４】
請求項２に記載の制御装置であって、
前記状態遷移情報記憶部は、今回計算タイミングＴ（ｉ）において検出又は推定された制御対象の状態Ｓ（ｉ）を入力とし、所定の条件に基づいて選択された前記状態Ｓ（ｊ）を出力するものであって、
前記範囲決定部は、前記状態Ｓ（ｉ）から前記状態Ｓ（ｊ）へ遷移する確率又は頻度が所定値以上となるＳ（ｊ）を取得し、前記遷移確率行列において、前記取得したＳ（ｊ）をＳ（ｉ）としたときの前記Ｓ（ｉ）に該当する行列要素を前記第２の記憶装置に移動又は複製する範囲として決定することを特徴とする制御装置。
【請求項５】
請求項２に記載の制御装置であって、
今回計算タイミングＴ（ｋ）において検出又は推定された制御対象の状態Ｓ（ｋ）に一致するＳ（ｊ）を、前記第２の記憶装置に格納された状態遷移情報において検索し、制御対象の操作量を演算する操作量演算部を有することを特徴とする制御装置。
【請求項６】
請求項２に記載の制御装置であって、
今回計算タイミングＴ（ｋ）において検出又は推定された制御対象の状態Ｓ（ｋ）を用いて、Ｓ（ｊ）−Ｓ（ｋ）の絶対値が最も小さくなるＳ（ｊ）を、前記第２の記憶装置に格納された状態遷移情報において検索し、制御対象の操作量を演算する操作量演算部を有することを特徴とする制御装置。
【請求項７】
請求項１に記載の制御装置であって、
少なくとも、プラントの温度を制御する装置、ロボットを制御する装置、又は飛行体を制御する装置であることを特徴とする制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御装置に関し、特に、制御装置の処理の効率を向上する技術に関する。
【背景技術】
【０００２】
本技術分野の背景技術として、特開２０１０−１６５２４９（特許文献１）がある。この文献には、「表示画面に表示されている表示内容について当該表示内容が表示されている表示状態から他の表示状態への状態遷移の頻度を表す情報である遷移頻度情報が記録された遷移頻度データベースを格納する記憶部と、前記遷移頻度データベースと前記表示画面に表示されている表示内容とに基づいて遷移する可能性がある他の表示状態を予測し、予測した他の表示状態に必要なリソースを遷移が発生する前に準備するキャッシュ制御部と、を備える情報処理装置。」と記載されている（請求項１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１６５２４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、前述した先行技術（特許文献１）は、遷移頻度情報の規模が大きい場合に、遷移頻度情報自体をキャッシュすることは考慮されていない。
【課題を解決するための手段】
【０００５】
本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、人工知能を用いた制御装置であって、制御対象の状態の遷移の確率又は頻度を示す状態遷移情報を格納する状態遷移情報記憶部と、前記状態遷移情報記憶部に格納された状態遷移情報の一部を、前記状態遷移情報が記憶されている第１の記憶装置とは異なる第２の記憶装置に移動又は複製する範囲を決定する範囲決定部とを備えることを特徴とする。
【発明の効果】
【０００６】
本発明の一態様によれば、状態遷移頻度情報を高速に参照でき、制御処理を高速化できる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。
【図面の簡単な説明】
【０００７】
【図１】実施例１〜５における制御装置の全体図である。
【図２】実施例１〜５における制御装置のシステム構成図である。
【図３】実施例１〜３における制御装置と制御対象を示す図である。
【図４】実施例１〜５における状態遷移情報記憶部を示す図である。
【図５】実施例１における異なる記憶装置に移動する状態遷移情報の範囲決定部を示す図である。
【図６】実施例１、３〜５における移動後状態遷移情報記憶部を示す図である。
【図７】実施例１における操作量演算部を示す図である。
【図８】実施例２、３における異なる記憶装置に移動する状態遷移情報の範囲決定部を示す図である。
【図９】実施例２、３における移動後状態遷移情報記憶部を示す図である。
【図１０】実施例２における操作量演算部を示す図である。
【図１１】実施例３における操作量演算部を示す図である。
【図１２】実施例４における制御装置と制御対象を示す図である。
【図１３】実施例４における異なる記憶装置に移動する状態遷移情報の範囲決定部を示す図である。
【図１４】実施例４における操作量演算部を示す図である。
【図１５】実施例５における制御装置と制御対象を示す図である。
【図１６】実施例５における異なる記憶装置に移動する状態遷移情報の範囲決定部を示す図である。
【図１７】実施例５における操作量演算部を示す図である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施例を図面を用いて説明する。
【０００９】
［実施例１］
本実施例においては、人工知能を用いた制御装置において、制御対象の状態の遷移の確率又は頻度を示す状態遷移情報を行列又はモデル形式で格納する状態遷移情報記憶部と、前記状態遷移情報が記憶されている第１の記憶装置とは異なる第２の記憶装置に、前記状態遷移情報を移動する範囲を決定する範囲決定部とを備える形態を示す。
【００１０】
特に、前記状態遷移情報は、時刻Ｔ（ｉ）における制御対象の状態Ｓ（ｉ）、及び、少なくとも前記時刻Ｔ（ｉ）より後の時刻Ｔ（ｊ）における制御対象の状態Ｓ（ｊ）が定義されており、前記状態Ｓ（ｉ）から状態Ｓ（ｊ）へ遷移する確率又は頻度を表す遷移確率行列であるとよい。
【００１１】
また、前記状態遷移情報記憶部は、今回計算タイミングＴ（ｉ）において検出又は推定された制御対象の状態Ｓ（ｉ）を入力とし、前記状態遷移情報において、前記状態Ｓ（ｉ）に基づいて前記状態Ｓ（ｊ）を出力する。また、前記範囲決定部は、前記状態Ｓ（ｉ）から前記状態Ｓ（ｊ）へ遷移する確率又は頻度が最大となる状態Ｓ（ｊ）を抽出し、前記遷移確率行列において、前記抽出した状態Ｓ（ｊ）を状態Ｓ（ｉ）としたときの前記状態Ｓ（ｉ）に該当する行列要素を前記第２の記憶装置に移動する範囲として決定する。
【００１２】
また、今回計算タイミングＴ（ｋ）において検出又は推定された制御対象の状態Ｓ（ｋ）に一致する状態Ｓ（ｊ）を、前記第２の記憶装置に格納された状態遷移情報において検索し、制御対象の操作量を演算する操作量演算部を有する。
【００１３】
また、実施例１では、プラントの温度を制御する制御装置を例示するが、後述するように、本発明は自動運転車の制御装置や、ロボットの制御装置や、ドローンなどの飛行体の制御装置などの様々な用途に適用できる。
【００１４】
なお、実施例１及びそれ以後に説明する実施例では、状態遷移情報（状態遷移情報記憶部２のデータ）を他の記憶装置に移動する例を示すが、本明細書における移動には、移動対象のデータを元の記憶装置から削除する移動の他、移動対象のデータを元の記憶装置にも残す、いわゆる複製も含むものである。
【００１５】
図１は、制御装置１の全体を表す図である。
【００１６】
制御装置１は、状態遷移情報記憶部２及び異なる記憶装置に移動する状態遷移情報の範囲決定部３を有する。状態遷移情報記憶部２は、制御の状態遷移情報を記憶する。異なる記憶装置に移動する状態遷移情報の範囲決定部３は、制御の状態遷移情報を異なる記憶装置に移動する範囲を決定する。
【００１７】
図２は、制御装置１のシステム構成図である。
【００１８】
制御装置１は、ハードウェアとして、補助記憶装置１１、ＣＰＵ１２、ＲＯＭ１３、ＲＡＭ１４、データバス１５、入力回路１６、入出力ポート１７及び出力回路１８を有する。
【００１９】
補助記憶装置１１は、例えば、磁気記憶装置（ＨＤＤ）、フラッシュメモリ（ＳＳＤ）等の大容量かつ不揮発性の記憶装置である。ＲＯＭ１３は、不揮発性の記憶素子である、不変のプログラムやデータを格納する。ＲＡＭ１４は、ＤＲＡＭ（Dynamic Random Access Memory）のような高速かつ揮発性の記憶素子であり、ＣＰＵ１２が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。
【００２０】
入力回路１６は、外部から入力された信号を処理する。外部から入力される信号は、例えば、制御装置１に設置又は接続されているセンサからの信号等である。外部から入力される信号は、入力回路１６を経て、入力信号となり入出力ポート１７へ送られる。入出力ポートに送られた各入力信号は、データバス１５を経て、ＲＡＭ１４又は補助記憶装置１１に格納される。ＲＯＭ１３及び／又は補助記憶装置１１は、後述する処理を実行するためのプログラムを格納しており、該プログラムはＣＰＵ１２で実行される。その際、ＲＡＭ１４及び／又は補助記憶装置１１に格納された値を、適宜、用いて演算を行う。演算結果のうち外部へ送り出す情報（値）は、データバス１５を経て入出力ポート１７に送られ、出力信号として出力回路１８に送られる。出力回路１８は、出力信号を外部に出力する。外部へ出力される出力信号は、制御対象に所望の動きをさせるためのアクチュエータ信号などである。
【００２１】
なお、ＣＰＵ１２がプログラムを実行して行う処理の一部を、他の演算装置（例えば、ＦＰＧＡ（Field Programable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などのハードウェア）で実行してもよい。
【００２２】
図３は、制御装置１と、当該制御装置１によって制御される対象として例示するプラント６を示す図である。
【００２３】
前述したように、状態遷移情報記憶部２は、制御の状態遷移情報を記憶する。異なる記憶装置に移動する状態遷移情報の範囲決定部３は、制御の状態遷移情報を、移動後状態遷移情報記憶部４に移動する範囲を決定する。なお、状態遷移情報記憶部２のデータは、一般に容量が大きいので、ＲＯＭ１３又は補助記憶装置１１に記憶し、移動後状態遷移情報記憶部４のデータは、アクセスが速いＲＡＭ１４に記憶するとよい。操作量演算部５は、プラント６の温度を制御するための操作量（例えば、蒸気温度を調節するための目標バルブ開度）を演算する。
【００２４】
以下、各処理の詳細を説明する。
【００２５】
＜状態遷移情報記憶部（図４）＞
状態遷移情報記憶部２は、ＨＤＤによる補助記憶装置１１やＲＯＭ１３などの、ＲＡＭ１４よりアクセスが遅い記憶素子に構成され、制御対象の状態の遷移確率を記憶する。具体的には、図４に示すように、時刻Ｔ（ｉ）（遷移前）における制御対象の状態Ｓ（ｉ）：Ｓ１〜Ｓｎ、及び、少なくとも前記時刻Ｔ（ｉ）より後の時刻Ｔ（ｊ）（遷移後）における制御対象の状態Ｓ（ｊ）：Ｓ１〜Ｓｎが定義されており、状態Ｓ（ｉ）から状態Ｓ（ｊ）へ遷移する確率Ｒを表す遷移確率行列である。実施例１において、状態Ｓ（ｉ）及びＳ（ｊ）は、プラント６の温度である。状態遷移情報記憶部２は、時刻Ｔ（ｉ）における制御対象の状態Ｓ（ｉ）から時刻Ｔ（ｊ）における制御対象の状態Ｓ（ｊ）を出力する構造であれば、図示した行列形式ではなく、モデルや関数の形式でもよい。
【００２６】
＜異なる記憶装置に移動する状態遷移情報の範囲決定部（図５）＞
異なる記憶装置に移動する状態遷移情報の範囲決定部３は、異なる記憶装置に移動する状態遷移情報の範囲を決定する。具体的には、図５に示すように、状態遷移情報記憶部２は、プラント６から入力された値（温度）から、今回計算タイミングＴ（ｋ）における制御対象の温度Ｓ（ｋ）を検出し、該検出された温度Ｓ（ｉ）から温度Ｓ（ｊ）へ遷移する確率が最大となるＳ（ｊ）を抽出する。異なる記憶装置に移動する状態遷移情報の範囲決定部３は、抽出されたＳ（ｊ）をＳ（ｉ）としたときのＳ（ｉ）に該当する行列要素を異なる記憶装置（ＲＡＭ１４）に移動する範囲として決定する。なお、異なる記憶装置に移動する状態遷移情報の範囲決定部３は、プラント６で検出された温度ではなく、推定された値（温度）を用いてもよい。
【００２７】
＜移動後状態遷移情報記憶部（図６）＞
移動後状態遷移情報記憶部４は、ＲＡＭ１４などのアクセスが速い記憶素子に構成され、移動後の状態遷移情報を記憶する。具体的には、図６に示すように、今回計算タイミングＴ（ｋ）における制御対象の温度Ｓ（ｋ）に一致する温度Ｓ（ｉ）から温度Ｓ（ｊ）へ遷移する確率が最大となるＳ（ｊ）を抽出する。移動後状態遷移情報記憶部４は、抽出したＳ（ｊ）をＳ（ｉ）としたときのＳ（ｉ）に該当する行列要素を記憶する。
【００２８】
なお、移動後状態遷移情報記憶部４は、状態遷移情報記憶部２よりアクセスが速い記憶装置に構成されればよく、前述したようにＲＡＭ１４に構成することが望ましい。また、移動後状態遷移情報記憶部４をフラッシュメモリ（ＳＳＤ）に構成し、状態遷移情報記憶部２を磁気記憶装置（ＨＤＤ）に構成してもよい。また、移動後状態遷移情報記憶部４をアクセス速度が速い磁気記憶装置（ＨＤＤ）に構成し、状態遷移情報記憶部２をアクセス速度が遅い磁気記憶装置（ＨＤＤ）に構成してもよい。
【００２９】
＜操作量演算部（図７）＞
操作量演算部５は、プラント６の温度を制御するための操作量を演算する。具体的には、図７に示すように、以下の演算を行う。
ｉ）入力値が移動後状態遷移情報における遷移前のＳに等しいとき、移動後状態遷移情報の遷移確率Ｒが最大となる遷移後のＳを目標温度に設定する。
ｉｉ）入力値が移動後状態遷移情報における遷移前のＳに等しくないとき、（移動前）状態遷移情報の入力値に等しい遷移前のＳにおける遷移確率Ｒが最大となる遷移後のＳを目標温度に設定する。
【００３０】
その後、操作量演算部５は、テーブル５２を参照して、目標温度を目標バルブ開度に変換する。テーブル５２の値は実験などから求めてもよい。
【００３１】
本実施例によれば、制御対象の状態遷移確率を有する状態遷移行列に基づいて、当該行列の内、制御対象が遷移する確率が最も高い状態に該当する範囲をアクセスが速い記憶装置（ＲＡＭ１４）に移動する。
【００３２】
従って、規模が大きい状態遷移行列がアクセスが遅い記憶装置（ＨＤＤによる補助記憶装置１１）に記憶されている場合でも、参照する確率が高い範囲を、アクセスが速い記憶装置に移動して記憶するので、遅れが発生することなく操作量を演算でき、制御対象（プラント）の性能を安定化できる。
【００３３】
［実施例２］
本実施例においては、制御対象の状態の遷移の確率又は頻度を示す状態遷移情報を行列又はモデル形式で格納する状態遷移情報記憶部と、前記状態遷移情報が記憶されている第１の記憶装置とは異なる第２の記憶装置に、前記状態遷移情報を移動する範囲を決定する範囲決定部とを備える形態を示す。
【００３４】
特に、前記状態遷移情報は、時刻Ｔ（ｉ）における制御対象の状態Ｓ（ｉ）、及び、少なくとも前記時刻Ｔ（ｉ）より後の時刻Ｔ（ｊ）における制御対象の状態Ｓ（ｊ）が定義されており、前記状態Ｓ（ｉ）から状態Ｓ（ｊ）へ遷移する確率又は頻度を表す遷移確率行列であるとよい。
【００３５】
また、前記状態遷移情報記憶部は、今回計算タイミングＴ（ｉ）において検出又は推定された制御対象の状態Ｓ（ｉ）を入力とし、前記状態遷移情報において、前記状態Ｓ（ｉ）に基づいて前記状態Ｓ（ｊ）を出力する。また、前記範囲決定部は、前記状態Ｓ（ｉ）から前記状態Ｓ（ｊ）へ遷移する確率又は頻度が所定値以上となる状態Ｓ（ｊ）を抽出し、前記遷移確率行列において、前記抽出した状態Ｓ（ｊ）を状態Ｓ（ｉ）としたときの前記状態Ｓ（ｉ）に該当する行列要素を前記第２の記憶装置に移動する範囲として決定する。
【００３６】
また、今回計算タイミングＴ（ｋ）において検出又は推定された制御対象の状態Ｓ（ｋ）に一致する状態Ｓ（ｊ）を、前記第２の記憶装置に格納された状態遷移情報において検索し、制御対象の操作量を演算する操作量演算部を有する。
【００３７】
また、前記制御装置は、少なくともプラントの温度を制御する装置であるが、他のものを制御する装置でもよい。
【００３８】
図１は、実施例２の制御装置１の構成を示しており、実施例１と同じであるので、詳述しない。図２は、実施例２の制御装置１のシステム構成を示しており、実施例１と同じであるので、詳述しない。図３は、実施例２の制御装置１と制御装置１によって制御されるプラント６を示しており、実施例１と同じであるので、詳述しない。
【００３９】
以下、実施例２の各処理の詳細を説明する。
【００４０】
＜状態遷移情報記憶部（図４）＞
状態遷移情報記憶部２は、制御対象の状態の遷移確率を記憶する。具体的には、図４に示されており、実施例１と同じであるので、詳述しない。
【００４１】
＜異なる記憶装置に移動する状態遷移情報の範囲決定部（図８）＞
異なる記憶装置に移動する状態遷移情報の範囲決定部３は、異なる記憶装置に移動する状態遷移情報の範囲を決定する。具体的には、図８に示すように、状態遷移情報記憶部２において、今回計算タイミングＴ（ｋ）における制御対象の温度Ｓ（ｋ）に一致する温度Ｓ（ｉ）から温度Ｓ（ｊ）へ遷移する確率が所定以上となるＳ（ｊ）をすべて抽出する。抽出したＳ（ｊ）をＳ（ｉ）としたときのＳ（ｉ）に該当する行列要素を異なる記憶装置（ＲＡＭ１４）に移動する範囲として決定する。
【００４２】
＜移動後状態遷移情報記憶部（図９）＞
移動後状態遷移情報記憶部４は、移動後の状態遷移情報を記憶する。具体的には、図９に示すように、今回計算タイミングＴ（ｋ）における制御対象の温度Ｓ（ｋ）に一致する温度Ｓ（ｉ）から温度Ｓ（ｊ）へ遷移する確率が所定以上となるＳ（ｊ）をすべて抽出する。抽出したＳ（ｊ）をＳ（ｉ）としたときのＳ（ｉ）に該当する行列要素のみが記憶される。
【００４３】
＜操作量演算部（図１０）＞
操作量演算部５は、プラント６の温度を制御するための操作量を演算する。具体的には、図１０に示すように、以下の演算を行う。
ｉ）入力値が移動後状態遷移情報における遷移前のＳのいずれかに等しいとき、移動後状態遷移情報の遷移確率Ｒが最大となる遷移後のＳを目標温度に設定する。
ｉｉ）入力値が移動後状態遷移情報における遷移前のＳのいずれにも等しくないとき、（移動前）状態遷移情報の入力値に等しい遷移前のＳにおける遷移確率Ｒが最大となる遷移後のＳを目標温度に設定する。
【００４４】
その後、テーブル５２を参照して、目標温度を目標バルブ開度に変換する。テーブル５２の値は実験などから求めてもよい。
【００４５】
本実施例によれば、制御対象の状態遷移確率を有する状態遷移行列に基づいて、当該行列の内、制御対象が遷移する確率が所定値以上となる状態に該当する範囲を、アクセスが速い記憶装置に移動する。
【００４６】
従って、規模が大きい状態遷移行列がアクセスが遅い記憶装置に記憶されている場合でも、参照する確率が高い範囲を、アクセスが速い記憶装置に移動して記憶するので、遅れが発生することなく操作量を演算でき、制御対象の性能を安定化できる。また、制御対象が遷移する確率が所定値以上となる状態に該当する範囲はアクセスが速い記憶装置に移動するので、アクセス確率が高くなる。
【００４７】
［実施例３］
本実施例においては、制御対象の状態の遷移の確率又は頻度を示す状態遷移情報を行列又はモデル形式で格納する状態遷移情報記憶部と、前記状態遷移情報が記憶されている第１の記憶装置とは異なる第２の記憶装置に、前記状態遷移情報を移動する範囲を決定する範囲決定部とを備える形態を示す。
【００４８】
特に、前記状態遷移情報は、時刻Ｔ（ｉ）における制御対象の状態Ｓ（ｉ）、及び、少なくとも前記時刻Ｔ（ｉ）より後の時刻Ｔ（ｊ）における制御対象の状態Ｓ（ｊ）が定義されており、前記状態Ｓ（ｉ）から状態Ｓ（ｊ）へ遷移する確率又は頻度を表す遷移確率行列であるとよい。
【００４９】
また、前記状態遷移情報記憶部は、今回計算タイミングＴ（ｉ）において検出又は推定された制御対象の状態Ｓ（ｉ）を入力とし、前記状態遷移情報において、前記状態Ｓ（ｉ）に基づいて前記状態Ｓ（ｊ）を出力する。また、前記範囲決定部は、前記状態Ｓ（ｉ）から前記状態Ｓ（ｊ）へ遷移する確率又は頻度が所定値以上となる状態Ｓ（ｊ）を抽出し、前記遷移確率行列において、前記抽出した状態Ｓ（ｊ）を状態Ｓ（ｉ）としたときの前記状態Ｓ（ｉ）に該当する行列要素を前記第２の記憶装置に移動する範囲として決定する。
【００５０】
また、今回計算タイミングＴ（ｋ）において検出又は推定された制御対象の状態Ｓ（ｋ）を用いて、Ｓ（ｊ）−Ｓ（ｋ）の絶対値が最も小さくなる状態Ｓ（ｊ）を、前記第２の記憶装置に格納された状態遷移情報において検索し、制御対象の操作量を演算する操作量演算部を有する。
【００５１】
また、前記制御装置は、少なくともプラントの温度を制御する装置であるが、他のものを制御する装置でもよい。
【００５２】
図１は、実施例３の制御装置１の構成を示しており、実施例１と同じであるので、詳述しない。図２は、実施例３の制御装置１のシステム構成を示しており、実施例１と同じであるので、詳述しない。図３は、実施例３の制御装置１と制御装置１によって制御されるプラント６を示しており、実施例１と同じであるので、詳述しない。
【００５３】
以下、実施例２の各処理の詳細を説明する。
【００５４】
＜状態遷移情報記憶部（図４）＞
状態遷移情報記憶部２は、制御対象の状態の遷移確率を記憶する。具体的には、図４に示されており、実施例１と同じであるので、詳述しない。
【００５５】
＜異なる記憶装置に移動する状態遷移情報の範囲決定部（図８）＞
異なる記憶装置に移動する状態遷移情報の範囲決定部３は、異なる記憶装置に移動する状態遷移情報の範囲を決定する。具体的には、図８に示されており、実施例２と同じであるので、詳述しない。
【００５６】
＜移動後状態遷移情報記憶部（図９）＞
移動後状態遷移情報記憶部４は、移動後の状態遷移情報を記憶する。具体的には、図９に示されるが，実施例２と同じであるので、詳述しない。
【００５７】
＜操作量演算部（図１１）＞
操作量演算部５は、プラント６の温度を制御するための操作量を演算する。具体的には、図１１に示すように、以下の演算を行う。
（移動後状態遷移情報における遷移前Ｓ）と（入力値）との差の絶対値が最も小さくなる遷移前Ｓの遷移確率Ｒが最大となる遷移後のＳを目標温度に設定する。
【００５８】
本実施例によれば、制御対象の状態遷移確率を有する状態遷移行列に基づいて、当該行列の内、制御対象が遷移する確率が所定値以上となる状態に該当する範囲を、アクセスが速い記憶装置に移動する。
【００５９】
従って、規模が大きい状態遷移行列がアクセスが遅い記憶装置に記憶されている場合でも、参照する確率が高い範囲を、アクセスが速い記憶装置に移動して記憶するので、遅れが発生することなく操作量を演算でき、制御対象の性能を安定化できる。また、（移動後状態遷移情報における遷移前Ｓ）と（入力値）の差の絶対値が最も小さくなる遷移前Ｓの遷移確率Ｒが最大となる遷移後のＳを目標温度に設定するので、アクセスが速い記憶装置に記憶した範囲を必ず参照するようになり、演算遅れの発生頻度を低下でき、制御をより安定させられる。
【００６０】
［実施例４］
本実施例においては、制御対象の状態の遷移の確率又は頻度を示す状態遷移情報を行列又はモデル形式で格納する状態遷移情報記憶部と、前記状態遷移情報が記憶されている第１の記憶装置とは異なる第２の記憶装置に、前記状態遷移情報を移動する範囲を決定する範囲決定部とを備える形態を示す。
【００６１】
特に、前記状態遷移情報は、時刻Ｔ（ｉ）における制御対象の状態Ｓ（ｉ）、及び、少なくとも前記時刻Ｔ（ｉ）より後の時刻Ｔ（ｊ）における制御対象の状態Ｓ（ｊ）が定義されており、前記状態Ｓ（ｉ）から状態Ｓ（ｊ）へ遷移する確率又は頻度を表す遷移確率行列であるとよい。
【００６２】
また、前記状態遷移情報記憶部は、今回計算タイミングＴ（ｉ）において検出又は推定された制御対象の状態Ｓ（ｉ）を入力とし、前記状態遷移情報において、前記状態Ｓ（ｉ）に基づいて前記状態Ｓ（ｊ）を出力する。また、前記範囲決定部は、前記状態Ｓ（ｉ）から前記状態Ｓ（ｊ）へ遷移する確率又は頻度が最大となる状態Ｓ（ｊ）を抽出し、前記遷移確率行列において、前記抽出した状態Ｓ（ｊ）を状態Ｓ（ｉ）としたときの前記状態Ｓ（ｉ）に該当する行列要素を前記第２の記憶装置に移動する範囲として決定する。
【００６３】
また、今回計算タイミングＴ（ｋ）において検出又は推定された制御対象の状態Ｓ（ｋ）に一致する状態Ｓ（ｊ）を、前記第２の記憶装置に格納された状態遷移情報において検索し、制御対象の操作量を演算する操作量演算部を有する。
【００６４】
また、前記制御装置は、ロボットを制御する装置である。
【００６５】
図１は、実施例４の制御装置１の構成を示しており、実施例１と同じであるので、詳述しない。図２は、実施例４の制御装置１のシステム構成を示しており、実施例１と同じであるので、詳述しない。
【００６６】
図１２は、制御装置１と、当該制御装置１によって制御される対象として例示するロボット７を示す図である。
【００６７】
前述したように、状態遷移情報記憶部２は、制御の状態遷移情報を記憶する。異なる記憶装置に移動する状態遷移情報の範囲決定部３は、制御の状態遷移情報を、移動後状態遷移情報記憶部４に移動する範囲を決定する。なお、状態遷移情報記憶部２のデータは、一般に容量が大きいので、ＲＯＭ１３又は補助記憶装置１１に記憶し、移動後状態遷移情報記憶部４のデータは、アクセスが速いＲＡＭ１４に記憶するとよい。操作量演算部５は、ロボット７を制御するための操作量（例えば、モータ電流量）を演算する。
【００６８】
以下、実施例４の各処理の詳細を説明する。
【００６９】
＜状態遷移情報記憶部（図４）＞
状態遷移情報記憶部２は、制御対象の状態の遷移確率を記憶する。具体的には、図４に示すように、時刻Ｔ（ｉ）（遷移前）における制御対象の状態Ｓ（ｉ）：Ｓ１〜Ｓｎ、及び、少なくとも前記時刻Ｔ（ｉ）より後の時刻Ｔ（ｊ）（遷移後）における制御対象の状態Ｓ（ｊ）：Ｓ１〜Ｓｎが定義されており、状態Ｓ（ｉ）から状態Ｓ（ｊ）へ遷移する確率Ｒを表す遷移確率行列である。実施例４において、状態Ｓ（ｉ）及びＳ（ｊ）は、ロボット７のアームのトルクである。
【００７０】
＜異なる記憶装置に移動する状態遷移情報の範囲決定部（図１３）＞
異なる記憶装置に移動する状態遷移情報の範囲決定部３は、異なる記憶装置に移動する状態遷移情報の範囲を決定する。具体的には、図５に示すように、状態遷移情報記憶部２は、ロボット７から入力された値（トルク）から、今回計算タイミングＴ（ｋ）における制御対象のトルクＳ（ｋ）を検出し、該検出されたトルクＳ（ｉ）からトルクＳ（ｊ）へ遷移する確率が最大となるＳ（ｊ）を抽出する。異なる記憶装置に移動する状態遷移情報の範囲決定部３は、抽出されたＳ（ｊ）をＳ（ｉ）としたときのＳ（ｉ）に該当する行列要素を異なる記憶装置（ＲＡＭ１４）に移動する範囲として決定する。なお、異なる記憶装置に移動する状態遷移情報の範囲決定部３は、ロボット７で検出されたトルクではなく、推定された値（トルク）を用いてもよい。
【００７１】
＜移動後状態遷移情報記憶部（図６）＞
移動後状態遷移情報記憶部４は、移動後の状態遷移情報を記憶する。具体的には、図６に示されており、実施例１と同じであるので、詳述しない。
【００７２】
＜操作量演算部（図１４）＞
操作量演算部５は、ロボット７のトルクを制御するための操作量を演算する。具体的には、図１４に示すように、以下の演算を行う。
ｉ）入力値が移動後状態遷移情報における遷移前のＳに等しいとき、移動後状態遷移情報の遷移確率Ｒが最大となる遷移後のＳを目標トルクに設定する。
ｉｉ）入力値が移動後状態遷移情報における遷移前のＳに等しくないとき、（移動前）状態遷移情報の入力値に等しい遷移前のＳにおける遷移確率Ｒが最大となる遷移後のＳを目標トルクに設定する。
【００７３】
その後、操作量演算部５は、テーブル５６を参照して、目標トルクを目標モータ電流量に変換する。テーブル５６の値は、実験などから求めてもよい。
【００７４】
本実施例によれば、制御対象の状態遷移確率を有する状態遷移行列に基づいて、当該行列の内、制御対象が遷移する確率が最も高い状態に該当する範囲をアクセスが速い記憶装置に移動する。
【００７５】
従って、規模が大きい状態遷移行列がアクセスが遅い記憶装置に記憶されている場合でも、参照する確率が高い範囲を、アクセスが速い記憶装置に移動して記憶するので、遅れが発生することなく操作量を演算でき、制御対象（ロボット７）の性能を安定化できる。
【００７６】
［実施例５］
本実施例においては、制御対象の状態の遷移の確率又は頻度を示す状態遷移情報を行列又はモデル形式で格納する状態遷移情報記憶部と、前記状態遷移情報が記憶されている第１の記憶装置とは異なる第２の記憶装置に、前記状態遷移情報を移動する範囲を決定する範囲決定部とを備える形態を示す。
【００７７】
特に、前記状態遷移情報は、時刻Ｔ（ｉ）における制御対象の状態Ｓ（ｉ）、及び、少なくとも前記時刻Ｔ（ｉ）より後の時刻Ｔ（ｊ）における制御対象の状態Ｓ（ｊ）が定義されており、前記状態Ｓ（ｉ）から状態Ｓ（ｊ）へ遷移する確率又は頻度を表す遷移確率行列であるとよい。
【００７８】
また、前記状態遷移情報記憶部は、今回計算タイミングＴ（ｉ）において検出又は推定された制御対象の状態Ｓ（ｉ）を入力とし、前記状態遷移情報において、前記状態Ｓ（ｉ）に基づいて前記状態Ｓ（ｊ）を出力する。また、前記範囲決定部は、前記状態Ｓ（ｉ）から前記状態Ｓ（ｊ）へ遷移する確率又は頻度が最大となる状態Ｓ（ｊ）を抽出し、前記遷移確率行列において、前記抽出した状態Ｓ（ｊ）を状態Ｓ（ｉ）としたときの前記状態Ｓ（ｉ）に該当する行列要素を前記第２の記憶装置に移動する範囲として決定する。
【００７９】
また、今回計算タイミングＴ（ｋ）において検出又は推定された制御対象の状態Ｓ（ｋ）に一致する状態Ｓ（ｊ）を、前記第２の記憶装置に格納された状態遷移情報において検索し、制御対象の操作量を演算する操作量演算部を有する。
【００８０】
また、前記制御装置は、ドローンなどの飛行体を制御する装置である。
【００８１】
図１は、実施例５の制御装置１の構成を示しており、実施例１と同じであるので、詳述しない。図２は、実施例５の制御装置１のシステム構成を示しており、実施例１と同じであるので、詳述しない。
【００８２】
図１５は、制御装置１と、制御装置１によって制御される対象として例示するドローン８を示す図である。
【００８３】
前述したように、状態遷移情報記憶部２は、制御の状態遷移情報を記憶する。異なる記憶装置に移動する状態遷移情報の範囲決定部３は、制御の状態遷移情報を、移動後状態遷移情報記憶部４に移動する範囲を決定する。なお、状態遷移情報記憶部２のデータは、一般に容量が大きいので、ＲＯＭ１３又は補助記憶装置１１に記憶し、移動後状態遷移情報記憶部４のデータは、アクセスが速いＲＡＭ１４に記憶するとよい。操作量演算部５は、ドローン８を制御するための操作量（例えば、モータ電流量）を演算する。
【００８４】
以下、実施例５の各処理の詳細を説明する。
【００８５】
＜状態遷移情報記憶部（図４）＞
状態遷移情報記憶部２は、制御対象の状態の遷移確率を記憶する。具体的には、図４に示すように、時刻Ｔ（ｉ）（遷移前）における制御対象の状態Ｓ（ｉ）：Ｓ１〜Ｓｎ、及び、少なくとも前記時刻Ｔ（ｉ）より後の時刻Ｔ（ｊ）（遷移後）における制御対象の状態Ｓ（ｊ）：Ｓ１〜Ｓｎが定義されており、状態Ｓ（ｉ）から状態Ｓ（ｊ）へ遷移する確率Ｒを表す遷移確率行列である。実施例５において、状態Ｓ（ｉ）及びＳ（ｊ）は、ドローン８のロータ回転速度である。状態遷移情報記憶部２は、時刻Ｔ（ｉ）における制御対象の状態Ｓ（ｉ）から時刻Ｔ（ｊ）における制御対象の状態Ｓ（ｊ）を出力する構造であれば、図示した行列形式ではなく、モデルや関数の形式でもよい。
【００８６】
＜異なる記憶装置に移動する状態遷移情報の範囲決定部（図１６）＞
異なる記憶装置に移動する状態遷移情報の範囲決定部３は、異なる記憶装置に移動する状態遷移情報の範囲を決定する。具体的には、図１６に示すように、状態遷移情報記憶部２は、ドローン８から入力された値（ロータ回転速度）から、今回計算タイミングＴ（ｋ）における制御対象のロータ回転速度Ｓ（ｋ）を検出し、該検出されたロータ回転速度Ｓ（ｉ）からロータ回転速度Ｓ（ｊ）へ遷移する確率が最大となるＳ（ｊ）を抽出する。異なる記憶装置に移動する状態遷移情報の範囲決定部３は、抽出されたＳ（ｊ）をＳ（ｉ）としたときのＳ（ｉ）に該当する行列要素のみを異なる記憶装置（ＲＡＭ１４）に移動する範囲として決定する。なお、異なる記憶装置に移動する状態遷移情報の範囲決定部３は、ドローン８で検出されたロータ回転速度ではなく、推定された値（ロータ回転速度）を用いてもよい。
【００８７】
＜移動後状態遷移情報記憶部（図６）＞
移動後状態遷移情報記憶部４は、移動後の状態遷移情報を記憶する。具体的には、図６に示されており、実施例１と同じであるので、詳述しない。
【００８８】
＜操作量演算部（図１７）＞
操作量演算部５は、ドローン８のロータ回転速度を制御するための操作量を演算する。具体的には、図１７に示すように、以下の演算を行う。
ｉ）入力値が移動後状態遷移情報における遷移前のＳに等しいとき、移動後状態遷移情報の遷移確率Ｒが最大となる遷移後のＳをロータ回転速度に設定する。
ｉｉ）入力値が移動後状態遷移情報における遷移前のＳに等しくないとき、（移動前）状態遷移情報の入力値に等しい遷移前のＳにおける遷移確率Ｒが最大となる遷移後のＳをロータ回転速度に設定する。
【００８９】
その後、操作量演算部５は、テーブル５８を参照して、ロータ回転速度を目標モータ電流量に変換する。テーブル５８の値は、実験などから求めてもよい。
本実施例によれば、制御対象の状態遷移確率を有する状態遷移行列に基づいて、当該行列の内、制御対象が遷移する確率が最も高い状態に該当する範囲をアクセスが速い記憶装置に移動する。
【００９０】
従って、規模が大きい状態遷移行列がアクセスが遅い記憶装置に記憶されている場合でも、参照する確率が高い範囲を、アクセスが速い記憶装置に移動して記憶するので、遅れが発生することなく操作量を演算でき、制御対象（ドローン８）の性能を安定化できる。
【００９１】
以上に説明したように、本発明の実施例によると、状態遷移情報記憶部２が、制御対象の状態の遷移の確率又は頻度を示す状態遷移情報を格納し、異なる記憶装置に移動する状態遷移情報の範囲決定部３が、状態遷移情報記憶部２に格納された状態遷移情報の一部を、状態遷移情報が記憶されている第１の記憶装置（補助記憶装置１１やＲＯＭ１３）とは異なる第２の記憶装置（ＲＡＭ１４）に移動するので、参照する確率が高い範囲を、アクセスが速い記憶装置に移動して記憶するので、状態遷移頻度情報を効率的かつ高速に参照でき、遅れが発生することなく操作量を演算できる。よって、制御処理を高速化でき、制御対象（プラント）の性能を安定化できる。
【００９２】
また、時刻Ｔ（ｉ）における制御対象の状態Ｓ（ｉ）、及び、少なくとも時刻Ｔ（ｉ）より後の時刻Ｔ（ｊ）における制御対象の状態Ｓ（ｊ）が定義されており、状態Ｓ（ｉ）から状態Ｓ（ｊ）へ遷移する確率又は頻度を表す遷移確率行列で状態遷移情報記憶部２を構成するので、簡素な構成で後の時刻の状態を定義できる。
【００９３】
また、状態遷移情報記憶部２は、今回計算タイミングＴ（ｉ）において検出又は推定された制御対象の状態Ｓ（ｉ）を入力とし、所定の条件に基づいて選択された前記状態Ｓ（ｊ）を出力するものであって、異なる記憶装置に移動する状態遷移情報の範囲決定部３は、状態Ｓ（ｉ）から状態Ｓ（ｊ）へ遷移する確率又は頻度が最大となるＳ（ｊ）を取得し、遷移確率行列において、取得したＳ（ｊ）をＳ（ｉ）としたときのＳ（ｉ）に該当する行列要素を第２の記憶装置に移動する範囲として決定するので、参照する確率が高い範囲を限定でき、アクセスが速い記憶装置の容量を少なくできる。
【００９４】
また、状態遷移情報記憶部２は、今回計算タイミングＴ（ｉ）において検出又は推定された制御対象の状態Ｓ（ｉ）を入力とし、所定の条件に基づいて選択された前記状態Ｓ（ｊ）を出力するものであって、異なる記憶装置に移動する状態遷移情報の範囲決定部３は、状態Ｓ（ｉ）から状態Ｓ（ｊ）へ遷移する確率又は頻度が所定値以上となるＳ（ｊ）を取得し、遷移確率行列において、取得したＳ（ｊ）をＳ（ｉ）としたときのＳ（ｉ）に該当する行列要素を第２の記憶装置に移動する範囲として決定するので、参照する確率が高い範囲を広くして、アクセスが速い記憶装置におけるヒットミスを低減でき、操作量の演算における遅れの発生を低減できる。
【００９５】
また、操作量演算部５は、今回計算タイミングＴ（ｋ）において検出又は推定された制御対象の状態Ｓ（ｋ）に一致するＳ（ｊ）を、第２の記憶装置に格納された状態遷移情報において検索し、制御対象の操作量を演算するので、少ない演算量で後の時刻Ｔ（ｊ）における制御対象の状態Ｓ（ｊ）を演算できる。
【００９６】
また、操作量演算部５は、今回計算タイミングＴ（ｋ）において検出又は推定された制御対象の状態Ｓ（ｋ）を用いて、Ｓ（ｊ）−Ｓ（ｋ）の絶対値が最も小さくなるＳ（ｊ）を、第２の記憶装置に格納された状態遷移情報において検索し、制御対象の操作量を演算するので、アクセスが速い記憶装置に記憶した範囲を必ず参照するようになり、演算遅れの発生頻度を低下でき、制御をより安定させられる。
【００９７】
なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。
【００９８】
また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。
【００９９】
各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。
【０１００】
また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。
【符号の説明】
【０１０１】
１  制御装置
２  状態遷移情報記憶部
３  異なる記憶装置に移動する状態遷移情報の範囲決定部
４  移動後状態遷移情報記憶部
５  操作量演算部
６  プラント
７  ロボット
８  ドローン
１１  制御装置の記憶装置
１２  制御装置のＣＰＵ
１３  制御装置のＲＯＭ
１４  制御装置のＲＡＭ
１５  制御装置のデータバス
１６  制御装置の入力回路
１７  制御装置の入出力ポート
１８  制御装置の出力回路
５１、５３、５４、５５、５７  操作量演算部の処理例
５２、５６、５８  操作量演算部の目標値から操作量に変換する処理例
【図１】
2020046904.tif 000003
【図２】
2020046904.tif 000004
【図３】
2020046904.tif 000005
【図４】
2020046904.tif 000006
【図５】
2020046904.tif 000007
【図６】
2020046904.tif 000008
【図７】
2020046904.tif 000009
【図８】
2020046904.tif 000010
【図９】
2020046904.tif 000011
【図１０】
2020046904.tif 000012
【図１１】
2020046904.tif 000013
【図１２】
2020046904.tif 000014
【図１３】
2020046904.tif 000015
【図１４】
2020046904.tif 000016
【図１５】
2020046904.tif 000017
【図１６】
2020046904.tif 000018
【図１７】
2020046904.tif 000019