(57)【特許請求の範囲】
【請求項１】
対象システムに関する複数の状態のうち２つの状態が関連付けされている関連情報と、該関連情報に関する数値情報とが関連付けされた優先度情報に基づき、該数値情報が第１の所定の条件を満たしている関連情報を選択する選択手段と、
選択した関連情報に基づき、ある状態から目的状態までの中間状態を含む経路を作成して、前記経路に含まれている状態に対して与えられる報酬を特定する特定手段と、
前記特定した報酬と、前記数値情報及び前記数値情報に関する所与の数値情報の差異とが第２の所定の条件を満たしている場合における、該数値情報を算出する算出手段と、
を備える関連情報改善装置。
【請求項２】
前記数値情報に基づいて前記複数の状態から前記２つの状態を選択し、選択した状態が関連付けされた前記関連情報を作成する関連情報作成手段を更に含む、請求項１に記載の関連情報改善装置。
【請求項３】
前記状態と、前記関連情報とに基づき、前記中間状態を表す数値情報を算出する変換手段を更に含む、請求項１又は２に記載の関連情報改善装置。
【請求項４】
前記中間状態を表す数値情報と、前記対象システムに関して観測された観測情報との差異に基づき、前記対象システムを制御する制御情報を作成する制御情報作成手段を含む、請求項３に記載の関連情報改善装置。
【請求項５】
情報処理装置によって、対象システムに関する複数の状態のうち２つの状態が関連付けされている関連情報と、該関連情報に関する数値情報とが関連付けされた優先度情報に基づき、該数値情報が第１の所定の条件を満たしている関連情報を選択し、
選択した関連情報に基づき、ある状態から目的状態までの中間状態を含む経路を作成して、前記経路に含まれている状態に対して与えられる報酬を特定し、
前記特定した報酬と、前記数値情報及び前記数値情報に関する所与の数値情報の差異とが第２の所定の条件を満たしている場合における、該数値情報を算出する、
関連情報改善方法。
【請求項６】
前記数値情報に基づいて前記複数の状態から前記２つの状態を選択し、選択した状態が関連付けされた前記関連情報を作成する、請求項５に記載の関連情報改善方法。
【請求項７】
前記状態と、前記関連情報とに基づき、前記中間状態を表す数値情報を算出する、請求項５又は６に記載の関連情報改善方法。
【請求項８】
前記中間状態を表す数値情報と、前記対象システムに関して観測された観測情報との差異に基づき、前記対象システムを制御する制御情報を作成する、請求項７に記載の関連情報改善方法。
【請求項９】
対象システムに関する複数の状態のうち２つの状態が関連付けされている関連情報と、該関連情報に関する数値情報とが関連付けされた優先度情報に基づき、該数値情報が第１の所定の条件を満たしている関連情報を選択する選択手順と、
選択した関連情報に基づき、ある状態から目的状態までの中間状態を含む経路を作成して、前記経路に含まれている状態に対して与えられる報酬を特定する特定手順と、
前記特定した報酬と、前記数値情報及び前記数値情報に関する所与の数値情報の差異とが第２の所定の条件を満たしている場合における、該数値情報を算出する算出手順と、
をコンピュータに実行させる関連情報改善装置プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、関連情報改善装置に関し、特に階層プランナにおける関連情報改善装置に関する。
【背景技術】
【０００２】
強化学習（Reinforcement Learning）とは、ある環境内におけるエージェントが、現在の状態を観測し、取るべき行動を決定する問題を扱う機械学習の一種である。エージェントは行動を選択することで環境から報酬(reward)を得る。強化学習は、一連の行動を通じて報酬が最も多く得られるような方策（policy）を学習する。環境は制御対象や対象システムとも呼ばれる。【０００３】
複雑な環境における強化学習においては、学習にかかる計算時間の長大化が大きなボトルネックとなりがちである。そのような問題を解決するための強化学習のバリエーションの一つとして、予め別のモデルで探索すべき範囲を限定した上で、強化学習エージェントはその限定された探索空間で学習を行うことで、学習を効率化する、「階層強化学習（Hierarchical Reinforcement Learning）」と呼ばれる枠組みがある。探索空間を限定するためのモデルを上位プランナと呼び、上位プランナから提示された探索空間上で学習を行う強化学習モデルを下位プランナと呼ぶ。上位プランナと下位プランナとの組み合わせは、階層プランナと呼ばれる。下位プランナと環境との組み合わせは、シミュレータとも呼ばれる。【０００４】
例えば、非特許文献１は、事前知識と階層プランナ用パラメタとに基づいて動作を行う上位プランナを含む階層プランナと、その最適化の枠組みを提案している。なお、事前知識は関連情報とも呼ばれる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Branavan, S. R. K., et al. "Learning high-level planning from text."  Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics: Long Papers-Volume 1. Association for Computational Linguistics, 2012.
【非特許文献２】Williams, Ronald J. "Simple statistical gradient-following algorithms for connectionist reinforcement learning." Machine learning 8.3-4 (1992): 229-256.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
事前知識とは、例えばプラントの操作マニュアルなど、人間の知識を形式化して蓄積したものを指す。非特許文献１に開示された階層プランナ最適化装置では、事前知識（関連情報）は静的なものとして扱われており、階層プランナ最適化において更新されることは無い。そのため、事前知識（関連情報）が誤っていたり、漏れがあったとしても、それを改善することが出来ない。一般的に、人がこういった事前知識（関連情報）を誤りなく、且つ網羅的に構築することは困難であることが多い。そこで、人が構築した事前知識（関連情報）を半自動的に改善できることは有用であるといえる。【０００７】
本発明の目的は、上述した課題を解決できる関連情報改善装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の１つの態様として、関連情報改善装置は、対象システムに関する複数の状態のうち２つの状態が関連付けされている関連情報と、該関連情報に関する数値情報とが関連付けされた優先度情報に基づき、該数値情報が第１の所定の条件を満たしている関連情報を選択する選択手段と；選択した関連情報に基づき、ある状態から目的状態までの中間状態を含む経路を作成して、前記経路に含まれている状態に対して与えられる報酬を特定する特定手段と；前記特定した報酬と、前記数値情報及び前記数値情報に関する所与の数値情報の差異とが第２の所定の条件を満たしている場合における、該数値情報を算出する算出手段と；を備える。
【発明の効果】
【０００９】
本発明によれば、数値情報の最適化に基づいて関連情報の改善を行うことが出来る。
【図面の簡単な説明】
【００１０】
【図１】非特許文献１で提案されている手法を本願発明者が解釈して作成した関連技術の階層プランナを含む制御システムの構成を示すブロック図である。
【図２】図１の階層プランナに用いられる上位プランナの内部構成を示すブロック図である。
【図３】図１の階層プランナに用いられる下位プランナの内部構成を示すブロック図である。
【図４】本発明の実施形態に係る階層プランナを含む制御システムの構成を示すブロック図である。
【図５】図４の階層プランナに用いられる上位プランナの内部構成を示すブロック図である。
【図６】本発明の実施形態における階層プランナの動作を説明するためのフローチャートである。
【図７】本発明の実施例で使用される、MountainCarタスクを示す図である。
【図８】図６におけるステップＳ１０１の実施例を示す図である。
【図９】図６におけるステップＳ１０２の実施例を示す図である。
【図１０】図６におけるステップＳ１０３の実施例を示す図である。
【図１１】図６におけるステップＳ１０５の実施例を示す図である。
【発明を実施するための形態】
【００１１】
［関連技術］
本発明の理解を容易にするために、最初に関連技術について説明する。
【００１２】
図１は、非特許文献１で提案された関連技術に係る階層プランナを含む制御システムの構成を示すブロック図である。図１に示すように、非特許文献１で提案された制御システムは、階層プランナ１０と、環境５０とから成る。尚、環境５０は、制御対象や対象システムとも呼ばれる。
【００１３】
階層プランナ１０は、上位プランナ１２と下位プランナ１４とから成る。
【００１４】
図２は、図１の階層プランナ１０に用いられる上位プランナ１２の内部構成を示すブロック図である。上位プランナ１２は、最適化装置２０と、階層プランナ用パラメタを格納するパラメタ格納部３０と、相互作用履歴を記録する履歴記録媒体４０と、事前知識を記録する知識記録媒体６０とを有する。前述したように、事前知識は関連情報とも呼ばれる。最適化装置２０は、数値情報計算回路部とも呼ばれる。
【００１５】
知識記録媒体６０には、たとえば、図８に例示されているような記号知識（関連情報）が格納されている。知識記録媒体６０に格納されている各記号知識には、当該記号知識が重要である程度を表す重みεが関連付けされている。たとえば、当該重みεが大きな値であるほど、成立する可能性が高い知識であることを表す。逆に、当該重みεが小さな値であるほど、成立する可能性が低い知識であることを表す。
【００１６】
このような構成を有する関連技術の制御システムは、次のように動作する。
【００１７】
環境５０は、行動ａを受け付け、状態記号集合Ｓｈに属する状態記号ｓｈと報酬ｒとを出力する。ここで、状態記号ｓｈは知識中の記号的表現で表された記号である。なお、図示はしないが、環境５０は第１の変換部を含む。第１の変換部は、環境５０の状態を数値表現で表した連続量である数値状態情報ｓと報酬ｒと第１の記号接地(symbol grounding)用パラメタとから、第１の記号接地関数に基づいて、上記状態記号ｓｈと報酬ｒとを出力する。第１の変換部は、下位／上位変換部とも呼ばれる。
【００１８】
上位プランナ１２は、状態記号ｓｈと報酬ｒと上位プランナ用パラメタとを受け付け、状態記号集合Ｓｈに属するサブゴール記号ｇｈを出力する。ここで、サブゴール記号ｇｈは、知識中の記号的表現で表された中間状態を示す記号である。尚、本明細書では、サブゴール記号ｇｈは単に「中間状態」とも呼ばれる。また、開始状態、目標状態（目的状態）、および中間状態は、総称して単に「状態」とも呼ばれる。
【００１９】
下位プランナ１４は、状態記号ｓｈとサブゴール記号ｇｈと下位プランナ用パラメタとを受け取り、行動集合Ａに属する行動ａを出力する。詳述すると、下位プランナ１４は、環境５０から状態集合Ｓに属する数値状態情報ｓと報酬ｒとを受ける。ここで、数値状態情報ｓは、環境５０の状態を数値表現で表した連続量である。数値状態情報ｓは環境（対象システム）５０に関して観測された観測情報である。
【００２０】
図３に示されるように、下位プランナ１４は、第２の変換部１４２と制御情報作成部１４４とを備える。第２の変換部１４２は、サブゴール記号ｇｈと第２の記号接地用パラメタとを受け取り、第２の記号接地関数に基づいて、状態集合Ｓに属するサブゴールを出力する。ここで、サブゴールは中間状態を表す数値情報から成る。以降、ある状態を表す数値情報を「数値状態情報」と表す。第２の変換部１４２は、上位／下位変換部とも呼ばれる。制御情報作成部１４４は、サブゴールと観測情報との差異に基づき、行動ａとして環境（対象システム）５０を制御する制御情報を生成する。
【００２１】
これらの一連の処理を１処理とすると、履歴記録媒体４０は、１処理ごとの状態記号ｓｈ、報酬ｒ、サブゴール記号ｇｈ、および行動ａを受け取り、これらを相互作用履歴として記録する。
【００２２】
最適化装置２０は、履歴記録媒体４０から相互作用履歴として保存されている状態記号ｓｈ、報酬ｒ、サブゴール記号ｇｈ、行動ａを受け取り、階層プランナ１０のパラメタを更新し、その更新後のパラメタを出力する。最適化装置２０は、相互作用履歴に基づいて、上位プランナ１２のパラメタを更新し、更新後の上位プランナ用パラメタを出力する。
【００２３】
パラメタ格納部３０は、最適化装置２０からパラメタを受け取り、それを階層プランナ用パラメタとして保存し、読み出し要求に応じて保存した階層プランナ用パラメタを出力する。
【００２４】
知識記録媒体６０は、人間の知識を形式化したもの（これを事前知識と呼ぶ）を保存し、読み出し要求に応じて事前知識を出力する。
【００２５】
図２に示されるように、非特許文献１に開示された階層プランナ最適化装置では、知識記録媒体６０に保存される事前知識（関連情報）は静的なものとして扱われており、階層プランナ最適化において更新されることは無い。そのため、事前知識（関連情報）が誤っていたり、漏れがあったとしても、それを改善することが出来ない。一般的に、人がこういった事前知識（関連情報）を誤りなく、且つ網羅的に構築することは困難であることが多い。
【００２６】
［実施形態］
本発明の実施形態について図面を参照して以下、詳細に説明する。
【００２７】
［構成の説明］
図４は、本発明の実施形態に係る階層プランナを含む制御システムの構成を示すブロック図である。図４に示すように、本実施形態に係る制御システムは、階層プランナ１０Ａと、環境５０とを有する。尚、環境５０は、制御対象や対象システムとも呼ばれる。
【００２８】
階層プランナ１０Ａは、上位プランナ１２Ａと、下位プランナ１４とを有する。下位プランナ１４は、図３に示した構成を有するので、説明の重複を避けるために、それについての説明を省略する。
【００２９】
図５は、図４の階層プランナ１０Ａに用いられる上位プランナ１２Ａの内部構成を示すブロック図である。上位プランナ１２Ａは、最適化装置が後述するように変更され、かつ、知識／パラメタ変換装置７０と、パラメタ／知識変換装置８０と、を更に備えている点を除いて、図２に示した上位プランナ１２と同様の構成を有し、動作をする。したがって、最適化装置に２０Ａの参照符号を付している。図２に示したものと同様の機能を有するものには同一の参照符号を付し、以下では説明の簡略化のために、関連技術との相違点についてのみ説明する。
【００３０】
本発明の実施形態（図５）では、関連技術（図２）と異なり、上位プランナ１２Ａでは、最適化装置２０Ａが知識記録媒体６０から事前知識を直接入力として受け付けない。その代わりに、知識記録媒体６０に含まれる事前知識は、知識／パラメタ変換装置７０を通じて最適化可能な階層プランナ用パラメタに変換され、パラメタ格納部３０に格納される。また、パラメタ格納部３０に含まれる最適化後の階層プランナ用パラメタ（たとえば、重みε）は、知識記録媒体６０に格納される。
【００３１】
前述したように、事前知識は、環境（対象システム）５０に関する複数の状態のうち２つの状態が関連付けされている、関連情報とも呼ばれる。この関連情報には、図２を参照しながら上述したように、当該関連情報（事前知識）に関する数値情報（重みε）が優先度情報として関連付けされる。知識／パラメタ変換装置７０は、後述するように、優先度情報に基づき、数値情報が第１の所定の条件を満たしているルール（記号知識；関連情報）を選択する選択手段として働く。ここで、第１の所定の条件とは、たとえば、重み（数値情報）が閾値以上のルール（たとえば、知識記録媒体６０に格納されている記号知識のうち一部の記号知識）だけを採用する基準であってもよい。なお本発明は、その基準には限定されず、選択手段は、ルールの重みに比例した頻度で確率的にルールを選択してもよい。
【００３２】
最適化装置２０Ａは、特定部２２Ａと、数値情報算出部２４Ａとを有する。
【００３３】
特定部２２Ａは、選択したルール（記号知識；関連情報）に基づき、ある状態から目的状態までの中間状態を含む経路を作成して、その経路に含まれている状態に対して与えられる報酬を特定する。数値情報算出部２４Ａは、その特定した報酬と、上記数値情報及び上記数値情報に関する所与の数値情報の差異とが第２の所定の条件を満たしている場合における、上記重みεの値を算出する。ここで、第２の所定の条件とは、たとえば、上記報酬と上記重みに関する制約条件が重み付けされた関数に関して、最急降下法等の最適化手法を適用することによって得られる更新式が想定される。
【００３４】
一方、パラメタ／知識変換装置８０は、後述するように、算出した重みεに基づいて、複数の状態から上記２つの状態を選択し、選択した状態が関連付けされた上記関連情報を作成する関連情報作成手段として働く。
【００３５】
［動作の説明］
次に、図６のフローチャートを参照して、本実施形態の階層プランナ１０Ａを含む制御システム全体の動作について説明する。
【００３６】
先ず、知識／パラメタ変換装置７０は、知識記録媒体６０から事前知識を入力として受け付け、次に述べるような処理を行うことで、事前知識を階層プランナ用パラメタに変換する（ステップＳ１０１）。最初に、知識／パラメタ変換装置７０は、たとえば、階層プランナ用パラメタ（重みε）中の要素を全て特定の値Ａで初期化する。引き続いて、知識／パラメタ変換装置７０は、事前知識に含まれる知識に含まれている要素を特定の値Ｂに設定する。たとえば、図８に示す例において、Bottom_of_hills、及び、On_left_side_hillに対して、それぞれに対応する階層プランナ用パラメタに「-0.02」（特定の値B）を設定する。また、それ以外のパラメタには「-1.30」(特定の値A)を設定する。
【００３７】
引き続いて、最適化装置２０Ａの特定部２２Ａが、階層プランナ１０Ａと環境５０との間で相互作用を行い、相互作用履歴を集積する（ステップＳ１０２）。この相互作用履歴は、履歴記録媒体４０に記録される。ここで、後述するように、相互作用履歴には、上述した報酬が含まれる。よって前述したように、特定部２２Ａは、報酬を特定する特定手段として働く。
【００３８】
次に、最適化装置２０Ａの数値情報算出部２４Ａは、履歴記録媒体４０に記録された相互作用履歴を参照して、次に述べるような処理を行うことで、階層プランナ用パラメタ（たとえば、重みε）を更新する（ステップＳ１０３）。すなわち、数値情報算出部２４Ａは、強化学習に基づいて、相互作用中の報酬を最大化するように、階層プランナ用パラメタを更新する。更新後の階層プランナ用パラメタは、パラメタ格納部３０に格納される。
【００３９】
最適化装置２０Ａは、これら処理（ステップＳ１０２およびＳ１０３）を指定回数繰り返す（ステップＳ１０４）。
【００４０】
ループ回数が指定回数より多いと判断すると（ステップＳ１０４のＹｅｓ）、パラメタ／知識変換装置８０は、パラメタ格納部３０から階層プランナ用パラメタを受け付け、次に述べるような処理を行うことで、階層プランナ用パラメタを事前知識（関連情報）に変換する（ステップＳ１０５）。すなわち、パラメタ／知識変換装置８０は、特定の閾値以上のパラメタに対応する知識を事前知識として採用する。変換後の階層プランナ用パラメタは、パラメタ格納部３０に格納される。
【００４１】
次に、本実施形態の効果について説明する。
【００４２】
本実施形態では、数値情報の最適化に基づいて事前知識（関連情報）の改善を行うことが出来る。
【００４３】
尚、階層プランナ１０Ａの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）に関連情報改善プログラムが展開され、該関連情報改善プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該関連情報改善プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された関連情報改善プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
【００４４】
上記実施形態を別の表現で説明すれば、関連情報改善装置として動作させるコンピュータを、ＲＡＭに展開された関連情報改善プログラムに基づき、最適化装置２０Ａ、知識／パラメタ変換装置７０、およびパラメタ／知識変換装置８０として動作させることで実現することが可能である。
【実施例】
【００４５】
次に、具体的な実施例を用いて、本発明を実施するための形態の動作について説明する。【００４６】
本実施例では、「MountainCar」タスクを想定している。Mountain Carタスクでは、図７に示されるように、車に対してトルクを加えて、丘の上にあるゴールに到達させる。このタスクにおいて、報酬ｒは、ゴールに到達すれば１００、それ以外は−１である。状態集合Ｓは、車の速度（velocity）と車の位置（position）である。したがって、数値状態情報ｓおよびサブゴールｇは、この状態集合Ｓに属する。行動集合Ａは、車のトルクである。行動ａはこの行動集合Ａに属する。状態記号集合Ｓｈは、｛Bottom_of_hills, On_right_side_hill, On_left_side_hill, At_top_of_right_side_hill｝である。状態記号ｓｈおよびサブゴール記号ｇｈは、この状態記号集合Ｓｈに属する。本実施例では、[Bottom_of_hills]が開始状態を示している。[At_top_of_right_side_hill]が目標状態（目的状態）を示している。そして、[On_right_side_hill]および[On_left_side_hill]が中間状態を示している。本実施例では、環境５０は丘中にある車の動作シミュレータである。また、本実施例では、階層プランナ１０Ａは、車の位置、速度から車のトルクの掛け方をプランニングする。【００４７】
図８は、図６におけるステップＳ１０１の実施例を示す図である。本実施例における上位プランナ１２Ａは、Strips調の記号知識に基づくプランナである。図８は、知識記録媒体６０に事前知識として記録されている、上位プランナ１２Ａ用の記号知識の例を示している。この図８に示す上位プランナ１２Ａ用の記号知識（事前知識）は、複数の状態のうち２つの状態が関連付けされた関連情報である。なお、本実施例における下位プランナ１４は、モデル予測制御で実装される。本例では、上位プランナ１２Ａ用の記号知識として、｛Bottom_of_hills(x) → On_right_side_hill(x)｝および｛On_left_side_hill(x) → At_top_of_right_side_hill(x)｝が知識記録媒体６０に記録されている。【００４８】
本実施例では、知識／パラメタ変換装置７０は、前述したように、ルールに従って、事前知識に含まれる知識をそれに対応する階層プランナ用パラメタに変換する。本例では、知識／パラメタ変換装置７０は、先ず、特定の値Ａを「-1.30」として、階層プランナ用パラメタ（重みε）中の要素を全て初期化する。尚、図８に示す表（行列）において、列方向は、あるタイミングにおける状態を示し、行方向は、次のタイミングにおける状態を示している。本例では、ある１列と、ある１行において共通して含まれている特定の値Ａである「-1.30」が優先度情報（重みε）を表している（図８の知識／パラメタ変換装置７０における上段）。【００４９】
その後、図６を参照しながら上述したような処理を行った後、更新後の優先度情報が算出される（図８の知識／パラメタ変換装置７０における下段）。たとえば、「On_left_side_hill」に示される列、「At_top_of_right_side_hill」に示される行にて示されている要素には、特定の値Ｂとして「-0.02」が格納されている。これは、図６を参照しながら上述したような処理によって、階層プランナ用パラメタ（重みε）が増大したことを表している。すなわち、記号知識（ルール）のうち、「On_left_side_hill(x)→At_top_of_right_side_hill(x)」なる記号知識が、重要なルールである可能性が高くなったことを表す。
【００５０】
図６を参照しながら上述したような処理を行った後、更新後の優先度情報（重みε）が、階層プランナ用パラメタとして、パラメタ格納部３０に格納される。【００５１】
本例では、事前知識に含まれている「Bottom_of_hills(x) → On_right_side_hill(x)」に対応する階層プランナ用パラメタ（３行目１列）が、-0.02に設定されている（図８におけるパラメタ格納部３０）。また、「On_left_side_hill(x) → At_top_of_right_side_hill(x)」に対応する階層プランナ用パラメタ（２行目４列）が、-0.02に設定されている。【００５２】
図９は、図６におけるステップＳ１０２の実施例を示す図である。図９に示すように、特定部２２Ａは、階層プランナ１０Ａと環境５０との間で相互作用を行い、それを履歴記録媒体４０に相互作用履歴として保存する。【００５３】
本例では、前述したように、「MountainCar」タスクを想定している。MountainCarタスクでは、車に対してトルクを加えて、丘の上にあるゴールに到達させる。このタスクにおける、報酬ｒ、状態ｓ、サブゴールｇ、状態記号ｓｈ、およびサブゴール記号ｇｈは、前述したように定義されている。本例では、環境５０は丘中にある車の動作シミュレータである。また、本例では、階層プランナ１０Ａは、車の位置、速度から車のトルクの掛け方をプランニングする。このようにして、図９に示されるように、単位時間ごとに環境５０と階層プランナ１０Ａとの間の相互作用結果が履歴記録媒体４０に相互作用履歴として保存される。【００５４】
たとえば、図９における例では、事前知識のうち、「Bottom_of_hills」が、その位置を表す数値状態情報(-0.3,0)に関連付けされている。また、事前知識のうち、「On_left_side_hill」が、その位置を表す数値状態情報(0,0)に関連付けされている。図９に示されている例は、さらに、時刻１（ｔの列）において「Bottom_of_ hills」（Ｓh,tの列）から「On_left_side_hill」（gh,tの列）に向かう事前知識（ルール）が採用されていることを表す。また、図９に示されている例は、さらに、時刻２（ｔの列）において「On_left_side_hill」（Ｓh,tの列）から「On_right_side_hill」（gh,tの列）に向かう事前知識（ルール）が採用されていることを表す。これらのルールは、図６に示すステップＳ１０２に示す処理に従い、たとえば、重みεに関して判定することによって選ばれた事前知識（ルール）を表す。
【００５５】
図１０は、図６におけるステップＳ１０３の実施例を示す図である。本例では、最適化装置２０Ａの数値情報算出部２４Ａとして非特許文献２に開示されているREINFORCEを利用している（図１０中「REINFORCEを利用」）。また、本例では、
【数１】
0006912760.tif 000002
とする。ここで、Ｑは階層プランナ用パラメタεによって決定される価値テーブルである。【００５６】
図６を参照して前述したように、最適化装置２０Ａは、これら処理（ステップＳ１０２およびＳ１０３）を指定回数繰り返す（ステップＳ１０４）。これにより、パラメタ格納部３０には、図１０に示されるような、階層プランナ用パラメタが格納される。【００５７】
図１１は、図６におけるステップＳ１０５において、重みεに基づき、採用する事前知識（ルール）を採用する処理の一例を表す。
【００５８】
たとえば、「Bottom_of_hills」の列を参照すると、「On_left_side_hill」の値(すなわち、重みεの値)は、0.85である。特定の値として0が設定されている場合に、事前知識のうち、「Bottom_of_hills(x)→On_left_side_hill（ｘ）」が採用され（関連情報作成手段８０）、当該事前知識が知識記録媒体６０に格納される。【００５９】
同様に、たとえば、「At_top_of_right_side_hill」の列を参照すると、「On_right_side_hill」の値(すなわち、重みεの値)は、1.00である。特定の値として0が設定されている場合に０以上である事前知識が採用されるので、事前知識のうち、「At_top_of_right_side_hill (x)→On_right_side_hill（ｘ）」が採用され（関連情報作成手段８０）、当該事前知識が知識記録媒体６０に格納される。【００６０】
本実施例の効果について説明する。【００６１】
本実施例によれば、数値情報の最適化に基づいて事前知識（関連情報）の改善を行うことが出来る。実施例では、重要ではないと判定されていた知識（「On_right_side_hill(x) → On_left_side_hill(x)」と、「Bottom_of_hills(x) → On_left_side_hill(x)」）とを、新たに重要な知識と獲得できている（図１１参照）。【００６２】
なお、本発明の具体的な構成は前述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。【００６３】
以上、実施形態（実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【産業上の利用可能性】
【００６４】
本発明は、プラント運転支援システムといった用途に適用できる。また、本発明は、インフラ運用支援システムといった用途にも適用可能である。 
【符号の説明】
【００６５】
１０Ａ    階層プランナ
１２Ａ    上位プランナ
１４    下位プランナ
１４２    第２の変換部
１４４    制御情報作成部
２０Ａ    最適化装置
２２Ａ    特定部
２４Ａ    数値情報算出部
３０    パラメタ格納部
４０    履歴記録媒体
５０    環境（対象システム）
６０    知識記録媒体
７０    知識／パラメタ変換装置（選択手段）
８０    パラメタ／知識変換装置（関連情報作成手段）
【図１】
0006912760.tif 000003
【図２】
0006912760.tif 000004
【図３】
0006912760.tif 000005
【図４】
0006912760.tif 000006
【図５】
0006912760.tif 000007
【図６】
0006912760.tif 000008
【図７】
0006912760.tif 000009
【図８】
0006912760.tif 000010
【図９】
0006912760.tif 000011
【図１０】
0006912760.tif 000012
【図１１】
0006912760.tif 000013