(57)【要約】【課題】  特定の原子炉の炉心燃料の配置と制御の統合型最適化において，稼動時の性能を取り込んだ最適化を行うために，先見的情報を使用せずに環境の状態を自律的に学習し，炉心設計と炉心制御の最適化を行うための，適応性に優れた新しい最適化手法及び装置を提供すること．【解決手段】  エージェント自身が状態構造を持ち，複数の状態遷移を相互干渉しながら分散的に問題を解いていくことを特徴とする最適化手法を行う工程と，前記工程においてエージェントの行動主体が環境の状態を自律的に学習するために行う強化学習の工程と，前記強化学習の工程において，経験強化型強化学習法と環境同定型強化学習法のどちらか又は両方を統合して，報酬という外界からの入力を用いて対象となる環境に適用する方策を最適化する工程を備え，稼動時の性能を取り込んだ炉心設計と炉心制御の最適化を行う．【選択図】  図４
2005274547.tif 000002
【特許請求の範囲】
【請求項１】
所定の演算装置により、原子炉の炉心燃料の配置と制御の統合型最適化において、稼動時の性能を取り込んだ最適化を行うために、エージェント自身が状態構造を持ち、複数の状態遷移を相互干渉しながら分散的に問題を解いていくことを特徴とする最適化手法を行う工程と、前記工程においてエージェントの行動主体が環境の状態を自律的に学習するために行う強化学習の工程と、前記強化学習の工程において、経験強化型強化学習法と環境同定型強化学習法のどちらか又は両方を統合して、報酬という外界からの入力を用いて対象となる環境に適用する方策を最適化する工程を含むことを特徴とする最適化システム。
【請求項２】
請求項１に記載の経験強化型強化学習法は、エージェントが取り得る状態としてエージェントの発火成分を、またエージェントの取り得る行動として発火成分の状態遷移を選択する手段と、方策をエピソードと呼ばれるルール系列に対する実数値を与える関数とする手段と、観測された報酬値と強化関数を利用して方策を更新する手段を備えることを特徴とする方法。
【請求項３】
請求項１に記載の環境同定型強化学習法は、エージェントが取り得る状態としてエージェントの発火成分を、またエージェントの取り得る行動として発火成分の状態遷移を選択する手段と、大域的探索の観点からと局所的探索の観点から報酬を観測する手段と、行動価値関数を算出する手段と、行動価値関数から行動を選択する手段を備えることを特徴とする方法。
【請求項４】
請求項１に記載の複数のエージェントの状態遷移を決める結合要素として、所定の演算装置において、（ａ）エージェント空間内の任意のエージェントに対して一定の近傍が定義できる結合構造を決める手段と、（ｂ）前記結合構造において、結合の広がりを１次元と２次元という「次元」という概念によって示し、エージェントの近傍という概念によって構造化する手段と、（ｃ）前記近傍内エージェント間の距離を計算する手段と、（ｄ）前記距離を用いて結合演算の種類を選択する手段と、（ｅ）前記結合演算におけるエージェントの発火成分の位置を選択する手段を含むことを特徴とする最適化方法。
【請求項５】
原子炉の炉心燃料の配置と制御の統合型最適化において、所定の演算装置上で稼動時の性能を取り込んだ最適化を行うために、炉心燃料の配置を決める外側問題と、制御ないしはスケジュールに関わる時間軸上の最適化を行う内側問題を入れ子構造の形で包含することを特徴とする最適化システム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、原子炉の炉心設計と炉心制御の統合型最適化に関するものであって、特に沸騰水型原子炉の炉心設計などのように最適化に多大な処理が必要な場合に、最適化のための処理時間を短縮するために有効な強化学習を用いる最適化システムとその方法に関するものである。
【背景技術】
【０００２】  原子炉の炉心には、数百体の燃料集合体（以下、燃料と称す）が装荷されており、連続した１サイクルの運転終了後、次サイクルの運転のために必要な反応度を確保するため、全体の燃料の一部が炉外に取り出され、新しい燃料と交換される。また、引き続き炉内に装荷される燃料は、前サイクルまでの燃焼履歴が異なるので、全て特性が異なると考えられ、一般に装荷位置が前サイクルから変更される。原子炉の安全性と経済性を考慮してサイクル毎に決められるこれら多数の燃料の最適な炉内配置を炉心装荷パターンと呼ぶ。【０００３】  また、沸騰水型原子炉の場合には、プラント運転中の炉心の余剰反応度の調整及び最大出力ピーキングの制御のため等に、複数の制御棒が軸方向に装入され、それぞれの制御棒の軸方向の装入位置（以下、制御棒パターンと称す）の経時的変化も同時に考慮しなければならない。利用可能な制御棒の数は、炉心のサイズに依存するが、５０〜１５０程度である。【０００４】  原子炉の安全性と経済性を考慮して同時に行われる、上記の炉心装荷パターンと制御棒パターンの最適化を炉心設計と呼ぶ。この炉心設計は、燃料の数が多いため最適化の探索空間が大きくなることや、炉心特性の計算に多大な時間を要することなどから、困難な最適化問題とされ、従来から各種の方法が研究されている。【０００５】  例えば、特許文献１は、特定の構成の下での制御棒パターンの最適化のみを行うものである。また、特許文献２及び特許文献３では、限られた炉心装荷パターンの最適化の方法が開発されている。さらに、特許文献４では、原子炉用の多重運転制御変数を最適化するための方法が開示されているが、この例では、各々の制御変数に関する正規化データを二次多項式に写像する方法を取っているだけで、炉心設計の最適化の処理時間を短縮させるものではない。【０００６】  同様に、特許文献５では、原子炉オペレーション時の制御変数を連続的に最適化するシステムと方法を開示しているが、原子炉設計のスペシャリスト／エンジニアがこのシステムの出力によって、独立変数の選択とその結果の従属変数の応答を見直したり、拘束条件を変更したり、別の設計方式を求めるための制御を行うことができるだけで、炉心設計の最適化の処理時間を短縮させるものではない。また、原子炉の炉心設計と炉心制御の統合型最適化を行うものでもない。【０００７】
【特許文献１】米国特許第５７９０６１６号
【特許文献２】米国特許第５７９０６１８号
【特許文献３】米国特許第５９２３７１７号
【特許文献４】特開２００１−２６４４７８
【特許文献５】特開２００３−２２２６９５
【発明の開示】
【発明が解決しようとする課題】
【０００８】  最適化の手法として、従来から遺伝アルゴリズムやシミュレーティッド・アニーリング、タブー探索法等の手法が知られており、各種の最適化システムに用いられている。これらの最適化手法は、数学的に煩雑なモデルや計算を必要とせず、必ずしも厳密ではないが実用上充分な最適性を有する解を決定するためのメタヒューリスティック（発見的知識に基づく最適化アルゴリズムの枠組み）なアルゴリズムである。原子炉の炉心設計の最適化には、このようなメタヒューリスティックアルゴリズムの適用が考えられるが、確率的に探索を行っていくので、原子炉の炉心設計のような工学的応用問題への適用を考慮すると、最適化の処理時間に関して改良の余地が残されている。【０００９】  より特定すれば、原子炉の炉心設計の最適化処理時間を短縮するためには、以下の２つの特徴を合わせ持つことが必要である。【００１０】  （１）最適化の過程において、環境（探索空間）との相互作用により環境の情報を獲得し、行動を選択する自律的学習プロセスを追加することが必要である。つまり、強化学習の概念を導入するための相互作用を行う特徴を有することが必要である。【００１１】  （２）炉心装荷パターンと制御棒パターンの制御変数をまとめ、単一の多項式による目的関数で最適化を行うのではなく、炉心装荷パターンの最適化過程の中に入れ子構造の形で制御棒パターンの経時的最適化を行う統合型最適化とすることが必要である。【００１２】  本発明は上記に鑑みてなされたもので、最適化の過程に強化学習の概念を取り入れるための工程を設け、炉心設計と炉心制御の最適化を行うことにより、原子炉の炉心設計の処理時間を短縮するための最適化システムとその方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】  上記目的を達成するために、請求項１記載の本発明は、所定の演算装置により、原子炉の炉心燃料の配置と制御の統合型最適化において、稼動時の性能を取り込んだ最適化を行うために、エージェント自身が状態構造を持ち、複数の状態遷移を相互干渉しながら分散的に問題を解いていくことを特徴とする最適化手法を行う工程と、前記工程においてエージェントの行動主体が環境の状態を自律的に学習するために行う強化学習の工程と、前記強化学習の工程において、経験強化型強化学習法と環境同定型強化学習法のどちらか又は両方を統合して、報酬という外界からの入力を用いて対象となる環境に適用する方策を最適化する工程を含むことを特徴とする。【００１４】  請求項２記載の本発明は、請求項１に記載の経験強化型強化学習法において、エージェントが取り得る状態としてエージェントの発火成分を、またエージェントの取り得る行動として発火成分の状態遷移を選択する手段と、方策をエピソードと呼ばれるルール系列に対する実数値を与える関数とする手段と、観測された報酬値と強化関数を利用して方策を更新する手段を備えることを特徴とする。【００１５】  また、請求項３記載の本発明は、請求項１に記載の環境同定型強化学習法は、エージェントが取り得る状態としてエージェントの発火成分を、またエージェントの取り得る行動として発火成分の状態遷移を選択する手段と、大域的探索の観点からと局所的探索の観点から報酬を観測する手段と、行動価値関数を算出する手段と、行動価値関数から行動を選択する手段を備えることを特徴とする。【００１６】  更に、請求項４記載の本発明は、請求項１に記載の複数のエージェントの状態遷移を決める結合要素として、所定の演算装置において、（ａ）エージェント空間内の任意のエージェントに対して一定の近傍が定義できる結合構造を決める手段と、（ｂ）前記結合構造において、結合の広がりを１次元と２次元という「次元」という概念によって示し、エージェントの近傍という概念によって構造化する手段と、（ｃ）前記近傍内エージェント間の距離を計算する手段と、（ｄ）前記距離を用いて結合演算の種類を選択する手段と、（ｅ）前記結合演算におけるエージェントの発火成分の位置を選択する手段を含むことを特徴とする。【００１７】  請求項５記載の本発明は、原子炉の炉心燃料の配置と制御の統合型最適化において、所定の演算装置上で稼動時の性能を取り込んだ最適化を行うために、炉心燃料の配置を決める外側問題と、制御ないしはスケジュールに関わる時間軸上の最適化を行う内側問題を入れ子構造の形で包含することを特徴とする。
【発明の効果】
【００１８】  本発明による強化学習を用いた原子炉の炉心設計と炉心制御の統合型最適化システムとその方法によれば、原子炉の炉心燃料の配置と制御の統合型最適化において、先見的情報を使用せずに環境の状態を自律的に学習し、炉心設計と炉心制御の最適化の処理時間を短縮することができる。【００１９】  また、炉心燃料の配置を決める外側問題と、制御ないしはスケジュールに関わる時間軸上の最適化を行う内側問題を入れ子構造の形で包含することにより、最適化のための処理時間の短縮に大きく寄与することができる。
【発明を実施するための最良の形態】
【００２０】  本発明に係る原子炉の炉心設計と炉心制御の統合型最適化システムは、ＵＮＩＸ（登録商標）やマイクロソフト社のＷｉｎｄｏｗｓ（登録商標）、Ｌｉｎｕｘ等の種々のコンピュータオペレーションシステム上で実施することができ、同様に、種々のハードウェア環境を使用して本発明を実施することがきる。従って、本発明のシステムの実施は、特定のコンピュータシステムや特定の環境に限定されることはない。
【実施例】
【００２１】  図１により本発明の原子炉の炉心設計と炉心制御の統合型最適化システムについて説明を行う。図１において、ディジタルコンピュータ１３は、プロセッサ１１と大きなデータ記憶容量を有するメモリー１２を含み、該プロセッサ１１には出力装置としてカラーディスプレイ装置１４とプリンタ１５、入力装置としてキーボード１６が接続されている。【００２２】  本発明の原子炉の炉心設計と炉心制御の統合型最適化システムは、マルチエージェントの枠組を用いて、複数の状態遷移を情報交換しながら最適解を効率良く探索するシステムであり、その最適化の過程に、経験強化型強化学習法と環境同定型強化学習法を効果的に統合しているのが特徴である。マルチエージェントの枠組を以下、”ＭＡＡ”（Ｍｕｌｔｉ−Ａｇｅｎｔ  Ａｌｇｏｒｉｔｈｍ）と称することにする。【００２３】  まず、ＭＡＡの枠組を説明するために、図２に示すようなエージェント空間２１を考える。このエージェント空間内には、自律行動主体である複数のエージェント２２が存在し、各々のエージェントは複数の要素から構成されるエージェント状態２４を持つ。エージェント状態２４の要素は、例えば、順列型の整数値を取るが、これに限定されるものではなく、実数値等でも良い。このようなマルチエージェントによる状態遷移を決める結合要素としては、（ａ）エージェント間の結合構造、（ｂ）結合構造の次元と近傍、（ｃ）結合演算の種類、（ｄ）近傍内のエージェント間の距離、（５）演算による発火成分の選択の５種類を考える。【００２４】  エージェントの結合構造とは、エージェント空間２１における任意の一つのエージェントに対して一定の近傍が定義できる構造のことで、これらのエージェントの組を近傍２３と呼ぶ。この近傍２３内のエージェントが一定の規則に従って情報交換を行うことにより、エージェントの状態が遷移する。一定の規則とは、例えば、エージェント間の中で最良の指標を与えるエージェントと情報交換するルールとして競合側があるが、これに限定されるものではない。従って、この結合構造をコンピュータ上で設定することは、請求項４に記載の、エージェント空間内の任意のエージェントに対して一定の近傍が定義できる結合構造を決める手段に相当する。【００２５】  また、結合構造には、例えば１次元構造、２次元構造等が考えられる。１次元構造のエージェントは、１次元直線上の整数の添字で示すことができ、２次元構造の場合には、２次元格子状の格子点に対応した添字によって示すことができる。従って、この構造化をコンピュータ上で行うことは、請求項４に記載の、結合構造において、結合の広がりを１次元と２次元という「次元」という概念によって示し、エージェントの近傍という概念によって構造化する手段に相当する。【００２６】  近傍２３内に順列型の整数値の状態を持つ２個のエージェントｘ、ｙが存在するとき、これらのエージェント間の距離は、以下のように定義される。【００２７】
【数１】
2005274547.tif 000003
【００２８】
【数２】
2005274547.tif 000004
但し、ｘｉ，ｙｉ，（ｉ＝１，…，Ｎｅ）は各エージェント状態のｉ番目の要素の値を表し、Ｎｅはエージェント状態２４の要素数である。この距離をコンピュータ上で計算するプロセスは、請求項４に記載の近傍内エージェント間の距離を計算する手段に相当する。【００２９】  前記の距離の定義によって、（ａ）順結合演算、（ｂ）逆結合演算、（ｃ）中立結合演算を定義することができる。順結合演算とは、特定のエージェントが近傍内のすべてのエージェントの状態に近づく演算である。また、逆結合演算とは、特定のエージェントが近傍内のすべてのエージェントの状態から離れる演算である。更に、中立結合演算とは、特定のエージェントが近傍内のすべてのエージェントの状態と一定の距離を保つ演算である。これらの結合演算の選択をコンピュータ上で行うことは、請求項４に記載の距離を用いて結合演算の種類を選択する手段に相当する。【００３０】  状態遷移が起こるエージェントの要素を発火成分と呼ぶ。図３に発火成分の例を示す。エージェントの状態３１が何らかの結合演算によって、状態３２に遷移した場合、発火成分は１番目の要素と３番目の要素になる。このような発火成分の位置の選択をコンピュータ上で行うことは、請求項４記載の結合演算におけるエージェントの発火成分の位置を選択する手段に相当する。【００３１】  このようなマルチェージェントの枠組を用いて最適化を行うために、本発明においては、対象とする問題に適した結合構造や結合演算を想定し、その中でマルチェージェントによる複数の状態遷移を相互干渉させながら分散的に最適解を求めていく方法をとる。この場合、単一の結合演算ではなく、いくつかの結合演算を組み合わせた方が最適化の処理時間を短くできる。【００３２】  例えば、３０個のエージェントを用いて、競合則による逆結合演算を９世代連続して行ったあと、競合側による順結合演算を１世代行うという組合せ演算を繰り返していく方法が考えられる。このようにすることにより、９世代の間の情報交換によりエージェントの多様性を維持し、大域的探索を実施した後、１世代の順結合演算を行うことは、その中の最良のエージェントに的を絞って局所探索を行うことになる。したがって、大域的探索と局所的探索のバランスを取りながら最適解を求めていくので、最適化の処理時間を短縮することができる。【００３３】  本発明では、強化学習法をＭＡＡの発火成分を選択する過程に導入する。ＭＡＡの情報交換全てに強化学習法を導入する方法も考えられるが、処理時間の観点から最良の方法ではない。【００３４】  図４に前記ＭＡＡの枠組を使用した最適化手法を示す。まず、ステップＳ４１で、複数のエージェントからなるエージェント集合のエージェント状態の初期値を設定する。このエージェント集合のエージェント状態が炉心装荷パターンと制御棒パターンに対応する。次に、ステップＳ４２で、目的関数の評価を行う。炉心設計においては、３次元炉心性能計算の評価に相当する。この３次元炉心性能計算では、炉心の臨界性を見るための指標、ＦＬＣＰＲ、ＦＬＰＤ、ＳＤＭ等の炉心の性能パラメータや炉心流量等のデータが出力される。これらのパラメータを用いて、あらかじめ用意された形での目的関数を計算して評価を行う。ステップＳ４３では、最適解に到達したかどうかの判定を行う。更に、ステップＳ４４で、前記ＭＡＡの枠組によるエージェント間の結合演算を実行する。そして、ステップＳ４５で次世代のエージェント集合を生成し、ステップＳ４２へ戻る。【００３５】  上記のあらかじめ用意された形での目的関数に関しては、本発明では、従来のようにパラメータを単一の多項式の形で扱うのではなく、炉心装荷パターンの最適化過程の中に入れ子構造の形で制御棒パターンの経時的最適化を行う形をとっている。これにより、探索すべき探索空間の範囲を減らすことができ、全体の最適のための処理時間を大幅に短縮することができる。【００３６】  図５に経験強化型の強化学習法を示す。ある時間ステップｔにおける状態ｓｔにおいて行動ａｔを取るルールを（ｓｔ，ａｔ）と、そのルールに対する重みをｗ（ｓｔ，ａｔ）と表す。また、一連のルール系列をエピソードと呼ぶ。まずステップＳ５１では、ルールに対する重みｗ（ｓｔ，ａｔ）を初期化する。次に、ステップ５２では、エージェントがある時間ステップｔにおける環境の状態ｓｔを観測する。更に、ステップＳ５３では、エージェントがＭＡＡの枠組に従って行動ａｔを実行する。そして、ステップＳ５４で、最適解に到達したかどうかの判定を行う。また、ステップＳ５５では、ルール（ｓｔ，ａｔ）によって報酬が得られたかどうかを判断する。報酬ｒｔ得られた場合には、ステップＳ５７において、当該エピソード中のルール重みを以下の式によって強化する。【００３７】
【数３】
2005274547.tif 000005
但し、Ｔはエピソードの長さ、ｆは強化関数である。報酬が得られなかった場合には、ステップＳ５６で時間ステップｔをｔ＋１に進めてステップＳ５２へ戻る。【００３８】  図６にＭＡＡに経験強化型の強化学習法を効果的に統合する手段を示す。本発明の最適化システムにおいては、ＭＡＡの発火成分の選択に上記の経験強化型の強化学習法を統合することを特徴としている。そのために上記ステップにおける状態ｓｔをエージェント状態２４のｐ番目の要素番号とし、行動ａｔをｐ番目の要素をｘｐに状態遷移することとして統合化を達成している。すなわち、ルールに対する重みｗ（ｓｔ，ａｔ）を、ｗ（ｐ，ｘｐ）の形にしている。まず、ステップＳ６１において、エピソードの長さを初期化する。ステップＳ６２においては、発火成分の要素番号ｐを選択する。次に、ステップＳ６３において、あらかじめ決められた行動選択方法によって発火成分の状態遷移を実行する。あらかじめ決められた行動選択方法としては、例えばεグリーディー手法等が考えられるがこれに限定されるものではない。εグリーディー手法は確率１−εでｗ（ｐ，ｘｐ）が最大となる行動ｘｐを選択し、確率ε（０≦ε≦１）でランダムな行動を選択する手法である。この手法を使用することにより、エージェントの多様性を維持することができる。【００３９】  ステップＳ６４で最適解は得られたかどうかの判定を行い、ステップＳ６５において、あらかじめ定められた判断方法を使用して、前記の状態遷移によって報酬が得られたかどうかの判定を行う。あらかじめ決められた判断方法とは、例えば、大域的報酬と局所的報酬を観察する方法があるが、これに限定されるものではない。大域的報酬とは、あるエージェントの指標がこれまでの全探索の中で最良となった場合に報酬を与える方法で、局所的報酬とは、あるエージェントの指標がこれまでの当該世代の中で最良となった場合に報酬を与える方法である。報酬が得られた場合には、（３）式によって、当該エピソード中のルール重みを強化し、ステップＳ６１に戻る。前期のステップＳ６４において報酬が得られなかった場合には、ステップＳ６１に戻る。報酬が得られなかった場合には、ステップＳ６６で時間ステップｔをｔ＋１に進めてステップＳ６２へ戻る。【００４０】  図７に環境同定型の強化学習法を示す。ある時間ステップｔにおける状態ｓｔにおいて行動ａｔを取る行動価値をＱ（ｓｔ，ａｔ）と表す。まずステップＳ７１では、行動価値Ｑ（ｓｔ，ａｔ）の初期化を行う。ステップＳ７２では、エージェントがある時間ステップｔにおける環境の状態ｓｔを観測する。ステップＳ７３では、エージェントがＭＡＡの枠組に従って、行動ａｔを実行する。ステップＳ７４では、最適解に到達したかどうかの判定を行う。ステップＳ７５では、エージェントが環境から報酬ｒｔ受け取る。ステップＳ７６では、状態遷移後の状態ｓｔ＋１を観測する。ステップＳ７７では、以下の式により、行動価値Ｑ（ｓｔ，ａｔ）を更新する。【００４１】
【数４】
2005274547.tif 000006
2005274547.tif 000007
Ｓ７８において、時間ステップｔをｔ＋１に進めてステップＳ７２へ戻る。そしてこれらのステップを繰り返すことによって学習を進めていく。【００４２】  図８にＭＡＡに環境同定型の強化学習法を効果的に統合する手段を示す。本発明の最適化システムにおいては、ＭＡＡの発火成分の選択に上記の環境同定型の強化学習法を統合することを特徴としている。そのために上記ステップにおける状態ｓｔをエージェント状態２４のｐ番目の要素番号とし、行動ａｔをｐ番目の要素をｘｐに、ｐ＋１番目の要素をｘｐ＋１に状態遷移することとして統合化を達成している。すなわち、行動価値Ｑ（ｓｔ，ａｔ）を、Ｑ（ｐ，ｘｐ，ｘｐ＋１）の形にしている。まず、ステップＳ８１において、行動価値Ｑ（ｐ，ｘｐ，ｘｐ＋１）と報酬ｒｔの初期化を行う。次に、ステップＳ８２において、ＭＡＡの枠組に従って発火成分の要素番号ｐを選択する。更に、ステップＳ８３において、あらかじめ決められた行動選択方法によって発火成分の状態遷移を実行する。あらかじめ決められた行動選択方法としては、経験強化型と同様に、例えばεグリーディー手法等が考えられるがこれに限定されるものではない。【００４３】  ステップ８４で、最適解が得られたかどうかの判定を行い、ステップＳ８５においては、前期のステップＳ８３で取られた行動によってあらかじめ決められた判断方法を使用して報酬が得られたかどうかを判断する。あらかじめ決められた判断方法とは、経験強化型と同様に、例えば、大域的報酬と局所的報酬を観察する方法があるが、これに限定されるものではない。【００４４】  前期のステップＳ８５において報酬が得られた場合には、ステップＳ８７で、（４）式によって、行動価値Ｑ（ｐ，ｘｐ，ｘｐ＋１）を更新し、ステップＳ８２に戻る。次に、ステップＳ８６において、時間ステップｔをｔ＋１に進めてステップＳ８２へ戻る。【００４５】  表１は、本発明の統合型最適化システム及びその方法により最適な炉心設計を得るまでのイテレーション世代数（処理の時間ステップ）を示した表である。初期値を変えて１０回試行した際の値を示している。最適解を得るまでのイテレーション世代数は、従来の遺伝アルゴリズムを用いた手法と比較して、本発明の手法では３０％以上減少しており、処理時間を短縮する効果がある。【００４６】
【表１】
2005274547.tif 000008
【図面の簡単な説明】
【００４７】
【図１】  本発明の統合型最適化システムのブロック図である。
【図２】  エージェント空間の定義を示す図である。
【図３】  エージェントの発火成分の一例を示す図である。
【図４】  ＭＡＡを使用した最適化手法を示すフローチャートである。
【図５】  経験強化型の強化学習法を示すフローチャートである。
【図６】  ＭＡＡに経験強化型の強化学習法を効率的に統合する手段を示すフローチャートである。
【図７】  環境同定型の強化学習法を示すフローチャートである。
【図８】  ＭＡＡに環境同定型の強化学習法を効率的に統合する手段を示すフローチャートである。
【符号の説明】
【００４８】１１  プロセッサ
１２  メモリー
１３  ディジタルコンピュータ
１４  カラーディスプレイ装置
１５  プリンタ装置
１６  キーボード
【図１】
2005274547.tif 000009
【図２】
2005274547.tif 000010
【図３】
2005274547.tif 000011
【図４】
2005274547.tif 000012
【図５】
2005274547.tif 000013
【図６】
2005274547.tif 000014
【図７】
2005274547.tif 000015
【図８】
2005274547.tif 000016