(57)【特許請求の範囲】
【請求項１】
組み合わせ最適化問題に対する解となるスケジュールを作成するスケジュール作成装置であって、
各々が独立して最新スケジュールを更新し、更新した最新スケジュールを改善するための指標となる強化量を算出する複数のエージェント手段と、
前記複数のエージェント手段によって最新スケジュールが更新されるごとに、更新された複数の最新スケジュール及び更新前の暫定スケジュールの中から最良のスケジュールを暫定スケジュールとして決定する暫定スケジュール決定手段と、
前記複数のエージェント手段によって最新スケジュールが更新されるごとに、各最新スケジュールの強化量を合成してスケジュール強化履歴を作成するスケジュール強化履歴作成手段とを備え、
前記複数のエージェント手段の各々は、前記スケジュール強化履歴作成手段によって作成されたスケジュール強化履歴を基に最新スケジュールを順次更新し、
前記スケジュール作成装置は、離散変数を対象にした最適化スケジューリングを行い、
前記最新スケジュールは、各順序決定対象Ｓ（ｉ）の全ての順序ｊに割り当てられた離散変数（ここで、ｉ，ｊ＝１，２，…，Ｎ、Ｎは順序決定対象Ｓ（ｉ）の総数）の値により各順序決定対象Ｓ（ｉ）の順序を表し、
前記複数のエージェント手段の各々は、
前記最新スケジュールに対応する離散変数を更新することにより前記最新スケジュールを更新する最新スケジュール更新手段と、
前記最新スケジュール更新手段によって更新された離散変数を記憶する最新スケジュール記憶手段と、
前記最新スケジュール記憶手段に記憶されている離散変数によって特定される最新スケジュールの良否を評価するための評価値を求める評価手段と、
前記評価手段によって求められた評価値を基に最新スケジュールに対する強化量を決定する強化量決定手段と、
更新前の最新スケジュールの評価値を記憶する直前評価値記憶部と、
更新後の最新スケジュールの評価値を記憶する最新評価値記憶部とを含み、
前記強化量決定手段は、前記直前評価値記憶部及び前記最新評価値記憶部に記憶されている更新前後の最新スケジュールの評価値を基に、更新後の評価値が更新前の評価値より改善している場合に強化量が必ず正の値となり、更新後の評価値が更新前の評価値より改悪されている場合に改悪の度合いが大きいほど強化量が０となる確率が高くなるように、最新スケジュールに対する強化量を最新スケジュールが表す各順序決定対象Ｓ（ｉ）の順序に対して計算し、
前記暫定スケジュール決定手段は、
前記暫定スケジュールを記憶する暫定スケジュール記憶手段と、
前記複数の最新スケジュール更新手段によって離散変数が更新されるごとに、前記暫定スケジュール記憶手段に記憶されている更新前の暫定スケジュール及び前記複数の最新スケジュール更新手段によって更新された離散変数によって特定される複数の最新スケジュールの中から評価値を基に最良のスケジュールを暫定スケジュールとして決定し、決定した暫定スケジュールを前記暫定スケジュール記憶手段に記憶させて暫定スケジュールを更新する暫定スケジュール更新手段と含み、
前記スケジュール強化履歴作成手段は、
前記スケジュール強化履歴として離散変数ごとにスケジュール強化履歴量を記憶するスケジュール強化履歴記憶手段と、
離散変数の取り得る値のうちスケジュールの改善に効果のある部分のスケジュール強化履歴量が大きくなり、スケジュールの改善に効果のない部分のスケジュール強化履歴量が小さくなるように、前記複数の最新スケジュール更新手段によって離散変数が更新されるごとに、前記スケジュール強化履歴記憶手段に記憶されている各順序決定対象Ｓ（ｉ）の全ての順序ｊに対するスケジュール強化履歴量に前記複数の強化量決定手段によって決定された、最新スケジュールが表す各順序決定対象Ｓ（ｉ）の順序に対して算出された強化量を追加して各順序決定対象Ｓ（ｉ）の全ての順序ｊに対するスケジュール強化履歴量を更新し、更新したスケジュール強化履歴量を前記スケジュール強化履歴記憶手段に記憶させるスケジュール強化履歴更新手段と含み、
前記複数の最新スケジュール更新手段の各々は、前記スケジュール強化履歴記憶手段に記憶されている各順序決定対象Ｓ（ｉ）の全ての順序ｊに対するスケジュール強化履歴量を基に、各離散変数の決定変数値の相対的な強度を表す安定度Ｓｉｊを各順序決定対象Ｓ（ｉ）の全ての順序ｊに対して算出し、算出した安定度Ｓｉｊを基に、最新スケジュールが表す各順序決定対象Ｓ（ｉ）の順序における最大安定度に対する安定度の差を表す不安定度Ｕｉを最新スケジュールが表す各順序決定対象Ｓ（ｉ）の順序に対して算出し、不安定度の大きい順序決定対象ほど確率的に選択され易くなるようにし、逆に不安定度の小さい順序決定対象ほど確率的に選択され難くなるように、変更元となる順序決定対象を決定するとともに、変更元となる順序決定対象の順序の中で安定度の大きい順序ほど確率的に選択され易くなるようにし、逆に安定度の小さい順序ほど確率的に選択され難くなるように、変更元となる順序決定対象において変更先となる順序を決定し、変更先となる順序を有する順序決定対象の順序と、変更元となる順序決定対象の順序とを入れ替え、前記最新スケジュール記憶手段に記憶されている離散変数を更新することを特徴とするスケジュール作成装置。
【請求項２】
前記強化量決定手段は、前記暫定スケジュールが所定回数更新されなかった場合に前記スケジュール強化履歴量に強化量が追加される確率を高くすることを特徴とする請求項１記載のスケジュール作成装置。
【請求項３】
前記複数のエージェント手段の各々は、互いに異なる演算処理装置から構成されることを特徴とする請求項１又は２記載のスケジュール作成装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、組み合わせ最適化問題に対する解となるスケジュールを決定するスケジュール作成装置に関し、特に、組み合わせ最適化問題として扱われる離散変数を対象にしたスケジュール作成装置に関するものである。
【０００２】
【従来の技術】
従来の組み合わせ最適化問題の解法としては、全ての組み合わせに対して評価を行って最適解を得る列挙法や、下限値と枝刈りとによって全ての組み合わせを評価することなく最適解を得る分枝限定法等が知られている。これらの手法では、最適解を得ることが保証されるが、最適解を得るまでに膨大な計算量が必要となり、規模の大きい最適化問題を解くことが困難である。
【０００３】
また、近年では規模の大きい最適化問題に対して実用時間内で準最適解を得ることができる手法として、ＳＡ（シミュレーテッド・アニーリング）法やＧＡ（遺伝的アルゴリズム）法がスケジューリング分野において活用されている。しかしながら、これらの手法を用いた場合でも、規模の大きい最適化問題に対して短時間で解を得ることができず、そのまま適用することは困難である。
【０００４】
一方、「複数台搬送車による搬送経路計画問題への自律分散型スケジューリングＰＢＴＳの適用」：第４３回システム制御情報学会研究発表講演会論文集、pp.101-102（1999年）には、複数台搬送車による搬送経路計画問題に対して、全体の解空間を複数の部分空間に分割し、各部分空間のスケジューリングをエージェントごとに担当させる分散型スケジューリング手法が提案されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記の分散型スケジューリング手法では、各エージェントに対する解空間の割り当ても最適化する必要があり、この割り当てはエージェント間で必要な情報を通信しながら繰り返し行われる。このため、エージェントの数を増やすと、エージェント間の通信回数が増加して通信に要する時間が長くなり、一方、エージェントの数を減少させると、各エージェントが担当する解空間が大きくなって解を得るまでに長時間を要し、いずれの場合も分散化によるメリットが小さくなる。
【０００６】
また、各部分空間においてエージェントが求めた解が重なっている場合に、この重なり部分を修正する処理が必要となり、解を得るまでの時間がさらに増加する。このように、上記の分散型スケジューリング手法では、分散化によるメリットを充分に生かすことができず、大規模な組み合わせ最適化問題を短時間で解くことができない。
【０００７】
本発明の目的は、大規模な組み合わせ最適化問題の解となるスケジュールを短時間に計算することができるスケジュール作成装置を提供することである。
【０００８】
【課題を解決するための手段】
本発明に係るスケジュール作成装置は、組み合わせ最適化問題に対する解となるスケジュールを作成するスケジュール作成装置であって、独立して最新スケジュールを更新し、更新した最新スケジュールを改善するための指標となる強化量を算出する複数のエージェント手段と、複数のエージェント手段によって最新スケジュールが更新されるごとに、更新された複数の最新スケジュール及び更新前の暫定スケジュールの中から最良のスケジュールを暫定スケジュールとして決定する暫定スケジュール決定手段と、複数のエージェント手段によって最新スケジュールが更新されるごとに、各最新スケジュールの強化量を合成してスケジュール強化履歴を作成するスケジュール強化履歴作成手段とを備え、複数のエージェント手段の各々は、スケジュール強化履歴作成手段によって作成されたスケジュール強化履歴を基に最新スケジュールを順次更新し、前記スケジュール作成装置は、離散変数を対象にした最適化スケジューリングを行い、前記最新スケジュールは、各順序決定対象Ｓ（ｉ）の全ての順序ｊに割り当てられた離散変数（ここで、ｉ，ｊ＝１，２，…，Ｎ、Ｎは順序決定対象Ｓ（ｉ）の総数）の値により各順序決定対象Ｓ（ｉ）の順序を表し、前記複数のエージェント手段の各々は、前記最新スケジュールに対応する離散変数を更新することにより前記最新スケジュールを更新する最新スケジュール更新手段と、前記最新スケジュール更新手段によって更新された離散変数を記憶する最新スケジュール記憶手段と、前記最新スケジュール記憶手段に記憶されている離散変数によって特定される最新スケジュールの良否を評価するための評価値を求める評価手段と、前記評価手段によって求められた評価値を基に最新スケジュールに対する強化量を決定する強化量決定手段と、更新前の最新スケジュールの評価値を記憶する直前評価値記憶部と、更新後の最新スケジュールの評価値を記憶する最新評価値記憶部とを含み、前記強化量決定手段は、前記直前評価値記憶部及び前記最新評価値記憶部に記憶されている更新前後の最新スケジュールの評価値を基に、更新後の評価値が更新前の評価値より改善している場合に強化量が必ず正の値となり、更新後の評価値が更新前の評価値より改悪されている場合に改悪の度合いが大きいほど強化量が０となる確率が高くなるように、最新スケジュールに対する強化量を最新スケジュールが表す各順序決定対象Ｓ（ｉ）の順序に対して計算し、前記暫定スケジュール決定手段は、前記暫定スケジュールを記憶する暫定スケジュール記憶手段と、前記複数の最新スケジュール更新手段によって離散変数が更新されるごとに、前記暫定スケジュール記憶手段に記憶されている更新前の暫定スケジュール及び前記複数の最新スケジュール更新手段によって更新された離散変数によって特定される複数の最新スケジュールの中から評価値を基に最良のスケジュールを暫定スケジュールとして決定し、決定した暫定スケジュールを前記暫定スケジュール記憶手段に記憶させて暫定スケジュールを更新する暫定スケジュール更新手段と含み、前記スケジュール強化履歴作成手段は、前記スケジュール強化履歴として離散変数ごとにスケジュール強化履歴量を記憶するスケジュール強化履歴記憶手段と、離散変数の取り得る値のうちスケジュールの改善に効果のある部分のスケジュール強化履歴量が大きくなり、スケジュールの改善に効果のない部分のスケジュール強化履歴量が小さくなるように、前記複数の最新スケジュール更新手段によって離散変数が更新されるごとに、前記スケジュール強化履歴記憶手段に記憶されている各順序決定対象Ｓ（ｉ）の全ての順序ｊに対するスケジュール強化履歴量に前記複数の強化量決定手段によって決定された、最新スケジュールが表す各順序決定対象Ｓ（ｉ）の順序に対して算出された強化量を追加して各順序決定対象Ｓ（ｉ）の全ての順序ｊに対するスケジュール強化履歴量を更新し、更新したスケジュール強化履歴量を前記スケジュール強化履歴記憶手段に記憶させるスケジュール強化履歴更新手段と含み、前記複数の最新スケジュール更新手段の各々は、前記スケジュール強化履歴記憶手段に記憶されている各順序決定対象Ｓ（ｉ）の全ての順序ｊに対するスケジュール強化履歴量を基に、各離散変数の決定変数値の相対的な強度を表す安定度Ｓｉｊを各順序決定対象Ｓ（ｉ）の全ての順序ｊに対して算出し、算出した安定度Ｓｉｊを基に、最新スケジュールが表す各順序決定対象Ｓ（ｉ）の順序における最大安定度に対する安定度の差を表す不安定度Ｕｉを最新スケジュールが表す各順序決定対象Ｓ（ｉ）の順序に対して算出し、不安定度の大きい順序決定対象ほど確率的に選択され易くなるようにし、逆に不安定度の小さい順序決定対象ほど確率的に選択され難くなるように、変更元となる順序決定対象を決定するとともに、変更元となる順序決定対象の順序の中で安定度の大きい順序ほど確率的に選択され易くなるようにし、逆に安定度の小さい順序ほど確率的に選択され難くなるように、変更元となる順序決定対象において変更先となる順序を決定し、変更先となる順序を有する順序決定対象の順序と、変更元となる順序決定対象の順序とを入れ替え、前記最新スケジュール記憶手段に記憶されている離散変数を更新するものである。
【０００９】
本発明に係るスケジュール作成装置においては、各エージェント手段によって独立して最新スケジュールが更新され、更新された最新スケジュールを改善するための指標となる強化量がそれぞれ算出される。また、複数のエージェント手段によって最新スケジュールが更新されるごとに、更新された複数の最新スケジュール及び更新前の暫定スケジュールの中から最良のスケジュールが暫定スケジュールとして決定され、これらの処理を繰り返すことによって最終的に良好なスケジュールを作成することができる。
【００１０】
このとき、各エージェント手段によって算出された最新スケジュールの強化量が一つのスケジュール強化履歴として合成され、合成されたスケジュール強化履歴を基に各エージェント手段が独立して最新スケジュールを順次更新しているので、各エージェント手段は、自身が決定した最新スケジュールの強化量だけでなく、他のエージェント手段によって決定された最新スケジュールの強化量も利用して最新スケジュールを順次改善することができる。この結果、良好なスケジュールを効率よく求めることができ、大規模な組み合わせ最適化問題の解となるスケジュールを短時間に計算することができる。
【００１２】
この場合、各エージェント手段において、更新された最新スケジュールに対応する離散変数の値が記憶され、記憶されている離散変数によって特定される最新スケジュールの良否を評価するための評価値が求められ、求められた評価値を基に最新スケジュールに対する強化量が決定される。この強化量は最新スケジュールを改善するための指標となり、現在の最新スケジュールに対応する各離散変数の値をどの程度強化すべきかを表すものである。
【００１３】
また、複数のエージェント手段において離散変数が更新されるごとに、更新前のスケジュール強化履歴量と各エージェント手段において決定された強化量とが合成され、各離散変数に対するスケジュール強化履歴量が更新される。このようにして、複数のエージェント手段手段によって決定された強化量が一つのスケジュール強化履歴に反映され、次回の最新スケジュール更新時にスケジュール強化履歴量の大きい離散変数は変更され難くなり、小さい離散変数は変更され易くなる。
【００１４】
さらに、更新された共通のスケジュール強化履歴量（エージェント手段間の共通情報）を基に、複数のエージェント手段において並列に最新スケジュールに対応する離散変数が順次更新され、記憶されている更新前の暫定スケジュール及び更新された離散変数によって特定される複数の最新スケジュールの中から評価値を基に最良のスケジュールが暫定スケジュールとして順次更新される。
【００１５】
上記のようにして、複数のエージェント手段において、並列的に同じ解空間内で解の更新すなわち最新スケジュールに対応する離散変数の更新が行われ、更新された離散変数によって特定される最新スケジュールに対する強化量が算出される。算出された強化量は、一つのスケジュール強化履歴に順次合成されて共有化され、このスケジュール強化履歴は、各エージェント手段が最新スケジュールを更新するときに解の変更方向を決定する確率パラメータとして反映される。
【００１６】
したがって、各エージェント手段は、自分自身の探索結果だけでなく、他のエージェント手段が見つけ出した良い特徴や悪い特徴に関する探索結果をも反映して最新スケジュールを順次改善することができるので、単独のエージェント手段によって解を探索する場合より効率よく良好なスケジュールを求めることができ、離散変数を対象にした大規模な組み合わせ最適化問題に対して良好なスケジュールを短時間に計算することができる。
【００１７】
強化量決定手段は、暫定スケジュールが所定回数更新されなかった場合にスケジュール強化履歴量に強化量が追加される確率を高くすることが好ましい。
【００１８】
この場合、暫定スケジュールが所定回数更新されなかったときにスケジュール強化履歴量に強化量が追加される確率を高くすることができるので、各エージェント手段によって求められる解が局所解の周囲に集まって暫定スケジュールの更新が進まなくなっても、局所解からの脱出を図ることができる。この結果、各エージェント手段はより広い解空間を探索することができ、良好なスケジュールを求めることができる。
【００１９】
複数のエージェント手段の各々は、互いに異なる演算処理装置から構成されることが好ましい。
【００２０】
この場合、各エージェント手段が行うタスクをそれぞれ異なる演算処理装置によって並列に処理することができるとともに、エージェント手段間での通信が行われないため、エージェント手段の数が増加しても計算効率が低下せず、より高速に良好なスケジュールを求めることができる。
【００２１】
【発明の実施の形態】
以下、本発明の一実施の形態によるスケジュール作成装置について図面を参照しながら説明する。図１は、本発明の一実施の形態によるスケジュール作成装置の構成を示すブロック図である。
【００２２】
なお、以下の説明では、組み合わせ最適化問題の一例である薄板鋼鈑の熱間圧延ラインにおけるスラブの熱延順決定問題に対する解となるスラブの熱延順スケジュールを決定する場合について説明するが、組み合わせ最適化問題に対する解となるスケジュールを決定するものであれば、離散変数又は連続変数を対象にした他のスケジュール作成装置にも本発明を同様に適用することができる。特に、組み合わせ最適化問題として扱われる離散変数を対象にしたスケジュール作成装置に好適に適用することができ、例えば、生産ラインにおける各ジョブの処理順序の決定、トラックや船舶等に積載される製品の割り当ての決定、配送車の運行スケジュールの決定等に適用することができる。
【００２３】
図１に示すスケジュール作成装置は、パーソナルコンピュータ等から構成され、３つのＣＰＵ（中央演算処理装置）１〜３、入力部４、ＲＯＭ（リードオンリメモリ）５、ＲＡＭ（ランダムアクセスメモリ）６、外部記憶装置７、表示部８及び記録媒体駆動装置９を備える。各ブロックは内部のバスに接続され、このバスを介して種々のデータ等が各ブロック間で入出力され、ＣＰＵ３等の制御の下、種々の処理が実行される。
【００２４】
入力部４は、キーボード、マウス等から構成され、ユーザが操作指令等を入力するために用いられる。ＲＯＭ５には、システムプログラム等が予め記憶される。外部記憶装置７は、ハードディスクドライブ等から構成され、後述するスケジューリングプログラム等を記憶している。ＣＰＵ１〜３は、外部記憶装置７からスケジューリングプログラム等を読み出し、後述するスケジューリング処理等を実行して各ブロックの動作を制御する。ＲＡＭ６は、ＣＰＵ１〜３の作業領域等として用いられる。表示部８は、ＣＲＴ（陰極線管）又は液晶表示装置等から構成され、ＣＰＵ３等の制御の下、種々の画面を表示する。
【００２５】
なお、スケジューリングプログラムは、ＣＤ−ＲＯＭ、フロッピィディスク等から構成されるコンピュータ読み出し可能な記録媒体１０に記録するようにしてもよい。この場合、ＣＤ−ＲＯＭドライブ、フロッピィディスクドライブ等から構成される記録媒体駆動装置９を用いて記録媒体１０から読み出されたスケジューリングプログラムが外部記憶装置７にインストールされる。また、スケジューリングプログラムがネットワークを介して接続されている他のコンピュータ等に記憶されている場合、当該コンピュータからネットワークを介してスケジューリングプログラムをダウンロードするようにしてもよい。
【００２６】
次に、上記のように構成されたスケジュール作成装置の主要な機能について説明する。図２は、図１に示すスケジュール作成装置の主要機能ブロック図である。
【００２７】
図２に示すスケジュール作成装置は、第１のエージェント部２０ａ、第２のエージェント部２０ｂ及び全体統合部３０を備える。ここで、本明細書において使用するエージェントとは、与えられた計画問題に対して他のプロセスの情報を参照した上で独立してスケジュールを作成する機構を意味するものとし、所定のプログラムをＣＰＵ等によって実行することにより実現される。
【００２８】
第１のエージェント部２０ａは、最新スケジュール更新部２１ａ、最新スケジュール記憶部２２ａ、スケジュール評価部２３ａ、直前評価値記憶部２４ａ、最新評価値記憶部２５ａ、スケジュール強化量決定部２６ａ及び強化量記憶部２７ａを含む。同様に、第２のエージェント部２０ｂは、最新スケジュール更新部２１ｂ、最新スケジュール記憶部２２ｂ、スケジュール評価部２３ｂ、直前評価値記憶部２４ｂ、最新評価値記憶部２５ｂ、スケジュール強化量決定部２６ｂ及び強化量記憶部２７ｂを含む。また、全体統合部３０は、暫定スケジュール更新部３１、暫定スケジュール記憶部３２、出力部３３、スケジュール強化履歴更新部３４及びスケジュール強化履歴記憶部３５を含む。
【００２９】
図１に示すＣＰＵ１は、後述するスケジューリングプログラム等を実行することによって図２に示す最新スケジュール更新部２１ａ、スケジュール評価部２３ａ及びスケジュール強化量決定部２６ａとして機能する。同様に、図１に示すＣＰＵ２は、後述するスケジューリングプログラム等を実行することによって図２に示す最新スケジュール更新部２１ｂ、スケジュール評価部２３ｂ、スケジュール強化量決定部２６ｂとして機能する。また、図１に示すＣＰＵ３は、後述するスケジューリングプログラム等を実行することによって図２に示す暫定スケジュール更新部３１及びスケジュール強化履歴更新部３４として機能する。
【００３０】
また、図１に示すＲＡＭ６は、図２に示す最新スケジュール記憶部２２ａ，２２ｂ、直前評価値記憶部２４ａ，２４ｂ、最新評価値記憶部２５ａ，２５ｂ、強化量記憶部２７ａ，２７ｂ、暫定スケジュール記憶部３２及びスケジュール強化履歴記憶部３５として機能する。
【００３１】
第１及び第２のエージェント部２０ａ，２０ｂは、それぞれ独立して最新スケジュールを決定し、決定した最新スケジュールを改善するための指標となる強化量を算出する。最新スケジュール更新部２１ａ，２１ｂは、スケジュール強化履歴更新部３４に記憶されている共通のスケジュール強化履歴を基に最新スケジュールに対応する離散変数を更新する。最新スケジュール記憶部２２ａ，２２ｂは、更新された離散変数を記憶する。
【００３２】
スケジュール評価部２３ａ，２３ｂは、最新スケジュール記憶部２２ａ，２２ｂに記憶されている離散変数によって特定される最新スケジュールの良否を評価するための評価値を求める。直前評価値記憶部２４ａ，２４ｂは、最新評価値記憶部２５ａ，２５ｂに記憶されている更新前の最新スケジュールの評価値を記憶する。最新評価値記憶部２５ａ，２５ｂは、スケジュール評価部２３ａ，２３ｂによって求められた更新後の最新スケジュールの評価値を記憶する。スケジュール強化量決定部２６ａ，２６ｂは、直前評価値記憶部２４ａ，２４ｂ及び最新評価値記憶部２５ａ，２５ｂに記憶されている更新前後の最新スケジュールの評価値を基に更新後の最新スケジュールに対する強化量を決定する。強化量記憶部２７ａ，２７ｂは、スケジュール強化量決定部２６ａ，２６ｂによって決定された強化量を記憶する。
【００３３】
暫定スケジュール更新部３１は、最新スケジュール更新部２１ａ，２１ｂによって離散変数が更新されるごとに、暫定スケジュール記憶部３２に記憶されている更新前の暫定スケジュールと最新スケジュール記憶部２２ａ，２２ｂに記憶されている離散変数によって特定される二つの最新スケジュールとの中から各スケジュールの評価値を基に最良のスケジュールを暫定スケジュールとして決定する。暫定スケジュール記憶部３２は、決定された暫定スケジュールを記憶する。
【００３４】
スケジュール強化履歴更新部３４は、最新スケジュール更新部２１ａ，２１ｂによって離散変数が更新されるごとに、スケジュール強化履歴記憶部３５に記憶されている更新前のスケジュール強化履歴量にスケジュール強化量決定部２６ａ，２６ｂによって決定された強化量を合成してスケジュール強化履歴量を更新する。スケジュール強化履歴記憶部３５は、更新されたスケジュール強化履歴量を記憶する。
【００３５】
出力部３３は、図１に示す外部記憶装置７又は表示部８等から構成される。後述する終了条件を満たしたと暫定スケジュール更新部３１が判断した場合、出力部３３は、暫定スケジュール記憶部３２に記憶されている暫定スケジュールを暫定スケジュール更新部３１を介して読み出し、読み出した暫定スケジュールを最良スケジュールとして外部記憶装置７に記憶し又は表示部８に表示する。
【００３６】
本実施の形態では、ＣＰＵ１，２及びＲＡＭ６が複数のエージェント手段に相当し、ＣＰＵ３及びＲＡＭ６が暫定スケジュール決定手段及びスケジュール強化履歴作成手段に相当する。また、ＣＰＵ１，２が最新スケジュール更新手段、評価手段及び強化量決定手段に相当し、ＲＡＭ６が最新スケジュール記憶手段、暫定スケジュール記憶手段及びスケジュール強化履歴記憶手段に相当し、ＣＰＵ３が暫定スケジュール更新手段及びスケジュール強化履歴更新手段に相当する。
【００３７】
次に、上記のように構成されたスケジュール作成装置を用いて薄板鋼鈑の熱間圧延ラインにおけるスラブの熱延順スケジュールを決定する場合について詳細に説明する。
【００３８】
図３は、薄板鋼鈑の熱間圧延ラインにおけるスラブの熱延順スケジュールの一例を示す模式図である。図３に示す上側の各バーの長さが圧延ライン出側における各スラブの板幅を表し、下側の各バーの長さが圧延ライン出側における各スラブの板厚を表し、横軸として表される圧延順に従って各バーによって表される板幅及び板厚を有する各スラブが順次圧延されていく。この例では、スケジュール作成装置は、圧延ライン出側におけるスラブの板厚及び板幅の変化をできるだけ小さくするように且つ製品にロールマークが付くことを防止するために板幅が広幅から狭幅に移行するように適切なスラブの圧延順を以下に説明するスケジューリング処理によって決定する。
【００３９】
図４は、図２に示すスケジュール作成装置によるスケジューリング処理を説明するためのフローチャートである。なお、図４に示すスケジューリング処理は、ＣＰＵ１〜３が外部記憶装置７に記憶されているスケジューリングプログラム等を実行することによって行われる。
【００４０】
まず、ステップＳ１において、第１のエージェント部２０ａの最新スケジュール更新部２１ａは、初期スケジュールとしてスラブの順列をランダムに発生させ、この順列が初期圧延順となる。次に、ステップＳ２において、最新スケジュール更新部２１ａは、作成した初期圧延順を最新スケジュールとして最新スケジュール記憶部２２ａに格納する。このとき、スケジュール評価部２３ａ及びスケジュール強化量決定部２６ａは、適切な初期値を用いて直前評価値記憶部２４ａ、最新評価値記憶部２５ａ及び強化量記憶部２７ａを初期化する。
【００４１】
ここで、第２のエージェント部２０ｂにおいても、ステップＳ１１，Ｓ１２において上記のステップＳ１，Ｓ２と同様の処理が最新スケジュール更新部２１ｂによって行われ、第２のエージェント部２０ｂの初期スケジュールが最新スケジュール記憶部２２ｂに格納されるとともに、直前評価値記憶部２４ｂ、最新評価値記憶部２５ｂ及び強化量記憶部２７ｂが初期化される。
【００４２】
図５は、図２に示す第1及び第２のエージェント部２０ａ，２０ｂの最新スケジュール記憶部２２ａ，２２ｂに格納されている最新スケジュールの一例を示す図である。図５では、最新スケジュールに対応する離散変数として、Ｎ個のスラブの圧延順が示され、各スラブＳ（１）〜Ｓ（Ｎ）の最新スケジュールによる圧延順が“１”によって表されている。例えば、第１のエージェント部２０ａの最新スケジュールによる圧延順は、スラブＳ（２）、スラブＳ（３）、スラブＳ（４）、スラブＳ（Ｎ）、スラブＳ（１）、…、スラブＳ（５）の順序となっており、第２のエージェント部２０ｂの最新スケジュールによる圧延順は、スラブＳ（Ｎ）、スラブＳ（１）、スラブＳ（２）、スラブＳ（３）、スラブＳ（５）、…、スラブＳ（４）の順序となっている。
【００４３】
次に、ステップＳ３において、全体統合部３０のスケジュール強化履歴更新部３４は、スケジュール強化履歴記憶部３５に格納されているスケジュール強化履歴量を初期化して、例えば“１”に設定する。このとき、暫定スケジュール更新部３１は、適切な初期値を用いて暫定スケジュール記憶部３２を初期化する。
【００４４】
図６は、図２に示すスケジュール強化履歴記憶部３５に格納されているスケジュール強化履歴量の一例を示す図である。上記のようにして初期化されたスケジュール強化履歴は、後述するステップＳ４〜Ｓ９及びＳ１３〜Ｓ１５の処理を繰り返すことによって、例えば、図６に示すようになる。すなわち、各スラブＳ（１）〜Ｓ（Ｎ）の全ての圧延順に対して０以上の数値がスケジュール強化履歴量として記憶され、あるスラブのある圧延順が望ましい場合にその圧延順に対応するスケジュール強化履歴量が大きくなり、逆に望ましくない場合にその圧延順に対応するスケジュール強化履歴量が小さくなる。
【００４５】
次に、ステップＳ４において、第１のエージェント部２０ａの最新スケジュール更新部２１ａは、以下のようにして最新スケジュールに対応する離散変数を更新する。
【００４６】
まず、最新スケジュール更新部２１ａは、スケジュール強化履歴更新部３４に記憶されているスケジュール強化履歴量を基に各スラブの全圧延順に対して、その安定度を下式に従って計算する。
【００４７】
【数１】
0003974354.tif 000002
【００４８】
ここで、ＳijはスラブＳ（ｉ）の圧延順ｊに対する安定度であり、ＰijはスラブＳ（ｉ）の圧延順ｊにおけるスケジュール強化履歴量であり、ａsは正の定数であり、Ｎはスラブの本数である。
【００４９】
上記の安定度は各決定変数値（スラブの圧延順）の相対的な強度を表し、上式の右辺の第１項は同一スラブ内での相対的な強度を表し、第２項は同一圧延順での相対的な強度を表している。また、上式の右辺の第３項はバイアス項であり、この値が小さいと各決定変数値の安定度の差が強調される。なお、安定度の計算は、上記の例に特に限定されず、他の計算式に基づいて安定度を求めるようにしてもよい。
【００５０】
図７は、図２に示す第１のエージェント部２０ａの最新スケジュール更新部２１ａによって計算された安定度の一例を示す図である。例えば、ａs＝０．０５の場合、図６に示すスケジュール強化履歴量を用いて計算した各決定変数値の安定度は、図７に示すようになる。
【００５１】
次に、最新スケジュール更新部２１ａは、上記のようにして計算した安定度を用いて最新スケジュール記憶部２２ａに記憶されている離散変数によって特定される最新スケジュールに対する不安定度を下式に従って計算する。
【００５２】
【数２】
0003974354.tif 000003
【００５３】
ここで、ＵiはスラブＳ（ｉ）の最新スケジュールによる圧延順に対する不安定度であり、ｋ（ｉ）はスラブＳ（ｉ）の最新スケジュールによる圧延順であり、ａuは正の定数である。
【００５４】
上式により、不安定度は各決定変数のうち最新スケジュールの圧延順を示す決定変数に対してのみ計算され、各スラブの不安定度は、最新スケジュールによる圧延順における最大安定度のスラブに対する安定度の差として定義される。この不安定度が大きい場合にそのスラブの現在の圧延順が望ましくないとみなされ、逆に小さい場合にそのスラブの現在の圧延順が望ましいとみなされる。なお、不安定度の計算は、上記の例に特に限定されず、他の計算式に基づいて不安定度を求めるようにしてもよい。
【００５５】
図８は、図２に示す第１のエージェント部２０ａの最新スケジュール更新部２１ａによって計算された不安定度の一例を示す図である。例えば、ａu＝０．０５の場合、図５に示す第１のエージェント部２０ａの圧延順に対して計算した各決定変数の不安定度は、図８に示すようになる。
【００５６】
次に、最新スケジュール更新部２１ａは、各スラブの最新スケジュールに対する不安定度を基に現在の圧延順を変更するスラブを一つ決定する。基本的には、圧延順を変更するスラブとして、不安定度の大きいスラブほど確率的に選択され易くなるようにし、逆に不安定度の小さいスラブほど確率的に選択され難くなるようにする。例えば、不安定度の大きさに比例したルーレット選択方法を用いて圧延順を変更するスラブを一つ決定することができる。
【００５７】
次に、最新スケジュール更新部２１ａは、圧延順を変更するスラブとして決定された圧延順変更元のスラブの圧延順変更先を決定する。基本的には、圧延順変更元のスラブをＳ（ｍ）とすると、圧延順変更先として、スラブＳ（ｍ）の圧延順の中で安定度の大きい圧延順ほど確率的に選択され易くなるようにし、逆に安定度の小さい圧延順ほど確率的に選択され難くなるようにする。例えば、安定度の大きさに比例したルーレット選択方法を用いて圧延順変更先を決定することができる。
【００５８】
例えば、図８に示すように不安定度が計算され、スラブＳ（１）が圧延順を変更するスラブとして決定されたとすると、図７に示す安定度の場合、圧延順変更先として圧延順２（安定度０．６２）が選択される確率は、圧延順３（安定度０．０５）が選択される確率より１２．４倍高くなるように設定され、この確率に応じて圧延順変更先が決定される。
【００５９】
最後に、決定した圧延順変更先には圧延順を変更するスラブとは別のスラブが割り当てられているので、最新スケジュール更新部２１ａはこれらの２つのスラブの圧延順を入れ替える。例えば、図７に示す安定度の場合、スラブＳ（１）が圧延順変更元のスラブであり、当該スラブの圧延順変更先となる圧延順が２であった場合、スラブＳ（１）の圧延順が５から２へ変更され、スラブＳ（３）の圧延順が２から５へ変更される。
【００６０】
上記のようにして、最新スケジュール更新部２１ａは、最新スケジュールに対応する離散変数を更新し、更新した離散変数を最新スケジュール記憶部２２ａに格納する。なお、最新スケジュールの更新処理は、上記の例に特に限定されず、他の更新処理を用いてもよい。
【００６１】
次に、ステップＳ５において、スケジュール評価部２３ａは、更新された離散変数を最新スケジュール記憶部２２ａから読み出し、読み出した離散変数によって特定される最新スケジュールに対する評価値Ｅを下式に従って計算する。
【００６２】
【数３】
0003974354.tif 000004
【００６３】
ここで、ｗiはスラブＳ（ｉ）の板幅であり、ｔiはスラブＳ（ｉ）の板厚であり、Ｊ1は圧延順前後での幅広げに対する正の重みパラメータであり、Ｊ2は圧延順前後での幅狭めに対する正の重みパラメータであり、Ｋ1は圧延順前後での板幅の差に対する正の重みパラメータであり、Ｋ2は圧延順前後での板厚の差に対する正の重みパラメータである。なお、評価値の計算は、上記の例に特に限定されず、他の計算式に基づいて評価値を求めるようにしてもよい。
【００６４】
次に、スケジュール評価部２３ａは、最新評価値記憶部２５ａに記憶されている更新前の評価値を読み出して直前評価値記憶部２４ａに記憶させた後、計算した評価値を更新後の評価値として最新評価値記憶部２５ａに記憶する。
【００６５】
次に、ステップＳ６において、スケジュール強化量決定部２６ａは、直前評価値記憶部２４ａ及び最新評価値記憶部２５ａから更新前後の評価値をそれぞれ読み出し、読み出した更新前の評価値及び更新後の評価値を基に最新スケジュールに対する強化量を計算する。基本的には、更新後の評価値が更新前の評価値より改善している場合に強化量が必ず正の値となり、更新後の評価値が更新前の評価値より改悪されている場合に改悪の度合いが大きいほど強化量が０となる（強化量を追加しない）確率が高くなるように強化量を計算する。
【００６６】
例えば、強化量を０又はΔＰ（＞０）の２種類に設定し、下式に示すように、更新前後の評価値の差ΔＥ（＝更新後の評価値−更新前の評価値）に依存した確率Ｒ（ΔＥ）で強化量がΔＰとなり、確率１−Ｒ（ΔＥ）で強化量が０となるように強化量を計算する。
【００６７】
【数４】
0003974354.tif 000005
【００６８】
ここで、Ｔは改悪時の強化量の出力確率を制御する正の定数であり、この値が大きくなるほど改悪時でも強化量ΔＰが追加される確率が高くなる。スケジュール強化量決定部２６ａは、上式により計算した強化量を強化量記憶部２７ａに格納する。なお、強化量の計算は、上記の例に特に限定されず、他の計算式に基づいて強化量を求めるようにしてもよい。
【００６９】
ここで、後述するステップＳ７において暫定スケジュールが所定回数だけ更新されない場合、第１及び第２のエージェント部２０ａ，２０ｂによって求められる解が局所解の周囲に集まって暫定スケジュールの更新が進まなくなっていることが考えられる。このため、暫定スケジュールが所定回数更新されなかった場合に、上式のＴの値を一時的に大きくし、スケジュール強化履歴量に強化量が追加される確率を高くすることが好ましい。この場合、局所解からの脱出を図ることができるので、第１及び第２のエージェント部２０ａ，２０ｂはより広い解空間を探索することができ、良好な圧延順スケジュールを求めることができる。
【００７０】
一方、第２のエージェント部２０ｂにおいても、ステップＳ１３〜Ｓ１５において上記のステップＳ４〜Ｓ６と同様の処理が並列して行われる。すなわち、第１のエージェント部２０ａと独立して、最新スケジュール更新部２１ｂによって最新スケジュールに対応する離散変数がスケジュール強化履歴更新部３４に記憶されているスケジュール強化履歴量を基に更新され、更新された離散変数が最新スケジュール記憶部２２ｂに格納される。また、スケジュール評価部２３ｂによって、最新評価値記憶部２５ｂに格納されている更新前の評価値が直前評価値記憶部２４ｂに格納されるとともに、更新された離散変数によって特定される最新スケジュールの評価値が算出されて最新評価値記憶部２５ｂに格納される。さらに、スケジュール強化量決定部２６ｂによって、直前評価値記憶部２４ｂ及び最新評価値記憶部２５ｂに格納されている更新前後の評価値から最新スケジュールに対する強化量が算出されて強化量記憶部２７ｂに格納される。
【００７１】
図９は、図２に示す第1及び第２のエージェント部２０ａ，２０ｂの強化量記憶部２７ａ，２７ｂに格納されている強化量の一例を示す図である。図９に示す例では、上記の処理により、例えば、第1のエージェント部２０ａの最新スケジュールに対する強化量として強化量記憶部２７ａにΔＰが記憶され、第２のエージェント部２０ｂの最新スケジュールに対する強化量として強化量記憶部２７ｂに０が記憶されている。
【００７２】
次に、ステップＳ７において、全体統合部３０の暫定スケジュール更新部３１は、上記の処理によって各エージェント部２０ａ，２０ｂにおいて更新された各最新スケジュールの評価値を最新評価値記憶部２５ａ，２５ｂを読み出し、各エージェント部２０ａ，２０ｂにおける更新後の最新スケジュールを集約するため、読み出した評価値から最良となる最新スケジュールを選択する。次に、暫定スケジュール更新部３１は、暫定スケジュール記憶部３２に格納されている更新前の暫定スケジュール（これまでの最良スケジュール）の評価値を読み出し、選択した最新スケジュールの評価値と暫定スケジュールの評価値とを比較する。選択した最新スケジュールの評価値が暫定スケジュールの評価値より良い場合、暫定スケジュール更新部３１は、選択した最新スケジュールを最新スケジュール記憶部２２ａ又は２２ｂに記憶されている離散変数から特定し、特定した最新スケジュールを暫定スケジュールとして暫定スケジュール記憶部３２に格納して暫定スケジュールを更新する。その他の場合、暫定スケジュール更新部３１は、既に記憶している暫定スケジュールを更新することなく暫定スケジュール記憶部３２に保持させる。
【００７３】
次に、ステップＳ８において、スケジュール強化履歴更新部３４は、スケジュール強化履歴記憶部３５に記憶されている更新前のスケジュール強化履歴量を一定比率で減少させ、減少させたスケジュール強化履歴量に第１及び第２のエージェント部２０ａ，２０ｂにおいて計算された各最新スケジュールに対する強化量を加算してスケジュール強化履歴量を更新し、更新したスケジュール強化履歴量をスケジュール強化履歴記憶部３５に格納する。
【００７４】
図１０は、図２に示すスケジュール強化履歴更新部３４によるスケジュール強化履歴更新処理を具体的に説明するための模式図である。例えば、図１０の（ａ）に示すように、スケジュール強化履歴記憶部３５には更新前のスケジュール強化履歴としてスラブＳ（ｉ）の各圧延順に対するスケジュール強化履歴量が記憶されている場合、スケジュール強化履歴更新部３４は、図１０の（ｂ）に示すように、スラブＳ（ｉ）の各圧延順に対するスケジュール強化履歴量を一定比率減少させる。
【００７５】
次に、スケジュール強化履歴更新部３４は、強化量記憶部２７ａ，２７ｂから第１及び第２のエージェント部２０ａ，２０ｂにおいて計算された各最新スケジュールに対する強化量を読み出し、読み出した強化量（図１０の（ｃ））を一定比率減少させたスラブＳ（ｉ）の各圧延順に対するスケジュール強化履歴量（図１０の（ｂ））に加算して第１及び第２のエージェント部２０ａ，２０ｂの強化量をスケジュール強化履歴量に合成する（図１０の（ｄ））。
【００７６】
図１０の（ｃ）に示す例では、例えば、スラブＳ（ｉ）に対して、第１のエージェント部２０ａは圧延順２に強化量ΔＰを与え、第２のエージェント部２０ｂは圧延順５に強化量ΔＰを与えており、これらの強化量が図１０の（ｂ）に示すスケジュール強化履歴量に追加され、更新後のスケジュール強化履歴量は図１０の（ｄ）に示すようになる。この結果、スラブＳ（ｉ）のスケジュール強化履歴として圧延順２及び圧延順５のスケジュール強化履歴量が増加し、他の圧延順のスケジュール強化履歴量は減少する。
【００７７】
このようして、スケジュール強化履歴として、離散変数の取り得る値のうちスケジュールの改善に効果のある部分のスケジュール強化履歴量が大きくなり、スケジュールの改善に効果のない部分のスケジュール強化履歴量が小さくなる。
【００７８】
次に、ステップＳ９において、暫定スケジュール更新部３１は、所定の終了条件を満たしているか否かを判断し、終了条件を満たしていない場合はステップＳ４，Ｓ１３に戻って各エージェント部２０ａ，２０ｂごとに上記の処理を継続して最新スケジュールの更新等の処理を行い、終了条件を満たしている場合はステップＳ１０へ移行する。
【００７９】
ここで、終了条件としては、ステップＳ７において暫定スケジュールが所定回数（例えば、数万回）だけ更新されたか、ステップＳ７において更新された暫定スケジュールの評価値が所定値以下となったか、又は、ステップＳ７において暫定スケジュールが所定回数（例えば、数十〜数百回）だけ更新されない状態が継続しているか等の種々の条件を用いることができる。
【００８０】
最後に、ステップＳ１０において、暫定スケジュール更新部３１は、暫定スケジュール記憶部３２に記憶されている暫定スケジュールを読み出して出力部３３へ出力し、出力部３３は、読み出された暫定スケジュールを最適スケジュールとして外部記憶装置７に記憶したり、表示部８に表示する。なお、印刷装置が付加されている場合、読み出された暫定スケジュールを所定の用紙に印刷してもよい。
【００８１】
上記のようにして、本実施の形態では、第１及び第２のエージェント部２０ａ，２０ｂによって更新された最新スケジュールに対する強化量が、全体統合部３０によって一つのスケジュール強化履歴として合成され、合成されたスケジュール強化履歴に応じて第１及び第２のエージェント部２０ａ，２０ｂが独立して最新スケジュールを順次更新しているので、第１及び第２のエージェント部２０ａ，２０ｂは、自身が決定した最新スケジュールの強化量だけでなく、他のエージェント部によって決定された最新スケジュールの強化量も利用して最新スケジュールを順次改善することができる。すなわち、第１及び第２のエージェント部２０ａ，２０ｂは、自分自身の探索結果だけでなく、他のエージェント部が見つけ出した良い特徴や悪い特徴に関する探索結果をも反映して最新スケジュールを順次改善することができるので、効率のよい探索方向を発見することができ、最良な圧延順スケジュールを効率よく求めることができる。この結果、大規模な組み合わせ最適化問題の解となるスラブの圧延順スケジュールを短時間に計算することができる。
【００８２】
また、本実施の形態では、第１及び第２のエージェント部２０ａ，２０ｂの各々は、互いに異なる演算処理装置であるＣＰＵ１，２から構成されているので、第１及び第２のエージェント部２０ａ，２０ｂが行うタスクをそれぞれ異なるＣＰＵ１，２によって並列に処理することができるとともに、第１及び第２のエージェント部２０ａ，２０ｂ間での通信が行われないため、計算効率が低下しない。この結果、より高速に最良な圧延順スケジュールを求めることができる。
【００８３】
なお、上記の説明では、２つのエージェント部を用いたが、エージェント部の数はこの例に特に限定されず、３つ以上のエージェント部を並列に用いてもよい。この場合、エージェント間で通信を行う必要がないため、エージェント部の数が増加しても、計算効率が低下せず、より短時間に最適なスケジュールを求めることができる。
【００８４】
また、本実施の形態では、全体統合部３０にＣＰＵ３を用いたが、ＣＰＵ１，２のいずれかに全体統合部３０の処理を実行させてもよく、第１及び第２のエージェント部２０ａ，２０ｂ並びに全体統合部３０の処理を一つのＣＰＵによって実行するようにしてもよい。
【００８５】
また、本実施の形態では、ＲＡＭ６等を第１及び第２のエージェント部２０ａ，２０ｂ並びに全体統合部３０に共用したが、第１及び第２のエージェント部２０ａ，２０ｂ並びに全体統合部３０の各々に対して専用のＲＡＭ等を設けてもよい。
【００８６】
また、本実施の形態では、ＣＰＵ及びプログラム等を用いてスケジュール作成装置を構成したが、上記の処理の一部又は全部を専用のハードウエアによって実現するようにしてもよい。
【００８７】
【発明の効果】
本発明によれば、各エージェント手段によって算出された最新スケジュールの強化量が一つのスケジュール強化履歴として合成され、合成されたスケジュール強化履歴を基に各エージェント手段が独立して最新スケジュールを順次更新しているので、各エージェント手段は、自身が決定した最新スケジュールの強化量だけでなく、他のエージェント手段によって決定された最新スケジュールの強化量も利用して最新スケジュールを順次改善することができる。この結果、良好なスケジュールを効率よく求めることができ、大規模な組み合わせ最適化問題の解となるスケジュールを短時間に計算することができる。
【図面の簡単な説明】
【図１】  本発明の一実施の形態によるスケジュール作成装置の構成を示すブロック図である。
【図２】  図１に示すスケジュール作成装置の主要機能ブロック図である。
【図３】  薄板鋼鈑の熱間圧延ラインにおけるスラブの熱延順スケジュールの一例を示す模式図である。
【図４】  図２に示すスケジュール作成装置によるスケジューリング処理を説明するためのフローチャートである。
【図５】  図２に示す第1及び第２のエージェント部の最新スケジュール記憶部に格納されている最新スケジュールの一例を示す図である。
【図６】  図２に示すスケジュール強化履歴記憶部に格納されているスケジュール強化履歴量の一例を示す図である。
【図７】  図２に示す第１のエージェント部の最新スケジュール更新部によって計算された安定度の一例を示す図である。
【図８】  図２に示す第１のエージェント部の最新スケジュール更新部によって計算された不安定度の一例を示す図である。
【図９】  図２に示す第1及び第２のエージェント部の強化量記憶部に格納されている強化量の一例を示す図である。
【図１０】  図２に示すスケジュール強化履歴更新部によるスケジュール強化履歴更新処理を説明するための模式図である。
【符号の説明】
１〜３  ＣＰＵ
４  入力部
５  ＲＯＭ
６  ＲＡＭ
７  外部記憶装置
８  表示部
９  記録媒体駆動装置
１０  記録媒体
２０ａ  第１のエージェント部
２０ｂ  第２のエージェント部
２１ａ，２１ｂ  最新スケジュール更新部
２２ａ，２２ｂ  最新スケジュール記憶部
２３ａ，２３ｂ  スケジュール評価部
２４ａ，２４ｂ  直前評価値記憶部
２５ａ，２５ｂ  最新評価値記憶部
２６ａ，２６ｂ  スケジュール強化量決定部
２７ａ，２７ｂ  強化量記憶部
３０  全体統合部
３１  暫定スケジュール更新部
３２  暫定スケジュール記憶部
３３  出力部
３４  スケジュール強化履歴更新部
３５  スケジュール強化履歴記憶部
【図１】
0003974354.tif 000006
【図２】
0003974354.tif 000007
【図３】
0003974354.tif 000008
【図４】
0003974354.tif 000009
【図５】
0003974354.tif 000010
【図６】
0003974354.tif 000011
【図７】
0003974354.tif 000012
【図８】
0003974354.tif 000013
【図９】
0003974354.tif 000014
【図１０】
0003974354.tif 000015