(57)【要約】【課題】ドメイン間パスの設定要求到着過程などの状況の変化に対して柔軟に適応すること、計算量の削減を図ることを実現する。【解決手段】品質クラス割当方策に従ってドメイン間パスに品質クラスを割当て（Ｓ３）、ドメイン間パスの設定の成否の観測結果に基づいて収益を決定し（Ｓ４）、前回のドメイン間パス設定要求に係る収益と今回のドメイン間パス設定要求到着時点の状態で最適な品質クラスによって将来的に得られると予想される収益とに対する前回のドメイン間パス設定要求到着時点の状態で実際にドメイン間パスに割り当てられた品質クラスによって将来的に得られると予想される収益の誤差を算出し（Ｓ７）、該誤差を用いてある状態の下である品質クラスによって将来的に得られると予想される収益を表す行動価値関数を更新し（Ｓ８）、行動価値関数に基づいた強化比較法によって品質クラス割当方策を決定する（Ｓ３）、ことを特徴とする。【選択図】図３
2010087835.tif 000002
【特許請求の範囲】
【請求項１】
複数のドメインが接続されてなる通信ネットワークシステムにおける制御対象ドメインにおいて、エンド・ツー・エンドの所要品質値が与えられたドメイン間パスに割り当てる品質クラスを決定するための方策を決定する品質クラス割当方策決定装置であり、
制御対象ドメインにドメイン間パス設定要求が到着した時点の状態を、制御対象ドメインにおけるリソース量情報、制御対象ドメインから着ドメインまでに経由する経由ドメイン数、及び、制御対象ドメインから着ノードまでの残余品質値、の組合せによって記録する状態管理部と、
品質クラス割当方策に従って、割り当て可能品質クラスの中からドメイン間パスに割り当てる品質クラスを選択する品質クラス割り当て部と、
制御対象ドメインの下流ドメインにおけるドメイン間パスの設定の成否を観測し、該観測結果に基づいて収益を決定する収益決定部と、
前回のドメイン間パス設定要求に係る前記収益と今回のドメイン間パス設定要求到着時点の状態で最適な品質クラスによって将来的に得られると予想される収益とに対する、前回のドメイン間パス設定要求到着時点の状態で実際にドメイン間パスに割り当てられた品質クラスによって将来的に得られると予想される収益の誤差を算出する誤差算出部と、
前記誤差を用いて、ある状態の下である品質クラスによって将来的に得られると予想される収益を表す行動価値関数を更新する行動価値関数更新部と、
行動価値関数に基づいた強化比較法によって品質クラス割当方策を決定する方策決定部と、
を備えたことを特徴とする品質クラス割当方策決定装置。
【請求項２】
ドメイン間パスに実際に割り当てた品質クラスについての適格度トレースを、トレース減衰パラメータを用いて更新する適格度トレース更新部を備え、
前記行動価値関数更新部は、行動価値関数の更新において、前記誤差による影響を前記適格度トレースで調整する、
ことを特徴とする請求項１に記載の品質クラス割当方策決定装置。
【請求項３】
ある状態の下でのある品質クラスに係る品質クラス割当方策は、当該状態における、割り当て可能な品質クラスの集合に含まれる全ての品質クラスに係る行動価値関数の総合に対する当該品質クラスに係る行動価値関数の割合として算出される、
ことを特徴とする請求項１又は請求項２に記載の品質クラス割当方策決定装置。
【請求項４】
全てのドメイン間パスに対して共通の品質クラス割り当て方策を決定することを特徴とする請求項１から請求項３のいずれか１項に記載の品質クラス割当方策決定装置。
【請求項５】
ドメイン間パスが向かう隣接する下流ドメイン別にドメイン間パスの設定の可否を観測し、ドメイン間パスが向かう隣接する下流ドメイン別に品質クラス割り当て方策を決定することを特徴とする請求項１から請求項３のいずれか１項に記載の品質クラス割当方策決定装置。
【請求項６】
ドメイン間パスの着ドメイン別にドメイン間パス設定の可否を観測し、ドメイン間パスの着ドメイン別に品質クラス割り当て方策を決定することを特徴とする請求項１から請求項３のいずれか１項に記載の品質クラス割当方策決定装置。
【請求項７】
複数のドメインが接続されてなる通信ネットワークシステムにおける制御対象ドメインにおいて、エンド・ツー・エンドの所要品質値が与えられたドメイン間パスに割り当てる品質クラスを決定するための方策を決定する品質クラス割当方策決定処理を行うためのコンピュータプログラムであって、
制御対象ドメインにドメイン間パス設定要求が到着した時点の状態を、制御対象ドメインにおけるリソース量情報、制御対象ドメインから着ドメインまでに経由する経由ドメイン数、及び、制御対象ドメインから着ノードまでの残余品質値、の組合せによって記録する状態管理ステップと、
品質クラス割当方策に従って、割り当て可能品質クラスの中からドメイン間パスに割り当てる品質クラスを選択する品質クラス割り当てステップと、
制御対象ドメインの下流ドメインにおけるドメイン間パスの設定の成否を観測し、該観測結果に基づいて収益を決定する収益決定ステップと、
前回のドメイン間パス設定要求に係る前記収益と今回のドメイン間パス設定要求到着時点の状態で最適な品質クラスによって将来的に得られると予想される収益とに対する、前回のドメイン間パス設定要求到着時点の状態で実際にドメイン間パスに割り当てられた品質クラスによって将来的に得られると予想される収益の誤差を算出する誤差算出ステップと、
前記誤差を用いて、ある状態の下である品質クラスによって将来的に得られると予想される収益を表す行動価値関数を更新する行動価値関数更新ステップと、
行動価値関数に基づいた強化比較法によって品質クラス割当方策を決定する方策決定ステップと、
をコンピュータに実行させるためのコンピュータプログラム。
【請求項８】
ドメイン間パスに実際に割り当てた品質クラスについての適格度トレースを、トレース減衰パラメータを用いて更新する適格度トレース更新ステップをさらにコンピュータに実行させるためのコンピュータプログラムであり、
前記行動価値関数更新ステップでは、行動価値関数の更新において、前記誤差による影響を前記適格度トレースで調整する、
ことを特徴とする請求項７に記載のコンピュータプログラム。
【請求項９】
ある状態の下でのある品質クラスに係る品質クラス割当方策は、当該状態における、割り当て可能な品質クラスの集合に含まれる全ての品質クラスに係る行動価値関数の総合に対する当該品質クラスに係る行動価値関数の割合として算出される、
ことを特徴とする請求項７又は請求項８に記載のコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、品質クラス割当方策決定装置及びコンピュータプログラムに関する。
【背景技術】
【０００２】
インターネットなどの大規模ネットワークは、一般的に、複数のネットワークが接続されて構成される。大規模ネットワークを構成する個々のネットワークの領域のことを、以下ではドメインと称する。
【０００３】
非特許文献１，特許文献１には、複数のドメインからなる大規模ネットワークにおいて、あるドメイン（対象ドメイン）に対し、ドメイン間パスに割り当てる品質クラスを決定するための方策を決定する技術が開示されている。この従来の品質クラス割当方策決定技術では、ドメイン間パスの設定要求到着過程がマルコフ過程であると仮定している。まず、対象ドメインを含む着ノードまでの残余品質値と着ドメインまでの経由ドメイン数の組ごとに、ドメイン間パスの設定要求到着率を観測する。さらに、対象ドメインを含まない着ノードまでの残余品質値と着ドメインまでの経由ドメイン数の組ごとに、ドメイン間パスの設定要求成功率を観測する。そして、それらの観測結果を用いて、対象ドメインにおける品質クラス別のパス収容状態に応じて、ドメイン間パスの残余品質値と経由ドメイン数の組ごとに、ドメイン間パスに割り当てるべき品質クラスを、割り当て可能品質クラスの中から選択している。
【非特許文献１】荻野長生，中村元、“品質保証ドメイン間パスへの状態依存型品質クラス割り当て方式”、電子情報通信学会技術研究報告、IN2006-222、pp.249-254、２００７年３月
【特許文献１】特開２００８−２０５９３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上述した従来の技術では、ドメイン間パスの設定要求到着過程がマルコフ過程であると仮定しているために、実際の設定要求到着過程がマルコフ過程に従わないときは、品質クラスの割り当てを適切に行うことができない。また、ドメイン間パスに割り当てるべき品質クラスを決定するためには、対象ドメインにおける品質クラス別のパス収容状態の数と同じ数の方程式を含む連立方程式を複数回解く必要があるので、計算量が膨大となって時間がかかる。
【０００５】
本発明は、このような事情を考慮してなされたもので、その目的は、ドメイン間パスの設定要求到着過程などの状況の変化に対して柔軟に適応すること、計算量の削減を図ること、を実現可能な品質クラス割当方策決定装置及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明に係る品質クラス割当方策決定装置は、複数のドメインが接続されてなる通信ネットワークシステムにおける制御対象ドメインにおいて、エンド・ツー・エンドの所要品質値が与えられたドメイン間パスに割り当てる品質クラスを決定するための方策を決定する品質クラス割当方策決定装置であり、制御対象ドメインにドメイン間パス設定要求が到着した時点の状態を、制御対象ドメインにおけるリソース量情報、制御対象ドメインから着ドメインまでに経由する経由ドメイン数、及び、制御対象ドメインから着ノードまでの残余品質値、の組合せによって記録する状態管理部と、品質クラス割当方策に従って、割り当て可能品質クラスの中からドメイン間パスに割り当てる品質クラスを選択する品質クラス割り当て部と、制御対象ドメインの下流ドメインにおけるドメイン間パスの設定の成否を観測し、該観測結果に基づいて収益を決定する収益決定部と、前回のドメイン間パス設定要求に係る前記収益と今回のドメイン間パス設定要求到着時点の状態で最適な品質クラスによって将来的に得られると予想される収益とに対する、前回のドメイン間パス設定要求到着時点の状態で実際にドメイン間パスに割り当てられた品質クラスによって将来的に得られると予想される収益の誤差を算出する誤差算出部と、前記誤差を用いて、ある状態の下である品質クラスによって将来的に得られると予想される収益を表す行動価値関数を更新する行動価値関数更新部と、行動価値関数に基づいた強化比較法によって品質クラス割当方策を決定する方策決定部と、を備えたことを特徴とする。
【０００７】
本発明に係る品質クラス割当方策決定装置においては、ドメイン間パスに実際に割り当てた品質クラスについての適格度トレースを、トレース減衰パラメータを用いて更新する適格度トレース更新部を備え、前記行動価値関数更新部は、行動価値関数の更新において、前記誤差による影響を前記適格度トレースで調整することを特徴とする。
【０００８】
本発明に係る品質クラス割当方策決定装置においては、ある状態の下でのある品質クラスに係る品質クラス割当方策は、当該状態における、割り当て可能な品質クラスの集合に含まれる全ての品質クラスに係る行動価値関数の総合に対する当該品質クラスに係る行動価値関数の割合として算出されることを特徴とする。
【０００９】
本発明に係る品質クラス割当方策決定装置においては、全てのドメイン間パスに対して共通の品質クラス割り当て方策を決定することを特徴とする。
【００１０】
本発明に係る品質クラス割当方策決定装置においては、ドメイン間パスが向かう隣接する下流ドメイン別にドメイン間パスの設定の可否を観測し、ドメイン間パスが向かう隣接する下流ドメイン別に品質クラス割り当て方策を決定することを特徴とする。
【００１１】
本発明に係る品質クラス割当方策決定装置においては、ドメイン間パスの着ドメイン別にドメイン間パス設定の可否を観測し、ドメイン間パスの着ドメイン別に品質クラス割り当て方策を決定することを特徴とする。
【００１２】
本発明に係るコンピュータプログラムは、複数のドメインが接続されてなる通信ネットワークシステムにおける制御対象ドメインにおいて、エンド・ツー・エンドの所要品質値が与えられたドメイン間パスに割り当てる品質クラスを決定するための方策を決定する品質クラス割当方策決定処理を行うためのコンピュータプログラムであって、制御対象ドメインにドメイン間パス設定要求が到着した時点の状態を、制御対象ドメインにおけるリソース量情報、制御対象ドメインから着ドメインまでに経由する経由ドメイン数、及び、制御対象ドメインから着ノードまでの残余品質値、の組合せによって記録する状態管理ステップと、品質クラス割当方策に従って、割り当て可能品質クラスの中からドメイン間パスに割り当てる品質クラスを選択する品質クラス割り当てステップと、制御対象ドメインの下流ドメインにおけるドメイン間パスの設定の成否を観測し、該観測結果に基づいて収益を決定する収益決定ステップと、前回のドメイン間パス設定要求に係る前記収益と今回のドメイン間パス設定要求到着時点の状態で最適な品質クラスによって将来的に得られると予想される収益とに対する、前回のドメイン間パス設定要求到着時点の状態で実際にドメイン間パスに割り当てられた品質クラスによって将来的に得られると予想される収益の誤差を算出する誤差算出ステップと、前記誤差を用いて、ある状態の下である品質クラスによって将来的に得られると予想される収益を表す行動価値関数を更新する行動価値関数更新ステップと、行動価値関数に基づいた強化比較法によって品質クラス割当方策を決定する方策決定ステップと、をコンピュータに実行させるためのコンピュータプログラムである。
【００１３】
本発明に係るコンピュータプログラムにおいては、ドメイン間パスに実際に割り当てた品質クラスについての適格度トレースを、トレース減衰パラメータを用いて更新する適格度トレース更新ステップをさらにコンピュータに実行させるためのコンピュータプログラムであり、前記行動価値関数更新ステップでは、行動価値関数の更新において、前記誤差による影響を前記適格度トレースで調整することを特徴とする。
【００１４】
本発明に係るコンピュータプログラムにおいては、ある状態の下でのある品質クラスに係る品質クラス割当方策は、当該状態における、割り当て可能な品質クラスの集合に含まれる全ての品質クラスに係る行動価値関数の総合に対する当該品質クラスに係る行動価値関数の割合として算出されることを特徴とする。
これにより、前述の品質クラス割当方策決定装置がコンピュータを利用して実現できるようになる。
【発明の効果】
【００１５】
本発明によれば、ドメイン間パスの設定要求到着過程などの状況の変化に対して柔軟に適応することができる。また、ドメイン間パス設定要求の到着毎に簡単な更新演算を行えばよく、計算量の削減を図ることができる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照し、本発明の実施形態について説明する。
図１は、本発明の一実施形態に係る大規模ネットワークの全体構成を示す概念図である。図１において、大規模ネットワークは、プロトコルあるいはネットワーク管理者がそれぞれ異なる複数のネットワーク（ドメイン）を相互に接続することにより構成されている。
【００１７】
図１の大規模ネットワークにおいて、ドメイン間パスは、発ノード３の在る発ドメイン２から少なくとも１つのドメイン（経由ドメイン）を経由して着ノード５の在る着ドメイン４に至るパスである。ドメイン間パスに対しては、エンド・ツー・エンドの所要品質値（エンド・ツー・エンド品質値）が与えられる。エンド・ツー・エンド品質値は、例えば、パケット伝送遅延時間の許容値、パケット伝送遅延ゆらぎ時間の許容値、パケット損失率の許容値、などである。
【００１８】
ドメイン間パスの設定方法としては、予め発着ドメイン毎に決められた１本の最短ドメイン間経路に沿ってドメイン間パスを設定する。発ノード３から出されたドメイン間パス設定要求メッセージは、最短ドメイン間経路に沿って、各経由ドメインに順番に到着する。このとき、ドメイン間パス設定要求メッセージは、着ノード５までの残余品質値と着ドメイン４までに経由する経由ドメイン数の情報を各経由ドメインに通知する。残余品質値は、前段の経由ドメインまでに消費された消費品質値をエンド・ツー・エンド品質値から差し引いた残りの消費可能な品質値である。各経由ドメインは、ドメイン間パス設定要求が到着した場合、ドメイン間パスに割り当てる品質クラスを適切に決定することが要求される。
【００１９】
各ドメインには、ポリシーサーバ１が設けられる。ポリシーサーバ１は、自己のドメイン（制御対象ドメイン７）に対し、ドメイン間パスに割り当てる品質クラスを決定するための方策（品質クラス割当方策）を決定する。そして、ポリシーサーバ１は、制御対象ドメイン７に対し、品質クラス割当方策に従ってドメイン間パスに品質クラスを割り当てる。
【００２０】
ポリシーサーバ１は、制御対象ドメイン７の境界に設けられた境界ノード８から、ドメイン間パス設定要求メッセージの内容を受け取る。境界ノード８は、ドメイン間パス設定要求メッセージの内容を更新してから、該ドメイン間パス設定要求メッセージを後段のドメインへ転送する。また、ポリシーサーバ１は、境界ノード８から設定要求損失メッセージの内容を受け取る。設定要求損失メッセージは、経由ドメインの境界ノード８又は着ドメイン４の境界ノード６が発信するものであり、ドメイン間パスの設定の成否の情報を含む。
【００２１】
図２は、図１に示すポリシーサーバ１の構成を示すブロック図である。図２において、ポリシーサーバ１は、ドメイン間パス設定要求受信部２１とドメイン間パス設定要求到着状態管理部２２と品質クラス割り当て部２３と設定要求損失受信部２４と収益決定部２５と行動価値予測誤差算出部２６と行動価値関数更新部２７と適格度トレース更新部２８を有する。
【００２２】
ドメイン間パス設定要求受信部２１は、境界ノード８からドメイン間パス設定要求メッセージの内容を受信する。ドメイン間パス設定要求到着状態管理部２２は、ドメイン間パス設定要求メッセージが到着した状態を記録、管理する。品質クラス割り当て部２３は、品質クラス割当方策に従って、ドメイン間パスに品質クラスを割り当てる。
【００２３】
設定要求損失受信部２４は、境界ノード８から設定要求損失メッセージの内容を受信する。収益決定部２５は、設定要求損失メッセージの内容に基づいて、収益を決定する。行動価値予測誤差算出部２６は、行動価値予測における誤差を算出する。行動価値関数更新部２７は、行動価値関数を更新する。適格度トレース更新部２８は、適格度トレースを更新する。
【００２４】
なお、本実施形態に係るポリシーサーバ１は、専用のハードウェアにより実現されるものであってもよく、あるいはパーソナルコンピュータ等のコンピュータシステムにより構成され、図２に示されるポリシーサーバ１の各部の機能を実現するためのプログラムを実行することによりその機能を実現させるものであってもよい。
【００２５】
また、そのポリシーサーバ１には、周辺機器として入力装置、表示装置等（いずれも図示せず）が接続されるものとする。ここで、入力装置とはキーボード、マウス等の入力デバイスのことをいう。表示装置とはＣＲＴ（Cathode Ray Tube）や液晶表示装置等のことをいう。
また、上記周辺機器については、ポリシーサーバ１に直接接続するものであってもよく、あるいは通信回線を介して接続するようにしてもよい。
【００２６】
次に、図３を参照して、本実施形態に係るポリシーサーバ１の動作を説明する。図３は、本実施形態に係る品質クラス割当方策決定方法の手順を示すフローチャートである。
【００２７】
はじめに、ドメイン間パス設定要求到着状態“state”について説明する。ドメイン間パス設定要求到着状態“state”は、制御対象ドメイン７にドメイン間パス設定要求メッセージが到着した時点の状態を表すものである。ドメイン間パス設定要求到着状態“state”は、ドメイン間パス設定要求メッセージ到着時点の制御対象ドメイン７におけるリソース量情報（使用リソース量、又は残余リソース量）、制御対象ドメイン７から着ドメイン４までに経由する経由ドメイン数、及び、制御対象ドメイン７から着ノード５までの残余品質値、の組合せによって表現される。但し、状態数を減らすことを目的として、使用リソース量が所定の閾値以下のものは、全て同じ使用リソース量として扱うこととする。ドメイン間パス設定要求到着状態のことを以下では単に状態と称する。
【００２８】
また、ドメイン間パスに割り当て可能な品質クラス“class”は、予め決定されている。ドメイン間パスに割り当て可能な品質クラス“class”の情報は、ポリシーサーバ１に予め設定される。ドメイン間パスに割り当て可能な品質クラスのことを以下では割り当て可能品質クラスと称する。
【００２９】
図３において、まずステップＳ１では、状態“state”と割り当て可能品質クラス“class”の全組合せに対し、行動価値関数Ｑ（state，class）と適格度トレースｅ（state，class）をともに初期値“０”に初期化する。行動価値関数Ｑ（state，class）の初期化は行動価値関数更新部２７が行って「Ｑ（state，class）＝０」を記録する。適格度トレースｅ（state，class）の初期化は適格度トレース更新部２８が行って「ｅ（state，class）＝０」を記録する。
【００３０】
次いで、ステップＳ２では、ドメイン間パス設定要求受信部２１が、ドメイン間パス設定要求メッセージの到着を待つ。ドメイン間パス設定要求メッセージが制御対象ドメイン７に到着したら、ステップＳ３に進む。
【００３１】
ステップＳ３では、品質クラス割り当て部２３が、該ドメイン間パス設定要求メッセージ到着時点の状態“state”の下で品質クラス割り当て方策πを計算する。品質クラス割り当て方策πの計算方法については後述する。品質クラス割り当て部２３は、その計算結果の品質クラス割り当て方策πに従って、割り当て可能品質クラス“class”の中からドメイン間パスに割り当てる品質クラス“class”を選択する。ポリシーサーバ１は、該選択した品質クラス“class”を制御対象ドメイン７の各ノードに指示する。これにより、当該ドメイン間パスに対し、品質クラス割り当て方策πに従って選択された品質クラス“class”が実際に割り当てられる。
【００３２】
次いで、ステップＳ４では、設定要求損失受信部２４が制御対象ドメイン７に到着する設定要求損失メッセージを観測する。この観測では、ドメイン間パスの設定が成功したか否かを調査する。そして、ドメイン間パスの設定が失敗した場合には、さらに、制御対象ドメイン７も含めて幾つ後段のドメインで失敗になったかを調査する。そして、収益決定部２５が、その観測結果に基づいて、収益ｒを決定する。ドメイン間パスの設定が成功した場合は「ｒ＝１」とする。ドメイン間パスの設定が失敗した場合は、失敗になったドメインが制御対象ドメイン７に近いほど、ｒの値を小さくする。但し、「０≦ｒ≦１」であり、制御対象ドメイン７で失敗になった場合に「ｒ＝０」とする。
【００３３】
次いで、ステップＳ５では、適格度トレース更新部２８が、入れ替え更新トレース法に基づいて、（１）式により、適格度トレースｅ（state，class）を更新する。但し、状態“state”はドメイン間パス設定要求メッセージ到着時点の状態である。割り当て可能品質クラス“class”はステップＳ３で実際にドメイン間パスに割り当てた品質クラスである。
【００３４】
【数１】
2010087835.tif 000003
【００３５】
次いで、ステップＳ６では、ドメイン間パス設定要求受信部２１が、次のドメイン間パス設定要求メッセージの到着を待つ。新たなドメイン間パス設定要求メッセージが制御対象ドメイン７に到着したら、ステップＳ７に進む。
【００３６】
ステップＳ７では、行動価値予測誤差算出部２６が、新たなドメイン間パス設定要求メッセージ到着時点の状態“state'”と状態“state'”における最適な割り当て可能品質クラス“class*”の組合せに対し、行動価値予測における誤差δを計算する。状態“state'”における最適な割り当て可能品質クラス“class*”は（２）式により求められる。誤差δは（３）式により求められる。
【００３７】
【数２】
2010087835.tif 000004
【００３８】
【数３】
2010087835.tif 000005
【００３９】
但し、γは所定の割引率パラメータ（定数）であり、「０＜γ≦１」である。
（３）式において、行動価値関数Ｑ（state，class）は、前回のドメイン間パス設定要求メッセージ到着時点の状態“state”の下で実際にドメイン間パスに割り当てられた品質クラス“class”によって将来的に得られると予想される収益を表している。また、行動価値関数Ｑ（state'，class*）は、今回のドメイン間パス設定要求メッセージ到着時点の状態“state'”の下で最適な割り当て可能品質クラス“class*”によって将来的に得られると予想される収益を表している。
【００４０】
次いで、ステップＳ８では、行動価値関数更新部２７が、誤差δを用いて、状態“state”と割り当て可能品質クラス“class”の全組合せに対し、行動価値関数Ｑ（state，class）を（４）式により更新する。
【００４１】
【数４】
2010087835.tif 000006
【００４２】
但し、αは所定のステップサイズパラメータ（定数）であり、「０＜α≦１」である。
【００４３】
次いで、ステップＳ９では、適格度トレース更新部２８が、状態“state”と割り当て可能品質クラス“class”の全組合せに対し、適格度トレースｅ（state，class）を（５）式により更新する。この結果、更新後の適格度トレースｅ（state，class）が所定の最小適格度トレース“emin”より小さくなった場合は、当該適格度トレースｅ（state，class）を“０”にリセットする。全ての適格度トレースｅ（state，class）の更新が終了したら、状態“state”を（６）式により更新する。
【００４４】
【数５】
2010087835.tif 000007
【００４５】
但し、λは所定のトレース減衰パラメータ（定数）であり、「０＜λ＜１」である。
【００４６】
【数６】
2010087835.tif 000008
【００４７】
次いで、ステップＳ９の処理が終了したらステップＳ３に進み、以降、ステップＳ３〜Ｓ９を繰り返す。
【００４８】
次に、上記ステップＳ３における品質クラス割り当て方策πの計算方法を説明する。
制御対象ドメイン７以外の他の経由ドメインにおける品質クラス割り当て方策、及び、ドメイン間パス設定要求メッセージの到着過程の変化、に対して柔軟に適応するためには、最適な品質クラスの割り当てのみではなく、最適ではない品質クラスの割り当てについても、定常的に試行することが有効であると考えられる。このような知見から、品質クラス割り当て方策πには、グリーディな方策ではなく、行動価値関数に基づいた強化比較法を適用する。具体的には、状態“state”の下で品質クラス“class”をドメイン間パスに割り当てる確率π（state，class）を、（７）式により計算する。
【００４９】
【数７】
2010087835.tif 000009
【００５０】
但し、ｅは自然対数の底である。εは所定の最小品質クラス割り当て確率（定数）である。Classは割り当て可能な品質クラスの集合である。
【００５１】
（７）式で算出された品質クラス割り当て方策（確率）πに従って、実際にドメイン間パスに割り当てる品質クラスを選択することにより、必ずしも最適ではない品質クラス割り当てについても定常的に試行されることになるので、外部環境の変化に対して追随することができるという効果が得られる。
【００５２】
上述したように本実施形態によれば、ドメイン間パスの設定要求到着過程などの状況の変化に対して柔軟に適応することができる。また、ドメイン間パス設定要求の到着毎に簡単な更新演算を行えばよく、計算量の削減を図ることができる。
【００５３】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
例えば、品質クラス割り当て方策の決定の仕方として、
（方法１）全てのドメイン間パスに対して共通の品質クラス割り当て方策を決定する、
（方法２）ドメイン間パスが向かう隣接する下流ドメイン別に品質クラス割り当て方策を決定する、
（方法３）ドメイン間パスの着ドメイン別に品質クラス割り当て方策を決定する、
などが挙げられる。
方法２の場合、ドメイン間パスが向かう隣接する下流ドメイン別にドメイン間パスの設定の可否を観測し、ドメイン間パスが向かう隣接する下流ドメイン別に品質クラス割り当て方策を決定する。
方法３の場合、ドメイン間パスの着ドメイン別にドメイン間パス設定の可否を観測し、ドメイン間パスの着ドメイン別に品質クラス割り当て方策を決定する。
【００５４】
なお、図３に示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、品質クラス割当方策決定処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disk）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００５５】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【図面の簡単な説明】
【００５６】
【図１】本発明の一実施形態に係る大規模ネットワークの全体構成を示す概念図である。
【図２】図１に示すポリシーサーバ１の構成を示すブロック図である。
【図３】本発明の一実施形態に係る品質クラス割当方策決定方法の手順を示すフローチャートである。
【符号の説明】
【００５７】
１…ポリシーサーバ（品質クラス割当方策決定装置）、２…発ドメイン、３…発ノード、４…着ドメイン、５…着ノード、６，８…境界ノード、７…制御対象ドメイン、２１…ドメイン間パス設定要求受信部、２２…ドメイン間パス設定要求到着状態管理部、２３…品質クラス割り当て部（方策決定部）、２４…設定要求損失受信部、２５…収益決定部、２６…行動価値予測誤差算出部、２７…行動価値関数更新部、２８…適格度トレース更新部
【図１】
2010087835.tif 000010
【図２】
2010087835.tif 000011
【図３】
2010087835.tif 000012