"移動体通信網の状態変数に応じて前記移動体通信網の制御パラメータを設定するパラメータ設定装置であって、前記状態変数に応じた各最適化処理の行動価値を定める共通の価値関数に従い、前記移動体通信網内の異なる複数の範囲の各々について、前記範囲内の状態変数に応じて前記制御パラメータを最適化する複数の最適化処理のうちいずれかを選択して実行する処理と、前記複数の範囲の各々について、前記範囲内の状態変数に応じた報酬を決定する処理と、前記範囲毎に決定された前記報酬毎に、前記報酬に応じて前記共通の価値関数を更新する強化学習を行う強化学習処理と、を実行するプロセッサを備えることを特徴とするパラメータ設定装置。前記プロセッサは、前記複数の範囲の各々について、前記範囲内の状態変数に応じた各最適化処理の行動価値を定める第1価値関数を強化学習により学習する第1学習処理と、前記範囲毎に学習した第1価値関数を合成することにより第2価値関数を前記共通の価値関数として定める合成処理と、を実行し、共通の前記第2価値関数に合成される第1価値関数の学習が各々行われた複数の前記範囲について決定される前記報酬毎に、前記報酬に応じて前記共通の第2価値関数を更新する強化学習を行う第2学習処理を、前記強化学習処理として実行することを特徴とする請求項1に記載のパラメータ設定装置。前記プロセッサは、第1価値関数間の類似度を決定する類似度決定処理と、前記合成処理において第1価値関数を合成するか否かを、前記第1価値関数間の類似度に応じて定める可否判断処理と、を実行することを特徴とする請求項2に記載のパラメータ設定装置。前記類似度決定処理において前記プロセッサは、同一の状態変数に対して最大の行動価値を有する最適化処理が一致する程度に応じて、第1価値関数間の類似度を決定することを特徴とする請求項3に記載のパラメータ設定装置。前記合成可否判断処理において前記プロセッサは、第1価値関数を合成するか否かを、第1価値関数間の類似度が高い組合せから順に判断し、一対の第1価値関数を合成するか否かを判断する場合に、前記一対の第1価値関数の一方の第1価値関数が、前記一対の第1価値関数の他方の第1価値関数以外の更に他の第1価値関数と合成されることが決定されている場合に、前記他方の第1価値関数と前記更に他の第1価値関数との類似度に応じて判断することを特徴とする請求項3~4のいずれか一項に記載のパラメータ設定装置。前記合成処理において前記プロセッサは、合成される第1価値関数間における行動価値の平均値を、第2価値関数の行動価値として定める請求項2~5のいずれか一項に記載のパラメータ設定装置。第2価値関数の合成後に前記プロセッサは、前記第2価値関数に合成された前記第1価値関数を強化学習により学習する処理と、前記第1価値関数の学習が各々行われる複数の範囲において、前記第1価値関数に従い複数の最適化処理のうちいずれかを選択して実行する処理と、を実施し、前記第1価値関数の学習が各々行われる複数の範囲において、前記第2価値関数に従い最適化処理を選択して実行する処理を停止することを特徴とする請求項2~6のいずれか一項に記載のパラメータ設定装置。前記プロセッサは、前記第2価値関数に合成された前記第1価値関数間の類似度を決定する処理を実行し、前記類似度が所定の条件を満たす場合には、前記第2価値関数に従い最適化処理を選択して実行する処理を停止して、前記第1価値関数に従い最適化処理のうちいずれかを選択して実行することを特徴とする請求項7に記載のパラメータ設定装置。前記プロセッサは、複数のセルをグループ化して形成されるセルのグループ毎に、共通の第1価値関数に従い、セル内の状態変数に応じて複数の最適化処理のうちいずれかを選択して実行する処理と、セル内の状態変数に応じた報酬を決定する処理と、を実行し、前記第1学習処理において、前記報酬に応じて前記共通の第1価値関数を更新する強化学習を行うことを特徴とする請求項2~8のいずれか一項に記載のパラメータ設定装置。前記プロセッサは、前記移動体通信網の制御パラメータに対する状態変数の変化をシミュレートすることにより、前記第1学習処理を実行することを特徴とする請求項2~9のいずれか一項に記載のパラメータ設定装置。移動体通信網の状態変数に応じて前記移動体通信網の制御パラメータを設定するコンピュータプログラムであって、前記コンピュータプログラムは、前記状態変数に応じた各最適化処理の行動価値を定める共通の価値関数に従い、前記移動体通信網内の異なる複数の範囲の各々について、前記範囲内の状態変数に応じて、前記制御パラメータを最適化する複数の最適化処理のうちいずれかを選択して実行する処理と、前記複数の範囲の各々について、前記範囲内の状態変数に応じた報酬を決定する処理と、前記範囲毎に決定された前記報酬毎に、前記報酬に応じて前記共通の価値関数を更新する強化学習を行う強化学習処理と、をコンピュータに実行させることを特徴とするコンピュータプログラム。移動体通信網の状態変数に応じて該移動体通信網の制御パラメータを設定するパラメータ設定方法であって、コンピュータに、前記状態変数に応じた各最適化処理の行動価値を定める共通の価値関数に従い、前記移動体通信網内の異なる複数の範囲の各々について、前記範囲内の状態変数に応じて、前記制御パラメータを最適化する複数の最適化処理のうちいずれかを選択して実行する処理と、前記複数の範囲の各々について、前記範囲内の状態変数に応じた報酬を決定する処理と、前記範囲毎に決定された前記報酬毎に、前記報酬に応じて前記共通の価値関数を更新する強化学習を行う強化学習処理と、を実行させることを特徴とするパラメータ設定方法。開示の装置及び方法は、移動体通信網の状態に応じたユースケースの適用を学習するために強化学習を行う場合における学習効率を向上することを目的とする。装置の一観点によれば、移動体通信網の状態変数に応じて移動体通信網の制御パラメータを設定するパラメータ設定装置が与えられる。パラメータ設定装置は、状態変数に応じた各最適化処理の行動価値を定める共通の価値関数に従い、移動体通信網内の異なる複数の範囲の各々について、範囲内の状態変数に応じて制御パラメータを最適化する複数の最適化処理のうちいずれかを選択して実行する処理と、複数の範囲の各々について、範囲内の状態変数に応じた報酬を決定する処理と、この範囲毎に決定された報酬毎に、報酬に応じて共通の価値関数を更新する強化学習を行う強化学習処理を実行するプロセッサを備える。コンピュータプログラムの一観点によれば、移動帯通信網の状態変数に応じて移動帯通信網の制御パラメータを設定するコンピュータプログラムが与えられる。コンピュータプログラムは、状態変数に応じた各最適化処理の行動価値を定める共通の価値関数に従い、移動体通信網内の異なる複数の範囲の各々について、範囲内の状態変数に応じて制御パラメータを最適化する複数の最適化処理のうちいずれかを選択して実行する処理と、複数の範囲の各々について、範囲内の状態変数に応じた報酬を決定する処理と、この範囲毎に決定された報酬毎に、報酬に応じて共通の価値関数を更新する強化学習を行う強化学習処理をコンピュータに実行させる。方法の一観点によれば、移動帯通信網の状態変数に応じて移動体通信網の制御パラメータを設定するパラメータ設定方法が与えられる。パラメータ設定方法はコンピュータに、状態変数に応じた各最適化処理の行動価値を定める共通の価値関数に従い、移動体通信網内の異なる複数の範囲の各々について、範囲内の状態変数に応じて制御パラメータを最適化する複数の最適化処理のうちいずれかを選択して実行する処理と、複数の範囲の各々について、範囲内の状態変数に応じた報酬を決定する処理と、この範囲毎に決定された報酬毎に、報酬に応じて共通の価値関数を更新する強化学習を行う強化学習処理を実行させる。本件開示の装置又は方法によれば、移動体通信網の状態に応じたユースケースの適用を学習するために強化学習を行う場合における学習効率が向上する。<1.システム構成例>以下、添付する図面を参照しての実施例について説明する。図1は、通信システムの全体構成例を示す図である。通信システム1は、パラメータ設定装置2及び移動体通信網3を備える。移動体通信網3は、基地局装置4a~4c及び移動局装置5a~5cによって形成される。参照符号6a~6cは、それぞれ基地局4a~4cによってカバーされるセルを示している。なお、以下の説明において、基地局装置及び移動局装置をそれぞれ基地局及び移動局と表記することがある。また、以下の説明において、基地局4a~4c、移動局5a~5c及びセル6a~6cを総称して、それぞれ基地局4、移動局5及びセル6と表記することがある。パラメータ設定装置2は、基地局4及び移動局5から移動体通信網3の状態を収集し、移動体通信網3の状態に応じて基地局4及び移動局5を制御する制御パラメータを最適化する。移動体通信網3の状態の収集と制御パラメータの送信のため、パラメータ設定装置2は基地局4と有線ネットワークによって接続されていてよい。パラメータ設定装置2は、想定したユースケースに基づいて制御パラメータを自動的に最適化するため制御手段として、複数のSONアプリケーションSONApplicationを備える。また、パラメータ設定装置2は、移動体通信網3の状態に応じて適切なSONアプリケーションを選択して動作させるSONコントローラを備える。<2.ハードウエア構成>続いて、パラメータ設定装置2の構成について説明する。図2は、パラメータ設定装置のハードウエア構成の第1例を示す図である。パラメータ設定装置2は、CPU10と、記憶装置11と、有線インタフェース12を備えるコンピュータである。なお、図2に示すハードウエア構成は、あくまでパラメータ設定装置2を実現する構成例の1つである。本明細書において後述する処理を実行するものであれば、他のどのようなハードウエア構成が採用されてもよい。記憶装置11には、パラメータ設定プログラム14及びデータ15が記憶される。記憶部11は、ランダムアクセスメモリRAMRandomAccessMemoryや、読み出し専用メモリROMReadOnlyMemoryや不揮発性メモリやハードディスクなどを記憶素子として含んでいてよい。CPU10は、記憶装置11に記憶されるパラメータ設定プログラム14を実行することにより、制御パラメータを設定するための後述の処理を実行する。有線インタフェース12は、基地局4との通信処理を行う。CPU10と、記憶装置11と、有線インタフェース12は、バス13で接続されている。パラメータ設定装置2は、コンピュータに読み取り可能な可搬型記録媒体に記憶されたデータを読み取るための図示しないリムーバブルメディア読取部を備えていてもよい。リムーバブルメディア読み取り部は、例えばCD-ROMドライブ装置やDVD-ROMドライブ装置、フレキシブルディスクドライブ装置、CD-Rドライブ装置や、DVD-Rドライブ装置、MOドライブ装置、フラッシュメモリ装置へのアクセス装置であってよい。ある実施例では、パラメータ設定プログラム14はコンピュータ読み取り可能な可搬型記録媒体に格納されて頒布され、リムーバブルメディア読み取り部から記憶装置11にインストールされてよい。他の実施例でパラメータ設定装置2は、ローカルエリアネットワークLANやインターネット等などのネットワークとの間でプログラムや各種データを入出力するネットワークインタフェースを備えていてもよい。パラメータ設定プログラム14は、ネットワークインタフェースを経由して記憶装置11にインストールされてもよい。パラメータ設定プログラム14は、複数のエージェントプログラム20-1~20-nを備える。なお、以下の説明及び添付する図面においてエージェントプログラムをエージェントと表記することがある。また、エージェント20-1~20-nを総称してエージェント20と表記することがある。SONアプリケーションプログラム21~26は、CPU10により実行されることにより、制御パラメータを自動的に最適化するSONアプリケーションとしてパラメータ設定装置2を動作させるコンピュータプログラムである。以下の説明及び添付する図面において、特に説明がない限りSONアプリケーションプログラムをSONアプリケーションと表記する。SONアプリケーション21は、ICICセル間干渉調整InterCellInterferenceCoordination最適化を実施する。SONアプリケーション21は、干渉情報の収集周期の調整、及びエッジ/センタ間における無線リソース配分を最適化する。SONアプリケーション22は、各セルにおけるハンドオーバパラメータを最適化するMLBモビリティロードバランスMobilityLoadBalanceを実施する。SONアプリケーション23は、呼受付閾値を最適化するACアドミッション制御AdmissionControl最適化を実施する。SONアプリケーション24は、接続中の呼の強制切断の要否の基準となる輻輳状態の判定閾値を最適化するCC輻輳制御CongestionControl最適化を実施する。SONアプリケーション25は、基地局4のアンテナのチルト及びアジマスの設定、並びに送信電力を最適化するCCOカバレッジ及び容量の最適化CoverageCapacityOptimizationを実施する。SONアプリケーション26は、セル6の電波送信器の電源投入及び電源切断を最適化するESエナジーセービングEnergySavingを実施する。なお、上記列挙したSONアプリケーション21~26の処理は、移動体通信網3の制御パラメータを最適化する最適化処理の例示である。パラメータ設定装置2は、他の最適化処理を行うSONアプリケーションを備えてもよい。例えばパラメータ設定装置2は、MROモビリティロバストネス最適化MobilityRobustnessOptimization、LLRリンクレベル再送スキームLinklevelretransmissionschemeを行うSONアプリケーションを備えてもよい。また、例えばパラメータ設定装置2は、TAO呼び出しエリア最適化TrackingAreasOptimizationを行うSONアプリケーションを備えてもよい。エージェント20は、パラメータ設定装置2をSONコントローラとして動作させる。各エージェント20には1つ又はそれより多いセルが割り当てられる。各エージェント20は、割り当てられたセルの状態に応じてSONアプリケーション21~26の動作/不動作を制御し、SONアプリケーションを動作させる場合には、SONアプリケーション21~26のうちいずれかを選択して動作させる。エージェント20は、移動体通信網3の状態に応じたSONアプリケーションの起動の要否を学習し、及び移動体通信網3の状態に応じていずれのSONアプリケーションを起動するかを学習する。この学習は、強化学習によって行われる。記憶装置11には、強化学習に使用される価値関数30-1~価値関数30-kがデータ15として格納される。以下の説明において、価値関数30-1~価値関数30-kを総称して価値関数30と表記することがある。<3.強化学習>図3は、強化学習のモデルの説明図である。強化学習は、エージェント20が、環境100との相互作用から学習して最終的に受け取る報酬rtの総量を最大化するように方策を改善する行程である。このような強化学習の例としては、例えばQ-Learningが挙げられる。エージェント20は、以下の手順1及び2で学習する。1エージェント20は、時刻tにおいて採るべき行動atを環境100の状態stに応じて選択する。このとき、エージェント20は、価値関数Qs,aに基づいて、状態stにおいて最大な報酬を得られる行動atをある確率で優先的に選択する。価値関数Qs,aの例を図4に示す。価値関数Qs,aは、状態sで行動aをした場合の行動価値を与える。例えば、図4の価値関数Qs,aによると、状態stの個々の構成要素である状態構成要素1、2及び3の値がそれぞれ1a、2a及び3aである場合に、行動ac2を実行する行動価値は0.5となる。状態sの状態構成要素1~3がそれぞれ1a、2a及び3aならば、最も行動価値が高い行動はac1である。例えば、εグリーディ方策が採用される場合には、最も行動価値が高い行動ac1を選択する確率は1-εε/|As|により定められ、それ以外の行動ac2を選択する確率はε/|As|により定められる。ここで、値εは、0≦ε≦1の設定値であり、値|As|は、状態sにおいてエージェント20が選択可能な行動の数である。図4の例では、選択可能な行動の例はac1及びac2の2個である。2エージェント20の行動atにより、環境はst1へ状態遷移し、その遷移に応じた報酬rtがエージェント20に与えられる。エージェント20は、報酬rtに応じて、価値関数Qs,aを更新する。これにより価値関数から導出する方策が改善される。例えば、エージェント20は、以下のような数式に従いQs,aを更新してよい。設定値α及びγはそれぞれ学習率及び割引率である。なお、価値関数として、図4に示すテーブル形式の価値関数以外の関数も使用可能である。例えば、他の実施例では価値関数Qs,aとして、状態s及び行動aと、係数α1、α2、...を有する数式によって価値を算出する関数を使用してもよい。この場合にエージェント20は、報酬rtに応じて係数α1、α2、...を更新する。また、他の実施例では、εグリーディ方策に替えて他の方策を採用してもよい。他の実施例は、例えば、ソフトマックス法を採用してもよい。次に、SONコントローラによるSONアプリケーションの起動処理の学習に対してどのように強化学習が適用されるかを説明する。図5は、強化学習が適用されるSONコントローラの説明図である。SONコントローラに強化学習を適用する場合、一つのセル6または複数のセルによって構成されるシステムに一つの状態stと、エージェント20を一つ設け、エージェント20がいずれかのSONアプリケ-ションを行動atとしてを選択する。状態stは、状態構成要素を離散化した値を組合せて形成される。例えば、状態構成要素は、セルエッジセルスループット、セルエッジセル平均パケット転送効率、セルエッジセル平均干渉レベル、呼接続成功率、呼損率、無線リソース使用率、移動局分布、EnergySavingモード、隣接セル負荷であってよい。一方、報酬rtは、以下の報酬構成要素を重み付けしたのちにスカラー化することによって決定される。例えば、報酬構成要素は、例えば、セルスループット、呼接続成功率、呼損率、無線リソース使用率、負荷偏在度であってよい。そして、例えば、呼接続成功率、呼損率、無線リソース使用率を重みづけ係数W1~W3により、次式のように重みづけした後にスカラー値に変換する。報酬rt=W1×呼接続成功率W2×1-呼損率W3×1-無線リソース使用率これにより、例えば、エージェントは、呼接続成功率、呼損率が悪く、無線リソース使用率が高いが、移動局がセル全体に一様に分布している場合は、MLBではなく、CCO最適化を起動して、負荷分散及び負荷低減を図るように学習することが期待される。このような学習効果が期待されるのは、ハンドオーバパラメータを調整して、移動局の接続セルを変更することで、負荷分散するMLBは、セルエッジの移動局にしか効果を発揮することができないからである。<4.第1実施例>続いて、通信システム1の動作の実施例について説明する。図6は、学習処理の第1実施例の説明図である。エージェント20-1は、セル6aの状態に応じてSONアプリケーション21~26を選択し、セル6a内における移動体通信網3の制御パラメータを最適化する。エージェント20-2は、セル6bの状態に応じてSONアプリケーション21~26を選択し、セル6b内における移動体通信網3の制御パラメータを最適化する。なお、各エージェント20が制御パラメータを最適化する範囲は、単一セルであってもよく、複数のセルを集合した範囲であってもよい。このとき、エージェント20-1は、セル6aで測定される状態構成要素に基づいて状態を決定し、決定した状態に応じてSONアプリケーション21~26のいずれかを選択して動作させる。エージェント20-2は、セル6bで測定される状態構成要素に基づいて状態を決定し、決定した状態に応じてSONアプリケーション21~26のいずれかを選択して動作させる。エージェント20-1及び20-2は、共通の価値関数30-1に基づいて、SONアプリケーション21~26の動作又は不動作を選択し、動作させるアプリケーションを選択する。エージェント20-1は、セル6aで測定される報酬構成要素に応じて報酬を決定し、決定した報酬に応じて、共通の価値関数30-1の強化学習をエージェント20-2とは別に実行する。一方で、エージェント20-2は、セル6bで測定される報酬構成要素に応じて報酬を決定し、決定した報酬に応じて共通の価値関数30-1の強化学習をエージェント20-1とは別に実行する。このように、複数のエージェントが異なる範囲で決定した報酬に基づいて、共通の価値関数30-1の学習を独立して行うことにより、エージェント間で学習効果が共有される。図7は、エージェント20の処理の第1例の説明図である。なお、以下、図6を参照して説明する一連の処理は複数の手順を含む方法と解釈してよい。この場合にオペレーションをステップと読み替えてもよい。図10、図12及び図15に示す処理も同様である。オペレーションAAにおいて各エージェント20-1及び20-2は、初期値が設定されている価値関数30-1に従い、それぞれ割り当てられたセル6a及び6bで測定される状態に応じて実行させるSONアプリケーション21~26を選択する。各エージェント20-1及び20-2は、選択したアプリケーションを実行することにより、セル6a及び6bにおける制御パラメータを最適化する。オペレーションABにおいて各エージェント20-1及び20-2は、それぞれ割り当てられたセル6a及び6bで測定される報酬構成要素に応じて報酬を決定する。オペレーションACにおいて各エージェント20-1及び20-2は、それぞれ決定した報酬に基づいて共通の価値関数30-1の強化学習を実行する。オペレーションADにおいて各エージェント20-1及び20-2は、学習結果を反映した価値関数30-1に従い、セル6a及び6bで測定される状態に応じて実行させるSONアプリケーション21~26を選択する。各エージェント20-1及び20-2は、選択したアプリケーションを実行することにより、セル6a及び6bにおける制御パラメータを最適化する。以下、オペレーションAB~ADを反復する。本実施例によれば、複数のエージェントがそれぞれ異なる範囲で決定した報酬に基づいて行う学習結果がエージェント間で共有される。したがって、単一のエージェントがそれぞれ固有の価値関数の学習を行う場合に比べて、同じ期間内に反映される学習効果を増加することができる。この結果、学習効率が向上することになる。<5.第2実施例>続いて、他の実施例について説明する。本実施例では、特性が似通った複数のセルの制御パラメータの最適化をそれぞれ行う複数のエージェントによって、共通の価値関数の学習を行う。図8は、パラメータ設定装置のハードウエア構成の第2例を示す図である。図2に示す構成要素と同様の構成要素には図2で使用した参照符号と同じ参照符号を付し、同一の機能については説明を省略する。記憶装置11には、強化学習に使用される第1価値関数31-1~価値関数31-mと、第2価値関数32-1~価値関数32-kがデータ15として格納される。以下の説明において、第1価値関数31-1~価値関数31-mを総称して第1価値関数31と表記することがある。また、第2価値関数32-1~価値関数32-kを総称して第2価値関数32と表記することがある。また、パラメータ設定プログラム14は、エージェント20による価値関数の学習を制御する学習コントローラプログラム27を備える。以下の説明及び添付する図面において学習コントローラプログラムを学習コントローラと表記することがある。図9のA及び図9のBは、学習処理の第2実施例の説明図である。以下の第2実施例~第5実施例において、学習処理が、第1段階と第2段階に分けられる。図9のA及び図9のBは、それぞれ学習処理の第1段階及び第2段階を示す。第1段階では、エージェント20-1~20-4は、それぞれセル6a~6dにおける報酬を決定し、決定した報酬に応じて個別の第1価値関数31-1~31-4の強化学習を実行する。またエージェント20-1~20-4は、学習結果を反映した第1価値関数31-1~31-4にそれぞれ従い、セル6a~6dで測定される状態に応じて実行させるSONアプリケーション21~26を選択する。エージェント20-1~20-4は、それぞれ選択したアプリケーションを実行することで各セル6a~6dにおける制御パラメータを最適化する。第1価値関数31-1~31-4の学習及び制御パラメータの最適化は、所定期間に亘って反復される。その後、学習コントローラ27は、第1価値関数31相互間の類似度を判断する。学習コントローラ27は、類似度の高い第1価値関数31同士を合成することにより第2価値関数32を定める。図9のBは、第1価値関数31-1と第1価値関数31-2が合成されて第2価値関数32-1が定められ、第1価値関数31-3と第1価値関数31-4が合成されて第2価値関数32-2が定められた状態を示す。第2段階では、各エージェント20は、それぞれ第1段階で学習させていた第1価値関数31を合成して定められた第2価値関数32の強化学習を行う。また、エージェント20は、第1段階で学習させていた第1価値関数31を合成して定められた第2価値関数32に従って、それぞれが制御パラメータを最適化するセル6で実行するSONアプリケーション21~26を選択する。図9のBの例では、エージェント20-1及び20-2は、それぞれセル6a及び6bにおける報酬を独立して決定し、決定した報酬に応じて共通の第2価値関数32-1の強化学習を独立して実行する。エージェント20-3及び20-4は、それぞれセル6c及び6dにおける報酬を独立して決定し、決定した報酬に応じて共通の第2価値関数32-2の強化学習を独立して実行する。また、エージェント20-1及び20-2は、学習結果を反映した共通の第2価値関数32-1に従い、セル6a及び6bで測定される状態に応じて実行させるSONアプリケーション21~26を選択する。エージェント20-3及び20-4は、学習結果を反映した共通の第2価値関数32-2に従い、セル6c及び6dで測定される状態に応じて実行させるSONアプリケーション21~26を選択する。図10を参照して、上述のエージェント20の処理を説明する。オペレーションBA~BCの反復ループが上述の第1段階に相当し、オペレーションBG~BIの反復処理が上述の第2段階に相当する。オペレーションBAにおいて各エージェント20は、第1の学習処理を行う。第1の学習処理において各エージェント20は、それぞれに割り当てられたセル6における報酬を決定し、決定した報酬に応じて個別の第1価値関数31の強化学習を実行する。オペレーションBBにおいて各エージェント20は、学習結果を反映した第1価値関数31に従い、各セルで測定される状態に応じて実行させるSONアプリケーション21~26をそれぞれ選択する。各エージェント20は、選択したアプリケーションを実行することにより各セルにおける制御パラメータを最適化する。オペレーションBCにおいて学習コントローラ27は、反復ループBA~BCが所定期間繰り返されたか否かを判断する。反復ループBA~BCが所定期間繰り返された場合にはオペレーションBC:Y処理はオペレーションBDに進む。反復ループBA~BCが所定期間繰り返されていない場合にはオペレーションBC:N処理はオペレーションBAに戻る。オペレーションBDにおいて学習コントローラ27は、第1価値関数31間の類似度を決定する。オペレーションBEにおいて学習コントローラ27は、類似度に従って合成する第1価値関数31の組合せを決定する。オペレーションBFにおいて学習コントローラ27は、第1価値関数31を合成する。オペレーションBGにおいて各エージェント20は、第2の学習処理を行う。第2の学習処理において各エージェント20は、それぞれに割り当てられたセル6における報酬を決定する。各エージェント20は、決定した報酬に応じて、第1の学習処理オペレーションBAで学習させていた第1価値関数31を合成して定められた第2価値関数32の強化学習を独立して実行する。オペレーションBHにおいて各エージェント20は、第1段階で学習させていた第1価値関数31を合成して定められた第2価値関数32に従い、割り当てのセル6の制御パラメータを最適化するSONアプリケーション21~26を選択し、実行する。オペレーションBIにおいて学習コントローラ27は、反復ループBG~BIが所定期間繰り返されたか否かを判断する。反復ループBG~BIが所定期間繰り返された場合にはオペレーションBI:Y処理はオペレーションBDに戻る。反復ループBG~BIが所定期間繰り返されていない場合にはオペレーションBI:N処理はオペレーションBGに戻る。続いて、オペレーションBE及びBFにおける類似度の決定処理と価値関数の合成処理の例を説明する。図11は、価値関数の類似度の説明図である。例示する第1価値関数31及び第2価値関数32は、図4を参照して説明した情報要素の他に情報要素学習経験回数を備えている。学習経験回数は、エージェント20が、各状態stにおいて各行動atに対応するSONアプリケーションを実行した回数、すなわち各状態st及び各行動atに対応する行動価値Qs,aの更新回数を示す。例えば、第1価値関数31-1の例の場合には、状態構成要素st1、st2及びst3がそれぞれ1a2a及び3aである状態において、行動ac1が5回選択されている。学習コントローラ27は、第1価値関数31の類似度を決定する場合、それぞれの状態st毎に行動価値Qs,aが最も大きい行動atが一致するか否かを判断し、行動価値Qs,aが最も大きい行動atが一致する程度に応じて類似度を定める。例えば、図11の例では、状態構成要素st1、st2及びst3がそれぞれ1a2a及び3aである状態における行動価値Qs,aが最も大きい行動atは、第1価値関数31-1及び31-2のいずれにおいてもac1である。このため、この状態では、第1価値関数31-1及び31-2間において行動価値Qs,aが最も大きい行動atが一致する。一方で、状態構成要素st1、st2及びst3がそれぞれ1a2a及び3bである状態における行動価値Qs,aが最も大きい行動atは、第1価値関数31-1及び31-2においてそれぞれac2及びac1である。このため、この状態では、第1価値関数31-1及び31-2間において行動価値Qs,aが最も大きい行動atが一致しない。学習コントローラ27は、第1価値関数31の状態stが取り得る値の数に対する、行動価値Qs,aが最も大きい行動atが一致する状態の数の比率を類似度として定める。ある実施例において、学習コントローラ27は、行動価値が学習された状態のみを対象として、行動価値Qs,aが最も大きい行動atの比較を行う。例えば、第1価値関数31-1の構成要素st1、st2及びst3がそれぞれ1a2a及び3cである状態では、行動ac1が一度も選択されていない。行動ac1に対応する行動価値Qs,aの値1.0は、プログラムによって設定された初期値であり、学習された値ではない。このため、第1価値関数31-1の構成要素st1、st2及びst3がそれぞれ1a、2a及び3cである状態の行動価値は、まだ学習されていない。学習コントローラ27は行動価値が学習された状態のうち、行動価値Qs,aが最も大きい行動atが一致する状態の数を求め、学習コントローラ27は行動価値が学習された状態に対する比率を類似度として定める。他の実施例では、学習コントローラ27は、学習経験回数が所定回数以上である状態のみを対象として行動価値Qs,aが最も大きい行動atの比較を行ってもよい。第1価値関数31を合成して第2価値関数32を決定する場合には、学習コントローラ27は、第1価値関数31が取り得る状態st及び行動atを、第2価値関数32が取り得る状態st及び行動atとして使用する。そして、各状態st及び各行動at毎に、合成される第1価値関数31の間で行動価値Qs,aの値を平均して、それぞれ対応する状態st及び行動atにおける第2価値関数32の行動価値Qs,aの値を定める。他の実施例では、平均値に代えて、合成される第1価値関数31の間における行動価値Qs,aの最小値や最大値を第2価値関数32の行動価値Qs,aの値としてもよい。次に、合成する価値関数の組合せの決定処理の例について説明する。図12は、合成する価値関数の決定処理の説明図である。以下の説明において第1価値関数31-nと第1価値関数31-mと間の類似度をn-mと表記するn及びmは、各々1以上の整数である。オペレーションCAにおいて学習コントローラ27は、第1価値関数31同士の全ての組合せについて決定された類似度を高い順にソートする。類似度がソートされた状態を図13に示す。図13の例では、第1価値関数31-1~31-5について定めた類似度が示されている。各類似度は、類似度1-2、2-3、4-5、1-4、2-4、1-5、2-5、...、1-3の順に高い。また、類似度1-2、2-3、4-5、1-4、2-4、1-5、2-5は所定の閾値以上であり、類似度1-3は所定の閾値よりも小さい。オペレーションCBにおいて学習コントローラ27は、閾値以上の類似度で、まだ以下のオペレーションCC~CMで処理されていない類似度があるか否かを判断する。1回目のオペレーションCBの判断では、閾値よりも高い類似度1-2、2-3、4-5、1-4、2-4、1-5、2-5、...、が未処理であるためオペレーションCB:Y、処理はオペレーションCCに進む。閾値よりも高い未処理の類似度がある間、オペレーションCB~CMが反復され、閾値よりも高い未処理の類似度が無くなるとオペレーションCB:Nと、処理は終了する。オペレーションCCにおいて学習コントローラ27は、未処理の類似度のうち最大の類似度n-mを選択する。本例では類似度1-2が選択される。オペレーションCDにおいて学習コントローラ27は、第1価値関数31-nが第1価値関数31-m以外の他の第1価値関数31と合成されることが、それまでに実行したオペレーションCC~CMによって既に決定されているかを判断する。第1価値関数31-nが第1価値関数31-m以外の他の第1価値関数31と合成されることが決定されている場合にはオペレーションCD:Y処理はオペレーションCEへ進む。第1価値関数31-nがどの第1価値関数31とも合成されることが決定されていない場合にはオペレーションCD:N処理はオペレーションCFへ進む。オペレーションCEにおいて学習コントローラ27は、第1価値関数31-n及び第1価値関数31-nと合成されることが決定されている第1価値関数31とからなる第1価値関数のグループを形成する。以下、このグループを合成グループaと呼ぶ。その後、処理はオペレーションCGへ進む。一方、オペレーションCFにおいて学習コントローラ27は、合成グループaを第1価値関数31-nだけで形成する。その後、処理はオペレーションCGへ進む。本例では、この時点で第1価値関数31-1はまだどの第1価値関数とも合成されるとも決定されていないためオペレーションCD:N、オペレーションCFにおいて第1価値関数31-1のみの合成グループaが形成される。オペレーションCGにおいて学習コントローラ27は、第1価値関数31-mが第1価値関数31-n以外の他の第1価値関数31と合成されることが、それまでに実行したオペレーションCC~CMによって既に決定されているかを判断する。第1価値関数31-mが第1価値関数31-n以外の他の第1価値関数31と合成されることが決定されている場合にはオペレーションCG:Y処理はオペレーションCHへ進む。第1価値関数31-mがどの第1価値関数31とも合成されることが決定されていない場合にはオペレーションCG:N処理はオペレーションCIへ進む。オペレーションCHにおいて学習コントローラ27は、第1価値関数31-m及び第1価値関数31-mと合成されることが決定されている第1価値関数31とからなる第1価値関数のグループを形成する。以下、このグループを合成グループbと呼ぶ。その後、処理はオペレーションCJへ進む。一方、オペレーションCIにおいて学習コントローラ27は、合成グループbを第1価値関数31-mだけで形成する。その後、処理はオペレーションCJへ進む。本例では、この時点で第1価値関数31-2はまだどの第1価値関数とも合成されるとも決定されていないためオペレーションCG:N、オペレーションCIにおいて第1価値関数31-2のみの合成グループbが形成される。オペレーションCJにおいて学習コントローラ27は、合成グループa及びbに含まれる第1価値関数31の組合せの全てにおいて、類似度が閾値よりも大きいか否かを判断する。類似度が閾値よりも大きい場合にはオペレーションCJ:Y処理はオペレーションCLへ進む。類似度が閾値よりも大きくない場合にはオペレーションCJ:Nは、処理はオペレーションCKへ進む。オペレーションCKにおいて学習コントローラ27は、第1価値関数31-n及び31-mを合成すると決定せずに類似度n-mを処理済みの類似度にする。その後に処理はオペレーションCBに戻る。本例では、この時点で、合成グループa及びbに含まれる第1価値関数31の組合せは、第1価値関数31-1及び31-2だけであり、類似度1-2は閾値を超えるのでオペレーションCJ:Y処理はオペレーションCLへ進む。オペレーションCLにおいて学習コントローラ27は合成グループa及びbに含まれる第1価値関数31同士を合成すると決定する。オペレーションCMにおいて学習コントローラ27は、合成グループa及びbに含まれる第1価値関数31の組合せの全ての類似度を処理済みの類似度にする。本例では、この時点で、第1価値関数31-1及び31-2を合成すると決定され類似度1-2が処理済みになる。そして処理がオペレーションCBに戻る。次のループでは、オペレーションCCにおいて2番目に大きい類似度2-3が選択される。第1価値関数31-nである関数31-2は、第1価値関数31-1と合成されることが決定されているので、オペレーションCDの判断によって学習コントローラ27はオペレーションCEを実行する。オペレーションCEにおいて学習コントローラ27は、第1価値関数31-1及び31-2を含む合成グループaを形成する。一方で第1価値関数31-mである関数31-3は、まだどの第1価値関数31とも合成されることが決定されていない。このためオペレーションCGの判断によって学習コントローラ27はオペレーションCIを実行する。オペレーションCIにおいて学習コントローラ27は、第1価値関数31-3のみを含む合成グループbを形成する。ペレーションCJにおいて学習コントローラ27は、合成グループa及びbに含まれる第1価値関数31の組合せの全てにおいて、類似度が閾値よりも大きいか否かを判断する。この時点では、第1価値関数31の組合せは第1価値関数31-1~31-3の組合せであり、類似度1-3が閾値より小さいのでオペレーションCJ:N処理はオペレーションCKへ進む。オペレーションCKにおいて学習コントローラ27は、第1価値関数31-2及び31-3を合成すると決定せずに類似度2-3を処理済みの類似度にする。そして処理がオペレーションCBに戻る。次のループでは、オペレーションCCにおいて3番目に大きい類似度4-5が選択される。この時点では、第1価値関数31-nである関数31-4と、第1価値関数31-mである関数31-5は、いずれの第1価値関数31とも合成されることが決まっていない。従って、第1価値関数31-1及び31-2の場合と同様に、オペレーションCD、CF、CG、CI、CJ~CMにおいて学習コントローラ27は、第1価値関数31-4及び31-5を合成すると決定する。そして処理がオペレーションCBに戻る。次のループでは、オペレーションCBにおいて4番目に大きい類似度1-4が選択される。第1価値関数31-nである関数31-1は、第1価値関数31-2と合成されることが決定されているので、オペレーションCDの判断によって学習コントローラ27はオペレーションCEを実行する。オペレーションCEにおいて学習コントローラ27は、第1価値関数31-1及び31-2を含む合成グループaを形成する。また、第1価値関数31-mである関数31-4は、第1価値関数31-5と合成されることが決定されているので、オペレーションCGの判断によって学習コントローラ27はオペレーションCHを実行する。オペレーションCHにおいて学習コントローラ27は、第1価値関数31-4及び31-5を含む合成グループbを形成する。ペレーションCJにおいて学習コントローラ27は、合成グループa及びbに含まれる第1価値関数31の組合せの全てにおいて、類似度が閾値よりも大きいか否かを判断する。この時点では、第1価値関数31の組合せは第1価値関数31-1、31-2、31-4及び31-5の組合せである。これらの価値関数間の類似度1-2、1-4、1-5、2-4、2-5及び4-5は全て閾値を超えるのでオペレーションCJ:Y処理はオペレーションCLへ進む。オペレーションCLにおいて学習コントローラ27は合成グループa及びbに含まれる数31-1、31-2、31-4及び31-5を合成すると決定する。オペレーションCMにおいて学習コントローラ27は、合成グループa及びbに含まれる第1価値関数31の組合せの全ての類似度を処理済みの類似度にする。このため新たに類似度2-4、1-5及び2-5が処理済みの類似度になる。そして処理がオペレーションCBに戻る。以下、閾値よりも高い未処理の類似度がなくなるまで、オペレーションCB~CMが反復される。以上のように、類似度が高い組合せから順に各組合せの第1価値関数の合成可否を判断する。その際に、一方の第1価値関数が、他方の第1価値関数以外の更に他の第1価値関数と合成されることが決定されていれば、他方の第1価値関数と更に他の第1価値関数との類似度に応じて合成可否を判断する。これによって、3個以上の第1価値関数31を合成して1つの第2価値関数32を合成するに際して、類似度が閾値を超えない第1価値関数31同士が合成されることを防止しつつ、類似度が高い第1価値関数31同士をより優先して合成することができる。本実施例では、特性が類似する複数のセルの制御パラメータの最適化をそれぞれ行う複数のエージェントによって、共通の価値関数の強化学習を行うことができる。このため、複数のセルにおける学習効果を共通の価値関数に反映させて学習速度を向上させるとともに、セルの特性に応じた価値関数の学習を行うことができる。<6.第3実施例>続いて、他の実施例について説明する。本実施例では、上述の第2実施例と同様に第1価値関数31を合成して共通の第2価値関数32を定めた後に、第1価値関数31間の類似度が閾値よりも小さくなるか否かを判断する。第1価値関数31間の類似度が閾値より小さくなった場合には、第2価値関数32の学習と、第2価値関数32に従うSONアプリケーションの選択を停止し、第1価値関数31の学習と、第1価値関数31に従うSONアプリケーションの選択を再開する。第2価値関数32の学習及び第2価値関数32に従うSONアプリケーションの選択を停止し、第1価値関数31の学習と第1価値関数31に従うSONアプリケーションの選択を再開することを第2価値関数32を分解すると表現することがある。図14のA及び図14のBは、学習処理の第3実施例の説明図である。図14のAに示すセル6a~6c、エージェント20-1~20-4、第1価値関数31-1~31-4及び第2価値関数32-1~32-2の関係は、上記5.第2実施例で説明した関係と同様である。エージェント20-1及び20-2は、第2価値関数32-1の学習と併行してそれぞれ第1価値関数31-1及び31-2の学習を行う。エージェント20-3及び20-4は、第2価値関数32-2の学習と併行してそれぞれ第1価値関数31-3及び31-4の学習を行う。その後に、第2価値関数32-1に合成された第1価値関数31-1及び31-2間の類似度が閾値よりも低くなる場合を想定する。この場合に、学習コントローラ27は、第2価値関数32-1の学習を分解する。この状態を図14のBに示す。図15を参照して、上述のエージェント20の処理を説明する。オペレーションDA~DDは、図10を参照して説明したオペレーションBA~BDと同様である。オペレーションDEにおいて学習コントローラ27は、分解する第2価値関数32を決定する。この場合に学習コントローラ27は、各第2価値関数32に合成されている第1価値関数31のいずれかの組合せにおいて類似度が閾値を超えない場合に、第2価値関数32を分解すると判断する。このため各エージェント20は、後述の通り、下記オペレーションDIにおいて第2価値関数32の学習と併行して、第1段階オペレーションDA~DCで学習させていた第1価値関数31も学習させる。オペレーションDFにおいて学習コントローラ27は、オペレーションDEで決定した第2価値関数を分解する。オペレーションDG、DH、DJ及びDKは、図10を参照して説明したオペレーションBE、BF、BH及びBIと同様である。オペレーションDIにおいて各エージェント20は、第2の学習処理を行う。各エージェント20は、それぞれに割り当てられたセル6における報酬を決定する。各エージェント20は、決定した報酬に応じて、第1の学習処理オペレーションDAで学習させていた第1価値関数31と、第1価値関数31を合成して定められた第2価値関数32の強化学習を、他のエージェント20とは独立して実行する。本実施例によれば、第2価値関数に合成された第1価値関数間の類似度が低下した場合に第2価値関数を分解することにより、類似度の低いセルの学習効果が同じ価値関数に及ぼす影響によって学習効率が低下することを防止できる。<7.第4実施例>続いて、他の実施例について説明する。本実施例では、特性が類似すると予想されるセル毎に分類された、複数のセルを含むセルのグループが形成される。各セルが割り当てられたエージェント20は、学習処理の第1段階において、セルのグループ毎に共通の第1価値関数31の学習を行う。図16のA及び図16のBは、学習処理の第4実施例の説明図である。本例では、セル6a及び6bが1つのセルグループを形成し、セル6c及び6dが1つのセルグループを形成し、セル6e及び6fが1つのセルグループを形成する。例えば、セル6a及び6bはマクロセルであり、セル6c及び6dはフェムトセルであり、セル6e及び6fはピコセルである。マクロセル、ピコセル及びフェムトセルの順に送信電力が大きい。このように送信電力の違いに基づいてセルをグループ化してよい。また、ピコセルは屋内に配置される場合もあるが、ビルの陰など屋外に配置される場合もあり、この場合は屋外に配置されるか屋内に配置されるかに応じて異なる複数のピコセルのグループを形成してもよい。すなわち、基地局の設置状態の違いに基づいてセルをグループ化してもよい。エージェント20-1~20-6は、それぞれセル6a~6fで測定される状態構成要素に基づいて状態を決定し、決定した状態に応じてSONアプリケーション21~26のいずれかを選択して動作させて、セル6a~6f内における制御パラメータを最適化する。エージェント20-1及び20-2は、共通の第1価値関数31-1に基づいて、SONアプリケーション21~26の動作又は不動作を選択し、動作させるアプリケーションを選択する。また、エージェント20-3及び20-4は、共通の第1価値関数31-2に基づいて、SONアプリケーション21~26の動作又は不動作を選択し、動作させるアプリケーションを選択する。エージェント20-5及び20-6は、共通の第1価値関数31-3に基づいて、SONアプリケーション21~26の動作又は不動作を選択し、動作させるアプリケーションを選択する。エージェント20-1は、セル6aで測定される報酬構成要素に応じて報酬を決定し、決定した報酬に応じて共通の第1価値関数31-1の強化学習を実行する。一方で、エージェント20-2は、セル6bで測定される報酬構成要素に応じて報酬を決定し、決定した報酬に応じて共通の第1価値関数31-1の強化学習を実行する。他の実施例では、第1価値関数31-1の学習が、エージェント20-1及び20-2が決定した報酬の平均値に基づいて行われてもよい。エージェント20-3及び20-4も同様に共通の第1価値関数31-2の強化学習を実行し、エージェント20-5及び20-6も同様に共通の第1価値関数31-3の強化学習を実行する。その後、学習コントローラ27は、第1価値関数31相互間の類似度を判断する。学習コントローラ27は、類似度の高い第1価値関数31同士を合成することにより第2価値関数32を定める。図16のBは、第1価値関数31-2と第1価値関数31-3が合成されて第2価値関数32-1が定められた状態を示す。第2段階では、第2価値関数32に合成された第1価値関数31の学習を第1段階で行っていた各エージェント20によって、この第2価値関数32の強化学習が実行される。また、これらのエージェント20は、第1段階で学習させていた第1価値関数31を合成した第2価値関数32に従って、それぞれが制御パラメータを最適化するセル6で実行するSONアプリケーション21~26を選択する。図16のBの例では、エージェント20-3~20-6は、それぞれセル6c~6fにおける報酬を独立して決定し、決定した報酬に応じて共通の第2価値関数32-1の強化学習を独立して実行する。また、エージェント20-3~20-6は、学習結果を反映した共通の第2価値関数32-1に従い、セル6c~6fで測定される状態に応じて実行させるSONアプリケーション21~26を選択する。本実施例によれば、学習の第1段階から、複数セルにおける学習効果を共通の価値関数に及ぼすことができるため、学習効果が更に向上する。<8.第5実施例>続いて、他の実施例について説明する。本実施例では、学習の第1段階を計算機シミュレーションによって行い、学習の第2段階を、実際の移動体通信網で行う。図17は、パラメータ設定装置のハードウエア構成の第3例を示す図である。図8に示す構成要素と同様の構成要素には図8で使用した参照符号と同じ参照符号を付し、同一の機能については説明を省略する。記憶装置11には、シミュレーションプログラム16が格納される。シミュレーションプログラムは、疑似基地局、疑似セル、疑似移動局をシミュレートするプログラムモジュールを動作させ、設定された制御パラメータに対して、実際の移動体通信網がなると予想される状態を算出する。学習の第1段階では、パラメータ設定プログラム14及びエージェント20は、シミュレーションプログラム16が模擬した疑似移動体通信網に対して学習処理及び最適化処理を行う。このため、パラメータ設定プログラム16は、実際の移動体通信網において学習処理を行った場合と比べて、第1段階の実行時間を大幅に短縮することが可能となる。例えば、図10のオペレーションBA~BCの反復を1時間行う場合に、シミュレーションプログラム16による計算によれば同程度の学習を5分で実行できる。以上の実施例を含む実施形態に関し、更に以下の付記を開示する。付記1移動体通信網の状態変数に応じて前記移動体通信網の制御パラメータを設定するパラメータ設定装置であって、前記状態変数に応じた各最適化処理の行動価値を定める共通の価値関数に従い、前記移動体通信網内の異なる複数の範囲の各々について、前記範囲内の状態変数に応じて前記制御パラメータを最適化する複数の最適化処理のうちいずれかを選択して実行する処理と、前記複数の範囲の各々について、前記範囲内の状態変数に応じた報酬を決定する処理と、前記範囲毎に決定された前記報酬毎に、前記報酬に応じて前記共通の価値関数を更新する強化学習を行う強化学習処理と、を実行するプロセッサを備えることを特徴とするパラメータ設定装置。付記2前記プロセッサは、前記複数の範囲の各々について、前記範囲内の状態変数に応じた各最適化処理の行動価値を定める第1価値関数を強化学習により学習する第1学習処理と、前記範囲毎に学習した第1価値関数を合成することにより第2価値関数を前記共通の価値関数として定める合成処理と、を実行し、共通の前記第2価値関数に合成される第1価値関数の学習が各々行われた複数の前記範囲について決定される前記報酬毎に、前記報酬に応じて前記共通の第2価値関数を更新する強化学習を行う第2学習処理を、前記強化学習処理として実行することを特徴とする付記1に記載のパラメータ設定装置。付記3前記プロセッサは、第1価値関数間の類似度を決定する類似度決定処理と、前記合成処理において第1価値関数を合成するか否かを、前記第1価値関数間の類似度に応じて定める可否判断処理と、を実行することを特徴とする付記2に記載のパラメータ設定装置。付記4前記類似度決定処理において前記プロセッサは、同一の状態変数に対して最大の行動価値を有する最適化処理が一致する程度に応じて、第1価値関数間の類似度を決定することを特徴とする付記3に記載のパラメータ設定装置。付記5前記類似度決定処理において、前記第1学習処理において行動価値が学習された状態変数の数に対する、最大の行動価値を有する最適化処理が一致する状態変数の数の比率に応じて、第1価値関数間の類似度を決定することを特徴とする付記4に記載のパラメータ設定装置。付記6前記合成可否判断処理において前記プロセッサは、第1価値関数を合成するか否かを、第1価値関数間の類似度が高い組合せから順に判断し、一対の第1価値関数を合成するか否かを判断する場合に、前記一対の第1価値関数の一方の第1価値関数が、前記一対の第1価値関数の他方の第1価値関数以外の更に他の第1価値関数と合成されることが決定されている場合に、前記他方の第1価値関数と前記更に他の第1価値関数との類似度に応じて判断することを特徴とする付記3~5のいずれか一項に記載のパラメータ設定装置。付記7前記合成処理において前記プロセッサは、合成される第1価値関数間における行動価値の平均値を、第2価値関数の行動価値として定める付記2~6のいずれか一項に記載のパラメータ設定装置。付記8第2価値関数の合成後に前記プロセッサは、前記第2価値関数に合成された前記第1価値関数を強化学習により学習する処理と、前記第1価値関数の学習が各々行われる複数の範囲において、前記第1価値関数に従い複数の最適化処理のうちいずれかを選択して実行する処理と、を実施し、前記第1価値関数の学習が各々行われる複数の範囲において、前記第2価値関数に従い最適化処理を選択して実行する処理を停止することを特徴とする付記2~7のいずれか一項に記載のパラメータ設定装置。付記9前記プロセッサは、前記第2価値関数に合成された前記第1価値関数間の類似度を決定する処理を実行し、前記類似度が所定の条件を満たす場合には、前記第2価値関数に従い最適化処理を選択して実行する処理を停止して、前記第1価値関数に従い最適化処理のうちいずれかを選択して実行することを特徴とする付記8に記載のパラメータ設定装置。付記10前記プロセッサは、複数のセルをグループ化して形成されるセルのグループ毎に、共通の第1価値関数に従い、セル内の状態変数に応じて複数の最適化処理のうちいずれかを選択して実行する処理と、セル内の状態変数に応じた報酬を決定する処理と、を実行し、前記第1学習処理において、前記報酬に応じて前記共通の第1価値関数を更新する強化学習を行うことを特徴とする付記2~9のいずれか一項に記載のパラメータ設定装置。付記11前記セルのグループは、基地局からの送信電力の相違及び/又は設置状態の相違に基づき分類されたグループであることを特徴とする付記10に記載のパラメータ設定装置。付記12前記プロセッサは、前記移動体通信網の制御パラメータに対する状態変数の変化をシミュレートすることにより、前記第1学習処理を実行することを特徴とする請求項2~11のいずれか一項に記載のパラメータ設定装置。付記13移動体通信網の状態変数に応じて前記移動体通信網の制御パラメータを設定するコンピュータプログラムであって、前記コンピュータプログラムは、前記状態変数に応じた各最適化処理の行動価値を定める共通の価値関数に従い、前記移動体通信網内の異なる複数の範囲の各々について、前記範囲内の状態変数に応じて、前記制御パラメータを最適化する複数の最適化処理のうちいずれかを選択して実行する処理と、前記複数の範囲の各々について、前記範囲内の状態変数に応じた報酬を決定する処理と、前記範囲毎に決定された前記報酬毎に、前記報酬に応じて前記共通の価値関数を更新する強化学習を行う強化学習処理と、をコンピュータに実行させることを特徴とするコンピュータプログラム。付記14移動体通信網の状態変数に応じて該移動体通信網の制御パラメータを設定するパラメータ設定方法であって、コンピュータに、前記状態変数に応じた各最適化処理の行動価値を定める共通の価値関数に従い、前記移動体通信網内の異なる複数の範囲の各々について、前記範囲内の状態変数に応じて、前記制御パラメータを最適化する複数の最適化処理のうちいずれかを選択して実行する処理と、前記複数の範囲の各々について、前記範囲内の状態変数に応じた報酬を決定する処理と、前記範囲毎に決定された前記報酬毎に、前記報酬に応じて前記共通の価値関数を更新する強化学習を行う強化学習処理と、を実行させることを特徴とするパラメータ設定方法。"