(57)【要約】【課題】リソースそれぞれに対する他の複数のリソースからの利用要求に、効率的に応える計画を立案する。【解決手段】運用計画立案装置４０のエージェント４２３は、第１のリソースと第２のリソースとの一定時間長の周期ごとの組み合わせの計画を、複数、求める。環境部４２１とエージェント４２３と学習部４２４は、価値計算装置として、求められた複数の組み合わせの計画の価値を学習し、学習の結果に基づいて、複数の組み合わせの計画の価値それぞれを計算する。価値計算装置４２１，４２３，４２４と、環境部４２１とエージェント４２３とは、選択装置として、計算された価値に基づいて、複数の組み合わせの計画の内容を変更し、内容を変更した複数の組み合わせの計画のうち、最も大きい報酬を与えるいずれかを選択し、最終的な計画とする。【選択図】図２
2020177492.tif 000002
【特許請求の範囲】
【請求項１】
複数の第１のリソースと１つ以上の第２のリソースとの一定時間長の周期ごとの組み合わせの計画を、複数、求める組み合わせ手段と、
求められた複数の前記組み合わせの計画の価値を学習し、前記学習の結果に基づいて、複数の前記組み合わせの計画の価値それぞれを計算する価値計算装置と、
計算された複数の前記組み合わせの計画それぞれの価値に基づいて、最も大きい値の報酬を与えるいずれかを選択し、最終的な計画とする選択装置と、
を備える計画立案装置。
【請求項２】
前記価値計算装置は、複数の前記組み合わせの計画を示すデータを入力とし、複数の前記第１のリソースそれぞれの前記周期ごとの価値を学習する、
請求項１に記載の計画立案装置。
【請求項３】
前記価値計算装置は、前記学習の結果に基づいて、複数の前記第１のリソースそれぞれの前記周期ごとの価値を計算する、
請求項２に記載の計画立案装置。
【請求項４】
前記選択装置は、選択した組み合わせの計画の価値に基づいて、前記価値計算装置における前記学習の内容を変更する、
請求項１から３のいずれか１項に記載の計画立案装置。
【請求項５】
前記価値計算装置は、ＤＱＮ手法により複数の前記組み合わせの計画それぞれの価値を計算する、
請求項１から４のいずれか１項に記載の計画立案装置。
【請求項６】
前記価値計算装置は、Ｄｏｕｂｌｅ  ＤＱＮ手法により複数の前記組み合わせの計画それぞれの価値を計算する、
請求項１から４のいずれか１項に記載の計画立案装置。
【請求項７】
前記価値計算装置は、前記最終的な計画の価値をさらに計算し、
前記選択装置は、前記最終的な計画の価値に基づいて、前記最終的な計画の内容を変更する、
請求項１から６のいずれか１項に記載の計画立案装置。
【請求項８】
複数の前記組み合わせの計画を示すデータそれぞれを、複数の前記第２のリソースそれぞれに応じて重み付けをする重み付け装置、
をさらに含む請求項１から７のいずれか１項に記載の計画立案装置。
【請求項９】
前記選択装置は、前記価値計算装置により計算された複数の前記組み合わせの計画それぞれの価値に基づいて、複数の前記組み合わせの計画の内容を変更し、内容を変更した複数の前記組み合わせの計画のうち、最も大きい値の報酬を与えるいずれかを選択し、最終的な計画とする、
請求項１から８のいずれか１項に記載の計画立案装置。
【請求項１０】
複数の前記第１のリソースは、それぞれ固有の軌道で地球を周回する複数の人工衛星であり、
１つ以上の前記第２のリソースは、複数の前記人工衛星それぞれと通信が可能な期間において、複数の前記人工衛星の１つ以上と通信して、前記人工衛星を運用する通信装置である、
請求項１から９のいずれか１項に記載の計画立案装置。
【請求項１１】
複数の第１のリソースと１つ以上の第２のリソースとの組み合わせの計画を、複数、求め、
求められた複数の前記組み合わせの計画の価値を学習し、前記学習の結果に基づいて、複数の前記組み合わせの計画のうち、設定された基準に従って、いずれかを選択し、最終的な計画とする、
計画立案方法。
【請求項１２】
コンピュータに、
第１のリソースと１つ以上の第２のリソースとの組み合わせの計画を、複数、求め、
求められた複数の前記組み合わせの計画の価値を学習し、前記学習の結果に基づいて、複数の前記組み合わせの計画のうち、設定された基準を満たすいずれかを選択する、
処理を実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計画立案装置、計画立案方法及びコンピュータプログラム
に関する。
【背景技術】
【０００２】
複数の要求を有限のリソースに効率的に割り当てる運用計画立案装置が知られている。例えば、水処理プラントにおける排水経路の切り替え計画、電力プラントにおける発電計画、人工衛星の運用計画を立案する立案計画装置である。具体例として、複数の要求が人工衛星の運用要求であり、リソースが地上局の場合を想定すると、通常、地上局の運用は衛星と１対１で行われ、運用中は他の衛星を運用することはできない。また、衛星が地球を周回している場合、地上局から各衛星が非可視の時間帯が存在し、運用可能な時間は限られる。そのため、衛星の優先度を考慮した運用及び運用の効率化が求められる。
【０００３】
運用計画立案装置は、このような要求を満たすように運用計画を立案する。例えば、特許文献１は、前回立案された運用計画を基に新規運用計画を生成する運用計画立案装置を開示する。この運用計画立案装置は、運用要求として、対象の人工衛星、運用時間帯、運用を希望する局、優先順位などを受け付けて、人工衛星の設備専有情報、地上局のネットワーク制限、人工衛星の可視時間などに基づいて、要求が保留となる数が少なくなるように運用計画を立案する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−２３３３００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の運用計画立案装置は、既存の運用計画を基にその一部を変更することで計画し、また、優先順位を基に機械的に運用計画を立案する。しかし、複数衛星による地上局の競合及び優先度の高い衛星のために運用が行えない衛星が発生しうるなど、改善の余地がある。また、衛星数及び地上局数の増加に伴い、最適な運用計画を立案することは困難となる。また、新たな計画を立案するには基となる計画が必要となる。
【０００６】
本発明は、上記実情に鑑みて成されたものであり、有限なリソースに対する他の複数のリソースからの利用要求に、効率的により適切な計画を立案可能とすることを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明の計画立案装置は、組み合わせ手段と、価値計算装置と、選択装置と、を備える。組み合わせ手段は、複数の第１のリソースと１つ以上の第２のリソースとの一定時間長の周期ごとの組み合わせの計画を、複数、求める。価値計算装置は、求められた複数の組み合わせの計画の価値を学習し、学習の結果に基づいて、複数の組み合わせの計画の価値それぞれを計算する。選択装置は、計算された複数の組み合わせの計画それぞれの価値に基づいて、最も大きい値の報酬を与えるいずれかを選択し、最終的な計画とする。
【発明の効果】
【０００８】
上記構成の計画立案装置によれば、第１のリソースと第２のリソースとの周期ごとの組み合わせの計画を複数求め、求められた組み合わせの計画の価値を学習する。従って、有限なリソースそれぞれに対する他の複数のリソースからの利用要求に、効率的に応える計画を立案できる。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１に係る人工衛星システムの構成を示す図
【図２】図１に示す運用計画立案装置のブロック図
【図３】図１に示す通信制御装置のブロック図
【図４】図１に示す運用計画立案装置のブロック図
【図５】図２に示す軌道計算部により生成される、人工衛星とアンテナ装置とが通信可能か否かを示す可視行列Ｍｓを例示する図
【図６】図５に示す可視行列Ｍｓに基づいて、図２に示す計画立案部により生成された候補行列の一例を例示する図
【図７】図５に示す可視行列Ｍｓに基づいて、図２に示す計画立案部により生成された候補行列の一例を例示する図
【図８】図５に示す可視行列Ｍｓに基づいて、図２に示す計画立案部により生成された候補行列の一例を例示する図
【図９】図２に示す報酬ＤＢに記憶される報酬値データを例示する図
【図１０】図２に示す学習部において、運用計画の立案のための状態行動価値ＱのＤＱＮによる学習に用いられるニューラルネットワークを例示する図
【図１１】図２に示す計画立案装置の処理を示す第１のフローチャート
【図１２】図２に示す計画立案装置の処理を示す第２のフローチャート
【図１３】図２に示す計画立案装置の処理を示す第３のフローチャート
【図１４】この発明の実施の形態２にかかる人工衛星システムの計画立案部のブロック図
【図１５】図１４に示すリスケジュール計算部の処理を例示する第１の図
【図１６】図１４に示すリスケジュール計算部の処理を例示する第２の図
【図１７】図１４に示す計画立案装置の処理を示す第１のフローチャート
【図１８】図１４に示す計画立案装置の処理を示す第２のフローチャート
【図１９】この発明の実施の形態３に係る人工衛星システムの構成を示す図
【発明を実施するための形態】
【００１０】
以下、実施の形態に係る計画立案装置を、図面を参照しつつ説明する。本実施の形態の計画立案装置は、人工衛星の運用計画を策定し、策定した運用計画に従って、人工衛星を運用するシステムである。
【００１１】
以下の実施の形態において、同一の構成要素および処理には同一の符号を付す。また、図１を参照して後述する「人工衛星１０−１〜１０−Ｆ」など、複数あり得る構成要素のいずれかを特定せずに示すときには、「人工衛星１０」と、符号の添字を省略し、或いは、「人工衛星１０−ｆ」と、不特定のいずれかを示す符号を付して記載する。また、構成要素に付される「第１の」など、順序を表す文字は、適宜、省略される。
【００１２】
［実施の形態１］
以下、実施の形態１に係る人工衛星システムを説明する。
【００１３】
図１に示すように、本実施の形態の人工衛星システムは、人工衛星１０−１〜１０−ｆ〜１０−Ｆ（Ｆ≧２；ｆは１〜Ｆのいずれか）を第１のリソースとして備え、運用管制システムを第２のリソースとして備える。本実施の形態のアンテナ装置２０、同時には1台の人工衛星１０−ｆのみを運用可能で、複数台の人工衛星１０を同時に運用することはできないものとする。
【００１４】
人工衛星１０−１〜１０−Ｆそれぞれは、既知で固有であり、地球を周回し、人工衛星通信回線１２を介してアンテナ装置２０と双方向にデータを通信する。
【００１５】
運用管制システムは、運用対象の人工衛星１０−ｆを追尾するアンテナ装置２０、運用計画に従ってアンテナ装置２０を制御する通信制御装置３０、ネットワーク５０を介して通信制御装置３０に接続された運用計画立案装置４０を備える。
【００１６】
アンテナ装置２０は、地球上に設置され、その位置は緯度および経度で示され、機知である。
【００１７】
アンテナ装置２０は、指向方向を制御可能なパラボラアンテナなどから構成され、指向可能範囲、所謂視野に位置する人工衛星１０−ｆと交信可能である。アンテナ装置２０は、通信制御装置３０により制御される。
【００１８】
通信制御装置３０は、運行計画に従って、アンテナ装置２０を制御し、運用対象の人工衛星１０−ｆを追尾させると共に人工衛星１０−ｆとの間で通信を実行させる。
【００１９】
ネットワーク５０は、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＶＰＮ（Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）およびインターネットなどの一般的なネットワークの他に、コンピュータのバスおよび通信ケーブルなどから構成される。ネットワーク５０は、これらのうちの２つ以上の組み合わせにより構成されてもよい。
【００２０】
運用計画立案装置４０は、強化学習により、アンテナ装置２０の運用計画を立案し、立案した運用計画を、ネットワークを介して、通信制御装置３０に提供する。運用計画立案装置４０は、図２に示すように、各人工衛星１０の軌道を計算して、可視情報を生成する軌道計算部４１と、生成された可視情報に基づいて、強化学習により、アンテナ装置２０の運用計画を立案する計画立案部４２を備える。
【００２１】
軌道計算部４１は、人工衛星１０それぞれの人工衛星の軌道計算に必要とされる軌道データを記憶する軌道データベース（ＤＢ）４１１と、軌道ＤＢ４１１に記憶された軌道データを処理して、人工衛星１０それぞれの、運用計画立案開始時点から一定期間長Ｔだけ経過する毎の複数時点における軌道上の位置を計算する衛星位置計算部４１２と、衛星位置計算部４１２が計算した位置に基づいて、各人工衛星１０がアンテナ装置２０の可視範囲に位置するか否かを示す可視情報を出力する可視情報生成部４１３を備える。
【００２２】
一方、計画立案部４２は、強化学習における環境を設定する環境部４２１と、強化学習に用いられる報酬を示す報酬値データを記憶する報酬ＤＢ４２２と、強化学習における「エージェント」として機能するエージェント４２３と、強化学習における状態行動価値Ｑ値を学習する学習部４２４と、および、立案した運用計画を記憶する運用計画記憶部４２５とを備える。
【００２３】
報酬ＤＢ４２２は、人工衛星の運用時間、運用開始及び終了などについての報酬値を設定し、記憶する。報酬値は、例えば、このシステムのオペレータにより設定される。
【００２４】
環境部４２１は、エージェント４２３で選択された行動、この例では、運用する人工衛星の選択、から運用計画を立案し、立案した運用計画の報酬値を、報酬ＤＢ４２２の記憶データに基づいて計算する。
【００２５】
エージェント４２３は、立案中の計画について、行動、即ち、運用対象の人工衛星を選択する。
学習部４２４は、立案中の計画から単位時間毎の各行動の状態行動価値Ｑを学習する。なお、状態行動価値Ｑに関しては、後述する。
【００２６】
運用計画記憶部４２５は、立案した運用計画を記憶する。
【００２７】
図１に示す通信制御装置３０は、図３に示すように、プログラムを実行することにより通信制御処理を行うプロセッサ３１と、メモリ３２と、補助記憶装置３３と、ユーザインタフェース（Ｉ／Ｆ）３４と、制御Ｉ／Ｆ３５と、通信装置３６とを備える。
【００２８】
プロセッサ３１は、メモリ３２に記憶されている制御プログラムを実行することにより、補助記憶装置３３に記憶されている運用計画に従って、アンテナ装置２０により運用対象の人工衛星１０を追尾し、アンテナ装置２０を介して運用対象の人工衛星１０と通信する。
【００２９】
メモリ３２は、制御プログラム、固定データなどを記憶するＲＯＭ（Read Only Memory）と、プロセッサ３１のワークエリアとして機能するＲＡＭ（Random Access Memory）を含む。
【００３０】
補助記憶装置３３は、運用計画立案装置４０で作成された衛星運用計画、その他、アンテナ装置２０の制御及び通信に必要なデータを記憶する。
【００３１】
ユーザＩ／Ｆ３４は、入力装置と出力装置を備え、ユーザの入力をプロセッサ３１に伝達し、プロセッサ３１の制御に従ってデータを出力する。
【００３２】
制御Ｉ／Ｆ３５は、アンテナ装置２０との間で通信を行う。より具体的には、制御Ｉ／Ｆ３５は、プロセッサ３１の制御に従って、送信データをアンテナ装置２０に伝達し、アンテナ装置２０から受信データを受信し、また、指向性を制御する制御信号をアンテナ装置２０に送信する。
【００３３】
通信装置３６は、運用計画立案装置４０との間でネットワークを介して通信を行う。例えば、通信装置３６は、運用計画立案装置４０から運用計画を受信し、プロセッサ３１に伝達する。
【００３４】
また、図１に示す運用計画立案装置４０は、ハードウエア的には、図４に示すように、プログラムを実行することにより通信制御処理を行うプロセッサ４３１と、メモリ４３２と、補助記憶装置４３３と、ユーザインタフェース（Ｉ／Ｆ）４３４と、通信制御装置３０とネットワーク５０とを介して通信する通信部４３５とを備える。
【００３５】
プロセッサ４３１は、メモリ４３２に記憶されている軌道計算プログラムを実行することにより、衛星位置計算部４１２及び可視情報生成部４１３として機能し、強化学習プログラムを実行することにより、環境部４２１、エージェント４２３、学習部４２４として機能する。
【００３６】
メモリ４３２は、軌道計算プログラム、強化学習プログラム、固定データなどを記憶するＲＯＭ（Read Only Memory）と、プロセッサ４３１のワークエリアとして機能するＲＡＭ（Random Access Memory）を含む。
【００３７】
補助記憶装置４３３は、報酬ＤＢ４２２、運用計画記憶部４２５として機能する記憶装置である。
【００３８】
ユーザＩ／Ｆ４３４は、入力装置と出力装置を備え、ユーザの入力をプロセッサ４３１に伝達し、プロセッサ４３１の制御に従ってデータを出力する。
通信部４３５は、通信制御装置３０とネットワークを介して通信を行い、例えば、作成した運用計画、その他のデータを送信する。
【００３９】
次に、上述の各部の動作の詳細を説明する。
【００４０】
まず、衛星位置計算部４１２は、運用計画を作成する期間の始点時点から時間Ｔ経過する毎の時刻を求める。時間Ｔは例えば５分である。即ち、運用計画開始時点をＴ０とすると、時点Ｔ０，Ｔ０＋Ｔ，Ｔ０＋２Ｔ，・・・を求める。なお、運用計画の作成終了時点をＴ０＋Ｇ・Ｔとする。Ｇは１以上の自然数である。
【００４１】
次に、衛星位置計算部４１２は、軌道ＤＢ４１１に記憶されている軌道データを用いて、運用対象各人工衛星１０の軌道を計算し、上述の各時点での各人工衛星１０の位置を求める。
【００４２】
続いて、可視情報生成部４１３は、衛星位置計算部４１２が計算した各時点における各人工衛星１０の位置から、運用計画作成期間Ｔ×Ｇ中の、各長さＴの期間（以下、タイムスロットＴＳと呼ぶ）について、各人工衛星１０がアンテナ装置２０の視野に含まれるか否か、即ち、通信可能か否かを判別し、図５に例示する可視行列Ｍｓを生成する。
【００４３】
この可視行列Ｍｓは、人工衛星１０−１〜１０−Ｆについて、計画期間の各タイムスロットＴＳにおいて、アンテナ装置２０との通信が可能か否かを示すものである。
【００４４】
より詳細に説明すると、図５に示す可視行列Ｍｓの第ｆ行は、時刻が遅い方から早い方への順番に、Ｇ個のタイムスロットＴＳに対応する要素ｍｆ１〜ｍｆＧを含む。要素ｍｆ１〜ｍｆＧそれぞれは、アンテナ装置２０と人工衛星１０−ｆが、各タイムスロットＴＳにおいて、通信可能であるか通信不可能かを示す。「Ｃ（Ｃｏｍｍｕｎｉｃａｂｌｅ）」が記載されているタイムスロットＴＳが通信可能であり、空白のタイムスロットＴＳが通信不可能である。なお、可視行列Ｍｓの第（Ｆ＋１）行は、アンテナ装置２０が、人工衛星１０−１〜１０−Ｆのいずれとも通信を禁じられ、通信不可能とされた状態Φにあることを示す。このため、可視行列Ｍsは、（Ｆ＋１）行×Ｇ列の構成をとる。
【００４５】
可視情報生成部４１３は、各人工衛星１０がアンテナ装置２０の視野に含まれるか否かの判別結果に従って、計画立案期間の始点から時間長Ｔの周期で、可視行列Ｍｓの要素ｍ１１〜ｍＦＧそれぞれにデータＣまたは数値０、即ち、空白を設定する。
【００４６】
軌道計算部４１は、可視行列Ｍｓを、時間長Ｔの周期で生成し、計画立案部４２に出力する。
【００４７】
エージェント４２３は、可視行列Ｍsに基づいて、各タイムスロットＴＳにおいて、どの人工衛星１０を運用対象とするかを選択する。具体的に説明すると、図５の可視行列Ｍｓの何れかの行の第ｇ列に、可視可能を示すデータＣが記憶されていれば、何れかの人工衛星１０が、その列に対応するタイムスロットＴＳに、アンテナ装置２０を介した運用の対象となり得る。
【００４８】
一方、可視可能を示すデータＣが記憶されていても、その列においていずれの人工衛星１０も運用の対象としないことが、最も高い報酬値Ｒを得る結果につながることもある。
【００４９】
エージェント４２３は、可視行列Ｍｓの第ｇ列の要素ｍｆｇの１個以上に、データＣが記憶されているときには、第ｇ列から、データＣが記憶された要素ｍｆｇを１つだけ選択する。エージェント４２３は、選択した要素ｍｆｇに、運用対象であることを示すデータＯｐ（Ｏｐｅｒａｂｌｅ；例えば数値１）を記憶させる。
【００５０】
一方、エージェント４２３は、可視行列Ｍｓの第ｇ列の要素に、データＣを含まないときには、第ｇ列の要素の全てに、運用対象外を示す空白を示すデータ、例えば、数値０を設定する。エージェント４２３は、このように、可視行列Ｍｓの要素それぞれに、運用対象であるＯｐか、運用対象でない空白、を示すデータを設定して、候補行列Ｍｏｉを、全ての可能性について作成する。なお、候補行列は、指数関数的に増えるため、一部の候補行列のみを作成するようにしてもよい。
【００５１】
候補行列Ｍｏｉについて、具体例を挙げてさらに説明する。図５に示す可視行列Ｍｓの第ｇ列に注目すると、第ｆ行と第Ｆ行の要素ｍｆｇ，ｍＦｇにデータＣが設定されている。なお、図示されていない要素については、全て空白であると仮定する。
【００５２】
この場合、エージェント４２３は、図６と図７に示すように、可視行列Ｍｓの第ｇ列の２つの要素ｍｆｇ，ｍＦｇのいずれかにデータＯｐを記憶させた２つの候補行列Ｍｏを作成することができる。さらに、エージェント４２３は、図８に示すように、第ｇ列の要素のいずれにもデータＯｐを記憶させない候補行列Ｍｏを作成することができる。つまり、図５に例示した可視行列Ｍｓの第ｇ列に着目すると、エージェント４２３は、合計３つの候補行列Ｍｏを作成しうる。
【００５３】
エージェント４２３は、全ての列について同様の操作を行って候補行列Ｍｏを作成する。従って、可視行列ＭｓのＧ個の列それぞれにおいて、ｎ１，ｎ２，・・・，ｎＧ個の要素ｍｆｇに通信可能を示すデータＣが設定されていると仮定すると、エージェント４２３は、（ｎ１＋１）×（ｎ２＋１）×・・・×（ｎＧ＋１）個の候補行列Ｍｏを作成し得る。以下、候補行列の数をＮとおき、候補行列をＭｏ１〜ＭｏＮと表現する。なお、ここで、ｎ１，ｎ２，・・・，ｎＧそれぞれの値は０〜Ｆのいずれかである。
【００５４】
各候補行列Ｍｏは、例えば、その第ｇ列において、要素ｍｆgにデータＯｐが設定されていれば、対応する人工衛星１０−ｆを第ｇ列に対応するタイムスロットＴＳにおける運用対象とし、一方、候補行列Ｍｏの第ｇ列において、データＯｐが記憶された要素ｍｆgが存在しなければ、人工衛星１０のいずれをも、第ｇ列に対応するタイムスロットＴＳにおける運用対象としないことを意味する。エージェント４２３は、可視行列Ｍｓを運用計画記憶部４２５に記憶する。なお、候補行列Ｍｏは、指数関数的に増えるため、一部の候補行列のみを保存するようにしてもよい。
【００５５】
候補行列Ｍｏ１からＭｏＮは、複数の第１のリソースに相当する複数の人工衛星１０と第２のリソースに相当するアンテナ装置２０との一定時間長の周期Ｔごとの組み合わせの計画を複数求めたことに相当する。従って、エージェント４２３は、複数の第１のリソースと１つ以上の第２のリソースとの一定時間長の周期ごとの組み合わせの計画を、複数、求める組み合わせ手段として機能する。
【００５６】
図９は、図２に示した報酬ＤＢ４２２に記憶される報酬値データを例示する図である。この報酬値データは、ユーザＩ／Ｆ４３４を介してシステム管理者により設定され、最適な運用計画を選択するために用いられる。
【００５７】
図９に示すように、報酬値データは、必須運用時間Ｔｍ、報酬値Ｒｍ、追加運用時間Ｔａ、報酬値Ｒａおよび減算値Ｒｓを含む。これらの値は人工衛星毎に個別に設定されている。報酬値Ｒｍは、人工衛星１０−ｆが、候補行列Ｍｏの行に対応する期間＝Ｔ×Ｇ分において、必須運用時間Ｔｍ未満の運用時間Ｔｏだけ運用されたときに、運用時間Ｔｏの長さに比例して与えられる報酬の基準値であり、単位時間当たりの値である。
【００５８】
報酬値Ｒａは、人工衛星１０−ｆが、候補行列Ｍｏの行に対応する期間において、必須運用時間Ｔｍ以上、必須運用時間Ｔｍと追加運用時間Ｔａとを加算した時間未満の運用時間Ｔｏだけ運用されたときに、必須運用時間Ｔｍと運用時間Ｔｏとの差分の長さに比例して与えられる基準値であり、単位時間当たりの値である。報酬値Ｒｍは報酬値Ｒａよりも大きい値とされる（Ｒｍ＞Ｒａ）。減算値Ｒｓは、アンテナ装置２０により人工衛星１０−ｆが連続して必須運用時間Ｔｍおよび追加運用時間Ｔａを加算した時間Ｔｍ＋Ｔａを超えて運用されたときに、超えた時間に比例して減算される。
【００５９】
環境部４２１は、運用計画記憶部４２５に記憶されている各候補行列Ｍｏ1〜ＭｏNを処理し、運用計画の学習に用いられる人工衛星１０−１〜１０−Ｆおよび状態Φそれぞれの状態行動価値Ｑを算出する。状態行動価値Ｑが高ければ高いほど、候補行列で示される運用計画からはより高い報酬値Ｒが得られる可能性が高い。従って、状態行動価値Ｑは、報酬値Ｒの予想値とされ得る。状態行動価値Ｑの算出に用いられる係数は、学習が行われるたびに更新される。環境部４２１において、Ｑ−Ｔａｂｌｅ手法による運用計画の学習のための強化学習が行われるとき、状態行動価値Ｑは、下式（１）により与えられる。
【００６０】
【数１】
2020177492.tif 000003
・・・（１）
【００６１】
なお、式（１）において、Ｑ（ｓ，ａ）の項のｓは、状態を意味し、Ｎ個の候補行列Ｍｏ１〜ＭoＮのそれぞれで特定される運用計画に対応する。また、Ｑ（ｓ，ａ）の項のａは、行動を意味し、Ｎ個の運用計画からＴ×Ｇ分の長さのいずれかの周期Ｃｔごとに選択される運用計画に対応する。従って、Ｑ（ｓ，ａ）は、Ｎ個の運用計画があるときに、Ｎ個の運用計画のうちの１つを選択したときの状態行動価値Ｑを意味する。Ｑ（ｓ’，ａ’）の項のｓ’およびａ’は、周期Ｃｔの次の周期Ｃｔ＋１における状態および行動を意味する。例えば、周期ＣｔにおけるＱ（ｓ，ａ）の項のｓ，ａをｓｔ，ａｔと記載すると、周期Ｃｔ＋１におけるＱ（ｓ’，ａ’）の項のｓ’，ａ’を、ｓｔ＋１，ａｔ＋１と記載することができる。
【００６２】
また、式（１）のｒ（ｓ，ａ）の項は、状態ｓにおいて行動ａを採ったときの報酬値Ｒを示す。また、γｍａｘａ’∈Ａ（ｓ’）の項において、γは割引率を示す定数であり、ｍａｘａ’∈Ａ（ｓ’）は、最大の値のＱ（ｓ’，ａ’）を与える行動ａ'が選択されることを示す。
【００６３】
図１０は、運用計画の立案のための状態行動価値ＱのＤＱＮ（Ｄｅｅｐ  Ｑ  Ｎｅｔｗｏｒｋ）による学習に用いられるニューラルネットワークを例示する図である。学習部４２４は、ＤＱＮ手法により運用計画の強化学習を行い、状態行動価値Ｑを計算するときには、図１０に示すニューラルネットワークを用い、下式（２）により算出される値をターゲット値とする。
【００６４】
【数２】
2020177492.tif 000004
・・・（２）
【００６５】
ただし、Ｄｏｕｂｌｅ  ＤＱＮ手法により運用計画を強化学習し、状態行動価値Ｑを計算すると、上式（２）の第２項の推定誤差による影響を受けやすい。このため、この実施の形態では、運用計画それぞれの評価のために状態行動価値Ｑを用いず、下式（３）に示す評価値ｙｔＤｏｕｂｌｅＤＱＮを用いるＤｏｕｂｌｅ  ＤＱＮ手法を採用する。
【００６６】
【数３】
2020177492.tif 000005
・・・（３）
【００６７】
ＤＱＮ手法においては、状態行動価値Ｑがニューラルネットワークの目標値(ターゲット値)とされる。しかしながら、Ｄｏｕｂｌｅ  ＤＱＮ手法においては、上式（２）の第２項の推定誤差の影響が大きくなるので、この影響を少なくするために、ｙｔＤｏｕｂｌｅＤＱＮがニューラルネットワークの目標値とされる。式（３）における下記項は、ニューラルネットワークにおける行列ＷＩ，Ｗ１〜ＷＫ，ＷＯの要素、つまり、重み付けのための数値に対応する。
【００６８】
【数４】
2020177492.tif 000006
【００６９】
図１０を参照して、学習部４２４の処理をさらに詳細に説明する。
図１０に示すように、ニューラルネットワークは、入力層および出力層の間にＫ（Ｋ≧０；図１０では、Ｋ＝３）の隠れ層＃１〜＃Ｋを含む。入力層は、計画の状態を一意に表現できる（Ｆ＋１）・Ｇ個のチャネルＩＣＨ１〜ＩＣＨ（Ｆ＋１）Ｇを含む。また、出力層は、それぞれ人工衛星１０−１〜１０−Ｆおよび状態Φのいずれかに対応するＦ＋１個のチャネルＯＣＨ１〜ＯＣＨＦ＋１を含む。学習部４２４は、このニューラルネットワークにより、候補行列Ｍｏの状態行動価値Ｑを計算する。
【００７０】
入力層のチャネル、即ち、ニューロンＩＣＨ１〜ＩＣＨ（Ｆ＋１）Ｇには、（Ｆ＋１）・Ｇ個のデータｕ１〜ｕj〜ｕ（Ｆ＋１）Ｇのいずれかが入力される。なお、ｊは１〜（Ｆ＋１）・Ｇのいずれかである。データｕ１〜ｕi〜ｕ（Ｆ＋１）Ｇの一次元配列の集合を、ベクトルＵで表す。ベクトルＵに含まれるデータｕ１〜ｕ（Ｆ＋１）Ｇそれぞれは、Ｎ個の候補行列Ｍｏ１〜ＭｏＮの要素ｍ１１〜ｍ１（Ｆ＋１）Ｇの対応するいずれかである。
【００７１】
なお、タイムスロットＴＳ単位で計画を立案するため、入力層のチャネルＩＣＨ１〜ＩＣＨ（Ｆ＋１）Ｇの出力のうち、現在立案中のタイムスロットＴＳに対応するチャネル以降の出力は、全て０に設定される。例えば、運用計画開始時点Ｔ０からＴ０＋ＴまでのタイムスロットＴＳの運用計画を立案する際には、チャネルＩＣＨ１〜ＩＣＨ（Ｆ＋１）の出力はそのまま出力され、他のチャネルＩＣＨ（Ｆ＋２）〜ＩＣＨ（Ｆ＋１）Ｇの出力は全て０とされる。
【００７２】
出力層のチャネルＯＣＨ１〜ＯＣＨ（Ｆ＋１）は、選択可能な行動数だけ用意されている。本実施形態では、人工衛星の数がＦ、地上局の数が１であるので、（Ｆ＋１）・１＝（Ｆ＋１）個用意されている。出力層のチャネルＯＣＨ１〜ＯＣＨ（Ｆ＋１）は、ニューラルネットワークにおけるデータｕ１〜ｕ（Ｆ＋１）Ｇに対する演算により得られた人工衛星１０−１〜１０−Ｆおよび状態Φに対する状態行動価値Ｑ１〜ＱＦ＋１を出力する。状態行動価値Ｑ１〜ＱＦ＋１の一次元配列をベクトルＱとする。
【００７３】
ニューラルネットワークによる学習および状態行動価値Ｑの算出は、候補行列Ｍｏの列を単位として、順次、実行される。学習により得られたベクトルＱの要素Ｑ１〜ＱＦ＋１のうち、値が最大のいずれかに対応する人工衛星１０は、この時点で処理の対象となっている候補行列Ｍｏの第ｇ列の要素ｍｆｇに対応する運用計画に従った運用の対象とされる。ただし、状態Φに対応するベクトルＱの要素の値が最大になったときは、人工衛星１０のいずれもが運用の対象とされない。また、ベクトルＱの要素のうち、値が最大のいずれかは、Ｄｏｕｂｌｅ  ＤＱＮによる強化学習を行うときには、Ｄｏｕｂｌｅ  ＤＱＮ手法における目標値（ｙ値）として扱われる。
【００７４】
ニューラルネットワークの入力層および出力層における演算には、重みの値を示すパラメータを要素とする行列ＷＩ，ＷＯ、および、バイアス値を示すパラメータを要素とする行列ＢＩ，ＢＯが用いられる。また、隠れ層＃ｋ（ｋは１〜Ｋのいずれか）における演算には、入力層および出力層における演算と同様に、重みの値を示すパラメータを要素とする行列Ｗｋ、および、バイアス値を示すパラメータを要素とする行列Ｂｋが用いられる。
【００７５】
入力層のｉ番目のチャネルＩＣＨｉからは出力値ｚIiが出力され、出力値ｚIiは、隠れ層＃１の各チャネルの入力とされる。出力値ｚＩiを要素とする配列を行列ＺＩとする（ｚＩi∈ＺＩ）。
【００７６】
隠れ層＃ｋのｉ番目のチャネルからは出力値ｚｋiが出力され、出力値ｚｋiは、隠れ層＃ｋ＋１又は出力層の各チャネルへの入力とされる。ここで、ｋは１〜Ｋである。出力値ｚｋiを要素とする配列を行列Ｚｋとする（ｚｋi∈Ｚｋ）。
なお、隠れ層＃ｋに含まれるチャネルの数は、学習の内容に応じて任意であり、例えば、２００個程度とされる。また、チャネルの数は、隠れ層＃１〜＃Ｋの全てで同じであっても、隠れ層＃１〜＃Ｋの１つ以上で他の層と異なっていても同じであってもよい。
【００７７】
ニューラルネットワークの入力層、隠れ層＃１〜＃Ｋおよび出力層に含まれるチャネルにおいては、演算のための活性化関数として、例えば、シグモイド関数またはＲｅＬＵ関数などが用いられる。活性化関数としてシグモイド関数が用いられるときには、ニューラルネットワークの各チャネルの入力値ｘと出力値ｈ（ｘ）との関係は下式（４）により与えられる。
【００７８】
ｈ（ｘ）＝１／（１＋ｅｘｐ（−ｘ））  ・・・（４）
【００７９】
従って、各チャネルの出力値ｚＩi，ｚｋｉ，Ｑｉ，それぞれは、下式（５）〜（８）により与えられる。なお、演算子「＊」は乗算を示す。
【００８０】
入力層のｉ番目のチャネルの出力値ｚＩiは、次式で表される。
ｚＩi＝１／（１＋ｅｘｐ（−（ｗＩｉ＊ｕｉ＋ｂＩｉ））  ・・・（５）
ここで、＊ｕｉは、ｉ番目のチャネルの入力、ｗＩｉは、重み行列ＷＩのｉ番目の要素、ｂＩｉは、バイアス行列ＢＩのｉ番目の要素
また、隠れ層＃ｋのｉ番目のチャネルの出力値ｚｋiは、次式で表される。
ｚｋi＝１／（１＋ｅｘｐ（−（Σ（ｗｋiｊ＊ｚ（k-1)ｊ＋ｂｋiｊ）））  ・・・（６）
ここで、ｚ（k-1)ｊは、隠れ層＃ｋにとっての前層のｊ番目のチャネルの出力、ｗｋｉｊは、隠れ層＃ｋ用の重み行列Ｗｋのｉ番目のチャネル用で且つ前層のｊ番目のチャネルからの入力用の重み要素、ｂｋｉｊは、隠れ層＃ｋ用のバイアス行列Ｂｋのｉ番目のチャネル用で且つ前層のｊ番目のチャネルからの入力用のバイアス要素。
【００８１】
出力層のｆ番目のチャネルの内部出力Ｑ’ｆは、次式で表される。
Ｑ’ｆ＝Σ（ｗｏｆｊ＊ｚｏｊ＋ｂｏｊ）  ・・・（７）
ここで、ｚoｊは、隠れ層＃Ｋのｊ番目のチャネルの出力、ｗｏｆｊは、出力層用の重み行列Ｗｏのｆ番目のチャネル用で且つ隠れ層＃Ｋのｊ番目のチャネルからの入力用の重み要素、Ｂｏｉｊは、出力層用のバイアス行列Ｂｏのｆ番目のチャネル用で且つ隠れ層＃Ｋのｊ番目のチャネルからの入力用のバイアス要素。
【００８２】
出力層のｆ番目のチャネルＯＣＨｆから出力される状態行動価値Ｑｆは、内部出力Ｑ’ｆを式（４）式に適用することにより、次式で表される。
Ｑｆ＝１／（１＋ｅｘｐ（−Ｑ’ｆ））  ・・・（８）
【００８３】
エージェント４２３は、報酬ＤＢ４２２に記憶された報酬値データ、学習部４２４により求められた状態行動価値Ｑ１〜ＱＦ＋１、および、運用計画記憶部４２５に記憶されている候補行列Ｍｏを用いた処理を、Ｔ×Ｇを周期として、繰り返し行う。エージェント４２３は、この処理により、記憶された候補行列Ｍｏに対応する運用計画のうち、最も高い報酬値Ｒを与えるいずれかを選択する。
【００８４】
エージェント４２３は、運用時間Ｔｏ、必須運用時間Ｔｍ、必須運用時間Ｔｍの報酬値Ｒｍ、追加運用時間Ｔａ、追加運用時間Ｔａの報酬値Ｒａ、減算値Ｒｓの絶対値｜Ｒｓ｜を用いて、候補行列Ｍｏの報酬値Ｒを下式（１１）により求める。なお、運用時間Ｔｏは、１つの人工衛星１０−ｆを連続して運用する時間であり、より具体的には、候補行列Ｍｏにおいて、特定の人工衛星１０−ｆに対応する行において連続して並ぶデータＯｐ（＝１）の数に対応する時間である。
【００８５】
To < Tmのとき：R = To×Rm
Tm ≦ To< Tm + Taのとき：R = Tm×Rm + (To - Tm)×Ra
Tm ＋ Ta ≦ Toのとき：R = Tm×Rm ＋ Ta×Ra ＋ (To - Ta - Tm）×|Rs|                                                            ・・・（９）
【００８６】
また、運用のたびに人工衛星１０を構成する装置の起動および停止などのための電力の消費および装置の劣化が生じるので、人工衛星１０の運用開始および運用終了の回数はできる限り少ないことが望ましい。そこで、人工衛星１０の運用開始および運用終了のたびに、下式（１０）に示されるように、報酬値Ｒは、運用開始および運用終了の回数Ｎｓｅ（Ｎｕｍｂｅｒ  ｏｆ  ｓｔａｒｔ／ｅｎｄ）の分だけ減算される。なお、報酬値Ｒの算出は、候補行列Ｍｏそれぞれの全ての行にわたって行われ、候補行列Ｍｏの全ての行から得られた報酬値Ｒの総和が、最終的な報酬値Ｒとされる。
【００８７】
R = R - Nse×|Rs|  ・・・（１０）
【００８８】
環境部４２１とエージェント４２３と学習部４２４は、求められた複数の組み合わせの計画の価値を学習し、前記学習の結果に基づいて、複数の組み合わせの計画の価値それぞれを計算し、計算された複数の組み合わせの計画それぞれの価値に基づいて、最も大きい値の報酬を与えるいずれかを選択し、最終的な計画とする。従って、環境部４２１とエージェント４２３と学習部４２４は、価値計算装置及び選択装置の一例として機能する。
【００８９】
以下、図２に示した運用計画立案装置４０の計画立案部４２の動作を、図１１〜図１３を参照して説明する。図１１に示すように、運用計画立案装置４０は、運用計画の学習を行うステップＳ１の処理、および、ステップＳ１の処理の結果を用いた運用計画の立案を行うステップＳ２の処理を行う。ステップＳ１，Ｓ２の処理は、Ｔ×Ｇ分ごとに実行される。
【００９０】
ステップＳ１の処理において、エージェント４２３および学習部４２４は、運用計画の学習を繰り返し行う。さらに、エージェント４２３は、候補行列Ｍｏが示す運用計画を評価する状態行動価値Ｑ１〜ＱＦ＋１を算出するニューラルネットワークにおいて演算に用いられる行列ＷＩ，Ｗ１〜ＷＫ，ＷＯ，ＢＩ，Ｂ１〜ＢＫ，Ｂｏを更新し、最適化する。
【００９１】
ステップＳ２においては、全ての可能性についてＮ個作成され、運用計画記憶部４２５に記憶された候補行列Ｍｏ１〜ＭｏＮを処理の対象とする。ステップＳ２において、最も高い状態行動価値Ｑ１〜ＱＦ＋１を与える候補行列Ｍｏに対応する運用計画が最終的な運用計画として選択される。
【００９２】
一般的には、強化学習においては報酬の時間割引が導入される。しかしながら、タイムスロットＴＳ１〜ＴＳＧの合計時間はＴ×Ｇ分と一定なので、ステップＳ１の処理においては、Ｔ×Ｇの間に報酬値Ｒに変化はないことが前提とされ、運用計画の学習における時間割引は行われない(割引率γ＝１．０)。
【００９３】
また、計画立案部４２は、運用計画の選択の方針として、ε−Ｇｒｅｅｄｙ手法を採用する。状態行動価値Ｑ１〜ＱＦ＋１の値が常に大きくなるように運用計画を選択すると、状態行動価値Ｑ１〜ＱＦ＋１が更新されない状態ｓおよび行動ａの組み合わせが発生することがある。ε−Ｇｒｅｅｄｙ手法は、状態行動価値Ｑ１〜ＱＦ＋１の値が最も大きくなるように設定されたε（ε＝０〜１）の確率で、ランダムに運用計画を選択する。このように、運用計画がεの確率でランダムに計画されると、状態行動価値Ｑ１〜ＱＦ＋１は、ランダムな運用計画が選択されないときに比べて広い範囲で更新され、従って、状態行動価値Ｑ１〜ＱＦ＋１が局所解に陥る事態が回避されうる。
【００９４】
図１１に示すステップＳ１の詳細を、図１２を参照して説明する。まず、エージェント４２３は、予め設定されたεの値と比較される数値δを、例えば、乱数などを用いて計算する（ステップＳ１００）。次に、エージェント４２３は、計算されたδの値と、εの値とを比較し（ステップＳ１０２）、δの値がε以上であるとき（δ≧ε）にはステップＳ１０４の処理に進み、δの値がε未満のときにはステップＳ１０６の処理に進む。
【００９５】
なお、運用計画の学習の回数が増えれば増えるほど状態行動価値Ｑ１〜ＱＦ＋１が最適化されるので、εの値は、運用計画の学習の回数が増えれば増えるほど小さくされる。例えば、運用計画の学習の開始時のεの初期値は０．３と設定され、運用計画の学習の終了時のεの初期値を０．０１とするように、εの値を運用回数の学習の回数に対して線形に小さくすればよい。例えば、運用計画記憶部４２５に４０００個の候補行列Ｍｏが記憶されているとき、エージェント４２３は、最初の運用計画を学習するためのεの値を０．３とし、４０００番目の運用計画を学習するためのεの値を０．０１とする。
【００９６】
ステップＳ１０４において、エージェント４２３は、Ｇｒｅｅｄｙ手法による状態行動価値Ｑ１〜ＱＦ＋１の学習を行う。つまり、エージェント４２３は、学習の処理対象となっていない運用計画のいずれかを運用計画記憶部４２５から読み出し、読み出した運用計画に対応する候補行列Ｍｏに対応するベクトルＵに含まれるデータｕ１〜ｕi〜ｕ（Ｆ＋１）Ｇを学習部４２４のニューラルネットワークの入力とする。学習部４２４は、入力された候補行列Ｍｏに対して、図１０および式（５）〜（８）を参照して上述した処理を行い、状態行動価値Ｑ１〜ＱＦ＋１を求め、エージェント４２３に出力する。エージェント４２３は、この時点で処理の対象となっている候補行列Ｍｏの第ｆ列において、可視行列ＭｓにおいてデータＣが記憶され、かつ、最も大きい値の状態行動価値Ｑ１〜ＱＦ＋１のいずれかを与える要素ｍｆｇに、データＯｐを記憶させる。
【００９７】
一方、ステップＳ１０６において、エージェント４２３は、候補行列Ｍｏの第ｆ列の要素ｍｆｇのいずれかをランダムに選択し、選択した要素ｍｆｇにデータＯｐを記憶し、これ以外の要素に０を記憶する。
【００９８】
続いて、エージェント４２３は、上式（９），（１０）を参照して説明したように、ステップＳ１０４，Ｓ１０６のいずれかの処理の対象となった運用計画の報酬値Ｒを計算する（ステップＳ１０８）。さらに、エージェント４２３は、ステップＳ１０４，Ｓ１０６のいずれかの処理が行われる前の報酬値Ｒ’と、ステップＳ１０４，Ｓ１０６のいずれかの処理が行われる前の報酬値Ｒとの差分（Ｒ−Ｒ’）を計算する（ステップＳ１０８）。
【００９９】
続いて、エージェント４２３は、ステップＳ１００〜Ｓ１０８の処理が、処理の対象となっている１つの候補行列Ｍｏの列の数Ｇだけ行われたか、行われなかったか、つまり、ニューラルネットワークにおいて用いられる行列ＷＩ，Ｗ１〜ＷＫ，ＷＯ，ＢＩ，Ｂ１〜ＢＫ，Ｂｏの更新が必要か必要でないかを判断する（ステップＳ１１０）。この判断が必要とされる理由は、ＤＱＮによる強化学習のためのミニバッチ処理のために、ステップＳ１００〜Ｓ１０８の処理により予め決められた数の運用計画に対応する候補行列Ｍｏが選択される必要があるからである。
【０１００】
エージェント４２３は、ステップＳ１００〜Ｓ１０８の処理が、予め決められた回数、行われたとき（ステップＳ１１０の処理においてＹ）にはステップＳ１１２の処理に進む。エージェント４２３は、ステップＳ１００〜Ｓ１０８の処理が、予め決められた回数、行われていないとき（ステップＳ１１０の処理においてＮ）にはステップＳ１１４の処理に進む。
【０１０１】
エージェント４２３は、ステップＳ１００〜Ｓ１１０の処理により得られた候補行列Ｍｏを用いて、ミニバッチ処理を行い、ミニバッチ処理の結果に従って、ニューラルネットワークにおいて用いられる行列ＷＩ，Ｗ１〜ＷＫ，ＷＯ，ＢＩ，Ｂ１〜ＢＫ，Ｂｏを、誤差逆伝播法により更新する（ステップＳ１１２）。ステップＳ１１２の処理におけるミニバッチ処理は、１回ごとに、ランダムに選択された３２個の運用計画に対応する候補行列Ｍｏを処理の対象とする。このミニバッチ処理は、完成した運用計画以外に、完成に至っていない運用計画に対応する候補行列Ｍｏをも処理対象とし得る。
【０１０２】
行列ＷＩ，Ｗ１〜ＷＫ，ＷＯ，ＢＩ，Ｂ１〜ＢＫ，Ｂｏの更新のためには、ターゲット値と報酬値の差に基づいて誤差を逆伝播するＡｄａｍ手法、ＡｄａｍＧｒａｄ手法またはＲＭＳｐｒｏｐＧｒａｖｅｓ手法を用いる。行列ＷＩ，Ｗ１〜ＷＫ，ＷＯの学習に用いられるハイパーパラメータの学習係数の初期値は、例えば０．０１とされ、この学習の回数が多くなれば多くなるほど、学習係数の値は小さくされる。なお、行列ＷＩ，Ｗ１〜ＷＫ，ＷＯ，ＢＩ，Ｂ１〜ＢＫ，Ｂｏの更新のために用いられるＴＤ誤差は、下式（１１）により計算される。なお、式（１１）において、ｓ”，ａ”は、周期Ｃｔのｓ，ａより２周期の後の周期Ｃｔ＋２の状態および行動を意味する。
【０１０３】
【数５】
2020177492.tif 000007
・・・（１１）
【０１０４】
また、Ｆｉｘｅｄ  Ｔａｒｇｅｔ  Ｑ−Ｎｅｔｗｏｒｋ手法による逆伝播を行う場合には、運用計画の学習のたびに更新されるニューラルネットワークのモデルと、運営計画の選択におけるｙ値の計算のためのターゲットネットワークとは別々に用意される。ステップＳ１１４において、エージェント４２３は、ステップＳ１００〜Ｓ１１２の処理が、予め決められた回数、例えば１０回、行われたか行われなかったかを判断する。
【０１０５】
エージェント４２３は、ステップＳ１００〜Ｓ１１２の処理が予め決められたＧ以下の回数、行われたとき（ステップＳ１１４の処理においてＹ）には、ニューラルネットワークのモデルとターゲットネットワークとの同期が必要と判断してステップＳ１１６の処理に進む。エージェント４２３は、ステップＳ１００〜Ｓ１１２の処理が予め決められた回数、行われていないとき（ステップＳ１１４の処理においてＮ）には、ステップＳ１１８の処理に進む。
【０１０６】
ステップＳ１１６において、エージェント４２３は、ニューラルネットワークのモデルとターゲットネットワークとを同期させる。
【０１０７】
ステップＳ１１８において、エージェント４２３は、運用計画記憶部４２５から読み出した運用計画の１つに対応する候補行列Ｍｏに対するステップＳ１００〜Ｓ１１４の処理が完了したか未完了かを判断する。エージェント４２３は、運用計画の１つに対応する候補行列Ｍｏに対するステップＳ１００〜Ｓ１１４の処理が完了したとき（ステップＳ１１８の処理においてＹ）にはステップＳ１２０の処理に進む。エージェント４２３は、運用計画の１つに対応する候補行列Ｍｏに対するステップＳ１００〜Ｓ１１４の処理が完了していないとき（ステップＳ１１８の処理においてＮ）にはステップＳ１００の処理に戻る。ステップＳ１１０〜Ｓ１１８によるループ処理は、１回ごとに１つの候補行列Ｍｏに含まれる１つの列（第ｆ列）を順次、処理の対象とする。このループ処理がＧ回、行われると、１個の候補行列Ｍｏに含まれる全ての列に対する処理が終了する。
【０１０８】
ステップＳ１２０において、エージェント４２３は、ステップＳ１００〜Ｓ１１４の処理により得られた運用計画およびその報酬値Ｒを、運用計画記憶部４２５に記憶する。
【０１０９】
ステップＳ１２２において、エージェント４２３は、ステップＳ１００の処理が始まる以前に運用計画記憶部４２５に記憶されていた運用計画に対応するＮ個の候補行列Ｍｏの全てに対するステップＳ１００〜Ｓ１２０の処理が終了したか終了していないかを判断する。エージェント４２３は、Ｎ個の候補行列Ｍｏに対するステップＳ１００〜Ｓ１２０の処理が終了したとき（Ｓ１２２の処理においてＹ）にはＳ２の処理に進む。エージェント４２３は、Ｎ個の候補行列Ｍｏに対するステップＳ１００〜Ｓ１２０の処理が終了していないとき（ステップＳ１２２の処理においてＮ）にはステップＳ１００の処理に戻る。ステップＳ１００〜Ｓ１２２によるループ処理は、１回ごとにＮ個の候補行列Ｍｏのいずれかを処理対象とし、Ｎ回のループ処理が行われると、Ｎ個の候補行列Ｍｏ全てに対する処理が終了する。
【０１１０】
図１３に示されるステップＳ２のステップＳ２００において、エージェント４２３は、ステップＳ１の処理により行列ＷＩ，Ｗ１〜ＷＫ，ＷＯ，ＢＩ，Ｂ１〜ＢＫ，Ｂｏが更新されたニューラルネットワークを用いて、Ｇｒｅｅｄｙ手法により運用計画を選択する。
【０１１１】
続いて、ステップＳ２０２において、エージェント４２３は、運用計画記憶部４２５に記憶された運用計画の全てに対するＧｒｅｅｄｙ手法による運用計画の選択が完了したか未完了かを判断する。エージェント４２３は、運用計画の全てに対する選択が完了したとき（Ｓ２０２の処理においてＹ）にはステップＳ２０４の処理に進む。エージェント４２３は、運用計画の全てに対する選択が完了していないとき（ステップＳ２０２の処理においてＮ）にはＳ２００の処理に戻る。
【０１１２】
ステップＳ２０４において、エージェント４２３は、ステップＳ２００，Ｓ２０２の処理により得られた運用計画と、この運用計画から計算される報酬値Ｒとを、運用計画記憶部４２５に記憶する。
【０１１３】
ステップＳ２０６において、エージェント４２３は、運用計画記憶部４２５に記憶された運用計画のうち、最も報酬値Ｒが大きい運用計画を、最適な運用計画として選択し、通信制御装置３０に送信する。
通信制御装置３０は、送信された運用計画を通信装置３６を介して受信し、これを補助記憶装置３３に格納する。
プロセッサ３１は、受信した運用計画に従って、制御Ｉ／Ｆ３５を介してアンテナ装置２０を制御し、人工衛星１０を運用する。
【０１１４】
なお、報酬値データとして、必須運用時間Ｔｍおよび追加運用時間Ｔａに対応する２種類の報酬値Ｒｍ，Ｒａを示したが、運用時間を３種類以上とし、３種類以上の運用時間それぞれに報酬値を設定してもよい。また、ＴＤ誤差の計算のために、ＴＤ誤差が少ない運用計画を優先的に学習するｐｒｉｏｒｉｔｉｚｅｄ  ｅｘｐｅｒｉｅｎｃｅ  ｒｅｐｌａｙ手法が適用され得る。また、学習部４２４において、ニューラルネットワークの代わりにＱ−Ｔａｂｌｅ手法を用いてもよく、この場合には、ステップＳ１のステップＳ１１０の処理を省略することができ、また、ステップＳ１２２の処理をステップＳ１１０における判断なしに行ってもよい。
【０１１５】
このように、計画立案部４２は、過去に立案された運用計画または教師データなしに状態行動価値Ｑ１〜ＱＦ＋１を計算でき、また、運用計画を立案することができる。また、計画立案部４２は、人工衛星１０それぞれに優先順位を付すことなく、軌道計算部４１により求められる可視行列Ｍｓおよび報酬値データから運用計画を立案することができる。
【０１１６】
実施の形態１では、一度に運用できる人工衛星１０の数を１としたため、候補行列の各タイムスロットＴＳの列に運用を示すデータＯｐを１個だけ設定した。ただし、アンテナ装置２０がｍ台の人工衛星１０を同時に運用出来る場合には、各列について、データＯｐをｍ個設定して全ての組み合わせについて、候補行列Ｍｏを作成すればよい。
【０１１７】
［実施の形態２］
以下、実施の形態２を説明する。
本実施の形態においては、運用計画立案装置４０は、計画立案部４２に代えて、図１４に示す計画立案部４２Ａを備える。
【０１１８】
計画立案部４２Ａは、計画立案部４２の構成要素に加え、重み付け設定部４２６、教師ＤＢ４２７、先行行動部４２８、およびリスケジュール計算部４２９をさらに備える。
【０１１９】
重み付け設定部４２６は、重み付けデータを記憶する重みＤＢを備える。重み付けデータは、報酬値Ｒの計算のために、候補行列Ｍｏの要素ｍｆｇに記憶されたデータＯｐおよびこれに対応する報酬値Ｒを重み付けするために用いられる。より詳細には、重み付けデータは、例えば、候補行列Ｍｏの要素ｍｆｇのうち、人工衛星１０の運用に用いられることが望ましいと考えられた１つ以上に記憶されたデータＯｐの値をＷｔ、例えば、１．５倍し、それ以外に記憶されたデータＯｐの値を１倍する、即ち、変更しないように設定される。重み付け設定部４２６は、重み付け装置の一例である。
【０１２０】
また、重み付けデータは、候補行列Ｍｏの要素ｍｆｇのうち、人工衛星１０の運用に用いられることが望ましいと考えられた１つ以上が用いられる運用計画の報酬値Ｒを、Ｗｔ’ 倍（ＷｔとＷｔ’とは同じでも異なっていてもよい）し、それ以外の報酬値Ｒを１倍する（変更しない）ように設定される。
【０１２１】
なお、Ｗｔ’ の値は、報酬値Ｒｍに乗算されるＷｔｍ’、報酬値Ｒａに乗算されるＷｔa’、減算値ＲｓにＷｔｓ’を含み、これらの値はＷｔｍ’＞Ｗｔa’＞Ｗｔｓ’とされる。Ｗｔｍ’＞Ｗｔa’＞Ｗｔｓ’とすると、運用時間Ｔｏが長いときに、運用時間Ｔｏの終了部分において減算値Ｒｓに基づいて報酬値Ｒから減らされる値が大きくなることに起因して、報酬値Ｒが過小に計算されてしまう事態を防ぐことができる。
【０１２２】
重み付け設定部４２６は、重みＤＢに記憶された重み付けデータに従って、候補行列Ｍｏの要素ｍｆｇに記憶されたデータＯｐを重み付けする。また、重み付け設定部４２６は、エージェント４２３から報酬値Ｒを受け、重みＤＢに記憶された重み付けデータに従って報酬値Ｒに重み付けをし、エージェント４２３に返す。
【０１２３】
教師ＤＢ４２７は、人工衛星システムの１種類以上の構成（人工衛星１０の種類、軌道および数、および、アンテナ装置２０の種類および数）と可視行列Ｍｓとの組み合わせそれぞれに対して、過去に立案された運用計画を教師データとして記憶する。教師データは、学習部４２４における学習のために用いられる。これにより、エージェント４２３は、最適化された行列ＷＩ，Ｗ１〜ＷＫ，ＷＯ，ＢＩ，Ｂ１〜ＢＫ，Ｂｏに基づく状態行動価値Ｑ１〜ＱＦ＋１を用いた運用計画を立案することができる。
【０１２４】
先行行動部４２８は、候補行列Ｍｏの任意の列（第ｇ列）の運用計画を立案するときに、その先の運用計画作成期間Ｔ×Ｇの間に立案され得る可能性がある運用計画の全てを示す候補行列Ｍｏ１〜ＭｏＮを作成する。このように作成された候補行列Ｍｏ１〜ＭｏＮの全ては、学習部４２４における学習において、事前にＱ−Ｔａｂｌｅまたはニューラルネットワークを数ステップ先まで更新するために用いられる。
【０１２５】
先行行動部４２８では、１ステップ先の状態行動価値Ｑ１〜ＱＦ＋１（∈状態行動価値Ｑ（ｓ’，ａ’））は、上式（１）の代わりに、下式（１２）により与えられる。
【０１２６】
【数６】
2020177492.tif 000008
・・・（１２）
【０１２７】
なお、エージェント４２３が、時間長Ｔの２倍以上の時間が経過した後の報酬値Ｒを、予め計算するため必要とされる時間は、指数関数的に増加する。具体的には、例えば、候補行列Ｍｏが５個あるときに、時間長Ｔの２倍の時間が経過した後の報酬値Ｒを計算するために要する時間は、時間長Ｔの時間が経過した後までの報酬値Ｒを計算するために要する時間の２５（＝５２）倍となる。同様に、時間長Ｔの３倍の時間が経過した後までの報酬値Ｒを計算するために要する時間は、１２５倍（＝５３）となる。従って、時間長Ｔの何倍先の時間が経過した後までの報酬値Ｒを計算するかは、処理時間を考慮して決められる必要がある。
【０１２８】
リスケジュール計算部４２９は、報酬値Ｒの値が最も大きくなるように、一度、立案された運用計画を再計画する。例えば、リスケジュール計算部４２９は、エージェント４２３により立案された運用計画に対応する候補行列Ｍｏの列それぞれにおいて、データＯｐが記憶される要素ｍｆｇの位置を変更して組み替えを行う。ここで、エージェント４２３により立案された運用計画に対応する候補行列Ｍｏが図１５に示す内容であるとする。この候補行列Ｍｏの影を付して示す第ｇ列に注目すると、要素ｍｆｇに設定されているＯｐを、第１行、第２行・・・などの他の行の位置に変更して組み替えを行う。さらに、リスケジュール計算部４２９は、列方向に組み替えられた運用計画の状態行動価値Ｑ１〜ＱＦ＋１を計算し、候補行列Ｍｏそれぞれにおいて、最も大きい状態行動価値Ｑ１〜ＱＦ＋１を与える運用計画を選択することにより、運用計画を再計画する。
【０１２９】
さらに、リスケジュール計算部４２９は、例えば、図１６に影を付して示すように、エージェント４２３により立案された運用計画に対応する候補行列Ｍｏの行それぞれにおいて、データＯｐが記憶される要素ｍｆｇの位置を、ランダムに変更して組み替えを行う。さらに、リスケジュール計算部４２９は、行方向に組み替えられた運用計画の状態行動価値Ｑ１〜ＱＦ＋１を計算し、候補行列Ｍｏそれぞれにおいて、最も大きい値の状態行動価値Ｑ１〜ＱＦ＋１を与える運用計画を選択することにより、運用計画を再計画する。この場合、リスケジュール計算部４２９は、例えば、連続してデータＯｐが記憶された要素ｍｆｇの長さが最も短い行から、最も長い行の順に、要素ｍｆｇの位置の組み替えを行う。なお、リスケジュール計算部４２９は、候補行列Ｍｏの行方向の要素ｍｆｇの組み替えおよび状態行動価値Ｑ１〜ＱＦ＋１の計算を先に行い、列方向の要素ｍｆｇの組み替えおよび状態行動価値Ｑ１〜ＱＦ＋１の計算をその後に行うこともできる。
【０１３０】
図１７，図１８は、先行行動部４２８により作成された候補行列Ｍｏ１〜ＭｏＮが用いられる場合における計画立案部４２Ａの処理を示すフローチャートである。図１７に示すステップＳ３の処理においては、図１２に示すステップＳ１００の前に、ステップＳ３００が追加される。図１２に示すステップＳ１００の後に、ステップＳ３０２が追加される。ステップＳ３０２は、Ｓ１０２とＳ１０４との間に追加しても良い。また、図１８に示すステップＳ４の処理においては、図１３に示すステップＳ２０６の処理の前に、ステップＳ４００の処理が追加される。
【０１３１】
図１７に示すステップＳ３００において、重み付け設定部４２６は、重みＤＢに記憶された重み付けデータに従って、報酬ＤＢ４２２に記憶された報酬値データを重み付けする。
【０１３２】
ステップＳ３０２において、先行行動部４２８は、可能性がある運用計画の全てを示す候補行列Ｍｏ１〜ＭｏＮを作成する。学習部４２４は、先行行動部４２８により作成された候補行列Ｍｏ１〜ＭｏＮを用いた学習を行い、エージェント４２３は、行列ＷＩ，Ｗ１〜ＷＫ，ＷＯ，ＢＩ，Ｂ１〜ＢＫ，Ｂｏの各要素の値を最適化する。なお、ステップＳ３のステップＳ１２２が終了すると、図１８に示すステップＳ４の処理を開始する。
【０１３３】
図１８に示すステップＳ４００において、リスケジュール計算部４２９は、図１５と図１６を参照して説明したように、運用計画を再計画する。
【０１３４】
この構成によれば、オペレータが望む優先順で、時刻および人工衛星１０を運用する運用計画が立案され、オペレータが望まない優先順で、時刻および人工衛星１０を運用する運用計画が立案さないようになる。また、教師データの学習が、運用計画の立案以前に行われるので、高い値の状態行動価値Ｑ１〜ＱＦ＋１を与える運用計画が立案される。また、一度、立案された運営計画が、リスケジュール計算部４２９により見直されるので、常に、最適な運用計画が立案される。なお、教師ＤＢ４２７が用いられ、先行行動部４２８が用いられない場合には、計画立案部４２Ａは、Ｓ３０２以外のＳ３の処理を、運用計画を開始する前に行って行列ＷＩ，Ｗ１〜ＷＫ，ＷＯ，ＢＩ，Ｂ１〜ＢＫ，Ｂｏの各要素の値を最適化する。さらに、計画立案部４２Ａは、Ｓ１０２，Ｓ１０４，Ｓ１０６，Ｓ３０２以外のＳ３の処理を行い、運用計画の立案を行う。計画立案部４２Ａは、教師ＤＢ４２７および先行行動部４２８の一方を備える構成、または両方を備える構成、どちらも備えない構成の何れでもよい。また、重み付け設定部４２６、教師ＤＢ４２７、先行行動部４２８、およびリスケジュール計算部４２９は、用途に応じて備えればよく、何れか一つを備える構成、何れか複数を備える構成、全てを備える構成の何れでもよい。
【０１３５】
［実施の形態３］
以下、実施の形態１と２においては、アンテナ装置２０と通信制御装置３０とは１台ずつであり、同時に運用可能な人工衛星１０は一台のみであった。この発明はこれに限定されず、同時に運用可能な人工衛星１０を複数台としてもよい。
例えば、図１９に示す構成では、複数のアンテナ装置２０−１〜２０−ｌ〜２０−Ｌ（Ｌ≧２、ｌは１〜Ｌのいずれか）と通信制御装置３０−１〜３０−ｌ〜３０−Ｌを備える。アンテナ装置２０−１〜２０−Ｌは、人工衛星１０から全て同じとみなされ得る位置に配置されても、互いに離れた位置に配置されてもよい。また、１台のアンテナ装置２０で複数の周波数の信号を処理することにより、複数の人工衛星１０を運用可能としてもよい。
【０１３６】
このような構成においては、運用計画立案装置４０は、アンテナ装置２０−１〜２０−Ｌそれぞれの運用計画を立案し、さらに、立案したアンテナ装置２０−１〜２０−Ｌの運用計画に互いに矛盾が生るか否かを判別する。例えば、同一タイムスロットＴＳに特定のアンテナ装置２０−ｌが複数台の人工衛星１０を運用する計画になっていないかを判別する。運用計画立案装置４０は、矛盾が生じていると判別したときには、その矛盾を解消するように、運用計画を調整する。例えば、矛盾している運用Ｏｐの１つ又は複数を、報酬値Ｒを考慮しつつ行又は列方向に移動する。このように、運用計画立案装置４０が、アンテナ装置２０−１〜２０−Ｌ全ての運用計画を立案し、立案した複数の運用計画の間に生じた矛盾を解消することにより、複数のアンテナ装置２０−１〜２０−Ｌを用いて、複数の人工衛星１０を、最適に運用することができる。
【０１３７】
上記実施の形態においては、人工衛星の運用管理にこの発明を適用する例を説明したが、この発明はこれに限定されない。例えば、水処理プラントにおける排水経路の切り替え計画、電力プラントにおける発電計画などの、複数の第１のリソースと１つ以上の第２のリソースとの一定時間長の周期ごとの組み合わせの計画を設定する場面で広く適用可能である。
【０１３８】
本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１３９】
１０  人工衛星、    １２  人工衛星通信回線、    ２０  アンテナ装置、    ３０  通信制御装置、    ４０  運用計画立案装置、    ４１  軌道計算部、    ４２、４２Ａ  計画立案部、    ４１１  軌道ＤＢ、    ４１２  衛星位置計算部、    ４１３  可視情報生成部、    ４２１    環境部、    ４２２  報酬ＤＢ、    ４２３  エージェント、    ４２４  学習部、    ４２５  運用計画記憶部、    ４２６  重み付け設定部、    ４２７  教師ＤＢ、    ４２８  先行行動部、    ４２９  リスケジュール計算部。
【図１】
2020177492.tif 000009
【図２】
2020177492.tif 000010
【図３】
2020177492.tif 000011
【図４】
2020177492.tif 000012
【図５】
2020177492.tif 000013
【図６】
2020177492.tif 000014
【図７】
2020177492.tif 000015
【図８】
2020177492.tif 000016
【図９】
2020177492.tif 000017
【図１０】
2020177492.tif 000018
【図１１】
2020177492.tif 000019
【図１２】
2020177492.tif 000020
【図１３】
2020177492.tif 000021
【図１４】
2020177492.tif 000022
【図１５】
2020177492.tif 000023
【図１６】
2020177492.tif 000024
【図１７】
2020177492.tif 000025
【図１８】
2020177492.tif 000026
【図１９】
2020177492.tif 000027