The 19th Annual Conference of the Japanese Society for Artificial Intelligence, 2005

3E3-05

アド バイスによるマルチエージェント環境への適応
The Adaptation Model to the Multi-Agent Environment Using External Advice
秋山英久

片上大輔

新田克己

Hidehisa Akiyama

Daisuke Katagami

Katsumi Nitta

東京工業大学大学院
Tokyo Institute of Technology

In this report, we propose the model to use the advice from a coach agent effectively in the RoboCup Soccer
Simulator environment. In our model, the team strategy is composed of two types of parameters, called basic
tactics and additional tactics. When player agents receive the advice from a coach agent, player agents convertthat advice to the differential parameters and use it as additional tactics. And also, they decide the action thatshould be executed by using the evaluation function that uses these parameters as an input. This technique enables
player agents to accept advice gently and to decide the action flexibly.

1.

はじめに思決定はプレイヤに任せて，アドバイスは単純化し，コー
チはより大局的な戦略変更に注力することが望ましい．

近 年 ，RoboCup サッカ ー シ ミュレ ー ション リ ー グ[Noda 1998] では，参加チーム全体のレベル向上に伴い，より高度で抽象的なレベルの意思決定へと問題がシフトしてきている．そのため，対戦相手に応じてチーム戦略を動的に適応させる能力がチームに求められつつある．この問題に対して，プレ イヤエージェントとは異なる視界を持つコーチエージェントを導入し ，コーチからのアド バイスによって適応を実現する試みが行われている．本稿では，コーチからのアドバイスを有効利用するための，プレ イヤエージェントのアドバイス受け入れモデルを提案する．
我々が提案するモデルでは，プレ イヤはチーム戦略をパラメータで管理し，プレイヤはそれらのパラメータを入力とする評価関数に基づいた意思決定を行う．プレイヤはアドバイスを受け取るとそのアド バイスを内部で差分パラメータへ変換し，既存の戦略に対する追加戦術として保持する．この機構によって，アドバイスの柔軟な受け入れが可能になり，より抽象的で単純なアドバイスを受け入れることや，矛盾のあるアドバイスを処理することができるようになる．また，我々のモデルを利用することで，人間がアド バイスを与えて戦略を調整するといったことも可能となる．

2.

サッカーシミュレータにおけるアド バイス

2.1

コーチのアド バイス• 既存戦略への影響
アド バイスされたルールを直接使用すると，既存の戦略に不具合を発生させる危険性が非常に高い．プロダクショ
ンルールを柔軟に受け入れる機構が必要である．
• 競合するアド バイスへの対処
条件部に競合が発生するルール，例えば全く同じ内容のアド バイスを複数回受け取った場合などにも対処できなければならない．

3.

アド バイス受け入れモデル

3.1

概要

我々が提案するモデルでは，Reis らが提案した戦略管理システム [Reis 2001] と同様にチーム戦略をパラメータで管理する．図 1 に示すように戦略には複数の戦術が含まる．ただし，基本戦術のみを扱う Reis らの手法とは異なり，戦略に含まれる戦術には基本戦術と追加戦術の二種類が存在する．プレイヤ
内部では，これらふたつの戦術がパラメータで表現されており，戦略は戦術パラメータの集合となる．アドバイスとして与えられたプロダクションルールはパラメータ化され，追加戦術として戦略に取り込まれる．

サッカーシミュレータには標準コーチ言語 (Standard CoachLanguage: CLang) と呼ばれるアド バイス専用言語が既に組み込まれている [Noda 2003]．CLang によるアド バイスはプロダ クションルール形式で記述される．試合中にコーチエージェントが与えるアド バイスは，この CLang の文法に沿ったものでなければならない．

2.2

アド バイスにおける問題

CLang によるプロダクションルール形式のアド バイスを使用する場合，次のような問題が考えられる．
• 複雑なアド バイスによる計算資源の消費アドバイスが複雑になるとルールの検証のための計算量が増加し，プレイヤの負担が大きくなる．反射的な細かい意
図 1: アド バイス受け入れモデルの概要

連絡先: 秋山英久，東京工業大学大学院総合理工学研究科，045924-5205，akiyama@ntt.dis.titech.ac.jp1

The 19th Annual Conference of the Japanese Society for Artificial Intelligence, 2005

3.2

戦術のパラメータ化の条件部は追加戦術の使用条件としてそのまま保持され，ルールの行動部は基本戦術に対する差分パラメータ化される．ルールに記述されていない行動に関するパラメータは省略される．
プレイヤは，追加戦術の使用条件と合致する状態になれば，その差分パラメータを基本戦術と組み合わせて使用する．追加戦術は戦略内に複数持つことができる．

我々のモデルでは，戦術は以下のパラメータセットで表現される．

• 戦術の使用条件
戦術が適用されるために満たされるべき条件．フィール
ド 上の状態を記述した述語の論理結合によって表現される．基本戦術には含まれない．
• 戦術が適用されるプレ イヤの集合
この集合に属するプレ イヤにのみ戦術が適用される．基
本戦術には含まれない．
• プレ イヤごとの各行動の優先度
実行可能な行動の中からどれを優先すべきかを決定する．
[0, 1] の実数値．
• プレ イヤごとの各行動対象の優先度
主にパス行動で，対象としてどの味方プレ イヤを優先するかを決定する．0 以上の実数値．

3.3

図 3: アド バイスのパラメータ化

プレ イヤの意思決定

アド バイスを追加戦術として差分パラメータ化することによって，2.2 節で述べた問題が解決される．(1) 非常に単純なルールであってもパラメータとして反映することができる．(2)パラメータと 3.3 節で述べた評価関数を用いることで，既存の戦略を即座に壊すことが無くなる．そして，(3) アド バイスは差分パラメータとして扱われるので，内容の重複したアドバイスであっても簡単に取り込むことができる．
追加戦術を差分パラメータで表現することの利点として，アド バイスからパラメータへの変換はプレ イヤに任されるため，コーチがパラメータ化の詳細を知らなくて良いという点も挙げられる．このため，人間がコーチとしてアドバイスを与えることも可能となる．我々は人間がアドバイスを与える作業を支援する GUI ツールを開発しており，人間の観察を利用して有効なアド バイスをオフラインで蓄積している．実際の試合では，コーチエージェントはこの蓄積されたアドバイスを使用する予定である．

プレ イヤは意思決定の機会ごとに実行可能な行動を全て生成し，それらを評価関数で評価し，もっとも価値の高い行動を選択する，という単純なサイクルを繰りかえす（ 図 2 ）．

図 2: プレ イヤの意思決定フロー
ポジショニング行動に関しては，単純に優先度のもっとも高い行動が選択される．
キック行動の評価関数は次のようになる．キック行動 a の基本値 BVa は式 1 で求められる．a に対する敵プレ イヤの予
測ボール捕捉時間を OS(a)，味方プレ イヤの予測ボール捕捉時間を T S(a) とする．この基本値 BV が負になる行動，すなわち敵にボールが取られる行動は実行されない．

BVa = OS(a) − T S(a)4.

プロダクションルール形式のアドバイスを戦術としてチーム全体の戦略へ取り込むためのアドバイス受け入れモデルを提案した．現在，有効なアドバイスの蓄積を行っている．蓄積されたアドバイスを実際の試合で利用するために，本稿で提案したモデルと試合分析手法との融合が今後の課題である．

(1)

参考文献

次に，この基本値 BVa を式 2 のように補正する．a の優先度を Pa ，a の行動対象の優先度を T Pa ，a の終点のフィール
ド 位置による補正値を F P (a)，最終的な行動 a の評価値を Vaとする．
Va = BVa × Pa [×T Pa ] × F P (a)
(2)

3.4

まとめ

[Noda 1998] Noda, I. et al.: Soccer Server: A Tool for Research on Multiagent Systems, Applied Artificial Intteligence, (1998).
[Noda 2003] Noda, I. et al.: RoboCup Soccer Server
Users Manual for Soccer Server Version 7.07 and later,
http://sserver.sourceforge.net/, (2002).

基本戦術と追加戦術

基本戦術は常に使用されるパラメータセットで，現在の状態がいずれのアドバイスの条件部とも合致しない場合にはそのまま使用される．このため，基本戦術はプレイヤの行動に関するパラメータを省略することなく全て持ち，また，基本線術は戦略内にただひとつしか存在しない．
追加戦術は基本戦術に対する差分パラメータである．アドバ
イスから追加戦術への変換は図 3 のように行われる．ルール[Reis 2001] Reis P. R. et al: Situation Based Strategic
Positioning for Coordinating a Team of Homogeneous
Agents, Balancing Reactivity and Social Deliberationin Multi-Agent Systems, pp. 175-197, (2001).

2