目次
1. 分散処理環境での都市型水害シミュレータの検討,
鈴木 祟泰, 高橋 友一 (名城大学大学院) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

2. 方策勾配法を用いたサッカーエージェントの学習〜フリーキックにおけるキッカーとレシーバ〜,
中村 浩二 [1], 五十嵐 治一 [2], 石原 聖司 [3](1 芝浦工業大学大学院, 2 芝浦工業大学, 3 近畿大学工学部電子情報工学科) . . . . . . . . . . . . .

7

3. CITIZEN Eco-Be! League: bringing new flexibility for research and education to
RoboCup,Rodrigo da S Guerra[1], Joschka Boedecker[1], Norbert Mayer[1,2], Shinzo Yanagimachi[3],Yasuji Hirosawa[3], Kazuhiko Yoshikawa[3], Masaaki Namekawa[3], and Minoru Asada[1,2](1 Graduate School of Engineering, Osaka University, 2 HANDAI Frontier Research Center,
3 CITIZEN Co.) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
4. 位置に基づく行動規則を実装した入門用サッカーエージェント作成キット OZED,西野 順二 [1], 久保 長徳 [2], 下羅 弘樹 [3], 中島智晴 [4](1 電気通信大学, 2 仁愛大学, 3 福井大学, 4 大阪府立大学) . . . . . . . . . . . . . . . . . . . . . . 19
5. ニューラルネットワークによるゲームログからの行動獲得,
並川 直樹, 小野 玄基, 横山 智史, 高谷 将裕, 中島 智晴, 石渕 久生 (大阪府立大学) . . . . . . . . . . . 25

6. ad-hoc ネットワークにおける音波を用いた端末間距離測定に関する一考察,
植村 渉 (龍谷大学) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

7. マルチ全方位ビジョンシステムによる物体認識および自己位置同定手法,
井戸 大介, 前田 陽一郎 (福井大学大学院) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

8. Inferring other’s intention based on estimated state value of self,
Yasutake Takahashi[1,2], Teruyasu Kawamata[1], Tom Tamura[1], and Minoru Asada[1,2](1 Graduate School of Engineering, Osaka University, 2 HANDAI Frontier Research Center) . . . 40

社団法人 人工知能学会
Japanese Society for
Artificial Intelligence      

人工知能学会研究会資料
JSAI Technical Report
SIG-Challenge-0623-1 (5/4)

Urban Flood Simulation on Distributed Computation Environment! #"%$&('*),+-/.!021!0315476!831#9!:3;

Takayashu Suzuki

Tomoichi Takahashi

Meijo University, Nagoya

ttaka@ccmfs.meijo-u.ac.jp

Ci kCJ\C^ªThPSJ^ {  ¼ _V ^ x G z  G
z_J`VSV_TP` Í  #au h^T$ K²%MnPm "S&[KP h xn'Ï (?ª_   _L_TOO S  "! O O xLê1 XnK M 2")Ñ3n_ViJO kJJ^Pn°²±³a´µ?þK[ +O *-,.0/F
z XPÃ^[ò6aX+78 «V¬JSHBP¸+9JµÃÞ-²ÃXP¹^PS4^ 5:-;?X« <=->-? @ A BC  S C"^ DLF¸ EaX GIH KX JML ' ( N·§ {  O-P 
Q Û f R K g {  S-T ¯ qTXnM)ÂK U VMW KV x X"Y ¨J§ xTê O ý Z[ Ãh[Se\g^  G[IT_J`[XÍPc  &PKCÓCãLO\'"("]PéL_a`[KMgOH{ ô_^\`C?X a-bN
¤Cg°±³´µJþjXVÚ dn]¢C£ J?O
e fPªPhrhS g ijrú kl z ªVÚ d { ]\[^°n ±Ã³g´]µ1 <=?>#@
AbJCcB(DFEHGJILKNMPOHQJRTSVUJW?XVYCZ?KNM[O]\J^?_a`[K °(V[¶¹èP¸]éPnOX m n·o§ g i"jPúnX p-q& ~"| r FX sa?K t{ |PSe}?dg~ faKVhj igw kgXjlTq KLx MnUPmpWoP_JG?`rXjKqrN^P s[{Ht Jur3vPwg_?xPHy?Cz
O  XP{  iPkCaPKje_jgn?c eN iCkPC^ xJC aTO Va KrP]P ­®HOF¯P¡e¢J£
OrP¤PSV¥N¦PXgJTOL§P¨[©eªC«P¬
qTKNM[O]\^?Xg°²±e³a´eµr°·¶¹¸ x ª²[O  xPº²»½¼ O G[ ¾r¿[À[ÁJK?MjOÂUgWgªCXHYg{ Z°n±Ã³P´Fµj°²¶Ä¸XFÅ[ÆS]ÇgÈÉjÊ[ËgkLePÌ/§ eQgRPÍr?X[°±H³´eµÕ°(~ ¶¹¸]PÖPL×n_XjsP` xJtÎ?Ø xCÏnÙ ÐÑ¼ a{ TgÚJO Û Ð½¼iPkCO ÕÒ?Ó~ M½§ ÔJ{ GVsz
S-T ¯ qJKNMVO u ^TX uvtJØaÜVÝJÞVßaCSràLáj^P Câ iLKPÓã?OägWLXVåC^K?MO u ^rægçXHèPé xTê O  ¦Ho[ërìPíXîï^[ðVèL¦oNñ[KNMnmóòJôõ´¹ö[Þ?ªCq w WLXj^C÷JðPè²{ eøCùª/ 2 wyx{z}|~y{_O  ¦oCGCú?ûXj×JüPGýFÝNµaþ[jÿß S C¥N ¦ õ°%±³´Cµ/þPhINMÍ Mõ°3{ ±]³a´Jµa{ °·¶¹¸a°nA XeGPÒJªJS  µ²D ÞF¾r÷TX Cª[¬PX U
X IT°/±]³a{ ´Vµaþa§  ÏV 1   X
WX]Y[ZJK?MVOÂ\g^TV°n±Ã³g´eµj°²¶ ¸ O°gA   xg -?°/±e³´Vµaþ?§  ÏV OJ¨?§Ãª z XnaF Å Ð ¼ JO ª²[O Abstract

Various reasons cause floods in cities. Not onlybank damages but also localized burst may
cause disasters in urban, especially people inunderground city. Proper actions such as closing floodwalls can prevent water to flow into1.

undergournds. It is hard to simulate both flood
flow and actions to them.

2.

In this paper, we show a flood simulation based

3.

(

)

on diffusion equation model and discussion using experiments data using heavy rainfall dis-

(

12

)

9

,

(

1).

aster around Nagoya City.

[ 6]

.

,

,
.

,

[1 ]

[10]

[2 ]

Figure 1:

[3 ].

[4 ]

50

(IDSS)[5 ]1[7] IDSS

v LD KnMVO  Z Å  §  Z   {  i-pqÖg× [¸jKNMVO+gi-jgú   ` ý 3 c O P[ðrèTKtg[gh[S"| }~ x ! pVÝ?µJþC§1.
MaKg_?OCMÄ) Kx g@  Û Ð ¼ ]ÝnµJþVJß {  [8]
Õ
&
N
Ý
a
µ
þ

K
[
M
+
O



a
/
°
e
±

³
V
´
a
µ
þ
2. 
~ (SSTD)hH°³  Z --><!-- 
~ XðgÍJè _J`  TKNXeMVÍ[OT°n±H³J´eµV°/¶½¸jXKpPq [  S --<MeshuHyoko
id="MH23111000001">
 ü• <Hyoko>0</Hyoko> // Zk•   =  X Jµr¸NDÑX @ H_`?§HX"!   - <point
id="PM23111000001">\[^T°±]³´Fµ[°õ¶Ã¸eKPh CFD(Computational Fluid <CRS idref="JGD2000"
/>
a
_
`
a
ß
/


O
F

j
X

¾

#
a
ª
g
h

S
"
O
P
126123.0000</position>//Dynamics)_`PX l $%&Nx('"8 ¼O) *  xn]¼ê OVS^*  J ^"D  <position>492645.0000,¸+JE XGVH _P`VX FÍ,+ = > ?@ \JL OP¨J§ x- J( ª </point>
Figure 2:

ê Oe_a`gX/.0 x?ê O 
123456 798":;=<>@?
O"P l$  jÍ ?-@ F JL ÐÑ¼ C°/±³´jµP°(¶H¸[A O[¤[KVSj°L±H³P´Fµj°/¶Â¸ÃgÌVGrÒL vBJ
K CED
mpES F v?"  §Ä^[÷aXFÝ?µCþF EGH"JIV§ { n t /?De§ Z { ( K )  ^aX L @ h 1 z EX  ig=¾ M@N?X
O gP¾ M/Na@K P )]FX§ O 

+ + </MeshuHyoko>+++++

2.1

∂wi,j
=α
∂t



∂ 2 wi,j∂ 2 wi,j
+
∂x2
∂y 2



Figure 3:×CügÝnµþ\( { Û { (@CVXY Z¨[¨ÃªPS (h  iQr×Cª O X h TP^ U6?HS V 3  
h C^U 6?]Æ { S  Xê TX(S W R 6ah X]ünYX²O h v"D KgÓJãLO¹oCG?X@ Z + O S"C[TeCÌ¯ JqTKX­²Ý®¹µT¯ þ[qaX[°/õ±]e³aS´µ[=°õP¶¹kn¸FXgN=KCLm§n { gG P§Ñ^r÷TXZ?¹Æ ý  X [PlK[ÓgjJh[S¹^g÷ 1 (X %&CªT°/±F³T´jµ[°(¶¹¸P PSaý K& [Plv~" \ c  i x ] ¨J½_gTM ) FK pq O  v^E_ ]Æ z
O-P?XFõ a
K
O
L
K
L
M
m
S
O
^Vg¸ þFµ ¡h[D k ª ÎÏaÐÄ¼ PJO ¯ q&VX & ~¢^u { r²Ð ]` S/e@fLbdX c K O-P x?{ ê Oê gµPAPhgSx
^ w  c ¦ ¢ ^ w ]ÿß O  Î?ÏnÐ ¼ aaO ¢ ^\9h@_ jPúTIª V^*?K²Mnm u ^ ag_[S iTh j
k u ^Cª ê OT§F?P°²±]³T´]µ[°(¶H¸ xl PKg_TO w£°õ¶¹`¥¤ ¸rA ¨FS hh& E/"~ § § Pvq ©w ªCh ª=«q { c [eüLSej°nß±ÃP³g ´] µa^D¸ E?X T^ w h ÎnÏ ×ü `rßT{ PSc
iJkNXr\Jm^nn°/o@±ep(³q´rr µP°(¶¹¸jª?hC/S s=tNbTXjc\a^n°±]³v©ª%§]°/±e³V´ µg°·¶¹¸rAh Ed¬a/@ ´jµg°(¶¹¸rK )-*L_  Z SrUCWLXVÝNµaþVK S J^nüßTO 
U-6LX W"6(§ w 
K u OHÝNµTþTh§ O"PLXjÝNµaþ x ) *?Ks ¹r°n±]³P´eµV°/½¶ ¸H[Ì§ { S ­  A 9h_TO 
E²§ {  A ®hEaKX  v {   v-^ _h[SO #TK hH°tJ["³ ahPSJ¦oC^HÞLGPú?K û  OHÝ²v X]µT×aþ[üP Gz ý ({ { Û K{¯ X §  vP× x
gK _?OMM) K G8 {  
ê 
Zxwy
ê
~
α

+ Si,j

(1)

Si,j
0

wi,j

(

Pi,j
2) wi,j10m.4

wi+1,j

1.

wi,j

1

[ 9]

93mm

2.2

GIS

18m3 /s

2.

[11]

3.

100

864

25000

1

100

2

1

(1)

(2)

Figure 4:

(CeªaX ­²®¹¯ qTX & ~ [Pl[GJCeªaX ­²®¹¯ qTX& ~ [Pl­²®Ã¯ qa°²±]³T´µr°·¶¹¸jX-& ~ [Pl ` ST ¯ qCKrÓgãO½[aXFÝTµJþeßCr°N±Ã³g´]µV°²¶ ¸¹
LX mLn  v ) [12].


3.1





{



)



12×14
22 %



$
'

0.5 &

(

 C ` 5.6km×7.4km c  75 × 100 X vTK g

3.1.1

  x ^nFÆ 
X vBaKg {  u ^C1gk LX -L ?OT§
K{ g_TO  ^P÷ x
X vª u ^ /xP[C J°/n±§³a´OµP§¹°(S ¶H§ ¸FI C& L~ hP¢ S ^ w Tª _ &  @~ J¢ X m^u Pg?K = x gnFÆ { aO x f R ¹KCÓCã?O & ~ ¢ ^ Q w eÅ KÆ¨XÝ?µþrTJ§¹K[S s ½X
step=0,432,864 

24

*) +

,"

.-0/





 1: T^ D²¸ E ` T^ w S=-0.326 c  (50,25) §X ò 6 S H¼ 1 XF{ GCªhrS ¢ qaKLMrO(50,50) 2
TC^ w ` S=0.00258 c FG8   1  X PC ` PenS Ü  KTMVOe°n±Ã³g´]µV°²¶
tium 4 (3GHz) 2GB ¸\ v & ~ h 674[sec] ª ê c  

2: 2000[13].
678

s&

9

11

.1

¢

¢

2
20354¢.293,:;<>=.? @BADCFE 293*GBHI0J
8[]\,^_K LNM OQP.R0LSUT
:V#W? . X Y9Z
2`9a K 1eKdAG , b5c
293,: fg?@0A0h 21.2
6 7 K
6 e
%9i0b]jj203>:f]g9?@BA]G 24.4 %k4`0ap 8qsr ll mon -/ n " K _
2
W?t
1 4

Table 2: 2000 u 9 v 11 cwj
xzy
0
1
2
3
{U|U}
0
5
11
5
xzy
8
9
10 11
{U|U}
2
0
3
5
xzy
16 17 18 19
{U|U}
22

S-T ¯ qKPÓPã?OY gk@CVXj[B¥ vLKr O]^C÷nX"n X 6 & ~ X ! Å 1
K[Æ  ý 5 KrÆ /CgKÓTãO+# "aX[/gS

93

48

74

6 7

K e

4
8
12
7
20
25

5
23
13
9
21
18

203
6
3
14
10
22
45

(mm)
7
3
15
16
23
37

Figure 5:

n~

3

K>
3: #>?.Bk: f,=i.Bg B^B#
^
T
K
:.

t.]
2 
:
g.k

Table 1: j

 ? m e 203 (S = 0.00258) j K 2
 j 6
6

20

4

8

12

16

20

24

0.1m

23.6

22.0

21.0

20.4

20.1

19.8

55.5

19.5

17.0

15.6

14.7

13.9

15.7

34.4

6.5

5.3

4.9

4.6

5.2

24.1

55.5

58.6

60.3

61.7


 0.5m 
0.5m  1m 
1m 

0.1m

 . =.  l  iU2 K ^ :9VN WK? g :  8 3 2
`a 
 n9~
 m _
T 
2
0.2 "!
2: ;]0=.?
r l^.
 0.4 #%$Wg
8

L#MOPR0LS T

Table 3: B2B

B2
n~

T

,

,+ 4HI
8 
0
g@-

)

&('
* 7Q8 (

21.2

24.4

21.0

24.1

T 

;*Q>4 X5Y.Z
e
d
bc
293
j

_

8

2

T   m ni/:.180-;2(< 34-5(687 8^>=  R-^9? 82 q LkM  OBPRLNS1T]QG9K i$ 8  g ^g
4 i 02K"@
Kg
.B :"A8Bh: @C ^D 4;,
=?9t
EFHGJI`a 8M
8(KL
r _
XYZ
=0H]I
2
W?"NOP#Z CRQ
8ST
K
T 
=i 2
4.0km×4.0km J : 100 × 99 .10
8KK
C S=-0.011 J : (50,25) 4 (50,75) 2 U
i"U
V
M"W
eY 8  ^/Z
8
LNM O
P-PX*G
2 (S=0.00258) ;< =9?t
n
6
]^
K e
RL#S TVj
G 829[sec] htUX YZ]4 H/[
2H\]K T h1N(O1k
P Z 8 h  L M OPR.LNS T : V]g(^ _ 2*=?
 _`HaA,Y :/8 [94 \^  . K `a9pHb
8 

N
"
O
P
>
Z
:(c 6
 [14].
ee
6KKK  n8:b5c
203 , b5c
j293(*
 :8 fg9?JK d 6 e
-e^K `a 8.qKg!
t8c 7 f
 2 Kj 6 2 e
6
8
K
d() e
3
j
^k
 :iMgf b c23 4 b cj81h
89[B\^K
293

.(0X C e (x, y)=(14,60)) 
20
D Q: e t^ ci!N i 2.3 8"j I2  H>=g ^4! .
89[0\^_K T
29 0.5m 
2H&'A
Table 4: NOHP>Z e 293 bc d) e 203 j* 7Q8 

Figure 6:_`(a Y 8[\Q^ N-OP Z K `0apb

3.1.2

50.1

23.6

100
observed rainfall
10
1
0.09

day averagehour rainfall

0.06
0.03
0
0

Figure 7:
PR.L S T

203kJ

21.0

4

300

600

_`(a Y j 89[\*^ j 6-k m K e 293 4 L#MO
6
K
2
j
( (b5c dH) e 293]i0j 6 7 K e  
c 7  8  8 8 i 17 j 6^ ]89[B\^ K e  a 3 80K [ ZQ8
g
D K>  l  a Y K"!W# 4%g $ # t8'& r  P g(!  Kg)]* G9l i+-, 9   ^ tV K ?'. 8 Gi0/"1*j 6  !(!# l g 
l ^
2-3
 8
4
h"5
6
?
i87*
9 K :":C ;4tb1hi 2 B^8
LkM O0P RL SzT=?
:Gi.H0=
< r :>7-^ 9
$

r
^?2"9
3
MB^
t>.H0=B< :i# $ 6 K Z 4 .H0'*@ :Z-hH# = i?/" Q
6 A2'3]8 l ^
1
j
t?/"*
1 j
:8B'
C 
^
8
8
S
D
Q
8  ^/SADEAF?A.
i IDSS P': VNW?9t
G P c K ST @ 4 n V*j 6 (H )Table 5: (KKMLN:b9<(1) IJS(T @K
L
N 1 2 4(.
0
O Z
100 × 74452 363 327
O( , P>Q ) Z
573 424 409
O( , P>Q , P>R ) Z 9478 ×× 100
100
494 355 348
O( , P>Q , P>R , S ) Z
61 × 100
417 342 321
S(TKLN :b9<
S(T @ ((2)IJ PK ' .(0 K $zL,N ? ) 1 (100)
4 (200)
O Z
452
1,159
O( , P>Q ) Z
573
1,558
O( , P?Q , P>R ) Z
494
1,334
O( , P>Q , P>R , S ) Z
417
1,253

4

8

T LVU%WX 3k:Y#=.VZA[ L0RKkR hkHb=\-[ K PC
SD LNM O
C Pentium4 3GHz i ]?^_ 2GB J0:]fk=
ST @ =1,2,4) :=.?9j K 1*:/ 5 8  t
PRL5S T
CTA` U  *@ G 3 4ba H]I r 24 j 6 h 864 T-` U  ]@ h]ic g Kd :-c 8 8     8 AehP' SAD : V#W?t
KHL &' 6 hf ; Kg=h :. ^ ?=."i=j EB
F =2*3 8 l^rST @ C n J 8j I 5 8
RlbU'm2[\*R8^?kk
:-n
a
U
i
o G
S(T ,
Zp =?j9G9i
KKLNK B
(1) IJ
:b9<
h
@
:
n
6
8qr
V*j
G
$  ^ iS(T $z#?1P' K"KsLN  b0< CtI=J K"KuLvN G S(2)
T @ 8'w-x  ^ J K j9G0i n VQj 6 G n 8   l g
9'FAy^S"DAE'F K ]G'z-{ ^ d KK 2 Rh# i!
k RlU-m}| S81h =~"6 C X 8Q^ (h ]^ t
5  _ `a Y KL M Oe-
7 K e p +
c
:f*g
1 jV
8
3A A K> iA
PRL SUT:V#W ? . 1

5
]?
6

K=
UH K8 <Bi 9 a = K    T K ;]9:1nFigure 8:

P' S(T a S(T j K m == EAF  =?tVU  :  {i0'  a LkM O0P R

= ?

*:
LS T 8[g.iu l a Y a%A ^S   K 8   KV^ 8.0MK"23M48n 5-:6 K 7"`a%apb e 8 W? ]o h]a i*i]j=Z'K ]e'Ah    K ;B< 8  m = l   K   *^
9
:
=?t
l K¡-¢
^
K S

j
• 79
O , P0Q , P§R , *S :Z £-k¤   a  ?'W . ?  $ B=G¥ ia¦Q /"*113km
×
*^
D
K
u
K

L
N
:iH.0aL =.M -O7P9R.
21km hp P8g¨A© Kª t « a =& '#10m
K S
B.¥ hR"]° R   C
^ K 8
L SUT
 m

G9i­¬M®
b-d¯2
2A3V± l ^
K

K

L
N
× 2100 .0t
YAg  1300
+,lV'² TvK
;

S
K
/
f

!
h
j=

: 10 inB~±  ^ a i·_%¸¹ ?
h]f>=?"/1=³k
´
:µA¶
l
Lº 1  ^ K hG r  µ ± /A#1 =9?1( »v$;¼± fhB/A^
Ae ½ n h ^ t¬KvÀ  Gli n L : M K OP¾ R.KLN* S $ T± KA=Á-¿QÂ ? KATÃ ` U ±  < a§ij
< < K
 
{ i0Ä W
aK %7= 9KÉVÅ ,ª L#aM=O-PÆ=RÇL » S ÀT p<Ê Ë ^lD a p±   ^ 7lV9ÈÅ>©
Ì R 4 5 T 7 B p 7=9ÈÅ K +=, V lV ±  ^ `a.KÍÎ £A¤ KLNM OQPRL S T.K f»v~B  ^ tÏÑÐ ÒÔÓ
•[1 ]http://www.sonpo.or.jp/disaster/flood/flood 01 4.html[2 ]http://www.ce.gunmau.ac.jp/regpln/katada/kataweb/atop.htm

5

[3 ]

|  x!
"  # ,|  $& %' (&, ) *  , +  &, -,/ .1 0&, 2  3& 4 5-6 , 7 47
8 B, 9 : 16 5 4 ;[4 ]http://www.mlit.go.jp/river/IDC/index.html[5 ]http://www.jwa.or.jp/topics/2005kozui/index.html[6 ]Urban Flood Simulation as a componentof Integrated earthquake Disaster Simulation System,
Proc. 2005 IEEE Int. Workshop on Safety, Security andRescue Robotics, pp.248-252, 2005,[7 ]http://www.kedm.bosai.go.jp/< = >@?A >CBED[8 ]? A->< =&>F? AGDIHJ KML/N-O ' P QRS T UCV W:-X Y > Z 6-[ \ ,-] ^/_ ] 1V-8 2005 3 ;[9 ]http://www.pref.aichi.jp/kasen/
03 gekitoku/gekitoku shinkawa/top geki sinkawa.html[10] http://www.cbr.mlit.go.jp/kisojyo/rootup/top.html[11] http://www.pref.aichi.jp/kensetsu-somu/owarikensetsu/kasen/nakae/GEKITOKU.htm[12] http://www.city.nagoya.jp/kurashi/shoubou/bousai/kaze/nagoyanokawa/gouu/nagoya00002599.html

hg-iEjlk m , n@o p-q , ] 2001 5&rs` ta  ]vb ,u!c-wd x&e-y{f z|!' P QR 
{[14] }
 # ~ |&  ,  jl={ , c  d  e- f' 1vR&-  ,  =  &-  
 , 7 7  ,2001 5 6 ;[13]6社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会研究会資料
JSAI Technical Report
SIG-Challenge-0623-2 (5/4)

方策勾配法を用いたサッカーエージェントの学習～フリーキックにおけるキッカーとレシーバ～
Learning of Soccer Player Agents Using Policy Gradient Methods~Kicker and Receiver at Free Kicks~〇中村 浩二 （芝浦工業大学大学院電気電子情報工学専攻）
五十嵐 治一（芝浦工業大学工学部情報工学科）
石原 聖司 （近畿大学工学部電子情報工学科）
Koji NAKAMURA(SIT), Harukazu IGARASHI(SIT), Seiji ISHIHARA (Kinki Univ.)
共に学習する場合の実験を行った．協調行動の学習には強化学習法の一種である方策勾配法と，状態数によらない方策表現とを用いた．

Abstract— RoboCup Simulation League is known to bea test bed for research of multi-agent learning. As an
example of multi-agent learning in a soccer game, we
dealt with a learning problem between a kicker and a
receiver when a direct free-kick is awarded just outside
the opponent’s penalty area. To which point should the
kicker kick the ball in such a situation? We propose afunction that expresses heuristics on evaluating how thetarget point is advantageous in sending/receiving a passsafely and contributing to scoring. The evaluation
function makes it possible to handle a large space ofstates consisting of positions of a kicker, a receiver andthe opponent’s players. A target point of a free kick is
selected by the kicker using Boltzmann selection with theevaluation function. Parameters in the function can belearned by a kind of reinforcement learning called
policy-gradient method. A point where a receiver should
run to receive the ball is simultaneously learned in thesame manner. Experiments with four teams that had
participated in the past RoboCup competitions showed
the effectiveness of our solution.

2. フリーキックにおける協調行動
2.1 シミュレーションリーグにおける協調行動
１章で述べた「状態空間の爆発問題」とは，全エージェントの状態数と各状態におけるエージェントのとる行動の組み合わせが多すぎて，理論的には実行可能だが実際問題として時間的に使いものにならなかったり，メモリオーバーとなったりする問題である．これは状態空間を適切に設計すれば，ある程度，状態空間の爆発を抑えることができる[1]．
しかし，少領域内で存在するプレーヤーが少数であれば熊田らの研究[4]のようにパス問題を取り扱うことは可能であるが，文献[4]では課題として「フルゲームへ拡張すると計算量爆発を引き起こす」と述べている．つまり，マルチエージェント学習では，
仮に小さなシステムにおいて適切な状態空間を設計できたとしても系を大きくすると状態空間の爆発が起きてしまいやすい．したがって，状態空間の表現
法を工夫し，状態数によらずにマルチエージェント
学習が可能な手法を用いることが望ましいと考えられる．
2.2 先行研究
比較的広い領域で多数のプレーヤーが存在する場
合のパス問題において，状態数によらない手法を用
いて協調行動の獲得を提案した亀島らの研究例がある[5]．そこでは，まずフィールドを格子状の長方形
セルの集合に区切り，passer はルーレット方式でパスを出すセルを決めてパスを出す．もしパスが receiverに通ったら，強化学習でパスを出したセルの価値を高めていき，最終的に一番価値の高いセルにパスを出している．
この手法の特徴は，セルの価値を保存しておくだ
けでよいので，フィールドにおけるプレーヤーの配置の組み合わせ等といった広大な状態空間を保存する必要がないことである．しかし，この研究では敵プレーヤーの初期位置が固定されていることが前提であり，敵プレーヤーの初期位置が異なると学習結果が利用できず実用性は低い．

1. はじめに
近年，人工知能の分野ではマルチエージェント環
境下における協調行動の学習が研究されている[1]．
この研究の題材としてロボットサッカーの競技会である RoboCup が提唱されている[2]．
この RoboCupの中の一部門であるシミュレーション部門では，実環境でロボットを動かす難しさから解放されるため，協調的な行動に研究の焦点を当てることができる[3]．一般に，マルチエージェント学習には，状態
空間の爆発問題，同時学習問題，不完全知覚問題，
実時間処理問題等のマルチエージェント系特有の問題があるとされている[1]．RoboCup サッカーシミ
ュレーションでは，これらの中でも，まず第一に「状態空間の爆発問題」が大きな問題と考えられる．
本研究ではこのように多数のエージェントが広い対象領域に集まり状態空間が大きくなる場合でも適用できる行動学習法の開発を目的としている．
今回，その一例としてゴール前でのフリーキックの場面を取り上げた．具体的にはキッカーとレシーバのそれぞれ１名が協調するパス行動において，キッカーのみが学習する場合とキッカーとレシーバが7

特に，T→０では決定論的な行動決定となる．なお，
s は全系の状態（i.e. 全プレーヤー，ボールの位置）を表している．
式(1)では先行研究[5]と違い，敵プレーヤーの数や配置，レシーバの位置など，その場面に応じて各セルへのパスを出す行動の価値を計算しており，プレー中の環境の変化も考慮している．勿論，広大な状
態空間の保存を必要としていない．式(1)のパラメー
タ{ωi}(i=1,2,3,4)の学習則を次節以下に示す．この学習則を用いてキッカーの方策(2)を学習することができる．
3.3 自律分散的な行動決定とその学習則
一般に，マルチエージェント系全体の状態を s, 行
動を a とする．それぞれ，各エージェントの状態と行動とを要素とするベクトルであることに注意する必要がある．行動 a に対する目的関数を E(a;s,θ)とし，方策が式(2)のようなボルツマン選択である場合に，そのまま方策勾配法を適用すると，パラメータ
θに関する学習則は，2.3 本研究の方針
本研究では，比較的広い領域で多数のプレーヤーが存在する場合のパス問題の一つとして，具体的にゴール前でのフリーキックの場面を取り上げる．そこで，先行研究の欠点を克服するために，行動決定（方策）における状態表現においてプレーヤーの絶対的な位置座標を用いるのではなく，配置から計算されるいくつかの特徴量（ヒューリスティクス）を用いる．
検証実験として，これまでにキッカーのみがパス先の地点を決定するために学習を行い，レシーバはキッカーから指示されたセルへ走りこむといった場
面での学習実験を行って，本学習の有効性を確認している[9]．今回は，キッカーだけではなく，レシー
バも学習させる．具体的には，キッカーはパス先の地点を，レシーバも走り込む先の地点をそれぞれ独立して両方が学習する実験を行った．

3. 提案手法
3.1 方策勾配法
本研究では強化学習の一種である方策勾配法を用
いて学習を行う．方策勾配法とは，報酬の期待値が最大になるように方策パラメータを更新する学習法である．このときの最大化の手段として確率的勾配法を用いる．数学的な基礎がはっきりしており，理論的に取り扱いやすい．また，方策として if-then 型のルールや，ポテンシャルなどの様々な関数が利用できるので，方策への知識表現が容易であるという長所がある．元々は，Williams により提案された手法[6]であるが，筆者らも追跡問題やカーリングゲー
ムに適用し，有効性を確認している[7][8]．
3.2 行動決定のための確率的な方策
本稿では，次章で述べるフリーキックの問題のために，以下のようなキッカーの行動決定方式を提案する．まず，一般的なパス行動を考える．フィールドを文献[5]と同様に格子状の長方形セルの集合に区切る．キッカーがセル k へパスを出すという行動 akの価値を次のような目的関数で表す．

E (a k ; ω ) = −∑ ωi ⋅ U i (a k )L −1Δθ = ε ⋅ r ∑ eθ ( t )で表される[7].ε(>0)は学習係数，r はエピソード終了時に与えられる報酬，Ｌはエピソード長である．eθ(t)は，離散時刻 t における適正度(eligibility)で，次の式で定義されている．

eθ (t ) ≡π (a; s,θ ) ≈ ∏ π i (ai ; s,{θ ij })

(4)

(5)

i

(1)

この関数は，パス先のセル k を決める上で有効と思われる状態の特徴量（ヒューリスティクス）Ui の線形和である．ただし，目的関数 E の値が小さい方が，行動としての価値が高くなるように設計する．
この目的関数を用いて，キッカーは次のボルツマ
ン選択による確率的な方策を用いてパス先のセル kを決定する．

e − E ( ak ; s ) T∑ e − E ( x;s ) T∂
ln π (a; s,θ )∂θ

次に，行動決定と学習とを自律分散的に行うことを考える．そこで，系全体の方策を，各エージェン
ト i の方策関数πi の積で近似する[7]．すなわち，iπ (a k ; s ) ≡

(3)

t =0

(2)

x

ボルツマン選択は温度パラメータ T を大きくする
ほどランダムに行動を選択するようになり，小さくするほど最も大きい価値の行動を選択しやすくなる．

8と仮定する．ここで，ai はエージェント i の行動であり，θij はπi に含まれる j 番目のパラメータである．
さらに，各πi は，各エージェントに定義される目的
関数 Ei (ai;s,{θij})を用いたボルツマン分布とする．したがって，3.2 の式(2)中の右辺の目的関数Ｅは，厳密にはエージェントごとに定義された目的関数 Ei である．
なお，(5)の近似は，エージェント間の行動選択の相関を無視していることに相当している．また，他のプレーヤーの位置情報も分かっているという前提に立っているので，各πi には系全体の状態 s が使用されている．したがって，各エージェントは味方や敵の行動選択とは無関係に行動を選択するが，彼らの存在（位置情報）までを無視しているわけではな
いので，このような近似を行っても協調行動を学習することはある程度までは可能と考えられる．
一方，報酬 r の期待値 E[r]をパラメータについて微分すると，形式的には，

∂E [ r ]∂θij

⎡ L −1⎤= E ⎢ r ∑ eθij ( t ) ⎥⎣ t =0⎦

ルを除くセルの中でランダムな位置とする．ゴール
キーパーはゴールエリア内のランダムな位置に配置
する．

(6)

となる．(5)の近似を用いて(6)の右辺の適正度を計算
すると，

eθij ( t ) ≡∂ln π ( a; s )
∂θij

(7)

∂
ln π i ( ai ; s, θij )i ∂θ ij(8)≈∑

さらに，各エージェントの目的関数中のパラメー
タは互いに独立であると仮定すると(7),(8)は，eθ ij (t ) ≈ −∂Ei
1 ⎡ ∂Ei−⎢∂θ ij
T ⎢⎣ ∂θ ij⎤⎥⎥⎦

Fig. 1 Arrangement of players(9)プレーヤーの他に trainer というエージェントも使用 す る ． trainer は プ レ イ モ ー ド を kick_off か ら
free_kick に変更したり，プレーヤーとボールを移動したりすることができる．そして，フィールドを監視し，パスは通ったのか，シュートは決まったのかをキッカーに伝えることができる．

と表される．一方，パラメータθij の学習則は(3)の導出と同様にして，(6)を用いて確率的勾配法を適用す
ると，
L −1

Δθij = ε ⋅ r ∑ eθij ( t )

(10)

t =0

となる．ただし，(5)の近似により(10)の右辺の適正度は(9)で与えられる．(3)が系全体の目的関数Ｅ(a;s)に含まれるパラメータに関する学習則であるのに対し，(10)はエージェント i が自己の行動 ai を選択するために使用する目的関数 Ei の中に含まれるパラメー
タの学習則であり，かつ，自己の目的関数 Ei だけを用いている点で，自律分散的な学習であると言える．

4. 問題設定と学習実験
4.1 プレーヤーの配置
実験では図１に示すようにペナルティエリア付近
を一辺５m の正方形セルで４×８に分割したフィールドを用いる．さらに均等にゴールも３分割する．
これにより，「ゴールにパスをする」ことが「直接シュートをする」ことを実現している．
使用するエージェントと配置場所を以下に，その配置例を図１に示す．なお，SoccerServer ではフィールドの中心（センターマーク）を原点とし，タッチ
ラインに平行に X 軸，ゴールラインに平行に Y 軸をとる．プレーヤーは４種類で，キッカー１人，レシーバ１人，敵チームのディフェンダー１人とゴール
キーパー１人である．
キッカーにはフリーキック時にボールを蹴るだけの役割を与える．配置場所の X 座標はゴールライン
から 24m の位置で固定，Y 座標はランダムな位置とする．レシーバはキッカーが指示したセルに走りこ
み，パスを受けたらその場で直ちにシュートをする．
配置場所はオフサイドポジションにならないランダ
ムな位置とする．
敵ディフェンダーはゴールを決めさせないためにパスカットやプレスを行う．配置場所はゴール３セ

(a)

(b)

(c)

(d)

Fig. 2 Heuristics {U j }( j = 1, 2,3,4 ) used in E i (a k ; s, {θ ij })4.2 目的関数に用いたヒューリスティクス
実験ではゴール前でのフリーキックにおいて有効と思われる以下の 1)～4)の４つのヒューリスティク
スを用いた．なお，どの関数も値が大きいほど価値がある．
1) パスコースにおける敵の有無：⎧10.0
U1 = ⎨⎩2.0

敵がいない場合
敵がいる場合(11)

実際にパスをするにあたって，パスコースに敵がいない方がパスは通りやすい．図２(a)のようにキッカーの正面 180 度を 22.5 度ずつ８領域に分割し，敵がいれば２，いなければ 10 を返す．
2) パス先とゴールとの距離：

U 2 = (− ( X G + YG ) + 37.5) / 3.5

9

(12)

⑤ 結果に対して報酬を与え，重みを更新
なお，④でレシーバがパスを受けたその場ですぐにシュートをしているのは，本手法ではパス行動だけを評価したいので，ドリブルなどを行うとパス先がよかったのかが分からなくなるからである．

パス先とゴールとの距離が近い方が，パスを受け取った時にゴールに結びつきやすい．式(12)の X G と

YG は図２(b)のようにそれぞれパス先とゴールとの距離の X 成分，Y 成分である．なお，式(12)は0.5 ≤ U 2 ≤ 10.0 と正規化してある．
3) パス先と最近接の敵との距離：

10

120

ω1
ω2
ω3
ω4

100
80
60
40
20

660

720

780

840

900

960

720

780

840

900

960

600

660

540

480

420

360

300

240

180

0
120

episode(a) Kicker
120

ω1
ω2
ω3
ω4

100
80
60
40
20

600

540

480

420

360

-20

300

0
240

れぞれパス先とレシーバとの距離の X 成分，Y 成分
である．なお，式(14)は 0.0 ≤ U 4 ≤ 10.0 と正規化してある．
4.3 報酬 r
報酬 r は１エピソード終了後にキッカーとレシー
バに以下のように与える．
• パス失敗時 ･････････････････････ -0.5
• パス成功∧シュート失敗時 ･･････
3.0• パス成功∧シュート成功時 ･･････ 10.0
ただし，１エピソードを 70 シミュレーションサイク
ル(7sec)とし，１エピソード終了前にゴールを決めることができれば，エピソードはそこで終了とする．
4.4 キッカーとレシーバの学習実験
2 つのエージェントが独立に学習を行っても，共通の方策を獲得する「合意形成」[5]が 4 章で述べた本方式の枠組みで可能であるかを検証するため，以下の環境下でキッカーとレシーバの同時学習を行った．
まず，キッカー1 人，レシーバ 1 人，ディフェンダー
1 人，ゴールキーパー1 人の２対２の対戦とする．次に，使用する敵エージェントは Trilearn Base である．
Trilearn Base とは 2003 年に優勝したアムステルダム
大学チーム UvA Trilearn 2003 から高度な行動決定や戦略を除いてソースコード形式で配布されているチームである．したがって，UvA Trilearn 2003 よりは弱くなっているが最低限の行動は保証されている．
上記の準備の下で，学習を次のような流れで 1000
エピソード行った：① trainer がプレーヤーを適切に配置② キッカーとレシーバはそれぞれ目的関数を計算し，パス先または走りこむ先セルを独自に決定③ キッカーはパスを出し，レシーバは走りこむ④ パスを受けたらその場でシュート

180

パス先とレシーバとの距離が近いほど，パスは通りやすくなる．式(14)の X r と Yr は図２(d)のようにそ

120

(14)

1

U 4 = (− ( X r + Yr ) + 50.0) 5.0

60

4) パス先とレシーバとの距離：

1２(c)のようにそれぞれパス先と最近接の敵との距離の X 成 分 ， Y 成 分 で あ る ． な お ， 式 (13) は
0.0 ≤ U 3 ≤ 10.0 と正規化してある．

に示す．パス成功率と得点成功率の結果を図４に，報酬の期待値を図５に示す．なお，２つの成功率の値はその学習回数における重みの値を用いて 100 エピソードを 10 セット行った平均値である．
図３より 1000 エピソードの学習における重みの初期値が異なっていても，キッカーとレシーバの重みの値は学習が進むに連れてほぼ一致していく．これによりキッカーとレシーバが共通の知識(方策)を獲得できたことがわかる．
図４よりパス成功率は 36.2 ポイント，得点成功率
は 12.1 ポイント上昇した．どちらも学習前の２倍以上の値である．しかし，パス成功率の大幅な上昇のわりに得点成功率が伸びていないのは，図３より「パス先とゴールとの距離」の重みが小さく「パス先とレシーバとの距離」の重みが大きいからである．つまり，パス先を決定する上でレシーバとの距離が優先されるので，パスはよりたくさん通るようになる．

60

パス先と敵との距離が遠いほど，そのパス先にはスペースがあるということである．つまり，フリー
でシュートを打ちやすくなる．式(13)の X O と YO は図weight(13)

weightU 3 = ( X O + YO ) 5.0

5. 実験結果と考察
4.で述べた条件の下で，Trilearn Base を相手にしてキッカーとレシーバを独立に学習を行った．重み{ωi } の初期値はランダムとし，学習中の変化を図３

episode(b) ReceiverFig. 3 Change of weight

80

おり初めは直接シュートを狙うことが比較的多く，
シュート数が増えることにより得点を取ることができたためである．その後，協調的なパス行動を探索するため一時的得点成功率が下がる（報酬の期待値も下がる）段階を経た後，パス成功率の上昇と共に得点成功率が上がっていく過程を踏んでいるのが見て取れる．

pass success rate
goal success rate

70
60

(%)

50
40
30
20
10

901-950951-1000

851-900

801-850

751-800

701-750

651-700

601-650551-600

501-550

451-500

401-450

351-400

301-350251-300

201-250

151-200

101-1501-50

51-1000

episodeFig. 4 Pass/goal success rate
9
8
7

count

6
5
4
3
2
1

151 5010 100115 150120 200
125 250130 300
135 350140 400
145 450
150 500
155 550160 600
165 650
170 700
175 750
180 800
185 850
190 900
1
95 -95
1- 0
10
00

0

episodeFig. 5 Number of direct shots
4
3.5
3

E[r]

2.5
2
1.5
1
0.5

151 5010 100115 150120 200
125 250130 300
135 350140 400
145 450
150 500
155 550160 600
165 650
170 700
175 750
180 800
185 850
190 900
1
95 -95
1- 0
10
00

0

episodeFig. 6 Expected value of reward
一方，ゴールとの距離はあまり優先されなくなる
ので，ゴールから遠いところでボールをもらうことがたくさんあり，得点成功率はそれほど上がらない．
それでも得点成功率が改善されたのは，ゴール付近へのパスでパスが通れば得点，通らなければキーパーに取られるといったギャンブル性のパスよりも，ゴールから遠くてもたくさんパスを通してたくさん
シュートを打ったほうがより得点を奪うことができることをエージェントが選択したと思われる．
また，学習の初期段階（50～150）で得点成功率が一度下がりまた上昇するといった現象が見受けられた．図６の報酬の期待値の変化からも同様なことが見て取れる．これは重みの初期値がランダムであるが故に，図５の直接シュート数の変化からわかると

11

6. 行動選択の相互作用についての考察
6.1 相手の行動に依存した行動選択
本章では，各エージェントが行動を決定する際に生ずる相互作用について考察したい．3.3 の式(5)では，各エージェントの行動決定に際しては，味方の行動決定とは無関係に決定するという近似を行った．しかし，味方の状態（位置情報）と無関係に行
動決定を行ったわけではないので，学習により協調行動が発現する可能性がある．実際に，式(13)や式(14)に示されているように，敵や味方の位置情報がキッカーの出すパス先の地点とレシーバの走り込
む先の地点との決定に大きな影響を与えている．このことが，５章の実験で示されたようなキッカーとレシーバとの合意形成のための原動力になったと考えられる．
しかしながら，４章で述べた学習方式では，学習過程において確率的な方策を用いていることもあり，重みの初期値の設定によっては必ずしも合意形
成に至るとは限らない．行動決定に必要な情報の種
類と，目的関数，また報酬関数についても同じものを使用しているので，たまたま重み係数の比率が同じ値に収束していったと解釈することもできる．実際に，キッカーとレシーバとが行動選択で用いた目的関数の中には，両者の行動を一致させるような項は用いられていない．逆にもし，このような項が存在すれば，たとえ両者が利用できる情報（たとえば視覚情報）や知識（目的関数）が完全に一致していなくとも，合意形成を促進するのではないかと考えられる．
そこで，ひとつの方法として，目的関数に相手の行動を考慮した項（相互作用の項）を加えることが考えられる．たとえば，キッカーとレシーバとがそれぞれの行動 aK, aR を選択するために使用する目的
関数を次の EK(aK),ER(aR)で与える．
4

EK ( aK ; ω ) = − ∑ ωiU i ( aK ) − ω5U 5 ( aK , aR ) (15)i =1
4

ER ( aR ; ω′) = − ∑ ωi′U i ( aR ) − ω5′U 5 ( aK , aR ) (16)i =1

ただし，(15),(16)中の U1~U4 は，４章で定義した関数であり，U5(aK,aR)は次のように定義する．

U 5 ( aK , aR ) ≡ ( − ( X KR + YKR ) + 50.0 ) 5.0(17)

式中の XKR,YKR はキッカーのパス先のセルとレシーバが走り込む先のセルとの間のベクトルの X 成分，
Y 成分である．この U5(aK,aR)の項は，キッカーのパ
ス先とレシーバの走り込む先とを近づける働きをす
る．
6.2 相手の行動の観測または予測
前節で述べた相互作用の項 U5 を計算するには，互いに相手が選択した行動を知る必要がある．また，同時に行動選択をするとデッドロックに陥るなどの不都合な事態を生ずる恐れも考えられるので行動選択の順序も重要である．本節ではこの２つの点について考察する．
まず，相手が実際に選択した行動を知るには，自らの観測による方法と相手との情報交換などの通信による方法との２つが考えられる．前者の場合は相手の行動実行後に行動選択を行う必要がある．また，観測や通信が可能であるという前提も当然必要である．
次に，実際に観測や通信ができない場合や，行動選択の順序が相手よりも先でないといけない場合には，相手の行動を予測する必要がある．そのときには，例えばキッカーがレシーバの行動を予測するには，(16)の U5 を除いた U1~U4 の項だけからなる目的
関数 ER(aR)の最小値を与える行動 aR を予測値として使用する(あるいはボルツマン選択のように確率的に選ぶ)という方法が考えられる．すなわち，相手行動を予測するには，相互作用の項を除いた相手の行動選択モデルを用意して利用するという予測方式である．この予測の精度を高めるには，各々の行動モデルである目的関数中の重み係数の値を時々交換するなどの処理が必要であろう．またこうした予測も，
各エージェントが別々に独立したタイミングで行うのか，一斉に行うのか，あるいは何らかの優先順位が設定されているのかと言った種々の場合が考えられる． 対象とする問題や状況に応じて，観測，通信，予測のための方式を工夫する必要があろう．

7.まとめ
本研究では，マルチエージェント系における行動学習の一例として RoboCup シミュレーションリーグ
におけるゴール前のフリーキックの場面に適用し，キッカーとレシーバの双方が学習する問題を取り上げた．また，「状態空間の爆発」を抑えるため，状態数によらない方策表現と方策勾配法とを用いた協調行動獲得法を提案した．その結果，パス成功率と得点成功率が学習前と比較して２倍以上となり，提案手法による学習が有効であることを確認することができた．さらにキッカーとレシーバが共通の知識（方策）を獲得でき，提案手法の枠組みで合意形成が行われることを確認した．なお，本実験では学習するエージェントはキッカーとレシーバの２名だけであったが，学習が自律分散的であるため，学習するエージェントの数を増やしても学習時間が爆発的に増えることはない．
今後の予定としては，キッカーとレシーバとでヒ12ューリスティクスが異なる場合や，得られる視覚情報が不完全で互いに異なる場合にどれだけ学習能力があるのかを調べて行きたい．
また，各エージェントがパス行動とレシーブ行動との２つの方策を切り替えることにより，複数プレーヤー間での複数回のパス交換を実現することを考えている．さらには，通常の試合中での一般的な協調行動の学習へと研究を進めて行く予定である．
謝辞：本研究の一部は日本学術振興会科学研究補助
金，基盤研究(C)（課題番号 15500125）を用いて行われた．
参考文献[1] 高玉圭樹：マルチエージェント学習－相互作用の謎に迫る－，コロナ社，(2003)[2] RoboCup Official Site 〈http://www.robocup.org/〉[3] 野田五十樹：シミュレーションリーグとインフラ技術の技術的課題と展望，日本ロボット学会誌，
Vol.20，No.1，pp.7-10，(2002)[4] 熊田陽一郎，植田一博：予測能力を持つサッカー
エージェントによる協調戦術の獲得，人工知能学
会論文誌，Vol.16，No.1，pp.120-127，(2001)[5] 亀島力，遠藤聡志，山田孝治：強化学習を用いた
共同注視点に基づく合意形成の獲得，電子情報通信学会・信学技報，Vol.99，No.131，pp.29-35，(1999)[6] Williams, R.J.：Simple Statistical Gradient- Following
Algorithms for Connectionist Reinforcement Learning,
Machine Learning, Vol.8, pp.229-256 , (1992)[7] 石原聖司，五十嵐治一：マルチエージェント系における行動学習への方策こう配法の適用－追跡問
題－，電子情報通信学会論文誌 D-I，Vol.J87-D-I，
No.3，pp.390-397，(2004)[8] 五十嵐治一，石原聖司，野原 勉：方策勾配法を用いた運動方程式中のパラメータ学習~２ストー
ン系のカーリングゲーム~，ロボティクス・メカト
ロニクス講演会’05(ROBOMEC’05)講演論文集，
1A1-N-028(pp.1-4)，（2005.6.10-11, 神戸，主催：
日本機械学会ロボティクス・メカトロニクス部門）[9] 中村浩二，五十嵐治一，石原聖司：方策勾配法を用いたフリーキック時の行動学習，ロボティク
ス・メカトロニクス講演会’05(ROBOMEC’05)
講演論文集，2P1-S-022(pp.1-4)，（2005.6.10-11, 神
戸，主催：日本機械学会ロボティクス・メカトロニクス部門）.

社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会研究会資料
JSAI Technical Report
SIG-Challenge-0623-3 (5/4)

CITIZEN Eco-Be! League: bringing new flexibility for research andeducation to RoboCup
Rodrigo da S Guerra1 , Joschka Boedecker1 ,Norbert Mayer1,2 , Shinzo Yanagimachi3 ,Yasuji Hirosawa3 , Kazuhiko Yoshikawa3 ,Masaaki Namekawa3 , and Minoru Asada1,2
1

Dept. of Adaptive Machine Systems,
HANDAI Frontier Research Center,
Graduate School of Engineering, Osaka University, Osaka, Japan
3
CITIZEN Co., Tokyo, Japan
2

Abstract
The RoboCup 4-legged and Simulation leagues
offer good examples of the benefits that can beachieved by using a standardized platform thatallows for an easy comparison of results andconcepts in robotics research. However, there
is a lack of a standard platform that provides
the flexibility of simulations in real robots at areasonable price. To address this, we introduce
a new setup based on a project sponsored by
CITIZEN Co. Japan. It allows for a huge variety of different usages for a large number ofmini-robots in an augmented reality (AR) environment at quite inexpensive costs. The coreof the project is the CITIZEN Eco-Be! minirobot. It is built with cutting edge technology
in miniature robotics using high quality andlow-cost CITIZEN watch technology. Finally, a
new RoboCup league is proposed which should
allow RoboCuppers to face an assortment of
new interesting and challenging research issues,
all based on the presented setup.

1

Introduction

Generally speaking, doing research on robotics is an expensive task, and the RoboCup real-robot leagues are
no exception. Even in the most inexpensive real-robot
league participants would spend, on average, several
thousands of dollars in order to have a team. As for themain reasons, one could surely account for the unavailability of commercial platforms adequate for the games,
thus bringing the need for custom brew robots. Moreover, the strong competition force teams to challengethemselves to come up with new design ideas which quite
often are translated into more complex and expensive
hardware. This last factor also implies that a wider spectrum of fields need to be covered for the complete designof the machines, including technical issues which are notalways related to the research focus originally in mind.
Such difficulties may seem inherent to the research trackof some institutions, but they also prevent the participation of those who do not have the man-hour and themoney for the journey.
Another common problem in robotics which is frequently overlooked is the lack of a standard platform
in which one could easily compare results of different
methodologies. The two-dimensional environment ofsimulation league has already proven for years the advantage of having such standardization: papers often show
comparative results using the standard environment andplaying against a provided adversary (usually the code ofa good team of the former years). To a minor degree thefour-legged league also share some of these advantages –for instance, several teams use the same low level control
skills for controlling the gait of the robots.
CITIZEN Co. Japan, one of the biggest sponsors of
the RoboCup initiative [Kitano and Asada, 2000], is arenowned company, especially in regard to miniature devices. Currently the company is committed to the endeavor of developing a miniature-yet-affordable robotics
platform. This comes in opposition to the main stream
in robotics, which generally points toward costly solutions. Instead, CITIZEN Co. Japan focused on versatility and affordability, taking advantage of their wellestablished watch technology for the development of inexpensive miniature robots.
A new research project in Osaka University is about
to bring new flexibility in an endless number to possible
applications with the introduction of an augmented reality (AR) environment to be used along with this new
robot. Huge improvements in versatility, flexibility, andstandardization are among the merits of such an AR environment.
This document proposes a new league (tentative name”Mini League”) in which Eco-Be! would be used in astandard and flexible environment for a variety of competitions in a mixture of reality and simulation. The
presented AR setup brings new challenges in a variety ofareas which RoboCup has not yet fully involved so far.
Based on this we propose the conceptualization of a new
RoboCup league. This paper is composed of three majorparts: 1) Introduction of the new mini-robot currently
13

Figure 1: An Eco-Be! prototype. In this robot the differential wheels are driven by two motors which are batterypowered. Besides the PIC controller all other hardware comes from devices originally designed for CITIZEN watches.
under development by CITIZEN Co. Japan; 2) Description of the AR environment for these robots which is being developed in a joint project between CITIZEN Co.
Japan and Osaka University.; and 3) Proposal for a new
RoboCup league based on this new architecture.

2

Eco-Be! The Robot

The Eco-be! is a robot of very small size (approximately
1.6 x 1.6 x 2.1 cm) which can be produced at relatively
low costs by using CITIZEN’s renowned knowhow inminiature devices and their well established watch technology [Yoshikawa, 2002]. This allows the employmentof large number of robots in a rather reduced space witha very low budget and amazing portability. For an illustration of the early prototypes see figure 1.
The first RoboCup prototypes were presented to the
public in March 2006. These first prototypes include sophisticated control over the differential wheels throughan IR interface, and they are battery powered in order toassure longevity and necessary performance of the motors. In Bremen even more sophisticated robots shallappear for demonstrations, this time with considerable
improvements in the fine-grained controlling of trajectories and velocities. Following this pace, CITIZEN proposes long term development of increasingly more sophisticated Eco-Be! robots over the years. There is plenty ofroom for improvement in what regards to modern watch
technology, including miniature devices for bluetooth,camera, etc. – the robots would be updated accordingly to the needs observed during the years. Furthermore, these robots may become part of CITIZEN’s lineof products, provided sufficient market acceptance androbust development becomes apparent over the years.

3

Figure 2: Setup for the Eco-Be! AR environment. The
several robots follow commands given by a central server
through an IR beam. The actual position and orientation of the agents is fedback to the server by a camera
located on the top. The environment along with its features is projected onto the field by using a multimedia
projector or any sort of high definition TV screen installed bellow. Optionally the IR sensor on the top could
be substituted by a color sensor on the botton, allowing more localized control of each individual by varying
beams of color under each robot.
huge flexibility for the simulation of sensors and actuators not yet implemented in the real robots. This means
the mixture of reality and simulation allows for the useof robots years ahead in design despite their current limitations. At the same time this AR setup may guide thedevelopment of new devices to be equipped in robots during the years, gradually migrating towards fully standalone robotic agents – which could still be optimized by
AR (there is always room for improvement).
In general this setup is also similar to the one used in
the small size (F180) league [Sma, 2006] or the ULeague
as proposed in [Anderson et al., 2003]. However, theAR environment as described here allows for a lot more
flexibility, e.g., in different kinds of experiments that canbe performed conveniently. By using the suggested AR
setup, projections of environmental features surrounding
the robots can be used instead of real objects or arenas.
Among the main advantages of using this AR environment, one could mention:• Great flexibility on the design of the task due to thecontrol of the parameters of virtual objects/features(e.g. ball diameter and its dynamics can be easilychanged);• Possibility for an enormous variety of creative applications that include, but are not limited to, soccer. Among the numerous conceiveable applications
there would be some which are almost (or completely) impractical to do with real robots if not
for the aid of augmented reality (e.g. simulation offorce fields, artificial webs, laser beams);• Environment becomes more visually appealing,turning it interesting for the audience and for the

Eco-Be! The AR Environment

The figure 2 illustrates the suggested setup (see caption for details). The idea for this setup came from
[Kazama et al., 2005]. The software architecture would
be borrowed from the current three-dimensional simulation league, thus ensuring the agents would be individually programmed as isolated agents. Such setup brings
14media. This also allows the display of a variety ofusually unseen features, making it also appealing for
applications on a variety of new fields such as swarm
intelligence (e.g. bug heat fields or ant trails can beshown) and artificial life (food, preys and predators
can be simulated in big number and any shape).
• Robots would not be required to be equipped withextra sensors and could still enjoy complex modelsof the environment through the use of virtual sensors and actuators (e.g. virtual camera, heat sensors, kicking device, virtual grippers, etc.). Controversial enough, this removes the need for expensive/complex equipment to be installed in the robots
but actually extends the possibilities to the limit ofimagination.
• Standardization of both software and hardware,
making it possible to do benchmarks of different
techniques used by different people in a straightforward way.
• Portability, for the case of using a multimedia projector – 22 robots plus a projector could easily fit
into a briefcase.

4

Eco-Be! The Mini League

This document proposes a new league (tentative nameis ”Mini League”) using the Eco-Be! robots1 . Competitions would be held initially in an autonomous soccer
environment similar to that of simulation league. A variety of competitions and challenges would be gradually
included over the years covering a diverse range of fields
in reflex to the general interest and quorum of development. Throughout this section several possible competitions will be illustrated.
4.1

http://er04.ams.eng.osaka-u.ac.jp/ecobe-robocup/

Mini League Interactive Soccer GamesThe proposal above could be extended to also allow interaction of spectators with the ongoing game. While itis fun to watch the robots playing soccer, it should beeven more exciting to be able to actively take part in thegame either controlling some of the players individually,or even controlling a whole team at once by interactingwith its strategy online during the game. Kids are very
good at using game pad controllers in computer games,
so those would be the devices of choice for them to control individual robots. In contrast, here more skilledadults could interact with the team formation and playerroles by sketching strategies directly on a screen of atablet PC. The AR field could be easily shown at thescreen of such a PC and the human could intuitively interact with the team by the use of pen strokes. Team
strategy diagrams could be drawn in a way similar to theones human coaches use in soccer and basketball games.
Competition could be additionally held on the development of the most intuitive method for recognizing theintended orders of an untrained spectators. This would
foster research towards more friendly and intuitive human/machine interfaces.
The issues that would be interesting for research inthe proposed setup would include:• Human-computer interaction issues
See for instance the research of professor Nishino in
the OZRP project [Nishino, 2005].
• Strategy acquisition
The agents in the users team should analyze themovements of the human controlled robots and try
to learn from successfull moves. An example of this(with logfiles instead of online, user controlled movements) can be found in [Nii et al., 2005]).
• Teammate and opponent modeling
The agents of the team including the human players
could try to adapt to their human partners by learning and using a teammate model. The autonomous
agents of the other team could, on the other hand,
try to build an opponent model of the team including the human players and adapt their strategy accordingly (see for instance [Riley and Veloso, 2001]).
• Adaptive skill learning
Based on the strategy and the control of the humanplayers, the autonous agents could try to adapt theirparameters according to their observations during
the game (see [Kawarabayashi et al., 2005] for an
example).

Mini League Autonomous Soccer Games

This is actually the first ongoing development application of the Eco-Be! robots for use within RoboCup. It
would consist in an augmented reality realization of 3D
Simulation League games. A total of 22 Eco-Be!s would
be disposed of a small arena on which the virtual field,
including a virtual ball, would be projected instead ofusing an actual kicking device and real ball. In thisway the games would be made interesting for the spectators. For implementing this, the RoboCup Simulation
League architecture is being taken as a starting point.
The current robot soccer simulator is designed with plugin capabilities that allow extensions to be added withcertain ease. Simulation League games are the only ones
with 22 agents involved so far and they feature highly
developed strategies and teamplay. However, for spectators, it is sometimes too difficult to understand what
is happening in the simulators. Also, the current visualizations sometimes lack attractive visual features. Using
real mini robots like the Eco-Be! for this purpose avoids
those shortcomings of the simulation. Given the small
size of the robots, they probably have a ”cuteness factor” that makes them fun to watch if they engage inthese kinds of soccer games.
1

4.2

4.3

Mini League Rescue

Robot navigation and obstacle avoidance are among theolder fields of research on autonomous agents. More recently, topics such as sensor fusion and intelligent (adaptive/learning) behavior became also topic of prominent
research. In near future, autonomous home robots haveto be able to merge all the information of the various
sensors for successfully navigating indoors, avoiding both
fixed obstacles (walls, doors, staircases), and mobile obstacles (furniture, people). Other issues include limited
15

battery power and eventual failure of small subsystems.
Robots have to deal with all these issues and still be able
to effectively conclude their goal task with satisfactory
performance and robustness. The arrival of the first personal robots in the near future points toward the strong
importance of allowing the employment of such homerobots for indoor first aid in case of disasters.
The Eco-Be! robots are two wheeled, differential
driven robots, which are the most popular configurations for research autonomous wheeled robots. The differentially driven axis adds a restriction constraining
movements in the direction of the axis of the wheels –the so-called non-holonomic restriction (see for instance[Kühne and Walter F. Lages, 2005]). Most of the practical real-world vehicles are constrained by non-holonomic
restrictions and many other applications such as robot
manipulators also share non-holonomic restrictions. The
control of non-holonomic vehicles is not straight forward
because the relation of the rotation of the wheels to theactual displacement of the robot is not linear. Navigation of non-holonomic vehicles in clustered environments
is a challenging topic of research, and when talking about
rescue robots, then performance is a must.
An indoor environment can be topologically represented by projecting features into the field. The AR
field allows for realistically animated representation offeatures such as:• Floor, walls, doors, windows, staircases. The robot
could be equipped with simulated actuators (e.g.
grippers) for opening doors, or simulated ”steering
wheels” for going upstairs. The whole scenario canbe easily changed to show a different floor level.
• Mobile furniture such as chairs, tables, TV, shelfs,
etc. The furniture can be represented with realistic
physics, allowing the robot to eventually drag someof the objects in order to gain access to some area.
• People, both walking and lying down. Scared people
running around, or even injured unconscious people
laying around wainting for help can be simulated.
• Explosions, fire, water, or even earthquakes can berealistically simulated. Because besides the robots,
all other objects are simulated, they can catch onfire, or even walls can be destroyed by explosions.

simulated as well.
4.4

Mini League Emergency Traffic Control

In a more macro level, the traffic of big urban centres
is an issue when talking about big disasters such as typhoons, earthquakes and tsunamis. At the same time,
the traffic flow should allow constant evacuation of vehicles from dangerous areas at a reasonable rate, butshould also allow the rescue team to reach the rescue
spots as quickly as possible.
Considering such a scenario, a small portion of a city
can be represented in the field. The simulated city would
be represented by topological roads scaled in such a way
for a number of Eco-Be! robots to be the vehicles. A
small quantity of Eco-Be!s would represent rescue vehicles while the other big majority (maybe dozens) would
represent the ordinary traffic. In contrast to the previously mentioned application, here the vehicles are notdirectly steered by the teams. The teams should rather
concentrate their development on the elaboration of adequate traffic control by using traffic lights and simulated
human agents that can go onboard some rescue vehicle.
These rescue vehicles would drive into some region, deploy people for aiding in the traffic control on demand
and also deploy people for first-aid, firefighting, etc. Additionally, the teams would have the task to plan thequickest route for rescue vehicles to get into some target position, and also decide what target positions toreach (priority, timing, etc.) Remaining ordinary vehicles would be centrally controlled, with inclusion of simulated stress factors, such as traffic accidents, erratic behavior, and histerical runaway of some vehicles. According to their role (police, fire truck, etc.), the Eco-Be!’s
could be colored either by using paint or through projection of the respective colors onto the robots. The movements of the robots in the virtual environment should
then be much easier to track (and more fun to watch)than it is possible now on the big screens.
4.5

Mini League AI

Swarm intelligence and Artificial Life are perhaps themost specialized applications in which Eco-Be! can fit
amazingly well and most other platforms can not. As
for the reasons, there is:

The Eco-Be! robots can be equipped with any sortof local simulated sensors, among which one could include: fire or heat detectors, cameras, resonance distancesensors, compass, GPS, range finders, microphone, etc.
These sensors can be simulated in a way such as to avoid
the burden of actually designing sensor controllers forparsing raw data, thus allowing teams to concentrate on
more high level strategic planning and navigation issues
instead. For example, in a realistic scenario, a camera
may return a label identifying the object seen with morecertainty than a laser range finder can do, but the later
has more accuracy on measuring distances. Additionally, microphones can automatically ”recognize speech”,
and so on. This allows the research on a realistic but
years beyond in a futuristic scenario. Obviously noiseand eventual failure of individual subsystems should be• Low-cost hardware – Eco-Be! can probably be produced at a very low cost, and even lower cost if mass
produced by CITIZEN. This means a researcher
should be able to buy, let’s say, a hundred of EcoBe! robots for research for less than one thousand
US dollars.
• Projective Augmented Reality adds flexibility –Multimedia Projectors are not as expensive as theyused to be. Video cameras, capture cards and PC
computers are also getting more and more affordable as years pass. This means the scientist has access to an affordable platform for controlling a huge
number of robots in a virtually uncountable numberof swarm intelligence [Bonabeau et al., 1999] or artificial life [Langton, 1997] experiments. Moreover,16

while for soccer games or rescue operations the augmented reality has some appealing factor, in swarm
experiments the flexibility of the augmented environment becomes a real aid for visualizing usuallyunseen factors such a heat, pheromones, etc.
• Small size – Eco-Be! robots are small enough for allowing a huge quantity of robots to fit into the small
rectangle defined by the projected environment. Because the robots are so small and the projector canbe turned off, this means the whole system can beeasily transported to a different place and hundredsof robots carried into a single briefcase.
Competitions could be held on the application classic
swarm intelligence problems such as ant-like pheromone
trailing, heat seeking bugs, and artificial life subjects suchas dominance and role assignment, foraging, genetic evolution, prey/predator equilibria, etc. Applications range
from very theoretical computational problems (e.g. traveling salesman) to very specific biological models for evolution, disease dissemination to cite a few.
4.6

Mini League Education

The Eco-Be! robots shall be produced for a relatively low
price which makes it an attractive platform for schools
and research institutions with smaller budgets. Also, thescalable complexity that augmented reality brings to therobots makes them suitable as a diadatic tool for education in a variety of undergraduation subjects. Thus the
Eco-Be! robots could be used to bridge the currently existing gap between the RoboCup Junior league (which isfor high school students), and the more advanced leagues
in which mostly master and PhD course students are involved.
Among the subjects of undergraduation that could be
faced we could cite:• Programming (both structured and objectoriented);• Control Theory (feedback control, non-holonomic
systems);• Multiagent programming (non-Markovian processes, cooperation, competition);• Foraging and Ecosystems (ecologic equilibria, dominance);• Artificial-life and genetic algorithms (evolution andadaptation to environment);• Swarm intelligence (ants pheromones, flocks behavior, etc.);• Reinforcement Learning (grid world, sarsa, tile coding, etc.);• Computer Graphics and Augmented Reality• Human-Machine interface;
The forementioned augmented reality architecture anda few dozen of Eco-Be! robots should be affordable andand the setup reproducible by the majority of colleges,
universities and high level technical schools around theworld. Eco-Be!’s AR setup could spam all levels of education from elementary school teaching to graduate research, provided the adequate application design. If adequately exploited, such application has enough appeal

to become an standard platform for education and research on some/all of above listed fields. The advantage of having a standard platform and shared development of applications is enormous. Just for instance, this
could provide an standard platform allowing results tobe easily compared and reproduced among different institutions during conferences and workshops (reproducing and comparing results is usually a big problem inrobotic research).

5

Discussion

This paper presented the Eco-Be! robot and described
an AR environment. This architecture was then proposed as a standard for making a new versatile and affordable real-robot RoboCup league, here called “Mini
League”. As already mentioned, development has already begun on the robots themselves, on the AR setup
and on the first demonstration of autonomous soccer application using the whole environment. The entire architecture is supposed to be ready for being displayed already in Bremen this year. If well accepted by RoboCup
Federation the new league shall be ready for its first steps
during RoboCup of 2007.

References[Anderson et al., 2003] John Anderson, Jacky Baltes,
David Livingston, Elizabeth Sklar, and Jonah Tower.
Toward an undergraduate league for robocup. In Proceedings of Seventh International RoboCup Syposium(RoboCup-2003), Lecture Notes in Artificial Intelligence. Springer, 2003.
[Bonabeau et al., 1999] Eric Bonabeau, Marco Dorigo,
and Guy Theraulaz. Swarm Intelligence: From Natural to Artificial Systems. Oxford University Press,
1999.
[Kawarabayashi et al., 2005] T.
Kawarabayashi,
T. Kubo, I. Takahashi, J. Kuroiwa, T. Odaka,
and H. Ogura. Adapting recognition of shootable situations by learning from experience and observation
in a robocup simulated soccer game. In Proceedingsof the 3rd International Symposium on Autonomous
Minirobots for Research and Edutainment (AMiRE
2005), pages 155–156. Springer, 2005.
[Kazama et al., 2005] Toshiya Kazama, Ken Sugawara,
and Toshimori Watanabe. Traffic-like movement on
a trail of interacting robots with virtual pheromone.
In Proceedings of the 3rd International Symposium
on Autonomous Minirobots for Research and Edutainment (AMiRE 2005), pages 383–388. Springer, 2005.
[Kitano and Asada, 2000] H. Kitano and M. Asada. The
Robocup humanoid challenge as the millennium challenge for advanced robotics. Advanced Robotics,
13(8):723–736, 2000.
[Kühne and Walter F. Lages, 2005] Felipe Kühne andJoão Manoel Gomes da Silva Jr. Walter F. Lages.
Point stabilization of mobile robots with nonlinear
17

model predictive control. In IEEE International Conference on Mechatronics and Automation 2005, 2005.
[Langton, 1997] Christopher G. Langton, editor. Artificial Life: An Overview. MIT Press, 1997.
[Nii et al., 2005] M. Nii, M. Kajihara, Y. Takahashi, andT. Nakashima. An action rule discovery techniquefrom simulated robocup soccer logs. In Proceedingsof the 3rd International Symposium on Autonomous
Minirobots for Research and Edutainment (AMiRE
2005). Springer, 2005.
[Nishino, 2005] Junji Nishino. Oz-rp project webpage.
http://www.fs.se.uec.ac.jp/ nishino/ozrp/logs/, 2005.
[Riley and Veloso, 2001] P. Riley and M. Veloso. Coaching a simulated soccer team by opponent model recognition. In Proceedings of the Fifth International Conference on Autonomous Agents, 2001.
[Sma, 2006] Robocup
f180
league2006
rules.
http://www.cs.cmu.edu/˜brettb/robocup/rules/,April 2006.
[Yoshikawa, 2002] Kazuhiko Yoshikawa. Eco-Be!: A
robot which materializes a watch’s life (japanese). Nature Interface, (8):56–57, October 2002.

18

社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会研究会資料
JSAI Technical Report
SIG-Challenge-0623-4 (5/4)

位 置に 基 づ く 行動規 則を 実装した 入門用サッカー エー ジェン ト作成キット OZEDThe OZED introductory soccer simulation kit
using KONOHEN-fuzzy rule-based reasoning agent system
西野順二、 久 保長徳、 下羅弘樹、 中島智晴
Junji NISHINO, Takenori KUBO, Hiroki SHIMORA, Tomoharu NAKASHIMA

電気 通信大学、 仁愛 大学、 福井 大学、 大阪府立大学
Dept. of systems engineering,
The University of Electro-Communications

nishino@se.uec.ac.jp
た い 非専門家を 対象に した 教育 的な開発システム を 目標

Abstractと して い る 。

This paper presents a RoboCup soccer simulation introductory development kit OZED.
The OZED system contains a novel and user
friendly agent decision rule system; Konohen-と く に 直観 的な位 置に 基 づ く フ ァ ジィ ル ー ル に 基 づ い
た 行動則を 、 よ り 直接的なビ ジュ ア ル 表現と 組合せ て 編
集可能なも の と し、 文字に よ る 操作を す る こ と なく エー
ジェン トの 行動を 作成で き る よ う に した 。

fuzzy reasoning system which is denoted by intuitive regional propositions. We discuss about
the OZED system and the behavior representation ability of Konohen-fuzzy reasoning.

1

OZED システム

2

OZED キットは 、 統合ラ ン チャ 、 サー バ 、 バ イ ナリ プ レ
イ ヤ 、 エー ジェン トエディ タ、 エー ジェン ト実行サブ シス
テム 、 サン プ ル ル ー ル ズ、 ruby/soccer ラ イ ブ ラ リ を ま とは じ め にめ た 、 サッカー シミ ュ レ ー ショ ン の 入門キットで あ る 。 手RoboCup サッカー シミ ュ レ ー ショ ン プ レ イ ヤ 作成入門キット OZED(Open Zeng for EDucations) [西野 06]は 、 計算
機 や プ ロ グラ ミ ン グ知識の 浅い 中高生で も サッカー エー

軽な行動設計や 、 実験を 支援 し、 ruby に よ る ラ イ ブ ラ リ

ジェン トの 構築と 実験を 可能に す る こ と を 目指した シス

2.1

テム で あ る 。 エー ジェン トの 作成作業を 通じ て 、 マ ル チ

ヘ テロ ジー ニア スなマ ル チエー ジェン ト実験システム を

エー ジェン ト環 境に お け る エー ジェン トプ ロ グラ ミ ン グ

作成す る に は 、 当然なが ら 多数の エー ジェン トを 準備しなの 基 礎に つ い て の 教育 的効果を 与え る こ と が 目的で あ り 、RoboCup サッカー シミ ュ レ ー ショ ン リ ー グに 適合した サッカー エー ジェン トを 、 楽 しく 作成で き る よ う に す る こ とを 目標と して い る 。

け れ ば なら ない こ と が 、 開発上の 負担と なる 。 OZED シ

を 用い た 高度な利用も 可能と して い る 。

OZ 的チー ム システム に よ る 協調実験環 境

ステム で は RoboCup ヘ テロ 協調チー ム OZ の 概念を 継承
して 、 こ の 負担を 軽減す る 。
チー ム OZ[Nis01, 西野 00]は 、 サッカー シミ ュ レ ー ショ

シミ ュ レ ー ショ ン リ ー グは 、 さ ま ざ ま な知的手法を 実

ン リ ー グに お い て ヘ テロ ジー ニア スなエー ジェン トの 協調

践的に 比較 す る 研究 用の プ ラ ットホ ー ム で あ る と 同時に 、を 実験す る た め に 行っ た プ ロ ジェクトで あ る 。 複数の 作者

演 習など で ロ ボ ットや エー ジェン トを 作成す る 標準教材とに よ る 異 なっ た ア ー キテクチャ の サッカー エー ジェン トをして も 使わ れ て い る 。 こ れ ら の 教材で は 、 使用す る 技術の「 寄 せ 集め 」 て チー ム を 構成しそ れ ら の 協調の 様相を 調べ

高度さ と 作業量か ら 、 こ れ ま で は 上は 大学院 生下は 工学部

る も の で あ る 。

学生以 上が 対象で あ っ た 。 入門システム と して 、 行動ベ ー
スエー ジェン トモ デル に 基 づ い た 開発システム [Pau99]もサッカー は １１体の エー ジェン トで 一 つ の チー ム と なる 。 OZED で は 、 チー ム 構成に 必要な他の プ レ イ ヤ エー

あ る が 、 設定す る べ き 数値的パ ラ メ ー タ数も 多く 少なく

ジェン トと して 、 す べ て 一 人の ユ ー ザが 準備す る の で は なと も 学部学生程度の エー ジェン トに 関 す る 知識が 必要で

く 、 OZ の よ う に 他の ユ ー ザや システム 供給 者が 作成した

あ る 。

プ レ イ ヤ を 用い る 。 こ れ に よ っ て 、 １１体す べ て を 作る 必本システム で は 作業対象と して の RoboCup を そ の ま ま

要が なく なり 、 ユ ー ザは １つ の エー ジェン トを 集中的に 開に 、 中高生や 趣味で エー ジェン トプ ロ グラ ミ ン グを 行い発、 改良す れ ば 良い 。 サッカー は ポ ジショ ン に よ る 役割 分

19

Behavior
Decision Making
with Fuzzy Inference
World
Model
(Observer)

Fuzzy
Rule

Fuzzy
Predicates

Behavior
OZipED
Visual Editor

Network/Communication Control
UDP/IP

Figure 1: OZED システム (実行部分)
行動を 実現す る 。 エー ジェン ト行動を 作成す る 上で 、 ル ーStrategic
Team Planning

ル ベ ー スで の 設計は 負担が 少ない 。
こ の プ レ イ ヤ 本体は ruby で 記 述さ れ て お り 、 実装上は 、OZED プ レ イ ヤ ル ー チン は 以 下の ル ー プ で 動作す る 。
Input/Situation

1. サッカー サー バ と 通信 (ruby/soccer)

Behavior Decisionusing Knowledge

2. 状態認識結果の ベ クトル 化 (ruby/soccer)
3. 認識結果か ら 行動選択 (フ ァ ジィ 推論)
Actuator/Regulator
Behavior execution

4. 選択行動の 行動 (ruby/soccer)
Output/Movements

5. 1 へ 戻る
行動を 決定す る 意 志決定部分の フ ァ ジィ ル ー ル 以 外は 、 一

Figure 2: OZED エー ジェン トモ デル

般的なサッカー エー ジェン トの 様式に 従っ て い る 。

2.4

担が よ く 行わ れ 、 OZED で も 同様に ユ ー ザが 各個人の 好

ビ ジュ ア ル ー ル ル エディ タ

みの ポ ジショ ン を 選び 、 そ こ で の 行動を 実装した エー ジェ

ビ ジュ ア ル ー ル ル エディ タは 、 OZip システム に 端を 発す るン トを 選択的に 作る こ と が 可能で あ る 。

こ の へ ん フ ァ ジィ ル ー ル 編集イ ン タフ ェー スで あ る 。 OZip

2.2

システム は 、 OZ プ ロ ジェクトの 一 つ で あ る OZ-RP シス
テム [西野 02]の 実装と して 作成さ れ た 、 人間 パ イ ロ ットが実行部分の 全体構成

OZED システム の 実行部分の 全体構成を 図 1 に 示す 。 大
き く 、 行動エー ジェン トと ル ー ル エディ タの 二つ の 部分か

リ ア ル タイ ム 環 境下で RoboCup サッカー シミ ュ レ ー ショ

ら 構成さ れ る 。 エー ジェン トは 実装上、 ル ー ル エン ジン 、る 。 本エディ タは 、 OZip と 同様の 画面構成を ベ ー スに 、ル ー ル 、 ベ ー スの 三つ か ら なり 、 そ れ ぞ れ 、 こ の へ ん フ ァ

そ の 上で 「 こ の へ ん 」 と い う 位 置を 直接表現で き る よ う に

ジィ 推論システム 、 サン プ ル ル ー ル 群、 ruby/soccer で あ

して い る 。 ユ ー ザイ ン タフ ェー スで あ る ビ ジュ ア ル エディ

る 。 ル ー ル エディ タは 、 行動ル ー ル と そ こ で 使わ れ る フ ァ

タの 動作の スナップ ショ ットを 図 3 に 示す 。

ン サー バ に 接続して 行動す る た め の イ ン タフ ェー スで あ

ジィ 命題を ビ ジュ ア ル に 編集で き る 機 能を 持っ た ユ ー ザイ

2.5

ン タフ ェー スで あ る 。

2.3

ruby/soccer ラ イ ブ ラ リ

バ ー チャ ル サッカー エー ジェン トに 必要な、 状態認識、 基礎動作や ネットワ ー ク通信機 能など は 、 ruby を 用い て 作

サッカー エー ジェン トの 意 志決定モ デル

本システム で 提供す る サッカー エー ジェン トは 、 図 2 に 示

成さ れ 、 エー ジェン トラ イ ブ ラ リ を 構成して い る 。

した 典型的な階層型の 意 志決定モ デル を 採用して い る 。
開発キットと して 、 状況認識機 構と 、 制御階層の 最下層

ruby/soccer ラ イ ブ ラ リ が 提供す る 機 能は 以 下の 通り であ る 。

に あ た る 各種行動を ラ イ ブ ラ リ と して 提供す る 。 本シス• ネットワ ー ク通信機 能： RoboCup サッカー サー バ とテム の 実装で は 構築が 繁雑と なる 、 再上層の チー ム 全体の 接続お よ び 通信を 行う 。 サッカー サー バ は UDP/IPと も 関 わ る 戦略決定部は 扱 わ ない も の と した 。

上の テキストベ ー ス独自プ ロ トコル を 持つ た め 、 本

中層部の 行動決定部を フ ァ ジィ 推論に よ っ て 実装し、 ユ ー

通信機 能部で は 、 通信の 同期 、 バ ッフ ァ 管 理、 プ ロ ト

ザは こ の 行動規 則を 構築・ 編集して 意 図す る エー ジェン ト

コル パ ー スを 行う 。

20

Figure 3: ビ ジュ ア ル ル ー ル エディ タ• holdball: 直近の 相手プ レ イ ヤ と 反対の 側へ ボ ー ル を
小さ く キックし移 動しつ づ け る 。

• 状態認識： 各エー ジェン トが 持つ 状態オブ ザー バ であ る 。 バ ー チャ ル フ ィ ー ル ド上で は 、 視野角、 認識可能距離、 サン プ リ ン グ間 隔 など の 制限が エー ジェン
トに 課さ れ て い る 。 ま た 、 各バ ー チャ ル サッカー エー• positioning: 設定さ れ た ゾー ン に 戻る 。
• go(x):フ ィ ー ル ド上の 点 x へ 走る 。

ジェン トが フ ィ ー ル ド上で 検知す る 環 境情報は 、 サッカー サー バ か ら 独自プ ロ トコル で 送付さ れ る 。 本認

• kick(x):フ ィ ー ル ド上の 点 x へ キックす る 。

識部で は 、 プ ロ トコル の デコー ドを 行い 、 ま た 時間

サン プ ル ル ー ル 群

的か つ 空間 的に 補完 ・ 予測を す る 。 本システム で は 、

2.6

シミ ュ レ ー ショ ン ステップ (0.1 秒) 単位 で 、 各オブ

プ ロ グラ ミ ン グや システム の 構築技能の 習得で は 、 良質

ジェクトの 位 置を 合わ せ た 46 次元ベ クトル で 出力をで 豊富なサン プ ル に 触れ る こ と が 教育 的効果を 高め る 。

行う 。

OZED で は サン プ ル ル ー ル を 組み入れ 、 で き る だ け 段階
を 追っ て ル ー ル 構築の 仕組みを 理解で き る よ う に して い る 。

• 基 礎動作ラ イ ブ ラ リ ： ドリ ブ ル や ボ ー ル キー プ などの 単一 目的で 複合運 動と なる 動作を 実装した ラ イ ブ

2.7

ラ リ で あ る 。 サッカー サー バ が 受け 付け る エー ジェン

ユ ー ザが 構築した サッカー エー ジェン トを 試用す る た め にトの 運 動は 、 ダッシュ 、 キック、 ター ン と 言っ た 物理

は 、 自身の エー ジェン ト以 外に 、 周辺環 境を 整え る 必要が的に プ リ ミ ティ ブ なも の だ け で あ る 。 あ る 地点へ のあ る 。 最小構成で は 、 サッカー サー バ 、 チー ム メ イ ト、 対

ドリ ブ ル は ボ ー ル キックと 移 動の 運 動を 交互に 繰り戦相手、 モ ニター が 必要と なる 。 サッカー サー バ など は 教

返した 複合運 動で あ り 、 認識、 スタミ ナ管 理及 び タ

育 研究 目的で ソー ス形式で 公開さ れ て い る 。 研究 開発環

イ ミ ン グ制御も 含 め た 高次の 実装が 必要で あ り 、 行

境と して RoboCup サッカー シミ ュ レ ー ショ ン を 用い る 大

動マ クロ と して 基 礎動作ラ イ ブ ラ リ で 提供す る 。

学生・ 大学院 生で あ れ ば 、 こ れ ら を ソー スか ら 構築す る こ

パ ッケー ジと も 可能で あ る が そ の 負担は 多い 。 本システム が 対象とOZED で 提供す る 基 礎動作は 次の 通り で あ る 。

す る 入門的なレ ベ ル の 中高生で は 解決が 困難で あ る 。 そ• gotoball: ボ ー ル を 発見しそ の 方向へ 走る 。

こ で こ れ ら を 簡 単に 使用で き る よ う に 単一 の パ ッケー ジに 組み入れ た 。 現在は 、 UNIX(FreeBSD, Gentoo Linux),• shoot:ゴー ル の 方向へ キックを 行う 。

MacOS 10.4 で 稼働す る 。 OZED システム お よ び エー ジェ
ン トは ruby/tk の スクリ プ トと 、 gtk+ま た は qt を 用い た
グラ フ ィ ック環 境で 動作し、 想定す る プ ラ ットホ ー ム で の利用が 可能で あ る 。

• centering:ゴー ル 前の チー ム メ イ トへ パ スを 行う 。
• clearball: ボ ー ル に 近付き 直近の 空い た サイ ドラ イ ン
側へ ボ ー ル を キックす る 。

21

2.8

サポ ー トウ ェブサッカー エー ジェン トを 構築す る 動機 付け を 強め る た め 、OZED の ウ ェブ を 公開し、 そ こ で 相互に プ レ イ ヤ の 交換や 情報交換 を 促進す る 。
ウ ェブ か ら サー ビ スさ れ る 内容の う ち 、 本システム 、 マ
Right Side Corner

ニュ ア ル 、 チュ ー トリ ア ル 、 サン プ ル の 配布に つ い て は 、ウ ェブ か ら の 一 方向性の サー ビ スで あ る 。 い っ ぽ う ユ ー ザ
エー ジェン トの 収集と 再配布は 、 OZED の ユ ー ザが 作成
した 新規 の エー ジェン トの 行動規 則を 集め 再配布し、 他

Figure 4: 右 コー ナー を 表す フ ァ ジィ 領域の ユ ー ザが 自由に 使用で き る よ う に す る も の で あ る 。 こ
れ に よ っ て 、 互い に 離れ た 環 境で も 相互に プ レ イ ヤ の 交’hyotan.csdbf’
1
0.8
0.6
0.4
0.2

換 を 行い 、 試合を 行う こ と が で き る 。 こ う した ユ ー ザ自身に よ る サン プ ル 交換 に よ っ て 、 よ り 良い 行動、 よ り 強い 行
動を 行う エー ジェン トを 構築の 手が か り を ユ ー ザ自身が

1
0.8

学ぶ こ と が で き る よ う に して い る 。

0.6
0.4
0.2

こ の へ ん フ ァ ジィ

3

0
5
4
0

こ の へ ん フ ァ ジィ は 、 フ ィ ー ル ド位 置に 基 づ い た 直観 的な

0.5

行動規 則を 表現す る システム で あ る 。 ２ 次元の 実空間 を 、

3
1

1.5

2
2

2.5

1
3 0

こ の へ ん で 、 と い う 位 置に 関 す る 状態分割 を 行い 、 フ ァ
ジィ 推論エン ジン を 介して 解釈・ 実行を 行う 。

3.1

Figure 5: 複雑なア ウ トラ イ ン を 持っ た フ ァ ジィ 領域

こ の へ ん フ ァ ジィ 推論システム

位 置に 基 づ い た あ い ま い な概念を 表現す る 命題と 推論シ

領域 の ア ウ トラ イ ン を 指定す る と 、 そ の ア ウ トラ イ ン を

ステム と して 、 ２ 次元上の フ ァ ジィ 集合を 用い た フ ァ ジィ

も と に フ ァ ジィ 集合化さ れ る 。 凹凸部の あ る 複雑なア ウ ト

推論を 用い る 。

ラ イ ン を 持っ た フ ァ ジィ 集合の 例を 図 5 に 示す 。

フ ァ ジィ 推論に よ る 意 志決定は 、 並列に 列記 さ れ た ル ー

3.2

ル 群か ら なる 推論方式で あ り 、 ル ー ル の 条件部に は 状態を推論原理

変数と す る フ ァ ジィ 命題を 用い る 。 本システム で は 「 右 サ

こ の へ ん フ ァ ジィ 推論は 、 フ ァ ジィ 命題を も ち い た 並列発

イ ド」「 ゴー ル 前」「 自分の 近く 」 など 、 サッカー フ ィ ー ル

火型の ル ー ル ベ ー ス推論で あ る 。 ル ー ル は 以 下の 形式でド上の 物理的な位 置の 曖昧な領域 を フ ァ ジィ 集合で 表現

あ る 。

Ri : if obji is Ãi then Do Acti

し、「 ゴー ル 前なら シュ ー トす る 」 と 言っ た 直観 的な行動
規 則を 扱 え る よ う に して い る 。

(1)

条件部の obji is Ãi は ２ 次元空間 上の フ ァ ジィ 命題で２ 次元上の フ ァ ジィ 集合を 用い る こ と に よ り 、 あ る 対象

あ り 、 具 体的に は サッカー フ ィ ー ル ド上の 「 こ の へ ん 」 と物 A の 位 置が p=(x,y) の 座標で 与え ら れ る と き 、 位 置を

い う 、 主観 的か つ 直観 的に 定め ら れ た あ る あ い ま い な領域表す ２ 次元上の フ ァ ジィ 集合 G に 対して 、 µG (p) と 単一

Ãi に 、 obj が 適合す る か に つ い て の フ ァ ジィ 真理値 [0, 1]の 値で あ る 。

の 演 算で 表す こ と が で き る 。 従来の フ ァ ジィ 推論で 用い ら
れ て き た 手法で は 、 条件部の フ ァ ジィ 集合と して １次元上

対象 obj は 、 状態変数 (X1 X2 . . . X22 B) の う ち の 一 部の 集合の 直積を 用い て い た 。 こ の た め ２ 次元上で 見る と分で あ り 、 た と え ば ball なら ば B = (Bx By ) ∈ R2 の ２

長方形領域 の みしか 表現で き ず 、 く の 字形など 凹凸の あ る

変数を 指す 。 あ い ま い な領域 Ã へ の 適合度 g は 、 ２ 次元

領域 は 複数の 長方形フ ァ ジィ 領域 の 和と して 表現せ ざ る お

上の フ ァ ジィ 集合 Ã の メ ン バ ー シップ 関 数 µÃ に よ っ て

え なか っ た 。 本提案 手法で は 「 こ の あ た り 」 と い う 曖昧な求 ま る 。

２ 次元領域 を そ の ま ま ２ 次元上の 単一 の フ ァ ジィ 集合に よg = µÃ (X), X ∈ R2

り 図上で 指定で き る 。 こ の た め 、 よ り 直観 に あ っ た 位 置条
件命題の 設定を 可能と して い る 。 例と して 「 右 コー ナー 」

(2)

推論結果の 行動 Acti は ruby/soccer で 定義 さ れ た 基 礎を 表す 曖昧な領域 を 図 4 に 示す 。

動作へ の シン ボ ル で あ る 。 先に 述た エー ジェン トモ デル
中で ruby/soccer が の ラ イ ブ ラ リ が 起 動し、 実際の 行動がま た 、 こ れ ら の あ い ま い な領域 は ビ ジュ ア ル エディ タを用い て ユ ー ザに よ っ て 直観 的に 定義 さ れ る 。 エディ タ上で実行さ れ る 。

22

3.3

推論結果の 統合

こ の へ ん フ ァ ジィ 推論は 、 並列発火に よ る 推論を 行う 。 フ ァ

Riresolved : if self is Ai and ball is B(Ai ) then · · · (7)ジィ 推論で は 、 与え ら れ た 状態に 対して 、 複数の 規 則が それ ぞ れ gi ∈ [1, 0] の 範囲 の 重みを 持っ て 適合す る 。 結果の

逆 に 、 こ の 展開さ れ た ル ー ル 群を 縮約した 表現が 相対表

統合は 各推論規 則 Ri の 適合度 gi を も と に 行う 。 現在の現で あ る 。

OZED で は 、 最大適合度を 与え る 規 則の 行動を 採択す る 。
ル ー ル 数の 縮約可能性
S
細分化した 状態 (si ) = S に も と づ い て 、 作ら れ た 完 全

3.6
Result = {Actj |gj = max(gl )}l(3)

適合度が 同じ 場合の 競合解消は 、 ル ー ル 番号の 小さ い も

表現規 則群が あ る と し、 こ の と き 後件部の 行動 Actj ∈ Aの を と る こ と と した 。

は 有限で m 個と す る 。 こ こ で 、 規 則群を 行動の 添字ご とこ の 他の 統合手法と して は 、 適合度に 応じ た 確 率的にに 集め た 規 則集合 Rj = Ri |Acti = Actj を 行動の 数だ け

１つ 選択、 閾値以 上の う ち か ら １つ 選択、 適合度に 応じ作る こ と が で き る 。 す る と 各規 則の 条件部の フ ァ ジィ 命題

た 混合など が あ る 。 こ れ ら の 実行方法に つ い て は フ ァ ジィ
ア ル ゴリ ズム [Zad68, Tan75]に お い て 定式化さ れ て い る 。

の フ ァ ジィ 集合を 統合で き る 。

3.4

Ãsumj =こ の へ ん フ ァ ジィ 規 則の 表現能力

[

Ãi

(8)

Ri ∈Rjこ の へ ん フ ァ ジィ に よ る 位 置に 基 づ く フ ァ ジィ 推論は 、 記

こ こ で 演 算 ∪ は フ ァ ジィ で の 集合和で あ る 。

憶を 持た ない エー ジェン トの 任意 行動規 則を 表現可能で

完 全表現した 規 則群を 行動ご と に 統合す る こ と で 、 m

あ る 。

個の ル ー ル で 表現で き る 。

記 憶を 持た ない エー ジェン トの 行動規 則は 、 す なわ ち 、Ri : if state is Ãsumi then do Acti (1 ≤ i ≤ m) (9)現在の 状態 s に 対して 行動 Act を 割 り 当て る 任意 の 写像

π : S 7→ A で あ る 。
で 多数作成し、 そ れ ぞ れ の メ ン バ ー シップ 関 数が 互い に 重OZED で 提案 す る 位 置に 基 づ い た エー ジェン ト行動則の記 述能力と 、 ruby に よ る 実装と 速度に つ い て 検討を 行う 。

なる 境界を 調整す る こ と で 、 任意 の ル ー ル 適合度 0 < e < 1を 閾値と して 、 状態空間 S 全体を 細分化した 状態 s˜i の 有限な集合和で 表現す る こ と が で き る 。

[
S =(s˜i )

システム の 評価と 考察

4

い っ ぽ う 、 こ の へ ん フ ァ ジィ 集合を 適当な大き さ の 範囲

4.1

行動則の 記 述力

こ の へ ん フ ァ ジィ に よ る 行動規 則表現は 原理的上、 任意 の(4)

記 憶を 持た ない エー ジェン トの 行動則を 表現で き る こ とこ こ で す べ て の 細分化した 状態 s˜i ご と に 行動 Acti を 割 りを 示し、 フ ァ ジィ 規 則の 並列発火お よ び 実行の 方式に 起 因

付け る 規 則

す る 統合可能と い う 性質か ら 、 行動に よ っ て 規 則を 縮約

Ri : if s is si then Do Acti

す る こ と が で き る こ と を 示した 。

(5)しか しなが ら 実用上は 、 リ ア ル タイ ム 制約か ら あ ま り
多数の 規 則の 実行は 不可能で あ る 。 ま た 、 理解不能な縮を 作れ ば 任意 の 行動規 則を 表現す る 写像と なる 。

3.5

約を 行っ た 規 則群で は 、 直観 的に 分か り や す い こ と が 主

相対的表現に つ い て

た る 利点で あ る フ ァ ジィ 推論と して の 意 義 が 薄く なっ て し

OZED で は 条件部の 表現と して 相対位 置も 許して い る 。 相対位 置を 用い た 表現を 含 め て も あ ら ゆ る 行動則を 表現でま う 。

き る 。 こ れ は 絶対位 置に よ る 規 則で 表現で き る も の を 、 そ２ ０程度の あ ま り 多く ない 規 則数で 、 十分な行動を す るの 簡 略化した も の と と ら え る こ と が で き る 。

エー ジェン トが 表現で き る こ と が 望ま しい 。

実際の 入門キットと して 使用す る た め に は 、 １０か らた と え ば 「 ボ ー ル (ball) が 自分 (self) の 前 (B) に あ る 」

OZED キットの サン プ ル と して 掲げ た エー ジェン ト７と い う フ ァ ジィ 命題中の 「 自分の 前 (B) に あ る 」 と い う 相

種類は 、 そ れ ぞ れ 1, 6, 5, 2, 7, 4, 4 本の 規 則で 構成さ れ対的な表現は 、て い る 。 最大 7 規 則、 平均 4 規 則で 、 FW や MF と して˜
if ball is selfRelativeB
then · · ·の ポ ジショ ニン グや 行動を 行っ て い る 。 こ れ ら の プ レ イ ヤ(6)の 行動が 十分と 言え る か ど う か の 判断は チー ム と して のと 書 け る 。 こ こ で 、 こ れ は 自 分の 位 置 (self = A =バ ラ ン スと も 関 わ る も の で あ る 。 こ の た め 十分性を 断言(Xxs Xys )) か ら 決ま る 「 前」 の 位 置 B(A) を そ れ ぞ れ 取

す る こ と は で き ない が 、 プ レ イ を 観 察す る 範囲 で は 最低

る 一 連の 展開さ れ た ル ー ル 群で 表現で き る 。

限で 必要な判断と 行動を 行っ て い た 。

23

実行速度

4.2

エー ジェン ト全体が ruby で 作ら れ て い る た め 、 実行速度は
速く は なく 、 場面に よ っ て は 推論速度が 問題と なる 。 サッ

なお 、 本システム の 開発は 、 独立行政法人情報処理推

カー サー バ の シミ ュ レ ー ショ ン ステップ は 100 ミ リ 秒単進機 構 (IPA) よ り 、 2005 年度上期 未踏ソフ トウ ェア 創造

位 で あ る 。 こ の た め 、 自作サッカー エー ジェン トを 用い て事業の 支援 に よ り 行わ れ た も の で あ る 。

試合を 行う と き 、 一 回の 行動決定ステップ が 通信を 含 め

参考文献て 100 ミ リ 秒未満に 収ま る か ど う か が 評価の 閾値で あ る 。

[Nis01]

ま た 、 サッカー サー バ や モ ニタ、 チー ム メ イ ト、 相手チー

Nishino, J., T. Morishita, and T. K. and:RoboCup 2000: Robot Soccer World Cup IV,
chapter Open Zeng: An Open style distributed
semi-cooperative Team development projectfrom Japan, pp. 473–476, Springer, 2001.

ム エー ジェン トを 同時に 稼働さ せ る と 最大で ２ ３ プ ロ セスと なる た め 、 １エー ジェン トあ た り 4.3 ミ リ 秒が 目安 となる 。

ruby に よ る フ ァ ジィ 推論全体で の １ステップ 分の 演 算
時間 は 、 201.1 ミ リ 秒で あ り 、 こ の う ち フ ァ ジィ 集合に 関
す る 部分の 計算量を 除い た 、 ル ー ル の 処理や 通信処理など[Pau99] Paul Scerri, A. T., S. Coradeschi: RoboCup98: Robot Soccer World Cup II, chapter A
User Oriented System for Developoing Behav-

は 0.88 ミ リ 秒で あ っ た 。 そ の 演 算時間 の ほ と ん ど を フ ァ
ジィ 集合処理が 消費して い た 。

ior Based Agents, pp. 173–186, Springer, 1999.

こ の 速度上の 問題を 回避す る た め 、 家庭など で 用い ら れ[Tan75] Tanaka, K. and M. Mizumoto: Fuzzy Programs and Their Execution, in etc., L. A. Z.

る 配布用 OZED キットで は 、 ５対５の チー ム 構成と し、 プ
ロ セス数を 減ら す こ と と した 。 ま た 、 負担の 重い フ ァ ジィ

ed., Fuzzy Sets and Their Applications to Cognitive and Decision Processes, pp. 41–76, NewYork US., 1975, Academic Press.

集合処理に つ い て は 、 C 言語に よ っ て 実装さ れ た ruby の
拡張ラ イ ブ ラ リ と す る こ と で 高速化を 計っ た 。
こ れ ら の 対策に よ り 、 MacOSX(CPU G4 1.45GHz) に
お い て 、 １ル ー ル 処理が 201.1 ミ リ 秒か ら 1.0 ミ リ 秒に 改

[Zad68] Zadeh, L. A.: Fuzzy Algorithms, Information
and Control, Vol. 12, pp. 94–102, 1968.

善さ れ 、 実用上の 問題は 解決した 。
ビ ジュ ア ル ル ー ル エディ タは C++/Gtk+で 開発さ れ 十分な応答で あ る 。 ま た 、 エディ タ作業場面は 、 エー ジェン[西野 00] 西野, 森下, 木下, 鈴木他： シミ ュ レ ー ショ ン ド

ト実行ほ ど 時間 制約が 厳しく なく 、 多少の 応答遅れ が あ っ

リ ー ム チー ム OZ の 挑戦, AI チャ レ ン ジ研究 会て も 使用上の 不都合は ほ と ん ど ない 。

第 9 回資料, pp. 16–19 人工知能学会, 2000.

5[西野 02] 西野： ドリ ー ム チー ム OZ と 人間 チー ム OZ-RP

ま と め と 今後の 課題の 挑戦, 日本ロ ボ ット学会誌, Vol. 20, No. 1, pp.

こ の へ ん フ ァ ジィ は 人間 が 通常持っ て い る 、 位 置と い う 直

39 – 40, 2002.

観 的な概念を そ の ま ま 表現で き る 仕組みで あ り 、 そ の 利用
も 簡 単で あ る 。 本稿で は 原理的な表現能力に つ い て 示し

[西野 06] 西野, 久 保, 下羅, 中島： ロ ボ カップ サッカー シミ ュ

た 。 キットと して 実装した OZED で は 、 実用的な範囲 と

レ ー ショ ン エー ジェン ト開発体験キット OZED,

して 規 則数を あ る 程度しぼ っ て も ユ ー ザの 意 図す る 動き

第４７ 回プ ロ グラ ミ ン グシン ポ ジウ ム 報告集,を 実現で き 、 実行速度も 十分で あ る こ と を 確 か め た 。

pp. 79–86 プ ロ グラ ミ ン グシン ポ ジウ ム 委 員 会,
情報処理学会, 2006.

提案 システム で 実装した 位 置に 基 づ い た フ ァ ジィ 命題の
使用は 、 ユ ー ザが 直観 的に 行動の 意 味を 理解し開発を 進める 助け と なる 。 実験対戦の 相手チー ム や 、 自チー ム の チー
ム メ イ トなど を パ ッケー ジと して 組み込ん だ こ と に よ り 、サッカー サー バ を 起 動す る た め の 統合環 境と あ い ま っ て 、
経験や 知識の 少ない 中学生、 高校生で も 公式の RoboCupに 自宅で 触れ る こ と を 可能に した 。 さ ら に 、 内部の エー
ジェン トシステム 本体は Ruby ベ ー スで 作ら れ て い る た
め 、 こ れ ら を ラ イ ブ ラ リ と して 用い る こ と で 、 オブ ジェク
ト指向エー ジェン ト開発に ま で 立ち 入る こ と が で き る 。
今後は 、 こ の へ ん フ ァ ジィ 推論の 表現能力に つ い て 実用的な範囲 で の 規 則数に お け る 精密な議 論が 必要で あ る 。

24

社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会研究会資料
JSAI Technical Report
SIG-Challenge-0623-5 (5/4)

ニューラルネットワークによるゲームログからの行動獲得
Behavior Acquisition by Neural Networks through Game Logs

並川直樹，小野玄基，横山智史，高谷将裕，中島智晴，石渕久生
Naoki NAMIKAWA, Genki ONO, Satoshi YOKOYAMA,
Masahiro TAKATANI, Tomoharu NAKASHIMA, Hisao ISHIBUCHI

大阪府立大学
Osaka Prefecture University{namikawa@ci., ono@ci., sts86y@ci., takatani@ci., nakashi@, hisaoi@}cs.osakafu-u.ac.jp
Abstract

うプレーヤのログデータを利用して NN を学習させることにより，ドリブルスキルが獲得される.

This paper proposes a framework for acquiringa low-level behavior of a soccer agent. The taskof a learning agent is to mimic the behavior of atarget agent with a well-trained behavior. Neural networks are used to represent the behaviorof the target agent. In order to obtain a setof training data, we convert game logs of thetarget agent into a set of input-output pairs forthe neural networks. We show the effectivenessof the proposed framework through the computational experiments.

2

ニューロ・ドリブル

本論文では，プレーヤが NN を用いてドリブルを行う動
作をニューロ・ドリブルと呼ぶことにする．ニューロ・ド
リブルを実装するため，優れたドリブルを行うチームのログデータから学習用データを抽出し，バックプロパゲー
ション法 [Rumelhart, 1986] により NN の学習を行う. プ
レーヤは，学習により得られた NN を用いてニューロ・ド
リブルを行う．
本論文では，２種類のニューロ・ドリブルを実装するための方法を提案する．一つは，ドリブルを構成する三つの1

基本動作（キック，ダッシュ，ターン）に対して，それぞはじめにれ独立した NN を構築し，各行動のパラメータを NN に

RoboCup は，ロボット工学や人工知能など，多岐に渡る技術の融合・発展のための標準問題の提供を目的として提唱された国際的プロジェクトである．協調マルチエージェ
ント問題を主に取り扱う RoboCup シミュレーションリー
グでは，ソフトコンピューティングに基づいた手法がよく適用されている．例えば，中島らは，ファジィQ 学習によりオンラインでボールをインターセプトするスキルを獲得する手法 [中島, 2003] や，進化型計算によりチーム戦略を獲得する手法 [Nakashima, 2004] を提案している．
また，Luke ら [Luke, 1996] は，共進化の概念を取り入れた遺伝的プログラミングを提案しており，進化の初期段階
では団子サッカーであったチーム戦略が，進化の終了段階
では，フォーメーションサッカーを行うような戦略へと進化することを示している．
通常，優れたドリブルをプレーヤに実行させるためには，
開発者自らの経験やノウハウを生かして，ハンド・コー
ディングを行わなければならない．本論文では，ニューラ
ルネットワーク（以下 NN）によりドリブルスキルを獲得する手法を提案する．提案手法では，優れたドリブルを行25より決定してドリブルを行う方法である．もう一方は，単一の NN を用いて基本行動の選択，及び選択した行動のパラメータの値を NN により決定してドリブルを行う方法である．以下では，学習用データの生成手順，本論文で用いた NN の構造，及びニューロ・ドリブルを実装するための手法を説明する．

2.1

学習用データの生成

優れたニューロ・ドリブルを実現するためには，学習用データとして優れたドリブルを行うプレーヤのデータが必要となる．本論文では，2004 年の RoboCup 世界大会で優勝したチームである STEP のドリブルを NN に学習させる．STEP は優れたドリブルを特徴としている．学
習用データを生成するために，STEP と他のチームを対戦させ，試合のログデータを収集する．試合のログには，プレーヤがドリブルを行っている際のフィールド上の情報とプレーヤがサーバに送信した情報が含まれているため，

NN の学習用データとなる知覚―行動データを抽出することができる．以下に学習用データの生成手順を示す．

また，NN の学習が進んでいることを確認する指標の一［学習用データの生成手順］

つとして，自乗誤差がある．自乗誤差は，学習用データにStep 1: 学習対象のプレーヤを含むチームによる試合を複数回行い，試合のログを収集する．

対する NN の出力値の誤差であり，次のように表される．

Step 2: 収集したログから，学習対象のプレーヤがドリブルを行っている部分を抽出する．

E=

N
X

Ep =

p=1

n3
N X
X
(tpk − opk )22

p=1 k=1(7)

Step 3: ドリブル部分を抽出したログから，サイクルごとに環境の状態に関する知覚情報を入力値，そのサイクルでプレーヤがとった行動を出力値として学習用データを生成する．

ここで，tpk は学習用データを表している．NN の学習は，

2.2

2.3

自乗誤差が最小となるように，バックプロパゲーション法
により行われる．

ニューラルネットワーク

本論文では，Figure 1 に示すような３層階層型ニュー

Figure 2 に，複数の NN によるニューロ・ドリブルで用いる場合の構成を示す．手法１では，三つの基本行動（キック，ダッシュ，ターン）に対してそれぞれ一つの NN を用意する．各 NN は，プレーヤの視覚情報を入力値として行動に関するパラメータを出力する．キック NN はボールに加える力と方向の２出力，ターン NN はターンの方向の１出力，ダッシュNN はダッシュの大きさの１出力を出力する．
プレーヤは，ボールが蹴ることのできる範囲に入ったときに，ニューロ・ドリブルを開始する．手法１において，基本行動の選択は予め設定した条件に基づいて行われ, 選択された行動に対応する NN が出力するパラメータの値に従ってプレーヤは行動する．以下に，手法１におけるニューロ・ドリブルの手順を示す．

ラ ル ネット ワ ー ク を 用 い る ．n 次 元 ベ ク ト ル xp=
(xp1 , xp2 , ..., xpn ), p = 1, 2, ..., N が NN への入力として与えられたとすると，各ユニットの入出力関係は以下のようになる．
入力層：opi = xpi ,i = 1, 2, ..., n1

中間層：opj = f (netpj ),netpj =n1
X

j = 1, 2, ..., n2

wji opi + θj

(1)
(2)
(3)

i=1

出力層：opk = f (netpk ),netpk =n2X

k = 1, 2, ..., n3

wkj opj + θk

複数の NN によるニューロ・ドリブル（手法１）

(4)
(5)

j=1

［複数の NN によるニューロ・ドリブルの手順］

ここで，N は学習用データの数，n1 ，n2 ，n3 はそれぞれ，入力層，中間層，出力層のユニット数，wji ，wkj はStep 1: ボールを足元で止める．

ユニット間の結合強度， θj ，θk はしきい値を表している．

Step 2: ターン NN を用いてドリブルを行う方向へ体を向ける．

但し，入出力関数 f (x) は次のようなシグモイド関数であStep 3: ボールがプレーヤの中心より前にある場合は，ダッシュNN を用いてダッシュを行う. ボールがプレー
ヤの中心より後にある場合は，キック NN を用いてキックを行う．

るとする．

f (x) =

1
1 + e−x

(6)

op1

opk

opn3

1

k

n3

Step 4: 終了条件が満たされていれば，手順を終了する．
それ以外の場合は，Step 3 へ戻る．

NN

wkj

1

j

NN

n2

NN

wji

1

i

n1

x p1

x pi

x pn

NN

Figure 2: 手法１の NN の構成
Figure 1: ３層階層型ニューラルネットワーク

26

Table 1: 実験設定

手法１

手法２

2.4

入力ベクトル

ユニット数

プレーヤの絶対速度と体の向き

入力層：13

ボールのプレーヤに対する相対座標と相対速度

中間層：30

近隣の敵 3 人のプレーヤに対する相対座標

出力層：各 NN の出力数

プレーヤの絶対座標と絶対速度と体の向き

入力層：24ボールのプレーヤに対する相対座標と相対速度

中間層：60

近隣の味方 1 人と敵 2 人の相対座標，相対速度，体の向き

出力層：7

3.2

単一の NN によるニューロ・ドリブル（手法２）

Figure 3 に，単一 NN によるニューロ・ドリブルで用いる
NN の構成を示す．手法１とは異なり，手法２では，基本
行動の選択及び各行動に関するパラメータの値といったすべての意思決定が，単一の NN によって包括的に行われる. 行動を選択するために，キック，ダッシュ，ターンの各基本行動に対する出力が存在する．プレーヤは，これらの値を比較し最も大きな値をとる行動を選択し，対応するパラメータの値に従って行動する．手法１と同様に，
プレーヤはボールが蹴ることのできる範囲に入った場合に，ニューロ・ドリブルを開始し，終了条件が満たされるまでこれを継続する．

複数の NN によるニューロ・ドリブルの性能

学習用データに対するキック NN の自乗誤差を Figure 4に示す．学習の前半では，自乗誤差の値が大きく，プレー
ヤはボールを蹴らずに，その場で留まっているだけであったが，学習の後半ではドリブルの動作を観測することができた．また，Figure 5 に手法１を用いたニューロ・ドリ
ブルの様子を示す．Figure 5 より，手法１を用いるとドリブルスキルが獲得されることがわかる．
80
70
60

NN

50
0

100000200000300000NN

Figure 4: キック NN の自乗誤差

Figure 3: 手法２の NN の構成

3

数値実験

3.1

実験設定

提案手法の有効性を検証するため，数値実験により各手法の性能を調べた．NN の学習では，学習係数を 0.1 としてバックプロパゲーション法による重みの学習を行った．各手法に対する入力ベクトル，及び各層のユニット
数を Table 1 に示す．また，問題の簡略化のため，プレー
ヤがフィールド上の全情報を取得できるようにし，さらに，送受信する情報にノイズが含まれないように設定した．ニューロ・ドリブルの終了条件は，敵が近くに存在す
る場合，ボールが味方もしくは敵にとられた場合，スタミ
ナが基準値以下となった場合，ボールが規定の場所に到達した場合，15 サイクル以上ボールから離れている場合

Figure 5: 手法１を用いたニューロ・ドリブル

とした．

27

3.3

4

単一の NN によるニューロ・ドリブルの性能

ニューロ・ドリブルの問題点

学習用データに対する NN の自乗誤差を Figure 6 に示す．

前章では，NN を用いてドリブルスキルが獲得されること

手法１の場合と同様に，学習前半ではドリブルの動作はを示したが，一方で攻撃方向とは逆へボールを強く蹴る見られなかったが，学習が進んでいくと，ドリブルの動作動作も確認された．特に，行動の選択を NN により行っを観測することができた．Figure 7 に，単一の NN によている手法２においてこのような動作が多く観察された．

るニューロ・ドリブルと学習対象である STEP のプレー

この動作の原因として，学習用データの不足が考えられ

ヤによるドリブルを比較した図を示す．Figure 7 より，手る．例えば，STEP とニューロ・ドリブルを行うチームの法２を用いると学習対象の STEP と類似したドリブルス

ポジショニングや戦略が異なるため，学習用データにはキルが獲得されることがわかる．

存在しない状況がニューロ・ドリブル実行中に生じる場合がある．この問題の解決策として，さらに多くの学習用

2000

データを収集すること，ドリブルの行動として明らかに適切でない行動をとらないように条件を追加すること等が考えられる．また，NN の入力値や実装方法に関する検1900

討も必要である．

5

1800
20000

40000

60000

おわりに

本論文では，NN を用いてドリブルスキルを獲得する手法

80000

を提案した．

NN の学習は，優れたドリブルを行うプレーヤを模倣するように行われた．数値実験により，提案手法を用いると学習対象である STEP のプレーヤと類似したドリブルス
キルが獲得されることを示した．一方で，攻撃する方向とは全く逆へボールを強く蹴ってしまう動作も確認された．
今後の課題は，このような問題を解決し，学習対象のプ
レーヤのドリブルにより類似したニューロ・ドリブルを実現することである．また将来的には，ドリブル以外のパスやシュートといったスキルを NN により獲得する手法の開発を検討している．

Figure 6: 単一の NN の自乗誤差

参考文献[Rumelhart, 1986] Rumelhart D. E., McClelland J. L.
and the PDP Research Group: Parallel Distributed
Processing(1), pp. 318-364, MIT Press, 1986.
[Luke, 1996] S. Luke and L. Spector: Evolving Teamwork and Coordination with Genetic Programming,
Proc. of the First Annual Conference on Genetic
Programming, pp. 150-156, 1996.
[中島, 2003] 中島智晴，有働昌代，石渕久生: ファジィQ
学習によるサッカーエージェントの行動獲得，日本知能情報ファジィ学会誌， Vol. 15, No. 6, pp. 702-707,
2003.

 [Nakashima, 2004] T. Nakashima, M. Takatani, M. Udo
and H. Ishibuchi: An Evolutionary Approach for
Strategies Learning in RoboCup Soccer, Proc. of2004 IEEE International Conference on Systems,
Man and Cybernetics, pp. 2023-2028, 2004.

 

Figure 7: STEP とニューロ・ドリブルの比較

28

社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会研究会資料
JSAI Technical Report
SIG-Challenge-0623-6 (5/4)

ad-hoc ネットワークにおける音波を用いた端末間距離測定に関する一考察
Measurement of Distance Between Nodes in Ad-hoc Network by Acoustic Wave

植村 渉
Wataru UEMURA

龍谷大学理工学部
Ryukoku University

wataru@rins.ryukoku.ac.jp

Abstract

十分有用である．ノード間の距離情報は，ネットワークに端末がどのようにつながっているかを知るために重要でOn ad-hoc network, distance information be-

あり，通信のために用いる情報であるため，一般的には無tween nodes is needed for making routing tables. Usually we get information of a wireless

線通信時の電波強度を用いて，お互いの端末間距離を知

signal power from a wireless network card because there is a relationship between the wire-

において，電波強度の情報は受信信号を扱う際に容易に

less signal power and distance between nodes.
But some network cards do not provide us a

おいては，下位のハードウエア寄りのドライバやチップ

wireless signal power or such information. In
this paper, we provide a novel distance mea-

は，アドホックネットワークの端末として，ソニーの四足

surement method using acoustic wave. Sinewave is not a monotone decreasing because it

トに搭載している無線カードからは，電波強度情報を得

has ‘nodes’ which amplitude are always zero per
wavelength. So it is too hard for us to get dis-

たかという情報は得られない．通常は，アクセスポイン

る [15][16][17]．無線通信を行う際，ハードウエアレベル
獲得することができる．しかし，ソフトウエアレベルにに依存し，必ずしも獲得できるとは限らない．本研究で歩行ロボットを使用する場合を想定している．このロボッることができるが，それがどの端末との通信時に得られトとの通信になるため，これだけの情報で十分であるが，tance information from a wave signal power.

アドホックモードにおいては，端末間通信を行うため通In this paper, we propose the distance measurement method with the two or more acous-

信相手が複数になり，この情報だけでは，端末間距離が判

tic waves. And experiments show its implementability.

セスポイントと同等になるため，自分自身のポイントを定できない．また，アドホックモードでは，各端末がアク情報として拾う場合もある．この場合も，通信相手との電波強度を知ることができず，端末間距離が得られない．

1

はじめに

基地局を介さず，個々の端末同士が通信することでネット

本研究では，四足歩行ロボットが，モノラルのスピーカワークを構築するアドホックネットワークは，通信のたと，ステレオのマイクを搭載していることに着目し，音波

めのインフラの設備や準備を必要としないことから，近を用いて端末間の距離を測定する方法を提案する．そし年注目されている [1][2][3][4][5]．また，アドホックネット
ワークは，その性質上ネットワークが不安定であるため，て，実験により，この手法の有効性を確認する．

ネットワークを安定化させる研究 [6][7] や，ネットワー
クを流れる情報であるパケットの経路設定に関する提案

以下，二章では，アドホックネットワークについて述[8][9][10][11] など，様々な研究が行われている．特に，お互いの端末（ノード）間の距離情報を知ることは，アドべ，音波による端末間の距離の測定方法について提案すホックネットワークにおいて重要である [12][13][14]．た

四足歩行ロボットの紹介と，それを用いたロボカップにつだし，ネットワークは随時変化するため，距離情報は必いて述べる．そして，四章にて実験を行い，五章でまとずしも正確である必要はなく，大雑把な情報であっても，める．

る．三章では，実験に先立ち，実験に用いる端末である

29

2

アドホックネットワーク

2.1

端末間距離の推定

アドホックネットワークでは，従来の基地局型ネットワー

ルーティングテーブルを作成するためには，どの端末と通クとは異なり，中心となる基地局を用いず，各端末間で通信できるか，また，その通信可能端末との距離はどれくら信を行い，ネットワークを構成する．そのため，ネット

いかを知る必要がある．通常は，通信時の受信電波強度を

ワークインフラの構築が簡単であり，災害現場などにお用いて，お互いの端末距離を知ることができる [15][16][17]．

いて大いに期待されている．ただし，その特性上，ネット

しかし，本研究で対象とする四足歩行ロボットでは，獲得

ワークは常に変化する可能性を持ち，従来のネットワー

した電波強度が，どの端末との通信における電波強度か

クと比べると不安定である．

知ることができない．また，アクセスポイントを用いたアドホックネットワークを構築する様々な方法がある

通信を行う場合においても，アクセスポイントとの電波が，最も簡単な構築方法のひとつとして，IEEE 802.11 の強度は測定できても，他の端末とは直接通信しないため，

いわゆる無線 LAN ネットワークのアドホックモードを用

端末間距離を知ることはできない．そこで，本研究では，いる方法がある．このモードを用いれば，中心となるア

四足歩行ロボットがモノラルスピーカとステレオのマイ

クセスポイントを設置することなく，通信可能圏内の他のクを搭載していることに着目し，音波を用いて端末間距

同一設定のノードと簡単に通信することができる．IEEE

離を測定する方法を検討する．実際に利用する際には，ま802.11 の中でも，最高 11Mbps の通信速度である 802.11b

わりからの雑音や，ロボット自身の雑音が影響を与える．

に対応した機器は，一般に広く出回っており，無線 LAN

また，壁などによる反射や吸収，障害物の回折など色々なに対応しているノートパソコンでは，ほぼ全てにおいて要因も存在する．今回は，音波利用の可能性を検討するた使うことができる．

め，ロボットは動かさず，また環境もできるだけ静かな環
境を選び，雑音などの要因は今後検討することとする．

本研究で対象とする無線端末は，ソニー社製の四足歩行
1

ロボット（アイボ ）である．このロボットは，802.11b

距離を測定する方法として，超音波を用いる研究が多に対応した無線 LAN カードを搭載しており，アドホック

い [18][19]．音波を用いた位置の推定は，三次元空間で行

モードを用いた通信をすることができる．また，ロボット

うため厳密には三点用いる必要がある [20]．また，マイク

自ら移動することができるため，移動型の通信端末としに指向特性を持つコンデンサマイクを用い音源を定位すても期待できる2 ．

る方法もある [21]．ただし，この方法は，四つのマイクをネットワークのトポロジーが常に変化するアドホック

配置したタワーを二組用いるため，マイクの数が決まってネットワークでは，安定なネットワークである有線で用いいるロボットへの適用は難しい．

る経路設定は，そのまま適用することは難しい．アドホッ

本研究では，四足歩行ロボットに実装することを目的

クネットワークで用いられる経路設定の方法は，大きくとするため，できる限り計算量を抑える必要がある．そこ

分けて二種類ある．

で，単純に，一方の端末が音を出し，もう一方の端末で音ネットワークの状況を常に把握し，常時ルーティング

を受信し，その受信強度から距離が測定できないか検討

テーブルを更新することで，経路設定を可能とする方する．

法を，プロアクティブ型と呼ぶ．この方法では，常に状

この時，解析が単純な音として，単一の周波数成分を況を把握するために，トラヒックが増加する危険性があ持つ音を送信し，受信側ではフーリエ変換することで，周る．また，経路設定を行うときにだけ，ネットワークの波数成分を抜き出し，フーリエ係数から音の強さを測定

状況を調べる方法を，リアクティブ型と呼ぶ．この方法することを考える．ただし，単一の周波数成分を持つ波

では，通信要求が生じてから，ネットワークを調べるた
め，通信を行うまでの待ち時間が生じる．代表例として，
前者の方式は，OLSR(Optimized Link State Routing)[8]の場合，振幅は距離に対してサイン波を描くため，距離に対して単調減少にならない．直接波のみを検討する場
合，振動しない「節」と呼ばれる点が生じる．そこで，本や TBRPF(Topology dissemination Based on Reverse-

研究では，受信強度が距離に対して単調減少となるよう，

Path Forwarding)[9] があり，後者の方式は，AODV(Adhoc On-demand Distance Vector)[10] や DSR(Dynamic
Source Routing)[11] が挙げられる．本研究においては，

以下の二つの方法を検討し，効果を確かめる．
まず，ステレオマイクを搭載していることから，音源と経路設定は既存の方式を用い，特に問題としないため，いそれら二つのマイクとの距離に差が生じることを見越し，ずれの方式にも適用できる3 ．

二つのマイクの受信強度の平均を用いる方法を提案する．
次に，節となる場所は，周波数に依存するため，複数の周

1 アイボはソニーの登録商標．

2 残念ながら，2006 年 3 月をもって生産中止となった．

波数の音を用いることで，節の効果を除去し，距離を推3 ただし，人間の可聴域の音波を用いる以上，ネットワークの状況を定する方法を提案する．これらの効果を，実験にて確認

常に調べるプロアクティブ型は，人間に対して適していないと考えられ
る．

する．

30

3

四足歩行ロボット実験に入る前に，本節では，四足歩行ロボットの仕様について説明し，用いる対象環境を定義する．
本研究では，ソニーの四足歩行ロボットであるアイボを用いる．アイボには数種類の製品があるが，その中でも，ERS-7 と呼ばれるタイプを用いる．
ERS-7 には，IEEE802.11b に対応した無線 LAN カー
ドが搭載されており，アクセスポイントを介して通信する
インフラストラクチャモードと，直接端末同士で通信する
アドホックモードに対応している．一般に IEEE802.11b
は，11Mbps を使う場合，通信距離は見通し距離で 40mと言われている．また，壁約二枚を超えると通信が確立で

Figure 1: a 4-legged robot.

きなくなる．本研究では，広い空間での使用として，30m
程度の距離を仮定する．また，狭い空間での使用として，

㩿㪈㪀

ロボカップ四足リーグ [23][24] のフィールドを仮定する．

㩿㪈㪀㪪㪥㪶㪋㪇㪇㪇㩿㪉㪀㪪㪨㪶㪋㪇㪇㪇㩿㪊㪀㪪㪮㪶㪋㪇㪇㪇㩿㪋㪀㪫㪩㪶㪋㪇㪇㪇ାภᒝᐲ

四足リーグのフィールドは，2006 年は 6m × 4m である
ため，フィールド上の最長である対角線約 7m を最大距離と仮定する．

㪌㪇㪇

マイクは，頭の耳に当たる位置に設置されており，右

㩿㪉㪀

㩿㪊㪀

耳，左耳に対応してステレオで音を拾うことができる．プ㩿㪋㪀

ログラミングは，OPEN-R[22] を用いた C++言語を使う．

㪇㪊㪌㪇㪇

この場合，16ms 単位で，サンプリングレート 16kHz，サンプルサイズ 16 ビット，ステレオの PCM データ形式で

㪊㪎㪇㪇

㪊㪐㪇㪇
㪋㪈㪇㪇
๟ᵄᢙ

㪋㪊㪇㪇

㪋㪌㪇㪇

Figure 2: a frequency analyze at 440Hz(distance = 1m).

音を獲得できる．ここでは，32ms 分データを蓄え，512
個のサンプリング点を解析に用いた．
スピーカは，お腹の部分に存在するが，基本的に足を原点とし，先端と先端の距離を実測値とした．まず，1m使って立っている姿勢では，前方を向くようになっている．

の距離に二台のロボットを置き，周波数 4kHz において複再生する PCM データは，サンプリングレートが 8kHz，サ数の波形を再生し，受信音波のスペクトルを調べた．サイ

ンプルサイズが 8 ビットのモノラルである．

ン波 (SN4000)，ノコギリ波 (SW400)，方形波 (SQ4000)，

移動に関しては，モータを直接制御して移動する方法

そして三角波 (TR4000) を用いた．結果は，図 2 である．

や，モーションデータを用いて移動する方法がある．ここ対象となる 4kHz 前後を表示している．受信した信号の強では，本研究の本質ではないため，移動方法は限定しな度は，サイン波が一番高く，方形波が半分ほどであり，ノい．ただし，移動に伴う雑音が生じるため，できる限り雑コギリ波と三角波がほぼ同じ結果となった．同様の実験

音の生じない移動方法が望まれる．

を 440Hz でも行い，サイン波が受信しやすいことを確認したため，本研究ではサイン波を用いることにする．

4

実験

4.1

まず，再生する音の種類について予備実験を行い，再生す

複数マイクの受信強度の平均方法

次に，二つのマイクの受信強度の平均により，節を除去す

る音の波形を決定する．次に，二つのマイクの受信強度のる方法を実験する．この場合，二つのマイク間の距離が，平均により，節を除去する方法を実験する．そして，複数波長の半分ほどであれば，平均することで節の影響を除の周波数を用いることで，節の影響を軽減する方法を実験する．実験方法は，二体のアイボを向かい合わせに置き，一体から音を再生し，もう一体で受信し，信号強度を測定

去することが期待できる．しかし，サンプリング周波数の関係上，8kHz が上限である．また，再生側の性能を考え，余裕を見てさらに半分の周波数である 4kHz を用いる．音し，十回平均を音圧として記録した．再生側の音の強さ

速を 320m/s とすると，波長は約 8cm となる．ロボット

は，推奨される最大値である-10dB を用いた4 ．いずれののマイク間の距離は，約 12cm である．結果は，図 3 でロボットも，図 1 の体勢で行う．この台車の先端を距離のある．

4 ハードウエアとしての最大値は，0dB である．しかし，0dB で音

残念ながら，節の影響を除去し切れていない．左右のを鳴らし続けると出力アンプ IC の発熱でハードウエアが損傷する恐れがある [25]

信号強度の平均値は，左右単体の信号強度より，単調減少

31

㪉㪇㪇㪇

ାภᒝᐲ

ାภᒝᐲ

㪊㪇㪇

㪣㪼㪽㫋㩷㪘㫍㪼
㪩㫀㪾㪿㫋㩷㪘㫍㪼
㪸㪾㪼

㪈㪇㪇㪇

㪉㪇㪇

㪉㪌㪇㪅㪇㪇㩿㪟㫑㪀㪉㪏㪈㪅㪍㪌㩿㪟㫑㪀

㪈㪇㪇

㪇

㪇
㪇

㪈㪇

㪉㪇

㪊㪇

㪇

〒㔌㩿㫄㪀

㪈㪇

㪉㪇

Figure 3: a power signal at 4000Hz.

Figure 4: a power signal at 250.00Hz and 281.25Hz.

に近づいているため，距離と再生周波数を適切にすれば，㪇㫄㪊㪇㪇㪉㪏㪈㪅㪍㪌㪟㫑䈱ାภᒝᐲ

左右単体よりは，有効性がありそうと考えられる．これに関しては，今後の課題とする．

4.2

㪊㪇

〒㔌㩿㫄㪀

複数の周波数による距離の推定

次に，複数の周波数を用いることで，節の影響を軽減する
方法を実験する．獲得した音データは，サンプリングレー
ト 16kHz の 512 個のデータであるため，フーリエ変換する

㪉㪇㪇

㪉㫄
㪎㫄

㪈㪇㪇

㪍㫄

㪋㫄
㪌㫄

㪇

と 31.25Hz 毎の解析結果が得られる．そこで，8 番目の周㪈㫄㪊㫄㪈㪇㫄㪃㪏㫄

㪇

波数である 250.00Hz と，9 番目の周波数である 281.25Hz

㪌㪇

㪐㫄

㪈㪇㪇
㪉㪌㪇㪅㪇㪇㪟㫑䈱ାภᒝᐲ

㪈㪌㪇

㪉㪇㪇

Figure 5: a distance information from 250.00Hz and281.25Hz.

を用い，測定を行った．結果は，図 4 である．
それぞれの節がずれていることが確認できる．250.00Hzの場合は，波長が 1.28m であり，281.25Hz の場合は，1.14m である．両方の波長が理論的に重なるのは，11.24m

距離を推定するのは困難であることがわかった．ただし，である．これら二つの周波数の信号強度を組にして，距離ロボットを向かい合わせて配置しているため，左右のマイを推定するためには，その組から距離が一意に決まる必クと音源間の距離には，あまり差がみられない状況であ要がある．それを確認するために，それぞれの信号強度をる．この差を大きくするためには，使用する音の周波数を軸とした二次元空間において，距離を描いた（図 5）．6m

高める必要がある．今回は，高周波数は 4000Hz に固定しまでは重ならずに二次元平面をたどることができるため，ているため，周波数への依存度は知ることができない．今6m までの距離の推定が可能であると考えられる．よって，後の課題として，より適切な周波数を求める必要がある．

狭い空間に対する距離の測定は十分可能である．また，二複数の周波数を用いた節の除去は，6m ぐらいの狭い空次元にすることで，6m までの重ならない軌跡を確保する間においては，有効に距離を推定できることがわかった．

ことができたが，異なる周波数をもう一つ追加し三次元にただし本実験は，二台のロボットの向きは固定しているすることで，さらに重ならない軌跡の確保が期待できる．

ため，角度が異なる場合を検討する必要がある．また，用広い空間における確認は，今後の課題である．

いる周波数の種類を増やすことで，より有効性を高められることがわかった．

5

おわりに

今後は，雑音の影響を付加した環境において実験を行い，同様に有効性を示す必要がある．

アドホックネットワークにおける端末間の距離の測定方法として，通常は無線の電波受信強度を用いるが，ここでは音波の信号強度を用いて推定する方法を提案した．端

参考文献

末としてソニーの四足歩行ロボットであるアイボを用い，[1] 村松 潤哉，牧戸 知史，鈴木 徳祥: 車々間通信環境でサイン波の受信感度が十分であることを確認し，低周波の電波伝搬特性に遮蔽車両が与える影響の解析, 信側として 250.00Hz と 281.25Hz，そして高周波側として学技法, AP2005-132, pp.13–16, 2005.

4000Hz を用いて実験を行った．
ステレオマイクを用いた節の除去は，高周波においても[2] 屋代 智之，Thomas F.La Porta: Nomadic Agent節の影響が現れ，距離に対して単調減少とならないため，

System: インフラに依存しない位置情報サービス提32

供システム, 情報処理学会論文誌, Vol.46, No.12,
pp.2952–2962, 2005.

[13] 滝沢 泰久，デイビス ピーター，岩井 誠人，川合 誠，
小花 貞夫: 無線アドホックネットワークによる自律的端末位置推定方式とその特性, 情報処理学会論文[3] 杉山 久佳，辻岡 哲夫，村田 正: ネットワーク化さ誌, Vol.46, No.12, pp.2903–2914, 2005.

れた群ロボットによる被災害者発見システム, 情報処[14] シルビア ニッテル，グァン ジン，白石 陽: センサネッ

理学会論文誌, vol. 46, No.7, pp. 1777–1788, 2005.

トワークにおけるネットワーク内空間推定, 電子情[4] 岡本 昌紘，杉山 久佳，辻岡 哲夫，村田 正: 災害救報通信学会論文誌, Vol.J88-A, No.12, pp.1413-1421,

助を目的とした低電力消費型群ロボットネットワー

2005.

クシステム, 信学技報, vol. 105, No. 280, CS2005-21,[15] 菊池 祥平，辻 宏之，三浦 龍，佐野 昭: マルチパス
環境における周辺散乱モデルに基づく無線局の位置

pp. 31–36, 2005.
[5] Martijn N.Rooker and Andreas Birk: Combining
Exploration and Ad-Hoc Networking in Robocup

特定法, 電子情報通信学会論文誌, Vol.J87-B, No.12,

pp.2020-2028, 2004.

Rescue, Robocup 2005: Robot Soccer World Cup
VIII, Springer, LNAI 3276, pp. 236–242, 2005.

[16] 筒井 稔，小長谷 重雄，香川 忠興: 周波数分散特性を持ったパルス電磁波の到来方位測定法, 電子情報

[6] 板谷 聡子，長谷川 淳，長谷川 晃朗，デイビス ピー
ター，門脇 直人，小花 貞夫: 不安定な無線環境にお通信学会論文誌，Vol.J89-B, No.1, pp.1-9, 2006.

[17] R.O.Schmidt: Multiple Emitter Location and Sig-

ける大規模アドホックネットワークの安定化, 情報処

nal Parameter Estimation, IEEE Trans. on Antennas and Propagation, Vol. AP-34, No.3, pp. 276–

理学会論文誌, Vol.46, No.12, pp.2848–2856, 2005.

[7] 小野 良司，撫中 達司，渡辺 尚: アドホックルーチ

280, 1986.

ングプロトコルの制御メッセージによる無線 LAN リ[18] 青島 伸一，吉澤 信幸，薮田 哲郎，羽成 賢一: 超音波センサの距離と感度情報を用いたニューラル型対ンクスループットへの影響の分析, 電子情報通信学会論文誌, Vol.J88-A, No.12, pp.1422–1431, 2005.

象物判別システム, 計測自動制御学会論文集, Vol.38,[8] T.Clausen and P.Jacquet: Optimized link staterouting protocol(OLST), Internet Engineering Task

No.1, pp.111-113, 2002.
[19] 南 正輝，森川 博之，青山 友紀: 超音波を用いた自律Force(IETF), Internet-Draft: draft-ietf-manet-olsr11.txt (July, 2003).

分散型位置検出システムの設計と実装, 電子情報通信学会論文誌, Vol.J88-A, No.12, pp.1432-1441, 2005.

[9] R.Ogier,M.Lewis,and F.Templin,

Topol[20] 佐々木 公男，平田 克己: 3 点検出による近方場定常

ogy dissemination based on reverse-path forwarding(TBRPF),
Internet Engineering Task
Force(IETF),

Internet-Draft:

不規則音源の 3 次元位置推定, 計測自動制御学会論文集, Vol.34, No.10, pp.1392–1337, 1998.

draft-ietf-manet-

tbrpf-11.txt (Oct, 2003).

[21] 岡田 徳次，高橋 真之，佐藤 秀幸: マイクロホン感度の単一指向性を利用する簡易型 3 次元音源定位, 計測[10] C.Perkins, E.Belding-Royer, and S.Das, Ad hoc
on-demand distance vector(AODV) routing, Inter-

自動制御学会論文集, Vol.39, No.5, pp.441-448, 2003.

net Engineering Task Force(IETF), Internet-Draft:
draft-ietf-manet-aodv-13.txt (July, 2004).

[22] http://openr.aibo.com/[23] http://www.robocup2006.org[11] D.B.Johnson,

D.A.Maltz,

Y.Hu,

The dy-/sixcms/detail.php?id=56&lang=en

namic source routing protocol for mobile ad
hoc networks(DSR), Internet Engineering Task

[24] http://www.tzi.de/4legged/bin/view/Website/WebHome

Force(IETF), Internet-Draft: draft-ietf-manet-dsr10.txt (July, 2004).

[25] OPEN-R プログラミング SIG 著，ソニー株式会社エンタテインメントロボットカンパニー監修: C++で
AIBO を自在に動かす – OPEN-R プログラミング入[12] 杉山 久佳，辻岡 哲夫，村田 正: アドホックネット
ワークと自律的パス修復を用いた被災者発見システ
ムによる広域探索, 計測自動制御学会論文集, vol. 41,

門 –, 株式会社インプレス, 2002.

No.2, pp. 183–185, 2005.

33

社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会研究会資料
JSAI Technical Report
SIG-Challenge-0623-7 (5/4)

マルチ全方位ビジョンシステムによる物体認識および自己位置同定手法
Object Recognition and Self-Localization Method
Used Multiple Omnidirectional Vision System

井戸大介，前田陽一郎
Daisuke IDOU, Yoichiro MAEDA

福井大学大学院
Graduate School of Engineering, University of Fukui{didou, maeda}@ir.his.fukui-u.ac.jp
Abstract
We have already developed Multiple Omnidirectional VIsion System (MOVIS) with threeomnidirectional cameras and its calculation
method for the measurement of the object position and the self-localization in an autonomous
mobile robot. In this research, we propose
the eﬃcient recognition method for multiple objects and high-precision self-localization
method in an autonomous mobile robot with
MOVIS. In this paper, we also report some experimental results to conﬁrm the eﬃciency ofour proposed method by using a RoboCup soccer robot.

1

はじめに

る全周囲の情報を用いた研究が数多く行われている[1]。しかし、一般に単眼で全方位カメラを用いた場合、計測対象物の高さが既知でない限り正確な距離を測定することは不可能である。また、2 台の全方位カメラを垂直に用いた距離計測方法もいくつか提案されているが、これらの方法ではミラー上で圧縮率の異なった情報を基にステレオ計測を行っているため、高精度に距離を計測することは困難である[2, 3, 4]。これに対し本研究室では 3 台の全方位カメラ
を用いたマルチ全方位ビジョンシステム MOVIS(Multiple
Omnidirectional VIsion System) を提案している[5, 6, 7,8]。本システムでは 360 度全周にわたり、計測物体の距離と方位を比較的精度良く取得することが可能となる。本論
文では、まず MOVIS の基本的なシステム構成について説明する。次に、MOVIS における効率的な異形状物体 (サッカーゴール、コーナーポール等) の認識手法について提案する。さらに、MOVIS の高精度な距離計測を生かした自己位置同定手法について提案する。ここでは RoboCup 中

近年、複雑な環境下において適応的に行動する自律移動型ロボットリーグ規格のサッカーロボット (Figure 1 参照)

ロボットに関する研究が盛んに行われている。しかし、自を用いて計測を行った。また、提案した手法の有効性検証

律移動ロボットが複雑な環境情報を獲得し、人間のよう実験を行ったので、その実験結果についても報告する。

に柔軟で適応性のある行動を取ることは容易ではない。

RoboCup 中型ロボットリーグのような複数の自律移動ロボットが存在する環境下においては、全方位カメラによ

/

ࠛ࡝ࠕ㧭

/

ࠛ࡝ࠕ㧮

ࠛ࡝ࠕ㧯

/
Figure 1: MOVIS を搭載したサッカーロボット

Figure 2: MOVIS の概観

342

MOVIS の基本構成

2.1

MOVIS の原理

yCartesian
Coordinates

Polar
Coordinatesyr

筆者らの研究室では、マルチ全方位ビジョンシステム MO-x

VIS をすでに提案している。ここでは、MOVIS の概要について述べる。

ǰx

MOVIS において、全方位カメラは 3 台使用し (Figure
2 参照)、それぞれ M1 、M2 、M3 とする。本システムは
Figure 3 に示すように、移動ロボット上に床面と水平に正三角形状に配置する。この時、ロボットの重心と 3 つのCamera Image

全方位ビジョンが作る正三角形の重心は垂直方向に対し

Figure 4: 画像の極座標表現

同一点に存在するようにする。正三角形の重心より各頂点を延長した境界線により、各 2 台のカメラの画像取得範囲を 120 度ずつ 3 等分した領域に分割し、各領域をそれぞれ 2 台のカメラ対 (Figure 3 の場合、M1 と M2 、M2 と

3

MOVIS による物体認識手法

M3 、M3 と M1 ) を用いてステレオ視による三角測量を行

MOVIS において距離計測は原則的に各カメラの物体への角度 θn のみに基づき行われる。全方位ビジョンは下向きなう。

に置かれた双曲面ミラーと上向きにカメラが設置された装置であり、実際の距離計測に必要な情報は双曲面ミラー

2.2

ロボット座標系における物体位置計測

上にのみ存在する事になる。移動ロボットによる物体認識

Figure 3 において位置計測は計測物体 A(xa , ya ) を全方位において高性能な画像処理装置の搭載は困難なため、本ビジョン M1 、M2 を用いて三角測量を行い、物体位置を研究では MOVIS と全方位ビジョンの特長を生かした効

ロボット重心を中心とした座標系で求める。x 軸に水平に率的な物体認識手法について提案する。

ある M1 M2 に対し、M1 における物体 A の傾きは θ1 − π6 、M2 における物体 A の傾きは θ2 − 5π
6 であり、ロボットのの座標 (x, y) を双曲面ミラーの中心 O(Ox, Oy) を中心と重心からビジョンまでの距離を L とする。ビジョン M1 、

まず全方位カメラにおいて、Figure 4 のように画像上する以下のような極座標系 (θ, r) で表現する。

M2 の中心座標は既知であるため、ロボット座標系における物体 A の位置 (xa , ya ) は、(1)、(2) 式で求められる。
√
xatan(θ2 − 5π
) + tan(θ1 − π6 )36L·
2tan(θ2 − 5π
) − tan(θ1 − π6 )
6

=

(1)

x = cos(θ) · r(3)y = sin(θ) · r(4)θ に対して r 方向に注目している色塊 (RoboCup 中型
ロボットリーグの場合、黄色、青色、緑色) のピクセル数

ya

=

√
tan(θ2 − 5π
) · tan(θ1 − π6 )1
6
L + 3L ·2tan(θ2 − 5π
) − tan(θ1 − π6 )6(2)をカウントすることにより、Figure 5 のような簡易的な全周の展開画像 (ヒストグラム) が得られる。

green
blue
yellow

70
60

50

40

40

pixel

A (x a,ya)

30

30

20

20

10

10

0

0
1

ǰ1
M1

101

ǰ2
60 q

L

L
O G

201

301
theta

401

501

1

カメラ M 1

M2

101

201

301
theta

401

501

カメラ M 2green
blueyellow

70
60

x

60

50

pixel

y

green
blue
yellow

70

50

pixel

40

L

30
20
10
0
1

M3

101

201

301
theta

401

501

カメラ M 3Figure 3: ロボット座標系における物体位置計測

Figure 5: 各カメラにおけるヒストグラム

35

このヒストグラムにおける色塊の重心位置より、直接各カメラの物体への θn が得られる。MOVIS はこの θn の

Yr = F d − d · cos π − θ + arcsin

みで物体の距離と方位を正確に計測できるので、複雑な

sin θ · d
2F d



(9)

画像処理等を省く事ができ、高速に全周の状況を把握す手法 3 において、自己位置 R(Xr, Y r) は (10)〜(12) 式

る事ができる (Figure 6 参照)。

で計算できる。

4

MOVIS による自己位置同定手法

4.1

自己位置同定の原理

RoboCup 中型ロボットリーグにおいて自己位置同定は重要な課題である。自己位置同定手法は過去に多くの提案がXr = +

 2

xp1 + yp21 < x2p2 + yp22



(10)

Xr = −



 2



(11)

なされているが実用的なものはほとんど存在しない。ロボットの置かれている様々な状況によって最適な自己位置

rp2 − (Yr − Ycp )2rp2 − (Yr − Ycp )2

Yr =

同定手法は一般的に変化する。そこで、MOVIS の正確な

xp1 + yp21 > x2p2 + yp2222
) − (rq2 − Ycp)(rp2 − Ycp
2 · (Ycq − Ycp )(12)

距離計測を生かして、現在のロボットの置かれている状
自己位置同定実験

況から適応的に手法を使い分ける自己位置同定手法を提4.2案する。本手法では黄色と青色のゴールの両端エッジお提案手法の有効性を示すため実証実験を行った。フィール

よび中心位置をランドマークとして使用した。

ドの任意の座標にロボットを置き、一定速度で回転しな

本研究で自己位置同定手法は以下のものを用い、二つのランドマークの選択も動的に行う。

がら 100 回計測を行った。実験条件は Table 1 のとおりである。

1. 二つのランドマークの絶対座標と相対座標を用いた
同次変換による手法 [手法 1](Figure 7 参照)

Table 1: 実験条件
400cm × 350cm
約 50cm × 50cm
DELL LATTITUDE
celeron 1.5GHz
128MB
320 × 240
30fps

フィールドサイズ
ロボットサイズ
本体
搭載パソコン
CPU
メモリ
解像度
カメラ
フレームレート

2. 二つのランドマークの相対角度とどちらか一方への相対距離を用いた手法 [手法 2](Figure 7 参照)
3. 二つのランドマークとロボットが成す三角形の外接円の交点を用いた手法 [手法 3](Figure 7 参照)
手法 1 において、自己位置 R(Xr, Y r) は (5),(6) 式で計算できる。

実験結果を Figure 8〜16 に示す。これらの実験結果よXr = sin βyp − cos βxp(5)り、かなり高い精度で自己位置が同定できている事を確認

Yr = F d − sin βxp − cos βyp(6)の方向へ同定位置がずれていることが分かる。この原因した。しかし Figure 8〜10 において、一様に黄色ゴール
として、青色ゴールの計測に誤差が生じている (具体的に

β = arctan

xp − xq
yp − yq(7)

Y

P(XP,YP)

Fw

P1(XP1,YP1)

手法 2 において、自己位置 R(Xr, Y r) は (8),(9) 式で計P2(XP2,YP2)dǰP

Pc(XPc,YPc)

算できる。

A





Xr = d · sin π − θ + arcsinsin θ · d
2F d



R(XR,YR)(8)ǰ B dP

C

E

F

Fd

ここで、

Ǫ
D

Qc(XQc,YQc)
G

Q1(XQ1,YQ1)

ǰQ

dQ
H

I

Q2(XQ2,YQ2)
Q(XQ,YQ)

Figure 6: MOVIS による物体認識の様子

Figure 7: 自己位置同定手法

36

X

は青色ゴールを実際よりも遠く認識している) ことが考え[7] 清水平 渉, 前田 陽一郎: “マルチ全方位ビジョン MO-られる。これは YUV 表色系において青色を抽出するための閾値範囲の調整が困難であるため青色ゴールの認識に

VIS を搭載したサッカーロボットの階層型ファジィ
行動制御,” 第 22 回日本ロボット学会学術講演会予稿

支障が出ていると考えられる。MOVIS の性質上、各カメ

集, CD-ROM, 2F16 (2004)

ラにおける対象物体への角度 θn を精度よく計測しなければならないが、青色ゴールの θn の精度が悪くなり結果として自己位置同定に誤差が生じてしまったものと考えら[8] 井戸大介, 清水平渉, 前田陽一郎: “MOVIS を搭載
した自律移動ロボットによる物体位置計測および誤差補正手法,” 第 23 回日本ロボット学会学術講演会,

れる。

5

おわりに

CD-ROM, 1B15 (2005)

本論文ではマルチ全方位ビジョンシステム (MOVIS) によ[9] 津崎 亮一, 吉田 和夫: “ファジィポテンシャル法に基づく全方位視覚を用いた自律移動ロボットの行動制

る物体認識手法および自己位置同定手法について提案し御,” 日本ロボット学会誌, Vol.21, No.6, pp.656-662

た。さらに検証実験により、提案手法の有効性が検証で(2003)きた。
しかしながら、場所によっては誤差が生じることも分[10] Y.Takahashi, K.Hikita, and M.Asada: “Incremental Purposive Behavior Acquisition based on SelfInterpretation of Instructions by Coach,” Proceed-

かったためより複雑な実験環境でも高精度な自己位置同定ができるよう、MOVIS の更なる改良が必要とされる。

ings of the 2003 IEEE/RSJ International Conference on Intelligent Robots and Systems, pp.686-693

今後の課題として MOVIS によるコーナーポールの選択的認識、類似複数物体 (敵、味方ロボット) の認識および(2003)

位置計測などが考えられる。

参考文献[11] 中村 恭之, 高橋 泰岳編著: 中型ロボットの基礎技術,
共立出版 (2005)[1] 知原 伸悟, 川端 邦明, 浅間 一, 三島 健稔: “全方位視覚センサによる移動ロボットの自己位置推定,” 第 20300

回日本ロボット学会学術講演予稿集, CD-ROM, 3A25

(2002)

200[2] J.Gluckman, K.Nayar and J.Thoresz: “Real-Time
100

0

Y

Omnidirectional and Panoramic Stereo,” Proc. of
Image Understanding Workshop, Vol.1, pp.299-303(1998)-100[3] 子安 大士, 三浦 純, 白井 良明: “実時間全方位ステレ
オを用いたロボットナビゲーションのための移動物-200

体認識,” 2001 年ロボティクス・メカトロニクス講演
会予稿集, CD-ROM (2001)

-300
-200

-100

0

100

200

X

[4] T.Matsuoka, M.Araoka, T.Hasegawa and et. al:“Localization and Obstacle Detection Using Omni-(a) 同定位置

directional Vertical Stereo Vision,” RoboCup 2001,
LNAI2377, pp.429-434 (2002)

delta X
delta Y100

delta X , delta Y

50[5] W.Shimizuhira and Y.Maeda: “Self-Localization
Method Used Multiple Omnidirectional Vision System,” SICE Annual Conference 2003, CD-ROM,

0

-50

-100
-180

pp.2796-2799 (2003)

-120

-60

0
theta

60

120

180

(b) 位置誤差[6] 清水平 渉, 前田 陽一郎: “マルチ全方位ビジョン MOVIS を用いた物体位置計測および自己位置同定手法,”
第 21 回日本ロボット学会学術講演会予稿集, CD-

Figure 8: 自己位置同定結果 (-100cm,100cm)

ROM, 3K1A (2003)

37

200

200

100

100

0

0

Y

300

Y

300

-100

-100

-200

-200

-300
-200

-100

0

100

-300
-200

200

-100

X

(a) 同定位置

100200(a) 同定位置
delta X
delta Y100

delta X
delta Y

100

50

delta X , delta Y

50

delta X , delta Y

0
X

0

-50

0

-50

-100
-180

-120

-60

0
theta

60

120

-100
-180

180

-120

-60

0
theta

60

120

180

(b) 位置誤差(b) 位置誤差

Figure 9: 自己位置同定結果 (0cm,100cm)

Figure 11: 自己位置同定結果 (-100cm,0cm)

200

200

100

100

0

0

Y

300

Y

300

-100

-100

-200

-200

-300
-200

-100

0

100

-300
-200

200

-100

X

(a) 同定位置
delta X
delta Y200

delta X
delta Y

100

50

delta X , delta Y

50

delta X , delta Y

100(a) 同定位置

100

0

-50

-100
-180

0
X

0

-50

-120

-60

0
theta

60

120

-100
-180

180

-120

-60

0
theta

60

120

180

(b) 位置誤差(b) 位置誤差

Figure 10: 自己位置同定結果 (100cm,100cm)

Figure 12: 自己位置同定結果 (0cm,0cm)

38

200

200

100

100

0

0

Y

300

Y

300

-100

-100

-200

-200

-300
-200

-100

0

100

-300
-200

200

-100

X

(a) 同定位置

100200(a) 同定位置
delta X
delta Y100

delta X
delta Y

100

50

delta X , delta Y

50

delta X , delta Y

0
X

0

-50

0

-50

-100
-180

-120

-60

0
theta

60

120

-100
-180

180

-120

-60

0
theta

60

120

180

(b) 位置誤差(b) 位置誤差

Figure 13: 自己位置同定結果 (100cm,0cm)

Figure 15: 自己位置同定結果 (0cm,-100cm)

200

200

100

100

0

0

Y

300

Y

300

-100

-100

-200

-200

-300
-200

-100

0

100

-300
-200

200

-100

X

(a) 同定位置
delta X
delta Y200

delta X
delta Y

100

50

delta X , delta Y

50

delta X , delta Y

100(a) 同定位置

100

0

-50

-100
-180

0
X

0

-50

-120

-60

0
theta

60

120

-100
-180

180

-120

-60

0
theta

60

120

180

(b) 位置誤差(b) 位置誤差

Figure 14: 自己位置同定結果 (-100cm,-100cm)

Figure 16: 自己位置同定結果 (100cm,-100cm)

39

社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会研究会資料
JSAI Technical Report
SIG-Challenge-0623-8 (5/4)

Inferring other’s intention based on estimated state value of self
Yasutake Takahashi, Teruyasu Kawamata, Tom Tamura, and Minoru Asada
Dept. of Adaptive Machine Systems,
Graduate School of Engineering, Osaka University
Handai FRC
Yamadaoka 2-1, Suita, Osaka, 565-0871, Japan{yasutake, kawamata, tamura, asada}@er.ams.eng.osaka-u.ac.jp

Abstractwith a simple behavior learning module with limited capability. Most existing approaches assume the detailed
knowledge of the task, the environment, and the others(their body structure and sensor/actuator configuration)
based on which they can transform the observed sensory
data of the others’ behaviors into the Cartesian coordinate system of the environment or the joint space of theothers to infer their intentions. However, such an assumption seems unrealistic in the real world and brittle
to the sensor/actuator noise(s) or any possible changes
in the parameters. In other words, it is very difficult
to infer others’ intentions based only on these geometricparameters.
On the other hand, another approach that estimates
behavior of others through observer’s viewpoint without any coordination conversion has been proposed, too.
Ledezma et al. [3] proposed to make a classifier to label
other agent’s behavior based on observation and use thisclassifier to label the behavior. Their method, however,needs a full teaching data of a set of labels and sequenceobservation in order to model the other agent actions
and cannot handle the change the sequence of the otheragent’s actions even if it does the same task. Takahashi
et al. [5] presented an approach that constructs a set ofstate transition models for the opponent behaviors froma viewpoint of observer and selects an appropriate behavior for observer according to a current situation in which
one of the models matches. The observer can choose one
model according to the other agent’s behavior, however,it cannot infer the intention of the other agent.
Recently, reinforcement learning has been studied wellfor motor skill learning and robot behavior acquisition.
It generates not only an appropriate policy (map fromstates to actions) to achieve a given task but also an
estimated discounted sum of reward value that will bereceived in future while the robot is taking the optimal
policy. We call this estimated discounted sum of reward“state value.” This state value roughly indicates closeness to a goal state of the given task, that is, if the agent
is getting closer to the goal, the state value becomes
higher. This suggests that the observer may understandwhich goal the agent likes to achieve if the state value of

Recognition of other agent intention in a multiagent environment is a very important issue
to realize social activities, for example, imitation learning, understanding intention, cooperative/competitive behavior, and so on. Conventional approaches to infer the other agent
intention need a precise trajectory in Cartesian or joint space that is sometimes hard tomeasure from the viewpoint of an observer. It
is also difficult to estimate a same intention
but with different realizations because they try
to match just a certain trajectory during thetrial. We propose a novel method of inference of other agent’s intention based on statevalue estimation. The method does not needa precise world model or coordination transformation system to deal with view dependency.
This paper shows an observer can infer an intention of other not by precise object trajectoryin Cartesian space but by estimated state valuetransition during the observed behavior.

1

Introduction

Inference of others’ intentions what they like to do is oneof the most formidable issues in multi-agent systems inwhich actions appropriate for the others’ intentions areneeded to accomplish the cooperative tasks. For example Schaal et al. [4] proposed a motor learning method
through imitation of teacher’s behaviors. They assume
that a learner can observe all state variables and theirtrajectories in Cartesian coordinate system of the environment or the joint space of the others and the learner
imitates manipulative tasks or gestures. Doya et al. [2]proposed to estimate intention of other agent for imitation learning and/or cooperative behavior acquisition
based on multi-module learning system. Takahashi et al.
[6] proposed a method that interprets instruction given
by a coach and divides the given complicated task to anumber of simple sub-tasks each of which can be learned40the corresponding task is going higher.
The relationship between an agent and objects suchthat the agent gets close to the object or the agent faces
to a direction is much easier to understand from theobservation, and therefore such qualitative information
should be utilized to infer what the observed agent likes
to do. The information might be far from precise ones,
however, it keeps topological information and we canacquire good estimation of temporal difference of statevalue with this method.
Then, we propose a novel method to apply the above
idea to infer the others’ intentions supposing that the observer has already estimated the state values of all kindsof tasks the observed agent can do. The method does notneed a precise world model or an accurate coordinationtransformation system to cope with the problem of view
dependency. We apply the method to a simple RoboCup
situation where the agent has kinds of tasks such as navigation, shooting a ball into a goal, passing a ball to ateammate, and so on, and the observer judges which task
the agent is now achieving from the observation with estimated state values. The preliminary experiments areshown and future issues are discussed.

2

Figure 2: Sketch of state value propagation

Figure 3: Sketch of a state value function

execution of policy π, will be calculated as follows:
V (s) =

Intention Inference by State Value
Estimation

γ t rt .

(1)

t=0

Figs.2 and 3 show sketches of a state value function
where a robot receives a positive reward when it stays ata specified goal while zero reward else. The state value
will be highest at the state where the agent receives areward and discounted value is propagated to the neighbors states (Fig.2). As a result, the state value function
seems to be a mountain as shown in Fig.3. The statevalue becomes bigger and bigger if the agent follows thepolicy π.

In this section, a rough description of state value function and behavior inference is described. We assume thatthe observer has already acquired a number of behaviors
based on a reinforcement learning method. Each behavior module can estimate state value at arbitrary time
t to accomplish the specified task. Then, the observer
watches the performer’s behavior and maps the sensory
information from an observer viewpoint to the agent’s
one with a mapping of state variables. The behavior
modules estimate the state value of the observed behavior and the system selects ones that matches estimationof state value.
2.1

inf
X

2.2

Basic Idea of Intention Recognition

State Value Function
action atenvironment
st+1 rt+1

Figure 4: Sketch of different behaviors in a grid world
reward rt

agentstate stFig.4 shows an example task of navigation in a gridworld. There is a goal state at the top center of theworld. An agent can move one of the neighbor grids
every one-step. It receives a positive reward only when it
stays at the goal state while zero else. There are various
optimal policies for this task as shown in Fig.4. If one
tries to match the action that the agent took and theone based on a certain policy in order to infer the agent’s
intention, you have to maintain various optimal policies
and evaluate all of them in the worst case.
On the other hand, if the agent follows an optimal
policy, the state value is going up even if the agent takes

Figure 1: A basic model of agent-environment interaction
Fig.1 shows a basic model of reinforcement learning.
An agent can discriminate a set S of distinct worldstates. The world is modeled as a Markov process, making stochastic transitions based on its current state andthe action taken by the agent based on a policy π. The
agent receives reward rt at each step t. State Value V π ,discounted sum of the reward received over time under41

state value function. Gating module selects one output
from a module according to the agent’s intention.
2.4

At intention inference stage, the system uses same behavior modules as shown in Fig.7. While an observer
watches an behavior of a performer, the system estimates the relationship between the agent and objects
such as rough direction and distance of the objects fromthe agent. Then, each behavior module estimates thestate value based on the rough estimated state of theagent and sends it to the selector. The selector watches
the sequence of the state values and selects a set of possible behavior modules of which state values are going up
as the performer is taking the behavior. As mentioned
in 2.1, if the state value goes up during a behavior, itmeans the module seems valid for explaining the executing behavior execution. The goal state/reward modelof this behavior module represents the intention of theagent.
Here we define reliability g that indicates how muchthe intention inference would be reasonable for the observer as follow: g + β if V (st ) − V (st−1 ) > 0 and g < 1
if V (st ) − V (st−1 ) = 0
g= g
g − β if V (st ) − V (st−1 ) < 0 and g > 0

Figure 5: Inferring intention by the change of state value

an arbitrary policy from the optimal ones. Fig.5 showsthat the state value becomes larger even if the agent
takes different paths. We can regard that the agent takes
an action based on one policy when the state value isgoing up even if it follows various kind of policies.
This indicates a possibility of robust intention recognition even if they would be several optimal policies forthe current task. An agent tends to acquire various policies depending on the experience during learning. The
observer cannot practically estimate the agent’s experience beforehand, therefore, it needs a robust intention
recognition method provided by the estimation of statevalues.
2.3

Intention Inference under Multiple
Candidates

Modular Learning System

where β is an update parameter, which is 0.1 in thispaper. This equation indicates that the reliability g will
become large if the estimated state value rises up andit will become low when the estimated state value goes
down. We put another condition in order to keep g value
from 0 to 1.

3

Task and Environment

Figure 6: Modular Learning System

Figure 8: Environment
Figure 7: Behavior inference diagram

Figure 9: A real robot

In order to evaluate a number of behaviors simultaneously, we adopt a modular learning system. Jacobs
and Jordan [1] proposed a mixture of experts, in which
a set of the expert modules learn and the gating systemweights the output of each expert module for the final
system output. Fig.6 shows a sketch of such a modular learning system. We prepare a number of behavior
modules each of which acquired a state value function
for one goal-oriented behavior. A learning module has acontroller that calculates an optimal policy based on theFig.8 shows a situation the agents are supposed to encounter. An agent shows a behavior and the observer
estimates the behavior using a set of behavior modules
of its own. Fig.9 shows a mobile robot we have designed
and built. Fig.10 shows the viewer of our simulator forour robots and the environment. The robot has a normal perspective camera in front of its body. It has anomni-directional camera, however, it doesn’t use it, here.
A simple color image processing is applied to detect theball, the interceptor, and the receivers on the image in42ModuleGoToBall
GoToYellow
GoToBlue
ShootYellow
ShootBlue
PassToTeammate1
PassToTeammate2

Table 1: Prepared Modules and their state variables
State variables
ball position y on the image of perspective camera
yellow goal position y on the image of perspective camera
blue goal position y on the image of perspective camera
ball position y, yellow goal position y, and angle between them θ on the imageball position y, blue goal position y, and angle between them θ on the imageball position y, teammate 1 position y, and angle between them θ on the imageball position y, teammate 2 position y, and angle between them θ on the image

Figure 13: A state variable θ when one of the objects isout of sight

We use the distances of the ball, goal, and player fromthe agent and their relative angles between them on theimage of the frontal camera on the robot. Figs.11 and 12
show examples of those state variables. We divide thisstate space into a set of region to obtain state id. The
space of position value is quantized into 6 subspaces andthe space of relative angle between objects into 5 spaces
here. Behavior modules define their policy and statevalue function in this state space.

Figure 10: Viewer of simulator

real-time (every 33ms). The left of Fig.10 shows a situation the agent encounters while the top right images
show the simulated ones of the normal and the bottom
right omni vision systems. The mobile platform is anomni-directional vehicle (any translation and rotationon the plane). Table 1 shows a list of prepared behavior modules and their state variables. The observer haslearned the behaviors and its state value estimator basedon a reinforcement learning method beforehand.
3.1

State Variables and Estimation

Figure 14: Estimated state variables representing distances

Figure 11: State variables representing distances to theobjects
Figure 15: An estimated state variable θ representing
the position relation among objects
When an observer infers an intention of the performer,
it has to estimate its state. Here, we introduce a simple method of state estimation of the performer. Fig.14
shows the estimated distances from the agent and theobjects. Fig.15 shows the estimated angle between theobjects. The observer uses these estimated state for estimation of state value instead of its own state shown in
Figs.11 and 12. These estimated states with this method

Figure 12: A state variable θ representing the positional
relationship between the objects

43are far from precise ones, however, it keeps topologicalinformation and we can acquire good estimation of temporal difference of state value with this method.

4

Experiments

The observer has learned a number of behaviors shown in
Table 1 before it tried to infer the performer’s intention.
We gave the observer many experiences enough to cover
all exploration space in state space.
4.1

Same behavior demonstration(a) An overview of the behavior
1

State Value V(s)

0.8

0.6

0.4

0.2

(a) An overview of the behavior

0
0

2

4

6

8

10

12

14

T[sec]

1.0

GoToBall
GoToBlue
GoToYellow

State value Vi

0.8

1

0.4

0.8

1.0

2.0

3.0

4.0
T[sec]

5.0

6.0

7.0

reliability gi

0.2

8.0

ShootYellowGoal
PassToTeammate1
PassToTeammate2

GoToBall
GoToBlueGoal
GoToYellowGoal
ShootBlueGoal

0.6

0.4

0.2

0

(b) State value Vi of each behavior module

0

2

4

6

8

10

12

14

T[sec]

1.0

GoToBall
GoToBlue
GoToYellow

ShootBlue
ShootYellow
PassToTeammate1

PassToTeammate2(c) Reliability gi of each behavior module

0.8

Reliability gi

PassToTeammate2(b) State value Vi of each behavior module

0.6

0.0
0.0

ShootBlue
ShootYellow
PassToTeammate1

0.6

Figure 17: Inferring intention of the performer trying toshoot ball to the blue goal in a real robot experiment

0.4
0.2
0.0
0.0

50.0

100.0

150.0

GoToBall
GoToBlueGoal
GoToYellowGoal
ShootBlueGoal

200.0
T[sec]

250.0

300.0

350.0

tries to keep the performer in own perspective during
the behavior. Fig.16 (a) shows the sequence of the behavior. Fig.16 (b) and (c) show sequences of estimatedstate value and reliability of the inferred intentions of
the agent, respectively. The green line indicates the behavior of shooting a ball into a blue goal and goes up
during the trial. The observer successfully inferred theintention of the performer.
Figure 17 shows a result of inferring intention of theperformer trying to shoot ball to the blue goal in a realrobot experiment. The situation and the result are similar to the simulation and it shows successfully infer theintention of the performer.
Fig.18 shows an example passing behavior performedby an agent, a sequence of estimated state value of each
modules, and a sequence of reliability of inferred intention, respectively. These figures show that the observer

400.0

ShootYellowGoal
PassToTeammate1
PassToTeammate2(c) Reliability gi of each behavior module
Figure 16: Inferring intention of a performer trying toshoot a ball to the blue goal
After the behavior acquisition, we let the performer
play one of the behaviors from Table 1 and the observer
infers which behavior the other is taking. Fig.16 shows
an example behavior performed by another agent. The
performer showed exactly same behavior that the observer acquired in behavior learning stage, here. The
bottom right agent shows ”ShootBlue” behavior and the
top left observer watches the behavior. The observer

44

(a) An overview of the behavior
1.0

0.8

0.8

State value Vi

State value Vi(a) An overview of the behavior
1.0

0.6
0.4
0.2
0.0
0.0

0.4
0.2

1.0

2.0

3.0

4.0
5.0
T[sec]

GoToBall
GoToBlueGoal
GoToYellowGoal
ShootBlueGoal

6.0

7.0

0.0
0.0

8.0

ShootYellowGoal
PassToTeammate1
PassToTeammate2

4.0

6.0

GoToBall
GoToBlueGoal
GoToYellowGoal
ShootBlueGoal

8.0

10.0

ShootYellowGoal
PassToTeammate1
PassToTeammate2(b) State value Vi of each behavior module
1.0

0.8

0.8

Reliability gi

1.0

0.6
0.4
0.2
0.0
0.0

2.0

T[sec](b) State value Vi of each behavior module

Reliability gi

0.6

0.6
0.4
0.2

50.0

100.0

GoToBall
GoToBlueGoal
GoToYellowGoal
ShootBlueGoal

150.0
T[sec]

200.0

250.0

0.0
0.0

300.0

ShootYellowGoal
PassToTeammate1
PassToTeammate2

50.0

100.0

150.0

GoToBall
GoToBlueGoal
GoToYellowGoal
ShootBlueGoal

200.0
T[sec]

250.0

300.0

350.0

400.0

ShootYellowGoal
PassToTeammate1
PassToTeammate2(c) Reliability gi of each behavior module(c) Reliability gi of each behavior module

Figure 18: Inferring intention of a performer trying topass a ball to teammate1

Figure 19: Inferring intention of a performer trying toshoot a ball to the blue goal with different manner

can infer the performer’s passing behavior (purple line),
too. The orange line indicates the reliability of going toa ball behavior and it also goes up during the trial because the agent is continuously approaching to the ballduring the trial to pass it to the teammate.

the observer can infer the performer’s intention of shooting (green line).

4.2

4.3

Comparison with System based on
Coordination Translation

In this section, we compare performances between our
proposed method and the one based on state estimation using coordinate transformation system and tracing
state transition probability that is proposed by others,
for example [2]. In order to estimate the state value ofa behavior module through the observation of the performer, there must be a rough coordinate transformation
matrix beforehand. Figs.20 and 21 show a rough sketchof the transformation system. In order to estimate yposition on the performer’s view image, the observer assumes there are tiles on the floor, maps the positions ofan object and the performer, estimates rough distance
between them, and maps the distance to the y positionon the image of the observer’s view. Fig.21 shows a

Different behavior demonstration

The observer cannot assume that the performer will takeexactly same behavior even if its intention is same. We
prepare other different behaviors for the demonstrationof the performer. Fig.19 (a) shows an example of the different shooting behavior demonstrated by the performer.
The learned behavior by the observer is a zippy motion asshown in Fig.16. On the other hand, the demonstrated
behavior is a more smooth motion. Therefore, the statetransition probability will be different from each other.
Figs.19 (b) and 19 (c) show sequences of estimated statevalue of each modules and a sequence of reliability ofinferred intention, respectively. These figures show that45

5

Future work

This basic idea can be applied for not only intention inference but also cooperative behavior acquisition. How
to define a reward function for cooperative behavior acquisition in multi-agent system is one of the most interesting issues. The proposed method can infer other’s intention and estimate the reward/state value of the agent
for each step. This indicates that the observer can explore some actions and evaluate how much they will contribute to the other efficiently. Then, it can learn cooperative behavior based on a certain reinforcement learning approach without any heuristic/hand-coded reward
function by which it evaluates a reward of itself basedon the estimated reward/state value of the other agent.

Figure 20: Estimation of y position of the performer’s
image

References[1] R. Jacobs, M. Jordan, Nowlan S, and G. Hinton.
Adaptive mixture of local experts. Neural Computation, 3:79–87, 1991.
[2] Doya K., Sugimoto N., Wolpert D.M., and Kawato
M. Selecting optimal behaviors based on contexts. In
International Symposium on Emergent Mechanismsof Communication, pages 19–23, 2003.

Figure 21: Estimation of direction from a performer toan object[3] Agapito Ledezma, Ricardo Aler, Araceli Sanchis, andDaniel Borrajo. Predicting opponent actions by observation. In D. Nardi et al., editor, RoboCup2004,
pages 286–296. Springer-Verlag Berlin Heidelberg,
2005.

sketch of estimation of direction from the performer toan object. The lower right rectangle shows an example image from the perspective camera and it captures
the performer, a ball, and a goal. We assume that it
can detect a direction of the performer on the image under a vision system. We put a potential image planein front of the agent and estimate rough x positions of
the objects on the image of the performer’s view. Fig.21
shows that the ball is mapped to the left side on theimage and the goal to an area of lost to the right sidefrom the camera image. Table 2 shows the success rate

[4] Stefan Schaal, Auke Ijspeert, and Aude Billard.
Computational approaches to motor learning by imitation, 2004.
[5] Yasutake Takahashi, Kazuhiro Edazawa, Kentarou
Noma, and Minoru Asada. Simultaneous learning
to acquire competitive behaviors in multi-agent system based on modular learning system. In RoboCup
2005 Symposium papers and team description papers,
pages CD–ROM, Jul 2005.

Table 2: Inferring intention performances of the proposed method and the one with coordination transformation system
Proposed method
ShootBlueGoal1
ShootBlueGoal2
ShootYellowGoal
PassToTeammate1

84%
78%
86%
76%

[6] Yasutake Takahashi, Tomoki Nishi, and Minoru
Asada. Self task decomp osition for modular learning system through interpretation of instruction by
Method based on coach. In RoboCup 2005 Symposium papers and teamstate trans. prob. description papers, pages CD–ROM, Jul 2005.
24%
11%
20%
34%

of intention inference of the proposed method and theone with the coordination transformation system. The
proposed method shows much better results over the behaviors than the one with the coordination transformation system. ”ShootBlueGoal1” indicates a case of inference of shooting behavior identical to the observer’s
one. ”ShootBlueGoal2” indicates a case of inference ofshooting behavior but different from the observer’s one.

46

c 2006

Special Interest Group on AI Challenges
Japanese Society for Artificial Intelligence
社団法人 人工知能学会 AI チャレンジ研究会〒 162 東京都新宿区津久戸町 4-7 OS ビル 402 号室 03-5261-3401 Fax: 03-5261-3402(本研究会についてのお問い合わせは下記にお願いします.)AI チャレンジ研究会
主査
奥乃 博
京都大学大学院 情報学研究科
知能情報学専攻 音声メディア分野〒 606-8501 京都市左京区吉田本町
Tel: 075-753-5376
Fax: 075-753-5977
okuno@i.kyoto-u.ac.jp
担当幹事
浅田 稔
大阪大学大学院 工学研究科
知能・機能創成工学専攻 先導的融合工学講座〒 565-0871 大阪府吹田市山田丘 2-1
Tel: 06-6879-7349
Fax: 06-6879-7348 /JST ERATO 浅田共創知能システムプロジェクト
asada@ams.eng.osaka-u.ac.jp
担当幹事
光永 法明
(株) 国際電気通信基礎技術研究所
知能ロボティクス研究所〒 619-0288 京都府相楽郡精華町光台 2-2-2
Tel: 0774-95-1401
Fax: 0774-95-1408
mitunaga@atr.jp
幹事中臺 一博(株) ホンダ・リサーチ・インスティチュート・ジャパン〒 351-0114 埼玉県和光市本町 8-1
Tel: 048-462-5219
Fax: 048-462-5221 /東京工業大学大学院 情報理工学研究科
nakadai@jp.honda-ri.com

Executive Committee
Chair
Hiroshi G. Okuno
Dept. of Intelligence Sci. and Tech.,
Graduate School of Informatics,
Kyoto University
Yoshida-honmachi Sakyo-ku,
Kyoto, 606-8501, JAPAN
Secretary in Charge
Minoru Asada
Dept. of Adaptive Machine Systems,
Graduate School of Engineering,Osaka University
2-1 Yamada-oka, Suita,
Osaka 565-0871, JAPAN /JST ERATO Asada Synergistic
Intelligence Project
Secretary in Charge
Noriaki Mitsunaga
Dept. of Intelligent Robotics andCommunication Laboratories,
Advanced Telecommunications
Research Institute International
2-2-2 Hikaridai, Seika-cho, Souraku,
Kyoto 619-0288, JAPAN
Secretary
Kazuhiro Nakadai
Honda Research Institute Japan
8-1 Honcho, Wako,
Saitama, 351-0114, JAPAN /Dept. of Math. and Comp. Sci.,
Graduate School of Engineering,Tokyo Institute of Technology

SIG-AI-Challenges web page; http://winnie.kuis.kyoto-u.ac.jp/SIG-Challenge/