目次
1. Adaptive behaviour based on modular learning system and scheduling in multiagent environment,
Yasutake Takahashi, Kazuhiro Edazawa, and Minoru Asada (大阪大学大学院). . . . . . . . . .

1

清水 彰一 [1], 藤吉 弘亘 [1], 長坂 保典 [1], 高橋 友一 [2] (1:中部大学, 2:名城大学) . . . . . . . . . .

6

2. 3 台のカメラを用いた疑似ステレオによる 3 次元位置推定 ,3. 進化型計算を用いたチーム戦略獲得手法の一提案 ,中島 智晴，高谷 将裕，有働 昌代，石渕 久生 (大阪府立大學大学院) . . . . . . . . . . . . . . . . . 12

4. センサ履歴に基づく多自由度ロボットの環境に適した行動選択 ,宮下 敬宏 [1], 今川 拓郎 [2], 石黒 浩 [1,2] (1:ATR 知能ロボティクス研究所, 2:大阪大学) . . . . . . 16

5. Skill learning for a humanoid to pass a ball ,Masaaki Kikuchi, Masaki Ogino, and Minoru Asada (Osaka University) . . . . . . . . . . . . . . 22

社団法人 人工知能学会

人工知能学会研究会資料

Japanese Society for
Artificial Intelligence

JSAI Technical Report
SIG-Challenge-0419-1 (5/1)

Adaptive Behavior Acquisition based on Modular Learning System and
Scheduling in Multi-Agent Environment

Yasutake Takahashi, Kazuhiro Edazawa, and Minoru Asada
Dept. of Adaptive Machine Systems, Graduate School of Engineering, Osaka University, Osaka, Japan{yasutake,eda,asada}@er.ams.eng.osaka-u.ac.jp

Abstract

the learner’s behavior and those of other agents in the environment using a technique from system identification,then reinforcement learning based on the estimated statevectors is applied to obtain a cooperative behavior. However, this method requires a global learning schedule inwhich only one agent is specified as a learner and the restof agents have a fixed policies. Therefore, the method
cannot handle the alternation of the opponents policies.
This problem happens because one learning module canmaintain only one policy. A modular learning approach
would provide one solution to this problem. If we canassign multiple learning modules to different situations
in each of which module can regard the state transition
probabilities as constant, then the system could show areasonable performance.

The existing reinforcement learning approaches
have been suffering from the policy alternationof others in multiagent dynamic environments
such as RoboCup competitions since otheragent behaviors may cause sudden changes
in state transition probabilities of which constancy is needed for the learning to converge.
A modular learning approach would be able tosolve this problem if we can assign each module to one situation in which the module canregard the state transition probabilities as constant. This paper presents a method of modular learning in a multiagent environment, bywhich the learning agent can adapt its behaviors to the situations as consequences of theother agent’s behaviors. Scheduling for learning is introduced to avoid the complexity in autonomous situation assignment.

1

Jacobs and Jordan [Jacobs et al., 1991] proposed the
mixture of experts, in which a set of the expert modules
learn and the gating system weights the output of theeach expert module for the final system output. Thisidea is very general and has a wide range of applications. Singh [Singh, 1992c, Singh, 1992a] has proposedcompositional Q-learning in which an agent learns multiple sequential decision tasks with multi learning modules. Each module learns its own elemental task while
the system has a gating module which learns to select one of the elemental task modules. However, there
are no such measure to identify the situation that theagent can switch modules corresponding to the changeof the situation. Tani and Nolfi [Tani and Nolfi, 1997a,
Tani and Nolfi, 1997b] extended the idea to mixture ofrecurrent neural network and introduced it to predict
sensory flow pattern under the robot navigation task.
Their scheme, however, doesn’t have any control learning structure, which makes it difficult to acquire a purposive behavior by itself. Doya et al. [Doya et al., 2000]
have proposed MOdular Selection and Identification forControl (MOSAIC), which is a modular reinforcement
learning architecture for non-linear, non-stationary control tasks. Their idea was applied to relatively simple tasks/dynamic environment, however, it is uncertainthat it is possible to assign modules automatically in themulti-agent system that has highly dynamic ones.

Introduction

There have been an increasing number of approaches torobot behavior acquisition based on reinforcement learning methods [Asada et al., 1996, Connell and Mahadevan, 1993]. The conventional approaches need an assumption that the environment is almost stationary orchanging slowly so that the learning agent can regard
the state transition probabilities as constant during its
learning. Therefore, it seems difficult to directly apply the reinforcement learning method to a multiagent
system because a policy alteration of other agents may
occur, which dynamically changes the state transition
probabilities from the viewpoint of the learning agent.
RoboCup provides such a typical situation, that is, ahighly dynamic, hostile environment, in which agents
have to obtain purposive behaviors.
There are a number of studies on reinforcement learning systems in a multiagent environment. Asada et al.
[Asada et al., 1999] proposed a method which estimates
the state vectors representing the relationship between

1

We adopt the basic idea of the mixture of experts into
an architecture of behavior acquisition in the multi-agent
environment. In this paper, we propose a method bywhich multiple modules are assigned to different situations and learn purposive behaviors for the specified situations which are expected as the consequence of otheragent’s behavior under different policies. Takahashi etal. [Takahashi et al., 2002] have shown preliminary
experimental results under same domain, however, thelearning modules were assigned by the human designer.
In this paper, a scheduling for learning is introduced
to avoid the complexity in autonomous situation assignment.

2

Gate

s

a

Environment

Planners

Predictor

Figure 1: A multi-module learning system

deactivating the gate signals of other modules, and theselected module sends action commands based on its policy.

A Basic Idea and An Assumption

The basic idea is that the learning agent could assign
one behavior learning module to each situation whichis caused by the other agents and the learning module
would acquire a purposive behavior under the situation
if the agent can distinguish a number of situations inwhich the state transition probabilities are almost constant. We introduce a modular learning approach to realize this idea. A module consists of learning component
that models the world and an execution-time planningone. The whole system performs the following procedures simultaneously.

3.1

Predictor

Each learning module has its own state transition model.
This model estimates the state transition probability
a0P̂ss
0 for the triplet of state s, action a, and next state s :a0P̂ss
0 = P r{st+1 = s |st = s, at = a}(1)

Each module has a reward model R̂ass0 :R̂ass0 = E{rt+1 |st = s, at = a, st+1 = s0 }(2)

• find a model which represents the best estimation
among the modules,

We simply store all experiences (sequences of stateaction-next state and reward) to estimate these models.

• update the model, and3.2• calculate action values to accomplish a given task
based on dynamic programming (DP).

Now we have the estimated state transition probabilitiesaaP̂ss
0 and the expected rewards R̂ss0 , then, an approximated state-action value function Q(s, a) for a state action pair s and a is given by
i
h
X
0 0
a
a
, (3)
Q(s, a) =P̂ss
0 R̂ss0 + γ max Q(s , a )0

As an experimental task, we prepare a case of ball passing behavior without interception by the opponent player(Figs. 3,6). In the environment there are a learning
agent (passer), a ball, an opponent, and two teammates(receivers). The problem here is to find the model which
can most accurately describe the opponent’s behavior
from the viewpoint of the learning agent and to execute the policy which is calculated under the estimatedmodel. It may take a time to distinguish the situation,
therefore, we put an assumption : the opponent continues the one of its policies during one trial and changes
after the trial.

3sPlanneras0aawhere P̂ss
0 and R̂ss0 are the state-transition probabilities
and expected rewards, respectively, and γ is a discount
rate.

3.3

Module Selection

The reliability of the module becomes larger if the module does better state transition prediction during a certain period, else it becomes smaller. We assume that themodule which does the best state transition prediction
has the best policy against the current situation because
the planner of the module is based on the model which
describes the situation best. In our proposed architecture, the reliability is used for gating the action outputs
from modules. We calculate the reliability gi of the module i as follows:

A Multi-Module Learning System

Fig. 1 shows a basic architecture of the proposed system,that is, a multi-module reinforcement learning system.
Each module has a forward model (predictor) which represents the state transition model, and a behavior learner(policy planner) which estimates the state-action valuefunction based on the forward model in a reinforcement
learning manner. This idea of combination of a forward
model and a reinforcement learning system is similar to
the H-DYNA architecture [Singh, 1992b] or MOSAIC[Doya et al., 2000]. The system selects one module which
has the best estimation of a state transition sequence by
activating a gate signal corresponding to a module while

gi =

0
Y

t

eλpi

t=−T +1

where pi is an occurrence probability of the state transition from the previous (t − 1) state to the current (t)one according to the model i, and λ is a scaling factor.

2

4

Task and assumption

opponent

The task of the learning agent is to pass the ball to
one of the teammates while it avoids interception by the
opponent. The game is like a three on one; there are one
opponent and other three players. The player nearest to
the ball becomes to a passer and passes the ball to oneof the teammates while the opponent tries to intercept
it.
Fig. 2 shows a mobile robot we have designed andbuilt. Fig. 3 shows the simulator of our robots and theenvironment. The robot has an omni-directional camera
system. A simple color image processing is applied todetect the ball area and an opponent one in the image
in real-time (every 33ms). The left of Fig. 3 shows asituation in which the agent can encounter and the bottom right shows the simulated image of the camera withthe omni-directional mirror mounted on the robot. The
robot consists of an omni-directional vehicle of whichmotion (any translation and rotation on the plane) can
be controlled.

ball

ball
teammate2
teammate1(a) state variables (position)(b) state variables (angle)

Figure 4: State variables

wd
yd
xd
Figure 5: Action variables

yd , wd ) to be sent to the motor controller (Fig. 5). Eachvalue is quantized into three, then the number of actionis 33 = 27. The robot has a pinball like kick device,
and it automatically kicks the ball whenever the ballcomes to the region to be kicked. It tries to estimate themapping from sensory information to appropriate motor
commands by the proposed method.

Figure 2: A real robot

teammate

Defenceteammate

Passer(Learner)

Figure 6: Task : 3 on 1

The initial positions of the ball, the passer, the opponent, and teammates are shown in Figs. 6. The opponent has two kinds of behaviors; it defend the left side,or right side. The passer agent has to estimate which direction the opponent will defend and go to the positionin order to kick the ball to the direction the opponent
does not defend. From a viewpoint of the multi-module
learning system, the passer agent will estimate whichsituation of the module is going on, select the most appropriate module to behave. The passer agent acquires
a positive reward when it approach to the ball and kicks
it to one of the teammate dodging the opponent.

Figure 3: A simulation environment
The state space is constructed in terms of the centroidof the ball on the image, the angle between the ball andthe opponent, and the angles between the ball and the
teammates (see Figs. 4 (a) and (b)). We quantized theball position space 11 by 11 as shown in Fig. 4 (a) andthe each angle into 8. As a result, the number of state
becomes 112 × 8 × 8 × 8 = 61952. The action space isconstructed in terms of desired three velocity values (xd ,3

R block and L block

withoutscheduling
R block

scheduling

block
pass

L block

R block and L block

1

block
pass

L.M.0

L.M.2

L.M.1

multi module(scheduling)

L.M.0

0.8

L.M.2

L.M.1

...
L.M.n

success rate

...
L.M.n

(a) right block(b) left block

Figure 7: Module switching

0.6
mono. module(scheduling)

0.4
mono. module(without scheduling)

0.2

multi module(without scheduling)0

4.1

Learning Scheduling0

trialsWe prepare a learning schedule composed of three stages
to show its validity. The opponent fixes its defending
policy as right side block at the first stage. After 250
trials, the opponent changes the policy to block the left
side at the second stage and continues this for another
250 trials. Then, the opponent changes the defending
policy randomly after one trial.
4.2

100 200 300 400 500 600 700 800 900 1000

Figure 8: Success rate during the learning

the left and right sides. The “LM1” and “LM2” indecate
the learning modules that are assigned the left and rightblock behaviors, respectively. The agent seems to failto estimate the situation where the opponent is blocking
left or right side at the beginning periods, however, thereliability of the appropriate module is getting higher
after a few seconds and the agent successfully accomplished the task.

Simulation Result

We have applied the method to a learning agent andcompared it with only one learning module. We havealso compared the performances between the methods
with and without the learning scheduling. Fig. 8 shows
the success rates of those during the learning. The success indicates that the learning agent successfully kickthe ball without interception by the opponent. The success rate indicates the number of successes in 50 trials.
The multi-module system with scheduling shows a better
performance than the one-module system. The “mono.
module” in the figure indicates “monolithic module” system and it tries to acquire a behavior for both policies ofthe opponent. The monolithic module with schedulingmeans that we applied learning scheduling mentioned
in 4.1 even though the system has only one learning
module. The performance of this system is similar withmulti-module system until the end of first stage (250 trials), however, it goes down at the second stage because
the obtained policy is biased against the experiences at
the fist stage and cannot follow the policy change of the
opponent. Since the opponent takes one of the policies at random at the third stage, the learning agent
obtains about 50% of success rate. “without scheduling” means that we do not applied learning schedulingand the opponent changes its policy at random from thestart. Somehow the performance of the monolithic module system without learning scheduling is getting worse
after the 200 trials. The multi-module system without
learning schedule shows the worst performance in our experiments. This result indicates that it is very difficult torecognize the situation at the early stage of the learning
because the modules has too few experiences to evaluate
their fitness, then the system tends to select the module
without any consistency. As a result, the system cannot
acquires any valid policies at all. Fig. 9 shows an example sequence of the behavior when the agent executes
its learned policy and the opponent behaves randomly
after a fixed period. Figs. 10 and 11 show example sequences of the reliabilities while the opponent is blocking

5Conclusion and Future WorkIn this paper, we proposed a method by which multiple
modules are assigned to different situations which arecaused by the alternation of the other agent policy andlearn purposive behaviors for the specified situations asconsequences of the other agent’s behaviors. We haveshown results of a simple soccer situation and the importance of the learning scheduling.

References[Asada et al., 1996] Asada, M., Noda, S., Tawaratumida, S., and Hosoda, K. (1996). Purposive behavior
acquisition for a real robot by vision-based reinforcement learning. Machine Learning, 23:279–303.
[Asada et al., 1999] Asada, M., Uchibe, E., and Hosoda,
K. (1999). Cooperative behavior acquisition for mobile robots in dynamically changing real worlds via
vision-based reinforcement learning and development.
Artificial Intelligence, 110:275–292.
[Connell and Mahadevan, 1993] Connell, J. H. and Mahadevan, S. (1993). ROBOT LEARNING. Kluwer
Academic Publishers.
[Doya et al., 2000] Doya, K., Samejima, K., ichi Katagiri, K., and Kawato, M. (2000). Multiple model-based
reinforcement learning. Technical report, Kawato Dynamic Brain Project Technical Report, KDB-TR-08,
Japan Science and Technology Corporation.
[Jacobs et al., 1991] Jacobs, R., Jordan, M., S, N., andHinton, G. (1991). Adaptive mixture of local expoerts.
Neural Computation, 3:79–87.

4

1

reliability

0.8

LM1
LM2

0.6
0.4
0.2
0
0

2

4

6

8

10

12

14

time[sec]

Figure 10: The sequence of the reliability signals of modules while the opponent is blocking the left side
1
LM1
LM2

reliability

0.8
0.6
0.4
0.2
0
0

2

4

6

8

10

12

14

time[sec]

Figure 11: The sequence of the reliability signals of modules while the opponent is blocking the right side

[Singh, 1992a] Singh, S. P. (1992a). The effeicientlearnig of multiple task sequences. In Neural Information Processing Systems 4, pages 251–258.
[Singh, 1992b] Singh, S. P. (1992b). Reinforcement
learning with a hierarchy of abstract models. In
National Conference on Artificial Intelligence, pages
202–207.
[Singh, 1992c] Singh, S. P. (1992c). Transfer of learningby composing solutions of elemental sequential tasks.
Machine Learning, 8:323–339.
[Takahashi et al., 2002] Takahashi, Y., Edazawa, K.,
and Asada, M. (2002). Multi-module learning systemfor behavior acquisition in multi-agent environment.
In Proceedings of 2002 IEEE/RSJ International Conference on Intelligent Robots and Systems, pages CD–
ROM 927–931.
[Tani and Nolfi, 1997a] Tani, J. and Nolfi, S. (1997a).
Self-organization of modules and their hierarchy inrobot learning problems: A dynamical systems approach. Technical report, Technical Report: SCSLTR-97-008.
[Tani and Nolfi, 1997b] Tani, J. and Nolfi, S. (1997b).
Self-organization of modules and their hierarchy inrobot learning problems: A dynamical systems approach. Technical report, Sony CSL Technical Report,
SCSL-TR-97-008.

Figure 9: A sequence of a pass behavior while the opponent blocks the left side5

社団法人 人工知能学会

人工知能学会研究会資料

Japanese Society for
Artificial Intelligence

JSAI Technical Report
SIG-Challenge-0419-2 (5/1)

3 台のカメラを用いた擬似ステレオによる 3 次元位置推定
Pseudo Stereo Method for Measuring 3D Position Using Three Cameras

清水彰一 †

藤吉弘亘 †

長坂保典 †

高橋友一 ††

Shoichi Shimizu, Hironobu Fujiyoshi, Yasunori Nagasaka, and Tomoichi Takahashi† 中部大学, †† 名城大学
Chubu University,

Meijo University

shiyou@vision.cs.chubu.ac.jp
Abstract

ループシュートを打つサッカーロボット [Muratec, 2003]が登場しており，その際には，ボールの軌跡をサッカー

Multiple cameras have been used to get a view

フィールド上の 2 次元位置ではなく，3 次元位置を高速に

of a large area. In some cases, the cameras are layouted so that their views are over-

求める必要がある．

lapped to get a better view as a whole thannon overlapping layout. 3D information of theoverlapping areas that are covered with two or
three cameras can be get by stereo vision meth-

ビジョンシステムの高速化として，ロボカップ小型リーグ
では，60 fps の高速カメラが用いられている [R.D’Andrea,

1999, 加藤, 2002]．これは，60 fps のカメラを用いたダブ
ルバッファリングによる高速処理を行うものである．しかし，このシステムでは，1 台のカメラを使用しているた

ods. Shifting shutter timings of cameras andusing our pseudo stereo vision method, we canめ，対象物の 3 次元位置を求めることができない．

output 3D information faster than 30 fps.

スラインステレオが既に提案されており，多様な分野で用いられている[Okutomi, 1993]．一般にステレオ視の際，In this paper, we propose a pseudo stereo vi-

対象物の 3 次元位置を推定する手法としてマルチベー運動している対象物の 3 次元位置を正確に求めるために

sion method using cameras with diﬀerent shutter timings. Using three cameras, two types ofは各カメラの画像を同時に取得する必要がある．一方，複shutter timings are discussed. In three diﬀerent
shutter timings, 90 times of 3D position for a数の非同期カメラを用いた対象物の距離画像を求める手法として，Zhou らによる距離画像の生成法[Zhou, 2003]

sec are obtained because proposed method canが提案されている．2 台の非同期カメラを用いた距離画像

output 3D positions at every shutter timings ofthree cameras. In two diﬀerent shutter timings,の生成法では，存在しない画像を非同期カメラによって発

it is possible to calculate the 3D position at 60
fps with better accuracy.

ローを用いて自動生成し，生成した画像と実画像の対応よ

生するシャッタータイミングの時間ずれとオプティカルフ
り，距離画像を取得する．時間ずれは，基準画像上に各カメラ 2 点ずつ，過去 4 点の特徴点を求め，その比率により

1

はじめに

得られる．基準画像に存在しない特徴点の基準画像への投影には，エピポーラ直線と基準画像上の 2 特徴点によロボットが行動するためには，センサによる環境認識・理り構成される直線の交点を求めることにより行う．Zhou

解技術から得られる情報を基に行動プランニングを行い，らの手法の出力は，時刻 t − 1(1 フレーム前) の出力であロボットを制御するフィードバック機構が必要である．視り，最新フレームでの出力ではないという問題がある．

覚センサでロボットを迅速にかつ正確に制御するために

我々は，2 台の非同期カメラを用いた 3 次元位置推定法を提案している [Shimizu, 2004]．2 台のカメラ間のシャッは，ビジュアルフィードバックのサイクルを高速に行う必要があり，特に，カメラから得られる画像から有用な情報

タータイミングのずれを利用し，60 fps で対象物の 3 次を得るための高速なビジョンシステムが不可欠となる．そ

元位置を得ることが可能である．本報告では，3 台のカメの際には，ロボット等の対象とする物体の 3 次元位置をラを用いた際に考えられる 2 種類のシャッタータイミング

より正確に検出する必要がある．ロボカップにおいても，における 3 次元位置推定法について提案する．

6∆ = 1/30 sec∆ = 1/30 sec

camera1

camera1

camera2

camera2

Time

Time

ti-1

ti

∆ = 1/30 sec∆ = 1/30 sec

c1

δ = 1/90 sec

δ = 1/60 sec

c2

1/90 secδ12 δ21

ti+1

c3
Time

ti-1 t’i-1

(a)

ti

t’i ti+1

ti

ti+∆

ti

(a) multiple baseline stereo(b)ti+δ ti+2δ ti+∆ti(b) typeA

ti+δ

ti+∆

(c) typeB

Figure 3: シャッタータイミングの組み合わせ

Figure 1: 同期・非同期のシャッタータイミング
カメラ 3 台におけるシャッタータイミング

2.1
camera1

3 台のカメラを用いた場合，考えられる 3 種類のシャッター

camera2

タイミングの組み合わせを図 3 に示す．図 3(a) は，マルチベースラインステレオシステムにおけるシャッタータイ(u2t’,v2t’)(u1t,v1t)とし，この 2 種類のシャッタータイミングにおける 3 次

1

lt

zw

yw
xw

ミングである．本報告では図 3(b) を typeA，(c) を typeB2lt’

元位置推定について検討する．typeA の場合，各カメラ間の時間ずれ ∆ を 1/90 秒と設定する．この場合，シャッobjectTime t’-1t

タータイミング毎に 3 次元位置を求めるため 90 fps の出t’

力を得ることが可能となる．一方，typeB では，カメラ 1

P (estimated position)とカメラ 3 を同期するように設定し，ステレオ視により

Figure 2: ステレオ視における時間ずれによる誤差

3 次元位置を求める．カメラ 2 が最新フレームの際は，前2 フレームにおいてステレオ視により求めた結果から，線形予測を用いて 3 次元位置を求め，光線情報により 3 次

2 章では，2 種類のシャッタータイミングとその手法に

元位置を修正し出力を得る．また，カメラ 2 のシャッター

ついて，3 章では，シミュレーションによる移動物体の運タイミングは，カメラ 1，3 より 1/60 秒ずれているため，

動復元について実験を行い，提案手法の有効性を示す．4

3 次元位置を 60fps で得ることが可能となる．以下に 2 種章では，実際の実験において，高速に円運動する対象物の類のシャッタータイミングにおける 3 次元位置推定法につ3 次元位置推定の実験を行い，提案手法の有効性を示す．

2

いて述べる．

TYPE-A: 3 つのシャッタータイミング (90 fps)

2.2

複数のカメラを用いた 3 次元位置推定

typeA では，3 台の各カメラ間のシャッタータイミングを
1/90 秒ずつずらし，この時間ずれを考慮して各シャッター

ステレオ視では対象物の 3 次元位置を求めるために，2 枚

タイミング毎に 3 次元位置推定を行う．以下に 3 台のカの画像を同時刻で取得する必要がある．一般的なステレ

メラを用いた 3 次元位置推定の手法を示す．

オ視では，通常のカメラ (30 fps) を用いた場合，3 次元位

Step1 前 2 フレームの 3 次元位置を計算

置の出力は最大 30 fps となる．2 台のカメラによるステ
レオ視におけるカメラのシャッタータイミングを図 1(a)Step2 線形予測により最新フレームの 3 次元位置を計算に示す．カメラ間が同期していない場合，各カメラ間に時間ずれが生じる (図 1(b))．最新画像がカメラ 2 の場合，

Step3 最新フレームの画像面上の点を通る光線情報によ(u1t , vt1 ) と 時刻 t = t + δ の対応点 (u2t , vt2 )(時間ずれをる 3 次元位置の修正含んだ対応点) を用いてステレオ視により高速に移動する
対象物の 3 次元位置を求めると，図 2 に示すように誤差

各カメラのシャッタータイミング毎に，上記の Step1〜3が生じる．

により 3 次元位置を求める．従って，本手法は 1 秒間に 90
ポイントの 3 次元位置を出力することが可能となる．以

これに対し，我々は，非同期カメラを用いた 3 次元位置推定法を提案している [Shimizu, 2004]．シャッタータ

下に各 Step における処理について示す．

2.2.1

イミング毎に 3 次元位置を求めることにより，早いサイ

前 2 フレームの 3 次元位置計算

クルでの 3 次元位置の出力を得ることができる．以下に，

図 4 に前 2 フレームの 3 次元位置計算について示す．各

3 台のカメラを用いた 2 種類のシャッタータイミングにおカメラ画像より対象物の 2 次元画像座標 (u, v) を求める．

ける 3 次元位置推定法について示す．

カメラ 1 によって撮影された物体の画像座標を (u1t , vt1 )，

7

Time

camera1
1

camera1

3D-position

camera3

camera2x1

yz

ut-3, vt-3

t-3
step1-a

δ12
1

2

1

u’t-2, v’t-2

t-2

e

T

step1-b2

δ23f(xv, yv, zv)

u
v

P’t
P^ t

e3
3

Pt-1

3

ut-1, vt-1

yW
step1-a

P t-1

Figure 5: 光線情報による 3 次元位置推定

^

1

1

lt

P t’-1

xW

O

δ31

t

zy

I

step1-c

zW

t-1

x

r 1t

f

Pt-2

2

ut-2, vt-2

^1
^1
ut-2, vt-2

1

camera3

camera2

x z
y

Pt

1

ut, vt

置 Pˆt = [xw , yw , zw ]T を次式より求める．

Figure 4: 前 2 フレームの 3 次元位置計算

Pˆt = P t−1 + v t−1 δ,

カメラ 2 の画像座標を (u2t , vt2 )，カメラ 3 の画像座標を

v t−1 =

P t−1 − P t−2δ(2)(u3t , vt3 ) とする．画像座標は，キャプチャ終了時の時刻を

式 (2) は，前 2 フレームより速度を線形に求めたもので基に時系列の順に並べられる．本来ならば，ステレオ視ある．このとき，最新フレームはカメラ 1 の結果とする．

の際，同時刻 t の対応点を求める必要があるが，提案手法
における 3 台のカメラ間は δ(δ = δ12 = δ23 = δ31 = 1/90

また，過去の計算結果を用いた位置予測には拡張カルマ
ンフィルタを用いたもの[Browning, 2002, 金子, 1996]や秒) の時間ずれを持つ．そのため，図 4 に示すように時刻

3 次元曲線が考えられるが，本報告では観察する時間間隔3
t − 1 におけるカメラ 3 の画像座標 (u3t−1 , vt−1
) に対応すが 1/90 秒と短いことから線形に求める．

るカメラ 1 の画像座標は存在しない．そこで，以下に示す

2.2.3

アルゴリズムを用いて対応する時刻におけるカメラ 1 上の画像座標 (u1ˆ , v 1ˆ ) を求め，3 次元位置 P
をステ
t−1

最新フレーム t におけるカメラの画像座標から求まる 3

t−1

t−1

次元空間の直線を求める．最新フレーム t における結果がレオ視により計算する．

カメラ 1 の場合，世界座標における原点 O からカメラ 1への平行移動ベクトルを T 1 = [T x, T y, T z]T ，物体の画

Step1-a カメラ 1 において，前後フレームにおける実際に観測された 2 点の画像座標より t − 1 における画像
座標 (u1ˆ , v 1ˆ ) を次式により推定する．
t−1

像座標 (u1t , vt1 ) から求められた世界座標における直線 l1tの傾きを表すベクトルを r 1t = [xv , yv , zv ]T とすると，図

t−1

ˆ
u1t−1

=

1ˆ
vt−1

=

光線情報による 3 次元位置の修正(δ12 + δ23 )u1t + δ31 u1t−3,
δ12 + δ23 + δ31
1(δ12 + δ23 )vt1 + δ31 vt−3
δ12 + δ23 + δ31

5 に示す光線は次式に示す直線 l1t と表現できる．k は実数である．
l1t = kr1t + T 1(1)

本来ならば，式 (2) により求めた予測位置 P̂ t はこの直線

Step1-b 時刻 t − 1 におけるカメラ 3 の観測された画像座

l1t 上に存在する．しかし，予測位置 P̂ t は過去に計算した

3
標点 (u3t−1 , vt−1
) から対応するカメラ 1 上のエピポー
3
ラ線 e を求める．Step1-a で計算した (u1ˆ , v 1ˆ ) が
t−1

(3)

位置から推定したものであり予測誤差を含んでいる．そt−1のため，予測位置 P̂ t は図 5 に示すように必ずしも最新フ1
最も近いエピポーラ線上の点 (u1t−1 , ut−1 ) を t − 1 にレームの結果より得られる直線 l1t 上に存在するとは限らおけるカメラ 1 の画像座標とする．

ない．

1
Step1-c カメラ 1 上の推定した画像座標 (u1t−1 ,vt−1 ) から

そこで， 予測位置 Pˆt が垂直に交わる直線上の点 P t を求める．P  は予測位置 Pˆt の直線 l1 の傾きを表すベクト

世界座標空間の直線 l1t−1 とカメラ 3 上の観測された
3(u3t−1 , vt−1
) より直線 l3t−1 を求め，その交点を t − 1

tt

ル r 1t 方向への正射影ベクトルであり，次式で求めることにおける対象の 3 次元位置 P t−1 とする．

ができる．

以上の処理を t − 2 においても行い，前 2 フレームの 3 次

P t =

元位置を求める．

(Pˆt − T 1 ) · r 1t 1
rt + T 1|r1t |2(4)

線形予測による最新フレームの 3 次元位置推定

これにより，線形予測で求めた P̂ t に最も近いカメラ 1

既に計算された前 2 フレームの結果 P t−1 と P t−2 を用

上の画像座標点 (u1t , vt1 ) を通る直線上の点 P  t を対象のいて，図 5 に示すように，最新フレーム t における予測位

最新フレーム t による 3 次元位置とする．カメラ 2，カメ

2.2.2

8

camera1

camera2

camera2

camera1

camera3

camera3

3D-positionTime

u1t-3, v1t-3

triangulation
step1

t-3

u3t-3, v3t-3

Pt-3(u2,v 2)

δ12

13,000[mm]t-2(u 3,v 3)

1(u ,v )

2,000[mm]u2t-2, v2t-2

δ23

triangulation
step1

t-1

u3t-1, v3t-1

u1t-1, v1t-1

2,000[mm]

Pt-1
step2
linear predict
^
Pt

δ31

z

y
x

3,000[mm]tu2t, vt2

Figure 7: 仮想カメラ配置

P’t
step3
prediction using constraints
from ray information• 非等速運動: 高さ 2,000 mm の位置からボールを落下

Figure 6: 3 次元位置推定 (typeB)させたときの放物運動 (重力加速度 g=9.8 m/s2 )ラ 3 が最新フレームの場合も画像座標 (u2t , vt2 )，(u3t , vt3 )これらの対象物の運動軌跡を，各カメラの仮想画像平

から各直線 l2t ，l3t を求め，上記の処理を同様に行う．

面へ投影する．シミュレーション実験では，各カメラの仮

TYPE-B: 2 つのシャッタータイミング (60fps)

想画像平面上の点 (u, v) を用いて，提案手法により 3 次元

2.3

線形予測を用いて，より精度の良い 3 次元位置を求める
ためには，前 2 フレームにおける 3 次元位置を正確に求める必要がある．図 3(c) の場合，2 台のカメラ (カメラ 1とカメラ 3) のシャッタータイミングは同期しているため，ステレオ視により 3 次元位置を求めることができる．図 6に示すようにステレオ視で得られた前 2 フレームの 3 次
元位置 P t−1 と P t−3 を用いて，最新フレームの 3 次元位
置 P t を線形予測により推定する．その後，typeA と同様に，光線情報の制約を用いて 3 次元位置を修正する．

3 次元位置は，2 台の同期したカメラによるステレオ視の結果と，1 台のカメラから得られる光線情報による修正を加えた結果が交互に出力される．この場合，1 秒間にtypeA(90 ポイント) より少ない 60 ポイントの出力となる．

3

シミュレーション実験

位置を推定する．また，本実験おいて画像平面上での観測誤差はない．

3.2

実験結果

表 1 に各運動を復元した結果と真値との推定誤差を示す．
表 1 において，typeA のシャッタータイミングにおける非同期は，図 2 に示す時間ずれを含んだ対応点を用いたス
テレオ視の結果である．typeA では，本手法 (typeA) の結果が非同期より良いことは明らかである．

typeB のシャッタータイミングにおける線形予測は，同期した 2 台のカメラからステレオ視により前 2 フレームの 3 次元位置を求め，その 2 点から線形予測した結果である．提案手法と線形予測を比較すると，提案手法の精度が良いことが分かる．これは，線形予測した結果から，光線情報を用いた修正を行うことにより位置推定精度が向上しているためである．

3 次元空間の対象物の運動を復元するシミュレーション実験により，提案手法の評価を行う．

3.1

Table 1: 3 次元位置の推定値と真値との平均誤差 [mm]等速シャッタータイミング fps
非等速
直線 螺旋

対象物の運動復元

対象物が仮想世界座標空間 (3,000 × 2,000 × 2,000 mm)を移動していると仮定し，その運動復元を行う．3 台のカ

typeA

メラは，高さ 3,000 mm に平行となるように設置してあるとする (図 7 参照)．このとき，3 次元空間内の対象物のtypeB運動として，以下に示す 3 種類の等速・非等速運動を対象

非同期

90

24.6

20.8

14.8

提案手法
線形予測

90
60

1.1
0.2

2.0
1.4

1.7
4.4

提案手法

60

0.2

0.5

1.5

とする．

• 等速運動 (直線): (x, y, z) = (3,000, 1,200, 0) から(x, y, z) = (0, 1,200, 2,000) に向けて直線上を速度
3,000 mm/sec で移動• 等速運動 (螺旋): (x, y) = (1,000, 1,000) を中心に半
径 620 mm，角速度 4.7 rad/s で螺旋上を移動

4複カメラによる評価実験

本提案手法を，1 台の PC と 3 台のカメラを用いて実装し，等速円運動する対象物の 3 次元位置を求める実験により評価を行う．

9

700

PC
Osprey-100
process-1

XC-003

Osprey-100
process-2

XC-003TG700 + BG7

World Z [mm]triger

600
500
400
300

200
100
0
1800

Osprey-100
process-3
3,000 [mm]UDP

XC-003

1700
1600
1500

World X [mm]

1400
1300

process-4

200

400

600

1000

800

1200

1400

1600

World Y [mm](a) typeA
700

600

Figure 8: ビジョンシステムの概略<機器構成>

World Z [mm]2,500 [mm]

500

400

300

200

100

0

PC (DELL PRECISION 530)
CPU (XEON DUAL PROCESSOR 2.2 GHz
MEMORY (1.0 GB)
カメラ (SONY XC-003) 3台
FRAME GRABBER (ViewCast Osprey-100) 3台
TV信号発生装置 (TG700 + BG7型)

1800

1700

1600

1500

World X [mm]

1400

1300

600

800

1000

1200

1400

1600

1800

2000

World Y [mm](b) typeB

Figure 10: 3 次元位置推定結果

Figure 9: 機器構成
4.1

本システムの概略

3 台のカメラを用いたビジョンシステムの概略を図 8 に示す．カメラは高さ 2,800 mm の位置に床面上の 2,000 ×(a) camera1

3,000 mm の領域が視野に入るように設置した．それぞれのカメラは世界座標 (xw , yw , zw ) と画像座標 (u, v) により，キャリブレーション済みである [Tsai, 1987]．カメラからの映像信号は，1 台の PC にインストールされた 3 枚のフレームグラバに入力され，それぞれの画像が取り込まれる．また，TV 信号発生装置を用いて，各カメラに NTSC
信号を各タイプ毎にシャッタータイミングを発生させ入力する．本システムの機器構成を図 9 に示す．
それぞれのカメラからの画像は，独立したプロセス

process-1，process-2，process-3 で各シャッタータイミン
グ毎に処理される．各プロセスは，画像処理により得られたカメラ i における対象物の画像座標 (ui , v i ) と，その(b) camera2(c) camera3

Figure 11: 実験の様子
mm の物差しの端にボールを固定し，ターンテーブルを回転させることで半径 500 mm の等速円運動となる．ター
ンテーブルは高さ 500 mm の箱に置かれており，ボールの床からの高さは 660 mm となる．ターンテーブルは 45rpm のスピードで回転しており，角速度は (45 × 2π)/60= 0.478 rad となる.
4.3

実験結果

typeA と typeB の 2 種類のシャッタータイミングによる 3処理した画像のキャプチャ終了時刻を UDP 通信により 3

次元位置推定結果の zw 軸方向における平均と分散を表 2

次元位置を計算する process-4 に送信する．

に示す．共に，zw 軸の平均 (ボールの高さ) は，実際の高さ 660[mm] から 5 [mm] 以内であった．typeB の分散値

4.2

実験

実際にボールを投げたとき 1.5 秒間の復元結果を図 10 には typeA より低く，シミュレーション結果と同様に typeBの精度が高いことが分かる．

示す．図 10(a) では，135 ポイントのボールの 3 次元位置を出力しており，90 fps のカメラと同等の出力であるこ

Table 2: z 軸の平均と分散
平均 [mm]分散とが分かる．図 10(b) では，90 ポイントのボールの 3 次
元位置を出力しており，60 fps のカメラと同等の出力であることが分かる．
本手法の評価を行うため，図 11 に示すようにターン
テーブルとゴルフボールを用いて実験を行う．長さ 1,000

10

typeA

664.5

2143.7

typeB

662.3

112.0

4.4

まとめ

[Browning, 2002] B. Browning, M. Bowling and M.
Veloso: Improbability Filtering for Rejecting False
Positives, In Proc. IEEE International Conference

本報告では，2 種類のシャッタータイミングに応じた 3 次
元位置推定法を提案し，その評価を行った．提案手法は，

3 台のカメラ全てのシャッタータイミングが 1/90 秒ずれている場合 (typeA)，各シャッタータイミング毎に 3 次元位置を求めることにより，1 秒間に 90 ポイントの出力を得

on Robotics and Automation, pp.120-200, 2002.
[金子, 1996] 金子俊一，堀内一仁，本多庸悟: 多重カルマ
ンフィルタによる 3 次元運動推定, 信学論, Vol.J79-

ることが可能である．一方，同期した 2 台のカメラと 1/60

D-II, No.5, pp.840-850, 1996.

秒ずれたシャッタータイミングのカメラの場合 (typeB)，

60 fps で 3 次元位置を得ることができ，より正確に求め[Tsai, 1987] R. Y. Tsai:

A versatile Camera Calibra-tion Technique for High-Accuracy 3D Machine Vision Metrology Using Oﬀ-the-Shelf TV Cameras

ることが可能である．
ロボカップ小型リーグでは，2004 年から，フィールドand Lenses, In IEEE Journal of Robotics and Automation, Vol.RA-3, Num.4, pp.323-344, 1987.

サイズが大きくなり，1 台のカメラではフィールド全体を映すことは不可能であると考えられる．本手法は，カメラ間で重なる位置が在れば，より早く 3 次元位置を求める
ことが可能である．

謝辞
本研究は，栢森情報科学振興財団の助成を受けて遂行さ
れた．

参考文献
[Muratec, 2003] Muratec FC:
http://ww.muratec.net/robot/[R.D’Andrea, 1999] R. D’Andrea, et al: Detailed vision
documentation, http://robocup.mae.cornell.edu/[加藤, 2002] 加藤恭佑, 日比野晋也, 児玉幸司, 村上和人,
成瀬正: ロボカップのための高速な小型ロボット検出法について, 情報処理学会研究報告, Vol.CVIM-136,

No.16, pp.115-122, 2003.
[Okutomi, 1993] M. Okutomi, and T. Kanade; A Multiple Baseline Stereo, In Proc. IEEE Trans, PAMI,
Vol. 15, No. 4, pp. 353-363, 1993.
[Shimizu, 2004] S. Shimizu, H. Fujiyoshi, Y. Nagasaka
and T. Takahashi: A Pseudo Stereo Vision Method
for Unsynchronized Cameras, ACCV2004, Vol.1,
pp.575-580, 2004.
[Zhou, 2003] C. Zhou and H. Tao: Dynamic Depth
Recovery from Unsynchronized Video Streams, In
Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp.351-358,
2003.
[Bruce, 2000] J. Bruce, T. Balch and M. Veloso: Fastand Inexpensive Color Image Segmentation for Interactive Robots, IROS-2000, Vol.3, pp.2061-2066,
2000.

11

社団法人 人工知能学会

人工知能学会研究会資料

Japanese Society for
Artificial Intelligence

JSAI Technical Report
SIG-Challenge-0419-3 (5/1)

12

13

14

15

社団法人 人工知能学会

人工知能学会研究会資料

Japanese Society for
Artificial Intelligence

JSAI Technical Report
SIG-Challenge-0419-4 (5/1)

センサ履歴に基づく多自由度ロボットの環境に適した行動選択
A Behavior Selection Method based on Sensor history for Humanoid Robots

宮下敬宏 今川拓郎 石黒浩
Takahiro MIYASHITA, Takuro IMAGAWA and Hiroshi ISHIGURO

ＡＴＲ知能ロボティクス研究所 大阪大学
ATR Intelligent Robotics Labs. and Osaka University

miyasita@atr.jp

Abstract

摩擦などの環境の特性などに関しては，動作前にあらか
じめ限定しているものが多い．

In this paper, we propose a behavior selection
method based on sensor history. The robot’s
motion, the environment and the history of thesensors have close and important relationship.
Thus, we make a map which denotes the relationship between them by analyzing the sensor
history and apply it to the robot. The robot
can decide own motion adapted to the environment by utilizing the decision tree based on
the map. We verify the validity of our methodby performing preliminary experiments with asmall humanoid type robot, named Robovie-M.

ロボットがセンサによって環境を認識する能力には限界があり，また床面上の弾性や摩擦などは，実際に動作してみないと認識できない．また，多くの種類のセンサを使って複雑なセンサ処理を行い環境を認識する手法は，実際に環境を動くロボットに搭載することが困難であり現実的ではない．さらに，動作前にセンサによって認識する過程において，ロボットが誤認識をした場合，その動作を実行することが困難となるだけでなく，ロボットのセンサによって適切な動作に修正することは原理的に困難となる．
そこで本研究では，ロボットが実際に行動するときのセンサ情報と環境の特徴をマッピングし，ロボットの行動とセンサ履歴から環境を判別する判別木をマップに基づ1いて作成し，ロボットが実際に環境内を失敗を繰り返しはじめにヒューマノイドロボットのように多自由度を持つロボットの行動を自動的に生成することは，ロボットの持つ自由度が多く動作の探索範囲が広いこと，環境がロボットに与える物理的な制約が多いことから，困難である．また，ヒューマノイドロボットがどのように動作するかは，ユー
ザからの要求によって決定されることが多く，動作する前から決まっていることが多い．従って，ヒューマノイドロ
ボットに要求される第一の目標は，あらかじめ決められた動作を環境に適応させることである．
従来，ロボットの動作選択のための環境認識手法としては様々なものが提案されてきた．具体的には，車輪型移動ロボットの動作のための超音波距離センサと視覚センサを併用して認識するもの[前山, 1994]や，３次元モデルと視覚による認識に基づくもの[Fennema, 1987]などがある．また，ヒューマノイドロボットの動作を環境に適応させるものに関しては，反射的なものが多く[Hirose, 2001]，
複雑な観測あるいは長期的な観測によってわかる弾性やながら動きまわることで，その環境に適した動作選択を行う手法を提案する．具体的には，まず，摩擦力や弾性の違う複数の床面上でヒューマノイドロボットの歩行や起きあがり動作などの基本動作をユーザが作成する．次に，その動作時のセンサ出力の時系列データを蓄える．蓄えた時系列データは，動作名と環境特徴をインデックスとしてデータベース化する．データ利用時には，まず環境判
別のための探索木をデータベースに基づいて作成しておき，ロボットにユーザから基本動作指令が与えられたとき，まずその動作を行う．そのとき獲得されるセンサ出力の時系列データから，その環境に適した動作かどうかを，探索木に従って調べる．適していない場合は，動作と観測を繰り返し，最終的に環境に適した動作を選択する．
提案手法は，動作と環境が反映されるセンサ履歴を利用するため，多くのセンサを必要としない．本稿では，実際に小型ヒューマノイドロボットに搭載されている２軸加速度センサのみで環境認識をする基礎実験を行い，提案手法の実現可能性とその有効性を示す．

16

3

センサ履歴に基づく動作選択

3.1［センサ−動作−環境］の対応付けマップの構築

以下に提案手法の概要を示す．まず，［センサ−動作−環境］の対応付けマップを以下の手順で作成する．

1. ロボットが活動する実際の環境で，その環境に適した動作を作成する．
2. 作成した動作を行っているときのセンサ出力時系列
データを蓄積する．
Figure 1: Overview and DOFs arrangement of RobovieM

2

3. 蓄積したセンサ出力時系列データを FFT によって周波数領域に写像し，その周波数スペクトルパターンと，それに対応する動作と環境の名称を関連づけて［センサ−動作−環境］の対応付けマップの要素候補とする．

Robovie-M

本稿での提案手法は，ロボットが動作時に得られるセンサ
出力の時系列データによって環境の判別をおこなう．そのため，ロボットは環境に対して多くの自由度を持つ方が，ある環境での様々な動作に対するセンサ出力を得ることができるため，環境の識別能力を高くすることができる．
また，本手法では，動作を行い失敗することを繰り返すこ

4. 既にあるマップの要素と，手順 3 の要素候補とを，動作名称と環境名称で比較し，同じものがあればセン
サ出力を平均化し，一つの要素としてまとめる．同じ
ものがなければ新しい要素としてマップに登録する．
上記の手順を，ロボットが活動するすべての環境で繰とで適した行動を選択する手法であるため，行動が失敗

り返し，マップの要素を作っていく．ここで，作成する動した際にロボットが損耗しないことと，失敗した状態か

作はロボットに求められる動作であり，与えられるタスク

ら復帰できることも重要である．

によって異なるが，移動に関する動作と，転倒状態などの本研究では，様々な動作を実現できる自由度と転倒に動作を失敗した状態から復帰するための動作は常に用い関する頑健性を持ち，転倒後の復帰動作が原理的に可能る．Fig. 2 に，この手順によってできあがるマップの概な小型ヒューマノイドロボットとして株式会社国際電気

略図を示す．

通信基礎技術研究所知能ロボティクス研究所で開発したRobovie-M(製造販売：ヴイストン株式会社) を用いる．本ロボットの全体図を Fig. 1 に示す．Robovie-M は，Fig.1に示すとおり，各脚に 6 自由度，各腕に 4 自由度，胸部に 2 自由度の合計 22 自由度を持つ小型ヒューマノイドロ
ボット（身長 290mm，重量 1.9kg）であり，各関節はすべて模型用サーボモジュールで構成されている．また，センサとしては，胸部に 2 軸加速度センサを搭載しており，ロボットの前後方向と左右方向の 2 軸の加速度を検出することができる．動作制御ボードとしては H8 CPU ボード
を胸部に搭載しており，この CPU ボードのシリアルポートを介して外部コンピュータと接続することができる．
このロボットの動作は，外部コンピュータ上の動作

3.2

環境判別木による行動選択

3.1 節で述べたマップから，環境を判別し，その環境に適した動作を選択するための環境判別木を作成する．作成す
る方法は，マップの要素となっているセンサ出力の周波数
スペクトルパターンを多次元ベクトルとして扱い，そのベ
クトルにセンサ出力に関連づけられている動作ラベルを別次元として付け加えたベクトルに基づいて，環境を決定するための決定木作成を行う．作成手法には C4.5[Quinlan,
1993]を用いる．ID3[Duda, 2001]などの別の決定木作成手法でも可能である．
作成した決定木は，以下のように使用する．
1. ロボットは，ユーザーあるいは外部プログラムからの指令により，基本動作のなかのいずれかの動作を行う．この動作は，現在の環境に適しているかどうかはわからない．

作 成 ソ フ ト “Robovie Maker” に よって ロ ボット を 動作させながらリアルタイムに作成することができ，完成 し た 動 作 は ロ ボット の CPU ボ ー ド に ダ ウ ン ロ ー
ド し て 用 い る こ と で ，外 部 コ ン ピュー タ と 接 続 せ ず

2. 動作時にセンサ情報を取得し，その時系列データを蓄積する．

に 自 立 的 に 動 作 さ せ る こ と が で き る ．ロ ボット の 動
作例はhttp://www.vstone.co.jp/top/p_info/robot/

robovie-m.html の動画に示す．動画に示されるように，転倒した際には加速度センサを用いて転倒方向を検出し，復帰動作を自動的に行うことができる．

17

3. 時系列データが 256 点以上蓄積できれば，そのデー
タをノイズ除去の後に FFT によって周波数領域に写像する．

4. 周波数スペクトルパターンを表した多次元ベクトルと動作ラベルに基づいて決定木を探索する．
5. 探索後のノードが環境を表した葉ノードである場合
は探索を終了する．ノードが葉ノードではない場合
は，決定木に従い次の動作を選択する．(2) へ．
また，例外処理として，蓄積中に転倒などで明示的に動作が失敗した場合は，選択していた動作は不適切な動作であると判断し，強制的に失敗から回復するための基本動作を選択し，上記の手順 (2) に進む．

4
Sensor-Motion-Env. Map

実験［センサ−動作−環境］対応付けマップを構築するための基礎実験として，小型ヒューマノイドロボット Robovie-M(Freq. Spectrum Pattern A)(Name of Adjusted Motion Primitive 1 for Env. A)(Name of Environment A)

による動作生成実験を行い，動作時のセンサ出力の解析を行った．本章では，実験結果を示すとともに本手法が原理的に可能であることを示す．

(Freq. Spectrum Pattern B)(Name of Adjusted Motion Primitive 1 for Env. B)(Name of Environment B)

4.1

基本動作生成Robovie-M の基本動作として，ここでは以下の 3 つの動作を生成する．

(Freq. Spectrum Pattern C)(Name of Adjusted Motion Primitive 1 for Env. C)(Name of Environment C)

1. 歩行動作
2. 仰向けの状態から脚を振り下ろす反動で起きあがる
動作(Freq. Spectrum Pattern D)(Name of Adjusted Motion Primitive 2 for Env. A)(Name of Environment A)

3. 俯せの状態から起きあがる動作
これらの動作を，条件の異なる 3 つの整地平面上で作成(Freq. Spectrum Pattern E)(Name of Adjusted Motion Primitive 2 for Env. B)(Name of Environment B)

する．整地平面の条件は，以下の通りである．

1. スポンジ（厚さ 10mm）で構成される柔軟な床面．
2. ロボカップのフィールドで使用されているカーペット（厚さ 2mm）で構成される床面．柔軟性は小さいが摩擦が大きい．

Figure 2: Outline of the Sensor-Motion-Environment
Map

3. プラスチック板で構成される床面．柔軟性はなく，摩擦が小さい．
動作の作成は，ユーザが動作作成ソフト “Robovie Maker”
を用いて行う．
実際に作成した動作を Fig.3 に示す．Fig.3(a),(b) が，それぞれスポンジの上での歩行，反動起きあがり動作を示している．基本動作にかかる時間は環境の違いによって変化はせず，1 周期の歩行が 1.7[sec]，反動起きあがり動
作が 3.3[sec]，俯せの状態から起きあがる動作 6.7[sec] となっている．スポンジの弾性は測定していないが，歩行動
作時の脚先の沈み込み量は 4mm であった．

18

歩行動作を行った際の周波数スペクトルを Fig.4 に示す．
歩行動作は 8 歩行い，280 点のデータであるため 256 点のFFT を行った．

t = 0.00

t = 0.00

t = 0.33

t = 0.66

t = 0.66

t = 1.33

t = 1.00

t = 2.00

t = 1.33

t = 2.66

Fig.5 にはスポンジ床面で，プラスチック板の床面に適した歩行動作を行った際のセンサ出力を示す．このグラ
フと，プラスチック板の床面で，プラスチック板の床面に適した歩行を行った際のセンサ出力のグラフ (Fig.4(a))，
およびスポンジ床面で，スポンジ床面に適した歩行を行った際のセンサ出力のグラフ (Fig.4(c)) を比較すると，それぞれで周波数スペクトルの分布が異なっていることがわ
かる．
Table.1 は，センサ出力の再現性と判別可能性を検討するために，各センサ出力の散らばり度合いを示した．すな
わち，3 つの環境で，3 つの環境に適した歩行動作を行った際に得られるセンサ出力の周波数スペクトルを 128 次
元のセンサ出力ベクトルとし，各環境，各動作の組み合
わせで作られるセンサ出力ベクトル 9 個の間のユークリッ
ド距離の偏差を求めた．また，環境と動作の条件を同じくして動作実験を 5 回繰り返してセンサ出力ベクトルを獲得し，そのセンサ出力ベクトル間のユークリッド距離の偏差を求めた．表からわかるように，環境と行動が同じであれば各センサ出力の再現性は高く，また条件が異なる場
合は，距離が離れるためクラスタリングは可能である．

Table 1: Standard deviations of sensor output vectors
standard deviationt = 1.66(a) Walkingt = 3.33

different conditions

0.49

same conditions (average)

0.15(b) Getting up 1
最後に，Fig.6 には，歩行動作について異なる条件で得Figure 3: Examples of motion primitives on the soft plain

られる 9 個のセンサ出力ベクトル間の距離を用いて，重心法によって作られる樹木図を示す．この樹木図から，た4.2［センサ−行動−環境］マップのためのセンサ出

とえば，スポンジ床面上で，プラスチック板上の床面に適力解析した歩行動作を行った場合と，スポンジ床面上で，カー
ペット床面に適した歩行動作を行った場合とでは，区別が上記の各環境に適した基本動作を繰り返し行い，動作中

しにくいことがわかる．この場合，歩行動作とは別の基本のセンサ出力を蓄積し，マップを構築する．ここでは，セ動作を組み合わせることで，環境に適した行動を選択す

ンサ出力として小型ヒューマノイドロボットの胸部に搭載ることが可能となる．

されている２軸加速度センサを用いて，その出力と基本動作の組み合わせで環境が識別できることを示す．
本実験では，4.1 節で述べた３種類の床面（スポンジ，

5

おわりに

カーペット，プラスチック板）上で３つの基本動作（歩行・本研究では，ロボットの行動とそのとき観測されるセンサ

仰向けからの反動起きあがり・俯せからの起きあがり）をの履歴，およびロボットが活動する環境のそれぞれが密行い，そのときのセンサ出力として加速度センサ出力を接な関わりを持っていることを利用し，ロボットが実際に20[Hz] でサンプリングした．サンプリングしたセンサ出
力は，3 点平均フィルタによって電気的・機械的なノイズを除去し，そのデータの個数にあわせた FFT によって周波数領域に変換する．各環境で，それぞれの環境に適した行動するときのセンサ情報と環境特徴のマップから，環境に適した行動を選択するための手法を提案した．また，基礎実験によって，本手法の要となるロボットの動作とセンサ情報と環境のマップが作成可能であることを示した．

19

あらかじめロボットが経験している環境であれば，本手法によって，適した動作を選択することが可能となる．
基礎実験で用意した 3 つの床面は，弾性と摩擦がそれぞれ大きく異なる環境であり，整地平面においては弾性と摩擦を考慮することで広範な環境に対処することが可能となる．今後の課題は，小型ヒューマノイドロボットへの本

1

手法の動作選択部分の実装である．

0.9
0.8
0.7
Normalized Power

謝辞
本研究は独立行政法人情報通信研究機構 (NICT) の研究委託により実施したものである．また，ヴイストン株式会
社および大阪大学石黒研究室の高山氏に謝意を表する．

0.6
0.5
0.4
0.3
0.2
0.1

参考文献

0
0

[前山, 1994] 前山, 大矢, 油田: 街路樹をランドマークとしたポジショニングによる移動ロボットの屋外走行実験, 日本機械学会ロボティクス・メカトロニクス講演会’94 講演論文集, pp. 305–308, 6, 1994.

1

2

3

4
5
6
Freq. [Hz]

7

8

9

10

(a) Freq. spectrum pattern for Walking motion
on plastic slick plain
1
0.9[Fennema, 1987] Fennema C., Hanson A., Riseman E.,
Beveridge J. and Kumar R.: Model-Directed Mobile Robot Navigation, IEEE Trans. on Sytems,
Man and Cybernetics, Vol. 20, No. 6, pp. 1978–
1984, 1987.

0.8
0.7
0.6
0.5
0.4
0.3
0.2

[Hirose, 2001] Hirose M., Haikawa Y., Takenaka T.
and Hirai K.: Development of Humanoid Robot
ASIMO, Proc. Int. Conf. on Intelligent Robots andSystems, Workshop2, 2001.

0.1
0
0

1

2

3

4

5
6
Freq. [Hz]

7

8

9

10

(b) Freq. spectrum pattern for Walking motion
on carpet plain[Quinlan, 1993] Quinlan J. R.: C4.5: Programs for Machine Learning, Morgan Kaufman, 1993.

1
0.9[Duda, 2001] Duda R. O., Hart P. E. and Stork D. G.:
Pattern Classification second edition, John Wiley& Sons, 2001.

0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
0

1

2

3

4

5
6
Freq. [Hz]

7

8

9

10

(c) Freq. spectrum pattern for Walking motion
on sponge plain

Figure 4: Examples of freq. spectrum pattern of adjusted motion primitives

20

1
0.9
0.8

Normalized Power

0.7
0.6
0.5
0.4
0.3
0.2
0.1
0

0

1

2

3

4
5
6
Freq. [Hz]

7

8

9

10

Figure 5: Freq. spectrum pattern for non-adjusted
Walking motion on sponge plain2
1.8

normalized distance

1.6
1.4
1.2
1
0.8
0.6
0.4
env.
motionsponge sponge plastic plastic carpet carpet carpet sponge plastic
plastic carpet plastic carpet sponge plastic carpet sponge sponge

Figure 6: Dendrogram of walking motions under all conditions

21

社団法人 人工知能学会

人工知能学会研究会資料

Japanese Society for
Artificial Intelligence

JSAI Technical Report
SIG-Challenge-0419-5 (5/1)

Skill Learning for a Humanoid to Pass a Ball
Masaaki Kikuchi1 , Masaki Ogino1 and Minoru Asada1,2
1

Dept. of Adaptive Machine Systems,
HANDAI Frontier Research Center,
Graduate School of Engineering, Osaka University,
Osaka, Japan
Email: {kikuchi, ogino}@er.ams.eng.osaka-u.ac.jp,
asada@ams.eng.osaka-u.ac.jp
2

is used for object recognition by active touching by theupper torso of the humanoid [1]. In these studies, the robots
have much fewer DoFs than humanoids, therefore it seems
difficult to directly apply their methods to realize various
kinds of humanoid behaviors. One solution is to decompose
a humanoid action into basic motion primitives and toacquire the sensorimotor mapping in each motion primitive.
This makes it possible for a robot to learn the sensorimotor
mapping on line because in each motion primitive therelationship between the motion parameters and the sensor
values is usually much simpler than in case of multiple
motions.
This paper presents a method of visuo-motor learningfor behavior generation of humanoids, and, as an example
task, passing a ball between two humanoids (face-to-facepass) is realized based on the sensorimotor mappings ofmotion primitives. The task is decomposed into three basic
motion modules: trapping a ball, approaching to a balland kicking a ball to the opponent. Each motion module
can be further decomposed into several motion primitives,
each of which has motion parameters to control the motion
trajectory. The sensorimotor mapping is learned as theforward and inverse relationships between these motion
parameters and optic flow information in each motion.
The acquired sensorimotor maps are used to select theappropriate motion primitive and its parameters to realize
the desired pathway or destination in the robot’s view givenby the planner.
The rest of the paper is organized as follows. Section
II introduces an overview of our proposed system. Section
III provides the details of each module for ”passin a ball”
task. Section IV shows the experimental result of the task
to use integrated modules. Finally concluding remarks are
given.

Abstract— This paper proposes a method of bahavior generation for humanoids in which a robot learns sensorimotor
maps in each motion module as the forward and inverse
relationships between optic flows in the robot’s view andmotion parameters. Humanoids use these maps to determine
appropliate motion parameters that generate a desired flow
given by a planner. Each module consists of a planner andsensorimotor maps of primitives and can accomplish a simple
task. Using a predefined module transition rule, humanoids
can accomplish a complex task. Passing a ball (face-to-facepass) between two humanoids which have different camera
lens and body parameters is realized as an example task.

I. I NTRODUCTION
Understanding the causal relationship between a selfinduced motion and changes in sensory data is essential
for a robot to move around and manipulate objects in theenvironment. This relationship can be obtained by sensorimotor mapping from the self-induced motion and theseonsory data that reflect the consequecen of the motion.
Vision is one of the typical sensations to percieve what
is going on in the external world, and has been utilized
to obtain the relationship of sensorimotor mapping. The
methods can be classified into two categories. One is a
top-down approach in which a designer constructs visionand motor systems separately and gives their relationship,that is, the sensorimotor mapping. In this approach, eachsystem is calibrated in the reference frame of the global
coordinate system [4] [5]. These methods do not consider
changes in an environment or in robot morphology (bodysize and structure, and sensor configuration). Therefore, if
such changes happen, the designer need to give anothersensorimotor mapping or to devise an adaptive model bothof which seem difficult to prepare or to build since it
seems impossible for the designer to prepare all kinds ofrelationships in advance.
On the other hand, the other approach does not calibrate each system separately, but directly correlate visual
information and motor commands. In this approach, an
optic flow has been used for mapping, because an optic
flow caused by the motion contains the information of thecausal relationship between the environmental changes andthe motion. The mapping between optic flows and motioncommands are learned for obstacle avoidance plannedby the learned forward model [2] or finding obstacles
that show different flows from the environments using
reinforcement learning [3] in wheel-based robots. Also, it

II. TASK , ROBOT, AND E NVIRONMENT
A. Robot platforms
Fig. 1 shows biped robots used in the experiments,
HOAP-1, HOAP-2, and their on-board views. HOAP-1 is480 [mm] in height and about 6 [kg] in weight. It has a
one-link torso, two four-link arms, and two six-link legs.
The other robot, HOAP-2, is a successor of HOAP-1. It
is 510 [mm] in height and about 7 [kg] in weight. It has
two more joints in neck and one more joint at waist. Bothrobots have four force sensing registors (FSRs) in each foot22

to detect reaction force from the floor and a CCD camera
with a fish-eye lens or semi-fish-eye lens.

All these basic modules need the appropriate relationships between motion parameters and the environmentchanges. For example, to trap a ball appropriately, therobots must estimate the arrival time and the position of thecoming ball. To approach to a kicking position, the robot
should know the causal relationship between the walking
parameters and the positional change of the objects in its
image. Further, to kick a ball to the opponent, the robot
must know the causal relationship between the kicking
parameters and the direction the kicked ball will go.
Moreover, basic modules to realize these behaviors
should be activated at the appropriate situations. Here,the designer determines these situations to switch the
behaviors, and we focus on the module learning based on
the optic flow information. Fig. 2 shows an overview ofthe proposed system.

%



#
$
!


=>!"%#?$!%;$&'()*+,-").(/01
<2345673893:

Fig. 1. HOAP-1 with fish-eye lens and HOAP-2 with semi-fish-eye lensThese robots detect objects in the environments bycolors. In this experiment, a ball is colored orange, andthe knees of the opponent robot are colored yellow. The
centers of these colored regions in the images are recorded
as the detected positions.

Fig. 2.

B. Visuo-motor learning
Let the motion flow vector ∆r at the position r in
the robot’s view when a robot takes a motion, a. The
relationships between them can be written,∆r = f (r , a),a = g(r , ∆r ).

(1)
(2)

The latter is useful to determine the motion parameters
after planning the motion path way in the image. However,
it is difficult to determine one motion to realize a certain
motion flow because different motion primitives can produce the same image flow by adjusting motion parameters.
So, we separate the description of the relationship between
the motion parameters in each primitive and the image flow
as follows.
ai∆r= (pi1 , . . . , pin )T = gpi (r , ∆r )ii

= f (r , a ),III. M ODULE L EARNING BASED ON O PTIC F LOWI NFORMATION
A. Ball Approaching
Approaching to a ball is the most difficult task among
the three modules because this task involves several motion
primitives each of which has parameters to be determined.
These motions yield various types of image flows depending on the values of the parameters which change
continuously. We make use of environmental image flow
patterns during various motions to approach to the ball.
We separate the description of the relationship between
the motion and the image flow into the relationship between
the motion primitive and the image flow, and the relationship between the motion parameters in each primitive andthe image flow (Fig. 3), as follows:

(3)
(4)

ai is a motion parameter vector of the i-th motion primitive. We use neural networks to learn these relationships.
C. Task and Assumptions”Face-to-face pass” can be decomposed into following
three modules:
1) approaching to a ball to kick,2) kicking a ball to the opponent, and3) trapping a ball which is coming to the player

A system overview

miai= gm (r , ∆r ),= (pi1 , pi2 )T = gpi (r , ∆r ),

(5)
(6)

∆r

= f i (r , a i ),(7)

where mi is an index of the i-th motion primitive and ai =(pi1 , pi2 )T is the motion parameter vector of the i-th motion
primitive. In this study, the motion primitives related to thismodule consists of 6 primitives; forward walk (left andright), curve walk (left and right), and side step (left andright). Each of the primitives has two parameters whichhave real values, as shown in Fig. 4.

23

234156,781234

#
"





!


$
%





















'
&
/*+,-.0 /156()'9:.78:<;.+8

Fig. 5.

Fig. 3.

An overview of the approaching module

Given the desired motion pathway in the robot’s view,
we can select appropriate primitive by gm , and determine
the motion parameters of the selected motion primitive by
gpi based on the learned relationships among the primitives,
their parameters, and flows. If the desired image flow yields
several motion primitives, the preferred motion primitive isdetermined by an evaluation function.

Fig. 6.

p1

p2

Fig. 4.

curve walk(left , right)

p2

side step(left , right)

p1

forward walk (left)curve walk (left)

side step (left)

forward walk (right)

curve walk (right)

side step (right)

Distribution of motion primitives on the SOM of optic flows

primitive and the image flow, f i , gpi , are realized by a simple neural network. The neural network in each primitiveis trained so that it outputs the motion parameters when
the flow vector and the positional vector in the image are
input.
plannning and evaluation function: In this study, thedesired optic flows in the robot’s view for the ball andthe receiver, s ball , s re , are determined as vectors fromthe current position of a ball to the desired position(kicking position) in the robot’s view, and as the horizontal
vector from the current position to the vertical center line,
respectively. The next desired optic flow of a ball to berealized, s̃ ball , is calculated based on these desired optic
flows,

primitives
forward walk(left , right)

An example of an optic flow in the robot’s view

p2

p1

Motion primitives and parameters for approaching

Images are recorded every step and the image flow is
calculated by block matching between the current image
and the previous one. The templates for calculating flows
are 24 blocks in one image as shown in Fig. 5.
gm : All of the data sets of the flow and its positional
vector in the image, (r , ∆r ), are classified by the selforganizing map (SOM), which consists of 225 (15×15)
representational vectors. After organizing, the indices of
motion primitives are attributed to each representational
vector. Fig. 6 shows the classified image vector (the figure
at the left side) and the distribution of each primitive in
SOM. This SOM outputs the index of appropriate motion
primitive so that the desired flow vector in the image isrealized.
f i , gpi : The forward and inverse functions that correlates
the relationship between the motion parameters in eachnsteps̃ ball= ks ball k/∆rmax ,= s ball /nstep ,

(8)
(9)

where ∆rmax is the maximum length of the experienced
optic flow. This reference vector is input to the primitive
selector, gm , and the candidate primitives which can output
the reference vector are activated. The motion parametersof the selected primitive are determined by the function gpi ,a i = gpi (r ball , s̃ ball ),(10)where r ball is the current ball position in the robot’s view.
When the primitive selector outputs several candidates ofprimitives, the evaluation function depending on the task,
V (mi ), determines the preferred primitive. In this study,
robots have to not only approach to a ball but also take an24

appropriate position to kick a ball to the other. For that,
we set the evaluation function as follows,
V (mi )
P= ks̃ ball − f i (r ball , a i )k+kksre − nstep f i (r re , a i )k,=arg min V (mi )The kicking parameter is the hip joint angle shownin Fig. 9 (a). A quick motion like kicking changes its
dynamics depending on its motion parameter. The sensor
feedback from the floor reaction force sensors is used forstabilizing the kicking motion. The displacement of theposition of the center of pressure (CoP) in the support
leg is used as feedback to the angle of the ankle jointof the support leg (see Fig. 9(b)). ,Fig. 9 (c) shows theeffectiveness of the stabilization of the kicking motion.

(11)

i∈primitives

where k is the constant value, r re is the current positionof the receiver in the robot’s view, and P is the selected
primitive.
Fig. 7 shows experimental results of approaching to aball. A robot successfully approach to a ball so that the
hypothetical opponent (a poll) comes in front of it.

x

threshold

ǰ

COP
θ4−∆θ
y

θ4

(a) Kick parameter(b) An overview of stabilization ofkick motion
0

position of Cop [mm]position of Cop [mm]

0
-5
-10
-15
-20
-25

feedback threshold

-5
-10
-15
-20
-25

-30
0

1

2

3

4

5

time [sec]without feedback

6

7

8

-30
0

1

2

3

4

5

6

7

8

time [sec]with feedback(c) The trajectories of CoP of the support leg during kicking
motionFig. 7.

Experimental results of approaching to a ball!"%#&$'()*+,-




Fig. 9.

The parameter and the stabilization of kicking

The initial ball position and the parameter of the kicking
motion affects sensitively the ball trace in the robot’s view.
To describe the relationship among them, we use a neuralnetwork, which is trained in the environment where the poll
(10 [cm]) is put about 1 [m] in front of the robot (Fig. 10(a)). The trace of the ball (the effects of the self motion issubtracted) is recorded every 100 [msec], and the weights
in the neural network are updated every one trial. Fig. 10(b) shows the time course of error distance between target
poll position and kicked ball in the robot’s view. It showsthat the error is reduced rapidly within 20 [pixel], which isthe same size of the width of the target poll. Fig. 11 shows
the kicking performance of the robot.

B. Ball Kicking to the Opponent

It is necessary for the robots to kick a ball to the receiververy precisely because they cannot sidestep quickly. We
correlate the parameter of kicking motion with the trace of
the kicked ball in the robot’s view so that they can kick toeach other precisely. Fig. 8 shows a proposed controller
for kicking.

C. Ball Trapping

Fig. 8.

Fig. 12 shows an overview of trapping module. Robots
learn the relationship between the position of the footin robot’s view and the trap parameter which affects the
position of the foot, to acquire the skill to trap a comingball.
Fig. 14 shows the trapping motion by HOAP-2 acquiredby the method described below. In order to realized such a

The system for kicking module25

Fig. 11.

An experimental result of kicking a ball to the pollmotion, the robot has to predict the position and the arrival
time of a ball from its optic flow captured in the robot view.
For that purpose, we use a neural network which learns thecausal relationship between the position and an optic flowof the ball in visual image of a robot and the arrival position
and time of the coming ball. This neural network is trainedby the data in which a ball is thrown to a robot from thevarious positions. Fig. 13 shows several prediction resultsof the neural network after learning. ∆x [pixel] and ∆t[sec] indicates the errors of the arrival position and thetime predicted at each point (every 0.3[sec]) in the robot’sview. T denotes a duration of the ball rolling. Based on
this neural network, the robots can activate the trapping
motion primitive with the appropriate leg (right or left) at
the appropriate timing (Fig. 14).

100

poll zone

300

1000

40
100
ball zone

80

stand position

40
trial 1
trial 2
trial 360(a) The environmental setting

x=16
t=0.19x=2
t=0.29T=1.4580

distance of poll and ball in robot’s view [pixel]

x=1
t=0.12x=0
t=0.01

100

140

x=4
t=0.02

T=0.96x=3
t=0.03

120

120

x=6
t=0.06x=1
t=0.01x=2
t=0.01

140

100

80

Fig. 13.

80

100

120

140

160

180

200

220

240

The prediction of the position and time of a coming ball60
40&'%()+,-./012,3




!











5
4
6
789:;#7<
"





$=>?
@A*

IV. I NTEGRATION OF THE M ODULES FOR
FACE - TO - FACE PASS

20
0

0

5

10

15

20
25
trial number

30

35

40

45

(b) The error of learning kicking

Fig. 10.

T=1.43x=3
t=0.01

To realize passing a ball between two humanoids, thebasic modules described in the previous sections are integrated by a simple rule as shown in Fig. 15.

The environmental setting and the learning curve for kicking

Fig. 12.

An overview of trapping module

kick
if the ball isin front of footif kicked the ball
if missed kickapproachwait

if the ball is notin front of footif the ballmoving here

trap
Fig. 15.

The rule for integrating motion modules

Fig. 16 shows the experimental result. Two humanoids
with different body and different camera lens realize theappropriate motions for passing a ball to each other based26

Fig. 14.

Fig. 16.

An experimantal result of a trapping module

An experimental result of passes between two humanoids

on their own sensorimotor mapping. The passing lasts morethan 3 times.
V. C ONCLUSIONSIn this paper, the robots learn the sensorimotor mapping
between optic flow information and motion parameters.
Acquiring basic modules for passing a ball is achieved
using the sensorimotor mapping. In each module, optic
flow information is correlated with the motion parameters.
Through this correlation, a humanoid robot can obtain thesensorimotor mapping to realize the desired modules. The
experimental results show that a simple neural network
quickly learns and models well the relationship between
optic flow information and motion parameters of eachmotion primitive. However, there remain the harder problems we skip in this paper. First is module decomposition
problem, that is how to determine what are the basic
modules for the given task. Second is planning, that is
how to organize each motion primitive to achieve the giventask. In this paper, we assume module decomposition andplanning are given in advance. Combining the learning ineach module level with that in higher level is our futureissue.

[2] K. F. MacDorman, K. Tatani, Y. Miyazaki, M. Koeda and Y.
Nakamura. Protosymbol emergence based on embodiment: Robot
experiments, In Proc. of the IEEE Int. Conf. on Robotics andAutomation, pp. 1968–1974, 2001.
[3] T. Nakamura and M. Asada. Motion Sketch: Acquisition of Visual
Motion Guided Behaviors. In Proc. of Int. Joint Conf. on Artificial
Intelligence, pp. 126–132, 1995.
[4] K. Nishiwaki, S. Kagami, J. Kuffner, M. Inaba and H. Inoue,
Walking Control System of a Humanoid for Tracking a Moving
Object with Estimate of the Target Motion, In Proc. of 3rd IEEE
Int. Conf. on Humanoid Robots, 2003.
[5] J. F. Seara, K. Strobl, and G. Schmidt. Information Management
for Gaze Control in Vision Guided Biped Walking, In Proceedingsof the IEEE/RSJ International Conference on Intelligent Robots
and Systems, pp. 31–36, Lausanne, Switzerland, October 2002.

R EFERENCES[1] P. Fitzpatrick. First Contact: an Active Vision Approach to
Segmentation, In Proc. of IEEE/RSJ Int. Conf. on Intelligent
Robots and Systems, pp. 2161–2166, 2003.

27

c 2004°

Special Interest Group on AI Challenges
Japanese Society for Artificial Intelligence
社団法人 人工知能学会 AI チャレンジ研究会〒 162 東京都新宿区津久戸町 4-7 OS ビル 402 号室 03-5261-3401 Fax: 03-5261-3402(本研究会についてのお問い合わせは下記にお願いします.)AI チャレンジ研究会
主査
奥乃 博
京都大学大学院 情報学研究科
知能情報学専攻 音声メディア分野〒 606-8501 京都市左京区吉田本町
Tel: 075-753-5376
Fax: 075-753-5977
okuno@nue.org

Executive Committee
Chair
Hiroshi G. Okuno
Dept. of Intelligence Science andTechnology, Graduate School ofInformatics, Kyoto University
Yoshida-honmachi Sakyo-ku,
Kyoto, 606-8501, JAPAN

担当幹事
浅田 稔, 光永 法明
大阪大学大学院 工学研究科
知能・機能創成工学専攻 創発ロボット工学講座〒 565-0871 大阪府吹田市山田丘 2-1
Tel: 06-6879-7349
Fax: 06-6879-7348{asada,mitchy}@ams.eng.osaka-u.ac.jp

Secretary in Charge
Minoru Asada andNoriaki Mitsunaga
Dept. of Adaptive Machine Systems
Graduate School of Engineering
Osaka University
2-1 Yamada-oka, Suita,
Osaka 565-0871, JAPANSIG-AI-Challenges web page; http://winnie.kuis.kyoto-u.ac.jp/SIG-Challenge/