計測自動制御学会東北支部 40 周年記念学術講演会
2004 年 12 月 22 日，23 日 日本大学工学部

講演番号：C03

高速軌道予測に基づく捕球ロボットシステム○佐々木 明夫

張山 昌論

亀山 充隆（東北大学）

Ball-Catching Robot System Based on High-Speed Trajectory Prediction*Akio Sasaki, Masanori Hariyama, Michitaka Kameyama (Tohoku University)
Abstract−We consider system integration of a catching-ball robot as a typical example of real-world applications.
Robot manipulator movement is usually slower than ball one. Therefore prediction of a ball trajectory is essential
for a robot manipulator to approach a catching position in advance. The prediction and the movement are repeatedwith a sampling period. This paper presents a new method to obtain successful catching conditions.
Key Words: Intelligent Integrated system, Ball-Catching Robot, Trajectory Prediction,

1. まえがき

め、予測誤差も大きい。サンプリング周期⊿T 毎に、リアルワールド応用知能集積システムにおいて、予測の更新を繰返すことにより、時間経過とともに機械的動作が遅い場合、予測が重要な基礎技術とな予測精度が向上するので、捕球を成功させることがり、予測に基づくリアルワールド応用の具体例としできる。本稿では、捕球ロボットシステムがその目て、捕球ロボットシステムの構築法を考案している。

的を達成するのに必要なサンプリング周期⊿T の決

捕球ロボットシステムとは、投げたボールの 3 次元定方法を述べている。⊿T が小さいほど、高速に予位置を 2 台のカメラで計測しながら、ロボットの手測処理を行うことを表している。本稿では、汎用の先を捕球位置に移動して捕球するものである。ロボ装置を用いた捕球ロボットシステムを構築し、動作ットの機械的な移動速度がボールの移動速度と比実験を行った結果を示す。

べてかなり遅い場合、ボールが捕球位置に飛来し、2. 捕球ロボットのシステムインテグレーション[1][2]

正確な捕球位置が分かった時点でロボットの手先

Fig.1 に示すように、リアルワールド応用知能集を移動しても、捕球に間に合わないという問題が生積システムでは、リアルワールドの状態をセンシンじる。このため、予測を行い、ロボットの手先を早グし、その計測データを用いて予測が行われる。リい時点で先回りさせる予測アルゴリズムが必要に

アルワールド応用では、計測値にも予測値にも誤差なる。

が含まれるため、このことを十分考慮したシステム

本稿では、ロボットの機械的移動速度が遅い場合インテグレーションが重要である。リアルワールド

であっても、予測によってカバーすることにより、捕球を可能とする高速軌道予測システムを構築し信号処理では、Fig.2 に示すようにサンプリング周期ΔT 毎に同一処理を繰返す。ている。移動速度を予測によってカバーするには、ボールの軌道予測を行い、捕球すべき地点の予測位

システムインテグレーションの例として Fig.3 に示すような捕球ロボットシステムを考える。システ

置を、できるだけ早い時点で、しかも、なるべく高ムでは、ボールの 3 次元座標をステレオビジョンにい精度で、得るようにすることが重要である。予測より計測し、軌道予測を行う。予測軌道に基づきロを早い時点で得ることにより、ロボットが動作するボットを制御し、捕球を行う。議論を簡単にするた

時間的な余裕が大きくなる。高い精度の予測を得る

めマニピュレータは y 軸上を移動する 1 自由度とすには、処理を高速化し、位置時系列のデータ数を増る。

やす必要がある。早い時点では、ボールが遠くにあマニピュレータの動作速度はボールの速度よりるため計測誤差が大きく、データの点数が少ないた53

ステップ 1：ステレオビジョンによりボールの 3 次

Computer World

Predicted
values
Prediction
予測

元座標を求める。

Processing(Planning)

ステップ 2：現在までに取得されたボール座標を用いて、最小二乗法により放物線軌道予測を行う。

ControlMeasurement

ステップ 3：ボールの到来する予測位置を計算し、それをハンド位置の目標としてコントローラに与Actuation

Sensingえる。
捕球成功のためにハンド位置が満たすべき条件

Statesを考える。ボールは、時刻 t=0 に距離 Z の位置からReal Worldマニピュレータに向けて投げられ、時刻 t=T におい

Fig. 1 Signal flow in real-world
applications.て y 軸上に到達する。時刻 t におけるハンド位置をInput

ボール到来位置の時刻 t における予測値を b(t),真Input

ΔT

Input

ΔT
ΔTp(t),マニピュレータの移動速度を V とする。
また、ΔTのボール到来位置を B とする。
Fig.4 に示すように、ボールが y 軸上に到達した

ΔT

Output Output Output

時に、ボールがハンド中心から距離 M（捕球マージ

Fig. 2 Real-world signal
processing with a sampling
period ⊿T.

ン）内にあれば捕球は成功する。捕球成功のためのハンド位置の条件は、次式で与えられる。
｜p(T)‑B￨≦M遅いので、捕球を成功させるために、ボールの予測この条件が満たされるように時刻をさかのぼっ到来位置の方向にあらかじめ動いておく。時刻が早いときは予測軌道は、次の理由で大きな誤差を含む。ていくと、時刻 t における捕球成功のためのハンド位置に関する必要条件は次式で与えられる。

・ボールがカメラから離れているため、計測誤差｜p(T)‑B￨≦M +V(T‑t)

が大きい。

この条件は、ハンドが真のボール到来位置から残り・取得されたボール位置の点数が少ないため、予時間で移動可能な距離以内に存在しなければ、捕球測誤差が小さい。

できないことを意味している。

これらの問題を考慮しながら、捕球ロボットシス

次に、捕球成功のためにボールの到来位置の時刻

テムでは、以下の処理をサンプリング間隔⊿T 毎にt における予測誤差 e(t)が満たすべき条件を考える。

繰返す。

制御方式としては、ボールの予測到来位置にハンドを動かす。すなわち、次B
t=2ΔTt=ΔTt=0

Real Arrivalposition

MarginMe(t) Erroryb(t)Predicted value
at time t for thearrval positionp(t)Hand position
at time tz
Robotmanipulator

Fig. 3 Model of a ballcatching robot system.

Bp(t)

M

式のように、時刻 t でのボール予測位置が時刻 t+⊿T でのハンドの位置になるように制御する。これは次式で表される。
p(t+⊿T)=b(t)Fig. 4 Condition forsuccessful catch.

54

したがって、誤差 e(t)を次式のように

3. 捕球ロボットシステムの構築[3]変形できる。
e(t)=￨b(t)‑B￨=￨p(t+⊿T)‑B￨

予測処理に基づく捕球ロボットシステムのアル

ここで、時刻 t における捕球成功のためのハンド位ゴリズムを検証するため、Fig.6 に示すような基礎置に関する必要条件より実験システムを構築した。便宜上、市販の動画像処￨p(t+⊿T)‑B￨≦M+V(T‑t‑⊿T)

理ボード(Imap‑Vision)と汎用のロボットマニピュ以上の条件を考慮しながら、捕球成功を保証できレータ(三菱重工製 PA‑10)を用いている。

るようなサンプリング周期⊿T の求め方は、文献[1]と[2]に述べられている。
ロボットの機械的な移動速度をカバーするには、最初の予測を早い時点で出力する必要がある。Fig.5
では、ボールを投げてから、ハンドにボールが到来するまでのシステムの時間的な動作を示している。

Fig. 6 Experimental system.

ボール軌道予測に必要な最小データ数を N とすれば、データ取得時間 Tw=N・⊿T 後に、最初の予測Startが出力される。この時点で、ハンドは初期位置 S かStereo vision

ら目標に移動し始める。ハンドの移動開始からボーInput Image

ル到来までの時間 Tm=T−Tw が動作時間となり、Ball extraction

この時間内でハンドを目標に移動させなければなら

Computation of a 3-D
positionない。⊿T が大きいと動作時間が短くなり、太い実

CameraBall trajectory prediction

線で示すように、動作時間内で目標に移動できないため、捕球に間に合わない。このため、軌道予測処

Hand planning

Ball

理を高速化し、⊿T を小さくすることにより、実線を点線の位置までシフトさせる必要がある。これにより、ハンドが早い時点で移動を開始できるので、動作時間が長くなり、捕球が間に合うようになる。

Planning

Trajectory prediction
based on the leastsquares method

Inverse Coordinate
Transformation

Catching surface

Manipulator control

Fig. 7 Operation of the ball-catchingrobot system.
捕球ロボットシステムは、Fig.7 に示すように軌Real Arrival
position B

道予測処理と捕球処理を周期⊿T で繰り返す。これ
により、ロボットを早い時点で先回り動作させると

y-axis

ともに、時間経過とともに予測精度を向上させる。

ShiftSmall ⊿T

3.1 軌道予測処理
軌道予測処理では、システム構成の中の画像入力、Hand initial
position S

Arrival timeT⊿T
Waiting time

ボール抽出、3 次元位置計算、ボール軌道予測を行う。これらの中で、ボール抽出処理は、画像データ

Hand movement time

Time Tmを扱うため、もっとも処理量が多く、計算に時間がFig. 5 Time sequence of theball-catching robot system.

かかる。このため、ボール抽出の手法として、アルTw

55

ゴリズムが簡単で、比較的処理量が小さい 2 値化・Fig.8 に示す。最初に交点 1 を計算し、次に交点 2重心検出手法を用いることにより、処理時間を短縮を計算する。動作させる 4 関節を q1,q2,q5,q6 とししている。この手法は、色の情報を利用しているのているので、q6 の動作範囲は、q1 と q2 の回転に依で、背景にボール色が存在すると使えないという欠存した球面になる。この球面とボール軌道から交点点がある。処理時間が短いアルゴリズムを採用し、1 を求める。次に、ボール軌道と捕球面から交点２市販の動画像処理アクセラレータを用いることによを求める。交点 1 と交点 2 の目標位置を逆変換し、り、高速な軌道予測処理を実現している。

目標関節角を求める。目標関節角をロボットのコン固定カメラによるステレオビジョンでは、カメラトローラに送り、ロボットを制御する。の視野が狭いため、ボールが視野から外れると、ボ4. まとめール抽出ができなくなるという問題がある。このたボール抽出処理における 2 値化・重心検出手法は、め、カメラを回転させ、ボールの動きに合わせて視背景の色や照明の変化による影響を受けやすいため、野を変えることができるアクティブステレオビジョ

信頼性の高いボール抽出アルゴリズムが必要である。

ンの検討を行っている。これにより、画像の解像度ボール抽出精度の信頼性を高めるため、ボールの形を上がるので、ボール抽出精度と計測精度が向上す状と大きさを表すテンプレートを用意し、最も近いると考えられる。

形状と大きさをもつ領域をボール領域とするテンプ

3.2 捕球処理

レートマッチングアルゴリズムも検討している。こ

手先のプラニングでは、Fig.7 で示したようにロのアルゴリズムは、様々な大きさを持つボール画像ボット手先の動作範囲を球面に限定する。この球面のテンプレートと、画像の全ての候補ウインドウとを捕球面と定義し、手先を捕球面から離れないようのマッチングを取るため、計算量が膨大になる。こに制御する。ロボットの目標位置は、ボール軌道とのため、FPGA などによるボール抽出アクセラレータ捕球面の交点として得られ、これを捕球位置と定義の開発が必要となる [4][5]。

する。ロボットは、回転関節で構成されているので、文献

手先を球面上で動かす方が、スムーズで俊敏な動作[1]亀山,"個性の輝くコミュニケーション ―２１世紀への夢―",東北大学出版会,pp.126‑154(2001).

が可能である。捕球性能を向上させるには、手先の[2]亀山、張山,"リアルワールド応用知能集積システムの姿勢をボールの飛来方向に向ける必要がある。動作

展望",計測と制御,第 40 巻,12 号,pp.841‑847(2001).

範囲を限定しているため、手先の位置と姿勢を制御[3]佐々木,張山,亀山,"軌道予測に基づく捕球ロボットのするには、最低 4 自由度で制御でき、その方法を動作実験",電気関係学会東北支部連合大会,2A23,p.37,(2002).
[4]佐々木,風間,張山,亀山,"捕球ロボットシステム用ボ

Catching surface

ール抽出アクセラレータの構成",電気関係学会東北Surface where thejoint q6 moves

Ball trajectory

支部連合大会,2E2,p.179(2000).
[5]風間,佐々木,張山,亀山,"ボール軌道予測アクセラ

Point ofintersection 2

q6

レータを用いた捕球ロボットシステム",計測自動制御

q5

学会東北支部,第 192 回研究集会,192‑5,pp.1‑10,

Point ofintersection 1(2000).
q2
q1

Fig. 8 Hand planning.

56