䣔䣕䣌䢴䢲䢲䢻䣃䣅䢳䣎䢳䢯䢲䢶

運動学習と動作計画に基づいたロボットの身体と対象物表現の獲得○浅水喬大 (東京農工大学) 小林祐一 (東京農工大学，理研 RTC)

Acquisition of Body and Object Representation Based on Motion Learning and Planning
Framework*Takahiro Asamizu (Tokyo University of Agriculture and Technology), Yuichi Kobayashi (TokyoUniversity of Agriculture and Technology, RIKEN RTC)
Abstract— Vision information processing is important for robots that act in human-interactive environments. In thispaper, we propose to acquire visual representation of body and object that is suitable for motion learning in a bottom-up
manner. The difference processing and SOM are used to compose the state space based on the information extracted
the object and the body of the robots from vision information. Motion of the robot is planned based on reachable set.
Effectiveness of the proposed method by experiment of pushing manipulation with an arm robot is shown.
Key Words: motion planning, autonomous feature extraction, reachable set, SOM, reinforcement learning

1. はじめに人間の活動する空間の様に，多様に状況変化する世界でロボットが活動するには，様々な課題がある．その課題の一つに，視覚情報の処理能力の向上が挙げられる．視覚情報は，対象物や障害物など様々な情報を含んでいる．この様々な情報を含む視覚情報において，ロボットの汎用性を向上させるためには，対象物や障害物に対して色・形状など対象に特化した画像処理を行わずに，対象物や障害物を識別する必要がある．近年の画像処理の分野では，対象に特化しない画像処理法として，一般物体認識が研究されている．これは，あらかじめ様々なデータを用意し，未知の画像に含まれる対象物がどのデータのクラスに存在するか対応付けすることで対象物の判別を行う [1]．しかし，これらの研究は未知の画像から対象を抽出することを中心に扱っており，ロボットの動作生成に結びつけていない．
ロボットの動作生成を行う際，ロボットは対象物や障害物などの情報だけではなく，ロボットの身体に関する情報の獲得が重要である．ロボットが自己の身体に関する情報を獲得することは，人間と同じ空間で活動するために必要な要素の一つである．人間が活動する空間では，環境の変化が多いため，ロボットの色・形状などの身体に関する情報も，設計者が教示することなく，ロボットが自律的に獲得することが望ましい．
これに対し，対象やロボットの身体に関する情報に特化した画像処理を行わずに，対象やロボットの身体に関する情報を獲得し，獲得した情報をもとにロボットが動作生成をする研究がなされている．Fitzpatrick etal. は，画像からロボットアームと対象物を抽出し，ロボットに，ロボットアームの押し操作により対象物が移動する方向を学習させる手法を提案した [2]．この研究では，設計者が対象物の形状・大きさなどを教示することなく，ロボットの行動により自律的に対象物を抽出することを実現した．また，Hikita et al. は，saliencymap と SOM をもとに，ロボットが自律的に視覚と手先位置の関係を獲得するための手法を提案している [3]．
ここで，saliency map とは，多様な特徴量を統合して注目する領域を得るものである [4]．Ridge et al. は対象物➨䢴䢹ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢲䢻ᖺ䢻᭶䢳䢷᪥ࠥ䢳䢹᪥凛の種類の判別をロボットアームの押し操作により獲得する手法を提案している [5]．この研究では，対象物をロボットアームにより押し，対象物の視覚上での動き方を抽出することで，対象物のアフォーダンスを獲得している．このアフォーダンスを SOM に学習させることで，対象物をロボットアームで押すだけで，対象物の形状を判別し，対象物をテーブルの上に保持し続けることを実現した．これらの研究では，対象やロボットの身体に対して特定の画像処理を行わずに，獲得した情報をもとにロボットが動作生成しているが，獲得した情報の動作計画への適用が論じられていない．
そこで，本研究は関連研究のように視覚情報から対象物やロボットの身体に関する情報を抽出し，その抽出した情報をもとに状態空間を構成する．本研究では，可到達集合という考えを導入することで，対象に特化した画像処理や知識を利用せずにロボットの動作計画を行う手法を提案する．これにより，関連研究では行われていなかった物体認識と動作生成の統合を行い，ボトムアップな視覚認識と複雑な動作生成を結びつけるための方法を提案する．ロボットに行わせるタスクとしては，ロボットアームの押し操作により対象物を目標の位置まで移動させる問題を扱う．

2. 問題設定
本研究では視覚 (固定カメラ)，対象物，ロボットアームからなるシステムを利用する．また，アームは 2 次
元平面での行動のみとし，障害物と接触して動けない状況は検知できるとする．ロボットアームが利用しない情報を以下に示す．

• 対象物とロボットアームの色・形状・大きさに関する情報• 視覚情報における背景，対象物，障害物の区別• 視覚情報におけるロボットアームの押し操作による対象物の動き方
本研究の利点は，ロボットが利用する情報を最小限にした問題の中から，ロボットが自律的にタスクに必要な情報を獲得する点である．
視覚上でロボットアームと対象物を抽出するために䣔䣕䣌䢴䢲䢲䢻䣃䣅䢳䣎䢳䢯䢲䢶
θt1

θt2

(a) Subtraction image between t1 and t 2
robot arm

Index of object reachable set

θt2

θ t1

(a) Subtraction image between t and t 21

objectimmobile(a) Image of t 1np
θ

andkIndex of SOM(b) Result of difference process(b) Result of difference processFig.1 アームの抽出

Fig.2 対象物の抽出は動きを抽出する．この動きを抽出する際に，本研究では画像処理の差分法を利用する．本問題設定は，差分が抽出しやすいテクスチャを対象物に利用している．
このため，差分法により抽出できないようなテクスチャの場合は，本提案手法は適用することができない．また，対象物は剛体とし，姿勢は変化しないと仮定する．

3. 動作計画に利用する画像データ
本研究のタスクを実行するための本提案手法の処理の流れを以下に挙げる．

1. Fig.1 のようにロボットアームが動作したとき，視覚上で動いたものとしてロボットアームを抽出する．
2. Fig.2 のようにロボットアームの手先がある物体と接触し，視覚上でロボットの身体以外で動くものがあった場合その動きを抽出することで対象物を抽出し，Fig.3 のようにロボットの身体が動かなくなった場合は，ロボットアームの手先が障害物 (床やテーブルなど) に接触していると判別され，その時のロボットアームの関節角度が記憶される．
3. ロボットアームの手先と対象物との接触により対象物が動いた場合，ロボットアームの関節角度とその状態の画像を記憶し，可到達集合を生成する．
4. 可到達集合を用いて，ロボットアームによる対象物押し操作の際の経路計画と動作生成を行う．
上記の要素をもとに，タスクの達成のために利用するデータ集合を生成する．これらを以下に挙げる．
Robot body image
あらかじめロボットアームの姿勢を様々に変化させ，その時の画像とロボットアームの関節角度情報を保持したデータ集合.
Object image map
対象物を抽出した画像データを SOM に学習させ，SOM に対象物の位置情報を保持させたマップ.
Obstacle joint angle set
ロボットアームの手先がある物体に接触した時に，接触によりロボットアームが動かなくなった際の，画像と関節角度情報を保持したデータ集合.
Object reachable set
ロボットアームと対象物の接触による対象物の到達位置情報 (SOM のノード番号で識別) と，対象物とロボットアームの接触の関節角度情報を学習した可到達集合．
本提案手法ではこれらのデータ集合を利用し，2 種類のフェーズに分けることで，本研究におけるタスクを実行している．1 つ目は，Object reachable set を利用することで，ロボットアームの手先を初期状態から，対象物を押すための位置まで移動するフェーズである．この時 Obstacle joint angles set により，障害物回避を行➨䢴䢹ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢲䢻ᖺ䢻᭶䢳䢷᪥ࠥ䢳䢹᪥凛(b) contact with the obstacle
Fig.3 障害物の抽出

The first data

The last data

Fig.4 可到達集合う．2 つ目は，Object reachable set を利用することで，対象物を目標位置までロボットアームの押し操作により移動させるフェーズである．

3·1 Object image map
差分処理などの画像処理を行うことで，対象物のみを抽出した画像を生成し，ロボットアームの行動学習において対象物の状態表現を構成するのに用いる．対象物を抽出する手法は以下の通りであり，以下の操作を規定回数行うことにより，対象物のみを抽出した画像を複数枚用意する．
1. ロボットアームを動かし対象物を探索し，対象物に接触した時刻を t とし，画像 I(t) を撮影する．画
像 I(t) に対して，I(t − 1) と I(t + 1) との差分処理を行い，2 枚の差分画像を生成する．画像 I(t − 1)，I(t)，I(t + 1) は，それぞれ対象物の位置が異なる画像である．同時に関節角度 θ(t) も保持する．ここで，θ = [θ1 , θ2 , θ3 ]T である．
2. 生成した 2 枚の差分画像で論理積をとることで，時刻 t の対象物とロボットアームを抽出した画像を生成する．
3. 2. で得た画像と時刻 t の関節角度に対応する Robot
body image の画像との間で画素同士の排他的論理和をとり，ロボットアームの身体像を削除することで，対象物のみを抽出した画像を生成する．
対象物を探索する際，対象物に接触するまでは，ロボットアームはランダムに動き，対象物に接触後はランダムに動くことをやめ，対象物に接触した付近を手先が移動するように関節角度を変移する．この複数枚用意した画像を利用して，i 番目の重みベクトルが Wi ∈RN (i = 1, ..., l) である SOM を生成する．ここで，Nは画像の画素数である．
3·2 Obstacle joint angle set
対象物の位置を様々に変化させ，ロボットアームをランダムに動かし，力覚センサにより障害物と判別された時に撮影した画像とその時のロボットアームの関節角度を保持させたデータ集合である．Obstacle jointangles set を O とすると，次式により [θ(t)T , I(t)T ]Tのデータ組を更新する．
O ← O ∪ {[θ(t)T , I(t)T ]T }(1)
これらのデータをもとに，ロボットアームと障害物の衝突回避に関する報酬を構成する．

3·3 Object reachable set
可到達集合はロボットアームの姿勢を様々に変化させ，対象物が移動した時の画像を保持しており，対象物を目標位置まで移動させるために利用する．また，θと画像に対応する SOM のノード番号 k も保持させるi䣔䣕䣌䢴䢲䢲䢻䣃䣅䢳䣎䢳䢯䢲䢶robot arm

robot

robot arm

[θ1 ,θ 2 , θ 3 ]objectobjectI (t )

objectk goal

Wk Object reachable set

robot arm

Ο

object∆θrobot

I (t )

I goalSOM

L1 , L 2 , K, L n L p*（phase1）
robot armQ ( s, a )W1 , W2 , K , Wl

ktabletable

reinforcement learnings (t )θsubgoal r1

θobstacle r2table

ことで，可到達集合 L を生成する．L を次式のように定義する． "#θ(t) θ(t + 1) · · · θ(t + mn )Ln =(2)k(t) k(t + 1) · · · k(t + mn )ここで，n は可到達集合のデータ番号であり，m は時刻 t から，対象物をある時間ステップの間移動させたときの時刻を表す．k は SOM のインデックス変数であり，次式で定義される．
k(t) = argmin ∥Wi − I(t)∥(3)i

この可到達集合には，対象物のある接触状態から，ある距離まで対象物を移動した時の一連の動作の画像系列を一つのデータとして保持している．このデータに，以下の更新式を利用することで可到達集合を形成する．

L ← L ∪ {Ln }(4)

可到達集合の様子を Fig.4 に示す．Fig.4 の矢印は，始端データ (the first data) から終端データ (the last data) までの時間の流れを表している．またこの矢印は 1 方向のみに遷移可能であるということも示している．即ち，始端データから終端データに向かっては遷移可能であるが，始端データから終端データに向かっては遷移不可能である．

3·4 動作生成 (Online)
本研究のタスクを達成する際に，ロボットアームには，2 種類の動作生成を行う必要がある．1 つ目は，Fig.5 の（phase1）のようにロボットアームが初期姿勢から対象物の押し操作が可能になる姿勢までロボットアームの手先を移動するための経路計画と動作生成である．この経路計画を行う際，ロボットアームが行動を自律的に獲得するために強化学習を利用する．2 つ目は，Fig.5の（phase2）のように対象物を目標位置までロボットアームの押し操作により移動するためのロボットアームの動作生成である．この 2 種類の phase を切り替える条件は，対象物の押し操作が可能となる関節角度までロボットアームの関節角度が変移することである．
3·4.1 Phase1:ロボットアームの手先のリーチング
Fig.6 に phase1 の処理の流れを示す．強化学習には
Dyna-Q を利用する [6]．状態 s は，ロボットアームの関節角度 θ1 ，θ2 ，θ3 を離散化したものであり，a はロボットアームの関節角度の微小変化による行動である．
強化学習の報酬には，対象物に接触するための目標位置の報酬 r1 と障害物回避を行うための報酬 r2 の和により報酬 r を定義し，強化学習に利用する．この報酬➨䢴䢹ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢲䢻ᖺ䢻᭶䢳䢷᪥ࠥ䢳䢹᪥凛k goalL1 , L 2 ,K , L n L p* ∆θenvironment

Fig.6 phase1 の構造図

Fig.5 ロボットアームの動作生成

I goalObject reachable set

Obstacle joint data set（phase2）SOM

krenvironment

table

W1 , W2 , K , Wl

Fig.7 phase2 の構造図

r1 と r2 の生成方法を以下で述べる．
I(t) に対し (3) により k(t) を決定することで，対象物の位置が識別できる．同様に Igoal から対象物の目標位置情報の kgoal が求まる．ここで，Igoal は，対象物を目標位置に設置した際のカメラ画像である. 可到達集合のうち現在の対象物位置から目標 Igoal に到達可能な要素を以下で求める．
"#θ 1 θ 2 · · · θ (mp∗ +1)
Lp∗ =,
k1 k2 · · · k(mp∗ +1)
k1 = k(0), ∃ kj = kgoal(5)

ここで，p∗ は k(0) から kgoal に到達することが可能となるための Object reachable set のデータ番号である．
この Lp∗ の θ 1 を phase1 では目標とし，ロボットアームは行動する．この目標情報を r1 とし，以下のように定義する．
(Rgoal ≥ 0 if ∥θ 1 − θ∥ ≤ β1(6)r1 (θ) =−1otherwise
ここで，β1 は設計者が定める閾値である．また，障害物を回避するために，以下の式より t = 0 の対象物の位置に対応するデータを Obstacle joint angles set から探索する．
½ ¯¾¯Oθ(t) = θ i ¯¯∥Ii − Wk(0) ∥ ≤ βI , [θ Ti , IiT ]T ∈ O (7)ここで，βI は設計者が定める閾値である．この情報をもとに以下の式を利用することで，報酬 r2 を生成する．
(Robst < 0 if ∃ θ i ∈ Oθ(t) , ∥θ i − θ∥ ≤ β2r2 (θ) =0otherwise(8)
ここで，β2 は設計者が定める閾値である.

3·4.2 phase2 対象物の押し操作
Fig.7 に phase2 の処理の流れを示す．phase2 では，ロボットの関節角度が θ(t) = θ j (1 ≤ j ≤ mp∗ + 1) とな
る Lp∗ を探索し，Lp∗ に記憶された関節角度をもとにロボットアームを順次動かすことで，対象物を目標位置までロボットアームの押し操作により移動することができる．

4. 実験
本研究の実験環境を，Fig.8 に示す．単眼カメラとロボットアームを 2 台の PC により制御している．単眼䣔䣕䣌䢴䢲䢲䢻䣃䣅䢳䣎䢳䢯䢲䢶
objecttable

force sensor

ＳＯＭ

robot armcamera
Fig.13 SOM の学習結果
Fig.8 実験システム

カメラから得られる画像情報は 640 × 480 画素である．
ロボットアームは，3 自由度のロボットアームとしている．ロボットアームの手首部分には，力覚センサを取り付け，力情報をもとに対象物か障害物かを判別している．

4·1 身体と対象物の抽出
3.1 節において，生成した 2 枚の差分画像において，両画像の同じ画素で論理積をとることで，時刻 t の対象物とロボットアームを抽出した時の画像例を Fig.9 に示す．ロボットアームの関節角度を様々に変移させた
時の Robot body image の画像例を Fig.10 に示す．対象物のみを抽出した画像例を Fig.11 に示す．但し，Fig.11の画像は，対象物以外は灰色とする処理を施している．
Fig.12 に Object reachable set の画像例を示す．
4·2 自己組織化マップによる対象物の画像の学習
本実験では，SOM のノードの数は l = 25 とし，SOMの学習を行っている．SOM を利用した際の，学習結果の一例を Fig.13 に示す．Fig.13 は，学習後の SOM のノードの一部分を抜粋し，それらのノードのデータを示したものである．
4·3 実機による対象物の押し操作可到達集合の学習データ数を l = 20 とし，本研究のタスクに対し，本提案手法を実機に実装した際の実験結果を Fig.14 に示す．Fig.14 より，ロボットアームの手先を対象物を押せる位置まで移動させ，対象物を目標位置まで押し操作する経路生成と動作生成ができている．

5. おわりに本研究では，視覚情報に対し，自己組織化マップと可到達集合と強化学習で得られた情報を統合することで，ロボットアームの押し操作により対象物を目標位置まで移動する手法を提案した．ロボットアームを環

Fig.9 ロボットアームと対象物の画像

Fig.10 ロ ボット ア ームの画像

Fig.11 対象物の抽出画像

Fig.12 Object reachable set の画像例

➨䢴䢹ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢲䢻ᖺ䢻᭶䢳䢷᪥ࠥ䢳䢹᪥凛

(1)

(2)

(3)

(4)

Fig.14 実機による実験結果

境内でランダムに動かし，接触した時の物体の動きを視覚情報から抽出することで，対象物と障害物の判別を行った．対象物の画像を SOM に学習させることで，対象物の位置情報の保持が可能となり，オンラインにおける対象物の位置を決定することを実現した．また，可到達集合を利用することで，対象物を目標位置まで移動するために必要なロボットアームの関節角度の変位量の学習を実現した．実機のロボットアームによる実験により，設計者が対象物やロボットアームの身体に関する情報などを与えることなく，対象物を目標位置までロボットアームの押し操作により移動するというタスクの達成を示した．課題としては，三次元空間でのロボットアームの動作生成を解決することや，種々の対象物に対して本提案手法の有効性を確認することが必要になる．また，対象物を探索する際，ランダムにロボットアームを動かすのでは，対象物の探索に時間が多く必要となることから，より良い対象物の探索手法の提案が必要となる．
[1] Keiji Yanai:
Current State and Future Directions
on Generic Object Recognition IPSJ SIG TechnicalReports,93,2006,pp.121-134,2006.
[2] P. Fizpatrick,et al: Learning About Objects Through Action - Initial Steps Towards Artificial Cognition Proceedings of IEEE International Conference on Robotics andAutomation,pp.3140-3145,2003.
[3] Mai Hikita, Sawa Huke, Masaki Ogino, Minoru Asada:
Cross-modal body representaion based on visual attention by saliency Proceedings of the 2008 IEEE/RSJ
International Conference on Intelligent Robots andSystems,pp.2041-2046,2008.
[4] Y.Ber-Cohen, C.Breazeal: Biologically Inspired Intelligent
Robots SPIE Press, 2003.
[5] B.Ridge,et al: A system for learning basic object affordances using a self-organizing map International Conference on Cognitive Systems CogSys 2008, 2008.
[6] Richard S. Sutton: 強化学習 森北出版株式会社, 2000.