ABML2011

O1-4

2011年11月3日-5日 東京（芝浦工業大学）

環境構造化と小型カメラを活用した生活支援ロボットアームの自動化
Automation of Assistive Robotic Arm Utilizing Environment Structuring and Small Cameras○ 田中秀幸角保志

松本吉央 （産総研）

Hideyuki TANAKA, Yasushi SUMI, Yoshio MATSUMOTO
National Institute of Advanced Industrial Science and Technology (AIST)
Abstract: The environment structuring concept has been used to design and develop an assistive robotic arm system forthose with upper-limb problems. We utilized physically robot-friendly handle and coded visual marker for the environment
structuring. The robotic arm has two small cameras on its hand, and it was controlled by simple visual feedback control
and realized semi-autonomous task execution under the structured environment.
Key Words: Assistive Robotic Arm, Environment Structuring, Visual Marker, ADL
1. はじめに
上肢障害者の自立した生活を支援するために，iARM(1)等のロボットアームが活用されている．ユーザは指先等の残存機能を用いてこれら生活支援アームを遠隔操作することで，種々の日常生活動作(ADL)が可能である．
生活支援アームは一般生活環境での安全性も考えて剛性の低い構造を有しており，再現性の高い細かい位置制御が難しいため，操作に慣れていないユーザが精密な作業を行ったり，日常頻繁に行われる定型動作を毎回遠隔操作で実行したりするのは負担になっていた(2)．
そこで我々は，ADL の一部を自動で行う生活支援アームの開発を進めている．ここで中心となるコンセプトは「環境構造化」および「小型ハンドカメラの活用」である．これまで，我々が構築したロボットアームシステムにより，冷蔵庫等の扉を開けて中の調理容器を取り出す動作，および飲み物をユーザの口元に運ぶ動作の自動化が実現している．本稿ではそのシステムの概要を述べる．

fridge

CLUE
UHmicrowave

CLUEUHCLUE
UH

cooking container(reverse side)

Fig.1 UH and CLUE
2-3 情報的な構造化
CLUE には対象物体に応じたユニークな ID を付与し，この ID をキーとして物体操作知識（アーム制御軌道）にアクセスできるようにした．このようにして環境の情報を構造化しておくことで，事前知識をもたないロボットであっても作業現場において必要な情報を収集し，知的な自律作業を実行可能とした．

2. 環境構造化
2-1 概念人間が生活する一般環境において，ロボットによる環境認識と物体操作を完全に自動化することは難しい．その原因は，環境の複雑性，多様性，変動性である．産業用ロボットの分野ではこれら三要素をコントロールし，ロボットにとって扱いやすいような環境整備，すなわち環境構造化を行うことで成功した．生活支援ロボットにおいてもこの考え方は重要であり，とくに，現行の技術レベルで実用的なロボットシステムを構築するためには，ある程度の環境構造化は不可欠といえる．
本システムにおける環境構造化の実施例を以下に示す．
2-2 物理的な構造化
物体操作を支援するため，ロボットハンドによって物理的に扱いやすいハンドルを開発し，冷蔵庫等の家電製品や調理容器に取り付けた．このハンドルは様々な形状のロボ
ットハンドだけでなく人間にとっても扱いやすいことを指向したデザインとし，ユニバーサルハンドル（UH）と名付けた (3)．また，物体認識を支援するため，単眼のカメラによってその位置・姿勢および ID を認識可能な視覚マーカ
を 用 い ， こ れ を CLUE(Coded Landmark for UbiquitousEnvironment)と名付け (4)，操作対象物体に貼付した．
UH および CLUE は物理的な環境構造化ツールといえる．
本システムでの利用例を Fig.1 に示す．
O1-4-13. 小型ハンドカメラ
ロボットアームの手先部分（ハンド）にカメラを装着することは，以下の二点で有用である．
(1) 物体操作時，対象物体と近接して観測できる(2) ハンドの向きを変えることで背面方向など広範囲の観測が可能
これらのメリットを考慮し，本システムでも Fig.2 に示すようなハンドカメラを構成した．二つの異種の小型カメラを直交配置した点が特徴である．FrontCam は主に物体とハンドが接触する前の物体観測用に使用し，SideCam は FrontCam の視界が物体に遮られたときの補助として，または別方向の観測用に用いる．SideCam は FrontCam に比べて広角のカメラを使用し，より広い領域を観測できるようにした．

Fig.2 Two hand cameras

AR（拡張現実）マーカである．このマーカは QR コード等と比べて離れた位置からでも認識可能であるため，手動操作による初期捕捉が容易である．そして，CLUE のサイズは，扉用の UH に装着するものは一辺 2cm，調理容器用のものは一辺 1cm とした．そして，これらが実用上十分な性能を発揮することを検証実験により確認した．詳細は参考文献(7)を参照されたい．

4. 構築した生活支援アームシステム
4-1 システム構成
Fig.3 に構築したシステムの構成を示す．ロボットアーム
は Exact Dynamics 社の iARM を使用した．ロボットがハンドカメラで CLUE を認識することで，操作対象物体の IDと位置・姿勢（カメラ座標系における相対値）を認識する．
その ID をキーとして軌道データベースに問い合わせ，対象物体に応じたアーム制御軌道（物体座標系で記述）を取得する．その後，CLUE の位置情報を用いた簡易的なビジ
ュアルフィードバック制御によって軌道を生成し，物体の操作を行う．なお，Fig.3 の上部，破線で囲まれた部分はSideCam を利用して顔認識を行う系（後述）である．

4-4 片手で操作可能なインターフェース
iARM の操作インターフェースにはキーパッドやジョイスティックなど，ユーザの身体機能に応じた種々の形態が存在する．今回我々は，片手で携帯電話の操作ができるユーザを想定し，小型の無線キーボードをアーム操作用インターフェースとして利用した．

Fig.4 Wireless small keyboard as control interface(the right object)
5. 生活支援アームによる日常生活動作の自動化
本システムによってこれまで実現した ADL の自動化の例を紹介する．自動化する動作の選定に際しては以下の項目を考慮した．
(1) 日常頻繁に現れる繰り返し動作であること(2) 細かいアーム制御が必要な動作であること(3) 他のタスクにも応用できる動作であること
これらの基準に従ってこれまでに以下の三つのタスクを選定して自動化した．
(a) 冷蔵庫の扉開けタスク(b) 調理容器の取出しタスク(c) 飲み物を口元に運ぶタスク
こ の う ち (a)(b) で は FrontCam の み を 使 用 し ， (c) で はFrontCam と SideCam の双方を使用した．それぞれのタスクの概要と実行した様子を以下に示す．

Fig.3 System diagram
4-2 半自律制御
上記のような自律動作（自動モード）は，軌道データベースに登録された対象物体をカメラで認識した後に実行可能となる．対象物体を認識するところまではユーザの遠隔操作による制御（手動モード）である．本システムは tradedcontrol(5) による半自律制御のロボットシステムといえる．
また，自動モードが可能な動作フェーズであっても，ユーザの要求に合わせて手動モードに切り替えて実行することもできる．
なお，アームの制御は 2 – 8cm ハンドが移動するごとにCLUE を観測して位置を修正しながら軌道を追従する離散的・簡易的なビジュアルフィードバック制御である．非常にシンプルでありながら，この方式によって位置制御の精度が高くない低剛性のアームでも実作業に十分な精度の軌道追従が可能である．

5-1 冷蔵庫の扉開けおよび調理容器の取出しタスク
FrontCam のみを用い，Fig.3 に示すシステムのうち破線囲み部分を除いた構成で実行した．健常者 3 名を被験者とした予備実験により，どちらのタスクも確実に実行できることを確認した（Fig.5 および Fig.6）．それぞれアームの細かい軌道制御が必要であり，かつ日常頻繁に行う動作である．
本システムにより，こうした ADL を現行のロボット技術で自動化できることが実証された．

4-3 視覚マーカ（CLUE）の設計と性能
本システムの最大の目的は，生活支援アームの半自動化によるユーザの負担軽減である．したがって，システム導入によりユーザの操作がかえって煩雑にならないよう，・手動から自動への切り替えが容易であること・自動モードの動作が確実であることが求められる．これらを満たすために CLUE には以下の二項目が要求される．
・ハンドカメラでの捕捉が容易なこと（手動操作に高い精度が要求されないこと）
・位置・姿勢の計測精度が実用上十分であること（自動モードの作業成功率が高いこと）
これらを考慮し，CLUE としての視覚マーカの選定，大きさおよび配置の仕方を決定した．
CLUE として採用したのは ARToolKitPlus(6)マーカという5-2 飲み物を口元に運ぶタスク
SideCam も含め，Fig.3 に示すシステム全体を利用して実行した．ここで，飲み物カップは Fig.7 に示すように UHと CLUE で 構 造 化 さ れ た も の を 用 い た ． ロ ボ ッ ト はFrontCam を用いてカップを認識し，簡易ビジュアルサーボ制御によってカップを自動把持後，アームの手首を内側に回転させて SideCam によってユーザの顔を捉える．顔の認
識は OpenCV(8)のサンプルプログラムや faceAPI(9)という顔O1-4-2

認識ソフトを利用した．顔認識後はユーザの口元の位置を計算し，カップの水平を保ちつつ簡易ビジュアルサーボ制
御によってカップをユーザの口元の先 5cm 程度の位置に運搬する（Fig.8）．その後は手動モードに戻り，カップの位置を微調整してユーザのタイミングで飲み物を飲む．
このタスクの実現により，顔のような構造化されていない対象であっても，正しく認識できれば構造化物体を対象にするときと基本的に同じ枠組みでタスクを自動実行できることが実証された．

Fig.7 A cup equipped with CLUE and UH: The right figure
shows the grasped state by the handFig.5 Autonomous opening a refrigerator: Corresponding
hand-camera views are shown in red frame.

Fig.8 Two camera views in autonomous cup grasping andbringing
Fig.6 Autonomous pulling out a cooking container:
Corresponding hand-camera views are shown in red frame.
O1-4-3

6. まとめと今後の課題
環境構造化の概念と小型ハンドカメラを活用することで，生活支援ロボットアームによる ADL の半自律制御を行うシステムを構築し，予備実験によって基本的な動作の妥当性を実証した．本システムは現行のロボット技術で十分実現可能である．また，UH，CLUE，小型カメラといった比較的安価なデバイスの追加によって低コストに構築可能なシステムといえる．
今後の課題としては，まず安全性のさらなる向上がある．
作業の失敗を事前に検知し回避する技術やエラーからのリカバリーの手法等を確立する必要がある．また，ハードウェアそのもののロバスト性の向上も重要である．そして，本システムを多数のユーザに試用してもらい，使用感のフィードバックを得てさらにシステムの使いやすさを向上させる必要があると考えている．
最後に，環境構造化のツールである CLUE そのものの性能を向上させるという課題もある．現状の CLUE では既存の AR マーカを流用しているが，従来の AR マーカは「正面付近から観測したときの姿勢精度が悪い」という致命的な問題があった．そのため本システムにおいても，位置情報は用いても姿勢情報は使っていなかった．この問題を解決すべく，正面付近からでも高精度な姿勢検出が可能なCLUE の開発を現在進めている．将来的にはこの新しいCLUE を用いてさらに信頼性の高いシステムを構築する計画である．
※ 本研究は科学研究費補助金（22700208）の助成を受けたものである．
参考文献(1) Intelligent Assistive Robotic Manipulator (iARM):
http://www.exactdynamics.nl/site/?page=iarm(2) A. Versluis, B. Driessen, J. Woerden and B. Kr¨ose,“Enhancing the usability of the MANUS manipulator
by using visual servoing”, Proc. Int. Conf. on
Rehabilitation Robotics, pp. 43–46, 2003.
(3) T. Tomizawa, et al., “Common Interface Design for
Robot and Human -Universal Handle for Object
Manipulation-”, Proc. SI2008, pp.465–466, 2008.
(4) K. Ohara, et al., “Visual Mark for Robot Manipulation
and Its RT-Middleware Component”, Advanced
Robotics, Vol. 22, No. 6, pp. 633–655, 2008.
(5) N. P. Papanikolopoulos and P. K. Khosla, “Shared andtraded telerobotic visual control”, Proc. IEEE Intl.
Conf. on Robotics and Automation, Vol.1, pp. 878–885,
1992.
(6) D.Wagner and D. Schmalstieg, “ARToolKitPlus for
Pose Tracking on Mobile Devices ”, Proc. 12th
Computer Vision Winter Workshop, 2007.
(7) H.Tanaka，et al., “Visual Marker System forAutonomous Object Handling by Assistive RoboticArm”, Journal of Robotics and Mechatronics, Vol.23,
No.4, pp.484-493, 2011.
(8) OpenCV 日本語サイト: http://opencv.jp/(9) faceAPI website:
http://www.seeingmachines.com/product/faceapi/

O1-4-4