〈一般研究課題〉

福祉・ホームロボットにおける対話的な道具の形状・操作教示システムの開発

助 成 研 究 者

中京大学

青木公也

福祉・ホームロボットにおける対話的な道具の形状・操作教示システムの開発
青木 公也（中京大学）

Study of an Instruction System of Manipulating Daily Tools
for the Assistive Robot
Kimiya Aoki
(Chukyo University)

Abstract:
In an aging society, development of the assistive robot is an important mission. In this study, wefocus to the instruction system of the robot. It is necessary to make the robot learn operation of daily
tools and light housekeeping. In this case, it is difficult for ordinary users to do the programming
newly, and to teach with a special device. Therefore, we consider that the robot learn by emulation,observing his (or her) master's motion of housekeeping. In this study, to realize instruction to therobot by emulation, we combine a stereovision system and an optical motion capture technique. Using
our proposal system, motion measurement can be done without adding the large load to users.

1. はじめに
1.1 研究背景と実施内容
本研究では，福祉・ホームロボット等人間と共存するロボットに対して，ユーザが日用品の形状や操作方法，日常の家事等の作業方法を教示するシステムの開発を行う．例えば，「コップ」をロボットに教えておく．後日，ユーザに「コップを持ってきて」と指示されたロボットは，学習した「コップ」の形状や色を頼りに「コップ」を探してくる．また，「テーブルを拭いておいて」と指示されれば，ロボットは布巾を手にとり，拭き掃除を行う．この場合，当然ロボットは「拭く」という作業を予め把握しておく必要がある．高齢化社会において，人間に替わって介助− 91 −

図1

対話的なロボット教示や簡単な家事を行う福祉・ホームロボットの開発が重要な課題とされている．ロボットが一般家庭において行動する際，最初に設定されているメニューのみで様々なユーザの指示に対応することは困難である．また，初期設定メニューを組み合わせることや新規メニューのプログラミングなどは，一般ユーザには困難な作業である．そこで，簡単な方法として一般ユーザがえる

見せて教ことによりロボットが動作や日用品を覚えるシステムが必要であると考えられる．図 1 に教示のイメージ図を示す．
さて，ロボットが物体を覚えるために必要な，画像処理の観点からの要素技術的は，三次元物体の形状と表面テクスチャ(模様や色，ロゴ等)の計測問題である．一般に，実物体の三次元データの獲得には，レーザレンジファインダ，触針式計測器，三次元スキャナ等が用いられる．しかし，福祉ホームロボットに記憶させる状況を考えると，ユーザが大掛かりな装置を注意深くセッティングすることは現実的ではない．そこで本研究では，ロボットの視覚として広く用いられているステレオビジョンを入力装置とし，そこから得られる距離画像に基づいて物体形状を検出する手法の構築を目標とする．具体的には，ロボットの視覚前に，被登録物体を手で持って様々な方向から提示することによって，後の作業に必要な三次元モデルが取得されるシステムの構築である．特に本助成期間においては，物体が様々な方向から提示される際に必要となる，物体の三次元運動の検出手法を提案したので報告する．
一方，ロボットに日常の掃除等の作業を教示するにも， 見せて教えるえば，ほうきによる掃き掃除を教えるにも，まずはロボットの目の前で方法を提案する．例
やって見せる分けである．このシステムにおいて必要な画像処理の観点からの要素技術は，人間の動作計測である．
動作計測には，一般的にモーションキャプチャシステムが用いられる．モーションキャプチャとは，人物・物体等の動きを三次元計測する技術で，光学式，機械式，磁気式等がある．一般的に計測対象に装着するマーカ群とこれらを検出するトラッカーから構成される．より普及している
光学式は，複数のカメラをトラッカー，カラーボールや反射材等をマーカとして用い，画像情報からマーカの三次元位置を解析する．死角を減らために，計測対象の周りにトラッカーを設置する必要があり，専用のスタジオで使用することが多い．記録された情報は，スポーツ選手の身体の動きデータ収集や，映画・ゲーム等における CG キャラクターに，滑らかで現実的な動きを与えるのに利用される．しかし，現在のモーションキャプチャ技術の多くは，特殊なトラッカーや専用スタジオが必要等，計測コスト・時間の面で一般的に利用できるシステムとはいえない．福祉・ホームロボットに実装する場合も，ロボットの他に特殊な計測装置を用意することは現実的でなく，ロボットに搭載されたステレオビジョンで動作検出できることが望ましい．以上を踏ま− 92 −

えて本研究では，ロボットにも搭載可能な小型・簡易型のモーションキャプチャシステムの検討を行った．特に本助成期間においてはカラーマーカを利用した手法を提案したので報告する．また，極簡単な動作ではあるが，アーム型ロボットの教示実験の結果についても報告する．

1.2 本稿の構成
本研究ではロボットの目としてステレオビジョンシステムを採用し，そこから得られる画像情報を基に，対象物体の三次元運動の推定や，作業者の動作検出，検出したデータによるロボット教示法について研究を実施した．それらの成果については，関連する学会・シンポジウム等で研究発表を行った[1]-[6]．本稿ではそれらの発表内容について以下の通りまとめる．
3.では，形状教示及びジェスチャ認識の要素技術となる，物体の運動検出について説明する．
4.では，作業動作検出のための簡易型モーションキャプチャについて説明する．
5.では，人体動作を計測し，ロボット教示を行う技術について説明する．
最後に全体をまとめる．

3. 物体の運動検出・推定手法の提案 [1]3.1 概要
近年，ロボットの作業環境の拡大に伴って，安全でロバストなコンピュータビジョン技術への要望が高まっている．ロボットが自律的に動作するためには，環境や物体の三次元構造とそれらの三次元運動を検出しなければならない．前者は，例えば作業対象の把持や移動経路の探索に必要である．後者は，例えば人間等の移動する対象の回避・追従・動作認識に必要である．また，本助成課題である物体教示においても必須機能である．つまり，ロボットに対してある三次元物体全体を提示するには，様々な方向から見せる必要がある．この際，物体の位置決めがなされていれば(各画像の視点が正確に分かっている)比較的容易に物体全体の三次元形状が構築できるが，そうでない場合は，画像間で位置合わせを行う必要がある．すなわち，画像から画像において物体の運動が把握できている必要がある．さらに，ロボットと人間が対話的なやりとりを行うには，例えば人間の首振り動作等を検出する必要がある．そこで本研究では，時系列距離画像から自由曲面上の任意点の三次元運動(3D フロー)を検出し，さらにそれに基づいて物体全体の運動を推定する手法を提案した．

3.2 処理の流れと内容三次元物体の運動検出の基本データとして，時系列距離・カラー画像から算出された 3D フローを用いる．3D フロー(三次元シーンフロー)は，物体表面上の点の三次元運動ベクトルである．
著者らは，ステレオビジョンより得られた時系列距離画像から，自由曲面上の任意点の 3D フローを検出する手法を以前から提案[7]していた．この手法では，フレーム間の対応点探索に高さ・カラーヒストグラム(HCH)特徴量を用いる．HCH 特徴量は，物体表面の局所的な形状及びカラーテクスチャ情報を統合した特徴量である．
さて，物体表面の任意点における 3D フローから，物体全体の運動を検出するには，離散的な3D フローを何らかの方法で統合，または運動パラメータを解析的に求める必要がある．本研究− 93 −

図2

運動推定手法の概念図

では，対象とする物体を任意の剛体・非剛体とし，それに対応するために CG 分野で広く利用されている簡易物理シミュレーション手法を導入する．具体的には，算出された 3D フロー群を空間中の流れ場と考え，そこに仮想物体が存在した場合の運動をシミュレートする．つまり，実空間において物体が生成した 3D フローを仮想物体に付与し，仮想物体の運動から逆に実物体の運動を推定する．また，仮想物体としては，質点を球面上に配置し，互いを仮想バネ・ダンパで接続したバネモデルを用いた．3D フローによる流れ場を仮想外力として対応する質点に付与し，数値計算手法によって各質点の変位を求める．図 2 に提案手法の概念図を示す．

3.3 実験と考察
図 3 に本研究で用いた実験装置と座標系を示す．本研究では Point Grey Research 社製の二眼ステレオビジョンシステムを用いた．図 4
は，実験装置で取得された画像の例であり，(a)が右カメラ画像，(b)が得られた距離情報を三次元空間にプロットした結果，(c)は別(a) Experiment(b) Coordinate system andClipping region

視点からカラー情報付きでプロットした結果
図3である．図の様にステレオビジョンによれば，実験装置と座標系単一視点から物体の距離情報が取得でき，かつ距離情報にしきい値処理を加えることによって，対象物体と背景を容易に分離することが可能である．

(a) Right Camera Image

図 5 に 3D フローの検出例を示す．図 5(a)に示す様にクマのぬいぐるみを，向かって時計回り，かつ斜め奥へ回転させた場合の 3D フローが(b)である．図 5(b)は，カメラとは別視点から描画した結果であり，運動フローが物体表面に沿って三次元的に検出できていることが分かる．

− 94 −(b) 3D point plot
図4(c) 3D point plot (color)
計測データ

First frame

Second frame(a) Right camera image(b) 3D Flow
図53D フロー検出例

図 6 にクマのぬいぐるみの運動を検出した例を示す．図 6(b)では 3D フローと仮想物体(球)をカメラとは別視点(斜め上)で描画している．
また，回転運動が検出されていることが分かるように，仮想球のローカル座標系を表示している．この例では，主に Z 軸回りに向かって反時計回りに回転している．クマのぬいぐる
みは完全剛体ではないので，運動中に多少の変形を伴うが，仮想球を見ると全体的な運動が検出できていることが分かる．図 6(c)のカラーバーチャートは，各軸において回転運動している場合に，正負の回転方向に対応して信号が出力される(各軸，負・正の順)．同様に各軸方向の移動も正負方向に対応して信号が出力される．図 6(c)では，①から③にかけて Z(c) Motion chart(a) Input image

軸正方向に回転していることが検出されている．
(b) 3D rendering(3DFlow + Spring network model)

提案手法はカメラ前の物体の大まかな運動を図6

検出・認識することを第一目的としているため，運動推定例

現在のところ回転量や移動量の絶対値は必ずしも精度が高くない．ただし，運動方向・回転方向の認識に関しては高い追従精度を持つ．
最後に，提案手法を用いて人間のジェスチ(a) Input image

ャを検出した例を図 7 に示す．この例では，顔の向きで CG キャラクタを操作している．顔の向きと CG キャラクタの向きが同期していることが分かる．この様に，人間のジェスチャ(例では首ふり)を検出することも可能である．

(b) 3D rendering (3DFlow +図7− 95 −KUMA)

首振り検出による CG キャラクタ操作

4. 簡易型モーションキャプチャシステムの構築 [2]-[5]4.1 概要前述の通り，ロボットが一般家庭において行動する際，最初に設定されているメニューのみで様々なユーザの指示に対応することは困難である．また，初期設定メニューを組み合わせることや新規メニューのプログラミング等は，一般ユーザには困難な作業である．そこで，簡単な方法として一般ユーザが見せて教える

ことによりロボットが動作を覚えるシステムが必要であると考えられる．ここで，動作の検出にはモーションキャプチャが想定されるが，やはり従来の大掛かりなシステムの適用は困難である．また，より小型・簡単でロバストなモーションキャプチャシステムが構築できれば，その応用範囲は拡大すると考えられる．以上より，本研究では光学式システムを基本とし，大掛かりな設備や，複数のマーカの計測対象への装着を必要としないモーションキャプチャシステムの検討を行った．図 8 に従来システムの課題と提案システムの特長の対比をまとめる．
光学式モーションキャプチャでは，複数のカメラを一定の空間を取り囲むように配置するシステムが一般的である．それに対して本研究では，単体で撮影画面中の三次元画像が撮影できるス
テレオビジョン 1 台を用いる．ただし，ステレオビジョン 1 台では撮影範囲がカメラの正面空間に限られてしまうため，パン・チルト構造を有した電動雲台にカメラを搭載する．これにより，ステレオビジョンが人物を追跡し，広範囲のデータ取得を可能にする．本研究では，人物全体を追跡し，かつ動作を計測することから，提案システムをトラッキングモーションキャプチャと呼ぶ．マーカには，特殊な光源等が不要な点，人物の動作を妨げにくい点，電源装置等が不要で着脱が容易な点から，布製のカラーマーカを用いる．図 9 にシステムの全体図を示す

図8

図9簡易型モーションキャプチャ

トラッキングモーションキャプチャ− 96 −

図 10

簡易型MCの発展

さらに，装着するカラーマーカの箇所・個数を最小限に抑え，かつとするため，新たにインビジブルマーカ

捻り動作の検出も可能と呼ぶ概念を提案する．一般的に捻りの検出にはマーカの個数を増やす必要がある(例えば，頭部の両側に装着すれば，顔の向きも検出できる)．これに対して，本研究ではカラーマーカ間に仮想的なマーカ = インビジブルマーカを想定する．図 10に提案するモーションキャプチャの優位性をまとめる．設定された仮想マーカの三次元運動(3Dフロー)を検出し，カラーマーカ間部分の長手方向軸回りの回転を算出する．

4.2 処理の流れと内容
提案システムでは，得られたカラー画像にラベリングを行ない，設定するカラー情報(HSV カラーモデルにおいてしきい値を設定)を持つ画素の集合をマーカと認識する．マーカはフレーム毎に得られる画像にラベリングを行って検出する．この時，ラベリングの走査範囲を前フレームのマーカの移動量を利用した予測位置の周囲に限定することにより，検出したマーカを前フレームと同一のマーカと認識する．また，検出しきい値の自動調整，マーカ消失時におけるラベリング走査範囲の拡大により，ロバストなマーカ検出を可能とする．前者は，照明変動によってカラーマーカの色相範囲が変動した場合に，色相しきい値の基準を前フレームの検出マーカ領域の平均値とする．後者は，何らかの原因でマーカを見失った場合，見失っている時間(フレーム数)に応じてマーカ検出範囲を拡大していくことにより，マーカの再発見率を高める．

(a) Detection of twist motion
Color marker

Invisible marker

カラーマーカが検出できれば，マーカ間にインビジブルマーカを設置し，リンクの回転(捻り)を算出する．
インビジブルマーカは物体の局所領域における形状またはテクスチャ特徴量であり，フレーム間においてこの特徴量を追跡することにより 3D フローを検出する．

(b) Invisible marker MC (marker free)
図 11− 97 −

インビジブルマーカ

図 11(a)に提案するインビジブルマーカの概念図を示す．インビジブルマーカとしては，本研究室で提案している HCH 特徴量[7]を適用する．HCH 特徴量は，三次元物体の局所領域の形状及びカラーテクスチャ情報を表し，時系列距離画像から，自由曲面上の任意点の三次元運動(3D フロー)を検出することができる．インビジブルマーカとカラーマーカの組み合わせにより，少ないカラーマーカ数でも腕や頭部の捻り検出が実現できる．さらに，インビジブルマーカは三次元物体表面の任意点において定義できるため，図 11(b)のようにカラーマーカ自体の代用も可能であると考えられる．

4.3 実験と考察
両腕にマーカを 3 個ずつ，計 6 個装着した人物を対象とし，日常的な作業動作を検出する実験を行った．図 12 は卓上の拭き掃除，図 13 はデッキブラシ掛けの動作をキャプチャした結果である．特に図 13 の下段の CG は，計測結果について視点を変えて描画したものであり，各マーカの三次元座標が計測できていることが分かる．
図 14 にカラーマーカとインビジブルマーカを組み合わせた実験例を示す．実験では，腕を模した物体の手首と肘にカラーマーカを装着している．検出結果では，腕の捻りが検出できていることが確認できるように，マーカを直方体で描画している．フレームが進むにつれて，腕全体が振り上げられつつ捻られている様子が検出できている．

(a) Input image(a) Input image(b) 3D rendering
図 12(b) 3D rendering

キャプチャ例（雑巾がけ）

図 13

キャプチャ例（デッキブラシ）(a) Input image(b) 3D rendering (3DFlow + Markers)
図 14

インビジブルマーカを用いた捻りの検出− 98 −

5.モーションキャプチャによるロボット教示 [5][6]5.1 概要最後に，画像処理によるロボット教示の導入研究として，アーム型ロボットへの簡単な動作の教示を試みた．前述の通り，特に一般ユーザと共存するロボットの教示について(a) Marker
図 15(b) Operator
マーカと装着した様子

は，より直感的で簡単な手法が必要である．
そこで，ロボットがユーザの動作を 見真似で覚える方法を考える． 見真似

は動作計測が前提となることから，簡易型モーションキャプチャが利用できる．

5.2 処理の流れと内容
本研究ではここまでのシステムとは異なり，より簡易的なシステムとして単眼カメラを用いた．作業者の肩，肘，手首に円板型のカラーマーカを装着し，動作を側面から撮像する．図 15 に使用したマーカと，装着した様

図 16

キャプチャ例子を示す．マーカを，色相(青)と形状(円)特徴に着目して検出し，位置関係から肩，肘，手首を対応付ける．各関節角度を算出し，アーム型ロボットの予め対応付けた関節に教示データとして与える．また，手首マーカに関しては，マーカの撮像面積からカメラからの距離を推定した．以上のシステムは，基本的な画像処理の組み合わせであるが，それゆえにロバストで高速な計測が可能となる．図 16にモーションキャプチャの例を示す．

5.3 実験と考察
図 17 に 5 軸アーム型ロボットを操作(教示)している様子を示す．実験では，肘関節の角度をアームの上下方向操作に，手首マーカの距離をアームの旋回操作に用いている．教示システムとてしは，計測動作の意味付けや，動作の接続，人間の関節とロボットの関節の対応付け等，様々な課題が残る．しかし， 見真似は意義があると考える．

− 99 −

図 17

ロボット教示実験による動作教示の可能性を示す実験として

6. まとめ本研究では，福祉・ホームロボット等人間と共存するロボットに対して，ユーザが日用品の形状や操作方法，日常の家事等の作業方法を教示するシステムの開発を目標とし，特に，ロボットの視覚認識について検討した．本研究を通じて，三次元物体の運動推定，カラーマーカのロバスト追跡，インビジブルマーカの概念等，幾つかの新たな手法・アルゴリズムを提案することができた．また，実際のロボットを用いた実験により，対話的なロボット教示研究の基礎的検討を行った．今後は，現在それぞれが要素技術として独立している提案手法を統合する．
本研究が，次世代知的ロボット研究の社会的流れに少しでも貢献できれば幸いである．最後に，本研究に対してご助成いただいた財団法人日比科学技術振興財団様に深く感謝の意を表する．

関連文献[1] 青木公也・本多芳寛・輿水大和， 3D フローによる物体の運動・変形推定 ，画像センシング研
究会，第 13回画像センシングシンポジウム(SSII07)，横浜，2007-6[2] 本多芳寛・青木公也・輿水大和， モーションキャプチャによる道具の操作教示 ，精密工学会
画像応用技術専門委員会，ビジョン技術の実利用化ワークショップ(ViEW06)，pp.122-127，横浜，2006-12[3] 本多芳寛・青木公也・輿水大和， モーションキャプチャによる道具の操作教示システム ，電気関係学会，東海支部連合大会，岐阜，2006-9[4] 本多芳寛・青木公也・嘉山和孝・輿水大和， 簡易型モーションキャプチャのためのインビジブ
ルマーカの提案，画像センシング研究会，第 13 回画像センシングシンポジウム(SSII07)，横浜，
2007-6[5] 本多芳寛・青木公也・嘉山和孝・輿水大和， 簡易型モーションキャプチャシステムの検討 ，
電気学会情報処理・産業システム情報化合同研究会，pp.53-58，名古屋，2007-2[6] 嘉山和孝・青木公也・本多芳寛， 簡易型モーションキャプチャによるロボット教示システムの検討 ，画像センシング研究会，第 13 回画像センシングシンポジウム(SSII07)，横浜，2007-6[7] 青木公也・輿水大和， 時系列距離画像からの 3D フロー検出のための高さ・カラーヒストグラ
ム(HCH)の提案 ，電子情報通信学会論文誌(D)，Vol.J89-D，No.9，pp.2033-2044，2006-9− 100 −