遠隔操作における視・触・力覚情報統合処理技術
Integrated Information Processing Technology for Vision, Touch, and Force Senses
in Teleoperation

研究代表者

香川大学工学部知能機械システム工学科

助教授

能見公博

Intelligent Mechanical Systems Engineering, Faculty of Engineering,Kagawa University, Associate Professor, Masahiro NOHMI

和文アブストラクト
近年，通信技術が急速に発展してきているが，触・力覚情報通信は，通信時間・容量の制約により遅れが生じる可能性があることにより，実用性が少ない．しかし，視覚に加え，触・力覚情報を統合処理することにより，効果的な通信手段となりえる．本研究では，マニピュレータの柔軟物体操作に関して，通信時間遅れを考慮した遠隔操作システムを構築する．操作者は計算機内の柔軟物モデルを操作，計算機は柔軟物変形量を視覚情報として，また変形に基づく反力を触・力覚情報により提示する．ここで，モデルの変形誤差を，マニピュレータ手先位置および視覚センサーの画像処理に基づく位置情報，力センサーによる力情報に基づき随時更新する．柔軟物は力に応じて変形するため小さな誤差を吸収でき，モデル修正により大きな誤差を回避でき，通信時間遅れ問題の解決が期待できる．
Abstract
Force feedback teleoperation is difficult due to communication time delay, though it is important to pay
attention to force and torque in contact task. This research is developing a technology for integrated information
processing of vision, touch, and force information, especially in handling of a flexible structure. A flexible
structure has the following characteristics: (i) its shape changes due to an external force; (ii) impulsive force
cannot be occurred; (iii) an accurate modeling is difficult. Our proposed approach employs teleoperation
technique based on a flexible model, which is re-modeled by the telemetry from a remote site. Operation based on
visual and force information from the model is possible because (i) and (ii), however re-modeling based ontelemetry is required because of (iii). The proposed approach was confirmed by teleoperation experiment.
信に広がっていくことが予想される．触・力覚情１．研究目的

報は連続的な時系列関数として伝達することに近年の通信技術の発達は目覚しく，インターネ意味があり，通信時間・容量の制約がある場合，ットなどを通じて視覚・聴覚の情報のやりとりは遅れが生じ，リアルタイム性を保証することは困

一般家庭にまで浸透している．今後，手術に代表難である．また人間は各感覚を統合，理解し，操される技能者による遠隔作業，インターネットを作を行っている．

介した技能教育等を目的とし，触・力覚情報の通本研究では，通信時間遅れを伴う柔軟物体遠隔操作を対象とする．その特徴は，また操作はフォースフィードバック機能を有(1) 力を加えることにより変形（柔軟性）する，するジョイスティックを用いて行い，計算機内(2) 急激な力（接触力・衝撃力）の発生がない，モデルの動作をディスプレイにより，フォース(3) 高精度数値モデル（柔軟物体動力学モデル）

フィードバック機能によりその反力を操作者の構築が困難である，に提示する．

ことが挙げられる．(2) に関連して述べているよ

今回の実験では基礎的な遠隔操作手法を検うに，柔軟物体ハンドリングでは高精度モデルを証・評価することを目的とし，柔軟物体としてゴ必要としないが，逆に高精度モデルの作成は難し

ム紐を採用し，マニピュレータを一軸方向にのみく，リモートサイト情報に基づき更新することで動作させる実験とする．ゴム紐が伸びているとき精度を補う．通信時間遅れを含む情報を用いてもはマニピュレータ手先位置および手先力により不連続な力が発生する可能性が低いため，操作にモデルを更新することとし，たるんでいるときは対する十分なモデル更新が期待できる．

カメラ画像データを用いてその状態を表現する．
図 2 にディスプレイに表示するモデルを示す．

２．研究経過２．１

遠隔操作システム

実験用遠隔操作システムを図 1 に示す．このシステムはリモートサイトと操作サイトがインターネットにより接続，実際の遠隔地からの実験が可能である．リモートサイトでは通信パ

Figure 2 Display of the flexible model

ソコンが操作サイトからの指令を受け取り，RS-232C を介してマニピュレータは制御パソ

２．２

力情報テレメトリによる更新コンにより制御される．その動作結果は再び通ゴムの伸びに対する反力は非線形性を持つこと

信パソコンを介してテレメトリとして操作サを考慮して，次に示す位置 x に対する力 f(x)の三イトに送られる．また，画像処理パソコンは次関数を計算機内モデルとして設定する．

CCD カメラ画像より位置検出をし，そのデータ

f ( x) = K 0 + K1 x + K 2 x 2 + K 3 x 3はテレメトリとして操作サイトに送られる．操
作サイトでは操作パソコンがテレメトリを受け取り，計算機内モデルを更新する．

ここでゲイン K0, K1, K2, K3 はテレメトリにより決定される値であり，随時更新される．すなわち，マニピュレータ手先位置と手先力データより上
記 K0, K1, K2, K3 を更新する．この方法を用いる場
合，動作開始直後などテレメトリデータが少ないため，三次関数の信頼性は低い．このため急激な変化が発生する可能性があり，ジョイスティック操作を行う場合には操作反力の変化値に制限を設け滑らかにする．
２．３

Figure 1 Teleoperation System

カメラ画像テレメトリによる更新

ゴム紐がたるむ状態はその動作を平面内で表現する必要がある．そこで柔軟物上に取り付けられ位置テレメトリにより計算機内モデルを更新する．計算機内モデル式は次の通り設定する．

M xm = k a x , M ym = k b x10Force[N]た Mark を二台の CCD カメラにより検出し，そのModel force
Force Display
Force telemetry

50050100-5Time[s]ここで Mxm および Mym は計算機内モデルの平面内

Figure 3 Experimental result by 100ms force

Mark 位置を表す．そして位置テレメトリにより次

telemetry in rapid motionの式をを用いて係数 ka および kb の更新を行う．

ただし，Px は手先位置（x 座標），Mx および Myは Mark 位置を表す．

10Model force
Force Display
Force telemetry

5Force[N]k a = M x Px , k b = M y Py00３．研究成果

100200-5Time[s]前述のアルゴリズムを用いた実験を実施した．
マニピュレータは一軸方向に位置制御されておFigure 4 Experimental result by 100ms force

り，ゴム紐を伸縮させることができる．通信処理

telemetry in slow motionのために５秒の時間遅れを設定している．モデル
10３．１

5

力情報テレメトリによる更新

ここでは基礎的な実験を実施するために，ジョForce[N]

精度は 1mm，0.1N としている．

Model force
Force Display
Force telemetry0

イスティックは用いずに，ゴム紐を自然長から一0定速度で一軸方向に 0.3m まで伸ばし，自然長に100-5Time[s]戻 す 往 復 動作 を さ せ た． ま ず モ デル 更 新 周 期
100ms について，図 3 に往復動作時間 90s の場合，50Figure 5 Experimental result by 1000ms force

図 4 に往復時間 240s の場合の実験結果を示す．まtelemetry in rapid motion

たモデル更新周期 1000ms について，図 5 に往復動作時間 90s の場合，図 6 に往復時間 240s の場合

10Model force
Force Display
Force telemetry

結果よりモデルから得られる力は，とくに初期状態では，力テレメトリに比べ大きい．これは三Force[N]の実験結果を示す．
50次関数近似による通信時間遅れ後の力予測のためである．また力表示値は，図 3・図 4 に比較し図 5・図 6 の方が力テレメトリに追従している．
これは動作速度，更新周期，変化値の制限，が密接に関係した結果であると考えられる．

0100

200-5Time[s]Figure 6 Experimental result by 1000ms force
telemetry in slow motion

３．２

カメラ画像テレメトリによる更新
0.3

前節の力情報テレメトリに加えてカメラ画像に0.2法について実験を行う．ここではジョイスティッ
クを用いた操作とする．まずゴム紐を伸ばす方向（+x 軸方向）にマニピュレータを動作させ，その後ゴム紐を縮める方向（－x 軸方向）に動作させる．図 7 にマニピュレータ手先位置と Mark 位置を時系列に示す．図 8 にジョイスティックの位置

Mx，My [m]よる位置テレメトリの情報を用いて更新する手

0.1
0-0.3-0.2-0.1
0-0.1

0.1

0.20.3Mx
My-0.2-0.3
Px[m]と計算機内モデルの Mark 位置を示す．さらに図Figure 9 Arm and Mark positions tracking at remote

9 にマニピュレータ手先位置と Mark 位置，図 10siteにジョイスティックの位置と計算機内モデルのMark 位置を示す．図中の縦軸 0mm がゴム紐の自然長位置である．Mark の y 位置は，マニピュレータが x>0 ではほとんど変化せず，x<0 では重力の影響で垂れ下がる．

0.3

Position[m]0.20.10-0.1

050100Px

Figure 10 Arm and Mark positions tracking atMxoperation siteMy

今回の結果では，カメラ画像による位置テレメ-0.2

トリは一次関数近似によりモデル化しているた-0.3
Time[s]Figure 7 Arm and Mark positions at remote site

め，テレメトリからのばらつきが大きい．関数の次数を増やすこと，最小二乗法などを用いることによりさらに精度良いモデル更新が期待される．
４．今後の課題と発展モデル構築に関して，更新周期，近似関数など，とくに動作速度との関係を考慮して，を改良し，さらに精度良いモデル更新を目指す．また，三次元形状柔軟物を対象にアルゴリズムを開発する．
５．発表論文リスト[1] 辻・安藤・能見，「遠隔操作における柔軟物

Figure 8 Arm and Mark positions at operation siteの更新されるモデルをベースとした力感覚表示」システム情報制御学会，2003 年 11 月
27 日発表予定．