WISS2010

Foldy：GUI 操作によるロボットへの服の畳み方の教示
Foldy: Graphical Teaching for Garment-Folding Robot

杉浦裕太

坂本大介

Tabare A. Gowon

高橋大樹

稲見昌彦

五十嵐健夫∗

Summary.
本稿では，ロボットに関する知識を持たないユーザが，家庭用ロボットに対して自分好みの作業方法を簡単に教示するための手法を提案する．これは，従来の直接的にロボットの動作を教示する方法とは異なり，ロボットにさせたい作業をグラフィカルユーザインタフェース (GUI) 上で操作することで，ロボット自体を意識する必要のない直感的な教示を実現する手法である．本稿では「服畳み」を例として取り上げ，提案手法を用いたユーザの指示を柔軟に受け取り，解釈し，実際に作業を行うロボットシステムを開発す
る．GUI には衣類のモデルが表示されており，ユーザは簡単なマウスドラッグ操作によって画面上のモデ
ルを折り畳む．システムは操作結果に従い，ロボットの行動手順を生成し，ロボットは指示通りに実際の衣類を折り畳む．GUI には実世界における制約が考慮されているため，ロボットに可能な動きのみを効率よく教示することができる．開発したシステムを用いて一般展示を行い，体験者が負荷なく操作できること確認した．本稿の終わりではこれらの結果を踏まえ，本手法の利点や拡張性について議論する．

1

はじめに

家庭用ロボットは家庭内における家事を代行し，この結果として人々が家事から解放されることが期
待されているため，注目されている．一方で，どん
なに高度な機能を持ったロボットが実現できたとしても，ユーザの意図通りに作業をしなければニーズを完全に満たす事は難しい．例えば，各々の家庭において，料理の味，配膳の仕方，靴の並べ方，服の畳み方などは異なるものであり，これらの好みを委
細構わずロボットが作業することは，ユーザにとってフレンドリなシステムとは言い難い．ユーザが指示せずとも知的なロボットがユーザの意図を的確に読み取り，最適なサービスを提供するということも考えられるが，このような人工知能の構築は未だ困難である．この点において，我々はユーザが意図的に自分好みの作業方法をロボットに教える (教示) ことが可能な機能を含んでいることが重要であると考えている．
ロボットの教示に関する研究はこれまでいくつもの試みがなされている．コントローラでロボットの各々の関節角を入力して教示するティーチングペン
ダントは，産業ロボット分野における代表的な教示手法である [7]．これは直接ロボットにきめ細かい動∗

Copyright is held by the author(s).
Yuta Sugiura and Masahiko Inami，慶応大学 / JSTERATO 五十嵐デザインインタフェースプロジェクト，
Daisuke Sakamoto, JST ERATO 五十嵐デザインイン
タフェースプロジェクト，Tabare A. Gowon, ハーバード
大学，Daiki Takahashi, 早稲田大学，Takeo Igarashi，東京大学 / JST ERATO 五十嵐デザインインタフェースプ
ロジェクト

図 1. GUI 操作によるロボットへの服の畳み方の教示

作を教示できる一方で，操作の習熟に多くの時間を費やすことや，手続きが複雑なため，エンドユーザ
にとっては親和性の低いものである．家庭におけるユーザの興味としては，ロボットがどんな動作をしたにせよ，最終的に自身の望む作業結果を得ることである．したがって，そのためのロボットとのイン
タラクション方式としては，ユーザがロボットの動作を直接的に操作する必要はないと考える．
そこで本研究では，ロボットに対して直接作業方法の教示をするのではなく，その作業に注目した教示手法を提案する．具体的にはロボットの動作をユー
ザが直接作成するのではなく，ロボットにさせたい
作業をグラフィカルユーザインタフェース（GUI）
で操作することで，ロボットを意識しない直感的な教示を実現する．本稿では「服畳み」を例として取WISS 2010

り上げ，提案手法を用いたユーザの指示を柔軟に受け取り，解釈し，実際に作業を行うロボットシステ
ムの提案を行う．GUI には衣類のモデルが表示されており，ユーザはドラッグ＆ドロップ操作によって
服畳みの「形状」と「順序」を指示する．システムは操作結果に従い，ロボットの行動手順を生成し，服畳みロボットは指示通りに実際の衣類を折り畳む．
また，ロボットには衣類の端しかつかめないなどの物理的な制約があるが，GUI による操作にはこのような制約が組み込まれているため，ロボットに実際に可能な動きのみを効率よく教示することができる．本手法により，ユーザはロボットの細かい動作(前進，旋回，ハンドの開閉など) を意識しない，ロボットの教示を実現する．

2

関連研究

ロボットの教示に関する研究はこれまでいくつもの試みがなされている．ロボットのファームウェア
を書き換えることは，直接ロボットの動作内容を変更するための基本的な方法である．近年では，プロ
グラミング環境を簡単にインストールすることができ，単純な言語記述でセンサやアクチュエータなどを制御可能なツールキットが登場している [2]．坂本
らは，天井にとりつけた web カメラと，ロボットに貼付けられたビジュアルマーカを用いて，ロボットの位置を簡単な記述で制御できるツールキットを提案している [10]．一方で，言語を論理的に記述する必要があることや覚えることが数多くある点で，専門の知識を持たないユーザにとっては敷居が高いものである．
ロボットの動作に対する直接的な教示手法の提案
として，ユーザがロボットの関節を直接動かすことによる教示方法がある．Gribovskaya[3] らの研究では，人型ロボットの腕を直接ユーザが動かすことで，作業内容を教示する手法を提案をしている．また，
Raﬄe らは，アクチュエータをモジュール化することでユーザが自由にロボットの形状を形成でき，さらに直接的に動作教示が可能な Topobo というシステムを提案している [9]．しかし，このような直接操作では，服畳みのように，操作対象の状況を認識して対応するといった高度な作業を教示することは困難である．
さらに近年では，ユーザが実演した作業を画像やモーションキャプチャなどで記録し，それからロボッ
トの動作を生成する方法が提案されている [1]．池内らの研究では，人間の実演動作から部品の位置関係
や，手順といった抽象度の高いレベルでの作業教示を目指した [5]．服の畳み方についても人間が自分の手でたたんで見せるという方法が考えれるが，その場合にはロボットのもつ物理的な制約に違反した操作をしてしまう可能性がある．
ヒューマンインタフェースの分野において服や紙などの柔軟な物体を操作するためのユーザインタ
フェースが提案されている．五十嵐らは，3 D キャ
ラクタに衣服を着せるためのインタフェースを提案している [4]．また，古田らは，ドラッグ＆ドロップなどの操作によって，コンピュータ上に表示された紙の折り畳みを操作可能なソフトウェアの開発を行っている [13]．これらの研究は，コンピュータ内でのシミュレーションにとどまるものであるが，我々が提案するシステムは，インタフェースで服の折り畳み手順をシミュレーションし，ロボットを用いて実世界での再現が可能である．
ロボティクスの分野において，布などの柔軟物体を扱うための制御手法やハードウェアの構築が注目され盛んに研究が行われている．柴田らは，無造作に床に置かれた布の形状を認識し展開状態を実現する
ロボットハンドのアルゴリズムを提案している [12]．
大澤らは，展開された状態の布を，ロボット化された地面とハンドを用いて折り曲げ作業を実現している [8]．また，Maitin-Shepard らは，人型ロボット
を用いて無造作に置かれた状態から布の折り畳みまでの一連の作業を実現した [6]．これらのロボット
は，あらかじめ開発者が記述したプログラムに従って動作するものであるが，本研究は，エンドユーザ
が個々の必要に応じて折り畳み方を教示できる点でこれらとは異なる．

3

服の畳み方の教示インタフェース

本研究では代表的な家事の中でも「服畳み」を取り上げる．服の畳み方は人や家庭によってそれぞれに好みがあり，ユーザ好みの畳み方を教示すること
は家庭用ロボットにとって今後必須な機能となることが考えられる．そこで，単純なマウス操作によってユーザ好みを畳み方をロボットに教示することができる GUI を開発する．これは，GUI 上に服のモデルが表示されており，折り畳み作業における本質的な部分 (折り畳み場所と順序) を操作できるようになっている．ユーザは，GUI 上で単純なマウス操
作によって自分が望む折り畳み手順を入力する．シ
ステムはユーザの操作結果に従い，ロボットの行動
手順を生成し，ロボットは指示通りに服を折り畳む．
これにより服畳みロボットの細かい動作の入力を必要とせず，直感的に教示することが可能となる．これらの GUI には視覚的なフィードバックが内包されており，ユーザがロボットに対して不可能な操作命令を与えないよう実世界の制約が考慮されている．

3.1

グラフィカルユーザインタフェース

ユーザは衣類を展開された状態で指定された実世界のステージの上に置く．続いて天井に取り付けられた web カメラによって服の形状をキャプチャし，GUI 上で 2 次元のモデル化された衣類を表示する(図 2)．ユーザは衣類のモデルの折り畳み方・手順

Foldy: Graphical Teaching for Garment-Folding Robot
Web Camera
Robot / Object
Detection

Garment

Gar

PC

Controlling robot!
via Bluetooth

図 4. システム概要図

図 2. 服畳み教示インタフェース

図 3. ロボットの物理的な制約を視覚的に表示するをドラッグ＆ドロップ操作で入力する．ロボットが実世界で作業不可能な入力を行っている場合，視覚的に衣類の色を変化させることでロボットの制約を視覚的にユーザに提示する仕組みが組み込まれている (図 3)．システムは，操作結果に従いロボットの行動手順を生成し，実世界でロボットは指示通りに衣類を折り畳む．

3.2

実装

本システムは，服畳みロボット，衣類の認識やロボットの位置計測をする Web カメラ，及びこれらを処理するコンピュータから構成されている (図 4)．
コンピュータは，ユーザが服の畳み方を教示するイ
ンタフェースにも用いられる．

3.2.1

インタフェースの実装

本稿では一般的な web カメラ (Logicool 社製のQcam Pro for Notebooks) を用いて服の形状を認識する．Web カメラはステージ中央から約 1.8[m]上部に設置し，PC とは USB で接続されている．衣類の形状認識はこれまで輪郭抽出アルゴリズムを用いている．画像内の背景と衣類を二分化し，衣類の境界を抽出することで輪郭形状を抽出する．現状のシステムでは床に黒いベロア布を敷き，環境光の照ら付きによる誤認識を抑えている．システムは衣類の形状データに基づき衣類のモデルをインタフェー
ス画面に表示する (図 5)．
折り畳み方の入力はドラッグ＆ドロップ操作で行う．ユーザがクリックした場所から最も近い服の境界上の点をドラッグしているマウスポインタに重ねて描画することで，インタフェース上での折り畳み操作を実現する．

Robot

図 5. 衣類を抽出しモデルを表示する様子

また，インタフェースは教示データの記録および実世界での再生機能を実装する．ユーザが置く衣類と一度記録した教示データの位置や回転角度の相違が想定されるため，システムは記録データと実世界の衣類の整合性をとり，ロボットの動作手順の修正をする (図 6)．まず，システムは各々の衣類の重心を計算し，両衣類の位置の相違をもとめる．続いて，以下の値を最小化するように衣類の回転角度 φ をもとめる．

e(φ) =360∑{f (θ + φ) − g(φ)}2

(1)

θ=1

f (θ) と g(φ) は，教示時および現在の衣類における重心から輪郭までの距離である．
3.2.2

服畳みロボット

服畳みロボットは，4 つの車輪，およびそれを駆動するモータ，服をつかむためのハンド，システムと無線通信するための Bluetooth，それらを制御するマイクロコントローラで構成されている．ロボッ
トにはあらかじめ，車輪の「前進」
「後進」
「右旋回」
「左旋回」や，ロボットハンドの「つかみ」「放し」の動作が予めマイクロコントローラ内に組み込まれている．コンピュータから各動作に対応する制御命
令を送受信することで，ロボットの動作を制御することが可能である．ロボット上部には，システムがWeb カメラでロボットの位置を認識するためのビ
ジュアルマーカが取り付けられている．ロボットのアームの先端にはハンガーのような手先を取り付けることで，ズボンや長袖など長い辺の衣服を畳むことが可能である．

WISS 2010

図 8. 衣類の把握動作

図 9. 衣類の離脱動作

図 6. 2 種類の衣類の回転角度の相違をもとめる計算
方法

(a)

(b)

(c)

クションに関する国際会議 SIGGRAPH 2009 の技
術展示部門にて 5 日間で約 3000 名近くの観客にシステムを披露し，約 1100 名の体験者を得た．体験者のほとんどはインタフェースの操作方法を簡単に理解し，好みの畳み方を入力できているようだった．
図 11 に体験者がインタフェースを通して畳み方を入力し，実際にロボットが折り畳むまでの様子を示す．ロボットは 69.25 ％の成功率で体験者の操作通りに服を折り畳むことができた．失敗の要因としては，1. 展示会場の環境光の影響でロボットのマーカの認識精度が低下したこと，2. 床に凹凸があった
ためロボットが安定して動作しなかったことが考え
られる．

(d)

5
図 7. ロボットの動作手順

3.2.3

ロボットの制御

ユーザがインタフェースを通して折り畳み手順を入力後，システムはロボットの動作手順を生成する．
図 7 にロボットが衣類を折り畳むまでの一連の動作
手順の例を示す．まず，ロボットは円を描くように
衣類の周囲を巡回し，衣類を把握する地点まで移動
する．次に，ロボットはハンドを開きながら衣類に接近し，下から衣類をすくい上げ把握する (図 8)．
衣類を把握する場所は折り畳む線から垂直二等分線
を伸ばし衣類の輪郭と交わる点であり，この点がロボットハンドの中点と重なるようになっている (図10)．続いて，ロボットは直進動作で離脱する位置まで進み，ハンドを開いて衣類を離脱する (図 9)．衣類の離脱後，ロボットは後進し衣類から一定の距離をとる．次の折り畳み作業が必要な場合には，再び衣類の周囲を巡回し，前述の作業を繰り返す．

4

議論

本章では，開発したシステム及び公開展示の結果をふまえて，ロボットのための効果的なインタフェー
スの設計，拡張性，システムの限界について議論
する．

5.1

実作業を主体とするロボットへの効果的なイ
ンタフェースの設計

本稿では，家事ロボットに対して効率的に作業指示をする GUI の提案を行った．本インタフェース
は，多くのバーチャルリアリティシステムが目指しているような，現実世界の細部までを情報世界で再現するといった目標とは異なるものである．このよ

Grab Point

Release Point

公開展示

開発したシステムを用いて，一般の体験者に対して実演展示を行った [11]．コンピュータとインタラ

Fold Line

図 10. 衣類を把握する位置の決定方法

Foldy: Graphical Teaching for Garment-Folding Robot

Giving Instruction of garment folding for robot on graphical interface
Invoke robot to foldで結ばれた家電や，情報化された自動車など半自動化したシステムに対するインタフェースとしても応用できるだろう．その際には iPad に代表される，簡
単にどこでも使用可能で，マルチタッチなどの新しい直感的な入力の仕組みをもつディバイスによって
本提案のような手法が促進されると考えている．

5.3

システムの限界

今回は本稿で提案したコンセプトの検証（Proofof Concept) のための試作であり，このため試作し

図 11. 体験者による手順指示とそれに従い実際の衣類を折り畳むロボットの様子

うな物理シミュレーションは，マウスなどの限られたインタフェースを用いて，3 次元的な作業を要求するため操作に時間を要し非効率的である．本イン
タフェースはユーザの好みが生じる本質的な部分だ
けが抽象化され操作可能となっている．これにより，
ユーザは目的以外の要因について注意する必要がな
く，ロボットに要望を伝えるための最低限の入力で良い．これは高いリアリティを目指した物理シミュ
レーションと比較し，より効率的にかつ簡単にロボッ
トに命令を出すことができる．
さらに，Computer Aided Design(CAD) に見られる設計を支援するソフトウェアを用いて実世界のモノを設計するためには，設計者が経験的にこれらを実世界での制約を考慮しながら設計するか，設計後のシミュレータ解析の結果に従い修正する必要がある．本手法はこのような実世界における制約をユー
ザの操作に従い視覚的に提示することで，効率的なロボットの教示を可能とする．

5.2

拡張性

本手法は，専用のロボットハードウェアに特化したものではない．本稿においては小型車両ロボットを採用したが，アーム型ロボットや人型ロボットに対してもインタフェースを変更せずに利用可能である．また，GUI の特徴として，ユーザが物理的に実演が困難な作業に対しても操作することが可能である．例えば，テントやカーテンなどの大きな布状のものを実際にユーザが実演することは難しいが，GUI はユーザの身体的な能力を拡張して教示することが可能である．
本手法は今回対象とする家事以外にも，床掃除において重点的に掃除をする場所の指示や，料理において調理手順の教示などに本知見を応用できると考えている．さらに，ロボット以外にもネットワーク

たロボットのハードウェアの問題として．ロボット
自体が衣類を展開できないためユーザがその作業を代わりに行う必要があった．また，ロボットの大きさや腕の長さの制約から，子供サイズの衣類しか畳むことができなかった．
また，衣類の輪郭は背景色との差分から抽出しているため，この差分が小さいと認識が困難である．
現状では白色の衣類に限定し，システムが動作する
ことを確認している．今後は床の材料として再帰性反射材などを用いることで，衣類の色に左右されない認識システムを開発する予定である．
さらに現状のシステムの重要な課題として，ロボットが何らかの原因で十分に折り畳み作業をできなかった場合，システムがそれを認識できない．今後は，GUI で操作した結果と現在の服の形状を比較し，折り畳みが不十分な場合はやり直しができる
ようなシステムを開発する．また衣類の把握精度を高めるために，ロボット側にも何らかのセンサを組み込むことを検討している．

6

まとめ

本稿では，ロボットに関する知識を持たないユー
ザが，家庭用ロボットに対して自分好みの作業方法を簡単に教示するための手法を提案した．これは従来の直接的にロボットの動作を教示する手法とは異なり，ロボットにさせたい作業を GUI で操作する
ことで，ロボットを意識しない直感的な教示を実現する手法であった．本稿では「服畳み」を例として取り上げ，提案手法を用いたユーザの指示を柔軟に受け取り，解釈し，実際に作業を行うロボットシス
テムを開発した．GUI には実世界における制約が考慮されているため，ロボットに実際に可能な動きのみを効率よく教示することが可能となった．このような制約の考慮は，ユーザが自分の手で服をたたんで見せる方法では困難であると考えられる．開発したシステムを用いて一般展示を行い，体験者が実際にさまざまな畳み方を教示できること確認した． 本
稿の終わりではこれらの結果を踏まえ，本手法の利点や拡張性について議論を行った．今後は得られた知見をもとにシステムの改良を行ない，応用例についても検討を行う予定である．

WISS 2010

参考文献
[1] C. G. Atkeson and S. Schaal. Robot Learning
From Demonstration. In ICML ’97, pp. 12–20.
Morgan Kaufmann Publishers Inc., 1997.
[2] S. Greenberg and C. Fitchett.
Phidgets:easy development of physical interfaces throughphysical widgets. In UIST ’01, pp. 209–218.
ACM, 2001.
[3] E. Gribovskaya and A. Billard. Combining dynamical systems control and programmingby
demonstration for teaching discrete bimanual
coordination tasks to a humanoid robot. In HRI’08, pp. 33–40. ACM, 2008.
[4] T. Igarashi and J. F. Hughes. Clothing manipulation. In SIGGRAPH ’03, pp. 697–697. ACM,
2003.
[5] K. Ikeuchi and T. Suehiro. Toward an assembly plan from observation. I. Task recognition
withpolyhedral objects. IEEE Transactions on
Robotics and Automation, 10(3):368–385, 1994.
[6] J. Maitin-Shepard, M. Cusumano-Towner,
J. Lei, and P. Abbeel. Cloth Grasp Point Detection based on Multiple-View Geometric Cues
with Application to Robotic Towel Folding. In
ICRA ’10, 2010.
[7] A. Matsumoto, M. Nobuhiro, T. Fukui, andT. Fujita. Ergonomics and usability of pendant

未来ビジョン
多くの人々が鉄腕アトムやドラえもんのように，人の代わりになんでもやってくれるロボットの実現を夢想している．しかし，このようなロボット達を実用化するためには気の遠くなる程，多くの乗り越えるべき壁が存在する．
たとえば，1. 人の生活空間をロボットや関係するシステムだけで認識することが難しい．2.
人の意図を読み取ることが難しい等，様々な問題がある．また，機能的に開発に成功したとしても，価格や安全性の問題など，普及までには険しい道がある．
一方で，現在家庭に普及している電化製品を鑑みたときに，ある程度の指示や作業はユー
ザに頼っていることがわかる．例えば炊飯器の場合にはどのようにご飯を炊くのか，お粥なのか，炊き込みご飯なのかなどはユーザが炊飯器のインタフェースを通して指示をしている．
また米を研ぐなどの作業はユーザが物理的にサポートをしている．このように現在の電化製品においても技術的に困難な作業は人が行っているという点において，機械が得意な作業と人の得意な能力を適切に判断し，システムとのインタラクションを適切にデザインする
ことが広く普及するシステムに重要であるこ

terminals for improved safety. In SIAS ’03, pp.
3–81, 2003.
[8] F. Osawa, H. Seki, and Y. Kamiya. Clothes folding task by tool-using robot. Journal of Robotics
and Mechatronics, 18(5):618–625, 2006.
[9] H. S. Raﬄe, A. J. Parkes, and H. Ishii. Topobo:
a constructive assembly system with kinetic
memory. In CHI ’04, pp. 647–654. ACM, 2004.
[10] D. Sakamoto, J. Kato, M. Inami, andT. Igarashi. A Toolkit for Easy Development ofMobile Robot Applications with Visual Markers and a Ceiling Mounted Camera. In Extend.
Abst. of UIST ’09, pp. 55–56. ACM, 2009.
[11] Y. Sugiura, T. Igarashi, H. Takahashi, T. A.
Gowon, C. L. Fernando, M. Sugimoto, and
M. Inami. Graphical instruction for a garment folding robot. In ACM SIGGRAPH 2009
Emerging Technologies, pp. 1–1. ACM, 2009.
[12] 柴田 瑞穂, 太田 剛士, 遠藤 善雅, 平井慎一. 布地の把持・展開・定置を実現する機械システム. ロ
ボティクス・メカトロニクス講演会講演概要集,
2008.
[13] 古田 陽介, 木本 晴夫, 三谷 純, 福井 幸男. マウスによる仮想折り紙の対話的操作のための計算モデルとインタフェース. 情報処理学会論文誌,
48(12):3658–3669, 2007.

とが分かる．
これらと同様に，我々は人とロボットがお互いの能力を柔軟に協調させることでロボットも実用的になっていくと考えている．人とロボットが協調する場合，人の得意な能力として
は主に知能部分であり，インタフェースを通じてロボットに指示を与えることが考えられる．
また，ロボットは繰り返し作業や長時間の作業を得意としている．人とロボットの自然な協調により，ロボット単体としては賢さを持たな
いが，人を内包したシステム全体としては知的で，より複雑な作業を実現できると考えている．
我々は近い将来に家電のように手軽に扱えるロボットを家庭に浸透させることを目標として，本稿で報告したような研究・開発を行っている．ユーザがロボットに対して柔軟に作業指示を行うことは，このようなロボットにとって必須となるであろう．いわゆる多くの人々の理解しているロボットとは異なる可能性があるが，実用的かつ人を物理的に支援できるロボットとの生活が我々の描く未来であり，我々の現実的な世界である．今後も研究を通して我々のロボット観の提案をし続けて行きたいと考えている．