Sharedo: To-doリストによる人-ロボット間のタスク共有
WISS 20112011/12/1-3 / 於: 京都

東京大学* / JSPS**加藤 淳*,**, 坂本 大介*, 五十嵐 健夫*

2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo

1

Sharedo: To-doリストによる人-ロボット間のタスク共有

はじめに

2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo

2

Sharedoとは• 人とロボットがTo-doリストを共有（Share）し、分業体制を築けるWebアプリケーション• コメント欄の対話を通じて非同期的な指示出しができる
人ロボット• http://www.sharedo.info/（要 アカウント）
2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo

3

デモ
1. To-doリストの共有
2. ユーザによるTo-doの追加
3. コメント欄を用いたロボットとの対話– 買い物ロボット（@sharezon）

4. ロボットによるTo-doの追加– 掃除ロボット（@sharerom）

2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo

4実装の概要• ロボット:– ハードウェア• ボット:– ユーザの指示を正規
表現マッチで解釈– ロボットに指示を出す• Sharedoプラット
フォーム:– ボット・ユーザを繋ぐプラットフォーム
2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo

5

Sharedo: To-doリストによる人-ロボット間のタスク共有

関連研究

2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo

6

関連研究: ロボット用UI• ロボットを直接操作するUI（同期的指示出し）

ジョイスティックによる直接操作

カメラ映像+CG上で操作 [橋本, 2011]… etc.

• タスク指向のUI（非同期的指示出し）

タグ付きカードによる非同期指示 [Zhao, 2009]2011/12/2

タイムライン操作による調理指示 [杉浦, 2010]

見取り図GUIを活用した
服畳み [杉浦, 2009]

Sharedo: http://bit.ly/wiss2011-sharedo… etc.
7

関連研究: ロボット用UI• ロボットを直接操作するUI（同期的指示出し）

ロボットがこなすべきタスクの• タスク指向のUI（非同期的指示出し）
全体像が明確に設定されたUI
ジョイスティックによる直接操作

タグ付きカードによる非同期指示 [Shen, 2009]2011/12/2

カメラ映像+CG上で操作 [橋本, 2011]

タイムライン操作による調理指示 [杉浦, 2010]

見取り図GUIを活用した
服畳み [杉浦, 2009]

Sharedo: http://bit.ly/wiss2011-sharedo… etc.

… etc.
8

ロボットUIから一段メタなインタラクション設計へ• 既存研究: ロボットがこなすべきタスクの全体像が明確に設定されているロボット操作用UI• ユーザがロボットにできることの全てを常にロボット任せにするとは限らない– 例）忙しいときはロボットに、暇があれば自分で…

• Sharedo: 人とロボットでタスクを分業するためのインタラクション設計
2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo

9

Sharedo: To-doリストによる人-ロボット間のタスク共有

実運用・議論2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo

10

実運用
• 約2ヶ月間2グループ4名に使ってもらった– 1グループ: @sharerom + @sharezon– 1グループ: @sharezon– （RoombaやAmazonを直接使ってもよい）• 結果– 使ってもらえた
To-doリスト 15個（初期設定4個）
To-do項目 179個（To-doリストあたり約12）
コメント
111個（ロボットから61個、To-do項目あたり約0.62）
2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo11

実運用の結果・感想 (1)• 人がロボット（システム）にあわせるようになる– To-doリストの中身を整理するようになる– 例: 買う、という語を明示的に入れるようになった– Cf. Roombanize＝ルンバ向けに部屋を整頓する• ロボットの言うことなら聞く– 例: 掃除しないことはなくなった

2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo

12実運用の結果・感想 (2)• 複数のロボットとリストを共有した場合に、対話相手を明示する必要が生じることがある– 例: 「掃除用具を買う」→ @sharerom, @sharezon– 現在の実装での対処法:• To-doを対象ロボットに割り当て• @アカウント名 をつけてコメント

2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo

13実運用の結果・感想 (3)• 同じ機能のロボット群が現れるといちいちロボットを明示的に指定するのが面倒になる• 指揮者相当のロボットが必要– 例: Amazon+楽天+…→最適な商品を横断検索
Amazon API@sharezon

複数ロボットの提案からよりよいものを選抜@sharemetashop@sharakuten
楽天API
2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo

14

将来の展望 (1)• リマインダ機能の拡充– 放置されたTo-doへのコメント、応援• 例: 原稿しロボット「論文イントロを書く」が一週間放置されてるよ！
がんばれ
原稿しろ

– 実世界イベントをトリガにしたリマインダ• 例: 新刊ボット、飲み会幹事ボット○月△日発売です。
予約しますか？

最近飲み会が開催されていません。
前回は中華でした。

「3月のライオン」3巻を買う

2011/12/2

飲み会する（洋食）

Sharedo: http://bit.ly/wiss2011-sharedo

15

将来の展望 (2)• 入力したTo-doを適当な粒度に分割してくれる仕組み– To-do履歴＝タスク手順をソーシャルWebで共有– 例: 「旅行」→旅行の準備に係る段取りへの分割
ドイツ旅行

二か月前まで: パスポート取得（ユーザ入力）一か月前まで: 航空機チケットの手配
一週間前まで: 空港までの交通手段の確保

二日前まで: 荷造り
行きたい観光地のリストアップ…

2011/12/2…

観光地を訪問するTo-doを追加するとさらにおすすめルートのTo-doリストが取得できるetc.
Sharedo: http://bit.ly/wiss2011-sharedo

16

将来の展望 (3)• 入力したTo-doを適当な粒度に分割して自動実行してくれる仕組み– 例: 「料理名」→食材購入と調理への分割
チンジャオロースを作る

ピーマンを買う（ユーザ入力）ひき肉を買う○○を買う
料理ロボットがオンラインレシピを参照してTo-doを分解

材料がそろったら調理

買い物ロボットが買い物To-doを実行

2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo

17

Sharedo: To-doリストによる人-ロボット間のタスク共有

おわりに

2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo

18

Sharedo• 人とロボットのTo-do共有アプリケーション– 人とロボットがTo-doリストを共有し、分業できる– コメント欄の対話を通じて詳しく指示出しできる• 人とロボットを区別しない新しいHuman-RobotInteractionを実現– ロボット＝分業のパートナー

2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo

19

未来ビジョン

• 全自動の人生はつまらない

2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo

20

未来ビジョン: be Human with ○○○○
• 全自動の人生には決してないもの。

• 自己鍛錬– 例: パスタ打ち• 美意識– 例: 芝刈り• 他の人への好意– 例: 裁縫
2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo

21

未来ビジョン: be Human with Love
• 全自動の人生には決してないもの。

• 自己鍛錬（自己愛）– 例: パスタ打ち• 美意識（周辺環境への愛）– 例: 芝刈り• 他の人への好意（他者への愛）– 例: 裁縫
2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo

22

Sharedo: To-doリストによる人-ロボット間のタスク共有
補足資料

2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo

23

目次• インタラクションデザイン• 実装• 未来ビジョン（もっと詳しく！）

2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo

24

Sharedo: To-doリストによる人-ロボット間のタスク共有

インタラクションデザイン

2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo25

1. To-doリストの共有• Twitterアカウントを用いてログイン→リストを共有• リストごとに共有メンバーを選べる– 使用目的に応じてリストを使い分けられる

人ロボット

2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo

26

2. ユーザによるTo-doの追加• 入力項目:– To-doの内容– やる人（各メンバー or 「誰でも」）• 追加後の流れ:
1. ロボットに割り当てられていたら、実行可能なタスクか判断
2. 実行可能なら対話を通じて曖昧性を除去（後に詳述）
3. 実行することが決まったら実行して「完了」
2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo27

3. ロボットによるTo-doの追加• Sharedoではロボットと人が同等の権限を持っており、ロボットもTo-doを追加できる。
• 追加後の流れ:– 人が実行の要不用を判断（不要なら削除）– 人あるいはロボットが実行して「完了」• 用途例:– リマインダ• しばらく掃除していないときに掃除を促すetc.

– エラー通知• 身動きが取れなくなった、ダストビンの掃除etc.
2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo28

4. コメント欄を用いたロボットとの対話• 曖昧性を除去し、ロボットの実行を許可するた
めに、To-doごとに用意されたコメント欄を用いてロボットと対話する• 現在用意されているロボットの実装は二種類
掃除ロボット（@sharerom）• 指定した日時に指定した回数掃除してくれる買い物ロボット（@sharezon）• 指定した物を買って届けてくれる

2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo29

掃除ロボットとの対話• キーワード「掃除する」に反応 or 一週間掃除していないとTo-do作成• カレンダーから不在を取得して掃除時間を提案– 返答により再提案要請や手動の時間指定が可能• 掃除手法の指定も可能– 掃除の回数指定etc.
「掃除する」To-doを作成した際の対話例
2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo

30

買い物ロボットとの対話• キーワード「買う」に反応• To-doの内容からそれらしい商品を検索、3個まで提案– 返答により絞り込みや再検索が可能• 商品名をクリックすると決済でき、商品が部屋（家）に届く「パスタを買う」To-doを作成した際の対話例
2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo

31ワークフロー2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo

32

2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo

33

Sharedo: To-doリストによる人-ロボット間のタスク共有

実装

2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo

34

Sharedoプラットフォーム• 実装: Google App Engine for Java + Slim3• ユーザ認証:– UUIDごとに権限を管理– ボットもユーザ同様にUUIDを与えられるクライアントSharedoCookie（なし）

ログイン前の画面「Twitterを利用してログイン」ボタン

Twitter

ログイン画面UUID発行（OAuthのアクセス情報とひもづけ）
Cookie（UUID）
ログイン後の画面

2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo

35

Sharedoプラットフォームのインタフェース• ユーザ側インタフェース:– HTML5 + CSS3 + JavaScript（jQuery Mobile）– Web APIとAjaxで通信• /list/register へのリクエストで新しいリストの作成etc.

• ボット側インタフェース:– Web Hookによるイベント通知• Sharedoプラットフォームは、イベントが起きたときにボットの公開しているURLへHTTPリクエストを行う– TODOが作成されたら ./todo へのリクエストが発行されるetc.

• ボットは、リクエストに対してWeb APIコールなどを含む適切な処理を行う
2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo

36ボット・ロボットの実装
掃除ロボット

買い物ロボット• ボット: Google App Engine• 同左– ユーザの入力（TODOやコメントの内容）を正規表現で評価し、適当な応答を返す– 同左、ただしAmazon Product
Advertising APIを利用して応答を返す• 自宅の簡易HTTPサーバ: リ
クエストがくるとロボットに掃除させる• ロボット: Roomba• ロボット: （Amazon, ○急便）

2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo

37

Sharedo: To-doリストによる人-ロボット間のタスク共有

未来ビジョン（もっと詳しく！）

2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo

38

（参考）昨年の未来ビジョン• 人とロボットを区別しないツールキットMatereal[加藤, 2010]• 未来ビジョン: 担い手を意識しない指示出し

2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo

39

今年の未来ビジョン×2: 矛盾？
• システムに全てお任せの人生はつまらない– SFで繰り返し語られてきたテーマ: 理想論？

• システムに指示されて体を動かしたほうが全体としては効率的なこともある– 自己管理の難しさ: 現実？

2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo40

今年の未来ビジョン×2: 矛盾？
• システムに全てお任せの人生はつまらない– SFで繰り返し語られてきたテーマ: 理想論？
「未来の自分への指示出し」
をシステムに委任している…と考える。
• システムに指示されて体を動かしたほうが全体としては効率的なこともある– 自己管理の難しさ: 現実？

2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo

41

未来ビジョン: 意志を尊重するHCIに向けて• システムに全てお任せの人生はつまらない– 本論文の主張: 人が楽しんで創造性を発揮できることをロボットにさせない自由があるべき。

• システムに指示されて体を動かしたほうが全体としては効率的なこともある– 本論文から生ずる疑問: 他にどんな応用がある？

2011/12/2

Sharedo: http://bit.ly/wiss2011-sharedo

42