WISS 2015

D3 ：デスク上での作業追従と自動写真撮影
白石晃一 ∗大島裕明 †概要.
本研究では，デスク上での作業を追従し，自動的に作業過程の写真撮影を行うシステム Desktop
Documentation Device: D3 の開発を行った．本システムは，作業の過程を自動的に記録することで，How-to情報の作成を支援することを目的としている．ユーザの動作を追従するようにアーム全体が旋回し，的確なポイントを逃さずに作業状況の写真撮影が行える．

1

はじめに作業を行う際に，作業の過程を記録し文書としてまとめる行為は重要である．作業の過程が記録されることによって，自身や他者がその作業を再現したり，今後その作業を改善したりできる可能性が飛躍的に上がる．様々なメディアで How-to 情報が公開され，広く利用されるようになってきていることに比べて，How-to 情報を作成する側に回る者は少ない．
そこで，ある程度自動的に作業を記録するシステムが有効だと考える．これまでにも，デスク上における作業を自動的に撮影するシステム [3]，撮影された作業の様子をテーブル上にプロジェクションする作業環境 [1]，カメラ，ディスプレイ，マイクロフォン等を埋め込んだキッチンの作成 [2] などが研究されてきている．本研究では，作業行程における的確なポイントを逃さず検知し，効率的に記録し，的確なドキュメントを作成するためのシステムを提案する．
我々は，提案システムを Desktop Documentation
Device：D3（発音：ディーキューブ）と名付けた．
図 1 は D3 の全体像である．図 2 は，D 3 を用いて自動的に作成されたコンテンツをウェブブラウザで表示した例である．

2

D3 のハードウェアとソフトウェア設計

ハードウェアは，土台部，アーム部，フード部，機械制御部で構成される．土台部，アーム部，フード部の部材は，主に 3D プリンタからの出力と，アクリル板のレーザー加工機による切削，アルミ角パイプの CNC フライスによる切削で作成した．D3 の土台部は，アーム全体をステッピングモーターを使い旋回させる機構を持ち，アームの振り幅は約 120 度に設定した．アームは，一般的なアームライトにおいてもよく利用されている平行リンク機構を使っており，フードが常時平行移動をするように設計されている．フード部には USB ビデオカメラが設置さ
Copyright is held by the author(s).
京都大学 学際融合教育研究推進センター†
京都大学 大学院情報学研究科

図 1. D3 の全体像れており，利用時には PC と接続される．照明のために，カメラの周りに弾丸型白色 LED 12 個によるアレイ基盤を配置してあり，この LED はつまみ型のボリュームで，照度調節が可能である．ステッピ
ングモータの制御と，LED のスイッチ制御は，PCと接続された Arduino UNO R3 で行う．機械制御部は，PC 上で動作するソフトウェアとシリアル通信を行い，アームを回転させる命令を受信し，命令∗

図 2. 作成された HTML の例

WISS 2015

表 1. D 3 を用いた実験結果

被験1者
被験2者

タスク
レゴ
折り紙ギア
レゴ
折り紙ギア

写真数手動 D3171922171922144341454064

再現率

適合率41.1%
52.6%
54.5%
64.7%
68.4%
86.3%

50.0%
23.2%
29.3%
24.4%
32.5%
29.6%

に従って，ステッピングモーターを一定の角度旋回させる．D3 のソフトウェアは，写真を撮影し，保存された写真を提示する HTML ファイルを作成する．ソフトウェアは，主に以下の 3 つの機能を実現する．

• 動作検出• 機械制御部への制御信号送信• 画像保存と HTML 作成
これらは，Processing による一つのプログラムとして実装された．本ソフトウェアは，USB ビデオカメラからの映像を常時取得しており，動作検出は，直前のフレームと現在のフレームの色情報の差分を基に行う．動作検出点が左右いずれかにずれていると判断されたときには，アームを制御する信号を送信し，検出点をを画角の中央に配置する．アームが動作し終わってすぐに，作業の様子を撮影する．画像は，日付と時間に応じたファイル名を付けて，日付ごとに分けられたディレクトリに保存され，画像を表示するための HTML ファイルが自動的に作成される．

3D3 を用いたケーススタディ

D3 について評価と考察を行うため，[レゴの組み立て][折り紙][ギアボックスの組み立て] の 3 つのタスクを設定して D3 を利用する実験を行った．被験者はまず，D 3 を使わずにタスクを行い，その作業過程において被験者が重要だと考えるポイントを補助者に手動で撮影してもらうことで，工程を表す写真群を作成する．次に，同じタスクを D 3 で自動撮影し，写真群を作成する．実験後，手動で撮影された写真群と，D 3 を使用し撮影された写真群とを比較し，適合率と再現率によって評価した．表 1 は，実験結果を表している．結果からは，被験者の動作が大きくなる過程で特に自動撮影の枚数が増加していることがわかった．撮影枚数が多くなれば，適合率も上がり取りこぼしが少なくなるが，作業の過程において重要なポイントを探すことが困難になる．
適合率は平均すると 30%程度であり，再現率は被験者とタスクによってばらつきが大きく，被験者の癖や作業時の環境が，動作検出の反応の仕方に影響したと考えられる．被験者の動作が小さくなる過程では，長時間撮影されないこともあるため，一定時間アームが動かない状態が続いたとしても，中央付近で動作検出があった場合には，撮影を行うようにするなどの改良も考慮しなくてはならないと考えている．しかし一方で，被験者が意識的にアームの移動を誘発させて，撮影を促す行為も何度か見られた．
自動で適切な写真をタイミングよく撮影することに加えて，ユーザとインタラクションを行う機能も検討していきたい．多様なアプローチで完成に至ることが可能な作業は，失敗も起きやすく，単純な作業が連続することもあるため，重要なポイントを撮影することが困難である．そのような問題に対して，動作を起点に自動で撮影するというシステムは有効に機能すると考えられる．最後にこの実験で得られた定性的な知見は，失敗を記録できるという点である．失敗の過程を記録することは意識的に行うことが難しい．しかし，失敗の過程は再制作や改変において有益な情報であり，記述しておくべき過程である．また，いくつかのタスクでは，被験者が次の作業の工程を考え，迷うという状況があった．そのような状況では，被験者の動作は小さくなり，結果として写真が残らない場合があった．この “迷う” という状況も失敗の過程と同様に有益な情報と考える．

4むすび

本稿では，デスク上での作業過程の写真記録を自動的に行うシステム D 3 を提案した．今後解決すべき課題は多いが，まずは，アームに可動機構をつけ，追従範囲を広げることを行いたいと考えている．実験から得た知見を基に，デスク上の作業環境自体をデザインしなおすというアプローチも検討していきたい．なお，我々は，D 3 のすべてのデータを公開する準備を進めている．公開することによって，パーソナライズ可能なシステムとして，より多くの人に利用してもらうことを望んでいる．

参考文献[1] 慶應義塾大学ソーシャルファブリケーションラボ.
How to make Fab Table in instructables: http://www.instructables.com/id/How-tomake-Fab-Table/.
[2] 椎尾一郎, 宮澤寛, 美馬のゆり. Kitchen of theFuture: 調理を記録・公開・再生するキッチン. 第12 回インタラクティブシステムとソフトウェアに関するワークショップ (WISS 2004) 予稿集, pp. 5–8,2004.
[3] 尾関基行, 中村裕一, 大田友一. 机上作業シーンの自動撮影のためのカメラワーク. 電子情報通信学会論文誌 D, 86(11):1606–1617, 2003.