WISS2013

Autonomous Interactive Desk Environment の構築
藤田 真康

諏訪 博彦

栗原 聡 ∗

概要. オフィス等における PC を用いたデスクワークにおいては，各ウィンドウの配置や，机上のノート，ペン，マグカップといったオブジェクトの配置動作に煩わしさを感じることがある．この問題を解消するため，本研究ではユーザの代わりにウィンドウやオブジェクトの配置・整理整頓を自律的に行うシステム，
AIDE (Autonomous Interactive Desk Environment) を提案する．通常のディスプレイに加え，机の部分にもタッチパネルを配置し，更にユーザに対して物理的支援を行うためのロボットアーム 2 基にて構成され，各ウィンドウとオブジェクトをそれぞれ自律エージェント化し，マルチエージェント協調メカニズムに基づいてユーザに対する適切なインタラクションを実行する．各エージェントの移動指標を設定するため，ユーザの作業ログから定型的な作業パターンを抽出し，これらのデータを収集することによりエージェントの移動先の学習を行う．

1

はじめに

オフィス等における PC を用いたデスクワークにおいては，各ウィンドウの配置や，机上のノート，ペン，マグカップといったオブジェクトの配置に煩わしさを感じることがある．しかし現状では，配置作業は手動で行われている．
このような人手の作業をロボット等のエージェントにより支援する研究がある．Duan[1] らは，デスクワークの 1 つであるセル生産組立を対象とし，ロボットが部品を作業者のもとまで配膳する，組立情報を机上に表示する等，作業者とシステムとの協調による組立作業支援システムを提案している．しかしこのシステムでは，動作タイミングをユーザが指示しなければならず，システムがユーザの作業状況を見て自律的に動作するという事はできない．より人の負荷を減らすには，ユーザの動作からユーザが次に何を求めるか予測し，自律的に支援することが必要である．
そこで本研究では，PC を用いたデスクワークを対象とし，デスクワーク支援システムとして，ウィンドウやデスク上にある物の配置・整理整頓をユーザの代わりに自律的に行う机型デバイス，AIDE (Autonomous Interactive Desk Environment) を構築する（図 1）．

2

AIDE の構成

AIDE では，ディスプレイを正面に 1 台置き，手前に 3 台寝かせ，寝かせた 3 台のディスプレイを情報表示可能な机として利用する．本研究では，机として利用するディスプレイを「水平ディスプレイ」
Copyright is held by the author(s).
∗
電気通信大学 大学院情報システム学研究科 社会知能情報学専攻

図 1. AIDEと呼ぶ．水平ディスプレイを用いることにより，本や書類，メモ書き等の手元にある物とディスプレイ上の情報を見比べやすくする．また，手前の 3 台のモニターはタッチモニターとなっており，直感的な操作を可能とする．
また，机上の状態を認識するため，ウェブカメラを設置する．また，机の奥，左右にロボットアームを設置し，ウェブカメラとロボットアームを用いてデスク上の物の配置や整理整頓といった物理的支援を行う．さらに，ユーザの手の動きや姿勢に対応してインタラクションを実行させるために，Kinect を設置し，ユーザの動作を検出する．

33.1

提案システムの概要
ウィンドウの自律エージェント化

ディスプレイ上に表示されている情報を自動的に配置・整理整頓を行うため，ウィンドウ等を自律エージェント化する．本研究では，自律エージェント化

WISS 2013したウィンドウを ウィンドウエージェント と呼ぶ．
ウィンドウエージェントの目的は ユーザに自分を見てもらう ことである．この目的を設定することより，ウィンドウエージェントは自身の存在価値が最も高くなる位置へと自ら移動する．
ウィンドウエージェントの移動先候補は，過去に自身が配置された位置やユーザがよく視線を送る位置等から設定し，各ウィンドウエージェントはなるべく希望順位の高い移動先候補へ移動しようとする．
本研究では，ディスプレイ上のある位置へユーザが視線を送る頻度を，その位置における 視線頻度と呼ぶ．
しかし，上記の設定だけでは複数のウィンドウエージェントが特定の箇所に集中するという問題が起こる．そこで個々のウィンドウエージェントに 優先度 を設定し，優先度が高いウィンドウエージェントほど，視線頻度が高く，自身が頻繁に配置される位置へと移動できるようにする．優先度は，ユーザのウィンドウ操作履歴から，アクティブウィンドウ状態の時間等を用いて算出する．例えば，ブラウザやPDF ファイル等，資料として用いることが多いアプリケーションよりも，Microsoft Oﬃce Word やLatex 等，仕事として用いる事が多いアプリケーションの方がより優先度が高くなるようにする．個々のウィンドウエージェントに優先度を設定する事により，第 1 移動候補が同じであるウィンドウエージェントが複数存在した場合，最も高い優先度を持つウィンドウエージェントが自身の第 1 移動候補へ移動でき，優先度が低いウィンドウエージェント達は自身より高い優先度を持つウィンドウエージェントと重なる事を避けるため，自身の移動先候補の中から次の候補の位置へと移動する．ウィンドウエージェン
トに与えられる優先度は，ウィンドウエージェントが起動したときに設定される．
また，ユーザのウィンドウ操作記録を取得することで，ウィンドウ同士の定型的な配置パターンを発見し，ウィンドウエージェントの累計の優先度だけでなく，定型的な配置パターンの時だけの優先度を計算する．これによりパターンに当てはまるウィンドウエージェントが起動したとき，定型的な配置パターンの時の優先度を適用し，ウィンドウエージェントが定型的な配置位置へ移動することを可能とする．

3.2

机上のオブジェクトの自律エージェント化

ユーザのデスク上には様々な物が存在している．
本研究では，デスク上にある物を 机上オブジェク
ト と呼ぶ．AIDE システムでは，ディスプレイをデスクとして利用する事から，ウィンドウと机上オブジェクトが重なってしまうという状況が起こり得る．ウィンドウとオブジェクトが重なってしまった場
合，ユーザは仕事の手を止めてウィンドウと机上オブジェクトの重なりを解決しなければならない．そこで，机上オブジェクトの移動手段にロボットアームを用いることで，机上オブジェクトを自律エージェント化する．本研究では，エージェント化した机上オブジェクトを， オブジェクトエージェント と呼ぶ．
オブジェクトエージェントにもウィンドウエージェ
ント同様に，ユーザの使用頻度から優先度を計算し，自身の配置履歴とディスプレイ上の視線頻度の状況から，移動先候補を設定する．

3.3

エージェントの移動指標の設定方法

ウィンドウエージェントの優先度を設定するために，ユーザが使用した各アプリケーションのウィンドウサイズやウィンドウ配置等，ウィンドウ操作情報を記録する．また，視線頻度を算出するために，Kinect を用いてユーザの姿勢や動作，顔の位置，視線等も記録する．さらに，オブジェクトエージェントの優先度を設定するために，ウェブカメラを用いてオブジェクトの配置や使用頻度等，水平ディスプレイ上の状況を記録する．
ユーザがウィンドウを配置した位置は，必ずユーザにとって見やすい位置である．また，Kinect を用いてユーザの様子を観測する事により，ユーザがディスプレイ上のどの位置をどの程度見ていたか把握できる．これらのデータを収集することにより，ディスプレイ上の x-y 座標における視線頻度が定量化できる．ディスプレイ上の x-y 座標における視線頻度のマップを作成し，エージェントの移動指標とする．
そして，操作ログから，メール作成や文章作成，ネット検索といった，タスク単位での定型的なウィンドウ配置やデスク上の文房具の配置等のパターンを抽出し，定型的パターン適用時の優先度を設定するための指標とする．

4

おわりに

現在，図 1 の装置の組み立てが完成し，これから操作ログの取得を開始する．また，インタラクションのためのマルチエージェント協調メカニズムの構築を開始し，AIDE への提案システムの実装を目指す．提案システムを AIDE に実装した後，ユーザとAIDE との協調作業に関する被験者実験を行う計画
である．

参考文献
[1] Feng Duan, Masahiro Morioka, Jeﬀrey TooChuan Tan, Ye Zhang, Kei Watanabe, Nuttapol
Pongthanya, Masao Sugi, Hiroshi Yokoi, Ryou
Nihei, Shinsuke Sakakibara and Tamio Arai, ”Multimedia based Assembly Supporting System
for Cell Production” , 2008