人形型エージェントを用いた日記システムの考察
齊藤 応志†‡

間瀬 健二††ATR メディア情報科学研究所

1. 研究の背景
我々は，ユーザに携帯される事で，ユーザの日常活動を理解する人形型エージェントの実現を目指している．ユーザが扱うエージェントの筐体にぬいぐるみを採用する事で，機能や形状を含めて擬人化したエージェントとなり，ユーザとのインタラクションにおいて感性感覚情報を獲得し，ユーザの興味，感心，意図などを推定しようと考えている．本稿では人形型エージェントを用いたアプリケーションの一つとして，映像と各種センサ信号でユーザの体験を記録するデジタル日記システ
ム[1]について述べる．
一日の終わりや旅行からの帰宅後に日記を記す
際，日記の内容に正確さが欠ける事や，記録として残したかったイベントを忘れてしまう事がある．
本システムでは，ユーザと行動を共にしたエージ
ェントが情景を多種多様なセンサ信号を含め記録する事で，ユーザの記憶の想起を支援する．また，エージェントが取得するセンサ信号やムービーからユーザが意識していない背景状況も日記データから読み取る事が可能と考える．
本稿ではエージェントの獲得するセンサ信号列を利用し，ユーザのエージェントに対するインタラクションや，周辺状況の変化点を元に，日記の要素となりうるイベント部分の抽出方法を検討し，試作した日記ブラウザを用いた結果から考察する．
2. ぬいぐるみインタフェース
本システムでは，ぬいぐるみインタフェースを用いて各種センサ信号等の時系列データを記録し，専用の日記ブラウザ上で閲覧，注釈付けをする．
身長約 30cm のぬいぐるみに，PC 本体，HDD, CCD
カメラ（顔），マイク（耳），スピーカ，無線 LAN,GPS受信機，バッテリ，3 軸加速度センサ(人形の傾き)，タッチセンサ（体の各部），曲げセンサ（手足），接近センサ（顔，尻），温度センサ，そして A/D コンバータを内蔵させた[2]．目や耳に相当する機器
Study On Diary System With Sensor-Doll Agent:Kazuyuki Saitoh, and Kenji Mase, ATR Media Information Science Labs. E-mail: {kaz, mase}@atr.co.jp‡金沢工業大学大学院

を人形の対応部位に割り当てる事で，耳に近づいて話しかける，人形に見せたい景色の方向へ顔を向けてあげる，といったユーザのインタラクションを想定している．また，ぬいぐるみの利点として，子供やお年寄りでも親しみを持ってエージェントと接する事が可能と考えられる（図１）．
エージェントは，各センサ信号値と，画像や音声データを HDD へ記録する，また同時に，次に挙げるエージェントの状況を，反応するセンサの組み合わせによるヒューリスティックな方法で認識している．1)座っている．静止状態．2)抱きかかえられる．3)話しかけられる．4)移動している．5)頭をなでる，手を振るなどのユーザのインタラクション．である．ユーザの感情的な変化や，複雑な文脈を考慮した状況を HMM（隠れマルコフモデル）で学習させる事を検討している[3]が，学習に十分な量の教示データを作成する事が困難である．そこで，次章で述べる注釈付けされた日記を元に教示データを作成する事を考えている．
CCD Camera
CamerMicrophoneGPSBatter
BatteryHDD

A/D ConverConerter
terConverter

CPU board

WaveLANeLAN

Doll with Sensors
SpeakerSpeaker

図 1: センサ人形の中身と，センサ人形で遊ぶ子供

3. 日記ブラウザ
記録されたデジタル日記は PC に転送し，日記ブラウザで編集，検索，閲覧される（図 3）．編集作
業では，エージェントが認識した状況の変化点や，インタラクションが推定された個所の周辺をムービーとして提示し，ユーザはイベントに対する注釈付け作業を行う．図 2 にムービー中の 1 コマを例として示す．(a)は，歩行（加速度と触覚センサの周期的な入力）から静止に変移し，マイクで人の声と推測される音を取得した個所が特徴点とされる．また，室内であるため GPS による位置情報は取得できていないが，最後に測位した位置情報からこの場所が研究所内であると判断できる．(b)は，歩行から静止し，姿勢の変化（傾きセンサ），のある映像シーンを生成する手法を提案している

そして車のドアを閉めた大きな音（マイク）を検[5]．本システムは，自分とは別に，物事を共に体知した個所が特徴点とされた．場所は研究所の駐験するエージェントを用い，エージェントの視点

車場（GPS）．(d)は，自宅前（GPS）で歩行から静で記憶されたデータからイベントのシーンを抽出止状態に変移した事が特徴点である．ユーザは，し，ユーザの記憶想起の支援や，自分だけでは気センサ値に特徴的な変化のあった付近の映像を元付かなかった出来事の発見をねらっている．に注釈付けが可能となる．

また，注釈やセンサ情報を解析し，漫画日記を生成する事も考えられる．角ら[6]は，個人の経験や興味を元にストーリが変化するコミックダイアリを提案している．

(a) talk with Mr.T(b)get into a car(c)walking(d)entering to room

図 2: 特徴的なセンサの変化があった個所の例

annotehrcta

ase&ow
brUSERseafuteaching

contncextio

ntdatinteraction

PCAGENT

図 3: システム構成と，ブラウザ画面

4. 考察
エージェントが認識した状況の変化する個所や，センサ信号が特徴的な変化を見せる点をユーザに提示し注釈を付加させる事で，ユーザの行動（イベント）を時間軸上に配置した日記データベースが出来た．さらにユーザによる注釈付けされた信号データが集まれば，各イベントの教示データを作成し，エージェントの状況認識器の学習[3]に利用する事が出来ると考える．エージェントの認識可能なイベント数が増えれば少ない注釈付け作業で，半自動的に日記が作成出来るだろう．さらに
生理センサを活用して感情を取得する手法を検討し，感情表現を日記に活用する事が考えられる．
その際，ぬいぐるみの身体性や，親しみやすさ，受動的な存在が効果的であると考える．
日記データの GPS やカメラ，マイクなどの信号を利用した特定のシーン検索も考えられる．例えば，帰宅後に車の鍵を掛けた事を確認する際には，数分前に場所が駐車場で大きな音がした個所を検索し，車のドアを閉めたシーンを振り返る事もできるだろう．これまで映像中のカット点などを検出し，検索に必要なインデックス化を行う研究[4]が紹介されている．石島らは脳波を利用し，意味5. おわりに人形型エージェントを用いて，ムービーや感覚センサなどの情報を含んだ日記システムを試作した．
日常の生活をデジタル日記とする事で備忘録として重宝すると考える．今後，日記データを利用したエージェントの認識器の学習を実現しようと考えている．また，ユーザが意識していなかった状
況の再発見や記憶の想起にとって，ユーザとエージェントとのインタラクションの履歴や，ユーザとは別の視点で認識し，記憶された情報を用いる利点についての検証を考えている．
謝辞
本研究は ATR メディア情報科学研究所にて行われ，その一部を金沢工業大学の連携講座の一貫として実施された．本研究を進めるにあたり，ATR メディア情報科学研究所の萩田紀博所長をはじめご協力頂いた研究員の皆様，金沢工業大学の服部進実教授に感謝します．

参考文献[1] 間瀬, Clarkson, 米澤: “幼児期からのウェアラブルとToy 型インタフェース,” 情処研報, HI92-1 (2001).
[2] 齊藤, 米澤, 服部, 間瀬: “ぬいぐるみ I/F による遠隔地間ノンバーバルコミュニケーションの実現,” 情処研報, HI96-3 (2001).
[3] Clarkson, Mase, and Pentland: “Recognizing User
Context via Wearable Sensors,” Proc. of ISWC2000,
pp. 565-569 (2000).
[4] 児島: “映像アーカイビング,” 情報処理, Vol. 41,
No. 6, pp. 671-675 (2000).
[5] 石島, 相澤: “ウェアラブルによる長時間個人体験記
録の編集 -脳波を利用した映像の自動編集の試み,” 信学技報, PRMU2000-158, pp. 85-92 (2001).
[6] 角, 坂本, 中尾, 間瀬: “コミックダイアリ：経験や興味を伝え 合うための漫画日記,” イン タラ クショ ン
2002, 情報処理学会, (2002).