体験映像への感情付与インタフェース
志村 将吾 †
平野 靖 ‡梶田 将司 ‡間瀬 健二 ‡†
名古屋大学大学院情報科学研究科社会システム情報学専攻‡名古屋大学情報連携基盤センター

1.

はじめにࠞࡔ࡜

著者らは，ウェアラブルな装置を用いて，ユーザの視点で体験映像を記録し，その映像に対して，ユーザ自身がࡑࠗࠢࡠࡎࡦ

体験時の感情を日記として付与できる日記インタフェー
スを作成している [1]．体験記録を閲覧することで，ある体験を忘却してしまっても，体験時の感情まで想起することが可能である．また，感情を記録することによっࠗࡦ࠺ࠢࠬઃਈࡏ࠲ࡦて，より豊かな体験共有が可能になると考えられ，楽し2%᜛ᄢい体験記録の閲覧によって，閲覧しているユーザとの間で楽しさを共有するといった利用方法が考えられる．
著者らは，体験記録は常時行われることを想定してお図 1: ウェアラブル体験映像記録装置

り，長時間の記録を毎日取得することになる．膨大な記ととした．具体的には，操作が簡単なマウスクリックの録の中から，目的の記録を検索できることが必要である．

みでインデクス付与が可能なシステムとしている．

しかし，体験記録の検索に関する研究例は少ない．そこ

興味があった体験として，様々な場合が考えられるが，で，本インタフェースに検索機能を追加したので報告す

本研究では，ユーザが何かオブジェクトに遭遇する時に，る．また，本インタフェースを用いて記述された日記に感情が生じるものと考え，付与されたインデクスを基に，感情が表れていることを，実験を通じて確認した．

体験映像の色ヒストグラムを用いて類似画像検索を行

2.

体験記録及び検索について

2.1

興味ある体験区間の抽出体験を常時記録すると，特に意味を持たない記録を多い，あるオブジェクトが視野に含まれていた区間の推定を行い，インデキシングの補助をする．しかし，ユーザが実際に興味があった区間と完全に一致させることは困難であるため，ユーザが体験区間を修正できるようにしく得ることになる．後から，ある日の体験映像を閲覧すている．

るときに，その日の全体験記録を見ていたのでは効率が2.2

ウェアラブル体験映像記録装置

悪い．また，日時は特定できないが，特定の体験を探し

本研究で用いているウェアラブル体験映像記録装置は，たいというニーズもある．この場合，喜び，怒り，悲し

ヘッドセットマイクの側部に小型カメラを装着し，鞄のみなどの強い感情を抱いた部分などの，ユーザの興味が中に PC を携帯して体験映像の記録を行う．ユーザのイあった体験部分の映像のみを抽出し，提示する必要が生ンデクス付与が行えるボタンを，腕に装着している．こじる．脳波を用いて，ユーザの覚醒状態を推定し，こののボタンは，マウスの左クリックスイッチを導線で伸ばような部分の自動抽出を行う研究 [2] もあるが，脳波のみでは，覚醒状態の完全な推定は困難であり，また，覚醒状態時にユーザが興味ある体験をしていたと断言することはできない．

したものであり，ユーザの手元に置くことで，インデクスの付与がしやすい設計とした (図 1)．

2.3

体験記録の検索における問題点

そこで，本研究では，興味があった体験の途中，また体験記録の再利用性の向上のために，膨大なデータのは体験後にユーザ自身にインデクスを付与してもらうこ

中からすばやく特定の記録を探し出せることが必要であとにより，興味があった体験であることを明確に得るこる．例えば「ある特定の場所で，ある特定の人物と対話

Emotional Interface for Experience Recordings
Shogo Shimura, Yasushi Hirano, Shoji Kajita and KenjiMase† Graduate School of Information Science, Nagoya University‡ Information Technology Center, Nagoya University

した体験」という検索を行いたいとする．体験映像のみを用いて，この体験区間を検索していたのでは処理が遅く，また区間の抽出は困難である．堀らは，GPS 等のセンサデータを体験映像と同期して記録し，映像のみを用᜛ᄢࠗࡦ࠲ࡈࠚ࡯ࠬ
ߩ᭎ⷰ૕㛎ߩࠠ࡯ࡢ࡯࠼ᗵᖱ⺆ߩ࠴ࠚ࠶ࠢ࡝ࠬ࠻

図 2: 日記インタフェースの感情語チェックリスト
いて検索するのではなく，それらのセンサデータも用いて検索を行っている [3]．本研究では，映像以外の，特にユーザ自身が体験映像に対して付加したデータをキーとした検索機能を実装した．

3.

日記インタフェースの検索について

本インタフェースでは，前述したとおり，ユーザ自身に残しておきたい体験区間を指定してもらう．その体験区間に対して，日記を記述し，体験の概要をキーワードとして入力してもらう．本研究では，感情表現の行いやすい自由文の日記を用いて感情を記録することを考えているが，日記を用いても，文章記述の得意不得意などによって，上手く感情を表現できない場合がある．そこで，「楽しい」や「嬉しい」等の，一般的な感情語のチェックリストを用意している (図 2)．
試用したユーザからの要求として，固有名詞などの単語による検索が最も可能性の高いものと考え，キーワードによる検索を実装した．ユーザがキーワードを検索キーとして入力し，もしそのキーワードを持つ体験区間が存在すれば，画面の左側に区間の開始フレームのサムネイルが表示され，そのサムネイルをクリックすると体験記録の詳細を閲覧することが可能である (図 2)．また，
本研究では，体験記録データの感情を反映させたインタラクティブな閲覧方法や，体験の共有を考えている．し表 1: 日記を文章単位で主観的に感情判定してもらった結果
n012345
文章数1852515197126

ゲーム体験者とは別の被験者 5 人に，記述された日記を文章単位で感情が表れているか否かを判定してもらった．被験者 5 人中，感情が表れていると判断した被験者数を n として，日記の全文章を n によって分類した (表1)．なお，ゲーム体験者らに記述してもらった日記の総文章数は 395 であった．
すべての被験者が，感情が表れていると判定 (n=5) した文章数は 126 で，その割合は 31.9%である (表 1)．n=5の例には「ゲームに負けて悔しい！」，n=3 の例には「このカードなら確実に勝てるでしょ．
」，n=1 の例には「これで，2 回目もあがり．
」などがある．したがって，本実
験に限れば，日記に少なくとも 4 文 (計算上は 3.1 文) 記述されていれば，感情が表現されていると推測できる．
また，4 文未満の場合は，感情を記録するために，感情語の選択が必要となると言える．

5.

おわりに

本報告では，常時記録された体験映像の利用方法を挙げ，体験映像に体験時の感情情報を付与する日記イン
タフェースの検索機能について述べた．また，本インタフェースを用いて記述された日記には，比較的多数の感情表現があることを実験により示した．
現在，本研究で用いているウェアラブルな体験記録装
置は，顔側部にカメラを装着する簡易な作りなため，ユーザの視点と一致する映像を記録できていない．したがって，眼鏡を用いて眉間にカメラを装置する等の改良を検討している．

謝辞

たがって，感情語のチェックリストによる検索機能も実装した．感情語のチェックリストによる検索では，例え

本研究は文部科学省「知的資産の電子的な保存・活用ば「楽しい」が選択された記録を抽出することができる．

を支援するソフトウェア基盤技術の構築」プロジェクト

4.の支援により行われた．

実験と考察

本インタフェースを用いて日記を記述した場合に，実文献際に感情表現が行われるのかを検証した．大学生及び大[1] 志村将吾, 平野靖, 梶田将司, 間瀬健二, “体験映像の日記インタフェース”, 第 3 回情報科学技術フォーラム (FIT2004)
一般講演論文集, pp. 527-528 (2004).

学院生の合計 6 人に，ウェアラブルなカメラとマイクを装着してもらい，カードゲーム，ブロック崩し，トランプの各ゲームを行ってもらい，興味のあった体験の瞬間にはインデクスの付与をしてもらった．全ゲームが終了した後，各ゲーム体験者には，前述の日記インタフェー
スを用いて，残したい体験区間の指定，日記の記述，そして感情語の選択を行ってもらった．

[2] 相澤清晴, 石島健一郎, 椎名誠, “ウェアラブル映像の構造化と要約: 個人の主観を考慮した要約生成の試み”, 電子
情報通信学会論文誌, Vol. J86-D-II, No. 6, pp. 807-815(2003-6).
[3] 堀鉄郎, 相澤清晴, “ライフログビデオのためのコンテキス
ト推定”, 信学技報, Vol. 103, No. 514, pp. 67-72 (2003).