情報処理学会 インタラクション 2014
IPSJ Interaction 2014

A4-9
2014/2/27

脳波による映像記憶
映像記憶と再利用
bwTrackr: 脳波による映像記憶と再利用
小杉晋央†1

湯通堂悠生†1

越水重臣†1

人が過去に記録した映像を振り返る際に，思い起こしているものやその時の精神状態から記録をたぐることはできないだろうか．本稿では，映像と脳波を重畳して記録し，思い起こしを行う際の脳波と比較しながら振り返りを支援する仕組み「bwTrackr」を提案する．思い起こしという脳内活動で生じる生体情報としての脳波を，映像とともに記録された脳波と比較しつつ，記録の中で同じ精神状態を持っていた時を探る．

bwTrackr: Emotional Media Recording and Discovery
AKIHIRO KOSUGI†1 YUKI YUTSUDO†1SHIGEOMI KOSHIMIZU†1We propose Emotional Media Recording and Discovery System， which aims to assist pulling the scene out of the recorded
media according to the emotion that the user is calling it to their mind． The idea is to pick up the relevant time in the media bycomparing the brainwave recorded simultaneously with the one that is emitted when the user is looking back on it． Inspecting if
the brainwave emitted when people flashes a scene across their mind has some similarity with the one that is emitted when theyexperienced it．

1. はじめに報とともに，認識活動の一つの生体情報として脳波を重畳して記録し，人がそのシーンを後に思い浮かべたときに起スマートフォン，ドライブレコーダー，ライフログカメ
こる脳波と比較することで，過去に記録した情報の中から，ラ，アクションカメラなど，生活行動に密着しつつ，周囲適当な場面を探り，振り返りや再利用を支援するシステム
を記録する媒体の普及により，個人が扱う生活情報メディ「bwTrackr」を提案する．
アの量が増加している．

2. システムの構成人は記録した映像を後に見返すため，ファイル名，フォルダ分け，タグ付けに，日付やキーワードを使うように，このシステムは，身の回りの映像情報と，脳波を記録す

時間や言葉と関連づけて，電子媒体の中で整理してきた．

る部分と，記録した情報を解析し，振り返りの際に発生ししかし，数年前に起こった出来事の前後関係を間違えるた脳波とつきあわせることで，思い描いている場面としてことや，日付が曖昧になるといったことにみられるように，適当な時点を探る支援を行う再生部分から構成される．

時間の記憶は時がたつにつれ曖昧になる．また，同じタグ

2.1 記録部がついた多量のファイルができるなど，簡潔かつ正確な言記録部は，脳波センサー，小型カメラを一体にしたヘッ葉を，整理する際に用いることは難しい．映像メディア要

ドセットデバイスと，それらからの信号を記録するモバイ

約，速覧の研究[1][2]が増えてきているが，これも個人が扱ル端末（Android 端末）から構成される．(図 1)うメディア情報の量が増加し，効率よく確認することが必

脳波センサーモジュールに，Think Gear AM(TGAM)を採用要となってきたことの現れといえよう．

する．当チップは，乾式電極に対応しており，ユーザーに今まで見たことのない映像であれば，他人の言うことや比較的負荷をかけずに，生活行動をしながら，脳波データ書いたことから内容を想像し，確認することになるが，自の取得が可能である．脳波データは，サンプリング周波数分が過去に経験したことの場合，その内容を確認する際に512Hz で取得され，同時に，電極が正しく接続されている頭の中で描いているイメージをそのまま用いて記録した場かを表すシグナルレベル，精神状態の指標として，attention，面を引き出せるのではないかと我々は考えた．

meditation が取得可能である．

昨今では，市販の脳波センサーでも，一度操作をイメー脳波センサーで取得された信号は，Bluetooth モジュールジした際に記録した脳波データを，次回の操作要求時の指を用いて Android 端末に送信される．映像を記録するビデ標として使用すると言った機能が提供されつつある[3] ．

オカメラは，Motion jpeg を使用した Wi-Fi カメラと，Android

このことから，人が何かを思い描いている状態をはかる生端末付属のカメラが選択可能である．

体情報として，脳波を候補に考えた．
本稿では，脳波センサーを用いて，人が見ている周辺情

Android 端 末 に 送 信 さ れ た 脳 波 デ ー タ は ， Neurosky
Software Development Kit を用いて，モバイル端末内のデータベースに記録される．このときカメラからの動画映像と†1 産業技術大学院大学
Advanced Institute of Industrial Technology© 2014 Information Processing Society of Japan

同時に，位置情報，速度などの，端末で利用可能な状況に300

関する情報も記録する．

図 1Figure 1

ハードウェア構成
Component diagrams．
図 3

2.2 再生部
再生部

記録された映像のサムネイル表示．

左:初期状態， 右:脳波センサー着用時

一連の脳波と映像のデータの組み合わせは一つのセッシ
ョンとして記録される．(図 2)

Figure 3

Graphical thumbnails within the session．

Left: initial state， Right: movement using EEG．

ユーザーがセッション内の映像を振り返る際には，“何かに気づいたポイント”として，後述する指標に基づいた時2.2.1 サムネイルの抽出点の映像がサムネイル表示される．サムネイルは指標に近“何かに気づいたポイント”として抽出すべき時点を確定

いほど大きな半径で表示され，その時点での精神状態デーする指標に，事前の実験で事象関連電位[4]として判断されタによって色付けされる．ユーザーがサムネイルの選択をた試行区間の波形との近似度を用いた．

行うとその時点から記録された動画映像が再生される．

事象関連電位は外部刺激に対する思考や認知の結果としユーザーが，振り返り時に脳波センサーを着用すると，て計測される電位変化であり，虚偽検出[5]に用いられたり，候補として表示されたサムネイルのうち，脳波センサーかそれを用いたサイドチャネル攻撃の可能性も指摘されるよら取得している精神状態データの値に近い精神状態データ

うになってきている[6]．

が記録されているサムネイルが画面中心に表示される．(図3)

近年は商用センサーによる検出方法も報告されており[7]，我々はこれを，人が何か変わった物や興味を引かれた“何かに気づいたポイント“をまず候補として抽出し，その中から今思い描いている精神状態に近い時点を，上位候補として推薦する仕組みである．

物を見つけた時点を抽出するための指標として使うことを試みた．
基準の値を得るために，事前に被験者五名に対し，一人あたり 500 回程度の画像を見せる odd-ball 実験を行った．
取得した脳波データに 4.5Hz のローパスフィルターをかけ，ターゲット刺激とノンターゲット刺激に分けて加算平均をとった．その中で，有意に異なる電位差を示している
時系列区間の波形を基準とし，セッションで映像データと同時に記録した脳波に，同様に 4.5Hz のローパスフィルターをかけたデータのなかから波長，振幅が近い区間の始まりを目的の抽出すべき時点とした．
2.2.2 サムネイルの視覚化
サムネイルは，サムネイル抽出の手順で加工した区間データの値が，基準値から近いほど大きく表示され，センサーから記録した，attention と meditation の値により色付けされる．
表示されたサムネイルは，初期状態では，すべての要素

図 2

記録されたセッション一覧

Figure 2

List of the sessions．

に対して均等に斥力と重力が配分された力学モデルで表示される．ユーザーが脳波センサーをつけると，サムネイルに対して，その場で検出された attention と meditation の値© 2014 Information Processing Society of Japan301

と，サムネイルの時点での値の差の，二次元距離に応じた中心への張力が生じる．その結果，ユーザーの現在の精神状態データに近いと判断されたサムネイルが中心に移動することになる．精神状態データは秒間一回更新され，その値を元に，張力が変更され，再描画を行う．
ユーザーはサムネイルを選択すると，サムネイルが生成された時点から，記録された映像を再生する．
2.2.3 抽出データの共有
ユーザーはセッション全体，または個別のサムネイルを選んで情報を，SNS 等で他ユーザーに共有することができる．
共有するデータは，記録した映像，脳波データ，位置情めの研究が本格的にはできていない．
考察で述べた，脳波による操作インターフェースとしての工夫と同時に，解析技術も更新してゆきたい．
人が過去に記録した物を，要約，タグ付けなどの事前準備なしに，思い浮かべただけで，引き出せるようになることは，せっかく記録した物を，形や情景は思い浮かんでいるのに伝えられないもどかしい思いを解消し，コンピュー
タのサポートのもと，人が劣化しない記憶を手に入れ，生活の中で使いこなすための一つの要素であるだろう．
そうなった時に，初めて人は，自分の生活の記憶の代行を行う，すぐれたパートナーとして，広く，身近にコンピュータを受け入れることができるのではないかと考える．

報である．ユーザーが選択的に共有するデータには，共有したユーザー情報が付加され，さらにコメント付加や，そのデータが共有される範囲の設定などを行うことができる．
ユーザーの同意の下，SNS にセッション全体のデータをアップロードする場合には，ユーザー情報を付加しない．匿
名化された脳波データを多数共有することで，多くの人のattention が高まっているところから危険な場所を抽出するなどと言った目的に使用する物である．

3. 考察
本稿執筆時点では詳細なユーザー実験が行えていないが，このシステムを使った何人かから，脳波センサーによって移動されるサムネイルについて，選択が正しくなされているか確認しづらいとのコメントがあった．
現時点では，チップが提供する二つの精神状態データを元に距離を計算しているが，より詳細な要素分析が必要と考

参考文献
1) 日高浩太, 佐藤隆, 映像の速覧技術, 映像情報メディア学会
誌, 20092) 青木秀憲, 宮下芳明, ニコニコ動画における映像要約とサビ検出の試み, 情処研報, Vol.2008, No.50
3) Tan Le, A headset that reads your brainwaves, 2010
http://www.ted.com/talks/tan_le_a_headset_that_reads_your_brainwaves.html
4) 入戶野宏, 心理学のための事象関連電位ガイドブック. 北大路書房, 2005.
5) 平伸二, 事象関連脳電位による虚偽検出, 日本鑑識科学技術
学会誌 3.2 (1998)
6) Martinovic, I., Davies, D., Frank, M., Perito, D., Ros, T., & Song,D. (2012, August). On the feasibility of side-channel attacks withbrain-computer interfaces. In 21st USENIX Security Symp.
7) Grierson, M., Kiefer, C. (2011, May). Better brain interfacing forthe masses: progress in event-related potential detection using
commercial brain computer interfaces. In CHI'11 Extended Abstracts on
Human Factors in Computing Systems (pp. 1681-1686). ACM.

える．
また，動きの速さに対してサムネイルが小さいため，選択された物についての認識に困難が伴っていたことも考えられ，張力に応じてサムネイルの大きさを変更するなどの工夫が必要と考えられる．動きの速さについては，精神状態データの更新間隔や速度の円滑化等の変更や，サムネイ
ルの動きによるユーザーの脳波の揺れを押さえるなどの工夫をし，ユーザーの反応を確認したい．

4. 課題と展望
現在手軽に利用できる市販の脳波センサーは電極の数が限られ，利用できる精神状態データの種類が 2 種類のため，人が思っているイメージと同じ場面を検出するための要素として少ない可能性がある．ただ，2014 年には，複数の乾式電極を持つ市販の BCI デバイスが発売予定など，脳波センサーも，より精度のよい物が人口に膾炙していくものと予想される．
本稿執筆時点で，我々の脳波の解析技術が未熟な部分あり，サムネイルとして抽出するポイントはある程度特定したものの，人が想起している脳波との相関関係を見つけ出すた© 2014 Information Processing Society of Japan302