情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1A10
2018/3/5

発話を空間コンテキストに埋め込むことによる体験共有システム
藤倉 稜1,a)角 康之1,b)

概要：本稿では，発話を空間コンテキストに埋め込むことによる体験共有システムの提案をする．日常生
活の中で，人は独り言や他人との会話など発話を常に行っている．その中で記録される発話もあれば，何事もなくその場だけで終わる発話も存在する．そこで本研究では，人間が移動時に行う発話に着目し，それを空間コンテキストに埋め込んで記録することでその場所に来た他人に感動や気づき，知識などを共有するシステムを提案する．これにより，今まで共有されることのなかった体験の共有と新たな知識の流通を目指す．

Experience Sharing System
by Embedding Conversations into Spatial Context
Ryo Fujikura1,a)Yasuyuiki Sumi1,b)

Abstract: This paper presents a system that allows sharing of experiences by embedding conversations into
spatial context. Most people usually engage in conversations on a daily basis. In those conversations, someare recorded while others remain private with conversation partners. In this paper, we record conversations
between people as they move in a space and map them with their spatial context. Ultimately, it is our goal topresent new and unshared knowledge, and to facilitate a fuller experience between conversation participantsin a shared space.

1. はじめにときに受け手が得られる気づきや感動は，受け手がそこにいたわけではないので実際に写真を撮影した人の感動より人間が他人と何かの体験を共有する時，一般的に体験時薄いと考えられる．一方，体験というのはイベントなどのの感動や知識を言語化して伝え合う傾向がある．この場

体験と何気ない行動から発生する日常的な体験に分けられ合，実際の感動が十分に伝わらなかったり，知識が身に付ると筆者は考える．前者を他人に共有する場合，体験の様かないという限界がある．つまり，言語情報だけで実際の子を撮影したりメモを取ったり情報を記録しようとする．

体験と同等の情報を伝えるのは難しい．近年スマートフォ

しかし，後者の体験はふいに訪れる為，他人に共有されなンなどの普段から携帯する撮影機器が急速に普及し，至るい場合がしばしばある．例えば，「ここのパン屋，今日か場所で様々な状況を対象とした写真が撮影されている．そら 1 ヶ月間オープンセールでパンが安いのか〜」などと誰してそれらは，Twitter や LINE などの SNS で他人と共有かが聞いたときに面白いだとか，有用だと思われる情報がされることがしばしばある．体験の共有に言語情報だけであったとしても，体験者がこれを何らかの形で残そうといなく写真を用いることで，格段に実際の感動に近いものがう考えに及ばない場合は共有されることがないままその発得られると考えられる．しかし当然，共有した写真を見た言は埋もれてしまう．折角の自分の貴重な時間で体験した事を他人に共有しないのは，勿体ないことであると筆者は

1a)b)

公立はこだて未来大学
Future University Hakodate
r-fujikura@sumilab.org
sumi@acm.org© 2018 Information Processing Society of Japan

考える．また，今の例は一人での体験の例だが他人との会話の中でそういった知識が深まることもある．このような

221

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1A10
2018/3/5

図 1

会話の移り変わり知識は現在だと SNS などに投稿され共有されることがよくある．しかし，SNS での共有ではその場所で起きたことがそれを有用だと思う人や興味を持つ人に届くかどうか定かではない．そこで，本研究ではそのような瞬間的な体験の中で生まれる知識を流通させるシステムを提案する．また，図１のように現在いる地点や向いている方向によって人は発話の内容を変えることから，空間コンテキストに発話を埋め込むことでシステムを実現する．ここでいう空間コンテキストとは，どこにいるかといった位置情報とは異なり発話する人がどこにいて，何に注目してどこを向いていたかといった空間的な状況のことである．それに発話を関連付けることで，その場で過去に行われた発話を空間に紐付けて記録できると考える．具体的な手法として，図 2に示した概要のように，1) 独り言や会話を空間コンテキストに埋め込む，2) 埋め込まれた独り言や会話を近くを通る人に提示する，といった流れで知識の流通を目指す．図中
では，空間コンテキストに埋め込まれた会話が通りかかった人に提示されている．また，提示された発話により新たに発生した発話も場所に紐付けられ，空間に新たな知識が蓄積している．これらの流れのループにより知識の流通を目指す．本論文では，発話を空間コンテキストに埋め込むことによる体験共有システムの提案と実装における予備検討の結果を報告する．

2. 関連研究
感動や知識の源泉である体験を通した協調や知識創造を増幅するメディア技術は体験メディアと呼ばれるが，角らはその一つとして複数の視点による映像・音声を協調的に記録するシステムを提案している [1]．このシステムでは，各体験者の一人称視点，会話や共同作業の相手による二人称視点，環境側から体験者同士のインタラクションをとらえる三人称視点の映像を同時記録する為に，各体験者の頭部に装着するカメラと，体験現場を捉える環境カメラを併用して，体験の記録が出来る．角らは，このシステムを用

図 2

提案システムの概要

いて得られたデータをもとに自らが参加した体験シーンを後で時間をかけて追体験することを可能にし，また，二人© 2018 Information Processing Society of Japan222

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1A10
2018/3/5

称，三人称の映像を見ることで，新たな視点への気づきを

Sawhney らは歩行中に仮想空間上の複数の情報とインタ促すことが期待されると考えた．それを検証するメタ認知

ラクションするために音声情報の提示をするシステムを開実験では，体験記録システムが体験に基づいた知識の創造発した [6]．本研究での試みは，仮想空間ではなく実空間でプロセスに大きな影響を与えることが明らかになった．本の行動誘発・誘導に音場展示を利用する，という位置づけ

研究では，会話情報を空間コンテキストに埋め込むことでである．

体験の記録を行う．これにより実空間とリンクしたすぐに利用可能な知識の流通が行われると考える．

Mueller らは特定の場所に立ち止まるとその場で過去に行われた会話が聞こえてきたり，さらに詳しくポスターや岡村らは車内会話に注目し，GPS ロガーとビデオカメラ展示物などの特定の場所に注目すると，そういったコンを用いて位置情報が紐付いた車載映像の記録を行った．ま

テキストを共有した会話に絞り込まれる Ambient Soundた，自動車の運転シミュレータ上で，記録した映像データShower というシステムを開発した [7]．本研究はこの研究を再生するシステムを構築し，場所に紐付いた過去の会話と目的が同一であるが，システムの実現をするのに別の手から新たな会話が想起されることを確認した [2]．本研究で法を用いて再実装しているという位置づけである．

も，場所に紐付いた過去の会話から新たな会話が想起されたり，知識の創造を促すことが期待されると考えられる．

3. 研究概要

西村らはユーザの位置情報に基づいた情報支援がリアル本研究では，発話を空間コンテキストに埋め込むことにタイムでされることを重要視し，それを実現するシステム

よる体験共有システムの提案をする．図 2 にて提案シスを提案した [3]．このシステムでは，無電源小型情報端末テムの概要を示したが，本研究の目的は体験時に湧き起こ(Compact Battery-less Information Terminal: CoBIT) をる感動や気づき，また会話から生まれる知識を流通させる用いて適切な位置で適切な方向に端末を向けるだけでインことである．それを実現する手法として，独り言や会話とタラクティブに音声情報を取得することを可能にする．本

いった発話を空間コンテキストに埋め込み，埋め込まれた研究では，通信を行うことなく他人が空間テキストに埋め発話を近くを通る人に提示するシステムを開発する．以下

込んだ音声情報を提示するという違ったアプローチから情では，システムを実現するための要件について述べる．

報支援を行う．
角らは，体験から得られる知識共有や体験の現場におけ

3.1 発話の埋め込みるさらなる体験創造を支援するため PhotoChat というシ独り言や会話といった発話を空間コンテキストに埋め込ステムを開発した [4]．PhotoChat はカメラを内蔵した携

むには，発話の音声情報を記録すると同時に位置情報や頭帯型のパソコン上で動作することを想定したソフトウェア

部方向，またどこに埋め込むのかといった詳細な位置を記

で，写真撮影が出来る．また，ペンインターフェースを用録する必要がある．本システムではこの条件を満たすデバいて，写真の上に書き込みを行うことができ，実時間で他イスとして Microsoft 社が提供する HoloLens を使用する．のユーザと共有されるため互いの興味への気づきを促し，HoloLens とは，目の前の現実世界と，3D ホログラムの世その上で自然に会話を行うことを可能にする．このシステ界を融合させた Mixed Reality（複合現実）を実現させる

ムでは，体験時に湧き起った感情をすぐに他人と共有するHMD 方式の拡張現実ウェアラブルコンピュータである．

ことができる為互いの新たな気づきを促すと考えられる．

HoloLens には深度カメラによる空間認識機能が搭載されPhotoChat ではテキスト情報を用いた体験共有を支援してており，様々なオブジェクトを現実空間に合わせた位置でいるが，本研究では，音情報に着目しそれらをリアルタイ設置することができる．またその位置情報を記憶すること

ムで空間コンテキストに埋め込むことで場所に知識を紐付が可能である．さらにマイク機能も搭載しているため，人ける手法をとる．の発話を録音しそれと位置情報を紐付けて空間に残すこと

松村らは人と街の間に埋め込まれた会話的知識を流通さが可能である．この機能を利用することで体験における独せるために，自動車に乗って移動する際の車内会話を記り言や会話などの発話と空間コンテキストを紐付けるシス録・提示する手法を提案した [5]．松村らは移動の中にあテムを実現できる．さらに 3.3 節でも述べるが，HoloLens

るエンターテインメント性に注目し，自動車を利用して移にはスピーカも搭載されており，他人が追体験する場合動する際に生まれる会話の中で深まる知識を会話的知識

HoloLens をそのまま用いることで一つのデバイスで記録(Conversational Knowledge) と呼んだ．この会話的知識，と体験を担うことができる．

特に車内会話から生み出される知識を，場所に車内会話を紐付けるという手法で流通させるシステムを提案した．本

3.2 発話の切り出しと分類研究では，車内という限られた状況ではなく人が移動する発話を空間コンテキストに埋め込んだとして，その発話場面全てを対象として，空間コンテキストに発話を紐付けを聞く人は記録時と同じ経路でかつ同じ速度で移動しなる事でこの会話的知識の流通を目指す．

ければ連続した意味の伝わる発話を聞くことはできない．

© 2018 Information Processing Society of Japan

223

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1A10
2018/3/5

よって，ある程度内容が固まっている発話をひとまとまりい映像のことを指す．次に HoloLens の電源を切り別の位として切り出すことが必要になる．また，全ての発話が有置に移動したうえでもう一度起動し，ホログラムを設置し用だと限らないため発話の分類も必要である．発話の分類た場所に行ったところ cm 単位の位置のずれはあったが，手法の先行研究として岡村らが提案した指差しを手掛かり同じホログラムが残っていることが確認できた．このことにしたシステムがある [2]．これは，シミュレータ上でのから，発話を空間コンテキストに埋め込んでおくという機位置推定であったため利用できたが，本研究では現実世界能は実装できると考えられる．の場所に紐付けたうえで分類するため活用できない．しか次に 3.3 節で触れたステレオサウンドについて，検証をし，HoloLens には片手の指先 1 本をクイッと手前に引く行った．HoloLens での開発には unity を用いることが一ような操作を AirTap と呼びそれを検知する機能があらか般的である．unity では音声情報に 3 次元的な位置情報をじめ備わっている．これをトリガーとすることで有用な発付与することができる．つまり unity 上でのスピーカーと話だけを記録できると考える．また，このようにして切り音声情報の相対位置によって聞こえてくる音の方向や音量出された発話は埋め込まれた場所のうち適切な点に関連付を変化させることができる．実際に HoloLens を着用してけられる必要がある．

検証したところ方向，音量から音源の位置を特定できた．
よって，HoloLens でステレオサウンドが実現できると考3.3 発話情報の提示えられる．

前節の手法で切り出された発話を別の人，つまりユーザに提示する方法はいくつか考えられる．ここでは，体験を4.2 複数発話の聞き分けと場所特定の可否の検討記録するために用いた HoloLens を使用する方法について

3.3 節で触れたように人間は音声について選択的聴取が述べる．まず，記録された発話は発話が行われた場所に紐可能であるということが知られている．よくある例だと，付けされて実際の体験時と同じ時間幅で再生されるように人混みの中で騒がしい状況にいても自分の名前を呼ばれる設定する．その状態でユーザに HoloLens を着用してもらと反応できるというものがわかりやすい．しかし，それがう．体験時には移動を行うと想定しているため発話も時間

HoloLens を用いた発話の聴取でも同じことが可能かは未とともに位置が変わっていく必要がある．これにより，体検証であったため，それについて検証した．まず，過去に験時の発話にユーザが移動を促されるような形で追体験が録音した全く異なる発話データを 4 つ用意した．それらを可能となる．また，HoloLens ではステレオサウンドを実現

図 3 のように unity 上で現実世界で 5m 間隔になるよう配できるため，どの方向から声が聞こえるといったことも知置し，HoloLens を装着して音声の選択的聴取が可能か確覚できると考えられる．さらに，発話の同時提示について認した．結果，移動を伴いながら 4 つの音源全てを聞き分も考える必要がある．一人の体験時の発話のみを提示するけることができた．これにより，HoloLens を用いて発話のか，複数人の体験時の発話を提示するのかということでの同時提示をした場合，ユーザ選択的聴取が可能であるこある．本研究の目的である，体験時に湧き起こる感動や気とが示された．

づき，また会話から生まれる知識を流通させることを達成するには，情報がいくつかある方が適していると考える．
複数の発話が混在した場合，必要な情報が聞き取れない可能性があるという懸念は，複数発話の聞き分けにより払拭されると考えられる．なぜなら人間は音声について選択的聴取が可能なので，ユーザは気になる発話を選択的に聴取できるからである．発話をいくつ同時提示するかは別に検討する必要がある．

4. 予備検討
4.1 HoloLens の機能確認
図 3 予備検討の様子

3 章で触れたが，本研究では HoloLens を用いることで体験時の発話を記録し提示する．本節ではシステムにて実装したい機能を HoloLens にて実現可能か検証したのでそれを報告する．まず，位置情報の記憶についてだが，あら5. おわりにかじめ用意されているホログラムを HoloLens 内で指定し本稿では，発話を空間コンテキストに埋め込むことによた位置に設置した．ここでいうホログラムとは立体的に空る体験共有システムについて提案した．発話を記録，再生間上に設置された，HoloLens を通してでしか視認できなするデバイスとして，発話を空間コンテキストに従って記© 2018 Information Processing Society of Japan224

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1A10
2018/3/5

録可能である HoloLens を使用した．また，HoloLens を使用してシステムを開発するうえで必要となる機能を検証するために，予備検討を行った．本研究により，日常生活の中に埋もれていた知識が流通し，新たな感動や気づきが他人に共有されることが期待される．現状の課題として，記録した発話と空間コンテキストを紐付けるシステムの開発が挙げられる．それを解決する為に，HoloLens の自己位置推定に使用されているアンカーを利用する予定である．アンカーとはホログラムが確実に所定の位置に正しく留まるために，他の空間アンカーや静止座標系に対して必要に応じて調整される座標系を有している．またアンカーをセーブしたりロードしたりする事で，アプリはセッションをまたいで現実世界の同じ座標を利用する事ができる．
今後は，システムの開発に着手し，記録した発話を空間コンテキストに埋め込みそれを体験できるシステムを作り上げ，我々の体験や知識にどう影響を及ばすか確かめていく．
参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

角康之, 伊藤禎宣, 松口哲也, シドニーフェルス, 間瀬健二.
協調的なインタラクションの記録と解釈. 情報処理学会論文誌, Vol. 44, No. 11, pp. 2628–2637, nov 2003.
岡村剛, 久保田秀和, 角康之, 西田豊明, 塚原裕史, 岩崎弘利.
車内会話の量子化と再利用. 情報処理学会論文誌, Vol. 48,
No. 12, pp. 3893–3906, dec 2007.
西村拓一, 中村嘉志, 伊藤日出男, 山本吉伸, 中島秀之. 無電
源小型情報端末を用いたインタラクティブ情報支援. 人工知能学会全国大会論文集, Vol. JSAI03, pp. 106–106, 2003.
角康之, 伊藤惇, 西田豊明. Photochat：写真と書き込みの共有によるコミュニケーション支援システム. 情報処理学
会論文誌, Vol. 49, No. 6, pp. 1993–2003, jun 2008.
松村耕平, 角康之. 自動車内における会話と場所の関連性の分析：タイムリーな情報の流通に向けて. 情報処理学会
論文誌, Vol. 56, No. 4, pp. 1258–1268, 4 2015.
Nitin Sawhney and Chris Schmandt. Nomadic radio:Speech and audio interaction for contextual messaging in nomadic environments. ACM Transactions on
Computer-Human Interaction, Vol. 7, No. 3, pp. 353–383, September 2000.
Christof Müller, Yasuyuki Sumi, Kenji Mase, andMegumu Tsuchikawa. Experience sharing by retrievingcaptured conversations using non-verbal features. In The
First ACM Workshop on Continuous Archival and Retrieval of Personal Experiences (CARPE 2004), pp. 93–98, 2004.

© 2018 Information Processing Society of Japan225