情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-23
2019/3/6

発話が空間コンテキストに埋め込まれることによる体験共有方法の検証
藤倉 稜1,a)角 康之1,b)

概要：本稿では，発話が空間コンテキストに埋め込まれることにより、体験共有を促進する方法について述べる．日常生活の中で，我々人間は他人との会話や独り言といった発話を常に行っている．その中には記録される発話もあれば，その場限りの発話も存在する．そこで本研究では，人間が行う発話に着目し，それを HoloLens を使用して空間コンテキストに埋め込んで音声として記録する．それを、空間コンテキストに従って他人に提示することで感動や気づき，知識などを共有する方法を提案する．おわりに，実際に本方法を用いて，空間コンテキストに発話を埋め込んで得られた知見や課題について示す．

1. はじめに本研究では，発話が空間コンテキストに埋め込まれることにより、体験共有を促進する方法を提案する．

案する．発話を提示する手段として，視覚的に発話を提示する方法と聴覚的に発話を提示する方法の 2 通りが考えられる．今回は，後者を選択した．その理由として，視覚的に発話の内容を提示したとしても，その場を通りかかる人人間が生活するうえで，何か身をもって経験した時それは発話に注目せず，そこにある展示物だったり看板等，当は体験といえる．体験というのはイベントなどの非日常的初の目的の対象に気をとられると考えられるからである．

な体験と，何気ない行動から発生する日常的な体験に分け対して，聴覚的に提示する場合，近くを通りかかるだけでられると考える．前者を他人に共有する場合，体験の様子発話が提示されるため，聞き手が発話に注目していなくてを撮影したりメモを取ったり情報を記録しようとする．しも，興味のある内容を含んだ発話があれば聞き入り，情報かし，後者の日常的な体験は，記録がされず他人に共有さを集積することができる．しかし，発話を聴覚的に提示すれない場合がしばしばある．例えば，美術館にて「この絵る場合，一度に提示することのできる発話の数は限られては，作者が母親を亡くした時の感情を表現したものなんしまう．そこで，本方法では空間コンテキストによって発だって〜」などと誰かが聞いたときに面白いだとか，有用話を分類し，聞き手の空間コンテキストに従って発話を選だと思われる情報を含んだ発話がされたする．この時，発択し提示する．ここでいう空間コンテキストとは，発話者話者や周囲の人が，この発話を何らかの形で残そうというはどこにいたのかといった位置情報や，何に注目してどこ考えに及ばない場合，共有されることがないままその発話を向いていたか，発話中は移動をしていたかどうか，手なは埋もれてしまう．美術館という知的空間にて，このようどの身体の動きはどうだったのか，どういう発話を聞いてな他人の知見を含んだ発話が共有されないことは，非常にここまで辿り着いたのかなどといった空間的な状況のこと惜しいことであると筆者は考える．人間の創造的問題解決をまとめて指す．発話者の空間コンテキストと発話を紐付行動や知的生産活動における発想支援システムの構築の分けることで，発話に属性が与えられる．聞き手には，聞き野でも，他人の知識を情報として取り入れることは重要視

手の空間コンテキストと類似した属性を持つ発話が提示さされている [1]．美術館に限らず，我々の日常生活の中にれることで，聞き手の興味に近い発話が選択されるのではは，共有されていない価値のある発話が多く存在すると考ないかと考える．

えられる．

具体的な手法として，図 1 に示した動作シナリオのよう

そこで，本研究では，発話を自動的に記録し場所に埋めに，1) 発話を空間コンテキストに埋め込む，2) 埋め込まれ込むことで，それをその場にきた他人に提示する方法を提た発話を近くを通る人に提示する，といった流れで知識の流通を目指す．図 1 中では，ある展示空間にて，空間コン

1a)b)

公立はこだて未来大学大学院
r-fujikura@sumilab.org
sumi@acm.org© 2019 Information Processing Society of Japan

テキストに埋め込まれた発話が通りかかった人に提示されている．また，提示された発話により新たに発生した発話789情報処理学会 インタラクション 2019IPSJ Interaction 20193B-23
2019/3/6

も場所に紐付けられ，空間に新たな知識が蓄積している．

識を流通させるために，自動車に乗って移動する際の車内これらの流れのループにより知識の流通を目指す．本論文

会話を記録・提示する手法を提案した [6]．Matsumura ら

では，発話が空間コンテキストに埋め込まれることにより、は移動の中にあるエンターテインメント性に注目し，自動体験共有を促進する方法の提案と実装について報告する．

車を利用して移動する際に生まれる会話の中で深まる知識を会話的知識 (Conversational Knowledge) と呼んだ．この会話的知識，特に車内会話から生み出される知識を，場所に車内会話を紐付けるという手法で流通させるシステムを提案した．本研究では，車内という限られた状況ではなく人が移動する場面全てを対象として，空間コンテキストに発話を埋め込む事でこの会話的知識の流通を目指す．
また，Müller らは特定の場所に立ち止まるとその場で過去に行われた会話が聞こえてきたり，さらに詳しくポスターや展示物などの特定の場所に注目すると，そういったコンテキストを共有した会話に絞り込まれる Ambient

Sound Shower というシステムを開発した [7]．本研究はこの研究と目的が同一であるが，システムの実現をするのに別の手法を用いて再実装しているという位置づけである．

3. 発話を共有する方法の提案
本研究では，発話が空間コンテキストに埋め込まれることにより、体験共有を促進する方法の提案をする．図 1 にて示したように会話や独り言といった発話を場所に埋め込み，埋め込まれた発話が近くを通る人に提示されることで，体験時に生じる発話に含まれる感動や気づき，知識の流通を目指す．図 2 では本システムの流れを示している．以下
では，システムを実現するための要件について述べる．

3.1 HoloLens による空間コンテキストの取得と発話の録音と再生
会話や独り言といった発話を空間コンテキストに埋め込むには，発話の音声情報を記録すると同時に位置情報や頭部方向といった詳細なコンテキストを記録する必要がある．本システムではこの条件を満たすデバイスとして

Microsoft 社が提供する HoloLens*1 を使用する．HoloLensとは，目の前の現実世界と，3D ホログラムの世界を融合させた Mixed Reality（複合現実）を実現させる HMD(Head図 1 提案方法の動作シナリオ

Mounted Display) 方式の拡張現実ウェアラブルコンピューターである．HoloLens には深度センサーによる空間認識

2. 関連研究機能が搭載されており，様々なオブジェクトを現実空間に合わせた位置で設置することができる．また，その空間情実世界の状況に応じた情報提供インターフェースの研究報を記憶させることも可能である．さらにマイクも搭載し例として，Nomadic radio[2] や A wearable spatial confer-ているため，人間の発話を録音しそれと空間情報を紐付けencing space[3] や LiveSphere[4]，Augmentable Reality[5]て空間に残すことが可能である．これらの機能を利用するがあげられる．これらの研究では，体験の新たな共有方法ことで，体験における会話や独り言などの発話を空間コンにより，発見や知識の獲得が促されることを目指すというテキストに埋め込む方法を実現する．さらに 3.3 節でも述目的はこの研究と同義であり，音声を扱っているという点べるが，HoloLens はスピーカーも搭載しており，他人が追でもそれらを参照されたい．

Matsumura らは，人と街の間に埋め込まれた会話的知© 2019 Information Processing Society of Japan*1

https://www.microsoft.com/ja-jp/hololens

790

情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-23
2019/3/6

図 2 本方法の流れ体験する場合 HoloLens をそのまま用いることで一つのデかりにしたシステムがある [9]．一方，HoloLens には指をバイスで記録と体験の両方を担うことができる．加えて，前に指して，片手の指先 1 本を手前に引くような操作を

HoloLens は，その空間認識機能を使用し，発話者の手なAirTap と呼び，その動作を検知する機能があらかじめ備ど，身体の動きをも認識できる可能性があると考えている．

わっている．これをトリガーとすることで有用な発話だけ

身体の動きは，発話を記録するうえで重要なコンテキストを記録できると考える．しかし，1 章で述べた通り，本研究であると考えている．したがって，それを認識できる可能の目的は，誰かが聞いたときに面白いだとか，本来ならば性があるだけで，HoloLens には十分利用する価値がある．

共有されることがないような発話に価値を見出し，有用だ

HoloLens を用いた，音声システムの研究として CARAと思われる発話を逃さずに記録することである．したがっが挙げられる [8]．CARA は，視覚障がい者の移動を支援て，発話者の意志に関係なく全ての発話が切り出され記録するために，周囲にある物体の情報を音声で知らせてくれされるべきであると考える．また，このようにして切り出るシステムである．このように，HoloLens を使った聴覚された発話は，内容に関連した適切な空間コンテキストにへのアプローチは他でも行われている．

関連付けられる必要がある．

一方，HoloLens は先述した通りウェアラブルコンピューターであるため，無線環境下にて通信を行うことができる．

3.3 発話の提示

そのため，ある HoloLens を装着して行われた発話を，他前節の手法で切り出された発話を追体験者に提示する方の HoloLens に共有し，他人が即座にその発話を聴くとい法はいくつか考えられる．本節では，HoloLens を使用し，うことが実現できると考えられる．以上の点より，本方法記録した発話を提示する方法について述べる．

では HoloLens を利用する．

まず，記録された発話は発話が行われた場所に紐付けし，記録時と同じ時間幅で再生されるように設定する．聞き手

3.2 発話の切り出しと分類には，本方法によって構築されたアプリケーションがビル

発話を空間コンテキストに埋め込むとすると，ある程度ドされている HoloLens を装着してもらう．聞き手が，発内容が固まっている発話をひとまとまりとして切り出すこ

話が埋め込まれている周辺を歩き回っていると，立ち位置とが必要になる．そうすることで，それぞれの発話が行わや向いている方向などの空間コンテキストに従って発話がれた状況にできるだけ近いコンテキストに，発話を埋め込

聞こえてくる．また，HoloLens ではステレオサウンドを実むことができる．また，全ての発話が有用な発話であるか現できると考えられるため，どの方向から声が聞こえるとどうかは，聞き手によって異なるため発話の分類についていったことも知覚できると考えられる．坊岡らは，各種のは議論する必要がある．

建物や施設、商店街や観光地、イベント会場などで，そこ発話の分類手法として，岡村らが提案した指差しを手掛© 2019 Information Processing Society of Japanに訪れる人が手軽に音声情報を入手できる，AM 微弱電波

791

情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-23
2019/3/6を用いた音声案内システムを提案している [10]．この研究ンを採用している．また，マイクからの音声を取得するたでは市販の AM ラジオを端末機器として，発信器から出さめに Microphone クラスを使用した．発話を記録することれる電波を 2〜3m の範囲でキャッチし，音声情報を得る．

は容易だが，3.2 節で述べた通り全ての発話を発話者の意

AM 電波の特性から，発信源に近づけば近づくほど音声が図と関係なく記録する必要がある．そこで，本方法では，明瞭になるため，視覚障害者にとっては位置把握の手助け録音を常に行い，音量がある閾値を超えた，つまり大きくにもなることが示されている．このことから，HoloLens の変化した時点を発話が行われた時点とみなし発話を切り出ステレオサウンドを利用することで，聞き手を発話によりした．具体的には，マイクの音声から音量を取得して，あ誘導できると考えられる．

る瞬間の音量と 3 秒前の音量を常に比較し，その差が閾値

さらに，発話の同時提示についても考える必要がある．

(ここでは 0.03) より大きくなった時点と，小さくなった時一度に発話は一つのみの提示とするのか，同時に複数の発点の間の音声を切り出し，発話とした．閾値は筆者の発話話を提示するのか，について考えなければならない．本研を実際に録音して，その音量から適切であろう値を恣意的究の目的である，発話の提示により，新たな発見や知識のに定めた．こうすることで，発話者の発話を自動的に切り獲得が促すことを達成するには，一度に発話をいくつか提出す機能を実装した．

示する方が適していると考える．複数の発話が混在した場
合，必要な情報が聞き取れない可能性があるという懸念は，4.2 空間コンテキストへの発話の埋め込み複数発話の聞き分けにより払拭されると考えられる．人間

録音した発話を場所に応じて埋め込むために，吹き出しは音声について選択的聴取が可能であるため，聞き手は気を生成した．それに発話の音声データをアタッチすることになる発話を選択的に聴取できるからである．発話を最大で，HoloLens 上では吹き出しから録音した発話が再生さ同時いくつ提示するかは，現状定めていない．これに関しれているように見える機能を実装した．こうすることで，ては，今後議論する必要がある．

発話が終えられた時，その時点での位置に，発話が聞こえ

また，本方法では，空間コンテキストの類似度によって，提示する発話の選別を行う．例えば，位置情報や頭部方てくる吹き出しが仮想空間上で自動で生成される．吹き出しを採用した理由については，下記にて説明を行う．

向，手の動きという空間コンテキストに注目した例を紹介

また，その AudioSource コンポーネントの設定を変更する．あるユーザが HoloLens を着用し，本方法を運用しし，3 次元的な位置情報を付与した．つまり，埋め込んだ位ながら工房にて複雑機器の操作について，初学者に説明し置と聞き手の位置関係によって，聞こえてくる発話の方向ている場面を想定する．ユーザは複雑機器の前にて，手をや音量が自動で変化するよう設定した．具体的には，埋め所定の位置に動かしながら「初めに温めておくと作業効率込んだ位置から周囲 8 メートル以内でしか発話は聞こえてが上がるんだよ」という発話を行ったとする．一方，全くこない設定とした．この 8 メートルという数字は，まだ議別の時間に，別のユーザが本方法を運用しながら工房にて論する余地があるが，今回は筆者の経験により，発話の内複雑機器を使った操作を行っていると，先述の発話が複雑容と関係がある展示物などとの最大の距離を想定し，恣意機器前にて，スイッチを操作する手の動作に反応して提示的に判断した．聞き手が 8 メートル以内に入ると，近付くされる．これにより，発話を聞いたユーザは，複雑機器のにつれて発話の音量が 2 次関数的に大きくなる．こうする操作に関する知見が得れることが期待される．このようにことで聞き手が発話が埋め込まれている位置の近くを通り空間コンテキストに注目して，提示する発話を選択するこかかったときに，発話がざわざわと聞こえてくるようにしとは，発話の選別に有効であると考えられる．

た．この時，発話の詳細な位置や，発話が埋め込まれてい4. 発話を共有する方法の実装

る大まかな場所を判断する手助けとして，吹き出しを採用している．今回は，吹き出しのみでしかビジュアルなアプ

本章では実装した方法について説明する．これまで述べローチは行っていない．また，発話者が止まったまま行ってきた機能を備えた，HoloLens 内で実行可能なアプリケーた発話ならば，現状の方法で適しているが，移動時に行っションを開発した．以下では，それぞれの処理について詳た発話は一点に留まるのではなく発話者の移動と同じ動き

しく述べる．開発環境に関して，今回は Unity 2017.2.0f3をするのが望ましい．このように，発話を録音し，録音をと Visual Studio 2017 を使用した．

停止する度に発話が埋め込まれた吹き出しが生成される機能を実装した．

4.1 発話の検知と録音発話を埋め込むにはまず HoloLens を用いて発話を録音する必要がある．Unity の AudioSource コンポーネントを用いることで音声の取り扱いが可能となる．今回は，標準

5. システムの動作例とそこから得られた知見
本章では、様々な場面で行った，本方法の評価について述べる．以下では，評価の結果と得られた考察を示す．

で Unity に搭載されている FMOD というサウンドエンジ© 2019 Information Processing Society of Japan792

情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-23
2019/3/6

図 3 展示スペースのイメージ図とユーザからの光景

5.1 発話の分類

次の例でも，会話の内容は立ち位置によって変化する．

本方法にて，提示される発話は，聞き手と発話者のコン

図 4 は，イカ型ロボットを観賞しているときのユーザからテキストの類似度によって選択される．これにより，聞き見える光景である．図左部のように，遠くから見るとイカ手にできるだけ近い状況にて，過去に行われた発話が提示の形をしているという感想を覚えやすいが，近くで見るとされるため，聞き手にとって興味のある発話が再生されるロボットの機構に目が行き，立ち位置によって覚える印象と考えられる．

が異なるといったことが考えられる．この印象が発話の内

図 3 は，実際に本方法を展示スペースで使用したときの容にも影響すると考えられる．例えば，遠くから見てると俯瞰図とユーザから見える光景を再現したものである．状

きは，「イカの形をした工作かな…なんだろう？」といった況としては，ある国内の学会にて，本方法についてデモ形発話が行われるが，近くから見てるときは，「とても細か式で筆者が紹介しているところである．ここでは，本方法い機構をしている…これは動くロボットなんだ！」といっを運用していたときに筆者が感じた知見について述べる．

た発話が行われると考えられる．このように，マクロな空ユーザの視点からは展示物や学会の参加者，吹き出しが見間スケールで行われた時とミクロな空間スケールで行われえている．この吹き出しは，本方法によって発話が自動的た時とで，発話は種類や内容の詳細度が変わってくると感に記録され，そこに埋め込まれていることを示している．

じられる．したがって，聞き手に発話を提示する際には，

つまり，ユーザから吹き出しが見える付近では，過去の発まずマクロな空間スケールで行われた発話を提示し，次に話が聞こえてきている．図 3 左部の写真中では，現在立っミクロな空間スケールで行われた発話を提示する方が望まている位置から，吹き出しが特定の方向に向かって足跡のしい．そうすることで，聞き手は，過去の発話の内容を理ように残っている．これは過去の発話者が赤く示された位解しやすくなると考えられる．しかし，現在の方法では，置につられて，発話を行いながら向かっていったというこ

吹き出しの表示は発話の種類に関わらず全て同一のものでとを示していると考えられる．また，展示を見た他の参加ある．将来的に，これらを移動速度に基づいて自動で識別者の発話も埋め込まれているため，吹き出しがあちこちにすることで発話を分類することは可能である．例えば，歩残っている．これらの発話は，展示に対しての発話者の立きながら行われている発話はマクロな空間スケール，立ちち位置によって，内容の種類と程度が異なると考えられる．

止まりながら行われている発話はミクロな空間スケールと実際に発話を聞いてみると，展示に関する発話が残っていいったようにである．ゆえに，聞き手の移動速度と対応づたが，展示に近い位置で行われた発話は発表者との会話でければ，最初の方ではマクロスケールの発話で誘導をして，あったり展示物の細部に関することであった．逆に，展示特定の場所に留まったらミクロスケールの発話の提示を行から 3 メートルほど離れた位置で行われた発話は，その展うということが実現できる．

示に関することだけではなく，そこから見える他の展示に関することが内容に含まれていた．また，ある位置に留まり続けると，その位置にずっと留まりながらされていた発話も聞こえてきた．

© 2019 Information Processing Society of Japan

5.2 埋め込まれている発話による影響
本方法について議論するために，我々は国内の学会にてデモ発表を行い，約 50 人の参加者と約 1 時間半の間意見

793

情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-23
2019/3/6

機能や更なるコンテキストへの対応の実装が挙げられる．
今後の展望として，位置情報や頭部方向だけではなく，発話者の動作を組み合わせて発話を埋め込むことが挙げられる．具体的には，聞き手が追体験中に発話者と同じ位置にいたとしても，発話者が特定の動作を行ったときに生じた発話は，同じ動作を聞き手がしたときにしか提示されない機能などが考えられる．今後は，これらの機能を実装し，空間コンテキストに埋め込まれた発話が聞き手に提示され
図 4 マクロな空間スケールとミクロな空間スケールとで行われた発話がそれぞれ埋め込まれている例

ることで，新たな発見や知識の獲得が促されるのかを，実際に運用して検証することを目指す．

を交わした．ここでは，その中で得られた印象と発見につ参考文献いて説明する．デモの概要としては，本方法について簡単[1]に説明した後，筆者が埋め込んだ発話を自由に移動して聞いてもらった．移動する部屋の大きさは約 150 平方メート[2]ルの部屋で，我々を含め 10 件の展示があった．参加者に自由に動いて発話を聞いてもらった後，本方法についての意見を聞いた．まず，体験したほとんどの人が，本方法に[3]ついて面白いと述べた．詳細を続けて聞くと，「他の人が直接話しかけてくるように発話が聞こえてきて，吹き出しがある方へ足が自然と向かっていった」と述べていた．この[4]ことから，埋め込まれた発話によって聞き手の行動が誘導されたことがわかった．また，その発話の内容に対して，自ら発話を行いその場に発話を残そうとする人もいた．
一方，今回の方法を開発するうえで，自ら本方法の有用[5]性を感じる瞬間もあった．開発中に，筆者は自分の作業場の周囲にさまざまな発話を埋め込んでることが多々あった．
その場では，適当に埋め込んだつもりの発話ばかりであっ[6]

たが，その中に「来週までにこの計画書を出さなきゃ！」という発話があった．後日，アプリケーションの起動した
ところ，記録された発話が残っていたためその場で再生され，筆者に忘れていた計画書の提出を思い出せた．以上のことから，埋め込まれた発話は自分自身や誰かに影響を与えうると考えることができる．

[7]

6. おわりに
本稿では，発話が空間コンテキストに埋め込まれることにより、体験共有を促進する方法について提案した．発話[8]を記録，再生するデバイスとして，発話を空間コンテキストに従って埋め込み可能である HoloLens を使用した．方[9]法としては，HoloLens 着用者の発話を録音し，空間コンテキストに埋め込むことで記録し，それを他人に提示する．
本方法を用いて，自分の気づきや知識を含んだ発話を埋め込んだところ，追体験をする人に新たな知識を提供できる[10]國藤進. 発想支援システムの研究開発動向とその課題. 人
工知能学会誌, Vol. 8, No. 5, pp. 552–559, sep 1993.
Nitin Sawhney and Chris Schmandt. Nomadic radio:Speech and audio interaction for contextual messaging
in nomadic environments. ACM Trans. Comput.-Hum.
Interact., Vol. 7, No. 3, pp. 353–383, September 2000.
Mark Billinghurst, Jerry Bowskill, Mark Jessop, and Jason Morphett. A wearable spatial conferencing space. In
Wearable Computers, 1998. Digest of Papers. Second
International Symposium on, pp. 76–83. IEEE, 1998.
Shohei Nagai, Shunichi Kasahara, and Jun Rekimoto.
Livesphere: Sharing the surrounding visual environment
for immersive experience in remote collaboration. In Proceedings of the Ninth International Conference on Tangible, Embedded, and Embodied Interaction, TEI ’15,
pp. 113–116, New York, NY, USA, 2015. ACM.
J. Rekimoto, Y. Ayatsuka, and K. Hayashi. Augmentable reality: situated communication through physicaland digital spaces. In Digest of Papers. Second International Symposium on Wearable Computers (Cat.
No.98EX215), pp. 68–75, Oct 1998.
Kohei Matsumura and Yasuyuki Sumi. What are youtalking about while driving?: An analysis of in-car conversations aimed at conversation sharing. In Proceedings of the 6th International Conference on Automotive
User Interfaces and Interactive Vehicular Applications,
AutomotiveUI ’14, pp. 34:1–34:8, New York, NY, USA,2014. ACM.
Christof Müller, Yasuyuki Sumi, Kenji Mase, andMegumu Tsuchikawa. Experience sharing by retrieving
captured conversations using non-verbal features. In The
First ACM Workshop on Continuous Archival and Retrieval of Personal Experiences (CARPE 2004), pp. 93–98, 2004.
Yang Liu, Noelle RB Stiles, and Markus Meister. Augmented reality powers a cognitive assistant for the blind.
eLife, Vol. 7, p. e37841, nov 2018.
岡村剛, 久保田秀和, 角康之, 西田豊明, 塚原裕史, 岩崎
弘利. 車内会話の量子化と再利用. 情報処理学会論文誌,
Vol. 48, No. 12, pp. 3893–3906, dec 2007.
坊岡正之, 相良二朗, 赤澤康史. 微弱電波を用いた音声案
内システムの開発. 第 11 回リハ工学カンファレンス講演
論文集, pp. 237–238, 1996.のではないかと考察できた．また，本方法を他人に体験してもらったところ，埋め込まれた発話は他人に影響を与えうると考察することができた．
課題として，移動速度に基づいて自動で発話を分類する© 2019 Information Processing Society of Japan794