情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3B-172024/2/28

認知パフォーマンス向上のための AR による視界調整を用いた主観的な音源位置の操作手法
山本 京介1,a)

双見 京介1,2,b)

村尾 和哉1,c)

概要：人は注意を特定の物事ではなく，ある物理的空間に割り当てるため，注意する方向の範囲が広がると集中精度が低下する．そのため，視覚と聴覚に別の情報を提示する場合には，どちらも同じ方向から提示するべきであり，どちらか一方の情報を無視させる必要がある場合は，それぞれ違う方向から提示すべきである．本研究では，AR を用いてこれらの状況を整えることで，高い認知パフォーマンスを得ることを目的とする．状況を整える手法として，腹話術効果に基づいた，AR による音源定位能力の操作手法を提案する．

1. 研究背景と目的

2. 提案手法

人は集中している方向の範囲が広がると集中精度が低下

先述の認知科学の知見に基づいた状況を整えられると高するという認知科学の知見がある．例えば，車の運転をしい認知パフォーマンスを得られる可能性がある．しかし，ている時は前方に対して注意を向けているが，このとき，現実では物理的制約により，その状況を作れない場面があ後ろや隣から話し声や携帯電話の着信音が聞こえてくるる．そこで，本研究では AR を使って音源位置を適切な位と，運転に対する注意が削がれてしまう．このことは運転置に動かすことで，音源を物理的に動かさずに，そういっシミュレータを用いた実験によって確認されている．このた状況を作り出す手法を提案する．音源の位置操作は腹話

実験ではシミュレータで運転を行っている被験者に対し，術効果に基づく．腹話術効果とは脳内での音源の位置は実スピーカから音声を流し，その音声をそのまま発話する

際の音源の位置に関わらず，視覚情報で得ている音源の位「シャドウイング」と呼ばれるタスクを指示した．結果，ス置になっていくことである．例えば，講演会で壇上の講演ピーカをダッシュボードの上に置き，注意の方向を前方向者を見て話を聞いているとき，会場の側面や後方にあるスに集中させたときより，側方に置き，注意の方向を分散さピーカから音声が流れていようと，聞いている側はそれをせたときの方がシャドウイングの誤りが多くなり，運転す意識せず，前から聞こえてくると認知するが，これは腹話る速度も低下し，交差点での判断も遅くなった．

術効果によるものである [1]．この現象を AR によって引以上のようなことが起こるのは，大脳皮質における情報処理が，外界世界の物理的空間に対応する座標系を用いており，人は注意というものを特定の物事に割り当てることができず，ある物理的空間に割り当てるからである [1]．

き起こし，音源位置が最適な位置に来るようにする．

3. 想定する場面
3.1 視覚と聴覚に別の情報を提示する場合

このことから，視覚と聴覚に別の情報を提示する場合にユーザは視覚情報を必要としたタスクを行っている．つは，どちらも同じ方向から提示するべきであり，どちらかまり，前方に注意を向けている．このとき，ユーザは HMD一方の情報を無視させる必要がある場合は，それぞれ違うを使用できるとする．また，周囲に音源があるとする．た方向から提示すべきということがわかる．本研究ではそうだし，音源はユーザによって制御することはできない．ユー

いった状況を整え，高い認知パフォーマンスを得ることを

ザは先述のタスクの他，音源を利用したタスクも行う．以目的とする．

上の環境で，音源に関してユーザの集中を高めるような工12a)b)c)

立命館大学情報理工学部
Digital Spirits Teckkyosuke.yamamoto@iis.ise.ritsumei.ac.jp
futami@fc.ritsuemi.ac.jp
murao@cs.ritsumei.ac.jp© 2024 Information Processing Society of Japan夫を施す．

3.2 どちらか一方の情報を無視させる必要がある場合
ユーザは視覚情報を必要としたタスクを行っている．つ1140

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3B-17
2024/2/28

まり，前方に注意を向けている．このとき，ユーザは HMDを使用できるとする．また，周囲に音源があるとする．ただし，音源はユーザによって制御することはできない．音源からはユーザの集中力を削ぎ，タスクを阻害する音声が流れている．以上の環境で，音源に関してユーザの集中を阻害しないような工夫を施す．

4. 評価実験
4.1 評価内容
本実験では以下のことを評価する．
まず，音源定位能力を操作できるかである．スピーカや人など，実在する音源の位置を変えずに，AR を用いてユーザの脳内で認識される音源の位置を変える，つまり，バーチャルのマスクにより実在音源を隠し，人が話している映

図 1

スピーカ

図 2

マスク

像を出現させることで腹話術効果を引き起こし，その映像の方向に音源があるように感じさせることができるかどうかを確認する．
次に音源定位能力を操作することで認知パフォーマンスを向上，または低下させることができるかである．腹話術効果を引き起こすような環境を整え，音源定位能力を操作した状態でタスクを行った場合，認知パフォーマンスがどのように変化するのかを確認する．

4.2 実験環境
ユーザを中心とし，スピーカは実験内容に合わせて前後いずれかに配置する．ユーザには HMD を被ってもらう．
今回使用する HMD はカラーパススルー機能を搭載したMeta Quest 3 で，HMD を被った状態でも外の様子が見えるようになっている．

4.3 使用アプリ
アプリは以下の機能を搭載する．
まず，実在音源を隠す機能である．実験では図 1 のス
ピーカを前後いずれかに配置するが，それに対し図 2 のようにマスクを出現させ，ユーザから見えなくする．マスクは背景に馴染むものが好ましいため，今回は実験で使う部屋の壁の写真を用いている．なお，マスクは自由に出現させたり，消したりできる．
次に，音源位置となる映像を出現させる機能である．動
画は人がこちらを向いて話しかけるものを使い，それを前後いずれかに出現させる．

5. 評価実験 1
図 3 のようにユーザが視覚タスクのために集中する方向と，音声タスクのために聞くべき音源の方向を一致させる

図 3

評価実験 1 の理想ことで，認知パフォーマンスが向上するかどうかを評価する．なお，視覚タスクの方向は前方とする．

5.1 状況
前方にユーザが集中する視覚タスク（運転やデスクワー© 2024 Information Processing Society of Japan1141

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3B-172024/2/28

図 5
図 4

評価実験 1 の統制条件の環境

ストループ課題クなど）があり，後方に音声タスクに必要な音源が存在する．

5.2 要求音声タスクに必要な音源を，ユーザが集中している前方に移動させたい．なぜなら，同一方向に必要音源があると認知パフォーマンスが向上する可能性があるからである．

5.3 手段
視覚タスク中に音源（人やスピーカなど）が後ろで発話

図 6

している．その音源をマスクし，前方に出現させる．今回
は人がこちらに向けて話している映像を前方に出現させる．

評価実験 1 の統制条件での見え方

5.5.2 音声タスク
スピーカから動物，植物，楽器の名前をランダムに読み

5.4 前提ユーザは音声と映像を見聞きしながら，前方の視覚タスクをなるべく早く正確に行う．

上げる音声を流す．その音声を聞いて，実験前に指示した種類の名前が読み上げられた回数をカウントしてもらう．
今回の実験では左コントローラのボタンでカウントしてもらう．

5.5 タスク5.5.1 視覚タスク
図 4 に示すようなストループ課題を行う．このタスクで5.6 条件5.6.1 統制条件

は矢印と上下左右方向を示す文字が同時に提示される．そ

統制条件の環境を図 5 に示す．音源であるスピーカは後れに対して「文字で答えよ」，または「記号で答えよ」とい方に配置する．流れてくる音声を読み上げている人の映像

う指示文が提示されるため，その指示に合った方向をできをスピーカの前に配置する．統制条件での前方の見え方はるだけ早く正確に回答する．今回の実験では右コントロー

図 6 のようになる．

ラのジョイスティックで回答してもらう．

5.6.2 提案手法条件

視覚タスクにストループ課題を採用した理由としては，

提案手法条件の環境を図 7 に示す．音源であるスピーカ

単純に方向を答えるだけでなく，指示文を読んで判断するは統制条件同様，後方に配置されているが，マスクを出現工程が必要であり，タスクを阻害する音や映像に注意が向させ，ユーザから見えなくする．読み上げ映像は前方に配くと認知パフォーマンスが落ちる内容だからである．

置し，ユーザが視覚タスクを行いながら見られるようにす© 2024 Information Processing Society of Japan1142

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

図 73B-172024/2/28

評価実験 1 の提案手法条件の環境

図 9

評価実験 2 の理想• 主観アンケート（NASA-TLX）

6. 評価実験 2
図 9 のようにユーザが視覚タスクのために集中する方向と，視覚タスクを阻害する，無視するべき音声を別方向にすることで，認知パフォーマンスが向上するかどうかを評価する．なお，視覚タスクの方向は前方とする．

6.1 状況
図 8

評価実験 1 の提案手法条件での見え方

前方にユーザが集中する視覚タスク（運転やデスクワークなど）があり，同じく前方に視覚タスクを阻害するが，る．提案手法条件での前方の見え方は図 8 のようになる．

消してはいけない音源がある．

5.7 実験手順

6.2 要求まず，1 分ほどの事前説明と HMD の装着を行い，練習タスクとして視覚タスクを 1 分ほど行ってもらう．

ユーザが集中する方向と同じ方向にタスクを阻害する音源があると，音源にも無意識的に注意が割かれてしまい，練習後，いずれかの条件下でタスクを行ってもらうが，認知パフォーマンスが低下する可能性がある．そこで，タタスクに入る前に，映像と音声だけ見聞きしてもらい，どスクを阻害する音源の位置を，ユーザが集中する方向とはの方向に音源があるように感じるかを確認してもらう．

別の方向に動かしたい．

その後，本番タスクを 3 分から 5 分行い，本番後は NASA-

TLX に基づいた主観アンケートを実施する．1 分から 3 分の休憩を挟んだ後，同様の手順でもう一方の条件下でタスクを行い，同様のアンケートを実施する．

6.3 手段
視覚タスク中にタスクを阻害する音源（人やスピーカなど）が前方で発話している．その音源をマスクし，後方に出現させる．今回は人が話してる映像を後方に出現させる．

5.8 評価指標
各条件下において，以下の指標を検定する．

6.4 前提• 視覚タスクの正答率

ユーザは音声と映像を無視しつつ，なるべく早く正確に• 視覚タスクの回答速度

視覚タスクを行う．音声は無視しないと認知パフォーマン• 音声タスクの回答数スが低下するとする．なお，音声と映像は，無視したくて© 2024 Information Processing Society of Japan1143

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

図 103B-172024/2/28

図 11

評価実験 2 の統制条件での見え方

図 12

評価実験 2 の提案手法条件の環境評価実験 2 の統制条件の環境

も無意識的に聞き入ってしまうような，人の注意を引くものとする（お笑いやニュースなど）．

6.5 タスク
評価実験 1 で行う視覚タスクのみを音源を無視しつつ行う．

6.6 条件6.6.1 統制条件
統制条件の環境を図 10 に示す．音源であるスピーカは前方に配置する．音源から流す音声に対応した映像は前方に配置する．統制条件での前方の見え方は図 11 のようになる．

6.6.2 提案手法条件
提案手法条件の環境を図 12 に示す．音源であるスピー
カは統制条件同様，前方に配置するが，マスクを出現させ，• 視覚タスクの正答率

ユーザから見えなくする．音源から流す音声に対応した映• 視覚タスクの回答速度

像は後方に配置する．前方の見え方は図 6 と同じように• 主観アンケート（NASA-TLX）

なる．

6.7 実験手順
基本的な手順は評価実験 1 と同様である．ただし，本番タスクにおいて，音声タスクは行わない．

7. 今後の課題
実験を行い，データを取得し，評価を行っていく．
また，実験に使用するアプリケーションを改善していく．
例えば，現在，音源を隠すためマスクは実験に使う部屋の壁の画像を使用しているが，環境に合わせてマスクを変化

6.8 評価指標
各条件下において，以下の指標を検定する．

© 2024 Information Processing Society of Japanさせたり，画像解析などにより音源そのものを消したりする方法を模索する．

1144

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3B-17
2024/2/28

参考文献
[1]

Tom Staﬀord, Matt Webb，夏目 大：Mind Hacks，オラ
イリー・ジャパン．

© 2024 Information Processing Society of Japan

1145