Statistical Evaluation of Spatial Attention Shift
Caused by Audiovisual Stimuli Using VR
VR を用いた視聴覚刺激による空間的注意シフトの統計的評価

物質科学コース４年 月田諒弥
ミケレット研究室

アウトライン
1. 研究の背景
2. 先行研究
3. 先行研究の課題
4. 本研究の目的
5. 実験１ ; 視聴覚サイモン課題－空間的特徴による注意シフトー
6. 実験２ ; 視聴覚暗算課題ー心的表象における注意シフト－
7. 実験３ ; 視聴覚マルチタスク課題ー聴覚知覚による視覚への影響ー
8. 結論

1. 研究の背景
2. 先行研究
3. 先行研究の課題
4. 本研究の目的
5. 実験１ ; 視聴覚サイモン課題－空間的特徴による注意シフトー
6. 実験２ ; 視聴覚暗算課題ー心的表象における注意シフト－
7. 実験３ ; 視聴覚マルチタスク課題ー聴覚知覚による視覚への影響ー
8. 結論

研究の背景研究の背景• 知覚に関する研究は高齢者社会や自動車事故など日本の社会問題を解決する糸口として注目されている。
• 中でも、ヒトの注意や認知システムは古くから研究されてきた。
• 近年 VR 機器の発達やセンサーの発達により三次元空間（ VR 空間）で視覚刺激や聴覚刺激を呈示することが可能になった。

1. 研究の背景
2. 先行研究
3. 先行研究の課題
4. 本研究の目的
5. 実験１ ; 視聴覚サイモン課題－空間的特徴による注意シフトー
6. 実験２ ; 視聴覚暗算課題ー心的表象における注意シフト－
7. 実験３ ; 視聴覚マルチ課題ー聴覚タスクによる視覚探索への影
響ー
8. 結論

先行研究

注意の先行研究
刺激反応適合性効果• 刺激が内包する空間的特徴によって反応が促進・抑制する効果• Simon 効果 (Simon, 1990)• 刺激の出現位置と反応する方向が一致している場合の方が反応が速くなる効果

左手←「青」
不一致試行
一致試行
反応
抑促
制
進

「赤」→右手
一致試行
不一致試行
反応
促
抑進
制

先行研究

注意の先行研究• SNARC 効果 (Dehaene et al,1993)• 刺激の心的な表象（つまり刺激の内包するイメージ）によっておこる効果→数の知覚と空間知覚が対応• 暗算などの数的処理でも類似の効果 (McCrink et al, 2007;Hartmannet al, 2015)

123456789

Smaller

LargerMental number lineOperators

1. 研究の背景
2. 先行研究
3. 先行研究の課題
4. 本研究の目的
5. 実験１ ; 視聴覚サイモン課題－空間的特徴による注意シフトー
6. 実験２ ; 視聴覚暗算課題ー心的表象における注意シフト－
7. 実験３ ; 視聴覚マルチタスク課題ー聴覚知覚による視覚への影響ー
8. 結論

先行研究の課題

先行研究の課題①• 注意は三次元的な働きであるのに対して、従来の心理学実験では２ D の平面ディスプレイ上で行われてきた。
• 視覚刺激がディスプレイ内に内在しており、直接的に刺激を呈示できてない。
VR の利用Visualstimuli先行研究の課題

先行研究の課題②• 注意はマルチモーダル（多感覚統合）な機能と推測できる• しかしながら先行研究の多くは視覚機能に対して単一モダリティのみ

Unity による多感覚実験アプリケーションの自作

Visualstimuli
どちらか一方先行研究の課題

先行研究の課題➂• 既存の研究のほとんどが ANOVA とｔ検定に頼っている→反応時間などは正規分布しない

R や Python を利用しより幅広い統計的手法の利用

1. 研究の背景
2. 先行研究
3. 先行研究の課題
4. 本研究の目的
5. 実験１ ; 視聴覚サイモン課題－空間的特徴による注意シフトー
6. 実験２ ; 視聴覚暗算課題ー心的表象における注意シフト－
7. 実験３ ; 視聴覚マルチタスク課題ー聴覚知覚による視覚への影響ー
8. 結論

研究目的

本研究のねらいVR 空間を用いる
ことで被験者に刺激をダイレクトに呈示

視覚と聴覚の二つのモダリティ刺激
実験を Unity で自作視聴覚相互作用を評価得られたデータにノンパラメトリッ
ク手法やマルチレベル分析を行い、科学的に分析する。

→ 聴覚知覚が空間的注意や視覚知覚に与える影響を研究する

研究目的

Unity について
• 全 VR/AR コンテンツの６０％以上が利用しているゲームエンジン• さまざまなプラットフォーム（ Android など）に対応している。
• Spatial audio に対応しており三次元的視聴覚 VR 空間を作成でき
る

研究目的

実験環境（実験１ , ３）•Oculus Quest: 視覚刺激の呈示およびデータ記録
6DOF ヘッドトラッキングセンサー
OLED ディスプレイ
解像度 1440×1600
リフレッシュレート 72hz
Android OS によるスタンドアローン VR
内臓ストレージに実験データを記録•ヘッドセット : 聴覚刺激の呈示
SteelSeries Arctis 7
20 〜 20000Hz
実験１での聴覚刺激は Steam Audio により HRTF を使った空間
オーディオ•Oculus Touch コントローラー : 被験者の反応入力研究目的

実験環境（実験２）•FoveVR: 視覚刺激の呈示

6DOF センサー
OLED ディスプレイ
解像度 2560×1400
リフレッシュレート 60 hz
アイトラッキング機能
データ記録や演算処理は PC 側で行う

•ヘッドセット : 聴覚刺激の呈示
SteelSeries Arctis 7
20 〜 20000Hz

1. 研究の背景
2. 先行研究
3. 先行研究の課題
4. 本研究の目的
5. 実験１ ; 視聴覚サイモン課題－空間的特徴による注意シフトー
6. 実験２ ; 視聴覚暗算課題ー心的表象における注意シフト－
7. 実験３ ; 視聴覚マルチタスク課題ー聴覚知覚による視覚への影響ー
8. 結論

実験１

視聴覚サイモン課題

実験の目的：視聴覚サイモン効果の検討

実験１

実験手順 (n= 13)• 被験者に「赤」（ or 「青」）の音声をヘッドホンの L 又は Rから再生
青L赤• 上記聴覚刺激に加えて一定確率で視覚刺激を呈示• 被験者は聴覚刺激に対応したボタンを入力→反応時間を記録
左手ボタン←「青」「赤」→右手ボタン

R

実験１

実験１結果
反応時間と視聴覚刺激の関係 (n= 13)
聴覚一致試行
聴覚不一致試行反応時間の標準化得点* 一致試行＝刺激の呈示方向が反応すべき方向と一緒* １人につき 100 試行。
誤答試行は解析から除外* 反応時間は各人で標準化後に集計、平均値を個人の代表値とする。

視覚一致試行なし

視覚刺激の有無

視覚不一致試行
あり

実験１

解析
• 従来の手法（二元配置分散分析）では母集団が正規分布しているという仮定およびマルチレベルなデータに対しては集計せざるを得ない• →GLMM ＝一般化線形混合モデル(Generalized Linear MixedModel) を使用
ネストされた生データを直接扱うことができ、個人差を変量効果として扱える
正規分布以外の分布族を指定することができる。

実験

条件群
Factor

参加者

測定

一回目
参加者 １
二回目
条件 A
一回目
参加者 ２
二回目
標本母集団
一回目
参加者 １
二回目
条件 B
一回目
参加者 ２
二回目

反復試行マルチレベル構造

実験１

解析結果
• 聴覚一致試行に比べて聴覚不一致試行で有意に反応時間が長くなる（聴覚サイモン効果）• 視覚刺激呈示により反応時間が有意に短くなった（冗長性信号効果＋視覚サイモン効果）• 聴覚刺激と視覚刺激の相互作用項が有意→視聴覚相互作用

分布族にガンマ分布 * を指定した切片変動モデル
Generalized linear mixed model fit by maximum likelihood (Laplace Approximation)
Family: Gamma (identity)
Formula: RT ~ Auditory_Stimuli + Visual_Stimuli+ Auditory_Stimuli:Visual_Stimuli+(1 | ID)
Random effects:
GroupsID

Name

Variance

Std.Dev(Intercept)

0.0021080.04592

0.019727

0.14045

Residual
Number of obs

1291

groups:ID,13

Estimate

Std. Error

t-value

0.867893

0.0459218.9<2e-16 ***Fixed effects:(Intercept)

Pr(>|z|)Auditory_Stimuli: Incongruent

0.033649

0.01043.235

0.00121 **Visual_Stimuli: Congruent-0.094188

0.009797-9.614<2e-16 ***Visual_Stimuli: Incongruent-0.071083

0.010013-7.0991.26e-12 ***Auditory_Stimuli:IncongruentVisual_Stimuli:Congruent-0.015154

0.014161-1.07

0.28456

Auditory_Stimuli:IncongruentVisual_Stimuli:Incongruent-0.040728

0.014166-2.8750.00404 **視聴覚刺激がともに不一致試行なのに反応時間が速くなるのは奇妙で注目すべき結果* ガンマ分布を利用した根拠は Palmer etal,2011 より

実験１

考察→視聴覚の空間的位置による注意シフト• 聴覚サイモン効果が確認できた。さらに視覚刺激の同時呈示による冗長性信号効果及び視覚サイモン効果が確認された。
• 冗長性信号効果のうち共活性化モデルを支持する。
• また反応すべき方向とは無関係に視覚刺激と聴覚刺激の方向が一致しているとき反応時間が有意に短くなることが分かった。
• よって視覚と聴覚の空間的注意は相互に作用しているということ、および視聴覚で二つの刺激を知覚する際に空間的位置が同一なほど反応が促進されることがわかった。

1. 研究の背景
2. 先行研究
3. 先行研究の課題
4. 本研究の目的
5. 実験１ ; 視聴覚サイモン課題－空間的特徴による注意シフトー
6. 実験２ ; 視聴覚暗算課題ー心的表象における注意シフト－
7. 実験３ ; 視聴覚マルチタスク課題ー聴覚知覚による視覚への影響ー
8. 結論

実験２視聴覚暗算課題
実験の目的：

心的表象による空間的注意シフトの評価

実験２

実験２
• 実験２は聴覚刺激として暗算問題を使う• 聴覚呈示の足し算、引き算および視覚呈示の足し算時に注意シフトがおこることが報告されている。（ Hartmann, Mast&Fischer
2015; 八木 , 入戸 , 篠原 2017)• 本実験では視覚的および聴覚的に呈示された暗算問題 ( 一桁の加算もしくは減算 ) を同一実験内で行い、計算中の視線を測る。
→視線データから注意シフトを評価

実験２

実験手順 (n= 12)（被験者の視点）

警告信号＋

視覚的暗算問題

視覚的暗算と聴覚的暗算で目に入る視覚刺激
目に入る視覚的情に大きな変化がな
報に大きな変化がいようにするないようにする

1+1

警告信号

OR＋聴覚的暗算問題

ベースラインとなる
視覚刺激

000

視覚的足し算、視覚的引き算、聴覚的足し算、聴覚的引き算がランダムな順序で２０問ずつ計８０試行出題

実験２

ベクトルプロット結果
聴覚的暗算課題（左側足し算、右側引き算）

視覚的暗算課題（左側足し算、右側引き算）

警告信号

聴覚的暗算時に水平方向の視線のシフトが観測

実験２

ベクトルプロット結果
聴覚的暗算課題（左側足し算、右側引き算）

視覚的暗算課題（左側足し算、右側引き算）

警告信号

聴覚的暗算時に水平方向の視線のシフトが観測実験２

視線の情報エントロピーによる分析結果
情報（シャノン）エントロピー
p<0.0
1
p<0.0
1
p<0.0
1
p>0.1

p 値は Wilcoxon
signed-rank
test に Holm の多重比較修正を→ 視線の乱雑さの指標とする

Vision_subtraction で視線エントロピーが基準に対しほとんど変化がないのは先行研究（八木 他 ,2017) の結果と合致= 視覚刺激の違いによるエントロピー上昇を否定

実験２の考察→心的表象が視線運動に影響

実験２• 聴覚モダリティでの呈示では視線の変化がはっきり確認できた。
• エントロピー分析では聴覚足し算引き算および視覚足し算で有意にエントロピーが増加した。また視覚引き算のエントロピー変化は有意性がなかった（先行研究と矛盾しない）• これらのことから暗算、特に聴覚呈示された暗算課題は視覚機能に影響を及ぼしていることが分かった。
• ただ足し算と引き算間ののちがいは聴覚モダリティで見られなかった。

1. 研究の背景
2. 先行研究
3. 先行研究の課題
4. 本研究の目的
5. 実験１ ; 視聴覚サイモン課題－空間的特徴による注意シフトー
6. 実験２ ; 視聴覚暗算課題ー心的表象における注意シフト－
7. 実験３ ; 視聴覚マルチタスク課題ー聴覚知覚による視覚への影響ー
8. 結論

実験 3 視聴覚マルチタスク課
題
実験の目的：

聴覚知覚が視覚タスクへ及ぼす影響の検討

実験３

実験３
• 実験２で確認できた暗算中の視線の変化が実際にマルチタスキングを行っているときの視覚探索成績での変化として現れるか確認する

実験３

実験手順 (n= 24)
VR 空間

一つだけ形の違うターゲットを見つけるまでの反応時間およびヘッドトラッキングデー
タを記録。

targetこの空間上でターゲットを探す視覚探索タスク＋聴覚暗算課題を課した→ シングルタスク（視覚探索のみ）時とマルチタスキング（視覚探索＋聴覚暗算）時を比較

実験３

頭部角速度による分析
p<0.1
p<0.0
5

足し算マルチタスク時に角速度上昇

シングルタスク

マルチタスクn= 24

p 値は Dunnett 法による多重比較による

実験３

反応時間 ( 捜索時間）による分析
p<0.05p<0.05p<0.
1

足し算＆引き算マルチタ
スク時に反応時間短縮

シングルタスクp 値は Wilcoxon signedrank test に Holm の多重比
較修正を適用した

マルチタスク
n= 24

実験３

実験３の考察→聴覚タスクが視覚タスクに影響• 探索中の頭部角速度が無音時に比べて足し算マルチタスキング時では有意に速度が上がった。
• 反応時間も無音時に比べて足し算および引き算マルチタスキン
グ時に有意に反応時間が短くなった。
→ 聴覚入力された暗算情報処理が視覚探索タスクに影響を与えていることが示唆されている。
→聴覚知覚が視覚的注意に影響を及ぼす可能性を示唆

1. 研究の背景
2. 先行研究
3. 先行研究の課題
4. 本研究の目的
5. 実験１ ; 視聴覚サイモン課題－空間的特徴による注意シフトー
6. 実験２ ; 視聴覚暗算課題ー心的表象における注意シフト－
7. 実験３ ; 視聴覚マルチタスク課題ー聴覚知覚による視覚への影響ー
8. 結論

結論

結論：まとめと今後の展望• 本研究では VR 空間上で三種類の視聴覚知覚実験を作成、行った。
• 実験１では聴覚刺激の空間的特徴と視覚刺激の空間的特徴がもたらす空間的注意シフトを反応時間から統計的に評価した。
• 実験２、３では聴覚刺激のもつ心的表象（非空間的特徴）が視覚に及ぼす影響をヘッドトラッキング / アイトラッキングデータから評価した。
• これら実験から聴覚知覚は視覚知覚と相互作用をすること、また空間的注意シフトをもたらすことが分かった。
• 今後は HRTF をさらに駆使した実験で視聴覚垂直サイモン効果の検討や歩行時、運転時の聴覚刺激による影響などを検討する余地がある。

画像の出典• https://www.roadtovr.com/valve-launches-free-steam-au
dio-sdk-beta-give-vr-apps-immersive-3d-sound/• https://valvesoftware.github.io/steam-audio/• https://unity.com/