同時通訳者の選択的注意における聴覚定常脳波反応
Analysis of selective attention processing on simultaneous interpreters
using EEG phase synchronization
奈良先端科学技術⼤学院⼤学

情報科学研究科

⽮倉 晴⼦ ⽥中 宏季 ⽊下 泰輝
本村 駿乃介 須藤 克仁 中村 哲渡部 宏樹

2020/6/12⼈⼯知能学会

2020@Haruko Yagura AHC-Lab, IS, NAIST

0

背景•
•
•
•

Interpreter advantage
Switching attention processing for SI
40 Hz-ASSR
提案⼿法
2020/6/14⼈⼯知能学会

2020@Haruko Yagura AHC-Lab, IS, NAIST

1

同時通訳：Simultaneous Interpreta0on (SI)同時通訳
Ø 話者の発話に合わせて⾏うØ ⻑時間通続く国際会議など
Ø 2-3名で15分交代で⾏う
2020/6/14⼈⼯知能学会

逐次通訳
Ø 話者と通訳者が交互に話すØ 工場視察や表敬訪問など
Ø 正確にゆっくり訳す
2020@Haruko Yagura AHC-Lab, IS, NAIST

2

通訳者アドバンテージ:Interpreter advantage

同時通訳の経験が⻑くなると注意や記憶などの実⾏機能(executivefunction)が向上する[Camayd-Freixas, E., + 2011]
同時通訳のトレーニングにより脳の構造と機能が変化しバイリンガルの脳に近づく[Van de PuRe, E., +2018]
経験豊かな同時通訳者の脳内メカニズムは⼈間の注意や記憶のトレーニン
グの可能性を広げるとして注⽬されている

本研究の⽬的：EEGを⽤いて経験豊かな同時通訳者の脳機能を定量化
2020/6/14⼈⼯知能学会

2020@Haruko Yagura AHC-Lab, IS, NAIST

3

同時通訳中に連続的に続く注意の切り替え能⼒が必要とされる

Attention

AOenPon• ⺟国語の意味

他⾔語• 他⾔語で発話理解• 他⾔語へ変換

Nativelanguage• ⺟国語の意味理解• 他⾔語へ変換

⺟国語
Attention

Attention••

同時通訳には⺟国語から他⾔語へ絶え間ない注意の切り替えが必要[Cowan,N,2000 +]- Multilingual Control
優れた選択的注意能⼒が必要[Morels, J.,+,2015] - Executive function
2020/6/14⼈⼯知能学会

2020@Haruko Yagura AHC-Lab, IS, NAIST

4

SIの実環境でのEEG計測が困難•

実際の通訳：連続的に通訳の⾔語間の切り替え処理が必要

５０歳近く年下の２０代の⼥性との婚約を明らかにしたイタリアのベルルスコーニ前⾸相７６歳が•→ 頭の動き、⼝の動き、⾃分の声などの誘発信号が同時通訳のEEG信号に混⼊

先⾏研究：条件間の⽐較のために刺激⾳声を短く切って編集 [ Kokishin, R+, 2018]

５０歳近く年下の２０代の⼥性との婚約を明らかにした

負荷：中負荷：中負荷：⼩負荷：⼩負荷：⼩負荷：中イタリアの負荷」⼩

ベルルスコーニ
負荷：⼩

前⾸相

負荷：⼤

Ø 同⼀種類の短い課題を繰り返すー加算平均処理（EEG）
ーブロックデザイン（fMRI）

Ø ⾳声を短く編集すると連続的に⽣じるSI中の注意の切り替え処理( = selective attention)が検証できない
2020/6/14⼈⼯知能学会

2020@Haruko Yagura AHC-Lab, IS, NAIST

5

提案⼿法；聴覚定常反応（ASSR)• ⾮常に刺激間隔の短いパルス⾳から得られる誘発脳波• 環境変化に頑健であり再現性が⾼い反応が得られる• ターゲットとなる刺激と同時に呈⽰• ASSRから誘発される位相同期信号を計測• ターゲット刺激そのものは編集・統制の必要がない
2020/6/14⼈⼯知能学会

2020@Haruko Yagura AHC-Lab, IS, NAIST

6

先⾏研究；歩⾏中の40Hz-ASSRから誘発されるITC値(Inter-trial coherence)を抽出• 40Hz-ASSRから誘発された
位相同期反応 (ITC：Intertrial coherence)を抽出• 体の動きなどのノイズが多い歩⾏中にn-back課題（ターゲット課題）の認知反応の再現性を確認• ASSRを⽤いて歩⾏時の認知反応を抽出することに成功

N-back[Yokota+, 2015, 2017]2020/6/14⼈⼯知能学会

2020@Haruko Yagura AHC-Lab, IS, NAIST

7

The value of ITC

ITC値（脳内の位相同期を表す指標）

位相同期

⾼：最⼤

低：最低

１０

2020@Haruko Yagura AHC-Lab, IS, NAIST

The value of value

2020/6/14⼈⼯知能学会

位相同期8

提案⼿法；同時通訳中の選択的注意処理の抽出に40Hz-ASSRとITC値を⽤いる

実際の通訳場⾯に近い■ 40Hzより低周波（体動・瞬きなど）の振動の影響を受けにくい
ASSRを使⽤ ■ 同時通訳と同時に呈⽰したASSRの信号を抽出しているため⾳声の編集が必要ない

実際の通訳場⾯から遠い
従来の⽅法■ 実験条件を統制■ 連続的に⽣じる多⾔語間の注意の切り替え処理が検出できない

2020/6/14⼈⼯知能学会

2020@Haruko Yagura AHC-Lab, IS, NAIST

9

提案⼿法

⽬的
• SI実環境で経験豊富な同時通訳者の選択的注意能⼒（注意の切り替え）をEEG信号を⽤いて検証
提案⼿法• 同時通訳中（ターゲット課題）の40Hz-ASSRから誘発されるITC値を抽出
2020/6/14⼈⼯知能学会

2020@Haruko Yagura AHC-Lab, IS, NAIST

10

⽅法
•

被験者

•

⾳声刺激と実験課題•

ITC値と仮説
2020/6/14⼈⼯知能学会

2020@Haruko Yagura AHC-Lab, IS, NAIST

11

被験者
n 22⼈の⽇本⼈⼥性同時通訳者：range; 46-71歳、mean= 53.4歳、SD = 6.6
・Cランク（同時通訳経験１年未満）：15名
・Sランク（同時通訳の経験年数15年以上）：7名注１：ランク付けは通訳者派遣会社の基準による
注２：全員が逐次訳による翻訳経験は最低３年以上

Ø 実験前に奈良先端⼤学の倫理委員会で承認された書⾯によりインフォームドコンセントを得た

2020/6/14⼈⼯知能学会

2020@Haruko Yagura AHC-Lab, IS, NAIST

12

ターゲット課題（同時通訳とシャドーイング）と同時に提⽰する40Hz-ASSR•

The auditory repetitive stimuli were 40Hz click sounds (sampling rate:8192Hz) which consisted of a pulse width of 10ms that was repeatedevery 25ms. (Yokota Y, 2017)2020/6/14⼈⼯知能学会

2020@Haruko Yagura AHC-Lab, IS, NAIST

13

⾳声刺激: 40Hz-ASSRと⾳声の合成⾳

n ８つのNHK ニュースと40Hz-ASSR を両⽿に呈⽰•

８つの各合成⾳の持続時間はそれぞれ60秒•

⾳圧は最⼤振幅で正規化•

パルストーンの⾳圧レベルは、ニュース⾳の最⼤振幅の5 ％に調整•

⽇本語⾳声は編集をしないで通訳の実環境に近い形で呈⽰

2020/6/14⼈⼯知能学会

2020@Haruko Yagura AHC-Lab, IS, NAIST

14

脳波形(EEG)のセッティングn同時通訳時に拘束感が少ないワ
イヤレス接続の脳波形を使⽤• EEG devices; CGX Quick-30 Dry
EEG Headset• Preprocessing with low data：
sampling rate：500
bandpass ﬁltered：1-50Hz
ground electrode: FpZ

2020/6/14⼈⼯知能学会

2020@Haruko Yagura AHC-Lab, IS, NAIST

15

実験条件
n 同時通訳課題 (⽇→英）•SI条件：SimultaneousInterpretation

教⽰

SI条件

同時通訳SH条件

シャドーイング

課題⾳声の呈⽰

n シャドーイング条件（⽇→⽇）•SH課題：Shadowing

n 課題の呈⽰順序• 条件間の呈⽰順序は固定（SI：８回連続→SH：８回連続） • ８つのトピックに関するNHKニュースを使⽤• 各条件下で２秒間の教⽰後60秒の⾳声
８種類がランダムに呈⽰
2020/6/14⼈⼯知能学会

2020@Haruko Yagura AHC-Lab, IS, NAIST

16

解析：条件間のITC値を⽐較
n各条件のITC値を算出• 各被験者で、実験の条件とトピック毎に得られた脳波のデータを1秒毎にオーバーラップしながら、3秒のトライアルに分割• 分割したそれぞれのトライアルに対して離散フーリエ変換を⾏なった後、右式でITC値を算出• ITCは3つの前頭葉の電極(F3, Fz,F4）の平均値を計算[Griskova+2011]2020/6/14⼈⼯知能学会

Ø where f is a frequency, ch is thechannel number, fØ k is phases of frequency f andelectrode ch, k is a trial number, and K
is the number of trials. ITCs werecalculated forØ each news over the three central
electrodes (C3, Cz, and C4). ITCs
were then averaged over theelectrodes

2020@Haruko Yagura AHC-Lab, IS, NAIST

17

The value of ITC

ITC値と選択的注意との関係

選択的注意:

⾼低(near 1)(near 0)The value of value

選択的注意:• 選択的注意能⼒が増加すると40Hz-ASSRは増加する[Mu l̈ ler, N+,2009] [Griskova.B, I.+, 2011] [Parciauskaite V.,2019+]
2020/6/14⼈⼯知能学会

2020@Haruko Yagura AHC-Lab, IS, NAIST18仮説；SIーSランク＞Cランク

ITC値：

SH

SI
⽇ー英⽇ー⽇⽇本語の理解2020/6/14⼈⼯知能学会

⾔語間の注意の切り替え

選択的注意能⼒
Sランク＞Cランク

⽇本語の理解2020@Haruko Yagura AHC-Lab, IS, NAIST

19

主観評価
• 実験終了後に実施• 通訳の難易度や達成度に関する質問５つを８つのトピックごとに設定• 最も難しい５、普通３、最も簡単１の５段階
Q1: achievement for interpretation
Q2: topic fieldQ3: voice speed
Q4: a comfortable voice for listening
Q5: Overall interpretation difficulty

2020/6/14⼈⼯知能学会

2020@Haruko Yagura AHC-Lab, IS, NAIST

20

結果と考察
•

主観評価

•

ITC値

•考察
2020/6/14⼈⼯知能学会

2020@Haruko Yagura AHC-Lab, IS, NAIST

21

主観評価値•••

2 way - factorial ANOVA - 8
topic ✖ 2 rank (C and S)
Main eﬀectあり(rank; F1,160=12.7、p< 0.001; topic:F7,160 =4.3、 p< 0.001)
C > S (p. < 0.001)

Q1(通訳の達成度)の主観評価値に対する SI
経験 (RANK:C と S)と通訳の話題(TOPIC)の交互作⽤Ø CランクがSランクよりも⾃⾝のパフォーマンスを低く評価；経験年数の少なさによる通訳の難しさを反映
2020/6/14⼈⼯知能学会

2020@Haruko Yagura AHC-Lab, IS, NAIST

22

課題(TASK:SIとSH)と SI 経験(RANK:CとS) の交互作⽤
•
•
•

SH

Signiﬁcant InteracBon (F1,348 =8.6、p< 0.01)
SI: S > C( p<0.001)
SH: n.sSI

Ø 2 way - factorial ANOVAs : 2 topics(SI and SH)✖ 2 ranks (C and S)
Ø 仮説を検証2020/6/14⼈⼯知能学会

2020@Haruko Yagura AHC-Lab, IS, NAIST

23

まとめ
40Hz-ASSRから誘発されるITC値を⽤いて経験豊かな同時通訳者の通訳中の選択的注意処理を通訳の実環境に近い実験条件下で検証した

同時通訳中のITC値がSランクがCランクよりも有意に増加したがシャドーイ
ング課題では認められなかったー仮説を検証

40Hz-ASSRの位相同期反応が、通訳の実環境に近い実験条件下で経験豊かな同時通訳者の選択的注意能⼒を定量化する⼿法として有効であることを提案
2020/6/14⼈⼯知能学会

2020@Haruko Yagura AHC-Lab, IS, NAIST

24

今後の課題Ø今回の実験では以下の点が検証できなかったので今後の課題である• 選択的注意の時間的変化• トピックごとの難易度と同時通訳の経験年数との関係• 課題の呈⽰順序を⼀定としたのでITC値と後半の疲労との関係

2020/6/14⼈⼯知能学会

2020@Haruko Yagura AHC-Lab, IS, NAIST

25

ご清聴ありがとうございました

2020/6/14⼈⼯知能学会

2020@Haruko Yagura AHC-Lab, IS, NAIST

26

補⾜資料：ITC値の抽出⽅法

F：周波数
ch:チャンネル数: 周波数fと電極chの位相
k : トライアル番号
K:トライアルの数[Yokota+,2017]2020/01/11@NIPS

2020 @Haruko Yagura AHC-Lab, IS, NAIST

27

補⾜資料：主観評価値

2020/6/14⼈⼯知能学会

2020@Haruko Yagura AHC-Lab, IS, NAIST

28