＜＜この欄は編集者が記入します＞＞日本音響学会聴覚研究会資料，Vol. ，No
Proc. Auditory Res. Meeting, The Acoustical Society of Japan, Vol. , No ＜＜この欄は編集者が記入します＞＞

脳波による聴覚定常反応を用いた同時通訳中の認知負荷の検証
矢倉 晴子†

田中宏季†

木下泰輝†

渡部須藤 克仁†

中村哲†

宏樹†

本村駿乃介†† 奈良先端科学技術大学院大学 情報科学研究科 〒 630–0192 奈良県生駒市高山町 8916–5
E-mail: †{yagura.haruko.ye4,hirokitan,kinoshita.taiki.kk1,watanabe.hiroki.vx6,motomura.shunnosuke.mj1,sudoh,s-nakamura}@is.naist.jp
あらまし 同時通訳（SI; Simultaneous Interpretation) は、音声リスニング、作業記憶、注意、翻訳、音声生成などの複数の処理を必要とする認知負荷の高いマルチタスクである。近年、認知負荷と作業記憶の心理学的な知見が増加するとともに、同時通訳中の作業記憶に関連する認知負荷の脳内メカニズムが注目されるようになった。そこで、本研究では、同時通訳中の作業負荷に関連する認知負荷の脳内メカニズムを検証するとともに、EEG 信号を用いて定量化することを試みた。実験は、日本語から英語に通訳する条件（JE 条件)(認知負荷高い)、日本語を聞いて日本語でシャドウイングをする条件（JJ 条件）（同時通訳による作業記憶の認知負荷が少ない）の２条件で比較した。さらに、認知負荷の生体指標として、環境から生じる実験的な制約が少なく、作業記憶の認知負荷と関連すると報告されている聴覚定常応答（ASSR）を同時通訳中に呈示し、ASSR から誘発される EEG 信号の位相同期の ITC 値（Inter-trial coherence）を用いて定量化し統計的に比較した。その結果、JE 条件下の ITC 値が JJ 条件よりも有意に増加した（p < 0.001）。
本実験により、マルチタスク処理を高度に必要とする同時通訳中の認知負荷を検証に対して ASSR が有効であることが示唆された。
キーワード 聴覚定常反応、同時通訳、位相同期、脳波、認知負荷、作業記憶

Detecting Cognitive Load during Simultaneous Interpretation using EEG
Phase Synchronization
Haruko YAGURA† , Hiroki TANAKA† , Taiki KINOSHITA† , Hiroki WATANABE† , Shunnosuke
MOTOMURA† , Katsuhito SUDOH† , and Satoshi NAKAMURA†† Nara Institute of Science and Technology, Facility of Information Science,Takayama-cho 8916-5, Ikoma-shi,Nara, 630–0192 Japan
E-mail: †{yagura.haruko.ye4,hirokitan,kinoshita.taiki.kk1,watanabe.hiroki.vx6,motomura.shunnosuke.mj1,sudoh,s-nakamura}@is.naist.jp
Abstract Simultaneous Interpretation (SI) is a high cognitive load task that includes multitasking and multimodal
processes such as speech listening, working memory, attention, translation, and speech generation. And then, thebrain mechanism of cognitive load during SI has not been clarified. In this study, we measured EEG signals under
the following experimental conditions that participants translated from Japanese to English (JE) (high cognitiveload) and shadowing from Japanese to Japanese (JJ) (low cognitive load). In addition, we used inter-trial coherence(ITC) to elicit 40 Hz auditory steady-state response (ASSR) as a biomarker of cognitive load. As a result, whentranslating JE, ITC was significantly higher than JJ conditions (p < 0.001). Our study suggested that ASSR and
ITC would be a useful bio-marker for SI.
Key words Simultaneous interpretation; cognitive load; inter-trial coherence; auditory steady-state response;electroencephalogram; working memory—1—1. は じ め に

音節の長さなど）により、L1 と L2 の難易度を完全に統制できなかったため、有意差は得られなかった。kokishin らは、この同時通訳（SI）は、複数の課題（音声リスニング、記憶、注結果について、N1 や P1 が注意に関連していると報告されて意、翻訳など）を同時に処理することが要求される高度なマルいることから、SI の難易度が増加するとともに通訳に不必要なチタスクである [1]。また、SI は作業記憶に関連していると報

tone-pip 刺激への filter-out 処理が働き、N1 や P1 の振幅が変告されており、SI 中の作業記憶による認知的負荷が増加する要化したと述べている。

因に関する多くの心理学的所見が議論されている [2]〜[4]。し一方、SI の EEG 計測で大きな問題点がある。SI はマルチタかし、同時通訳中の作業負荷に関連する脳内メカニズムを検証

スクであるため、自分の声、通訳音声が耳に入り、さらには口した論文はほとんどない。の動きや、瞬きなど、多くの刺激が脳波に影響を与えるので、ここで、マルチタスクの認知負荷と脳活動の関係について検SI の認知負荷のみに関連する脳波を抽出するためには、厳密な証した実験を紹介する。Sabri(2014) ら [5] は、マルチタスクと実験環境の統制が必要である。反面、実験環境を統制することシングルタスク実行時に、tone-pip 音と単音節を両耳分離聴をにより、実際に近い環境から離れてしまうという難点がある。

用いて呈示し、認知負荷の増加が聴覚の選択的注意に与える影

Koshkin らの研究でも、ERP の加算平均を計算するために、オ

響について、fMRI と EEG を用いて検証した。そして、彼ら

リジナル音声を 600ms ごとに区切って編集したが、これは通は、マルチタスク実行時の pSTG（後部上側頭回）の脳血流量と訳のポーズを意図的に与えるものであり、リアルタイムで次々N1 振幅が、シングルタスク施行時よりも有意に増加することをと通訳するために生じる SI の認知負荷の特徴 [4] が減少するた検証した。その理由として目的とする課題への注意を維持する

め、同時通訳の認知負荷そのものを捉えることができない。

ために、課題の達成に必要ない刺激を制御するための filter-out

この問題を解決するためには、計測環境の影響が少ない方法

処理 [5], [6] が働いたと述べている。これは、マルチタスクの認で SI を計測する必要がある。その解決策として、脳波の位相知負荷が増加すると、目的に不必要な刺激への注意が filter-out同期反応を用いて、認知負荷を検証した横田らの先行研究をされ、必要な課題に対する選択的注意がより効果的に働くとい紹介する [10], [11]。彼らは、ウェアラブル脳波形の認知負荷のうものである。これを、SI の場合で置き換えて考えてみると、検出の感度を評価するために、40Hz の聴覚定常反応（ASSR：

SI は多くのマルチタスクを要する作業である。そのため、SI のauditory steady-state response）によって誘発される脳波の位認知負荷の増加とともに、同時通訳に効率的に集中するための相同期を表す指標である ITC 値（inter-trial coherence) を用

filter-out 処理が働くことが予想される。
次に、SI 中の同時通訳者の脳波を計測した初めての検証であいた。40-HzASSR の ITC 値は認知負荷の影響を受けることが報告されている [12]。彼らの実験では、被験者は歩行しながらり、この filter-out 機能を利用した Koshkin（2018）[7] らの先作業記憶に関する課題である n-back 課題を行い、それと同時行研究を紹介する。彼らは、SI 中の脳の認知負荷を定量化するに両耳に 40Hz の ASSR 刺激（以下、40Hz-ASSR とする）をための生体指標として、脳波による事象関連電位（ERP:event-呈示された。そして、40Hz-ASSR から誘発された EEG 信号related potentials) を利用した。SI 課題施行中に、SI に不必要の位相同期反応を ITC 値を用いて定量化し、認知負荷との関連な tone-pip を同時に呈示して、filter-out に関連した事象関連を評価した結果、n-back 課題の認知負荷が高いほど、ITC 値が電位（ERP:event-related potentials) を抽出することにより通減少するという結果を得た（2-back：負荷高）>（1-back：負訳の難易度の関係を検証した。そのため、次の２つの SI の認荷低）。この結果からも、先述した先行研究と同様に、n-back

知負荷条件を設定した。一つは、１）単語頻出度による難易度

課題と関係が無い ASSR に対する注意が filter-out されたことの設定であり、低頻度の単語は高頻度の単語よりも想起が困難が考えられる。

である [8] ことから、SI に使用するオリジナル音声の単語を、そこで、本研究では、SI の計測に 40Hz-ASSR から誘発され単語出現頻度により認知負荷が高い部分と低い部分に細かく区る ITC 値を使用することを提案する。その理由は、(１) 40Hz-分した（認知負荷高：頻度低ー認知負荷低：頻度高）。次に２）

ASSR は 40Hz の単一パルスからなる定常振動から誘発される

語順や単語親密度などの言語の特徴の違いにより [4]、母国語か信号であり、パルス以外の非周期的な音声信号から生じる振動

ら第二外国語に通訳する方がその逆方向よりも難易度が高くなの影響を受けにくく、高い SN 比の信号が得られることが期待ることを利用して [9]、通訳方向の違いによる実験条件を設定しされることから、通訳音声などの非周期的な信号の影響を受けた（認知負荷高：L1 ー L2、認知負荷低い：L2-L1；L1 はロシにくい、40Hz 以下の体動や瞬きなどの影響を受けにくい、（２）

ア語、L2 は英語）。これらの２つの条件下で、オリジナル文章計測の対象が ASSR 刺激から誘発される EEG 信号を抽出するの音声を、600ms の音声区間と 600ms のレスト部分に区切ることであり、オリジナル音声の編集は必要ない、これらにより、とともに、それらの onset と同時に tone- pip 音を被験者の両同時通訳の実際の環境に近い状態での認知負荷のデータを収集

耳に呈示し ERP 信号を抽出し、認知負荷の低と高グループにすることが可能になることを期待する。

わけて加算平均を行なった。その結果、単語頻出度が低い条件

また、実験課題について提案する。Kokishin らの研究のよう（認知負荷高）が単語頻出度が高い条件（認知負荷小）よりも、に、異なる言語間で認知的負荷を比較する場合、言語の目的以N1 振幅が有意に減少し、P1 振幅が増加した。しかし、通訳条外の特徴が課題の難易度に影響することが予想される。この影件では、英語とロシア語の言語的な特徴（単語の親密度、語順、響を排除するためには、言語構造が等しい言語を用いて実験条—2—

図 1 同時通訳中の脳波計測の様子

図 3 実験デザイン

Japanese sounds
チャンネルである NHK ラジオニュースから 8 つのトピックを使用した。ほとんどのトピックの内容は政治的なニュースであり、感情的な反応を引き出さないように配慮した [13]。先行研
究 [10] に基づいて ASSR 応答を引き出す 40Hz のパルストーン

Pulse tone for ASSRを生成した (図 2)。実験では、NHK ニュースと ASSR の合成音が両耳に表示され、各サウンドクリップ持続時間は 60 秒であった。パルストーンの音圧レベルは、適切に聞こえるかどうか、およびニュース音の最大振幅の 5 ％として不快感を感じる

図2 音声刺激かどうかを評価するように、専門の言語聴覚士によって編集された。また、40Hz のパルストーンとニュースサウンドはステ件を設定する必要がある。一方、日本語と英語の語順の違いにより、日本語から英語への通訳は非常に大きな作業負荷を生じレオで合成され、音圧は最大振幅で正規化された。

2. 3 実 験 課 題ると報告されている [4]。そこで、日本語から英語への通訳条件

日本語から英語に同時通訳をする JE 課題と、日本語をシャ（JE 課題：負荷高）と、日本語のシャドウイング条件（JJ 課

ドウイングする JJ 課題の２条件で実験は構成された。被験者

題：負荷低）を設定することによって、言語構造を影響を受けの両耳に ASSR とニュース音声の合成音が呈示された（(図 2）。

ず、かつ認知負荷を検出するための条件を設定することを新た

2 つの条件下で、2 秒間の指示の後、60 秒の 8 つのニュースに提案する。

がそれぞれランダムに呈示された（図 3）。２つの条件では同以上により、本研究では、次の２つを提案手法として、SI 中じ音声が一回づつランダムで再生された。なお、刺激の呈示にの EEG 計測を行った。

は、Neurobehavioral が提供する刺激呈示ソフト presentaion

１）同時通訳中の認知負荷を定量化する新しい生体指標とし（ver.18.0）を使用した。て、マルチタスクの filter-out 処理を利用して 40Hz-ASSR か2. 4 脳 波 計 測ら誘発される EEG 信号の ITC 値が有効であるかどうかを検証

脳波形は Cognionics Quick-30 Dry EEG を使用した [1]。

EEG 信号は、(1) 脳波データは 500Hz で脳波を計測し、得られまた、
２）日本語から英語への同時通訳課題（JE）と、日本語のシャドウイング課題（JJ 条件）を設定

2. 方法2. 1 被 験 者
10 人のプロの日本人女性通訳者（46 歳から 71 歳の範囲、平均= 55.1、sd = 2.54）が研究に参加した（S1-S10）（図 1）。被験者は、同時通訳の経験に基づいて、初心者（S1〜S5）および専門家（S6〜S10）としてランク付けされていた。聴覚関連疾患や神経学的問題の既往歴はなかった。この研究は、奈良先端大学の研究倫理委員会により承認されており、書面によるインフォームドコンセントは、実験前に被験者から得た。

た脳波を (2) 1Hz のハイパスフィルタ、50Hz のローパスフィルタで前処理を行った。また、(3) A1 と A2 の両電極の平均を各電極から差し引き、再リファレンスした。(4) 接地電極は Fpzに配置した。すべての EEG 信号は、MATLAB（Math Works、Natick、MA、USA）を使用して処理された。
2. 5 Inter Trial Coherende; ITC
EEG 信号を使用して認知負荷を定量化するために、先行研究に基づいて ITC 値を計算した [11]。連続脳波データは、各チャンネルで 1 秒の試行に分割され、40Hz でフーリエ変換を実行し、次の式に基づいて ITC 値を計算した。

∑K
IT C[ch] = |k=1

exp(jθkf [ch])|K

2. 2 音 声 刺 激

f は周波数、ch はチャネル番号、θkf は周波数 f と電極 ch の位

通訳のオリジナル音声には、日本の最も代表的なニュース

相、k はトライアル番号、K はトライアルの数である。 ITC は—3—ことを要求され、ASSR への注意が減少したことが ITC 値の低下につながったと考えられる。また、filter-out 処理により、ASSR への注意も減少することは先行研究で述べたが、日本語に集中して注意する JJ 条件よりも JE 条件の方が ASSR への注意が持続されていたと考えるが、１）疲労や繰り返しの影響も完全には否定できないことから、今後の検証が必要である。
今後は、JE 条件内で連続的に発話される音声を難易度別に区分し、filter-out 処理と 40Hz-ASSR に関連した ITC 値と SI
図 4 JE および JJ 条件の ITC 値

3 つの中央電極（C3、Cz、および C4）[12] で平均化した。
2. 5. 1 統 計 分 析
条件 JE と JJ の間で、40Hz の ITC 値に対して対応のある t検定を実行した。

3. 結果と考察
我々の研究では、JE 条件が JJ 条件よりも有意に高い ITC 値を示した（p<0.001、JE; mean = 0.55、sd = 0.22、JJ; mean=0.48、sd = 0.20（図 4）。横田らの先行研究から考えると、認知負荷の効果があるとしたら、JE 課題の方が SI による認知負荷が高いので位相が乱れ、JJ 課題よりも ITC 値が減少するはずであるが [10]〜[12]、今回は反対の結果となった。
この理由として次の２つが考えられる。
１）疲労や繰り返しの影響、２）注意を向ける音声の特徴の違いについてである。１）について、横田らの研究で、前半 30分で行なった n-back 課題と、後半 30 分で行なった n-back 課
題で、ITC 値の変化をそれぞれ比較しているが、前半の ITC値が後半の ITC 値よりも有意に増加しており、繰り返しや疲労が原因であると言及している。我々の実験でも、JE 課題がJJ 課題より先行して行い、横田らと同様の結果を得ているた
め、繰り返しや疲労の影響が関わっていることが考えられる。
しかし、yokota らの研究は、注意の方向が一定である同一課題での認知負荷の効果を検証したものであり、異なった課題間の認知負荷の効果については、言及していない。また、位相同期を扱ってはいないが kokishin らの研究でも、同一の通訳方向での単語頻出度による有意差は検出できているが、異なった通訳方向の有意差は検証できていない。これは、課題が異なり、注意の方向性が異なっている filter-out の影響については議論の余地があるということになる。本研究では課題間の効果を対象にしているが、JE 条件内での認知負荷の効果については比較を行っていないので、今後の検証が必要である。
そこで、もう一つ要因として、２）注意を向ける音声の特徴の違いの影響について考えてみる。40Hz-ASSR は注意処理に関連していることが報告されている [12]。我々の実験課題では、同一の音声に対する注意処理の違いを検証しているため、ASSRにどれほど注意しているかが、ITC 値に大きな影響を与えており、JE 条件と JJ 条件での ITC 値の増加は、周期的な振動を持つ ASSR への注意の増加を表している。このため、JJ 条件で被験者が日本語に集中して注意しながらシャドウイングするの難易度との関連を明らかにする必要がある。また、filter-out
処理と被験者の経験年数の関係についても、今後の精査が必要である。

4. 結論

本研究では、脳波の位相同期反応を用いて、SI 中のマルチタスク処理の認知負荷を 40HZ-ASSR から誘発される ITC 値を用いて定量化し、注意処理に関連する SI 中の認知負荷を検証した。我々の研究で ITC 値は、先行研究とは異なり、負荷（JE)＞負荷（JJ）ではあったが、有意差をもって SI の負荷を計測できた。今後は、通訳の難易度と ITC 値の関係を検証することを中心に、なさらる精査を行っていく。

5. 謝

辞

本研究は、JSPS 科研費 JP17H06101 の支援を受けて行われたものである。
文

献[1] E. Camayd-Freixas, “Cognitive theory of simultaneous interpreting and training,” Proceedings of the 52nd Conference of the American Translators Association, pp.1–29, NewYork, ATA, USA, 2011.
[2] N. Cowan, “Processing limits of selective attention andworking memory: Potential implications for interpreting,”
Interpreting, vol.5, no.2, pp.117–146, 2000.
[3] D. Gile, “Testing the eﬀort models’ tightrope hypothesis in
simultaneous interpreting-a contribution,” Hermes, vol.23,no.1999, pp.153–172, 1999.
[4] A. Mizuno, “Process model for simultaneous interpreting and working memory,” Meta: Journal des traducteurs/Meta: Translators’ Journal, vol.50, no.2, pp.739–752,
2005.
[5] M. Sabri, C. Humphries, M. Verber, E. Liebenthal, J.R.
Binder, J. Mangalathu, and A. Desai, “Neural eﬀects ofcognitive control load on auditory selective attention,” Neuropsychologia, vol.61, pp.269–279, 2014.
[6] N. Pratt, A. Willoughby, and D. Swick, “Eﬀects of working memory load on visual selective attention: behavioral
and electrophysiological evidence,” Frontiers in human neuroscience, vol.5, p.57, 2011.
[7] R. Koshkin, Y. Shtyrov, A. Myachykov, and A. Ossadtchi,“Testing the eﬀorts model of simultaneous interpreting: Anerp study,” PloS one, vol.13, no.10, p.e0206129, 2018.
[8] M.K. Gardner, E.Z. Rothkopf, R. Lapan, and T. Laﬀerty,“The word frequency eﬀect in lexical decision: Finding afrequency-based component,” Memory & Cognition, vol.15,no.1, pp.24–28, Jan. 1987.
[9] A. Ardila, “Language representation and working memory with bilinguals,” Journal of communication disorders,vol.36, no.3, pp.233–240, 2003.
[10] Y. Yokota and Y. Naruse, “Phase coherence of auditory—4—

steady-state response reflects the amount of cognitive workload in a modified n-back task,” Neuroscience research,
vol.100, pp.39–45, 2015.
[11] Y. Yokota, S. Tanaka, A. Miyamoto, and Y. Naruse, “Estimation of human workload from the auditory steady-state
response recorded via a wearable electroencephalographysystem during walking,” Frontiers in human neuroscience,
vol.11, p.314, 2017.
[12] I. Griskova-Bulanova, O. Ruksenas, K. Dapsys, V. Maciulis, and S.M. Arnfred, “Distraction task rather than focal
attention modulates gamma activity associated with auditory steady-state responses (assrs),” Clinical Neurophysiology, vol.122, no.8, pp.1541–1548, 2011.
[13] H. Shimizu, G. Neubig, S. Sakti, T. Toda, and S. Nakamura, “Collection of a simultaneous translation corpus forcomparative analysis,” Proceedings of the Ninth International Conference on Language Resources and Evaluation(LREC-2014), pp.670–673, European Languages Resources
Association (ELRA), Reykjavik, Iceland, May 2014.

—5—