実験音声学・言語学研究（Research in Experimental Phonetics and Linguistics）13:19-31 (2021)

モダリティの違いによる言語認知のタイミングに関する一考察―P300 を指標として―
皓太 †鈴木【要旨】言語には音声だけでなく、手話や指文字など動きを用いるものがある。今回の実験では文字・音声・指文字を対象としたオドボール課題を実施し P300 の潜時について分析を行った。音声の時間長や文字数が認知に与える影響を調査するため
音声は 2 モーラ語と 5 モーラ語、動作の影響を調査するため指文字では清音と濁音を利用し認知タイミングの特徴をボトムアップ式に探索した。その結果、文字では文字数にかかわらず提示したタイミングから約 300ms 後に P300 が確認できたが、音声と指文字では音や動作などの変化点から約 300ms 後に P300 が確認できた。そのため手話研究では提示のタイミングと変化点を考慮し、注意深く分析する必要があるといえる。
キーワード： 手話、指文字、P300、ERP

1.

序1.1

問題の所在

人間は複数のモダリティを使用し言語を認知している。音声の認知には聴覚を、文字そして音声を背景に持たない手話は視覚を用いて認知を行っている。これらは言語を表す手段であるが、使用するモダリティや特徴が異なっており脳内での認知や処理も異なっている可能性がある。視覚を用いる言語形式として文字や手話が存在するが、両者の異なる点として動きの有無が挙げられる。手話は動きを含むため文字のように瞬間的な認知が難しいと考えられ、手話認
知は文字認知と同様に提示した瞬間に認知が行われるとは考えにくい。しかし、多くの事象関連電位を利用した手話研究ではターゲットとなる手話の直前にトリガを設定し収録を行っている。これは手話が文字同様にターゲットとなる語を提示した瞬間から認知が始まると想定しているためだと思われる。ところがこの想定に対し、合理的な理由を示し実験・分析を行っているものは少ない。また、大森・寺内・長嶋 (2009) によると文の形 (動画) で手話刺激を提示したときにターゲットとなる手話の認知は前の語からのわたりのタイミングで行われているという。このように手話の認知は文字同様のタイミングで行われているとは考えられず、多くの手話を用いた事象関連電位研究の分析には疑問がもたれる。
手話同様に指文字にも動きを用いるものがある。指文字は書記言語の文字に対応させた手の形であり、手話単語にない語や人名などで使用される。日本指文字では清音と手の形が対応しており、濁音や長音等は形を保持したまま動きを付与することで表現する。その際付加される†

筑波大学大学院人文社会科学研究科一貫性博士課程19鈴木 皓太動きは直線的なものであり手話のもつものより単純である。指文字を対象とした事象関連電位を利用した研究は限られたものしかない。そして指文字は指の形と動きから成るが、形態に着目した実験や分析がほとんどである。
しかし、動きを持つということは手話言語最大の特徴である。したがって、事象関連電位を利用した手話研究において、この手話の特徴を無視して文字刺激同様ターゲットとなる刺激の提示直前から事象関連電位の収録を行ってよいのか疑問が残る。音声言語と手話の比較を正確に行うためにも、モダリティの違いによる言語認知の差異を研究することは非常に重要である。
また本研究で言及するモダリティとは、感覚モダリティともよばれる心理学の用語である。
中島ほか (1999: 339) によると視覚や聴覚、嗅覚といった五感と呼ばれる感覚の種類と定義されている。ほとんどの言語は音声という聴覚モダリティを言語認知に用い、それを文字で書き記すことで視覚モダリティを用いた認知を可能としている。しかし、手話のようなごく一部の言語では聴覚モダリティを前提とせずに視覚モダリティのみを使用している。
本研究では P300 と呼ばれる事象関連電位の成分を中心に分析を行う。P300 とは Sutton et al.
(1965) によって発見された成分であり、高頻度刺激 (標準刺激) と低頻度刺激 (標的刺激) を用意し、低頻度刺激に対し数える等の課題を与えると、事象から約 300ms 以降に陽性の最大振幅を示して現れる脳電位である。図 1 に典型的な P300 を示す。

図 1：P300 １
この高頻度と低頻度刺激を用いる課題をオドボール課題と呼び、これにより P300 が惹起することが知られている。電位の分布としては、頭皮上では頭頂部で最も大きく記録され、左右差は特にみられない(入戸野,2013: 86)。また、P300 は P3a、P3b という 2 つの下位成分から構成されておりこの 2 つの成分は、3 刺激によるオドボール課題で確認できる( Comerchero and Polich,1999) 。3 刺激オドボール課題とは高頻度、低頻度刺激のほかに低頻度刺激より稀に現れる非標的刺激の 3 種類の刺激で行うオドボール課題である。この課題では低頻度刺激のみにボタン押しなどの課題を与え、非標的刺激には注意を与えずに反応を見る。そうすると低頻度刺激にはP3b が、非標的刺激には P3a が確認できる。P300 が惹起する条件は入戸野 (2013: 87) によると「（1）まれに生じる事象であること、（2）意味のある事象であること」と説明されている。さらに P3b には slow wave が後続するという特徴がある。
標準的なオドボール課題では低頻度刺激の波形に P300 だけでなく、MMN ２ と N2b という成分が確認できる。MMN は Näätänen and Sirkka (1978) によって発見された成分であり 、 潜時100~200ms に出現する成分である。無視条件下でのオドボール課題で低頻度刺激の波形から高１２Sutton et al. (1965: 1187)
MMN、N2b については投石 (1995)、前川・飛松 (2006)を参考に記述した。
20

モダリティの違いによる言語認知のタイミングに関する一考察

頻度刺激の波形を引算することで確認できる。P300 と異なり、刺激に注意が向いていない状態でも確認できる成分であり無意識下での自動的な処理を反映していると考えられる。N2b は潜時 200~300ms に出現する成分である。MMN と同様にオドボール課題の低頻度刺激と高頻度刺激の引算により確認できる。MMN と異なり注意条件下でのみ確認できるため、刺激の意識的な処理を反映していると考えられている。
P300 は人間の認知を反映した ERP 成分とされ多くの研究に利用されており、聴覚や視覚刺激で惹起することが確認されている。そのため、聴覚、視覚といったモダリティの違いによる言語認知の特性を明らかにする本研究の適切な指標となると考え、P300 を分析の対象とする。
1.2

先行研究

文字や音声を使用し、P300 をターゲットとした研究は様々なものが存在する。今回の実験では聴覚刺激と視覚刺激を用いるため、音声・文字・指文字を刺激とした実験研究について述べる。
単音の認知については失語症患者や高次脳機能障害の患者に対する語音聴力検査の研究がある。山下・松平 (2008) によると語音聴力検査とは、聴力検査とは異なり言語音の聞き取り・聞き分けについて調査したものである。羽鳥ほか (2004) では言語音と純音を用いたオドボール課題を成人と小児に対し実施しその結果を比較している。この実験では言語音刺激として[a] と [æ] を用いており、小児成人ともに P300 が Pz 優位に確認された。ピーク潜時は小児では純音が約 356ms、言語音が約 454ms、成人では純音が約 311ms、言語音が約 355ms であった。
この結果から言語音の認知は純音と比較して、時間がかかることがわかる。
文字を対象とした研究には村山ほか (2002) がある。この研究では、かな・漢字・アルファベットそれぞれ1～4 文字ごとにオドボール課題を実施し文字列の長さによる影響を調査している。結果、ひらがな・アルファベットでは文字数が増加するほど潜時が延長するが、漢字は潜時が延長しないことが明らかになった。振幅に関しては、ひらがなでは文字数にかかわらず高頻度・低頻度刺激間で振幅差は変化せず、漢字では文字数が増加するほど振幅差が減少し、アルファベットでは文字数が増加するほど振幅差が微増という結果であった。
指文字を使用した P300 の研究として渡辺ほか (2008) がある。この研究では、指文字習得者と未習得者に対し認知の違いや学習による認知的変化について 3 刺激オドボール課題を実施し調査したものである。この研究では音声・かな・指文字を刺激として使用し、指文字未習得者に対しては指文字の学習前後で脳波を収録している。その結果、指文字では低頻度標的刺激に対して学習前後で P3b が、低頻度非標的刺激に対しては学習後に不明瞭な P3a が確認された。
この研究から指文字に関する知識がなくとも P300 が惹起することが確認されている。
1.3

目的

本研究では、P300 成分を手掛かりとして音声、文字、指文字といった認知に使用するモダリ
ティや背景にあるモダリティの違いが人間の言語認知のタイミングにどのような影響を与えるかに関する基礎的知見を得ることを目的とする。手話は形態が複雑なものが多く位置や掌の向きも弁別的な要素として作用する。そのため動きそのものの影響を調査するには問題がある。
対して指文字は手話と比較して形態や付加される動作が単純であるため、動きが言語認知に与える影響を調査するには手話よりも適切であると考える。そのため、今回の研究では指文字を使用する。文字刺激は単語の後部で音声が異なるもの、指文字は形態が異なるものから動作が異なる 2 つの刺激を用いることとした。文字刺激はすべての文字が漢字でも表記できる単語を21

鈴木 皓太選定し、音声条件における脳波の収録時間も音声の提示時間に合わせて調整した。また、今回は提示する言語形式に音声を前提とするかどうかだけでなく、持続長の有無という観点からも分析を行う。

2.

方法

2.1

実験協力者および実験装置

実験協力者は健常な視覚をもつ 10 代～20 代の日本語母語話者、男性 6 名、女性 8 名の計 14 名である。年齢の平均は 20.9 (±1.82) 歳であった。なお、指文字条件は 2 条件用意し、条件 1 では 8名、条件 2 では 3 名に対し実験を行った。実験期間は 2019 年 7 月～2019 年 11 月である。実験協
力者は全員右利きであり脳疾患の経験や手話の学習経験はなかった。
以下の装置は、筑波大学人文社会学系棟 B613 音声実験室に設置された以下の装置を使用して実験を行った。装置の配置 (図 2) と電極の配置 (図 3) は以下のとおりである。

図 2：装置配置図

図 3：電極配置図

増幅器：NEC 社製 BIOTOP 6R12 型。フィルタ 0.5Hz～60Hz、感度 50μV/fs。
加算器：キッセイコムテック社製 EPLYZERⅡ。増幅器から、コンピュータに CONTEC 社製
アナログ入力用 BNC 端子台 ATP-32F、同社製バッファアンプ ATBA-32F、同社製ア
ナ ロ グ 入 力 ユ ニ ッ ト AIO-163202FX-USB を 介 し て 接 続 し た 装 置 を 用 い た 。 標 本 化
500DB、プレトリガ-100ms、取込時間：文字条件、指文字条件 1：-100~1500ms、音声条件：-100~1500ms、指文字条件 2：-100~2000ms、加算回数:高頻度刺激 35 回、低頻度刺激 15 回になるように設定した。
刺激発生装置：Cedrus 社製 Super Lab Pro ver. 5.0。
刺激提示：ナナオ社製 FlexScan ディスプレイ (型番 SX2761W/サイズ、27 インチ、リフレッシュレート 60.0DB)。実験協力者との距離は 150cm。
電極の配置：国際 10-20 法に従った F3、F4、C3、C4、P3、P4、O1、O2、F7、F8、T5、T6、Fz、Cz、Pz の 15 チャネル。電極の装着は、Electro-CapInternational 社製エレク
トロキャップ (El-L,M, S) を実験協力者の頭部にかぶせ、同社製 electro-gel を注入して行なった。
基準電極：耳朶、同側耳朶法。ボディアース：Fpz。
22

モダリティの違いによる言語認知のタイミングに関する一考察

2.2

刺激

視覚、聴覚における言語認知の差異について実験するため 2 刺激のオドボール課題を 2 モーラ語、5 モーラ語、指文字で実施した。日本語に関しては 2 モーラと 5 モーラのペアを作成した。
選定した単語は表記がカタカナ 5 文字で漢字かな交じりで文字数が同じになるものとし、この条件を優先し漢字・カタカナ・音声条件すべて同一の刺激とした。またアクセント型がそれぞれのペアにおいて一致し、単語の後部でミニマルペアとなる組とならない組を作成した。音声
刺激は 20 代男性 (言語形成地：千葉県) が発音したものを利用した。使用した音声は、母音の無声化が起こっていないものを選定した。指文字は清音と濁音を用いた。日本指文字の濁音は清音の形を保ったまま、右に動かすことで表現する。指文字「ひ」を図 4 に示す。「ひ」、「び」はともに動画として撮影、編集した。動作開始までの時間長の影響を調査するため、動作開始のタイミングが異なる「び」の動画を用意し実験に使用する。
「ひ」と「び」は同一の動画を使用し、「ひ」は編集により「び」の動作が開始される前までを動画として作成した。表 1 に使用した単語を示す。刺激はフィクセーション ３ (+) と交互に単語を提示した。この時、背景は R0、G0、B0 の黒、フィクセーション (+) および文字は R204、G204、B204 のグレーを指定した。
文字単語はメイリオのボールド、300 ポイントに指定し、画面中央に表示した。指文字動画は、AVI 形式で保存し指文字が画面中央に表示されるように設定した。また動画再生中の背景は刺激提示ソフトウェアの設定で黒に固定されている。刺激の組み合わせは、2 モーラ語では高頻
度：朝・低頻度：赤 (ミニマルペア) と 高頻度：朝・低頻度：秋 (非ミニマルペア) 、5 モー
ラ語が高頻度刺激:選択肢 (ミニマルペア) ・夏野菜 (非ミニマルペア) と、低頻度刺激：洗濯機 (ミニマルペア) ・夏休み (非ミニマルペア) の 2 種類の課題、指文字が高頻度刺激：ひ、低頻度刺激：び、である。なお、指文字刺激は提示後すぐに動作が開始されるもの (条件 1) と提示後しばらくしてから動作が開始されるもの (条件 2) の条件を用意した。これにより指文字認知の動作による影響を明らかにする。
表 1：使用単語一覧

2 モーラ5 モーラ
指⽂字３

⾼頻度低頻度

朝

⾚朝

秋選択肢

洗濯機

夏野菜

夏休み

ひび

視線を固定するための注視点
23鈴木 皓太表 2：音声刺激の提示時間(単位：ms)
単語提示時間[aka]370[akʲi]

430[asa]350[sentakɯkʲi]

970[sentakɯɕi]920[naʦɯjasɯmʲi]

810[naʦɯjasai]780

図 4：指文字「ひ」 ４
2.3

実験課題

2.3.1

指示

実験協力者には事前に、緊張、まばたき、筋電がアーチファクトになることを説明し、ディスプレイを注視するように指示した。またディスプレイに文字、指文字、スピーカーから音声で単語が提示されることを説明した。シールドルーム内に入室後、安楽椅子に着席してもらい、エレクトロキャップを装着した。その後ディスプレイに低頻度刺激をカタカナもしくは映像で表示し、表示した単語がディスプレイやスピーカーから提示されたらマウスをクリックしてくださいと指示した。
2.3.2

施行時間

施行時間は、文字刺激が (フィクセーション「+」2000ms + トリガ 100ms + 文字 800ms) × 50
= 約 2 分 30 秒となる。音声刺激が 2 モーラ語は (フィクセーション「+」2000ms + トリガ 100ms+ 音声約 390ms)×50 = 約 2 分、5 モーラ語は (フィクセーション「+」2000ms +トリガ 100ms +音声約 745ms)×50 = 約 2 分 20 秒、指文字刺激は条件 1 では (フィクセーション「+」2000ms +トリガ 100ms + 条件 1:800ms)×50 = 約 2 分 30 秒、条件 2 では (フィクセーション「+」2000ms+ トリガ 100ms +条件 2:1200ms)×50 =約 2 分 50 秒である。
2.4

解析方法

再加算編集および解析は、キッセイコムテック社製 EPLYSERⅡを使用した。アーチファクトを 目 視 で 除 外 し た の ち 協 力 者 ご と に 加 算 平 均 処 理 を 行 っ た 。 そ の 上 で 、 14 名 分 の 総 加 算 平 均

４深海・主婦と生活社(2009:18)
24

モダリティの違いによる言語認知のタイミングに関する一考察(GA) を算出した。目視の結果、2 モーラのカタカナ条件では 1 名の波形がアーチファクトの影響が大きく除外した。結果、2 モーラのカタカナ条件では 13 名の波形が、そのほかの条件ではすべての協力者の波形が有効であった。

3.

結果

3.1

目視によるグランドアベレージ波形

目視の結果、前頭部・中心部に P300 が確認できた。以下に Cz で確認された波形を条件ごとに示す。

⾳声-8-6-4-2-100100

300

500

700

900

1100

0[akʲi][aka]

2[sentakɯkʲi]

4[naʦɯjasɯmʲi]

681012

図 5：音声条件における低頻度刺激 GA 波形

図 6：漢字条件における低頻度刺激 GA 波形
25

鈴木 皓太図 7：カタカナ条件における低頻度刺激 GA 波形

図 8：指文字条件 1 の GA 波形

26

モダリティの違いによる言語認知のタイミングに関する一考察

図 9：指文字条件 2 の GA 波形3.2

ピーク潜時

Polich and Ellerson (1996: 59) では文字刺激と聴覚刺激を使用し、それぞれの P300 のピーク潜時が収まる範囲を示している。それによると聴覚刺激：250-400ms、視覚刺激：300-500ms である。報告されたピーク潜時と比較すると、5 モーラの音声条件のみ範囲外であった。条件間の潜時を見ると、2 モーラ語では「赤」・「秋」ともに音声でのピーク潜時が一番早い。対して、5モーラ語では、漢字でのピーク潜時が一番早かった。指文字条件では提示後すぐに動作が開始する条件 1 のほうが条件 2 よりピーク潜時が早かった。指文字条件と文字条件を比較すると、条件 1・2 ともに漢字・カタカナ条件の潜時より遅い結果となった。以下に各条件のピーク潜時を示す。
表 3：文字・音声条件の Cz におけるピーク潜時(単位：ms)
秋赤洗濯機夏休み

漢字358338326284SD51.25

35.40

58.17

42.82

カタカナ356300362332SD

54.45

43.91

48.79

48.92

音声

302288936

772

SD

49.89

86.64

50.38

62.43

表 4：指文字条件の Cz におけるピーク潜時(単位：ms)
条件 1

条件 2

ピーク潜時

3921204SD

66.99

153.3527鈴木 皓太表 5：文字・音声条件の Cz におけるピーク電圧(単位:μv)
漢字

カタカナ

音声

赤

10.81

8.6

7.58

秋

11.98

8.73

8.1

洗濯機

9.4

10.63

9.59

夏休み

10.21

10.4

7.24

表 6：指文字条件のピーク電圧(単位:μv)

4.

条件 1

条件 28.69

12.15

考察
文字条件では 2 モーラ語、5 モーラ語ともに Polich and Ellerson (1996: 59) で報告された視覚

刺激：300-500ms という潜時の範囲内であった。2 モーラ語に関しては Polich and Ellerson (1996:59) で報告された聴覚刺激：250-400ms という潜時の範囲内であった。2 モーラ語に関しては使用した赤・秋・朝の 1 モーラ目の [a] の時間長が平均 80ms であり、これをもとにピーク潜時を計算すると約 200ms となる。5 モーラ語のピーク潜時では Polich and Ellerson (1996: 59) で報告されたピーク潜時より遅く確認された。しかし、対応する高頻度刺激と低頻度刺激の音が異なり始める点、洗濯機の「き」の [kʲ] が約 680ms から、夏休みの「す」の [ɯ] が約 500ms から始まることを考慮すると実際のピーク潜時は約 250-270ms 付近になる。そのため音声の違いが明確に表れる点、変化点 ５ を聞き始めてから 2 つの刺激の違いを認知し始めたといえる。
提示時間を考慮すると文字条件は音声刺激より約 2 倍の提示時間であるが、ピーク潜時の差は最大 50ms ほどである。ピーク潜時や音声言語の提示時間との比較から、文字条件では刺激の提示時間長より早く、800ms 以内に違いを認知・処理が開始したと考えられる。今回の実験では、2 モーラ語では音声の変化点もしくはその認知は文字認知より早かったと考えられる。
以上のことから音声刺激では刺激が異なり始める点を考慮した潜時の分析が求められるが、今回使用したカナ 2 文字と 5 文字、漢字 1 文字と漢字かな混じり 3 文字では、その影響は見られなかった。
指文字条件では条件 1 では Polich and Ellerson (1996: 59) の示す潜時の範囲に P300 が確認されたが、指文字条件 2 では約 1200ms 付近に P300 が確認された。そのため指文字でも音声刺激のように刺激が変化するタイミング付近で認知が開始されると考えられる。しかし指文字刺激でも条件 2 では動作が開始したのが約 1000ms 後であったことを考慮すると P300 のピーク潜時が約 200ms となり、一般的な P300 のピーク潜時より早いことになる。提示後約 1000ms 後から動作が開始する条件 2 では 300ms から大幅にピーク潜時が早くなってしまい、P300 であるか疑問がもたれる。今回の実験では協力者が動作の開始より前に 2 つの刺激を見分ける手がかりを見つけ反応している可能性が高いと考える。そのため、動作の開始点を考慮するとピーク潜時が通常より早くなったと考えられる。この潜時に関する問題は指文字習得者との比較を通し確認する必要がある。
5 モーラ音声及び指文字条件 1・2 の変化点と P300 のピーク潜時を図で表すと以下のようになる。
５
音声の認知には音の長さやフォルマント遷移等の影響があり、ある程度の時間長をもった分析も必要だと考えられるが議論の簡便化のため「点」として分析を行う。

28

モダリティの違いによる言語認知のタイミングに関する一考察

図 10：音声・指文字の変化点と P300 のピーク潜時
図 10 で示した通り刺激を提示した瞬間から 250-400ms 後に P300 が惹起するのではなく、刺激の変化点から約 300ms 後に P300 が惹起することがわかる。刺激が提示し終わる前に P300 が惹起しているもしくは提示終了後すぐに惹起していることから、刺激の全体を認知する前から変化点に着目して認知・反応が行われていると考えられる。よって音声刺激、指文字刺激に関して、音声の変化や動作の開始など刺激が異なり始める点を考慮した潜時の分析が求められることが必要である。

5.

結論
本研究では、P300 成分を手掛かりとして音声、文字、指文字といった認知に使用するモダリティや背景にあるモダリティの違いが人間の言語認知のタイミングにどのような影響を与えるかに関する基礎的知見を得ることを目的とした。その結果、音声や指文字では 2 つの刺激が異なり始める点、変化点から認知が開始されている可能性が明らかになった。多くの先行研究が行ってきたように脳波の収録をターゲットとなる手話の直前から行うと協力者の認知の開始点と同期しているとは考えづらいため、各 ERP 成分の潜時を誤って分析する可能性が高い。そのため正確な分析を行うために、手話を文で表す場合には刺激の変化点を考慮するなどの注意が必要であると考える。音声との比較や手話の特性を踏まえた分析を行うためにも手話を文で提示する場合には、変化点を考慮した分析をする必要があると考える。
本研究の課題としては次の点があげられる。本研究では文字刺激に用いる条件を優先して刺激の選定を行った。そのため、音声としてはやや不自然な発音の刺激で実験を行った。今後の研究ではより自然な発音となる音声刺激を見つけ、音響的特徴などを厳密に統制した実験を行う必要がある。今回の実験では 2 モーラの音声では変化点を考慮するとピーク潜時が約 200msとなってしまう。5 モーラの音声でもフォルマント遷移等音響的な影響が考えられるため、それらを踏まえた実験・分析が必要である。音声条件の厳密な統制と音響的な条件を考慮した分析が大きな課題である。また今回の実験では健聴者のみを対象としたが、指文字条件では手話話者や指文字を理解する健聴者といった協力者を対象に実験を行い、本実験で得られた結果と比較し指文字認知の特性を明らかにしたいと考える。
29鈴木 皓太

【参考文献】
Comerchero, Marco D. and John Polich. (1999) P3a and P3b from typical auditory and visual stimuli.
Clinical Neurophysiology, 110 (1): 24–30.
深海久美子・主婦と生活社 (2009)『すぐ使える手話』主婦と生活社
羽鳥誉之・稲垣真澄・白根聖子・加我牧子 (2004)「言語音および非言語音 (tone burst)の認知機能に関する臨床神経生理学的研究」『脳と発達』 36 (3): 232–239.
前川敏彦・飛松省三(2006)『事象関連電位とミスマッチ陰性電位』Version1.0: 九州大学大学院医学研究院脳研臨床神経生理
村山伸樹・伊賀崎伴彦・河本雅樹・梶原靖祐・米積友邦 (2002)「文字認知と視覚事象関連電位: ひらがな・漢字・英単語について」『電子情報通信学会技術研究報告. MBE, ME とバイオサイバ
ネティックス』 101(612): 37–42.
Näätänen Risto., Anthony W.K. Gaillard. and Sirkka Mäntysalo. (1978) Early selective-attention effect onevoked potential reinterpreted. Acta Psychologica, 42: 313-329.
投石保広 (1995)「N2―MMN, N2b, NA―」加我君孝・古賀良彦・大澤美貴雄・平松謙一 (編)『事象関連電位 (ERP) マニュアル―P300 を中心に―』篠原出版新社, 287-297.
中島義明・安藤清志・子安増生・坂野雄二・繁枡算男・立花政夫・箱田裕司 (1999)『心理学辞典』
有斐閣.
入戸野宏 (2013)「P300 応用 認知科学の立場から」『臨床神経生理学』 41 (2):86–92.
大森健志・寺内美奈・長嶋祐二 (2009)「手話母語者による手話の語彙認知構造の実験的考察」『電子情報通信学会技術研究報告. HIP, ヒューマン情報処理』 108 (489) : 1-6.
Polich, John., Patricia Crane Ellerson. and Jill Cohen. (1996) P300, stimulus intensity, modality, and probability. International journal of psychophysiology, 23 (1–2): 55–62.
Sutton, Samuel., Margery Braren., Joseph Zubin., and E. R. John. (1965) Evoked-Potential correlates ofstimulus uncertainty. Science, 150 (3700): 1187-1188.
渡辺有香・松本秀彦・諸冨隆 (2008)「指文字学習における認知的変化についての 3 刺激 oddball 課
題を用いた検討」『作新学院大学人間文化学部紀要』 6:21–32.
山下公一・松平登志夫 (2008)「語音聴力検査」『AUDIOLOGY JAPAN』 52(6): 563–570.

30

モダリティの違いによる言語認知のタイミングに関する一考察

On relationship between modalities and language cognition
SUZUKI Kota †Language contains not only speech, but also movements such as signs and fingerspelling. To investigate
the influence of the movement and the speech including duration and the letters number on cognition, thisresearch conducts an oddball task to record Event-related Brain Potentials (ERPs). The oddball task sets up
3 conditions: letters, speech and Japanese Sign Language (JSL) fingerspelling. In the letters and speech
conditions, 2-mora and 5-mora words are adopted to search for the characteristics of cognitive timing. Thenin the JSL fingerspelling condition, voiceless and voiced kana-syllable are adopted. In the results, P300 inletters condition was confirmed about 300 ms after the timing of presentation regardless of the number ofletters. Meanwhile, P300 in speech and fingerspelling conditions was confirmed about 300 ms after thepoint of change in sound of speech and action of fingerspelling. In ERPs research on sign language, it isnecessary to consider the timing of presentation and the point of change. Therefore, further analysis of theresult is required.

†Doctoral Program in Literature and Linguistics, University of Tsukuba

1-1-1 Tennodai, Tsukuba, Ibaraki 305-8571, Japan
E-mail: s1830029@s.tsukuba.ac.jp

31