SOUND

令和３年度研究助成 【サウンド技術振興部門】より

音声理解における脳内時間処理：
時間劣化音声を用いた統合失調症患者と健常者との比較
九州大学大学院芸術工学研究院
デザイン人間科学部門
准教授

1.研究の背景１．１

上田和夫& Oxenham, 2002; Zeng et al., 2004; Kidd,Streeter, Ihlefeld, Maddox, & Mason, 2009; Jør-

音声の冗長性と音声知覚の頑健性

gensen & Dau, 2011; Venezia, Hickok, & Rich-

音声は、時間とともに周波数スペクトルがards, 2016; Flinker, Doyle, Mehta, Devinsky,変化する信号であると見なすことができる［図& Poeppel, 2019; Nakajima, Matsuda, Ueda, &1（a）］。したがって、音声知覚の仕組みを調べRemijn, 2018; Schlittenlacher, Staab, Çelebi,るためには、そのような信号からどのようにSamel, & Ellermeier, 2019; Santi, Nakajima,して適切な知覚手がかりが取り出されている

Ueda, & Remijn, 2020）といった操作に対して、のか、また取り出された知覚手がかりがどの音声知覚は頑健性を示す。身近な例としては、ように使われているのかを調べる必要がある。

固定電話システムが300 Hzから3,400 Hzまでの通常音声には、極めて豊富な知覚手がかりがごく限られた周波数帯域の信号しか通過させな重複して含まれていると考えられている。すな

いにもかかわらず、支障なく音声通話が成り立わち、音声は非常に冗長性の高い信号であるとっていることがあげられる。

考えられている。そのように考えられる根拠として、音声が様々な劣化に対して耐性を持ち、１．
２

時間劣化音声の知覚かなりな程度の削除や変形が行われても、音このような音声知覚の頑健性に、時間領域声知覚が可能であることがあげられる。たとにおける手がかりの劣化がどのような影響えば、フィルターによる周波数帯域の制限やを 与 え る の か に つ い て も、 古 く か ら 調 べ ら（French & Steinberg, 1947; Fletcher & Galt,れている。たとえば、周期的断続（Miller &1950; Miller & Nicely, 1955; Studebaker, Pav-Licklider, 1950; Powers & Wilcox, 1977; Kidd

lovic, & Sherbecoe, 1987; Warren, Bashford, && Humes, 2012; Shafiro, Sheft, & Risley, 2016;

Lenz, 2005; Humes & Kidd, 2016）、 時 間・ 周Shafiro, Fogerty, Smith, & Sheft, 2018; Ueda,

波数領域における変調の劣化（Drullman, Fes-Kawakami, & Takeichi, 2021） と 局 部 時 間 反ten, & Plomp, 1994b, 1994a; ter Keurs, Festen,転（Steffen & Werani, 1994; Saberi & Perrott,& Plomp, 1992, 1993; Shannon, Zeng, Kamath,1999; Greenberg & Arai, 2004; Ishida, Arai,

Wygonski, & Ekelid, 1995; Smith, Delgutte,& Kashino, 2018; Stilp, Kiefte, Alexander, &12SOUND
(a)

0.3
0-0.3

00.1

0.2

0.3

0.4

0.5
Time (s)

0.6

0.7

0.8

0.9

1

0.1

0.2

0.3

0.4

0.5
Time (s)

0.6

0.7

0.8

0.9

1

0.1

0.2

0.3

0.4

0.5
Time (s)

0.6

0.7

0.8

0.9

1(b)

0.3
0-0.3

0(c)

0.3
0-0.30

図1

音声波形の例。横軸は時間、縦軸は瞬時音圧（単位は任意）を表す。(a)女性話者が発話した英語原音声、(b)区間長40ミリ秒の断続音声、(c)区間長40ミリ秒の局部時間反転音声。原音声(a)は、時間とともに成分の周波数および振幅（スペクトル）が変化する信号である。断続音声(b)は、音声を出力する区間と、音声を出力せず空白に置換した区間とを交代させたもの。局部時間反転音声(c)は、区間内の波形の時間軸を逆転させて作った断片をつなぎ合わせたもの。断続音声、局部時
間反転音声とも、各区間の始まりと終わりの部分に5ミリ秒の立ち上がりと立ち下がりをコサイン関数で付けている。

Kluender, 2010; Teng, Cogan, & Poeppel, 2019;

ことができる（たとえば、Miller & Licklider,Ueda, Nakajima, Ellermeier, & Kattner, 2017;1950）。区間長が長くなるにしたがって、了解

Ueda, Nakajima, Kattner, & Ellermeier, 2019;

度は低下していくが、健聴な実験参加者に対しMatsuo, Ueda, & Nakajima, 2020; Ueda & Ci-て有意味文の音声を断続した場合、区間長650occa, 2021）は、時間領域における音声の劣化ミリ秒でも了解度は50%を上回ることがわかっ手法の例である。ている（たとえばPowers & Wilcox, 1977）。

周期的断続は、音声を元のまま出力する区間

局部時間反転音声［図1（c）］は、音声を一と、音声を出力せず空白に置換する区間とを交定の区間長で区切った後、それぞれの区間ごと互に繰り返すものである［図1（b）］。音声をに時間軸を反転して部分的に逆再生の状態を作出力する区間と空白に置換する区間とが同じ長り、反転した区間をもとの順番通りにつなぎ合さの場合、原音声の50%が残ることになる。区

わせた劣化音声である。当然であるが、話速が間長がおよそ100ミリ秒以下の場合は、80%以了解度に影響するので、以下に示す区間長と了上の明瞭度あるいは了解度で音声を聴きとる

解度との関係は、話速を正規化した場合になり
13SOUNDIntelligibility (%)

100

American EnglishGermanJapanese
Mandarin Chinese

806040200050

100150200

Normalised segment duration (ms)図２

英独日中の4言語における局部時間反転音声の了解度。それぞれの言語ごとに男女各1名の話者の音声を刺激として使い、話者ごとに14名の実験参加者からデータを得て、それらを平均している（中国語の男性話者のデータのみ13名の実験参加者のデータ）。横軸の区間長は、それぞれの言語における話者全員（男女それぞれ５名または10名）の平均話速で正規化されている。区間長と了解度との関係
は、言語によらず、極めて類似した傾向を示す。エラーバーは標準誤差。Ueda etal.(2017)による。

立つものであることをご理解いただきたい。有るのかというと、区間長20ミリ秒の場合を除い意味文を用いて、区間長が40ミリ秒以下の場て、著しい了解度の低下が生ずる（図3; Ueda

合、局部時間反転音声でも100%近い了解度が& Ciocca, 2021）。たとえば、区間長40ミリ秒得られるが、区間長が40ミリ秒を越えると、言の場合、断続なしの局部時間反転音声なら了解語にかかわらず、急激に了解度が低下し、区間度はほぼ100%であるが、区間を一つおきに空長65ミリ秒で了解度がおよそ50%程度、区間長白と置き換えると、了解度は約45%まで低下すが100ミリ秒を越えると了解度は10%以下にまる。区間長60ミリ秒の場合、断続なしの局部時で低下する（図2; Ueda et al., 2017）。局部時

間反転音声なら了解度はおよそ80%になるが断間反転音声の区間長が40ミリ秒を超えると了解続すれば約10%にまで低下する。断続により、度が急激に低下するのは、周波数スペクトル全もとの局部時間反転音声と比較すれば、刺激の体にわたる変調スペクトルの強さと位相とが共半分が失われただけであることから考えると、に減少していくことと関係すると考えられていそれ以上に了解度が低下したことになる。ここる（Greenberg & Arai, 2004）。

で、局部時間反転断続音声の空白を強い雑音とでは、局部時間反転音声を断続したらどうな14置き換えれば、音声の情報は何も増えていないSOUND

Mora accuracy (%)

1008060
LTRILTRILTR_N-10
ILTR_N0ILTR_N+10I
I_N-10
I_N0
I_N+10

40
2000

20

4060

80

100120140160

Segment duration (ms)
図３ 局
 部時間反転音声（locally time-reversed speech, LTR）、局部時間反転断続音声（interrupted locally time-reversed speech, ILTR）、および断続音声（interruptedspeech, I）の了解度（20名の実験参加者について求めたモーラ正答率）。横軸は区間長を表す。Nは雑音（noise）で空白を置換したことを意味する。-10, 0, +10
は音声パワーの実効値を基準（0）としたときの雑音の強さ（dB）。斜線部は、空白を+10 dBの雑音で置き換えることによる了解度の増加分を示す。エラーバーは標準誤差。Ueda & Ciocca（2021）による。にもかかわらず、了解度は回復し（図3の斜線

断続による了解度の低下が顕著であり、空白部部分）、その増分は最大40%程度に達する（区分を雑音で置換することの効果も大きいと言え間長40ミリ秒の場合）。

る。このような知覚的修復による了解度の向上

断続音声の場合、区間長40ミリ秒では了解度は90%以上あり（Ueda et al., 2021）、区間長160は、音声知覚においてほぼ自動的に行われる処理過程を反映していると考えられる。

ミ リ 秒 で も70%前 後 で あ る（Ueda & Ciocca,2021; Ueda et al., 2021）。断続音声でも、空白１．３

多重時間窓仮説

部分を強い雑音で置換することにより了解度区間長が短い場合、断続音声や局部時間反転が向上するが、区間長160ミリ秒の場合で10%音声が高い了解度で知覚される理由として、脳程度の増加にしかならない（Ueda & Ciocca,

内における音声の処理に一定の長さの時間窓が2021）。断続音声の場合は、もちろん、もとも用いられ、時間窓単位で処理が行われるためととの了解度が高いので、何らかの操作によって考えることが可能である。

了解度がさらに向上する余地が少ないとも言えPoeppelら の 提 唱 す る 多 重 時 間 窓 モ デ ル でる。いずれにせよ、局部時間反転音声の場合、は、短い時間窓（~20−30ミリ秒、音素の長さ15SOUNDとほぼ対応する）と長い時間窓（~200ミリ秒、１．
４

統合失調症患者の脳波および脳磁図音節の長さとほぼ対応する）とが脳内に存在し、統合失調症患者においては、知覚から認知に並行して音声（あるいは非音声）の処理を進めいたる幅広い神経活動に関して、脳活動の周ると考えられている（Poeppel, 2003; Giraud &期性に異常が見られるとの報告がなされていPoeppel, 2012; Sanders & Poeppel, 2007; Chait,る（Hirano & Uhlhaas, 2021）。特に聴覚や音声Greenberg, Arai, Simon, & Poeppel, 2015;

知覚に関しては、統合失調症患者では聴覚信号

Teng, Tian, & Poeppel, 2016; Teng & Poeppel,

に対する40 Hz 帯（ガンマ帯の一部）の脳波あ2020）。このモデルをあてはめて考えてみると、

るいは脳磁図に異常が見られるとの報告があ

区間長20ミリ秒の断続音声や局部時間反転音声る。周期に換算すると40 Hz は25ミリ秒である

で（図２、３）、ほとんど100%近い正答率が得ので、上記の多重時間窓仮説における短い時間られることをうまく説明できるように見える。

窓における処理に異常が生じている可能性があ

このような刺激は、どちらの時間窓でもうまくると考えられる。さらに、音節の長さに対応す処理できると考えられるからである。また、断る長い時間窓に関しては、同様の周期で動作す続音声や局部時間反転音声の正答率が、区間長る発話運動系の発振回路が知覚処理系からのフが長くなるにつれて低下していくことを説明すィードバックを受けるというモデルも提案されることもできる。ているので（Poeppel & Assaneo, 2020）、この一方で、局部時間反転断続音声の実験結果は（図３）、40ミリ秒以上の区間長による断続が局部時間反転音声に生じた場合には、断続音声や局部時間反転音声に対して働いていた知覚的修ような異常を、劣化音声を用いた知覚実験で検出できる可能性があると考えた。

2.研究予定復がうまくいかなくなること、また強い雑音で

本研究計画では、統合失調症患者が幻聴と現空白を置換することによって多少なりとも修復実の音声とを区別できず、著しく生活の質が低が起こることを示した。すなわち、多重時間窓下しているのは、現実の音声を短い時間窓でう仮説においても、このような知覚的修復の過程まく処理できず、幻聴を制御できないためであをモデルに組み込む必要がある。さらに、これるという仮説を立てた。そこで、短い時間窓にらの実験結果は、短い時間窓における処理結果よる処理が難しい、時間劣化音声を用いて統合が長い時間窓による処理に影響を与える可能性失調症患者と健常者との知覚の違いについて調があることも示している。

べる予定である。

16

SOUND

文献393-405. doi:10.1038/s41562-019-0548-z
French, N. R., & Steinberg, J. C.（1947）. Fac-

Chait, M., Greenberg, S., Arai, T., Simon, J. Z.,

tors governing the intelligibility of speech& Poeppel, D.（2015）. Multi-time resolu-sounds. The Journal of the Acousticaltion analysis of speech: Evidence from

Society of America , 19, 90-119.

psychophysics. Frontiers in Neuroscience ,Giraud, A.-L., & Poeppel, D.（2012）. Corti-（214）9, 1-10. doi:10.3389/fnins.2015.00214

cal oscillations and speech processing:

Drullman, R., Festen, J. M., & Plomp, R.

Emergning computational principles and（1994）. Effect of temporal envelope

operations. Nature Neuroscience , 15（4）,smearing on speech reception. The Jour-511-517. doi:10.1038/nn.3063

nal of the Acoustical Society of America ,Greenberg, S., & Arai, T.（2004）. What are95（2）, 1053-1064. doi:10.1121/1.408467

the essential cues for understanding

Drullman, R., Festen, J. M., & Plomp, R.

spoken language? IEICE Transactions（1994）. Effect of reducing slow tem-on Information and Systems , E87-D（5）,poral modulations on speech recep-1059-1070.

tion. The Journal of the Acoustical

Hirano, Y., & Uhlhaas, P. J.（2021）. Current

Society of America , 95（5）, 2670-2680.

findings and perspectives on aberrant

doi:10.1121/1.409836
Fletcher, H., & Galt, R. H.（1950）. The perception of speech and its relation toneural oscillations in schizophrenia. Psy-chiatry and Clinical Neurosciences , n/a（n/a）.doi: 10.1111/pcn.13300

telephony. The Journal of the Acousti-Humes, L. E., & Kidd, G. R.（2016）. Speechcal Society of America , 22（2）, 89-151.

recognition for multiple bands: Impli-

doi:10.1121/1.1906605

cations for the Speech Intelligibility

Flinker, A., Doyle, W. K., Mehta, A. D., Devin-Index. The Journal of the Acousticalsky, O., & Poeppel, D.（2019）. Spectro-

Society of America , 140（3）, 2019-2026.

temporal modulation provides a unifying

doi:10.1121/1.4962539

framework for auditory cortical asym-Ishida, M., Arai, T., & Kashino, M.（2018）.Per-metries. Nature Human Behaviour , 3（4）,ceptual restoration of temporally distort17

SOUNDed speech in L1 vs. L2: Local time rever-The intelligibility of interrupted speech.

sal and modulation filtering. Frontiers in

The Journal of the Acoustical Society ofPsychology , 9（1749）, 1-16. doi:10.3389/

America , 22（2）, 167-173. doi:10.1121/1.

fpsyg.2018.01749

1906584

Jørgensen, S., & Dau, T. （2011）. Predict-Miller, G. A., & Nicely, P. E.（1955）. An analy-ing speech intelligibility based on thesis of perceptual confusions among somesignal-to-noise envelope power ratio

English consonants. The Journal of theafter modulation-frequency selective

Acoustical Society of America , 27, 338-processing. The Journal of the AcousticalSociety of America , 130（3）, 1475-1487.
doi:10.1121/1.3621502

352.
Nakajima, Y., Matsuda, M., Ueda, K., &Remijn, G. B.（2018）. Temporal resolution

Kidd, G. R., & Humes, L. E.（2012）. Effects ofneeded for auditory communication: Mea-age and hearing loss on the recognition

surement with mosaic speech. Frontiersof interrupted words in isolation and inin Human Neuroscience, 12（149）, 1-8.

sentences. The Journal of the Acoustical

doi:10.3389/fnhum.2018.00149

Society of America , 131（2）, 1434-1448.
doi:10.1121/1.3675975

Poeppel, D.（2003）. The analysis of speech indifferent temporal integration windows:

Kidd, G., Streeter, T. M., Ihlefeld, A., Maddox,

Cerebral lateralization as ‘asymmetric

R. K., & Mason, C. R.（2009）. The intelli-sampling in time’. Speech Communica-

gibility of pointillistic speech. The Journaltion , 41, 245-255.

of the Acoustical Society of America , 126

Poeppel, D., & Assaneo, M. F.（2020）. Speech（6）, EL196-EL201. doi:10.1121/1.3258062

rhythms and their neural foundations.

Matsuo, I., Ueda, K., & Nakajima, Y.（2020）.Nature Reviews Neuroscience , 21（6）,Intelligibility of chimeric locally time-322-334. doi:10.1038/s41583-020-0304-4

reversed speech. The Journal of thePowers, G. L., & Wilcox, J. C.（1977）. Intelli-

Acoustical Society of America , 147（6）,gibility of temporally interrupted speech

EL523-EL528. doi:10.1121/10.0001414

with and without intervening noise.

Miller, G. A., & Licklider, J. C. R.（1950）.The Journal of the Acoustical Society

18

SOUNDof America , 61（1）, 195-199. doi:10.1121/
1.381255

HR-H-17-0477
Shafiro, V., Sheft, S., & Risley, R.（2016）. The

Saberi, K., & Perrott, D. R.（1999）. Cognitive

intelligibility of interrupted and tempo-restoration of reversed speech. Nature ,rally altered speech: Effects of context,398（29 APRIL 1999）, 760.

age, and hearing loss. The Journal of theSanders, L. D., & Poeppel, D.（2007）. Localand global auditory processing: Behav-

Acoustical Society of America , 139, 455465. doi: 10.1121/1.4939891

ioral and ERP evidence. Neuropsycholo-Shannon, R. V., Zeng, F. G., Kamath, V.,

gia , 45（6）, 1172-1186. doi:10.1016/j.neuro

Wygonski, J., & Ekelid, M.（1995）. Speech

psychologia.2006.10.010

recognition with primarily temporal cues.

Santi, Nakajima, Y., Ueda, K., & Remijn, G. B.
（2020）. Intelligibility of English mosaic

Science , 270（5234）, 303-304. doi:10.1126/
science.270.5234.303

speech: Comparison between native andSteffen, A., & Werani, A.（1994）. Ein Experi-

non-native speakers of English. Applied

ment zur Zeitverarbeitung bei der Sprach

Sciences , 10（19）, 1-13. doi:10.3390/appwahrnehmung（An experiment on tem-10196920

poral processing in speech perception）.

Schlittenlacher, J., Staab, K., Çelebi, Ö., Samel,

In G. Kegel, T. Arnhold, K. Dahlmeier, G.

A., & Ellermeier, W.（2019）. Determi-Schmid, & B. Tischer（Eds.）, Sprechwis-nants of the irrelevant speech effect:

senschaft & Psycholinguistik （SpeechChanges in spectrum and envelope.

Science and Psycholinguistics）（Vol. 6,The Journal of the Acoustical Society ofpp.189-205）. Opladen: Westdeutscher Ver-America , 145（6）, 3625-3632. doi:10.1121/

lag.

1.5111749

Stilp, C. E., Kiefte, M., Alexander, J. M., &Shafiro, V., Fogerty, D., Smith, K., & Sheft,

Kluender, K. R.（2010）. Cochlea-scaled

S. （2018）. Perceptual organization ofspectral entropy predicts rate-invariant

interrupted speech and text. Journal ofintelligibility of temporally distortedSpeech, Language, and Hearing Research ,sentences. The Journal of the Acousti-61（10）, 2578-2588. doi:10.1044/2018_JSL-cal Society of America , 128, 2112-2126.
19

SOUNDdoi:10.1121/1.3483719

2872-2880.

Studebaker, G. A., Pavlovic, C. V., & Sher-ter Keurs, M., Festen, J. M., & Plomp, R.

becoe, R. L.（1987）. A frequency impor-（1993）. Effect of spectral envelope smear-tance function for continuous discourse.

ing on speech reception. II. The Journal

The Journal of the Acoustical Society ofof the Acoustical Society of America , 93,

America , 81（4）,1130-1138.

1547-1552.

Smith, Z. M., Delgutte, B., & Oxenham, A. J.

Ueda, K., & Ciocca, V. （2021）. Phonemic（2002）. Chimaeric sounds reveal dichoto-

restoration of interrupted locally time-

mies in auditory perception. Nature , 416

reversed speech: Effects of segment（7 March 2002）, 87-90.

duration and noise levels. Attention, Per-Teng, X., Cogan, G. B., & Poeppel, D.（2019）.

ception, & Psychophysics , 83（5）, 1928-Speech fine structure contains critical

1934. doi:10.3758/s13414-021-02292-3

temporal cues to support speech segmen-Ueda, K., Kawakami, R., & Takeichi, H.

tation. NeuroImage , 202（116152）, 1-12.

（2021）. Checkerboard speech vs inter-doi: 10.1016/j.neuroimage.2019.116152

rupted speech: Effects of spectrotempo-Teng, X., Tian, X., & Poeppel, D.（2016）. Test-ral segmentation on intelligibility. JASA

ing multi-scale processing in the auditory

Express Letters , （1 7）,075204. doi:10.1121/system. Scientific Reports , 6（34390）, 1-13.
doi:10.1038/srep34390

10.0005600
Ueda, K., Nakajima, Y., Ellermeier, W., &Teng, X., & Poeppel, D.（2020）. Theta andKattner, F.（2017）. Intelligibility of locallygamma bands encode acoustic dynamics

time-reversed speech: A multilingual

over wide-ranging timescales. Cerebral

comparison. Scientific Reports , 7（1782）,Cortex , 30（4）, 2600-2614. doi:10.1093/cer-1-8. doi:10.1038/s41598-017-01831-z

cor/bhz263

Ueda, K., Nakajima, Y., Kattner, F., & Ell-ter Keurs, M., Festen, J. M., & Plomp, R.

ermeier, W.（2019）. Irrelevant speech（1992）. Effect of spectral envelope smear-effects with locally time-reversed speech:

ing on speech reception. I. The Journal

Native vs non-native language. The Jour-of the Acoustical Society of America , 91,

nal of the Acoustical Society of America ,20SOUND145（6）, 3686-3694. doi:10.1121/1.5112774

Warren, R. M., James A. Bashford, J., & Lenz,

Ueda, K., & Matsuo, I.（2021）. Intelligibility ofP. W.（2005）. Intelligibilities of 1-octave

chimeric locally time-reversed speech:

rectangular bands spanning the speech

Relative contribution of four frequency

spectrum when heard separately andbands. JASA Express Letters , 1（ 6）,paired. The Journal of the Acoustical

065201. doi:10.1121/10.0005439

Society of America , 118（5）,3261-3266.

Venezia, J. H., Hickok, G., & Richards, V. M.

Zeng, F.-G., Nie, K., Liu, S., Stickney, G., Rio,

（2016）. Auditory “bubbles”: Efficient

E. D., Kong, Y.-Y., & Chen, H.（2004）.

classification of the spectrotemporal

On the dichotomy in auditory percep-modulations essential for speech intel-tion between temporal envelope and fineligibility. The Journal of the Acousticalstructure cues（L）. The Journal of theSociety of America , 140（2）, 1072-1088.

Acoustical Society of America , 116, 1351-doi:10.1121/1.4960544

1354.

21