聾：研究講演、し聞くときに「話す」に関与する脳部位が活動する脳からみた聞くと話すの共通性

話すときに「聞く」に関与する脳部位が活動することはモニタ～音声変換技術と脳機能計測による人間の音声コミュニケ ー ションの仕組みの解明～
Speech production and perception share common brain pathways
Investigation of the mechanisms of speech communication by speech conversion and brain imaging

リングを考えれば理解しやすいかと思います。しかし反対に、聞動野の活動が増加することが分かりました[4]。つまり、聞くにおける発話のシミュレ ー ションは音声の自然性を判断するために行われている可能性があります。

くときに「話す」に関与する脳部位が活動するということは起こりうるのでしょうか。もしそうであれば、音声を聞くと、つられて自らまとめと今後の展望の口が動いてしまうことになります。ところが、口が動かないまで近年、音声変換技術の発展に伴い、音声変換技術と脳機能も話すに関与する脳部位（運動前野）が音声を聞くときに活動計測を組み合わせることで、これまで知られていなかった音声脳人間情報研究部することが明らかになっています。このことは、調音器官の運動情報処理の仕組みが解明されつつあります。音声変換技術は、

廣谷定男

をシミュレ ー ションしながら音声を聞いているという可能性を示

今後も音声脳科学研究において有効な手段であると考えられしています。人間がなぜこのようなことをしながら音声を聞いてます。また、この技術を応用して、ネイティブに聞き取りやすい英プロ フィー

Sadao Hiroya

ルNTTコミュニケ ー ション科学基礎研究所人間情報研究部主任研究員（特別研究員）。2001年東京工業大学大学院総合理工学研究科修士課程修了。同年日本電信電話株式会社入社。2006年東京工業大学大学

いるのかについてはまだ分かっていませんが、音声が聞き取りに語音声に変換することで、日本語母語話者の英語での音声コ

くい場合に運動前野の活動が大きくなることから、音声に足りなミュニケ ーションを支援できると期待されます。

い情報を補うために調音運動のシミュレ ー ションを行うことで音声理解(what)を助ける、また音声の自然性(how:合成音声ら話すときのモニタリングに関わる脳情報処理および聞くときしさ、たどたどしさ）を判断するためでないかと考えられています。のシミュレ ー ションに関わる脳情報処理を紹介してきましたが、院総合理工学研究科博士課程修了。博士（工学）。2007年から2008年
ポストン大学客員研究員。音声知覚生成メカニズムの解明および音声信号処理研究に従事。IEEE、日本音智学会、電子情報通信学会、北米神経科学学会、言語神経生物学学会各会員。

聞くことと話すことによる音声コミュニケ ーションは、日常生活話すときに「聞く」に関与する脳部位が活動するにおいて欠かすことのできない重要なものです。「話す」過程で自らが発話した音声を200ミリ秒程度遅らせ、それをヘッドホは、脳でイメ ー ジした伝えたい意図が謂音器官を通じて音声としンで聞きながら発話を行うと、どもるようになる、間延びするなどて放射され、「聞く」過程では、音声が聴覚器官を経て脳で理解発話が困難になる現象が起こります。また、音声のタイミングをされます。聞くと話すの目的はそれぞれ異なることから、これまで変換するのではなく、「え」と発話した音声が「あ」と聞こえるようほとんどの音声研究は聞くと話すを別々に扱ってきました。に音声の共振周波数をリアルタイムに変換した音声を聞きなが実は、モニタリングもシミュレ ーションも、聴党野から上側頭回と音声リズムを変換する
さて、自然性を変換した音声を聞くときに、話すに関与する脳じて発話が変化するということは、人問は自らの音声をリアルタ

位はウェルニッケ野、「話す」はブロ ーカ野というように別々に議イムにモニタリングしながら話しをしているということです。これら論が行われてきました。ところが、近年の脳機能計測の発展に変換音声を聞きながら発話を行うときの脳活動を調べますと、伴い、聞くと話すに共通した仕組みが脳の中に存在することが聞くに関与する脳部位（上側頭回）の活動が増加することが分分かってきました。この共通した仕組みは、話すときに「聞く」にかりました。つまり、モニタリングで発話に誤りが見つかったとき関与する脳部位の活動、聞くときに「話す」に関与する脳部位に、脳は発話を正しく修正しようとするのです。この誤りに対するの活動を調ぺることで明らかになりました。つまり、聞くと話すを発話の修正呈の大きさについて様々な検討が行われています

別々に扱うのではなく、一 緒に扱うことが大切なのです[1]。

が、最近私たちは、変換音声の音質が良くなると、修正量が大きくなることを発見しました[2]。

角回、縁上回を経由して運動前野に音声が送られるという共通した経路です（図2)。しかも、これらは人間の聞くにおける頑健部位の活動がどのように変化するかは分かっていません。私た性や話すにおける安定性に深く関わっていると考えられていま

ちは、日本語母語話者の英語音声のリズムを変換する技術[3]す。しかし、現在の音声認識および音声合成技術ではこの経路により作成した刺激音声を英語母語話者が聞くときの脳活動に相当する処理が考慮されていません。もしかすると、これら経計測を行いました（図1)。実験の結果、英語母語話者にとって路における音声脳情報処理の理解が今後音声認識の性能や自然でないリズムの音声を聞くときに、発話に関与する補足運音声合成の品質を向上させる鍵となるかもしれません。

0●●曇贔●●

ら発話を行っても発話に変化が見られます。聞こえた音声に応
人間の音声脳科学研究においても、「聞く」に関与する脳部〇ォ ー プンハウス2018

研究講演り置9鍼創"

い.....

図1:発話リズム変換例（左）。英語母悟話者が日本悟リズム
英語音声を聞いているときの脳活動（右）図2:「話す」におけるモニタリング経路と「聞く」における発話シミュレー ション経路。「聞く」と「話す」によらず共通した経路．屠冨渾層���
[1]廣谷定男編著，寛一彦，辰巳格，皆川泰代，持田岳美，渡辺員澄著，“聞くと話すのJiif科学，”コロナ社，2017.
[2] S. Hiroya, T. Mochida, "Speech sound naturalness alters compensation in response to transformed auditory feedback," inProc. J. Acoust. Soc. Am., Vol. 140, No. 4, Pt. 2, p. 3228, 2016.
[3] S. Hiroya, "Non-negative temporal decomposition of speech parameters by multiplicative update rules," IEEE Trans. Audio,Speech and Lang. Process., Vol. 21, No. 10, pp. 2108-2117, 2013.
[4] S. Hiroya, K. Jasmin, S. Evans, S. Krishnan, M. Ostarek, D. Boebinger, S.K. Scott, "Effects of speaking rhythm naturalness
on the neu『al basis of speech perception," in Proc. Society for Neuroscience, 2015ォ ー プンハウス201sG