英語らしさと正確さを考慮した英語発話のレベル判定の試み
Determination of the level of English speech in terms of Englishness and accuracy
追手門学院大学

心理学部教授

井佐原均

通商産業省工業技術院電子技術総合研究所、郵政省通信総合研究所、独立行政法人情報通信研究機構、国立大学法人豊橋技術科学大学を経て、現職。産業日本語研究会世話人会代表

1

はじめにに多くの反復演習が可能であり、学習に関わるコストが抑えられる等の利点がある。

社会のグローバル化に伴い、英語をはじめとする外国

英語教育においては 4 技能を評価することが必要と語教育の重要度は増している。我が国でも英語教育におなる。「読む」と「聞く」に関しては理解度テストにける情報通信技術（ICT）の活用が進みつつある。教育

よって評価が可能であり、「書く」に関しては近年発展機関における追加の語学学習や社会人のリカレント教育

著しいテキスト処理技術によって、内容面にも踏み込においては学習支援ツールが有効であり、人工知能技術んだ評価が可能となろう。「話す」に関しても、発音のを用いた外国語学習支援のニーズが高まってきている。

優劣を評価する自動採点システムをはじめとした発音

英語の 4 技能のうち、「読む」「聞く」「書く」に関して訓 練（CAPT: Computer Assisted Pronunciation

は自動学習支援の目途が立っているが、「話す」に関しTraining）に関する研究が 1980 年代から数多く行わては、既存の音声認識システムが学習者の音声を認識すれてきた。1990 年代に音声認識技術が大きく進展しるためには作られていないことから、学習者の「話す」たが、これに伴い発音訓練に関する研究も大きく進展し能力を判定することが難しい。本稿では学習者の発話をた。これは近年の深層学習の活用により、さらに精度向単語やテキストとしての正確さだけではなく、「英語ら上が可能となった。このように「話す」に関しては音声しさ」をも考慮した語学能力判定システムを提案する。

認識システムが用いられるが、現状の音声認識システム

これにより、不明瞭や不正確な学習者の発話がどの程度は母語話者などの「正しい」発声を対象としており、学「正しい」かを判定することができ、リピーティングや習者の発声の認識には適さない。また音声認識システム

自由対話による学習支援システムを用いての「話す」技の「性能が向上」したために、不確かな発話でも正しく能の向上を支援することが期待される。

認識できるようになり、学習者の発声の正確さが音声認教育における ICT の活用においては、履修管理や教268識の正解率と対応しない場合もある。

材の管理・提供といった授業支援だけではなく、教育やその一方で、人間同士の対話においては、母語話者同学習の過程を直接支援する e-Learning 教材やアプリの士であっても、必ずしもすべての発話が音韻的に正しく開発が行われている。英語をはじめとする外国語教育に発声されているわけではなく、聞き手もすべての語を正おいても、授業で使用するもの、個人で使用するものなしく認識しているわけではない。

ど、様々な学習ツールが公開されている。このようなツー人間は音声をどのように認知し、それを単語として認ルを用いた学習は、提示する評価結果の正確さは人手に識しているのであろうか。人間教師は学習者の「正しくよる評価に劣るという課題はあるが、学習者の都合のよない」発声から学習者の意図した発話を認識したり、発い時間に利用でき、結果の判定が即時に行われ、短時間話の「正しくない」度合いを評価したりできる。音声に

4埋め込み表現を用いた音声の照合

2

対する人間の認知・認識機能を検討し学習者の発声に適その音響信号から完璧に文字列化して正しく認識してい用することにより、人間教師と同じように認識や評価がるわけではない。たとえば「私は本を買った」という発できるであろう。

話が音響的には「私和音多かった」としか認識できないような場合も、我々は的確に理解し、反応できる。音声2

音声認知の提案（図 1）

認識の学習データを増やしてテキスト化の精度を上げるという手法には限界がある。音声を用いた実用システム

音声認識システムの研究開発や、音声認識ステムを用の実現のためには、完璧に認識された結果のテキストをいた英語学習システムの開発・公開が行われてきた。し目指すだけではなく、応答を選択するのに必要十分な表かしながら、音声認識ステムは本来、目的とするタスク現を得るという考え方が必要となる。語学教育においての実現に向けて、音声入力をできるだけ正しくテキストも同様であり初学者の誤った発声を母語話者の発声であ化するものである。いわゆる巨大 IT 企業も参入しておるかのように認識したのでは、学習者の誤りや習熟度をり、アマゾン、マイクロソフト、IBM、グーグルなどが、適切には判断できない。

それぞれ、AWS Comprehend、Microsoft Speech

ここでは、音声認識の出力として正確な書きおこしテ

Services、Watson Speech to Text、Googleキストを出力するのではなく、最終的に認知精度が上がSpeech to Text といった音声認識サービスを公開しるような埋め込み表現を得る。すなわち、音声処理を後ている。音声処理と言語処理を統合した試みとしては、段の照合過程に最適化する。これは深層学習における目

近年の音声認識システムでは、ある時点で文字化された的関数を認識精度（正しい書きおこしとの差分）ではな出力がその後の文脈によって修正されるようになってきく、照合性能を表す指標に置き換えることによって実現ている。しかしこれは文脈によって音声認識結果を修正できると考えられ、現在主流のニューラルネットワークするものであり、学習者の個々の発声を評価することにを用いた end-to-end（E2E）
音声認識との親和性が高い。

は逆行する。

- 産業日本語関連

図1

語学教育への適用を前提とすれば、学習者の不正確なまた音声認識のテキスト化の精度には限界がある。人発声を正解に向けて正しく認識するのではなく、学習者が音声でコミュニケーションを行う場合、相手の発話をの英語レベルを踏まえて、「正しく」認知することが重YEAR BOOK 2O23 269

要である。語学の初学者など、広いレベルの学習者を対（Pronunciation scoring） の 研 究 が 始 ま っ た。 教 師

象とし、その能力を自動評価するためには、学習者の不の発声した単語と学習者の発声した単語の Dynamic

正確な音声を「評価」する機構が必要である。既存の音Time Warping（DTW）に基づく手法に始まり、音声声認識技術は音声（音響信号）をテキスト（単語列）化認識で用いられる Hidden Markov Model（HMM）をするものである。本提案では音声をその特徴を表現した用いて母語話者のデータから学習された HMM と学習埋め込み表現に変換する。この時点では単語と対応（単者発声を照合する自動採点手法が提案された。このよう語を認識）していないため、音声認識ではなく音声認知な従来型の音声認識技術に基づく手法では、MFCC やと呼ぶ。

韻律 prosody、音響パワー intensity、リズム rhythm

ここでは認知の軸として、機械翻訳の評価と同様に流などのハンドクラフト特徴量が用いられているが近年は暢度と忠実度の二つを考える。流暢度では発話に含まれ特徴量抽出や系列のモデル化を含めて最適化を行う深層る個々の単語を判定・評価するのではなく、全体として学習を用いた E2E 手法が広く検討されている。の英語らしさを判定する。学習者がどの程度英語的な発E2E 手法としては、注意機構とマルチエンコーダ声をしているかを評価する。一方、忠実度では学習者がを用いた手法や自己教師あり学習（Self-supervised

適切な語を発声しているか、あるいは意図した語を発声Learning: SSL）に基づく手法があるが、以下の理由しているかを評価する。

により、SSL に基づく事前学習モデルを用いている。

流暢度においては、英語らしさを判定するわけである（１）音声波形から直接特徴量を抽出することができる。

が、ここでは英語としての語や文法の正しさについては（２）タスク依存の学習データや学習方法を用いないた判断せず、音の特徴について評価する。発声した音声にめ、音声波形を表現する汎化性の高い特徴量を抽含まれるリズム、強弱、イントネーションを評価する。

出できる。

誤解を恐れずに言えば、「タモリの物まね外国語」や「中（３）NLP 分野の様々なタスクにおいて優位性が十分に川家の中国人料理人の中国語」に対して、それぞれの言語での発話としては高い流暢度の値を与えるといった手法である。
近年、精度向上が著しい自然言語処理では入力文の意証明されている。
実験では公開されている英語発話データに加え、独自に作成した発声レベル得点付き日本人英語話者データを用いて実験を行っている。

味や、単語の意味、分野の知識を埋め込み表現で表現し、それらの間の距離計算によって、情報検索をはじめとする様々なサービスを実現している。本提案では、流暢度の判定のために、発話を認識してテキスト化するのではなく、発話を深層学習の埋め込み表現に変換し、埋め込

4

応用

英語学習へのさらなる応用として、リピーティング教材や自由対話学習システムへの応用が考えられる。

み表現のレベルで認知する。学習者の発話から得られた埋め込み表現と、評点付きの発話データの埋め込み表現a) リピーティングへの適用と比較することにより、学習者の発話の英語らしさを判

機械翻訳システムや音声認識システムの技術を用いた定する。一方、忠実度に関しては、既存の音声認識手法リピーティング学習システムが開発され、企業での使用を用いて、音声をテキスト化したものに対して適切性をを通しての実証が行われている。リピーティング学習シ判定する。

ステムでは英語テキスト、そのテキストを音読した模範音声、学習者の音声を利用可能である。既存のシステム

3270埋め込み表現による音声認知

ではたとえば学習者の音声は汎用の音声認識システムでテキスト化され、英語テキストと比較される。両者の差

音 声 認 識 技 術 の発 展 に 伴 い、 発 音 の 誤 り を 指摘す分は全文一致、単語誤り率、文字誤り率で評価される。

る シ ス テ ム（Mis-pronunciation detection） や

しかしながら、音声認識システムが学習者の不正確な音発音の良し悪しのスコアを自動的に付けるシステム声に十分に対応していないために精度は限定的であった。

ここで提案した手法は、元の英語テキストの入力を想定していないが、試験的に行ったこれまでの実験では流5

おわりに暢度の判定におけるテキストの利用の効果はあまり現れ

ここで提案したシステムの目的は音声認識システムでなかった。しかし模範音声の繰り返しを想定するリピーはなく、学習者の音声の評価である。音声認識システム

ティングやシャドーイングにおいては効果的であるともは正しく発声された音を音声認識し、何らかのタスクを考えられ、これらを実証する実験を検討している。少な行う。学習システムは正しくない音声の正しくない程度

くとも本手法は音声認識システムによるテキスト化を介を判定することが必要である。実用の観点に立てば、誤っさないため、学習者の能力をより的確に判断できる可能た発音であっても誤解されない発音であれば、急いで訂性がある。

正する必要はないという場合もあろう。埋め込み表現での照合により、誤解される誤りと誤解されない誤りを識b) 自由対話への適用
既存の「話す」技能の学習アプリには人工知能との自由対話ができるとするものがある。実際に自由対話を実別できるかもしれない。正しい発音、間違った発音、理解できる発音を弁別できる手法を開発することが今後の課題である。

現するためには学習者の発話を理解する必要があるが、学習者の発話のように不正確な発話であった場合には、

4

現状の応答選択の精度は低く、柔軟な自由対話は実現で- 産業日本語関連

きていない。

2

対話における応答生成の手法として、FAQ 検索のチャットボットなどでは、入力と FAQ の質問部分とを照合し、対応する応答部分を生成するものがある。本手法を応用して、模範音声との照合と同様に、埋め込み表現レベルでの照合（検索）を行うことにより、応答生成の精度を向上できよう。音声認識の性能を改善する手法
として、複数の認識結果候補を利用する方法があるが、埋め込み表現を用いることにより、埋め込み表現の空間で複数候補の重ね合わせができ、音声認知に適した手法を実現できる。このように複数の候補をまとめてひとつの埋め込み表現にできることが、表層単語ベースの手法にない強みである。
また、音響情報を含む埋め込み表現同士のベクトル空間での距離の照合を行うことにより、文字レベルでの照合ではできなかった判断が可能となる。たとえば、発話が不明瞭あるいは不正確であっても、その音声から予想される語がひとつしかなければ、特に母語話者であれば、相手がその語を発話したものと認識できる。音声入力から得られた埋め込み表現の照合において、ベクトル空間上での語の埋め込み表現の分布を考慮することにより、このような照合が可能となる。

YEAR BOOK 2O23 271