情報処理学会 インタラクション 2022
IPSJ Interaction 2022

INT22009
2022/2/21

DDSupport: モデルとなる発音との差異・距離を提示する言語学習支援システム
河村 和紀1,a)

暦本 純一2,1,b)

概要：母語ではない言語を学ぶ際，自分がうまく話せているかどうかを学習者自身で判断することは難し
い．さらに，自分がうまく話せていない場合に，自分の発音がネイティブスピーカーのようなモデルとする発話者の発音とどこがどの程度異なっているのかを判断することも困難である．そこで，本研究ではシステムとのインタラクションを通じて一人で言語のスピーキングを学ぶことのできる新しい言語学習支援システムを提案する．提案システムでは，深層学習に基づく音声処理を利用し，ユーザの発話がうまくいっているかどうかを判断し，学習者の発音がモデルの発音とどこが違うのか，どのくらい異なるのかを視覚的に分かりやすく提示する．学習者がシステムに示されたモデルとの差異を解消し，距離を近づける
ように発音の修正を繰り返すことで，発音が徐々に改善されていくことが期待される．また，英語を母語としない学習者が英語を学習するアプリケーションを構築し，ユーザがアプリケーションを使用することで発話の分かりやすさが向上することを確認した．

1. はじめにネイティブスピーカーの発音の違いを，イントネーション，
リズム，音素などの何らかの指標で詳細に計算している．

母語ではない第二言語の学習，特にスピーキングの学習

しかし，このような指標での違いの表示は初学者にとっては，語彙，文法，音韻，アクセントなど多くの点が母語とは理解が困難であったり，特定の側面を修正したとしても，学異なるため，困難を伴う．新しい言語を効率よく学ぶため

習者の発音が分かりやすくなるとは限らないといった問題には，学習者は自分と学習対象の言語のネイティブスピー

がある．そこで，我々の提案手法では，学習者とネイティ

カーとの発音の違いを理解する必要がある．学習者が違いブスピーカーの発音の違いをそのような特定の側面で評価を理解するための最も一般的な方法は，ネイティブスピー

しない．その代わり，学習者の発音とモデルの発音との差

カーや専門家が学習者のスピーチがどれだけ聞き取れるか

異や距離を，直感的かつ視覚的に分かりやすく学習者に表を評価するディクテーションである [3], [7]．しかし，この示する．図 1 のようにユーザの発話とお手本の発話を波形手法は多くの時間と労力を必要とするため，本研究ではことして並べて表示し，ユーザの発話がお手本の発話と異なの方法を自動化することを目的とする．本研究では，自分る部分を波形上に赤く強調して表示する．また，ユーザのの発音がネイティブスピーカーの発音に近いかどうかを学

発話とお手本の発話をそれぞれ 2 次元座標上の点で表し，習者が一人で判断することができる新しいシステムである

自分とお手本の発話がどの程度離れているか確認すること

DDSupport を提案する．さらに，このシステムではユーザができるようにする．学習者はシステムによって示されたの発音とネイティブスピーカーの発音のどこが違うのか，差異を無くすように，距離を縮めるように発音を修正する

どれくらい離れているのかを可視化することで，ユーザのことで発話がモデルに近づいていくことが期待される．本

言語学習を支援する．

研究では，「この部分のイントネーションをこのように変本システムと同じようにコンピュータを利用することでえてください」というように，ユーザに何を修正すればよ

発音の学習を支援するシステムは CAPT (Computer-Aided

いかを事細かに伝えるのではなく，ユーザ自身の耳や目でPronunciation Training) と呼ばれ，盛んに研究がおこなわ

どのように修正すればよいかを考える余地を残すことで学れている [14]．これらの既存の研究では，学習者の発音と習者が感覚的に言語を習得できるようなシステムの構築を
目指す．

1
2
a)
b)

ソニーコンピュータサイエンス研究所京都研究室
東京大学大学院情報学環・学際情報学府
Kazuki.Kawamura@sony.com
rekimoto@acm.org© 2022 Information Processing Society of Japan77

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

INT22009
2022/2/21

図 1: DDSupport システム概要

本システムは，深層学習の技術を用いて学習者の発音と提案システムの技能獲得支援の効果を検証するために，学習対象の言語のネイティブスピーカーの発音を識別する．

英語を母語としないユーザが英語のスピーキングを学習す

その上で，識別スコアを用いて学習者の発話がネイティブ

るアプリケーションを実装した．このアプリケーションを

スピーカーのものに十分近いかを判定する．このような深

実際にユーザに使用して発音の学習をおこなってもらい，

層学習の識別器を構築するためには，通常ネイティブス

ユーザに対してのアンケート評価と英語を母語にする評価

ピーカーの音声データだけでなく，学習者の言語体系に近者によるユーザの学習後の発話の評価をおこなった．評価

い言語の非ネイティブスピーカーの音声データが大量に必の結果，提案手法が第二言語のスピーキング学習において，要である．ネイティブスピーカーの発話データはラジオ，

学習者の補助になり，学習者の発音の分かりやすさを向上

テレビ，動画配信サービスを通じて容易に収集することがさせる効果があることが分かった．

できる．一方で，非ネイティブスピーカー，すなわち，学以下に，本研究の貢献を示す．

習者の発話データを収集するのは非常に困難である．そこ• 学習者の発音がモデルの発音に近いかどうかを判定し，で，提案システムでは収集することの容易なネイティブス

学習者の発話がモデルの発話とどこが違うのか，どのピーカーの音声データを効率的に利用するため近年の自己くらい違うのかを可視化するシステムを提案する．

教師あり学習技術 [15] を使用し，非ネイティブスピーカー• 英語を母語としない学習者が英語のスピーキングを学の発話データが少量しか手に入らないときであってもシ習するアプリケーションを構築し，学習を通じて学習

ステムを構築することを可能にする．非ネイティブスピー

者の発音が向上することを確認した．

カーの発話データに，どこがネイティブスピーカーの発話と異なっているかというラベルや，ネイティブスピーカーの発話とどの程度異なっているかというスコアのラベルが2. 関連研究2.1 第二言語学習

あれば，教師あり学習の技術を用いることで，学習者とモ

提案システムは，第二言語（L2）の音声学習を支援するこ

デルの発音の差異や距離を算出することは容易である．しとを目的としている．第二言語学習における発音指導の分

かし，このようなラベルが付与されたデータはほとんど存

野では，何を目標にするかに関して大きく分けて二つの考在しないため，このようなラベルがない場合でも差異や距え方がある [23]．一つ目は，対象言語のネイティブスピー

離を算出するために深層学習モデルの判断基準を可視化すカーにできる限り近い発音を身につけることを目標とする

ることのできる attention とデータから距離関数を設計すというものであり，二つ目は，多少外国語訛りがあったとることのできる距離学習の技術を応用する．このように，しても，聞き手に分かりやすい発音であることを重視する

本システムは大量のモデルの行動データと少量の初学者のものである．[27] では，この分かりやすさ（intelligibility）

行動データがあれば実装することができるように設計されを，「聞き手が話し手のメッセージをどれだけ理解できるているため，言語学習に閉じず様々な技能に関しての初学か」と定義している．昨今，対象の言語を話す多様なバッ者の技能判定や技能獲得支援をおこなう技術基盤につながクグラウンドを持つ人々との円滑にコミュニケーションするものとなっている．

るためには，特定のネイティブスピーカーの発音に限りな© 2022 Information Processing Society of Japan78

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

INT22009
2022/2/21

図 2: 言語学習支援システム画面

く近い発音よりもむしろ，様々な人に対して分かりやすく

技術 [11], [35] を用いて発音のミスを検出するシステムも発音することが不可欠であると考えられている [19], [26]．

提案されている [16]．しかし，これらの手法の多くは，同

つまり，特定のネイティブスピーカーの話し方を完璧に真じ文章に対して対象言語の学習者とネイティブスピーカー似るのではなく，コミュニケーションに支障をきたさないの発話のペアを必要とする．一方，我々の手法は発話が一範囲で本来の言語の音を学習者にとって発音しやすい音に致している必要はなく，単に学習者の発話とネイティブス

置換してもよいという考え方である [8], [17]．この研究でピーカーの発話のデータがあれば構築することができる．

は後者の考え方に従い，対象の言語を第二言語として学ぶ

つまり，我々のシステムではデータセットにない文も含め学習者がその言語で円滑にコミュニケーションできるようて学習したい文を学習者が自由に選ぶことができるのでになることを支援するシステムの構築を目的としている．

ある．
従来の CAPT の研究は，音声情報処理技術を応用する

2.2 言語スキル評価

ことでいかに正確にユーザの音声と見本となる音声の差異

学習者が対象言語の分かりやすい発音を身につけるためを計算するかに重きを置いており，それらが実際に発話学には，分かりやすさをどのように評価すべきかが問題とな習に効果的かということやどのように表示すると学習に効る．最も一般的な評価方法はディクテーションと呼ばれる

果的かという議論はあまりされてこなかった [10], [22]．一

もので，ネイティブスピーカーや専門家が学習者の音声が方，インタラクションを重視する CAPT システムは言語

どの程度聞き取れるかを評価するものである [3], [7]．この

学習と HCI の複合領域で研究がおこなわれるようになっ

方法では評価に多くの時間と労力を要するため，本システてきている．例えば，Tip Tap Tones [9] や SIAK [18] は

ムではこのプロセスを自動化する．また，2.1 節で述べた

ユーザがゲームを通じて言語学習をおこなうシステムです．

ように我々の目的はコミュニケーションツールとしての第PTeacher [4] は，ユーザーに誇張された音声・映像による二言語の学習であり，対象言語の特定のネイティブスピー

フィードバックをし，Seiyuu-Seiyuu [6] はビデオ学習イン

カーを完璧に真似ることを目的としているわけではない．

ターフェースを介して実用的な能力の開発を促進します．

そのため，本システムでは学習者の対象言語の音声が様々

特に，Robertson ら [30] は，発音エラー検出の性能に関係な背景を持つネイティブスピーカーの平均的な音声とどのなくユーザの発音は向上することを報告し，CAPT の研究

ように異なるかを可視化するだけで，イントネーション，

は、工学的な問題ではなく、HCI の問題として扱うのが有リズム，音素などの点でどの程度異なるのかということを益であると主張している．我々の手法の CAPT への応用

事細かに提示することはしない．このようにすることで学も同様にして，システムとインタラクションを通じて言語

習者は自分の裁量でモデルを真似る度合いを調整し，自分学習することを重視しており，ユーザ実験を通して CAPTの好みに合わせてスピーキングを学ぶことができるのでを HCI の問題として捉えることでよりユーザにとって学習ある．

効果の高い技術になることを裏付ける一つの結果を示す．

2.3 発音学習支援システム
CAPT (Computer-Aided Pronunciation Training) [14]3. DDSupport
3.1 概要すなわちコンピュータを利用することで発音の学習を支援

このシステムは，学習者の発話がネイティブスピーカーするシステムは，言語学習を自動化することを目的にこれの発話に近いかどうかを判断し，そうでない場合は，学習まで盛んに研究開発が行われてきた．特に近年では，様々者の発話とネイティブスピーカーの発話との差異や距離をな音声情報処理の分野で高い性能を示している深層学習の表示することで，母語ではない言語のスピーキングの学習© 2022 Information Processing Society of Japan79

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

INT22009
2022/2/21

学習者とお⼿本で異なっている部分c

アテンションa
⾃⼰教師あり
学習モデル

教師あり
分類モデル

ユーザーの発⾳b

ユーザーとお⼿本の発⾳の違いを可視化

ユーザーの発話がお⼿本の発話と近いかd
距離学習モデル

はい

学習終了

いいえ
ユーザー
お⼿本

学習者はもう⼀度
発⾳を⾏う

ユーザーお⼿本の発⾳の距離を可視化

図 3: システム構成を支援する．まず，図 2（a）に示すように，学習したい文“this”，“easy”，“for” の発音がネイティブスピーカーと異とその文のモデルの発話をシステムが提示する．学習者はなっていることを表している．システムから指摘された赤この発音を聞いて，対象の文章をどのように発音すれば聞い部分を修正するためにユーザがセンテンスを発音し直す

き手が理解しやすいかを確認する．次に，提案システムはと，“easy” と “for” の発音が改善される．次に，“for” のユーザの発話を分析し，図 2（b）のように学習者の発話発音が，さらに，“this” の発音を修正すると，最後の図にとネイティブスピーカーの発話の差異と距離を提示する．

示されているように，ユーザの発音とモデルの発音の差が

図 2（b）中に示すようにユーザの発話の波形とテキスト上

なくなる．この時点で，このセンテンスのスピーキングのでは，その差異が赤で示されており，この赤い部分が濃い

練習は終了となる．我々のシステムで発音の違いを文字上ほど，モデルの発話との差が大きいことを示している．まだけでなく波形上でも表示する理由は，違いがどこにある

た，距離に関しては学習者の発話とネイティブスピーカー

かをより正確にユーザに示すためである．文字ベースの差の発話それぞれをセンテンス単位で 2 次元座標上の点とし異の表示では，表示の単位が最小レベルでも音節単位となて表現する．ここで，赤色の点がネイティブスピーカーのる．しかし，もっと細かいレベルでの違いや単語間での違

音声，青色の点が学習者の音声で，これらの点の間の距離いがある場合もあり得る．そのようなわずかな違いをユーが大きいほどユーザの発話がネイティブスピーカーの発話

ザーが知りたいこともあると考え，波形を採用して差異をと異なることを意味する．ユーザは，システムに示される

表現している．

差異を消すように，距離が縮まるように自分の発音を修正

図 5(b) は，ユーザが発話の修正を繰り返すことでユーする．図 2（c）にはユーザが発話を修正したあとの例を示

ザの発話とモデルの発話の距離が近づいていく様子を表ししており，音声を修正することで差異が小さくなり，距離ている．ネイティブスピーカーの発音と学習者の発音は，が縮まっていることが分かる．このようにして音声を学習

図の二次元座標上の点で表現され．赤い点はネイティブス

することで，ユーザの発話がネイティブスピーカーの発話

ピーカー，青い点は学習者の発音である．これらの点の間に近づくことが期待できる．

の距離が大きいほど，ユーザの発話がネイティブスピー
カーの発話と異なることを意味する．ユーザはこれらの点

3.2 システムを用いた言語学習の間の距離が近くなるように発音を修正する．ここで，な

ここでは，ユーザがシステムを用いた学習により対象言ぜ「差異の可視化」だけでなく「距離の可視化」が必要なの語をうまく話すことができるようになるまでのプロセスか説明する．差異の可視化は，主に差異がどこにあるかをについて説明する．図 5 は，ユーザが音声の修正を繰り返

ユーザに伝えるためのものである．既存の多くの手法のよすことで，ユーザの発話とモデルの発話が近づいていく様

うに，イントネーション，リズム，音素などの細かい要因子を示している．システムはユーザの発話を分析し，学習で差異を評価すれば，ユーザが発音を変化させるたびにど者の発話とモデルの発話との差異や距離をユーザに提示のように発音が変化したかをある程度把握することはできする．差異については，図 5(a) に示すようにユーザの発る．しかし，学習者はこれらの特定の側面で発音を矯正し話の波形とテキストにおいて，ネイティブスピーカーとても必ずしも分かりやすさが向上するわけではないため，異なる部分が赤く示される．この例では，ユーザが最初に

我々のシステムではこのような指標を用いていない．そう“this was easy for us” というセンテンスを発話したとき，するとユーザは発音を変えたときに自分の発音がどのよう© 2022 Information Processing Society of Japan80

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

INT22009
2022/2/21

学習者 or ネイティブスピーカー︖
K-means

𝑧"

𝑧$

𝑧'

Projection

Classifier
𝑧% &"

⋯

𝑧%

Attention
Bi-LSTM

Transformer

⋯
𝑥"

𝑥'

CNN

𝑥% &"

⋯

⋯

CNN

⾃⼰教師あり学習モデル

教師あり分類モデル

図 4: 表現学習及び音声分類アーキテクチャに変化したのかを，テキストや波形のみから判断する必要

a 最初の発音bがあるが，これらだけではユーザの音声がどのように変化しているのか十分な情報を得ることができない．そこで，ユーザの発話とネイティブスピーカーの発話をそれぞれ 2次元上の点で表現すると，ユーザは発音を繰り返すたびに

発音の修正
（1回目）

発⾳の修正

…

This was easy for us

This was easy for us

自分の発音の点がどのように変化するのか軌跡を視覚的に確認することで，発話の変化を理解することができる．例

発⾳の修正

発⾳の修正

えば，ユーザが発話を繰り返すたびにある一定の直線や曲This was easy for us

線に沿ってユーザの点がネイティブスピーカーの点に近づc

いていけば，その発音の修正方法は正しい，すなわちその修正方法で発音を修正していけば効率的に発音を修正する
a → ⃝
b ，⃝
d → ⃝
e）
ことができることが分かる（図 5(b)⃝．

一方，発音を変えたときにそれまでの軌道上とは異なる場
所に急に点が移動した場合は，間違った方法で発話を修正
b → ⃝c）
している可能性があることを示す（図 5(b)⃝．

3.3 システム構成
本システムは，図 3 に示すように，4 つの主要な要素かThis was easy for us

発音の修正
（2回目）

d

学習完了

(a) モデルの発音との差異を消すプロセス
a 最初の発音

b

発音の修正
（1回目）

c 発音の修正（2回目）

ネイティブスピーカーの発⾳

発⾳の修正

発⾳の修正

…

ユーザの発⾳

発⾳の修正

発⾳の修正

らなる．

(a) 差異や距離を計算するための音声表現を学習(b) 学習者とネイティブスピーカーの音声を分類(c) 学習者とネイティブスピーカーの音声の差異を計算(d) 学習者とネイティブスピーカーの音声の距離を計算
3.3.1 表現学習

d

発音の修正
（3回目）

e 学習完了(b) モデルの発音との距離を近づけるプロセス

図 5: ユーザが発音を修正するプロセス

我々のシステムは機械学習，特に深層学習の技術を用いてユーザの音声とネイティブスピーカーの間の差異や距離

一方，ネイティブスピーカーの音声データは，ラジオやを計算する．そのため，システムを構築するためには学習

テレビ，動画共有サイトなど様々な情報源から入手でき，かする対象の言語の非ネイティブスピーカーとネイティブス

つ大規模なデータセットが多数存在する．そこで，本シスピーカーの両方の音声データが大量に必要となる．しかし，

テムでは少量の非ネイティブスピーカーの音声データだけ

学習対象言語を話す非ネイティブスピーカーの音声データ

でシステムを構築するために，このような大量のネイティ

や学習者の発話データを収集することは困難であり，通常

ブスピーカーの音声データを有効に活用する．ネイティブ

そのようなデータの大規模なデータセットは手に入らない．

スピーカーの音声データは，非ネイティブスピーカーもし© 2022 Information Processing Society of Japan81

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

INT22009
2022/2/21()
p̂(y | X) = softmax Wc (HαT ) + bc ,くは学習者の音声データとは異なるが，少なくとも他の言語の音声データよりは単語の発音や文構造は似通っている．

ŷ = arg max p̂(y | X),

そのため，大量のネイティブスピーカーのデータを使って

y

学習対象の言語の一般的な音声表現を学習し，少量の非ネ

ここで Wc と bc は学習可能なパラメータベクトルであり，

イティブスピーカーのデータを使ってそれを微調整する

α は 3.3.3 節で導入される attention の重みである．

ことで，少量のデータでも非ネイティブスピーカーの良い

3.3.3 差異の可視化

音声表現を得ることができる．この良質な音声表現を用い

ここでは，attention 機構を用いてユーザとネイティブス

ることで，非ネイティブスピーカーの音声データが少量でピーカーの音声の違いを可視化する手法の実装について説あってもネイティブスピーカーと非ネイティブスピーカー

明する．attention 機構は近年，質問応答，機械翻訳，音声の音声の分類や，ネイティブスピーカーと非ネイティブス

認識などの様々なタスクで成功を収めており，これらの分

ピーカーの差異や距離を算出することができる．

野で attention 機構はモデルの性能向上だけでなく，ニュー

近年，音声データから音声表現を学習するための自己

ラルネットワークモデルの解釈性を向上させるためにもよ

教師あり学習手法は急速に進化しており wav2vec [34] やく用いられている [2], [5], [12]．我々の手法では，音声デー

wav2vec 2.0 [1]，最近新たに発表された HuBERT [15] な

タを分類する際にシステムがどこに注意を向けているかをど，効率的なモデルが多く生み出されている．本論文では，可視化するために，単純な attention 機構を用いる．各タ

音声表現を学習するための最新の自己教師あり手法である

イムステップにおける音声の重要度を示す attention の重HuBERT を用いて，学習対象の言語の音声に共通する表

みは以下のようにして得られる：現を獲得する．図 4 左に示すように，このモデルは，CNN

α = softmax (Wa2 tanh(Wa1 H)) ,エンコーダー，Transformer，Projection 層の 3 つの主要要
素から構成される．このモデルに音声波形を入力すると，

ここで，Wa1 と Wa2 は学習可能なパラメータベクトルで，

まず音声波形を CNN を介して音声表現 X = [x1 , · · · , xT ]attention の重みは [0, 1] ∈ R の値をとる．図 6 のように，にマッピングする．この音声表現を Transformer に与え閾値 th よりも大きな値が得られたタイムステップでは，音ることで，音声全体の文脈表現 Z = [z1 , · · · , zT ] を得る．

声波形上で赤く強調して表示する．

学習中は，この CNN を介して得られた特徴は一部がラン

3.3.4 距離の可視化

ダムにマスクされ，マスクされた時刻の文脈表現 zt が，ここでは，ユーザとネイティブスピーカーの発音間の距k-means [25] を用いて別途入力音声をクラスタリングした離を可視化する手法の実装について説明する．ユーザとネクラスのいずれに属するかを Projection 層によって予測すイティブスピーカーの音声間の距離を計算する前にまず，る．我々のシステムでは，ラベルのないネイティブスピー

音声間の距離を計算するのに最適な距離を設計する必要

カーの音声データでこの HuBERT を学習した後，得られがある．本研究では，物体間の距離関数を学習する距離学た文脈表現 Z を用いて次の音声分類タスクを行う．

習 [21] を用いて距離を設計する．今回，距離学習の中で最3.3.2 音声分類

も主要なアプローチの一つである Triplet Loss[31] を使用

HuBERT を事前学習した後，このモデルを特徴抽出器として使用し入力音声データをネイティブの発話に近いする．Triplet Loss は以下の 3 つの音声のセットで学習される：か非ネイティブの発話に近いか二値分類する．ネイティ• 任意の音声サンプルである anchor

ブスピーカーの大量の音声データで学習された HuBERT• anchor と同じクラスの音声サンプルの positiveを特徴抽出器として使用し，入力音声 X から音声表現• anchor と異なるクラスの音声サンプルの negative

Z = [z1 , z2 , . . . , zT ] を得る．

Triplet Loss では，anchor 音声から positive 音声までの距得られた音声表現を各ステップ k 時刻ごとに結合し離を最小にし anchor 音声から negative 音声までの距離がて得られた時系列データ Z ′ = [z1′ , z2′ , . . . , zS′ ] が，Bidi-

最大になるように学習される．我々のシステムでは，ネイ

rectional LSTM (Bi-LSTM) [13], [32] に 入 力 さ れ る ．

ティブスピーカーの音声を anchor 音声とした場合，positive

こ こ で ，各 zs′ は ，Z を k 時 刻 ず つ 結 合 し た ベ ク ト ル

音声は対象のセンテンスの他のネイティブスピーカーのzt′ = [zk(s−1)+1 ∥ zk(s−1)+2 ∥ . . . ∥ zks ] である．そして，

音声，ネガティブ音声はそのセンテンスの非ネイティブス

Bi-LSTM から各時間ステップの隠れ状態 ht を得る．

ピーカーの音声となる．逆に，学習者の音声を anchor 音

最 終 的 に こ れ ら の 隠 れ 状 態 H = [h1 , h2 , . . . , hT ] を声とした場合，positive 音声は対象のセンテンスの他の非

ソフトマックス分類器を用いて，以下のようにラベル

ネイティブスピーカーの音声，negative 音声はそのセンテŷ ∈ {native, non-native} を予測する．

ンスのネイティブスピーカーの音声となる．このようにして，ネイティブスピーカーとネイティブスピーカー，非ネイティブスピーカーと非ネイティブスピーカーの音声© 2022 Information Processing Society of Japan82

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

INT22009
2022/2/21とでユーザにネイティブスピーカーとの距離を示す．

学習者とネイティブの差異の可視化

4. 実装
提案したシステムを評価するために，英語を母語としな
0.38

0.42

0.71

⋯

0.92

い日本人が英語（アメリカ英語）のスピーキングを学習するのを支援するシステムを構築した．

Attention⋯

4.1 データセット
英語を発話している音声データの普遍的な表現を得るた

HuBERT

めに，表現学習用の英語会話の音声データとして TIMIT

Acoustic-Phonetic Continuous Speech Corpus*1 を使用した．TIMIT には 6300 文の発話データが収録されており，
米国の 8 つの主要地域から集まった 630 人の話者がそれぞ
図 6: 差異の可視化アーキテクチャ

れ 10 文ずつ発話している．また，学習者の音声と英語を母語とする人の音声を分類したり，学習者の音声と英語を母語とする人の音声の差異や距離を計算するためのデータ

negative (学習者)
negative (ネイティブ)
positive (学習者)

positive (ネイティブ)

anchor (学習者)anchor (ネイティブ)

距離学習

セットとして UME-ERJ（English Speech Database Readby Japanese Students）*2 を用いる．UME-ERJ には，英語を母語としない日本人学生の発話と，英語を母語とする人の発話が含まれおり，日本人 202 人，英語を母語とする人

20 人が合計 806 文を発話している．すべての音声ファイ
ルは，シングルチャンネル 16000Hz のフォーマットに標準学習者の発⾳化し，データ長は 4 秒に揃えた．

ネイティブの発⾳

4.2 詳細設定
学習者とネイティブの距離の可視化

図 7: 距離の可視化アーキテクチャ

表現学習には，FAIRSEQ [28] による HuBERT の実装を使用し，デフォルトの設定に従った．このモデルを TIMIT
データを用いて学習し，英語の一般的な音声表現を獲得した．ユーザの発話とモデルの発話の差異を可視化するたのペアは近づき，ネイティブスピーカーと非ネイティブめの attention 層は 32 次元の隠れ層を持つものを，距離スピーカーの音声のペアは遠ざかるように学習される．

を可視化するための距離学習には，128 次元の隠れ層を持

3.3.2 節で紹介した非ネイティブスピーカーとネイティブ

つ Bi-LSTM と，512 次元の隠れ層を持つ線形層を使用しスピーカーの分類は音声データ全体の二値分類であるのた．また，分類モデルと差異・距離表示モデルの学習には，に対し，今回の距離学習ではセンテンスごと，ネイティブ

Dropout [33] を 0.5 の確率で使用することで過学習を抑制

スピーカー（非ネイティブスピーカー）ごとの音声を近づした．KaME-ERJ は英語を母語とする人の音声データよ

けるように学習する．これらの距離学習のための各入力音

りも日本人の音声データの方が多いという不均衡データで

声は，音声特徴抽出器として 3.3.2 節で説明した事前学習

ある．そこで，不均衡の影響を軽減するために誤差関数と済みの HuBERT を使用し，得られた特徴量は線形層に供して Focal Loss [24] を使用した．最適化アルゴリズムには給される．anchor 音声と positive 音声の間の距離を dap ，Adam [20] を用い，バッチサイズは 32，学習率は 10−4 とanchor 音声と negative 音声の間の距離を dan として，以した．さらに，ノイズへの耐性を高め，データ不足を解消

下の Triplet Loss を最小化するように学習する：

するために，以下のデータ拡張を行った．

Ltriplet = [dap − dan + m]+ .

• 背景にガウスノイズを加える• 音声の音量をランダムに増減させる

ここで m はマージンであり，anchor 音声と positive 音声• 音高をランダムに上下させるの距離と anchor 音声と negative 音声の距離の差はコサイ• ランダムに選択した音を消す

ン類似度を用いて求める．距離学習が完了すると，図 7 の下に示すように，あるセンテンスに対するネイティブス
ピーカーの発話とユーザの発話の平均値を点で描画するこ© 2022 Information Processing Society of Japan*1*2

https://catalog.ldc.upenn.edu/LDC93S1
http://research.nii.ac.jp/src/en/UME-ERJ.html

83情報処理学会 インタラクション 2022
IPSJ Interaction 2022

INT22009
2022/2/21

Amplitude

してくださいQ2 アプリケーションが示した熟練度の判定および差分・

0.6
0.4
0.2
0.0
0.2
0.4
0.6
0.0

距離の可視化は学習に役立つかを 5 段階で評価してく
ださい
Aca

0.5

dem ic

1.0

ap ti

tu de

guar an

tees

1.5

2.0
Time [s]yourQ3 アプリケーションでの学習後発音が向上したと思うか

diplo ma

2.5

3.0

3.5

4.0

図 8: 差異の可視化の例

を 5 段階で評価してくだいの 3 つである．アンケート結果は，Q1，Q2，Q3 それぞれ平均値が 4.0，3.6，4.0 であった．さらに，実験中の被験者の発話は録音しており，学習前と学習後の発音が明瞭になっているかを評価した．各センテンスにおいて最初の発

4.3 技術評価

話と最後の発話をピックアップし，英語を母国語とする 5

まず，非ネイティブとネイティブの発話音声の分類に関人に学習前と学習後のどちらの発話が分かりやすいかブラ

する評価について述べる．UME-ERJ の音声サンプルを，インドテストで判断してもらった．被験者 3 人，センテン

同一の話者が混ざらないように 8 : 1 : 1 で訓練セット，検ス 10 文，採点者 5 人の全 150 発話のうち，学習後の発話証セット，テストセットに分け，テストセットで評価をの方が分かりやすいと評価された発話は 121（=81%）で行った．非ネイティブとネイティブの発話の分類精度はあった．

F -measure で 0.99 であった．
ここでは，非ネイティブとネイティブの音声の差異を可視化するシステムの評価について述べる．UME-ERJ で評

5. 議論
5.1 評価価するためにあらかじめ選んでおいた 50 の日本語発話サ

音声分類の評価実験では，分類，差異・距離の可視化のンプルを 15 人の英語を母語とする人に評価してもらい，シ

モデルを学習するために用いた英語の非ネイティブスピー

ステムが指摘した部分と比較した．英語を母語とする人にカーである日本人のラベルありデータが少ないにも関わらは，日本語音声の中でネイティブスピーカーと発音が異なず，高精度に非ネイティブスピーカーとネイティブスピー

ると感じた部分を，音節レベルで指摘してもらった．英語

カーを分類できていることが分かる．これは，主に大量のを母語とする人が指摘した音節の総数のうち，システムがラベルなしデータを用いて自己教師あり学習をおこなった違いを指摘できた数を精度とした．この精度の算出方法の結果，良質な英語の音声表現を獲得できたために分類精度

例として，日本人が “Academic aptitude guarantees yourが向上したものと考えれられる．差異の可視化の評価実験

diploma” と話している際の評価の様子を図 8 に示す．図では，プロトタイプとしてのシステムの有効性は確認でき中の赤い部分が，システムがユーザの発音がネイティブス

たが，まだ精度は十分とはいえず，今後システムがより高ピーカーの発音と異なっていると指摘した部分である．一い性能を持つようにモデルを改良することが必要である．

方，英語を母語とする人の評価者が指摘した部分（音節）より高い精度を実現するためには，注目度の閾値をはじめは，aca，dem，ap，ti，tude，diplo と ma である．したがっとするモデルのパラメータの調整や，差異の可視化に適して，この例では，aca, dem, ap, ti, tude, はシステムにおた attention 機構の改良が必要と考えられる．また，今回

いて正しく指摘できているが，ic は正しく指摘することが扱ったデータより多くのサンプルでテストを行い，システ

できず，diplo, ma も指摘できていないということになる．

ムが正しく差異を指摘できない要素の共通点をより詳細に

attention の重みの閾値 th を 0.3 に設定したところ，英語分析する必要がある．ユーザ評価では，対象としたユーザを母語とする人が指摘した 84 部分のうち 50 個を指摘するが少ないため，今後より詳細な評価が必要であるものの，ことができ，結果として精度は 59.5% となった．

提案手法が第二言語のスピーキング学習において，学習者の補助になり，学習者の発音の分かりやすさを向上させる

4.4 ユーザ評価効果があることが分かる．発話の分かりやすさを評価する

DDSupport が第二言語のスピーキング学習に役に立つ

手法は様々提案されいるため，それらの指標でも学習者ののかを検証するために，ユーザーテストを実施した．ユー

発話を評価することで，アプリケーションの効果をより正

ザには英語のセンテンス 10 文の発話練習をアプリケーショ

確に検証できると考えられる．例えば，今回は学習者の学ンでおこなってもらった．実験の被験者には，英語を母国

習初期の発話と学習後の発話の 2 つのうち分かりやすい方語としない日本人 3 名を採用した．練習が 終わった後にを，評価者に選択してもらう方法をとったが，他にも，学その手法に関するアンケートを記入してもらった．質問内

習初期の発話と学習後の発話を評価者に書き取りしてもら

容は，い，どちらがより正確に書き取れるかで評価することもで

Q1 アプリケーションでの学習のしやすさを 5 段階で評価きる．この評価方法は今回の評価方法と違い，システムを© 2022 Information Processing Society of Japan84

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

通じて学習がうまくいく部分とそうでない部分を明らかに

INT22009
2022/2/21[2]

できるという利点もある．
[3]

5.2 技能獲得支援への展開
本論文では，学習者とネイティブスピーカーを識別し，それらの差異と距離を提示する言語学習アプリケーション[4]としてシステム構築をおこなった．しかし，本質的には本システムの機能は学習者と専門家（プロフェッショナル）の動作の識別及びそれらの差異と距離の提示をおこなうことである．また，ユーザの動作を表す時系列メディア情報[5]

であればその形は何であっても対応することができるため，
本システムの入力としては言語の音声データに限る必要は[6]ない．例えば，本システムで楽器学習支援アプリケーションを構築したければ，システム構成はそのままで，自己教師あり学習モデルでラベルなしのプロの演奏家の演奏音声で学習をすればよい．また，ユーザの動作を表す動画を入[7]

力としたければ，動画表現を学習する自己教師あり学習モ
デル [29] に変更し，ラベルなしの動画データで学習をすれば対応することができる．将来的にはこのシステムを応用[8]

し，スポーツ，クッキング，医療行為，演説など多種多様な分野において初学者の学習を支援するアプリケーション[9]を構築することが期待される．

6. 結論
本論文では，ユーザーの発話がうまくいっているかを判[10]断しユーザの発話とネイティブスピーカーの発話の差異や距離を提示することで言語学習を支援するシステムを提案した．本システムでは深層学習の技術の一つである自[11]

己教師あり学習を応用することで，学習者の技能レベルを判定する．また，深層学習モデルの解釈性を向上させる[12]attention 機構を用いて，ユーザの音声とネイティブスピー
カーの音声の差異を提示する．さらに，ユーザーの音声とネイティブスピーカーの音声の間の距離を，距離学習に[13]

よって設計された距離を用いて提示する．学習者は，これらの差異や距離を自分の目と耳でモデルの音声と比較し，[14]システムとインタラクションすることで徐々に発話を改善することが可能となる．今後，学習者の技能レベルを判定[15]

し，学習者と専門家の差異や距離を提示する提案手法は，本論文で対象とした言語学習だけでなくスポーツや楽器などさまざまな分野でのスキル習得支援システムへ応用され[16]ることが期待される．
謝辞 査読者には貴重な助言を頂きました．心より感謝
申し上げます．

[17]
[18]

参考文献
[1]

Baevski, A., Zhou, H., Mohamed, A. and Auli, M.:
wav2vec 2.0: A Framework for Self-Supervised Learningof Speech Representations, arXiv, pp. 1–19 (2020).

© 2022 Information Processing Society of Japan

Bahdanau, D., Cho, K. and Bengio, Y.: Neural MachineTranslation by Jointly Learning to Align and Translate(2014).
Brodkey, D.: Dictation as a Measure of Mutual Intelligibility: A Pilot Study, Language Learning, Vol. 22, No. 2,
pp. 203–217 (1972).
Bu, Y., Ma, T., Li, W., Zhou, H., Jia, J., Chen, S.,
Xu, K., Shi, D., Wu, H., Yang, Z. et al.: PTeacher:a Computer-Aided Personalized Pronunciation Training
System with Exaggerated Audio-Visual Corrective Feedback, Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems, pp. 1–14 (2021).
Chorowski, J., Bahdanau, D., Serdyuk, D., Cho, K. andBengio, Y.: Attention-Based Models for Speech Recognition (2015).
Culbertson, G., Shen, S., Jung, M. and Andersen, E.: Facilitating development of pragmatic competence througha voice-driven video learning interface, Proceedings ofthe 2017 CHI Conference on Human Factors in Computing Systems, pp. 1431–1440 (2017).
Derwing, T. M. and Munro, M. J.: Accent, Intelligibility,
and Comprehensibility. Evidence from Four L1s, Studies
in Second Language Acquisition, Vol. 19, No. 1, p. 1–16
(1997).
Derwing, T. M. and Munro, M. J.: Second Language
Accent and Pronunciation Teaching: A Research-BasedApproach, TESOL Quarterly, Vol. 39, No. 3, pp. 379–
397 (2005).
Edge, D., Cheng, K.-Y., Whitney, M., Qian, Y., Yan, Z.
and Soong, F.: Tip tap tones: mobile microtraining of
mandarin sounds, Proceedings of the 14th international
conference on Human-computer interaction with mobile
devices and services, pp. 427–430 (2012).
Eskenazi, M.: An overview of spoken language technology for education, Speech Communication, Vol. 51,
No. 10, pp. 832–844 (2009). Spoken Language Technology for Education.
Graves, A. and Jaitly, N.: Towards End-To-End Speech
Recognition with Recurrent Neural Networks, Vol. 32,
No. 2, pp. 1764–1772 (2014).
Hermann, K. M., Kociský, T., Grefenstette, E., Espeholt, L., Kay, W., Suleyman, M. and Blunsom, P.:
Teaching Machines to Read and Comprehend, pp. 1693–
1701 (2015).
Hochreiter, S. and Schmidhuber, J.: Long Short-term
Memory, Neural computation, Vol. 9, pp. 1735–80(1997).
Hönig, F., Batliner, A. and Nöth, E.: Automatic Assessment of Non-Native Prosody ― Annotation, Modellingand Evaluation，pp. 21–30 (2012).
Hsu, W.-N., Bolte, B., Tsai, Y.-H. H., Lakhotia, K.,
Salakhutdinov, R. and Mohamed, A.: HuBERT: SelfSupervised Speech Representation Learning by Masked
Prediction of Hidden Units (2021).
Hu, W., Qian, Y. and Soong, F.: A New DNN-BasedHigh Quality Pronunciation Evaluation for ComputerAided Language Learning (CALL). (2013).
Jenkins, J.: The Phonology of English as an International Language (2000).
Karhila, R., Ylinen, S. P., Enarvi, S., Palomäki, K.,
Nikulin, A., Rantula, O., Viitanen, V., Dhinakaran, K.,
Smolander, A.-R. M., Kallio, H. H. et al.: SIAK–a gamefor foreign language pronunciation learning, Proceedingsof INTERSPEECH 2017 Interspeech: Annual Conference of the International Speech Communication Asso-85

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

[19]
[20]
[21]

[22]

[23]

[24]
[25]

[26]

[27]

[28]

[29]

[30]

[31]
[32]

[33]

[34]

[35]

INT22009
2022/2/21

ciation, International Speech Communications Association (2017).
Kenworthy, J.: Teaching English Pronunciaton, pp. 4–8(1987).
Kingma, D. P. and Ba, J.: Adam: A Method for Stochastic Optimization (2014).
Kulis, B. et al.: Metric learning: A survey, Foundations
R in Machine Learning, Vol. 5, No. 4, pp.
and Trends⃝
287–364 (2013).
Lee, A. and Glass, J.: Pronunciation assessment via acomparison-based system, Speech and Language Technology in Education (2013).
Levis, J. M.: Changing Contexts and Shifting Paradigms
in Pronunciation Teaching, TESOL Quarterly, Vol. 39,
No. 3, pp. 369–377 (2005).
Lin, T.-Y., Goyal, P., Girshick, R., He, K. and Dollár,P.: Focal Loss for Dense Object Detection (2017).
Lloyd, S. P.: Least squares quantization in pcm, IEEE
Transactions on Information Theory, Vol. 28, pp. 129–137 (1982).
Marianne, C.-M., Brinton, D. M. and Goodwin, J. M.:
Teaching Pronunciation Paperback with Audio CDs (2):A Course Book and Reference Guide (2010).
Munro, M. J. and Derwing, T. M.: Foreign Accent, Comprehensibility, and Intelligibility in the Speech of Second
Language Learners, Language Learning, Vol. 45, No. 1,
pp. 73–97 (1995).
Ott, M., Edunov, S., Baevski, A., Fan, A., Gross, S., Ng,
N., Grangier, D. and Auli, M.: fairseq: A Fast, Extensible Toolkit for Sequence Modeling, NAACL HLT, pp.
48–53 (2019).
Qian, R., Meng, T., Gong, B., Yang, M., Wang, H., Belongie, S. J. and Cui, Y.: Spatiotemporal Contrastive
Video Representation Learning, CoRR (2020).
Robertson, S., Munteanu, C. and Penn, G.: Designing
Pronunciation Learning Tools: The Case for Interactivity against Over-Engineering, p. 1–13 (2018).
Schultz, M. and Joachims, T.: Learning a Distance Metric from Relative Comparisons, Vol. 16 (2004).
Schuster, M. and Paliwal, K.: Bidirectional Recurrent
Neural Networks, Signal Processing, IEEE Transactions
on, Vol. 45, pp. 2673 – 2681 (1997).
Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever,I. and Salakhutdinov, R.: Dropout: A Simple Way to
Prevent Neural Networks from Overfitting, Journal of
Machine Learning Research, Vol. 15, No. 56, pp. 1929–
1958 (2014).
Steﬀen, S., Alexei, B., Ronan, C. and Michael, A.:
wav2vec: Unsupervised Pre-training for Speech Recognition, INTERSPEECH, pp. 3465–3469 (2019).
Wang, Y., Skerry-Ryan, R. J., Stanton, D., Wu, Y.,
Weiss, R. J., Jaitly, N., Yang, Z., Xiao, Y., Chen, Z.,
Bengio, S., Le, Q. V., Agiomyrgiannakis, Y., Clark, R.
and Saurous, R. A.: Tacotron: Towards End-to-End
Speech Synthesis, pp. 4006–4010 (2017).

© 2022 Information Processing Society of Japan86