情報処理学会 インタラクション 2022
IPSJ Interaction 2022

4D072022/2/21

身体運動による英語リズムの学習支援システムの開発
瀬川 りさ1,a)

鈴木 優1,b)

概要：多くの人が第二言語として世界標準の言語とされる英語を学習する．その英語の発音指導の目標は，時代とともに変化しており，現在は明瞭性が重視される．発音の要素のうちリズムの学習では，母国語と異なるリズムである場合困難を伴う．本研究では，コンピュータを用いた方法による英語のリズムを身につけるために効果的な学習方法の実現を目指して，身体運動による英語リズムの学習支援システム「リズワン」の開発を行った．リズワンは，英語の音響的な非等時性に着目し，英文の音読とともにその強勢部分で身体の揺れの動きを連動することによって英語のリズムの学習支援を行う．

1. はじめにの位置によって文章のリズムが決まるというこの強勢のリズムが，英語の音声に assimilation(同化) や reduction(縮世界の多くの人々は，母国語の他に第二言語を学習す

約) や deletion(省略) などを起こさせる原因となっており，る．その中でも多くが第二言語として世界標準の言語とさこのような音の変化が理解できていないために聞き取りがれる英語を学習する．その英語の発音指導の目標は，時代困難になると説明した．

とともに変化してきた．かつての優先事項は「発音の正確以上より，言語のリズムの学習をすることが発話の明瞭さ」であった．しかしながら，その後，コミュニカティブ性を向上させるために有効であることがわかる．しかしなアプローチが主流になった 1980 年からは，言語はコミュ

がら，リズムが異なる言語を学ぶとき，リズムが同様であニケーションのために用いるべきであるという考え方に基る言語を学ぶ時に比べて発音の習得が難しい．

づき，発音指導の目標も「正確性」から「わかりやすさ」に

母国語とは異なるリズムを獲得するには，正しいリズム変わった [1]．現在の発音指導の目標から，英語において，を単に知識として知るだけでなく，練習およびフィード他者に話す内容が伝わりやすい発音を身に付けることは重バックの反復を必要とする．フィードバックを得るには，要である．

その言語の発音法に精通した教師に指導を受けるのがよい．

すべての言語は，リズム類型論上，音節拍 (syllable-timed)

しかしながら，指導を受ける場所および時間は限定される．

あるいは強勢拍 (stress-timed) のどちらかに分類できるとこのような課題を解決するために，本研究では指導者に依される [2]．音声拍リズムにおいては，それぞれの音節が同存しない，コンピュータを用いた方法を検討する．本研究じ時間で発話される [3]．一方，強勢拍リズムにおいては，の目的は，コンピュータを用いた方法による言語のリズム強勢と強勢との間がほぼ同じ時間で発話される．日本語とを身につけるために効果的な学習方法の実現である．

英語とは，それぞれ音声拍と強勢拍とに分類される．日本語のリズムはモーラ拍 (mora-timed) と呼ばれるが，基本的には音節拍の一種である．音節拍を母語にもつ者が強勢

2. 英語の音響特性
2.1 言語のリズム

拍リズムの外国語 (例えば英語) を学ぶと発音の習得でも苦

第 1 章で述べたように，英語と日本語とはそれぞれ異な労するが，それには両言語間のリズム上の差異も大いに関るリズム体系に属する．英語は強勢拍リズムで，日本語は与する [4]．

音声拍リズムの一種である．音声拍リズムにおいては，そRost[5] によると，聞きとることに関しても，英語のリズれぞれの音節が同じ時間で発話される [3]．一方，強勢拍リムが理解できていないと困難を生じる．その理由は，強勢ズムにおいては強勢と強勢との間がほぼ同じ時間で発話される [4]．日本語および英語のリズムの違いについて，例文

1a)b)

宮城大学
Miyagi University, 1-1 Gakuen, Taiwa-cho, Kurokawa-gun,
Miyagi 981-3298, Japan
p1720128@myu.ac.jp
suzu@myu.ac.jp© 2022 Information Processing Society of Japanを挙げて説明する．
英語の例文 1 では，音節ごとに縦一本線で区切り，強勢が起こる音節は “○” で示す．強勢から次の強勢の直前ま540情報処理学会 インタラクション 2022
IPSJ Interaction 2022

4D07
2022/2/21

繰り返し唱えるという練習法である．Celce-Murcia et al.

例文 1: 英語音節

This

強勢○

isthehousethatJackbuilt.

○○○[14] によると，強勢拍リズムの練習に焦点をあてた練習に着目したのがジャズチャンツである．チャンツを用いることによる強勢拍リズムの習得における効果は，Kawai[15]例文 2: 日本語
音節

これはジャックがたてたいえだ

音節拍○○○○○○○○○○○○○○が立証した．一方，チャンツには，強勢拍リズムの音響的な非等間性に対応できないという問題がある．

2.2.1 音響的な非等時性によるチャンツの問題
チャンツを利用するリズム教育がよく知られるが，これでの，縦二重線で区切られたそれぞれの塊をフット (foot)らのリズム 指導法はどちらも「英語はフットレベルで等時と呼ぶ．英語はそれぞれのフットの発音に要する時間がほ性が存在する」という前提に立つ [4]．しかしながら，英語ぼ同じになる傾向を持つ．英語の場合，各フットがほぼ等は音響的には等時的ではないために，チャンツのリズムとしい長さをもつため，長い音節と短い音節が混在する．

英語の自然な発話のリズムとの間に違いがあることが問題

日本語の例文 2 では，すべてのモーラが持つ等しい拍をとなる．歌やチャンツの持つリズムが，必ずしも自然な発“○” で示す．モーラとは，日本語で単語を分節し，その長話のリズムと同じではないために，選曲に十分な配慮が必さを測る単位である [6]．日本語の場合，各モーラが等しく要だとする見解もある [16]．

なる [7]．

2.1.1 英語の等時性

また，松永 [17] は，実際の指導場面において，音節拍リズムに慣れた日本語母語話者である担任や児童だけでなく，Abercrombie[2] によると，英語は発話時に強勢の生起が英語母語話者である ALT(Assistant Language Teacher) も等間隔に繰り返される言語であるという知見は 18 世紀後半

ジャズ・チャンツに乗りづらそうにする場面が見受けられに生まれた．Abercrombie が等時性の生じる強勢間をフッると述べた．このように，英語が音響的には等時的ではな

ト (foot) と名付けたことで，言語である英語のリズム構造いことにチャンツが対応できないために，問題が起こるこが音楽 におけるリズム構造同様に理論的に説明されるようとがある．になった．音楽でいうところの小節 (measure) がフットにあたる．

2.1.2 音響的な非等時性と認知における等時性

3. 関連研究
特別な教材を用いずに実践できる最も一般的な手法は，Shen et al. [8] は，録音した英語発話のフット長を正確文章の音読である．MURAO[18] は，文章の音読を行うこに測定した．測定したフット長は実際には極めて不均一でとによる言語のリズム学習の効果を検証した．「パラレルあったことから，フットの等時性を否定した．実際は，英リーディング」という，対象のテキストの英文を音源の音語母語話者はばらつきの見られる実際の物理的フット長を声と同時に音読する方法および，「リピート」，つまり，対知覚の際に等間隔に認知することがわかった [9] ．

象のテキストの英文を音源の音声が読まれた後に音読する

英語においては，フット内の音節数の増加に伴って音節方法について検証した．実験の結果，いずれの方法を用い持続時間が短縮される．これを compensation eﬀect と呼ても言語のリズム学習には有効でないことがわかった．しぶ [10]．compensation eﬀect が各フット内の音節の長さをたがって，本研究では音読のみでなく，複数の方法を取り調整するのは，一連のフット長をより等時的な状態に近づ入れたアプローチを用いることとする．

けるためであるといわれている [11] ．このフット内で音節

真崎 [16] は，言語のリズム学習において，筋感覚と文強数が増えると全体を収縮 (squeeze) させようとする力が働勢とを連動させる手法を提案した．身体運動における跳躍く現象は，フット内で等時性を与えようとする心理が働くの動きの筋感覚と，言語のリズムにおける声の強弱とを連ためである [4]．

動させる．まず，指導者が扱う英文について説明を行う．

実際の音響的なフット長は，フット内の音節数の他に，その後，練習者は指導者の音声指導を受ける．指導の内容

その音節が強勢音節であるか，あるいは非強勢音節であるは，英文の音読を行いながら，英文における文強勢のタイか，音節を構成する音素の種類，発話スピード，および発ミングで身体をスウィングする動きを行うものである．こ話の方法（例えば，はっきりと話しているか，あるいはリの手法において言語のリズム習得の効果が見られたが，こラックスして話しているか）などの複合的な要因によっての手法では，フィードバックを得られるのは指導者がいる

決まる [12], [13]．したがって，完全に「正確な」フット長ときのみであり，指導を受ける場所，時間が限定されるこは存在しない．とが課題であるため，本研究では指導者を必要としないアプローチを用いる．

2.2 チャンツ
チャンツとは，音楽やリズムに合わせ，英単語や英文を© 2022 Information Processing Society of Japan

Lappe et al. [19] によると，リズムのトレーニングの際に，聴覚と運動とを用いることで，聴覚のみを用いるより541

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

も習得が効率的になる．Lappe et al. は，被験者を，ピア

4D072022/2/21

容とする．

ノを弾くことでリズムを練習するという，聴覚と運動とを用いて練習を行うグループと，そのグループの練習するピ4.3 本システムの対象者

アノの音を聞くことでリズムを身につけるグループとの 2

本研究で扱う学習内容を，英語の発音のうちリズムに限つに分けた．実験の結果，リズムの精度が高かったのはピ定するために，本研究の対象者は，英語の義務教育を終えアノを弾くことでリズムを練習したグループであった．

た者とする．調音上の厳密さは求めないが，ユーザは対象

この結果には，「脳の可塑性」が関連する．脳の可塑性とは，脳の機能形成のために，柔軟にその構造を変化させる仕組みである．シナプスの可塑性のメカニズムが，一生にわたって持続し学習を可能にする [20]．聴覚と運動とを用
いて練習を行ったグループは，脳の可塑的変化が大きかっの英文のうち，母音および子音の分節的音素をどのように発音するかを理解していることを前提とする．

5. 英語リズムの学習支援システム「リズワン」
5.1 システムの概要

た．これは，リズムの習得が短期的ではなく，持続的なも「リズワン」は，身体を揺らす動きで犬のキャラクタをのであったことを示す．真崎 [16] の研究において身体運動操作し，タイミングよくボールの垂直投げ上げを行うことが有効であったのは，聴覚と運動とを同時に用いたことでで英語の強勢拍リズムを練習するシステムである．ユーザ

脳の可塑的変化が聴覚のみを用いるよりも大きく，そのたは与えられた英文を音読しながら，強勢を起こすタイミンめによりリズム習得の効果があったと考察する．この結果

グで身体を揺らすことで犬にボールをシュートさせる操作を受け，本研究では聴覚と運動とを用いたアプローチを用を行う．身体の揺れを取得するために，バランス Wii ボーいる．

ドを用いる．

4. アプローチとデザイン指針
4.1 アプローチ

5.2 システム構成
リズワンのシステムは，ディスプレイ，PC(Mac OS

3.2 節で用いた手法では指導者を必要とする．ゆえに，バージョン 11.6)，Unity(バージョン 2020.3.19f1)，Google

フィードバックを得られるのは指導者がいるときのみであCloud Platform Speech-to-Text, 有線マイクおよびバランり，指導を受ける場所および時間が限定されるため，本研ス Wii ボードで構成される (図 1) ．

究では指導者を必要としないことを目標とする．

3.1 節から，単純な音読ではリズム習得の効果が見られないことがわかる．3.2 節では，身体運動および音読を組み合わせた練習によってリズム習得の効果が見られたため，本研究ではアプローチに身体運動を取り入れる．

4.2 デザイン指針
第 4 章で述べる関連研究の各問題点を解決するために，

音声認識 :
Google Cloud Platform
Speech-to-Text

マイク 有線接続• 音響的な等時性を求めない

PC

Bluetooth 接続
OSC 通信バランス Wii ボード

本研究では以下の条件を満たす指針に沿う．

• 等時性を意識させる

ディスプレイ

OS: Mac( バージョン 11.6)
アプリケーション :Unity( バージョン 2020.3.19f1)

図 1: システム構成
バランス Wii ボードは，ユーザの身体の揺れを取得するために用い，コンピュータとの接続は Bluetooth で行う．

PC へのデータの送信には OSC 通信を用いる．マイクは前者について，2.2 節で述べたとおり，強勢拍リズムのユーザの音読する音声の取得のために用いる．取得した音言語においては強勢が周期的にあらわれる．英語話者は，声を Google Cloud Platform の Speech-to-Text を用いてこの周期性を意識して発話を行う．したがって，本システ

文字に起こし，そのテキストデータをシステム上の音読判

ムの学習コンテンツは，ユーザが発話の際に強勢を周期的定に用いる．ユーザが揺れながら画面を見やすいように，に起こすことを意識できる内容であると同時に，ユーザが大きなスクリーンを用いて画面を表示する．システムの開

この等時性は自然に起こるのではなく，発話の際に自発的発は Unity で行った．に作るものであることを意識できる内容とする．
後者について，英語の等時性は知覚の際の印象であり，音響的に等時的ではないため．本システムの学習コンテンツは，ユーザは等時性を意識するが，厳密にそれぞれのフット長が同じであることは求められないことが伝わる内© 2022 Information Processing Society of Japan

5.3 使用方法
1 および○2 の 2 つの段階がある．
システムには，○
1 対象となる英文の音読練習をする段階 (図 2(a))○
2 対象となる英文の音読を，身体の揺れを用いて練習す○542

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

4D07
2022/2/21

る段階 (図 2(b))
1 の段階では，モデルとなるネイティブスピーカによる○読み上げ音声が再生された後，ユーザはマイクに向かってフット長対象の英文の音読を行う．任意の回数音読を繰り返した後強勢

2 の段階へ進む． ○2 の段階では，○1 と同様の読み上げ音○

次の強勢声がはじめに再生された後．ユーザは画面に表示された英文，犬およびボールを見ながら音読および揺れの操作を行う．画面に表示された英文を音読しながら，その文で強勢が起こるタイミングで身体を揺らす動作によって犬を操作し，ボールを打つ．

図 3: 等時性の表現

ス (UME-ERJ)[21] のうち，米語母語話者を対象として収録されたデータセットを使用した．

5.5 機能5.5.1 ユーザの発話速度に基づくフット長計算機能
本システムでは，ユーザの発話速度に基づいてフット長を算出する．まず，対象の英文のそれぞれのフット長の比を求める．フット長は，2.1.2 節で述べたように一意に決ま(a) 音読練習の段階ることがないため，あらかじめ音声ファイルのうち，それぞれの音節が何秒時点で発音されたかを手動で記録し，それをもとにフットの比を求めて記録する．次に，5.3 節で1 の段階において，システムはユーザの音読練習時述べた○の音声から，一文の音読にかかった時間を取得する (図 2)．
音読にかかった時間とあらかじめ求めたフット長の比を用いて，対象の英文に含まれるそれぞれのフットのフット長を計算する．

(フット長) = (一文の音読にかかった時間) × (対象英文の音声ファイルにおいて特定のフットの発音にかかった時(b) 英文の音読を身体の揺れを用いて練習する段階

間) / (対象英文の音声ファイル全体の時間)

図 2: ユーザが学習を行う画面
例えば，ユーザが例文 1 を音読するのにかかった時間
強勢が起こる音節のタイミングでボールが犬の頭上に来が 5.00 秒であるとすると，“This is the” からなる最初のる．そのタイミングでボールを打つとボールが垂直に空中

フットのフット長は，以下のように計算する． 次のフッに上がる．ボールが空中に上がってから再び犬の頭上にトの一番初めの音節 “house” は 0.75 秒時点で発音が開始戻ってくるまでの間がフット長を表す．つまり，フット長されるため，それまでは，対象のフットの最後の音節であが長いほどボールが高く飛び，ボールの滞空時間が長くる”the” の発音が継続すると考える．つまり，「対象英文なる．の音声ファイルにおいて特定のフットの発音にかかった時

例えば，例文 1 においては “This”, “house”, “Jack”, お
よび “bulit” がそれぞれ文強勢をもつ．ユーザは，この英文を音読しながら，これらの音節を音読するタイミングで身体を揺らす動作を行う (図 3)．

間」は，“house” の発音が開始されるまでの 0.75 である．
各音節発音開始時の音声ファイルの経過時間

0.00, 0.25, 0.50, 0.75, 1.00, 1.25
音声ファイル全体の時間 1.50
フット長 5.00 × 0.75 / 1.50 = 2.50

5.4 音声データセット
本システムで使用するネイティブスピーカによる読み上げ音声は，日本人学生による読み上げ英語音声データベー© 2022 Information Processing Society of Japan

1 の段階から○2 の段階に移行する際に，計算したフット○長をボールが上がる高さに反映させる．

543情報処理学会 インタラクション 2022
IPSJ Interaction 2022

4D07
2022/2/21

5.5.2 身体の揺れを取得してシステムを操作する機能
身体の揺れを取得するためにバランス Wii ボードを用いる．バランス Wii ボードは，4 つ角それぞれにストレイン[4]

ゲージ式フォースセンサを内蔵しており，ユーザの重心を取得できる．
身体を揺らすと重心が大きく変わるため，毎フレーム取

[5]
[6]

得する重心の数値についてフレーム間で差をとり，その値が任意のしきい値を超えた時に揺れの判定を行う．重心[7]は，縦方向および横方向の二次元座標で表されるが，横方[8]向の揺れと比較して縦方向の揺れの方が身体の動きとして自然であるため，縦方向の数値を対象に判定を行う．判定
した身体の揺れによって犬がボールを打つ操作を行う．

5.5.3 ユーザの強勢タイミングの判定機能
ユーザが強勢を起こしたタイミングについては，以下を用いて判定を行う．

[9]
[10]
[11]

(A) 揺れ判定を行なった時のボールと犬の頭上との距離(B) 犬の頭の頭上にボールが触れていた時間[12]

揺れのタイミングが適切な強勢のタイミングよりも早かった場合，すなわち，まだボールが犬の頭上にとどかないうちに揺れの操作を行った場合に (A) の判定を用いる．

[13]

前述のとおり，ボールが犬の頭上を離れてから垂直投げ上げを経て再び犬の頭上に戻ってくるまでの間がフット長を表すため，ボールと犬の頭上との距離から，タイミングの[14]適切さを計算することができる．
揺れのタイミングが適切な強勢のタイミングよりも遅[15]

かった場合に (B) の判定を用いる．すなわち，ボールが犬の頭上に触れてから時間が経過した場合である．ボールが犬の頭に触れてからの時間経過を保持し，判定に用いる．

[16](A) あるいは (B) の判定を行い，適切であった場合および適切でなかった場合を，それぞれ異なるエフェクトを表[17]示することによってユーザにフィードバックを行う．

6. おわりに[18]

本研究では，英語の等時性と音響的非等時性および身体によるリズム習得の効果に着目し，身体運動による英語のリズムの学習支援デバイス開発を行った．バランス Wii
ボードを用いて身体の揺れを取得し，英文を音読しながら，強勢が起きるタイミングで身体を揺らすことで英語のリズ[19]

ム学習を行うシステムを開発した．
今後は英文字幕部分の改良が課題となる．その後に効果を実証する実験を行う．

[20]

参考文献

[21]

[1]
[2]
[3]

視覚・聴覚効果の分析. Computer ＆ Education, Vol. 16,
pp. 95–101, 2004.
大高博美, 神谷厚徳. 英語のリズムにおけるフットの等時性 : 等時性仮説の真偽検証. 言語と文化, 16 号, pp. 17–23,
2013.
M. A. Rost. 話されている英語は「速さ」によってどう変化しているのか, pp. 114–119. アルク, 1983.
窪薗晴夫. モーラと音節の普遍性. 音声研究, 第 2 巻, 第 1号, p. 6, 1998.
服部義弘. 朝倉日英対照言語シリーズ 2 音声学. 株式会社
朝倉書店, 2012.
Y. Shen and G. G. Peterson. Isochronism in English,
Vol. 9 of Studies in linguistics, pp. 1–36. Buﬀalo, Department of Anthropology and Linguistics, University ofBuﬀalo, 1962.
I. Lehiste. Isochrony reconsidered. Jour. of Phonetics,
Vol. 5, pp. 253–263, 1977.
C. A. Fowler. Timing control in speech production. Indiana University Linguistics Club, 1977.
C. Hoequist Jr. Durational correlates of linguistic
rhythm categories. Phonetica, Vol. 40, No. 1, pp. 19–31, 1983.
Alice Turk and Stefanie Shattuck-Hufnagel. Timing intalking: what is it used for, and how is it controlled?
Philos Trans R Soc Lond B Biol Sci., Vol. 19, No.
369(1658), p. 2, 2014.
Hosung Nam, Elliot Saltzman, Jelena Krivokapic, andLouis Goldstein. Modeling the durational diﬀerence ofstressed vs. unstressed syllables. In Proceedings of the
8th Phonetic Conference of China, 2008.
Celce-Murcia M. and D. M Brinton. Teaching pronunciation: A reference for teachers of english to speakers ofother languages. Cambridge University Press, 1996.
K. Kawai. Eﬀects of chant practice on acquisition ofstress-timed rhythm: a comparison of three english proﬁciency levels. JACET 東北支部紀要, 第 5 号, pp. 12–26,2014.
真崎克彦. 英語活動でチャンツを用いて指導した効果の研究. 小学校英語教育学会誌, Vol. 13, No. 0, pp. 179–194,2013.
松永健治. 英語と日本語のリズムの違いに着目した音声指導—強勢拍リズムを身に付ける英語活動—. STEP
BULLETIN, Vol. 17, pp. 221–234, 2005.
Remi MURAO andTsunehisa ISAJI, Shunsuke TANEMURA, Hiroshi SHIRONO, Junko YAMANAKA, Junko
ISHIKAWA, Tadashi NORO, and ARELE.
Does
reading-aloud training facilitate the improvement of english stress-timed rhythm? a comparison between repeating and parallel reading. Annual Review of English Language Education in Japan, Vol. 29, pp. 289–304, 2018.
Claudia Lappe, Laurel J. Trainor, Sibylle C. Herholz,and Christo Pantev. Cortical plasticity induced by shortterm multimodal musical rhythm training. PLoS ONE,Vol. 6, No. 6, pp. 1–8, 2011.
塚田稔. 芸術脳の科学 脳の可塑性と創造性のメカニズム,
p. 40. 株式会社講談社, 2015.
音声資源コンソーシアム. Ume-erj. https://research.
nii.ac.jp/src/UME-ERJ.html.

川井一枝. 英語発音指導におけるチャンツの有効性. いわき明星大学人文学部研究紀要, Vol. 28, pp. 202–203, 2015.
David Abercrombie. Syllable quantity and enclitics inEnglish, pp. 216–222. London : Longmans, Green, 1964.
中野秀子, 奥田裕司, Rodger Williamson. コンピュータを利用した英語リズムパターン学習におけるリズム提示の© 2022 Information Processing Society of Japan544