超早口音声の聴取訓練における単語親密度とメンタルワークロードの検討∗○西本 卓也 (東大), △瀬川 亜希, △渡辺 隆行 (東京女子大)

1 はじめに
視覚障害者のインターネット利用においては，情報取得の効率性が重視されており，晴眼者の想像をはるかに超える早口の音声合成が用いられる．
近年コーパスベース音声合成の技術が普及し，自然で明瞭な人間らしい音声を任意のテキストから合成できるようになった．しかし前述した視覚障害者のニーズに，音声合成技術がどのように応えるべきなのか，明らかになっているとは言えない．
3 倍速・4 倍速という合成音声は初めて聞く人にはほとんど聞き取れない．視覚障害者においてもこれは同じだとされており，学習効果に着目することは非常に重要である．
また「学習を必要とする作業」とは「疲れる作業」である可能性が高い．音声化ソフトを使用する視覚障害者はしばしば「疲れる声」「疲れない声」の存在を示唆する指摘をしている．早口音声を提供するにあたっては「多く聞き取れる」ことと「楽に聞き取れる」ことの両立が必要である．そして，聞き取ることが楽であるかどうかは，「その単語を知っているか」
すなわち単語親密度にも依存する．
このような観点から，我々は早口音声の了解度と心的負荷の関係を調べている [1]．本報告では，既発表の実験 [2, 3] の被験者数を増やした結果と，被験者への教示を変えた実験について報告する．

2 関連研究視覚障害者の音声利用

2.1

渡辺 [4] は日本国内で視覚障害を持つ PC 利用者がスクリーンリーダの音声をどのように設定しているか実状を調査した．その報告によると，多くの利用者はソフトウェアにおいて設定可能な最高の読み上げ速度を選択しており，これは一般的な読み上げ速度の約 2 倍であった．
視覚障害を持つ人々がどの程度の早口音声を聞き取ることができるか，といった検討を浅川らが行っている [5]．日本語の文章を読み上げた音声を時間伸縮機能によって早口化し，視覚に障害を持ちスクリーンリーダの熟練者である複数の被験者がこれを聴取した．文章に含まれる単語の約 90%を聞き取ることができる話速を「最適速度」と定義し，約 50%の単語を聞き取ることができる話速を「最高速度」と定義し，合成音声の利用に熟練した被験者によって評価した結果，最適速度は約 18 モーラ／秒，最高速度は約23 モーラ／秒であった．

2.2

音声聴取と学習効果

自然性や明瞭性が十分ではないテキスト音声合成への学習効果については，渡辺の報告 [6, 7] がある．
早口音声に関する検討ではないが，合成音声の累積受聴単語数が 5000 単語くらいまでは聞き続けるほど単語了解度が上がり，1〜2ヶ月の休止後の受聴テスト再開時も了解度が低下しない，とされている．
音声知覚の観点から言語間の早口音声への適応について検討した研究 [8] によると，母語の違い，特に言語同士の音韻体系や言語の持つリズムの違いが早口音声への適応能力に影響を与える，とされる．これは音声聴取のボトムアップ情報に関する学習やその転移に着目した研究と言える．
これに対して我々は，超早口音声の聴取におけるトップダウン情報が重要であること，学習の効果もトップダウン情報への関与が大きいこと，などを示唆する一連の実験を行ってきた．具体的には，数字の早口合成音声を聴取する実験を行い，了解度における学習の効果や加齢の影響について検討してきた．
まず，晴眼の若年者（大学生）における 4 桁の数字を対象とした実験を通じて，早口音声は最初は聞き取りにくいが，しばらく聞いていれば特別な訓練（提示した早口音声に対して正解を示すこと）を行わなくてもある程度は聞き取れるようになる，という学習効果が確認できた [9]．
また，晴眼の若年者および 65 歳以上の高齢者における実験の結果，学習前における若年者と高齢者は 4桁の数字を同じ程度聞き取れていること，学習による了解度の向上は若年者でのみ顕著であること，高齢者は数字を聞き取れてはいるものの順序を正しく記憶することが困難であること，などが明らかになった [10]．

2.3

聞き取りやすさの主観評価と心的負荷

了解度は音声伝達性能の評価基準として重要ではあるが，「聞き取りやすさ」あるいは「聞き取りにくさ」といった主観評価値も単語了解度を補完する尺度であることが文献 [11] などで指摘されている．
これに関連して，音声をヒューマンインタフェースの手段として考えると，心的負荷も音声聴取課題の評価に有用と考えられる．また，心的負荷の比較を通じて，音声聴取に影響を与える要因の詳細な検討が行える可能性もある．

3 実験の概要
3.1

提示する音声親密度別単語了解度試験データベース FW03[12] の録音音声から高品質の 4 倍速音声（約 20 モーラ／秒）∗The Word Familiarity and the Mental Workload on Listening to Ultra Fast Speech. by Nishimoto Takuya (The University of Tokyo), Aki Segawa and Watanabe Takayuki (Tokyo Woman’s Christian University)

を作成した．サンプリング周波数は 48KHz のまま使用した．話速変換時のスペクトルのひずみを最小化するように繰り返し計算で振幅と位相を最適化する手法を用いている．音韻バランスやアクセント型に加えて読み上げ速度や単語親密度も統制された同一話者の 4 モーラ単語である．

3.2• 知的・知覚的要求（小さい／大きい）• 身体的要求（小さい／大きい）• タイムプレッシャー（弱い／強い）• 努力（少ない／多い）• フラストレーション（低い／高い）• 作業成績（良い／悪い）
被験者は負担度評価の対象となる作業を遂行する前に，下位尺度の重要度を評価する．作業のあとで被験者は6 つの尺度それぞれに対する評定を（本研究では 0〜100 のスクロールバー操作によって）行う．重要度の評定に基づいて，下位尺度の評定値の mean weighted
workload score (加重平均作業負荷得点: WWL 得点）を求める．本実験では重要度が最上位と評価された尺度から順に重みを 6〜1 とした．
実験用ソフトウェア

Windows 用ソフトウェア Kiki-WWL を作成した．
課題間の値の大小関係を意識した評定が行われるように考慮した．尺度の説明においては「作業成績＝すべて正しく聞き取って書き取る（入力する）ことが目標」「知的・知覚的要求＝聞くことを含む」「身体的要求＝聞くこと・書くこと・喋ることを含む」などを補足した．
この他に，課題音声を提示するためのプログラムも作成した．
3.4

予備実験

予備的実験として，単語親密度の異なる音声を話速を変えて聴取する実験を行い，単語了解度の検討と合わせて NASA-TLX によるメンタルワークロード測定を行った [1]．その結果，話速を 2 倍に変換して低親密度の単語を提示した場合に，特に顕著な了解度の低下と心的負荷の上昇が見られ，実験手法の妥当性が示された．

3.5

L-L-L
H-H-L
L-L-H
H-H-H

NASA-TLX

心的負荷を評価する手法としては生理的尺度や客観評価（2 重課題法など）があるが，主観評価は評価実験が簡便であり，客観評価と比較して感度の高い評価が行える可能性もある．一方で，被験者の内観によって信頼できる結果を得るために十分な配慮と結果の検証が必要となる．
NASA-TLX (Task Load Index)[13, 14] は以下の 6 つの下位尺度によってメンタルワークロードを評価する主観評価手法である．

3.3

Table 1 Experimental setup.
Group Trial 1 Trial 2 Trial 3

実験手順

被験者は課題の音声を聴取したことがない大学生（女性）で日本語を母国語とする晴眼者かつ健聴者である．
1 人 1 台のノート PC (Microsoft Windows XP) とヘッドフォン (Panasonic RP-H750-S) を使用した．被験者

FL-V1
FH-V4
FL-V1
FH-V4

FL-V2
FH-V5
FL-V2
FH-V5

FL-V3
FL-V3
FH-V6
FH-V6

自身に音声提示および Kiki-WWL ソフトウェアを操作させて，16 秒間隔で再生される 4 モーラの音声を 1つずつ聴取させ，聞こえた単語をコンピュータにローマ字でタイピング入力させた．
最初に音量の確認を兼ねたリハーサルのために女性音声 15 問を聴取させて本番同様に回答させた．次に，音声ガイドと文字表示で下位尺度の説明を行い，下位尺度の順位付けをさせ，リハーサル課題に関する各尺度の負荷評定を行わせた．その後 3 回の試行について，(1) 50 問の聴取を行わせて（所要時間は 10分弱），(2) 6 つの尺度の負荷評定を行わせ，(3) 疲労の影響を回避するために 5 分間の休憩を取る，という手順を繰り返した．被験者は Table.1 のように 4 群に分けた．FH-FL は親密度の高低を，V1-V6 は語彙セットが異なることを意味している．
なお，了解度はモーラ単位で集計する．NASA-TLXで得られた心的負荷は，被験者ごとに平均 50，標準偏差 10 となるように正規化する．

3.6

仮説

既発表の実験においては実験中に提示される単語の親密度を提示していなかった．この条件を実験 1 とする．これに対して，音声を提示するソフトウェアに親密度の高低を表示する条件を実験 2 とする．これらの比較により，親密度に関する被験者の自覚が，了解度や心的負荷に与える影響を検討する．
この実験における我々の仮説は以下の通りである．
(1) この課題における学習効果は，課題遂行自身に対する学習，ボトムアップ情報としての音声刺激に対する学習，トップダウン情報としての心的辞書アクセスに関する学習から構成される．低親密度の単語を聞き続ける条件では，心的辞書アクセスに関する学習が妨害される．高親密度の単語を聞き続ける条件
では，心的辞書アクセスの学習が促される．従って，LLL 条件と比較して HHH 条件では顕著な学習効果が観測できる．
(2) 多くのトップダウン情報を活用できる条件では，心的負荷は少なくなる．高親密度の音声を最初に聞く被験者はトップダウン情報を利用できることを期待する．従って高親密度音声の後で低親密度音声を聞く被験者は，心的負荷が増大する．これに対して，低親密度音声を最初に聞く被験者はトップダウン情報が利用できないことを自覚する．従って，後で高親密度音声を聞くと，トップダウン情報を意識的に使わないようにするので，心的負荷は低下しない．

Table 2 Average (SD) of intelligibility, % (Exp.1)
Group
Trial 1
Trial 2
Trial 3

Table 4 Average (SD) of intelligibility, % (Exp.2)
Group
Trial 1
Trial 2
Trial 3

G1: L-L-L
G2: H-H-L
G3: L-L-H
G4: H-H-H

62.2 (8.2)
64.1 (6.0)
83.8 (6.4)
84.8 (4.6)

G5: L-L-L
G6: H-H-L
G7: L-L-H
G8: H-H-H

Average (SD) of N-WWL (Exp.1)
Trial 1
Trial 2
Trial 3

Table 5Group

Table 3Group

54.7 (6.8)
79.2 (5.6)
55.1 (6.3)
71.5 (8.1)

G1: L-L-L
G2: H-H-L
G3: L-L-H
G4: H-H-H

49.2 (10.8)
48.5 (8.6)
50.5 (6.7)
58.3 (9.0)

62.1 (6.9)
80.2 (3.9)
62.4 (5.7)
74.6 (10.3)

51.0 (9.6)
43.0 (7.1)
55.2 (9.2)
49.4 (7.9)

49.8 (9.4)
58.6 (7.1)
44.3 (10.6)
42.4 (5.4)

4 実験結果4.1

親密度の教示を行わない場合親密度の教示を行わない場合の実験結果を Table 2,3, 平均と標準偏差の推移を Fig 1, 2, 3, 4 に示す．G1-G4の被験者数は 16,15,14,14(人) である．両側分布 t 検定の結果，了解度に関して 5%水準で有意差があったのは G1(LLL) の T1-T2・T1-T3，G2(HHL) の T2-T3・T1T3，G3(LLH) の T1-T2・T2-T3・T1-T3，G4(HHH) のT2-T3・T1-T3 であった．正規化 WWL に関して 5%水準で有意差があったのは G2(HHL) の T2-T3・T1-T3，G4(HHH) の T2-T3・T1-T3 であった．

4.2

親密度の教示を行う場合親密度の教示を行った場合の実験結果を Table 4, 5,
平均と標準偏差の推移を Fig 5, 6, 7, 8 に示す．G5-G8の被験者数は 8,8,7,7(人) である．両側分布 t 検定の結果，了解度に関して 5%水準で有意差があったのはG5(LLL) の T1-T2・T1-T3，G6(HHL) の T2-T3・T1T3，G7(LLH) の T1-T2・T2-T3・T1-T3，G8(HHH) のT1-T2 であった．正規化 WWL に関して 5%水準で有意差があったのは G7(LLH) の T2-T3・T1-T3 であった．

5 まとめ
単語親密度の異なる超早口音声の聴取実験を行い，単語了解度による評価と NASA-TLX の結果を比較した．例えば，親密度の教示がない場合の G3(L-L-H) では，試行 3 において有意な変化が見られなかった．親密度の教示をした場合の G7(L-L-H) では，心的負荷の有意な低下が見られた．
これらの結果から (1) 心的辞書が活用できることによって学習が促される，(2) 聴取者が心的辞書を活用できないと自覚することが心的負荷の上昇をもたらす，などが示唆された．
今後の課題としては，長期間での学習効果や加齢の影響の検討，スクリーンリーダーなどへの応用などが挙げられる．

G5: L-L-L
G6: H-H-L
G7: L-L-H
G8: H-H-H

53.6 (6.8)
77.6 (5.4)
51.6 (6.8)
71.5 (6.6)

61.4 (7.5)
79.1 (7.7)
58.5 (6.3)
74.9 (6.9)

62.9 (6.8)
64.6 (5.8)
83.3 (6.5)
78.1 (12.4)

Average (SD) of N-WWL (Exp.2)
Trial 1
Trial 2
Trial 346.8 (10.4)
46.8 (9.4)
55.0 (8.2)
49.8 (10.2)

54.9 (4.1)
50.8 (7.0)
54.7 (5.9)
54.0 (8.3)

48.4 (11.8)
52.5 (12.1)
40.3 (7.4)
46.2 (9.9)

参考文献[1] 西本 卓也，狩谷 幸香，渡辺 隆行: ”早口音声聴取における単語親密度とメンタルワークロードの検討,” 日本
音響学会 2007 年秋季研究発表会講演論文集, 2-Q-23,pp.593-594 (in CD-ROM), Sep 2007.
[2] 西本 卓也，狩谷 幸香，渡辺 隆行: ”早口音声の聴取訓練における単語親密度の影響,” 電子情報通信学会技術
報告 Vol.107 No.406 (NLC2007-53, SP2007-116, SLP
共催), pp.119-124, Dec 2007.
[3] Takuya Nishimoto, Yukika Kariya, Takayuki Watanabe:”The eﬀect of learning on listening to ultra-fast speech,”
Proceedings of Acoustics ’08 Paris, pp.6119-6124, 4th
Jul 2008.
[4] 渡辺 哲也: “スクリーンリーダの速度・ピッチ・性別の設定状況,” 電子情報通信学会論文誌 D-I, Vol. J88-D-I,No.8, pp.1257-1260, Aug 2005.
[5] 浅川 智恵子，高木 啓伸，井野 秀一，伊福部 達: “視覚障害者への音声提示における最適・最高速度,” ヒューマ
ンインタフェース学会論文誌, Vol.7, No.1, pp.105-111,
Feb 2005.
[6] 渡辺 俊朗: ”単語了解度による規則合成音の評価法に関する検討,” 電子情報通信学会論文誌 (A), Vol.J72-A,
no.10, pp.1503-1509, 1989.
[7] 淀川 英司, 中根 一成, 東倉 洋一: 視聴覚の認知科学,
電子情報通信学会, 1998.
[8] Núria Sebastián-Gallés, Emmanuel Dupoux, Albert
Costa, Jacques Mehler: “Adaptation to time-compressed
speech: Phonological determinants,” Perception & Psychophysics, 62 (4), 834-842, 2000.
[9] 西本 卓也, 酒向 慎司, 嵯峨山 茂樹, 小田 浩一, 渡辺
隆行: ”早口合成音声の聴取実験によるテキスト音声合成の評価,” 電子情報通信学会技術報告, WIT2005-5,pp.23-28, May 2005.
[10] 西本 卓也，渡辺 隆行: ”早口音声の聴取における学習効果と加齢の影響,” Human Interface 2007 論文集,3134, pp.937-942, Sep 2007.
[11] 佐藤 逸人, 森本 政之, 佐藤 洋: “ 聞き取りにくさ による音声伝達性能の評価,” 日本音響学会誌 63 巻 5 号,pp.275–280, May 2007.
[12] 天野 成昭, 近藤 公久, 坂本 修一, 鈴木 陽一: 親密度別
単語了解度試験用音声データセット (FW03), NII 音声
資源コンソーシアム, 2006.
[13] S. G. Hart, L. E. Staveland: “Development of NASATLX (Task Load Index): Results of empirical and theoretical research,” in P. A. Hancock and N. Meshkati(Eds.) Human Mental Workload,Amsterdam, North Holland Press (1998).
[14] 芳賀 繁: メンタルワークロードの理論と測定, 日本出版サービス, 2001.

80

80

Intelligibility Score, %100

Intelligibility Score, %100

T3 (L)T2 (L)60

T1 (L)

40

20

T3 (L)T2 (L)60

T1 (L)

402000020

40

60

80

100020N-WWL

Fig. 1

N-WWL and intelligibility (L-L-L of Exp.1)

Fig. 5

T2 (H)T1 (H)

80

Intelligibility Score, %Intelligibility Score, %100

N-WWL and intelligibility (L-L-L of Exp.2)

T3 (L)

604020T2 (H)T1 (H)
T3 (L)

60402000020406080

100020N-WWL406080100

N-WWL

N-WWL and intelligibility (H-H-L of Exp.1)

Fig. 6

N-WWL and intelligibility (H-H-L of Exp.2)

100100T3 (H)

T3 (H)

80

Intelligibility Score, %80

Intelligibility Score, %80

10080

T2 (L)60

T1 (L)

402060T2 (L)T1 (L)

402000020406080

100020N-WWL

Fig. 360

N-WWL

100Fig. 240406080

100

N-WWL

N-WWL and intelligibility (L-L-H of Exp.1)

Fig. 7100

N-WWL and intelligibility (L-L-H of Exp.2)
100T3 (H)604020T2 (H)T1 (H)

60402000020406080

1000

N-WWLFig. 4

T3 (H)80
T2 (H)T1 (H)

Intelligibility Score, %Intelligibility Score, %80

N-WWL and intelligibility (H-H-H of Exp.1)

20406080

100

N-WWLFig. 8

N-WWL and intelligibility (H-H-H of Exp.2)