音声 CAPTCHA における了解度と心的負荷の検討∗○西本 卓也 (東大), △松村 瞳, △渡辺 隆行 (東京女子大)

1 はじめにインターネットにおいて人間を装ったソフトウェアロボットが，ウェブメールのアカウントを取得して大量の迷惑メールを送信したり，ブログのコメント欄に広告目的の書き込みを大量に行ったりする，といったことを防ぐために，多くのサイトで CAPTCHA（Completely Automated Public Turing test to tell Computers
and Humans Apart）システムが用いられている．
多くの CAPTCHA システムでは，画像データに含まれる文字を人間に読み取らせている．しかし，画像を使用する CAPTCHA は視覚障害者のインターネットの利用を妨げている．そこで視覚障害者を対象として音声 CAPTCHA による認証を行うサイトも増加している．またパターン認識技術の観点から音声 CAPTCHAの安全性が検討されている [1]．
我々は CAPTCHA システムの設計方針を「人間と機械の能力差を作り出す」という観点から体系化し，一般的な従来手法である「混合法」に対して「削除法」という新たな提案を行い，人間による聴取と HMM による音声認識に関して予備実験を行ってきた [2, 3] ．
本稿では比較対象としての「混合法」の実装，混合法と削除法の比較について述べる．

2 混合法と削除法
混合法としての従来手法

2.1

現在の音声 CAPTCHA システムの主流である「人間に聞き取らせたい音声に残響や雑音を重畳する」という手法を「混合法」と呼ぶ．将来的にこの手法を破られにくくしていくために，どのような雑音をどのように混合すれば破られにくくできるか，といった調整は試行錯誤的になり，パラメトリックに難易度を制御しにくい．
削除法への着目

2.2

人間の聴覚に関してはさまざまな興味深い特性が知られており，CAPTCHA に応用可能なものもあると考えられる．その中のひとつとして，今回我々は「音声の断片から全体を推測して聞き取る能力」に着目し，「原音声からより多くの部分を削除するほど困難な課題になる」と考えた．このような手法をここでは「削除法」と呼ぶ．
混合法と削除法は相反する考え方ではなく，併用が可能だと考えられる．我々が削除法に着目する理由は，難易度をパラメトリックに制御しやすいという点にある．つまり，原音声をより多く残せばそれだけ容易になり，原音声を残す割合を少なくすればそれだけ困難になる．このような制御の容易さは混合法にはない特長である．

∗Fig. 1

2.3

音声 CAPTCHA 設計の概念モデル

音韻修復効果を考慮した削除法

一般的に音声の一部を削除して聴取を行うと，その了解度は低下する．しかしただ削除するのでなく，削除した部分に別の音を挿入すると，音声の聴取が容易になることが知られている．これが「音韻修復」である．代表的なものとしては「垣根効果」の報告が挙げられる [4, 5, 6] ．
削除法における人間の聴覚能力を高めることは，前述した認識能力ギャップの拡大に貢献する可能性が高い．そこで我々は，音声を周期的に決まった割合で削除し，削除された区間をホワイトノイズで埋めることにした．使用する音声の波形とスペクトログラムの例を図 2 に示す．原音声を残した割合が少ないほど聴取が困難になるが，音声認識システムに対してより不利になると期待される．

3 実験の概要
3.1

聴取タスクの対象音声

我々は残響下音声認識評価環境である CENSREC4[7] に含まれる数字読み上げ音声データベースを使用した．数字の書き取り課題が音声 CAPTCHA シス
テムを模擬するうえで適切であり，数字という語彙の単語親密度は非常に高いと考えられるため，特に削除法の評価としては妥当である．
このデータベースは男女の別を含む多数の話者によって読み上げられた音声であり，単純なパターンマッチングでは破られにくい課題である．しかし，現実問題としてこのような課題音声を録音音声で用意しておく事は容易ではない．人間にとって聞き取りやすいという条件を損なわず，無限に近いバリエーションを機械的に生み出せる音声の合成や加工が，将来の課題である．

The comparison between the deletion-based methods and the mixing-based methods for speech CAPTCHA systems.
by Nishimoto Takuya (The University of Tokyo), Matsumura Hitomi and Watanabe Takayuki (Tokyo Woman’s Christian University)• フラストレーション（低い／高い）• 作業成績の悪さ（良い／悪い）

Fig. 2 削除法として使用する音声ファイルの例．
7 桁 の 数 字 読 み 上 げ 音 声 に 対 し て ，上 か ら 順 に30%,50%,70%の割合で原音声を残し，ホワイトノイズを埋めたもの．

被験者は負担度評価の対象となる作業を遂行する前に，下位尺度の重要度を評価する．作業のあとで被験者は6 つの尺度それぞれに対する評定を（本研究では 0〜100 のスクロールバー操作によって）行う．重要度の評定に基づいて，下位尺度の評定値の mean weighted
workload score (加重平均作業負荷得点: WWL 得点）を求める．本実験では重要度が最上位と評価された尺度から順に重みを 6〜1 とした．
実験には我々が作成した Windows 用ソフトウェア
Kiki-WWL を使用した．課題間の値の大小関係を意識した評定が行われるように考慮した．具体的にはリハーサルおよび複数の課題における各項目の評価の画面において過去の評定値を参照できるようにした．
尺度の説明においては「作業成績＝すべて正しく聞き取って入力することが目標」「知的・知覚的要求＝聞くことを含む」「身体的要求＝聞くこと・入力することを含む」などを補足した．

4 削除法の評価実験
4.1

3.2

人間による聴取実験

評価データの一部を用いて人間による聴取実験を行った．
回答者の記憶の負荷や入力操作の容易さを考慮して，評価データのサブセットを作成した．1001 個の評価データから 3 桁，4 桁，5 桁の数字が 25 個ずつ含まれる 75 個の課題セットを 3 組作成した．この際，数字 0 については「ぜろ」の読み方のみが含まれるようにした．課題セット間で各数字の出現頻度の偏りができるだけ少なくなるように配慮した．課題セッ
トごとに出現順序はランダムに並べ替えた．
1 人 1 台のノート PC とヘッドフォンを使用した．被験者自身に音声提示および Kiki-WWL のソフトウェアを操作させて，10 秒間隔で再生される音声を 1 つずつ聴取させ，聞こえた数字をコンピュータのキーボードから入力させた．
最初に音量の確認を兼ねたリハーサルのために 2 桁の数字音声を 10 問呈示し，本番同様に回答させた．
次に，音声ガイドと文字表示で下位尺度の説明を行い，下位尺度の順位付けをさせ，リハーサル課題に関する各尺度の負荷評定を行わせた．そして各試行について，(1) 聞き取り課題を行わせて，(2) 6 つの尺度の負荷評定を行わせ，(3) 疲労の影響を回避するために 5 分間の休憩を取る，という手順を繰り返した．

3.3

NASA-TLX による心的負荷の評価聴取実験に合わせて心的負荷の主観評価を行った．
NASA-TLX (Task Load Index)[8, 9] は以下の 6 つの下位尺度によって心的負荷を評価する手法である．

• 知的・知覚的要求（小さい／大きい）• 身体的要求（小さい／大きい）• タイムプレッシャー（弱い／強い）• 努力（少ない／多い）

削除法の課題音声

削除法の課題音声を以下の手順で作成した．
CENSREC-4 に含まれるクリーン発話音声（16kHz16bit Mono）を用いて，100ms 周期で原音声を削除し，ホワイトノイズを埋め込んだ．条件としては 70%,50%, 30% の 3 種類のデータを作成した．例えば 70%
条件の場合は原音声の 100ms ごとに 70ms を残し，30ms を雑音区間とした．音声および雑音の立ち上がりと立ち下がりには 10ms の幅を持たせて，直線エンベロープでクロスフェードする処理を施した．周期を100ms としたことで，このようなマスキングを行っても数字全体の欠落が起こりにくくなっている．

4.2

HTK による音声の認識実験

CENSREC-4 の実験系に準拠して音声認識実験を行った．この実験の目的は，ホワイトノイズによってマスキングされた音声ファイルとその正解ラベルが大量に与えられている，という前提で，既存の音声認識エンジンをそのまま使用した場合の性能を知ることである．
音声認識には HTK 1 を用いた．3 条件のそれぞれについて，学習データは 8440 発話，評価データは 1001発話である．両者は発話そのものも話者も重複していない．音響モデルには単語 HMM を用いた．数字の 0に「ぜろ」「まる」の 2 種類の読み上げ方があるため11 種類のモデルを構築した．各単語は 18 状態 20 混合である．評価は発話全体（全ての桁の数字）の一致によって判断した．
4.3

削除法音声の聴取実験

被験者は大学生（女性）17 人で，全員が日本語を母語とする健聴者である．
被験者を 3 群に分けて聴取実験を行った．ノート
PC (Microsoft Windows XP) とヘッドフォン (Panasonic
1 http://htk.eng.cam.ac.uk/

Table 1 聴取実験の構成（削除法）
Group
Trial 1
Trial 2
Trial 3
G1
G2
G3

V1-70%
V1-30%
V1-50%

V2-50%
V2-70%
V2-30%

V3-30%
V3-50%
V3-70%

Table 2 HTK による文認識率 (%)（削除法）
原音声の割合 30%
50%70%
文認識率40.46

79.02

音声認識実験の結果

HTK による音声認識結果を表 2 に示す．評価デー
タと同じようにマスキングされた音声を用いて音響モデルを学習することで，原音声 50%の条件であれば約 80%の認識率が得られる．一方で 30%条件においては約 40%と大きく認識率が低下した．学習デー
タとしてマスキング音声を大量に集めても，削除された区間が大きい場合は，従来の音声認識手法では認識が困難になると考えられる．
4.5

聴取実験における了解度

聴取実験における了解度の被験者 17 人についての平均および標準偏差を表 3 に示す．一要因分散分析の結果，F(2,16)=66.959,p=0.000 となり，有意（5%水準）であった．さらにチューキーの方法による多重比
較の結果，30%と 50%，30%と 70%の間で差は有意（1%水準）であった．削除法と音韻修復効果を用いることで，人間と機械の認識能力の差を大きくできる可能性が示唆された．

4.6

聴取実験における心的負荷

被 験 者 ご と に 正 規 化 し た NASA-TLX の 値(Normalized-WWL) の被験者 17 人についての平均および標準偏差を表 4 に示す． 了解度が有意に下がる
条件では心的負荷の有意な増加も確認された．心的負荷の測定について本手法の妥当性が示されたと言える．

5 混合法と削除法の比較
5.1

平均
標準偏差

混合法の課題音声

以下の手順で混合法の音声刺激を作成した．
(1) 対象音声（CENSREC-4 のクリーン音声の一つ）について，前後の無音を一定の長さ（1000ms）に揃

84.16
6.51

97.41
2.72

98.98
1.97

Table 4 聴取実験における正規化心的負荷（削除法）
原音声の割合 30%
50%
70%
平均
標準偏差89.41

RP-H750-S) を使用した．3 回の試行について，それぞれ 75 問の聴取（所要時間は約 13 分）を行わせた．
被験者は表 1 のように分けた．V1-V3 は課題セッ
ト（語彙）が異なることを，後続する数字は原音声を残した割合（値が小さいほど多くマスキングしている）意味している．
NASA-TLX で得られた重み付き心的負荷 (WWL)の値は，被験者ごとに平均 50，標準偏差 10 となるように正規化した．
4.4

Table 3 聴取実験における文了解度 (%)（削除法）
原音声の割合 30%
50%
70%

60.55
5.45

45.21
7.48

44.24
6.85

える．
(2) 妨害音声として，男女 2 名が標準的な話速で音韻バランス文（ATR503 文の一部）を読み上げたコーパスを用意する．一つの対象音声（数字読み上げ）について，一つの妨害音声ファイルをランダムに選択する．このとき，エネルギー的マスクの条件をなるべく均一にするため，対象音声の性別と一致するように妨害音声の性別を選ぶ．
(3) 選択した妨害音声から文節間のポーズなど，一定の長さ以上の無音を削除する．
(4) 妨害音声を一定の長さ (シャッフル窓幅＝ 250ms)に分割し，各区間の始終端に 5ms のフェードイン・フェードアウトを施し，全区間をランダムに並べ替えるシャッフル操作を行う．
(5) 対象音声の長さに揃えるために妨害音声をトリミングまたは反復したものを作り，終端を再度フェードアウトし，これを新たな妨害音声とする．
(6) SNR の統制をしながら対象音声と妨害音声を重畳する．
なお，予備的実験からは，シャッフル窓幅を小さくすると matched model での自動音声認識の性能が上がること，大きくすると妨害音声の言語情報が聞き取りやすくなり情報的マスキング [10] の統制が難しくなること，などが示唆された．

5.2

実験の構成

この実験の目的は，被験者内比較として，特定のSNR 条件における混合法と削除法 (30%) を比較することである．
対象音声が SNR 0dB, -10dB, -20dB の各条件を MX,MY, MZ で表す．
被験者は大学 2 年生から 4 年生（18〜22 歳）の 15人で，5 人ずつ図 5 の 3 群に分けた．結果を図 3 および図 4 に示す．
了解度は全体的に削除法の方が低いが，群間の差は明確ではなく，個人差も大きい．一方で，混合法の心的負荷については，SNR 条件が悪化した場合に高くなる傾向が見られた．混合法における SNR の制御は，了解度を制御しにくく，心的負荷に悪影響を及ぼしやすい，という傾向が示唆された．なお，CAPTCHA課題としての安全性の比較に関しては，今後，機械による認識率と了解度を比較して検討する必要がある．

Fig. 3Fig. 4

混合法と削除法の了解度の比較（3 条件，被験者ごとの値）

混合法と削除法の心的負荷 (NASA-TLX) の比較（3 条件，被験者ごとの心的負荷の差）

Table 5 聴取実験の構成（混合法と削除法の比較）
Group
Trial 1
Trial 2G1G2G3

V1-30%
V1-30%
V1-30%

V2-MX
V2-MY
V2-MZ

6 まとめと今後の課題
本報告では音声 CAPTCHA の設計手法について考察し，音声認識性能，人間にとっての了解度，心的負荷などに関して，主に削除法と混合法の比較実験について述べた．今後の課題として，音声認識による破られにくさの比較，発話速度の影響，テキスト音声合成や音声加工技術に基づく課題の自動生成などが挙げられる．

謝辞
東京大学大学院情報理工学系研究科 嵯峨山茂樹 教授，小野順貴 講師，システム第一研究室メンバー各
位，ITRC UAI 研究会，音声・音楽研究会（音音研）などの方々との議論，アクセシビリティ関連の複数のブログ記事から重要な示唆を得た．

参考文献[1] Tam, Simsa, Hyde, Ahn: “Breaking Audio CAPTCHAs,”
Proc. of NIPS, 2008.
[2] 西本 卓也, 松村 瞳, 渡辺 隆行: ”音声 CAPTCHA システ
ムにおける削除法と混合法の比較,” 電子情報通信学会
技術報告, WIT2009-64/SP2009-58, Oct 2009.
[3] 福岡 千尋, 西本 卓也, 渡辺 隆行: ”音韻修復効果を用いた音声 CAPTCHA の検討,” 電子情報通信学会 技術報告
(共催:HI 学会研究会), WIT2008-54, pp.83-88, Dec 2008.
[4] 柏野牧夫: “音韻修復 – 消えた音声を修復する脳 –,” 日
本音響学会誌 61 巻 5 号, pp.263-268, 2005.
[5] R.M.Warren: Auditory Perception: A New Analysis andSynthesis, Cambridge University Press, Cambridge, 1999.
[6] G.A. Miller, J.C.R. Licklider, “The intelligibility of interupted speech,” J. Acoust. Soc. Am., 22, 167-173 1950.
[7] M. Nakayama, et al.: “CENSREC-4: Development ofEvaluation Framework for Distant-talking Speech Recognition under Reverberant Environments,” Proc. Interspeech, Sep 2008.
[8] S. G. Hart, L. E. Staveland: “Development of NASA-TLX(Task Load Index): Results of empirical and theoreticalresearch,” in P. A. Hancock and N. Meshkati (Eds.) Human Mental Workload,Amsterdam, North Holland Press(1998).
[9] 芳賀 繁: メンタルワークロードの理論と測定, 日本出版サービス, 2001.
[10] C.S. Watson: “Some Comments on Informational Masking,” Acta Acoustica 91, 502-512 (2005).