論文

音声シフト：音高の意図的な変化を利用した音声入力インタフェース
尾本 幸宏†

後藤 真孝††

伊藤 克亘††

小林 哲則†

Speech Shift: Speech Input Interface Using Intentional Control of Voice Pitch
Yukihiro OMOTO† , Masataka GOTO†† , Katunobu ITOU†† ,and Tetsunori KOBAYASHI†

あらまし 本論文では，非言語情報の一つである音高を利用した，「音声シフト」という新たな音声入力インタ
フェース機能を提案する．従来の音声認識システムが主に言語情報だけを利用してきたのに対し，我々は非言語
情報を積極的に活用することによって，音声のもつ潜在能力を引き出した使いやすいインタフェースを構築することを目指している．音声シフトでは，普通に発声した発話と故意に高く発声した発話を異なる入力モードに割り当てることで，音声のみでモード指定と情報入力とを同時に行うことを可能にする．例えば，音声ディクテー
ションにおいて，「改行」と普通に発声するとその文字が入力され（文字入力モード），それを高く発声すると行末が改行される（コマンドモード）機能が実現できる．こうした機能を実現するために，本研究では，故意に高い発声を識別する際に必要となる話者ごとの音高の基準を，有声休止区間の音高を用いて推定する手法も提案する．実際に，音声テキストエディタに応用し，理工系男性 20 人の被験者による評価実験をしたところ，音声シ
フトが使いやすく，効果的な入力方法であることが分かった．
キーワード

音声インタフェース，音声シフト，音声認識，音高，非言語情報

1. ま え が きを活用した後藤らの音声補完がある [9]〜[13]．音声補
完では，ユーザがある単語の一部しか思い出せずに

従来の音声インタフェースにおいては，発話された断片だけをいっていいよどむと，計算機側がその残り

単語あるいは単語列が運ぶ言語的情報（音韻的特徴）

を補って入力することができる．従来，有声休止のよのみが，伝達されるべき情報として位置づけられてきうないいよどみは単に誤認識を招く一因と考えられた．構文情報や感情など，韻律的特徴が運ぶ様々な情ていたが，音声補完ではそれを逆に活用し，有声休止

報に注目した研究もあるが，それらにおいても，韻律を補完トリガーキー（UNIX 等では特殊キーの “Tab

的特徴は言語情報の円滑な伝達を支えるための補助情キー”）に位置づけることで，発声途中に故意にいい報としてしかとらえられてこなかった [1]〜[8]．本研究

よどめば残りが補完され，手助けが受けられる使いやでは，これまでとは異なる視点で韻律利用をとらえる

すい音声入力が実現された．

ことで，音声のもつ潜在能力を引き出し，新たな音声

本論文では，非言語情報の一つである音高を利用し，インタフェースの可能性をひらくことを目指す．具体

声の高さで入力モードを切り換える「音声シフト」と的には，意識的に韻律を制御することによって，積極いう新たな音声入力インタフェース機能を提案する．

的に情報を付与し，これによって様々なインタフェー

音声シフトでは，普通に発声した発話と故意に高く発ス機能を呼び出すことについて検討する．

声した発話を異なるモードに割り当てることで，独立

このような立場に立つ研究として，非言語情報である有声休止（母音が引き延ばされるいいよどみ現象）†††

したモード切換操作を必要とすることなく，音声のみ
でシームレスにモード切換を実現できる．
以下，2. で「音声シフト」のインタフェース機能を早稲田大学理工学部，東京都
School of Science and Engineering, Waseda University, 3–4–1

説明する．3. では，話者固有の音高の基準の推定法，

Okubo, Shinjuku-ku, Tokyo, 169–8555 Japan及び，それに基づく音声シフト識別手法について述べ

産業技術総合研究所，つくば市

る．4. では，音声シフトの音声テキストエディタへ

National Institute of Advanced Industrial Science and Technology, 1–1–1 Umezono, Tsukuba-shi, 305–8568 Japan

電子情報通信学会論文誌 D–IIの応用を述べるとともに，言語情報を考慮した音声シc （社）電子情報通信学会 2005
Vol. J88–D–II No. 3 pp. 469–479 

469電子情報通信学会論文誌 2005/3 Vol. J88–D–II No. 3

フト識別手法について説明する．5. では具体的な実がある．

装方法を述べ，6. で提案した識別手法の性能を実験•

音声のみで処理可能

マウス等を用いることな的に評価する．7. では，音声シフトに関するユーザ

く，音声のみで多様な機能を呼び出せる．このため，ビリティの評価を行い，8. でまとめを述べる．

操作手順が簡略化でき，操作性が向上する．

2. 音声シフト•

明示的なモード切換が不要

従来のモード切換が必要な方法では異なるモードにあった機能を，現在「音声シフト」では，異なる高さの声で発声する行為

システムがどのモードであるのかを意識せずに，常にを「モードの切換」ととらえることにより，特殊キー

シームレスに呼び出すことができる．同時に，操作時である “Shift キー”（あるいは “Alt キー”）の機能を間も短縮される．

実現する．従来の音声認識では，音声のもつ音韻的特徴のみに着目していたため，同じ単語を別の意味で扱

3. 実 現 方 法

うことは困難であった．本研究では，音声の韻律的特

音声シフトを実現するには，各発話区間が，通常発徴の一つである音高を利用することで，普通の高さで声（普通の高さで発声）とシフト発声（故意に高く発発声（通常発声）した発話と故意に高く発声（シフト声）のどちらであるかを識別する必要がある．しかし，発声）した発話を，異なるモードに割り当てることが人が発話している際の声の高さ，すなわち基本周波数

できる．

（以下，F0 ）は大きく変動しており，話者によって声

例えば，音声ディクテーションソフトでは，ユーザの高さには個人差がある．そのため，ある発話が故意が「“保存” という文字列として入力したい」，「ファに高く発声されたものかどうかを識別することは，難イルへの保存コマンドを実行したい」と思った際に，しい問題であった．

単に “保存” と発声したのでは区別がつかない問題がこの問題を解決するためには，話者ごとに固有の音あった．音声シフトを用いることにより，普通の高さ

高の基準があるとよい．適切に話者固有の音高の基準

で “保存” と発声するとその文字列が入力され，故意を定めることができれば，発話区間中の声の高さを，に高く “保存” と発声すると保存コマンドが実行されF0 という絶対的な尺度でとらえるのではなく，そのるといったように，声の高さによって，同じ単語を，話者にとって相対的にどれぐらい高く話しているかと異なる意味で扱うことで解決することができる．

いう尺度でとらえることができるからである．

従来，このような「文字入力モード」，「コマンド本章では，話者固有の音高の基準となる基準基本周

モード」といったモード切換を実現する方法として，

波数（以下，基準 F0 ）を導入するとともに，有声休止

以下の二つが用いられていた．一つ目は，キーボード

区間を用いた基準 F0 の推定法，及び，基準 F0 をもとやマウスなど，他の入力装置と併用して切り換える方にした音声シフト識別手法について述べる．

法である．例えば，モードの切換という機能をショー

3. 1 基準 F0 の導入

トカットキーとしてキーボードに割り当てたり，マウ

基準 F0 は，話者にとってごく自然な，いわば地声スでモード切換のボタン等を操作したりしていた．二の高さであると考える．藤崎モデル [14] では，基底基つ目は，キーワード（予約語）を用いた切換方法であ本周波数として基準 F0 に相当する考え方が導入される．例えば，まず「コマンドモード」と発声してシスているが，話者の基準 F0 としての基底基本周波数をテムのモードを明示的に切り換えた後に，実行したい

求めるには，ある程度長い安定した発話データを用意

コマンドを「保存」と発声するなど，キーワードを発することが必要となる．そのため，長い発話をさせる

声してから実際に処理させたい内容を発声する方法がという負担をユーザに与えてしまうことになる．

あった．あるいは，「コマンドモードで保存」のように，そこで本研究では，有声休止区間中の F0 の平均を，

キーワードを語頭に必ず付けて発声する方法もあった

基準 F0 とみなす新たな手法を提案する．有声休止はが，そのような言語的な方法を使う限り，その言葉自いいよどみ現象の一つで，その発声中は調音器官の変体を入力できないという問題があった（例えば，そうした方法の使用説明書を，その方法自身では音声入力化が小さくなるため，F0 が安定し [15]，かつ，地声のF0 ，すなわち基準 F0 に近くなると仮定できる．また，困難であった）．

有声休止は人間が自発的に発話する際には自然に現れ

これらの方法と比較し，音声シフトには以下の利点
470るため，それを発声することがユーザの負担とはなら論文／音声シフト：音高の意図的な変化を利用した音声入力インタフェース

ない，適切な手掛りといえる．更に音声入力中に何度ことが分かる．以上から有声休止区間の F0 はほぼ一も現れるため，有声休止の発声ごとに漸次的に推定値定で安定しており，話者の基準 F0 として利用可能とを更新することで，基準 F0 の精度を高めることがで判断した．

きる．本研究では，この基準 F0 の更新を MAP 推定（最大事後確率推定）により実現する．なお，最初の3. 3 手法 1：基準 F0 からのしきい値を用いた音
声シフト識別手法

有声休止が検出されるまでは基準 F0 が求められない

音声シフトを実現するために，各発話区間の音高のため，通常発声とシフト発声の識別をせずに，すべて平均を求め，それが通常発声とシフト発声のいずれの通常発声とみなす．

カテゴリーに属するかを識別する．ただし，話者ごと

上記で必要となる F0 推定と有声休止検出には，文の声の高さの違いを正規化するために，音高の平均か

献 [15], [16] で後藤らが提案した F0 推定手法，有声休ら基準 F0 を引いた値（音高の平均の基準 F0 からの止区間の検出手法を用いる．F0 推定手法は，背景雑

相対的な高さ）を用いる．以下，この値を相対発声音

音等を伴う音響信号に対してもロバストに機能する特高と呼ぶ．

長をもち，コムフィルタの考え方に基づいて，入力信

ここでは，通常発声とシフト発声を相対発声音高に号中で最も優勢な高調波構造の F0 を，音声の F0 と基づいて識別する手法（手法 1）を提案する．本手法して推定する．一方，有声休止区間の検出手法は，任では，通常発声とシフト発声の二つのカテゴリーの相

意の母音の引き延ばしを言語非依存に検出できる特長

対発声音高の境界を，しきい値として明示的に求め，をもち，有声休止がもつ二つの音響的特徴（F0 の変

各発話の相対発声音高がそのしきい値より大きければ動が小さい，スペクトル包絡の変形が小さい）をボト

シフト発声，小さければ通常発声と識別する．このしムアップな信号処理によって検出する．これらの手法

きい値は，基準 F0 からの相対的な高さで表現され，は，リアルタイムに動作させることができる．

通常発声とシフト発声の二つのカテゴリーが既知の学

3. 2 有声休止区間の F0 の分析

習データに対して，識別率を最大にするように定める．

予備実験として，有声休止区間の F0 がどの程度安本手法による識別の模式図を図 2 に示す．図の左定しているかを調べた．男性話者 6 人ごとの有声休側は，「えー・六年が経過・改行」と発話したときの止区間の F0 の標準偏差は，平均 86.2[cent]（注 1）と小さF0 パターンを表している（「改行」は故意に高く発声）．図は，有声休止区間 (A) の F0 が基準 F0 推定にかった．また，図 1 に，各話者ごとの有声休止の種類一であるが，話者が異なると平均 F0 が大きく異なる

用いられ，(B) の区間の平均 F0 はしきい値（THLD:
threshold）以下であるため「通常発声」と判定され，(C) の区間の平均 F0 はしきい値以上であるため「シことから，話者ごとに基準 F0 を求める必要性がある

フト発声」と判定されることを示している．

（「んー」
「えー」
「あのー」）による平均 F0 を示す．図から，有声休止の種類が異なっても平均 F0 はほぼ同

4. 音声シフト機能付き音声テキストエデ
ィタ
音声シフトは，様々なアプリケーションへ応用できるが，本研究ではその一例として，音声入力部に音声シフト機能をもった音声テキストエディタを実現した．
この音声テキストエディタでは，「保存」等のコマンドをシフト発声することによって実現できる．このように文章入力中でシフト発声する場合，シフト発声される個所の前後関係には言語的な特徴があると考えられる．これは 3. 3 の手法 1 では考慮されていない，言語

図 1 6 人の話者による 3 種類の有声休止での F0 の平均
Fig. 1

Average F0 for three typical Japanese ﬁllers(with ﬁlled pauses) uttered by six speakers.

（注 1）：cent の単位は，音高差（音程）を対数スケールの周波数で表す尺度で，半音差が 100[cent] に相当する．本論文では，Hz で表された周波数 fHz を cent で表された周波数 fcent へ，fcent =fHzにより変換する．
1200 log23440×2 12−5471

電子情報通信学会論文誌 2005/3 Vol. J88–D–II No. 3

Fig. 2図 2 音声シフト識別手法（手法 1）の概要
Overview of the speech-shift classiﬁcation method (method 1).

的な事前知識である．ここでは，音声テキストエディ

silB 改行 したい 場合 silEタの概要を説明するとともに，そうした言語的な事前

silB 故意 に sp 高く 話す こと に よって silE

知識を考慮した音声シフト識別手法について述べる．

4. 1 音声シフト機能付き音声テキストエディタの概要
従来の音声テキストエディタでは，2. で述べたように，ボタンまたはキーワードによって，文字入力モードとコマンドモードを切り換えながらテキスト入力しsilB 実行 でき ます silE
silB <改行> silE

silB, silE: 発話の開始 (silB), 終了 (silE) を表す記号
sp: 発話中の小休止を表す記号<XXX>: シフト発声により XXX コマンドが実行された単語

図 3 音声テキストエディタ利用時の書き起こし例
Fig. 3 An example of transcription using our
voice-enabled word processor.

ていた．それに対して本研究では，通常発声を「文字入力モード」での入力，シフト発声を「コマンドモー

れた単語は，シフト発声されて実際にコマンドが実行ド」の機能呼出しに割り当てる．用意した後者の機能された単語である．

には，編集機能（削除，後退，太字，右寄せ，中寄せ，

この例を人間が見て判断すれば，コンテクスト（単改行，やり直し，切取り，貼付け），文字列検索機能，

語の並び）から，第 1 行の「改行」は文字列としてのファイル操作機能（保存，開く，印刷，終了），文字入力，第 4 行の「改行」はコマンド入力であると推測

入力対象切換機能（平仮名，片仮名，アルファベット

できる．このように，あるコンテクストでは，コマンの切換）がある．例えば，通常の文章を音声入力中にドか非コマンドかを，その前後の単語から判定できる「改行」と高い声で発声すると，その発話は文字とし場合がある．

て入力されずに「改行」機能が呼び出され，効率良く文章入力できる．

シフト発声を識別する際にも，これら言語的な情報を事前知識として利用することで，より効果的な識別

また，一般的な音声エディタでは，ユーザが考えなができる可能性がある．例えば，コマンドでないもの

がら文章入力するときでもいいよどむことは許されなを少し高めに発声してしまった場合に，3. 3 の手法 1

いことが多いが，本研究で実装した音声エディタでは，

だけでは，シフト発声と誤識別されてしまう可能性が基準 F0 を推定するために，ユーザにいいよどむことある．このような場合でも，言語的な情報から，そのを許容している．そのため，有声休止が検出された発発声がコマンドでない可能性が高ければ，適切に通常話は，基準 F0 の MAP 推定のみに用いられ，エディ

発声と判断されることが期待できる．

タへ入力されることがないようにした．

4. 2 言語的な事前知識の利用

4. 3 手法 2：言語的な事前知識を組み合わせた音
声シフト識別手法

音声テキストエディタで，文章入力しながら音声シ

本手法では，音高情報と言語的な事前知識を組みフトを利用した場合における発話の書き起こし例を合わせることで識別率の向上を目指す．各フレーム

図 3 に示す．図中，音声認識システムの出力に合わせ（10 ms シフト）ごとのスペクトルデータ列を X =て文章が単語に区切られており，silB, silE は発話の{x1 , x2 , · · · , xN }（N はフレーム数），音高列を A ={a1 , a2 , · · · , aN }, 単語列を W = {w1 , w2 , · · · , wK }（K は単語数）とし，各単語の発声がシフト発声かど開始及び終了を表す記号，sp は発話中の小休止を表す記号となっている．また，山形括弧（< と >）で囲ま
472

論文／音声シフト：音高の意図的な変化を利用した音声入力インタフェース

うかを表す指標の列を C = {c1 , c2 , · · · , cK } とする．
ここで，ck はコマンド指標と呼んで，通常発声であれば ck = 0，シフト発声であれば ck = 1 とする．こ{Ŵ , Ĉ} = argmax
W,C



 1

P (A|C)α · P (C|W )(1−α) K−2 · P (W |X)のとき，発話内容及び発話区間がシフト発声かどうかを同時推定することは，X, A が与えられたときのP (W, C|X, A) を最大化する W , C を求めることにあたる．この推定問題は，次のように定式化される．

(8)
1
式 (8) 中の K−2乗は，単語数での正規化を意味する．

以上のように言語的な事前知識を利用してシフト発声の識別を行う方法を（手法 2）と呼ぶ．

{Ŵ , Ĉ}式 (8) を解く場合，理想的には，式を最適化する単= argmax P (W, C|X, A)(1)= argmax P (C|W, X, A) · P (W |X, A)(2)

リズムは煩雑化する．そこで今回は，第 1 パスにお∼= argmax P (C|W, A) · P (W |X)(3)

いて，言語モデルと音響モデルだけを使って単語列のW,C

語列とコマンド指標列を，すべての単語境界仮説を網羅する形で求めることが望まれるが，この場合アルゴ

W,C
W,C

N-best 候補を求めた上で，第 2 パスで，単語音高モ

P (A|C, W ) · P (C|W )= argmax· P (W |X)
P (A|W )W,C(4)

デルとコマンド生起モデルによって，リスコアリングするというアプローチを採用する．

4. 3. 1 単語音高モデル

P (A|C) · P (C|W )∼· P (W |X) (5)= argmaxP (A)W,Cシフト発声か）が与えられたときに，どのような単語= argmax P (A|C) · P (C|W ) · P (W |X)

音高が出力されやすいかを表したものである．これを

(6)

W,C

単語音高モデルは，あるコマンド指標（通常発声か求めるには，通常発声とシフト発声のそれぞれの単語

上式の導出にあたっては，スペクトルデータ列 X と音高の分布をモデル化する必要がある．単語音高の分指標 C ，音高列 A と単語列 W とは互いに独立とし布は，予備実験の結果から正規分布に近くなるため，ている．ここで更に，式 (6) の P (A|C) を，

ここでは正規分布でモデル化し，確率分布として表す．

P (A|C) ∼=

二つの正規分布の平均と分散は，カテゴリーが既知のK−1

P (āk |ck )

(7)

k=2

と近似することにする（k = 1 は発話の開始 silB に，

k = K は発話の終了 silE に対応するため除外する）．
āk は，単語 wk の区間における平均音高と基準 F0 との差であり，単語音高と呼ぶことにする．P (āk |ck ) は，
単語がシフト発声であるかないかが与えられたときに，どのような単語音高 āk が出力されるかを表す確率であり，単語音高モデルと呼ぶ．単語音高モデルの具体的な構成法については 4. 3. 1 に述べる．P (C|W ) は，各単語がコマンドであるか非コマンドであるかを単語列から判断する事前確率であり，コマンド生起モデルと呼ぶ．コマンド生起モデルの具体的な構成法については 4. 3. 2 に述べる．P (W |X) は従来の音声認識システムから出力される確率そのものである．
連続音声認識においても重みを介して言語モデルと学習データの単語音高から最ゆう推定する．

4. 3. 2 コマンド生起モデル
コマンド生起モデルは，ある単語列に対するコマンド指標列の生起確率を与えるものである．これを求めるには，単語列とコマンド指標列とが組になった多量の学習データが必要だが，一般に単語列の組合せは膨大な量になるため，そのような学習データを用意する
ことは現実的でない．そこで，単語を少数のクラスに分類し，次の近似式を導入して，単語クラスの三つ組
みと中央の単語の発話がコマンドかどうかの関係を調べることで，コマンド生起モデルを求める．

P (C|W ) ∼
=



K−1

P (ck |wk−1 , wk , wk+1 )(9)P (ck |vk−1 , vk , vk+1 )

(10)

k=2

∼
=



K−1

k=2

音響モデルを結合するように，ここでも単語音高モデ

ここで，vk は単語 wk が属する単語クラスを表す．本ル，コマンド生起モデルは，以下のように重み α を介実験では，vk として，以下の 3 種類の単語クラス（S,

して結合することとする．

U, C）を用意した．
473

電子情報通信学会論文誌 2005/3 Vol. J88–D–II No. 3•••

S ：無音区間（silB, silE, sp）
U：コマンドとして使われない単語
C：コマンドとして使われる単語

5. 実

装

以上述べた音声シフト識別手法をもとに，4. 1 でト識別部からの結果を受信し，通常発声であれば「文字入力モード」で音声認識結果を文字列として入力する．また，シフト発声であれば「コマンドモード」としてとらえ，音声認識結果に対応するコマンドを実行
する．

5. 1 実 行 例

述べた音声シフト機能付き音声テキストエディタを画面表示例を図 5 に示す．各図の右側は，基準 F0

実装した．システム全体の処理の流れを図 4 に示す．

（F0 Base），しきい値（THLD），発話区間平均 F0（F0

本システムを構成する図 4 の七つの処理は，分散環

Mean）のモニタであり，図 2 中の音声シフト識別器

境で動作する別々のプロセスとして実装した．これの枠内と対応している．通常発声とシフト発声の識別

らの通信には，音声言語情報をネットワーク上で効率結果もモニタ上部に表示されるとともに，シフト発良く共有することを可能にするネットワークプロト

声の場合，画面最下部のステータスバーに，対応する

コル RVCP（Remote Voice Control Protocol）[9]〜コマンドが実行されたことを示すメッセージが表示さ[12] を用いた．

れる．

音声認識部には，連続音声認識コンソーシアムが提図 5 (a) は，通常発声した場面である．この時点で供するツールキットを用いた [17]．このうち，認識エは，過去に有声休止が検出されていないので，基準 F0

ンジンは Julius 3.2，音響モデルは男性話者用 PTM，は推定できていない．したがって，発話区間の平均 F0

言語モデルは 2 万語彙のモデルを用いた．コマンドのみが表示されている．図 5 (b) は，有声休止が検出の語句は，言語モデルの学習時の 2 万語に含まれなされ，基準 F0 の推定（更新）を行った場面である．図

い語彙を一つの仮想的な語としてまとめた「未知語では基準 F0 としきい値が表示されている．図 5 (c)（UNK）カテゴリー」に追加した．手法 2 で音声認識

は，「改行」をシフト発声した場面である．図から実際結果の N-best 候補のスコアと，コマンド生起モデル，に改行コマンドが実行された様子が分かる．図 5 (d)単語音高モデルの組合せ計算を行う必要がある．ここは，「保存」とシフト発声した場面である．入力内容

では N-best 候補数を 5 とし，音声シフト識別部へとがファイルに保存され，図のステータスバーに保存コ

送信する．

マンドを実行したメッセージが表示されている．

音声シフト識別部では，基本周波数推定部，有声休
止検出部，音声認識部の結果を受信し，3. 3 の手法 1，

6. 音声シフト識別実験

4. 3 の手法 2 のいずれかの手法により，各発話が通常提案した二つの識別手法の性能を実験的に評価する．

発声かシフト発声かを識別する．有声休止が検出され6. 1 実 験 条 件ていれば基準 F0 の更新もここで行う．そして，識別（a） 実験データ

結果，及び，算出された基準 F0 ，発話区間の平均 F0

る．ここでは，音声テキストエディタとして用いられをインタフェース管理部へと送信する．

る状況を想定し，通常発声で文字入力する場合とシインタフェース管理部（エディタ）では，音声シフ

被験者は，男性話者 12 人であフト発声でコマンド入力する場合を交互に収録した．
前者の通常発声には様々な長さのタスクを用意した．
その内容は，短い単語・複合語の計 30 発話，長いフレーズ・文章の計 30 発話であり，それぞれの半数の15 発話にはコマンドとしても使われる単語を交ぜてある．通常発声とシフト発声を交互に収録したため，最終的な実験データは，通常発声（60 発話），シフト発声（60 発話）となる．音声データは，DAT に 48 kHz，

16 bit で録音したものを，16 kHz にダウンサンプリン
図 4 音声シフト機能付き音声テキストエディタの処理の流れ
Fig. 4 System overview of the speech-shift-enabledword processor.

474

グして用いた．
（b） 実験方法

通常発声とシフト発声の識別率

を 3-fold cross validation 法で評価した．具体的には，

論文／音声シフト：音高の意図的な変化を利用した音声入力インタフェース

Fig. 5図 5 音声シフト機能付き音声テキストエディタの画面表示例
Screen snapshots of the speech-shift-enabled word processor.

通常発声，シフト発声をそれぞれ 20 発話（短い単語

人の話者による 240 単語の入力）を用いた．単語音高

10 発話と長いフレーズ 10 発話）ずつ 3 組に分け，2組を各手法の学習データとし，残りの 1 組を評価用のモデルとコマンド生起モデルとの重み α を 0.0 から
1.0 まで変化させて実験し，実験 1 と同様に，話者ご

データとした．これを 3 通りすべての組合せで行い，と（話者依存）のモデルと，全話者共通（話者非依存）

その識別率の平均値を評価結果とした．また，手法 2のモデルを使用する二つの条件で比較実験を行った．

では単語ごとに識別結果が得られるが，すべての単語

6. 3 実 験 結 果

で正しく識別された場合のみ正解とした．

各手法の実験結果を図 6 に示す．どちらの手法にお6. 2 検 討 項 目

いても，話者依存の場合の方が高い識別率となった．

3. 3 の手法 1，4. 3 の手法 2 を比較評価する．
実験 1：（手法 1） 通常発声とシフト発声の二つの同時に，話者依存，話者非依存のいずれの場合も，手カテゴリー境界のしきい値を変化させ，学習データに有効であったことが分かる．手法 2 の重み α に関して対する識別率を最大にするしきい値を求めた．その際，は，話者依存のモデルと話者非依存のモデルのいずれ

話者ごとに別々にしきい値を設定する場合（話者依存）の場合も，α = 0.6 のときに最も識別率が高く，図 6と，全話者共通のしきい値を設定する場合（話者非依はその結果を示している．

存）の二つの条件を用意し，比較実験を行った．
実験 2：（手法 2） 学習データから，二つのカテゴ

法 2 の識別率の方が高く，言語的な事前知識の導入が

7. 評 価 実 験

リーのそれぞれの単語音高モデルを求めた．コマンド

音声シフトのユーザビリティの評価実験として，音生起モデルの学習コーパスには，音声シフト機能付き

声テキストエディタで「文字入力」と「コマンド入力」

音声テキストエディタを実際に数分間使用した履歴（1を切り換える以下の四つの方法について比較検討する．
475

電子情報通信学会論文誌 2005/3 Vol. J88–D–II No. 3(A) マウス操作を用いたボタンによるモード切換(B) 音声（キーワード）によるモード切換(C) シフトキーによるコマンド入力(D) 音声シフトによるコマンド入力
方法 (A)，(B) は，モードを明示的に切り換えながら(D) のすべての対比較により，どちらを好んで使いた
いかを 5 段階評価させた．
7. 2 実 験 結 果
実験 1 の四つの切換方法において，課題を完成させるまでの操作時間の平均と標準偏差を図 7 に示す．こ

テキスト入力する方法である．方法 (C) は，音声シフの操作時間は，被験者がコマンド入力によって音声認

トで音高を高くする代わりにキーボードのシフトキー

識誤りを修正する時間も含んでおり，修正が容易にでを押す方法で，シフトキーを押しながら発声するとコきるかどうかも結果に反映されている．

マンドモードでの入力となる．方法 (D) は，3. 3 の手

平均操作時間によると，方法 (A) のボタンによる法 1 を用い，話者ごとに別々にしきい値を設定した．

モード切換と方法 (D) の音声シフトが最も操作時間が7. 1 実 験 方 法

短かった．次に方法 (C) のシフトキーが短く，最も長被験者はテキストエディタを使い慣れている理工

かったのは方法 (B) の音声（キーワード）によるモー系の男性話者 20 人である．まず，被験者に切換方法

ド切換であった．方法 (A) が短かったのは，被験者が(A)〜(D) についての説明をした後，各方法で練習を

このようなテキストエディタにおける操作に慣れてさせた．その後，紙面に記載されたテキストを各切換いるからと考えられ，方法 (B) が最も長かったのは，方法を用いて入力させた．入力対象テキストの文字数

モードを切り換える際にキーワードを発話する必要がは 62 文字で，紙面には，「改行」「中寄せ」などコマあり，他の方法よりも時間がかかったためである．こンド入力する個所（19 個所）も表記されている．テキ

こで，音声シフトは方法 (A) とほぼ同様の操作時間

ストは四つの方法とも同じものを使用し，方法 (A)〜となっており，スムーズな入力が可能であったと考え(D) の順番は話者ごとにランダムに変えた．その際，課題を完了するまでの操作時間を記録した（実験 1）．

られる．しかし，音声シフトの場合の標準偏差は，ほ次に，入力対象テキストを変更し，コマンド入力のかよりも大きく，被験者による操作時間のばらつきがあったことが分かる．

たびに方法 (A)〜(D) の使いやすいものを選びながら次に実験 2 において，被験者が選んだ切換方法の平入力させた．文字数が 73 文字，コマンド入力個所が均回数と割合を表 2 に示す．この結果から，音声シフ

18 個所のテキストを用い，被験者が選んだ切換方法の種類及び回数を記録した（実験 2）．
最後に，被験者にはアンケートとして，表 1 の各項

トが高い割合で使用されたことが分かる．音声シフト
人の被験者は，テキスト入力中に音声シフトによるコ目について，5 段階評価（5：肯定的，3：どちらともい

マンド入力のみを使っていた．

えない，1：否定的）をさせた．また，切換方法 (A)〜を使用しなかった被験者は 1 人もおらず，20 人中 14

なお，本評価実験の方法 (D) での通常発声とシフト
表 1 アンケート項目
Table 1 Questionnaire items.
番号
1
2
3
4
5
6
7
8

質問
操作に手間はかからなかったか．
使い方は簡単に分かったか．
予測しない動作が多く生じなかったか．
誤入力の修正はしやすかったか．
すぐに慣れたか．
慣れると使いやすかったか．
操作が軽快で，楽だったか．
今後，使いたいか．

表 2 四つの切換方法が使用された割合
Table 2 Usage ratio of the four diﬀerent
mode-switching methods.
図 6 通常発声とシフト発声を識別する性能の評価結果
Fig. 6 Evaluation results regarding the ability to
distinguish between normal and shift utterances.

476

平均使用回数
割合 [%]

(A)
2.5
7.9

(B)
0
0.0

(C)
3.9
12.3

(D)
25.3
79.8

論文／音声シフト：音高の意図的な変化を利用した音声入力インタフェース

発声の識別率は 97.5%で，図 6 の手法 1 で話者依存のい値よりもどれぐらい上下しているかがフィードバッ

ときの識別率より高かった．これは，図 5 の各画面のクされるため，被験者が自分で音高を調節できたから右側の音高表示が有効に機能し，各発話の音高がしきだと考えられる．
図 8 に表 1 のアンケート結果を示した．多くの項目において，モードを明示的に切り換える方法 (A)，(B) とシームレスなモード切換方法 (C)，(D) ではそれぞれ同じ傾向があり，後者の方がより評価が高い傾向にあることが分かる．項目 1, 4, 6, 7, 8 は方法 (C)，(D) が高く，方法 (A)，(B) が低いという同じ傾向が見られ，シフトキーや音声シフトは，慣れると使いや
すく，操作に手間がかからず楽であり，被験者は今後も使いたいと思ったことが分かる．また，それにより修正操作も行いやすかったと考えられる．項目 5 では
方法 (A)，(B) も約半数の支持を得ており，方法 (C)，Fig. 7図 7 操作時間の平均と標準偏差の測定結果
Results of measuring the average and thestandard deviation of operation time.

Fig. 8(D) だけでなく方法 (A)，(B) においてもすぐに慣れることができたと分かる．項目 2 はすべての方法で高い支持を得ていることから，どの方法も使い方は簡単

図 8 アンケート結果（8 項目の評価）
Results of the questionnaire (evaluating 8 items).

477

電子情報通信学会論文誌 2005/3 Vol. J88–D–II No. 3

Fig. 9図 9 アンケート結果（対比較）
Results of the questionnaire (pairwise comparisons).

であったことが分かる．また，項目 3 で方法 (D) の音情報を導入することで使いやすい音声インタフェー

声シフトが他の方法よりも若干評価が低い．これは，スを構築していこうというメッセージをもっている．

シフト発声と通常発声の誤識別が影響している可能性

キーボードとの対比で考えれば，従来の音声認識ががある．しかし，他のメリットが上回っていたために，扱ってきたのは，通常キーの一部に過ぎない．それに総合的には音声シフトは高く評価されていたと考えら対して，「音声補完」「音声シフト」はいわば特殊キー

れる．

の Tab キーや Shift キーを実現したものととらえるこ

最後に，図 9 に方法 (A)〜(D) の各切換方法すべてとができる．今後，更に他の非言語情報によって音声の対比較により，使うとすればどちらを使いたいかとの潜在能力を引き出すことにより，音声インタフェー

いうアンケート結果を示した．この結果からも，方法

スの可能性がどのように広がるかについて，幅広く検(A)，(B) のモードを切り換えるインタフェースより
方法 (C)，(D) のシームレスなモード切換の方が好まれることが分かる．また，方法 (C) と (D) の比較では，50%の被験者が音声シフトを支持しており，シフ
トキーを支持する被験者は 10%であったことから，音討していきたい．

声シフトが多くの被験者に使いやすいインタフェース

文
[1]

献

A. Waibel, “Prosodic knowledge sources for word hypothesization in a continuous speech recognition system,” Proc. ICASSP 87, pp.856–859, 1987.

[2]

小松昭男，大平栄二，市川 熹，“韻律情報を利用した構
文推定およびワードスポッティングによる会話音声理解方機能として受け入れられたことが分かる．

式，” 信学論（D），vol.J71-D, no.7, pp.1218–1228, July1988.

8. む す び[3]高橋 敏，松永昭一，嵯峨山茂樹，“ピッチパタン情報を考慮した単語音声認識，” 信学技報，SP90-17, 1990.

本論文では，ユーザが意図的に制御する音高を利用[4]

江口徳博，尾関和彦，“韻律情報を利用した係り受け解析，”[5]

音響誌，vol.52, no.12, pp.973–978, 1996.
前川喜久雄，北川智利，“パラ言語情報の生成と知覚，”信[6]

A. Stolcke, E. Shriberg, D. Hakkani-Tür, and G. Tür,

して，普通の高さで発声したときと故意に高く発声したときのモード切換を実現する，新たな音声入力イン
タフェース機能「音声シフト」を提案した．また，有学技報，SP99-10, 1999.

声休止区間の F0 を用いた，話者ごとの基準 F0 の推定“Modeling the prosody of hidden events for improved

法，及び，それに基づくシフト発声の識別手法を提案

word recognition,” Proc. Eurospeech ’99, pp.311–314,

した．更に，音声シフトを音声テキストエディタに応

1999.
[7]

K. Hirose and K. Iwano, “Detection of prosodic word

用するとともに，言語的な情報を効果的に組み合わせboundaries by statistical modeling of mora transi-

るシフト発声の識別手法を提案した．音声シフトは通tions of fundamental frequency contours and its use

常のコミュニケーションでは明示的には用いられない

for continuous speech recognition,” Proc. ICASSP

ため，本エディタを初めて使用する際には少々とまど

2000, pp.1763–1766, 2000.
[8]

E. Nöth, A. Batliner, A. Kießling, R. Kompe, andうことも考えられる．評価実験の結果では，理工系男

H. Niemann, “VERBMOBIL: The use of prosody in性 20 人の被験者の多くはすぐに操作に慣れ，慣れる

the linguistic components of a speech understanding
system,” IEEE Trans. Speech Audio Process., vol.8,と使いやすく今後も使いたいと思われるインタフェー
スであることが分かった．
「音声補完」「音声シフト」の一連の研究は，非言語
478

no.5, pp.519–532, 2000.
[9]後藤真孝，伊藤克亘，速水 悟，“音声補完：‘TAB’ on
Speech,” 情処学音声言語情報処理研報，2000-SLP-32-16,論文／音声シフト：音高の意図的な変化を利用した音声入力インタフェース

後藤

pp.81–86, 2000.
[10]

M. Goto, K. Itou, T. Akiba, and S. Hayamizu,“Speech completion: New speech interface with ondemand completion assistance,” Proc. HCI International 2001, vol.1, pp.198–202, 2001.

[11]

[12]

後藤真孝，伊藤克亘，秋葉友良，速水 悟，“音声補完：音
声入力インタフェースへの新しいモダリティの導入，” コ
ンピュータソフトウェア，vol.19, no.4, pp.10–21, 2002.
M. Goto, K. Itou, and S. Hayamizu, “Speech completion: On-demand completion assistance using ﬁlled
pauses for speech input interfaces,” Proc. ICSLP2002, pp.1489–1492, 2002.

[13]

後藤真孝，“解説 音声補完：言い淀むと助けてくれる音
声インタフェース，” 情報処理，vol.43, no.11, pp.1210–
1216, 2002.

[14]

H. Fujisaki and K. Hirose, “Analysis of voice fundamental frequency contours for declarative sentencesof Japanese,” J. Acoust. Soc. Jpn. (E), vol.5, pp.233–

真孝 （正員）1993 早大・理工・電子通信卒．1998 同大
大学院博士課程了．同年，電子技術総合研究所（2001 に産業技術総合研究所に改組）に入所し，現在に至る．2000 から 2003
まで科学技術振興事業団さきがけ研究 21「情報と知」領域研究員を兼任．博士（工学）．音楽情報処理，音声言語情報処理等に興味をもつ．1992
jus 設立 10 周年記念 UNIX 国際シンポジウム論文賞，1993
NICOGRAPH’93 CG 教育シンポジウム最優秀賞，1997 情報処理学会山下記念研究賞（音楽情報科学研究会），1999 平成 10

年電気関係学会関西支部連合大会奨励賞，2000 WISS2000 論
文賞・発表賞，2001 日本音響学会第 18 回粟屋潔学術奨励賞・
第 5 回ポスター賞，2002 情報処理学会山下記念研究賞（音声言語情報処理研究会），2002 日本音楽知覚認知学会研究選奨，2003 インタラクション 2003 ベストペーパー賞各受賞．情報処
理学会，日本音響学会，日本音楽知覚認知学会，ISCA 各会員．

242, 1984.
[15]

[16]

後藤真孝，伊藤克亘，速水 悟，“自然発話中の有声休

克亘

1988 東工大・工・情報工卒．1993 同大

M. Goto, K. Itou, and S. Hayamizu, “A real-

大学院博士課程了．博士（工学）．1993 電子技術総合研究所入所．2003 名古屋大学

time ﬁlled pause detection system for spontaneous
speech recognition,” Proc. Eurospeech ’99, pp.227–
230, 1999.
[17]

伊藤

止箇所のリアルタイム検出システム，” 信学論（D-II），
vol.J83-D-II, no.11, pp.2330–2340, Nov. 2000.

鹿野清宏，伊藤克亘，河原達也，武田一哉，山本幹雄，音大学院情報科学研究科助教授，現在に至る．
音声を主とした自然言語全般に興味をもつ．
情報処理学会，日本音響学会各会員．

声認識システム，オーム社，2001.
（平成 16 年 2 月 6 日受付，7 月 12 日再受付）

小林哲則 （正員）1980 早大・理工・電気卒．1985 同大大学院博士課程了．1997 より早大・教授．音尾本幸宏

2000 早大・理工・電気電子情報卒．2002

声・画像処理を中心とする知覚情報システ
ムの研究に従事．2001 年度本会論文賞受
賞．情報処理学会，日本音響学会，IEEE
等各会員．

同大大学院修士課程了．同年松下電器産業（株）入社．在学中，音声認識，ヒューマン
インタフェースに関する研究に従事．日本
音響学会会員．

479