社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

音声入力への応答タイミング決定のための強化学習の検討
盧迪†

深山覚†西本卓也†

嵯峨山茂樹†† 東京大学 大学院情報理工学系研究科〒 113-8656 東京都文京区本郷 7-3-1
E-mail: †{lu,fukayama,nishi,sagayama}@hil.t.u-tokyo.ac.jp
あらまし

音声対話システムにおいて，ユーザの入力発話に対する応答の遅延を改善することは重要である．本研究では，ユーザ発話中に音声認識エンジンから得られる漸次的認識結果の利用を検討した．まず漸次的認識結果の信頼性を高めるためにサブワード語彙の利用を検討した．次に，誤認識を含む情報からユーザ発話内容を予測する問題を，逐次的に応答決定または待機を行う方策決定問題ととらえ，強化学習の適用を試みた．さらに，予測されたユーザ発話の終了に合わせてシステム発話を開始する手法を検討した．様々な音声認識エラー率およびユーザ発話速度の条件でシミュレーションを行い，さらに音声認識と音声合成を用いた実験を行った結果，提案手法の有効性が示唆された．
キーワード

音声対話，音声認識，漸次的認識結果，タイミング制御，強化学習

Decision of Feedback Timing for Speech Recognition
with Reinforcement Learning
Di LU† , Satoru FUKAYAMA† , Takuya NISHIMOTO† , and Shigeki SAGAYAMA†† Graduate School of Information Science and Technology, the University of Tokyo
7-3-1 Hongo, Bunkyo-ku, Tokyo, 113-8656 Japan
E-mail: †{lu,fukayama,nishi,sagayama}@hil.t.u-tokyo.ac.jp
Abstract In spoken dialog systems, it is important to reduce the delay of the response to the user’s utterance.
We investigated the use of incremental recognition results which can be obtained from speech recognition engine
during the user’s utterances. In order the system to respond correctly with incremental recognition results, theproblem should be solved how to utilize the incremental results eﬀectively, which are not enough reliable. We
formulated this problem as a decision making task, in which the system makes choices iteratively either to answer
using previous observations, or to wait until next observation. The reinforcement learning can be applied to thisproblem. Experimental results indicated that the users highly evaluated the system when it uses the estimation ofcompletion time of user’s utterance with the recognition results using sub-word vocabulary.
Key words Spoken dialog, Speech recognition, Incremental recognition results, Decision of timing, Reinforcement
learning

1. は じ め に
近年，音声認識技術が成熟し，その性能は飛躍的に高まり，さまざまな情報機器で音声認識による操作が可能になっている．
しかし，期待されたほどには使われていないのが現状である．
「音声認識はどうしたら使われるか」という問題提起 [1] について，現在も状況はあまり変わっていない．

説 (1) の問題を解決するために擬人化音声対話エージェントのツールキット Galatea [2] が開発された．また擬人化エージェン
トの動作を人間的にするための検討も行われた [3]．
本報告では仮説 (2) を扱う．具体的には，人間に対する機械の応答タイミングを適切にすることを目標とする．
一般に，使いやすいインタフェースシステムを実現するためには，システムの状態などの理解しやすさ，入力の手順のわ

本研究は「音声認識が活用されにくい理由は (1) 機械の外見かりやすさ，入力に対するフィードバックの適切さ，といったが人間的でない，(2) 機械との対話が円滑でない，(3) 機械が「インタフェースの透過性」が重要であり，これは音声応用シ知能的でない，の 3 点である」という仮説に基づいている．仮

ステムにおいても成り立つとされる [4]．

—1—

人間同士の会話のひとつの特徴は，相手の発話を最後まで聞かずに割り込んだり応答したりする現象である．例えば道案内

表1

発話「もう一回お願いします」の漸次的認識結果の例（語彙サイズが 20 の場合）
時刻 (ms)をする話者 A が「2 番目の交差点で右に曲がって左側にありま

漸次的認識結果

300 うんす」という説明をしている途中で，聞き手である話者 B は「は600 はいい」「ええ」といった相槌発話を行い，「2 番目の交差点」「右に」

900 ありがとうございますといった情報を獲得できたことを相手に示せる．また，「左側1200 もう一回お願いしますに」という情報を聞き逃したら即時に「え？もう一度」のよう1500 もう一回お願いしますに割り込み発話を行える．話者 B も，その割り込み発話を最後final もう一回お願いします

まで聞かないで「左側です」と言い直すことができる．このよ
うに，人間同士のコミュニケーションにおける相槌や割り込みなどの活用は「分かっているのか分かっていないのか反応を示す」ことにつながる．このような手法を音声対話システムに取り入れることはインタフェースの透過性に貢献する．

認識に対する頑健性も十分に検討されているとは言えない．
さらに，発話の途中でユーザが割り込んだり相槌を打つことは，常に適切であるとは限らない．不自然にシステムが応答を早く行うと，ユーザが発話しにくくなることもある．

本報告では，このような着眼点に基づいて，機械と人間の音声対話をより円滑にするための制御手法の提案と，その有効性に関する予備的検討について述べる．

2. 円滑な応答のための対話制御

3. 漸次的認識結果と強化学習に基づく応答遅延の改善
3. 1 提案手法の概要
音声入力への応答生成は，語彙やタスクに関する汎用性，誤2. 1 目標

従来の多くの音声対話システムにおいては，ユーザの発話が終了してからシステムが応答発話を行うまでの遅延が大きい [5]．
例えば Galatea Toolkit で使われている Julius など，一般的な 2 パス方式の連続音声認識技術では，ユーザの発話とフレーム同期で行われる第 1 パスの処理に加えて，ユーザ発話区間の終了を検出してから行われる第 2 パスの処理が必要である．
テキスト音声合成においても遅延は生じる．例えば，Galatea
では音声合成と顔画像合成のリップシンクを行うために，音声合成エンジン GalateaTalk は音声信号と音素継続長情報をまず内部的に生成し，その後音声およびリップシンクの情報を同期出力する必要がある．結果として，人間同士の対話では起こりにくい不自然な「間」が生じてしまう．
これに対して，人間は円滑な発話タイミングを実現するために，相手話者の発言を最後まで聞かないことが多々ある．たとえ誤解するリスクがあったとしても，そのリスクが十分に小さいならば，対話を円滑に行うことを重視していると言える．

2. 2 従 来 手 法
発話中に音声認識結果を取得する提案としては，例えば音声認識の途中で最適解が一定フレーム数以上一定であれば認識結果の単語列を確定する提案 [6] がある．この技術はテレビ放送の字幕付与のための技術であり，人手による誤認識の訂正処理を前提としている．
ユーザの発話中に頷いたり相槌を打つ音声対話システムについても，過去にさまざまな提案がなされている．Skantze ら [8]は発話の終了判定において無音継続時間の閾値を短くし，発話中のポーズで音声認識結果を出力する手法を提案している．
西村ら [7] は逐次的な音声認識に韻律解析を組み合わせる手法を提案している．また NTT の DUG-1 [9] や早稲田大学のRobisuke [10] などで，音声入力に対する相槌や割り込みの手法が提案されている．しかし，これらの手法は語彙やタスクに認識に対する頑健性，適切な発話タイミングという点を考慮す
ると，以下の 3 つの問題に分割できる．
（ 1 ） 発話終了の前にできるだけ信頼できる音声認識結果を取得する．
（ 2 ） ユーザの発話内容をなるべく早く正しく予測する．
（ 3 ） ユーザに対して適切なタイミングで応答発話を開始する．
以下にそれぞれの手法を詳述する．

3. 2 サブワード音声認識
発話終了の前に音声認識結果を取得する際に，発話途中で適切な情報が得られるか否かは語彙に依存する，という課題があった．例えば，音声認識エンジン Julius には第 1 パスでの解析途中から漸次的に結果を出力する機能（progout オプション）が実装されている．この機能は例えば音声インクリメンタ
ル検索の試作 [11] において検討されたものの，検索対象項目が発話に応じて適切に絞り込まれるためには，例えば「メンチカツ」というキーワードの部分文字列である「メンチ」といったキーワードが語彙に含まれている必要があった．
表 1 に発話「もう一回お願いします」に対する Julius の漸次的認識結果の例を示す．ただし final は第 2 パスの出力結果である．ユーザ発話の終端に近づくと認識結果は第 2 パス結果と一致するが，ユーザ発話の冒頭においては発音の類似するエントリではなくモーラ数の少ない「うん」「はい」といったエントリが一位仮説として選ばれている．
発話内容を確定しやすくするために，このような知見を踏まえつつ，汎用性を考慮して既存の音声認識エンジンを改変しないという方針に基づくと，認識候補単語を音素，モーラ，音節といったサブワードに分割し，サブワード単位の認識語彙を用いる方法が考えられる．例えばモーラを単位とするなら，「こんにちは」という認識対象に対して「こ」「こん」「こんに」「こんにち」という辞書エントリを追加する方法である．もし語彙が依存せず幅広く有効であるかどうかは明らかではなく，また誤—2—

「こんにちは」と「こんばんは」に限定されたなら，先頭 3 モーラ「こんに」によって認識結果を「こんにちは」と予測できる．
サブワード単位としてモーラを用いることは必須ではない．
音素を単位とすれば短い時間間隔で妥当な認識結果を得られる可能性があるが，環境依存型音素モデルによる精緻な音響尤度計算を行いにくくなる．日本語の特徴といわれるモーラ等時性
図 1 強化学習の概要

は，発話の終了タイミング予測に利用できる可能性があり，このことからモーラを単位として辞書エントリを作成することは妥当と考えられる．
漸次的認識結果は誤認識を含んでいる可能性がある．従ってこの情報から百人一首の「決まり字」のように決定論的に発話内容を決めることは望ましくない．

3. 3 ユーザ発話内容の予測
3. 3. 1 強化学習による定式化
漸次的認識結果（観測）が一定の時間間隔で得られるときに，ユーザ発話内容の予測とは，言い換えると，ある観測が得られるたびに，それまでの観測を信用してシステム応答を決定する
か，情報が不足していると判断して次の観測を待つか，判断を繰り返す問題である．
この判断は，語彙の中に語頭の発音が同じ（似ている）単語が含まれているか，といった要素に左右される．さらに誤認識に対してできるだけ頑健であることも望まれる．従って，この判断タスクにはタイミングの早さと正確さのトレードオフの関係がある．時間が経過するほど観測は信頼できるものになるが，観測を待てば待つほどユーザに対する応答の早さは犠牲になる．
このような問題においては，タスクごとに規則を記述したりパラメータを調整したりすることが困難であるため，機械学習が有効であると期待される．すべての漸次的認識結果に対するシステムの判断について教師あり学習を行うことは困難である．
しかし，システムが最初の認識結果を得てから応答を決定するまでの一連の判断を個別のエピソードと見なして，エピソードごとに一連の判断を評価することは比較的容易である．すなわ
ち，ユーザ発話に対するシステム応答が 1 回行われるごとに，タイミングが早く正確であった場合に高い評価を，そうでなかった場合に低い評価を行えばよい．
人間の場合でも，相手の話の途中で理解したと思って割り込んで応答して，実は誤解（早とちり）であったことのリスクと，相手の話を最後まで聞くことでコミュニケーションが遅くなることのリスクの，トレードオフを判断していると考えられる．
これは話題が易しいか難しいかによって異なっており，人間はこの見極めを経験によって適切に判断している．
機械学習においては，このような問題は一般に強化学習 [12]によって解くことができる．強化学習とは状態に対応する行動の評価（報酬）の総計を最大化するように決定する機械学習の一手法である（図 1）．本研究で扱う問題であれば，逐次的音声認識結果を状態と見なし，「認識結果を確定する」または「次の逐次認識結果を待つ」を行動と見なすことができる．すなわ

慮した学習が可能である．
このような強化学習の利用は，音声対話システムの対話制御において近年注目されているアプローチに近い [13]〜[15]．既存提案と本研究の相違は，発話ターン単位で行動を決定するのではなく，漸次的認識結果が得られるたびに行動を決定している点である．

3. 3. 2 シミュレータによる擬似的学習
一般に，実際の人間との対話を通じた強化学習は，時間と手間がかかるためコストが高い．そこで強化学習による音声対話制御では，規則や確率に基づいてユーザの動作を模擬するユー
ザシミュレータを用いてパラメータを擬似的に学習し，その後必要に応じて人間との対話（実際の音声認識の結果）を用いてさらに学習を行うアプローチが多く用いられる．この擬似的学習には，大量のエピソードを自動生成しやすく，低コストで学習を行えるという利点がある．また，エピソードごとの報酬の推移は，学習プロセスの妥当性を評価する目安にもなり得る．
漸次的認識結果を出力できるシミュレータとして，例えば以下の手法が可能である．
（ 1 ） ユーザ発話として提示する単語を決定し，その発話を行う話速をモーラ／秒の単位で決定する．また音声認識のエラー率をあらかじめ決めておく．
（ 2 ） ユーザ発話開始からの経過時間に応じて，発話されたであろうモーラ数を決めて，対応するサブワード単語を出力する．このとき，事前に決められた音声認識エラー率に応じて，確率的に誤認識結果に置換して出力する．
（ 3 ） システムがユーザ発話を確定し，応答を生成したら，1 回分のエピソードを終了する．なお，システムの確定タイミングが遅れるたびに負の報酬を与え，システム応答が決定したときにその正しさに応じた報酬を与える．

3. 3. 3 POMDP による確率更新
Markov Decision Process (MDP) を拡張した Partially Observable Markov Decision Process (POMDP) は，本問題のような不完全な観測を扱うのに適した強化学習のモデルである．
本問題においては，式 1 に示すように，すべてのユーザ発話 sの確率（信念）を確率分布 b(s) で表し，漸次的認識結果 o からユーザ発話 s の分布 b(s) を推定する，という定式化が可能である．この方法により誤認識の影響を回避しやすいと期待できる．

b(s) = η · p(o|s, a)∑p(s0 |s, a)b(s)(1)sち，タイミングの早さと正確さに応じて得られる報酬の総計を例として「赤門はどこですか」「ありがとうございます」「も最大化するように全体の方策を探索する，最適化問題に帰着さう一回」の語彙に対して，「あかもんはどこですか」がモーラ単れる．報酬の与え方に応じて早さと正しさのトレードオフを考位で逐次的に認識されていく例を図 2 に示す．縦軸はそれぞれ—3—

の単語の確率（信念）を表す．3 回目の観測で「ありがとう」という誤認識が入力されたとしても，確率の更新には影響が生じにくい．

3. 4 ユーザ発話終了時刻の予測
ユーザの発話に対するシステム応答の望ましいタイミングはタスクや発話内容に依存すると考えられ，必ずしも明確ではな
い．ユーザ発話の途中でシステム応答の内容が決定できたとす
ると，(1) できるだけ早くシステム発話を行う，(2) ユーザ発話が終了するタイミングに合わせてシステム発話を開始する，の2 つが可能である．

図3

音声認識エラー率ごとの早期率と正解率の変化

方法 (2) の実現方法として例えば以下が考えられる．
システムが何回目かの逐次認識結果から，ユーザの行うであモーラ数 LIU の比であり，次式のとおりである．

ろう発話を予測でき，システム応答を決定できるとする．それまでにユーザが発話したモーラ数（漸次的認識結果のモーラ数）

LIU と，ユーザの発話の開始からその時刻までの時間 tduration(2)

tduration

テム応答が正しかったエピソード数 Tcorrect の比であり，次式のとおりである．と概算できる．
予測されたユーザ発話の総モーラ数 Lspeech を用いて，∆t =(4)率を定義した．これは，全エピソード数 Ttotal に対する，シスLIU

ユーザの発話終了までの時間 ∆t は

LIU
Lspeechまた，システムの応答の正確さを評価する尺度として正解によって，ユーザの発話速度 sspeech はsspeech =Rearly =Lspeech − LIU
sspeechRcorrect =TcorrectTtotal(5)

4. 3 シミュレーションによる検討(3)で得られる．
音声合成によってユーザ発話を生成する処理時間が見積り可

シミュレーション実験の目的は，ユーザ発話予測の早さと正しさのトレードオフを考慮した学習に関する予備的検討であり，特に音声認識エラー率が高い場合における振る舞いを検討することである．

能であれば，∆t から出力処理時間を減じた時間だけ後に発話前述したユーザシミュレータと POMDP に基づく実験系をを開始すれば，ユーザ発話の終了に合わせてシステム応答を行構築した．モデル学習には Q-Learning を用いた．0, 10, 20,うことができる．

30, 40, 50 (%) の音声認識エラー率，4, 5, 6, 7（モーラ／秒）

4. 提案法による応答遅延改善の検証
4. 1 対話タスクの各発話速度，50 種類の各発話に対して，1000 エピソードの学習を行い，その後 100 エピソードの対話で評価を行った．
音声認識エラー率ごとの早期率と正解率の変化を図 3 に示提案手法の有効性を検討する実験を行った．音声認識タスク

す．エラー率が増加すると早期率（グラフの点線）が上昇しては大学構内の道案内を想定した日本語の孤立単語文法であり，おり，応答の決定が遅くなることが示されている．また正解率

語彙サイズは 50 単語である．モーラ数の最小値，最大値，平に注目すると，音声認識エラー率 0%と比較して 10%の場合に均値は 2, 19, 9.9 である．

は正解率は低下する．しかしエラー率が 10%から 50%までのただし本報告における「単語」とは個々の辞書エントリのこ各条件の正解率は大きく変わらない．このことは，音声認識エとであり，「三四郎池はどこですか」のように，日本語文法の定ラー率が上昇した場合に応答の正解率を低下させないために返義における複数単語からなるエントリを 1 つの単位として扱う

答を遅らせる，という方策を学習できた可能性を示唆している．

場合が含まれる．また，この「単語」をモーラ単位に分割し重POMDP を使った提案手法と，漸次的認識結果から発話の早複を取り除いて得られた辞書エントリ数は 399 である．

期率が閾値を越えた場合に応答を決定する手法（ルールベースシステムの動作は，50 種類のユーザ発話に 1 対 1 に対応す手法）の比較を行った結果を図 4 に示す．音声認識エラー率はる応答動作，および次の漸次的認識結果を待つ動作の，合わせ0, 10, 20, 30, 40, 50 (%) について検討した．縦軸は正解率，横て 51 種類である．

軸はルールベース手法の早期率の閾値である．実線と点線はエ

後述するシミュレーションおよび対話システムでは 300(msec)ごとに漸次的認識結果を得るものとする．

ラー率ごとのルールベース手法の結果であり，早期率 0%から100%まで 10%刻みで実験を行った結果を曲線近似した．プロッ

4. 2 早期率と正解率

ト点は提案手法の結果である．特に音声認識エラー率 40%とシステムの応答の早さを評価する尺度として早期率を定義し50%の場合において，同じ音声認識エラー率かつ同じ早期率のた．これは，確定されたユーザ発話のモーラ数 Lspeech に対す

場合に，提案手法はルールベース手法よりも高い正解率を示しる，システムがユーザ発話を決定するために要したユーザ発話ている．このことは，特に音声認識エラー率が高い場合の，提—4—

図2

POMDP における漸次的認識結果からの確率更新の例

図 4 6 条件の音声認識エラー率の下での POMDP 手法とルールベース手法の早期率に対する正解率

案手法の有効性を示唆している．

4. 4 対話システムを用いた検討
Galatea Toolkit を用いて，漸次的認識結果を利用し応答タイミングを決定できる音声対話システムを実装した（図 5）．音声認識エンジンとして Julius (Julian 3.5) を，音声合成および顔画像合成に GalateaTalk および Galatea FSM を使用した．
実装は Windows 環境で行い，対話制御は Python で実装した．
また前述したシミュレーション実験で学習された POMDP のパラメータを用いた．
システム応答の手法として以下の 3 種類を比較した．

•後に応答•

図5

実装したシステムとの対話の様子

システム A: 最終的な認識結果を使い，ユーザ発話終了
システム B: 漸次的認識結果を使い，ユーザの発話終了タイミングを予測して応答•システム C: 漸次的認識結果を使い，応答タイミングを—5—オフを考慮した制御が実現できる可能性が示唆された．また，音声対話システムとして実装した結果，予測した発話終了タイミングに合わせてシステム発話を開始する手法について，ユーザから高い評価が得られる可能性が示唆された．
今後の課題として，タスクを複雑にした場合の検討を行う必要がある．モーラ単位に分割した場合に語彙サイズは数倍〜数十倍に増加するが，音声認識エンジンにおいて語彙が木構造化
図6

システム応答の遅延時間（左）と正解率（右）の平均されていれば尤度計算は増えないと考えることができる．ビー
ム探索の条件によっては計算量の増加ではなく性能の低下をもたらす可能性もある．
また，ユーザシミュレータは必ずしも妥当に設計されているとは言えないため，人間との対話を通じた強化学習を行って提案手法をさらに検証する必要がある．
文

図 7 アンケート結果（平均）決定したらすぐに応答3 種類の手法について被験者 10 人（男性 8 人と女性 2 人）に各 5 回程度システムを使用してもらい，その後，アンケートを実施した．質問は三つのシステムそれぞれに関して「システムとの対話は人間らしいと感じましたか？（人間らしさ）」「システムとの対話は効率的だと感じましたか？（効率のよさ）」「このシステムを使いたいと感じましたか？（使いたいか）」の 3 項目であり，0（まったくそう思わない）から 10（非常にそう思う）までの 11 段階評価をさせた．またシステムの動作記録を用いて，ユーザの発話終了からエージェントの応答開始までの遅延を測定し，応答の正解率も集計した．
システムの応答の平均遅延時間と正解率を図 6 に示す．シス
テム A は最終的な認識結果を用いているので，遅延が大きいが正解率が一番高い．一方でシステム C は一番早く応答しているが正解率も低い．
アンケートの結果を図 7 に示す．分散分析の結果，「人間らしさ」に関しては水準間の有意差はなかった．
「効率のよさ」に関しては 5%水準で A < C が有意であった (F=3.57)．
「使いたいか」に関しては 5%水準で A < B, B > C が有意であった(F=4.62)．このことから，提案法のうちユーザ発話の終了に合わせてシステム発話を開始する手法が，特にユーザに高い評価を得られる可能性が示唆された．

5. ま と め
本報告では，ユーザ発話中に音声認識エンジンから得られる漸次的認識結果の利用を検討した．具体的には，信頼性の低い漸次的認識結果を適切に利用するために，サブワード単位の語彙を使い，逐次的に応答決定または待機を行う方策決定を強化学習によって実現する手法を提案した．シミュレーション実験の結果から，提案手法によって応答の早さと正確さのトレード

献[1] 嵯峨山 茂樹: “なぜ音声認識は使われないか・どうすれば使われるか？, ” 情処研報,94-SLP-1-4, pp. 23-30, May 1994.
[2] 嵯峨山 茂樹, 川本 真一, 下平 博, 新田 恒雄, 西本 卓也, 中村哲, 伊藤 克亘, 森島 繁生, 四倉 達夫, 甲斐 充彦, 李 晃伸, 山下洋一, 小林 隆夫, 徳田 恵一, 広瀬 啓吉, 峯松 信明, 山田 篤, 伝康晴, 宇津呂 武仁: “擬人化音声対話エージェントツールキット
Galatea,” 情処研報, 2002-SLP-45-10, pp.57-64, Feb. 2003.
[3] 中沢 正幸，西本 卓也，嵯峨山 茂樹: “力学モデル駆動による音声対話エージェントの動作生成,” HAI シンポジウム 2009, 2C-1,Tokyo, Dec. 2009.
[4] 西本 卓也, 志田 修利, 小林 哲則, 白井 克彦: “マルチモーダル入力環境下における音声の協調的利用—音声作図システ
ム S-tgif の設計と評価—,” 信学論 D-II, Vol.J79-D-II, No.12,pp.2176-2183, Dec. 1996.
[5] 西本 卓也, 中沢 正幸, 嵯峨山 茂樹: “音声対話における擬人化エージェントの身体動作表現の利用,” 2004 年度人工知能学会全国大会 (第 18 回) 論文集, 2C2-01, Jun. 2004.
[6] 今井 亨, 田中 英輝, 安藤 彰男, 磯野 春雄: “最ゆう単語列逐次比較による音声認識結果の早期確定,” 信学論 J84-D-II(9),1942-1949, 2001.
[7] 西村 良太, 北岡 教英, 中川 聖一: “応答タイミングを考慮した雑談音声対話システム,” 人工知能学会 SIG-SLUD 46, 21-26,Mar. 2006.
[8] G. Skantze, A. Hajalmarsson: “Towards Incremental Speech
Generation in Dialogue Systems,” In Proceedings of SIGdial, Tokyo, Sep. 2010.
[9] M. Nakano, K. Dohsaka, N. Miyazaki, J. Hirasawa, M. Tamoto, M. Kawamori, A. Sugiyama, T. Kawabata ：“Handling rich turn-taking in spoken dialogue systems,” Proc. ofEurospeech-99, pp. 1167–1170, 1999.
[10] 藤江 真也，福島 健太，三宅 梨帆，小林 哲則: “相槌生成／認
識機能を持つ音声対話システム,” 人工知能学会 SIG-SLUD,Vol.45, pp.41-46, Nov. 2005.
[11] 西本 卓也，岩田 英三郎, 櫻井 実, 廣瀬 治人: “探索的検索のための音声入力インタフェースの検討,” 情報処理学会研究報告2008-HCI-127(2), pp.9-14, Jan 2008.
[12] Richard S. Sutton, Andrew G. Barto（三上 貞芳, 皆川 雅章
訳）: 強化学習, 森北出版, 2000.
[13] Jason D.Williams, P. Poupart, Steve Young: “Factored Partially Observable Markov Decision Processes for Dialogue
Management,” Proc. Workshop on Knowledge and Reasoning in Practical Dialog Systems Int. Joint Conf. on ArtificialIntelligence (IJCAI), 2007.
[14] E. Levin, R. Pieraccini: “A stochastic model of computerhuman interaction for learning dialog strategies,” Proc. Eurospeech, Rhodes, Greece, 1997.
[15] N. Roy, J. Pineau, S. Thrun: “Spoken dialog managementfor robots,” Proc. ACL, Hong Kong, 2000.

—6—