対話ログによる訓練が可能なインタラクティブ音声理解システムの枠組
中野 幹生 Ý，東中 竜一郎 Ý，Matthias DeneckeÝ，須藤 克仁 Ý，宮崎 昇 Þ，堂坂 浩二 Ý
Ý 日本電信電話 (株) NTT コミュニケーション科学基礎研究所
Þ 日本電信電話 (株) NTT サイバースペース研究所

概要

たとえば，特定のドメインの情報検索・コールルーティ

音声で対話しながらユーザの要求を理解するシステム

ングや，テキストコーパスを対象とした質問応答シスの構築の枠組について検討する．従来，このようなシテムなどが研究されてきた．これらの ISU の中には実ステムの構築には，専門家によるドメイン依存の知識用レベルに達しているものもあるが，新たなタスクド源の記述が必要であったが，広く用いられるためには， メイン・タスクタイプの ISU を作るには，専門家の手専門家でなくても高性能なシステムの構築ができる必 による，タスクドメイン依存の知識源 (以下モデルと呼要がある．本稿では，専門家でなくても初期システム用ぶ) の作成が必要である．ISU が広くインターフェースのドメイン依存知識が記述でき，初期システムとユーとして受け入れられるためには，専門家でなくても簡ザとの対話ログを用いて知識源を訓練することにより， 単にモデルが作成できることが必要である．専門知識システムの性能を向上できるようなシステム構築の枠 がなくても簡単に ISU をつくるためのツールキットが組を提案する．

開発されている [1, 3, 11]．しかしながら，ツールキッ
トは，プロトタイプを作るのには適しているが，人手1 はじめにをかけてチューニングをしたシステムに匹敵するよう機械と人間が音声言語でコミュニケーションできるよなものを作るのは容易ではない．

うにする技術は，機械を使いやすくし人々の生活を豊

本稿では，専門家でなくても初期システム用のモデかにすると期待されている．その中で最も重要な技術

ルが作成でき，初期システムとユーザとの対話ログをのひとつは，人間と音声で対話しながら, ユーザの要用いてモデルを訓練 (training) することにより，システ求を理解する技術である．ユーザの発話を一度で正しムの性能を向上できるようなシステム構築の枠組を提く認識・理解できるとは限らないため，問い返しや確案する．さらに，従来の ISU に関する研究を整理し，認が必要になること，および，ユーザが一度の発話で提案する枠組が実現可能であることを示す．

要求を完全に伝えることができないことから，精度よくユーザの要求を理解するには，単発話の理解だけで2 インタラクティブ音声理解システムはなく，ユーザとのやりとりが必要になる．本稿では， 2.1 インタラクティブ音声理解システムのタスク
そのようなシステムを，インタラクティブ音声理解シ ここではまず ISU を定義する．まず，ユーザ要求は，
ステム (Interactive Speech Understanding system, ISU)

ユーザ要求タイプと，スロット (スロット名と値のペと呼ぶ. 音声対話システムと異なる呼び方をする理由ア) の集合で表される付属情報からなる．スロット値

は，音声対話システムの研究には，ユーザの要求理解はアトミックなシンボルもしくはスロットの集合とすだけではなく，ユーザへの情報伝達の方法の研究も含る．たとえば，「水曜日の 9 時すぎに出るのぞみの指定まれるからである．

席が欲しい」というユーザ要求は，次のようにあらわ

ISU はどのようなタスクドメインの要求でも理解できることが望ましい．しかしながら，あらゆるドメイされる．

ンの発話が理解できる言語理解モデルの構築法が確立されていないことから，近い将来での実現は難しい．代
わりに，特定のタスクドメインの要求を扱うシステム，
A Framework for Interactive Speech Understanding Systems thatare Trainable using Dialogue Corpora. Mikio Nakano, Ryuichiro Higashinaka, Matthias Denecke, Katsuhito Sudoh, Noboru Miyazaki, Kohji Dohsaka (NTT Corporation)

ユーザ要求タイプ: 予約
付属情報:[列車種別: のぞみ
日にち:水曜日
出発時間帯: [時間:9時
時間付加情報: すぎ]]

ユーザ要求タイプと各スロット値の間には，共起に制約があるとする．可能なユーザ要求の種類は有限個と談話理解
モデル

対話状態

対話管理

対話制御
モデル

意味表現

意味表現

言語理解

表層生成

生成テン
プレート

単語列

発話文字列

談話理解
言語理解
モデル
認識用
言語モデル

音声認識音声合成

ユーザ発話

システム発話(5) 訓練されたモデルを用いたシステム S ·½ を構築する.
  とし，ステップ (2) に戻る．
(6)
ステップ (1) の初期システムの作成とステップ (3) のタグ付けは，音声言語処理の専門家でなくても，一般的なプログラミングの知識があればマニュアルを読む程度でできることが必要である．

3.3 訓練に適したモデルの構成
以下では，上記の枠組に適したモデルの構成について議論する．

3.3.1 初期システムのための知識記述
まず，初期システムのためのドメイン依存知識の記述

図 1: ISU の一般的な構成する．

(以下初期記述と呼ぶ) について述べる．初期記述は，以下のものからなる．

上記の形式であらわすことができないユーザ要求もキーフレーズ キーフレーズのクラスと各々のクラスありえるが，従来の音声対話システムの多くが，上記に属するフレーズのリストを記述したものである．以の形式か，より単純なものを用いており，応用範囲は下に例を示す．

十分広いと考えられる．

ISU はどのようなアプリケーションの中で用いられるかによって，要求される機能が異なる．時間がかかっクラス:
駅名
フレーズ: 東京 東京 駅 (東京)
大阪 新大阪 新大阪 駅 (新大阪)ても高精度で意図理解を行わなければならない場合もここで括弧の中は，ユーザ発話の意味表現中で使われあれば，低精度でもなるべく速く理解結果を得なけれるシンボルをあらわす．

ばならない場合もある．これらの条件を考慮して ISUの評価を行わなければならないが，本稿の主題とずれ発話例 ユーザ発話の例とその意味表現，すなわち言るのでここでは議論を省略する．

語理解の結果の組で，以下が一例である．

3 対話ログを用いたモデルの訓練
3.1 インタラクティブ音声理解システムの構成
われわれが仮定する ISU の一般的な構成を図 1 に示す

発話:
東京駅まで行きたい
意味表現: [発話タイプ: 目的地指定
目的地:東京]談話理解規則 ユーザ発話の意味表現と直前のシステ(詳細は [5] 参照)．ISU は複数のモジュールからなり， ム発話の内容があたえられたとき，理解状態をどう変各モジュールがドメイン依存のモデルを参照しながら 化させるかを記述した規則の集合．ここで，理解状態とは，その時点までの対話からユーザ要求を理解した動作する．
結果 (2.1 節で述べた表現であらわされるもの) と，それ3.2 インタラクティブ音声理解システム構築の枠組
ぞれのスロットが確認済みかどうかの情報を含むデー
以下にわれわれが考えるインタラクティブ音声理解シ タ構造である．以下は，ユーザ発話が目的地を指定すステム構築の枠組を示す．

るものと理解したとき，理解状態の目的地スロットを(1) ツールキットを用いて初期システム S¼ を作成 埋めるという規則である．

 とする．
し，(2) システム S と一般ユーザとの対話を収録する．
(3) 収録されたデータにタグ付けする．
(4) タグ付けされたデータを用いてモデルを訓練す
る

条件:
意味表現:

[発話タイプ:地名指定
地名:*X]
直前のシステム発話: 目的地指定要求
アクション:
対話状態の変化のさせ方: <目的地>=*X

各談話理解規則を適用したときの理解状態の変化の仕3.3.3 モデルの構成と訓練方は一意に決まる．すなわち，意味表現は，理解状態

音声認識 音声認識部は，入力中の音声区間を切り出を変化させる命令と捉えることができる．

し，その認識結果，すなわち単語列の N-best リストを理解状態が満たすべき条件 理解状態が満たすべき条件で，スロット値への制約として記述する．以下は，目的地と到着地は異なるという条件である．
<目的地> != <到着地>

対話制御規則 理解状態に関する条件と，その条件が満たされたときに行う発話の意味表現を記述したものの集合である．合理的であると考えられるすべての規則を記述しておく．
条件:
理解状態: <目的地>!=nil<目的地確認>=no
システム発話:意味表現: [発話タイプ: 目的地確認
目的地: <目的地> ]ここで，<目的地>!=nil は，目的地スロットの値が空でないことを示す．

言語理解部に送る．音声認識部が用いるドメイン依存のモデルとして，単語 n-gram モデル，特に単語クラスn-gram を用いる．初期システムのモデルは，初期記述の発話例から学習する．対話データ収集後は，発話の書き起こしを自動で単語切りしたものを学習データとして用いる．クラス n-gram を用いるのは，初期記述の発話例の量はもちろん，対話データを収集した後でも，データ量がクラスなしの n-gram の訓練には不十分と考えられるからである．
言語理解 言語理解部は，音声認識結果の n-best リス
トを受け取り，意味表現の m-best リストを談話理解部に送る．n と m が異なるのは，ひとつの単語列から複数の意味表現が得られる場合や，認識誤りなどにより認識結果が理解不能である場合があるからである．言語理解部が用いるモデルには，統計的言語理解モデルを用いる ([10] など)．初期システムのモデルは，発話例を基にした単純なネットワークによる理解モデルと，生成テンプレート システム発話意味表現と文字列のキーワード抽出を組み合わせたものとする．対話デー組を記述したものである．以下は目的地を確認する発タ収集後は，データ中の発話の書き起こしとその意味話を生成するテンプレートである．

表現を用いてモデルを拡張し，理解精度を高める．

意味表現: [発話タイプ: 目的地確認
目的地: *X ]文字列: *X までですね？

以上の初期記述を行い，初期システムがデータ収集に耐えられるパフォーマンスを出せるようにするには，ある程度の経験が必要だと思われる．しかし，文法規則を記述する必要や，規則の優先順位を規定する必要がなく，要求される前提知識はあまり多くないため，サンプル記述や記述のためのツールを整備すれば，比較的容易に記述が行えると考えられる．

3.3.2 対話ログへのタグづけ

談話理解 談話理解部は言語理解結果の m-best リストを受けとり，対話状態の内容をアップデートする．理
解結果の曖昧性を表現するため，複数の対話状態の候補が保持されている．各対話状態候補には，談話理解結果とそれまでのユーザ発話の理解の履歴が含まれている．談話理解のモデルは，言語理解規則と対話状態が与えられたとき，一意に対話状態をアップデートするような規則の集合であり，初期記述から直接的に作られる．言語理解結果が  個あり，対話状態候補が 個あるならば， 個の新しい対話状態候補が得られる．談話理解モデルは，理解状態が満たすべき条件も初期システムとユーザとの対話が収集されたら，以下含む．新しく作られた  個の対話状態のうち，こののタグづけを行う．

条件を満たさないものは捨てられる．

¯ ユーザ発話の書き起こし¯ ユーザ発話の意味表現

初期システムにおいては，,  ともに 1 とすることにより，曖昧性を扱うことなく処理を行う．対話デー
タ収集後，データから得られた談話に関する統計情報

書き起こしにおける表記・単語切りなどの一貫性を保を元に， 個の対話状態候補にスコアをつけ，最適なつため，キーワードおよび発話例およびから作成する対話状態候補を選ぶとともに，スコアの低い候補を捨ツールを用意する．また，意味表現を入力しやすくすてる．談話に関する統計情報として，直前までの談話るためのツールも用意する必要がある．

理解結果とユーザ発話との関係をクラスタリングしたは優先的にタグ付けを行うことにより，少ないタグ付ものの生起確率，および，ユーザ発話タイプとシステけ量で効率よく訓練を行う (能動学習). これらの手法

ム発話タイプの連鎖確率 (trigram) を用いる (詳細は文は認識用言語モデルの訓練に用いられ，有効性が確認

献 [4] を参照されたい)．これらの情報は，ユーザ発話されており [6, 7, 9]， 本稿で提案した枠組に導入するが書き起こされ正しい意味理解結果が与えられた対話ことが可能である．

データに談話理解規則を適用することによって得ることができるため，談話理解結果のタグ付けを行う必要

4 おわりにはない．

本稿では，専門家でなくても初期システム用のドメイ

この枠組を用いることにより，文脈に依存した発話ン依存モデルが構築でき，初期システムとユーザとの理解の曖昧性を対話データの収集とタグ付けのみから対話ログを用いてモデルを訓練することにより，シス行うことができるようになる．

テムの性能を向上できるようなシステム構築の枠組を対話制御 対話制御部は最もスコアの高い対話状態候補の内容を基に，システム発話の意味表現を言語生成部に送る．システム発話の内容は，対話状態 (各対話状態候補) に登録される．どのようなシステム発話を行うかは，対話制御モデルによって決められる．
初期システムの対話制御モデルは，初期記述の対話制御規則から，適用可能な規則をランダムに選ぶというモデルである．対話データが収集された後，強化学習を使い, 最適な規則を選ぶための評価関数を学習する[8]．この学習過程では，対話をマルコフ決定過程ととらえ，その遷移確率をコーパスから学習することにより，各々の対話状態で各々の規則に基づく発話を行った場合に，期待されるタスク達成度や対話の短さなどを評価関数として計算する．評価関数の入力値は，規則，理解結果の内容，理解結果の信頼度，対話の履歴などである．一般に強化学習には大量の対話データが必要になる問題があるが，評価関数を，類似の対話状態の評価関数を用いて近似することにより，少量のデータで効率よく学習ができる方法を提案している [2].
言語生成 言語生成部はシステム発話の対話行為表現を受け取り，文字列を音声合成部に送る．ドメイン依存モデルは発話生成テンプレートを用いる．発話生成
テンプレートは初期記述からストレートフォワードに作ることができ, 特に訓練する必要はない．

3.4 タグ付け量の削減
以上述べた枠組により，初期システムを使って得られたデータを用いてモデルが訓練できるが，タグ付けの労力がかかるという問題がある．この問題の解決のため，音声認識・理解結果の信頼性尺度を用いる方法がある．信頼性が高い場合には認識・理解結果をそのまま訓練に用いる (教師なし学習)．信頼性が低い場合に提案し，その実現可能性を示した．今後は，初期記述をさらに容易にする方法，必要なタグ付け量の削減しつつシステムのパフォーマンス向上を達成する方法を検討していく．

参考文献[1] M. Denecke. Rapid prototyping for spoken dialogue systems. In COLING-2002, 2002.
[2] M. Denecke, K. Dohsaka, and M. Nakano. Fast reinforcement learning of dialogue policies using linear function approximation. In IJCNLP-04, 2004.
[3] J. Glass, E. Weinstein, S. Cyphers, J. Polifroni, G. Chung,and M. Nakano. A framework for developing conversational user interfaces. In CADUI-04, 2004.
[4] R. Higashinaka, M. Nakano, and K. Aikawa. Corpus-based
discourse understanding in spoken dialogue systems. InACL-2003, 2003.
[5] 中野, 堂坂. 音声対話システムの言語・対話処理. 人工知能学会誌, 17(3):271–278, 2002.
[6] M. Nakano and T. J. Hazen. Using untranscribed user utterances for improving language models based on confidence scoring. In Eurospeech-2003, 2003.
[7] G. Riccardi and D. Hakkani-Tür. Active and unsupervised
learning for automatic speech recognition. In Eurospeech2003, 2003.
[8] S. Singh, D. Litman, M. Kearns, and M. Walker. Optimizing dialogue management with reinforcement learning:Experiments with the NJFun system. Journal of Artificial
Intelligence Research, 16:105–133, 2002.
[9] K. Sudoh and M. Nakano. Post-dialogue recognition confidence scoring for improving statistical language models
using untranscribed dialogue data. In ASRU-03, 2003.
[10] 須藤, 中野. 音声対話システムのための統計的言語理解
モデルの構成とその学習. 言語処理学会第 10 回年次大会論文集, 2004.
[11] S. Sutton, R. A. Cole, J. de Villiers, J. Schalkwyk, P. Vermeulen, M. W. Macon, Y. Yan, E. Kaiser, B. Rundle,K. Shobaki, P. Hosom, A. Kain, J. Wouters, D. W. Massaro, and M. Cohen. Universal speech tools: The CSLU
toolkit. In ICSLP-98, pp. 3221–3224, 1998.