(57)【要約】【課題】ユーザが全ての発話内容を言い終えた時点で発話内容に対応した応答を出力する汎用性のある応答制御装置を提供する。【解決手段】入力された発話信号中から音声区間を切り出し、その各音声区間に対して認識結果単語列と認識処理状態と音声区間情報を含む音声認識結果を求める音声認識部１２と、音声認識部よりの音声認識結果が入力されるたびに、認識結果や認識状態からなる応答条件表を作成する発話解析部１４と、発話解析部よりの応答条件表と応答条件格納部１６−２に記憶している予め設定した応答条件表の集合とを照合し、それらの照合が成功した場合に対応する応答生成命令信号を出力する一致検出部１６−１と、応答生成命令信号を基に応答信号を生成して出力する応答生成部１７を備える。【選択図】図１
2004037803.tif 000002
【特許請求の範囲】
【請求項１】
入力された発話信号中から音声区間を切り出し、その各音声区間に対して認識結果単語列と認識処理状態と音声区間情報を含む音声認識結果を求める音声認識手段と、
音声認識手段からの音声認識結果が入力されるたびに、認識結果や認識状態からなる応答条件表を作成する発話解析手段と、
発話解析手段からの応答条件表と記憶手段に記憶している設定した認識結果や認識状態からなる応答条件表の集合とを照合し、それらの照合が成功した場合に対応する応答生成命令信号を出力する応答判定手段と、を具備することを特徴とする応答制御装置。
【請求項２】
請求項１に記載の応答制御装置において、
記憶手段に記憶している応答条件表には、各音声区間中に設定したキーワードが含まれているか否かを示す情報を含み、
上記発話解析手段は、各音声区間中に設定したキーワードが含まれているか否かを示す情報を含む応答条件表を作成することを特徴とする応答制御装置。
【請求項３】
請求項１又は２に記載の応答制御装置において、
記憶手段に記憶している応答条件表には、発話開始から現時点までの音声区間中に設定したキーワードが含まれているか否かを示す情報を含み、
上記発話解析手段は、発話開始から現時点までの音声区間中に設定したキーワードが含まれているか否かを示す情報を含む応答条件表を作成することを特徴とする応答制御装置。
【請求項４】
請求項１乃至３のいずれか１項に記載の応答制御装置において、
記憶手段に記憶している応答条件表には、各音声区間に対する認識結果単語列の末尾単語を含み、
上記発話解析手段は、各音声区間に対する認識結果単語列の末尾単語を含む応答条件表を作成することを特徴とする応答制御装置。
【請求項５】
請求項１乃至４のいずれか１項に記載の応答制御装置において、
記憶手段に記憶している応答条件表には、各音声区間に対する認識処理が成功したか否かを示す情報を含み、
上記発話解析手段は、各音声区間に対する認識処理が成功したか否かを示す情報を含む応答条件表を作成することを特徴とする応答制御装置。
【請求項６】
請求項１乃至５のいずれか１項に記載の応答制御装置において、
記憶手段に記憶している応答条件表には、発話信号中から音声区間が検出されたか否かを示す情報を含み、
上記発話解析手段は、発話信号中から音声区間が検出されたか否かを示す情報を含む応答条件表を作成することを特徴とする応答制御装置。
【請求項７】
請求項１乃至６のいずれか１項に記載の応答制御装置において、
記憶手段に記憶している応答条件表には、各音声区間の音量が適正か否かを示す情報を含み、
上記発話解析手段は、各音声区間の音量が適正か否かを示す情報を含む応答条件表を作成することを特徴とする応答制御装置。
【請求項８】
請求項１乃至７のいずれか１項に記載の応答制御装置において、
記憶手段に記憶している応答条件表には、発話開始から現時点までに検出された音声区間の数を示す情報を含み、
上記発話解析手段は、発話開始から現時点までに検出された音声区間の数を示す情報を含む応答条件表を作成することを特徴とする応答制御装置。
【請求項９】
請求項１乃至８の何れか１項に記載の応答制御装置において、
上記応答判定手段は、記憶手段に外部から予め設定した応答条件表の集合を読み込んで記憶させる手段を有することを特徴とする応答制御装置。
【請求項１０】
入力された発話信号中から音声区間を切り出し、その各音声区間に対して認識結果単語列と認識処理状態と音声区間情報を含む音声認識結果を求め、
音声認識結果が入力されるたびに、認識結果や認識状態からなる応答条件表を作成し、
作成された応答条件表と予め記憶している設定した認識結果や認識状態からなる応答条件表の集合とを照合し、それらの照合が成功した場合に対応する応答生成命令信号を出力することを特徴とする応答制御方法。
【請求項１１】
請求項１０に記載の応答制御方法において、
記憶している応答条件表には、各音声区間中に設定したキーワードが含まれているか否かを示す情報を含み、
上記作成された応答条件表には、各音声区間中に設定したキーワードが含まれているか否かを示す情報を含むことを特徴とする応答制御方法。
【請求項１２】
請求項１０又は１１に記載の応答制御方法において、
記憶している応答条件表には、発話開始から現時点までの音声区間中に設定したキーワードが含まれているか否かを示す情報を含み、
上記作成された応答条件表には、発話開始から現時点までの音声区間中に設定したキーワードが含まれているか否かを示す情報を含むことを特徴とする応答制御方法。
【請求項１３】
請求項１０乃至１２のいずれか１項に記載の応答制御方法において、
記憶している応答条件表には、各音声区間に対する認識結果単語列の末尾単語を含み、
上記作成された応答条件表には、各音声区間に対する認識結果単語列の末尾単語を含むことを特徴とする応答制御方法。
【請求項１４】
請求項１０乃至１３のいずれか１項に記載の応答制御方法において、
記憶している応答条件表には、各音声区間に対する認識処理が成功したか否かを示す情報を含み、
上記作成された応答条件表には、各音声区間に対する認識処理が成功したか否かを示す情報を含むことを特徴とする応答制御方法。
【請求項１５】
請求項１０乃至１４のいずれか１項に記載の応答制御方法において、
記憶している応答条件表には、発話信号中から音声区間が検出されたか否かを示す情報を含み、
上記作成された応答条件表には、発話信号中から音声区間が検出されたか否かを示す情報を含むことを特徴とする応答制御方法。
【請求項１６】
請求項１０乃至１５のいずれか１項に記載の応答制御方法において、
記憶している応答条件表には、各音声区間の音量が適正か否かを示す情報を含み、
上記作成された応答条件表には、各音声区間の音量が適正か否かを示す情報を含むことを特徴とする応答制御方法。
【請求項１７】
請求項１０乃至１６のいずれか１項に記載の応答制御方法において、
記憶している応答条件表には、発話開始から現時点までに検出された音声区間の数を示す情報を含み、
上記作成された応答条件表には、発話開始から現時点までに検出された音声区間の数を示す情報を含むことを特徴とする応答制御方法。
【請求項１８】
請求項１０乃至１７のいずれか１項に記載の応答制御方法をコンピュータに実行させる応答制御プログラム。
【請求項１９】
請求項１０乃至１７のいずれか１項に記載の応答制御方法をコンピュータに実行させる応答制御プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、入力音声を音声認識し、認識結果に対する応答を出力する対話システムに適用される応答制御装置、方法及び応答制御プログラム、記録媒体に関する。
【０００２】
【従来の技術】
従来の対話システムでは、入力音声のパワーがあるしきい値を上回る状態になった時点から、その状態がある一定時間（始端検出時間しきい値）続いた場合に、当該時点を音声始端とみなして認識処理を開始し、入力音声のパワーがあるしきい値を下回る状態になった時点から、その状態がある一定時間（終端検出時間しきい値）続いた場合に、当該時点を音声終端とみなして認識処理を終了し、認識結果を求め、その認識結果が得られると、即座に認識結果に対応する応答を出力していた。
【０００３】
【発明が解決しようとする課題】
上述したように、従来の対話システムでは、音声認識処理によって推定された音声区間をユーザの発話単位とし、その発話単位ごとに応答を出力していたため、ユーザが発話内容を考えながら途切れ途切れに音声入力した場合、全ての内容を発話し終える前に応答が出力されてしまうという問題が発生していた。そこで、その問題を解決するために、上記終端検出時間しきい値を長めに設定すると、今度はユーザが全ての内容を発話し終えてから応答が出力されるまでに長い時間がかかってしまうという問題が発生していた。
この発明の課題は、かかる問題点に鑑み、上記終端検出時間しきい値を短めに設定した音声認識処理によって、頻繁に音声区間検出が行われるような状況下でも、ユーザが全ての発話内容を言い終えた時点で応答を出力できる技術を提供することにある。
【０００４】
【課題を解決するための手段】
この発明は、入力発話中から音声区間を切り出し、その各音声区間に対して、認識結果単語列と認識処理状態と音声区間情報からなる音声認識結果を求める音声認識手段と、音声認識手段からの音声認識結果が入力されるたびに、認識結果や認識状態からなる応答条件表を作成する発話解析手段と、発話解析手段よりの応答条件表と予め設定した応答条件表の集合とを照合し、それらが一致する場合に対応した応答生成命令信号を出力する応答判定手段と、を有することを特徴とする。
【０００５】
【発明の実施の形態】
図１の応答制御装置のブロック図を参照して応答制御装置と応答制御方法を説明する。
ユーザの発話はマイク等により電気的音声信号に変換されて入力端子１１より入力され、音声認識部１２に供給される。
音声認識部１２は、上記電気的音声信号に対して認識処理を行う。しきい値格納部１３は、設定された各しきい値１３−１〜１３−４を記憶する。
音声認識部１２は、上記電気的音声信号のパワーが始端検出パワーしきい値１３−１を上回る状態になった時点から、その状態の継続時間が始端検出時間しきい値１３−２に達した場合に、当該時点を音声始端とみなして認識処理を開始し、上記電気的音声信号のパワーが終端検出パワーしきい値１３−３を下回る状態になった時点から、その状態の継続時間が終端検出時間しきい値１３−４に達した場合に、当該時点を音声終端とみなして認識処理を終了し、認識結果単語列と認識処理状態と音声区間情報からなる音声認識結果を求め、その音声認識結果を発話解析部１４に送る。
発話解析部１４は、音声認識部１２から入力された音声認識結果を受け取ると、認識結果や認識状態からなる応答条件表を作成し、その応答条件表を応答判定部１６に送る。この応答条件表は、上記音声終端が応答すべき時点であるか否かの判定に使用される。
【０００６】
応答判定部１６は、応答条件表の集合が既述（記憶）された記録媒体１５を読み込み、その応答条件表の集合を格納しておく応答条件格納部１６−２と、発話解析部１４よりの入力音声の応答条件表と、応答条件格納部１６−２に格納されている応答条件表の集合との一致を検出する一致検出部１６−１を備えている。この応答条件表の集合とは、上記音声終端が応答を出力すべき時点である場合に取り得る認識結果値や認識状態値からなる応答条件表の集合である。また、この応答条件表の集合４１（図３参照）は、外部から予め設定する応答条件記録媒体１５に既述されているため、応答条件表の集合を編集することにより、応答を出力するタイミングを自由に変更することが可能である。（例えば、応答条件表の末尾単語を変更することによりこれを認識した時点で応答（メッセージ）を生成する。）
応答判定部１６は、発話解析部１４から入力された応答条件表を受け取ると、その応答条件表と応答条件格納部１６−２に格納されている応答条件表の集合の比較を一致検出部１６−１で行い、両者の照合に成功した場合に、応答生成命令信号を応答生成部１７に送る。
応答生成部１７は、一致検出部１６−１から入力された応答生成命令信号を受け取ると、対応する可聴的及び／又は可視的応答信号を生成し、出力端子１８より応答を出力する。
【０００７】
図２は、この発明を適用した店舗検索対話システムに対して、「えーと横浜のー」「あっそうそう」「居酒屋なんですけど」というように、ユーザが途切れ途切れに店舗検索条件を発話した場合の処理の様子を示す図、図３は、用いられる応答条件表の集合の構成例を示す図である。
いくつかの無声区間と音声区間で構成されるユーザの発話が、音声入力端子１１より入力され始めると、まずは音声認識部１２でその入力に対して認識処理を行う。この例ではｐ１時点より１回目の認識処理を開始し、時刻ｔ１時点で音声始点、時刻ｔ２時点で音声終端をそれぞれ検出し、時刻ｔ１からｔ２までの音声区間「えーと横浜のー」に対する音声認識結果２１を求め、ｐ２時点で１回目の認識処理を終了している。この音声認識結果は、認識結果単語列、当該認識処理に成功したか否かを示す認識処理状態、当該認識処理における音声区間の有無情報及び音声区間の音量情報からなる音声区間情報で構成されている。
【０００８】
音声認識結果２１では、認識結果単語列として「えーと／（横浜）／の」、認識処理状態として「認識成功」、音声区間情報として「音声区間：ｔ１〜ｔ２」「音量適正」が得られている。認識結果単語列中に出現している括弧付きの単語は、その単語が予め設定されたキーワード（ＫＷ）であることを示している。この例では、キーワードとして店舗検索を行うために必要なエリア（店舗の所在地）やジャンル（店舗の種類）を示す単語が括弧付きで認識結果単語列に出力されるように予め設定されており、音声認識結果２１の認識結果単語列には、エリアを示す単語「横浜」が括弧付きで出力されている。
音声認識部１２での認識処理が終了すると、その認識処理で求められた音声認識結果が発話解析部１４に送られる、この例では、まず１回目の認識処理が終了したｐ２時点で、音声認識結果２１が発話解析部１４に送られる。発話解析部１４では、受け取った音声認識結果に対して、認識結果や認識状態からなる応答条件表３１を作成する。
【０００９】
この例では、認識結果として「ＫＷ有無（現音声区間）」「ＫＷ有無（全音声区間）」「末尾単語」、認識状態として「認識成否」「音声区間有無」「音量」「音声区間番号」からなる応答条件表が作成される。「ＫＷ有無（現音声区間）」は、各音声区間中に予め設定したキーワードが含まれるか否かを示す情報であり、受け取った当該音声認識結果の認識結果単語列中に、予め設定されたキーワードがあることを示す括弧付きの単語が存在する場合は「有」、存在しない場合は「無」が格納される。応答条件表３１では、音声認識結果２１の認識結果単語列にキーワード「（横浜）」が含まれているため「有」が格納されている。「ＫＷ有無（全音声区間）」は、発話開始から現時点までの音声区間中に、予め設定したキーワードが含まれるか否かを示す情報である。ユーザ発話開始時点では「無」が格納されているが、当該音声認識結果単語列中に、予め設定されたキーワードであることを示す括弧付きの単語が存在した場合には「有」に書き換えられ、一致検出部１６−１が応答生成命令信号を出力するまでこの値で固定される。これにより、「ＫＷ有無（全音声区間）」が、発話開始から現時点までに検出された音声区間中に、予め設定したキーワードが含まれるか否かを示すことになる。応答条件表３１では、音声認識結果２１の認識結果単語列に「（横浜）」が含まれているため、「有」が格納されている。「末尾単語」は、各音声区間に対する認識結果単語列の末尾単語であり、受け取った当該音声認識結果の認識結果単語列の末尾単語が格納される。応答条件表３１では、音声認識結果２１の認識結果単語列の末尾単語「の」が格納されている。「認識成否」は、各音声区間に対する認識処理が成功したか否かを示す情報であり、受け取った当該音声認識結果の認識処理状態が格納される。応答条件表３１では、音声認識結果２１の認識処理状態「認識成功」が格納されている。「音声区間有無」は、発話中から音声区間が検出されたか否かを示す情報であり、受け取った当該音声認識結果の音声区間有無情報に基づき、「有」または「無」が格納される。応答条件表３１では、音声認識結果２１の音声区間情報に、当該音声認識処理において時刻ｔ１からｔ２までの音声区間が検出されたことを示す「音声区間：ｔ１〜ｔ２」が含まれているため、「有」が格納されている。「音量」は、各音声区間の音量が適正か否かを示す情報であり、受け取った当該音声認識結果の音声区間の音量情報が格納される。応答条件表３１では、音声認識結果２１の音声区間情報に「音量適量」が含まれているため、「適正」が格納されている。「音声区間番号」は、発話開始から現時点までに検出された音声区間の数を示す。ユーザ発話開始時点では、「０」が格納されており、「音声区間有無」に「有」が格納されるたびに、１加算される。この値は一致検出部１６−１が応答生成命令信号を出力すると、「０」にリセットされる。応答条件表３１では、「音声区間有無」に「有」が格納されているため、１加算して「１」が格納されている。
応答条件表３１は一致検出部１６−１に送られ、応答条件格納部１６−２に格納されている応答条件表の集合４１との比較が行われる。この場合は、応答条件表の集合４１の中に応答条件表３１と同様のエントリが検出できなかったため、応答生成命令信号は出力されない。
【００１０】
これ以降は、これまで述べてきたことと同様の処理が続く。ｐ３時点より２回目の認識処理を開始し、時刻ｔ３からｔ４までの音声区間「あっそうそう」を検出し、その音声区間に対する音声認識結果２２を求め、ｐ４時点で２回目の認識処理を終了している。音声認識結果２２は発話解析部１４に送られ、発話解析部１４は応答条件表３２を作成している。音声認識結果２２の認識結果単語列には予め設定されたキーワードが含まれていないが、前音声認識結果２１の認識結果単語列には予め設定されたキーワード（横浜）が含まれていたため、応答条件表３２の「ＫＷ有無（全音声区間）」には「有」が格納されている。応答条件表３２は一致検出部１６−１に送られ、応答条件表の集合４１と照合される。ここでも、応答条件表の集合４１の中に応答条件表３２と同様のエントリが検出できなかったため、応答生成命令信号は出力されない。３回目の認識処理はｐ５時点より開始されている。ここでは、ｔ５からｔ６までの音声区間「居酒屋なんですけど」を検出し、その音声区間に対する音声認識結果２３を求め、ｐ６時点で３回目の認識処理を終了している。音声認識結果２３は発話解析部１４に送られ、発話解析部１４は応答条件表３３を作成している。応答条件表３３は一致検出部１６−１に送られ、応答条件表の集合４１と照合される。ここでは、応答条件表の集合４１の中に応答条件表３３と同様のエントリが検出できたため、３回目の認識処理が終了したｐ６時点で、応答生成命令信号が応答生成部１７に送られ、応答生成部１７で一致した応答条件表を基に可聴的及び／又は可視的応答信号（例えば、「横浜の居酒屋で検索します。しばらくお待ち下さい。」等のメッセージ）が生成され、出力端子１８より応答が出力されることによりユーザに報知する。
【００１１】
図２、３に示した応答条件表は、少なくとも１つの認識結果や認識状態を含むことにより作成することができる。例えば、特定の末尾単語（発話内容を言い終えたことを示す単語：例えば「です」）を認識した場合には「処理中です。」、音声区間番号＞０、認識成否＝認識失敗の場合には「もう一度入力して下さい。」、発話区間有無＝無、認識成否＝認識失敗の場合には「検索条件を品川のラーメン屋のようにお話下さい。」、音量＝過小の場合には「マイクを近づけて下さい。」、等の応答信号を作成してユーザに報知する。
【００１２】
また、上記実施例では本発明の応答制御装置を店舗検索システムに適用した場合について説明したが例えばホテル予約システムに適用する場合にはこれに対応したキーワード（ＫＷ）（例えば、宿泊月日、利用人数）や応答条件表（例えば、末尾単語＝できますか）を変更する。このように、適用される対話システムに応じてキーワード、応答条件表を作成することにより汎用性のある応答制御装置を構成することができる。
【００１３】
本発明の応答制御装置は、ＣＰＵやメモリ等を有するコンピュータと、ユーザ端末と、記録媒体から構成することができる。
記録媒体は、ＣＤ−ＲＯＭ、磁気ディスク装置、半導体メモリ等の機械読み取り可能な記録媒体であり、記録された応答制御プログラムまたは通信回線を介して伝送された応答制御プログラムは、コンピュータに読み取られコンピュータの動作を制御し、コンピュータ上に前述の各構成要素を実現する。
【００１４】
【発明の効果】
以上述べたように、本発明によれば、入力された発話中から音声区間を切り出し、その音声区間に対する音声認識結果が得られるたびに、認識結果や認識状態からなる応答条件表を作成し、その応答条件表と予め設定した応答条件表の集合とを照合し、それらの照合に成功した場合に対応する応答を出力する。これにより、終端検出時間しきい値を短めに設定した音声認識処理によって、ユーザが発話内容を途切れ途切れに音声入力したために頻繁に音声区間検出が行われるような場合でも、ユーザが全ての内容を発話し終えた時点にのみ即座に応答を出力することができるという効果が発揮され、音声認識処理が終了する度に応答を出力してしまうという従来の問題点を解消することができる。また、キーワードや応答条件表を変更することで様々な対話システムに適用が可能となり汎用性のある応答制御装置を構成することができる。
【図面の簡単な説明】
【図１】本発明の応答制御装置の構成例を示すブロック図。
【図２】本発明の応答制御装置、方法の処理の様子を示す図。
【図３】本発明で用いられる応答条件表の集合の構成例を示す図。
【符号の説明】
１１・・・入力端子、１２・・・音声認識部、１３・・・しきい値格納部、１４・・・発話解析部、１５・・・応答条件表の集合記録媒体
１６・・・応答判定部、１６−１・・・一致検出部、１６−２・・・応答条件表の集合格納部
１７・・・応答生成部、１８・・・出力端子
【図１】
2004037803.tif 000003
【図２】
2004037803.tif 000004
【図３】
2004037803.tif 000005