(57)【要約】限られたメモリやハードディスク等を有効に活用すると共に、一定時間経っても候補が検索されない場合や認識できない単語がある場合であっても不自然な間を作ることなく対話を行わせながら音声認識を行う音声対話のための音声認識方法、音声認識システム及び音声認識プログラムを提供することを目的とし、それは、シーンごとに作成された一又は二以上の音声認識辞書をストレージに記録する工程（Ｓ１）と、発話者の音声を音声入力部から入力する工程（Ｓ４）と、発話者の音声をワードスポットにより得られた音声データを一又は二以上の音声認識辞書を用いて音声認識を行う工程（Ｓ７）と、所定の時間内にその認識が行われた場合には対話シーケンスに基づいて応答文を作成し、所定時間内に認識が行われなかった場合には発話者に再入力を促す聞き返し文を作成する工程（Ｓ８）と、作成された応答文又は聞き返し文を音声合成する工程（Ｓ９）とを含み構成される。
2002067244.tif 000002
【特許請求の範囲】
【請求項１】
発話者の音声を認識処理し、得られた音声データに基づいて応答文を作成してそれを音声合成することにより対話を行う音声対話のための音声認識方法であって、
話題となるシーンに登場する所定の単語をシーン単語として集めてシーンごとに作成された一又は二以上の音声認識辞書をメモリや記録装置等のストレージに記録する工程と、
発話者の音声を音声入力部から入力する工程と、
入力された発話者の音声をワードスポットにより文章解析・単語分解して得られた音声データを一又は二以上の前記音声認識辞書を用いて音声認識を行う工程と、
所定の時間内にその認識が行われた場合には該認識結果から予め定められた表現・言い回しに従って文章を生成する対話シーケンスに基づいて応答文を作成し、所定時間内に認識が行われなかった場合には発話者に再入力を促す聞き返し文を作成する工程と、
作成された応答文又は聞き返し文を音声合成する工程と、
を含み構成された音声対話のための音声認識方法。
【請求項２】
請求の範囲１に記載の音声対話のための音声認識方法において、
音声認識に使用する音声認識辞書は、発話者の音声をワードスポットにより文章解析・単語分解して得られた前記音声データと、一又は二以上の前記音声認識辞書に含まれる前記シーン単語とを対比し、前記音声データに対応するシーン単語を少なくとも一つ以上含む所定の音声認識辞書を選択して使用するようにされていることを特徴とする音声対話のための音声認識方法。
【請求項３】
請求の範囲１又は２に記載の音声対話のための音声認識方法において、
音声認識に使用する音声認識辞書は、発話者の音声をワードスポットにより文章解析・単語分解して得られた前記音声データから予め前記シーン単語同士を関連付けて各シーンごとに作成された音声データベースを用いて話題となっているシーンを特定し、当該シーンに対応する音声認識辞書を一又は二以上の前記音声認識辞書から選択して使用するようにされていることを特徴とする音声対話のための音声認識方法。
【請求項４】
請求の範囲１〜３のいずれか１項に記載の音声対話のための音声認識方法において、
音声認識に使用する音声認識辞書は、キャッシュメモリに記録して使用すると共に、認識すべき音声データが使用中の音声認識辞書にシーン単語として含まれていない場合又は新たに特定されたシーンが使用中の音声認識辞書と別のシーンのものである場合には該当音声データをシーン単語として含む他の音声認識辞書又は新たに特定されたシーンに対応する音声認識辞書と入れ替えて使用するようにされていることを特徴とする音声対話のための音声認識方法。
【請求項５】
請求の範囲１から４のいずれか１項に記載の音声会話のための音声認識方法において、
前記対話シーケンスは、発話者に対して最初の発声を促すための問いかけを行うと共に、発話者の音声を認識することにより得られた単語に基づいて予め定められた表現・言い回しに従って次に問いかけるべき応答文を生成し、該応答文を音声合成して前記発話者に対して問いかけることにより前記発話者に対して主導的に会話を進行させて音声認識を行うことを特徴とする音声会話のための音声認識方法。
【請求項６】
発話者の音声を認識処理し、得られた音声データに基づいて応答文を作成してそれを音声合成することにより対話を行う音声対話のための音声認識システムであって、
話題となるシーンに登場する所定の単語をシーン単語として集めてシーンごとに作成された一又は二以上の音声認識辞書を記録するメモリや記録装置等のストレージと、
発話者の音声を入力する前記音声入力部と、
入力された発話者の音声をワードスポットにより文章解析・単語分解して得られた音声データを一又は二以上の前記音声認識辞書を用いて音声認識を行う手段と、
所定の時間内にその認識が行われた場合には該認識結果から予め定められた表現・言い回しに従って文章を生成する対話シーケンスに基づいて応答文を作成し、所定時間内に認識が行われなかった場合には発話者に再入力を促す聞き返し文を作成する手段と、
作成された応答文又は聞き返し文を音声合成する手段と、
を含み構成された音声対話のための音声認識システム。
【請求項７】
請求の範囲６に記載の音声対話のための音声認識システムにおいて、
音声認識に使用する音声認識辞書は、発話者の音声をワードスポットにより文章解析・単語分解して得られた前記音声データと、一又は二以上の前記音声認識辞書に含まれる前記シーン単語とを対比し、前記音声データに対応するシーン単語を少なくとも一つ以上含む所定の音声認識辞書を選択して使用するようにされていることを特徴とする音声対話のための音声認識システム。
【請求項８】
請求の範囲６又は７に記載の音声対話のための音声認識システムにおいて、
音声認識に使用する音声認識辞書は、発話者の音声をワードスポットにより文章解析・単語分解して得られた前記音声データから予め前記シーン単語同士を関連付けて各シーンごとに作成された音声データベースを用いて話題となっているシーンを特定し、当該シーンに対応する音声認識辞書を一又は二以上の前記音声認識辞書から選択して使用するようにされていることを特徴とする音声対話のための音声認識システム。
【請求項９】
請求の範囲６〜９のいずれか１項に記載の音声対話のための音声認識方法において、
音声認識に使用する音声認識辞書は、キャッシュメモリに記録して使用すると共に、認識すべき音声データが使用中の音声認識辞書にシーン単語として含まれていない場合又は新たに特定されたシーンが使用中の音声認識辞書と別のシーンのものである場合には該当音声データをシーン単語として含む他の音声認識辞書又は新たに特定されたシーンに対応する音声認識辞書と入れ替えて使用するようにされていることを特徴とする音声対話のための音声認識方法。
【請求項１０】
請求の範囲６から１０のいずれか１項に記載の音声会話のための音声認識システムにおいて、
前記対話シーケンスは、発話者に対して最初の発声を促すための問いかけを行うと共に、発話者の音声を認識することにより得られた単語に基づいて予め定められた表現・言い回しに従って次に問いかけるべき応答文を生成し、該応答文を音声合成して前記発話者に対して問いかけることにより前記発話者に対して主導的に会話を進行させて音声認識を行うことを特徴とする音声会話のための音声認識システム。
【請求項１１】
コンピュータに、発話者の音声を認識処理し、得られた音声データに基づいて応答文を作成してそれを音声合成することにより対話を行う音声対話のための音声認識方法を実行させる音声会話のための音声認識プログラムであって、
該プログラムはコンピュータを、音声入力部から入力された発話者の音声をワードスポットにより文章解析・単語分解して得られた音声データを話題となるシーンに登場する所定の単語をシーン単語として集めてシーンごとに作成されメモリや記録装置等のストレージに記録された一又は二以上の音声認識辞書を用いて音声認識を行い、所定の時間内にその認識が行われた場合には該認識結果から予め定められた表現・言い回しに従って文章を生成する対話シーケンスに基づいて応答文を作成し、所定時間内に認識が行われなかった場合には発話者に再入力を促す聞き返し文を作成し、該応答文又は聞き返し文を音声合成するように実行させる音声対話のための音声認識プログラム。
【請求項１２】
請求の範囲１１に記載の音声対話のための音声認識プログラムにおいて、
音声認識に使用する音声認識辞書は、発話者の音声をワードスポットにより文章解析・単語分解して得られた前記音声データと、一又は二以上の前記音声認識辞書に含まれる前記シーン単語とを対比し、前記音声データに対応するシーン単語を少なくとも一つ以上含む所定の音声認識辞書を選択して使用するように実行させることを特徴とする音声対話のための音声認識プログラム。
【請求項１３】
請求の範囲１０又は１２に記載の音声対話のための音声認識プログラムにおいて、
音声認識に使用する音声認識辞書は、発話者の音声をワードスポットにより文章解析・単語分解して得られた前記音声データから予め前記シーン単語同士を関連付けて各シーンごとに作成された音声データベースを用いて話題となっているシーンを特定し、当該シーンに対応する音声認識辞書を一又は二以上の前記音声認識辞書から選択して使用するように実行させることを特徴とする音声対話のための音声認識プログラム。
【請求項１４】
請求の範囲１１〜１３のいずれか１項に記載の音声対話のための音声認識プログラムにおいて、
認識すべき音声データがキャッシュメモリに記録された使用中の音声認識辞書にシーン単語として含まれていない場合又は新たに特定されたシーンが使用中の音声認識辞書と別のシーンのものである場合には該当音声データをシーン単語として含む他の音声認識辞書又は新たに特定されたシーンに対応する音声認識辞書と入れ替えて使用するように実行させることを特徴とする音声対話のための音声認識プログラム。
【請求項１５】
請求の範囲１から４のいずれか１項に記載の音声会話のための音声認識プログラムにおいて、
前記対話シーケンスを、発話者に対して最初の発声を促すための問いかけを行うと共に、発話者の音声を認識することにより得られた単語に基づいて予め定められた表現・言い回しに従って次に問いかけるべき応答文を生成し、該応答文を音声合成して前記発話者に対して問いかけることにより前記発話者に対して主導的に会話を進行させて音声認識を行うように実行させることを特徴とする音声会話のための音声認識プログラム。
【発明の詳細な説明】
枝術分野
本発明は、発話者の音声を認識処理し、得られた音声データに基づいて応答文を作成してそれを音声合成することにより対話を行う音声対話のための音声認識方法、音声認識システム及び音声認識プログラムに関する。
技術の背景
音声認識とは、人間の発声した音声をコンピュータによって処理し、その内容を正しく認識することをいい、この音声認識を用いることによりキーボード等の入力手段を用いることなく文章入力を行ったり、また、認識結果を利用して意志通りに機械や装置の操作を行わせる等、その利用範囲が広く、多方面での応用研究がなされている。このような音声認識の利用分野の一つとして音声対話がある。
音声対話は、人間の発声した音声を音声認識により認識した結果に基づいて予め定められた会話プログラムにより人間とコンピュータがあたかも人間同士で会話を行っているかのように対話を行うものである。
従来の音声対話における音声認識としては、人間が普通に話す言葉をそのままの状態で頭から認識を行う「ディクテーション」や、人間が話した言葉の中からキーとなる単語を抽出してその単語を認識していく「ワードスポット」等種々の手法が用いられている。「ディクテーション」の一般的な仕組みとしては、まず人間が話した言葉を入力音声として音素列に変換し、その音素列を単語列に置き換えてこれを構文解析したのち、文字列に変換する。さらに、論理解析や意味解析を行って文章を生成し、音声合成して出力する。単語にも同音異義語があるために各単語の属性情報を付す等して的確な認識を行うようにされている。
一方、「ワードスポット」は、人間が話した言葉を音声としてコンピュータが分析し、その音声の特徴を抽出し、特徴量の時系列を作成する。そして、予めコンピュータに備えられている各単語の特徴量の時系列を記録保存した音声認識辞書に含まれる単語との類似度を計算し、その中から類似度の高い単語を認識結果として出力する。
一般に、「ディクテーション」を用いる場合であっても「ワードスポット」による場合であっても認識率を上げるためには予め音声認識に使用する音声認識辞書に膨大な数の単語を登録しておく必要があると考えられる。しかしながら、音声認識辞書に登録する単語の数が多いとそれだけメモリの容量を必要とすると共に、入力された音声と音声認識辞書に記録された単語とのマッチングに時間がかかりすぎてコンピュータが応答するまでに不必要な間が空いてしまい音声会話としての実用に耐えなくなるという問題があった。その上、音声認識辞書に登録された単語数が多すぎると検索すべき対象が多くなるので逆に認識率が低下するという問題も生じる。
また、従来の音声認識システム、特に「ディクテーション」による場合では意味のない単語の羅列についても認識しようとしてかえって認識率を低下させるという問題を有していた。例えば、発話者が言葉に詰まったり、言いよどんだりした場合であってもその言葉を認識しようとする。その結果、意味のない言葉として認識してしまうのみならず、前後の言葉についても誤った認識を誘発するという問題を生じさせていた。
さらに、従来の音声認識においては、入力された音声を音声認識辞書に含まれる単語との類似度を計算し、音声認識辞書の中から類似度の高い単語を認識結果として出力するようになっているため、実際は正しく認識できていない場合でもとりあえず候補の単語を出力するようになっている。そのためにかえって認識率が低下し、意味不明な応答文を返すという問題があった。
ところで、人間同士の会話においても相手の話を聞く気になっていないときは相手が何を話してもその内容を認識できず上の空である。一方、相手の聞く気になっているときにはかなりの騒音下であって一部によく聞き取れない部分が合ったとしても話の内容を理解することが可能である。この違いは、相手の話を聞く気になっているときには聞き手としては今話題となっているシーンを予め想定し、相手が次に話すであろう言葉（単語）をある程度予想した上でその認識を行っているからである。従って、いきなり話が飛んで今話題となっている話題と違う話題に及ぶと聞き手としてはすぐには理解できず一瞬聞き間違えたのかと勘違いをすることになる。
そこで、発話者が発声した単語を認識するための音声認識に用いる音声認識辞書を話題となるシーンで使用される単語を予めシーンごとに集めて作成した音声認識辞書を用いて音声認識を行い、この音声認識辞書を話題となっているシーンごとに切り替えて使用することにより素早く且つ効率的に音声認識を行い、限られたメモリやハードディスク等を有効に活用する音声対話のための音声認識方法、音声認識システム及び音声認識プログラムを提供することを目的とする。
本発明は、また、一定時間経っても候補が検索されない場合や認識できない単語がある場合には発話者に対してもう一度発言を促すことにより、不自然な間を作ることなく自然な感じで対話を行わせながら音声認識を行う音声対話のための音声認識方法、音声認識システム及び音声認識プログラムを提供することを目的とする。
発明の開示
請求の範囲１に記載の発明は、発話者の音声を認識処理し、得られた音声データに基づいて応答文を作成してそれを音声合成することにより対話を行う音声対話のための音声認識方法であって、話題となるシーンに登場する所定の単語をシーン単語として集めてシーンごとに作成された一又は二以上の音声認識辞書をメモリや記録装置等のストレージに記録する工程と、発話者の音声を音声入力部から入力する工程と、入力された発話者の音声をワードスポットにより文章解析・単語分解して得られた音声データを一又は二以上の音声認識辞書を用いて音声認識を行う工程と、所定の時間内にその認識が行われた場合には該認識結果から予め定められた表現・言い回しに従って文章を生成する対話シーケンスに基づいて応答文を作成し、所定時間内に認識が行われなかった場合には発話者に再入力を促す聞き返し文を作成する工程と、作成された応答文又は聞き返し文を音声合成する工程とを含み構成された音声対話のための音声認識方法を提供する。
本発明は、発話者の音声を音声認識し、その認識結果に基づいて予め定められた表現・言い回しに従って作成された応答文を音声合成することによりコンピュータと人間とが対話をするための音声認識方法に関するものである。
音声認識に使用する音声認識辞書は、話題となるシーンごとに作成されている。例えば、「ビジネス」、「政治・経済」、「コンピュータ」、「教育」、「地域情報」、「映画・音楽」、「自然科学」、「生活・文化」、「スポーツ」等に分けて作成されている。そして、各シーンで登場する単語がシーン単語としてシーンごとに音声認識辞書に集められている。このように作成された音声認識辞書をコンピュータのメモリやハードディスク等の記録装置であるストレージに保存する。音声認識辞書に認識すべき単語を網羅的に多数収録すると、入力された発話者の音声に対する音声データとのマッチングの候補が多数存在することとなりかえって認識率が下がったり認識に時間がかかったりすることがある。そのため、音声認識辞書を話題となるシーンごとに作成し認識時間の短縮化を図る。また、話題となっているシーンで使用される単語が予め用意されているので認識率も向上する。さらに、メモリやハードディスク等の記録容量を節減することができる。
発話者の音声が音声入力部から入力されると、発話者の音声をワードスポットにより文章解析・単語分解する。そして、得られた音声データを上述のようにして作成された音声認識辞書を用いて音声認識を行う。所定の時間内に認識が完了すると、その認識結果から予め定められた表現・言い回しに従って文章を生成する対話シーケンスに基づいて発話者の発言に対する応答文を作成する。そして、作成された応答文を音声合成して出力し、発話者に話しかけることにより対話を進行させる。
一方、音声認識辞書に該当する単語は含まれているがその認識に所定時間以上かかってしまった場合や音声認識辞書に該当する単語が含まれておらずその認識結果を得ることができなかった場合には前記対話シーケンスは発話者に再入力を促す聞き返し文を作成する。そして、作成された聞き返し文を音声合成して発話者に問い返す。これにより音声認識ができた場合でもできなかった場合でも所定時間内に必ずコンピュータからの応答があるので不必要な間をおくことなくテンポのある自然な会話がスムーズに進行する。
請求の範囲２に記載の発明は、請求の範囲１に記載の音声対話のための音声認識方法において、音声認識に使用する音声認識辞書は、発話者の音声をワードスポットにより文章解析・単語分解して得られた前記音声データと、一又は二以上の前記音声認識辞書に含まれる前記シーン単語とを対比し、前記音声データに対応するシーン単語を少なくとも一つ以上含む所定の音声認識辞書を選択して使用するようにされていることを特徴とする。
本発明においては、話題となるべきシーンに分けて作成した音声認識辞書を一又は二以上用意し、それを予めコンピュータのメモリやハードディスク等のストレージに蓄えておく。そして、発話者の音声をワードスポットにより文章解析・単語分解して得られた音声データをメモリやハードディスク等のストレージに蓄えられた音声認識辞書に含まれるシーン単語と比較し、音声データに該当するシーン単語を少なくとも一つ以上含む所定の認識辞書を選び出す。そして、選択された認識辞書を、例えば、キャッシュメモリ等に記録して音声認識を続ける。
請求の範囲３に記載の発明は、請求の範囲１又は２に記載の音声対話のための音声認識方法において、音声認識に使用する音声認識辞書は、発話者の音声をワードスポットにより文章解析・単語分解して得られた音声データから予めシーン単語同士を関連付けて各シーンごとに作成された音声データベースを用いて話題となっているシーンを特定し、当該シーンに対応する音声認識辞書を一又は二以上の音声認識辞書から選択して使用するようにされていることを特徴とする。
本発明においては、音声認識に使用する音声認識辞書を音声データから話題となっているシーンを特定し、そのシーンに対応する音声認識辞書をストレージに記録された一又は二以上の音声認識辞書の中から選択して音声認識に使用する。予め各シーンに登場するシーン単語をそれぞれ関連付けてシーンごとに集めてデータベース化した音声データベースを作成し、これを別途記録装置等に保存しておく。発話者の音声を処理することにより得られた音声データから音声データベースを用いて話題となっているシーンを特定する。そして、特定されたシーンに対応する音声認識辞書を用いて音声認識を行う。
請求の範囲４に記載の発明は、請求の範囲１〜３のいずれか１項に記載の音声対話のための音声認識方法において、音声認識に使用する音声認識辞書は、キャッシュメモリに記録して使用すると共に、認識すべき音声データが使用中の音声認識辞書にシーン単語として含まれていない場合又は新たに特定されたシーンが使用中の音声認識辞書と別のシーンのものである場合には該当音声データをシーン単語として含む他の音声認識辞書又は新たに特定されたシーンに対応する音声認識辞書と入れ替えて使用するようにされていることを特徴とする。
本発明においては、選択された音声認識に使用する音声認識辞書はキャッシュメモリに保存して使用する。そして、使用中の音声認識辞書の中に認識すべき音声データが含まれていない音声データがある場合には当該音声データをシーン単語として含む他の音声認識辞書があるか否かを検索する。検索の結果当該音声データをシーン単語として含む他の音声認識辞書がある場合にはキャッシュメモリに記録されている音声認識辞書を新たに検索された音声認識辞書と入れ替えて使用する。また、前記音声データベースを用いて特定されたシーンが使用中の音声認識辞書のシーンとは別のシーンのものである場合にも特定された別のシーンに対応する音声認識辞書を選択し使用中の音声認識辞書と入れ替えて使用する。
請求の範囲５に記載の発明は、請求の範囲１から４のいずれか１項に記載の音声会話のための音声認識方法において、対話シーケンスは、発話者に対して最初の発声を促すための問いかけを行うと共に、発話者の音声を認識することにより得られた単語に基づいて予め定められた表現・言い回しに従って次に問いかけるべき応答文を生成し、該応答文を音声合成して発話者に対して問いかけることにより発話者に対して主導的に会話を進行させて音声認識を行うことを特徴とする。
本発明は、発話者の発言を待ち、発話者の発言に基づいて音声認識すべき対話を進行させるのではなく、発話者に対して常に問いかけを行い、主導的に対話を進めるようにされている。発話者に話しかける文章は発話者に対して発声を促すための問いかけを行う文章と認識された単語から予め定められた表現・言い回しに従って次に問いかけるべき応答文を生成する対話シーケンスにより作成される。例えば、まず、最初にコンピュータを動作させると「用件は何ですか？」「やあ、こんにちは、昨日は何をしていたの？」「今日の新聞は読んだかい？」等の話者の発言を促すような文章を生成し、それを音声合成して発話者に問いかける。その問いかけに応じて発話者が発声した音声を認識し、認識された単語から対話シーケンスにより予め定められた表現・言い回しに従って次に問いかけるべき応答文を生成する。そして、該応答文を音声合成して発話者に対して問いかけを行い、発話者の次の発言を待つ。これにより、発話者に対して常に、主導的に会話を進行させて対話をスムーズに進行させる。
請求の範囲６に記載の発明は、発話者の音声を認識処理し、得られた音声データに基づいて応答文を作成してそれを音声合成することにより対話を行う音声対話のための音声認識システムであって、話題となるシーンに登場する所定の単語をシーン単語として集めてシーンごとに作成された一又は二以上の音声認識辞書を記録するメモリや記録装置等のストレージと、発話者の音声を入力する前記音声入力部と、入力された発話者の音声をワードスポットにより文章解析・単語分解して得られた音声データを一又は二以上の音声認識辞書を用いて音声認識を行う手段と、所定の時間内にその認識が行われた場合には該認識結果から予め定められた表現・言い回しに従って文章を生成する対話シーケンスに基づいて応答文を作成し、所定時間内に認識が行われなかった場合には発話者に再入力を促す聞き返し文を作成する手段と、作成された応答文又は聞き返し文を音声合成する手段とを含み構成された音声対話のための音声認識システムを提供する。
請求の範囲７に記載の発明は、請求の範囲６に記載の音声対話のための音声認識システムにおいて、音声認識に使用する音声認識辞書は、発話者の音声をワードスポットにより文章解析・単語分解して得られた音声データと、一又は二以上の音声認識辞書に含まれるシーン単語とを対比し、音声データに対応するシーン単語を少なくとも一つ以上含む所定の音声認識辞書を選択して使用するようにされていることを特徴とする。
請求の範囲８に記載の発明は、請求の範囲６又は７に記載の音声対話のための音声認識システムにおいて、音声認識に使用する音声認識辞書は、発話者の音声をワードスポットにより文章解析・単語分解して得られた前記音声データから予めシーン単語同士を関連付けて各シーンごとに作成された音声データベースを用いて話題となっているシーンを特定し、当該シーンに対応する音声認識辞書を一又は二以上の音声認識辞書から選択して使用するようにされていることを特徴とする。
請求の範囲９に記載の発明は、請求の範囲６〜９のいずれか１項に記載の音声対話のための音声認識方法において、音声認識に使用する音声認識辞書は、キャッシュメモリに記録して使用すると共に、認識すべき音声データが使用中の音声認識辞書にシーン単語として含まれていない場合又は新たに特定されたシーンが使用中の音声認識辞書と別のシーンのものである場合には該当音声データをシーン単語として含む他の音声認識辞書又は新たに特定されたシーンに対応する音声認識辞書と入れ替えて使用するようにされていることを特徴とする。
請求の範囲１０に記載の発明は、請求の範囲６から１０のいずれか１項に記載の音声会話のための音声認識システムにおいて、対話シーケンスは、発話者に対して最初の発声を促すための問いかけを行うと共に、発話者の音声を認識することにより得られた単語に基づいて予め定められた表現・言い回しに従って次に問いかけるべき応答文を生成し、該応答文を音声合成して発話者に対して問いかけることにより発話者に対して主導的に会話を進行させて音声認識を行うことを特徴とする。
請求の範囲１１に記載の発明は、コンピュータに、発話者の音声を認識処理し、得られた音声データに基づいて応答文を作成してそれを音声合成することにより対話を行う音声対話のための音声認識方法を実行させる音声会話のための音声認識プログラムであって、該プログラムはコンピュータを、音声入力部から入力された発話者の音声をワードスポットにより文章解析・単語分解して得られた音声データを話題となるシーンに登場する所定の単語をシーン単語として集めてシーンごとに作成されメモリや記録装置等のストレージに記録された一又は二以上の音声認識辞書を用いて音声認識を行い、所定の時間内にその認識が行われた場合には該認識結果から予め定められた表現・言い回しに従って文章を生成する対話シーケンスに基づいて応答文を作成し、所定時間内に認識が行われなかった場合には発話者に再入力を促す聞き返し文を作成し、該応答文又は聞き返し文を音声合成するように実行させる音声対話のための音声認識プログラムを提供する。
請求の範囲１２に記載の発明は、請求の範囲１１に記載の音声対話のための音声認識プログラムにおいて、音声認識に使用する音声認識辞書は、発話者の音声をワードスポットにより文章解析・単語分解して得られた音声データと、一又は二以上の音声認識辞書に含まれるシーン単語とを対比し、音声データに対応するシーン単語を少なくとも一つ以上含む所定の音声認識辞書を選択して使用するように実行させることを特徴とする。
請求の範囲１３に記載の発明は、請求の範囲１０又は１２に記載の音声対話のための音声認識プログラムにおいて、音声認識に使用する音声認識辞書は、発話者の音声をワードスポットにより文章解析・単語分解して得られた音声データから予めシーン単語同士を関連付けて各シーンごとに作成された音声データベースを用いて話題となっているシーンを特定し、当該シーンに対応する音声認識辞書を一又は二以上の音声認識辞書から選択して使用するように実行させることを特徴とする。
請求の範囲１４に記載の発明は、請求の範囲１１〜１３のいずれか１項に記載の音声対話のための音声認識プログラムにおいて、認識すべき音声データがキャッシュメモリに記録された使用中の音声認識辞書にシーン単語として含まれていない場合又は新たに特定されたシーンが使用中の音声認識辞書と別のシーンのものである場合には該当音声データをシーン単語として含む他の音声認識辞書又は新たに特定されたシーンに対応する音声認識辞書と入れ替えて使用するように実行させることを特徴とする。
瀬急の範囲１５に記載の発明は、請求の範囲１から４のいずれか１項に記載の音声会話のための音声認識プログラムにおいて、対話シーケンスを、発話者に対して最初の発声を促すための問いかけを行うと共に、発話者の音声を認識することにより得られた単語に基づいて予め定められた表現・言い回しに従って次に問いかけるべき応答文を生成し、該応答文を音声合成して発話者に対して問いかけることにより発話者に対して主導的に会話を進行させて音声認識を行うように実行させることを特徴とする。
発明を実施するための最良の形態
本発明に係る音声対話のための音声認識方法、音声認識システム及び音声認識プログラム実施の一形態を図面に基づいて説明する。初めに、図１に示す本実施形態における音声認識システムの基本的な構成について説明する。図１に示された音声認識システムは、概略的に、音声入力部３と、言語処理部４と、音声認識部５と、音声合成部６と、文書作成部７と、音声認識辞書部８とを有して構成されている。かかるシステムは、例えば、図２に示すような、プログラムや処理結果を記録保存するメモリやハードディスク等のストレージ１１と、情報や命令を入力するためのキーボードやポインティングデバイス等の入力装置１３と、与えられたプログラムを実行処理する中央処理装置（ＣＰＵ）１５と、入力情報や処理結果を表示するモニタ１７を等を有して構成される一般のコンピュータ１０を用いることにより実現される。
まず、音声入力部３は、マイクロフォン３ａから取り込まれた発話者の音声をコンピュータで処理することが可能な電気信号である音声信号に変換処理し、その処理結果を言語処理部４に渡すように構成されている。
言語処理部４は、音声入力部３から送られてきた発話者の音声信号を従来周知の音声認識エンジンを用いてワードスポットにより文章解析・単語分解して認識すべき必要な音声データを得るように構成されている。
音声認識部５は、発話者の音声を言語処理部４で処理することにより得られた音声データと予め音声認識辞書部８に記録保存された音声認識辞書とを対比して当該音声データがいかなる単語であるかを認識する。
音声認識辞書部８は、言語処理部４で発話者の音声を文章解析・単語分解して得られた音声データから目的とする単語を認識するための音声認識辞書を少なくとも一以上有して構成されている。この音声認識辞書は話題となるシーンに登場する所定の単語をシーン単語として集めて形成されており様々なシーンごとに作成されている（以下、シーンごとにまとめられた各音声認識辞書を「シーン辞書８ａ」という）。シーンとしては、例えば、「ビジネス」、「政治・経済」、「コンピュータ」、「教育」、「地域情報」、「映画・音楽」、「自然科学」「生活・文化」、「スポーツ」等があるがこれに限るものではなく種々のカテゴリーを採用することが可能である。また、各シーンをさらに細分化して作成することも可能であり、例えば、「ビジネス」の中にさらに「保険・金融」「食品」「電気通信」等に分けて階層的に作成してもよい。そして、各シーンで登場する単語がシーン単語として各シーンごとに集められている。例えば、「コンピュータ」に関するシーン辞書８ａの中には図３に示すようなシーン単語の他、「サーバ」、「クライアント」、「シーピーユー（ＣＰＵ）」、「プログラム」「ソフト」、「ビデオカード」、「タスク」、「マウス」、「ディスプレイ」、「パソコン」、「起動」、「システム」等のコンピュータが話題となったときに登場する単語が記録されている。このように作成されたシーン辞書８ａをコンピュータのメモリやハードディスク等の記録装置であるストレージ１１に少なくとも一つ以上保存する。音声認識に使用する音声認識辞書に認識すべき単語を網羅的に多数収録すると、入力された発話者の音声に対する音声データとのマッチングの候補が多数存在することとなりかえって認識率が下がったり認識に時間がかかることがある。そのため、音声認識辞書を話題となるシーンごとに作成し認識時間の短縮化を図る。
音声認識に使用するシーン辞書８ａは、発話者の音声を言語処理部４で処理することにより得られた音声データと、保存された各シーン辞書８ａに含まれるシーン単語とを対比し、当該音声データに対応するシーン単語を少なくとも一つ以上含む特定のシーン辞書８ａを選択することにより使用する。例えば、発話者が「今度のパソコンはＣＰＵ（シーピーユー）の性能が良いので処理速度が速い。」と話した場合には言語処理部４で得られた音声データに対応する単語である「パソコン」、「ＣＰＵ（シーピーユー）」、「性能」、「処理速度」の単語を含む「コンピュータ」関係のシーン辞書８ａが選択される。そして、選択されたシーン辞書８ａはキャッシュメモリに蓄えられ、以後の音声認識に使用される。
尚、音声認識辞書の選択は音声データが二つ以上のシーン辞書８ａに含まれる場合には、より多くの音声データに対応するシーン単語を含むシーン辞書８ａを選択するように構成することもでき、また、キャッシュメモリに記録されているシーン辞書８ａを優先的に使用するように構成することもできる。
シーン辞書８ａの選択に関して第二の実施形態としては図４に示すように、発話者の音声を言語処理部４で処理することにより得られた音声データから予めシーン単語同士を関連付けて各シーンごとに作成された音声データベース９を用いて話題となっているシーンを特定し、当該特定されたシーンに対応するシーン辞書８ａを一又は二以上のシーン辞書８ａから選択して使用するように構成することもできる。具体的には、図５に示すような各シーンに登場するシーン単語をそれぞれ関連付けてシーンごとにデータベース化した音声データベース９を作成し、発話者の音声を言語処理部４で処理することにより得られた音声データをこの音声データベース９を用いて話題となっているシーンを特定する。そして、特定したシーンから音声認識に使用するシーン辞書８ａを選択してキャッシュメモリに記憶させ音声認識に用いる。音声データベース９は、シーン辞書８ａと同じシーンに対応するように作成してもよいが、使用するシーン辞書８ａを特定できるように構成されていればシーン辞書８ａと同じシーンに分類する必要はなく、もっと細分化したシーンで分類してもよい。また、音声データベース９として複数のシーン辞書８ａを集めて利用することも可能である。尚、音声認識に使用するシーン辞書８ａは、キャッシュメモリに記録して使用することによりレスポンスを早く行わせるようにするとよい。
対話が進行し、今までとは異なる話題になった場合には認識すべき音声データが使用中のシーン辞書８ａにシーン単語として含まれていない場合がある。その場合には、音声認識部５は、音声辞書部８にある他のシーン辞書８ａにアクセスして当該音声データに対応するシーン単語を含むシーン辞書８ａがあるか否かを検索し、該当するシーン辞書８ａがあれば当該音声データを含むシーン辞書８ａを選択すると共に、キャッシュメモリに記録されている使用中のシーン辞書８ａを新たに選択されたシーン辞書８ａに入れ替えて使用するように構成されている。また、上述した第二の実施形態の場合も同様に音声認識部５は、話題が変り、音声データベース９から特定されるシーンが現在使用中のシーン辞書８ａのシーンとは異なるようになった場合も音声デーベース９から新たなシーンを特定し、そのシーンに対応するシーン辞書８ａ選択してキャッシュメモリにある今まで使用していたシーン辞書８ａと新たに選択されたシーン辞書８ａとを入れ替えて使用するように構成されている。
文書作成部７は、音声認識部５で認識されたその結果から話題を抽出し、予め定められた表現・言い回しに従って文章を生成するプログラムである対話シーケンスに基づいて発話者の発言に対する応答文を作成する。
対話シーケンスは、発話者に対して最初の発声を促すための問いかけを行うと共に、発話者の音声を認識することにより得られた単語に基づいて予め定められた表現・言い回しに従って次に問いかけるべき応答文を生成し、該応答文を音声合成して前記発話者に対して問いかけることにより前記発話者に対して主導的に会話を進行させて音声認識を行うように構成されている。
具体的には、図６に示すようなリレーショナル型データベースを準備する。すなわち、図６に示されたリレーショナル型データベースの各行をレコード、各列を各レコードに対するデータの属性を示すスキームに割当てる。例えば、「旅行」に関するデータベースであれば、レコードとしては「目的」、「場所」、「人数」、「時期」、「出発日」、「日数」等の情報が記録される。そして、各レコードに対する属性であるスキームＳ１〜Ｓｎとしては、例えば、「目的」に対するスキームとして「観光」、「ビジネス」、「研修、」、「ダイビング」、「スキー」等が記録され、「場所」としては、「北海道」、「東京」、「京都」、「沖縄」、「ハワイ」、「イギリス」、「中国」等が記録される。そして、発話者の音声を認識して得られた単語をこのようにして作成されたリレーショナル型データベースに当てはめる。発話者が「夏休みにハワイに行きたい。」と話した場合には、場所である「ハワイ」と「時期」である「夏休み」が特定されるが、他のレコードである「目的」、「人数」、「出発日」等が不明である。そこで、この不明なレコードをから発話者の話に対応する文章を対話場面に応じた文例である応答文、例えば、目的が不明の場合の文例である「○○へは何をしにいくのですか？」の「○○」の部分に先に認識された「場所」に関する単語である「ハワイ」を当てはめて「ハワイへは何をしに行くのですか？」という文章を生成する。同様に、人数が不明の場合には「○○へは何人で行くのですか？」の文例を利用して「ハワイへは何人で行くのですか？」文章を生成するようになっている。
対話シーケンスは、また、最初にコンピュータを動作させたときには「用件は何ですか？」、「やあ、こんにちは、昨日は何をしていたの？」、「今日の新聞は読んだかい？」等の話者の発言を促すような文章を生成するようになっている。
一方、文書作成部７は、シーン辞書８ａに該当する単語は含まれているがその認識に所定時間以上かかってしまった場合（他のシーン辞書８ａに該当する単語が含まれておらずその認識結果を出力することができなかった場合も含む）には発話者に対し「何、もう一度言ってよ。」再入力を促す聞き返し文を作成する。聞き返し文を作成して発話者に聞き返すことにより不必要な間を作らずにスムーズに会話を進めることができると共に、発話者に対し最初に用いた言葉と同じ言葉ではなくより認識しやすい別な言葉を発話するように仕向けることができる。聞き返し文を生成する条件である認識のために要する所定の時間としては、約１〜３秒程度が好ましい。
また、対話シーケンスは、発話者の音声を認識することにより作成された応答文に対して以前に発話者が回答した内容を記録した会話パターンを利用して応答文を作成するように構成することもできる。つまり、作成された応答文をそのまま音声合成して出力するのではなく、作成された文章をいったん自システムに取り込んだ上で再び応答文を作成させる。すなわち、発話者の音声を認識することにより得られた単語に基づいて作成された応答文に対する発声者の回答を会話パターンとしてハードディスク等のストレージに記録蓄積しておく。そして、音声認識により得られた単語に基づいて生成された応答文と以前に記録された会話パターンとを比較し、同じ応答文がある場合にはその応答文に対する発話者の回答を参照して次の応答文を生成する。対話シーケンスをこのように構成することにより、その単語に対していつも決まったパターンの応答文を作成するのではなく、人間同士が会話しているかのような感じを与えることができる。
音声合成部６は、文書作成部７で作成された会話をスタートさせるためのあいさつ文、発話者の話に対する応答文や聞き返し文を音声合成してスピーカ６ａから発話する。
次に、本発明に係る音声認識方法について上述した音声認識システムの動作と共に説明する。
まず、話題となるシーンに登場する所定の単語をシーン単語として集めてシーンごとに作成された一又は二以上のシーン辞書８ａコンピュータのメモリや記録装置等のストレージに記録する（ステップＳ１）。
本システムを動作させると、まず、文章作成部７に記録されたプログラムである対話シーケンスに基づいて発話者に対して音声入力を促すための文章、例えば、「用件は何ですか？」「やあ、こんにちは、昨日は何をしていたの？」「今日の新聞は読んだかい？」が作成される（ステップＳ２）。そして、その文章を音声合成部６で音声合成し、スピーカ６ａを介して発話者に問いかける（ステップＳ３）。その問いかけに応じて発話者が発声すると、その音声をマイクロフォン３ａから取り込んで音声入力部３で電気信号である音声信号に変換処理する（ステップＳ４）。そして、その処理結果を言語処理部４に渡す（ステップＳ５）。
言語処理部４では、音声信号を従来周知の音声認識エンシーンを用いてワードスポットにより文章解析・単語分解して認識すべき必要な音声データを得る（ステップＳ６）。そして、得られた音声データと予め音声認識辞書部８に記録保存（Ｓ１）されたシーン辞書８ａとを対比して当該音声データがいかなる単語であるかを認識する（ステップＳ７）。単語が認識されると対話シーケンスにより予め定められた表現・言い回しに従って次に問いかけるべき応答文を生成する（ステップＳ８）。そして、作成された応答文を音声合成部６により音声合成してその音声をスピーカ６ａから発して発話者に対して問いかけを行い、発話者の次の発言を待つ（ステップＳ９）。これにより、発話者に対して常に、主導的に会話を進行させて対話をスムーズに進行させる。
会話が進行して話題が変り、得られた音声データの中に使用中のシーン辞書８ａにシーン単語として含まれていない音声データがある場合には、図８に示すように、音声辞書部８にある他のシーン辞書８ａにアクセスして当該音声データに対応するシーン単語を含むシーン辞書８ａがあるか否かを検索する（ステップＳ１０）。そして、該当するシーン辞書８ａがあれば当該音声データを含むシーン辞書８ａを選択すると共に、キャッシュメモリに記録されている使用中のシーン辞書８ａを新たに選択されたシーン辞書８ａに入れ替えて使用に供する（ステップＳ１１）。同様に、話題が変り、音声データベース９から特定されるシーンが現在使用中のシーン辞書８ａのシーンとは異なるようになった場合も音声デーベース９から新たなシーンを特定し、そのシーンに対応するシーン辞書８ａ選択してキャッシュメモリにある今まで使用していたシーン辞書８ａと新たに選択されたシーン辞書８ａとを入れ替えて使用する。
一方、シーン辞書８ａに該当する単語は含まれているがその認識に所定時間以上かかってしまった場合（他のシーン辞書８ａに該当する単語が含まれておらずその認識結果を出力することができなかった場合も含む）には対話シーケンスは、発話者に対し「何、もう一度言ってよ。」再入力を促す聞き返し文を作成する（ステップＳ１２）。そして、作成された聞き返し文を音声合成部６により音声合成してその音声をスピーカ６ａから発して発話者に対して問いかけを行い、発話者の次の発言を待つ（Ｓ９）。以後これを繰り返す。
本発明は、これまで説明したような音声会話のための音声認識方法をコンピュータに実行させるためのプログラムにより実現することができ、当該プログラムは、フロッピーディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ等の記録媒体に記録し、コンピュータに読み込ませることにより実行させることができる。
また、かかる記録媒体によらなくとも、インターネットに代表される通信によってもコンピュータに読み込ませて実行することが可能であり、いかなる方法によるとも上述の音声認識方法をコンピュータ上で実現する限りは本発明の思想の含まれるものである。
産業上の利用可能性
本発明に係る音声認識方法、音声認識システム及び音声認識プログラムによれば、話題となっているシーンに対応する音声認識辞書を用いて音声認識すると共に、使用する音声認識辞書を効率よく選択して切り替えて使用することにより認識時間の短縮化を図ることができると共に、認識率の向上、及びメモリの容量を節減することが可能となる。
また、本発明に係る音声認識方法、音声認識システム及び音声認識プログラムによれば、一定時間経っても候補が検索されない場合や認識できない単語がある場合には発話者に対してもう一度発言を促すように構成されていることより、不自然な間を作ることなく自然な感じで対話を行わせながら音声認識を行うことができる。
【図面の簡単な説明】
第１図は、本発明に係る音声対話のための音声認識システムの一実施形態におけるブロック図である。
第２図は、図１の音声認識システムを実現するためのコンピュータのブロック図である。
第３図は、シーン辞書の構成を示す説明図である。
第４図は、本発明に係る音声認識システムの第二の実施形態におけるブロック図である。
第５図は、音声データベースの構成を示す説明図である。
第６図は、リレーショナル型データベースの構成を示す説明図である。
第７図は、音声対話の全体のフローチャートである。
第８図は、シーン辞書選択及び聞き返し文生成の流れを示すフローチャートである。
【図１】
2002067244.tif 000003
【図２】
2002067244.tif 000004
【図３】
2002067244.tif 000005
【図４】
2002067244.tif 000006
【図５】
2002067244.tif 000007
【図６】
2002067244.tif 000008
【図７】
2002067244.tif 000009
【図８】
2002067244.tif 000010
【国際調査報告】
2002067244.tif 000011
2002067244.tif 000012
2002067244.tif 000013