(57)【要約】【課題】  未知語が含まれている入力音声に対して、精度の高い応答結果を出力する。【解決手段】  音声データに対応する単語や文字が登録された辞書データを記憶する辞書データ記憶手段６１と、文字列を区切る基準を表す予め定められた境界修正データを記憶する境界修正データ記憶手段６２と、を備えると共に、入力された音声を辞書データに基づいて文字認識し、単語認識結果文字列と文字認識結果文字列とをそれぞれ生成する音声認識手段５２と、単語認識結果文字列と文字認識結果文字列との少なくとも一方に基づいて単語認識結果文字列及び文字認識結果文字列のうち未知語であると判断される区間を推定する未知語区間推定手段５３と、単語認識結果文字列と文字認識結果文字列とを組み合わせる文字列組み合わせ手段５４と、この組み合わせられた文字列を用いて、未知語区間の境界を境界修正データに基づいて修正する未知語区間修正手段５５と、を備えた。【選択図】図１
2006133478.tif 000002
【特許請求の範囲】
【請求項１】
音声データに対応する単語や文字が登録された辞書データを記憶する辞書データ記憶手段と、文字列を区切る基準を表す予め定められた境界修正データを記憶する境界修正データ記憶手段と、を備えると共に、
入力された音声を前記辞書データに基づいて文字認識し、単語認識結果文字列と文字認識結果文字列とをそれぞれ生成する音声認識手段と、
前記単語認識結果文字列と前記文字認識結果文字列との少なくとも一方に基づいて前記単語認識結果文字列及び前記文字認識結果文字列のうち未知語であると判断される区間を推定する未知語区間推定手段と、
前記単語認識結果文字列と前記文字認識結果文字列とを組み合わせる文字列組み合わせ手段と、
この組み合わせられた文字列を用いて、前記未知語区間の境界を前記境界修正データに基づいて修正する未知語区間修正手段と、を備えたことを特徴とする音声処理システム。
【請求項２】
前記音声認識手段が、前記入力された音声を前記辞書データに基づいて単語認識して当該単語を含む前記単語認識結果文字列を生成する単語認識手段と、前記入力された音声を前記辞書データに基づいて前記単語とは異なる文字単位で認識して当該認識した文字を用いた文字認識結果文字列を生成するサブワード認識手段と、を備えたことを特徴とする請求項１記載の音声処理システム。
【請求項３】
前記サブワード認識手段は、前記入力された音声を音素単位あるいは音節単位に認識する、ことを特徴とする請求項２記載の音声処理システム。
【請求項４】
前記文字列組み合わせ手段は、前記単語認識結果文字列のうち未知語区間の文字を、当該未知語区間に対応する前記文字認識結果文字列の文字に置換して組み合わせる、ことを特徴とする請求項２又は３記載の音声処理システム。
【請求項５】
前記未知語区間推定手段が、前記単語認識手段と前記サブワード認識手段とによる認識結果に基づいて前記未知語区間を推定する、ことを特徴とする請求項２，３又は４記載の音声処理システム。
【請求項６】
前記未知語区間推定手段が、前記単語認識手段と前記サブワード認識手段とによる前記辞書データに基づく認識の精度に応じて前記未知語区間を推定する、ことを特徴とする請求項５記載の音声処理システム。
【請求項７】
前記未知語区間修正手段が、前記未知語区間の文字と当該未知語区間に隣接する文字とに基づいて修正を行う、ことを特徴とする請求項２，３，４，５又は６記載の音声処理システム。
【請求項８】
前記未知語区間修正手段が、前記未知語区間の文字と当該未知語区間に隣接する文字とを組み合わせて修正を行う、ことを特徴とする請求項７記載の音声処理システム。
【請求項９】
前記未知語区間修正手段にて前記修正された未知語区間を未知語として出力する認識結果出力手段を備えた、ことを特徴とする請求項２，３，４，５，６，７又は８記載の音声処理システム。
【請求項１０】
前記認識結果出力手段が、前記未知語区間修正手段にて特定された前記未知語区間に対応する前記文字認識結果文字列を前記未知語として出力する、ことを特徴とする請求項９記載の音声処理システム。
【請求項１１】
前記認識結果出力手段が、前記音声認識手段による認識結果に基づいて前記未知語を含む応答文字列を生成する応答文字列生成手段と、この応答文字列を音声出力可能なよう音声合成する音声合成手段とを備えた、ことを特徴とする請求項１０記載の音声処理システム。
【請求項１２】
前記認識結果出力手段が、前記未知語区間修正手段にて特定された前記未知語区間に対応する前記入力された音声を前記未知語として出力する、ことを特徴とする請求項９記載の音声処理システム。
【請求項１３】
前記認識結果出力手段が、前記音声認識手段による認識結果に基づいて前記未知語を含む応答文字列を生成する応答文字列生成手段と、この応答文字列を音声出力可能なよう音声合成する音声合成手段とを備え、
この音声合成手段が、前記応答文字列の前記未知語区間に当該未知語区間に対応する前記入力された音声を合成する、ことを特徴とする請求項１２記載の音声処理システム。
【請求項１４】
前記応答文字列生成手段が、前記入力された音声の言語とは異なる言語の文字列に翻訳して前記応答文字列を生成する翻訳手段を備えた、ことを特徴とする請求項１１又は１３記載の音声処理システム。
【請求項１５】
コンピュータを用いて入力された音声の処理を行う音声処理方法であって、
前記コンピュータが、
前記入力された音声を音声データに対応する単語や文字が登録された辞書データに基づいて文字認識し、単語認識結果文字列と文字認識結果文字列とをそれぞれ生成する音声認識工程と、
前記単語認識結果文字列と前記文字認識結果文字列との少なくとも一方に基づいて前記単語認識結果文字列及び前記文字認識結果文字列のうち未知語であると判断される区間を推定する未知語区間推定工程と、
前記単語認識結果文字列と前記文字認識結果文字列とを組み合わせる文字列組み合わせ工程と、
この組み合わせられた文字列を用いて、文字列を区切る基準を表す予め定められた境界修正データに基づいて前記未知語区間の境界を修正する未知語区間修正工程と、
を有することを特徴とする音声処理方法。
【請求項１６】
前記音声認識工程は、前記入力された音声を前記辞書データに基づいて単語認識して当該単語を含む前記単語認識結果文字列を生成する単語認識工程と、この単語認識工程に前後して、前記入力された音声を前記辞書データに基づいて前記単語とは異なる文字単位で認識して当該認識した文字を用いた文字認識結果文字列を生成するサブワード認識工程と、を有することを特徴とする請求項１５記載の音声処理方法。
【請求項１７】
前記未知語区間推定工程は、前記単語認識工程と前記サブワード認識工程とによる認識結果に基づいて前記未知語区間を推定する、ことを特徴とする請求項１６記載の音声処理方法。
【請求項１８】
前記未知語区間修正工程は、前記未知語区間の文字と当該未知語区間に隣接する文字とに基づいて修正を行う、ことを特徴とする請求項１６又は１７記載の音声処理方法。
【請求項１９】
前記未知語区間修正工程にて前記修正された未知語区間を未知語として出力する認識結果出力工程を備え、この認識結果出力工程が、前記未知語区間修正工程にて特定された前記未知語区間に対応する前記文字認識結果文字列を前記未知語として出力する、ことを特徴とする請求項１６，１７又は１８記載の音声処理方法。
【請求項２０】
前記未知語区間修正工程にて前記修正された未知語区間を未知語として出力する認識結果出力工程を備え、この認識結果出力工程が、前記未知語区間修正工程にて特定された前記未知語区間に対応する前記入力された音声を前記未知語として出力する、ことを特徴とする請求項１６，１７又は１８記載の音声処理方法。
【請求項２１】
入力された音声の処理を行うコンピュータに、
前記入力された音声を音声データに対応する単語や文字が登録された辞書データに基づいて文字認識し、単語認識結果文字列と文字認識結果文字列とをそれぞれ生成する音声認識手段と、
前記単語認識結果文字列と前記文字認識結果文字列との少なくとも一方に基づいて前記単語認識結果文字列及び前記文字認識結果文字列のうち未知語であると判断される区間を推定する未知語区間推定手段と、
前記単語認識結果文字列と前記文字認識結果文字列とを組み合わせる文字列組み合わせ手段と、
この組み合わせられた文字列を用いて、文字列を区切る基準を表す予め定められた境界修正データに基づいて前記未知語区間の境界を修正する未知語区間修正手段と、
を実現するための音声処理用プログラム。
【請求項２２】
前記コンピュータに、
前記入力された音声を前記辞書データに基づいて単語認識して当該単語を含む前記単語認識結果文字列を生成する単語認識手段と、前記入力された音声を前記辞書データに基づいて前記単語とは異なる文字単位で認識して当該認識した文字を用いた文字認識結果文字列を生成するサブワード認識手段と、を有する前記音声認識手段を実現するための請求項２１記載の音声処理用プログラム。
【請求項２３】
前記コンピュータに、
前記単語認識手段と前記サブワード認識手段とによる認識結果に基づいて前記未知語区間を推定する前記未知語区間推定手段を実現するための請求項２２記載の音声処理用プログラム。
【請求項２４】
前記コンピュータに、
前記未知語区間の文字と当該未知語区間に隣接する文字とに基づいて修正を行う前記未知語区間修正手段を実現するための請求項２２又は２３記載の音声処理用プログラム。
【請求項２５】
前記コンピュータに、
前記未知語区間修正手段にて前記修正された未知語区間を未知語として出力すると共に、当該未知語区間に対応する前記文字認識結果文字列を前記未知語として出力する認識結果出力手段を実現するための請求項２２，２３又は２４記載の音声処理用プログラム。
【請求項２６】
前記コンピュータに、
前記未知語区間修正手段にて前記修正された未知語区間を未知語として出力すると共に、当該未知語区間に対応する前記入力された音声を前記未知語として出力する認識結果出力手段を実現するための請求項２２，２３又は２４記載の音声処理用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声処理システムにかかり、特に、固有名称などの未知語を含む音声を処理するシステムに関する。また、音声処理方法、音声処理用プログラムに関する。
【背景技術】
【０００２】
従来より、音声による入出力を行う音声処理システムでは、入力された音声データに外来語・略語・人名・地名などの固有名詞、あるいは、新語などが含まれることがあるが、これらは必ずしも音声認識辞書に含まれてはおらず、システムにとっての未知語となる。そして、このような未知語が含まれていると、音声処理システムでは誤認識を行う可能性が高く、処理精度が低下し、安定した処理を実現できない、という問題が生じる。
【０００３】
そこで、未知語が含まれているために音声認識が誤認識を起こすような場合でも、誤認識された区間を認識結果尤度から推定し、該当区間に対応する出力音声区間を入力音声データの該当区間と差し替えることで、誤認識結果を音声出力せずに済む音声処理システムが特許文献１に記載されている。
【０００４】
この従来のシステム１０１は、入力となる音声データを出力に利用することで認識誤りによる翻訳結果の精度劣化を低減するよう作動する。このため、図１０に示すように、各処理を制御する制御部１０２と、マイクロフォンからなる音声入力部１０３と、入力された音声データを一時的に記憶する一時記憶部１０４と、一時記憶部に記憶された音声データを音声認識する音声認識部１０５と、音声認識部に認識された認識結果を他の言語に対応するコードまたはコード列に翻訳する翻訳部１０６と、その翻訳結果を表示するディスプレイからなる表示部１０７と、翻訳結果を音声信号に変換する音声生成部１０８と、翻訳された音声信号を出力するスピーカからなる音声出力部１０９と、各種のパラメータを記憶する設定部１１０とから構成されている。また、この音声処理システム１０１を、機能ブロックにて図示すると、図１１に示すように、入力音声１２１を音声認識する音声認識部１２２と、音声認識結果から未知語区間を推定する未知語区間推定部１２２と、未知語区間を含む認識結果から応答内容を生成する応答生成部１２３と、応答内容を合成音声で出力する音声出力部１２４と、から構成されている。
【０００５】
このような構成を有する従来の音声翻訳システムは、次のように動作する。まず、音声入力部で入力音声を受け付け、一時記憶部に記憶し、記憶された音声データを音声認識部で音声認識する。そして、音声認識結果を翻訳部で他の言語に翻訳し、翻訳結果を表示部で表示するとともに音声生成部で音声信号に変換し、翻訳された音声信号を音声出力部で出力する。
【０００６】
また、下記の特許文献２には、上記未知語の区切りを統計情報により修正する、という技術が開示されている。具体的には、区切った文字を字種と単語長の情報に変換し、予め登録された統計情報に基づいて、一旦は区切った文字列を合わせて未知語として認識する、という処理が可能となる。
【０００７】
【特許文献１】特開２００１−２５６２２３号公報
【特許文献２】特開平１０−２４０７３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１に開示された手法である、未知語によって誤認識を起こした区間を認識結果尤度から推定し、該当区間に対応する出力音声区間を入力音声データの該当区間と差し替える方法では、誤認識を起こした区間の単語のセグメンテーション誤りを回避できない、という問題が生じる。そして、そのセグメンテーション誤りによって応答結果の精度が低下する、という問題が生じる。
【０００９】
また、特許文献２に示す技術の場合にも同様である。すなわち、一度区切った文字列を結合して未知語とする技術であるため、修正前の区切り（セグメンテーション）自体に誤りがあった場合に、その区切自体をさらに細かく区切るよう修正することができない。従って、依然として認識精度の向上を図ることができない、という問題が生じる。
【００１０】
本発明では、入力音声に未知語が含まれている場合でも、精度の高い応答結果を出力する音声処理システムを提供すること、をその目的とする。
【課題を解決するための手段】
【００１１】
そこで、本発明の一形態である音声処理システムは、
音声データに対応する単語や文字が登録された辞書データを記憶する辞書データ記憶手段と、文字列を区切る基準を表す予め定められた境界修正データを記憶する境界修正データ記憶手段と、を備えると共に、
入力された音声を辞書データに基づいて文字認識し、単語認識結果文字列と文字認識結果文字列とをそれぞれ生成する音声認識手段と、
単語認識結果文字列と文字認識結果文字列との少なくとも一方に基づいて単語認識結果文字列及び文字認識結果文字列のうち未知語であると判断される区間を推定する未知語区間推定手段と、
単語認識結果文字列と文字認識結果文字列とを組み合わせる文字列組み合わせ手段と、
この組み合わせられた文字列を用いて、未知語区間の境界を境界修正データに基づいて修正する未知語区間修正手段と、を備えたことを特徴としている。
【００１２】
そして、音声認識手段が、入力された音声を辞書データに基づいて単語認識して当該単語を含む単語認識結果文字列を生成する単語認識手段と、入力された音声を辞書データに基づいて単語とは異なる文字単位で認識して当該認識した文字を用いた文字認識結果文字列を生成するサブワード認識手段と、を備えたことを特徴としている。
【００１３】
また、サブワード認識手段は、入力された音声を音素単位あるいは音節単位に認識する、ことを特徴としている。
【００１４】
さらに、文字列組み合わせ手段は、単語認識結果文字列のうち未知語区間の文字を、当該未知語区間に対応する文字認識結果文字列の文字に置換して組み合わせる、ことを特徴としている。
【００１５】
上記発明によると、まず、入力された音声は、辞書データに基づいて音声認識され、単語を含む単語認識結果文字列と、音素や音節による文字認識結果文字列と、が生成される。そして、これら認識結果文字列に基づいて未知語の可能性がある文字列の区間が推定される。その後、単語認識結果文字列と文字認識結果文字列とが組み合わせられて、特に、未知語区間の単語がサブワード認識による文字列に置換されることにより、この置換された文字列に対して、未知語区間の境界の修正が境界修正データに基づいて行われる。従って、一度単語として認識した区間を、当該単語よりも小さい文字単位、すなわち、音素や音節レベルで再度境界を修正可能であるため、未知語の推定精度の向上を図ることができる。
【００１６】
また、未知語区間推定手段が、単語認識手段とサブワード認識手段とによる認識結果に基づいて未知語区間を推定する、ことを特徴としている。そして、未知語区間推定手段が、単語認識手段とサブワード認識手段とによる辞書データに基づく認識の精度に応じて未知語区間を推定する、ことを特徴としている。これにより、単語認識の信頼度だけでなく、音声認識時の認識精度にも対応して未知語区間が特定されるため、未知語区間の推定精度の向上を図ることができる。
【００１７】
また、未知語区間修正手段が、未知語区間の文字と当該未知語区間に隣接する文字とに基づいて修正を行う、ことを特徴としている。そして、未知語区間修正手段が、未知語区間の文字と当該未知語区間に隣接する文字とを組み合わせて修正を行う、ことを特徴としている。これにより、一度単語として認識された区間であっても、その前後の文字をも含めて区間の修正が行われるため、区間の修正のパターンが増え、さらなる未知語の推定制度の向上を図ることができる。
【００１８】
また、未知語区間修正手段にて修正された未知語区間を未知語として出力する認識結果出力手段を備えた、ことを特徴としている。そして、認識結果出力手段が、未知語区間修正手段にて特定された未知語区間に対応する文字認識結果文字列あるいは入力された音声を未知語として出力する、ことを特徴としている。また、認識結果出力手段が、音声認識手段による認識結果に基づいて未知語を含む応答文字列を生成する応答文字列生成手段と、この応答文字列を音声出力可能なよう音声合成する音声合成手段とを備えることを特徴としている。そして、この音声合成手段が、応答文字列の未知語区間に当該未知語区間に対応する入力された音声を合成する、ことを特徴としている。さらに、応答文字列生成手段が、入力された音声の言語とは異なる言語の文字列に翻訳して応答文字列を生成する翻訳手段を備えた、ことを特徴としている。
【００１９】
これにより、入力された音声の認識結果の未知語部分が明確となる。特に、かかる未知語部分に、音素認識結果の文字列が音声合成されて、あるいは、入力された音声そのものが代入されて出力されるため、音声認識システムを用いる者にとってより認識結果を容易に理解することが可能となる。
【００２０】
また、本発明の他の形態である音声処理方法は、
コンピュータを用いて入力された音声の処理を行う音声処理方法であって、
コンピュータが、
入力された音声を音声データに対応する単語や文字が登録された辞書データに基づいて文字認識し、単語認識結果文字列と文字認識結果文字列とをそれぞれ生成する音声認識工程と、
単語認識結果文字列と文字認識結果文字列との少なくとも一方に基づいて単語認識結果文字列及び文字認識結果文字列のうち未知語であると判断される区間を推定する未知語区間推定工程と、
単語認識結果文字列と文字認識結果文字列とを組み合わせる文字列組み合わせ工程と、
この組み合わせられた文字列を用いて、文字列を区切る基準を表す予め定められた境界修正データに基づいて未知語区間の境界を修正する未知語区間修正工程と、
を有することを特徴としている。
【００２１】
そして、音声認識工程は、入力された音声を辞書データに基づいて単語認識して当該単語を含む単語認識結果文字列を生成する単語認識工程と、この単語認識工程に前後して、入力された音声を辞書データに基づいて単語とは異なる文字単位で認識して当該認識した文字を用いた文字認識結果文字列を生成するサブワード認識工程と、を有することを特徴としている。
【００２２】
また、未知語区間推定工程は、単語認識工程とサブワード認識工程とによる認識結果に基づいて未知語区間を推定する、ことを特徴としている。また、未知語区間修正工程が、未知語区間の文字と当該未知語区間に隣接する文字とに基づいて修正を行う、ことを特徴としている。さらに、未知語区間修正工程にて修正された未知語区間を未知語として出力する認識結果出力工程を備え、この認識結果出力工程が、未知語区間修正工程にて特定された未知語区間に対応する文字認識結果文字列あるいは入力された音声を未知語として出力する、ことを特徴としている。
【００２３】
また、本発明の他の形態である音声処理用プログラムは、
入力された音声の処理を行うコンピュータに、
入力された音声を音声データに対応する単語や文字が登録された辞書データに基づいて文字認識し、単語認識結果文字列と文字認識結果文字列とをそれぞれ生成する音声認識手段と、
単語認識結果文字列と文字認識結果文字列との少なくとも一方に基づいて単語認識結果文字列及び文字認識結果文字列のうち未知語であると判断される区間を推定する未知語区間推定手段と、
単語認識結果文字列と文字認識結果文字列とを組み合わせる文字列組み合わせ手段と、
この組み合わせられた文字列を用いて、文字列を区切る基準を表す予め定められた境界修正データに基づいて未知語区間の境界を修正する未知語区間修正手段と、
を実現するための音声処理用プログラムである。
【００２４】
そして、このプログラムは、
コンピュータに、
入力された音声を辞書データに基づいて単語認識して当該単語を含む単語認識結果文字列を生成する単語認識手段と、入力された音声を辞書データに基づいて単語とは異なる文字単位で認識して当該認識した文字を用いた文字認識結果文字列を生成するサブワード認識手段と、を有する音声認識手段を実現することを特徴としている。
【００２５】
また、上記プログラムは、コンピュータに、
単語認識手段とサブワード認識手段とによる認識結果に基づいて未知語区間を推定する未知語区間推定手段を実現することを特徴としている。また、コンピュータに、未知語区間の文字と当該未知語区間に隣接する文字とに基づいて修正を行う未知語区間修正手段を実現することを特徴としている。さらに、コンピュータに、未知語区間修正手段にて修正された未知語区間を未知語として出力すると共に、当該未知語区間に対応する文字認識結果文字列あるいは入力された音声を未知語として出力する認識結果出力手段を実現することを特徴としている。
【００２６】
本発明は、上記音声処理方法及び音声処理用プログラムのような構成としても、上述した音声処理システムと同様に作用し、上記目的を達成することができる。
【発明の効果】
【００２７】
本発明は、以上のように構成され機能するので、これによると、単語として認識した区間から未知語を検出することができると共に、その後、当該単語よりも小さい文字単位、すなわち、音素や音節レベルでその区間の境界を修正可能であるため、未知語の推定精度の向上を図ることができる、という従来にない優れた効果を有する。
【発明を実施するための最良の形態】
【００２８】
本発明は、入力された音声から未知語区間を推定した後に、この区間内の文字列をさらに細分化して、当該区間の境界を修正することで、未知語の推定を高精度に行うことを特徴としている。以下、実施例にて、音声処理システム、方法、プログラムの構成及び動作を詳述する。
【実施例１】
【００２９】
本発明の第１の実施例を、図１乃至図６を参照して説明する。図１乃至図２は、音声処理システムの構成を示す機能ブロック図である。図３は、音声処理システムの動作を示すフローチャートである。図４は、音声処理の一例を示す説明図である。また、図５乃至図６は、音声処理システムの変形例における構成を示す機能ブロック図である。
【００３０】
［構成］
本発明である音声処理システムは、パーソナルコンピュータやサーバコンピュータなど、演算部であるＣＰＵや記憶部であるハードディスク、メモリなどを備えた情報処理装置（以下、コンピュータという）にて構成されている。以下、図１乃至図２を参照して、音声処理システムであるコンピュータ１の構成を具体的に説明する。なお、図１では、音声処理システムは、１台のコンピュータにて構成されている場合を例示しているが、複数台のコンピュータにて構成されていてもよい。
【００３１】
図１に示すように、コンピュータ１には、音声を入力するマイク２と、入力された音声の処理結果を音声にて出力するスピーカ３と、同様に入力された音声の処理結果を視覚表示にて出力するディスプレイ４と、が備えられている。
【００３２】
そして、演算部であるＣＰＵ５には、音声処理用プログラムが組み込まれることで、音声受付処理部５１と、音声認識処理部５２と、未知語区間推定処理部５３と、文字列組み合わせ処理部５４と、未知語区間修正処理部５５と、認識結果出力処理部５６と、が構築されている。また、記憶部であるメモリ６には、辞書データ記憶部６１と、境界修正データ記憶部６２と、音声合成データ記憶部６３と、が形成されている。これらについて詳述する。
【００３３】
まず、音声受付処理部５１は、マイク２にて入力された音声を取得してディジタルデータに変換し、音声認識処理部５２に渡すよう作用する。
【００３４】
また、音声認識処理部５２（音声認識手段）は、入力された音声を辞書データ記憶部６１（辞書データ記憶手段）に予め記憶されている辞書データに基づいて文字を認識し、単語認識結果文字列と文字認識結果文字列とをそれぞれ生成する。なお、辞書データ記憶部６１に記憶されている辞書データとは、音声データに対応する単語や文字、すなわち、音声データから単語や文字を認識するためデータである。
【００３５】
そして、音声認識処理部５２は、具体的には、図２に示すように、連続単語認識部５２ａと、連続音素認識部５２ｂと、により構成されている。この連続単語認識部５２（単語認識手段）は、入力された音声を上記辞書データに基づいて単語認識し、当該単語を含む単語認識結果文字列を生成する。例えば、図４（１）に示すように、「本町までいくらですか」という入力音声に対して、所定の区間で文字列を区切り、登録されている単語とのマッチングにより音声認識を行う。そして、例えば、図４（２）に示すように「本総和でいくらですか」と認識し、これを単語認識結果文字列とする。また、連続音素認識部５２ｂ（サブワード認識手段）は、上記連続単語認識部５２ａと同じ音声入力を受けて、辞書データに基づいて単語とは異なる文字単位、具体的には、文字の最小単位となる音素（あるいは音節）単位で、音声認識を行う。そして、認識した文字を用いて文字認識結果文字列を生成する。従って、例えば、図４（３）に示すように、「ほんしょうまでいくらですか」と認識し、これを音素認識結果文字列とする。
【００３６】
なお、上記連続単語認識部５２ａと連続音素認識５２ｂとは、それぞれ辞書データに基づく認識の尤度、すなわち、単語の認識精度と、文字の認識精度とをそれぞれ算出する。そして、認識結果である各文字列と共に、この算出した尤度を未知語区間推定処理部５３に通知する。ここで、上記各認識結果の尤度は、予め辞書データに登録されている基準データに基づくものであり、認識した各単語、各音素（音節）ごとに算出される。
【００３７】
そして、未知語区間推定処理部５３（未知語区間推定手段）は、上記認識結果の文字列に基づいて、入力音声中の未知語、すなわち、辞書データに登録されていないような固有名詞などの部分を、未知語区間として推定する。このとき、連続単語認識結果の文字列およびその尤度と、連続音素認識結果の文字列およびその尤度から、連続単語認識結果文字列の未知語区間を推定する。例えば、単語認識の精度、及び、音素認識の精度が共に低い区間である図４（２）に示す「本総和」の部分を未知語区間として推定する。これにより、音声認識時の認識精度にも対応して未知語区間が特定される。すなわち、入力された音声がはじめから認識しにくい発音である場合には、かかる区間が未知語して認識される可能性が高くなり、より未知語区間の推定精度の向上を図ることができる。なお、未知語区間を推定する判断基準は、必ずしも上記単語認識結果と文字認識結果とを考慮する必要は無く、いずれか一方のみに基づいて推定してもよい。また、文字認識結果の精度よりも単語認識結果の精度が低い場合に、かかる区間を未知語区間として認識するなど、あらゆる判断基準を設定してもよい。
【００３８】
そして、未知語区間推定処理部５３は、上記のようにして推定した未知語区間の情報を含めた単語認識結果文字列と音素認識結果文字列とを、文字列組み合わせ処理部５４に通知する。
【００３９】
文字列組み合わせ処理部５４（文字列組み合わせ手段）は、通知された単語認識結果文字列と文字認識結果文字列とを組み合わせる処理を行うが、具体的には、推定された未知語区間の文字列のみを組み合わせる。さらに換言すると、単語認識結果文字列のうち未知語区間の文字を、当該未知語区間に対応する文字認識結果文字列の文字に置換して組み合わせる（図４（２）、（３）の下線部分参照）。例えば、図４の例では、単語認識文字列中の「本総和」部分を「ほんしょうま」に置換する。これにより、文字列組み合わせ処理部５４では、「ほんしょうま  で、  いくら  ですか」という文字列になっており、このうち、「ほんしょうま」部分が未知語区間として推定されている（図４（４）の下線部分参照）。そして、この内容を未知語区間修正処理部５５に通知する。
【００４０】
未知語区間修正処理部５５（未知語区間修正手段）は、上記未知語区間の単語が音素認識結果の文字列に置換された単語認識結果文字列に対して、未知語区間の境界を境界修正データ記憶部６２に記憶された境界修正データに基づいて修正する。ここで、境界修正データは、文字列を区切る基準を表す予め定められたデータであり、例えば、助詞や接続詞の用法が登録されたデータである。そして、未知語区間の範囲は、例えば、未知語区間のみを修正することに限らず、未知語区間の文字と当該未知語区間に隣接する文字とを組み合わせた範囲となる。例えば、図４の例では、未知語区間は「ほんしょうま」であるが、その後ろの文字である「で」を含み、「ほんしょうまで」という文字列が修正範囲となる。そして、この例では、境界修正データとして、「助詞「まで」の前には名詞の出現が多い」というヒューリスティックが登録されており、これに基づいて文字列の解析を行うことで、未知語区間が「ほんしょう」の部分に修正される（図４（５）の下線部分参照）。そして、その修正された未知語区間を示す情報を認識結果出力処理部５６に通知する。
【００４１】
認識結果出力処理部５６（認識結果出力手段）は、修正された未知語区間を未知語として特定して、未知語であると判断したことをスピーカ３やディスプレイ４を介して出力する。具体的に、本実施例における認識結果出力処理部５６は、図２に示すように、修正後の未知語区間に対応する入力された音声を、スピーカ３を介して未知語として出力する音声出力部５６ｃを有する。このため、出力する応答内容を表す文字列を生成する応答生成部５６ａを備えている。この応答生成部５６ａは、本実施例では、図４（６）に示すように、「＜未知語＞は登録されていません」という文字列を音声処理結果として生成する。そして、この応答生成部５６ａは、上記応答文字列の未知語区間に、当該未知語区間に対応する文字認識結果文字列、つまり、音素認識した結果の文字列を代入する。そして、認識結果出力処理部５６には、上記応答文字列を音声合成する音声合成部５６ｂをも備えられており、この音声合成部５６ｂにて、図４（７）に示すように、「ほんしょうは登録されておりません」という音声が、予め音声合成データ記憶部６４に登録されている音声合成に必要な音声合成データ６３に基づいて生成される。そして、生成された音声を、音声出力部５６ｃがスピーカ３を介して出力する。
【００４２】
［動作］
次に、上記構成の音声処理システムの動作について、図３のフローチャート、及び、図４の認識例、さらには、図２の機能ブロック図を参照して説明する。
【００４３】
まず、ユーザがマイク２を介して音声を入力すると、音声受付処理部５１にて音声データが受け付けられ（ステップＳ１）、音声認識処理部５２に入力される。このとき、例えば、入力音声は、図４（１）に示す「本町までいくらですか」という音声であることとする。そして、斜線で示す「本町」部分は、辞書データに登録されていない未知語部分であるとする。
【００４４】
続いて、音声認識処理部５２では、音声を連続単語認識部５２ａと連続音素認識部５２ｂとにそれぞれ入力し、辞書データ６１に基づいて連続単語認識および連続音素認識を行う（ステップＳ２、音声認識工程（単語認識工程、サブワード認識工程））。そして、この例では、連続単語認識した結果である単語認識結果文字列は図４（２）に示す「本総和でいくらですか」となり、連続音素認識した結果である音素認識結果文字列は図４（３）に示す「ほんしょうまでいくらですか」となる。また、連続単語認識部５２ａと連続音素認識部５２は、それぞれ認識の尤度を辞書データに基づいて算出しており、上記各認識結果文字列と尤度を未知語区間推定処理部５３に通知する。
【００４５】
続いて、未知語区間推定処理部５３では、連続単語認識結果の文字列および尤度と連続音素認識結果の文字列および尤度を用いて、連続単語認識結果文字列の未知語区間の推定を行う（ステップＳ３、未知語区間推定工程）。この例では、未知語区間推定の方法として、連続単語認識時の尤度が連続音素認識時の尤度より低かった場合に、その区間を未知語区間と推定する。すると、図４（２），（３）に示す「本総和／ほんしょうま」の部分が、未知語区間として推定される。そして、このように未知語区間が存在した場合には（ステップＳ４にて肯定判断）、文字列組み合わせ処理部５４に通知する。
【００４６】
続いて、文字列組み合わせ処理部５４では、連続単語認識結果文字列（図４（２））の推定された未知語区間の文字列（「本総和」）を、連続音素認識結果文字列の未知語区間の文字列（「ほんしょうま」）で置換する（ステップＳ５、文字列組み合わせ工程）。従って、図４（２）、（３）に示す下線部分が採用されて、図４（４）に示す「ほんしょうまでいくらですか」という文字列が生成され、この文字列において、下線で示す「ほんしょうま」部分が未知語区間として推定されている。そして、この文字列を未知語区間修正処理部５５に通知する。
【００４７】
続いて、未知語区間修正処理部５５では、置換後の文字列（図４（４））を境界修正データ６２に基づいて解析して、未知語区間の境界を修正する（ステップＳ６、未知語区間修正工程）。この場合に、境界修正データ６２として、例えば、「助詞「まで」の前には名詞の出現が多い」というヒューリスティックが登録されており、これに基づいて上記文字列の解析を行う。すると、図４（５）の解析結果文字列の下線で示すように、「ほんしょう」部分が新たな未知語区間とされる。そして、かかる内容を応答生成部５６ａに通知する。
【００４８】
続いて、応答生成部５６ａでは、修正された未知語区間を含む認識結果文字列から、応答文字列を生成する（ステップＳ７）。この場合には、未知語区間の文字列が未知語である、という内容の応答文字列を生成する。例えば、図４（６）に示すように、「＜未知語＞は登録されておりません」という応答文字列が生成され、音声合成部５６ｂに通知される。そして、音声合成部５６ｂでは、応答文字列を音声出力可能なよう音声データに変換する（ステップＳ８）。このとき、応答文字列のうち未知語区間以外（「は登録されていません」部分）は、音声出力可能なよう音声合成データ６４を用いて音声データに変換する。また、未知語区間（「ほんしょう」部分（斜線にて囲った部分））は、該当する音素認識結果文字列を音声データに変換する。そして、このような音声合成を行い、図４（７）に示すような「ほんしょうは登録されておりません」という結果を、音声出力部５６ｃにてスピーカ３を介して外部に出力する（ステップＳ９、認識結果出力工程）。
【００４９】
なお、ステップＳ４にて、未知語区間が存在しなかった場合には（ステップＳ４にて否定判断）、連続単語認識結果文字列からそのまま応答生成部５６ａにて応答文字列を生成し、かかる応答文字列を音声出力部５６ｂで音声合成して、出力する（ステップＳ７，Ｓ８，Ｓ９）。
【００５０】
以上の処理により、入力音声に未知語が含まれる場合でも、未知語区間を合成音声で出力することで、より高精度な音声処理を実現することができる。特に、一度単語として認識した区間を、当該単語よりも小さい文字単位、すなわち、音素や音節レベルで再度境界を修正可能であるため、未知語の推定精度の向上を図ることができる。
【００５１】
ここで、上記では、未知語区間推定処理部５３にて未知語区間を推定する基準として、連続単語認識時の尤度と連続音素認識時の尤度とに基づいて推定する場合を例示したが、これに限定されない。例えば、連続単語認識時の尤度がある一定の閾値より低いかどうかで判断するなど、別の基準を用いてもよい。さらに、未知語区間を修正する際に用いる協会修正データは、上述したヒューリスティックに限らず統計的な知識を用いてもよく、また、別のルールを用いてもよい。さらには、形態素解析を用いてもよい。
【００５２】
［変形例］
次に、上記音声処理システムの変形例を、図５乃至図６を参照して説明する。この変形例では、認識結果の出力時に、未知語区間の未知語として、当該区間に該当する入力された音声を切り出して、そのまま出力する点に特徴を有する。このため、以下のような構成となっている。
【００５３】
まず、音声受付処理部５１は、マイク２にて入力された音声を取得してディジタルデータに変換し、音声認識処理部５２に渡すと共に、メモリ６に形成された音声蓄積部６４に格納する。そして、この音声蓄積部６４に格納された音声データは、後に認識結果出力処理部５６にて処理結果の出力時に利用され際に取り出される。
【００５４】
また、認識結果出力処理部５６の応答生成部５６ａでは、図４（６）に示しめす「＜未知語＞は登録されていません」という文字列を生成し、音声合成部５６ｂに出力する。そして、音声合成部５６ｂでは、上記応答文字列の未知語区間に、当該未知語区間に対応する入力された音声を合成する。これにより、図４（７）に示すように、「ほんしょうは登録されておりません」という音声が合成されるが、このとき、「は登録されておりません」の部分は、予め音声合成データ記憶部６３に登録されている音声合成に必要な音声合成データに基づいて生成され、「ほんしょう」の部分（図４（７）の斜線にて囲った部分）は、はじめに入力された音声そのものが、音声蓄積部６４から読み出されて代入される。
【実施例２】
【００５５】
次に、本発明の第２の実施例について、図７乃至図９を参照して説明する。図７は、音声処理システムの構成を示す機能ブロック図である。図８は、音声処理システムの動作を示すフローチャートである。図９は、音声処理の一例を示す説明図である。
【００５６】
［構成］
本実施例における音声処理システムは、上記実施例１に示したものとほぼ同様の構成を採っているものの、認識結果出力処理部５６が応答文字列を、入力された音声の言語とは異なる言語の文字列に翻訳する翻訳部５６ｄ（翻訳手段）を備えている点で異なる。この翻訳部５６ｄは、具体的には、上述した応答生成部５６ａにて生成された応答文字列のうち、未知語であると特定された部分を名詞であると認識して、その他の部分を翻訳して翻訳文を生成する。そして、実施例１と同様に、未知語部分には、音素認識結果の文字列を代入して、音声合成部５６ｂで音声合成し、音声出力部５６ｃにて出力する。あるいは、未知語部分だけは入力された音声そのものを代入して、音声合成出力する。
【００５７】
［動作］
次に、上記構成の音声処理システムの動作を、図８のフローチャートを参照して説明する。このとき、図９に示す音声、つまり、（１）に示す「メキシコの大統領はフォックス氏です」という日本語の音声入力を行った場合を説明する。そして、「メキシコ」と「フォックス」が、システムにとっての未知語であるとする（図９（１）の斜線で囲った部分参照）。また、入力言語は日本語に対して、出力言語は英語とする。
【００５８】
まず、ユーザがマイク２を介して音声を入力すると、音声受付処理部５１にて音声データが受け付けられ（ステップＳ１１）、音声認識処理部５２に入力される。続いて、音声認識処理部５２では、音声を連続単語認識部５２ａと連続音素認識部５２ｂとにそれぞれ入力し、辞書データ６１に基づいて連続単語認識および連続音素認識を行う（ステップＳ１２）。そして、上記入力音声に対する各認識結果としては、例えば、単語認識結果文字列は図９（２）に示す「岸殿大統領はボックス氏です」となり、音素認識結果文字列は図９（３）に示す「めくしこのだいとうりょうわふぉーくすしです」となる。また、連続単語認識部５２ａと連続音素認識部５２は、それぞれ認識の尤度を辞書データに基づいて算出しており、上記各認識結果文字列と尤度を未知語区間推定処理部５３に通知する。
【００５９】
続いて、未知語区間推定処理部５３では、連続単語認識結果の文字列および尤度と連続音素認識結果の文字列および尤度を用いて、連続単語認識結果文字列の未知語区間の推定を行う（ステップＳ１３）。この場合、図９（２），（３）に示す「岸殿／めくしこの」と「ボックス／ふぉーくす」との２区間が、未知語区間として推定される。そして、このように未知語区間が存在する場合には（ステップＳ１４にて肯定判断）、文字列組み合わせ処理部５４に通知する。
【００６０】
続いて、文字列組み合わせ処理部５４では、連続単語認識結果文字列（図９（２））の推定された未知語区間の文字列（「岸殿」、「ボックス」）を、連続音素認識結果文字列の未知語区間の文字列（「めくしこの」、「ふぉーくす」）で置換する（ステップＳ１５）。従って、図９（２）、（３）に示す下線部分が採用されて、図９（４）に示す「めくしこの大統領はふぉーくす氏です」という文字列が生成され、この文字列において、下線で示す「めくしこの」部分と「ふぉーくす」部分とが未知語区間として推定されている。そして、この文字列を未知語区間修正処理部５５に通知する。
【００６１】
続いて、未知語区間修正処理部５５では、置換後の文字列（図９（４））を境界修正データ６２に基づいて解析して、未知語区間の境界を修正する（ステップＳ１６）。この場合に、境界修正データ６２として、例えば、「助詞「の」の前には名詞の出現が多い」というヒューリスティックが登録されており、これに基づいて上記文字列の解析を行う。すると、図９（５）の解析結果文字列の下線で示すように、「めくしこ」部分と「ふぉーくす」部分とが修正された未知語区間とされる。そして、かかる内容を応答生成部５６ａに通知する。
【００６２】
続いて、応答生成部５６ａでは、修正された未知語区間を含む認識結果文字列から、応答文字列を生成する（ステップＳ１７）。なお、本実施例の場合は、翻訳文による応答となるので、図９（５）に示す文字列を翻訳部５６ｄに通知し、翻訳部５６ｄで、２つの未知語区間を名詞として空けておき、その他の部分の翻訳処理を実行する（ステップＳ１８）。これにより、図９（６）に示すような翻訳結果文字列「The president of <未知語１> is Mr. <未知語２>」を得る。なお、図９（６）においては、＜未知語１＞、＜未知語２＞部分を、それぞれ＜００Ｖ１＞、＜００Ｖ２＞として示している。
【００６３】
そして、上記翻訳された文字列が音声合成部５６ｂに通知され、この音声合成部５６ｂで、翻訳文字列が音声データに変換される（ステップＳ１９）。このとき、翻訳文字列のうち未知語区間以外は、音声出力可能なよう音声合成データ６３を用いて英語による音声データに変換される。また、未知語区間（図９（７）にて斜線で囲った部分）は、該当する音素認識結果文字列が日本語による音声データに変換される。これにより、図９（７）に示す「ザ  プレジデント  オブ  メクシコ  イズ  ミスター  フォークス」という結果が、音声出力部５６ｃにてスピーカ３を介して出力される（ステップＳ２０）。ここで、音声合成処理（ステップＳ１９）においては、上記実施例１の変形例にて説明したように、未知語区間に対応する入力された音声を代入して出力してもよい。
【００６４】
以上の処理により、入力音声に未知語が含まれる場合でも音声翻訳が可能となり、また未知語区間を修正することで、例えば「めくしこの」がすべて未知語区間として翻訳されてしまい、結果として翻訳精度が落ちることを避けることができる。なお、上記では、日本語から英語への音声翻訳を対象としているが、他の言語であってもよい。
【産業上の利用可能性】
【００６５】
本発明は、コンピュータや他の機器に対する音声入力インタフェースとして利用可能であり、産業上の利用可能性を有する。
【図面の簡単な説明】
【００６６】
【図１】音声処理システムの構成を示す機能ブロック図である。
【図２】実施例１における音声処理システムの構成を示す機能ブロック図である。
【図３】実施例１における音声処理システムの動作を示すフローチャートである。
【図４】実施例１における音声処理の一例を示す説明図である。
【図５】音声処理システムの構成の変形例を示す機能ブロック図である。
【図６】実施例１における音声処理システムの構成の変形例を示す機能ブロック図である。
【図７】実施例２における音声処理システムの構成を示す機能ブロック図である。
【図８】実施例２における音声処理システムの動作を示すフローチャートである。
【図９】実施例２における音声処理の一例を示す説明図である。
【図１０】従来例における音声処理システムの構成を示すブロック図である。
【図１１】従来例における音声処理システムの構成を示す機能ブロック図である。
【符号の説明】
【００６７】
１  コンピュータ（音声処理システム）
５１  音声受付処理部
５２  音声認識処理部（音声認識手段）
５３  未知語区間推定処理部（未知語区間推定手段）
５４  文字列組み合わせ処理部（文字列組み合わせ手段）
５５  未知語区間修正処理部（未知語区間修正手段）
５６  認識結果出力処理部（認識結果出力手段）
６１  辞書データ記憶部（辞書データ記憶手段）
６２  境界修正データ記憶部（境界修正データ記憶手段）
６３  音声合成データ記憶部
６４  音声蓄積部
５２ａ  連続単語認識部（単語認識手段）
５２ｂ  連続音素認識部（サブワード認識手段）
５６ａ  応答生成部（応答文字列生成手段）
５６ｂ  音声合成部（音声合成手段）
５６ｃ  音声出力部
５６ｄ  翻訳部（翻訳手段）
【図１】
2006133478.tif 000003
【図２】
2006133478.tif 000004
【図３】
2006133478.tif 000005
【図４】
2006133478.tif 000006
【図５】
2006133478.tif 000007
【図６】
2006133478.tif 000008
【図７】
2006133478.tif 000009
【図８】
2006133478.tif 000010
【図９】
2006133478.tif 000011
【図１０】
2006133478.tif 000012
【図１１】
2006133478.tif 000013