(57)【要約】【課題】音声認識の精度向上させる音声認識装置を提供する。【解決手段】音声を入力する入力部１０１と、音響モデルと言語モデルとに基づいて音声を形態素列として認識する連続単語認識部１０２と、入力された音声に関連する文例を正解文記憶部１２３から取得する文取得部１０３と、認識された形態素列に含まれる第１形態素と、取得された文例に含まれる第２形態素との一致度に基づいて、第１形態素を第２形態素に対応づける文対応づけ部１０４と、対応づけられた第２形態素と一致しない第１形態素を不一致箇所として検出する不一致検出部１０５と、不一致箇所が満たす条件を原因情報記憶部１２４から検索し、検索された条件に対応する出力情報を原因情報記憶部１２４から取得する原因情報取得部１０６と、出力情報を出力する出力部１０７と、を備えた。【選択図】        図１
2009128675.tif 000002
【特許請求の範囲】
【請求項１】
文例を記憶する文例記憶部と、
入力される音声と前記文例との間の不一致箇所および不一致の内容について予め定められた条件と、不一致の原因に関する出力情報と、を対応づけて記憶する情報記憶部と、
音声を入力する入力部と、
音素の音響的な特徴を定めた音響モデルと、形態素間の接続関係を定めた言語モデルとに基づいて、入力された音声を形態素列として認識する第１認識部と、
入力された音声に関連する前記文例を前記文例記憶部から取得する文取得部と、
認識された形態素列に含まれる第１形態素と、取得された前記文例に含まれる第２形態素とが一致する度合いに基づいて、前記第１形態素を少なくとも１つの前記第２形態素に対応づける文対応づけ部と、
前記第１形態素のうち、対応づけられた前記第２形態素と一致しない前記第１形態素を前記不一致箇所として検出する不一致検出部と、
検出された不一致箇所の前記条件に対応する前記出力情報を前記情報記憶部から取得する情報取得部と、
取得された前記出力情報を出力する出力部と、
を備えたことを特徴とする音声認識装置。
【請求項２】
前記音響モデルと、単音節に対応する語句を定めた辞書情報とに基づいて、入力された音声を単音節列として認識する第２認識部と、
認識された単音節列に含まれる単音節それぞれを、前記第１形態素に含まれる音節のうち、入力された音声内での発声区間が一致する音節に対応づける音節対応づけ部と、をさらに備え、
前記不一致検出部は、さらに、前記第１形態素のうち、前記第１形態素に含まれる音節が、対応づけられた前記単音節と一致しない前記第１形態素を、前記不一致箇所として検出すること、
を特徴とする請求項１に記載の音声認識装置。
【請求項３】
前記文取得部は、入力された音声に関連する前記文例として指定された前記文例を前記文例記憶部から取得すること、
を特徴とする請求項１に記載の音声認識装置。
【請求項４】
前記文取得部は、入力された音声と類似する前記文例または入力された音声と一致する文例を前記文例記憶部から取得すること、
を特徴とする請求項１に記載の音声認識装置。
【請求項５】
前記不一致検出部は、前記第１形態素内の文字と、対応づけられた前記第２形態素内の文字との間で一致しない文字の個数を算出し、前記第１形態素内の文字の総数に対する前記個数の割合を算出し、前記割合が予め定められた閾値より小さい場合に前記不一致箇所を検出すること、
を特徴とする請求項４に記載の音声認識装置。
【請求項６】
入力された音声の音響的な特徴を表す音響情報を検出し、入力された音声の発声区間のうち前記音響情報を検出した発声区間を表す区間情報と、検出した前記音響情報とを対応づけて出力する音響情報検出部と、
検出された前記音響情報のそれぞれを、前記第１形態素に含まれる音節のうち、入力された音声内での発声区間が、前記音響情報に対応する前記区間情報が表す発声区間と一致する音節に対応づける音響対応づけ部と、をさらに備え、
前記情報記憶部は、不一致箇所の前記音響情報に関する前記条件と、前記出力情報と、を対応づけて記憶し、
前記情報取得部は、検出された不一致箇所に対応づけられた前記音響情報の前記条件に対応する前記出力情報を前記情報記憶部から取得すること、
を特徴とする請求項１に記載の音声認識装置。
【請求項７】
前記音響情報は、音量、ピッチ、無音区間の長さ、および抑揚の少なくとも１つであること、
を特徴とする請求項６に記載の音声認識装置。
【請求項８】
前記情報記憶部は、入力された音声内での前記不一致箇所の発声位置に関する位置条件と、前記不一致箇所に対応づけられた前記第２形態素と前記不一致箇所との間で一致しない語句に関する語句条件と、前記出力情報と、を対応づけて記憶し、
前記情報取得部は、検出された不一致箇所の入力された音声内での発声位置と、検出された不一致箇所と検出された不一致箇所に対応づけられた前記第２形態素との間で一致しない語句とを抽出し、抽出した発声位置が満たす前記位置条件と、抽出した語句が満たす前記語句条件とに対応する前記出力情報を前記情報記憶部から取得すること、
を特徴とする請求項１に記載の音声認識装置。
【請求項９】
入力部が、音声を入力する入力ステップと、
第１認識部が、音素の音響的な特徴を定めた音響モデルと、形態素間の接続関係を定めた言語モデルとに基づいて、入力された音声を形態素列として認識する第１認識ステップと、
文取得部が、文例を記憶する文例記憶部から、入力された音声に関連する前記文例を取得する文取得ステップと、
文対応づけ部が、認識された形態素列に含まれる第１形態素と、取得された前記文例に含まれる第２形態素とが一致する度合いに基づいて、前記第１形態素を少なくとも１つの前記第２形態素に対応づける文対応づけステップと、
不一致検出部が、前記第１形態素のうち、対応づけられた前記第２形態素と一致しない前記第１形態素を不一致箇所として検出する不一致検出ステップと、
情報取得部が、前記不一致箇所および不一致の内容について予め定められた条件と、不一致の原因に関する出力情報と、を対応づけて記憶する情報記憶部から、検出された不一致箇所の前記条件に対応する前記出力情報を取得する情報取得ステップと、
出力部が、取得された前記出力情報を出力する出力ステップと、
を備えたことを特徴とする音声認識方法。
【請求項１０】
コンピュータを、
音声を入力する入力部と、
音素の音響的な特徴を定めた音響モデルと、形態素間の接続関係を定めた言語モデルとに基づいて、入力された音声を形態素列として認識する第１認識部と、
文例を記憶する文例記憶部から、入力された音声に関連する前記文例を取得する文取得部と、
認識された形態素列に含まれる第１形態素と、取得された前記文例に含まれる第２形態素とが一致する度合いに基づいて、前記第１形態素を少なくとも１つの前記第２形態素に対応づける文対応づけ部と、
前記第１形態素のうち、対応づけられた前記第２形態素と一致しない前記第１形態素を不一致箇所として検出する不一致検出部と、
前記不一致箇所および不一致の内容について予め定められた条件と、不一致の原因に関する出力情報と、を対応づけて記憶する情報記憶部から、検出された不一致箇所の前記条件に対応する前記出力情報を取得する情報取得部と、
取得された前記出力情報を出力する出力部と、
として機能させるための音声認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音声を認識し、誤認識が生じたときにユーザの発声の仕方や入力文に関する問題点を判定して出力する装置、方法およびプログラムに関する。
【背景技術】
【０００２】
近年、音声で文章を入力することができる音声認識システムが実用化され、様々な分野で実用システムとして利用され始めている。しかし、ユーザから支持され、爆発的に売れているシステムは未だ存在しない。その要因の１つとして、音声認識システムで誤認識が生じることが挙げられる。技術の進歩により認識性能は年々向上している。しかし、あらゆるユーザのあらゆる話し方に対して正しく認識できるほど高性能な音声認識システムは実現されていない。
【０００３】
このため、音声認識システムの性能を改善するための様々な手法が開発されている。例えば、特許文献１では、音声認識で処理する認識語彙を、入力される文章の分野ごとに切り換え、入力された文章に応じた適切な語彙および適切な同音語が優先されるようにすることにより、認識性能を向上させる技術が提案されている。
【０００４】
一方、現状の音声認識システムでは、使用方法を改善することにより誤認識を回避できる場合がある。例えば、一般に、音声認識システムに入力する音声を発声するときには、「ゆっくり丁寧に淡々と一定のリズムで流れるように話す」ことが望ましい。また、入力する文は、「文法的に正しく、一般的に使われる単語や言い回しを多用する」ことが望ましい。そして、このような使用方法を会得している人とそうでない人では認識率は大幅に異なる。
【０００５】
なお、ユーザごとに声の特徴が異なるため、どのような話し方の時にどのように誤認識されるかはユーザに依って大きく異なる。また、音声認識システムが使用するデータベース内のデータの傾向により、誤認識の傾向も大きく変化する。そのため、あらゆるユーザに適用可能で、完全に誤認識を回避できる使用方法は存在しない。
【０００６】
さらに、音声認識では、アナログ信号であるユーザの発声した音声が入力される。このため、同一のユーザであっても時間、場所、および状況等が異なれば入力する音声が変化し、これに伴い誤認識の傾向が変化する。結局、このような音声認識システムを使いこなすには、ユーザ自身が装置の傾向や癖を体得するしかない。例えば、ユーザは、どのように話せば正しく認識されるか、マイクと口との間の最適な距離はどのくらいか、どのような語句や言い回しを使用すると所望の結果を得やすいか、といった情報を、試行錯誤により得る必要がある。
【０００７】
【特許文献１】特開２００３−２８０６８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１などの従来の方法は、主に音声認識システム内部での処理の改善により高精度の音声認識を実現することに注力している。このため、システム内部の処理が改善されたとしても、システム外部の処理、すなわち、ユーザの使用方法が不適切なために認識精度が低下する可能性があった。
【０００９】
本発明は、上記に鑑みてなされたものであって、ユーザが使用方法を改善しうる情報を出力することにより、音声認識の精度向上を図ることができる装置、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するために、本発明は、文例を記憶する文例記憶部と、入力される音声と前記文例との間の不一致箇所および不一致の内容について予め定められた条件と、不一致の原因に関する出力情報と、を対応づけて記憶する情報記憶部と、音声を入力する入力部と、音素の音響的な特徴を定めた音響モデルと、形態素間の接続関係を定めた言語モデルとに基づいて、入力された音声を形態素列として認識する第１認識部と、入力された音声に関連する前記文例を前記文例記憶部から取得する文取得部と、認識された形態素列に含まれる第１形態素と、取得された前記文例に含まれる第２形態素とが一致する度合いに基づいて、前記第１形態素を少なくとも１つの前記第２形態素に対応づける文対応づけ部と、前記第１形態素のうち、対応づけられた前記第２形態素と一致しない前記第１形態素を前記不一致箇所として検出する不一致検出部と、検出された不一致箇所の前記条件に対応する前記出力情報を前記情報記憶部から取得する情報取得部と、取得された前記出力情報を出力する出力部と、を備えたことを特徴とする。
【００１１】
また、本発明は、上記装置を実行することができる方法およびプログラムである。
【発明の効果】
【００１２】
本発明によれば、ユーザが使用方法を改善しうる情報を出力することにより、音声認識の精度向上を図ることができるという効果を奏する。
【発明を実施するための最良の形態】
【００１３】
以下に添付図面を参照して、この発明にかかる装置、方法およびプログラムの最良な実施の形態を詳細に説明する。
【００１４】
（第１の実施の形態）
第１の実施の形態にかかる音声認識装置は、事前に登録された文例である正解文と、正解文を発声することにより入力した入力音声の認識結果とを比較して不一致箇所を検出し、発声ミス、ユーザの癖、および入力文の不自然な箇所などの不一致の原因を判定し、正しい発声や入力文の選択方法をユーザへのアドバイスとして出力する。
【００１５】
図１は、第１の実施の形態にかかる音声認識装置１００の構成を示すブロック図である。図１に示すように、音声認識装置１００は、主なハードウェア構成として、マイク１３１と、ディスプレイ１３２と、音響モデル記憶部１２１と、言語モデル記憶部１２２と、正解文記憶部１２３と、原因情報記憶部１２４と、を備えている。また、音声認識装置１００は、主なソフトウェア構成として、入力部１０１と、連続単語認識部１０２と、文取得部１０３と、文対応づけ部１０４と、不一致検出部１０５と、原因情報取得部１０６と、出力部１０７とを備えている。
【００１６】
マイク１３１は、ユーザの発話した音声を入力する。ディスプレイ１３２は、音声認識処理に必要な各種画面やメッセージなどを表示する。
【００１７】
音響モデル記憶部１２１は、音素の音響的な特徴を定めた音響モデルを記憶する。具体的には、音響モデル記憶部１２１は、各音素の特徴量の標準パターンを記憶する。
【００１８】
言語モデル記憶部１２２は、形態素間の接続関係を予め定めた言語モデルを記憶する。例えば、言語モデル記憶部１２２は、ＨＭＭ（Hidden Markov Model）で表された言語モデルを記憶する。
【００１９】
正解文記憶部１２３は、入力する音声の文例として予め定められた正解文を記憶する。第１の実施の形態では、例えばディスプレイ１３２に表示された正解文からユーザが正解文を指定し、指定した正解文を発声することによりユーザが音声を入力する。
【００２０】
図２は、正解文記憶部１２３に記憶される正解文のデータ構造の一例を示す図である。図２に示すように、正解文記憶部１２３は、記号「｜」により形態素ごとに区切った正解文を記憶する。また、正解文記憶部１２３は、形態素ごとに、形態素の読みと品詞との組である形態素情報を対応づけて記憶している。同図では、「（形態素の読み），（品詞）」の形式により、各形態素に対応する順で形態素情報を記憶する例が示されている。
【００２１】
図１に戻り、原因情報記憶部１２４は、入力音声と指定された正解文との不一致箇所のパターンごとに予め定められた条件と、不一致の原因およびユーザに出力するアドバイスとを対応づけた原因情報を記憶する。
【００２２】
図３は、原因情報記憶部１２４に記憶される原因情報のデータ構造の一例を示す図である。図３に示すように、原因情報記憶部１２４は、原因情報を識別する番号と、発声位置と、不一致音節・形態素と、誤認識原因と、アドバイスとを対応づけた原因情報を記憶している。
【００２３】
発声位置は、入力音声全体に対する不一致箇所の位置に関する条件（位置条件）を表す。同図では、発声の先頭の位置を表す「発声頭」と、発声の途中の位置を表す「発声途中」と、発声の末尾の位置を表す「発声末尾」とが設定された例が示されている。なお、発声位置の設定方法はこれに限られず、入力音声全体に対する不一致箇所を特定可能な方法であればあらゆる方法を適用できる。
【００２４】
不一致音節・形態素は、入力音声の認識結果である形態素列と、対応する正解文の形態素列との間で一致しない語句（音節または形態素）に関する条件（語句条件）を表す。例えば、認識結果の形態素に子音または母音が付加されているために不一致となっている場合は、番号＝１００３の「子音、母音の付加」の条件に該当する。
【００２５】
原因情報記憶部１２４は、音声認識結果と正解文との間で生じると想定される不一致の状況ごとの誤認識原因を予めデータベース化した情報を記憶する。例えば、発声の先頭部分で音声認識結果が欠落している時には、先頭部分のユーザの音声が音声認識システムに入力されていないことが原因として想定される。このため、同図の番号＝１００１のように、「音が切れている」ことが誤認識原因として設定される。また、例えば、「ふ」や「ふふ」などの余分な単語が発声の先頭部分に付加されている時は、ユーザの息がマイク１３１にかかって不要な単語が入力されたことが原因として想定される。このため、同図の番号＝１００２のように、「息が原因の余分な音が付加された」ことが誤認識原因として設定される。
【００２６】
原因情報記憶部１２４は、原因情報取得部１０６が、不一致検出部１０５によって検出された不一致箇所が満たす条件を検索し、不一致箇所に対応する原因情報を取得する際に参照される。
【００２７】
なお、音響モデル記憶部１２１、言語モデル記憶部１２２、正解文記憶部１２３、および原因情報記憶部１２４は、ＨＤＤ（Hard Disk Drive）、光ディスク、メモリカード、ＲＡＭ（Random Access Memory）などの一般的に利用されているあらゆる記憶媒体により構成することができる。
【００２８】
図１に戻り、入力部１０１は、マイク１３１から入力された入力音声のアナログ信号に対してサンプリングを行い、ＰＣＭ（パルスデジタルコードモジュレーション）形式などのデジタル信号に変換して出力する。入力部１０１の処理では、従来から用いられているＡ／Ｄ変換技術などを適用することができる。なお、入力部１０１は、例えば、図示しない音声入力ボタンが押下された場合などの所定の操作に応じて、マイク１３１から音声を入力するように構成することができる。また、予めユーザの声のアナログ信号を別途デジタル化しておき、システム使用時には入力部１０１へ直接当該デジタルデータを入力する方法で音声を入力しても構わない。この場合にはマイクやＡ／Ｄ変換器は不要である。
【００２９】
連続単語認識部１０２は、音響モデルと言語モデルとを用いて入力音声を認識し、認識結果として形態素列を生成する。
【００３０】
具体的には、連続単語認識部１０２は、まず、例えばＦＦＴ（高速フーリエ変換）分析などの手法を適用して周波数の時間変化などを分析することによって、発声された音声信号の特徴量を算出する。続いて、連続単語認識部１０２は、音響モデル記憶部１２１に記憶された音響モデルと、上述の処理で算出した特徴量とを比較照合し、入力音声の認識候補を生成する。
【００３１】
さらに、連続単語認識部１０２は、生成された認識候補に対して言語モデルを利用して最も確からしい候補を推定選択することによって、高精度で音声を認識する。連続単語認識部１０２による音響モデルおよび言語モデルを用いた音声認識は、従来から用いられている音声ディクテーション技術などを利用することで実現することができる。
【００３２】
図４は、連続単語認識部１０２によって生成された形態素列のデータ構造の一例を示す図である。図４に示すように、連続単語認識部１０２は、認識された形態素を記号［／］で区切った形態素列を生成する。また、各形態素には、入力音声の先頭を基準とした発声開始時間から終了時間までの範囲を表す音声区間と、形態素の読みと、品詞との組である形態素情報が対応づけられる。同図では、「（音声区間），（形態素の読み），（品詞）」の形式により、各形態素に対応する順で形態素情報を生成する例が示されている。
【００３３】
文取得部１０３は、入力音声の入力元の文例としてユーザに指定された正解文を、正解文記憶部１２３から取得する。文取得部１０３は、正解文に対応づけられた形態素情報も正解文記憶部１２３から取得する。なお、ユーザが正解文を指定する方法としては、表示された正解文のリストから、ボタン等（図示せず）により選択する方法などの従来から用いられているあらゆる方法を適用できる。
【００３４】
文対応づけ部１０４は、認識結果の形態素列に対して、取得された正解文の形態素列を対応づける。具体的には、文対応づけ部１０４は、認識結果の形態素列内の形態素それぞれと、正解文の形態素列内の各形態素とが一致する程度を表す一致度を算出し、文全体での一致度が最大となるように形態素を対応づける。文対応づけ部１０４による処理は、例えばＤＰ（ダイナミックプログラミング）マッチング手法などを適用することにより実現できる。
【００３５】
不一致検出部１０５は、認識結果の形態素のそれぞれを、対応づけられた正解文の形態素と比較し、一致しない少なくとも１つの形態素を含む不一致箇所を検出するとともに、不一致箇所の時間情報を出力する。時間情報とは、不一致箇所の入力音声内での音声区間を表す情報である。具体的には、時間情報は、不一致箇所に含まれる先頭の形態素の開始時間と、不一致箇所に含まれる末尾の形態素の終了時間とを含む。
【００３６】
原因情報取得部１０６は、検出された不一致箇所を解析し、不一致となった原因に関する原因情報を、原因情報記憶部１２４から取得する。具体的には、原因情報取得部１０６は、不一致箇所の入力音声内での発声位置を求めるとともに、対応する正解文の形態素との間で一致しない音節または形態素を取得する。そして、原因情報取得部１０６は、求めた発声位置が位置条件（原因情報記憶部１２４の発声位置）を満たし、かつ、取得した音節または形態素が語句条件（原因情報記憶部１２４の不一致音節・形態素）を満たす原因情報を、原因情報記憶部１２４から検索する。さらに、原因情報取得部１０６は、取得した原因情報内の誤認識原因を、不一致の原因として取得し、原因情報内のアドバイスを、ユーザに出力する出力情報として取得する。
【００３７】
なお、原因情報取得部１０６は、適合する条件が原因情報記憶部１２４から検索できなかった場合は、汎用的なアドバイスを出力情報として取得する。例えば、原因情報取得部１０６は、予め定められた「正しく認識できませんでした。もう少しゆっくり丁寧に発声して下さい。」のようなアドバイスをこの場合の出力情報として取得する。
【００３８】
出力部１０７は、ディスプレイ１３２などに対する各種情報の出力処理を制御する。例えば、出力部１０７は、生成された認識結果や取得された出力情報をディスプレイ１３２に出力する。また、テキスト情報を音声信号に合成する音声合成部（図示せず）を備え、出力部１０７が、音声合成部によって合成された出力情報の音声をスピーカ（図示せず）等に出力するように構成してもよい。
【００３９】
次に、このように構成された第１の実施の形態にかかる音声認識装置１００による音声認識処理について図５を用いて説明する。図５は、第１の実施の形態における音声認識処理の全体の流れを示すフローチャートである。
【００４０】
まず、入力部１０１が、ユーザの発声した入力音声を受付ける（ステップＳ５０１）。ユーザは、例えば、正解文記憶部１２３内の正解文の中から発声する正解文を事前に指定し、指定した正解文を読み上げることによって入力音声を入力する。なお、音声認識装置１００が任意に指定した正解文を読み上げるように構成してもよい。
【００４１】
次に、連続単語認識部１０２が、音響モデルおよび言語モデルを用いて入力音声を音声認識し、認識結果の形態素列を生成する（ステップＳ５０２）。
【００４２】
次に、文取得部１０３は、入力音声に対応する正解文としてユーザが指定した正解文と、当該正解文の形態素列とを正解文記憶部１２３から取得する（ステップＳ５０３）。
【００４３】
次に、文対応づけ部１０４は、ＤＰマッチングなどを適用し、認識結果の形態素列内の形態素と、正解文の形態素列内の形態素とを対応づけ、対応づけ結果Ｍ［ｋ］（ｋは１〜Ｎ、Ｎは対応づけた形態素の組み合わせの総数）を生成する（ステップＳ５０４）。対応づけ結果Ｍ［ｋ］は、認識結果側の形態素列Ｍ「ｋ」．Ｒと、正解文側の形態素列Ｍ［ｋ］．Ｅとを含む。
【００４４】
次に、不一致検出部１０５は、対応づけ結果Ｍ［ｋ］を用いて、対応する形態素列間で一致しない不一致箇所を検出する不一致検出処理を実行する（ステップＳ５０５）。不一致検出処理の詳細は後述する。
【００４５】
次に、原因情報取得部１０６は、検出された不一致箇所が満たす条件に対応する原因情報を原因情報記憶部１２４から取得する（ステップＳ５０６）。そして、出力部１０７は、取得された原因情報に含まれるアドバイスをディスプレイ１３２に出力し（ステップＳ５０７）、音声認識処理を終了する。
【００４６】
このような処理により、入力音声と正解文との不一致箇所に対する不一致の原因（誤認識の原因）を判定し、ユーザに対して誤認識を回避するためのアドバイスを提示することができる。すなわち、ユーザが使用方法を改善しうる情報を出力することにより、その後の音声認識の精度向上を図ることが可能となる。
【００４７】
次に、ステップＳ５０５の不一致検出処理の詳細について図６を用いて説明する。図６は、第１の実施の形態における不一致検出処理の全体の流れを示すフローチャートである。
【００４８】
まず、不一致検出部１０５は、文対応づけ部１０４によって生成された対応づけ結果のうち、未処理の対応づけ結果Ｍ［ｉ］（１≦ｉ≦Ｎ）を取得する（ステップＳ６０１）。次に、不一致検出部１０５は、Ｍ［ｉ］に含まれる認識結果側の形態素列Ｍ［ｉ］．Ｒと、正解文側の形態素列Ｍ［ｉ］．Ｅとを比較する（ステップＳ６０２）。
【００４９】
次に、不一致検出部１０５は、Ｍ［ｉ］．Ｒ＝Ｍ［ｉ］．Ｅであるか否か、すなわち、両者が一致するか否かを判断し（ステップＳ６０３）、一致する場合は（ステップＳ６０３：ＹＥＳ）、次の未処理の対応づけ結果を取得して処理を繰り返す（ステップＳ６０１）。
【００５０】
一致しない場合は（ステップＳ６０３：ＮＯ）、不一致検出部１０５は、対応づけ結果の認識結果側の形態素列Ｍ［ｋ］．Ｒを、不一致箇所として検出する（ステップＳ６０４）。また、不一致検出部１０５は、認識結果側の形態素列Ｍ［ｋ］．Ｒ内の先頭の形態素の開始時間および末尾の形態素の終了時間を、それぞれ不一致箇所の開始時間および終了時間に設定する（ステップＳ６０５）。
【００５１】
次に、不一致検出部１０５は、すべての対応づけ結果を処理したか否かを判断し（ステップＳ６０６）、処理していない場合は（ステップＳ６０６：ＮＯ）、次の未処理の対応づけ結果を取得して処理を繰り返す（ステップＳ６０１）。すべての対応づけ結果を処理した場合は（ステップＳ６０６：ＹＥＳ）、不一致検出部１０５は不一致検出処理を終了する。
【００５２】
次に、第１の実施の形態の音声認識処理の具体例について説明する。以下では、「タクシーにパスポートを忘れちゃったのです」を意味する図２の日本語の正解文が指定され、対応する入力音声が入力された場合を例として説明する。
【００５３】
連続単語認識部１０２は、この入力音声を認識し、認識結果の形態素列を生成する（ステップＳ５０２）。ここでは、図４に示すような形態素列を生成したものとする。
【００５４】
文取得部１０３は、図２のような正解文と、この正解文に対応する形態素列とを正解文記憶部１２３から取得する（ステップＳ５０３）。
【００５５】
図４の認識結果と、図２の正解文とが得られた場合、文対応づけ部１０４は、双方の形態素列の一致度を判定することにより各形態素をそれぞれ対応づける（ステップＳ５０４）。図７は、文対応づけ部１０４が対応づけた形態素の一例を示す図である。同図で、記号「｜」は、対応づけられた形態素の始端および終端を示している。なお、同図は、図４の認識結果の形態素列を上部に、図２の正解文を下部に記載している。
【００５６】
不一致検出部１０５は、図７のように対応づけられた形態素どうしを比較し、不一致箇所を検出する（ステップＳ５０５）。図７の例では、不一致検出部１０５は、発声頭の不一致箇所７０１および発声途中の不一致箇所７０２を検出する。
【００５７】
次に、原因情報取得部１０６は、不一致箇所の入力音声中での発声位置と、不一致の内容を解析する。例えば、原因情報取得部１０６は、不一致箇所７０１の発声位置は、発声頭であると判定する。また、原因情報取得部１０６は、不一致箇所７０１について、認識結果の形態素列（「９Ｃ」）の読みは「kushi」であり、正解文の形態素（「タクシー」）の読みである「takushi」の後半部の読み「kushi」と部分的に一致すると判定する。
【００５８】
また、例えば、原因情報取得部１０６は、不一致箇所７０２の発声位置は、発声途中であると判定する。また、原因情報取得部１０６は、不一致箇所７０２について、認識結果の形態素列（「んです」）の読みは「ndesu」であり、正解文の形態素（「のです」）の読みである「nodesu」と比較して「no」の部分が「n」に変化していると判定する。
【００５９】
そして、原因情報取得部１０６は、判定した発声位置および不一致の内容が満たす条件を原因情報記憶部１２４から検索する（ステップＳ５０６）。原因情報記憶部１２４に、図３に示すような原因情報が記憶されているとすると、原因情報取得部１０６は、不一致箇所７０１に対しては、番号＝１００１の原因情報を取得する。不一致箇所７０１は、発声位置が「発声頭」であり、後半部の読みが部分一致しているためである。
【００６０】
また、原因情報取得部１０６は、不一致箇所７０２に対しては、番号＝１００７の原因情報を取得する。不一致箇所７０２は、発声位置が「発声途中」であり、「no」が「n」に変化して「母音が脱落」していると判定できるためである。
【００６１】
この結果、原因情報取得部１０６は、不一致箇所７０１および７０２に対して、それぞれ番号＝１００１および１００７に対応するアドバイスを取得する。そして、出力部１０７が、取得したアドバイスをディスプレイに出力する（ステップＳ５０７）。
【００６２】
図８は、アドバイスを表示する表示画面の一例を示す図である。図８に示すように、表示画面８００は、入力音声８１１および対応する正解文８１２を表示するとともに、取得されたアドバイス８０１および８０２を表示する。同図では、不一致箇所７０１に対応するアドバイス８０１と、不一致箇所７０２に対応するアドバイス８０２が表示された例が示されている。
【００６３】
なお、出力部１０７は、例えば図３の番号＝１００１に対応するアドバイス内の「（正解形態素）」には、正解文側の対応する形態素を埋め込んで表示画面に表示する。また、出力部１０７は、例えば図３の番号＝１００７に対応するアドバイス内の「（認識結果）」には、認識結果側の対応する形態素を埋め込んで表示画面に表示する。
【００６４】
なお、出力部１０７が、アドバイスとともに、またはアドバイスに代えて、誤認識原因を出力するように構成してもよい。また、出力部１０７は、アドバイスを音声として出力するように構成してもよい。
【００６５】
このように、第１の実施の形態にかかる音声認識装置では、正解文と入力音声の認識結果とを比較して不一致箇所を検出し、事前に設定した誤認識原因のデータベースを参照して不一致の原因を判定し、認識結果を表示する際に判定した原因や回避方法を認識結果と併せて表示する。
【００６６】
これにより、ユーザは、ユーザ自身の発声ミスや発声の癖を把握することができる。また、ユーザは、音声を入力した直後に自分の発声に対して具体的なアドバイス情報を知ることができるため、次回以降に正しく認識されるような発声の仕方や文章の選び方を容易に習得できる。また、ユーザは、音声認識装置の誤認識の傾向や癖を効率的に知ることができ、より短時間で音声認識装置を使いこなすことができるようになる。そして、ユーザが音声認識装置の使用方法を改善することにより、結果として音声認識の精度向上を図ることが可能となる。
【００６７】
（第２の実施の形態）
第２の実施の形態にかかる音声認識装置は、正解文の代わりに、入力する音声の文例として事前に登録された用例文を利用する。この形態は、音声認識をフロントエンドとして使用する用例検索を想定している。すなわち、第２の実施の形態にかかる音声認識装置は、入力音声の認識結果と一致または類似する用例文を記憶部から検索して認識結果として利用する。なお、取得した用例文を翻訳する翻訳部さらに備える用例翻訳装置の音声認識機能に適用することも可能である。
【００６８】
図９は、第２の実施の形態にかかる音声認識装置９００の構成を示すブロック図である。図９に示すように、音声認識装置９００は、主なハードウェア構成として、マイク１３１と、ディスプレイ１３２と、音響モデル記憶部１２１と、言語モデル記憶部１２２と、用例文記憶部９２３と、原因情報記憶部１２４と、を備えている。また、音声認識装置９００は、主なソフトウェア構成として、入力部１０１と、連続単語認識部１０２と、文取得部９０３と、文対応づけ部１０４と、不一致検出部９０５と、原因情報取得部１０６と、出力部１０７とを備えている。
【００６９】
第２の実施の形態では、正解文記憶部１２３に代えて用例文記憶部９２３を備えたことと、文取得部９０３および不一致検出部９０５の機能とが第１の実施の形態と異なっている。その他の構成および機能は、第１の実施の形態にかかる音声認識装置１００の構成を表すブロック図である図１と同様であるので、同一符号を付し、ここでの説明は省略する。
【００７０】
用例文記憶部９２３は、入力する音声の文例である用例文を記憶する。図１０は、用例文記憶部９２３に記憶される用例文のデータ構造の一例を示す図である。図２の正解文記憶部１２３と同様に、用例文記憶部９２３は、記号「｜」により形態素ごとに用例文を区切り、形態素ごとに形態素の読みと品詞との組である形態素情報を対応づけて記憶している。
【００７１】
文取得部９０３は、入力音声の認識結果と一致または類似する用例文を用例文記憶部９２３から取得する。なお、認識結果と用例文とは完全に同じ形態素列である必要はない。すなわち、文取得部９０３は、例えば、文中の名詞や数字、文末表現が微妙に異なっていても同じ文意を表す文であれば対応する用例文として検索する。このような用例文の検索方法は、例えば、「長尾真編、岩波講座ソフトウェア科学１５  自然言語処理、12.8  実例型機械翻訳方式（pp.502-510）、ISBN4-00-010355-5」に記載の方法などを適用できる。
【００７２】
不一致検出部９０５は、認識結果の形態素のそれぞれを、対応づけられた用例文の形態素と比較し、一致しない少なくとも１つの形態素を含む不一致箇所を検出するとともに、不一致箇所の時間情報を出力する。
【００７３】
なお、用例検索では、文全体としては類似するが、対応する形態素同士がまったく一致しない形態素を含む用例文が検索される場合がある。このように、形態素内の文字列がまったく異なる場合には誤認識箇所として検出すべきでない。そのため、第２の実施の形態の不一致検出部９０５は、認識結果と用例文の対応付けられた形態素内の文字列が一定数以上一致しない場合には不一致箇所として検出しない。例えば、不一致検出部９０５は、形態素内の文字列の総数に対する不一致の文字列の個数の割合が、予め定められた閾値（例えば、８０％）以上である場合は、この形態素を不一致箇所として検出しないように構成する。
【００７４】
次に、このように構成された第２の実施の形態にかかる音声認識装置９００による音声認識処理について図１１を用いて説明する。図１１は、第２の実施の形態における音声認識処理の全体の流れを示すフローチャートである。
【００７５】
ステップＳ１１０１からステップＳ１１０２までの、音声入力処理および形態素列生成処理は、第１の実施の形態にかかる音声認識装置１００におけるステップＳ５０１からステップＳ５０２までと同様の処理なので、その説明を省略する。
【００７６】
次に、文取得部９０３は、入力音声の認識結果である形態素列と一致または類似する用例文および当該用例文の形態素情報を用例文記憶部９２３から検索する（ステップＳ１１０３）。
【００７７】
なお、ステップＳ１１０４は、正解文の形態素列の代わりに用例文の形態素列を利用する点が異なる以外は、第１の実施の形態にかかる音声認識装置１００におけるステップＳ５０４と同様である。
【００７８】
次に、不一致検出部９０５が不一致検出処理を実行する（ステップＳ１１０５）。不一致検出処理の詳細は後述する。
【００７９】
ステップＳ１１０６からステップＳ１１０７までの、原因情報取得処理および出力処理は、第１の実施の形態にかかる音声認識装置１００におけるステップＳ５０６からステップＳ５０７までと同様の処理なので、その説明を省略する。
【００８０】
次に、ステップＳ１１０５の不一致検出処理の詳細について図１２を用いて説明する。図１２は、第２の実施の形態における不一致検出処理の全体の流れを示すフローチャートである。第２の実施の形態では、ステップＳ１２０３の処理が、第１の実施の形態の不一致検出処理を表す図６のステップＳ５０３と異なっている。その他のステップは、第１の実施の形態と同様の処理なので、その説明を省略する。
【００８１】
ステップＳ１２０３では、不一致検出部９０５は、Ｍ［ｉ］．Ｒ＝Ｍ［ｉ］．Ｅであるか否か、すなわち、両者が一致するか否かの判断に加え、Ｍ［ｉ］．Ｒに含まれる文字列と、Ｍ［ｉ］．Ｅに含まれる文字列とを比較する処理が追加される。具体的には、まず、不一致検出部９０５は、Ｍ［ｉ］．Ｒに含まれる文字列と、Ｍ［ｉ］．Ｅに含まれる文字列との間で不一致の文字列の個数を算出する。そして、不一致検出部９０５は、文字列の総数に対する不一致文字列の個数の割合を算出する。さらに、不一致検出部９０５は、算出した割合が、所定の閾値である８０％以上であるか否かを判断する。
【００８２】
不一致検出部９０５は、Ｍ［ｉ］．Ｒ＝Ｍ［ｉ］．ＥまたはＭ［ｉ］．Ｒ内の文字列とＭ［ｋ］．Ｅ内の文字列とが８０％以上異なる場合は（ステップＳ１２０３：ＹＥＳ）、Ｍ［ｉ］．Ｒを不一致箇所として検出しない。不一致検出部９０５は、それ以外の場合に（ステップＳ１２０３：ＮＯ）、Ｍ［ｉ］．Ｒを不一致箇所として検出する（ステップＳ１２０４）。
【００８３】
次に、第２の実施の形態の音声認識処理の具体例について説明する。以下では、「タクシーにパスポートを忘れちゃったのです」を意味する日本語の入力音声が入力された場合を例として説明する。
【００８４】
連続単語認識部１０２は、この入力音声を認識し、認識結果の形態素列を生成する（ステップＳ１１０２）。ここでは、図４に示すような形態素列を生成したものとする。また、文取得部９０３は、図４の形態素列に類似する用例文として、図１０に示すような用例文を用例文記憶部９２３から取得したものとする（ステップＳ１１０３）。
【００８５】
図４の認識結果と、図１０の用例文とが得られた場合、文対応づけ部１０４は、双方の形態素列の一致度を判定することにより各形態素をそれぞれ対応づける（ステップＳ１１０４）。図１３は、文対応づけ部１０４が対応づけた形態素の一例を示す図である。なお、同図は、図４の認識結果の形態素列を上部に、図１０の用例文を下部に記載している。
【００８６】
また、図１３では、文対応づけ部１０４は、対応づける形態素が存在しない形態素の区切りを記号「−」で表している。また、文対応づけ部１０４は、文字列が一定長以上一致しない場合は、該当区間をまとめて対応づける。図１３では区間１３０２がこのようにして対応づけた区間を表している。
【００８７】
不一致検出部９０５は、図１３のように対応づけられた形態素どうしを比較し、不一致箇所を検出する（ステップＳ１１０５）。図１３の例では、不一致検出部９０５は、発声頭の不一致箇所１３０１を検出する。なお、区間１３０２は不一致の文字列の割合が８０％を超えているため、不一致検出部９０５は、不一致箇所として検出しない（ステップＳ１２０３：ＹＥＳ）。
【００８８】
次に、原因情報取得部１０６は、不一致箇所の入力音声中での発声位置と、不一致の内容を解析し、解析した発声位置および不一致の内容が満たす条件に対応する原因情報を原因情報記憶部１２４から検索する（ステップＳ１１０６）。図１３の例では、原因情報取得部１０６は、図３の番号＝１００１の原因情報を取得する。
【００８９】
この結果、原因情報取得部１０６は、不一致箇所１３０１に対して、番号＝１００１に対応するアドバイスを取得する。そして、出力部１０７が、取得したアドバイスをディスプレイに出力する（ステップＳ１１０７）。
【００９０】
図１４は、アドバイスを表示する表示画面の一例を示す図である。図１４に示すように、表示画面１４００は、入力音声１４１１および検索された用例文１４１２を表示するとともに、取得されたアドバイス１４０１を表示する。
【００９１】
このように、第２の実施の形態にかかる音声認識装置では、用例検索方式の音声認識を適用する場合にも第１の実施の形態と同様の効果を得ることができる。
【００９２】
なお、上述のように、対訳用例を用いて入力音声を翻訳する用例翻訳装置に本実施の形態の手法を適用することもできる。このような用例翻訳装置は、例えば、旅先で装置の操作や発声方法に不慣れな現地人に対して使用させることも想定される。このような場合であっても、本実施の形態の方法によれば、使用方法の改善についてのアドバイスを出力することができるため、コミュニケーションを円滑に行うことが可能となる。
【００９３】
（第３の実施の形態）
第３の実施の形態にかかる音声認識装置は、入力音声をさらに音節を単位として認識し、形態素単位の認識結果と比較することにより、より高精度に不一致箇所を検出する。
【００９４】
図１５は、第３の実施の形態にかかる音声認識装置１５００の構成を示すブロック図である。図１５に示すように、音声認識装置１５００は、主なハードウェア構成として、マイク１３１と、ディスプレイ１３２と、音響モデル記憶部１２１と、言語モデル記憶部１２２と、用例文記憶部９２３と、原因情報記憶部１２４と、単音節単語辞書１５２５と、を備えている。また、音声認識装置１５００は、主なソフトウェア構成として、入力部１０１と、連続単語認識部１０２と、文取得部９０３と、文対応づけ部１０４と、不一致検出部１５０５と、原因情報取得部１０６と、出力部１０７と、単音節認識部１５０８と、音節対応づけ部１５０９と、併合部１５１０と、を備えている。
【００９５】
第３の実施の形態では、単音節単語辞書１５２５、単音節認識部１５０８、音節対応づけ部１５０９、および併合部１５１０を追加したことと、不一致検出部１５０５の機能とが第２の実施の形態と異なっている。その他の構成および機能は、第２の実施の形態にかかる音声認識装置９００の構成を表すブロック図である図９と同様であるので、同一符号を付し、ここでの説明は省略する。
【００９６】
単音節単語辞書１５２５は、単音節認識部１５０８が単音節単位で音声を認識する際に参照する単語辞書を記憶する。
【００９７】
単音節認識部１５０８は、音響モデルと単語辞書とを用いて入力音声を認識し、認識結果として単音節列を生成する。単音節認識部１５０８は、日本語の場合はひらがな１文字（「あ、い、う、か、さ、た」など）の発音文字に対応する母音または子音と母音の組である単音節を単位として入力音声を認識して、認識結果である単音節列を出力する。
【００９８】
図１６は、単音節認識部１５０８によって生成された単音節列のデータ構造の一例を示す図である。図１６に示すように、単音節認識部１５０８は、認識された単音節を記号［／］で区切った単音節列を生成する。また、各単音節には、入力音声の先頭を基準とした発声開始時間から終了時間までの範囲を表す音声区間が対応づけられる。
【００９９】
音節対応づけ部１５０９は、連続単語認識部１０２の認識結果である形態素列に対して、単音節認識部１５０８の認識結果である単音節列を対応づける。具体的には、音節対応づけ部１５０９は、入力音声の先頭を基準とする各単音節の開始時間および終了時間と、各形態素の開始時間および終了時間とを参照し、時間が一致する音節を相互に対応づける。
【０１００】
併合部１５１０は、文対応づけ部１０４による対応づけと、音節対応づけ部１５０９による対応づけとを併合し、単音節列、認識結果の形態素列、および用例文の形態素列をそれぞれ対応づける。
【０１０１】
不一致検出部１５０５は、対応づけられた単音節列、認識結果の形態素列、および用例文を比較することにより不一致箇所を検出し、不一致箇所の時間情報を出力する。単音節単位の認識では、ユーザの音声の情報のみをもとに入力音声を１音単位で正確に認識できる。そのため、不一致検出部１５０５は、形態素単位の認識結果と単音節単位の認識結果とを比較することで、不一致箇所をより高精度で検出できる。すなわち、第３の実施の形態では、ユーザの発声の様子をより正確に把握することができる。
【０１０２】
次に、このように構成された第３の実施の形態にかかる音声認識装置１５００による音声認識処理について図１７を用いて説明する。図１７は、第３の実施の形態における音声認識処理の全体の流れを示すフローチャートである。
【０１０３】
ステップＳ１７０１からステップＳ１７０４までの、音声入力処理、形態素列生成処理、用例検索処理、および文対応づけ処理は、第２の実施の形態にかかる音声認識装置９００におけるステップＳ１１０１からステップＳ１１０４までと同様の処理なので、その説明を省略する。
【０１０４】
次に、単音節認識部１５０８が、音響モデルおよび単語辞書を用いて入力音声を音声認識し、単音節列を生成する（ステップＳ１７０５）。次に、音節対応づけ部１５０９が、時間情報を参照し、認識結果の形態素列と単音節とを対応づけ、対応づけ結果を生成する（ステップＳ１７０６）。
【０１０５】
次に、併合部１５１０が、音節対応づけ部１５０９が生成した対応づけ結果を、文対応づけ部１０４が生成した対応づけ結果Ｍ［ｋ］に併合する（ステップＳ１７０７）。各対応づけ結果には、それぞれ認識結果の形態素列が含まれるため、併合部１５１０は、この形態素列を基準とすることにより、２つの対応づけ結果を併合することができる。
【０１０６】
なお、ステップＳ１７０３〜ステップＳ１７０４と、ステップＳ１７０５〜ステップＳ１７０６の処理順序は上記に限られず、ステップＳ１７０５〜ステップＳ１７０６を先に実行してもよいし、両者を並列に実行してもよい。すなわち、併合部１５１０が対応づけ結果を併合する時点で各対応づけ結果が生成されていればよい。
【０１０７】
次に、不一致検出部１５０５が不一致検出処理を実行する（ステップＳ１７０８）。不一致検出処理の詳細は後述する。
【０１０８】
ステップＳ１７０９からステップＳ１７１０までの、原因情報取得処理および出力処理は、第２の実施の形態にかかる音声認識装置９００におけるステップＳ１１０６からステップＳ１１０７までと同様の処理なので、その説明を省略する。
【０１０９】
次に、ステップＳ１７０８の不一致検出処理の詳細について図１８を用いて説明する。図１８は、第３の実施の形態における不一致検出処理の全体の流れを示すフローチャートである。
【０１１０】
まず、不一致検出部１５０５は、併合された対応づけ結果のうち、未処理の対応づけ結果Ｍ［ｉ］（１≦ｉ≦Ｎ）を取得する（ステップＳ１８０１）。次に、不一致検出部１５０５は、認識結果側の形態素列の先頭の形態素と、その形態素の開始時間を取得する（ステップＳ１８０２）。また、不一致検出部１５０５は、認識結果側の形態素列の末尾の形態素と、その形態素の終了時間を取得する（ステップＳ１８０３）。
【０１１１】
次に、不一致検出部１５０５は、認識結果側の形態素列に含まれる音節のうち、取得した開始時間から取得した終了時間までに対応する音節の系列である音節列Ｒｐを取得する（ステップＳ１８０４）。さらに、不一致検出部１５０５は、認識結果の単音節列のうち、取得した開始時間から取得した終了時間までに対応する単音節列Ｔｐを取得する（ステップＳ１８０５）。
【０１１２】
ステップＳ１８０６の形態素列比較処理は、第２の実施の形態にかかる音声認識装置９００におけるステップＳ１２０２と同様の処理なので、その説明を省略する。
【０１１３】
次に、不一致検出部１５０５は、Ｍ［ｉ］．Ｒ＝Ｍ［ｉ］．Ｅであるか否か、すなわち、両者が一致するか否かの判断に加え、ステップＳ１８０４で取得した音節列Ｒｐと、ステップＳ１８０５で取得した単音節列Ｔｐとを比較する（ステップＳ１８０７）。
【０１１４】
そして、不一致検出部１５０５は、Ｍ［ｉ］．Ｒ＝Ｍ［ｉ］．Ｅ、かつ、Ｒｐ＝Ｔｐの場合は（ステップＳ１８０７：ＹＥＳ）、Ｍ［ｉ］．Ｒを不一致箇所として検出しない。不一致検出部１５０５は、それ以外の場合に（ステップＳ１８０７：ＮＯ）、Ｍ［ｉ］．Ｒを不一致箇所として検出する（ステップＳ１８０８）。
【０１１５】
ステップＳ１８０９からステップＳ１８１０までの、時間設定処理および完了判定処理は、第２の実施の形態にかかる音声認識装置９００におけるステップＳ１２０５からステップＳ１２０６までと同様の処理なので、その説明を省略する。
【０１１６】
次に、第３の実施の形態の音声認識処理の具体例について説明する。以下では、「タクシーにパスポートを忘れちゃったのです」を意味する日本語の入力音声が入力された場合を例として説明する。
【０１１７】
連続単語認識部１０２は、この入力音声を認識し、認識結果の形態素列を生成する（ステップＳ１７０２）。ここでは、図４に示すような形態素列を生成したものとする。また、文取得部９０３は、図４の形態素列に類似する用例文として、図１０に示すような用例文を用例文記憶部９２３から取得したものとする（ステップＳ１７０３）。
【０１１８】
図４の認識結果と、図１０の用例文とが得られた場合、文対応づけ部１０４は、双方の形態素列の一致度を判定することにより各形態素をそれぞれ対応づける（ステップＳ１７０４）。図１９は、文対応づけ部１０４が対応づけた形態素の一例を示す図である。なお、同図は、図４の認識結果の形態素列を上部に、図１０の用例文を下部に記載している。
【０１１９】
第３の実施の形態では、さらに、単音節認識部１５０８が、入力音声を認識し、認識結果の単音節列を生成する（ステップＳ１７０５）。ここでは、図１６に示すような形態素列を生成したものとする。
【０１２０】
図１６の単音節列および図４の形態素列がそれぞれ認識結果として得られた場合、音節対応づけ部１５０９は、時間情報を参照することにより、単音節列と形態素列とを対応づける（ステップＳ１７０６）。図２０は、音節対応づけ部１５０９が対応づけた対応づけ結果の一例を示す図である。なお、同図は、図１６の単音節列を上部に、図４の形態素列を下部に記載している。
【０１２１】
次に、併合部１５１０は、形態素列を基準とすることにより、図１９および図２０の対応づけ結果を併合する（ステップＳ１７０７）。図２１は、併合部１５１０が併合した対応づけ結果の一例を示す図である。同図は、図２０の対応づけ結果を上部に、図１９の対応づけ結果を下部に併合した結果を表している。
【０１２２】
なお、文対応づけ部１０４、音節対応づけ部１５０９、および併合部１５１０は、対応づける音節または形態素が存在しない部分には、空音節または空形態素を対応づける。
【０１２３】
不一致検出部１５０５は、図２１のように対応づけられた形態素および音節を比較し、不一致箇所を検出する（ステップＳ１７０８）。図２１の例では、不一致検出部１５０５は、第２の各実施の形態と同様に、発声頭の不一致箇所２１０１を検出することができる。
【０１２４】
さらに、第３の実施の形態の不一致検出部１５０５は、音節単位で形態素および音節を比較することにより、不一致箇所２１０２〜２１０４を検出することができる。すなわち、不一致検出部１５０５は、単音節単位の認識結果と形態素単位の認識結果とを比較することにより、認識結果の形態素列と用例文との不一致箇所２１０１だけでなく、さらに詳細な不一致箇所２１０２〜２１０４を検出する。
【０１２５】
例えば、不一致検出部１５０５は、認識結果の形態素内では存在する助詞（「を」）に対応する単音節が存在しないことから、不一致箇所２１０２を検出する。また、不一致検出部１５０５は、形態素列として認識された場合の音節（「ちゃ」）と、単音節を単位として認識された場合の音節（「ち」）とが一致しないことから、不一致箇所２１０３を検出する。同様に、不一致検出部１５０５は、形態素列として認識された場合の音節（「んです」）と、単音節を単位として認識された場合の音節（「んで」）とが一致しないことから、不一致箇所２１０４を検出する。
【０１２６】
次に、原因情報取得部１０６は、不一致箇所の入力音声中での発声位置と、不一致の内容を解析し、解析した発声位置および不一致の内容が満たす条件に対応する原因情報を原因情報記憶部１２４から検索する（ステップＳ１７０９）。
【０１２７】
図２１の例では、原因情報取得部１０６は、まず不一致箇所２１０１に対応する原因情報として、図３の番号＝１００１の原因情報を取得する。また、原因情報取得部１０６は、不一致箇所２１０２について、発声途中の形態素内の助詞（「を」）が認識されなかったことから、図３の番号＝１００８の原因情報を取得する。また、原因情報取得部１０６は、不一致箇所２１０３について、発声途中の形態素で子音が脱落していることから、図３の番号＝１００７の原因情報を取得する。さらに、原因情報取得部１０６は、不一致箇所２１０４について、発声末尾の発音の前方のみが一致していることから、図３の番号＝１００９の原因情報を取得する。
【０１２８】
この結果、原因情報取得部１０６は、不一致箇所２１０１〜２１０４に対して、それぞれ番号＝１００１、１００８、１００７、および１００９に対応するアドバイスを取得する。そして、出力部１０７が、取得したアドバイスをディスプレイに出力する（ステップＳ１１０７）。
【０１２９】
図２２は、アドバイスを表示する表示画面の一例を示す図である。図２２に示すように、表示画面２２００は、入力音声２２１１および検索された用例文２２１２を表示するとともに、不一致箇所２１０１〜２１０４に対してそれぞれ取得されたアドバイス２２０１〜２２０４を表示する。
【０１３０】
このように、第３の実施の形態にかかる音声認識装置では、入力音声を形態素単位だけでなく、音節を単位として認識し、音節単位の認識結果と形態素単位の認識結果と比較することにより、より高精度に不一致箇所を検出することができる。
【０１３１】
（第４の実施の形態）
第４の実施の形態にかかる音声認識装置は、さらに入力音声の音量などの音響情報を検出し、音響情報を参照して誤認識原因をさらに詳細に特定可能とする。
【０１３２】
図２３は、第４の実施の形態にかかる音声認識装置２３００の構成を示すブロック図である。図２３に示すように、音声認識装置２３００は、主なハードウェア構成として、マイク１３１と、ディスプレイ１３２と、音響モデル記憶部１２１と、言語モデル記憶部１２２と、用例文記憶部９２３と、原因情報記憶部２３２４と、音響情報記憶部２３２６と、を備えている。また、音声認識装置２３００は、主なソフトウェア構成として、入力部１０１と、連続単語認識部１０２と、文取得部９０３と、文対応づけ部１０４と、不一致検出部２３０５と、原因情報取得部２３０６と、出力部１０７と、音響情報検出部２３１１と、音響対応づけ部２３１２と、併合部２３１３と、を備えている。
【０１３３】
第４の実施の形態では、音響情報検出部２３１１、音響対応づけ部２３１２、音響情報記憶部２３２６、および併合部２３１３を追加したことと、原因情報記憶部２３２４のデータ構造と、不一致検出部２３０５および原因情報取得部２３０６の機能と、が第２の実施の形態と異なっている。その他の構成および機能は、第２の実施の形態にかかる音声認識装置９００の構成を表すブロック図である図９と同様であるので、同一符号を付し、ここでの説明は省略する。
【０１３４】
音響情報検出部２３１１は、入力音声の音響情報を検出する。音響情報検出部２３１１は、例えば、入力音声のパワー（音量）、ポーズ長（無音区間長）、ピッチ（話速）、および抑揚などの音響情報を検出する。音響情報検出部２３１１は、これら音響情報の種類ごとに、検出した音響情報の値と、入力音声の先頭を基準とする音響情報を検出した区間を表す時間情報（開始時間と終了時間）とを組にして出力する。
【０１３５】
音響情報記憶部２３２６は、音響情報検出部２３１１が検出した音響情報を記憶する。図２４は、音響情報のデータ構造の一例を示す図である。図２４に示すように、音響情報記憶部２３２６は、音響情報の種類ごとに、「（音響情報の値）：（時間情報）」の形式で音響情報を記憶する。なお、同図では、パワーは、０（小さい）から１０（大きい）の数値で表され、ピッチは、１（速い）から１０（遅い）の数値で表されるものとする。
【０１３６】
なお、同図では省略しているが、例えば無音区間を音響情報として検出した場合は、検出した無音区間の時間情報（開始時間と終了時間）を音響情報記憶部２３２６に保存する。また、抑揚を音響情報として検出した場合は、抑揚が下降したか上昇したかを表す情報と、時間情報とを組にして音響情報記憶部２３２６に保存する。
【０１３７】
音響対応づけ部２３１２は、連続単語認識部１０２の認識結果である形態素列に対して、音響情報検出部２３１１によって検出された音響情報を対応づける。具体的には、音響対応づけ部２３１２は、各音響情報を検出した区間の開始時間および終了時間と、各形態素の開始時間および終了時間とを参照し、時間が一致する音響情報を形態素列に対応づける。
【０１３８】
併合部２３１３は、文対応づけ部１０４による対応づけと、音響対応づけ部２３１２による対応づけとを併合し、音響情報、認識結果の形態素列、および用例文の形態素列をそれぞれ対応づける。
【０１３９】
原因情報記憶部２３２４は、さらに、音響情報と優先情報とを含む原因情報を記憶する点が、上述の実施の形態の原因情報記憶部１２４と異なっている。優先情報とは、音響情報によって取得されたアドバイスを、形態素によって取得されたアドバイスよりも優先して取得するか否かを表す情報である。
【０１４０】
図２５は、原因情報記憶部２３２４に記憶される原因情報のデータ構造の一例を示す図である。図２５に示すように、原因情報記憶部２３２４は、原因情報を識別する番号と、発声位置と、不一致音節・形態素と、音響情報と、誤認識原因と、アドバイスと、優先情報と、を対応づけた原因情報を記憶している。
【０１４１】
なお、同図では音響情報が設定された原因情報のみが示されているが、上述の実施の形態の原因情報を表す図３と同様に不一致音節・形態素の条件が設定された原因情報を記憶してもよい。
【０１４２】
不一致検出部２３０５は、検出した不一致箇所に、さらに時間情報が一致する音響情報を対応づけて出力する点が、第２の実施の形態の不一致検出部９０５と異なっている。
【０１４３】
原因情報取得部２３０６は、発声位置および不一致音節・形態素に加えて、音響情報の条件を満たす原因情報を検索する点、および優先情報を参照して優先する原因情報を取得する点が、第２の実施の形態の原因情報取得部１０６と異なっている。
【０１４４】
次に、このように構成された第４の実施の形態にかかる音声認識装置２３００による音声認識処理について図２６を用いて説明する。図２６は、第４の実施の形態における音声認識処理の全体の流れを示すフローチャートである。
【０１４５】
ステップＳ２６０１からステップＳ２６０４までの、第２の実施の形態にかかる音声認識装置９００におけるステップＳ１１０１からステップＳ１１０４までと同様の処理なので、その説明を省略する。
【０１４６】
次に、音響情報検出部２３１１が、入力音声から音響情報を検出する（ステップＳ２６０５）。次に、音響対応づけ部２３１２が、時間情報を参照し、認識結果の形態素列と音響情報とを対応づけ、対応づけ結果を生成する（ステップＳ２６０６）。
【０１４７】
次に、併合部２３１３が、音響対応づけ部２３１２が生成した対応づけ結果を、文対応づけ部１０４が生成した対応づけ結果Ｍ［ｋ］に併合する（ステップＳ２６０７）。各対応づけ結果には、それぞれ認識結果の形態素列が含まれるため、併合部２３１３は、この形態素列を基準とすることにより、２つの対応づけ結果を併合することができる。
【０１４８】
なお、ステップＳ２６０３〜ステップＳ２６０４と、ステップＳ２６０５〜ステップＳ２６０６の処理順序は上記に限られず、ステップＳ２６０５〜ステップＳ２６０６を先に実行してもよいし、両者を並列に実行してもよい。すなわち、併合部２３１３が対応づけ結果を併合する時点で各対応づけ結果が生成されていればよい。
【０１４９】
ステップＳ２６０８の不一致検出処理は、第２の実施の形態にかかる音声認識装置９００におけるステップＳ１１０５と同様の処理なので、その説明を省略する。
【０１５０】
次に、原因情報取得部２３０６は、検出された不一致箇所が満たす条件に対応する原因情報を原因情報記憶部１２４から取得する（ステップＳ２６０９）。第４の実施の形態の原因情報取得部２３０６は、検出された不一致箇所に対応づけられた音響情報を利用し、音響情報の条件も考慮して原因情報を検索する。
【０１５１】
次に、出力部１０７は、取得された原因情報に含まれるアドバイスをディスプレイ１３２に出力し（ステップＳ２６１０）、音声認識処理を終了する。
【０１５２】
次に、第４の実施の形態の音声認識処理の具体例について説明する。以下では、用例文記憶部９２３に図２７に示すような用例文が記憶されていることを前提とする。すなわち、用例文記憶部９２３には、「タクシーにパスポートを忘れたのです。」を意味する日本語の用例文が記憶されている。また、ユーザは、この用例文と同様の日本語の入力音声を入力するものとする。
【０１５３】
連続単語認識部１０２は、この入力音声を認識し、認識結果の形態素列を生成する（ステップＳ２６０２）。ここでは、図２８に示すような形態素列を生成したものとする。また、文取得部９０３は、図２８の形態素列に類似する用例文として、図２７に示すような用例文を用例文記憶部９２３から取得したものとする（ステップＳ２６０３）。
【０１５４】
図２８の認識結果と、図２７の用例文とが得られた場合、文対応づけ部１０４は、双方の形態素列の一致度を判定することにより各形態素をそれぞれ対応づける（ステップＳ２６０４）。図２８は、文対応づけ部１０４が対応づけた形態素の一例を示す図である。なお、同図は、図２８の認識結果の形態素列を上部に、図２７の用例文を下部に記載している。
【０１５５】
第４の実施の形態では、さらに、音響情報検出部２３１１が、入力音声から音響情報を検出する（ステップＳ２６０５）。ここでは、図２４に示すような音響情報（パワー、ピッチ）を検出したものとする。
【０１５６】
図２４の音響情報および図２８の形態素列が得られた場合、音響対応づけ部２３１２は、時間情報を参照することにより、音響情報と形態素列とを対応づける（ステップＳ２６０６）。図３０は、音響対応づけ部２３１２が対応づけた対応づけ結果の一例を示す図である。
【０１５７】
なお、同図は、図２４の音響情報を上部に、図２８の形態素列を下部に記載している。また、図３０では、パワーを「ｖ（パワーの値）」の形式で表し、ピッチを「ｓ（ピッチの値）」の形式で表している。
【０１５８】
次に、併合部２３１３は、形態素列を基準とすることにより、図２９および図３０の対応づけ結果を併合する（ステップＳ２６０７）。図３１は、併合部２３１３が併合した対応づけ結果の一例を示す図である。同図は、図３０の対応づけ結果を上部に、図２９の対応づけ結果を下部に併合した結果を表している。
【０１５９】
不一致検出部２３０５は、図３１のように対応づけられた形態素を比較し、不一致箇所を検出する（ステップＳ２６０８）。図３１の例では、不一致検出部１５０５は、発声頭の不一致箇所３１０１、発声途中の不一致箇所３１０２、および発声末尾の不一致箇所３１０３を検出することができる。
【０１６０】
次に、原因情報取得部２３０６は、不一致箇所の入力音声中での発声位置と不一致の内容とに加え、不一致箇所に対応づけられた音響情報を解析し、発声位置、不一致の内容、および音響情報が満たす条件に対応する原因情報を原因情報記憶部２３２４から検索する（ステップＳ２６０９）。
【０１６１】
図３１の例では、原因情報取得部２３０６は、まず不一致箇所３１０１に対応する原因情報として、図３の番号＝１００１の原因情報を取得する。一方、図２５の原因情報記憶部２３２４には、不一致箇所３１０１に対応づけられたパワー値８およびピッチ値５が満たす音響情報の条件を含む原因情報は存在しない。このため、原因情報取得部２３０６は、不一致箇所３１０１に対して、番号＝１００１に対応するアドバイスを取得する。
【０１６２】
また、原因情報取得部２３０６は、不一致箇所３１０２について、発声途中の形態素内の助詞（「を」）が認識されなかったことから、図３の番号＝１００８の原因情報を取得する。なお、図２５の原因情報記憶部２３２４に、不一致箇所３１０２に対応づけられたパワー値６およびピッチ値２が満たす音響情報の条件を含む番号＝１１０１の原因情報が存在する。また、この原因情報には優先情報として「優先する」が設定されていない。このため、原因情報取得部２３０６は、番号＝１００８および１１０１に対応するアドバイスを共に取得する。
【０１６３】
また、原因情報取得部２３０６は、不一致箇所３１０３について、発声末尾の発音の前方のみが一致していることから、図３の番号＝１００９の原因情報を取得する。なお、図２５の原因情報記憶部２３２４に、不一致箇所３１０３に対応づけられたパワー値２およびピッチ値４が満たす音響情報の条件を含む番号＝１１０４の原因情報が存在する。また、この原因情報には優先情報として「優先する」が設定されている。このため、原因情報取得部２３０６は、番号＝１００９に対応するアドバイスは取得せず、番号＝１１０４に対応するアドバイスのみを取得する。
【０１６４】
そして、出力部１０７が、取得したアドバイスをディスプレイに出力する（ステップＳ２６１０）。
【０１６５】
図３２は、アドバイスを表示する表示画面の一例を示す図である。図３２に示すように、表示画面３２００は、入力音声３２１１および検索された用例文３２１２を表示するとともに、不一致箇所３１０１〜３１０３に対してそれぞれ取得されたアドバイス３２０１〜３２０３を表示する。
【０１６６】
このように、第４の実施の形態にかかる音声認識装置では、入力音声の音量などの音響情報を参照して誤認識原因をさらに詳細に特定することができる。
【０１６７】
なお、第３および第４の実施の形態で用例文記憶部を利用する代わりに、第１の実施の形態のように正解文記憶部を利用するように構成してもよい。また、第３および第４の実施の形態を統合し、単音節単位で認識して高精度に不一致箇所を検出する機能と、音響情報を検出して不一致の原因を詳細に特定する機能とを共に利用するように構成してもよい。
【０１６８】
次に、第１〜第４の実施の形態にかかる音声認識装置のハードウェア構成について図３３を用いて説明する。図３３は、第１〜第４の実施の形態にかかる音声認識装置のハードウェア構成図である。
【０１６９】
第１〜第４の実施の形態にかかる音声認識装置は、ＣＰＵ（Central Processing Unit）５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ（Random Access Memory）５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、各部を接続するバス６１を備えている。
【０１７０】
第１〜第４の実施の形態にかかる音声認識装置で実行される音声認識プログラムは、ＲＯＭ５２等に予め組み込まれて提供される。
【０１７１】
第１〜第４の実施の形態にかかる音声認識装置で実行される音声認識プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【０１７２】
さらに、第１〜第４の実施の形態にかかる音声認識装置で実行される音声認識プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、第１〜第４の実施の形態にかかる音声認識装置で実行される音声認識プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【０１７３】
第１〜第４の実施の形態にかかる音声認識装置で実行される音声認識プログラムは、上述した各部（入力部、連続単語認識部、文取得部、文対応づけ部、不一致検出部、原因情報取得部、出力部等）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ５１が上記ＲＯＭ５２から音声認識プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。
【産業上の利用可能性】
【０１７４】
以上のように、本発明にかかる装置、方法およびプログラムは、用例検索を利用した音声認識装置、および用例翻訳を利用した音声翻訳装置などに適している。
【図面の簡単な説明】
【０１７５】
【図１】第１の実施の形態にかかる音声認識装置の構成を示すブロック図である。
【図２】正解文記憶部に記憶される正解文のデータ構造の一例を示す図である。
【図３】原因情報記憶部に記憶される原因情報のデータ構造の一例を示す図である。
【図４】連続単語認識部によって生成された形態素列のデータ構造の一例を示す図である。
【図５】第１の実施の形態における音声認識処理の全体の流れを示すフローチャートである。
【図６】第１の実施の形態における不一致検出処理の全体の流れを示すフローチャートである。
【図７】文対応づけ部が対応づけた形態素の一例を示す図である。
【図８】アドバイスを表示する表示画面の一例を示す図である。
【図９】第２の実施の形態にかかる音声認識装置の構成を示すブロック図である。
【図１０】用例文記憶部に記憶される用例文のデータ構造の一例を示す図である。
【図１１】第２の実施の形態における音声認識処理の全体の流れを示すフローチャートである。
【図１２】第２の実施の形態における不一致検出処理の全体の流れを示すフローチャートである。
【図１３】文対応づけ部が対応づけた形態素の一例を示す図である。
【図１４】アドバイスを表示する表示画面の一例を示す図である。
【図１５】第３の実施の形態にかかる音声認識装置の構成を示すブロック図である。
【図１６】生成された単音節列のデータ構造の一例を示す図である。
【図１７】第３の実施の形態における音声認識処理の全体の流れを示すフローチャートである。
【図１８】第３の実施の形態における不一致検出処理の全体の流れを示すフローチャートである。
【図１９】文対応づけ部が対応づけた形態素の一例を示す図である。
【図２０】音節対応づけ部が対応づけた対応づけ結果の一例を示す図である。
【図２１】併合した対応づけ結果の一例を示す図である。
【図２２】アドバイスを表示する表示画面の一例を示す図である。
【図２３】第４の実施の形態にかかる音声認識装置の構成を示すブロック図である。
【図２４】音響情報のデータ構造の一例を示す図である。
【図２５】原因情報記憶部に記憶される原因情報のデータ構造の一例を示す図である。
【図２６】第４の実施の形態における音声認識処理の全体の流れを示すフローチャートである。
【図２７】用例文記憶部に記憶される用例文のデータ構造の一例を示す図である。
【図２８】連続単語認識部によって生成された形態素列のデータ構造の一例を示す図である。
【図２９】文対応づけ部が対応づけた形態素の一例を示す図である。
【図３０】音響対応づけ部が対応づけた対応づけ結果の一例を示す図である。
【図３１】併合した対応づけ結果の一例を示す図である。
【図３２】アドバイスを表示する表示画面の一例を示す図である。
【図３３】第１〜第４の実施の形態にかかる音声認識装置のハードウェア構成図である。
【符号の説明】
【０１７６】
５１      ＣＰＵ
５２      ＲＯＭ
５３      ＲＡＭ
５４      通信Ｉ／Ｆ
６１      バス
１００    音声認識装置
１０１    入力部
１０２    連続単語認識部
１０３    文取得部
１０４    文対応づけ部
１０５    不一致検出部
１０６    原因情報取得部
１０７    出力部
１２１    音響モデル記憶部
１２２    言語モデル記憶部
１２３    正解文記憶部
１２４    原因情報記憶部
１３１    マイク
１３２    ディスプレイ
７０１、７０２  不一致箇所
８００    表示画面
８０１、８０２  アドバイス
８１１    入力音声
８１２    正解文
９００    音声認識装置
９０３    文取得部
９０５    不一致検出部
９２３    用例文記憶部
１３０１  不一致箇所
１３０２  区間
１４００  表示画面
１４０１  アドバイス
１４１１  入力音声
１４１２  用例文
１５００  音声認識装置
１５０５  不一致検出部
１５０８  単音節認識部
１５０９  音節対応づけ部
１５１０  併合部
１５２５  単音節単語辞書
２１０１〜２１０４  不一致箇所
２２００  表示画面
２２０１  アドバイス
２２１１  入力音声
２２１２  用例文
２３００  音声認識装置
２３０５  不一致検出部
２３０６  原因情報取得部
２３１１  音響情報検出部
２３１２  音響対応づけ部
２３１３  併合部
２３２４  原因情報記憶部
２３２６  音響情報記憶部
３１０１〜３１０３  不一致箇所
３２００  表示画面
３２０１  アドバイス
３２１１  入力音声
３２１２  用例文
【図１】
2009128675.tif 000003
【図２】
2009128675.tif 000004
【図３】
2009128675.tif 000005
【図４】
2009128675.tif 000006
【図５】
2009128675.tif 000007
【図６】
2009128675.tif 000008
【図７】
2009128675.tif 000009
【図８】
2009128675.tif 000010
【図９】
2009128675.tif 000011
【図１０】
2009128675.tif 000012
【図１１】
2009128675.tif 000013
【図１２】
2009128675.tif 000014
【図１３】
2009128675.tif 000015
【図１４】
2009128675.tif 000016
【図１５】
2009128675.tif 000017
【図１６】
2009128675.tif 000018
【図１７】
2009128675.tif 000019
【図１８】
2009128675.tif 000020
【図１９】
2009128675.tif 000021
【図２０】
2009128675.tif 000022
【図２１】
2009128675.tif 000023
【図２２】
2009128675.tif 000024
【図２３】
2009128675.tif 000025
【図２４】
2009128675.tif 000026
【図２５】
2009128675.tif 000027
【図２６】
2009128675.tif 000028
【図２７】
2009128675.tif 000029
【図２８】
2009128675.tif 000030
【図２９】
2009128675.tif 000031
【図３０】
2009128675.tif 000032
【図３１】
2009128675.tif 000033
【図３２】
2009128675.tif 000034
【図３３】
2009128675.tif 000035