(57)【要約】【課題】発話者が幼児である場合、又は入力発話がノイズの影響を大きく受ける環境下においても、認識精度を向上させる。【解決手段】音声認識方法は、前記音声処理装置に対応するマイクによって収音された音から第一発話を抽出し、前記第一発話の認識結果と前記第一発の信頼度を算出し、算出された前記第一発話の信頼度に基づいて聞き返し発話を実施し、前記マイクにより前記聞き返しによって得られた第二発話を抽出し、前記第二発話の認識結果と前記第二発話の信頼度を算出し、算出された前記第二発話の信頼度に基づいて、前記第一発話の認識結果と前記第二発話の認識結果から、認識結果を生成する。【選択図】図１
2019015950.tif 000002
【特許請求の範囲】
【請求項１】
音声認識方法であって、
一の単語を意図して発話者によって発話された第１発話を、マイクを介して受信し、
前記第１発話はＮ個（Ｎは２以上の自然数）の音素から構成され、
前記第１発話を構成する前記Ｎ個の音素ごとに、全種類の音素の出現確率を算出し、
前記第１発話を構成する第１音素から第Ｎ音素まで、各前記Ｎ個の音素に対応する最大出現確率を有する音素を順に並べた音素列を前記第１発話に対応する第１音素列と認識し、
前記第１音素列を構成するＮ個の音素が有する出現確率どうしを掛け合わせることによって第１値を算出し、
前記第１値が第１閾値未満である場合は、前記発話者へ前記一の単語を再度発話するように促す音声をスピーカを通して出力させ、
前記一の単語を意図して前記発話者によって再度発話された第２発話を、前記マイクを介して受信し、前記第２発話はＭ個（Ｍは２以上の自然数）の音素から構成され、
前記第２発話を構成する前記Ｍ個の音素ごとに、全種類の音素について出現確率を算出し、
前記第２発話を構成する第１音素から第Ｍ音素まで、各前記Ｍ個の音素に対応する最大出現確率を有する音素を順に並べた音素列を前記第２発話に対応する第２音素列と認識し、
前記第２音素列を構成するＭ個の音素が有する出現確率どうしを掛け合わせることによって第２値を算出し、
前記第２値が前記第１閾値未満である場合は、前記第１音素列において第２閾値以上の出現確率を有する音素と前記第２音素列において前記第２閾値以上の出現確率を有する音素を抽出し、
メモリに記憶された辞書から、前記抽出された音素を含む単語を抽出し、前記辞書は各単語と前記各単語に対応する音素列を対応付け、
前記抽出された単語が一つである場合は、前記抽出された単語を前記一の単語に対応すると認識する、
音声認識方法。
【請求項２】
前記抽出された単語が複数である場合は、前記抽出された各単語を発話したか発話者に尋ねる音声を前記スピーカを通して出力し、
前記発話者から肯定又は否定の回答を前記マイクを介して受信し、
前記肯定の回答に対応する単語を、前記一の単語に対応すると認識する、
請求項１に記載の音声認識方法。
【請求項３】
音声認識方法であって、
一の単語列を意図して発話者によって発話された第１発話を、マイクを介して受信し、
前記第１発話はＮ個（Ｎは２以上の自然数）の音素から構成され、
前記第１発話に対して推定される単語列の信頼度Ｘ１を算出し、
【数１】
2019015950.tif 000010
ｔは、前記第１発話を構成するフレームを指定する番号を示し、
Ｔは、前記第１発話を構成するフレームの総数を示し、
ＰＡ１（ｏｔ，ｓｔ｜ｓｔ−１）は、前記第１発話の１番フレームからｔ−１番フレームまでの状態ｓｔ−１に対応する音素列の次に、ｔ番フレームで任意の音素が出現し、状態ｓｔに対応する音素列に遷移する確率を示し、
ｏｔは前記第１発話から得られ、前記任意の音素を推定するための物理量を示し、
前記任意の音素は全種類の音素を示し、
ＰＬ１（ｓｔ，ｓｔ−１）は、前記第１発話において前記状態ｓｔ−１に対応する単語列の次に、ｔ番フレームで任意の単語が出現し、前記状態ｓｔに対応する単語列に遷移する確率を示し、
前記信頼度Ｘ１が閾値以上であるか判定し、
前記信頼度Ｘ１が前記閾値未満である場合は、前記発話者へ前記一の単語列を再度発話するように促す音声をスピーカを通して出力させ、
前記一の単語列を意図して前記発話者によって再度発話された第２発話を、前記マイクを介して受信し、
前記第２発話の信頼度Ｘ１が前記閾値未満である場合は、前記第１発話と前記第２発話から推定される全ての単語列に対して合成信頼度Ｘを算出し、
【数２】
2019015950.tif 000011
ｔは、前記第１発話および前記第２発話を構成するフレームを指定する番号を示し、
Ｔは、前記第１発話および前記第２発話を構成するフレームの総数を示し、
ＰＡ１（ｏｔ，ｓｔ｜ｓｔ−１）は、前記第１発話の１番フレームからｔ−１番フレームまでの状態ｓｔ−１に対応する音素列の次に、ｔ番フレームで任意の音素が出現し、状態ｓｔに対応する音素列に遷移する確率を示し、
ｏｔは、前記第１発話から得られ、前記任意の音素を推定するための物理量を示し、
前記任意の音素は、全種類の音素を示し、
ＰＡ２（ｑｔ，ｓｔ｜ｓｔ−１）は、前記第２発話の１番フレームからｔ−１番フレームまでの状態ｓｔ−１に対応する音素列の次に、ｔ番フレームで任意の音素が出現し、状態ｓｔに対応する音素列に遷移する確率を示し、
ｑｔは前記第２発話から得られ、前記任意の音素を推定するための物理量を示し、
ＰＬ（ｓｔ，ｓｔ−１）は、前記第１発話において前記状態ｓｔ−１に対応する単語列の次に、ｔ番フレームで任意の単語が出現し、前記状態ｓｔに対応する単語列に遷移する確率を示し、
前記合成信頼度Ｘのうち最大値を与える前記状態ｓｔに対応する単語列を、前記一の単語列として認識する、
音声認識方法。
【請求項４】
音声認識方法であって、
一の単語列を意図して発話者によって発話された第１発話を、マイクを介して受信し、
前記第１発話はＮ個（Ｎは２以上の自然数）の音素から構成され、
前記第１発話に対して推定される全ての単語列の信頼度Ｘ１を算出し、
【数３】
2019015950.tif 000012
ｔ１は、前記第１発話を構成するフレームを指定する番号を示し、
Ｔ１は、前記第１発話を構成するフレームの総数を示し、
ＰＡ１（ｏｔ１，ｓｔ１｜ｓｔ１−１）は、前記第１発話の１番フレームからｔ１−１番フレームまでの状態ｓｔ１−１に対応する音素列の次に、ｔ１番フレームで任意の音素が出現し、状態ｓｔ１に対応する音素列に遷移する確率を示し、
ｏｔ１は前記第１発話から得られ、前記任意の音素を推定するための物理量を示し、
前記任意の音素は全種類の音素を示し、ＰＬ１（ｓｔ１，ｓｔ１−１）は、前記第１発話において前記状態ｓｔ１−１に対応する単語列の次に、ｔ１番フレームで任意の単語が出現し、前記状態ｓｔ１に対応する単語列に遷移する確率を示し、
前記信頼度Ｘ１の最大値ＭａｘＸ１が閾値以上であるか判定し、
前記最大値ＭａｘＸ１が前記閾値未満である場合は、
前記信頼度Ｘ１の上位Ｍ個（Ｍは２以上の自然数）を与える前記第１発話に対して推定される第１単語列を抽出し、
前記発話者へ前記一の単語列を再度発話するように促す音声をスピーカを通して出力させ、
前記一の単語列を意図して前記発話者によって再度発話された第２発話を、マイクを介して受信し、
前記第２発話に対して推定される全ての単語列の信頼度Ｘ２を算出し、
【数４】
2019015950.tif 000013
ｔ２は、前記第２発話を構成するフレームを指定する番号を示し、
Ｔ２は、前記第２発話を構成するフレームの総数を示し、
ＰＡ２（ｏｔ２，ｓｔ２｜ｓｔ２−１）は、前記第２発話の１番フレームからｔ２−１番フレームまでの状態ｓｔ２−１に対応する音素列の次に、ｔ２番フレームで任意の音素が出現し、状態ｓｔ２に対応する音素列に遷移する確率を示し、
ｏｔ２は前記第２発話から得られ、前記任意の音素を推定するための物理量を示し、
ＰＬ２（ｓｔ２，ｓｔ２−１）は、前記第２発話において前記状態ｓｔ２−１に対応する単語列の次に、ｔ２番フレームで任意の単語が出現し、前記状態ｓｔ２に対応する単語列に遷移する確率を示し、
前記信頼度Ｘ２の最大値ＭａｘＸ２が閾値以上であるか判定し、
前記最大値ＭａｘＸ２が前記閾値未満である場合は、前記信頼度Ｘ２の前記上位Ｍ個を与える前記第２発話に対して推定される第２単語列を抽出し、
前記第１単語列と前記第２単語列とに共通する単語列がある場合は、前記共通する単語列を前記一の単語列として認識する、
音声認識方法。
【請求項５】
請求項１、３、４のいずれか一項に記載の音声認識方法をコンピュータに実行させるためのプログラム。
【請求項６】
プロセッサ、メモリ、マイク、及びスピーカを備える音声認識装置であって、
前記プロセッサは、
一の単語を意図して発話者によって発話された第１発話を、前記マイクを介して受信し、
前記第１発話はＮ個（Ｎは２以上の自然数）の音素から構成され、
前記第１発話を構成する前記Ｎ個の音素ごとに、全種類の音素の出現確率を算出し、
前記第１発話を構成する第１音素から第Ｎ音素まで、各前記Ｎ個の音素に対応する最大出現確率を有する音素を順に並べた音素列を前記第１発話に対応する第１音素列と認識し、
前記第１音素列を構成するＮ個の音素が有する出現確率どうしを掛け合わせることによって第１値を算出し、
前記第１値が第１閾値未満である場合は、前記発話者へ前記一の単語を再度発話するように促す音声を前記スピーカを通して出力させ、
前記一の単語を意図して前記発話者によって再度発話された第２発話を、前記マイクを介して受信し、前記第２発話はＭ個（Ｍは２以上の自然数）の音素から構成され、
前記第２発話を構成する前記Ｍ個の音素ごとに、全種類の音素について出現確率を算出し、
前記第２発話を構成する第１音素から第Ｍ音素まで、各前記Ｍ個の音素に対応する最大出現確率を有する音素を順に並べた音素列を前記第２発話に対応する第２音素列と認識し、
前記第２音素列を構成するＭ個の音素が有する出現確率どうしを掛け合わせることによって第２値を算出し、
前記第２値が前記第１閾値未満である場合は、前記第１音素列において第２閾値以上の出現確率を有する音素と前記第２音素列において前記第２閾値以上の出現確率を有する音素を抽出し、
前記メモリに記憶された辞書から、前記抽出された音素を含む単語を抽出し、前記辞書は各単語と前記各単語に対応する音素列を対応付け、
前記抽出された単語が一つである場合は、前記抽出された単語を前記一の単語に対応すると認識する、
音声認識装置。
【請求項７】
請求項６記載の音声認識装置と、
前記音声認識装置を内蔵する筐体と、
前記筐体を移動させる移動機構と、
を備えるロボット。
【請求項８】
プロセッサ、マイク、及びスピーカを備える音声認識装置であって、
前記プロセッサは、
一の単語列を意図して発話者によって発話された第１発話を、前記マイクを介して受信し、
前記第１発話はＮ個（Ｎは２以上の自然数）の音素から構成され、
前記第１発話に対して推定される単語列の信頼度Ｘ１を算出し、
【数５】
2019015950.tif 000014
ｔは、前記第１発話を構成するフレームを指定する番号を示し、
Ｔは、前記第１発話を構成するフレームの総数を示し、
ＰＡ１（ｏｔ，ｓｔ｜ｓｔ−１）は、前記第１発話の１番フレームからｔ−１番フレームまでの状態ｓｔ−１に対応する音素列の次に、ｔ番フレームで任意の音素が出現し、状態ｓｔに対応する音素列に遷移する確率を示し、
ｏｔは前記第１発話から得られ、前記任意の音素を推定するための物理量を示し、
前記任意の音素は全種類の音素を示し、
ＰＬ１（ｓｔ，ｓｔ−１）は、前記第１発話において前記状態ｓｔ−１に対応する単語列の次に、ｔ番フレームで任意の単語が出現し、前記状態ｓｔに対応する単語列に遷移する確率を示し、
前記信頼度Ｘ１が閾値以上であるか判定し、
前記信頼度Ｘ１が前記閾値未満である場合は、前記発話者へ前記一の単語列を再度発話するように促す音声を前記スピーカを通して出力させ、
前記一の単語列を意図して前記発話者によって再度発話された第２発話を、前記マイクを介して受信し、
前記第２発話の信頼度Ｘ１が前記閾値未満である場合は、前記第１発話と前記第２発話から推定される全ての単語列に対して合成信頼度Ｘを算出し、
【数６】
2019015950.tif 000015
ｔは、前記第１発話および前記第２発話を構成するフレームを指定する番号を示し、
Ｔは、前記第１発話および前記第２発話を構成するフレームの総数を示し、
ＰＡ１（ｏｔ，ｓｔ｜ｓｔ−１）は、前記第１発話の１番フレームからｔ−１番フレームまでの状態ｓｔ−１に対応する音素列の次に、ｔ番フレームで任意の音素が出現し、状態ｓｔに対応する音素列に遷移する確率を示し、
ｏｔは、前記第１発話から得られ、前記任意の音素を推定するための物理量を示し、
前記任意の音素は、全種類の音素を示し、
ＰＡ２（ｑｔ，ｓｔ｜ｓｔ−１）は、前記第２発話の１番フレームからｔ−１番フレームまでの状態ｓｔ−１に対応する音素列の次に、ｔ番フレームで任意の音素が出現し、状態ｓｔに対応する音素列に遷移する確率を示し、
ｑｔは前記第２発話から得られ、前記任意の音素を推定するための物理量を示し、
ＰＬ（ｓｔ，ｓｔ−１）は、前記第１発話において前記状態ｓｔ−１に対応する単語列の次に、ｔ番フレームで任意の単語が出現し、前記状態ｓｔに対応する単語列に遷移する確率を示し、
前記合成信頼度Ｘのうち最大値を与える前記状態ｓｔに対応する単語列を、前記一の単語列として認識する、
音声認識装置。
【請求項９】
請求項８記載の音声認識装置と、
前記音声認識装置を内蔵する筐体と、
前記筐体を移動させる移動機構と、
を備えるロボット。
【請求項１０】
プロセッサ、マイク、及びスピーカを備える音声認識装置であって、
前記プロセッサは、
一の単語列を意図して発話者によって発話された第１発話を、前記マイクを介して受信し、
前記第１発話はＮ個（Ｎは２以上の自然数）の音素から構成され、
前記第１発話に対して推定される全ての単語列の信頼度Ｘ１を算出し、
【数７】
2019015950.tif 000016
ｔ１は、前記第１発話を構成するフレームを指定する番号を示し、
Ｔ１は、前記第１発話を構成するフレームの総数を示し、
ＰＡ１（ｏｔ１，ｓｔ１｜ｓｔ１−１）は、前記第１発話の１番フレームからｔ１−１番フレームまでの状態ｓｔ１−１に対応する音素列の次に、ｔ１番フレームで任意の音素が出現し、状態ｓｔ１に対応する音素列に遷移する確率を示し、
ｏｔ１は前記第１発話から得られ、前記任意の音素を推定するための物理量を示し、
前記任意の音素は全種類の音素を示し、ＰＬ１（ｓｔ１，ｓｔ１−１）は、前記第１発話において前記状態ｓｔ１−１に対応する単語列の次に、ｔ１番フレームで任意の単語が出現し、前記状態ｓｔ１に対応する単語列に遷移する確率を示し、
前記Ｘ１の最大値ＭａｘＸ１が閾値以上であるか判定し、
前記最大値ＭａｘＸ１が前記閾値未満である場合は、
前記信頼度Ｘ１の上位Ｍ個（Ｍは２以上の自然数）を与える前記第１発話に対して推定される第１単語列を抽出し、
前記発話者へ前記一の単語列を再度発話するように促す音声を前記スピーカを通して出力させ、
前記一の単語列を意図して前記発話者によって再度発話された第２発話を、前記マイクを介して受信し、
前記第２発話に対して推定される全ての単語列の信頼度Ｘ２を算出し、
【数８】
2019015950.tif 000017
ｔ２は、前記第２発話を構成するフレームを指定する番号を示し、
Ｔ２は、前記第２発話を構成するフレームの総数を示し、
ＰＡ２（ｏｔ２，ｓｔ２｜ｓｔ２−１）は、前記第２発話の１番フレームからｔ２−１番フレームまでの状態ｓｔ２−１に対応する音素列の次に、ｔ２番フレームで任意の音素が出現し、状態ｓｔ２に対応する音素列に遷移する確率を示し、
ｏｔ２は前記第２発話から得られ、前記任意の音素を推定するための物理量を示し、
ＰＬ２（ｓｔ２，ｓｔ２−１）は、前記第２発話において前記状態ｓｔ２−１に対応する単語列の次に、ｔ２番フレームで任意の単語が出現し、前記状態ｓｔ２に対応する単語列に遷移する確率を示し、
前記信頼度Ｘ２の最大値ＭａｘＸ２が閾値以上であるか判定し、
前記最大値ＭａｘＸ２が前記閾値未満である場合は、前記信頼度Ｘ２の前記上位Ｍ個を与える前記第２発話に対して推定される第２単語列を抽出し、
前記第１単語列と前記第２単語列とに共通する単語列がある場合は、前記共通する単語列を前記一の単語列として認識する、
音声認識装置。
【請求項１１】
請求項１０記載の音声認識装置と、
前記音声認識装置を内蔵する筐体と、
前記筐体を移動させる移動機構と、
を備えるロボット。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、音声認識の技術に関するものである。
【背景技術】
【０００２】
近年、発話した音声データから発話内容を示す単語列を推定する種々の音声認識方法が提案されている。
【０００３】
例えば、特許文献１では、下記の音声認識方法が開示されている。すなわち、発話した音声データを複数の音素区間ｘに区画して各音素区間ｘに音素モデルを割り当て、ｎ番目の音素区間ｘに対して割り当てた音素モデルｐの尤度Ｐｓｎと、音素モデルｐ以外の音素モデルの音素区間ｘの尤度の最高値Ｐｍａｘｎ及び尤度Ｐｓｎの差分尤度Ｐｄｎとを求める。そして、尤度Ｐｓｎ及び差分尤度Ｐｄｎをそれぞれ、正解音素区間尤度モデル及び不正解音素度尤度モデルに入力して、正解音素区間尤度モデルの尤度Ｌｎｃと、不正解音素尤度モデルの尤度Ｌｎｉとを求める。そして、尤度Ｌｎｃと尤度Ｌｎｉとの差分尤度ｃｎを求め、差分尤度ｃｎの全音素区間の加算値を単語信頼度ＷＣとして求め、単語信頼度ＷＣが閾値以上であれば、その音声データに対して割り当てた音素列を出力し、単語信頼度ＷＣが閾値未満であれば、当該音素列をリジェクトする。
【０００４】
しかし、特許文献１は、音素尤度のみが考慮されており、言語尤度は何ら考慮されていないので、言語として自然さを持つ音素列を再現することができないという課題がある。
【０００５】
そこで、非特許文献１では、音響尤度と言語尤度とを用いて、発話を音声認識して単語列を推定する方法が開示されている。具体的には、非特許文献１では、式（１）の右辺に示す確率の積を最大とする単語列Ｗが認識結果として選択される。ここで、ｗは任意の単語列であり、Ｐ（Ｏ｜ｗ）は単語列ｗの音素列がＯである確率（音響尤度）であり、音響モデルにより計算される。Ｐ（ｗ）はｗの言語としてのもっともらしさを示す確率（言語尤度）であり、ｎ−ｇｒａｍなどの連続する単語の出現頻度情報を基に言語モデルにより計算される。
【０００６】
また、この方法では、この音響尤度と言語尤度との積を認識結果の確からしさ（文章の信頼度）として認識結果と一緒に出力される。
【０００７】
【数１】
2019015950.tif 000003
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平１１−２４９６８８号公報
【非特許文献】
【０００９】
【非特許文献１】堀貴明・塚田元著、情報処理学会誌４５巻１０号ＰＰ.１０２０−１０２６、音声情報処理技術の最先端：３．重み付き有限状態トランスデューサによる音声認識、２００４年１０月
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、非特許文献１では、入力発話が曖昧であったり、入力発話がノイズなどの影響を強く受けていたりした場合、文章の信頼度が低い値となる。そして、文章の信頼度が低い場合、認識結果に誤りを含む可能性が高くなるという課題が存在する。
【００１１】
本開示は、このような課題を解決するためになされたものである。
【課題を解決するための手段】
【００１２】
本開示の一態様に係る音声認識方法は、
一の単語を意図して発話者によって発話された第１発話を、マイクを介して受信し、
前記第１発話はＮ個（Ｎは２以上の自然数）の音素から構成され、
前記第１発話を構成する前記Ｎ個の音素ごとに、全種類の音素の出現確率を算出し、
前記第１発話を構成する第１音素から第Ｎ音素まで、各前記Ｎ個の音素に対応する最大出現確率を有する音素を順に並べた音素列を前記第１発話に対応する第１音素列と認識し、
前記第１音素列を構成するＮ個の音素が有する出現確率どうしを掛け合わせることによって第１値を算出し、
前記第１値が第１閾値未満である場合は、前記発話者へ前記一の単語を再度発話するように促す音声をスピーカを通して出力させ、
前記一の単語を意図して前記発話者によって再度発話された第２発話を、前記マイクを介して受信し、前記第２発話はＭ個（Ｍは２以上の自然数）の音素から構成され、
前記第２発話を構成する前記Ｍ個の音素ごとに、全種類の音素について出現確率を算出し、
前記第２発話を構成する第１音素から第Ｍ音素まで、各前記Ｍ個の音素に対応する最大出現確率を有する音素を順に並べた音素列を前記第２発話に対応する第２音素列と認識し、
前記第２音素列を構成するＭ個の音素が有する出現確率どうしを掛け合わせることによって第２値を算出し、
前記第２値が前記第１閾値未満である場合は、前記第１音素列において第２閾値以上の出現確率を有する音素と前記第２音素列において前記第２閾値以上の出現確率を有する音素を抽出し、
メモリに記憶された辞書から、前記抽出された音素を含む単語を抽出し、前記辞書は各単語と前記各単語に対応する音素列を対応付け、
前記抽出された単語が一つである場合は、前記抽出された単語を前記一の単語に対応すると認識する。
【発明の効果】
【００１３】
本開示は、発話者が幼児である場合、又は入力発話がノイズの影響を大きく受ける環境下においても、認識精度を向上させることができる。
【図面の簡単な説明】
【００１４】
【図１】実施の形態１における音声対話システムの全体構成の一例を示す図である。
【図２】二音素からなる発話において、音素毎に算出された出現確率の一例を示す図である。
【図３】図２において第一音素目の音素と第二音素目の音素との組み合わせに対する出現確率の積を纏めた図である。
【図４】実施の形態１における認識処理の一例を示すフローチャートである。
【図５】実施の形態１における対話の一例を示す図である。
【図６】図５の対話例に対する第一認識結果と第二認識結果との一例を示す図である。
【図７】単語辞書のデータ構成の一例を示す図である。
【図８】第一認識結果から抽出された認識候補単語の一例を示す図である。
【図９】実施の形態１において、第一認識結果と第二認識結果とから認識候補単語を絞り込む処理の別の一例を示す図である。
【図１０】実施の形態２における音声対話システムの全体構成の一例を示す図である。
【図１１】複数のフレームに区切られた音声信号の一例を示す図である。
【図１２】実施の形態２における認識処理の一例を示すフローチャートである。
【図１３】実施の形態２の具体例において１−ｇｒａｍの言語モデルを採用した場合の探索空間の一例を示す図である。
【図１４】実施の形態２の具体例において２−ｇｒａｍの言語モデルを採用した場合の単語辞書の一例を示す図である。
【図１５】実施の形態２の具体例において２−ｇｒａｍの言語モデルを採用した場合の探索空間の一例を示す図である。
【図１６】実施の形態２の具体例における第一認識結果の各音素と第二認識結果の各音素との出現確率が合成された場合の探索空間を示す図である。
【図１７】実施の形態３における音声対話システムの全体構成の一例を示す図である。
【図１８】実施の形態３における認識処理の一例を説明するフローチャートである。
【図１９】実施の形態３における第一認識結果の５−ｂｅｓｔの一例を示す図である。
【図２０】実施の形態３における第二認識結果の５−ｂｅｓｔの一例を示す図である。
【図２１】実施の形態１〜３に係る音声認識装置が実装されたロボットの外観図である。
【発明を実施するための形態】
【００１５】
（本開示の基礎となった知見）
ユーザが発話する音声から発話内容を解析し、解析結果を基に自然な応答を返すことでユーザとの自然な対話を実現したり、機器の制御又は情報提供などのサービスを提供したりする音声対話システムに関する技術が検討されている。
【００１６】
成人を対象とした一般の音声認識システムでは、認識精度は９０％を超えており、たとえ認識できなかったとしても、信頼度が低い認識結果を破棄して、聞き返しによりゆっくり発話してもらったり、はっきりと発話してもらったりすることで、高い信頼度を持つ認識結果を取得することが十分にできる。
【００１７】
しかしながら、一般の音声認識システムでは、言語の獲得段階にある幼児の発話、又は入力発話がノイズの影響を大きく受ける環境では、認識精度が低くなるため、たとえ聞き返したとしても信頼度の高い認識結果が得られないという課題がある。
【００１８】
非特許文献１では、言語らしさを持つ単語列を出力させることはできるものの、信頼度の低い認識結果が得られた場合、聞き返すことについての開示がないので、上記の課題は解決できない。
【００１９】
特許文献１では、信頼度の低い認識結果が得られた場合、その認識結果は破棄することが開示されているに過ぎず、聞き返すことについての開示がないので、非特許文献１と同様、上記の課題を解決できない。
【００２０】
そこで、本発明者は、信頼度が低い認識結果をそのまま破棄するのではなく、その認識結果と聞き返しにより得られた認識結果とを考慮すれば、発話者が幼児である場合、又は入力発話がノイズの影響を大きく受ける環境下においても、認識精度を向上させることができるとの知見を得て、本開示を想到するに至った。
【００２１】
本開示の一態様に係る音声認識方法は、
一の単語を意図して発話者によって発話された第１発話を、マイクを介して受信し、
前記第１発話はＮ個（Ｎは２以上の自然数）の音素から構成され、
前記第１発話を構成する前記Ｎ個の音素ごとに、全種類の音素の出現確率を算出し、
前記第１発話を構成する第１音素から第Ｎ音素まで、各前記Ｎ個の音素に対応する最大出現確率を有する音素を順に並べた音素列を前記第１発話に対応する第１音素列と認識し、
前記第１音素列を構成するＮ個の音素が有する出現確率どうしを掛け合わせることによって第１値を算出し、
前記第１値が第１閾値未満である場合は、前記発話者へ前記一の単語を再度発話するように促す音声をスピーカを通して出力させ、
前記一の単語を意図して前記発話者によって再度発話された第２発話を、前記マイクを介して受信し、前記第２発話はＭ個（Ｍは２以上の自然数）の音素から構成され、
前記第２発話を構成する前記Ｍ個の音素ごとに、全種類の音素について出現確率を算出し、
前記第２発話を構成する第１音素から第Ｍ音素まで、各前記Ｍ個の音素に対応する最大出現確率を有する音素を順に並べた音素列を前記第２発話に対応する第２音素列と認識し、
前記第２音素列を構成するＭ個の音素が有する出現確率どうしを掛け合わせることによって第２値を算出し、
前記第２値が前記第１閾値未満である場合は、前記第１音素列において第２閾値以上の出現確率を有する音素と前記第２音素列において前記第２閾値以上の出現確率を有する音素を抽出し、
メモリに記憶された辞書から、前記抽出された音素を含む単語を抽出し、前記辞書は各単語と前記各単語に対応する音素列を対応付け、
前記抽出された単語が一つである場合は、前記抽出された単語を前記一の単語に対応すると認識する。
【００２２】
この構成によれば、一の単語を意図する第１発話を認識することで得られた第１音素列の第１値が第１閾値より低く、第１音素列の信頼性が低い場合であっても、第１音素列は破棄されない。そして、聞き返しによって得られた一の単語を意図する第２発話の第２値が第１閾値より低く、第２音素列の信頼性も低い場合、第１音素列と第２音素列とのそれぞれから、信頼性の高い音素が抽出され、辞書と比較することで一の単語に対応する単語が抽出される。
【００２３】
このように、本構成は、第１発話に対して信頼性の低い認識結果が得られたとしても、その認識結果を破棄せず、その認識結果を第２発話に対して信頼性の低い認識結果が得られた場合に利用する。そのため、聞き返しによって、信頼性の高い認識結果が得られなかったとしても、両認識結果である第１音素列と第２音素列とのうち信頼性の高い音素を用いて一の単語が認識されているので、一の単語の認識精度を高めることができる。
【００２４】
更に、本構成では、第１音素列と第２音素列とのうち信頼性の高い音素を含む単語が辞書から抽出されているので、言語的に不自然な認識結果が得られることを防止できる。
【００２５】
以上により、本構成は、発話者が幼児である場合、又は入力発話がノイズの影響を大きく受ける環境下においても、認識精度を向上させることができる。
【００２６】
上記構成において、前記抽出された単語が複数である場合は、前記抽出された各単語を発話したか発話者に尋ねる音声を前記スピーカを通して出力し、
前記発話者から肯定又は否定の回答を前記マイクを介して受信し、
前記肯定の回答に対応する単語を、前記一の単語に対応すると認識してもよい。
【００２７】
本構成によれば、第１音素列と第２音素列とのうち信頼性の高い音素を含む複数の単語が辞書から抽出された場合、どの単語を発話したのかを発話者に直接確認しているので、認識精度を高めることができる。
【００２８】
本開示の別の一態様に係る声認識方法は、
一の単語列を意図して発話者によって発話された第１発話を、マイクを介して受信し、
前記第１発話はＮ個（Ｎは２以上の自然数）の音素から構成され、
前記第１発話に対して推定される単語列の信頼度Ｘ１を算出し、
【数２】
2019015950.tif 000004
ｔは、前記第１発話を構成するフレームを指定する番号を示し、
Ｔは、前記第１発話を構成するフレームの総数を示し、
ＰＡ１（ｏｔ，ｓｔ｜ｓｔ−１）は、前記第１発話の１番フレームからｔ−１番フレームまでの状態ｓｔ−１に対応する音素列の次に、ｔ番フレームで任意の音素が出現し、状態ｓｔに対応する音素列に遷移する確率を示し、
ｏｔは前記第１発話から得られ、前記任意の音素を推定するための物理量を示し、
前記任意の音素は全種類の音素を示し、
ＰＬ１（ｓｔ，ｓｔ−１）は、前記第１発話において前記状態ｓｔ−１に対応する単語列の次に、ｔ番フレームで任意の単語が出現し、前記状態ｓｔに対応する単語列に遷移する確率を示し、
前記信頼度Ｘ１が閾値以上であるか判定し、
前記信頼度Ｘ１が前記閾値未満である場合は、前記発話者へ前記一の単語列を再度発話するように促す音声をスピーカを通して出力させ、
前記一の単語列を意図して前記発話者によって再度発話された第２発話を、前記マイクを介して受信し、
前記第２発話の信頼度Ｘ１が前記閾値未満である場合は、前記第１発話と前記第２発話から推定される全ての単語列に対して合成信頼度Ｘを算出し、
【数３】
2019015950.tif 000005
ｔは、前記第１発話および前記第２発話を構成するフレームを指定する番号を示し、
Ｔは、前記第１発話および前記第２発話を構成するフレームの総数を示し、
ＰＡ１（ｏｔ，ｓｔ｜ｓｔ−１）は、前記第１発話の１番フレームからｔ−１番フレームまでの状態ｓｔ−１に対応する音素列の次に、ｔ番フレームで任意の音素が出現し、状態ｓｔに対応する音素列に遷移する確率を示し、
ｏｔは、前記第１発話から得られ、前記任意の音素を推定するための物理量を示し、
前記任意の音素は、全種類の音素を示し、
ＰＡ２（ｑｔ，ｓｔ｜ｓｔ−１）は、前記第２発話の１番フレームからｔ−１番フレームまでの状態ｓｔ−１に対応する音素列の次に、ｔ番フレームで任意の音素が出現し、状態ｓｔに対応する音素列に遷移する確率を示し、
ｑｔは前記第２発話から得られ、前記任意の音素を推定するための物理量を示し、
ＰＬ（ｓｔ，ｓｔ−１）は、前記第１発話において前記状態ｓｔ−１に対応する単語列の次に、ｔ番フレームで任意の単語が出現し、前記状態ｓｔに対応する単語列に遷移する確率を示し、
前記合成信頼度Ｘのうち最大値を与える前記状態ｓｔに対応する単語列を、前記一の単語列として認識する。
【００２９】
本構成によれば、一の単語列を意図する第１発話がＴ個のフレームに分けられ、ｔ−１番フレームまでの状態ｓｔ−１からｔ番フレームまでの状態ｓｔに遷移するときの、音素列の確率ＰＡ１（ｏｔ，ｓｔ｜ｓｔ−１）と、単語列の確率ＰＬ１（ｓｔ，ｓｔ−１）との積を最大化する単語列が一の単語列として認識される。
【００３０】
そして、第１発話の単語列の信頼度Ｘ１が閾値より低く、第１発話の単語列の信頼性が低い場合であっても、第１発話の単語列は破棄されない。そして、聞き返しによって得られた一の単語列を意図する第２発話の単語列の信頼度Ｘ１が閾値より低く、第２発話の単語列の信頼性も低い場合、状態ｓｔにおける第１発話の音素列の確率ＰＡ１（ｏｔ，ｓｔ｜ｓｔ−１）及び第２発話の音素列の確率ＰＡ２（ｑｔ，ｓｔ｜ｓｔ−１）の加算値と、状態ｓｔにおける単語列の確率ＰＬ（ｓｔ，ｓｔ−１）との積が合成信頼度Ｘとして算出され、合成信頼度Ｘを最大化する単語列が一の単語として認識される。
【００３１】
このように、本構成は、第１発話に対して信頼性の低い認識結果が得られたとしても、その認識結果を破棄せず、その認識結果を第２発話に対して信頼性の低い認識結果が得られた場合に利用する。そのため、聞き返しによって、信頼性の高い認識結果が得られなかったとしても、両認識結果を合成することで一の単語列が認識されているので、一の単語列の認識精度を高めることができる。
【００３２】
更に、本構成では、音素列の確率のみならず単語列の確率も考慮されているので、言語的に不自然な認識結果が得られることを防止できる。
【００３３】
以上により、本構成は、発話者が幼児である場合、又は入力発話がノイズの影響を大きく受ける環境下においても、認識精度を向上させることができる。
【００３４】
本開示の更に別の一態様に係る音声認識方法は、
一の単語列を意図して発話者によって発話された第１発話を、マイクを介して受信し、
前記第１発話はＮ個（Ｎは２以上の自然数）の音素から構成され、
前記第１発話に対して推定される全ての単語列の信頼度Ｘ１を算出し、
【数４】
2019015950.tif 000006
ｔ１は、前記第１発話を構成するフレームを指定する番号を示し、
Ｔ１は、前記第１発話を構成するフレームの総数を示し、
ＰＡ１（ｏｔ１，ｓｔ１｜ｓｔ１−１）は、前記第１発話の１番フレームからｔ１−１番フレームまでの状態ｓｔ１−１に対応する音素列の次に、ｔ１番フレームで任意の音素が出現し、状態ｓｔ１に対応する音素列に遷移する確率を示し、
ｏｔ１は前記第１発話から得られ、前記任意の音素を推定するための物理量を示し、
前記任意の音素は全種類の音素を示し、ＰＬ１（ｓｔ１，ｓｔ１−１）は、前記第１発話において前記状態ｓｔ１−１に対応する単語列の次に、ｔ１番フレームで任意の単語が出現し、前記状態ｓｔ１に対応する単語列に遷移する確率を示し、
前記信頼度Ｘ１の最大値ＭａｘＸ１が閾値以上であるか判定し、
前記最大値ＭａｘＸ１が前記閾値未満である場合は、
前記信頼度Ｘ１の上位Ｍ個（Ｍは２以上の自然数）を与える前記第１発話に対して推定される第１単語列を抽出し、
前記発話者へ前記一の単語列を再度発話するように促す音声をスピーカを通して出力させ、
前記一の単語列を意図して前記発話者によって再度発話された第２発話を、マイクを介して受信し、
前記第２発話に対して推定される全ての単語列の信頼度Ｘ２を算出し、
【数５】
2019015950.tif 000007
ｔ２は、前記第２発話を構成するフレームを指定する番号を示し、
Ｔ２は、前記第２発話を構成するフレームの総数を示し、
ＰＡ２（ｏｔ２，ｓｔ２｜ｓｔ２−１）は、前記第２発話の１番フレームからｔ２−１番フレームまでの状態ｓｔ２−１に対応する音素列の次に、ｔ２番フレームで任意の音素が出現し、状態ｓｔ２に対応する音素列に遷移する確率を示し、
ｏｔ２は前記第２発話から得られ、前記任意の音素を推定するための物理量を示し、
ＰＬ２（ｓｔ２，ｓｔ２−１）は、前記第２発話において前記状態ｓｔ２−１に対応する単語列の次に、ｔ２番フレームで任意の単語が出現し、前記状態ｓｔ２に対応する単語列に遷移する確率を示し、
前記信頼度Ｘ２の最大値ＭａｘＸ２が閾値以上であるか判定し、
前記最大値ＭａｘＸ２が前記閾値未満である場合は、前記信頼度Ｘ２の前記上位Ｍ個を与える前記第２発話に対して推定される第２単語列を抽出し、
前記第１単語列と前記第２単語列とに共通する単語列がある場合は、前記共通する単語列を前記一の単語列として認識する。
【００３５】
本構成によれば、一の単語列を意図する第１発話がＴ個のフレームに分けられ、ｔ−１番フレームまでの状態ｓｔ−１からｔ番フレームまでの状態ｓｔに遷移するときの、音素列の確率ＰＡ１（ｏｔ，ｓｔ｜ｓｔ−１）と、単語列の確率ＰＬ１（ｓｔ，ｓｔ−１）との積が信頼度Ｘ１として算出される。
【００３６】
そして、信頼度Ｘ１の最大値ＭａｘＸ１が閾値より低く、第１発話から認識された単語列の信頼性が低い場合、上位Ｍ個の信頼度Ｘ１を持つ第１単語列が抽出され、聞き返しにより第２発話が得られる。
【００３７】
そして、第２発話の単語列の信頼度Ｘ２の最大値ＭａｘＸ２が閾値より低く、第２発話の単語列の信頼性も低い場合、上位Ｍ個の信頼度Ｘ２を持つ第２単語列が抽出され、第１単語列と第２単語列とにおいて共通する単語列がある場合は、共通する単語列が一の単語列として認識される。
【００３８】
このように、本構成は、第１発話に対して信頼性の低い認識結果が得られたとしても、その認識結果を破棄せず、その認識結果を第２発話に対して信頼性の低い認識結果が得られた場合に利用する。そのため、聞き返しによって、信頼性の高い認識結果が得られなかったとしても、第１発話と第２発話との両方で認識された単語列が一の単語列として認識されているので、一の単語列の認識精度を高めることができる。
【００３９】
更に、本構成では、音素列の確率のみならず単語列の確率も考慮されているので、言語的に不自然な認識結果が得られることを防止できる。
【００４０】
以上により、本構成は、発話者が幼児である場合、又は入力発話がノイズの影響を大きく受ける環境下においても、認識精度を向上させることができる。
【００４１】
上記の音声認識方法はロボットに適用されてもよい。
【００４２】
また、本開示は、以上のような特徴的な処理を実行する音声認識方法として実現することができるだけでなく、音声認識方法に含まれる特徴的なステップを実行するための処理部を備える音声認識装置などとして実現することもできる。また、このような音声認識方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、ＣＤ−ＲＯＭ等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
【００４３】
以下、図面を参照しながら、本開示の実施の形態について説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、及びステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、全ての実施の形態において、各々の内容を組み合わせることもできる。
【００４４】
（実施の形態１）
図１は、実施の形態１における音声対話システムの全体構成の一例を示す図である。図１に示す音声対話システムは、音声認識装置１００、マイク４００、スピーカ４１０、サービスアプリサーバ４２０、及び制御機器４３０を備える。
【００４５】
音声認識装置は１００、プロセッサとしてのＣＰＵ（中央演算処理装置）２０、及びメモリ３０を備える。ＣＰＵ２０は、音声認識部２００、単語信頼度判定部２１０、意図解釈部２２０、行動選択部２３０、応答生成部２４０、音声合成部２５０、及び発話抽出部２６０を備える。メモリ３０は、単語辞書３０１及び認識結果記憶部３０２を備える。音声認識部２００は、音素推定部２０１、単語推定部２０２、及び音素出現確率判定部２０３を備える。
【００４６】
単語辞書３０１は、音声認識装置１００が認識可能な単語と音素列との組み合わせを記憶する。図７は、単語辞書のデータ構成の一例を示す図である。単語辞書には、「マンゴー」及び「レンガ」というような単語と、「ｍａｎｇｏ：」及び「ｒｅｎｇａ」というような各単語の音素列とが対応付けて記憶されている。
【００４７】
図１に参照を戻す。音声認識装置１００としてコンピュータを機能させるプログラムは、音声認識装置１００を実装するロボット又は端末に組み込まれたメモリ３０に格納され、ＣＰＵ２０等のプロセッサによって実行される。また、音声認識装置１００を構成する全ての要素は、同一端末に実装されてもよいし、光ファイバ、無線又は公衆電話回線などの任意のネットワークを介して接続される別の端末又はサーバ上に個別に実装されてもよく、音声認識装置１００と別の端末又はサーバとが互いに通信することによって音声対話処理を実現してもよい。
【００４８】
マイク４００は、例えば、指向性マイクで構成され、音声認識装置１００が実装された端末又はロボットに組み込まれている。また、マイク４００は、例えばハンドマイク、ピンマイク、又は卓上マイクなど任意の収音デバイスで構成されてもよい。この場合、マイク４００は、有線又は無線を介して音声認識装置１００が実装された端末に接続される。また、マイク４００は、スマートフォン又はタブレット端末などの収音及び通信機能を持つデバイスに搭載されたマイクで構成されてもよい。
【００４９】
スピーカ４１０は、音声認識装置１００が実装された端末又はロボットに組み込まれてもよいし、音声認識装置１００が実装された端末又はロボットと、有線又は無線を介して接続されてもよい。また、スピーカ４１０は、スマートフォン又はタブレット端末などの集音及び通信機能を持つデバイスに搭載されたスピーカで構成されてもよい。
【００５０】
サービスアプリサーバ４２０は、お天気、読み聞かせ、ニュース、及びゲームなどの複数のサービスをネットワークを介してユーザに提供するクラウドサーバである。例えば、サービスアプリサーバ４２０は、音声認識装置１００による音声の認識結果を取得し、認識結果に応じて実行するサービスを決定する。サービスアプリサーバ４２０より提供されるサービスは、サービスアプリサーバ４２０における実行結果をネットワークを介して取得する機能を備えるプログラムによって実現されていてもよいし、サービスアプリサーバ４２０と、音声認識装置１００が実装されるロボット又は端末上のメモリに記憶されたプログラムとによって実現されてもよい。
【００５１】
制御機器４３０は、有線又は無線によって音声認識装置１００と接続されたテレビ又は空調器等の機器で構成され、音声認識装置１００から音声の認識結果を受信して制御される機器である。
【００５２】
発話抽出部２６０は、マイク４００から出力された音声信号のうち発話中の音声信号を抽出して音素推定部２０１に出力する。ここで、発話抽出部２６０は、例えば所定音量以上の音声が一定期間以上継続した場合、発話が開始されたことを検出し、マイク４００から入力される音声信号の音素推定部２０１への出力を開始する。また、発話抽出部２６０は所定音量未満の音声が所定期間以上続いたことを検出した場合、音素推定部２０１への音声信号の出力を停止する。本実施の形態では、発話抽出部２６０は、一の単語を意図して発話者が発話した音声の音声信号を抽出するものとする。また、発話者は、言語獲得段階にある幼児とする。
【００５３】
音素推定部２０１は、発話抽出部２６０により入力された音声信号を、所定の時間単位で構成される複数の音声区間に区切り、各音素区間において全種類の音素のそれぞれの出現確率を算出する。音素とは、言語において、音声の最小単位のことを指し、例えば、「ａ」及び「ｉ」などの記号で表される。全種類の音素とは、発話に用いられる全ての音素を指す。この全種類の音素は、音響モデルによってモデル化されている。音響モデルとしては、例えば、ＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ：隠れマルコフモデル）が挙げられる。
【００５４】
音素の種類数は言語によっても異なるが、日本語であれば例えば４０程度である。ここで、音素推定部２０１は、ＨＭＭを用いて、連続する共通の音素区間を１つの音素区間として纏めることで、音素列を推定してもよい。そして、音素推定部２０１は、全音素区間における出現確率の積を最大とする音素の組み合わせを、発話者が発話した音素列として推定する。
【００５５】
単語推定部２０２は、音素推定部２０１により推定された音素列に対して最もマッチする単語を、単語辞書３０１から抽出し、抽出した単語を発話者が発話した単語として推定する。
【００５６】
図２は、二音素からなる発話において、音素毎に算出された出現確率の一例を示す図である。図３は、図２において第一音素目の音素と第二音素目の音素との組み合わせに対する出現確率の積を纏めた図である。
【００５７】
例えば、二音素からなる単語が発話され、図２に示される音素の出現確率が得られたとする。図２では、一音素目に対して音素「ａ」及び「ｕ」の出現確率がそれぞれ「０．４」及び「０．５」と算出され、二音素目に対して音素「ｉ」及び「ｅ」の出現確率がそれぞれ「０．３」及び「０．６」と算出されている。
【００５８】
この場合、一音素目と二音素目との音素の組み合わせとして「ａｉ」、「ａｅ」、「ｕｉ」及び「ｕｅ」の４つが得られ、各組み合わせの出現確率の積は、「０．１２」、「０．２４」、「０．１５」、及び「０．３０」となる。
【００５９】
したがって、一音素目と二音素目との音素の出現確率の積が最大となる組み合わせは、出現確率が「０．３０」である「ｕｅ」となる。この時、音素列「ｕｅ」で単語辞書３０１を検索し、音素列「ｕｅ」にマッチする単語を認識結果として出力する。この時の各音素の出現確率の積、つまり「ｕｅ」＝「０．３０」が認識された単語の信頼度となる。
【００６０】
単語信頼度判定部２１０は、単語推定部２０２により認識された単語の信頼度（第１値、第２値の一例）と所定の閾値ＴＨ１（第１閾値の一例）とを比較して、単語の信頼度が閾値ＴＨ１未満である場合、認識結果記憶部３０２に、単語推定部２０２により認識された単語の音素列と、各音素の出現確率とを含む認識結果を第一発話に対する第一認識結果として記憶させる。この場合、単語信頼度判定部２１０は、発話者に一の単語を再度発話させるために、再発話を促す音声の生成指示を応答生成部２４０に出力する。
【００６１】
単語信頼度判定部２１０は、再発話によって発話者に一の単語を意図する第二発話が行われ、単語推定部２０２により第二認識結果が得られた場合、第二認識結果の信頼度が閾値ＴＨ１未満であるか否かを判定する。
【００６２】
音素出現確率判定部２０３は、単語信頼度判定部２１０により、第二認識結果の信頼度が閾値ＴＨ１未満と判定された場合、第一認識結果により認識された単語と、第二認識結果により認識された単語とのそれぞれにおいて、音素の出現確率が閾値ＴＨ２以上の音素を抽出する。
【００６３】
単語推定部２０２は、音素出現確率判定部２０３により抽出された音素列を含む単語を単語辞書３０１から抽出し、抽出結果に基づいて最終認識結果としての単語を決定する。
【００６４】
また、単語信頼度判定部２１０は、単語の信頼度が閾値ＴＨ１以上である場合、認識結果を意図解釈部２２０に出力する。
【００６５】
意図解釈部２２０は、認識結果から応答の種別（例えば、相槌、又は質問回答など）と、行動の種別（しりとり、かくれんぼ、又はテレビ制御など）とを推定する。そして、意図解釈部２２０は、応答生成部２４０に応答の種別の推定結果を出力すると共に、行動選択部２３０に行動の種別の推定結果を出力する。
【００６６】
行動選択部２３０は、意図解釈部２２０の推定結果から、実行するサービス又は制御対象となる制御機器４３０を判断する。そして、行動選択部２３０は、サービスを実行すると判断した場合、実行するサービスの提供依頼をサービスアプリサーバ４２０に送信する。また、行動選択部２３０は、制御機器４３０を制御すると判断した場合、制御対象となる制御機器４３０に制御指示を出力する。
【００６７】
応答生成部２４０は、意図解釈部２２０から応答の種別の推定結果を取得した場合、推定結果に対応する応答文を生成する。一方、応答生成部２４０は、単語信頼度判定部２１０から再発話を促す音声の生成指示を取得した場合、発話者に一の単語を聞き返す応答文を生成する。
【００６８】
音声合成部２５０は、応答生成部２４０により生成された応答文を音声信号に変換し、スピーカ４１０に出力する。スピーカ４１０は、音声合成部２５０から出力された音声信号を音声に変換し、外部に出力する。
【００６９】
図４は、実施の形態１における認識処理の一例を示すフローチャートである。まず、発話抽出部２６０は、マイク４００における音声入力の有無を判断する（ステップＳ１００）。音声入力が無いと判断された場合（ステップＳ１００でＮＯ）、音声入力が有りになるまでステップＳ１００の処理は繰り返される。
【００７０】
一方、音声入力が有りと判断された場合（ステップＳ１００でＹＥＳ）、発話抽出部２６０は、マイク４００から出力される音声信号から発話中の音声信号を抽出する（ステップＳ１０１）。
【００７１】
次に、音声認識部２００は、音声認識処理を実施する（ステップＳ１０２）。具体的には、音素推定部２０１は、発話抽出部２６０により抽出された音声信号を複数の音声区間に区切り、各音声区間の音声信号の特徴量を生成し、生成した特徴量を音響モデルと照合することで、各音声区間の音素を推定する。この時、音素推定部２０１は音声区間ごとに、音素の出現確率を計算し、ＨＭＭを用いることで連続する同一音素の音声区間を一つに纏める。例えば、発話音声を構成する第一音素、第二音素、及び第三音素で構成されているとすると、音素推定部２０１は、第一音素、第二音素、及び第三音素のそれぞれに対して全種類の音素の出現確率を算出する。
【００７２】
例えば、第一音素は、音素「ａ」の確率が「０．４」、音素「ｉ」の確率が「０．１」、音素「ｕ」の確率が「０．２」というように全種類の音素のそれぞれについて、第一音素の出現確率が計算される。第二音素及び第三音素についても、第一音素と同様にして、全種類の音素のそれぞれの出現確率が計算される。
【００７３】
そして、音素推定部２０１は、第一音素の出現確率、第二音素の出現確率、及び第三音素の出現確率の積を最大化する３つの音素の組み合わせを発話音声の音素列として推定する。
【００７４】
次に、単語推定部２０２は、メモリ３０に格納されている単語辞書３０１を参照し、音素推定部２０１により推定された音素列とマッチする単語を選択する。単語辞書３０１にマッチする単語がない場合、単語推定部２０２は、各音素の出現確率の積が次に大きい単語の音素列を音素推定部２０１に推定させる。そして、単語推定部２０２は、推定された音素列にマッチする単語を単語辞書３０１から検索する。このようにして、単語辞書３０１にマッチする単語が得られると、単語推定部２０２は、マッチした単語の音素列の出現確率の積をその単語の信頼度して採用すると共に、マッチした単語の音素列と、その音素列を構成する各音素の出現確率とを認識結果として、単語信頼度判定部２１０に出力する。
【００７５】
次に、単語信頼度判定部２１０は、認識された単語の信頼度が閾値ＴＨ１以上であるか否かを判断する（ステップＳ１０３）。単語の信頼度が閾値ＴＨ１以上であった場合（ステップＳ１０３でＹＥＳ）、単語信頼度判定部２１０は、認識結果記憶部３０２に第一認識結果が記憶されているか否かを判断する（ステップＳ１０４）。ここで、第一認識結果とは、ステップＳ１０１で得られた音声以前に発話された音声の認識結果であって、認識結果記憶部３０２に記憶されている認識結果のことを指す。
【００７６】
すなわち、前回の発話によって認識された単語の信頼度が閾値ＴＨ１未満であり、その発話の認識結果が認識結果記憶部３０２に記憶されている場合に、その認識結果が第一認識結果となる。
【００７７】
第一認識結果が記憶されていた場合（ステップＳ１０４でＹＥＳ）、単語信頼度判定部２１０は、認識結果記憶部３０２に記憶されている第一認識結果を消去し（ステップＳ１０５）、認識結果を意図解釈部２２０に出力する。次に、意図解釈部２２０は、認識結果に基づいて意図理解処理を実施する（ステップＳ１０６）。
【００７８】
一方、認識結果記憶部３０２に第一認識結果が記憶されていなかった場合（ステップＳ１０４でＮＯ）、処理はステップＳ１０６へ遷移する。ステップＳ１０６では、意図解釈部２２０は、認識結果から、応答の種別と行動の種別とを推定する。ステップＳ１０７では、応答生成部２４０は、推定された応答の種別に対応する応答文を生成する。また、ステップＳ１０７では、行動選択部２３０は、推定された行動の種別にしたがって実行するサービス又は制御対象となる制御機器４３０を決定し、サービスを決定した場合はサービスの提供依頼をサービスアプリサーバ４２０に送信し、制御機器４３０を決定した場合は制御対象となる制御機器４３０に制御指示を出力する。
【００７９】
一方、認識された単語の信頼度が閾値ＴＨ１未満である場合（ステップＳ１０３でＮＯ）、単語信頼度判定部２１０は、認識結果記憶部３０２を参照し、第一認識結果が記憶されているか否かを判断する（ステップＳ１１０）。第一認識結果が記憶されていない場合（ステップＳ１１０でＮＯ）、単語信頼度判定部２１０は、単語推定部２０２により推定された単語の音素列と、各音素の出現確率とを、第一発話の認識結果（第一認識結果）として認識結果記憶部３０２に記憶させ（ステップＳ１０９）、再発話を促す音声の生成指示を応答生成部２４０に出力する。
【００８０】
次に、応答生成部２４０は、「もう１回ゆっくり言って？」というような聞き返し応答文を生成し、生成した応答文の音声信号を音声認識部２００に生成させ、生成させた音声信号の音声をスピーカ４１０から出力させる（ステップＳ１０８）。ステップＳ１０８により聞き返し応答文の音声が出力されると、音声認識装置１００は、発話者による一の単語を意図する再発話の待機状態になり、処理はＳ１００に戻る。
【００８１】
この聞き返しにより、発話者により第二発話が行われ、ステップＳ１００〜ステップＳ１０２の処理により、第一発話と同様、第二発話に対する第二認識結果が得られる。そして、第二認識結果の信頼度が閾値ＴＨ１未満であれば、ステップＳ１０３でＮＯと判定され、処理がＳ１１０に進む。
【００８２】
一方、第二認識結果の信頼度が閾値ＴＨ１以上であれば（ステップＳ１０３でＹＥＳ）、第二認識結果が発話者が意図する一の単語として決定され、ステップＳ１０５〜ステップＳ１０７の処理が実行される。
【００８３】
ステップＳ１１０にて、第一認識結果が認識結果記憶部３０２に記憶されていた場合（ステップＳ１１０でＹＥＳ）、音素出現確率判定部２０３は、認識結果記憶部３０２に記憶されている第一認識結果と、ステップＳ１０２により得られた発話者による再発話に対する第二認識結果とから所定の閾値ＴＨ２（第２閾値の一例）以上の音素をそれぞれ抽出する（ステップＳ１１１）。
【００８４】
次に、単語推定部２０２は、単語辞書３０１を参照し、第一認識結果の音素列において、閾値ＴＨ２以上の音素を含む単語を認識候補単語として抽出する（ステップＳ１１２）。次に、単語推定部２０２は、ステップＳ１１２で抽出した認識候補単語のリストから、第二認識結果の音素列において、閾値ＴＨ２以上の音素を含む単語で認識候補単語を絞り込む（ステップＳ１１３）。
【００８５】
図５は、実施の形態１における対話の一例を示す図である。図５において、ロボットは、音声認識装置１００が実装されたロボットを指し、ロボットの後に付された数字はロボットの発話順序を示す。また、幼児とは、ロボットと対話する幼児を指し、幼児の後に付された数字は発話順序を示す。
【００８６】
まず、ロボットは、幼児に対して「どんな果物が好き？」（ロボット１）と発話し、これに対して幼児は「リンゴ」（幼児１）と発話している。しかし、ここでは、「リンゴ」（幼児１）の発話に対して認識された単語の信頼度が低くかったため、ロボットは、ステップＳ１０８によって、聞き返しを実施している。
【００８７】
この聞き返しにより、幼児は「リンゴ」（幼児２）と再発話しているが、この再発話の信頼度も低かった。この場合の音声認識装置１００の処理を図６、図７、及び図８を用いて以下に説明する。
【００８８】
図６は、図５の対話例に対する第一認識結果と第二認識結果との一例を示す図である。図６に示すように第一認識結果では、幼児の「リンゴ」という発話に対して単語「マンゴー」が認識されており、この単語の信頼度が閾値ＴＨ１未満であった。そのため、認識結果記憶部３０２に、第一認識結果が記憶されている。第一認識結果の内訳は、図６に示すように、認識単語が「マンゴー」であり、認識音素列が「ｍ」、・・・、「ｏ：」であり、音素の出現確率である「０．４」、・・・、「０．６」であった。
【００８９】
第一認識結果の信頼度が低かったので、「もう一回ゆっくり言って？」というロボットの聞き返しにより、幼児が再び「リンゴ」と発話したが、「リンドウ」を認識する第二認識結果が得られており、第二認識結果においても、信頼度が閾値ＴＨ１以下であった。第二識結果の内訳は、図６に示すように、認識単語が「リンドウ」であり、認識音素列が「ｒ」、・・・、「ｏ：」であり、音素の出現確率が「０．９」、・・・、「０．５」であった。
【００９０】
ここで、音素の出現確率の閾値ＴＨ２を０．７とする。この場合、音素出現確率判定部２０３は、第一認識結果から、音素の出現確率が０．７以上である音素「ｎ」と音素「ｇ」とを抽出する。また、音素出現確率判定部２０３は、第二認識結果から、音素の出現確率が０．７以上である音素「ｒ」と音素「ｉ」と音素「ｎ」とを抽出する。
【００９１】
次に、単語推定部２０２は、単語辞書３０１を参照し、第一認識結果から抽出された連続する「ｎ」と「ｇ」との音素列を含む単語を認識候補単語として抽出する。図７に例示された単語のうち、連続する音素列「ｎｇ」を含む単語は、「マンゴー」、「レンガ」、「リンゴ」、及び「リンゴジュース」である。
【００９２】
そのため、単語推定部２０２は、図８に示すように「マンゴー」、「レンガ」、「リンゴ」、及び「リンゴジュース」を認識候補単語として抽出する。図８は、第一認識結果から抽出された認識候補単語の一例を示す図である。
【００９３】
更に、単語推定部２０２は、抽出した認識候補単語のうち、第二認識結果から抽出された連続する音素列「ｒｉｎ」を含む単語を抽出することにより、認識候補単語を絞り込む。図８に例示された認識候補単語のうち、連続する音素列「ｒｉｎ」を含む単語は「リンゴ」及び「リンゴジュース」である。
【００９４】
そのため、単語推定部２０２は、ステップＳ１１３において、「リンゴ」及び「リンゴジュース」を認識候補単語として最終的に絞り込む。
【００９５】
図４のステップＳ１１５において、閾値ＴＨ３が３であったとすると、最終的に絞り込まれた認識候補単語は２つであるため、単語推定部２０２は、ステップＳ１１５でＹＥＳと判定する。ステップＳ１１６にて、単語推定部２０２は、「リンゴですか？」「リンゴジュースですか？」というように認識候補単語を一つずつ確認するための確認発話の音声信号を音声合成部２５０に生成させ、スピーカ４１０から出力させる。
【００９６】
発話者は、この確認発話に対して例えば、肯定する発話（例えば「はい」）又は否定する発話（例えば「いいえ」）を行う。単語推定部２０２は、確認発話に対して肯定する発話を認識した場合、その確認発話に対応する単語を一の単語を意図した発話として認識する。一方、単語推定部２０２は、確認発話に対して否定する発話を認識した場合、次の認識候補単語の確認発話を行う。
【００９７】
図９は、実施の形態１において、第一認識結果と第二認識結果とから認識候補単語を絞り込む処理の別の一例を示す図である。図９の例では、第一認識結果及び第二認識結果において、閾値ＴＨ２以上の音素が連続していない場合の絞り込み方法が示されている。
【００９８】
図９において、対話例は図５と同じである。図９の例では、「リンゴ」という発話に対して単語「ルンバ」が認識された第一認識結果と、「リンゴ」という再発話に対して単語「黄粉」が認識された第二認識結果とが得られている。そして、図９の例では、第一認識結果及び第二認識結果とも、信頼度は閾値ＴＨ１＝０．７未満であったため、単語「ルンバ」と単語「黄粉」とを用いて認識候補単語を絞り込む処理を行う。
【００９９】
図９に示すように、第一認識結果において閾値ＴＨ２＝０．７以上の音素は「ｒ」、「ｎ」であり、両音素の順序は「ｒ」の方が「ｎ」より先である。第二認識結果において閾値ＴＨ２＝０．７以上の音素は「ｉ」、「ｏ」であり、両音素の順序は「ｉ」の方が「ｏ」より先である。
【０１００】
そこで、図９の例では、単語推定部２０２は、単語辞書３０１から、「ｒ」と「ｎ」との間に音素が存在しているか否かに拘わらず、「ｒ」→「ｎ」の順で音素が配列された単語を認識候補単語として抽出する。次に、音素出現確率判定部２０３は、抽出した認識候補単語の中から、「ｉ」と「ｏ」との間に音素が存在しているか否かに拘わらず、「ｉ」→「ｏ」の順で配列された単語を抽出し、認識候補単語の更なる絞り込みを行う。
【０１０１】
図４に参照を戻す。ステップＳ１１４にて、認識候補単語が１つに絞りこめた場合（ステップＳ１１４でＹＥＳ）、単語推定部２０２は、絞り込んだ単語を認識結果として決定し、処理をステップＳ１０５に遷移させ、ステップＳ１０５以降の処理が実行される。
【０１０２】
一方、認識候補単語が１つに絞り込めなかった場合（ステップＳ１１４でＮＯ）、音素出現確率判定部２０３は、認識候補単語が２つ以上且つ閾値ＴＨ３以下に絞り込めた否かを判断する（ステップＳ１１５）。絞り込んだ認識候補単語の数が、２つ以上且つ閾値ＴＨ３以下であった場合（ステップＳ１１５でＹＥＳ）、単語推定部２０２は、絞り込んだ認識候補単語を一つずつ発話者に確認する確認発話を行うよう音声合成部２５０に指示する（ステップＳ１１６）。確認発話としては、例えば、絞り込まれた認識候補単語の一つにリンゴが含まれているとすると、「あなたはリンゴといいましたか？」といった発話が挙げられる。
【０１０３】
確認発話に対して、発話者から「はい」又は「そうです」等の肯定を意味する発話が行われた場合、単語推定部２０２は、肯定された認識候補単語を認識結果として確定する。ステップＳ１１７で認識結果が確定した場合（ステップＳ１１７でＹＥＳ）、処理はＳ１０５に遷移し、Ｓ１０５以降の処理が実行される。
【０１０４】
一方、認識候補単語が２つ以上且つ閾値ＴＨ３以下に絞り込めなかった場合（ステップＳ１１５でＮＯ）、処理はステップＳ１０９に遷移し、単語推定部２０２は、第二認識結果をメモリ３０の認識結果記憶部３０２に記憶させる。この時、過去に同じ認識結果が存在すれば、その認識結果は過去の認識結果に上書きされる。また、この時、単語推定部２０２は、絞り込まれた全ての認識候補単語を第二認識結果に含ませて認識結果記憶部３０２に記憶させればよい。
【０１０５】
一方、ステップＳ１１６において、全ての認識候補単語に対して、肯定的な発話が実施されず、認識結果が確定されなかった場合（Ｓ１１７でＮＯ）、音素出現確率判定部２０３は、認識を諦めて処理を終了する。
【０１０６】
このように、実施の形態１の音声認識装置１００によれば、第一発話に対して信頼性の低い認識結果が得られたとしても、その認識結果を破棄せず、その認識結果を第二発話に対して信頼性の低い認識結果が得られた場合に利用する。そのため、聞き返しによって、信頼性の高い認識結果が得られなかったとしても、第一認識結果に含まれる音素列及び第二認識結果に含まれる音素列とのうち信頼性の高い音素を用いて一の単語が認識されている。その結果、一の単語の認識精度を高めることができる。
【０１０７】
なお、第一認識結果と第二認識結果とにより認識結果が一意に絞り込めなかった場合、すなわち、ステップＳ１１５でＮＯと判定されて認識結果記憶部３０２に第二認識結果が記憶された場合（ステップＳ１０９）、音声認識装置１００は、更なる聞き返しにより、第三認識結果を取得すればよい。そして、第三認識結果において信頼度が閾値ＴＨ１未満であった場合、音素出現確率判定部２０３は、第一、第二、及び第三認識結果を用いた絞り込みを実行すればよい。この場合、音素出現確率判定部２０３は、第一認識結果及び第二認識結果によって絞り込まれた認識候補単語を、第三認識結果により認識された音素列のうち出現確率が閾値ＴＨ２以上の音素を含む単語で絞り込めばよい。これによっても、認識候補単語の数が閾値ＴＨ３以下にならなければ、音素出現確率判定部２０３は、更なる聞き返しを行い、認識候補単語の数が閾値ＴＨ３以下になるまで聞き返しを繰り返せばよい。
【０１０８】
（実施の形態２）
図１０は、実施の形態２における音声対話システムの全体構成の一例を示す図である。図１０において、図１との相違点は、単語推定部２０２、音素出現確率判定部２０３、及び単語信頼度判定部２１０が、それぞれ、文章推定部１２０２、音素出現確率合成部１２０３、及び文章信頼度判定部１２１０に置き換えられている点にある。
【０１０９】
実施の形態１の音声認識部２００は、音声として一つの単語のみを認識することが可能な構成であるのに対し、実施の形態２の音声認識部２００の構成は、任意の単語から構成される文章（単語列）が認識可能な構成を取る。
【０１１０】
音素推定部２０１には、隠れマルコフモデル（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ：ＨＭＭ）が用いて音素列を推定し、文章推定部１２０２は、有限状態文法又はｎ−ｇｒａｍを用いて文章（単語列）を推定する。
【０１１１】
ＨＭＭ及び有限状態文法又はｎ−グラムを組み合わせることで複数の音素がネットワーク状に繋げられた有向グラフで構成された探索空間が構成される。したがって、音声認識処理は、ネットワークの経路の探索問題に帰着される。すなわち、音声認識処理は、入力された音声信号に対して最も適合するネットワークの経路を見つけ、その経路に対応する単語列を認識結果とする処理となる。具体的には、音声認識処理は、下記の式（２）において、音素及び単語の出現確率の積を最大化する単語列Ｗ（Ｓ）を求める処理となる。
【０１１２】
【数６】
2019015950.tif 000008
【０１１３】
図１１は、複数のフレームに区切られた音声信号の一例を示す図である。図１１に示すように、フレームとは、入力された音声信号を、例えば２５ｍｓｅｃというような一定の時間間隔に区切ったものを指す。ｏｔは、ｔ番目のフレームにおける特徴ベクトルを示す。特徴ベクトルとは、音素を推定するために用いられる物理量の一例であり、音声信号の音量から得られる。Ｔは、入力された音声信号の長さをフレーム数で表したものである。特徴ベクトルとしては、例えば、メル周波数ケプストラム係数（Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒｕｍ  Ｃｏｅｆｆｉｃｉｅｎｔｓ）が採用できる。ｓｔはｔ番目のフレームまで処理が到達したときの状態を表す。
【０１１４】
図１１において、右向きの矢印１１０１は、状態ｓｔを表している。音素列に関して、状態ｓｔでは、「ｋｙｋｙｏ：ｏ：ｎｎｏ」又は「ｋｙｏ：ｎｏ」の音素列が推定されている。なお、「ｋｙｋｙｏ：ｏ：ｎｎｏ」及び「ｋｙｏ：ｎｏ」は音響モデルの違いに依存する。連続する同じ音素は結合するという音響モデルを音素推定部２０１が利用していれいる場合、状態ｓｔの推定結果は後者になる。簡単のために以降は、１フレーム１音素という音響モデルを用いて説明する。
【０１１５】
また、単語列に関して、状態ｓｔでは、「今日の」という単語列が推定されている。従って、ＰＡ（ｏｔ，ｓｔ｜ｓｔ−１）は、状態ｓｔ−１に対応する音素列から状態ｓｔに対応する音素列へ遷移する確率（音素列の出現確率）を表す。また、ＰＬ（ｓｔ，ｓｔ−１）は状態ｓｔ−１に対応する単語列から状態ｓｔに対応する単語列へ遷移する言語モデルの確率（単語列の出現確率）を表す。なお、単語列の出現確率ＰＬ（ｓｔ，ｓｔ−１）は状態ｓｔ−１と状態ｓｔとが単語の境界である場合に適用され、単語の境界以外は１となる。Ｗ（Ｓ）は、状態遷移過程Ｓ、すなわち、状態ｓｔに対応する単語列を表す。
【０１１６】
入力発話の音声信号に対して、最終的に推定される単語列は、１番目のフレームからＴ番目のフレームまでの音素列に対応する。音素列は１番目のフレーム→２番目のフレーム→・・・→Ｔ番目のフレームというように、前から順に推定されていく。何らかの発話があった場合、まず、音素推定部２０１は、発話の音声信号に対して音素列を推定し得る数だけ推定する。推定し得る音素列は、発話全体に対する音素列以外に、１番目のフレーム、１番目のフレームから２番目のフレーム、及び１番目のフレームから３番目のフレーム・・・というように発話の開始から連続した発話の途中までの音素列も含まれる。
【０１１７】
次に、文章推定部１２０２は、推定された音素列に、割り当て可能な単語を、割り当てられるだけ割り当てていく。そして、文章推定部１２０２は、推定された音素列の出現確率に、割り当てられた単語の出現確率を乗算し、その最大値を得る音素列及び単語の組み合わせを単語列として最終的に推定する。ここで、推定された音素列の出現確率と、割り当てられた単語の出現確率との積は、推定された音素列及びそれに割り当てられた単語から構成される単語列の信頼度を示す。以下、具体的に説明する。
【０１１８】
「今日の天気」と発話された場合、音素推定部２０１は、状態ｓ１、つまり、１番目のフレームの音素列（この場合は音素）から順に、発話全体（ここでは、１番目のフレームからＴ＝９番目のフレームまで）の状態ｓ９の音素列を推定し、推定した音素列ごとにその出現確率を計算する。
【０１１９】
状態ｓ１の音素列が「ｋｙ」と推定された場合、状態ｓ２、つまり２番目のフレームまでの音素列は、例えば「ｋｙｏ：」と推定される。そして、この場合の２番目のフレームまでの音素列の出現確率ＰＡ（ｏ２，ｓ２｜ｓ１）は、音素「ｋｙ」の後に、音素「ｏ：」が出現する確率を表す。
【０１２０】
状態ｓ２の音素列の候補は「ｋｙｏ：」だけではなく、全種類の音素数だけ存在するが、実際に発話されたときの音声の特徴により、音素列の出現確率が変化する。ここでは、「今日の天気」と発話されているので、状態ｓ２の音素列は、音素列「ｋｙｏ：」の出現確率ＰＡの方が音素列「ｋｙｕ：」の出現確率ＰＡよりも高くなる。同様に、状態ｓ９の音素列は、音素列「ｋｙｏ：ｎｏｔｅｎｋｉ」の出現確率ＰＡの方が音素列「ｋｙｏ：ｎｏｄｅｎｃｈｉ」の出現確率ＰＡよりも高くなる。
【０１２１】
文章推定部１２０２は、まず、音素推定部２０１によって推定された音素列に対して、単語を割り当てていく。例えば、状態ｓ９の音素列が「ｋｙｏ：ｎｏｔｅｎｋｉ」と推定された場合、「今日の天気」又は「京の天気」などの単語が割り当てられる。次に、文章推定部１２０２は、割り当てた単語のそれぞれに対して、ｎ−ｇｒａｍなどの言語モデルによる単語の出現確率を用いて、単語列の出現確率ＰＬ（ｓｔ，ｓｔ−１）を計算する。例えば、文章推定部１２０２が２−ｇｒａｍの言語モデルを利用している場合、「今日の」に対する単語の出現確率ＰＬ（ｓｔ，ｓｔ−１）は、「今日」の次に「の」が出現する確率を表し、「京の」に対する単語の出現確率ＰＬ（ｓｔ，ｓｔ−１）は、「京」の次に「の」が出現する確率を表す。
【０１２２】
これらの単語の出現確率は、単語辞書３０１において記憶されている。状態ｓ９の音素列「ｋｙｏ：ｎｏｔｅｎｋｉ」に対する単語の出現確率は、「今日の」の単語の出現確率の方が、「京の」の単語の出現確率より大きかった場合、「今日の天気」に対する単語の出現確率ＰＬ（ｓｔ，ｓｔ−１）の方が「京の天気」に対する単語の出現確率ＰＬ（ｓｔ，ｓｔ−１）よりも大きくなる。ここでは、２−ｇｒａｍの例を説明したが、ｎ−ｇｒａｍ（ｎは自然数）のいずれを利用していても単語の出現確率の計算は同様である。
【０１２３】
文章信頼度判定部１２１０は、音素推定部２０１において推定された音素列の出現確率ＰＡ（ｏｔ，ｓｔ｜ｓｔ−１）と、文章推定部１２０２において推定された全音素列のそれぞれに対して割り当られた複数の単語列の出現確率ＰＬ（ｓｔ，ｓｔ−１）とを乗算して、複数の単語列の信頼度を計算する。そして、文章信頼度判定部１２１０は、複数の信頼度のうち最大の信頼度を持つ単語列を最終的な単語列として認識する。すなわち、文章推定部１２０２は、式（２）におけるＷ（ｓ）を最終的な単語列として認識する。
【０１２４】
音素出現確率合成部１２０３は、第一発話における各音素の出現確率と第二発話における各音素の出現確率との和を取ることで、各音素の出現確率を合成する。なお、各音素の出現確率が合成された場合、文章推定部１２０２は、合成された各音素の出現確率を用いて、第一発話に対して求めた手法と同様の手法を用いて複数の単語列の信頼度を計算し、最大の信頼度を持つ単語列を最終的な認識結果とする。すなわち、文章推定部１２０２は式（３）における単語列Ｗ（ｓ）を最終的な認識結果とする。
【０１２５】
【数７】
2019015950.tif 000009
【０１２６】
ここで、第一発話とは、聞き返しに対する応答発話ではなく、音声認識装置１００からの問いかけに対する応答、又はユーザから音声認識装置１００に対する話しかけによる発話のことを指す。また、第二発話とは、聞き返しに対する応答発話のことを指し、第一発話を意図する発話者による発話のことを指す。
【０１２７】
式（３）において、ＰＡ１は第一発話の音素列の出現確率を示し、ＰＡ２は第二発話の音素列の出現確率を示す。この時、第一発話と第二発話との各音素の出現確率の和は、第一発話の信頼度と第二発話の信頼度とに応じた重み付け加算した値が採用されてもよい。例えば、第一発話の信頼度をα、第二発話の信頼度をβとすると、出現確率の和は、第一発話の各音素の出現確率に対して重み値α／α＋βを乗じた値と、第二発話の各音素の出現確率に対して重み値β／α＋βを乗じた値との加算値が採用されてもよい。
【０１２８】
文章信頼度判定部１２１０は、文章推定部１２０２により推定された第一発話の認識結果に対する信頼度（音素列の出現確率と単語列の出現確率との積）が閾値ＴＨ１以上か否かを判定する。そして、文章信頼度判定部１２１０は、信頼度が閾値ＴＨ１未満の場合、第一発話に対する認識結果を第一認識結果として認識結果記憶部３０２に記憶し、聞き返しを実施する。ここで、第一認識結果には、単語列を推定するために必要な情報が含まれ、例えば、認識された単語列と、その単語列に対応する音素列と、その音素列を構成する各音素の出現確率が含まれる。
【０１２９】
図１２は、実施の形態２における認識処理の一例を示すフローチャートである。ステップＳ２００及びステップＳ２０１の処理は、図４に示す、ステップＳ１００及びステップＳ１０１の処理と同じである。
【０１３０】
音声認識部２００は、音声認識処理を実施する（ステップＳ２０２）。具体的には、音素推定部２０１は、実施の形態１と同様に、音響モデルを用いて各音声区間の音素を推定する。文章推定部１２０２は、単語辞書３０１に登録されている単語列を音素推定部２０１により推定された音素列に割り当てていく。このとき、文章推定部１２０２は、音素推定部２０１により推定された全ての音素列のそれぞれに対して割り当て可能な単語列を割り当てていき、推定された各音素列に対して１以上の単語列の割り当て結果を得る。そして、文章推定部１２０２は、音素列の出現確率と割り当てた単語列の出現確率との積が最大となる単語列を認識結果として出力すると共に、積の最大値を認識結果として得られた単語列の信頼度として文章信頼度判定部１２１０に出力する。
【０１３１】
次に、文章信頼度判定部１２１０は、文章推定部１２０２により認識された単語列の信頼度が閾値ＴＨ１以上であるか否か判断する（ステップＳ２０３）。文章の信頼度が閾値ＴＨ１以上であった場合（ステップＳ２０３でＹＥＳ）、処理はステップＳ２０４に進む。ステップＳ２０４〜ステップＳ２０７は、図４に示すステップＳ１０４〜ステップＳ１０７と同じである。
【０１３２】
一方、文章推定部１２０２により認識された単語列の信頼度が閾値ＴＨ１未満である場合（ステップＳ２０３でＮＯ）、文章信頼度判定部１２１０は、認識結果記憶部３０２を参照し、第一認識結果が記憶されているか否かを判断する（ステップＳ２１０）。第一認識結果が記憶されていない場合（ステップＳ２１０でＮＯ）、文章信頼度判定部１２１０は、文章推定部１２０２により認識された単語列と、その単語列に対応する音素列と、式（２）のＰＡ（ｏｔ，ｓｔ｜ｓｔ−１）により求められる各音素の出現確率とを、第一発話の認識結果（第一認識結果）として認識結果記憶部３０２に記憶させる（ステップＳ２０９）。ステップＳ２０８では、図４に示すステップＳ１０８と同様、音声認識装置１００により聞き返しが行われる。この聞き返しにより、発話者により第二発話が行われ、ステップＳ２００〜ステップＳ２０２の処理により、第一発話と同様、第二発話に対する第二認識結果が得られる。そして、第二認識結果の信頼度が閾値ＴＨ１未満であれば、ステップＳ２０３でＮＯと判定され処理がＳ２１０に進む。
【０１３３】
一方、第二認識結果の信頼度が閾値ＴＨ１以上であれば（ステップＳ２０３でＹＥＳ）、第二認識結果が発話者が意図する一の単語列として決定され、ステップＳ２０５〜ステップＳ２０７の処理が実行される。
【０１３４】
一方、第一認識結果が認識結果記憶部３０２に記憶されていた場合（ステップＳ２１０でＹＥＳ）、音素出現確率合成部１２０３は、認識結果記憶部３０２に記憶されている第一認識結果に含まれる音素列の各音素の出現確率と、ステップＳ２０２により得られた第二発話の音素列の各音素の出現確率の和を取る（ステップＳ２１１）。
【０１３５】
次に、文章推定部１２０２は、第一発話と第二発話との各音素の出現確率の和を乗算することで後述する合成出現確率を算出し、この合成出現確率に単語の出現確率を乗算することで、各単語列の信頼度を算出し、最大の信頼度を与える単語列を発話者が発話した一の単語列としてを認識する（ステップＳ２１２）。ステップＳ２１２の処理が終わると処理はステップＳ２０３へ遷移する。
【０１３６】
（実施の形態２の具体例）
次に実施の形態２の具体例について説明する。この具体例では、簡単のために、「リンゴです」及び「マンゴーです」の二つの単語列（文章）のみを推定できるモデルを用いて、文章を認識する音声認識装置１００が説明される。
【０１３７】
音素推定部２０１が、発話に対する音素列として「ｒｉｎｇｏｄｅｓｕ」と「ｍａｎｇｏ：ｄｅｓｕ」とを推定したとする。この場合、各音素列の出現確率は、各音素列を構成する音素の出現確率同士の積として計算される。
【０１３８】
図１３は、実施の形態２の具体例において１−ｇｒａｍの言語モデルを採用した場合の探索空間の一例を示す図である。
【０１３９】
図１３の探索空間において、１番目の音素「ｓｉｌ」は「ｓｉｌｅｎｔ」を略したものであり、無音区間示す。また、図１３において、各アルファベットは音素を示し、各アルファベットの下に記載された数値は、各音素の出現確率である。この探索空間では、先頭及び最終のそれぞれに要素「ｓｉｌ」が配置されており、音素列「ｒｉｎｇｏｄｅｓｕ」及び音素列「ｍａｎｇｏ：ｄｅｓｕ」とが含まれている。具体的には、この探索空間は、先頭の要素「ｓｉｌ」から「ｒｉｎｇｏ」及び「ｍａｎｇｏ：」の２つの音素列に分岐し、再び音素列「ｄｅｓｕ」で合流し、最終の要素「ｓｉｌ」へと至っている。
【０１４０】
この場合、音素列「ｒｉｎｇｏｄｅｓｕ」の出現確率は、０．７×０．５×０．５×・・・×０．９×０．９と算出され、音素列「ｍａｎｇｏ：ｄｅｓｕ」の出現確率は、０．２×０．３×０．４×・・・×０．９×０．９と算出される。
【０１４１】
ここで、単語辞書３０１には、「リンゴ」、「マンゴー」、及び「です」の３つの単語と、各単語の出現確率とが登録されていたとする。この場合、文章推定部１２０２は、各音素列に対してこれら３つの単語を割り当てることで、図１３に示す探索空間を得る。各単語の右に示される数値は単語の出現確率を示す。
【０１４２】
一般に単語の出現確率はｎ−ｇｒａｍが用いられる。ｎ−ｇｒａｍでは、単語の出現確率が直前の単語に依存すると仮定する。図１３の例では１−ｇｒａｍが用いられている。１−ｇｒａｍは、直前の単語には依存しないため、単語単体の出現確率を利用する。この時、一単語目に「リンゴ」が発話される確率は０．６であり、一単語目に「マンゴー」が発話される確率は０．４である。また、「マンゴー」及び「リンゴ」に続いて「です」が発話される確率は１である。
【０１４３】
文章推定部１２０２は、先頭の要素「ｓｉｌ」から最終の「ｓｉｌ」までを繋ぐ全経路のそれぞれを音素列として抽出し、各音素列に単語辞書３０１に登録された単語のうち割り当て可能な単語を割り当て、複数の単語列を得る。図１３の例では、音素列「ｒｉｎｇｏ」に単語「リンゴ」が割り当てられ、音素列「ｍａｎｇｏ：」に単語「マンゴー」が割り当てられ、音素列「ｄｅｓｕ」に単語「です」が割り当てられる。そのため、図１３の例では、単語列「リンゴです」及び「マンゴーです」が得られる。
【０１４４】
そして、単語列「リンゴです」の音素列「ｒｉｇｏｄｅｓｕ」＋「ｓｉｌ」の各音素の出現確率の乗算値「０．７×０．５×・・・０．９」に単語「リンゴ」の出現確率「０．６及び「です」の出現確率「１」が乗じられ、単語列「リンゴです」の信頼度が得られる。同様にして、単語列「マンゴーです」の信頼度が得られる。
【０１４５】
そして、単語列「リンゴです」及び「マンゴーです」のうち、最大の信頼度を持つ単語列が認識結果として推定される。図１３の例では、単語列「リンゴです」の信頼度の方が単語列「マンゴーです」の信頼度よりも大きいため、単語列「リンゴです」が認識結果となる。
【０１４６】
２−ｇｒａｍの場合、単語の出現確率は、直前の単語のみに依存すると仮定する。つまり、「リンゴ」、「マンゴー」、及び「です」の三単語のみからなる２−ｇｒａｍの辞書は、図１４に示すようになる。図１４は、実施の形態２の具体例において２−ｇｒａｍの言語モデルを採用した場合の単語辞書３０１の一例を示す図である。「ｓｉｌ」も含めて、「リンゴ」、「マンゴー」、及び「です」の三単語から得られる２−ｇｒａｍの組み合わせは下記の通りである。すなわち、２−ｇｒａｍの組み合わせは、「ｓｉｌ」に対して「リンゴ」、「マンゴー」、及び「です」の３組と、「リンゴ」に対して「です」、「マンゴー」、及び「ｓｉｌ」の３組と、「マンゴー」に対して「です」、「リンゴ」、及び「ｓｉｌ」の３組と、「です」に対して「リンゴ」、「マンゴー」、及び「ｓｉｌ」の３組とが考えられ、合計３×４＝１２組の組み合わせが考えられる。そこで、図１４に示す単語辞書３０１では、これら１２組の２−ｇｒａｍの単語列が登録されている。
【０１４７】
図１４に示す単語辞書３０１を用いた２−ｇｒａｍの探索空間は図１５のように表される。図１５は、実施の形態２の具体例において２−ｇｒａｍの言語モデルを採用した場合の探索空間の一例を示す図である。なお、図１５において音素列及び各音素の出現確率は図１３と同じである。
【０１４８】
このとき、図１４のような単語辞書３０１が記憶されている場合は、一単語目に「リンゴ」が出現する確率、すなわち、要素「ｓｉｌ」の次に「リンゴ」が出現する確率は、０．３である。また、一単語目に「マンゴー」が出現する確率、すなわち、要素「ｓｉｌ」の次に「マンゴー」が出現する確率は、０．２である。
【０１４９】
また、「リンゴ」の次に「です」が出現する確率は０．５であり、「マンゴー」の次に「です」が出現する確率は０．４である。更に、「です」の次に要素「ｓｉｌ」が出現する確率は０．６である。この場合、図１５のグラフに示す各経路の音素列の出現確率と２−ｇｒａｍの単語列の出現確率との積が最大となる単語列が認識結果として採用される。すなわち、音素列「ｒｉｎｇｏｄｅｓｕ」の各音素の出現確率と、「ｓｉｌ−リンゴ」、「リンゴ−です」、及び「です−ｓｉｌ」のそれぞれの出現確率（＝０．３、０．５、及び０．６）との積が、単語列「リンゴです」の信頼度として算出される。同様にして、単語列「マンゴーです」の信頼度も算出される。そして、この例では、単語列「リンゴです」の信頼度の方が単語列「マンゴーです」の信頼度よりも高いため、最終的に単語列「リンゴです」が認識結果となる。これは、ｎ−ｇｒａｍが３−ｇｒａｍ以上の場合でも同様の処理となる。
【０１５０】
文章信頼度判定部１２１０は、文章推定部１２０２において推定された単語列の信頼度が閾値ＴＨ１以上であるか否かを判定する。音素出現確率合成部１２０３は、第一発話に対する第一認識結果の信頼度と第二発話に対する第二認識結果の信頼度とが共に閾値ＴＨ１未満である場合、第一発話における各音素の出現確率と第二発話における各音素の出現確率との和を乗算することで、合成出現確率を算出する。
【０１５１】
文章推定部１２０２は、音素出現確率合成部１２０３により算出された合成出現確率を用いて、単語列（文章）を認識する。
【０１５２】
図１６は、実施の形態２の具体例における第一認識結果の各音素と第二認識結果の各音素との出現確率が合成された場合の探索空間を示す図である。図１６では、図１５と同様、音素列「ｒｉｎｇｏｄｅｓｕ」と音素列「ｍａｎｇｏ：ｄｅｓｕ」との有向グラフが示されており、各音素について第一発話の出現確率と第二発話の出現確率とが示されている。また、図１６の例では、１−ｇｒａｍの単語が割り当てられている。図１６において、各音素の直ぐ下に記載された数値は第一発話の出現確率を示し、第一発話の直ぐ下に記載された数値は第二発話の出現確率を示している。
【０１５３】
例えば、音素列「ｒｉｎｇｏｄｅｓｕ」の第一発話における音素「ｒ」の出現確率は、０．７であり、第二発話における音素「ｒ」の出現確率は、０．３である。
【０１５４】
ここで、音素列「ｒｉｎｇｏｄｅｓｕ」の合成出現確率は、（０．７＋０．３）×（０．５＋０．４）×・・・×（０．９＋０．９）である。また、音素列「ｍａｎｇｏ：ｄｅｓｕ」の合成出現確率は、（０．２＋０．４）×（０．３＋０．５）×・・・×（０．９＋０．９）である。
【０１５５】
この場合、文章推定部１２０２は、音素列「ｒｉｎｇｏｄｅｓｕ」及び音素列「ｍａｎｇｏ：ｄｅｓｕ」のそれぞれに対して、単語辞書３０１に登録された１−ｇｒａｍの単語列を割り当てていく。
【０１５６】
そして、文章推定部１２０２は、音素出現確率合成部１２０３により算出された合成出現確率に、単語の出現確率を乗算することによって、各単語列の信頼度を算出する。そして、文章推定部１２０２は、最大の信頼度を持つ音素列を発話者が意図する一の単語列として認識する。
【０１５７】
図１６において、単語列「リンゴです」の信頼度は、一単語目に「リンゴ」が出現する確率が０．６であり、「リンゴ」の次に「です」が出現する確率が１であるため、（０．７＋０．３）×（０．５＋０．４）×・・・×（０．９＋０．９）×０．６×１と算出される。同様に、単語列「マンゴーです」の信頼度は、一単語目に「マンゴー」が出現する確率が０．４であり、「マンゴー」の次に「です」が出現確率が１であるため、０．２＋０．４）×（０．３＋０．５）×・・・×（０．９＋０．９）×０．４×１と算出される。
【０１５８】
そして、ここでは、単語列「リンゴです」の方が単語列「マンゴーです」よりも信頼度が高いため、単語列「リンゴです」が発話されたと認識される。
【０１５９】
このように、実施の形態２の音声認識装置１００によれば、第一発話に対して信頼性の低い認識結果が得られたとしても、その認識結果を破棄せず、その認識結果を第二発話に対して信頼性の低い認識結果が得られた場合に利用する。そのため、聞き返しによって、信頼性の高い認識結果が得られなかったとしても、両認識結果を合成することで一の単語列が認識されているので、一の単語列の認識精度を高めることができる。
【０１６０】
なお、ステップＳ２０９にて、認識結果記憶部３０２に記憶される認識結果は直前の認識結果だけでなく、聞き返しによって得られた過去複数回の認識結果であってもよい。この場合、音素出現確率合成部１２０３は、ステップＳ２１１において、過去複数回の認識結果として得られた複数の音素列の各音素の出現確率と、最新の認識結果として得られた音素列の各音素の出現確率とを合成すればよい。
【０１６１】
（実施の形態３）
図１７は、実施の形態３における音声対話システムの全体構成の一例を示す図である。図１７において、図１０との相違点は、音素出現確率合成部１２０３を省略し、共通候補抽出部２７０を追加した点にある。
【０１６２】
実施の形態３において、文章推定部１２０２は、実施の形態２と同様に単語列を推定するが、信頼度が最大の単語列を認識結果とするのではなく、信頼度が高い順に上位ｎ個の単語列をそれぞれ認識候補として抽出し、上位ｎ個の認識候補（ｎ−ｂｅｓｔ）を認識結果とする。ｎ−ｂｅｓｔとは、認識結果に含まれる複数の認識候補のうち、信頼度が高い順にｎ個の認識候補のことを指す。
【０１６３】
共通候補抽出部２７０は、文章信頼度判定部１２１０により、第一認識結果における信頼度の最大値が閾値ＴＨ１未満且つ第二認識結果における信頼度の最大値が閾値ＴＨ１未満と判定された場合、第一発話の認識候補（ｎ−ｂｅｓｔ）と第二発話の認識候補（ｎ−ｂｅｓｔ）とを比較し、共通する認識候補を抽出し、抽出結果に基づいて最終的に認識する単語列を決定する。
【０１６４】
図１８は、実施の形態３における認識処理の一例を説明するフローチャートである。ステップＳ３００〜ステップＳ３０７の処理は、図１２に示すステップＳ２００〜ステップＳ２０７の処理と基本的に同じである。但し、ステップＳ３０３では、文章信頼度判定部１２１０は、文章推定部１２０２により推定された第一認識結果の信頼度の最大値が閾値ＴＨ１以上であるか否かを判定する。
【０１６５】
ステップＳ３０３において、第一認識結果の信頼度の最大値が閾値ＴＨ１以上である場合（ステップＳ３０３でＹＥＳ）、当該最大値を持つ認識候補が発話者が意図した一の単語列として決定され、ステップＳ３０５〜ステップＳ３０７の処理が実行される。
【０１６６】
一方、ステップＳ３０３において、文章信頼度判定部１２１０は、第一認識結果における信頼度の最大値が閾値ＴＨ１未満である場合（ステップＳ３０３でＮＯ）、認識結果記憶部３０２を参照し、第一認識結果が記憶されているか否かを判断する（ステップＳ３１０）。第一認識結果が記憶されていない場合（ステップＳ３１０でＮＯ）、図１９に示すように、文章信頼度判定部１２１０は、第一発話の認識結果に含まれる認識候補のうち、信頼度（音素毎の出現確率の積と単語毎の出現確率の積）が高い順にｎ個の認識候補をｎ−ｂｅｓｔとして文章推定部１２０２から取得し、認識結果記憶部３０２に記憶する。ステップＳ３０８では、図１０に示すステップＳ２０８と同様、音声認識装置１００により聞き返しが行われる。この聞き返しにより、発話者により第二発話が行われ、ステップＳ３００〜ステップＳ３０２の処理により、第一発話と同様、第二発話に対する第二認識結果が得られる。そして、第二認識結果の信頼度の最大値が閾値ＴＨ１未満であれば、ステップＳ３０３でＮＯと判定され処理がＳ３１０に進む。
【０１６７】
一方、第二認識結果の信頼度の最大値が閾値ＴＨ１以上であれば（ステップＳ３０３でＹＥＳ）、当該最大値を持つ認識候補が発話者が意図する一の単語列として決定され、ステップＳ３０５〜ステップＳ３０７の処理が実行される。
【０１６８】
一方、第一認識結果が認識結果記憶部３０２に記憶されていた場合（ステップＳ３１０でＹＥＳ）、共通候補抽出部２７０は、第一認識結果のｎ−ｂｅｓｔと、第二認識結果のｎ−ｂｅｓｔとを比較する（ステップＳ３１１）。
【０１６９】
次に、共通候補抽出部２７０は、比較した結果、共通の認識候補があるか否かを判断する（ステップＳ３１２）。共通する認識候補が存在する場合（ステップＳ３１２でＹＥＳ）、共通候補抽出部２７０は、共通候補が複数存在するか否かを判定する（ステップＳ３１３）。共通する認識候補が複数存在する場合（ステップＳ３１３でＹＥＳ）、共通候補抽出部２７０は、共通する複数の認識候補のそれぞれについて第一認識結果の信頼度と第二認識結果の信頼度との和を算出する。そして、共通候補抽出部２７０は、信頼度の和が最大の認識候補を最終的な認識結果として決定してもよいし、信頼度の和が高い順に複数の認識候補を最終的な認識結果として決定してもよい。ステップＳ３１３の処理が終了すると、処理はステップＳ３０４に遷移する。また、共通候補抽出部２７０は、信頼度の和が高い順に得られた複数の認識候補に対して、図４のステップＳ１１６で説明した発話確認を行い、発話者によって同意が得られた認識候補を最終的な認識結果として決定してもよい。
【０１７０】
図１９は、実施の形態３における第一認識結果の５−ｂｅｓｔの一例を示す図である。図２０は、実施の形態３における第二認識結果の５−ｂｅｓｔの一例を示す図である。図１９及び図２０において、共通する認識候補は、「リンゴ食べたい」及び「インコ飛べた」である。この時、第一認識結果と第二認識結果との信頼度の和は、「リンゴ食べたい」が０．９６（＝０．５４＋０．４２）、「インコ飛べた」が０．４７（＝０．２０＋０．２７）である。この場合、信頼度の和が最大である「リンゴ食べたい」が最終的な認識結果として決定される。或いは、両方の認識候補が最終的な信頼度として決定されてもよい。
【０１７１】
一方、共通する認識候補が存在しなかった場合（ステップＳ３１２でＮＯ）、処理はステップＳ３０９に遷移する。ステップＳ３０９では、共通候補抽出部２７０は、認識結果記憶部３０２に、第一認識結果に加えて更に第二認識結果を記憶させ、聞き返しの応答文の生成指示を応答生成部２４０に出力することで、発話者への更なる聞き返しを実施する（ステップＳ３０８）。これにより、第三認識結果が取得される。そして、第三認識結果の信頼度の最大値が閾値ＴＨ１未満であれば、第一、第二、及び第三認識結果が比較され、共通する認識候補が抽出される。この場合、第一、第二、及び第三認識結果のうち、少なくとも２つで共通する認識候補があれば、その認識候補が共通する認識結果として抽出される。
【０１７２】
このように、実施の形態３に係る音声認識装置１００によれば、第一発話に対して信頼性の低い認識結果が得られたとしても、その認識結果を破棄せず、その認識結果を第二発話に対して信頼性の低い認識結果が得られた場合に利用する。そのため、聞き返しによって、信頼性の高い認識結果が得られなかったとしても、第一発話と第二発話との両方で認識された単語列が一の単語列が認識されているので、一の単語列の認識精度を高めることができる。
【０１７３】
（ロボット）
音声認識装置１００は図２１に示すようなロボット５００に実装されてもよい。図２１は、実施の形態１〜３に係る音声認識装置１００が実装されたロボット５００の外観図である。ロボット５００は、球帯状のメイン筐体５０１、第１球冠部５０２、及び第２球冠部５０３を備える。メイン筐体５０１、第１球冠部５０２、及び第２球冠部５０３は全体として球体を構成する。即ち、ロボット５００は、球体形状を有する。また、ロボット５００は、第２球冠部５０３にカメラ５０４を備え、第１球冠部５０２に距離センサ５０５、スピーカ４１０、及びマイク４００を備える。
【０１７４】
カメラ５０４は、ロボット５００の周辺環境の映像を取得する。また、距離センサ５０５は、ロボット５００の周辺環境までの距離情報を取得する。尚、本態様において、ロボット５００は、第２球冠部５０３にカメラ５０４を、第１球冠部５０２に距離センサ５０５、スピーカ４１０、及びマイク４００を備えるが、これに限られるものではなく、第１球冠部５０２、及び第２球冠部５０３の少なくとも一方にカメラ５０４、距離センサ５０５、スピーカ４１０、及びマイク４００を備えればよい。
【０１７５】
第１球冠部５０２の中心と第２球冠部５０３の中心とはメイン筐体５０１の内部に設けられたシャフト（図略）によって固定接続されている。メイン筐体５０１はシャフトに対して回転自在に取り付けられている。また、シャフトにはフレーム（図略）及び表示部（図略）が取り付けられている。フレームにはメイン筐体５０１を回転させる第１モータ（図略）が取り付けられている。この第１モータ（図略）が回転することで、メイン筐体５０１は第１球冠部５０２及び第２球冠部５０３に対して回転し、ロボット５００は前進又は後退する。第１モータ及びメイン筐体５０１は移動機構の一例である。なお、ロボット５００が前進又は後退する場合、第１球冠部５０２及び第２球冠部５０３は停止状態にあるので、カメラ５０４、距離センサ５０５、マイク４００、及びスピーカ４１０はロボット１の正面を向いた状態に維持される。また、表示部には、ロボット１の目及び口を示す画像を表示する。この表示部は、第２モータ（図略）による動力によってシャフトに対する角度が調整自在に取り付けられている。したがって、表示部のシャフトに対する角度を調整することで、ロボットの目及び口の方向が調整される。なお、表示部はメイン筐体５０１とは独立してシャフトに取り付けられているので、メイン筐体５０１が回転してもシャフトに対する角度は変化しない。したがって、ロボット５００は、目及び口の向きを固定した状態で前進又は後退できる。
【産業上の利用可能性】
【０１７６】
本開示は、音声の認識精度を向上させることができるため、例えば、発話が曖昧な幼児との対話を行うロボットの技術分野にとって有用である。
【符号の説明】
【０１７７】
２０        ＣＰＵ
３０        メモリ
１００      音声認識装置
２００      音声認識部
２０１      音素推定部
２０２      単語推定部
２０３      音素出現確率判定部
２１０      単語信頼度判定部
２２０      意図解釈部
２３０      行動選択部
２４０      応答生成部
２５０      音声合成部
２６０      発話抽出部
２７０      共通候補抽出部
３０１      単語辞書
３０２      認識結果記憶部
４００      マイク
４１０      スピーカ
５００      ロボット
１２０２    文章推定部
１２０３    音素出現確率合成部
１２１０    文章信頼度判定部
【図１】
2019015950.tif 000018
【図２】
2019015950.tif 000019
【図３】
2019015950.tif 000020
【図４】
2019015950.tif 000021
【図５】
2019015950.tif 000022
【図６】
2019015950.tif 000023
【図７】
2019015950.tif 000024
【図８】
2019015950.tif 000025
【図９】
2019015950.tif 000026
【図１０】
2019015950.tif 000027
【図１１】
2019015950.tif 000028
【図１２】
2019015950.tif 000029
【図１３】
2019015950.tif 000030
【図１４】
2019015950.tif 000031
【図１５】
2019015950.tif 000032
【図１６】
2019015950.tif 000033
【図１７】
2019015950.tif 000034
【図１８】
2019015950.tif 000035
【図１９】
2019015950.tif 000036
【図２０】
2019015950.tif 000037
【図２１】
2019015950.tif 000038