(57)【要約】  音声認識装置は、外部からの音声信号に対応する単語を導出する処理を行なう情報処理部（１０）と、単語を逐次的に出力する出力部（２０）と、情報処理部が有する資源の使用率を取得する使用率取得部（３０）とを備える。情報処理部（１０）は、音声信号に基づいて所定の情報を生成する情報生成部（１２）と、所定の情報を一時的に記憶する一時記憶部（１４）と、所定の情報に基づいて音声信号に対応する単語を導出して音声認識をし、単語を出力部（２０）に出力する単語導出部（１６）と、単語導出部（１６）が行なう処理を使用率取得部（３０）により取得された使用率に基づいて中断および再開させる制御部（１８）とを備える。単語導出部（１６）が行なう処理を使用率に基づいて中断および再開するので、資源の使用率が過大となることに起因する不都合を抑制することができる。
2011043380.tif 000002
【特許請求の範囲】
【請求項１】
外部からの音声信号に対応する単語を導出する処理を行なう情報処理部と、
単語を逐次的に出力する出力部と、
前記情報処理部が有する資源の使用率を取得する使用率取得部とを備え、
前記情報処理部は、
前記音声信号に基づいて所定の情報を生成する情報生成部と、
前記情報生成部からの所定の情報を一時的に記憶する一時記憶部と、
前記一時記憶部により一時的に記憶された所定の情報に基づいて音声信号に対応する単語を導出して音声認識をし、単語を前記出力部に出力する単語導出部と、
前記単語導出部が行なう処理を前記使用率取得部により取得された使用率に基づいて中断および再開させる制御部と
を備えることを特徴とする音声認識装置。
【請求項２】
前記資源は、ＣＰＵおよびメモリの少なくとも一方である
ことを特徴とする請求項１に記載の音声認識装置。
【請求項３】
前記制御部は、前記使用率取得部により取得された使用率が第１の所定値以上であるときには前記単語導出部が行なう処理を中断させ、使用率が第１の所定値より小さい第２の所定値未満となるのを待ってから前記単語導出部が行なう処理を再開させる
ことを特徴とする請求項１に記載の音声認識装置。
【請求項４】
前記制御部は、前記単語導出部が音声信号に対応する単語を導出する処理を行なっているときには、前記単語導出部が単語を導出する処理を終了するまで前記単語導出部が行なう処理を中断させない
ことを特徴とする請求項１に記載の音声認識装置。
【請求項５】
前記単語導出部は、
前記一時記憶部により一時記憶された所定の情報に基づいて入力された音声信号に対応する複数の単語仮説をその確からしさを表わす尤度と結びつけて取得する単語仮説取得部と、
複数の単語仮説の中から各々に設定された尤度に基づいて一の単語仮説を音声信号に対応する単語として選択する単語選択部と
を備えることを特徴とする請求項１に記載の音声認識装置。
【請求項６】
前記単語選択部は、複数の単語仮説から尤度が大きい方から二つの単語仮説を選択し、各々に設定された尤度の差が閾値未満であるときには音声信号に対応する単語の選択を見送り、各々に設定された尤度の差が閾値以上であるときには尤度が最大の一の単語仮説を音声信号に対応する単語として選択する
ことを特徴とする請求項５に記載の音声認識装置。
【請求項７】
前記単語選択部は、音声信号に対応する単語を認識する処理を開始してからの経過時間が長くなるほど小さく閾値を設定する
ことを特徴とする請求項６に記載の音声認識装置。
【請求項８】
前記単語選択部は、複数の単語仮説のうち尤度が最大である一の単語仮説を選択し、この選択された単語仮説と同じ意味をもつ一群の単語仮説を複数の単語仮説の中から抽出し、この抽出された一群の単語仮説が複数の単語仮説の全体数に対して占める割合である仮説占有率が所定占有率未満であるときには選択された単語仮説を音声信号に対応する単語の選択を見送り、この抽出された一群の単語仮説の仮説占有率が所定占有率以上であるときには選択された単語仮説を音声信号に対応する単語として選択する
ことを特徴とする請求項５に記載の音声認識装置。
【請求項９】
前記単語選択部は、音声信号に対応する単語を導出する処理を開始してからの経過時間が長くなるほど小さく所定占有率を設定する
ことを特徴とする請求項８に記載の音声認識装置。
【請求項１０】
前記情報生成部は、音声信号に基づいてこの音声信号の特徴を表わす特徴量を生成する
ことを特徴とする請求項１に記載の音声認識装置。
【請求項１１】
前記情報処理部は、前記単語選択部により選択された単語を翻訳してこの翻訳された単語を前記出力部に逐次的に出力する翻訳部をさらに備える
ことを特徴とする請求項１に記載の音声認識装置。
【請求項１２】
外部からの音声信号に基づいて所定の情報を生成するステップと、
所定の情報を一時的に記憶するステップと、
一時的に記憶した所定の情報に基づいて音声信号に対応する単語を導出して音声認識をし、単語を出力するステップと、
音声信号に対応する単語を導出して音声認識をするための資源の使用率を取得するステップと、
音声認識をする処理を取得した使用率に基づいて中断および再開するステップと
を備えることを特徴とする音声認識方法。
【請求項１３】
外部からの音声信号に基づいて所定の情報を生成するステップと、
所定の情報を一時的に記憶するステップと、
一時的に記憶した所定の情報に基づいて音声信号に対応する単語を導出して音声認識をし、単語を出力するステップと、
音声信号に対応する単語を導出して音声認識をするための資源の使用率を取得するステップと、
音声認識をする処理を取得した使用率に基づいて中断および再開するステップと
をコンピュータに実行させることを特徴とするプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識装置および音声認識方法に関し、特に、音声が連続的に入力されたときに認識した結果を逐次的に出力する音声認識装置および音声認識方法に関する。
【背景技術】
【０００２】
近年、音声で入力された発話を認識してテキストなど記号列に変換する音声認識システムを利用して、テレビ番組の字幕生成や会議の議事録の作成、音声翻訳などを行なう技術が広く知られている。【０００３】
しかしながら、通常の音声認識システムでは、一旦発話が終わらなければ最も確からしい結果を出力できないため、実際の発話から認識した結果を出力するまでの間にタイムラグが生じてしまう。このため、テレビ番組の生中継において字幕を表示する場合や、翻訳システムと組み合わせて異言語間での会話に使用する場合など、リアルタイムでの音声認識が要求される場面では利用しづらかった。【０００４】
このような問題を解決するために、発話中であっても一定間隔で音声認識を行ない、この結果を逐次的に出力する連続音声認識装置が提案されている（たとえば、特許文献１参照）。この連続音声認識装置では、一定間隔で、入力された連続音声に対応する最も確からしい単語を選択し、その中から安定して出力できる単語を抽出して出力するので、リアルタイムで、かつ安定性の高い音声認識を可能としている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３８３４１６９号
【非特許文献】
【０００６】
【非特許文献１】L. Mangu, et al., “Finding consensus in speech recognition: word error minimization and other applications of confusion network,” Computer Speech and Language, vol.14, no.4, pp.373-400, 2000.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、一般に音声認識を行なう処理ではＣＰＵやメモリなどのリソースを大量に使用するため、リソース不足を生じる恐れがある。このようなリソース不足が生じた場合、特許文献１に記載の連続音声認識装置のように逐次的に音声認識処理を行なうと、リソース不足のために音声認識処理の各処理が停滞し、音声入力を取りこぼすなどの不都合を生じる恐れがある。
なお、このようなリソース不足が生じる状況としては、比較的高性能のリソースを搭載するのが難しい携帯電話機などの小型機器で音声認識を行なう場合に起こりやすい。また、比較的高性能のリソースを搭載する機器を用いた場合であっても、音声合成システムや自動翻訳システムなどの処理量が多いシステムと組み合わせて音声認識を行なう場合にも起こりやすい。【０００８】
本発明は、上述した課題を解決するためになされたものであり、リソースの使用率が比較的大きくなったときでも、外部からの音声信号を消失してしまうことを抑制することを可能とした音声認識装置および音声認識方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る音声認識装置は、外部からの音声信号に対応する単語を導出する処理を行なう情報処理部と、単語を逐次的に出力する出力部と、前記情報処理部が有する資源の使用率を取得する使用率取得部とを備え、前記情報処理部は、前記音声信号に基づいて所定の情報を生成する情報生成部と、前記情報生成部からの所定の情報を一時的に記憶する一時記憶部と、前記一時記憶部により一時的に記憶された所定の情報に基づいて音声信号に対応する単語を導出して音声認識をし、単語を前記出力部に出力する単語導出部と、前記単語導出部が行なう処理を前記使用率取得部により取得された使用率に基づいて中断および再開させる制御部とを備えることを特徴とする。【００１０】
本発明に係る音声認識方法は、外部からの音声信号に基づいて所定の情報を生成するステップと、所定の情報を一時的に記憶するステップと、一時的に記憶した所定の情報に基づいて音声信号に対応する単語を導出して音声認識をし、単語を出力するステップと、音声信号に対応する単語を導出して音声認識をするための資源の使用率を取得するステップと、音声認識をする処理を取得した使用率に基づいて中断および再開するステップとを備えることを特徴とする。
【発明の効果】
【００１１】
本発明に係る音声認識装置および音声認識方法によれば、外部からの音声信号に対応する単語を導出する処理を情報処理部が有する資源の使用率に基づいて中断および再開するので、資源の使用率が過大となることに起因する不都合、すなわち外部からの音声信号に基づいて所定の情報を生成する処理が滞ってしまうことを抑制できる。
しかも、生成した所定の情報を一時的に記憶しておくことができるので、外部からの音声信号に対応する単語を導出する処理を中断したときでも、生成した所定の情報が処理されないまま消失してしまうことを抑制できる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の実施の形態１に係る音声認識装置の一構成例を示すブロック図である。
【図２】図２は、本発明の実施の形態１に係る音声認識装置が実行する処理の一例を示すフローチャートである。
【図３】図３は、本発明の実施の形態２に係る音声認識装置の一構成例を示すブロック図である。
【図４】図４は、本発明の実施の形態２に係る音声認識装置が実行する処理の一例を示すフローチャートである。
【図５】図５は、本発明の実施の形態２に係る音声認識装置の制御部が実行するフラグＦ１を設定する処理の一例を示すフローチャートである。
【図６】図６は、本発明の実施の形態３に係る音声認識装置が実行する処理の一例を示すフローチャートである。
【図７】図７は、本発明の変形例に係る音声認識装置の一構成例を示すブロック図である。
【発明を実施するための形態】
【００１３】
［実施の形態１］
以下、本発明の実施の形態１に係る音声認識装置について図を参照しながら詳細に説明する。
本発明の実施の形態１に係る音声認識装置は、外部からの音声信号に対応する単語を導出して逐次的に出力するものである。
【００１４】
まず、本発明の実施の形態１に係る音声認識装置の構成を図１を参照しながら説明する。
本発明の実施の形態１に係る音声認識装置は、図１に示すように、外部からの音声信号をもとに所定の情報処理を行なう情報処理部１０，情報処理部１０により処理された情報を出力する出力部２０，情報処理部１０を構成する資源の使用率を取得する使用率取得部３０から構成される。
情報処理部１０は、外部からの音声信号をもとに所定の情報を生成する情報生成部１２，情報生成部１２が生成した所定の情報を一時的に記憶する一時記憶部１４，一時記憶部１４から所定の情報を引き出して外部からの音声信号に対応する単語を導出する単語導出部１６，使用率取得部３０からの信号に基づいて単語導出部１６が行なう処理を中断させたり再開させたりする制御部１８を含んでいる。
出力部２０は、単語導出部１６により導出された単語を逐次的に音や映像として出力するものである。
使用率取得部３０は、所定時間毎（たとえば、数十ｍｓｅｃ毎や数百ｍｓｅｃ毎など）に情報処理部１０が有する図示しないＣＰＵやメモリなどの資源の使用率を取得して制御部１８に送信するものである。
なお、上述した本発明の実施の形態１に係る音声認識装置の各機能は、ＣＰＵやメモリ、各種インターフェースを有するコンピュータによって記録媒体に記録されたプログラムが読み込まれることにより、そのコンピュータのハードウェア資源とソフトウェアとが協働することによって実現することができる。
【００１５】
次に、本発明の実施の形態１に係る音声認識装置の動作を図２を参照しながら説明する。
【００１６】
まず、情報生成部１２は、外部から音声信号および使用率取得部３０から資源の使用率Ｕを入力する（ステップＳ１００）。
次いで、入力した音声信号に基づき所定の情報を生成し、この所定の情報を一時記憶部１４に記憶し（ステップＳ１１０）。
続いて、制御部１８は、使用率取得部３０により取得された資源の使用率Ｕが正常であるか否かを判断する（ステップＳ１２０）。
【００１７】
使用率Ｕが任意の所定値よりも小さく、正常の範囲内であると判断したときには（ステップＳ１２０：ＹＥＳ）、単語導出部１６は一時記憶部１４により記憶された所定の情報に基づいて音声信号に対応する単語を導出し（ステップＳ１３０）、この単語を出力部２０により出力する処理を行なう（ステップＳ１４０）。
続いて、処理を継続する必要があるか否かを判断する（ステップＳ１５０）。音声信号が継続して入力されているときや、未処理の音声信号があるときにはステップＳ１００に戻ってステップＳ１００〜Ｓ１４０の処理を繰り返し（ステップＳ１５０：ＮＯ）、音声信号の入力が終了しており、かつ、未処理の音声信号がないことを確認してから（ステップＳ１５０：ＹＥＳ）、一連の処理を終了する。
【００１８】
一方、使用率Ｕが任意の所定値以上であり、異常であると判断したときには（ステップＳ１２０：ＮＯ）、ステップＳ１３０の単語導出部１６により音声信号に対応する単語を導出する処理を実行せずに、ステップＳ１００の処理に戻る。このため、再び外部から音声信号を入力し、所定の情報を生成して一時記憶部１４に一時的に記憶するステップＳ１００，Ｓ１１０の処理を繰り返し、使用率Ｕが任意の所定値より小さく、正常の範囲内となるのを確認してから（ステップＳ１２０：ＹＥＳ）、一時記憶部１６により一時的に記憶された所定の情報に基づいて外部からの音声信号に対応する単語を導出して出力部２０から出力する処理を実行することになる（ステップＳ１３０，Ｓ１４０）。
【００１９】
なお、使用率Ｕが任意の所定値以上であり、異常であると判断したときに、ステップＳ１３０，Ｓ１４０の処理を実行せずに、ステップＳ１００〜Ｓ１２０の処理を繰り返すのは、特に、単語導出部１６がステップＳ１３０の処理を実行すると資源の使用率Ｕがさらに大きくなる恐れがあるためである。これらの処理を中断することにより、使用率Ｕがさらに大きくなることによって生じる不都合、すなわち、外部から音声信号を入力し、所定の情報を生成して一時記憶部１４に一時的に記憶するするステップＳ１００，Ｓ１１０の処理が滞ってしまうことを防ぐことができる。しかも、ステップＳ１１０の処理によって生成した所定の情報を一時記憶部１４に一時的に記憶することによって生成した情報が処理されないまま消失してしまうことを防いでいるので、使用率Ｕが正常となるのを待ってからでも、ステップＳ１３０，Ｓ１４０の処理を実行できるのである。
【００２０】
以上、本発明の実施の形態１に係る音声認識装置によれば、外部からの音声信号に対応する単語を導出する処理を、情報処理部１０が有する資源の使用率Ｕに基づいて中断したり再開したりするので、資源の使用率Ｕが過大となることに起因する不都合、すなわち、外部からの音声信号を入力し、所定の情報を生成する処理が滞ってしまう不都合を抑制できる。
しかも、生成した所定の情報を一時的に記憶しておくことができるので、外部からの音声信号に対応する単語を導出する処理を中断したときでも、生成した所定の情報が未処理のまま消失してしまうことを抑制できる。
【００２１】
［実施の形態２］
次に、本発明の実施の形態２に係る音声認識装置について図を参照しながら詳細に説明する。
本発明の実施の形態２に係る音声認識装置も、外部からの音声信号に対応する単語を導出して逐次的に出力するものである。
【００２２】
まず、本発明の実施の形態２に係る音声認識装置の構成を図３を参照しながら説明する。
本発明の実施の形態２に係る音声認識装置は、図３に示すように、外部からの音声信号をもとに所定の情報処理を行なう情報処理部１１０，情報処理部１１０により処理された情報を出力する出力部２０，情報処理部１１０に含まれる図示しないＣＰＵの使用率を取得する使用率取得部１３０，音素や音節などに関するデータを格納する音響モデル１４０，語彙に関するデータを格納する認識辞書１４２から構成される。ここで、外部からの音声信号としては、図示しないマイクロフォンにより生成された音声信号を入力することができるほか、遠隔地で生成された音声信号をネットワークを介して入力することもできる。
情報処理部１１０は、外部からの音声信号を分析して時系列に並んだ特徴量を生成する特徴量生成部１１２，特徴量生成部１１２が生成した特徴量を一時的に記憶する一時記憶部１１４，一時記憶部１１４から特徴量を引き出し、この特徴量を音響モデル１４０および認識辞書１４２に格納されたデータと照合することにより外部からの音声信号に対応する単語を導出する単語導出部１１６，使用率取得部１３０からの信号に基づいて単語導出手段１１６が行なう処理を中断させたり再開させたりする制御部１１８を含んでいる。
また、単語導出部１１６は、複数の単語仮説をその尤度と結びつけて取得する単語仮説取得部１１６ａ，単語仮説取得部１１６ａが取得した単語仮説の各々に結びつけられた尤度に基づいて外部からの音声信号に対応する単語として一の単語仮説を選択する単語選択部１１６ｂを含んでいる。
出力部１２０は、単語選択部１１６ｂにより選択された単語を逐次的にディスプレイ上に出力するものである。
使用率取得部１３０は、所定時間毎（たとえば、数十ｍｓｅｃ毎や数百ｍｓｅｃ毎など）に情報処理部１１０が有するＣＰＵの使用率Ｕを取得して制御部１１８に送信するものである。
なお、上述した本発明の実施の形態２に係る音声認識装置の各機能は、ＣＰＵやメモリ、各種インターフェースを有するコンピュータによって記録媒体に記録されたプログラムが読み込まれることにより、そのコンピュータのハードウェア資源とソフトウェアとが協働することによって実現することができる。
【００２３】
次に、本発明の実施の形態２に係る音声認識装置の動作を図４を参照しながら説明する。
【００２４】
まず、外部から音声信号および使用率取得部１３０からＣＰＵの使用率Ｕを入力する（ステップＳ２００）。
次いで、入力された音声信号を分析して時系列に並んだ特徴量系列を生成し、一時記憶部１１４に記憶させる（ステップＳ２１０）。具体的には、入力された音声信号を数十ｍｓｅｃ毎のフレームに分断し、各フレーム毎にケプストラムなどの特徴量を生成して一時記憶部１１４に記憶させる。
【００２５】
続いて、制御部１１８は、入力された使用率Ｕに基づいて、使用率Ｕが正常の範囲内であるか否か示すフラグＦ１を設定する（ステップＳ２２０）。ここで、フラグＦ１は、初期状態では値０に設定されており、使用率Ｕが過大であると判断されたときに値１に設定されるフラグである。
フラグＦ１を設定する処理について、図５を参照しながら説明する。使用率Ｕを予め定められた閾値Ｕｌｏｗおよび閾値Ｕｌｏｗより大きい閾値Ｕｈｉと比較し（ステップＳ２２１）、使用率Ｕが閾値Ｕｌｏｗ以上であり閾値Ｕｈｉ未満であるときにはフラグＦ１の値を既存の状態に維持する。これに対し、使用率Ｕが閾値Ｕｈｉ以上であるときには、使用率Ｕが過大であると判断してフラグＦ１に値１を設定する（ステップＳ２２２）。逆に、使用率Ｕが閾値Ｕｌｏｗ未満となったときには、使用率Ｕに余裕があると判断してフラグＦ１に値０を設定する（ステップＳ２２３）。ここで、閾値Ｕｈｉとしては、たとえば８０％や９０％などの値を用いることができ、閾値Ｕｌｏｗとしては、たとえば５０％や６０％などの値を用いることができる。なお、フラグＦ１に値１を設定する際の基準となる閾値Ｕｈｉと、フラグＦ１に値０を設定する際の基準となる閾値Ｕｌｏｗとが、互いに異なる値が設定されているのは、使用率ＵとフラグＦ１の値との関係にヒステリシスを持たせることにより、フラグＦ１の値が「０」と「１」との間で頻繁に設定変更されてしまうのを抑制するためである。
【００２６】
次いで、制御部１１８はフラグＦ１の値が値０であるか否かを判断する（ステップＳ２３０）。
フラグＦ１が値０であるときには（ステップＳ２３０：ＹＥＳ）、入力された外部音声に対応する単語を導出する処理を実行する。
【００２７】
まず、単語仮説をその確からしさを表わす尤度Ｐが高いものから順に二つ取得し、外部音声に対応する単語を導出する処理を実行中であるか否かを示すフラグＦ２に値１を設定する（ステップＳ２４０）。
具体的には、単語仮説取得部１１６ａおよび尤度設定手段１１６ｂは、一時記憶部１１４に記憶されている時系列に並んだ特徴量系列を引き出すとともに、この特徴量系列と音響モデル１４０に格納されている音素や音節に関するデータとの間の距離を計算し、この計算結果に基づいて認識辞書１４２に格納されている語彙のなかから尤度Ｐが高いものから順に二つの単語仮説を、よく知られている隠れマルコフモデル（ＨＭＭ：Hidden Markov Model）などの手法を用いて取得し、図示しないメモリに一時的に記憶しておく。なお、音声認識において距離を計算して尤度Ｐの高い単語仮説を取得する技術は、周知技術であるため、詳しい説明は省略する（たとえば、非特許文献１参照）。
【００２８】
次いで、ステップＳ２４０にて取得した二つの単語仮説の各々に対して、尤度Ｐが設定されているので、二つの単語仮説のうち、尤度Ｐが最大である単語仮説の尤度Ｐ１から、尤度Ｐが二番目に大きい単語仮説の尤度Ｐ２を減じて得られる尤度差ΔＰを演算する（ステップＳ２５０）。
【００２９】
この後、尤度差ΔＰを閾値ΔＰｔｈｒｅと比較する（ステップＳ２６０）。閾値ΔＰｔｈｒｅは、初期値として比較的大きい値であるΔＰ０が設定されているので、通常、尤度差ΔＰは閾値ΔＰｔｈｒｅ未満となって（ステップＳ２６０：ＮＯ）、閾値ΔＰｔｈｒｅからΔ（たとえば、初期値ΔＰ０に対して数百分の一や数千分の一の値など）を減じた値を閾値ΔＰｔｈｒｅに設定し直したうえで（ステップＳ２６２）、ステップＳ２００の処理に戻る。ここで、閾値ΔＰｔｈｒｅからΔを減じた値を新たに閾値ΔＰｔｈｒｅに設定し直すのは、時間の経過とともに外部音声に対応する単語を導出する際の条件を緩和し、単語が決定されないまま未処理の特徴量がいたずらに増加してしまうことを抑制するためである。
【００３０】
こうして、上述したステップＳ２００〜Ｓ２６２の処理を何度か繰り返すうちに、一時記憶部１１４から引き出す特徴量が増加して尤度Ｐが最大である単語仮説の尤度Ｐ１も大きくなり、また、ステップＳ２６２の処理にて閾値ΔＰｔｈｒｅが徐々に小さく設定されるので、尤度差ΔＰが閾値Ｐｔｈｒｅとなる確率が徐々に上昇する。この結果、尤度差ΔＰが閾値ΔＰｔｈｒｅ以上となったときには（ステップＳ２６０：ＹＥＳ）、尤度Ｐが最大である単語仮説を入力された音声信号に対応する単語とみなして出力部１２０にて出力し、ステップＳ２４０の処理で値１に設定したフラグＦ２に値０を設定し直し、ステップＳ２６２の処理で変更した閾値ΔＰｔｈｒｅに初期値ΔＰ０を設定し直す処理を行なう（ステップＳ２７０）。この際、ステップＳ２００〜Ｓ２７０の処理において生成した特徴量や取得した単語仮説などの情報はメモリから削除することにより、メモリを有効活用することができる。
【００３１】
続いて、音声信号が継続して入力されているか否か、また、未処理の音声信号があるか否かに基づいて、処理を継続する必要があるか否かを判断する（ステップＳ２８０）。音声信号が継続して入力されているときや未処理の音声信号があるときにはステップＳ２００〜Ｓ２７０の処理を繰り返し（ステップＳ２８０：ＮＯ）、音声信号の入力が終了しており、かつ、未処理の音声信号がないことを確認して（ステップＳ２８０：ＹＥＳ）、一連の処理を終了する。
【００３２】
一方、使用率Ｕが正常の範囲内であるか否かを示すフラグＦ１が使用率Ｕが過大であることを示す値１であるときには（ステップＳ２３０：ＮＯ）、さらに、外部音声に対応する単語を導出する処理を実行中であるか否かを示すフラグＦ２が値０であるか否かを判断する（ステップＳ２４０）。
フラグＦ２が値１であるとき、すなわち単語を導出する処理が実行中であるときには（ステップＳ２３２：ＹＥＳ）、ステップＳ２４０以降の外部からの音声信号に対応する単語を導出する処理を引き続き実行する。
そして、フラグＦ２が値０となるのを確認してから、すなわち、ステップＳ２８０の処理にて外部からの音声信号に対応する単語を出力したのを確認してから（ステップＳ２３２：ＮＯ）、ステップＳ２４０以降の処理を実行せずに、ステップＳ２００の処理に戻る。
このため、外部からの音声信号を入力し、特徴量を生成して一時記憶部１１４に一時的に記憶し、使用率Ｕに基づいてフラグＦ１を設定するステップＳ２００〜Ｓ２２０の処理を繰り返し、使用率Ｕが所定値Ｕｌｏｗ未満となってフラグＦ１が値０に設定されるのを確認してから（ステップＳ２３０：ＹＥＳ）、ステップＳ２４０以降の処理を実行することになる。
【００３３】
なお、フラグＦ１が値１であり、かつ、フラグＦ２が値０であるときに、ステップＳ２４０以降の処理を実行しないのは、以下の二つの理由に基づいている。第１の理由は、特に、単語仮説取得部１１６ａがステップＳ２４０の処理を実行した場合、使用率Ｕがさらに大きくなってしまうためである。第２の理由は、外部からの音声信号に対応する単語を導出する処理を実行中であるときには取得した二つの単語仮説に関する情報をメモリから消去できないので、メモリを効率よく使用するためには単語を導出する処理がいったん終了した時点で中止することが望ましいためである。
これらの処理を中断することにより、使用率Ｕが過大となることによって生じる不都合、すなわち、外部からの音声信号を入力し、特徴量を生成して一時記憶部１１４に一時的に記憶するステップＳ２００，Ｓ２１０の処理が滞ってしまうことを防ぐことが出来る。しかも、ステップＳ２１０の処理によって生成した特徴量を一時記憶部１１４に一時的に記憶して未処理のまま消失してしまうことを防いでいるので、使用率Ｕが正常が閾値Ｕｌｏｗ未満となってフラグＦ１に値０が設定されるのを待ってからでも、ステップＳ２４０以降の処理を実行できるのである。
【００３４】
以上、本発明の実施の形態２に係る音声認識装置によれば、情報処理部１１０が有するＣＰＵの使用率Ｕが過大であると判断したときには、外部からの音声信号に対応する単語を導出する処理を中断したり再開したりするので、ＣＰＵの使用率Ｕが過大となることに起因する不都合、すなわち、外部からの音声信号を入力し、特徴量を生成する処理が滞ってしまう不都合を抑制できる。
また、外部からの音声信号に対応する単語を導出する処理が実行中であるときには、ＣＰＵの使用率Ｕが過大と判断したときでも、単語を導出する処理を中断しないので、二つの単語仮説に関する情報をメモリに記憶したまま単語を導出する処理を中断してしまうことによる不都合、すなわちメモリの使用率が過大となってしまうことを抑制できる。
しかも、生成した特徴量を一時的に記憶しておくことができるので、外部からの音声信号に対応する単語を導出する処理を中断したときでも、特徴量が未処理のまま消失してしまうことを抑制できる。
【００３５】
［実施の形態３］
次に、本発明の実施の形態３に係る音声認識装置について図を参照しながら詳細に説明する。
本発明の実施の形態３に係る音声認識装置も、外部からの音声信号に対応する単語を導出して逐次的に出力するものである。その構成要素は実施の形態２に係る音声認識装置の構成要素と共通するので、同一の符号を用いるとともに、詳しい説明は省略する。
【００３６】
本発明の実施の形態３に係る音声認識装置の動作を図６を参照しながら説明する。
外部からの音声信号を入力してから特徴量を生成するステップＳ３００〜Ｓ３３０の処理は、それぞれ、本発明の実施の形態２で説明したステップＳ２００〜Ｓ２３０の処理と共通するので、詳しい説明は省略する。これに対し、複数の単語仮説を取得し、取得した複数の単語仮説の中から一の単語仮説を選択して出力するステップＳ３４０〜Ｓ３７０の処理は、本発明の実施の形態２で説明したステップＳ２４０〜Ｓ２７０の処理とは異なるので、以下その内容を説明する。
【００３７】
本発明の実施の形態２に係る音声認識装置では、単語仮説を尤度の高いものから順に少なくとも二つ取得すればよいが、本発明の実施の形態３に係る音声認識装置では、より多く（たとえば、５個や１０個など）の単語仮説をその尤度Ｐと結びつけて取得するのが望ましい（ステップＳ３４０）。
【００３８】
ステップＳ３４０にて複数の単語仮説をその尤度Ｐと結びつけて取得したあと、単語選択部１１６ｂは、これらの単語仮説のうち尤度Ｐが最大である一つの単語仮説と同じ意味をもつ一群の単語仮説を抽出し、この抽出された一群の単語仮説が単語仮説の全体数に対して占める割合である仮説占有率Ｈを演算する（ステップＳ３５０）。
この仮説占有率Ｈについて具体例を用いて説明する。
たとえば、入力された音声信号から特徴量を生成した結果、「キ」，「カ」，「イ」からなる音声が入力されたと判断し、尤度の高いものから順に、「機械」，「器械」，「機会」，「奇怪」，「棋界」という５つの単語仮説を取得した場合を考える。この場合、「器械」という単語仮説は、尤度Ｐが最大の単語仮説「機械」と同義である。このため、単語仮説の全体数は５つであるのに対し、尤度Ｐが最大の単語仮説と同じ意味をもつ一群の単語仮説の数は２つであるから、仮説占有率Ｈは２／５、すなわち４０％となる。
また、別の例として、入力された音声信号から特徴量を生成して音声を分析した結果、尤度の高いものから順に、「ｃｏｌｏｒ」、「ｃｏｌｏｕｒ」、「ｃｏｌｌａｒ」という３つの単語仮説を取得した場合を考える。この場合、「ｃｏｌｏｕｒ」という単語仮説は、尤度が最大の単語仮説「ｃｏｌｏｒ」と同義である。このため、単語仮説の全体数は３つであるのに対し、尤度Ｐが最大の単語仮説と同じ意味をもつ一群の単語仮説の数は２つであるから、仮説占有率Ｈは２／３、すなわち６０％となる。
なお、一の単語仮説と他の単語仮説とが同じ意味を持つか否かは、認識辞書１４２が各々の単語に対して同義の単語のデータとして格納しており、このデータを参照して判断するものとすればよい。
【００３９】
次いで、仮説占有率Ｈを閾値Ｈｔｈｒｅと比較する（ステップＳ３６０）。閾値Ｈｔｈｒｅは、初期値として比較的大きなＨ０（たとえば、５０％や６０％など）が設定されているので、通常、仮説占有率Ｈｔｈｒｅは閾値Ｈｔｈｒｅ未満となり（ステップＳ３６０：ＮＯ）、閾値ＨｔｈｒｅからΔ（たとえば、初期値Ｈ０に対して数百分の一や数千分の一の値など）を減じた値を閾値Ｈｔｈｒｅに設定し直したうえで（ステップＳ３６２）、ステップＳ３００の処理に戻る。ここで、閾値ＨｔｈｒｅからΔを減じた値を新たに閾値Ｈｔｈｒｅに設定し直すのは、時間の経過とともに外部音声に対応する単語を導出する際の条件を緩和し、単語が決定されないまま未処理の特徴量がいたずらに増加してしまうことを抑制するためである。
【００４０】
こうして、ステップＳ３００〜Ｓ３６２の処理を何度か繰り返すうちに、ステップＳ３６２の処理にて閾値Ｈｔｈｒｅが徐々に小さく設定されるので、仮説占有率Ｈが閾値Ｈｔｈｒｅ以上となる確率は徐々に上昇する。この結果、仮説占有率Ｈが閾値Ｈｔｈｒｅ以上となったときには（ステップＳ３６０：ＹＥＳ）、尤度Ｐが最大である単語仮説を入力された音声信号に対応する単語とみなして出力部１２０にて出力し、ステップＳ３４０の処理で値１に設定したフラグＦ２に値０を設定し直し、ステップＳ３６２の処理で変更した閾値Ｈｔｈｒｅに初期値Ｈ０を設定し直す処理を行なう（ステップＳ３７０）。この際、ステップＳ３１０の処理において生成した特徴量や、ステップＳ３４０の処理において取得した単語仮説などの情報はメモリから削除することにより、メモリを有効活用することができる。
【００４１】
なお、本発明の実施の形態３にかかる音声認識装置では、仮説占有率Ｈという概念を用いることにより、取得した単語仮説のなかから一の単語仮説を外部から入力された音声信号に対応する単語とみなして出力している。これは、仮説占有率Ｈが比較的大きいとき、すなわち、取得した単語仮説が、尤度Ｐが最大の単語仮説と同じ意味をもつ単語仮説により占められているときには、尤度Ｐが最大の単語仮説を外部からの音声信号に対応する単語とみなしても問題が生じることは稀であるためである。この結果、尤度Ｐが最大の単語仮説と、尤度Ｐが二番目に大きい単語仮説の尤度との差が小さいときでも、外部からの音声信号に対応する単語を早期に決定できる。このように外部からの音声信号に対応する単語仮説を決定しにくい場合に、ＣＰＵの使用率Ｕが過大であるにもかかわらず、外部からの音声信号に対応する単語を出力するステップＳ３７０の処理を実行する時期が遅くなり、ステップＳ３４０〜Ｓ３８０の処理を中断する時期が遅くなることに起因して、ＣＰＵの使用率Ｕのさらなる増大を招来してしまうことを抑制できる。
【００４２】
続いて、音声信号が継続して入力されているか否か、また、未処理の音声信号があるか否かに基づいて、処理を継続する必要があるか否かを判断する（ステップＳ３８０）。音声信号が継続して入力されているときや未処理の音声信号があるときにはステップＳ３００〜Ｓ３７０の処理を繰り返し（ステップＳ３８０：ＮＯ）、音声信号の入力が終了しており、かつ、未処理の音声信号がないことを確認して（ステップＳ３８０：ＹＥＳ）、一連の処理を終了する。
【００４３】
以上、本発明の実施の形態３に係る音声認識装置によっても、本発明の実施の形態２に係る音声認識装置と同様の効果を得ることができる。
また、仮説占有率Ｈという概念を用いて外部からの音声信号に対応する単語を導出して出力するので、尤度Ｐが最大の単語仮説の尤度と、尤度Ｐが二番目に大きい単語仮説の尤度との差が小さいときでも、比較的早い段階で外部からの音声信号に対応する単語を導出して出力することができる。
このため、ＣＰＵの使用率Ｕが過大であるにもかかわらず、外部からの音声信号に対応する単語を出力するステップＳ３７０の処理を実行する時期が遅くなり、ステップＳ３４０〜Ｓ３８０の処理を中断する時期が遅くなることに起因して、ＣＰＵの使用率Ｕのさらなる増大を招来してしまうことを抑制できる。
【００４４】
［変形例］
なお、上述した本発明の実施の形態２，３に係る音声認識装置では、音響モデル１４０と，認識辞書１４２とを用いて外部からの音声信号に対応する単語を導出するものとして説明したが、言語的な確からしさを考慮するために言語モデルを併用してもよい。
【００４５】
また、上述した本発明の実施の形態２，３に係る音声認識装置では、使用率Ｕは、ＣＰＵの使用率として説明したが、メモリの使用率としてもよい。
【００４６】
さらに、上述した本発明の実施の形態１〜３に係る音声認識装置では、単語導出部１６，１１６が導出した単語を出力部２０，１２０に逐次的に出力するものとして説明したが、図７に示すように、翻訳部２１９をさらに備え、翻訳部２１９を用いて他言語に翻訳したうえで出力部２２０に逐次的に出力するものとしてもよい。
【００４７】
また、上述した本発明の実施の形態１〜３では、音声認識装置の形態として説明したが、音声認識方法の形態としてもよく、プログラムを記録したコンピュータ読み取り可能な記録媒体の形態としてもよい。
【００４８】
本発明は上述した実施の形態に制限されるものではなく、本発明の要旨を逸脱しない範囲内において、種々なる形態で実施することができる。
【００４９】
この出願は、２００９年１０月９日に出願された日本出願２００９−２３５３０２を基礎とする優先権を主張し、その開示を全てここに取り込む。
【産業上の利用可能性】
【００５０】
本発明は音声認識装置の製造産業などに利用可能である。
【符号の説明】
【００５１】
１０…情報処理部、１２…情報生成部、１４…一時記憶部、１６…単語導出部、１８…制御部、２０…出力部、３０…使用率取得部。
【図１】
2011043380.tif 000003
【図２】
2011043380.tif 000004
【図３】
2011043380.tif 000005
【図４】
2011043380.tif 000006
【図５】
2011043380.tif 000007
【図６】
2011043380.tif 000008
【図７】
2011043380.tif 000009
【手続補正書】
【提出日】平成23年3月24日(2011.3.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
外部からの音声信号に対応する単語を導出する処理を行なう情報処理部と、
単語を逐次的に出力する出力部と、
前記情報処理部が有する資源の使用率を取得する使用率取得部とを備え、
前記情報処理部は、
前記音声信号に基づいて所定の情報を生成する情報生成部と、
前記情報生成部からの所定の情報を一時的に記憶する一時記憶部と、
前記一時記憶部により一時的に記憶された所定の情報に基づいて音声信号に対応する単語を導出して音声認識をし、単語を前記出力部に出力する単語導出部と、
前記単語導出部が行なう処理を前記使用率取得部により取得された使用率に基づいて中断および再開させる制御部と
を備え、
前記単語導出部は、
前記一時記憶部により一時記憶された所定の情報に基づいて入力された音声信号に対応する複数の単語仮説をその確からしさを表わす尤度と結びつけて取得する単語仮説取得部と、
複数の単語仮説の中から各々に設定された尤度に基づいて一の単語仮説を音声信号に対応する単語として選択する単語選択部と
を備えることを特徴とする音声認識装置。
【請求項２】
（削除）
【請求項３】
（削除）
【請求項４】
前記制御部は、前記単語導出部が音声信号に対応する単語を導出する処理を行なっているときには、前記単語導出部が単語を導出する処理を終了するまで前記単語導出部が行なう処理を中断させない
ことを特徴とする請求項１に記載の音声認識装置。
【請求項５】
（削除）
【請求項６】
前記単語選択部は、複数の単語仮説から尤度が大きい方から二つの単語仮説を選択し、各々に設定された尤度の差が閾値未満であるときには音声信号に対応する単語の選択を見送り、各々に設定された尤度の差が閾値以上であるときには尤度が最大の一の単語仮説を音声信号に対応する単語として選択する
ことを特徴とする請求項１または４に記載の音声認識装置。
【請求項７】
前記単語選択部は、音声信号に対応する単語を認識する処理を開始してからの経過時間が長くなるほど小さく閾値を設定する
ことを特徴とする請求項６に記載の音声認識装置。
【請求項８】
前記単語選択部は、複数の単語仮説のうち尤度が最大である一の単語仮説を選択し、この選択された単語仮説と同じ意味をもつ一群の単語仮説を複数の単語仮説の中から抽出し、この抽出された一群の単語仮説が複数の単語仮説の全体数に対して占める割合である仮説占有率が所定占有率未満であるときには選択された単語仮説を音声信号に対応する単語の選択を見送り、この抽出された一群の単語仮説の仮説占有率が所定占有率以上であるときには選択された単語仮説を音声信号に対応する単語として選択する
ことを特徴とする請求項１または４に記載の音声認識装置。
【請求項９】
前記単語選択部は、音声信号に対応する単語を導出する処理を開始してからの経過時間が長くなるほど小さく所定占有率を設定する
ことを特徴とする請求項８に記載の音声認識装置。
【請求項１０】
前記情報生成部は、音声信号に基づいてこの音声信号の特徴を表わす特徴量を生成する
ことを特徴とする請求項１または４に記載の音声認識装置。
【請求項１１】
前記情報処理部は、前記単語選択部により選択された単語を翻訳してこの翻訳された単語を前記出力部に逐次的に出力する翻訳部を
さらに備える
ことを特徴とする請求項１または４に記載の音声認識装置。
【請求項１２】
外部からの音声信号に基づいて所定の情報を生成するステップと、
所定の情報を一時的に記憶するステップと、
一時的に記憶した所定の情報に基づいて音声信号に対応する単語を導出して音声認識をし、単語を出力するステップと、
音声信号に対応する単語を導出して音声認識をするための資源の使用率を取得するステップと、
音声認識をする処理を取得した使用率に基づいて中断および再開するステップと
を備え、
音声認識をするステップは、
一時的に記憶された所定の情報に基づいて入力された音声信号に対応する複数の単語仮説をその確からしさを表わす尤度と結びつけて取得するステップと、
複数の単語仮説の中から各々に設定された尤度に基づいて一の単語仮説を音声信号に対応する単語として選択するステップと
を備えることを特徴とする音声認識方法。
【請求項１３】
外部からの音声信号に基づいて所定の情報を生成するステップと、
所定の情報を一時的に記憶するステップと、
一時的に記憶した所定の情報に基づいて音声信号に対応する単語を導出して音声認識をし、単語を出力するステップと、
音声信号に対応する単語を導出して音声認識をするための資源の使用率を取得するステップと、
音声認識をする処理を取得した使用率に基づいて中断および再開するステップとを備え、
音声認識をするステップは、
一時的に記憶された所定の情報に基づいて入力された音声信号に対応する複数の単語仮説をその確からしさを表わす尤度と結びつけて取得するステップと、
複数の単語仮説の中から各々に設定された尤度に基づいて一の単語仮説を音声信号に対応する単語として選択するステップと
を備え音声認識方法をコンピュータに実行させることを特徴とするプログラムを記録したコンピュータ読み取り可能な記録媒体。
【手続補正書】
【提出日】平成24年4月4日(2012.4.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
外部からの音声信号に対応する単語を導出する処理を行なう情報処理部と、
単語を逐次的に出力する出力部と、
前記情報処理部が有する資源の使用率を取得する使用率取得部とを備え、
前記情報処理部は、
前記音声信号に基づいて所定の情報を生成する情報生成部と、
前記情報生成部からの所定の情報を一時的に記憶する一時記憶部と、
前記一時記憶部により一時的に記憶された所定の情報に基づいて音声信号に対応する単語を導出して音声認識をし、単語を前記出力部に出力する単語導出部と、
前記単語導出部が行なう処理を前記使用率取得部により取得された使用率に基づいて中断および再開させる制御部と
を備え、
前記単語導出部は、
前記一時記憶部により一時記憶された所定の情報に基づいて入力された音声信号に対応する複数の単語仮説をその確からしさを表わす尤度と結びつけて取得する単語仮説取得部と、
複数の単語仮説の中から各々に設定された尤度に基づいて一の単語仮説を音声信号に対応する単語として選択する単語選択部と
を備えることを特徴とする音声認識装置。
【請求項２】
前記制御部は、前記単語導出部が音声信号に対応する単語を導出する処理を行なっているときには、前記単語導出部が単語を導出する処理を終了するまで前記単語導出部が行なう処理を中断させない
ことを特徴とする請求項１に記載の音声認識装置。
【請求項３】
前記単語選択部は、複数の単語仮説から尤度が大きい方から二つの単語仮説を選択し、各々に設定された尤度の差が閾値未満であるときには音声信号に対応する単語の選択を見送り、各々に設定された尤度の差が閾値以上であるときには尤度が最大の一の単語仮説を音声信号に対応する単語として選択する
ことを特徴とする請求項１または２に記載の音声認識装置。
【請求項４】
前記単語選択部は、音声信号に対応する単語を認識する処理を開始してからの経過時間が長くなるほど小さく閾値を設定する
ことを特徴とする請求項３に記載の音声認識装置。
【請求項５】
前記単語選択部は、複数の単語仮説のうち尤度が最大である一の単語仮説を選択し、この選択された単語仮説と同じ意味をもつ一群の単語仮説を複数の単語仮説の中から抽出し、この抽出された一群の単語仮説が複数の単語仮説の全体数に対して占める割合である仮説占有率が所定占有率未満であるときには選択された単語仮説を音声信号に対応する単語の選択を見送り、この抽出された一群の単語仮説の仮説占有率が所定占有率以上であるときには選択された単語仮説を音声信号に対応する単語として選択する
ことを特徴とする請求項１または２に記載の音声認識装置。
【請求項６】
前記単語選択部は、音声信号に対応する単語を導出する処理を開始してからの経過時間が長くなるほど小さく所定占有率を設定する
ことを特徴とする請求項５に記載の音声認識装置。
【請求項７】
前記情報生成部は、音声信号に基づいてこの音声信号の特徴を表わす特徴量を生成する
ことを特徴とする請求項１または２に記載の音声認識装置。
【請求項８】
前記情報処理部は、前記単語選択部により選択された単語を翻訳してこの翻訳された単語を前記出力部に逐次的に出力する翻訳部をさらに備える
ことを特徴とする請求項１または２に記載の音声認識装置。
【請求項９】
外部からの音声信号に基づいて所定の情報を生成するステップと、
所定の情報を一時的に記憶するステップと、
一時的に記憶した所定の情報に基づいて音声信号に対応する単語を導出して音声認識をし、単語を出力するステップと、
音声信号に対応する単語を導出して音声認識をするための資源の使用率を取得するステップと、
音声認識をする処理を取得した使用率に基づいて中断および再開するステップと
を備え、
音声認識をするステップは、
一時的に記憶された所定の情報に基づいて入力された音声信号に対応する複数の単語仮説をその確からしさを表わす尤度と結びつけて取得するステップと、
複数の単語仮説の中から各々に設定された尤度に基づいて一の単語仮説を音声信号に対応する単語として選択するステップと
を備えることを特徴とする音声認識方法。
【請求項１０】
外部からの音声信号に基づいて所定の情報を生成するステップと、
所定の情報を一時的に記憶するステップと、
一時的に記憶した所定の情報に基づいて音声信号に対応する単語を導出して音声認識をし、単語を出力するステップと、
音声信号に対応する単語を導出して音声認識をするための資源の使用率を取得するステップと、
音声認識をする処理を取得した使用率に基づいて中断および再開するステップとを備え、
音声認識をするステップは、
一時的に記憶された所定の情報に基づいて入力された音声信号に対応する複数の単語仮説をその確からしさを表わす尤度と結びつけて取得するステップと、
複数の単語仮説の中から各々に設定された尤度に基づいて一の単語仮説を音声信号に対応する単語として選択するステップと
を備え音声認識方法をコンピュータに実行させることを特徴とするプログラム。
【国際調査報告】
2011043380.tif 000010
2011043380.tif 000011
2011043380.tif 000012
2011043380.tif 000013
2011043380.tif 000014
2011043380.tif 000015
2011043380.tif 000016
2011043380.tif 000017