(57)【要約】【課題】  対話者が話しかける自然な文章を短時間で正確に認識することが可能な技術を提供する。【解決手段】  音声を入力して音データに変換する音声入力手段と、対話者を繰り返し撮影して撮影された画像データを時刻と関連付ける撮像手段と、音データに基づいて音声入力開始時刻と音声入力終了時刻を検出する時刻検出手段と、音声入力開始時刻から音声入力終了時刻までの音データから文章データを作成する文章データ作成手段と、音声入力開始時刻から音声入力終了時刻までの画像データから対話者の発話状態を認識する発話状態認識手段と、対話者の発話状態から音声入力開始時刻から音声入力終了時刻までの期間が適切な発話区間であるか否かを判断する発話区間判断手段と、音声入力開始時刻から音声入力終了時刻までの期間が適切な発話区間であると判断された場合に、文章データを出力する文章データ出力手段を備えている。【選択図】  図１
2007199552.tif 000002
【特許請求の範囲】
【請求項１】
対話者が話しかける音声を文章として認識する装置であって、
音声を入力し、音データに変換する音声入力手段と、
対話者を繰り返し撮影し、撮影された画像データを時刻と関連付ける撮像手段と、
音データに基づいて音声入力開始時刻と音声入力終了時刻を検出する時刻検出手段と、
音声入力開始時刻から音声入力終了時刻までの音データから、文章データを作成する文章データ作成手段と、
音声入力開始時刻から音声入力終了時刻までの画像データから、対話者の発話状態を認識する発話状態認識手段と、
対話者の発話状態から、音声入力開始時刻から音声入力終了時刻までの期間が適切な発話区間であるか否かを判断する発話区間判断手段と、
音声入力開始時刻から音声入力終了時刻までの期間が適切な発話区間であると判断された場合に、文章データを出力する文章データ出力手段と
を備える音声認識装置。
【請求項２】
前記発話状態認識手段は、対話者の少なくとも２種類以上の発話状態を認識し、
前記発話区間判断手段は、前記少なくとも２種類以上の発話状態から、音声入力開始時刻から音声入力終了時刻までの期間が適切な発話区間であるか否かを判断することを特徴とする請求項１の音声認識装置。
【請求項３】
前記発話状態は、対話者までの距離、対話者の顔の向き、対話者の視線の向き、および対話者の口唇の動きを含むグループから選択されていることを特徴とする請求項２の音声認識装置。
【請求項４】
前記文章データ作成手段は、
候補となる文章データ群を記憶しておく文章データ群記憶手段と、
候補となる文章データ群のそれぞれの文章データについて、音データに基づいて尤度を算出する尤度算出手段を備えており、候補となる文章データ群から最も尤度の高い文章データを特定して、文章データを作成することを特徴とする請求項１の音声認識装置。
【請求項５】
前記文章データ出力手段は、音声入力開始時刻から音声入力終了時刻までの期間が適切な発話区間であると判断されない場合に、文章データを出力しないことを特徴とする請求項１の音声認識装置。
【請求項６】
対話者が話しかける音声を文章として認識する方法であって、
音声を入力し、音データに変換する音声入力工程と、
対話者を繰り返し撮影し、撮影された画像データを時刻と関連付ける撮像工程と、
音データに基づいて音声入力開始時刻と音声入力終了時刻を検出する時刻検出手段と、
音声入力開始時刻から音声入力終了時刻までの音データから、文章データを作成する文章データ作成工程と、
音声入力開始時刻から音声入力終了時刻までの画像データから、対話者の発話状態を認識する発話状態認識工程と、
対話者の発話状態から、音声入力開始時刻から音声入力終了時刻までの期間が適切な発話区間であるか否かを判断する発話区間判断工程と、
音声入力開始時刻から音声入力終了時刻までの期間が適切な発話区間であると判断された場合に、文章データを出力する文章データ出力工程と
を備える音声認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対話者が話しかける音声を文章として認識する装置と方法に関する。
【背景技術】
【０００２】
人間が装置の動作を制御する際に、キーボードやレバーなどのインターフェースを操作することなく、音声を発することによって装置を制御する技術がある。このような技術においては、マイクなどの音声入力手段から入力される音声から、音声によって表現される言葉の内容を認識し、認識された言葉の内容に応じた制御が行われる。
【０００３】
音声入力手段から入力される音声には、対話者が発した声以外にも、周囲の雑音が混入する場合がある。周囲の雑音が混入した音声に基づいて認識を行うと、誤認識を起こし、装置の誤作動などを引き起こしてしまう。音声を認識する技術においては、雑音の影響をいかにして除去するかが重要である。
【０００４】
雑音の影響を除去するために、対話者の顔を撮影し、撮影された画像に基づいて、対話者が話している期間（発話区間）と、話していない期間を識別する技術が従来から開発されている。撮影された顔の画像から発話区間を特定し、発話区間のみについて音声認識を行うことで、雑音の影響を排除し、誤認識を防ぐことができる。
特許文献１には、音声を認識し、対話者の口唇付近の動きから発話区間を検出し、検出された発話区間において対話者が発生した音声認識結果のみを抽出する技術が開示されている。
特許文献２には、対話者が発した音声に基づいた発話区間と、対話者の口を撮影して得た口画像データに基づいて求めた発話区間とが略一致している場合に限り、音声認識結果としての音声操作語句データを出力する技術が開示されている。
特許文献３には、対話者の顔の向き、唇の動き、視線の向きから、発声の有無を判断し、発声中と判断される場合に音声認識処理を行う技術が開示されている。
特許文献４には、対話者の口唇の動きから累積変動関数を抽出し、その累積変動関数を等分割する時系列を求め、その時系列を基準として音声認識を行う技術が開示されている。
特許文献５には、対話者の口唇の動きから音声区間を抽出し、音声区間における音声波形を切り出し、切り出された音声波形により、音声認識を行う技術が開示されている。
【特許文献１】特開２００４−２４８６３号公報
【特許文献２】特開２００２−９１４６６号公報
【特許文献３】特開平１１−３５２９８７号公報
【特許文献４】特開平８−７６７９２号公報
【特許文献５】特開平６−３０１３９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
一般に音声認識処理に必要とされる演算の負荷に対して、画像認識処理に必要とされる演算の負荷は強い。従って、画像認識処理に要する時間は、音声認識処理に要する時間に比べて長いものとなる。従来技術が提示するように、画像認識処理の結果から発話区間を特定し、その後に特定された発話区間について音声認識処理を行う場合、音声の認識率は向上するものの、話者が話しかけてから音声認識が完了するまでに長時間を必要とする。より短時間で音声認識を行うことが可能な技術が待望される。
【０００６】
音声認識処理を施設やイベント会場などを案内するロボットに適用する場合、対話者は自然な文章で話しかけても案内してもらえることを望んでいる。入力される音声を文章として認識する処理は、従来技術が扱うような単語のみを認識する処理に比べて処理時間が長い。このような場合に、従来技術のような画像認識処理を応用すると、対話者が話しかけてから文章の認識処理が完了するまでに長時間を必要とし、長い待ち時間に対話者が不満を覚えてしまう。
【０００７】
対話者が話しかける自然な文章を正確に認識することが可能であり、なおかつ処理に要する時間を短時間とすることが可能な技術が待望されている。
【０００８】
本発明では上記課題を解決する。本発明は、対話者が話しかける自然な文章を短時間で正確に認識することが可能な技術を提供する。
【課題を解決するための手段】
【０００９】
本発明は、対話者が話しかける音声を文章として認識する装置として具現化される。その装置は、音声を入力して音データに変換する音声入力手段と、対話者を繰り返し撮影して撮影された画像データを時刻と関連付ける撮像手段と、音データに基づいて音声入力開始時刻と音声入力終了時刻を検出する時刻検出手段と、音声入力開始時刻から音声入力終了時刻までの音データから文章データを作成する文章データ作成手段と、音声入力開始時刻から音声入力終了時刻までの画像データから対話者の発話状態を認識する発話状態認識手段と、対話者の発話状態から音声入力開始時刻から音声入力終了時刻までの期間が適切な発話区間であるか否かを判断する発話区間判断手段と、音声入力開始時刻から音声入力終了時刻までの期間が適切な発話区間であると判断された場合に、文章データを出力する文章データ出力手段を備えている。
【００１０】
上記の音声認識装置では、音声入力手段で得られる音データに基づいて、時刻検出手段が対話者の発話区間を検出する。発話区間の検出は、音声入力開始時刻と音声入力終了時刻をそれぞれ検出することによって行われる。上記の音声認識装置では、検出される発話区間に関して、その発話区間における文章データの作成と、その発話区間における対話者の発話状態の認識が行われる。発話区間における文章データの作成は、文章データ作成手段が行う。発話区間における対話者の発話状態の認識は、発話状態認識手段が行う。文章データ作成手段と発話状態認識手段は、互いに独立して動作可能であり、それぞれが並行して処理を実行することができる。上記の音声認識装置では、画像データから認識される発話状態認識手段で認識される対話者の発話状態から、その発話区間が適切なものであるか、すなわち音声入力手段に入力される音声が対話者の発したものであるか否かが評価される。その発話区間が適切なものであると判断された場合に、上記の音声認識装置では、文章データ作成手段によって作成された文章データを文章データ出力手段が出力する。
【００１１】
上記の音声認識装置では、入力された音声が対話者の発したものであるか否かを、撮影された画像データに基づいて評価する。これによって、周囲の雑音などの影響を排除して、対話者が発した音声から作成された文章データを出力することができる。
【００１２】
上記の音声認識装置では、文章データ作成手段における処理（音声を文章として認識する処理）と、発話状態認識手段における処理（画像から発話状態を認識する処理）を並行して行うことができる。このような構成とすることによって、上記の音声認識装置では、発話状態認識手段での認識処理が終了して、認識された発話状態から発話区間が適切であると判断されると、即座に文章データを出力することができる。対話者が話しかけてから文章データを出力するまでの処理を短時間で行うことができる。
【００１３】
上記の音声認識装置では、発話状態認識手段が、対話者の少なくとも２種類以上の発話状態を認識し、発話区間判断手段が、その少なくとも２種類以上の発話状態から、音声入力開始時刻から音声入力終了時刻までの期間が適切な発話区間であるか否かを判断することが好ましい。
このような構成とすることによって、発話区間が適切であるか否かを、複数の観点から評価することが可能となる。発話区間の妥当性について正確に評価することが可能となり、誤認識を防止することができる。
【００１４】
上記の音声認識装置では、発話状態が、対話者までの距離、対話者の顔の向き、対話者の視線の向き、および対話者の口唇の動きを含むグループから選択されていることが好ましい。
対話者が話しかけているか否かは種々の観点から判断することが可能であるが、上記のように対話者までの距離や、対話者の顔の向きや、対話者の視線の向きや、対話者の口唇の動きなどから判断することによって、発話区間の妥当性を正確に評価し、誤認識を防止することができる。
【００１５】
上記の音声認識装置では、文章データ作成手段が、候補となる文章データ群を記憶しておく文章データ群記憶手段と、候補となる文章データ群のそれぞれの文章データについて、音データに基づいて尤度を算出する尤度算出手段を備えており、候補となる文章データ群から最も尤度の高い文章データを特定して、文章データを作成することが好ましい。
上記のような構成とすると、候補となる文章データ群として人間同士の会話で自然に使われている文章を用意しておくことで、音声認識の結果として出力される文章データも人間同士の会話で自然に使われている文章に対応するものとすることができる。
【００１６】
上記の音声認識装置では、文章データ出力手段が、音声入力開始時刻から音声入力終了時刻までの期間が適切な発話区間であると判断されない場合に、文章データを出力しないことが好ましい。
適切な発話区間であると判断されない場合、音声入力手段で得られた音データは周囲の雑音などに起因するものであり、そのような音データに基づいて作成された文章データは用をなさない。上記の音声認識装置によれば、そのような文章データの出力を防止することができる。
【００１７】
本発明は方法として具現化することもできる。本発明の方法は、対話者が話しかける音声を文章として認識する方法である。その方法は、音声を入力して音データに変換する音声入力工程と、対話者を繰り返し撮影して撮影された画像データを時刻と関連付ける撮像工程と、音データに基づいて音声入力開始時刻と音声入力終了時刻を検出する時刻検出手段と、音声入力開始時刻から音声入力終了時刻までの音データから文章データを作成する文章データ作成工程と、音声入力開始時刻から音声入力終了時刻までの画像データから対話者の発話状態を認識する発話状態認識工程と、対話者の発話状態から音声入力開始時刻から音声入力終了時刻までの期間が適切な発話区間であるか否かを判断する発話区間判断工程と、音声入力開始時刻から音声入力終了時刻までの期間が適切な発話区間であると判断された場合に、文章データを出力する文章データ出力工程とを備えている。
【発明の効果】
【００１８】
本発明の文章認識装置および文章認識方法によれば、対話者が話しかける自然な文章を短時間で正確に認識することができる。
【発明を実施するための最良の形態】
【００１９】
以下に発明を実施するための最良の形態を列記する。
（形態１）文章データ作成手段は、音データから隠れマルコフ・モデル（ＨＭＭ；Hidden Markov Model）を用いて音素の時系列としての文章データを作成する。
（形態２）撮影手段の視野の方向を調整する撮影方向調整手段をさらに備えており、対話者が視野の中央付近で撮影されるように撮影手段の視野の方向を調整する。
【実施例】
【００２０】
本実施例では、図１に例示する音声認識装置１００において、対話者Ｖが話しかける音声を文章として認識する例を説明する。音声認識装置１００は、例えばショールームやイベント会場に配置された案内ロボットであり、案内を求めて話しかけてくる来場者（対話者）Ｖが話しかける文章を認識する。
【００２１】
音声認識装置１００は、頭部１０２の前方に並んで配置された右カメラ１０４と左カメラ１０６と、胴体部１０８に対して頭部１０２を左右に回転するアクチュエータ１１０と、胴体部１０８の前方に設けられたマイクロホン１１２と、右カメラ１０４、左カメラ１０６、アクチュエータ１１０およびマイクロホン１１２の動作を制御するコントローラ１１４を備えている。
【００２２】
右カメラ１０４と左カメラ１０６は、一般的なＣＣＤカメラである。右カメラ１０４と左カメラ１０６は、所定の時間間隔で同時に撮影を実施し、撮影された画像データを撮影時刻と関連付けてコントローラ１１４へ出力する。
【００２３】
マイクロホン１１２は、入力される音声によって膜面に加えられる音圧を検知し、検知した音圧に応じた電圧値をＡ／Ｄ変換して、離散化された電圧値を入力された時刻と関連付けてコントローラ１１４へ出力する。以下ではマイクロホン１１２から出力されるデータを音データと呼ぶ。
【００２４】
アクチュエータ１１０は例えば一般的なモータである。アクチュエータ１１０を駆動することによって、胴体部１０８に対する頭部１０２の回転角を調整することができる。胴体部１０８に対して頭部１０２を回転することによって、右カメラ１０４および左カメラ１０６が撮影する視野を調整することが可能である。
【００２５】
図２はコントローラ１１４の構成を示すブロック図である。コントローラ１１４は、処理装置（ＣＰＵ）、記憶装置（光学記憶媒体、磁気記憶媒体、あるいはＲＡＭやＲＯＭといった半導体メモリ等）、入出力装置、演算装置などから構成されているコンピュータ装置である。コントローラ１１４は機能的に、発話状態認識部２０２、音声解析部２０８、出力部２２０を備えている。
【００２６】
発話状態認識部２０２は、右カメラ１０４と左カメラ１０６から出力される画像データに基づいて、対話者Ｖの発話尤度を計算する。ここで対話者Ｖの発話尤度とは、対話者Ｖが音声認識装置１００に話しかけている事象の確からしさを表現する数値であって、０から１までの範囲の数値で表現される。数値が１に近いほど、確からしさの度合いが強い。以下で詳細に説明するように、本実施例の発話状態認識部２０２は、種々の観点に基づいて発話尤度を計算する。
【００２７】
発話状態認識部２０２は、発話尤度の計算を行うために、右カメラ１０４と左カメラ１０６から出力される画像データに基づいて、対話者Ｖの位置と、対話者Ｖの顔の向きと、対話者Ｖの視線の向きと、対話者Ｖの口唇の動きを認識する。発話状態認識部２０２は、対話者Ｖの位置から第１発話尤度を算出し、対話者Ｖの顔の向きから第２発話尤度を算出し、対話者Ｖの視線の向きから第３発話尤度を算出し、対話者Ｖの口唇の動きから第４発話尤度を算出する。
【００２８】
対話者Ｖの位置は、右カメラ１０４と左カメラ１０６のそれぞれの画像データにおいて対話者Ｖの輪郭を抽出し、輪郭を抽出された対話者Ｖと音声認識装置１００との相対的な位置関係をステレオ視の原理によって算出することで、算出することができる。対話者Ｖの位置を算出する際には、音声認識装置１００における頭部１０２の胴体部１０８に対する回転角が考慮される。対話者Ｖの位置が算出されると、発話状態認識部２０２は第１発話尤度を算出する。対話者Ｖが音声認識装置１００に近い位置にいる場合は、対話者Ｖが音声認識装置１００に話しかけている尤度が高い。逆に、対話者Ｖが音声認識装置１００から遠い位置にいる場合は、対話者Ｖが音声認識装置１００に話しかけている尤度が低い。本実施例では、発話状態認識部２０２は対話者Ｖと音声認識装置１００との距離を算出し、算出される距離に応じて第１発話尤度を特定する。発話状態認識部２０２には、対話者Ｖと音声認識装置１００との距離と、第１発話尤度との対応関係を示す対応表が予め記憶されており、発話状態認識部２０２は算出される距離と対応表を用いて第１発話尤度を特定する。
【００２９】
なお本実施例では、対話者Ｖの位置が算出されると、発話状態認識部２０２は右カメラ１０４、左カメラ１０６の視野の中央付近で対話者Ｖが撮影されるように、アクチュエータ１１０を駆動して頭部１０２を回転させる。このように対話者Ｖの位置に応じて頭部１０２を回転させることで、対話者Ｖが動きながら話しかけている場合でも、右カメラ１０４、左カメラ１０６の視野から対話者Ｖが外れてしまうことを防ぐことができる。
【００３０】
対話者Ｖの顔の向きと視線の向きは、右カメラ１０４と左カメラ１０６のそれぞれの画像データにおいて特徴点を抽出し、抽出された特徴点の位置をステレオ視の原理によって算出することで、算出された特徴点の位置に基づいて算出することができる。なお特徴点の位置を算出する際には、音声認識装置１００における頭部１０２の胴体部１０８に対する回転角が考慮される。
【００３１】
対話者Ｖの顔の向きを算出する場合、まず画像データにおいて対話者Ｖの顔における左右の目の目頭、目尻、および口角を特徴点として抽出する。右カメラ１０４および左カメラ１０６のそれぞれの画像データ上でのこれらの特徴点の位置から、ステレオ視の原理によって、これら特徴点の実際の位置を算出することができる。これらの特徴点は対話者Ｖの顔の表面に存在しているから、これらの特徴点の位置から対話者Ｖの顔の向きを算出することができる。対話者Ｖの顔の向きが算出されると、発話状態認識部２０２は第２発話尤度を算出する。対話者Ｖの顔の向きが、音声認識装置１００の方向を向いている場合は、対話者Ｖが音声認識装置１００に話しかけている尤度が高い。逆に、対話者Ｖの顔の向きが音声認識装置１００の方向とは異なる方向を向いている場合は、対話者Ｖが音声認識装置１００に話しかけている尤度が低い。本実施例では、発話状態認識部２０２は対話者Ｖの位置に基づいて対話者Ｖから見た発話状態認識部２０２の方向を算出し、算出された方向と対話者Ｖの顔の向きとの偏差角度を算出する。発話状態認識部２０２は算出された偏差角度に応じて第２発話尤度を特定する。発話状態認識部２０２には、偏差角度と第２発話尤度との対応関係を示す対応表が予め記憶されており、発話状態認識部２０２は算出される偏差角度と対応表を用いて第２発話尤度を特定する。
【００３２】
対話者Ｖの視線の向きを算出する場合、まず画像データにおいて対話者Ｖの顔における左右の目の目頭、目尻および黒目の中心を特徴点として抽出する。これら特徴点の実際の位置は、ステレオ視の原理によって算出することができる。目頭および目尻と、黒目の中心との相対的な位置関係と、対話者Ｖの顔の向きから、対話者Ｖの視線の向きを算出することができる。対話者Ｖの視線の向きが算出されると、発話状態認識部２０２は第３発話尤度を算出する。対話者Ｖの視線の向きが、音声認識装置１００の方向を向いている場合は、対話者Ｖが音声認識装置１００に話しかけている尤度が高い。逆に、対話者Ｖの視線の向きが音声認識装置１００の方向とは異なる方向を向いている場合は、対話者Ｖが音声認識装置１００に話しかけている尤度が低い。本実施例では、発話状態認識部２０２は対話者Ｖの位置に基づいて対話者Ｖから見た発話状態認識部２０２の方向を算出し、算出された方向と対話者Ｖの視線の向きとの偏差角度を算出する。発話状態認識部２０２は算出された偏差角度に応じて第３発話尤度を特定する。発話状態認識部２０２には、偏差角度と第３発話尤度との対応関係を示す対応表が予め記憶されており、発話状態認識部２０２は算出される偏差角度と対応表を用いて第３発話尤度を特定する。
【００３３】
対話者Ｖの口唇の動きは、右カメラ１０４または左カメラ１０６のいずれかの画像データにおいて抽出される口唇付近の画像の経時的変化から評価される。
図３は右カメラ１０４または左カメラ１０６のいずれかで撮影された画像データから抽出された、対話者Ｖの口唇Ｒ付近の画像の経時的な変化を示している。図に示す例では、時刻ｔ１において口唇Ｒは閉じており、その直後の時刻ｔ２において口唇Ｒは閉じており、その直後の時刻ｔ３において口唇Ｒは開いており、その直後の時刻ｔ４において口唇Ｒは開いており、その直後の時刻ｔ５において口唇Ｒは閉じている。この場合、時刻ｔ２における口唇Ｒの状態は、その直前の時刻ｔ１における口唇Ｒの状態と同一である。従って、発話状態認識部２０２は時刻ｔ２において口唇Ｒは動いていないと評価する。時刻ｔ３における口唇Ｒの状態は、その直前の時刻ｔ２における口唇Ｒの状態とは異なる。従って、発話状態認識部２０２は時刻ｔ３において口唇Ｒは動いていると評価する。時刻ｔ４における口唇Ｒの状態は、その直前の時刻ｔ３における口唇Ｒの状態と同一である。従って、発話状態認識部２０２は時刻ｔ４において口唇Ｒは動いていないと評価する。このように、口唇付近の画像の経時的変化から、口唇の動きが評価される。対話者Ｖの口唇の動きが評価されると、発話状態認識部２０２は第４発話尤度を算出する。対話者Ｖが口唇を動かしている場合は、対話者Ｖが音声認識装置１００に話しかけている尤度が高い。逆に、対話者Ｖが口唇を動かしていない場合は、対話者Ｖが音声認識装置１００に話しかけている尤度が低い。本実施例の発話状態認識部２０２は、対話者Ｖが口唇を動かしていると評価される場合に第４発話尤度を１に設定し、対話者Ｖが口唇を動かしていないと評価される場合に第４発話尤度をゼロに設定する。
【００３４】
図２の発話状態認識部２０２は、右カメラ１０４および左カメラ１０６が撮影する毎に上記した一連の処理を実行し、右カメラ１０４および左カメラ１０６で同一時刻に撮影された画像データに基づいて第１発話尤度、第２発話尤度、第３発話尤度および第４発話尤度をそれぞれ計算する。発話状態認識部２０２は、計算された第１発話尤度、第２発話尤度、第３発話尤度および第４発話尤度を、尤度計算の基とした画像データが撮影された時刻と関連付けて、出力部２２０の発話区間判断部２０４へ出力する。
【００３５】
音声解析部２０８は、マイクロホン１１２から入力される音データに基づいて、発話の開始時刻の検出と、発話の終了時刻の検出と、発話の開始時刻から発話終了時刻までの文章データを作成する。音声解析部２０８は、時刻検出部２１０と、文章データ作成部２１２と、音素データベース（以下ではＤＢと記述する）２１４と、単語ＤＢ２１６と、文章ＤＢ２１８を備えている。
【００３６】
時刻検出部２１０は、マイクロホン１１２から入力される音データから、発話の開始時刻と発話の終了時刻を検出する。
図４にマイクロホン１１２から入力される音データ４０２の波形を示す。時刻検出部２１０は、発話の開始が検知されていない状況では、音データ４０２における音圧が所定のしきい値ΔＰを超えるか否かを看視している。音データ４０２の音圧がしきい値ΔＰを超えた時点で、時刻検出部２１０は発話が開始されたと判断する。発話の開始が検知されると、時刻検出部２１０は発話の開始時刻ＴＳを特定し、文章データ作成部２１２に発話の開始時刻ＴＳを報知する。
発話の開始が検知された後は、時刻検出部２１０は、音データ４０２の波形が単位時間ΔＴあたりに音圧ゼロの線４０４と交差する回数をカウントし、カウントされた回数が所定のしきい値に達するか否かを看視する。単位時間ΔＴあたりにカウントされる回数が所定のしきい値に満たなくなった時点で、時刻検出部２１０は発話が終了したと判断する。発話の終了が検知されると、時刻検出部２１０は発話の終了時刻ＴＥを特定し、文章データ作成部２１２に発話の終了時刻ＴＥを報知する。そして時刻検出部２１０は、発話の開始時刻ＴＳと発話の終了時刻ＴＥを、出力部２２０の発話区間判断部２０４へ出力する。
【００３７】
文章データ作成部２１２は、マイクロホン１１２から入力される音データから、対話者Ｖが話しかけている文章を文章データとして特定する。文章データ作成部２１２は、時刻検出部２１０から発話の開始時刻が報知されると、その発話の開始時刻以降の音データに基づいて、文章データの特定を行う。文章データ作成部２１２は、発話の開始時刻からその時点までにマイクロホン１１２から入力された音データに基づいて、文章データをリアルタイムに特定し続ける。文章データ作成部２１２は、時刻検出部２１０から発話の終了時刻が報知されると、発話の開始時刻から発話の終了時刻までの音データから特定される文章データを発話区間判断部２０４へ出力する。
【００３８】
以下では文章データ作成部２１２が行う文章データの特定について詳細に説明する。本実施例の文章データ作成部２１２は、入力される音データから隠れマルコフ・モデル（ＨＭＭ；Hidden Markov Model）を用いて音素の時系列としての文章を特定する。ここで音素とは、人間が言葉を話す際に発せられる音声を構成する要素を意味する。例えば人間が「ぶどう」という言葉を話す際に発せられる音声は、「ｂ」と「ｕ」と「ｄ」と「ｏ：」という４つの音素から構成されている。ＨＭＭを用いて音素の時系列を特定する場合、１つの音素は複数の状態から構成されていると想定し、それぞれの状態を次の状態へ遷移する遷移確率と、次の状態へ遷移せずに停留する停留確率によって特徴付ける。以下では音素を構成する状態のことを音素状態と記述する。本実施例では、１つの音素が３つの音素状態から構成されている例を説明する。例えば「ｂ」という音素は、音素状態ｂ１、ｂ２、ｂ３から構成されている。ある音素状態から音素状態ｂ１へ遷移し、音素状態ｂ１から音素状態ｂ２に遷移し、音素状態ｂ２から音素状態ｂ３に遷移することで、音素「ｂ」が実現される。音素状態ｂ１は、次の音素状態である音素状態ｂ２へ遷移することもあるし、音素状態ｂ１のまま停留することもある。音素状態ｂ２、ｂ３についても同様である。本実施例の文章データ作成部２１２では、音素状態の時系列として音素が特定され、音素の時系列として単語が特定され、単語の時系列として文章が特定される。本実施例の文章データ作成部２１２では、音素状態の時系列のうちで最も尤度の高いものを特定し、特定された音素状態の時系列に対応する文章を対話者Ｖが話しかけている文章と判断する。
【００３９】
より具体的には、文章データ作成部２１２は、マイクロホン１１２から入力される音データについてフレーム化処理を実施し、各フレームの音データの周波数スペクトルを特定し、特定された周波数スペクトルからそのフレームに対する各音素状態の尤度を評価し、各音素状態の尤度から各音素の尤度を評価し、各音素の尤度から各単語の尤度を評価し、各単語の尤度から各文章の尤度を評価する。尤度評価の対象とする音素は、その音素を構成する音素状態と関連付けて、音素ＤＢ２１４に予め記憶されている。尤度評価の対象とする単語は、その単語を構成する音素と関連付けて、単語ＤＢ２１６に予め記憶されている。尤度評価の対象とする文章データは、その文章を構成する単語と関連付けて、文章ＤＢ２１８に予め記憶されている。文章データ作成部２１２は、各文章の尤度を評価した後、最も尤度の高い文章を、対話者Ｖが話しかけている文章と判断する。
【００４０】
まず文章データ作成部２１２は、入力される音データについてフレーム化処理を実施し、各フレームに対応する音データの周波数スペクトルを特定する。図５に音データのフレーム化処理と、各フレームの音データの周波数スペクトルを特定する様子を示す。本実施例では、フレームの長さは２０ｍｓであり、フレーム間隔は１０ｍｓである。図５に示すように、音データ４０２についてフレームＦ１、Ｆ２、Ｆ３、・・・が規定される。文章データ作成部２１２は、フレームＦ１、Ｆ２、Ｆ３、・・・のそれぞれにおける音データ４０２の周波数スペクトルｆ１、ｆ２、ｆ３、・・・を特定する。周波数スペクトルは、周波数に対する振幅の分布として与えられる。周波数スペクトルの特定は、例えば高速フーリエ変換を用いて行うことができる。
【００４１】
ついで文章データ作成部２１２は、フレーム毎に特定された周波数スペクトルから、そのフレームに対する各音素状態の尤度を評価する。それぞれの音素状態は、その音素状態が実現された場合に、音声として観測される周波数スペクトルについての確率分布を備えている。この確率分布は、実験などによって予め取得しておくことができる。この確率分布と、フレームに対して特定された周波数スペクトルから、そのフレームに対する音素状態の尤度を計算することができる。本実施例では、音素ＤＢ２１４に尤度評価の対象とする各音素の各音素状態について、観測される周波数スペクトルから尤度を算出する関数が予め記憶されている。文章データ作成部２１２は、周波数スペクトルｆ１、ｆ２、ｆ３、・・・のそれぞれについて、各音素の各音素状態について尤度を算出する。例えばフレームＦ１の周波数スペクトルｆ１から、フレームＦ１に対する音素「ｂ」の音素状態ｂ１、ｂ２、ｂ３のそれぞれの尤度が算出される。他の音素の音素状態についても同様にして、フレームＦ１に対する尤度が算出される。他のフレームについても同様にして、そのフレームに対する各音素の各音素状態の尤度が算出される。
【００４２】
各フレームに対する各音素状態の尤度が算出されると、文章データ作成部２１２は、各音素の尤度の評価と、各単語の尤度の評価を行う。図６を参照しながら、各音素の尤度の評価と、各単語の尤度の評価について説明する。図６では一例として、単語「ぶどう」についての尤度を評価する例を説明する。図６の左側の欄では、単語「ぶどう」が音素「ｂ」、「ｕ」、「ｄ」、「ｏ：」の系列として構成されており、音素「ｂ」が音素状態ｂ１、ｂ２、ｂ３の系列として構成されており、音素「ｕ」が音素状態ｕ１、ｕ２、ｕ３の系列として構成されており、音素「ｄ」が音素状態ｄ１、ｄ２、ｄ３の系列として構成されており、音素「ｏ：」が音素状態ｏ：１、ｏ：２、ｏ：３の系列として構成されていることが示されている。図６では、フレームＦ１において音素状態ｂ１が実現している状態を点６０２で表現し、その後のフレームＦ２、Ｆ３、・・・Ｆｎにおいて、音素状態ｂ１、ｂ２、ｂ３、・・・が実現している状態を点６０４、６０６、６０８、６１０、６１２・・・で表現している。また、それぞれの点６０２、６０４、６０６、・・・からは、次のフレームにおいて次の音素状態へ遷移する経路と、次の音素状態へ遷移することなく停留する経路が伸びている。例えばフレームＦ１において音素状態ｂ１が実現している状態を示す点６０２からは、次のフレームＦ２において次の音素状態ｂ２へ遷移する枝６１４と、次の音素状態ｂ２へ遷移することなく音素状態ｂ１で停留する枝６１６が伸びている。枝６１４は、フレームＦ２において音素状態ｂ２が実現している状態を示す点６０４まで伸びている。枝６１６は、フレームＦ２において音素状態ｂ１が実現している状態を示す点６０６まで伸びている。
【００４３】
図６のそれぞれの点６０２、６０４、６０６、・・・の尤度は、各フレームに対する各音素状態の尤度として算出することができる。それぞれの枝６１４、６１６、・・・の尤度は、各音素状態の遷移確率と停留確率から算出することができる。例えば枝６１４の尤度は、音素状態ｂ１から音素状態ｂ２への遷移確率から算出することができる。枝６１６の尤度は、音素状態ｂ１の停留確率から算出することができる。単語を構成する各音素の各音素状態の遷移確率と停留確率は、実験などによって予め取得されており、音素ＤＢ２１４と単語ＤＢ２１６に記憶されている。
【００４４】
文章データ作成部２１２は、各フレームに対する各音素状態の尤度して算出される点６０２、６０４、６０６、・・・の尤度と、音素ＤＢ２１４と単語ＤＢ２１６に記憶されている枝６１４、６１６、・・・の尤度に基づいて、その時点で取り得る全ての経路について尤度を計算し、最も尤度の高い経路を特定する。ここで経路についての尤度とは、その経路に沿って事象が進行した尤度のことをいう。経路に沿って事象が進行した尤度は、その経路に含まれる点の尤度と枝の尤度から算出することができる。文章データ作成部２１２は、その単語において最も尤度の高い経路が特定されると、その経路に沿って事象が進行した尤度を、その単語の尤度として特定する。
図６に示す例では、フレームＦ１、Ｆ２、・・・Ｆｎまで処理が進行している時点において、単語「ぶどう」において最も尤度の高い経路として経路６１８が特定されている。このような場合には、経路６１８に沿って事象が進行した尤度が、単語「ぶどう」の尤度として特定される。経路６１８に沿って事象が進行した尤度は、経路６１８に含まれる点６０２、６０４、６１０、・・・の尤度と、枝６１４、・・・の尤度から算出される。
【００４５】
図６では単語「ぶどう」についての尤度を評価する例を説明したが、文章データ作成部２１２は、上記した尤度の評価を、単語ＤＢ２１６に記憶されている全ての単語について実施する。これによって、単語ＤＢ２１６に記憶されている全ての単語についての尤度が評価される。
【００４６】
各単語についての尤度が評価されると、文章データ作成部２１２は各文章データの尤度を評価する。文章データ作成部２１２は、文章ＤＢ２１８に記憶されている全ての文章データについて、尤度の評価を行う。文章ＤＢ２１８には、尤度の評価の対象とする文章データと、その文章を構成する単語の系列が、関連付けて記憶されている。
図８に文章の尤度を評価する様子を示している。図８に示す例では、「プリウス」（登録商標）―「の」―「燃費」―「は」―「いくら」―「ですか」という単語の系列が１つの文章を構成している。また、「プリウス」―「の」―「燃費」―「を」―「教えて」―「下さい」という単語の系列も１つの文章を構成している。これらの文章と、その文章を構成する単語の系列は、文章ＤＢ２１８に予め記憶されている。
【００４７】
文章データ作成部２１２は、文章の尤度を、その文章に含まれる単語の尤度と、その文章における単語から単語への接続の尤度から算出する。単語から単語への接続の尤度は、図７に示す単語接続表７００を用いて特定される。単語接続表７００は、ある単語（図では前単語と記述している）から次に続く単語（図では後単語と記述している）への接続が出現する確率（図では出現率と記述している）を記述している。このような単語から単語への接続が出現する確率は、実験などによって取得することができる。単語接続表７００は文章ＤＢ２１８に予め記憶されており、文章データ作成部２１２は必要に応じて文章ＤＢ２１８から単語接続表７００を読み込む。文章データ作成部２１２は、文章ＤＢ２１８に記憶されているそれぞれの文章データについて尤度を計算する。文章データ作成部２１２は、最も尤度の高い文章データを、対話者Ｖが話しかけた文章として特定する。
【００４８】
文章データ作成部２１２は、上記したフレーム化処理から文章データの特定までの一連の処理を、時刻検出部２１０から発話の終了時刻が報知されるまで繰り返し実施する。時刻検出部２１０から発話の終了時刻が報知されると、文章データ作成部２１２は報知された発話の終了時刻までの音データから特定された文章データを、出力部２２０の発話区間判断部２０４へ出力する。
【００４９】
出力部２２０は、発話区間判断部２０４と文章データ出力部２０６を備えている。
発話区間判断部２０４は、画像認識手段２０２から入力される第１発話尤度、第２発話尤度、第３発話尤度および第４発話尤度の時系列と、時刻検出部２１０から入力される発話の開始時刻と終了時刻に基づいて、発話区間の妥当性を判定する。
【００５０】
発話区間の妥当性は、種々の手法によって判定することができる。例えば、誤認識を極力起こさないようにしたい場合には、第１発話尤度、第２発話尤度、第３発話尤度および第４発話尤度をそれぞれ所定のしきい値（例えば０．９）と比較し、第１発話尤度、第２発話尤度、第３発話尤度および第４発話尤度が全て所定のしきい値を超える場合にのみ、発話区間が妥当であると判定する。
あるいは、第１発話尤度、第２発話尤度、第３発話尤度および第４発話尤度のそれぞれに重み係数を掛け合わせたものの総和を総合発話尤度として算出し、算出される総合発話尤度が所定のしきい値（例えば０．９）を超える場合にのみ、発話区間が妥当であると判定してもよい。
あるいは、第１発話尤度、第２発話尤度、第３発話尤度および第４発話尤度を時間に関して微分した値や、時間に関して積分した値に基づいて、発話区間の妥当性を判定してもよい。すなわち、第１発話尤度を f1(t)、第２発話尤度を f2(t)、第３発話尤度を f3(t)、第４発話尤度を f4(t) としたときに、以下の式で算出される値 L が所定のしきい値を超えるか否かで、発話区間の妥当性を判定してもよい。ここで、ak,l(k=1〜4, l=1〜3) は、任意に与えることができる重み係数である。
【００５１】
【数１】
2007199552.tif 000003
【００５２】
発話区間が妥当であると判定されると、発話区間判断部２０４は文章データ作成部２１２から入力された文章データを、対話者Ｖから話しかけられた文章として文章データ出力部２０６へ出力する。
【００５３】
発話区間が妥当でないと判断されると、発話区間判断部２０４は文章データ出力部２０６へ何も出力しない。
【００５４】
文章データ出力部２０６は、発話区間判断部２０４から入力される文章データを出力する。文章データ出力部２０６から出力される文章データは、種々の用途に用いることができる。例えば、対話者Ｖが話しかける文章に対する適切な回答の内容を、予めデータベース等に記憶しておき、認識された文章データに応じて回答を行う応答装置を別途設けて置き、その応答装置に文章データ出力部２０６から出力される文章データを入力することで、対話者Ｖに対して適切な対応をすることができる。
【００５５】
図９は本実施例のコントローラ１１４が行う処理を説明するフローチャートを示している。コントローラ１１４には、マイクロホン１１２から音データが逐次入力されている。またコントローラ１１４には、所定の時間間隔で撮影された画像データが、右カメラ１０４、左カメラ１０６から逐次入力されている。
コントローラ１１４の音声解析部２０８と発話状態認識部２０２は、互いに並行して処理を実行する。音声解析部２０８は、ステップＳ９０２からステップＳ９１６に示す処理を実施し、発話状態認識部２０２はステップＳ９１８からステップＳ９２８に示す処理を実施する。
【００５６】
音声解析部２０８の処理について説明する。
ステップＳ９０２では、時刻検出部２１０が音データから発話の開始を検出するまで待機する。発話の開始が検出されると、音声解析部２０８の処理はステップＳ９０４へ進む。
ステップＳ９０４では、文章データ作成部２１２が音データのフレーム化処理を実施する。
ステップＳ９０６では、文章データ作成部２１２が各フレームの音データについて周波数スペクトルを特定する。
ステップＳ９０８では、文章データ作成部２１２が特定された周波数スペクトルから各音素状態の尤度を算出する。
ステップＳ９１０では、文章データ作成部２１２が各単語の尤度を算出する。
ステップＳ９１２では、文章データ作成部２１２が各文章の尤度を算出する。
ステップＳ９１４では、時刻検出部２１０が音データから発話の終了を検出したか否かを判断する。発話の終了が検出された場合（ステップＳ９１４でＹＥＳの場合）、音声解析部２０８の処理はステップＳ９１６へ進む。発話の終了が検出されない場合（ステップＳ９１４でＮＯの場合）、音声解析部２０８の処理はステップＳ９０４へ移行し、ステップＳ９１４までの処理を繰り返し実施する。
ステップＳ９１６では、時刻検出部２１０が発話の開始時刻と発話の終了時刻を発話区間判断部２０４へ出力し、文章データ作成部２１２が特定された文章データを発話区間判断部２０４へ出力する。音声解析部２０８は処理を終了し、出力部２２０がステップＳ９３２以降の処理を実施する。
【００５７】
発話状態認識部２０２の処理について説明する。
ステップＳ９１８では、右カメラ１０４、左カメラ１０６から新たに撮影された画像データが入力されるまで待機する。
ステップＳ９２０では、撮影された画像データから、対話者Ｖの特徴点を検出する。
ステップＳ９２２からステップＳ９２８では、第１発話尤度、第２発話尤度、第３発話尤度および第４発話尤度をそれぞれ算出する。
ステップＳ９３０では、算出された第１発話尤度、第２発話尤度、第３発話尤度および第４発話尤度を、画像データが撮影された時刻と関連付けて発話区間判断部２０４へ出力する。
その後、発話状態認識部２０２の処理はステップＳ９１８へ移行し、ステップＳ９３０までの処理を繰り返し実施する。
【００５８】
出力部２２０の処理について説明する。
ステップＳ９３２では、発話状態認識部２０２から入力された第１発話尤度、第２発話尤度、第３発話尤度および第４発話尤度の時系列と、時刻検出部２１０から入力された発話の開始時刻と終了時刻に基づいて、発話区間の妥当性を判定する。発話区間が妥当であると判定された場合（ステップＳ９３２でＹＥＳの場合）、処理はステップＳ９３４へ進み、文章データ作成部２１２から入力された文章データを文章データ出力部２０６で出力し、処理を終了する。発話区間が妥当でないと判定された場合（ステップＳ９３２でＮＯの場合）、文章データを出力することなく処理を終了する。
【００５９】
本実施例の音声認識装置１００では、発話区間における音声を文章として認識する文章認識処理と、発話区間の妥当性を判定するための画像認識処理を並行して実施している。これによって、発話区間の妥当性が確認されると、即座に文章認識結果を得ることができる。対話者が話しかけてから文章データが出力されるまでの処理時間を短いものとすることができる。
【００６０】
本実施例の音声認識装置１００では、発話区間の妥当性を評価する際に、異なる観点から算出される第１発話尤度、第２発話尤度、第３発話尤度および第４発話尤度を用いて評価がなされる。これによって、発話区間の妥当性について正確に評価することが可能となり、文章の誤認識を防止することができる。
【００６１】
本実施例の音声認識装置１００では、発話区間における文章を認識する際に、文章としての尤度を評価して、最も尤度の高い文章を特定する。これによって、単語を誤認識することによって意味不明の文章が認識される事態を防ぐことができる。
【００６２】
以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
また、本明細書または図面に説明した技術要素は、単独であるいは各種の組み合わせによって技術的有用性を発揮するものであり、出願時請求項記載の組み合わせに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
【図面の簡単な説明】
【００６３】
【図１】図１は音声認識装置１００の外観を示す図である。
【図２】図２はコントローラ１１４の構成を模式的に示す図である。
【図３】図３は口唇Ｒの動きからの第４発話尤度の算出を説明する図である。
【図４】図４は発話の開始時刻ＴＳと終了時刻ＴＥの検出を説明する図である。
【図５】図５は音データ４０２のフレーム化処理と周波数スペクトルの特定を説明する図である。
【図６】図６は単語「ぶどう」の尤度評価を説明する図である。
【図７】図７は単語接続表７００を例示する図である。
【図８】図８は文章の尤度評価を説明する図である。
【図９】図９はコントローラ１１４の処理を説明するフローチャートである。
【符号の説明】
【００６４】
１００：音声認識装置
１０２：頭部
１０４：右カメラ
１０６：左カメラ
１０８：胴体部
１１０：アクチュエータ
１１２：マイクロホン
１１４：コントローラ
２０２：発話状態認識部
２０４：発話区間判断部
２０６：文章データ出力部
２０８：音声解析部
２１０：時刻検出部
２１２：文章データ作成部
２１４：音素データベース
２１６：単語データベース
２１８：文章データベース
２２０：出力部
４０２：音データ
４０４：音圧ゼロの線
６０２、６０４、６０６、６０８、６１０、６１２：点
６１４、６１６：枝
６１８：経路
７００：単語接続表
【図１】
2007199552.tif 000004
【図２】
2007199552.tif 000005
【図３】
2007199552.tif 000006
【図４】
2007199552.tif 000007
【図５】
2007199552.tif 000008
【図６】
2007199552.tif 000009
【図７】
2007199552.tif 000010
【図８】
2007199552.tif 000011
【図９】
2007199552.tif 000012