(57)【要約】【課題】音声認識処理の負荷を増大させることなく、ノイズ環境下における音声認識率を向上させること。【解決手段】音声認識装置１１は画像処理部１３及び音声処理部１２を備える。画像処理部１３は、画像情報に基づいて音節区切り時刻を抽出する。音声処理部１２は、音声の特徴量のうち、音節区切り時刻と同期して減少する特徴量及びその時刻の前後において一定値をとる特徴量について、その時刻の直後における特徴量の値を減少させる。【選択図】図１
2009186840.tif 000002
【特許請求の範囲】
【請求項１】
音声の特徴量のうち、画像情報から抽出された音節区切り時刻と同期して減少する特徴量及び該時刻の前後において一定値をとる特徴量について、該時刻の直後における特徴量の値を減少させるように構成された音声処理部を備えることを特徴とする音声認識装置。
【請求項２】
画像情報に基づいて前記時刻を抽出するように構成された画像処理部を備えることを特徴とする、請求項１に記載の音声認識装置。
【請求項３】
前記画像情報は、話者の口唇の画像を含むことを特徴とする、請求項１又は２に記載の音声認識装置。
【請求項４】
音声の特徴量のうち、画像情報から抽出された音節区切り時刻と同期して減少する特徴量及び該時刻の前後において一定値をとる特徴量について、該時刻の直後における特徴量の値を減少させる工程を含むことを特徴とする音声認識方法。
【請求項５】
画像情報に基づいて前記時刻を抽出する工程を含むことを特徴とする、請求項４に記載の音声認識方法。
【請求項６】
前記画像情報は、話者の口唇の画像を含むことを特徴とする、請求項４又は５に記載の音声認識方法。
【請求項７】
音声の特徴量のうち、画像情報から抽出された音節区切り時刻と同期して減少する特徴量及び該時刻の前後において一定値をとる特徴量について、該時刻の直後における特徴量の値を減少させる処理をコンピュータに実行させることを特徴とする音声認識プログラム。
【請求項８】
画像情報に基づいて前記時刻を抽出する処理をコンピュータに実行させることを特徴とする、請求項７に記載の音声認識プログラム。
【請求項９】
前記画像情報は、話者の口唇の画像を含むことを特徴とする、請求項７又は８に記載の音声認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識装置、方法及びプログラムに関し、特に、ノイズ環境下における音声認識装置、方法及びプログラムに関する。
【背景技術】
【０００２】
近年、音声認識システムを搭載したアプリケーションが増えつつある。しかし、現状の音声認識システムはノイズ環境下における音声の認識率の低下が大きい。したがって、カーナビや携帯情報端末において、主要な入力インターフェースとして音声が用いられる例は少なく、むしろ補助的な役割として用いられることが多い。
【０００３】
音声認識システムを広く普及させるためには、ノイズ環境下における音声認識率を向上させることが肝要であることから、多くの研究者によって音声認識アルゴリズムの研究が進められている。ただし、これまでに実用化された事例を鑑みると、ノイズ環境下における音声認識率を向上させるには、単に音声認識アルゴリズムを改良するのみならず、システム的な観点からも従来の音声認識装置を見直す必要があるものと考えられる。
【０００４】
なお、特許文献１において、唇の動きから求めた音節区間情報と、単語辞書手段に登録されているモデル音節区間情報とから最適な整合窓を形成してＤＰ（Ｄｙｎａｍｉｃ  Ｐｒｏｇｒａｍｍｉｎｇ、動的計画法）マッチングを行うことによって、ＤＰマッチングに費やす処理量を軽減する音声認識装置が開示されている。
【０００５】
また、特許文献２において、映像データと音声データとに基づいて音声認識処理を行う音声認識装置が開示されている。具体的には、音声認識装置は、映像処理手段と音声処理手段と音声認識手段とを供える。映像処理手段は口唇を含む話者の映像データを入力し、音声処理手段は話者の音声データを入力する。映像処理手段は、各単音節を発声する口唇の映像標準データと入力映像データとの間の類似度を算出し、映像標準データの各単音節とそれに対する類似度とを出力する。音声処理手段は、各単音節を発声する音声の音声標準データと入力音声データとの間の類似度を算出し、音声標準データの各単音節とそれに対する類似度とを出力する。音声認識手段は、映像処理手段及び音声処理手段から出力された類似度を用いて、総合的な類似度が最も大きい単音節を識別する。
【０００６】
【特許文献１】特開平０９−１９８０８２号公報
【特許文献２】特開平１１−０８５１９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
以下の分析は、本発明者によってなされたものである。一般に、人がノイズ環境下において音声を認識する際、口唇の形を無意識に利用していることが知られている。しかし、口唇の形だけに基づいて音の候補を絞り込む訳ではなく、音や文脈その他の情報と組み合わせることによって音声を認識する。したがって、単に口唇の形から音への直接的な関連づけが行われるわけではない。かかる直接的な関連付けは非効率であるため、健常者の音声認識においては、意識的には行われていないと考えられる。特許文献２の従来技術においては、口唇の形を直接音声認識と関連づける手法が用いられている。
【０００８】
一方、口唇の形と音声とを直接的に関連づける手法として読唇術が挙げられる。人が読唇術を行う場合、母音は比較的判別しやすいものの子音は判別し難いため、舌の動き、表情及び文脈も参考にしている。しかし、特許文献２の従来技術では、話者の口唇を含む画像に基づいて、口唇の形から抽出された特徴量を利用するため、舌の動き、表情及び文脈を利用していない。ちなみに、舌の動きの撮影は技術的にも困難である。口唇部分と舌（口内）との明暗差が大きいため、同時に撮影することが困難だからである。しかし、特許文献２の従来技術では、かかる困難を取り除くための対策がなされていない。また、この従来技術においては、表情の認識を行う仕組みも含まれていない。
【０００９】
すなわち、特許文献２の従来技術における、口唇の形状のみを用いた映像処理によって母音の特定は可能であるものの、子音の特定は困難であり、単音節の候補を１つに絞ることは難しいと考えられる。したがって、映像処理は音声認識における主要な情報とは成りえず、音声処理を補強する役割を果たすに過ぎない。しかし、単に音声処理を補強する役割に過ぎないにも関わらず、映像処理には音声処理と比較して非常に多くの処理能力が要求されるという問題がある。
【００１０】
映像処理と音声処理とにおいて、要求される処理能力の違いについて、具体例に基づいて説明する。音声を固定電話と同じレートでサンプリングした場合、すなわち、８ｋＨｚ（４ｋＨｚの音の高さまでのサンプリング）、振幅８ビットによるサンプリングにおける１秒当りのデータ量は、６４ｋｂｐｓ（＝８ｋＨｚ×８ｂｉｔ）である。一方、映像の場合、ＱＶＧＡ（３２０×２４０ドット）２５６階調グレースケール画像を３０Ｈｚでサンプリングした場合、１秒当りのデータ量は、５９０、０００ｋｂｐｓ（≒３２０ｄｏｔ×２４０ｄｏｔ×２５６ｂｉｔ×３０Ｈｚ）となる。したがって、映像データのデータ量は音声データのデータ量の約１万倍となる。ちなみに、音声認識においては、かかるデータ量を１秒間で処理する能力が求められる。
【００１１】
音声認識においては、処理負荷の８割以上は画像処理に費やされるものの、音声認識結果に対する画像処理の効果は音声処理の補強にしかならないようなケースが起こりうる。したがって、カーナビや携帯情報端末に実装するためには、映像入力に基づく認識率の向上を図りつつ、映像処理を簡略化して負荷を低減することが必要となる。しかし、特許文献２の従来技術では、映像処理と音声処理のそれぞれにおいて、パターン認識処理が行われ、単に二つの処理結果を組み合わせたにすぎない。
【００１２】
そこで、音声認識処理の負荷を増大させることなく、ノイズ環境下における音声認識率を向上させることが課題となる。
【課題を解決するための手段】
【００１３】
本発明の第１の視点に係る音声認識装置は、
音声の特徴量のうち、画像情報から抽出された音節区切り時刻と同期して減少する特徴量及び該時刻の前後において一定値をとる特徴量について、該時刻の直後における特徴量の値を減少させるように構成された音声処理部を備えることを特徴とする。
【００１４】
本発明の第２の視点に係る音声認識方法は、
音声の特徴量のうち、画像情報から抽出された音節区切り時刻と同期して減少する特徴量及び該時刻の前後において一定値をとる特徴量について、該時刻の直後における特徴量の値を減少させる工程を含むことを特徴とする。
【００１５】
本発明の第３の視点に係る音声認識プログラムは、
音声の特徴量のうち、画像情報から抽出された音節区切り時刻と同期して減少する特徴量及び該時刻の前後において一定値をとる特徴量について、該時刻の直後における特徴量の値を減少させる処理をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１６】
本発明の音声認識装置、方法及びプログラムによって、音声認識処理の負荷を増大させることなく、ノイズ環境下における音声認識率を向上させることができる。音声の特徴量のうち音節区切り時刻と同期して増大するものとそれ以外のものとを識別し、後者をノイズとみなして前者に対して相対的に低減させることによって、ノイズの影響を削減することができるからである。
【００１７】
また、本発明の画像処理においては、画像情報に基づく音節区切り時刻の抽出のみが行われ、パターン認識処理は行われない。したがって、従来と比較して画像処理の負荷が軽減される。すなわち、音声認識処理全体の処理能力を従来の音声認識装置と同一とした場合であっても、画像処理の負荷が軽減された分の処理能力を音声処理に充当することができる。したがって、従来よりも高性能な音声処理アルゴリズムを搭載することによって、音声認識率をさらに向上させることもできる。
【発明を実施するための最良の形態】
【００１８】
本発明の実施形態に係る音声認識装置について図面を参照して説明する。図１は、本発明の実施形態に係る音声認識装置のブロック図である。
【００１９】
図１を参照すると、音声認識装置１１は、音声処理部１２と画像処理部１３とを備える。画像処理部１３は、画像情報に基づいて音節区切り時刻を抽出する。音声処理部１２は、音声の特徴量のうち、音節区切り時刻と同期して減少する特徴量及びその時刻の前後において一定値をとる特徴量について、その時刻の直後における特徴量の値を減少させる。画像情報は話者の口唇の画像が含むことが好ましい。
【００２０】
本発明の実施形態に係る音声認識方法について図面を参照して説明する。図２は、本発明の実施形態に係る音声認識方法のシーケンス図である。
【００２１】
図２を参照すると、音声処理部１２は、入力した音声に対する特徴量の抽出を行う（ステップＳ２１）。一方、画像処理部１３は、入力した映像に対する特徴量の抽出を行う（ステップＳ３１）。画像処理部１３は、映像に対する特徴量に基づいて、音節区切り時刻を抽出する（ステップＳ３２）。音声処理部１２は、音節区切り時刻を参照して音声の特徴量のデータを調整する（ステップＳ２２）。具体的には、音声処理部１２は、音声の特徴量のうち、画像情報から抽出された音節区切り時刻と同期して減少する特徴量及びその時刻の前後において一定値をとる特徴量について、その時刻の直後における特徴量の値を減少させる。音声処理部１２は、調整された特徴量に基づいて、音声認識（パターン認識）を行い（ステップＳ２３）、発声候補を選定する（ステップＳ２４）。
【００２２】
本発明の他の実施形態は、上記音声認識方法をコンピュータに実行させる音声認識プログラムであってもよい。すなわち、音声認識プログラムは、上記音声認識方法における各処理（ステップＳ２１〜Ｓ２４及びステップＳ３１、Ｓ３２）をコンピュータに実行させるものであってもよい。
【実施例】
【００２３】
本発明の実施例に係る音声認識装置について図面を参照して説明する。図３は、本発明の実施例に係る音声認識装置のブロック図である。図３の音声認識装置１０に設けた画像処理部３０においては、従来の音声認識装置の画像処理部（特許文献２の図１の映像処理部２）において最も処理の負荷が大きいパターン認識処理は行われない。すなわち、本実施例の音声認識装置１０における画像処理部３０は、従来の音声認識装置における画像処理部と比較して、処理内容が大幅に削減されている。
【００２４】
一方、本実施例の音声認識装置１０の音声処理部２０においては、従来の音声認識装置における音声処理部に対する改善が施される。前処理部２１は、画像処理部３０の音節区切り検出部３４によって抽出された音節区切り情報に基づいて、音声の特徴量を調整することによって、ノイズの影響を削減する。
【００２５】
具体的な処理として、前処理部２１の特徴量調整部２５は、音声の区切り時間と同期した音声特徴量の変化があれば、変化した特徴量を本来聞き取るべき音声として扱い、音声の区切り時間と同期しない音声特徴量の変化があれば、その特徴量をノイズとして扱い、特徴量を減少させる。これは、話者の口の動きに同期して、認識すべき音声が変化するものと考えられるからである。口の動きに同期しない音はノイズと考えられる。したがって、かかるノイズをパターン認識において音声と認識されないようにするため、口の動きに同期しない特徴量を減少させる。
【００２６】
このように映像を利用することによって、音声認識の対ノイズ性能の向上が見込まれる。また、従来技術と比較して処理構成が簡略化される。また、従来技術と同じ計算量という条件下において、より高性能な音声認識アルゴリズムを搭載することもできる。
【００２７】
本実施例においては、具体的には以下の数式に従って特徴量Ｃｉを変化させる。
Ｃｉ、Ｍｏｄｉｆｉｅｄ＝αｉ×Ｃｉ、Ｏｒｉｇｉｎａｌ（０≦αｉ≦１、０≦Ｃｉ≦１）      （１）
ここで、Ｃｉ、Ｏｒｉｇｉｎａｌ及びＣｉ、Ｍｏｄｉｆｉｅｄはそれぞれ変化前後のｉ番目の特徴量である。係数αｉはｉ番目の特徴量変化時間と音節区切り時間の相関係数を元に求めたものである。相関が強い場合には、αｉを１に近づけて入力の音声特徴量をそのまま残す。一方、相関が弱い場合には、αｉを０に近づけて入力の音声特徴量を削減する。
【００２８】
図３に示すとおり、本実施例に係る音声認識装置１０には２種類の入力（カメラ５０を介した映像入力とマイク４０を介した音声入力）がある。音声認識装置１０は音声認識、すなわち、音声入力を認識することを目的とする。しかし、ノイズによる音声認識率の低下を防ぐため、映像入力を用いる。その映像入力を処理する部分が画像処理部３０である。画像処理部３０は、特徴量抽出部３２、特徴量変化量計算部３３、音節区切り検出部３４を備える。特徴量抽出部３２は、映像入力から口唇の形を抽出し、その特徴量を計算する。特徴量変化量計算部３３は、その変化量を計算する。音節区切り検出部３４は、特徴量が大きく変化した時間を音節の区切りとして検出し、その区切りの時間位置（すなわち、音節区切り時刻）を音声処理部２０へ送信する。
【００２９】
一方、音声処理部２０は、音声入力を処理する。特徴量抽出部２２は、音声入力を参照し、微小時間間隔で特徴量を計算する。特徴量変化量計算部２３は、特徴量の変化量を計算する。相関計算部２４は、特徴量の変化する時刻と音節区切り時刻との相関ｒを計算する。特徴量調整部２５は、特徴量が音節区切り時刻の前後でどのように変化するかに基づいて、音声認識に利用する特徴量を式（１）のように調整する。
【００３０】
ここで、式（１）の係数αｉは次の式によって求める。
αｉ＝（ｒ＋１）／２（−１≦ｒ≦１、０≦αｉ≦１）      （２）
係数αｉはｉ番目の特徴量変化時刻と音節区切り時刻との相関係数ｒに基づいて決定される。
【００３１】
図４は、特徴量の変化の様子を示す。入力された音声から、音節区切り時刻の直前及び直後の特徴量を平坦化し、その後、式（１）、（２）により特徴量を変化させる。図４の例で示した音節区切りと同時に特徴量が増加する場合は、その特徴量を維持する。逆に、同時に特徴量が減少する場合は、その特徴量を減少させる。その結果、音節区切り位置と同時に増加する特徴量とそれ以外とを区別しやすくなる。
【００３２】
図５を参照して、特徴量に含まれるノイズが削減される様子を説明する。音節区切り位置とは関係なくノイズが発生している状況を考える。図５（ａ）の音声に対して図５（ｂ）のノイズが混入し、本来聞き取りたい図５（ａ）の音声とは異なる図５（ｃ）の特徴量がマイク４０に入力される。
【００３３】
図５（ｃ）の特徴量に対して式（１）、（２）を用いることにより音節区切り位置との相関に基づいて、特徴量を補正した結果を図５（ｄ）に示す。図５（ｃ）と図５（ｄ）とを見比べると、補正後の特徴量（図５（ｄ））は、本来の音声（図５（ａ））に近いことが分かる。パターン認識部２６等において、補正後の音声入力を用いて音声認識を行うことによって、ノイズの影響を小さくし、ノイズ環境下における音声認識率を向上させることができる。
【００３４】
一般に、音節の変化と口唇の動きとは同期するものの、ノイズの変化は口唇の動きとは同期しない。したがって、口唇の動きに同期しない音を排除することによって、ノイズを除去した音声が抽出できる。本実施例においては、式（１）、（２）によって、口唇の動きに同期しない特徴量を減少させる事により、本来抽出すべき音声の特徴量のみを残す。以上の記載は実施例に基づいて行ったが、本発明は、上記実施例に限定されるものではない。
【図面の簡単な説明】
【００３５】
【図１】本発明の実施形態に係る音声認識装置のブロック図である。
【図２】本発明の実施形態に係る音声認識方法のシーケンス図である。
【図３】本発明の実施例に係る音声認識装置のブロック図である。
【図４】本発明の実施例に係る音声認識装置による調整前後の特徴量を示す図である。
【図５】本発明の実施例に係る音声認識装置による調整前後の特徴量を示す図である。
【符号の説明】
【００３６】
１０、１１  音声認識装置
１２、２０  音声処理部
１３、３０  画像処理部
２１  前処理部
２２、３２  特徴量抽出部
２３、３３  特徴量変化量計算部
２４  相関計算部
２５  特徴量調整部
２６  パターン認識部
３４  音節区切り検出部
４０  マイク
５０  カメラ
【図１】
2009186840.tif 000003
【図２】
2009186840.tif 000004
【図３】
2009186840.tif 000005
【図４】
2009186840.tif 000006
【図５】
2009186840.tif 000007