(57)【要約】【課題】簡易に発話の音声認識の精度向上を図る。【解決手段】本発明に係る音声認識システム１０は、ユーザによる発話の際の音響信号を取得する音響信号取得手段１１と、発話の際の前記ユーザの口周辺を含む平面画像を取得する平面画像取得手段１２と、発話の際の前記ユーザの口周辺を含む立体画像を取得する立体画像取得手段１３と、音響信号に基づき、ユーザの発話に関する音響パラメータを取得する音響信号処理手段１４と、平面画像に基づき、発話の際のユーザの口の平面的な動きに関する平面画像パラメータを取得する平面画像処理手段１５と、立体画像に基づき、発話の際のユーザの口の立体的な動きに関する立体画像パラメータを取得する平面画像処理手段１６と、音響パラメータと、平面画像パラメータと、立体画像パラメータとに基づき、発話の音声認識を行う音声認識手段１７と、を備える。【選択図】図１
2020060693.tif 000002
【特許請求の範囲】
【請求項１】
ユーザによる発話の際の音響信号を取得する音響信号取得手段と、
前記発話の際の前記ユーザの口周辺を含む平面画像を取得する平面画像取得手段と、
前記発話の際の前記ユーザの口周辺を含む立体画像を取得する立体画像取得手段と、
前記音響信号取得手段が取得した音響信号に基づき、前記ユーザの発話に関する音響パラメータを取得する音響信号処理手段と、
前記平面画像取得手段が取得した平面画像に基づき、前記発話の際のユーザの口の平面的な動きに関する平面画像パラメータを取得する平面画像処理手段と、
前記立体画像取得手段が取得した立体画像に基づき、前記発話の際のユーザの口の立体的な動きに関する立体画像パラメータを取得する平面画像処理手段と、
前記音響パラメータと、前記平面画像パラメータと、前記立体画像パラメータとに基づき、前記発話の音声認識を行う音声認識手段と、を備える音声認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識システムに関する。
【背景技術】
【０００２】
車両内などにおいて、ユーザの発話に対する音声認識を行い、その音声認識の結果に応じた応答をユーザに対して行うシステムが知られている。このようなシステムでは、様々な音響雑音の影響を受けて、音声認識の精度が低下するという問題がある。そこで、音声認識の精度向上のための種々の技術が検討されている。例えば、特許文献１には、ユーザの発話の際の音響信号と、発話の際のユーザの口周辺を撮影した平面画像と、ユーザに装着したセンサにより、発話の際のユーザの口周辺の筋肉の動きを検出した筋電信号とを用いて、音声認識を行う技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−０１８００６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像情報は、音響雑音による影響を受けないため、音声認識において補完的な役割を果たすことができる。しかしながら、センサなどをユーザに装着することなく、簡易に発話の音声認識の精度の更なる向上を図ることが求められている。
【０００５】
上記のような問題点に鑑みてなされた本発明の目的は、簡易に発話の音声認識の精度向上を図ることができる音声認識システムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一実施形態に係る音声認識システムは、
ユーザによる発話の際の音響信号を取得する音響信号取得手段と、
前記発話の際の前記ユーザの口周辺を含む平面画像を取得する平面画像取得手段と、
前記発話の際の前記ユーザの口周辺を含む立体画像を取得する立体画像取得手段と、
前記音響信号取得手段が取得した音響信号に基づき、前記ユーザの発話に関する音響パラメータを取得する音響信号処理手段と、
前記平面画像取得手段が取得した平面画像に基づき、前記発話の際のユーザの口の平面的な動きに関する平面画像パラメータを取得する平面画像処理手段と、
前記立体画像取得手段が取得した立体画像に基づき、前記発話の際のユーザの口の立体的な動きに関する立体画像パラメータを取得する平面画像処理手段と、
前記音響パラメータと、前記平面画像パラメータと、前記立体画像パラメータとに基づき、前記発話の音声認識を行う音声認識手段と、を備える。
【発明の効果】
【０００７】
本発明の一実施形態に係る音声認識システムによれば、簡易に発話の音声認識の精度向上を図ることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る音声認識システムの構成例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【００１０】
図１は、本発明の一実施形態に係る音声認識システム１０の構成例を示す図である。本実施形態に係る音声認識システム１０は、例えば、車両に搭載され、車両内のユーザの発話に対する音声認識を行うものである。車両は、例えば、自動車であるが、これに限られず、人間が搭乗可能な任意の車両であってもよい。車両は、ユーザによって運転される車両であるが、これに限られず、例えば、自動運転を行う車両であってもよい。自動運転は、例えば、ＳＡＥ（Society of Automotive Engineers）において、定義されるレベル１ないし５を含むが、これらに限られず、任意に定義されてもよい。
【００１１】
図１に示す音声認識システム１０は、音響信号取得手段１１と、平面画像取得手段１２と、立体画像取得手段１３と、音響信号処理手段１４と、平面画像処理手段１５と、立体画像処理手段１６と、音声認識手段１７とを備える。音響信号処理手段１４、平面画像処理手段１５、立体画像処理手段１６および音声認識手段１７は、例えば、プロセッサ、ならびに、各種プログラムおよびデータを格納するメモリなどを備えるコンピュータで実現可能である。音響信号処理手段１４、平面画像処理手段１５、立体画像処理手段１６および音声認識手段１７は、例えば、メモリに格納されたプログラムをプロセッサが読み出して実行することにより実現することができる。
【００１２】
音響信号取得手段１１は、ユーザによる発話の際の音響信号を取得し、取得した音響信号を音響信号処理手段１４に出力する。音響信号取得手段１１は、例えば、周辺の音声を収集するマイクを有する。
【００１３】
平面画像取得手段１２は、ユーザによる発話の際のユーザの口周辺を含む平面画像を取得し、平面画像処理手段１５に出力する。平面画像取得手段１２は、例えば、二次元的な撮像画像を取得するカメラを有する。
【００１４】
立体画像取得手段１３は、ユーザによる発話の際のユーザの口周辺を含む立体画像を取得し、立体画像処理手段１６に出力する。立体画像取得手段１３は、例えば、三次元的な撮像画像を取得するカメラ（ステレオカメラ、三次元カメラなど）を有する。
【００１５】
平面画像取得手段１２および立体画像取得手段１３は、例えば、音声認識システム１０が車両に搭載される場合、運転者および同乗者の口周辺を含む所定の撮影範囲を撮影可能に設けられている。
【００１６】
音響信号処理手段１４は、音響信号取得手段１１が取得した音響信号に基づき、ユーザの発話に関する音響パラメータを取得する。
【００１７】
平面画像処理手段１５は、平面画像取得手段１２が取得した平面画像に基づき、発話の際のユーザの口の平面的な動きに関する平面画像パラメータを取得する。
【００１８】
立体画像処理手段１６は、立体画像取得手段１３が取得した立体画像に基づき、発話の際のユーザの口の立体的な動きに関する立体画像パラメータを取得する。
【００１９】
音声認識手段１７は、音響信号処理手段１４が取得した音響パラメータと、平面画像処理手段１５が取得した平面画像パラメータと、立体画像処理手段１６が取得した立体画像パラメータとに基づき、ユーザの発話の音声認識を行い、認識結果を出力する。例えば、音声認識手段１７は、平面画像パラメータおよび立体画像パラメータを用いてユーザが発した文字を推定し、その推定結果を、音響パラメータを用いたユーザの発話の音声認識に利用する。
【００２０】
日本語を例とすると、母音（「あ」、「い」、「う」、「え」、「お」）を発話する際の口形は、大きく異なる。そのため、ユーザの口の平面的な動き（例えば、唇の動き）を検出することで、ユーザが発した文字の母音成分を推定することが可能である。しかしながら、ユーザが文字を発する際の口形は、その文字の母音成分と同じになるという傾向がある。したがって、ユーザが母音成分が同じ異なる文字（例えば、「あ」と「か」）を発した場合、ユーザの口の平面的な動きだけでは、各文字を識別することが困難な場合がある。
【００２１】
そこで、本実施形態においては、音声認識手段１７は、平面画像パラメータだけでなく、発話の際のユーザの口の立体的な動き（口内の動き）に関する立体画像パラメータを用いて、ユーザが発した文字を推定する。母音成分が同じ異なる文字を発する場合、例えば、ユーザの口内での舌の動きが異なる。したがって、音声認識手段１７は、立体画像パラメータに示されるユーザの口の立体的な動きに基づき、母音成分が同じ異なる文字（すなわち、子音）についても推定することができる。
【００２２】
このように本実施形態においては、音声認識システム１０は、ユーザによる発話の際の音響信号を取得する音響信号取得手段１１と、発話の際のユーザの口周辺を含む平面画像を取得する平面画像取得手段１２と、発話の際のユーザの口周辺を含む立体画像を取得する立体画像取得手段１３と、音響信号に基づき、ユーザの発話に関する音響パラメータを取得する音響信号処理手段１４と、平面画像に基づき、発話の際のユーザの口の平面的な動きに関する平面画像パラメータを取得する平面画像処理手段１５と、立体画像に基づき、発話の際のユーザの口の立体的な動きに関する立体画像パラメータを取得する立体画像処理手段１６と、音響パラメータと、平面画像パラメータと、立体画像パラメータとに基づき、発話の音声認識を行う音声認識手段１７と、を備える。
【００２３】
発話の際のユーザの口周辺を撮影した平面画像および立体画像を音声認識に利用することで、母音だけでなく、子音についても推定が可能となる。そのため、これらの推定結果を用いることで、音声認識の精度向上を図ることができる。また、ユーザにセンサなどを取り付けることなく、発話の際のユーザを撮影するだけでよいので、手間をかけることなく、簡易に音声認識の精度向上を図ることができる。
【００２４】
上述の実施形態は代表的な例として説明したが、本開示の趣旨および範囲内で、多くの変更および置換が可能であることは当業者に明らかである。したがって、本開示は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形および変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【符号の説明】
【００２５】
１０    音声認識システム
１１    音響信号取得手段
１２    平面画像取得手段
１３    立体画像取得手段
１４    音響信号処理手段
１５    平面画像処理手段
１６    立体画像処理手段
１７    音声認識手段
【図１】
2020060693.tif 000003