(57)【要約】【課題】音声入力を正しく、すみやかに受け付ける「音声入力システム及びコンピュータプログラム」を提供する。【解決手段】口唇認識部７は、カメラ２で撮影したユーザの映像からユーザの口唇の動作の停止を検出し口唇動作停止通知を出力する。音声認識装置６は、入力音声が発生すると、入力音声の音声区間が終了するか、口唇動作停止通知が出力されるまで、入力音声を取り込み、取り込んだ入力音声に対する音声認識を行って音声認識結果を出力する、制御装置８は、口唇動作停止通知が出力されてから所定期間内に出力された音声認識結果のみの音声入力を受け付ける。【選択図】図１
2014240856.tif 000002
【特許請求の範囲】
【請求項１】
ユーザから音声入力を受け付ける音声入力システムであって、
ユーザの少なくとも口唇を含む部分を撮影するカメラと、
前記カメラで撮影した画像から、ユーザの口唇の動作状態の動作中状態から停止状態への変化を検出する口唇認識手段と、
マイクロフォンと、
前記マイクロフォンからの音声の入力の発生に応答して、当該入力した音声に対する音声認識処理を行って、音声認識結果を出力する音声認識手段と、
前記音声認識手段が出力する音声認識結果のうちの、前記口唇認識手段が前記停止状態への変化を検出した後の所定期間内に前記音声認識手段から出力された前記音声認識結果についてのみ、当該音声認識結果を入力内容とする音声入力を受け付ける音声入力受付手段とを有することを特徴とする音声入力システム。
【請求項２】
請求項１記載の音声入力システムであって、
前記音声認識手段は、前記口唇認識手段が前記停止状態への変化を検出した場合に、直ちに、前記マイクロフォンから入力した、現時点までの音声の連続部分に対する音声認識処理を行って、音声認識結果を出力することを特徴とする音声入力システム。
【請求項３】
カメラとマイクロフォンを備えたコンピュータによって読み取られ実行されるコンピュータプログラムであって、前記コンピュータを、
前記カメラで撮影したユーザの少なくとも口唇を含む部分の画像から、ユーザの口唇の動作状態の動作中状態から停止状態への変化を検出する口唇認識手段と、
前記マイクロフォンからの音声の入力の発生に応答して、当該入力した音声に対する音声認識処理を行って、音声認識結果を出力する音声認識手段と、
前記音声認識手段が出力する音声認識結果のうちの、前記口唇認識手段が前記停止状態への変化を検出した後の所定期間内に前記音声認識手段から出力された前記音声認識結果についてのみ、当該音声認識結果を入力内容とする音声入力を受け付ける音声入力受付手段として機能させることを特徴とするコンピュータプログラム。
【請求項４】
請求項３記載のコンピュータプログラムであって、
前記音声認識手段は、前記口唇認識手段が前記停止状態への変化を検出した場合に、前記マイクロフォンから入力した、現時点までの音声の連続部分に対する音声認識処理を行って、音声認識結果を出力することを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの発話による音声入力を受け付ける技術に関するものである。
【背景技術】
【０００２】
ユーザから音声入力を受け付ける技術としては、発話するユーザの口唇を撮影した映像から口唇の動きを検出し、口唇の動きからユーザが発話している時間区間である発話区間を特定し、特定した発話区間に入力した音声に対して音声認識処理を行って、音声認識結果を内容とする音声入力を受け付ける技術が知られている（たとえば、特許文献１、２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１-３３８４９０号公報
【特許文献２】特開２００８-１５２１２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した口唇の動きから特定した発話区間に入力した音声に対して音声認識処理を行う場合、撮影した映像の口唇の動きからユーザの発話の開始を検出した後に、音声認識処理を開始することとなるため、ユーザの発話完了後にすみやかに音声入力の受け付けを完了できない場合がある。
【０００５】
たとえば、撮影した映像の口唇の動きからユーザの発話の開始を検出した後に、音声認識処理の起動や認識する音声の取り込みなどの音声認識の前処理を行ってから、音声認識を行う場合には、ユーザの発話完了後すぐに音声認識を開始する場合に比べ、上述した口唇の動きからの発話の開始の検出の処理や上述した前処理に要する時間分、音声入力の受け付けが遅延してしまう場合がある。
【０００６】
一方で、入力した音声に対する音声認識処理を常時行って、音声認識結果に応じた音声入力を受け付けることとすれば、このような上述した口唇の動きからの発話の開始の検出の処理や上述した前処理による遅延の発生は避けられるが、ノイズ音声に対しても音声認識処理を行って音声入力を受け付けてしまうこととなるため、誤った音声入力の受け付けが発生してしまうことがある。また、ユーザの発話音声に引き続いてノイズ音声が連続して発生した場合などには、ユーザの発話音声の終了後のノイズ音声が無くなった時点を、音声の終了時点として音声認識を行ってしまう場合があり、この場合には、ユーザの発話の終了後のノイズ音声の時間長分、音声入力の受け付けの完了が遅延してしまうこととなる。
【０００７】
そこで、本発明は、ユーザの発話音声による音声入力を正しく、かつ、すみやかに受け付けることのできる音声入力システムを提供することを課題とする。
【課題を解決するための手段】
【０００８】
前記課題達成のために、本発明は、ユーザから音声入力を受け付ける音声入力システムに、ユーザの少なくとも口唇を含む部分を撮影するカメラと、前記カメラで撮影した画像から、ユーザの口唇の動作状態の動作中状態から停止状態への変化を検出する口唇認識手段と、マイクロフォンと、前記マイクロフォンからの音声の入力の発生に応答して、当該入力した音声に対する音声認識処理を行って、音声認識結果を出力する音声認識手段と、前記音声認識手段が出力する音声認識結果のうちの、前記口唇認識手段が前記停止状態への変化を検出した後の所定期間内に前記音声認識手段から出力された前記音声認識結果についてのみ、当該音声認識結果を入力内容とする音声入力を受け付ける音声入力受付手段とを備えたものである。
【０００９】
このような音声入力システムによれば、音声認識手段は、常時、マイクロフォンからの音声の入力の発生に応答して、当該入力した音声に対する音声認識処理を行うので、口唇の動きからの発話の開始の検出の処理や音声認識処理の前処理によって音声認識処理が遅延してしまうことはない。また、ユーザの口唇の動作状態の動作中状態から停止状態への変化後の所定期間内に出力された前記音声認識結果、すなわち、ユーザが口唇を停止する前に口唇を動作している期間（ユーザの発話期間）中にマイクロフォンから入力した音声の音声認識結果のみ、ユーザが音声入力した内容として受け付けるので、正しくユーザの発話音声のみ、音声入力を受け付けることをできる。
【００１０】
ここで、このような音声入力システムは、前記音声認識手段において、前記口唇認識手段が前記停止状態への変化を検出した場合に、直ちに、前記マイクロフォンから入力した、現時点までの音声の連続部分に対する音声認識処理を行って、音声認識結果を出力するように構成することが好ましい。
【００１１】
このようにすることにより、ユーザの発話音声に引き続いてノイズ音声が連続して発生している場合に、ユーザの発話終了後に、よりすみやかに発話音声による音声入力を受け付けることができる。
【発明の効果】
【００１２】
以上のように、本発明によれば、ユーザの発話音声による音声入力を正しく、かつ、すみやかに受け付けることのできる音声入力システムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る情報システムの構成を示すブロック図である。
【図２】本発明の実施形態に係る情報システムの配置を示す図である。
【図３】本発明の実施形態に係る情報システムが行う処理を示すフローチャートである。
【図４】本発明の実施形態に係る情報システムの動作例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について、自動車に搭載される情報システムへの適用を例にとり説明する。
図１に、本実施形態に係る情報システムの構成を示す。
ここで、情報システムは、たとえば、ＡＶシステムやナビゲーションシステムなどを構成するものであり、図示するように、マイクロフォン１、カメラ２、サブディスプレイ３、メインディスプレイ４、音声出力装置５、音声認識装置６、口唇認識部７、制御装置８、１または複数の周辺装置９を備えている。
【００１５】
ただし、このような情報システムは、ＣＰＵやメモリを備えたコンピュータを用いて構成されるものであってよく、この場合、音声認識装置６や口唇認識部７や制御装置８は、コンピュータが所定のコンピュータプログラムを実行することにより実現されるものであってよい。
【００１６】
さて、このような情報システムにおいて、図２に示すように、カメラ２は、自動車のメータクラスタ内に配置され、運転者であるユーザの顔の口唇を含む部分を撮影する。
また、マイクロフォン１も、メータクラスタ内に配置され、運転者であるユーザの発話音声などをピックアップする。
また、サブディスプレイ３は、液晶表示装置であり、自動車のメータクラスタ内に配置され、バーチャルアシスタントキャラクタ３１の表示などに用いられる。ここで、このように、メータクラスタ内にバーチャルアシスタントキャラクタ３１を表示することにより、運転者であるユーザが音声入力の際にバーチャルアシスタントキャラクタ３１に向かって発話するように促すことができる。そして、ユーザが音声入力の際にユーザはバーチャルアシスタントキャラクタ３１に向かって発話することにより、メータクラスタ内に設けたカメラ２で、ユーザの顔の口唇を含む部分を良好に撮影でき、また、メータクラスタ内に設けたマイクロフォン１でユーザの発話音声を良好にピックアップすることができる。
【００１７】
また、メインディスプレイ４は、たとえば液晶表示装置であり、図２に示すように、ダッシュボード上の、左右方向について運転席と助手席の中間の位置に配置され、情報システムが構成するＡＶシステムやナビゲーションシステムのＧＵＩ画面の表示などに用いられる。
【００１８】
以下、このような情報システムの音声入力動作について説明する。
まず、音声認識装置６が行う音声認識制御処理について説明する。
図３ａに、この音声認識制御処理の手順を示す。
図示するように、音声認識装置６は音声認識制御処理において、マイクロフォン１から入力する音声である入力音声の音声レベルが所定のしきい値Tha超となるのを監視し（ステップ３０２）、音声レベルが所定のしきい値Tha超となったならば、入力音声の音声認識対象音声としての取り込みを開始する（ステップ３０４）。ここで、しきい値Thaは、それ以上の音声レベルであれば音声が存在すると見なせる入力音声の音声レベルとする。
【００１９】
そして、入力音声の音声レベルが所定のしきい値Tha以下である期間の所定期間（たとえば、300ms）以上の継続の発生と（ステップ３０６）、口唇認識部７からの口唇動作停止通知の受信の発生（ステップ３０８）とを監視する。
そして、入力音声の音声レベルが所定のしきい値Tha以下である期間の所定期間（たとえば、300ms）以上の継続の発生（ステップ３０８）が発生したならば、入力音声の音声認識対象音声としての取り込みを停止する（ステップ３１０）。
そして、それまでに取り込んだ音声認識対象音声、すなわち、音声が連続的に存在する時間区間である音声区間のうちの、現時点を終点とする音声区間の音声を対象として、音声認識処理を行い（ステップ３１２）、音声認識した内容を音声認識結果として制御装置８に送信し（ステップ３１４）、ステップ３０２からの処理に戻る。
【００２０】
一方、口唇認識部７からの口唇動作停止通知の受信が発生した場合にも、入力音声の音声認識対象音声としての取り込みを停止する（ステップ３１０）。
そして、それまでに取り込んだ音声認識対象音声、すなわち、現時点が含まれる音声区間のうち、現時点に先行する時間区間の音声を対象として、音声認識処理を行い（ステップ３１２）、音声認識した内容を音声認識結果として制御装置８に送信し（ステップ３１４）、ステップ３０２からの処理に戻る。
【００２１】
以上、音声認識装置６が行う音声認識制御処理について説明した。
次に、口唇認識部７の動作について説明する。
まず、口唇認識部７は、カメラ２で撮影した映像より、運転者であるユーザの口唇の向きや動作の有無を検出する動作を繰り返し行う。
また、口唇認識部７は、図３ｂに示す口唇動作検出処理を行う。
すなわち、口唇認識部７は、ユーザの口唇が正面方向を向いた状態で（ステップ３２２）、ユーザの口唇が動作を開始する（ステップ３２４）のを待ち、ユーザの口唇が正面方向を向いた状態で動作を開始したならば、ユーザの口唇の向きが正面方向でなくなるか（ステップ３２６）、ユーザの口唇の動作が所定期間（たとえば、100ｍｓ）以上停止する（ステップ３２８）のを監視する。
そして、口唇の向きが正面方向でなくなったならば（ステップ３２６）、そのままステップ３２２の処理に戻る。一方、口唇の動作が所定期間以上停止した場合には（ステップ３２８）、口唇動作停止通知を音声認識装置６と制御装置８に送信し（ステップ３３０）、ステップ３２２からの処理に戻る。
【００２２】
以上、口唇認識部７の動作について説明した。
次に、制御装置８が行う音声入力受付処理について説明する。
図３ｃに、この音声入力受付処理の手順を示す。
図示するように、この音声入力受付処理では、口唇認識部７からの口唇動作停止通知の受信を監視し（ステップ３４２）、口唇動作停止通知を受信したならば、所定のタイムアウト時間（たとえば、１秒）をセットしたタイマをスタートする（ステップ３４４）。
そして、タイマのタイムアウトの発生と（ステップ３４６）、音声認識装置６からの音声認識結果の受信（ステップ３４８）とを監視し、タイムアウトが発生した場合には（ステップ３４６）、そのままステップ３４２からの処理に戻る。
一方、タイムアウトが発生する前に（ステップ３４６）、音声認識装置６から音声認識結果を受信できた場合には（ステップ３４８）、音声認識結果が表す音声認識装置６が音声認識した内容を入力内容とする音声入力を受け付け（ステップ３５０）、受け付けた音声入力の内容に応じた処理を行い（ステップ３５２）、ステップ３４２からの処理に戻る。
【００２３】
ここで、受け付けた音声入力の内容に応じた処理としては、受け付けた音声入力の内容や当該内容に応じて行う制御内容を確認するフィードバック音声の音声出力装置５からの出力や、サブディスプレイ３に表示しているバーチャルアシスタントキャラクタ３１のフィードバック音声を話しているようすを表すアニメーション表示や、受け付けた音声入力の内容に応じた情報システムが構成するＡＶシステムやナビゲーションシステムの制御などを行う。すなわち、たとえば、受け付けた音声入力の内容が「楽曲Ｘをかけて」といったものである場合には、制御装置８は、音声入力の内容に応じた処理として、「楽曲Ｘを再生します」といったフィードバック音声を音声出力装置５からの出力しながら、サブディスプレイ３に表示しているバーチャルアシスタントキャラクタ３１の口を開閉するアニメーション表示を行うと共に、ＡＶシステムの楽曲Ｘの再生動作の開始の制御を行う。
【００２４】
以上、制御装置８が行う音声入力受付処理について説明した。
以上のような情報システムによれば、音声認識装置６における音声認識処理は、マイクロフォン１から入力する入力音声について常時行われるが、音声認識結果の音声入力としての受け付けは、口唇認識部７がユーザの口唇の動作の停止を検出してから所定期間（タイマのタイムアウト時間）以内のみ行われる。したがって、ユーザが口唇の動作の停止する前に発話した音声の音声認識結果についてのみ音声入力の受け付けが行われることとなる。
【００２５】
以下、以上のような情報システムの音声入力動作の動作例を示す。
いま、図４に示すように、ユーザの口唇の向きが正面方向を向いており、ユーザの口唇が動作していない期間中の時刻ｔ０からｔ１にマイクフォンから入力音声Ｓ１が入力すると、入力音声Ｓ１は音声認識対象音声Ｄ１として音声認識装置６に取り込まれていく。そして、時刻ｔ１において入力音声Ｓ１が終了すると、音声認識装置６において、それまでに取り込んだ音声認識対象音声Ｄ１に対して音声認識処理Ｐ１が行われ、音声認識処理Ｐ１で得られた音声認識結果Ｒ１が制御装置８に送信される。
【００２６】
しかし、この以前の所定期間（タイマのタイムアウト時間Ｔout）以内の時点においてユーザの口唇の動作の停止は検出されていないので、制御装置８は音声入力を受け付け可能な状態になく、制御装置８において、音声認識処理Ｐ１で得られた音声認識結果Ｒ１の音声入力は受け付けられない。
【００２７】
一方、その後、時刻ｔ２から時刻ｔ４までの期間、ユーザが口唇を正面方向に向けて動作させて発話し、時刻ｔ２直後の時刻ｔ３から時刻ｔ４より後の時刻ｔ５まで、マイクフォンから入力音声Ｓ２が入力したものとする。
この場合、時刻ｔ３から、入力音声Ｓ２は音声認識対象音声Ｄ２として音声認識装置６に取り込まれていく。そして、時刻ｔ４において、口唇動作の停止が検出されると、音声認識装置６は、以降の入力音声Ｓ２の音声認識対象音声Ｄ２としての取り込みを終了する。すなわち、入力音声Ｓ２の時刻ｔ４以降の部分は、口唇動作の停止の入力音声であり、したがってユーザの発話音声ではなくノイズ音声であるので、音声認識処理の対象とせずに、これを無視する。このようにすることにより、次に述べる音声認識対象音声Ｄ２の音声認識や、音声認識対象音声Ｄ２の音声認識結果Ｒ２の音声入力の受け付けをすみやかに行えるようになる。
【００２８】
さて、次に、入力音声Ｓ２の音声認識対象音声Ｄ２としての取り込みを終了したならば、音声認識装置６において、それまでに取り込んだ音声認識対象音声Ｄ２に対する音声認識処理Ｐ２が行われ、音声認識処理Ｐ２で得られた音声認識結果Ｒ２が制御装置８に送信される。
この時点では、これ以前の所定期間（タイマのタイムアウト時間Ｔout）以内の時点ｔ４においてユーザの口唇の動作の停止が検出されているので、制御装置８は、音声入力を受け付け可能な状態にある。したがって、制御装置８において、音声認識処理Ｐ２で得られた音声認識結果Ｒ２の音声入力が受け付けられ、音声認識結果Ｒ２に応じた処理が実行される。
【００２９】
以上、本発明の実施形態について説明した。
以上、本発明の実施形態について説明した。
なお、以上の実施形態における音声入力の技術は、自動車に搭載された情報システムに限らずに、任意の情報システムに同様に適用することができる。
【符号の説明】
【００３０】
１…マイクロフォン、２…カメラ、３…サブディスプレイ、４…メインディスプレイ、５…音声出力装置、６…音声認識装置、７…口唇認識部、８…制御装置、９…周辺装置。
【図１】
2014240856.tif 000003
【図２】
2014240856.tif 000004
【図３】
2014240856.tif 000005
【図４】
2014240856.tif 000006