(57)【要約】【課題】音声認識サーバとの通信が不能な場合でも、過去に音声認識サーバで認識させ蓄積した認識結果の中から入力音声に対応した認識結果を取得する。【解決手段】音声入力装置１が音声認識サーバ３と通信可能な場合は、入力音声の音声データを音声データ通信部１０６から音声認識サーバ３へ送信し、その認識結果を認識結果取得部１０７が受信して認識結果メモリ１０８へ記憶させる。通信不能な場合、認識結果読み出し部１０９が、認識結果取得部１０７に蓄積した過去の音声データの認識結果の中から、入力音声の音声データに最も類似する音声データの認識結果を読み出す。【選択図】図１
2014115396.tif 000002
【特許請求の範囲】
【請求項１】
入力信号の音声区間を検出する音声区間検出部と、
前記音声区間検出部が検出した前記入力信号の音声区間の音声データから特徴量を算出する音声特徴量算出部と、
前記音声特徴量算出部が算出した前記入力信号の音声区間の音声データの特徴量を記憶する音声データ記憶部と、
前記入力信号の音声区間の音声データの特徴量と前記音声データ記憶部に記憶されている過去の音声データの特徴量との距離値を求め、前記音声データ記憶部に記憶されている過去の音声データの中から前記入力信号の音声区間の音声データに最も類似する音声データを特定する音声データ照合部と、
外部の音声認識サーバとの間の通信状態に応じて、前記入力信号の音声区間の音声データを当該音声認識サーバへ送信するか否かを判定する通信可否判定部と、
前記通信可否判定部が送信すると判定した場合に、前記入力信号の音声区間の音声データを前記音声認識サーバへ送信する音声データ通信部と、
前記音声認識サーバが前記入力信号の音声区間の音声データを音声認識処理した認識結果を受信して制御対象へ出力する認識結果取得部と、
前記認識結果取得部が前記音声認識サーバから受信した認識結果を記憶する認識結果記憶部と、
前記通信可否判定部が送信しないと判定した場合に、前記音声データ照合部が特定した前記過去の音声データに対応する認識結果を前記認識結果記憶部から読み出して前記制御対象へ出力する認識結果読み出し部とを備える音声入力装置。
【請求項２】
入力信号の音声区間を検出する音声区間検出部と、
前記音声区間検出部が検出した前記入力信号の音声区間の音声データから特徴量を算出する音声特徴量算出部と、
前記音声特徴量算出部が算出した前記入力信号の音声区間の音声データの特徴量を記憶する音声データ記憶部と、
前記入力信号の音声区間の音声データの特徴量と前記音声データ記憶部に記憶されている過去の音声データの特徴量との距離値を求め、前記音声データ記憶部に記憶されている過去の音声データの中から前記入力信号の音声区間の音声データに最も類似する音声データを特定する音声データ照合部と、
自装置に接続した通信端末と外部の音声認識サーバとの間の通信状態に応じて、前記入力信号の音声区間の音声データを当該通信端末を経由して当該音声認識サーバへ送信するか否かを判定する通信可否判定部と、
前記通信可否判定部が送信すると判定した場合に、前記入力信号の音声区間の音声データを前記通信端末を経由して前記音声認識サーバへ送信する音声データ通信部と、
前記音声認識サーバが前記入力信号の音声区間の音声データを音声認識処理した認識結果を前記通信端末で受信し、当該認識結果に応じて行った前記通信端末の動作を識別する操作内容を取得する操作内容取得部と、
前記操作内容取得部が前記通信端末から取得した操作内容を記憶する操作内容記憶部と、
前記通信可否判定部が送信しないと判定した場合に、前記音声データ照合部が特定した前記過去の音声データに対応する操作内容を前記操作内容記憶部から読み出して前記通信端末へ出力する操作内容読み出し部とを備える音声入力装置。
【請求項３】
前記通信可否判定部は、前記音声認識サーバとの間の通信が可能な状態であっても、前記音声データ照合部が特定した前記過去の音声データの距離値が閾値以下の場合は、前記入力信号の音声区間の音声データを送信しないと判定することを特徴とする請求項１または請求項２記載の音声入力装置。
【請求項４】
前記認識結果記憶部は、音声データに対応する認識結果を当該音声データの特徴量に紐付けて記憶し、
前記認識結果読み出し部は、前記特徴量に基づいて、前記音声データ照合部が特定した前記過去の音声データに対応する認識結果を読み出すことを特徴とする請求項１記載の音声入力装置。
【請求項５】
前記操作内容記憶部は、音声データに対応する操作内容を当該音声データの特徴量に紐付けて記憶し、
前記操作内容読み出し部は、前記特徴量に基づいて、前記音声データ照合部が特定した前記過去の音声データに対応する操作内容を読み出すことを特徴とする請求項２記載の音声入力装置。
【請求項６】
前記音声データ照合部は、ＤＰ（Ｄｙｎａｍｉｃ  Ｐｒｏｇｒａｍｍｉｎｇ）により、前記音声特徴量算出部が算出した前記入力信号の音声区間の音声データの特徴量と前記音声データ記憶部に記憶されている過去の音声データの特徴量との距離値を求めることを特徴とする請求項１から請求項５のうちのいずれか１項記載の音声入力装置。
【請求項７】
音声タイプライタを用いて、音声データをＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）のラベル列に変換し、当該ラベル列を特徴量として前記音声データ記憶部に記憶させるラベル変換部を備え、
前記音声データ照合部は、ＨＭＭにより、前記音声特徴量算出部が算出した前記入力信号の音声区間の音声データの特徴量と前記音声データ記憶部に記憶されている過去の音声データのラベル列との距離値を求めることを特徴とする請求項１から請求項５のうちのいずれか１項記載の音声入力装置。
【請求項８】
音声認識処理を行う音声認識サーバと通信可能な音声入力装置の音声入力方法であって、
入力信号の音声区間を検出する音声区間検出ステップと、
前記音声区間検出ステップで検出した前記入力信号の音声区間の音声データから特徴量を算出する音声特徴量算出ステップと、
前記音声特徴量算出ステップで算出した前記入力信号の音声区間の音声データの特徴量を記憶する音声データ記憶ステップと、
前記入力信号の音声区間の音声データの特徴量と前記音声データ記憶ステップで記憶した過去の音声データの特徴量との距離値を求め、前記音声データ記憶ステップで記憶した過去の音声データの中から前記入力信号の音声区間の音声データに最も類似する音声データを特定する音声データ照合ステップと、
前記音声認識サーバとの間の通信状態に応じて、前記入力信号の音声区間の音声データを前記音声認識サーバへ送信するか否かを判定する通信可否判定ステップと、
前記通信可否判定ステップで送信すると判定した場合に、前記入力信号の音声区間の音声データを前記音声認識サーバへ送信し、前記音声認識サーバが音声認識処理した認識結果を受信して制御対象へ出力する認識結果取得ステップと、
前記認識結果取得ステップで前記音声認識サーバから受信した認識結果を記憶する認識結果記憶ステップと、
前記通信可否判定ステップで送信しないと判定した場合に、前記音声データ照合ステップで特定した前記過去の音声データに対応する認識結果を前記認識結果記憶ステップで記憶した過去の認識結果の中から選択して前記制御対象へ出力する認識結果読み出しステップとを備えることを特徴とする音声入力方法。
【請求項９】
音声認識処理を行う音声認識サーバと通信可能な通信端末に接続する音声入力装置の音声入力方法であって、
入力信号の音声区間を検出する音声区間検出ステップと、
前記音声区間検出ステップで検出した前記入力信号の音声区間の音声データから特徴量を算出する音声特徴量算出ステップと、
前記音声特徴量算出ステップで算出した前記入力信号の音声区間の音声データの特徴量を記憶する音声データ記憶ステップと、
前記入力信号の音声区間の音声データの特徴量と前記音声データ記憶ステップで記憶した過去の音声データの特徴量との距離値を求め、前記音声データ記憶ステップで記憶した過去の音声データの中から前記入力信号の音声区間の音声データに最も類似する音声データを特定する音声データ照合ステップと、
前記通信端末と前記音声認識サーバとの間の通信状態に応じて、前記入力信号の音声区間の音声データを前記音声認識サーバへ送信するか否かを判定する通信可否判定ステップと、
前記通信可否判定ステップで送信すると判定した場合に、前記入力信号の音声区間の音声データを前記通信端末を経由して前記音声認識サーバへ送信し、前記音声認識サーバが音声認識処理した認識結果を前記通信端末で受信して当該認識結果に応じて行った前記通信端末の動作を識別する操作内容を取得して記憶する操作内容記憶ステップと、
前記通信可否判定ステップで送信しないと判定した場合に、前記音声データ照合ステップで特定した前記過去の音声データに対応する操作内容を前記操作内容記憶ステップで記憶した過去の操作内容の中から選択して前記通信端末へ出力する操作内容読み出しステップとを備えることを特徴とする音声入力方法。
【請求項１０】
音声認識処理を行う音声認識サーバと通信可能なコンピュータを、
入力信号の音声区間を検出する音声区間検出手段と、
前記音声区間検出手段が検出した前記入力信号の音声区間の音声データから特徴量を算出する音声特徴量算出手段と、
前記音声特徴量算出手段が算出した前記入力信号の音声区間の音声データの特徴量を記憶する音声データ記憶手段と、
前記入力信号の音声区間の音声データの特徴量と前記音声データ記憶手段に記憶されている過去の音声データの特徴量との距離値を求め、前記音声データ記憶手段に記憶されている過去の音声データの中から前記入力信号の音声区間の音声データに最も類似する音声データを特定する音声データ照合手段と、
前記音声認識サーバとの間の通信状態に応じて、前記入力信号の音声区間の音声データを前記音声認識サーバへ送信するか否かを判定する通信可否判定手段と、
前記通信可否判定手段が送信すると判定した場合に、前記入力信号の音声区間の音声データを前記音声認識サーバへ送信する音声データ通信手段と、
前記音声認識サーバが前記入力信号の音声区間の音声データを音声認識処理した認識結果を受信して制御対象へ出力する認識結果取得手段と、
前記認識結果取得手段が前記音声認識サーバから受信した認識結果を記憶する認識結果記憶手段と、
前記通信可否判定手段が送信しないと判定した場合に、前記音声データ照合手段が特定した前記過去の音声データに対応する認識結果を前記認識結果記憶手段から読み出して前記制御対象へ出力する認識結果読み出し手段として機能させる音声入力プログラム。
【請求項１１】
音声認識処理を行う音声認識サーバと通信可能な通信端末に接続するコンピュータを、
入力信号の音声区間を検出する音声区間検出手段と、
前記音声区間検出手段が検出した前記入力信号の音声区間の音声データから特徴量を算出する音声特徴量算出手段と、
前記音声特徴量算出手段が算出した前記入力信号の音声区間の音声データの特徴量を記憶する音声データ記憶手段と、
前記入力信号の音声区間の音声データの特徴量と前記音声データ記憶手段に記憶されている過去の音声データの特徴量との距離値を求め、前記音声データ記憶手段に記憶されている過去の音声データの中から前記入力信号の音声区間の音声データに最も類似する音声データを特定する音声データ照合手段と、
前記通信端末と前記音声認識サーバとの間の通信状態に応じて、前記入力信号の音声区間の音声データを前記通信端末を経由して前記音声認識サーバへ送信するか否かを判定する通信可否判定手段と、
前記通信可否判定手段が送信すると判定した場合に、前記入力信号の音声区間の音声データを前記通信端末を経由して前記音声認識サーバへ送信する音声データ通信手段と、
前記音声認識サーバが前記入力信号の音声区間の音声データを音声認識処理した認識結果を前記通信端末で受信し、当該認識結果に応じて行った前記通信端末の動作を識別する操作内容を取得する操作内容取得手段と、
前記操作内容取得手段が前記通信端末から取得した操作内容を記憶する操作内容記憶手段と、
前記通信可否判定手段が送信しないと判定した場合に、前記音声データ照合手段が特定した前記過去の音声データに対応する操作内容を前記操作内容記憶手段から読み出して前記通信端末へ出力する操作内容読み出し手段として機能させる音声入力プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、入力された音声を音声認識サーバに通信して音声認識処理を実施する音声入力装置、音声入力方法および音声入力プログラムに関するものである。
【背景技術】
【０００２】
従来、音声入力装置のリソースが少なく大語彙の音声認識機能を搭載できない場合、音声入力装置に入力された音声データを音声認識サーバに通信して、音声認識サーバに搭載された大語彙の音声認識機能を利用していた（例えば、特許文献１，２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２８４５４３号公報
【特許文献２】特開２００７−３３９０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
音声認識サーバ上で音声認識を行う場合、通信状況が悪い状態では音声認識機能が使用不能になる、または認識結果が音声入力装置に返るまでに時間が掛かる等の問題があった。このような問題を解決する技術として、特許文献１に、通信不能状況では音声入力装置側で音声認識を行うように切り替える形態が開示されている。しかし、音声入力装置で認識可能な語彙は、リソースの制約により音声認識サーバで認識可能な語彙のうちの一部に限られるため、通信可能時には認識できた語彙が通信不能時には認識できないという課題があった。特にユーザは音声認識に成功した語彙および表現を何度も繰り返し発話する傾向があるため、利便性が低下してしまう。
【０００５】
また、特許文献２では、音声認識サーバ側で認識した音声認識結果のうちの語彙とその語彙の読みとを、音声入力装置側の音声認識辞書に登録する形態が開示されている。しかし、音声認識サーバから得られる音声認識結果は必ずしもユーザが発話した語彙と一致しない。例えば「地図を拡大する」という語彙と「地図を広域にする」という語彙が音声入力による制御対象のアプリケーション上で同一の動作を意味する場合、制御対象が行う処理を簡略化するために、音声認識サーバは異なる語彙でも同一の認識結果を返却する仕様が一般的である。また、語彙そのものではなく動作を抽象化した結果を返却する仕様も考えられる。例えば、「地図を拡大する」という動作を抽象化して「ｏｂｊ＝地図、ｄｏ＝拡大」と表現した認識結果が返却される場合がある。このような場合は、音声認識サーバで認識した語彙の読み情報を音声入力装置で取得できないため、音声入力装置側の音声認識辞書に語彙を追加登録することができないという課題があった。また、サードパーティの音声認識サーバを利用する際も読み情報を取得できない場合がある。
【０００６】
また、近年スマートフォン等の通信端末から音声認識サーバに対して音声データを送信して認識結果を取得する音声認識サービスが普及している。音声入力装置とこれらの通信端末を接続し、音声入力装置から通信端末を介して音声認識サービスを使用するという形態においても、上記同様の課題が生じる。
【０００７】
この発明は、上記のような課題を解決するためになされたもので、音声認識サーバとの通信が不能な場合でも、過去に音声認識サーバで認識させ蓄積した認識結果の中から入力音声に対応した認識結果を取得できる音声入力装置、音声入力方法および音声入力プログラムを提供することを目的とする。
【０００８】
また、音声認識サーバから取得可能な認識結果が語彙そのものではなく抽象化される等して入力音声の語彙と異なる場合でも、過去に音声認識サーバで認識させ蓄積した認識結果の中から入力音声に対応する認識結果を取得できる音声入力装置、音声入力方法および音声入力プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
この発明に係る音声入力装置は、入力信号の音声区間を検出する音声区間検出部と、音声区間検出部が検出した入力信号の音声区間の音声データから特徴量を算出する音声特徴量算出部と、音声特徴量算出部が算出した入力信号の音声区間の音声データの特徴量を記憶する音声データ記憶部と、入力信号の音声区間の音声データの特徴量と音声データ記憶部に記憶されている過去の音声データの特徴量との距離値を求め、音声データ記憶部に記憶されている過去の音声データの中から入力信号の音声区間の音声データに最も類似する音声データを特定する音声データ照合部と、外部の音声認識サーバとの間の通信状態に応じて、入力信号の音声区間の音声データを当該音声認識サーバへ送信するか否かを判定する通信可否判定部と、通信可否判定部が送信すると判定した場合に、入力信号の音声区間の音声データを音声認識サーバへ送信する音声データ通信部と、音声認識サーバが入力信号の音声区間の音声データを音声認識処理した認識結果を受信して制御対象へ出力する認識結果取得部と、認識結果取得部が音声認識サーバから受信した認識結果を記憶する認識結果記憶部と、通信可否判定部が送信しないと判定した場合に、音声データ照合部が特定した過去の音声データに対応する認識結果を認識結果記憶部から読み出して制御対象へ出力する認識結果読み出し部とを備えるものである。
【００１０】
この発明に係る音声入力装置は、入力信号の音声区間を検出する音声区間検出部と、音声区間検出部が検出した入力信号の音声区間の音声データから特徴量を算出する音声特徴量算出部と、音声特徴量算出部が算出した入力信号の音声区間の音声データの特徴量を記憶する音声データ記憶部と、入力信号の音声区間の音声データの特徴量と音声データ記憶部に記憶されている過去の音声データの特徴量との距離値を求め、音声データ記憶部に記憶されている過去の音声データの中から入力信号の音声区間の音声データに最も類似する音声データを特定する音声データ照合部と、自装置に接続した通信端末と外部の音声認識サーバとの間の通信状態に応じて、入力信号の音声区間の音声データを当該通信端末を経由して当該音声認識サーバへ送信するか否かを判定する通信可否判定部と、通信可否判定部が送信すると判定した場合に、入力信号の音声区間の音声データを通信端末を経由して音声認識サーバへ送信する音声データ通信部と、音声認識サーバが入力信号の音声区間の音声データを音声認識処理した認識結果を通信端末で受信し、当該認識結果に応じて行った通信端末の動作を識別する操作内容を取得する操作内容取得部と、操作内容取得部が通信端末から取得した操作内容を記憶する操作内容記憶部と、通信可否判定部が送信しないと判定した場合に、音声データ照合部が特定した過去の音声データに対応する操作内容を操作内容記憶部から読み出して通信端末へ出力する操作内容読み出し部とを備えるものである。
【００１１】
この発明に係る音声入力方法は、入力信号の音声区間を検出する音声区間検出ステップと、音声区間検出ステップで検出した入力信号の音声区間の音声データから特徴量を算出する音声特徴量算出ステップと、音声特徴量算出ステップで算出した入力信号の音声区間の音声データの特徴量を記憶する音声データ記憶ステップと、入力信号の音声区間の音声データの特徴量と音声データ記憶ステップで記憶した過去の音声データの特徴量との距離値を求め、音声データ記憶ステップで記憶した過去の音声データの中から入力信号の音声区間の音声データに最も類似する音声データを特定する音声データ照合ステップと、音声認識サーバとの間の通信状態に応じて、入力信号の音声区間の音声データを音声認識サーバへ送信するか否かを判定する通信可否判定ステップと、通信可否判定ステップで送信すると判定した場合に、入力信号の音声区間の音声データを音声認識サーバへ送信し、音声認識サーバが音声認識処理した認識結果を受信して制御対象へ出力する認識結果取得ステップと、認識結果取得ステップで音声認識サーバから受信した認識結果を記憶する認識結果記憶ステップと、通信可否判定ステップで送信しないと判定した場合に、音声データ照合ステップで特定した過去の音声データに対応する認識結果を認識結果記憶ステップで記憶した過去の認識結果の中から選択して制御対象へ出力する認識結果読み出しステップとを備えるものである。
【００１２】
この発明に係る音声入力方法は、入力信号の音声区間を検出する音声区間検出ステップと、音声区間検出ステップで検出した入力信号の音声区間の音声データから特徴量を算出する音声特徴量算出ステップと、音声特徴量算出ステップで算出した入力信号の音声区間の音声データの特徴量を記憶する音声データ記憶ステップと、入力信号の音声区間の音声データの特徴量と音声データ記憶ステップで記憶した過去の音声データの特徴量との距離値を求め、音声データ記憶ステップで記憶した過去の音声データの中から入力信号の音声区間の音声データに最も類似する音声データを特定する音声データ照合ステップと、通信端末と音声認識サーバとの間の通信状態に応じて、入力信号の音声区間の音声データを音声認識サーバへ送信するか否かを判定する通信可否判定ステップと、通信可否判定ステップで送信すると判定した場合に、入力信号の音声区間の音声データを通信端末を経由して音声認識サーバへ送信し、音声認識サーバが音声認識処理した認識結果を通信端末で受信して当該認識結果に応じて行った通信端末の動作を識別する操作内容を取得して記憶する操作内容記憶ステップと、通信可否判定ステップで送信しないと判定した場合に、音声データ照合ステップで特定した過去の音声データに対応する操作内容を操作内容記憶ステップで記憶した過去の操作内容の中から選択して通信端末へ出力する操作内容読み出しステップとを備えるものである。
【００１３】
この発明に係る音声入力プログラムは、コンピュータを、入力信号の音声区間を検出する音声区間検出手段と、音声区間検出手段が検出した入力信号の音声区間の音声データから特徴量を算出する音声特徴量算出手段と、音声特徴量算出手段が算出した入力信号の音声区間の音声データの特徴量を記憶する音声データ記憶手段と、入力信号の音声区間の音声データの特徴量と音声データ記憶手段に記憶されている過去の音声データの特徴量との距離値を求め、音声データ記憶手段に記憶されている過去の音声データの中から入力信号の音声区間の音声データに最も類似する音声データを特定する音声データ照合手段と、音声認識サーバとの間の通信状態に応じて、入力信号の音声区間の音声データを音声認識サーバへ送信するか否かを判定する通信可否判定手段と、通信可否判定手段が送信すると判定した場合に、入力信号の音声区間の音声データを音声認識サーバへ送信する音声データ通信手段と、音声認識サーバが入力信号の音声区間の音声データを音声認識処理した認識結果を受信して制御対象へ出力する認識結果取得手段と、認識結果取得手段が音声認識サーバから受信した認識結果を記憶する認識結果記憶手段と、通信可否判定手段が送信しないと判定した場合に、音声データ照合手段が特定した過去の音声データに対応する認識結果を認識結果記憶手段から読み出して制御対象へ出力する認識結果読み出し手段として機能させるものである。
【００１４】
この発明に係る音声入力プログラムは、コンピュータを、入力信号の音声区間を検出する音声区間検出手段と、音声区間検出手段が検出した入力信号の音声区間の音声データから特徴量を算出する音声特徴量算出手段と、音声特徴量算出手段が算出した入力信号の音声区間の音声データの特徴量を記憶する音声データ記憶手段と、入力信号の音声区間の音声データの特徴量と音声データ記憶手段に記憶されている過去の音声データの特徴量との距離値を求め、音声データ記憶手段に記憶されている過去の音声データの中から入力信号の音声区間の音声データに最も類似する音声データを特定する音声データ照合手段と、記通信端末と音声認識サーバとの間の通信状態に応じて、入力信号の音声区間の音声データを通信端末を経由して音声認識サーバへ送信するか否かを判定する通信可否判定手段と、通信可否判定手段が送信すると判定した場合に、入力信号の音声区間の音声データを通信端末を経由して音声認識サーバへ送信する音声データ通信手段と、音声認識サーバが入力信号の音声区間の音声データを音声認識処理した認識結果を通信端末で受信し、当該認識結果に応じて行った通信端末の動作を識別する操作内容を取得する操作内容取得手段と、操作内容取得手段が通信端末から取得した操作内容を記憶する操作内容記憶手段と、通信可否判定手段が送信しないと判定した場合に、音声データ照合手段が特定した過去の音声データに対応する操作内容を操作内容記憶手段から読み出して通信端末へ出力する操作内容読み出し手段として機能させるものである。
【発明の効果】
【００１５】
この発明によれば、入力音声の音声データから抽出した特徴量と、音声認識サーバから取得した当該音声データに対する認識結果を記憶するようにし、音声認識サーバとの通信が不能な場合には、記憶している認識結果の中から入力音声の特徴量に最も類似した特徴量を持つ音声データに対する認識結果を読み出して、当該入力音声に対する認識結果として扱うようにしたので、音声認識サーバとの通信が不能な場合でも、入力音声に対応した認識結果を取得できる音声入力装置、音声入力方法および音声入力プログラムを提供することができる。
【００１６】
この発明によれば、入力音声の音声データから抽出した特徴量と、通信端末が当該音声データに対する認識結果を音声認識サーバから取得して行った動作を識別する操作内容を当該通信端末から取得して記憶するようにし、通信端末経由で音声認識サーバとの通信が不能な場合には、記憶している操作内容の中から入力音声の特徴量に最も類似した特徴量を持つ音声データに対する操作内容を読み出して、当該入力音声に対する操作内容として扱うようにしたので、入力音声に対する認識結果が語彙そのものではなく抽象化される等して入力音声の語彙と異なる操作内容である場合でも、過去に音声認識サーバで認識させ蓄積した操作内容の中から入力音声に対応する操作内容を取得できる音声入力装置、音声入力方法および音声入力プログラムを提供することができる。
【図面の簡単な説明】
【００１７】
【図１】この発明の実施の形態１に係る音声入力装置の構成を示すブロック図である。
【図２】実施の形態１に係る音声入力装置の音声区間検出部、音声特徴量算出部および音声データ照合部の処理を説明するフローチャートである。
【図３】実施の形態１に係る音声入力装置の音声データメモリに記憶されている特徴量と認識結果メモリに記憶されている認識結果の例を示す図である。
【図４】実施の形態１に係る音声入力装置の通信可否判定部の処理を説明するフローチャートである。
【図５】実施の形態１に係る音声入力装置の音声データ通信部の処理を説明するフローチャートである。
【図６】実施の形態１に係る音声入力装置の認識結果取得部の処理を説明するフローチャートである。
【図７】実施の形態１に係る音声入力装置の認識結果読み出し部の処理を説明するフローチャートである。
【図８】実施の形態１に係る音声入力装置において切り替えスイッチが接点Ａに切り替わっている場合のデータの流れを示す図である。
【図９】実施の形態１に係る音声入力装置において切り替えスイッチが接点Ｂに切り替わっている場合のデータの流れを示す図である。
【図１０】この発明の実施の形態２に係る音声入力装置において切り替えスイッチが接点Ａに切り替わっている場合のデータの流れを示す図である。
【図１１】実施の形態２に係る音声入力装置の構成を示すブロック図である。
【図１２】実施の形態２に係る音声データメモリに記憶されている特徴量と操作内容メモリに記憶されている操作内容の例を示す図である。
【図１３】実施の形態２に係る音声入力装置の操作内容取得部の処理を説明するフローチャートである。
【図１４】実施の形態２に係る音声入力装置の操作内容読み出し部の処理を説明するフローチャートである。
【図１５】実施の形態２に係る音声入力装置において切り替えスイッチが接点Ｂに切り替わっている場合のデータの流れを示す図である。
【図１６】実施の形態２に係る音声入力装置の変形例を示し、切り替えスイッチが接点Ａに切り替わっている場合のデータの流れを示す。
【図１７】実施の形態２に係る音声入力装置の変形例を示し、切り替えスイッチが接点Ｂに切り替わっている場合のデータの流れを示す。
【図１８】図２に示したフローチャートの変形例である。
【図１９】図６に示したフローチャートの変形例である。
【発明を実施するための形態】
【００１８】
実施の形態１．
図１は、この発明の実施の形態１に係る音声入力装置１の構成を示すブロック図である。図において、音声入力装置１は、入力信号から音声区間を抽出し、抽出した音声区間の音声データを外部の音声認識サーバ（不図示）に通信してその認識結果を取得する装置であって、音声区間検出部１００、音声特徴量算出部１０１、音声データメモリ１０２、音声データ照合部１０３、通信可否判定部１０４、切り替えスイッチ１０５、音声データ通信部１０６、認識結果取得部１０７、認識結果メモリ１０８、認識結果読み出し部１０９、認識結果出力部１１０を備えている。
【００１９】
音声区間検出部１００は、不図示のマイクロホン等を介して入力される入力信号から音声区間を検出する部位であり、検出した音声区間の音声データを音声特徴量算出部１０１へ出力する。
音声特徴量算出部１０１は、音声区間検出部１００が検出した入力音声の音声データを所定の方式で分析して時系列に特徴量を抽出する部位であり、抽出した特徴量を音声データメモリ１０２に蓄積すると共に、音声認識を行うために音声データ照合部１０３へ出力する。
音声データメモリ１０２は、音声特徴量算出部１０１が出力した音声データの特徴量を記憶する部位である。
音声データ照合部１０３は、音声データメモリ１０２が出力した入力音声の特徴量と音声データメモリ１０２が記憶している特徴量との類似度の指標となる距離値を算出する部位であり、算出結果を通信可否判定部１０４および切り替えスイッチ１０５へ出力する。
【００２０】
通信可否判定部１０４は、電波状況等および音声データ照合部１０３が出力した距離値の最小値から通信可否を判定し、判定結果に基づいて入力音声の処理経路を切り替える部位である。詳細は後述するが、本実施の形態１では、入力音声の認識結果を音声認識サーバから取得する処理経路と、音声入力装置１の内部メモリから取得する処理経路とがある。
切り替えスイッチ１０５は、通信可否判定部１０４の判定結果に応じて接点Ａ，Ｂを切り替え、処理経路を切り替えるスイッチである。接点Ａに切り替えた場合、音声データ照合部１０３と音声データ通信部１０６を接続し、接点Ｂに切り替えた場合、音声データ照合部１０３と認識結果読み出し部１０９を接続する。
【００２１】
音声データ通信部１０６は、入力音声の音声データを必要に応じて圧縮した後、外部の音声認識サーバに送信する部位である。
認識結果取得部１０７は、外部の音声認識サーバから入力音声の認識結果を受信する部位であり、受信した認識結果を認識結果メモリ１０８に蓄積すると共に認識結果出力部１１０へ出力する。
認識結果メモリ１０８は、認識結果取得部１０７が出力した音声データの認識結果を記憶する部位である。
【００２２】
認識結果読み出し部１０９は、入力音声の音声データの特徴量と最も類似する特徴量を持つ音声データの認識結果を認識結果メモリ１０８から読み出す部位であり、読み出した認識結果を入力音声の認識結果として認識結果出力部１１０へ出力する。
認識結果出力部１１０は、音声認識サーバから取得した認識結果、または認識結果メモリ１０８から読み出した認識結果を、制御対象へ出力する部位である。
【００２３】
ここでいう制御対象とは、入力音声の認識結果を元に制御を行うアプリケーション・ソフトウェアを意味する。例えば音声認識結果をナビゲーションの目的地に設定する場合は、カーナビゲーション・ソフトウェアが制御対象となる。なお、制御対象のソフトウェアは、音声入力装置１を構成するハードウェアにより実行されるものであっても別のハードウェアに実行されるものであっても本発明の範囲内であることは言うまでも無い。
【００２４】
また、音声入力装置１において、音声区間検出部１００、音声特徴量算出部１０１、音声データメモリ１０２、音声データ照合部１０３、通信可否判定部１０４、切り替えスイッチ１０５、音声データ通信部１０６、認識結果取得部１０７、認識結果メモリ１０８、認識結果読み出し部１０９、認識結果出力部１１０はそれぞれ専用の回路により構成するものとして説明する。しかしながら本発明の主な特徴はこれらの回路によってなされる情報処理の方法にあり、構成はこれに限定されるものではない。例えば、音声入力装置１を汎用的なＣＰＵなどの制御回路で構成し、内部メモリに記憶されたコンピュータプログラムを読み出して実行し、上記の情報処理を行うようにしてもよい。また、音声データメモリ１０２および認識結果メモリ１０８を、記憶装置（例えば、ハードディスクドライブ、ソリッドステートドライブ）で構成してもよい。また、図示例では音声データメモリ１０２と認識結果メモリ１０８を個別のメモリ等で構成したが、１つのメモリ等で構成してもよい。
【００２５】
次に、音声入力装置１の動作について、図を参照しながら説明する。
先ず、音声区間検出部１００、音声特徴量算出部１０１および音声データ照合部１０３の動作を説明する。図２は、本実施の形態１に係る音声入力装置１の音声区間検出部１００、音声特徴量算出部１０１および音声データ照合部１０３の処理を説明するフローチャートである。
【００２６】
音声区間検出部１００は、入力信号のパワーおよびピッチ等の情報をパラメータにして、音声区間を検出する（ステップＳＴ１００）。音声区間検出のアルゴリズムは様々なものが提案されているが、どのアルゴリズムを適用した場合も、本発明の範囲内であることは言うまでも無い。
【００２７】
音声特徴量算出部１０１は、入力信号から検出した音声区間の音声データ（以下、入力音声の音声データとも呼ぶ）に対してＭＦＣＣ（Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒａｌ  Ｃｏｅｆｆｉｃｉｅｎｔ）等の特徴量Ｓを算出し、音声データ照合部１０３へ出力する。また、音声特徴量算出部１０１はこの特徴量Ｓを特徴量ＶＮ＋１として音声データメモリ１０２に記憶する（ステップＳＴ１０１）。Ｎは音声データメモリ１０２に既に記憶されている音声データの数である。
なお、音声データの特徴量としては様々なものが提案されているが、どの特徴量を用いた場合も、本発明の範囲内であることは言うまでも無い。
【００２８】
ここで、図３に、音声データメモリ１０２に記憶されている特徴量Ｖｎと、認識結果メモリ１０８に記憶されている認識結果Ｒｎの例を示す。音声データメモリ１０２では、音声データを識別する固有の発話ＩＤに対応させて特徴量Ｖｎを記憶する。Ｕ１，Ｕ２，・・・は各音声データの特徴量のフレーム数を示している。また、本実施の形態１ではＶｎ（ｕ）は特徴量次元のベクトルである。
【００２９】
音声データ照合部１０３は、まず照合処理に使用する各変数の初期化のため、ｎ＝１、Ｌｍｉｎ＝０、ＭｉｎＩＤ＝０を代入する（ステップＳＴ１０２）。ここで、ｎは発話ＩＤを表すカウンタ、Ｌｍｉｎは距離値の最小値、ＭｉｎＩＤは距離値が最小になる発話ＩＤである。
【００３０】
音声データ照合部１０３は、発話ＩＤのカウンタｎが、音声データメモリ１０２に既に記憶されている音声データ数Ｎ以下の場合（ステップＳＴ１０３“ＹＥＳ”）、次のステップＳＴ１０４へ進み、そうでない場合（ステップＳＴ１０３“ＮＯ”）、図３のフローチャートの処理を終了する。
【００３１】
続いて音声データ照合部１０３は、入力音声の特徴量Ｓと音声データメモリ１０２に記憶されている各音声データの特徴量Ｖｎとの距離値Ｌｎを算出する（ステップＳＴ１０４）。長さの異なる時系列間の距離値を算出するアルゴリズムは様々なものが提案されているが、本実施の形態１ではＤＰ（Ｄｙｎａｍｉｃ  Ｐｒｏｇｒａｍｍｉｎｇ）により距離値を算出する。ＤＰによる距離値は、以下の式（１）で逐次的に算出され、Ｌ（Ｔ，Ｕ）が最終的な距離値Ｌｎとなる。ここで、Ｔは入力音声の特徴量Ｓのフレーム長、Ｕは特徴量Ｖｎのフレーム長である。またＤ（ｔ，ｕ）は、特徴量Ｓのｔフレーム目と特徴量Ｖｎのｕフレーム目との特徴量ベクトル間の局所距離値であり、ベクトル間のユークリッド距離として算出する。
【００３２】
2014115396.tif 000003
【００３３】
音声データ照合部１０３は、式（１）より算出した距離値Ｌｎと最小値Ｌｍｉｎを比較する（ステップＳＴ１０５）。ＬｎがＬｍｉｎよりも小さい場合（ステップＳＴ１０５“ＹＥＳ”）、続くステップＳＴ１０６において、音声データ照合部１０３はＬｍｉｎにＬｎを代入し、ＭｉｎＩＤにｎを代入する。そして、ｎをインクリメントして（ステップＳＴ１０７）、ステップＳＴ１０３に戻る。
【００３４】
一方、ＬｎがＬｍｉｎ以上の場合（ステップＳＴ１０５“ＮＯ”）、音声データ照合部１０３はステップＳＴ１０７に進み、ｎをインクリメントしてステップＳＴ１０３に戻る。
【００３５】
音声データ照合部１０３は、以上のようにしてステップＳＴ１０３〜ＳＴ１０７を繰り返し、音声データメモリ１０２に記憶されている全ての発話ＩＤの音声データと入力音声との照合が終わると（ステップＳＴ１０３“ＮＯ”）、処理を終了する。
以上の処理により、音声データ照合部１０３は、入力音声の特徴量Ｓに最も類似した特徴量を持つ音声データの発話ＩＤ（即ち、ＭｉｎＩＤ）を特定する。そして、通信可否判定部１０４へ距離値の最小値Ｌｍｉｎを出力すると共に、切り替えスイッチ１０５の接点Ａ，Ｂの切り替えに応じて音声データ通信部１０６または認識結果読み出し部１０９へ入力音声の音声データ、特徴量Ｓ、距離値の最小値Ｌｍｉｎ、距離値が最小になる音声データのＭｉｎＩＤを出力する。
【００３６】
次に、通信可否判定部１０４の動作を説明する。図４は、本実施の形態１に係る音声入力装置１の通信可否判定部１０４の処理を説明するフローチャートである。
【００３７】
通信可否判定部１０４は、まず音声認識サーバとの間で通信可能かどうかの判定を行う（ステップＳＴ１０８）。音声入力装置１と音声認識サーバが無線で通信する場合、通信可否判定部１０４は、音声入力装置１の備えるアンテナの電波強度等の状況に基づいて通信可能かどうかの判定を行えばよい。また、音声入力装置１と音声認識サーバが有線で通信する場合、通信可否判定部１０４は、音声認識サーバからの応答有無等に基づいて通信可能かどうかの判定を行えばよい。判定の結果、通信可能である場合はステップＳＴ１０９へ進み、通信不可能な場合はステップＳＴ１１１へ進む。
【００３８】
ステップＳＴ１０９において、通信可否判定部１０４は、予め設定されている閾値ＴＨ１と音声データ照合部１０３で算出した距離値の最小値Ｌｍｉｎとを比較する（ステップＳＴ１０９）。ＬｍｉｎがＴＨ１よりも大きい場合（ステップＳＴ１０９“ＹＥＳ”）、ステップＳＴ１１０へ進み、ＬｍｉｎがＴＨ１以下の場合（ステップＳＴ１０９“ＮＯ”）、ステップＳＴ１１１へ進む。
【００３９】
なお、閾値ＴＨ１は、入力音声の音声データとＭｉｎＩＤの音声データが類似か否か（または同一か否か）を判定するための値である。距離値の最小値Ｌｍｉｎが閾値ＴＨ１よりも大きい場合、入力音声の特徴量Ｓと類似する特徴量を持つ音声データが音声データメモリ１０２に記憶されていないと判定していることになる。一方、距離値の最小値Ｌｍｉｎが閾値ＴＨ１以下の場合、入力音声と同じ発話が過去に行われて、入力音声の特徴量Ｓと類似する特徴量を持つ音声データが音声データメモリ１０２に記憶されていると判定していることになり、入力音声と類似する音声データの認識結果が認識結果メモリ１０８に既に蓄積されていることを意味する。
【００４０】
音声認識サーバと通信可能、かつ、距離値の最小値Ｌｍｉｎが閾値ＴＨ１よりも大きい、即ち、入力音声の特徴量Ｓと類似する特徴量を持つ音声データが音声データメモリ１０２に記憶されていない場合（ステップＳＴ１０８“ＹＥＳ”かつステップＳＴ１０９“ＹＥＳ”）、音声認識サーバ上で入力音声の認識処理を行うために、通信可否判定部１０４が切り替えスイッチ１０５の接点をＡに切り替え、図４のフローチャートの処理を終了する。
【００４１】
一方、音声認識サーバと通信不可能な場合（ステップＳＴ１０８“ＮＯ”）、または、通信可能であるが距離値の最小値Ｌｍｉｎが閾値ＴＨ１以下、即ち、入力音声の特徴量Ｓと類似する特徴量を持つ音声データが音声データメモリ１０２に記憶されている場合（ステップＳＴ１０８“ＹＥＳ”かつステップＳＴ１０９“ＮＯ”）、音声認識サーバに入力音声を送信することなく当該入力音声に対応する認識結果を取得することができるため、通信可否判定部１０４が切り替えスイッチ１０５の接点をＢに切り替え、図４のフローチャートの処理を終了する。
【００４２】
以上のように、閾値ＴＨ１を適切な値に設定することにより、仮に通信可能な場合でも、入力音声と同じ発話が過去に行われている場合には、音声認識サーバに入力音声の音声データを送信することなく、当該入力音声に対応する認識結果を取得することができるようになる。
【００４３】
次に、音声データ通信部１０６の動作を説明する。音声データ通信部１０６は、切り替えスイッチ１０５の接点がＡに切り替わっている場合のみ動作する。
図５は、本実施の形態１に係る音声入力装置１の音声データ通信部１０６の処理を説明するフローチャートである。
【００４４】
通信可否判定部１０４が切り替えスイッチ１０５の接点をＡに切り替えた場合、音声データ照合部１０３から音声データ通信部１０６へ入力音声の音声データが出力される。まず音声データ通信部１０６は、予め設定されている通信先の音声認識サーバの仕様に従い、入力音声の音声データの圧縮を行う必要があるかを判定する（ステップＳＴ１１２）。
【００４５】
入力音声の音声データを圧縮する必要がある場合（ステップＳＴ１１２“ＹＥＳ”）、音声データ通信部１０６は、通信先の音声認識サーバの仕様に従い音声データの圧縮を行う（ステップＳＴ１１３）。そして、圧縮後の音声データを音声認識サーバに送信し（ステップＳＴ１１４）、図５に示すフローチャートの処理を終了する。
【００４６】
一方、入力音声の音声データを圧縮する必要がない場合（ステップＳＴ１１２“ＮＯ”）、音声データ通信部１０６は、音声データをそのまま音声認識サーバに送信し（ステップＳＴ１１５）、図５に示すフローチャートの処理を終了する。
【００４７】
不図示の音声認識サーバは、音声入力装置１から送信された音声データを音声認識処理し、認識結果を音声入力装置１へ送り返す。なお、音声認識処理は公知の技術であるため詳細な説明を省略する。
なお、この例では音声データを音声認識サーバへ送信する構成にしているが、音声データ以外（例えば、特徴量）の情報を音声認識サーバへ送信して音声認識処理を実施させる構成にしてもよい。
【００４８】
次に、認識結果取得部１０７の動作を説明する。認識結果取得部１０７は、切り替えスイッチ１０５の接点がＡに切り替わっている場合のみ動作する。
図６は、本実施の形態１に係る音声入力装置１の認識結果取得部１０７の処理を説明するフローチャートである。
【００４９】
まず認識結果取得部１０７は、音声認識サーバから返送される認識結果を取得する（ステップＳＴ１１６）。続いて認識結果取得部１０７は、取得した認識結果を認識結果ＲＮ＋１として認識結果メモリ１０８に記憶し（ステップＳＴ１１７）、Ｎをインクリメントする（ステップＳＴ１１８）。Ｎは認識結果メモリ１０８に既に記憶されている認識結果の数である。図３に示したように、認識結果ＲＮ＋１は例えば語彙であり、音声データメモリ１０２の音声データと同様に発話ＩＤに対応させて記憶する。従って、発話ＩＤを介して音声データメモリ１０２の特徴量と認識結果メモリ１０８の認識結果とが紐付いている。
【００５０】
続いて認識結果取得部１０７は、音声認識サーバから取得した認識結果を認識結果出力部１１０へ出力し（ステップＳＴ１１９）、最後に認識結果出力部１１０が認識結果を制御対象に対して出力する。
【００５１】
次に、認識結果読み出し部１０９の動作を説明する。認識結果読み出し部１０９は、切り替えスイッチ１０５の接点がＢに切り替わっている場合のみ動作する。
図７は、本実施の形態１に係る音声入力装置１の認識結果読み出し部１０９の処理を説明するフローチャートである。
【００５２】
通信可否判定部１０４が切り替えスイッチ１０５の接点をＢに切り替えた場合、音声データ照合部１０３から認識結果読み出し部１０９へ、入力音声に対する距離値の最小値Ｌｍｉｎおよび距離値が最小になる音声データの発話ＩＤ（ＭｉｎＩＤ）が出力される。まず認識結果読み出し部１０９は、予め設定されている閾値ＴＨ２と音声データ照合部１０３で算出した距離値の最小値Ｌｍｉｎとを比較する（ステップＳＴ１２０）。ＬｍｉｎがＴＨ２よりも小さい場合（ステップＳＴ１２０“ＹＥＳ”）、ステップＳＴ１２１へ進み、ＬｍｉｎがＴＨ２以上の場合（ステップＳＴ１２０“ＮＯ”）、ステップＳＴ１２３へ進む。
なお、閾値ＴＨ２は、入力音声の音声データとＭｉｎＩＤの音声データが類似か否か（または同一か否か）を判定するための値である。
【００５３】
距離値の最小値Ｌｍｉｎが閾値ＴＨ２よりも小さい場合（ステップＳＴ１２０“ＹＥＳ”）、認識結果読み出し部１０９は、音声データ照合部１０３で算出したＭｉｎＩＤに対応する認識結果ＲＭｉｎＩＤを認識結果メモリ１０８から読み出し（ステップＳＴ１２１）、認識結果出力部１１０へ出力する（ステップＳＴ１２２）。最後に認識結果出力部１１０が認識結果を制御対象に対して出力する。例えば、音声データメモリ１０２と認識結果メモリ１０８の記憶内容が図３に示す内容であってＭｉｎＩＤ＝２の場合、入力音声の特徴量Ｓに最も類似する特徴量を持つ音声データは発話ＩＤ＝２の音声データであるため、認識結果読み出し部１０９は認識結果メモリ１０８から発話ＩＤ＝２の音声データの認識結果Ｒ２＝｛△△市役所｝を読み出す。
【００５４】
一方、距離値の最小値Ｌｍｉｎが閾値ＴＨ２以上の場合（ステップＳＴ１２０“ＮＯ”）、入力音声の特徴量Ｓに類似する特徴量を持つ音声データが音声データメモリ１０２に記憶されていなく、従って認識結果メモリ１０８にも適切な認識結果が記憶されていないと判断し、認識結果読み出し部１０９は認識結果出力部１１０に認識結果無しと通知する（ステップＳＴ１２３）。最後に認識結果出力部１１０が制御対象に対して該当する認識結果が無い旨を出力する。
【００５５】
以上が本実施の形態１に係る音声入力装置１の動作例である。ここで、本実施の形態１におけるデータの流れを、図８および図９を用いて説明する。
図８は、実施の形態１に係る音声入力装置１において切り替えスイッチ１０５が接点Ａに切り替わっている場合のデータの流れを示す図である。音声入力装置１は、マイクロホン５から音声が入力されると、当該入力音声の音声データを通信ネットワーク２を経由して音声認識サーバ３に送信する。音声認識サーバ３は、通信ネットワーク２を経由して受信した音声データを音声認識処理し、その認識結果を再び通信ネットワーク２を経由して音声入力装置１へ送信する。音声入力装置１は入力音声の認識結果を音声認識サーバ３から通信ネットワーク２経由で取得し、制御対象４に対して出力する。
【００５６】
一方、図９は、実施の形態１に係る音声入力装置１において切り替えスイッチ１０５が接点Ｂに切り替わっている場合のデータの流れを示す図である。例えば音声入力装置１と音声認識サーバ３とが通信できず、切り替えスイッチ１０５が接点Ｂに切り替わっている場合、音声入力装置１は、マイクロホン５から音声が入力されると、当該入力音声の特徴量に最も類似する特徴量を持つ過去の音声データに対する認識結果を認識結果メモリ１０８から読み出し、制御対象４に対して出力する。
【００５７】
以上より、実施の形態１によれば、音声入力装置１は、入力信号の音声区間を検出する音声区間検出部１００と、音声区間検出部１００が検出した入力信号の音声区間の音声データから特徴量を算出する音声特徴量算出部１０１と、音声特徴量算出部１０１が算出した入力信号の音声区間の音声データの特徴量を記憶する音声データメモリ１０２と、入力信号の音声区間の音声データの特徴量と音声データメモリ１０２に記憶されている過去の音声データの特徴量との距離値を求め、音声データメモリ１０２に記憶されている過去の音声データの中から入力信号の音声区間の音声データに最も類似する音声データを特定する音声データ照合部１０３と、音声認識サーバ３との間の通信状態に応じて、入力信号の音声区間の音声データを音声認識サーバ３へ送信するか否かを判定する通信可否判定部１０４と、通信可否判定部１０４が送信すると判定した場合に、入力信号の音声区間の音声データを音声認識サーバ３へ送信する音声データ通信部１０６と、音声認識サーバ３が入力信号の音声区間の音声データを音声認識処理した認識結果を受信して認識結果出力部１１０経由で制御対象４へ出力する認識結果取得部１０７と、認識結果取得部１０７が音声認識サーバ３から受信した認識結果を記憶する認識結果メモリ１０８と、通信可否判定部１０４が送信しないと判定した場合に、音声データ照合部１０３が特定した過去の音声データに対応する認識結果を認識結果メモリ１０８から読み出して認識結果出力部１１０経由で制御対象４へ出力する認識結果読み出し部１０９とを備えるように構成した。このように構成することで、音声入力装置１は、通信不能な場合でも、過去に音声認識サーバ３で認識させた任意の語彙のうちから、入力音声と同じ語彙の認識結果を取得することができるのである。
【００５８】
また、実施の形態１によれば、通信可否判定部１０４は、音声認識サーバ３との間の通信が可能な状態であっても、音声データ照合部１０３が特定した過去の音声データの距離値が閾値以下の場合は、入力信号の音声区間の音声データを送信しないと判定するようにした。このように構成することで、音声入力装置１は、通信可能な場合でも、入力音声の語彙が過去に音声認識サーバ３で認識させた語彙と同じであれば、音声認識サーバ３に入力音声を送信することなく、入力音声と同じ語彙の認識結果を高速に取得することができるのである。
【００５９】
また、実施の形態１によれば、認識結果メモリ１０８は、音声データに対応する認識結果を当該音声データの特徴量に紐付けて記憶し、認識結果読み出し部１０９は、特徴量に基づいて、音声データ照合部１０３が特定した過去の音声データに対応する認識結果を読み出すようにした。このように構成することで、音声入力装置１が認識結果を蓄積する際に従来のような音声認識結果の語彙の読み情報を必要としないため、音声認識サーバ３から取得可能な認識結果が抽象化される等して実際に認識させた音声データの語彙と認識結果の語彙とが異なる場合でも、最も類似した特徴量に紐付いた過去の認識結果を入力音声に対する認識結果として取得することができるのである。従って、汎用性の高い音声入力装置１を提供することができる。
【００６０】
また、実施の形態１によれば、音声データ照合部１０３は、ＤＰにより、音声特徴量算出部１０１が算出した入力信号の音声区間の音声データの特徴量と音声データメモリ１０２に記憶されている過去の音声データの特徴量との距離値を求めるように構成したので、ＤＰを用いることで発話間に時間的な伸縮があっても正しく照合することができる。
【００６１】
実施の形態２．
近年、スマートフォン等の通信端末から音声認識サーバに対して音声データを送信して認識結果を取得する音声認識サービスが普及している。そこで、本実施の形態２では、図１０に示すように、音声入力装置１ａと通信端末６とを接続し、音声入力装置１ａから通信端末６を経由して音声認識サーバ３を使用するという形態を想定する。
【００６２】
図１０において、音声入力装置１ａは、マイクロホン５から音声が入力されると、当該入力音声の音声データを通信端末６に送信する。通信端末６は取得した入力音声の音声データを通信ネットワーク２を経由して音声認識サーバ３に送信する。音声認識サーバ３は、通信ネットワーク２を経由して受信した音声データを音声認識処理し、その認識結果を再び通信ネットワーク２を経由して通信端末６へ送信する。通信端末６は、入力音声の認識結果を音声認識サーバ３から通信ネットワーク２経由で取得し、認識結果に対応する操作内容を実行する。
このような形態において、通信端末６と音声認識サーバ３との通信が不能な場合に、通信端末６が入力音声の認識結果に対応する操作内容を音声入力装置１ａから取得して実行できるようにする。
【００６３】
図１１は、この発明の実施の形態２に係る音声入力装置１ａの構成を示すブロック図である。図１１において、図１と比して新規な構成要素はラベル変換部２０１、操作内容取得部２０２、操作内容メモリ２０３、操作内容読み出し部２０４および操作内容出力部２０５である。以下では、これら新規な構成要素を中心に説明することとし、図１と同一または相当の部分については同一の符号を付し説明を省略する。
【００６４】
ラベル変換部２０１は、音声特徴量算出部１０１が算出した入力音声の特徴量ＳをＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）のラベル系列に変換する部位であり、変換したラベル系列を音声データメモリ１０２に蓄積する。
操作内容取得部２０２は、通信端末６から、音声認識サーバ３で認識した認識結果に応じて実行した通信端末６の動作を識別する操作内容を取得する部位であり、取得した操作内容を操作内容メモリ２０３に蓄積する。
操作内容メモリ２０３は、操作内容取得部２０２が出力した操作内容を記憶する部位である。
操作内容読み出し部２０４は、入力音声の音声データの特徴量と最も類似する特徴量を持つ音声データに対応する操作内容を操作内容メモリ２０３から読み出す部位であり、読み出した操作内容を操作内容出力部２０５へ出力する。
操作内容出力部２０５は、操作内容メモリ２０３から読み出した操作内容を通信端末６へ出力する部位である。
【００６５】
次に、音声入力装置１ａの動作について説明する。
音声区間検出部１００および音声特徴量算出部１０１の動作は、上記実施の形態１の図２に示したフローチャートと同様であるため説明を省略する。
【００６６】
続いてラベル変換部２０１は、音声特徴量算出部１０１が算出した入力音声の特徴量Ｓを、音声タイプライタ（例えば、音節タイプライタ、音素タイプライタ）を用いて音節単位または音素単位といったラベル列に変換し、このラベル列を特徴量ＶＮ＋１として音声データメモリ１０２に記憶する。
【００６７】
ここで、図１２に、音声データメモリ１０２に記憶されている特徴量Ｖｎと、操作内容メモリ２０３に記憶されている操作内容Ｃｎの例を示す。音声データメモリ１０２では、音声データを識別する固有の発話ＩＤに対応させて、ラベル列で表された特徴量Ｖｎを記憶する。Ｕ１，Ｕ２，・・・は各音声データのＨＨＭのラベル数を示している。本実施の形態２ではＨＭＭのラベル列を記憶することになるので、Ｖ１（０）＝‘ａ’のように具体的なラベルの文字列を記憶してもよいし、Ｖ１（０）＝１というようにラベルの文字列それぞれに予め割当てられているインデックスを記憶してもよい。
【００６８】
音声データ照合部１０３の基本的な動作は、上記実施の形態１の図２に示したフローチャートと同様である。ただし、本実施の形態２の音声データ照合部１０３は、図２のステップＳＴ１０４において、ＨＭＭにより、入力音声の特徴量Ｓと音声データメモリ１０２に記憶されている各音声データのラベル列である特徴量Ｖｎとの距離値Ｌｎを算出する。ＨＭＭによる距離値は、以下の式（２）で逐次的に算出され、Ｌ（Ｔ，Ｕ）が最終的な距離値Ｌｎとなる。ここでは、Ｔは入力音声の特徴量Ｓのフレーム長、Ｕは特徴量Ｖｎのラベル長である。またｂ（ｔ，ｕ）は特徴量Ｓのｔフレーム目と特徴量Ｖｎのｕ番目のラベルとの間の局所距離値であり、出力確率の対数に−１を乗じて算出する。また、ｄｕｒ（ｕ）はｕ番目のラベルの継続フレーム数を示し、ｃ（ｄｕｒ，ｕ）は状態ｕにｄｕｒフレームだけ継続して留まった後に次の状態に遷移する場合のペナルティ値であり、各ラベルの平均的な継続時間から事前に算出しておく。
【００６９】
2014115396.tif 000004
【００７０】
通信可否判定部１０４の動作は、上記実施の形態１の図４に示したフローチャートと同様であるため説明を省略する。ただし、図４のステップＳＴ１０８の通信可否は、通信端末６と音声認識サーバ３とを接続する通信ネットワーク２の状態に基づいて判定する。
【００７１】
音声データ通信部１０６は、上記実施の形態１と同様に、切り替えスイッチ１０５の接点がＡに切り替わっている場合のみ動作する。
通信可否判定部１０４が切り替えスイッチ１０５の接点をＡに切り替えた場合、音声データ照合部１０３から音声データ通信部１０６へ入力音声の音声データが出力される。そして、音声データ通信部１０６は、音声入力装置１ａに接続している通信端末６に入力音声の音声データを送信する。このとき送信する音声データは、接続先の通信端末６上の音声認識サーバ３の仕様に応じた形式とし、音声区間検出部１００が検出した音声区間のみを送信するか、音声区間検出前の入力信号をそのまま送信する。
【００７２】
通信端末６は、音声入力装置１ａから送信された音声データを通信ネットワーク２を経由して音声認識サーバ３に送信し、認識結果を取得する。そして、通信端末６は取得した認識結果に対応した動作を実行すると共に、その動作を規定した操作内容のデータを音声入力装置１ａに送信する。
【００７３】
次に、操作内容取得部２０２の動作を説明する。操作内容取得部２０２は、切り替えスイッチ１０５の接点がＡに切り替わっている場合のみ動作する。
図１３は、本実施の形態２に係る音声入力装置１ａの操作内容取得部２０２の処理を説明するフローチャートである。
【００７４】
まず操作内容取得部２０２は、入力音声の音声データに対応する操作内容を、通信端末６から取得する（ステップＳＴ２０１）。続いて操作内容取得部２０２は、取得した操作内容を操作内容ＣＮ＋１として操作内容メモリ２０３に記憶し（ステップＳＴ２０２）、Ｎをインクリメントして（ステップＳＴ２０３）、図１３に示すフローチャートの処理を終了する。Ｎは操作内容メモリ２０３に既に記憶されている操作内容の数である。
【００７５】
ここでいう操作内容とは、音声データ通信部１０６が送信した入力音声の音声データについて、通信端末６がこの音声データに対応する認識結果に基づいて行った動作を規定するものである。図１２に示したように、例えば、通信端末６が音楽再生アプリケーション上で「ＡＢＣ」というタイトルの楽曲を再生した場合は、｛Ａｐｐ＝Ｍｕｓｉｃ，Ｔｉｔｌｅ＝ＡＢＣ，Ｄｏ＝Ｐｌａｙ｝という操作内容が操作内容メモリ２０３に記憶される。なお、操作内容は、音声データメモリ１０２の音声データと同様に発話ＩＤに対応させて記憶することとし、発話ＩＤを介して音声データメモリ１０２の特徴量と操作内容メモリ２０３の操作内容とが紐付いている。
【００７６】
次に、操作内容読み出し部２０４の動作を説明する。操作内容読み出し部２０４は、切り替えスイッチ１０５の接点がＢに切り替わっている場合のみ動作する。
図１４は、本実施の形態２に係る音声入力装置１ａの操作内容読み出し部２０４の処理を説明するフローチャートである。
【００７７】
通信可否判定部１０４が切り替えスイッチ１０５の接点をＢに切り替えた場合、音声データ照合部１０３から操作内容読み出し部２０４へ、入力音声に対する距離値の最小値Ｌｍｉｎおよび距離値が最小になる音声データの発話ＩＤ（ＭｉｎＩＤ）が出力される。まず操作内容読み出し部２０４は、予め設定されている閾値ＴＨ３と音声データ照合部１０３で算出した距離値の最小値Ｌｍｉｎとを比較する（ステップＳＴ２０４）。ＬｍｉｎがＴＨ３よりも小さい場合（ステップＳＴ２０４“ＹＥＳ”）、ステップＳＴ２０５へ進み、ＬｍｉｎがＴＨ３以上の場合（ステップＳＴ２０４“ＮＯ”）、ステップＳＴ２０７へ進む。
なお、閾値ＴＨ３は、入力音声の音声データとＭｉｎＩＤの音声データが類似か否か（または同一か否か）を判定するための値である。
【００７８】
距離値の最小値Ｌｍｉｎが閾値ＴＨ３よりも小さい場合（ステップＳＴ２０４“ＹＥＳ”）、操作内容読み出し部２０４は、音声データ照合部１０３で算出したＭｉｎＩＤに対応する操作内容ＣＭｉｎＩＤを操作内容メモリ２０３から読み出し（ステップＳＴ２０５）、操作内容出力部２０５へ出力する（ステップＳＴ２０６）。最後に操作内容出力部２０５が操作内容を通信端末６に対して出力する。例えば、音声データメモリ１０２と操作内容メモリ２０３の記憶内容が図１２に示す内容であってＭｉｎＩＤ＝１の場合、入力音声の特徴量Ｓに最も類似する特徴量を持つ音声データは発話ＩＤ＝１の音声データであるため、操作内容読み出し部２０４は操作内容メモリ２０３から発話ＩＤ＝１の音声データの操作内容Ｃ１＝｛Ａｐｐ＝Ｍｕｓｉｃ，Ｔｉｔｌｅ＝ＡＢＣ，Ｄｏ＝Ｐｌａｙ｝を読み出す。通信端末６がこの操作内容を実行することで、音声認識サーバ３との通信が不能状態であっても通信可能時と同じ操作を実行することが可能になる。
【００７９】
一方、距離値の最小値Ｌｍｉｎが閾値ＴＨ３以上の場合（ステップＳＴ２０４“ＮＯ”）、入力音声の特徴量Ｓに類似する特徴量を持つ音声データが音声データメモリ１０２に記憶されていなく、従って操作内容メモリ２０３にも適切な操作内容が記憶されていないと判断し、操作内容読み出し部２０４は操作内容出力部２０５に操作内容無しと通知する（ステップＳＴ２０７）。最後に操作内容出力部２０５が通信端末６に対して該当する操作内容が無い旨を出力する。
【００８０】
以上が本実施の形態２に係る音声入力装置１ａの動作例である。ここで、本実施の形態２におけるデータの流れを、先に示した図１０、および図１５を用いて説明する。
図１０は、実施の形態２に音声入力装置１ａにおいて切り替えスイッチ１０５が接点Ａに切り替わっている場合のデータの流れを示す図である。既に説明したように、通信ネットワーク２が通信可能な状態であれば、通信端末６は、音声入力装置１ａに入力された入力音声の認識結果を音声認識サーバ３から取得して、その認識結果に対応する操作内容を実行する。また、当該操作内容を通信端末６から音声入力装置１ａに送信し、音声入力装置１ａが取得した操作内容を記憶する。
【００８１】
一方、図１５は、実施の形態２に係る音声入力装置１ａにおいて切り替えスイッチ１０５が接点Ｂに切り替わっている場合のデータの流れを示す図である。例えば通信端末６と音声認識サーバ３とが通信できず、切り替えスイッチ１０５が接点Ｂに切り替わっている場合、音声入力装置１ａは、マイクロホン５から音声が入力されると、当該入力音声の特徴量に最も類似する特徴量を持つ過去の音声データに対応する操作内容を操作内容メモリ２０３から読み出し、通信端末６に対して出力する。通信端末６では取得した操作内容を実行する。
【００８２】
以上より、実施の形態２によれば、音声入力装置１ａは、入力信号の音声区間を検出する音声区間検出部１００と、音声区間検出部１００が検出した入力信号の音声区間の音声データから特徴量を算出する音声特徴量算出部１０１と、音声タイプライタを用いて音声データをＨＭＭのラベル列に変換するラベル変換部２０１と、ラベル変換部２０１が変換したラベル列を特徴量として記憶する音声データメモリ１０２と、ＨＭＭにより、音声特徴量算出部１０１が算出した入力信号の音声区間の音声データの特徴量と音声データメモリ１０２に記憶されている過去の音声データのラベル列との距離値を求め、音声データメモリ１０２に記憶されている過去の音声データの中から入力信号の音声区間の音声データに最も類似する音声データを特定する音声データ照合部１０３と、通信端末６と音声認識サーバ３との間の通信状態に応じて、入力信号の音声区間の音声データを通信端末６を経由して音声認識サーバ３へ送信するか否かを判定する通信可否判定部１０４と、通信可否判定部１０４が送信すると判定した場合に、入力信号の音声区間の音声データを通信端末６を経由して音声認識サーバ３へ送信する音声データ通信部１０６と、音声認識サーバ３が入力信号の音声区間の音声データを音声認識処理した認識結果を通信端末６で受信し、認識結果に応じて行った通信端末６の動作を識別する操作内容を取得する操作内容取得部２０２と、操作内容取得部２０２が通信端末６から取得した操作内容を記憶する操作内容メモリ２０３と、通信可否判定部１０４が送信しないと判定した場合に、音声データ照合部１０３が特定した過去の音声データに対応する操作内容を操作内容メモリ２０３から読み出して操作内容出力部２０５経由で通信端末６へ出力する操作内容読み出し部２０４とを備えるように構成した。このように構成することで、音声入力装置１ａは、通信不能な場合でも、過去に音声認識サーバ３で認識させた任意の語彙のうちから、入力音声と同じ語彙に対応した通信端末６上の操作内容を取得することができるのである。
【００８３】
また、実施の形態２によれば、通信可否判定部１０４は、通信端末６と音声認識サーバ３との通信が可能な状態であっても、音声データ照合部１０３が特定した過去の音声データの距離値が閾値以下の場合は、入力信号の音声区間の音声データを送信しないと判定するようにした。このように構成することで、通信可能な場合でも、入力音声の語彙が過去に音声認識サーバ３で認識させた語彙と同じであれば、音声認識サーバ３に入力音声を送信することなく、入力音声と同じ語彙に対応した通信端末６上の操作内容を高速に取得することができるのである。
【００８４】
また、実施の形態２によれば、操作内容メモリ２０３は、音声データに対応する操作内容を当該音声データの特徴量に紐付けて記憶し、操作内容読み出し部２０４は、特徴量に基づいて、音声データ照合部１０３が特定した過去の音声データに対応する操作内容を読み出すようにした。このように構成することで、音声入力装置１ａが操作内容を蓄積する際に従来のようが音声認識結果の語彙の読み情報を必要としないため、通信端末６から取得可能な情報が入力音声の認識結果ではなく操作内容の場合でも、最も類似した特徴量に紐付いた過去の操作内容を入力音声に対する操作内容として取得することができるのである。従って、汎用性の高い音声入力装置１ａを提供することができる。
【００８５】
また、実施の形態２では、音声入力装置１ａが、音声タイプライタを用いて音声データをＨＭＭのラベル列に変換し、当該ラベル列を特徴量として音声データメモリ１０２に記憶させるラベル変換部２０１を備え、音声データ照合部１０３は、ＨＭＭにより、音声特徴量算出部１０１が算出した入力信号の音声区間の音声データの特徴量と音声データメモリ１０２に記憶されている過去の音声データのラベル列との距離値を求めるように構成した。このため、ＨＭＭのラベル列に変換することで、音声データメモリ１０２の使用量を削減することができる。
【００８６】
なお、実施の形態２では、音声データ照合部１０３がＨＭＭにより入力音声の音声データと過去の音声データとの照合を行うように構成したが、上記実施の形態１のようにＤＰによる照合を行うように構成してもよい。
【００８７】
また、通信端末６を経由せず、音声認識サーバ３から音声入力装置１ａへ直接、入力音声に対する認識結果が抽象化される等して実際に認識させた発話内容と異なる結果が送信される場合にも、音声入力装置１ａを使用可能である。
【００８８】
ここで、図１６に示すように、音声認識サーバ３が入力音声の音声データを音声認識処理し、その認識結果を制御対象４に対する操作内容に変換して音声入力装置１ａへ返却する場合を想定する。例えば、制御対象４が音楽再生アプリケーションの場合、制御対象４は｛Ａｐｐ＝Ｍｕｓｉｃ，Ｔｉｔｌｅ＝ＡＢＣ，Ｄｏ＝Ｐｌａｙ｝という操作内容に従って「ＡＢＣ」という楽曲を再生する動作を行う。
【００８９】
音声入力装置１ａの切り替えスイッチ１０５が接点Ａに切り替わっている場合には、音声データ通信部１０６が通信ネットワーク２を経由して音声認識サーバ３へ入力音声の音声データを送信し、操作内容取得部２０２がその入力音声に対応する操作内容を音声認識サーバ３から取得する。そして、操作内容メモリ２０３にその操作内容を蓄積する。また、操作内容読み出し部２０４が、入力音声の特徴量に最も類似する特徴量を持つ音声データに対応する操作内容を操作内容メモリ２０３から読み出して操作内容出力部２０５に出力し、操作内容出力部２０５がその操作内容を制御対象４へ出力する。
【００９０】
一方、図１７に示すように、音声入力装置１ａと音声認識サーバ３とが通信できず、切り替えスイッチ１０５が接点Ｂに切り替わっている場合には、音声入力装置１ａは入力音声の特徴量に最も類似する特徴量を持つ音声データに対応する操作内容を操作内容メモリ２０３から読み出して操作内容出力部２０５に出力し、操作内容出力部２０５がその操作内容を制御対象４へ出力する。
【００９１】
このように構成することで、音声認識サーバ３が入力音声に対する認識結果を抽象化する等して実際に認識した発話内容と異なる結果（操作内容）を出力する場合でも、音声入力装置１ａは制御対象４に対して当該入力音声に対応する操作内容を出力することができるのである。
【００９２】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【００９３】
上記説明では、音声認識装置１，１ａの音声データメモリ１０２と認識結果メモリ１０８（または操作内容メモリ２０３）に語彙の特徴量と認識結果を無条件に登録していく構成にしたが、これに限定されるものではなく、例えば、既に登録されている語彙と類似（または同一）の語彙については登録しない等の条件を設けてもよい。その一例を、上記実施の形態１の音声認識装置１の場合で説明する。
【００９４】
図１８に示すフローチャートでは、図２に示したフローチャートに対して新たにステップＳＴ３００〜ＳＴ３０２を追加している。ステップＳＴ３００において、音声特徴量算出部１０１は、入力音声の音声データから特徴量を算出するが、この段階では音声データメモリ１０２に記憶させず、ステップＳＴ３０１において距離値の最小値Ｌｍｉｎと登録判定用の閾値ＴＨ３とを比較し、入力音声と類似（または同一）の音声データの特徴量が音声データメモリ１０２に記憶されていないと判断した場合のみ（ステップＳＴ３０１“ＹＥＳ”）、入力音声の特徴量を記憶する（ステップＳＴ３０２）。
【００９５】
また、図１９に示すフローチャートでは、図６に示したフローチャートに対して新たにステップＳＴ３０３を追加している。ステップＳＴ３０３において、認識結果取得部１０７は、音声認識サーバから取得した認識結果に対応する距離値の最小値Ｌｍｉｎと登録判定用の閾値ＴＨ３とを比較し、入力音声と類似（または同一）の音声データの認識結果が認識結果メモリ１０８に記憶されていないと判断した場合のみ（ステップＳＴ３０３“ＹＥＳ”）、取得した認識結果を記憶する（ステップＳＴ１１７，ＳＴ１１８）。
【００９６】
なお、この発明は、特定の用途に限定されるものではないが、例えばカーナビゲーション装置に音声入力装置を適用して、車外の音声認識サーバと通信する構成、および、カーナビゲーション装置に音声入力装置を適用すると共にスマートフォンを通信端末に用いて、車外の音声認識サーバと通信する構成において特に有用である。
【符号の説明】
【００９７】
１，１ａ  音声入力装置、２  通信ネットワーク、３  音声認識サーバ、４  制御対象、５  マイクロホン、６  通信端末、１００  音声区間検出部、１０１  音声特徴量算出部、１０２  音声データメモリ（音声データ記憶部）、１０３  音声データ照合部、１０４  通信可否判定部、１０５  切り替えスイッチ、１０６  音声データ通信部、１０７  認識結果取得部、１０８  認識結果メモリ（認識結果記憶部）、１０９  認識結果読み出し部、１１０  認識結果出力部、２０１  ラベル変換部、２０２  操作内容取得部、２０３  操作内容メモリ（操作内容記憶部）、２０４  操作内容読み出し部、２０５  操作内容出力部。
【図１】
2014115396.tif 000005
【図２】
2014115396.tif 000006
【図３】
2014115396.tif 000007
【図４】
2014115396.tif 000008
【図５】
2014115396.tif 000009
【図６】
2014115396.tif 000010
【図７】
2014115396.tif 000011
【図８】
2014115396.tif 000012
【図９】
2014115396.tif 000013
【図１０】
2014115396.tif 000014
【図１１】
2014115396.tif 000015
【図１２】
2014115396.tif 000016
【図１３】
2014115396.tif 000017
【図１４】
2014115396.tif 000018
【図１５】
2014115396.tif 000019
【図１６】
2014115396.tif 000020
【図１７】
2014115396.tif 000021
【図１８】
2014115396.tif 000022
【図１９】
2014115396.tif 000023