(57)【要約】【課題】多段階音声認識装置及び多段階音声認識方法を提供する。【解決手段】認識しようとする音声特徴について音声を単独で認識可能であるか否かを判定し、判定した結果応じて、音声を認識するか、あるいは、特徴を伝送するような機能を有するクライアント１０及び第１サーバ２０から第Ｎ（Ｎは１以上の正の整数）サーバ２４を備え、第１サーバ２０は、クライアント１０から伝送された音声特徴を利用して音声を単独で認識可能であるか否かを判定し、判定した結果に応じて音声を認識するか、あるいは、音声特徴を伝送し、第１サーバ２０を除いた第Ｎサーバまでのいずれか１つである第ｎ（２≦ｎ≦Ｎ）サーバは、第１サーバ２０もしくは第ｎ−１サーバから伝送された音声特徴について音声を単独で認識可能であるか否かを判定し、判定した結果に応じて、音声を認識するか、あるいは、音声特徴を伝送することを特徴とする多段階音声認識装装置である。【選択図】図１
2006106761.tif 000002
【特許請求の範囲】
【請求項１】
認識しようとする音声特徴を抽出し、前記抽出した音声特徴について、音声を単独で認識可能であるか否かを判定し、この判定した結果に応じて、前記音声を認識するか、あるいは、前記音声特徴をサーバへ伝送するクライアントと、
第１サーバから第Ｎ（Ｎは１以上の正の整数）サーバからなる複数のサーバと、を備え、
前記第１サーバは、前記クライアントから伝送された前記音声特徴を受信し、受信した前記音声特徴について、前記音声を単独で認識可能であるか否かを判定し、この判定した結果に応じて、前記音声を認識するか、あるいは、前記音声特徴を前記第１サーバを除いた前記複数のサーバのいずれか１つである第ｎ（２≦ｎ≦Ｎ）サーバへ伝送し、
前記第ｎ（２≦ｎ≦Ｎ）サーバは、前記第１サーバもしくは第ｎ−１サーバから伝送された前記音声特徴を受信し、受信した前記音声特徴について、前記音声を単独で認識可能であるか否かを判定し、この判定した結果に応じて、前記音声を認識するか、あるいは、前記音声特徴を第ｎ＋１サーバへ伝送することを特徴とする多段階音声認識装置。
【請求項２】
前記クライアントは、
前記認識しようとする音声特徴を抽出する音声特徴抽出部と、
前記抽出した音声特徴から前記音声を認識するクライアント音声認識部と、
前記抽出した音声特徴について、前記音声を単独で認識可能であるか否かを判定し、この判定した結果に応じて、前記音声特徴を前記第１サーバへ伝送するか、あるいは、前記クライアント音声認識部に出力するクライアント調整部と、
を備えることを特徴とする請求項１に記載の多段階音声認識装置。
【請求項３】
前記クライアント調整部は、
前記抽出した音声特徴と最も類似するトピックを検出し、この検出した最も類似するトピックのスコアを計算するクライアントトピック判定部と、
前記検出したスコアとクライアント臨界値とを比較するクライアント比較部と、
前記比較した結果に応じて、前記抽出した音声特徴を前記クライアント音声認識部に出力するか、あるいは、前記第１サーバへ伝送するクライアント出力制御部と、
を備えることを特徴とする請求項２に記載の多段階音声認識装置。
【請求項４】
前記クライアントは、
前記比較した結果及び伝送形態信号に応答し、前記抽出した音声特徴を圧縮して損失チャンネルで前記第１サーバへ伝送するクライアント圧縮伝送部をさらに備え、
前記第１サーバは、
前記クライアント圧縮伝送部から圧縮した音声特徴を受信し、この受信した圧縮の音声特徴を復元するクライアント復元受信部を備え、
前記第１サーバは、前記復元した音声特徴について、前記音声を単独で認識可能であるか否かを判定し、この判定した結果に応じて、前記音声を認識するか、あるいは、前記復元した音声特徴を前記第ｎサーバへ伝送することを特徴とする請求項２に記載の多段階音声認識装置。
【請求項５】
前記クライアント音声認識部は、
前記クライアントトピック判定部で判定されるトピックの個数と同数であって、第１音声認識デコーダから第Ｐ（Ｐは１以上の正の整数）音声認識デコーダからなる音声認識デコーダと、
前記比較した結果に応答して動作を実行し、前記第１音声認識デコーダから前記第Ｐ音声認識デコーダのうち、前記クライアントトピック判定部から入力した、前記検出した最も類似するトピックに該当する音声認識デコーダに前記抽出した音声特徴を選択的に出力するクライアントデコーダ選択部とを備え、
前記第１音声認識デコーダから第Ｐ音声認識デコーダのいずれか１つである第ｐ（１≦ｐ≦Ｐ）音声認識デコーダは、前記抽出した音声特徴から前記音声を認識することを特徴とする請求項３に記載の多段階音声認識装置。
【請求項６】
前記クライアントは、
外部から前記音声を入力し、前記入力した音声から有効な音声区間を検出する音声入力部をさらに備え、
前記クライアントは、前記有効な音声区間から前記音声特徴を抽出することを特徴とする請求項２に記載の多段階音声認識装置。
【請求項７】
前記第１サーバを含む前記複数のサーバのいずれか１つである第ｑ（１≦ｑ≦Ｎ）サーバは、
前記受信した音声特徴から前記音声を認識するサーバ音声認識部と、
前記受信した音声特徴について、前記音声を単独で認識可能であるか否かを判定し、この判定した結果に応じて、前記受信した音声特徴を他のサーバへ伝送するか、あるいは、前記サーバ音声認識部に出力するサーバ調整部と、
を備えることを特徴とする請求項１に記載の多段階音声認識装置。
【請求項８】
前記サーバ調整部は、
前記受信した音声特徴と最も類似するトピックを検出し、この検出した最も類似するトピックのスコアを計算するサーバトピック判定部と、
前記サーバトピック判定部で検出したスコアとサーバ臨界値とを比較するサーバ比較部と、
前記サーバ比較部で比較した結果に応じて、前記受信した音声特徴を前記サーバ音声認識部に出力するか、あるいは、前記他のサーバへ伝送するサーバ出力制御部と、
を備えることを特徴とする請求項７に記載の多段階音声認識装置。
【請求項９】
前記サーバ音声認識部は、
前記サーバトピック判定部で判定されるトピックの個数と同数であって、第１音声認識デコーダから第Ｒ（Ｒは１以上の正の整数）音声認識デコーダからなる音声認識デコーダと、
前記サーバ比較部で比較した結果に応答して、動作を実行し、前記第１音声認識デコーダから第Ｒ音声認識デコーダのうち、前記サーバトピック判定部から入力した、前記検出した最も類似するトピックに該当する音声認識デコーダに前記受信した音声特徴を選択的に出力するサーバデコーダ選択部と、を備え、
前記第１音声認識デコーダから第Ｒ音声認識デコーダのいずれか１つである第ｒ（１≦ｒ≦Ｒ）音声認識デコーダは、前記受信した音声特徴から音声を認識することを特徴とする請求項７に記載の多段階音声認識装置。
【請求項１０】
前記クライアントトピック判定部は、
複数のキーワードを保存するキーワード保存部と、
前記キーワードのうち、前記音声特徴と類似する音声特徴を有するキーワードを検索し、この検索したキーワードをリスト形態で出力するキーワード検索部と、
前記リストからトピックに対応するスコアを求め、この求めたトピックに対応するスコアの中で最も高いスコアを前記最も類似するトピックのスコアとして出力し、前記最も高いスコアを有するトピックを前記最も類似するトピックとして出力するスコア計算部と、を備え、
前記複数のキーワードそれぞれは、特有の音声特徴と前記トピックに対応するスコアとを有することを特徴とする請求項３に記載の多段階音声認識装置。
【請求項１１】
前記サーバトピック判定部は、
複数のキーワードを保存するキーワード保存部と、
前記キーワードのうち、前記音声特徴と類似する音声特徴を有するキーワードを検索し、検索したキーワードをリスト形態で出力するキーワード検索部と、
前記リストからトピックに対応するスコアを求め、この求めたトピックに対応するスコアの中で最も高いスコアを前記最も類似するトピックのスコアとして出力し、前記最も高いスコアを有するトピックを前記最も類似するトピックとして出力するスコア計算部と、を備え、
前記複数のキーワードそれぞれは、特有の音声特徴と前記トピックに対応するスコアとを有することを特徴とする請求項８に記載の多段階音声認識装置。
【請求項１２】
前記第ｑサーバは、
前記サーバ比較部で比較した結果及び伝送形態信号に応答し、前記受信した音声特徴を圧縮して損失チャンネルを経由して前記他のサーバへ伝送するサーバ圧縮伝送部をさらに備え、
前記他のサーバは、
前記サーバ圧縮伝送部から圧縮した音声特徴を受信し、この受信した圧縮の音声特徴を復元するサーバ復元受信部を備え、
前記他のサーバは、
前記復元した音声特徴について、前記音声を単独で認識可能であるか否かを判定し、この判定した結果に応じて、前記音声を認識するか、あるいは、前記復元した音声特徴を伝送することを特徴とする請求項７に記載の多段階音声認識装置。
【請求項１３】
クライアント及び第１サーバから第Ｎ（Ｎは１以上の正の整数）サーバからなる複数のサーバを備え、第ｎ（２≦ｎ≦Ｎ）サーバは、前記第１サーバを除いた前記複数のサーバのいずれか１つであるような、多段階音声認識装置で行われる段階音声認識方法において、
（ａ）認識しようとする音声特徴を抽出し、前記抽出した音声特徴について、前記音声を単独で認識可能であるか否かを判断し、この判断した結果に応じて、前記音声を認識するか、あるいは、前記音声特徴を伝送するステップと、
（ｂ）前記クライアントから前記音声特徴を受信し、この受信した前記音声特徴について、前記音声を単独で認識可能であるか否かを判定し、判定した結果に応じて、前記音声を認識するか、あるいは、前記音声特徴を伝送するステップと、
（ｃ）第ｎ−１サーバから前記音声特徴を受信し、この受信した前記音声特徴について、前記音声を単独で認識可能であるか否かを判定し、この判定した結果に応じて、前記音声を認識するか、あるいは、前記音声特徴を伝送するステップと、を含み、
前記（ａ）ステップは、前記クライアントで実行され、前記（ｂ）ステップは、前記第１サーバで実行され、前記（ｃ）ステップは、前記第ｎサーバで実行されることを特徴とする多段階音声認識方法。
【請求項１４】
前記（ｃ）ステップは、前記音声が認識されるまで前記第ｎサーバから前記第Ｎサーバのうち１つ以上のサーバにより順次に実行されることを特徴とする請求項１３に記載の多段階音声認識方法。
【請求項１５】
前記（ａ）ステップは、
前記認識しようとする音声の前記音声特徴を抽出するステップと、
前記抽出した音声特徴について、前記音声を前記クライアントが単独で認識可能であるか否かを判断するステップと、
前記クライアントが、前記音声を単独で認識できると判断した場合は、前記抽出した音声特徴について、前記音声を認識するステップと、
前記クライアントが、前記音声を単独で認識できないと判断した場合は、前記抽出した音声特徴を前記第１サーバへ伝送するステップと、
を含むことを特徴とする請求項１３に記載の多段階音声認識方法。
【請求項１６】
前記音声を前記クライアントが単独で認識可能であるか否かを判断するステップは、
前記抽出した音声特徴と最も類似するトピックを検出し、この検出した最も類似するトピックのスコアを求めるステップと、
前記求めたスコアがクライアント臨界値より大きいか否かを判断するステップと、を含み、
前記音声を前記クライアントが単独で認識可能である場合は、前記求めたスコアが前記クライアント臨界値より大きいことを特徴とする請求項１５に記載の多段階音声認識方法。
【請求項１７】
前記抽出した音声特徴を前記第１サーバへ伝送するステップは、
前記抽出した音声特徴を損失チャンネルを経由して伝送するか、あるいは、無損失チャンネルを経由して伝送するかを判断するステップと、
前記抽出した音声特徴を前記無損失チャンネルを経由して伝送すると判断した場合は、前記抽出した音声特徴を前記第１サーバへ無損失チャンネルを経由して伝送するステップと、
前記抽出した音声特徴を損失チャンネルを経由して伝送すると判断した場合は、前記抽出した音声特徴を圧縮し、この圧縮した音声特徴を損失チャンネルを経由して前記第１サーバへ伝送するステップと、を含み、
前記第１サーバは、前記損失チャンネルを経由して伝送した圧縮の音声特徴を受信し、この受信した圧縮の音声特徴を復元するステップを含み、
前記第１サーバは、前記復元した音声特徴について、前記（ｂ）ステップを実行することを特徴とする請求項１５に記載の多段階音声認識方法。
【請求項１８】
前記（ａ）ステップは、
外部から前記音声を入力し、前記入力した音声から有効な音声区間を検出するステップをさらに含み、
前記クライアントは、前記有効な音声区間から前記音声特徴を抽出することを特徴とする請求項１３に記載の多段階音声認識方法。
【請求項１９】
前記（ｂ）ステップまたは前記（ｃ）ステップは、
前記受信した音声特徴について、前記第１サーバを含む前記複数のサーバのいずれか１つである第ｑ（１≦ｑ≦Ｎ）サーバが、単独で認識可能であるか否かを判断するステップと、
前記第ｑサーバが、前記音声を単独で認識できると判断した場合は、前記受信した音声特徴を利用し、前記音声を認識するステップと、
前記第ｑサーバが、前記音声を単独で認識できないと判断した場合は、前記受信した音声特徴を他のサーバへ伝送するステップと、を含むことを特徴とする請求項１３に記載の多段階音声認識方法。
【請求項２０】
前記音声を前記第ｑサーバが単独で認識可能であるか否かを判断するステップは、
前記受信した音声特徴と最も類似するトピックを検出し、前記検出した最も類似するトピックのスコアを求めるステップと、
前記求めたスコアがサーバ臨界値より大きいか否かを判断するステップと、を含み、
前記音声を前記第ｑサーバが単独で認識可能である場合は、前記求めたスコアが前記サーバ臨界値より大きいことを特徴とする請求項１９に記載の多段階音声認識方法。
【請求項２１】
前記スコアを求めるステップは、
あらかじめ保存された複数のキーワードのうち、前記音声特徴と類似する音声特徴を有するキーワードを検索するステップと、
前記検索したキーワードからトピックに対応するスコアを求め、この求めたトピックに対応するスコアの中で最も高いスコアを前記最も類似するトピックのスコアとして決定するステップとを含み、
前記キーワードそれぞれは、特有の音声特徴と前記トピックに対応するスコアとを有することを特徴とする請求項１６に記載の多段階音声認識方法。
【請求項２２】
前記スコアを求めるステップは、
あらかじめ保存された複数のキーワードのうち、前記音声特徴と類似する音声特徴を有するキーワードを検索するステップと、
前記検索したキーワードからトピックに対応するスコアを求め、この求めたトピックに対応するスコアの中で最も高いスコアを前記最も類似するトピックのスコアとして決定するステップとを含み、
前記キーワードそれぞれは、特有の音声特徴と前記トピックに対応するスコアとを有することを特徴とする請求項２０に記載の多段階音声認識方法。
【請求項２３】
前記受信した音声特徴を前記他のサーバへ伝送するステップは、
前記受信した音声特徴を、損失チャンネルを経由して伝送するのか、あるいは、無損失チャンネルを経由して伝送するのかを判断するステップと、
前記受信した音声特徴を前記無損失チャンネルを経由して伝送すると判断した場合は、前記抽出した音声特徴を前記他のサーバへ無損失チャンネルを経由して伝送するステップと、
前記受信した音声特徴を損失チャンネルを経由して伝送すると判断した場合は、前記受信した音声特徴を圧縮して、この圧縮した音声特徴を損失チャンネルを経由して前記他のサーバへ伝送するステップと、を含み、
前記他のサーバは、前記損失チャンネルを経由して伝送した圧縮の音声特徴を受信し、この受信した圧縮の音声特徴を復元するステップを含み、
前記他のサーバは、前記復元した音声特徴について、前記音声を単独で認識可能であるか否かを判定し、この判定した結果に応じて、前記音声を認識するか、あるいは、前記復元した音声特徴を伝送することを特徴とする請求項１９に記載の多段階音声認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識に関し、特に、端末と少なくとも１つのサーバとを利用した多段階音声認識装置及び多段階音声認識方法に関する。
【背景技術】
【０００２】
従来技術として、端末のみを使って音声の認識を行う従来の音声認識方法が特許文献１に開示されている。この方法では、音声認識に関する過程をすべて端末だけで行うものである。従って、端末の持つリソースが制限となって、高品質な音声認識ができないという問題点がある。
【０００３】
他の従来技術として、端末とサーバとが連結された状況下で、サーバのみを利用して音声を認識する音声認識方法が特許文献２に開示されている。この方法によれば、端末は単に音声を受け取ってサーバに伝達し、サーバは、端末から送られた音声を認識する。この方法では、サーバのみに音声の認識を負担させるため、サーバへの負荷を増大させるとともに、音声認識のためにサーバへ音声を送ることで、音声認識の速度を低下させるという問題点がある。
【０００４】
さらに、他の従来技術として、端末とサーバとが音声認識を分担して行う音声認識方法が特許文献３に開示されている。この音声認識の方法は、インターネットの検索ドメインを対象とするために、適用範囲が狭くなってしまい、音声認識を実用化できない、という問題がある。
【特許文献１】米国特許第６，５９４，６３０号明細書
【特許文献２】米国特許第５，８１９，２２０号明細書
【特許文献３】米国特許第６，４８７，５３４号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする技術的課題は、ネットワークを介して相互に階層的に連結される端末（以下、クライアントという）と少なくとも１つのサーバとを利用し、音声を多段階方式で認識できる多段階音声認識装置を提供することにある。
【０００６】
本発明が解決しようとする他の技術的課題は、ネットワークを介して相互に階層的に連結されるクライアントと少なくとも１つのサーバとを利用し、音声を多段階方式で認識できる多段階音声認識方法を提供することにある。
【課題を解決するための手段】
【０００７】
前記の課題を達成するための本発明に係る多段階音声認識装置は、認識しようとする音声特徴を抽出し、抽出した音声特徴について、音声を単独で認識可能であるか否かを判定し、この判定した結果に応じて、音声を認識するか、あるいは、音声特徴をサーバへ伝送するクライアントと、第１サーバから第Ｎ（Ｎは１以上の正の整数）サーバからなる複数のサーバと、を備え、第１サーバは、クライアントから伝送された音声特徴を受信し、受信した音声特徴について、音声を単独で認識可能であるか否かを判定し、この判定した結果に応じて、音声を認識するか、あるいは、音声特徴を第１サーバを除いた複数のサーバのいずれか１つである第ｎ（２≦ｎ≦Ｎ）サーバへ伝送し、第ｎ（２≦ｎ≦Ｎ）サーバは、第１サーバもしくは第ｎ−１サーバから伝送された音声特徴を受信し、受信した音声特徴について、音声を単独で認識可能であるか否かを判定し、この判定した結果に応じて、音声を認識するか、あるいは、音声特徴を第ｎ＋１サーバへ伝送することが望ましい。
【０００８】
他の課題を達成するために、クライアント及び第１サーバから第Ｎ（Ｎは１以上の正の整数）サーバからなる複数のサーバを備え、第ｎ（２≦ｎ≦Ｎ）サーバは、第１サーバを除いた複数のサーバのいずれか１つであるような、多段階音声認識装置で行われる段階音声認識方法において、（ａ）認識しようとする音声特徴を抽出し、抽出した音声特徴について、音声を単独で認識可能であるか否かを判断し、この判断した結果に応じて、音声を認識するか、あるいは、音声特徴を伝送するステップと、（ｂ）クライアントから音声特徴を受信し、この受信した音声特徴について、音声を単独で認識可能であるか否かを判定し、判定した結果に応じて、音声を認識するか、あるいは、音声特徴を伝送するステップと、（ｃ）第ｎ−１サーバから音声特徴を受信し、この受信した音声特徴について、音声を単独で認識可能であるか否かを判定し、この判定した結果に応じて、音声を認識するか、あるいは、音声特徴を伝送するステップと、を含み、（ａ）ステップは、クライアントで実行され、（ｂ）ステップは、第１サーバで実行され、（ｃ）ステップは、第ｎサーバで実行されることが望ましい。
【発明の効果】
【０００９】
本発明による多段階音声認識装置及び方法は、ネットワークを介して階層的に連結されたクライアントと少なくとも１つのサーバとを利用して音声の認識を複数のステップで試みることにより、クライアントが受けた音声、例えば、連続音声を高品質に認識することが可能となり、クライアントと少なくとも１つのサーバとの間で実行される音声認識の負荷を最適に分散させ、音声認識速度を向上させることができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明による多段階音声認識装置の構成及び動作と、その装置で行われる多段階音声認識方法とを、図を参照しつつ、以下に説明する。
図１は、本発明に係る実施形態よる多段階音声認識装置の概略的な外観を表すブロック図であり、クライアント１０及びＮ個のサーバ２０，２２，…２４から構成される。なお、Ｎは１以上の正の整数である。
【００１１】
図２は、図１に示す多段階音声認識装置で行われる多段階音声認識方法を説明するためのフローチャートである。図２に示す方法は、クライアント１０が単独での音声認識が可能か否かを判定し、認識可能と判定した場合にはクライアント１０単独で音声を認識し、認識が不可能と判定した場合には受信信号の特徴をサーバに伝送するステップ（ステップＳ４０）と、クライアント１０が認識できなかった音声を少なくとも１つのサーバが認識するステップ（ステップＳ４２及びステップＳ４４）からなる。
【００１２】
図１に示すクライアント１０は、入力端子ＩＮ１を介して認識しようとする音声を入力し、入力した音声特徴を抽出し、この抽出した音声特徴を利用して音声をクライアント単独で認識可能であるか否かを判定し、判定した結果に応じて、音声を認識するか、あるいは、音声特徴をサーバ２０，２２，…２４のいずれか１つに伝送する（ステップＳ４０）。ここで、クライアント１０は、携帯電話、リモコン、あるいはロボットなどが有する程度の小容量のリソースを備え、単語音声認識や連結単語音声認識を行うことができる。なお、本発明の実施形態に係るリソースとは、例えば、中央処理装置の処理速度や、音声認識のためのデータを保存するメモリの容量などであっても良い。単語音声認識とは、例えば、「清掃」のように、ロボットなどに命令するときに用いる１つの単語による音声を認識することであり、連結単語音声認識とは、例えば、「メッセージ送信」のように、携帯電話などを介して要求するときに用いる二つ以上の単純な単語で連結された音声を認識することである。
【００１３】
なお、音声特徴抽出とは、音声信号から認識に有用な成分を抽出することを意味する。特徴抽出過程において重複する不要な音声情報をなくし、同一音声信号間の一貫性を高めると同時に、他の音声信号と弁別を高めることが可能な情報を抽出することである。また、音声認識のために使われる音声特徴は、例えば、ＬＰＣ  ｃｅｐｓｔｒｕｍ、ＰＬＰ  ｃｅｐｓｔｒｕｍ、ＭＦＣＣ（Ｍｅｌ  ｆｒｅｑｕｅｎｃｙ  ｃｅｐｓｔｒａｌ  ｃｏｅｆｆｉｃｉｅｎｔ）、フィルタバンク（ｆｉｌｔｅｒ  ｂａｎｋ）などの音声分析方法を用いて得ることができる。
【００１４】
以下、サーバ２０，２２，…２４のうち、クライアント１０から伝送される音声特徴を直接受信するサーバを第１サーバとし、第１サーバから伝送される音声特徴を直接受信するサーバまたは、第１サーバ以外の任意のサーバから伝送される音声特徴を直接受信するサーバを他のサーバと呼び、これを第ｎ（２≦ｎ≦Ｎ）サーバとする。
【００１５】
ステップＳ４０を行った後に、第１サーバ２０，２２，…２４は、クライアント１０から伝送された音声特徴を受信し、この受信した音声特徴を利用して第１サーバが単独で音声認識が可能であるか否かを判定し、判定の結果、音声を第１サーバが単独で音声認識が可能な場合には第１サーバ単独で音声を認識し、あるいは、第１サーバ単独で音声認識ができない場合には受信した音声特徴を第ｎサーバに伝送する（ステップＳ４２）。
【００１６】
ステップＳ４２の後に、第ｎサーバは、第１サーバである第ｎ−１サーバから伝送された音声特徴を受信し、この受信した音声特徴を利用して音声を第ｎサーバが単独で認識可能であるか否かを判定し、この判定結果に応じて、単独での音声認識が可能な場合にはこの音声を認識し、あるいは、単独の音声認識が不可能な場合には、この受信した音声特徴をさらに他のサーバである第ｎ＋１サーバに伝送する（ステップＳ４４）。例えば、さらに、第ｎ＋１サーバは第ｎサーバから受信した音声特徴についてステップＳ４４での判定を行い、判定の結果、第ｎ＋１サーバが音声を単独で認識できない場合には、さらに、第ｎ＋２サーバにおいてステップＳ４４での判定を行う。このような方法により、音声が認識されるまで、音声認識の実行が、第１サーバと、第ｎサーバから第Ｎサーバのうちの１つ以上のサーバにおいて順次に試みられる。
【００１７】
このとき、第１から第Ｎサーバのいずれか１つが音声を認識すると、認識した結果を認識したサーバに対応する出力端子ＯＵＴ1，ＯＵＴ2，…またはＯＵＴNを介して出力することができるとともに、クライアント１０へも出力できる。これは、クライアント１０がたとえ音声を認識できなかったとしても、サーバによって認識された音声認識の結果をクライアント１０が使用できるようにするためである。
【００１８】
さらに、上記の通りにすることで、第１から第Ｎサーバのいずれか１つで音声認識された結果をクライアント１０へ出力したときに、クライアント１０は、音声認識が行われているか否かを出力端子ＯＵＴN+1を介してクライアント１０のユーザへ知らせることもできる。
【００１９】
前述の図１に示すサーバ２０，２２，…２４それぞれは、音声特徴を抽出できなかったクライアント１０から抽出した音声特徴を受信するとただちに音声認識を行うことができる。これは、サーバ２０，２２，…２４はいずれもクライアント１０よりも大容量のリソースを備えており、また、サーバ２０，２２，…２４はそれぞれ異なる容量のリソースを備えている。さらに、サーバは、リソースが小容量のものから大容量のものまで、図１に示すように、ネットワーク１３，１５…及び１７を介して相互に連結される。同様に、クライアント１０を、ネットワーク１２，１４，…１６を介してサーバ２０，２２，…２４へ連結することができる。
【００２０】
ここで、図１及び図２を参照しつつ、本発明に係る多段階音声認識装置及び多段階音声認識方法による音声認識の概略を説明する。
例えば、小容量のリソースを備えたサーバであるホームサーバがあるとする。このホームサーバは、「ゴルフのチャンネルにして」のような比較的単純な自然な言葉で構成された家電機器を制御するための音声対話を認識できる。さらに、大容量のリソースを備えたサーバであるＵＲＣ（Ｕｂｉｑｕｉｔｏｕｓ Ｒｏｂｏｔ Ｃｏｍｐａｎｉｏｎ）のようなサービスサーバがあるとする。サービスサーバは、「今上映中の映画は何？」のような比較的長い文章の自然語で構成される複合命令を認識できる。
【００２１】
まず、クライアント１０において音声認識を試みる（ステップＳ４０）。クライアント１０で音声認識ができない場合は、クライアント１０より大容量を有する第１サーバで音声認識を試みる（ステップＳ４２）。もし、第１サーバで音声を認識できない場合は、第１サーバより大きい容量を有するサーバにおいて音声認識を順次に試みる（ステップＳ４４）。
【００２２】
もし、認識しようとする音声が「ゴルフチャンネルにして」のように比較的簡単な自然語であれば、この音声を、ホームサーバのような小容量のリソースを備えた第１サーバで認識することができ、この場合には、図２に示す多段階音声認識方法はステップＳ４０及びステップＳ４２だけで構成され、ステップＳ４４を省略することも可能である。一方、認識しようとする音声が「今上映中の映画は何？」のように比較的長い文章からなる自然語であれば、この音声は、ＵＲＣのような大容量のリソースを備えた他のサーバで認識される。この場合には、図２に示す多段階音声認識方法はステップＳ４０、ステップＳ４２及びステップＳ４４で構成される。
【００２３】
図を参照しつつ、前述の本発明の実施形態に係る多段階音声認識装置及び多段階音声認識方法の実施形態について説明する。
【００２４】
まず、図３及び図４を参照しつつ、図１に示すクライアント１０の構成と動作について説明する。
図３は、図１に示すクライアント１０を詳細に説明するブロック図である。図３に示すクライアント１０は、音声入力部６０、音声特徴抽出部６２、クライアント調整部６４、クライアント音声認識部６６、クライアント応用部６８及びクライアント圧縮伝送部７０から構成される。
【００２５】
図４は、図２に示すステップＳ４０を詳細に説明するためのフローチャートである。図４に示すステップＳ４０は、音声認識に有効な音声区間を検出し（ステップＳ８０）、この検出した有効な音声区間を利用して音声特徴を抽出するステップ（ステップＳ８２）と、クライアント１０単独で音声が認識可能であるか否かを判定し、判定の結果に応じて、音声を認識する（ステップＳ８４）、あるいは、抽出した音声特徴を伝送するステップ（ステップＳ８８）とからなる。
なお、音声認識に有効な音声区間とは、マイクを通じて入ってくる録音された音声信号のうち不要な黙音の区間(一般的に音声信号の前部と後部)を除去し、必要な音声部分だけを検出する区間のことをいう。有効な音声区間検出は認識性能に大きく影響を与える。
【００２６】
図３に示す音声入力部６０は、外部から入力端子ＩＮ２、例えば、マイクなどを介して音声を入力し、入力した音声から音声認識に有効な音声区間を検出し、これを音声特徴抽出部６２に出力する（ステップＳ８０）。
【００２７】
ステップＳ８０を実行後に、音声特徴抽出部６２では、認識しようとする音声特徴をこの有効な音声区間から抽出し、抽出した音声特徴をクライアント調整部６４に出力する（ステップＳ８２）。なお、音声特徴抽出部６０は、音声特徴をベクトル形態で抽出することもできる。
【００２８】
図３に示すクライアント１０は、音声入力部６０を省略することもできる。この場合、図４に示すステップＳ８０を省略してもよい。音声入力部６０を省略した場合では、音声特徴抽出部６２が入力端子ＩＮ２から認識しようとする音声を直接入力し、入力した音声特徴を抽出し、抽出した音声特徴をクライアント調整部６４に出力する（ステップＳ８２）。
【００２９】
ステップＳ８２を実行した後、クライアント調整部６４は、音声特徴抽出部６２から抽出した音声特徴について、クライアント１０単独で音声認識が可能であるか否かを判定し（ステップＳ８４）、判定した結果に応じて、音声特徴を出力端子ＯＵＴN+3を介して第１サーバに伝送する（ステップＳ８８）か、あるいは、単独で音声認識を実行するためにクライアント音声認識部６６に出力する（ステップＳ８８）。
【００３０】
図４に基づいて、クライアント調整部６４の動作をさらに説明すると、クライアント調整部６４は、音声特徴抽出部６２から抽出した音声特徴について、クライアント１０単独で音声認識が可能であるか否かを判断する（ステップＳ８４）。もし、クライアント１０単独で音声認識が可能ではないと判断すれば、クライアント調整部６４は、抽出した音声特徴を出力端子ＯＵＴN+3を介して第１サーバに伝送する（ステップＳ８８）。しかし、クライアント調整部６４は、クライアント１０単独で音声認識が可能であると判断すれば、音声特徴抽出部６２から抽出した音声特徴をクライアント音声認識部６６に出力する。
【００３１】
すると、クライアント音声認識部６６は、クライアント調整部６４から入力した音声特徴から音声を認識する（ステップＳ８６）。このとき、クライアント音声認識部６６は、音声認識した結果をテキスト形態にしてクライアント応用部６８に出力する。
【００３２】
図３に示すクライアント応用部６８は、クライアント音声認識部６６で認識した結果に基づいて、クライアント１０の固有な機能を実行し、この固有な機能を実行した結果を出力端子ＯＵＴN+2を介して出力する。ここで、固有な機能とは、例えば、クライアント１０がロボットであるならば、クライアント応用部６８で行われる固有な機能は、ロボットの動作を制御するような機能である。
【００３３】
図３に示すクライアント１０の構成から、クライアント応用部６８を省略してもよい。この場合、クライアント音声認識部６６は、認識した結果をＯＵＴN+2を介して外部へ直接出力する。
【００３４】
図５は、図３に示すクライアント調整部６４を詳しく説明するためのブロック図である。図５に示すクライアント調整部６４は、クライアントトピック判定部１００、クライアント比較部１０２及びクライアント出力制御部１０４から構成される。
【００３５】
図６は、図４に示すステップＳ８４を詳しく説明するためのフローチャートである。
図６に示すステップＳ８４は、抽出した音声特徴と最も類似するトピックのスコアを求めるステップＳ１２０と、この求めた最も類似するトピックのスコアとクライアント臨界値とを比較するステップＳ１２２から構成される。
【００３６】
ここで、最も類似するトピックのスコア及びクライアント臨界値について説明する。
【００３７】
本実施形態に係るクライアントとサーバは、図７及び図１３に示すように、にそれぞれ複数のデコーダを備えており、各デコーダには該当するトピックが決まっている。クライアントは、式（１）を用いて入力音声が特定のトピックに含まれる確率を求める。
ここで、“最も類似するトピックのスコア”とは、最高の確率を有するトピックのスコアを意味する。このように最高の確率を有するトピックが決定すると、そのトピックに該当するデコーダを用いて音声認識する。ただし、入力された音声がクライアントまたはサーバで認識できるトピックでない場合は、仮にそれが最高の確率を有するトピックであっても、適したトピックでなくなり、確率値は極めて小さいと予想される。従って、クライアント臨界値とは、この最高の確率を有するトピックのスコアを見て、該当デコーダで音声認識を行うか否かを決定するトピックスコアの基準値を意味する。したがって、トピックのスコアがクライアント臨界値より小さければ、現在のクライアントまたはサーバは音声認識を行わずに次の段階のサーバへ音声特徴を渡す。
【００３８】
以下、図５及び図６を参照しつつ、クライアント調整部６４の動作について説明する。
【００３９】
図４に示すステップＳ８２に続いて、クライアントトピック判定部１００は、図３に示す音声特徴抽出部６２から抽出し、入力端子ＩＮ３を介して入力した音声特徴と最も類似するトピックを検出し、この検出した最も類似するトピックのスコアを計算し、この計算した最も類似するトピックのスコアをクライアント比較部１０２に出力する一方、最も類似するトピックを出力端子ＯＵＴN+5を介して図３に示すクライアント音声認識部６６に出力する（ステップＳ１２０）。
【００４０】
ステップＳ１２０の後に、クライアント比較部１０２は、クライアントトピック判定部１００で検出したスコアとクライアント比較部１０２に含まれるクライアント臨界値とを比較し（ステップＳ１２２）、この比較した結果をクライアント出力制御部１０４に出力する一方、出力端子ＯＵＴN+6を介して図３に示すクライアント音声認識部６６へも出力する。ここで、クライアント臨界値は、あらかじめ決定される値であり、実験的に決定することができる。具体的には、クライアント臨界値は、予めトピックが分類されているコーパス（Corpus）を用いて、臨界値を調整して行きながら、トピック選択の正確率と拒絶率(臨界値より小さい場合)を考慮して実験的に決定する。
【００４１】
ここで、検出したスコアとクライアント臨界値との比較について具体的に説明する。
図４に示すステップＳ８４において、クライアントが単独で音声認識が可能であると仮定する。クライアントトピック判定部１００で検出したスコアがクライアント臨界値より大きければ（ステップＳ８４では「はい」）、ステップＳ８６に進んで音声を認識する。しかし、検出のスコアがクライアント臨界値より小さければ（ステップＳ８４では「いいえ」）、図ステップＳ８８に進んで抽出した音声特徴を第１サーバに伝送する。
【００４２】
このために、クライアント出力制御部１０４は、クライアント比較部１０２で検出スコアとクライアント臨界値を比較した結果に応答し、入力端子ＩＮ３を介して図３に示す音声特徴抽出部６２から入力した抽出の音声特徴を図３に示すクライアント音声認識部６６に出力端子ＯＵＴN+4を介して出力するか、あるいは出力端子ＯＵＴN+5（図３に示す出力端子ＯＵＴN+3）を介して第１サーバに伝送する。具体的に説明すると、クライアント比較部１０２で比較した結果に基づいて、スコアがクライアント臨界値より大きいと認識すれば、クライアント出力制御部１０４は、図３に示す入力端子ＩＮ３を介して音声特徴抽出部６２から入力した抽出の音声特徴をクライアント音声認識部６６に出力端子ＯＵＴN+4を介して出力する。しかし、クライアント比較部１０２で比較された結果に基づいて、スコアがクライアント臨界値より小さいと認識すれば、クライアント出力制御部１０４は、図３に示す入力端子ＩＮ３を介して音声特徴抽出部６２から入力した抽出の音声特徴を第１サーバに出力端子ＯＵＴN+5を介して伝送する（ステップＳ８８）。
【００４３】
図７は、図３に示すクライアント音声認識部を詳しく説明するブロック図である。図７に示すクライアント音声認識部６６は、クライアントデコーダ選択部１６０、及び第１声認識デコーダ１６２、第２音声認識デコーダ１６４、・・・及び第Ｐ音声認識デコーダ１６６から構成される。ここで、Ｐは、図５に示すクライアントトピック判定部１００で判定されるトピックの個数を表す。つまり、図３に示すクライアント音声認識部６６は、図７に示すように、トピック毎に音声認識デコーダ１つを設けることができる。
【００４４】
クライアントデコーダ選択部１６０は、第１声認識デコーダ１６２、第２音声認識デコーダ１６４、・・・第Ｐ音声認識デコーダ１６６から、図５に示すクライアントトピック判定部１００から入力端子ＩＮ４を介して入力した、検出の最も類似するトピックに該当する音声認識デコーダを選択する。このとき、クライアントデコーダ選択部１６０は、入力端子ＩＮ４を介して図５に示すクライアント出力制御部１０４から入力した音声特徴を上記で選択した音声認識デコーダに出力する。この動作を実行するには、クライアントデコーダ選択部１６０は、図５に示すクライアント比較部１０２から入力した検出スコアとクライアント臨界値を比較した結果に応答して動作する必要がある。具体的には、クライアントデコーダ選択部１６０は、クライアント比較部１０２から入力した検出スコアとクライアント臨界値を比較した結果に基づいて、検出のスコアがクライアント臨界値より大きいと認識すれば、上記のような方法で音声認識デコーダを選択し、選択した音声認識デコーダへ音声特徴を出力する動作を実行する。
【００４５】
ここで、図７に示す第１音声認識デコーダから第Ｐ音声認識デコーダのいずれか１つである第ｐ（１≦ｐ≦Ｐ）音声認識デコーダについて説明をする。第ｐ音声認識デコーダは、クライアントデコーダ選択部１６０から出力した音声特徴から音声を認識し、この音声認識の結果を出力端子ＯＵＴN+6+pを介して出力する。
【００４６】
図８は、図１に示すＮ個あるサーバのいずれか１つである第ｑサーバを説明するブロック図である。図８に示す第ｑ（１≦ｑ≦Ｎ）サーバは、クライアント復元受信部１８０、サーバ調整部１８２、サーバ音声認識部１８４、サーバ応用部１８６及びサーバ圧縮伝送部１８８から構成される。ここでは便宜上、第ｑａサーバを第１サーバであると仮定して説明をするが、本発明はこれに限定されるものではない。なお、第ｑサーバが、第１サーバ以外の場合は、クライアント復元受信部１８０の代わりに、図１６に示すようなサーバ復元受信部を備える。
【００４７】
図９は、図２に示すステップＳ４２を詳しく説明するためのフローチャートである。図９に示すステップＳ４２は、第１サーバが単独で音声認識が可能であるか否かの判定するステップＳ２００と、音声認識が可能な場合に音声を認識するステップＳ２０２と、音声認識が不可能な場合に受信した音声特徴をサーバへ伝送するステップＳ２０４からなる。
【００４８】
図８に示す第１サーバである第ｑサーバ及び図９に示すステップＳ４２について詳しく説明する前に、ここで、図１に示すクライアント１０から第１サーバへ音声特徴を伝送するためのネットワークの環境について説明する。
【００４９】
本発明の実施形態に係るクライアント１０から第１サーバへ音声特徴を伝送するためのネットワークは、損失チャンネルあるいは無損失チャンネルのどちらでもよい。ここで、損失チャンネルとは、データや信号が伝送される間に損失が発生するチャンネルのことであり、例えば、有線音声チャンネル及び無線音声チャンネルなどを指す。また、無損失チャンネルとは、データや信号が伝送される間に損失が発生しないチャンネルのことであり、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）による無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）のデータチャンネルなどを指す。このとき、損失チャンネルの場合、音声特徴を伝送する間にデータが損失する可能性があるため、損失チャンネルで音声特徴を伝送するためには、クライアント１０から伝送する音声特徴を圧縮する必要があり、このため、第１サーバでは、圧縮した音声特徴を復元しなければならない。
【００５０】
例えば、図３に示すように、クライアント１０は、クライアント圧縮伝送部７０をさらに設けることができる。この場合、クライアント圧縮伝送部７０は、図５に示すクライアント調整部６４のクライアント比較部１０２で比較した結果と伝送形態信号とに応答して音声特徴を圧縮し、第１サーバへ出力端子ＯＵＴN+4を介して損失チャンネルで伝送する。具体的には、クライアント比較部１０２で比較した結果に基づいて、検出スコアがクライアント臨界値よりも小さいと認識すると、上記の伝送方法通りに第１サーバへ出力するために、図３に示すクライアント圧縮伝送部７０は、クライアント調整部６４から入力した伝送形態信号に応答して音声特徴を圧縮して伝送する。なお、伝送形態信号とは、音声特徴を伝送するネットワークが損失チャンネルである場合にクライアント調整部６４から発生する信号である。
【００５１】
図１０は、図４に示すステップＳ８８の変形例を説明するためのフローチャートである。
ここで、図１０を参照しつつ、第１サーバへ音声特徴を伝送するためのネットワーク環境について、更に詳しく説明する。
【００５２】
図１０に示す方法は、音声特徴を損失チャンネル経由で伝送するか、あるいは無損失チャンネル経由で伝送するかを判定するステップＳ２１０と、音声特徴を伝送するチャンネルが損失チャンネルの場合に音声特徴を圧縮して伝送するステップＳ２１４からなる。
【００５３】
図５に示すクライアント調整部６４は、同じく図５に示す音声特徴抽出部６２から抽出した音声特徴を損失チャンネル経由で伝送するか、あるいは無損失チャンネル経由で伝送するかを判断する（ステップＳ２１０）。つまり、クライアント調整部６４は、音声特徴を伝送するネットワークが損失チャンネルに決定されているか、あるいは無損失チャンネルに決定されているかを判断する。
【００５４】
ステップＳ２１０で、抽出した音声特徴が無損失チャンネル経由で伝送されると判断すると、クライアント調整部６４は、音声特徴抽出部６２から抽出した音声特徴を出力端子ＯＵＴN+3を介して第１サーバに無損失チャンネル経由で伝送する（ステップＳ２１２）。
【００５５】
しかし、抽出した音声特徴が損失チャンネル経由で伝送されると判断すると、クライアント調整部６４は、この音声特徴を、伝送形態信号を発生させてクライアント圧縮伝送部７０に出力する。このとき、クライアント圧縮伝送部７０は、音声特徴抽出部６２で抽出し、クライアント調整部６４から入力した音声特徴を圧縮し、圧縮した音声特徴を損失チャンネル経由で第１サーバに出力端子ＯＵＴN+4を介して伝送する（ステップＳ２１４）。
【００５６】
ここで、図８に戻って、クライアント復元受信部１８０について説明を続ける。
図８に示すクライアント復元受信部１８０は、図３に示すクライアント圧縮伝送部７０から圧縮した音声特徴を入力端子ＩＮ５を介して受信し、受信した圧縮の音声特徴を復元すると、これをサーバ調整部１８２へ出力する。このとき、図８に示す第１サーバである第ｑサーバは、復元した音声特徴について図２に示すステップＳ４２を実行し、第ｑサーバ単独で音声認識が可能か否かを判定する。
【００５７】
さらに、図８及び図９を参照しつつ、図３に示すクライアント１０がクライアント圧縮伝送部７０を備えていない場合の第ｑサーバにおける音声特徴の処理について説明する。
この場合、図８に示す第１サーバである第ｑサーバは、圧縮された音声特徴を受信しないために、クライアント復元受信部１８０を省略することができる。したがって、第ｑサーバは、サーバ調整部１８２、サーバ音声認識部１８４、サーバ応用部１８６、及びサーバ圧縮伝送部１８８で構成される。第ｑサーバは、音声特徴を、まず、サーバ調整部１８２で入力端子ＩＮ６を介してクライアント１０から直接受信し、受信した音声特徴を図９に示すステップＳ４２に基づいて処理する。
【００５８】
以下、図８を参照しつつ、クライアント復元受信部１８０を備えない第１サーバとしての第ｑサーバの動作を説明する。しかし、本発明の実施形態に係る第１サーバはこれに限定されるものではない。
【００５９】
サーバ調整部１８２は、クライアント１０から入力端子ＩＮ６を介して受信した音声特徴について、第１サーバ単独で音声認識が可能であるか否かをステップＳ２００で判定し、判定した結果に応じて、ステップＳ２０４で受信した音声特徴を他のサーバに伝送するか、あるいは、ステップＳ２０２で図８のサーバ音声認識部１８４に出力して音声認識を実行する。
【００６０】
ここで、サーバ調整部１８２が、ステップＳ２００において受信した音声特徴を第１サーバ単独で認識可能であると判断すると、サーバ音声認識部１８４は、サーバ調整部１８２から入力した音声特徴について音声認識を実行し、認識した結果をサーバ応用部１８６へ出力する（ステップＳ２０２）。このとき、サーバ音声認識部１８４は、音声認識の結果をテキスト形態で出力することもできる。
【００６１】
続いて、サーバ応用部１８６は、音声認識の結果について第１サーバに固有な機能を実行し、固有な機能を実行した結果を出力端子ＯＵＴN+P+7を介して出力する。例えば、第１サーバがホームサーバであるならば、サーバ応用部１８６で行われる固有な機能とは、家庭用家電製品などを制御したり、あるいは情報を検索するような機能などが挙げられる。
【００６２】
一方、音声特徴を第１サーバ単独で認識できないと判断すると、サーバ調整部１８２は、受信した音声特徴を他のサーバに出力端子ＯＵＴN+P+8を介して伝送する（ステップＳ２０４）。
【００６３】
図１１は、図８に示すサーバ調整部を詳しく説明するためのブロック図である。図１１に示すサーバ調整部１８２は、サーバトピック判定部２２０、サーバ比較部２２２及びサーバ出力制御部２２４から構成される。
【００６４】
図１２は、図９に示すステップＳ２００を詳しく説明するためのフローチャートである。図１２に示すステップＳ２００は、受信した音声特徴と最も類似するトピックのスコアを求めるステップ（ステップＳ２４０）と、スコアとサーバ臨界値とを比較するステップ（ステップＳ２４２）とからなる。
【００６５】
ここで、図１１及び図１２を参照しつつ、図１１に示すサーバトピック判定部２２０のステップＳ２００での動作を説明する。
【００６６】
サーバトピック判定部２２０は、図１に示すクライアント１０から入力端子ＩＮ７を介して受信した音声特徴に最も類似するトピックを検出し、検出した最も類似するトピックのスコアを計算する。次に、ステップＳ２４２において、計算したスコアをサーバ比較部２２２に出力し、同時に、最も類似するトピックを出力端子ＯＵＴN+P+11を介して図８に示すサーバ音声認識部１８４へも出力する（ステップＳ２４０）。
【００６７】
ステップＳ２４０を実行した後、サーバ比較部２２２では、サーバトピック判定部２２０で検出したスコアとサーバ比較部２２２に含まれるサーバ臨界値とを比較し、比較した結果をサーバ出力制御部２２４に出力し、同時に、出力端子ＯＵＴN+P+12を介して図８に示すサーバ音声認識部１８４へも出力する（ステップＳ２４２）。なお、サーバ臨界値とは、あらかじめ決定された値であり、実験的に決定することが可能である。サーバ臨界値は、単にサーバとクライアントの名称が相違するだけであり、前述したクライアント臨界値と同じものである。したがって、ここでは、サーバ臨界値に関する説明を省略する。
【００６８】
ここで、音声特徴を第１サーバが単独で認識可能である場合に、ステップＳ２４０で求めたスコアがサーバ臨界値より大きければ、図８に示すサーバ音声認識部１８４は、図９に示すステップＳ２０２に基づいて音声を認識する。しかし、求めたスコアがサーバ臨界値より小さければ、サーバ調整部１８２は、受信した音声特徴を他のサーバに伝送する（図９に示すステップＳ２０４）。
【００６９】
サーバ出力制御部２２４は、サーバ比較部２２２で比較した結果に応じて、入力端子ＩＮ７から受信した音声特徴を図８に示すサーバ音声認識部１８４に出力端子ＯＵＴN+P+10を介して出力するか、あるいは、他のサーバに出力端子ＯＵＴN+P+13（図８に示す出力端子ＯＵＴN+P+8に該当）を介して伝送する。具体的には、サーバ比較部２２２で比較した結果（ステップＳ２４２）に基づいて、図１２に示すステップＳ２４０で求めたスコアがサーバ臨界値より大きいと認識すれば、サーバ出力制御部２２４は、入力端子ＩＮ７から受信した音声特徴を図８に示すサーバ音声認識部１８４に出力端子ＯＵＴN+P+10を介して出力し、図９に示すステップＳ２０２に基づいて音声認識を実行する。しかし、サーバ比較部２２２で比較した結果に基づいて求めたスコアがサーバ臨界値より小さいと認識すれば、サーバ出力制御部２２４は、入力端子ＩＮ７から受信した音声特徴を他のサーバに出力端子ＯＵＴN+P+13を介して伝送し、図９に示すステップＳ２０４へ進む。
【００７０】
図１３は、図８に示すサーバ音声認識部を詳しく説明するためのブロック図である。図１３に示すサーバ音声認識部１８４は、サーバデコーダ選択部２６０、及び第１音声認識デコーダ２６２・・・第Ｒ音声認識デコーダ２６６から構成される。なお、Ｒは、図１１に示すサーバトピック判定部２２０で判定されるトピックの個数を表す。つまり、図８に示すサーバ音声認識部１８４は、図１３に示すように、トピック毎に音声認識デコーダ１つを設けることができる。
【００７１】
サーバデコーダ選択部２６０は、第１音声認識デコーダ２６２から第Ｒ音声認識デコーダ２６６の中で、サーバトピック判定部２２０から入力端子ＩＮ８を介して入力した検出の最も類似するトピックに該当する音声認識デコーダを選択する。これと同時に、サーバデコーダ選択部２６０は、入力端子ＩＮ８を介して図１１に示すサーバ出力制御部２２４から入力した音声特徴を選択した音声認識デコーダに出力する。該当の音声認識デコーダを選択する動作を実行するには、サーバデコーダ選択部２６０は、図１１に示すサーバ比較部２２２から入力した比較結果に応答して動作する必要がある。具体的には、サーバデコーダ選択部２６０は、サーバ比較部２２２から入力した比較結果に基づいて、求めたスコアがサーバ臨界値より大きいと認識すると、上記の通りに該当する音声認識デコーダを選択し、選択した音声認識デコーダに音声特徴を出力する動作を行う。
【００７２】
第１音声認識デコーダから第Ｒ音声認識デコーダのいずれか１つである選択された第r（１≦ｒ≦Ｒ）音声認識デコーダは、サーバデコーダ選択部２６０から入力した音声特徴から音声を認識し、認識した結果を出力端子ＯＵＴN+P+r+12+Rを介して出力する。
【００７３】
図１４は、図５に示するクライアントトピック判定部１００、及び図１１に示すサーバトピック判定部２２０の機能を詳細に説明するためのブロック図である。図１４に示すトピック判定部１０００は、キーワード保存部２８０、キーワード検索部２８２及びスコア計算部２８４から構成することができる。
【００７４】
また、図１５は、図６に示すステップＳ１２０及び図１２に示すステップＳ２４０に示す最も類似するトピックのスコアを求めるステップを説明するためのフローチャートである。図１５に示すこのステップは、キーワードを検索するステップＳ３００、及び最も類似するトピックのスコアを決定するステップＳ３０２からなる。
【００７５】
図１４及び図１５を参照しつつ、図１５に示す最も類似するトピックのスコアを求めるステップに基づいたトピック判定部１０００の動作について説明する。
【００７６】
キーワード検索部２８２は、あらかじめキーワード保存部２８０に保存されている複数のキーワードの中から、入力端子ＩＮ９を介して入力した音声特徴に類似する音声特徴を有するキーワードを検索し、検索したキーワードをリスト形態でスコア計算部２８４に出力する（ステップＳ３００）。このために、キーワード保存部２８０には、複数のキーワードが保存されている必要がある。キーワード保存部２８０に保存されている各キーワードは、特有の音声特徴とトピックに対応するスコアをそれぞれ有する。例えば、ｉ番目のキーワードであるＫｅｙｗｏｒｄiは、［Ｋｅｙｗｏｒｄiの音声特徴、Ｔｏｐｉｃ1i，Ｓｃｏｒｅ1i，Ｔｏｐｉｃ2i，Ｓｃｏｒｅ2i，…］のような形態でキーワード保存部２８０に保存されている。ｉ番目のキーワードＫｅｙｗｏｒｄiのリスト形態をさらに詳しく説明すると、上記のＴｏｐｉｃ1iはＫｅｙｗｏｒｄiについての１番目のトピックを表し、Ｓｃｏｒｅ1iはこのＴｏｐｉｃ1iに対応するスコアである。さらに、Ｔｏｐｉｃ2iはＫｅｙｗｏｒｄiについての２番目のトピックを表し、Ｓｃｏｒｅ2iはこのＴｏｐｉｃ2iに対応するスコアであり、さらに、Ｔｏｐｉｃkiは、Ｋｅｙｗｏｒｄiについてのｋ番目のトピックを表し、Ｓｃｏｒｅkiは、Ｔｏｐｉｃkiに対応するスコアである。
【００７７】
ステップＳ３００を行った後、スコア計算部２８４は、キーワード検索部２８２からリスト形態で出力された検索したキーワードそれぞれについて、下式（１）に基づいてトピックに対応するスコアを求め、この求めたトピックに対応するスコアのうち最も高いスコアを選択し、この選択した最も高いスコアを最も類似するトピックのスコアとして出力端子ＯＵＴN+P+R+13を介して出力し、この最も高いスコアを有するトピックを最も類似するトピックとして出力端子ＯＵＴN+P+R+14を介して出力する（ステップＳ３０２）。なお、スコア計算部２８４は、下式（１）に基づいてトピックに対応するスコアを求める。
【００７８】
【数１】
2006106761.tif 000003
【００７９】
ここで、Score(Topick)は、ｋ番目のトピックであるＴｏｐｉｃkについてのスコアを表し、＃は、キーワード検索部２８２からリスト形態で入力された検索のキーワードの総個数を表す。上の式（１）から分かるように、Score(Topick)とは、Ｋｅｙｗｏｒｄ1からＫｅｙｗｏｒｄ#までのキーワードについてのＴｏｐｉｃkに対応するスコアすべてを、つまり、Ｓｃｏｒｅk1からＳｃｏｒｅk#を乗算した結果であることが分かる。
【００８０】
図１６は、第ｎサーバを説明するためのブロック図である。図１６に示す第ｎサーバは、サーバ復元受信部３２０、サーバ調整部３２２、サーバ音声認識部３２４、サーバ応用部３２６及びサーバ圧縮伝送部３２８から構成される。前述のように、第ｎサーバとは、第１サーバから伝送された音声特徴を受信して音声を認識するサーバと、第１サーバ以外の任意のサーバから伝送された音声特徴を受信して音声を認識するサーバとを指す。
【００８１】
ここで、図１６に示す装置を説明する前に、図８に示すサーバ及び図９に示すステップＳ４２についての説明と同様に、音声特徴を伝送するためのネットワークの環境について説明する。
【００８２】
図１７は、図２に示すステップＳ４４を詳しく説明するためのフローチャートである。図１７に示すステップＳ２００’では、第ｎサーバ単独で音声認識が可能であるか否かを判断する。
【００８３】
本発明の実施形態に係るサーバ間のネットワーク、例えば、第１サーバから第ｎサーバへ、あるいは、第ｎサーバから第ｎ＋１サーバへ音声特徴を伝送するためのネットワークとして、損失チャンネルまたは無損失チャンネルのいずれかを用いることができる。損失チャンネルの場合、音声特徴を伝送する間にデータが損失する可能性があるため、損失チャンネルで音声特徴を伝送するためには、第１サーバあるいは第ｎサーバから伝送する音声特徴を圧縮する必要があり、このため、第ｎサーバあるいは第ｎ＋１サーバでは、圧縮した音声特徴を復元しなければならない。
【００８４】
なお、図１６の説明では、便宜上、音声特徴が第１サーバから第ｎサーバに伝送されると仮定するが、音声特徴を第ｎサーバから第ｎ＋１サーバに伝送する場合においても同様である。
【００８５】
図１６に示す第１サーバは、図８に示す第１サーバ同様に、サーバ圧縮伝送部３２８を備えている。ここで、サーバ圧縮伝送３２８は、サーバ調整部３２２に備えられた図１１に示すサーバ比較部２２２で比較した結果及び伝送形態信号に応答して抽出した音声特徴を圧縮し、この圧縮した音声特徴を損失チャンネル経由で第ｎサーバへ出力端子ＯＵＴN+P+17を介して伝送する。具体的には、サーバ比較部２２２で比較された結果に基づいて、求めたスコアがサーバ臨界値より小さいと認識すると、サーバ圧縮伝送部３２８は、伝送形態信号に応答して音声特徴を圧縮して伝送する。なお、ここでの伝送形態信号とは、音声特徴を伝送するネットワークが損失チャンネルである場合に、サーバ調整部３２２から発生する信号である。
【００８６】
図１８は、図１７に示すステップＳ２０４’の変形例を説明するためのフローチャートである。図１８に示すステップＳ２０４’ａは、音声特徴を伝送するネットワークが、損失チャンネルであるか無損失チャンネルであるかを判定するステップＳ３４０、音声特徴を伝送するネットワークが損失チャンネルの場合に音声特徴を圧縮して伝送するステップＳ３４４、及び音声特徴を伝送するネットワークが無損失チャンネルの場合にそのまま音声特徴を他のサーバへ伝送するステップＳ３４２から構成される。
【００８７】
以下、図１６及び図１８を参照しつつ、図１８に示すステップに基づいたサーバ調整部３２２の動作について説明する。
まず、図１６のサーバ調整部３２２は、受信した音声特徴が、損失チャンネル経由であるか、あるいは、無損失チャンネル経由であるかを判断する（ステップＳ３４０）。
【００８８】
もし、受信した音声特徴が無損失チャンネル経由であると判断すれば、サーバ調整部３２２は、受信した音声特徴を出力端子ＯＵＴN+P+16を介して第ｎサーバへ無損失チャンネル経由で伝送する（ステップＳ３４２）。
【００８９】
しかし、受信した音声特徴が損失チャンネル経由であると判断すれば、サーバ調整部３２２は、伝送形態信号を発生させて音声特徴をサーバ圧縮伝送部３２８に出力する。サーバ圧縮伝送部３２８では、サーバ調整部３２２から入力された伝送形態信号に応答して、サーバ調整部３２２から入力された音声特徴を圧縮し、圧縮した音声特徴を損失チャンネル経由で第ｎサーバへ出力端子ＯＵＴN+P+17を介して伝送する（ステップＳ３４４）。
【００９０】
従って、図１６に示すサーバ復元受信部３２０は、図８に示すサーバ圧縮伝送部１８８から伝送された圧縮の音声特徴を入力端子ＩＮ１０を介して受信し、受信した圧縮の音声特徴を復元し、復元した音声特徴を図１６に示すサーバ調整部３２２に出力する。このとき、第ｎサーバは、復元した音声特徴を、図２に示すステップＳ４４に基づいて処理する。
【００９１】
さらに、図８に示す第１サーバの変形例を説明する。この場合の第１サーバは、クライアント復元部１８０、サーバ調整部１８２、サーバ音声認識部１８４、サーバ応用部１８６から構成され、サーバ圧縮伝送部１８８を省略することができる。サーバ圧縮伝送部１８８を設けない場合は、図１６に示す第ｎサーバは、サーバ復元受信部３２０を省略してもよい。したがって、図１６に示すサーバ調整部３２２は、第１サーバから受信した音声特徴を入力端子ＩＮ１１を介して直接受信し、受信した音声特徴を、図２に示すステップＳ４４に基づいて処理を行う。
【００９２】
なお、図１６に示すサーバ調整部３２２、サーバ音声認識部３２４、サーバ応用部３２６及びサーバ圧縮伝送部３２８は、図８に示すサーバ調整部１８２、サーバ音声認識部１８４、サーバ応用部１８６及びサーバ圧縮伝送部１８８に該当し、同一の機能を有するため、これらの装置に関する説明は省略する。従って、図１６に示す出力端子ＯＵＴN+P+R+15、ＯＵＴN+P+R+16及びＯＵＴN+P+R+17はそれぞれ、図８に示すＯＵＴN+P+R+7、ＯＵＴN+P+R+8及びＯＵＴN+P+R+9に該当する。
【産業上の利用可能性】
【００９３】
本発明は、音声認識に関わる技術分野に効果的に適用可能である。
【図面の簡単な説明】
【００９４】
【図１】本発明による多段階音声認識装置の概略的な外観を表すブロック図である。
【図２】図１に示す多段階音声認識装置で行われる多段階音声認識方法を説明するためのフローチャートである。
【図３】図１に示すクライアント１０を詳細に説明するブロック図である。
【図４】図２に示すステップＳ４０を詳細に説明するためのフローチャートである。
【図５】図３に示すクライアント調整部６４を詳しく説明するためのブロック図である。
【図６】図４に示すステップＳ８４を詳しく説明するためのフローチャートである。
【図７】図３に示すクライアント音声認識部を詳しく説明するブロック図である。
【図８】第ｑサーバを説明するブロック図である。
【図９】図２に示すステップＳ４２を詳しく説明するためのフローチャートである。
【図１０】図１０は、図４に示すステップＳ８８の変形例を説明するためのフローチャートである。
【図１１】図８に示すサーバ調整部を詳しく説明するためのブロック図である。
【図１２】図９に示すステップＳ２００を詳しく説明するためのフローチャートである。
【図１３】図８に示すサーバ音声認識部を詳しく説明するためのブロック図である。
【図１４】図１４は、図５に示すクライアントトピック判定部１００、及び図１１に示すサーバトピック判定部２２０の機能を詳細に説明するためのブロック図である。
【図１５】図６に示すステップＳ１２０及び図１２に示すステップＳ２４０に示す最も類似するトピックのスコアを説明するためのフローチャートである。
【図１６】第ｎサーバを説明するためのブロック図である。
【図１７】図２に示すステップＳ４４を詳しく説明するためのフローチャートである。
【図１８】図１７に示すステップＳ２０４’の変形例を説明するためのフローチャートである。
【符号の説明】
【００９５】
１０        クライアント
１２        ネットワーク
１３        ネットワーク
１４        ネットワーク
１５        ネットワーク
１６        ネットワーク
１７        ネットワーク
２０        サーバ
２２        サーバ
２４        サーバ
ＩＮ１      入力端子
ＯＵＴN+1  出力端子
ＯＵＴ1    出力端子
ＯＵＴ2    出力端子
ＯＵＴN    出力端子
【図１】
2006106761.tif 000004
【図２】
2006106761.tif 000005
【図３】
2006106761.tif 000006
【図４】
2006106761.tif 000007
【図５】
2006106761.tif 000008
【図６】
2006106761.tif 000009
【図７】
2006106761.tif 000010
【図８】
2006106761.tif 000011
【図９】
2006106761.tif 000012
【図１０】
2006106761.tif 000013
【図１１】
2006106761.tif 000014
【図１２】
2006106761.tif 000015
【図１３】
2006106761.tif 000016
【図１４】
2006106761.tif 000017
【図１５】
2006106761.tif 000018
【図１６】
2006106761.tif 000019
【図１７】
2006106761.tif 000020
【図１８】
2006106761.tif 000021