(57)【要約】【課題】音声認識に関する処理の柔軟性を向上する。【解決手段】第１の音声認識部により得られた音声データの認識結果の確信度と閾値との比較に基づいて、前記第１の音声認識部により得られた音声データの認識結果の扱いを決定する決定部と、前記閾値を動的に設定する閾値設定部と、を備える、音声処理装置。【選択図】図４
2017154282.tif 000002
【特許請求の範囲】
【請求項１】
第１の音声認識部により得られた音声データの認識結果の確信度と閾値との比較に基づいて、前記第１の音声認識部により得られた音声データの認識結果の扱いを決定する決定部と、
前記閾値を動的に設定する閾値設定部と、
を備える、音声処理装置。
【請求項２】
前記閾値設定部は、前記第１の音声認識部による音声データの認識が行われる第１の動作モード、および前記第１の音声認識部および第２の音声認識部による音声データの認識が行われる第２の動作モードを含む複数の動作モードのうちで該当する動作モードに応じて閾値を設定する、請求項１に記載の音声処理装置。
【請求項３】
前記音声処理装置は、
前記第１の音声認識部と、
前記第１の音声認識部により得られた認識結果の確信度を計算する確信度計算部と、
前記第２の動作モードにおいて、前記第２の音声認識部を有する外部装置に前記音声データを送信し、前記外部装置から音声認識に基づく情報を受信する通信部と、
を備える、請求項２に記載の音声処理装置。
【請求項４】
前記閾値設定部は、動作モードが前記第２の動作モードである場合には、動作モードが前記第１の動作モードである場合よりも、前記閾値として高い値を設定する、請求項２に記載の音声処理装置。
【請求項５】
前記閾値設定部は、動作モードが前記第２の動作モードである場合には、事前に用意された複数の値に含まれるいずれかの値を前記閾値として設定する、請求項２に記載の音声処理装置。
【請求項６】
前記複数の値は、前記第１の動作モードにおいて前記閾値として設定される値より大きい値および小さい値を含む、請求項５に記載の音声処理装置。
【請求項７】
前記通信部は、前記第２の動作モードにおいて、前記決定部により前記第１の音声認識部により得られた音声認識結果の扱いが決定される前に、前記音声データを前記外部装置に送信する、請求項３に記載の音声処理装置。
【請求項８】
前記決定部は、前記第２の動作モードにおいて、前記第１の音声認識部によって得られた前記音声データの認識結果の確信度が前記閾値以下であることに基づき、前記第２の音声認識部により得られた前記音声認識に基づく情報の利用を決定する、請求項３に記載の音声処理装置。
【請求項９】
前記決定部は、前記第１の動作モードにおいて前記第１の音声認識部によって得られた前記音声データの認識結果の確信度が前記閾値以下である場合、前記音声データの認識に失敗したことを示す信号を出力する、請求項２に記載の音声処理装置。
【請求項１０】
前記閾値設定部は、前記第２の動作モードにおいて、前記外部装置と前記通信部との間の通信の状況に応じて前記閾値を設定する、請求項３に記載の音声処理装置。
【請求項１１】
前記閾値設定部は、前記音声データに含まれるノイズ成分に応じて前記閾値を設定する、請求項１に記載の音声処理装置。
【請求項１２】
前記複数の動作モードは、前記第１の音声認識部、前記第２の音声認識部および第３の音声認識部により音声データの認識が行われる第３の動作モードを含み、
前記閾値設定部は、動作モードが前記第３の動作モードである場合には、前記閾値として、動作モードが前記第１の動作モードである場合よりも高い値であって、動作モードが前記第２の動作モードである場合よりも低い値を設定する、請求項２に記載の音声処理装置。
【請求項１３】
前記決定部は、第３の音声認識部により得られた音声データの認識結果の確信度と閾値との比較に基づいて、前記第３の音声認識部により得られた音声データの認識結果の扱いを決定し、
前記閾値設定部は、前記第３の音声認識部により得られた認識結果の確信度との対比のための閾値を、前記第１の音声認識部により得られた認識結果との対比のための閾値とは異なる値に設定する、請求項２に記載の音声処理装置。
【請求項１４】
前記第３の音声認識部は、前記第１の音声認識部より語彙データが多い辞書データを用いて音声認識を行い、
前記第２の音声認識部は、前記第３の音声認識部より語彙データが多い辞書データを用いて音声認識を行う、請求項１２に記載の音声処理装置。
【請求項１５】
音声データの認識結果の確信度と閾値との比較に基づいて、前記音声データの認識結果の扱いを決定することと、
前記閾値をプロセッサが動的に設定することと、
を含む、音声処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、音声処理装置および音声処理方法に関する。
【背景技術】
【０００２】
近日、ユーザが発した音声を機械的に認識するための音声処理装置が盛んに研究されている。ユーザの音声の認識は、ローカルな端末内で行われることも、ネットワーク上のサーバにより行われることもある。例えば、特許文献１には、端末装置とサーバの双方でユーザの音声の認識を行い、端末装置による認識の結果またはサーバによる認識の結果を選択的に利用する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−０６４７７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記の音声認識に関し、音声の認識結果の確信度と固定的な閾値との比較に基づいて、当該音声の認識結果を利用するか否かを判断する方法が考えられる。しかし、ユーザの周辺環境または外部装置の利用の有無などの音声認識に関する状況は変化することが想定される。このため、音声認識に関する処理の柔軟性を向上することが望まれた。
【課題を解決するための手段】
【０００５】
本開示によれば、第１の音声認識部により得られた音声データの認識結果の確信度と閾値との比較に基づいて、前記第１の音声認識部により得られた音声データの認識結果の扱いを決定する決定部と、前記閾値を動的に設定する閾値設定部と、を備える、音声処理装置が提供される。【０００６】
また、本開示によれば、音声データの認識結果の確信度と閾値との比較に基づいて、前記音声データの認識結果の扱いを決定することと、前記閾値をプロセッサが動的に設定することと、を含む、音声処理方法が提供される。
【発明の効果】
【０００７】
以上説明したように本開示によれば、音声認識に関する処理の柔軟性を向上することが可能である。【０００８】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【０００９】
【図１】本開示の第１の実施形態による音声処理システムを示す説明図である。
【図２】確信度の計算を示す説明図である。
【図３】語彙外音声と語彙内音声の対数尤度差の関係を示す説明図である。
【図４】本開示の第１の実施形態による音声処理装置およびサーバの構成を示す機能ブロック図である。
【図５】閾値設定部により設定される閾値の具体例を示す説明図である。
【図６】第１の実施形態による音声処理装置の動作を示すフローチャートである。
【図７】第１の変形例によるハイブリッドモードにおける閾値の設定方法を示すフローチャートである。
【図８】第２の変形例によるハイブリッドモードにおける閾値の設定方法を示すフローチャートである。
【図９】第２の実施形態による音声処理システムの構成を示す説明図である。
【図１０】閾値設定部により設定される閾値の具体例を示す説明図である。
【図１１】閾値設定部により設定される閾値の具体例を示す説明図である。
【図１２】第２の実施形態の動作を示すフローチャートである。
【図１３】音声処理装置のハードウェア構成を示した説明図である。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１１】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００１２】
また、以下に示す項目順序に従って本開示を説明する。
１．第１の実施形態
１−１．音声処理システムの概要
１−２．構成
１−３．動作
１−４．変形例
２．第２の実施形態
２−１．構成
２−２．動作
３．ハードウェア構成
４．むすび
【００１３】
＜＜１．第１の実施形態＞＞
まず、本開示の第１の実施形態を説明する。本開示の第１の実施形態は、ユーザが発した音声を機械的に認識する音声処理システムに関する。音声処理システムは、ユーザが発した音声の認識結果に基づき、多様な処理を行い得る。以下、図１を参照し、本開示の第１の実施形態による音声処理システムの概要を説明する。
【００１４】
＜１−１．音声処理システムの概要＞
図１は、本開示の第１の実施形態による音声処理システムを示す説明図である。図１に示したように、第１の実施形態による音声処理システムは、音声処理装置２０と、サーバ３０と、を有する。音声処理装置２０とサーバ３０は、通信網１２を介して接続される。
【００１５】
通信網１２は、通信網１２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網１２は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを含んでもよい。また、通信網１２は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
【００１６】
音声処理装置２０は、ユーザが発した音声を電気的な信号である音声データに変換し、音声データを認識し、音声データの認識結果に対応する処理を実行する。例えば、音声処理装置２０は、コンテンツの再生機能を有する場合、「音楽を再生」という音声データが認識されたことに基づき、音楽の再生を開始してもよい。このように、ユーザは音声で音声処理装置２０を操作できるので、直感的な操作およびハンズフリー操作が実現される。例えば、ユーザは、ジョギングまたはスポーツをしながらの操作や、車を運転しながらの操作を行い得る。
【００１７】
また、本実施形態による音声処理装置２０は、サーバ３０と音声認識について連携することが可能である。例えば、音声処理装置２０は、通信網１２を介して音声データをサーバ３０に送信し、サーバ３０から音声データの認識結果を受信できる。以下では、音声処理装置２０およびサーバ３０の双方において音声認識が行われる動作モードをハイブリッドモードと称し、音声処理装置２０において音声認識が行われてサーバ３０により音声認識が行われない動作モードをローカルモードと称する。
【００１８】
なお、音声処理装置２０は、多様な形態で実現され得る。例えば、音声処理装置２０は、携帯電話、スマートフォン、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、ゲーム機、映像再生装置またはウェアラブル装置であってもよい。ウェアラブル装置としては、腕時計型装置、イヤホン型装置、ヘッドホン型装置、ヘッドマウントディスプレイおよびネックレス型装置などが挙げられる。
【００１９】
サーバ３０は、音声処理装置２０から受信した音声データを認識し、認識結果を音声処理装置２０に送信する。サーバ３０から送信される音声データの認識結果は、音声の内容を示すテキスト、または音声処理装置２０に対するコマンドなどの、音声認識に基づく情報であってもよい。例えば、サーバ３０により「アーティストＡの音楽を再生」という音声データが認識された場合、音声データの認識結果は、「アーティストＡの音楽を再生」というテキストであってもよいし、音声処理装置２０にアーティストＡの音楽の再生を指示するコマンドであってもよい。
【００２０】
（音声認識の概要）
ここで、音声処理装置２０が行う音声認識の概要を説明する。音声処理装置２０は、音声データの信号波形から、発話内容の単語列を推定する。この単語列の推定は、下記数式１のように、音響モデルおよび言語モデルを用いて定式化される。なお、数式１においてＸは音響特徴量の系列であり、ｌは単語系列であり、単語系列ｌは音声認識が利用する辞書データ内の語彙によって構成される。辞書データ内の語彙が多いほど、より多くの音声を正式に認識することが可能となるが、探索のための処理量が増加する。
【００２１】
【数１】
2017154282.tif 000003
【００２２】
上記数式１は、辞書データの語彙外（ＯＯＶ：Ｏｕｔ  Ｏｆ  Ｖｏｃａｂｕｌａｒｙ）の発話が行われた場合であっても、辞書データ内の語彙の組合わせで何かしらの認識結果が出力されることを示す。発話された音声が語彙外であったか否かを検出する方法として、音声認識のためのモデルＰ（ｌ）と並行してガーベージモデルＰ（ｌｏｏｖ）を用意する方法がある（例えば、「Hazen  and  I.  Bazzi,  “A  Comparison  and  Combination  of  Methods  for  OOV  Word  Detection  and  Word  Confidence  Scoring,”  Proc.  of  ICASSP,  pp.397-400,  2001.」参照。）。
【００２３】
ガーベージモデルとしては、例えば音素の遷移をｎ−ｇｒａｍ確率で表現するモデルが利用される。当該モデルは、下記数式２のように表現される。数式２においては、音素系列がｌｏｏｖ｛p1,p2,・・・pＮ｝と表現されている。
【００２４】
【数２】
2017154282.tif 000004
【００２５】
音声処理装置２０は、数式２に示される確率を最大化する音素系列を下記数式３により求め、数式４で示される対数尤度差を、数式１により求められた認識結果の確信度として利用し得る。なお、当該処理は、図２のように表現される。すなわち、ガーベージモデルＰ（ｌｏｏｖ）６０および音声認識のためのモデルＰ（ｌ）７０が並列的に用いられ、確信度が得られる。
【００２６】
【数３】
2017154282.tif 000005
【００２７】
【数４】
2017154282.tif 000006
【００２８】
語彙外の音声について得られる確信度は、語彙内の音声について得られる確信度より低くなる傾向がある。例えば図３に示すように、語彙外の音声について得られる確信度は主に０〜０．２の範囲内に分布し、語彙外の音声は主に−０．３〜０の範囲内に分布する傾向がある。このため、音声処理装置２０は、確信度が閾値を上回るか否かに基づき、発話された音声が語彙内の音声であったか否かを判断することが可能である。
【００２９】
（背景）
音声処理装置２０は、語彙内の音声の認識結果を利用して処理を行い、語彙外の音声の認識結果を棄却し得る。また、ハイブリッドモードにおいては、音声処理装置２０の辞書データでは語彙外の音声が、サーバ３０の辞書データでは語彙内の音声であることが想定される。このため、音声処理装置２０は、音声処理装置２０の辞書データでは語彙外の音声の認識結果を棄却しつつ、サーバ３０から受信される認識結果を利用し得る。
【００３０】
ここで、語彙内の音声と語彙外の音声とで確信度が重複する範囲が存在する。図３に示した例では、約０．０１〜約０．０７の範囲内に、語彙内および語彙外の音声の確信度が分布している。このため、閾値が０．０７に設定されれば、語彙外の音声が語彙内の音声であると誤認識されることは防げるが、本当は語彙内の音声の認識結果が棄却される場合が生じる。一方、閾値が０．０１に設定されれば、語彙内の音声の認識結果が棄却されることは防げるが、本当は語彙外の音声が語彙内の音声である誤認識される場合が生じる。
【００３１】
上記に鑑みると、閾値は上記の重複範囲内で適切な値に設定されることが望まれる。しかし、上記のように複数の動作モードが存在するのに対し、閾値が固定的な値であると、各動作モードにおいて好適な結果が得られないことが懸念される。例えば、ローカルモードとハイブリッドモードで同じ値が閾値に設定されると、サーバ３０による精度の高い認識結果が十分に利用されず、サーバ３０が有効活用されないことが懸念される。
【００３２】
そこで、本件発明者は、上記事情を一着眼点にして第１の実施形態による音声処理装置２０を創作するに至った。第１の実施形態による音声処理装置２０は、ローカルモードでの適正な処理およびハイブリブリッドモードでの適正な処理の双方を実現することが可能である。以下、このような本開示の第１の実施形態による音声処理装置２０の構成および動作を順次詳細に説明する。
【００３３】
＜１−２．構成＞
図４は、本開示の第１の実施形態による音声処理装置２０およびサーバ３０の構成を示す機能ブロック図である。
【００３４】
（サーバ）
図４に示したように、サーバ３０は、音声認識部３２４および通信部３４０を備える。通信部３４０は、音声処理装置２０とのインタフェースであり、音声処理装置２０から音声データを受信し、音声認識部３２４による音声データの認識結果を音声処理装置２０に送信する。
【００３５】
音声認識部３２４は、第２の音声認識部の一例であり、通信部３４０により音声処理装置２０から受信された音声データを、例えば「音声認識の概要」において説明した方法により、辞書データを用いて認識する。音声認識部３２４が利用する辞書データは、後述する音声処理装置２０の音声認識部２２４が利用する辞書データよりも、多くの語彙のデータを含む。このため、音声認識部３２４による音声認識は認識精度の面で優れる。以下では、サーバ３０の音声認識部３２４により得られた認識結果をサーバ認識結果と称する。
【００３６】
（音声処理装置）
音声処理装置２０は、図４に示したように、収音部２２０と、音声認識部２２４と、確信度計算部２２８と、決定部２３２と、動作モード制御部２３６と、通信部２４０と、閾値設定部２４４と、を備える。
【００３７】
収音部２２０は、空気的な振動で表現される音声を、電気的な信号に変換する。当該収音部２２０の機能は、例えばマイクロフォンにより実現される。本明細書では、収音部２２０により得られた電気的な信号（ＰＣＭ：Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ）を、音声データと称する。
【００３８】
音声認識部２２４は、第１の音声認識部の一例であり、収音部２２０から入力される音声データを、例えば「音声認識の概要」において説明した方法により、辞書データを用いて認識する。当該音声認識部２２４が利用する辞書データのデータ量はサーバ３０が利用する辞書データよりも容量が小さいこと、および、音声認識部２２４による音声認識には通信網１２を介した通信が必須でないことから、音声認識部２２４による音声認識は応答速度の面で優れる。
【００３９】
確信度計算部２２８は、音声認識部２２４により得られた音声データの認識結果（以下、ローカル認識結果と称する。）の確信度を計算する。例えば、確信度計算部２２８は、数式４に示した対数尤度差の演算により確信度を計算してもよい。
【００４０】
決定部２３２は、ローカル認識結果の扱いを、確信度計算部２２８により計算された確信度と、閾値設定部２４４により設定された閾値との比較に基づいて決定する。例えば、決定部２３２は、確信度計算部２２８により計算された確信度が閾値を上回る場合、ローカル認識結果の利用を決定する。一方、決定部２３２は、確信度計算部２２８により計算された確信度が閾値以下である場合、ローカル認識結果を棄却する。ハイブリッドモードにおいては、決定部２３２は、ローカル認識結果を棄却した場合、サーバ認識結果の利用を決定する。
【００４１】
動作モード制御部２３６は、音声処理装置２０の音声認識に関する動作モードを、ローカルモード（第１の動作モード）とハイブリッドモード（第２の動作モード）との間で制御する。例えば、動作モード制御部２３６は、通信部２４０がサーバ３０と接続されている場合には動作モードをハイブリッドモードにして、通信部２４０がサーバ３０と接続されていない場合には動作モードをローカルモードにしてもよい。また、動作モード制御部２３６は、音声処理装置２０のバッテリ残量が所定値を上回っている場合には動作モードをハイブリッドモードにして、バッテリ残量が所定値以下である場合には動作モードをローカルモードにしてもよい。また、動作モード制御部２３６は、ユーザからの操作に従って動作モードを制御してもよい。
【００４２】
通信部２４０は、サーバ３０とのインタフェースである。通信部２４０は、ハイブリッドモードにおいて、収音部２２０から入力される音声データをサーバ３０に送信し、サーバ認識結果をサーバ３０から受信する。
【００４３】
閾値設定部２４４は、ローカル認識結果の扱いを決定部２３２が決定する際に用いられる閾値を動的に設定する。例えば、閾値設定部２４４は、動作モードがローカルモードまたはハイブリッドモードのいずれであるかに応じて、閾値を設定する。以下、図５を参照して、閾値設定部２４４により設定される閾値の具体例を説明する。
【００４４】
図５は、閾値設定部２４４により設定される閾値の具体例を示す説明図である。閾値設定部２４４は、ハイブリッドモードの閾値を、ローカルモードの閾値よりも高い値に設定する。例えば、図５に示したように、ハイブリッドモードの閾値Ｒｃは、ローカルモードの閾値Ｒｎより高い値に設定される。かかる構成によれば、ハイブリッドモードにおいて、ローカルモードにおいてよりもローカル認識結果が棄却され易くなるので、サーバ認識結果の有効活用を実現することが可能である。
【００４５】
ここで、ローカルモードの閾値Ｒｎは、語彙外の音声が語彙内の音声である誤認識されるエラー率と、語彙内の音声が語彙外の音声である誤認識されるエラー率の合計が最小になる値であってもよい。このような閾値Ｒｎの設定においては、ユーザがジョギング中に「lap  time」という音声を発した場合、音声認識部２２４が利用する辞書データに含まれる「what's  the  time」がローカル認識結果として得られ、かつ、「time」が重複するので「what's  the  time」の確信度が閾値Ｒｎを上回ることが起こり得る。この場合、ローカルモードにおいては「what's  the  time」に対応して現在時刻が出力されてしまう。一方、ハイブリッドモードにおいては閾値Ｒｎより高い閾値Ｒｃが設定されているので、「what's  the  time」の確信度が閾値Ｒｃを下回り、ローカル認識結果の「what's  the  time」が棄却され、サーバ認識結果の利用が決定されることが期待される。すなわち、ハイブリッドモードの閾値Ｒｃをローカルモードの閾値Ｒｎより高い値とすることで、ハイブリッドモードにおいて積極的にサーバ認識結果を利用することが可能となる。なお、サーバ認識結果の利用は通信遅延を伴うが、ローカル認識結果の確信度が閾値Ｒｃを上回る場合には、決定部２３２がローカル認識結果の利用を決定することで迅速な応答を実現することが可能である。
【００４６】
＜１−３．動作＞
以上、第１の実施形態による音声処理装置２０およびサーバ３０の構成を説明した。続いて、図６を参照し、第１の実施形態による音声処理装置２０の動作を整理する。
【００４７】
図６は、第１の実施形態による音声処理装置２０の動作を示すフローチャートである。図６に示したように、まず、収音部２２０から音声認識部２２４に音声データが入力されると（Ｓ５０４）、音声認識部２２４は音声データを認識する（Ｓ５０８）。
【００４８】
そして、動作モードがローカルモードである場合（Ｓ５１２／ｎｏ）、閾値設定部２４４が閾値をＲｎに設定する（Ｓ５１６）。また、確信度計算部２２８がローカル認識結果の確信度を計算する（Ｓ５２０）。決定部２３２は、ローカル認識結果の確信度が閾値Ｒｎを上回っていればローカル認識結果の利用を決定し（Ｓ５２４／ｙｅｓ、Ｓ５２８）、ローカル認識結果の確信度が閾値Ｒｎ以下であればローカル認識結果を棄却し、音声データの認識に失敗したことを示す信号を出力する（Ｓ５２４／ｎｏ、Ｓ５３２）。
【００４９】
一方、動作モードがハイブリッドモードである場合（Ｓ５１２／ｙｅｓ）、通信部２４０が音声データをサーバ３０に送信し（Ｓ５３６）、閾値設定部２４４が閾値をＲｃに設定する（Ｓ５４０）。また、確信度計算部２２８がローカル認識結果の確信度を計算する（Ｓ５４４）。決定部２３２は、ローカル認識結果の確信度が閾値Ｒｃを上回っている場合、ローカル認識結果の利用を決定する（Ｓ５４８／ｙｅｓ、Ｓ５２８）。一方、ローカル認識結果の確信度が閾値Ｒｃ以下である場合、通信部２４０によりサーバ認識結果が受信され（Ｓ５５２）、決定部２３２がサーバ認識結果の利用を決定する（Ｓ５５６）。
【００５０】
上記では、ローカル認識結果を利用するか否かが決定される前に音声データをサーバ３０に送信される動作例を説明した。当該動作例によれば、音声データの入力からサーバ認識結果が受信されるまでの時間を短縮することができる。ただし、音声処理装置２０は、ローカル認識結果が棄却された後に、音声データをサーバ３０に送信してもよい。かかる構成によれば、音声処理装置２０とサーバ３０との通信量および処理負荷を低減することが可能である。
【００５１】
＜１−４．変形例＞
以上、本開示の第１の実施形態を説明した。以下では、本開示の第１の実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で第１の実施形態に適用されてもよいし、組み合わせで第１の実施形態に適用されてもよい。また、各変形例は、第１の実施形態で説明した構成に代えて適用されてもよいし、第１の実施形態で説明した構成に対して追加的に適用されてもよい。
【００５２】
（第１の変形例）
上記では、ハイブリッドモードでは閾値Ｒｃが設定される例を説明したが、ハイブリッドモードにおいても閾値は動的に設定されてもよい。例えば、閾値設定部２４４は、製造時に開発者によりプリセットされる設定、またはユーザにより初期、包括的または音声認識の度に指定される設定に基づいて、ハイブリッドモードにおける閾値を設定してもよい。以下、図７を参照して当該第１の変形例について具体的に説明する。
【００５３】
図７は、第１の変形例によるハイブリッドモードにおける閾値の設定方法を示すフローチャートである。図７に示したように、閾値設定部２４４は、サーバ３０を積極的に利用する設定が採用されている場合（Ｓ５８０／ｙｅｓ）、ローカルモードにおける閾値Ｒｎより大きいＲｃを閾値として設定する（Ｓ５８２）。
【００５４】
一方、閾値設定部２４４は、ローカルを積極的に利用する設定が採用されている場合（Ｓ５８４／ｙｅｓ）、ローカルモードにおける閾値Ｒｎより小さいＲｔを閾値として設定する（Ｓ５８６）。サーバ３０を積極的に利用する設定およびローカルを積極的に利用する設定のいずれも採用されていない場合（Ｓ５８４／ｎｏ）、閾値設定部２４４は、ローカルモードと同様のＲｎを閾値として設定する（Ｓ５８８）。
【００５５】
なお、確信度が例えば数式４で示される対数尤度差のフレーム平均値である場合、Ｒｎは０．０２〜０．０６の範囲内の値であり、Ｒｃは０．０９〜０．１１の範囲内の値（特に、０．１）であり、Ｒｔは−０．０１から０．０２の範囲内の値（特に、０．０）であってもよい。Ｒｎが０．０２〜０．０６の範囲内であれば、音声処理装置２０の語彙外の音声が語彙内の音声である誤認識されるエラー率と、語彙内の音声が語彙外の音声である誤認識されるエラー率の合計の最小化を実現し得る。０．０９〜０．１１の範囲内の値であるＲｃがハイブリッドモードにおける閾値に設定されれば、ローカル認識結果が棄却され易くなるので、サーバ認識結果が利用され易くなる。かかるＲｃの設定によれば、認識精度の向上を実現できる。また、−０．０１から０．０２の範囲内の値であるＲｔがハイブリッドモードにおける閾値に設定されれば、ローカル認識結果が利用され易くなるので、サーバ認識結果が利用され難くなる。かかるＲｔの設定によれば、応答性の向上を実現することが可能である。
【００５６】
（第２の変形例）
また、閾値設定部２４４は、音声処理装置２０とサーバ３０との間の通信の状況に応じて、ハイブリッドモードにおける閾値を設定してもよい。例えば、音声処理装置２０とサーバ３０との間の通信の状況が悪いほど、サーバ３０からサーバ認識結果が得られるタイミングが遅くなり得る。このため、ローカル認識結果が棄却された場合、応答までの遅延も大きくなる。そこで、応答速度の観点からは、音声処理装置２０とサーバ３０との間の通信の状況が所定の基準を下回る場合にはローカル認識結果が積極的に採用されることが望まれる。以下、図８を参照し、上記概念に沿った第２の変形例による動作を説明する。
【００５７】
図８は、第２の変形例によるハイブリッドモードにおける閾値の設定方法を示すフローチャートである。図８に示したように、閾値設定部２４４は、通信の状況が良好である場合には（Ｓ５９０／ｙｅｓ）、ローカルモードにおける閾値Ｒｎより大きいＲｃを閾値として設定する（Ｓ５９２）。一方、閾値設定部２４４は、通信の状況が良好でない場合には（Ｓ５９０／ｎｏ）、Ｒｎ＜Ｒｍ＜Ｒｃを満たすＲｍを閾値として設定する（Ｓ５９４）。
【００５８】
なお、通信の状況が良好であるか否かは、通信エラー率および通信遅延時間などの状況が上述したように所定の基準を上回るか否かにより判断されてもよい。また、上記ではＲｍがＲｎを上回る例を示したが、ＲｍはＲｎ未満であってもよい。かかる構成によれば、ローカル認識結果が一層利用され易くなるので、応答性のさらなる向上を実現することが可能である。
【００５９】
（第３の変形例）
次に、第３の変形例を説明する。第１の変形例および第２の変形例では、ハイブリッドモードにおいて閾値が動的に設定され得ることを説明した。第３の変形例は、ローカルモードにおいても閾値を動的に設定するための構成に関する。
【００６０】
確信度計算部２２８により計算される確信度は、ユーザが同じ内容の音声を同じ様に発した場合であっても、音声データに含まれるノイズ成分に応じて変化し得る。そこで、閾値設定部２４４は、ローカルモードにおいても、音声データに含まれるノイズ成分に応じて閾値を設定してもよい。
【００６１】
例えば、ノイズ成分が比較的高い場合には、図５に示したヒストグラムが全体的に低い値側にシフトすると考えられる。そこで、閾値設定部２４４は、音声データに含まれるノイズ成分が大きいほど、ローカルモードにおける閾値を小さな値に設定してもよい。かかる構成により、音声処理装置２０の周辺環境に応じた適切な処理を実現することが可能となる。なお、ノイズ成分の検出は、例えばウェーブレット変換を用いて実現され得るが、ノイズ成分の検出方法は特に限定されない。
【００６２】
また、上記では、ローカルモードにおける閾値の動的な設定方法の一例として、ノイズ成分に応じた閾値の設定方法を説明したが、動的な設定方法はかかる例に限定されない。例えば、ユーザが発した音声の時間長が、音声処理装置２０が認識可能な音声に対応する最長のテキストに対して長い場合、ユーザが発した音声は語彙外である可能性が高い。このため、ローカル認識結果も誤りである可能性が高いので、閾値設定部２４４は、上記場合にはローカル認識結果が棄却されるよう、他の場合よりも閾値を高い値に設定してもよい。
【００６３】
また、閾値設定部２４４は、ハイブリッドモードにおいても同様に当該第３の変形例を適用してもよい。また、閾値がAPIとして公開され、プログラマブルとなる場合、前記APIを使う外部アプリケーションプログラム（図示しない）が、実行時、動的に閾値設定部２４４に閾値を設定できるようにしてもよい。更に、その場合、APIとしてプログラマブルになる閾値は抽象化されてもよく、ハイブリッドモード、ローカルモードのいずれに適用することができる。
【００６４】
＜＜２．第２の実施形態＞＞
以上、本開示の第１の実施形態を説明した。続いて、本開示の第２の実施形態を説明する。本開示の第２の実施形態は、音声認識をより多くの装置で行うシステムの提案に関する。
【００６５】
＜２−１．構成＞
図９は、第２の実施形態による音声処理システムの構成を示す説明図である。図９に示したように、第２の実施形態による音声処理システムは、音声処理装置２２と、サーバ３０と、ユーザ装置４０と、を備える。
【００６６】
第２の実施形態においては、音声処理装置２２として、腕時計型装置、イヤホン型装置、ヘッドホン型装置、ヘッドマウントディスプレイおよびネックレス型装置などのウェアラブル装置を想定し、ユーザ装置４０として、上記音声処理装置２２と近距離無線通信方式（例えば、無線ＬＡＮ）で通信するスマートフォンのような情報処理装置を想定する。サーバ３０の構成は第１の実施形態で説明した通りであるので、ここでのサーバ３０の詳細な説明は省略する。
【００６７】
（ユーザ装置）
図９に示したように、ユーザ装置４０は、音声認識部４２４、確信度計算部４２８および通信部４４０を備える。通信部４４０は、音声処理装置２２とのインタフェースであり、音声処理装置２２から音声データを受信し、音声認識部４２４による音声データの認識結果および確信度計算部４２８により計算された確信度を音声処理装置２２に送信する。
【００６８】
音声認識部４２４は、第３の音声認識部の一例であり、通信部４４０により音声処理装置２２から受信された音声データを、例えば「音声認識の概要」において説明した方法により、辞書データを用いて認識する。音声認識部４２４が利用する辞書データに含まれる語彙は、音声処理装置２２の音声認識部２２４が利用する辞書データよりも多く、サーバ３０の音声認識部３２４が利用する辞書データよりも少ない。
【００６９】
確信度計算部４２８は、音声認識部４２４により得られた音声データの認識結果の確信度を計算する。例えば、確信度計算部４２８は、数式４に示した対数尤度差の演算により確信度を計算してもよい。
【００７０】
なお、ユーザ装置４０としては上述したように音声処理装置２２と近距離無線通信方式で通信する情報処理装置が想定される。一方、音声処理装置２２とサーバ３０との通信は通信網１２を介して行われる。このため、音声処理装置２２から見た音声認識の応答性は、サーバ３０よりユーザ装置４０の方が高くなることが期待される。
【００７１】
（音声処理装置）
音声処理装置２２は、図９に示したように、収音部２２０と、音声認識部２２４と、確信度計算部２２８と、決定部２３４と、動作モード制御部２３８と、通信部２４０と、閾値設定部２４６と、を備える。収音部２２０、音声認識部２２４および確信度計算部２２８の構成は第１の実施形態において説明した通りであるので、ここでの収音部２２０、音声認識部２２４および確信度計算部２２８の詳細な説明は省略する。
【００７２】
決定部２３４は、ローカル認識結果の扱いを、確信度計算部２２８により計算された確信度と、閾値設定部２４６により設定された閾値との比較に基づいて決定する。また、決定部２３４は、動作モードが後述するユーザ装置モードまたは併用モードである場合、ユーザ装置４０からの認識結果の扱いを、当該認識結果の確信度と閾値設定部２４６により設定された閾値との比較に基づいて決定する。
【００７３】
動作モード制御部２３８は、音声処理装置２２の音声認識に関する動作モードを、ローカルモード、ハイブリッドモード、ユーザ装置モードおよび併用モードを含む複数の動作モードの間で制御する。ユーザ装置モードは、音声処理装置２０およびユーザ装置４０において音声認識が行われ、サーバ３０により音声認識が行われない動作モードである。併用モードは、第３の動作モードの一例であり、音声処理装置２０、ユーザ装置４０およびサーバ３０の三者により音声認識が行われる動作モードである。動作モード制御部２３８は、サーバ３０と通信部２４０との接続状況、およびユーザ装置４０と通信部２４０との接続状況に応じて動作モードを設定してもよい。また、動作モード制御部２３８は、ユーザからの操作に従って動作モードを制御してもよい。
【００７４】
閾値設定部２４６は、ローカル認識結果の扱いを決定部２３２が決定する際に用いられる閾値を動的に設定する。例えば、閾値設定部２４４は、動作モードがローカルモード、ハイブリッドモード、ユーザ装置モードまたは併用モードのいずれであるかに応じて、閾値を設定する。以下、図１０を参照して、閾値設定部２４６により設定される閾値の具体例を説明する。
【００７５】
図１０は、閾値設定部２４６により設定される閾値の具体例を示す説明図である。閾値設定部２４６は、ユーザ装置モードの閾値を、ローカルモードの閾値よりも高い値に設定する。例えば、図１０に示したように、ユーザ装置モードの閾値Ｒｕは、ローカルモードの閾値Ｒｎより高い値に設定される。かかる構成によれば、ユーザ装置モードにおいて、ローカルモードにおいてよりもローカル認識結果が棄却され易くなるので、ユーザ装置４０からの認識結果の有効活用を実現することが可能である。また、ユーザ装置モードの閾値Ｒｕは、図１０に示したように、ハイブリッドモードの閾値Ｒｃよりも低い値に設定される。ユーザ装置４０の音声認識部４２４が参照する辞書データの語彙はサーバ３０の音声認識部３２４が参照する辞書データの語彙よりも少ないので、ユーザ装置４０からの認識結果の信頼性は、サーバ認識結果の信頼性ほど高くない。このため、ユーザ装置４０からの認識結果が積極的に利用され過ぎないよう、上記のように、ユーザ装置モードの閾値Ｒｕはハイブリッドモードの閾値Ｒｃよりも低い値に設定される。
【００７６】
一方、閾値設定部２４６は、併用モードの閾値を、ハイブリッドモードの閾値よりも高い値に設定する。例えば、図１０に示したように、併用モードの閾値Ｒｃｕは、ハイブリッドモードの閾値Ｒｃよりも高い値に設定される。かかる構成によれば、ローカル認識結果が棄却され易くなり、サーバ認識結果またはユーザ装置４０からの認識結果が利用され易くなる。ここで、併用モードにおいて音声認識を行うユーザ装置４０およびサーバ３０は、音声処理装置２２よりも高精度に音声認識を行い得る。従って、上記のように併用モードの閾値がハイブリッドモードの閾値よりも高い値に設定されることにより、決定部２３４がより適切な認識結果の利用を決定することが可能となる。
【００７７】
なお、閾値設定部２４６は、ユーザ装置４０からの認識結果を決定部２３２が決定する際に用いられる閾値Ｒｘも設定する。当該閾値Ｒｘは、例えば、図１１に示したように、ユーザ装置４０の語彙外の音声と語彙内の音声とで確信度が重複する範囲内の値であり得る。
【００７８】
＜２−２．動作＞
以上、第２の実施形態による音声処理システムの構成を説明した。続いて、図１２を参照し、第２の実施形態の動作を整理する。
【００７９】
図１２は、第２の実施形態の動作を示すフローチャートである。具体的には、図１２は、併用モードにおける音声処理装置２２の動作を示している。
【００８０】
まず、図１２に示したように、収音部２２０から音声認識部２２４に音声データが入力されると（Ｓ６０４）、音声認識部２２４は音声データを認識する（Ｓ６０８）。そして、確信度計算部２２８がローカル認識結果の確信度を計算する（Ｓ６１０）。
【００８１】
ここで、ローカル認識結果の確信度が閾値Ｒｃｕを上回っている場合（Ｓ６１２／ｙｅｓ）、決定部２３４は、ローカル認識結果の利用を決定する（Ｓ６１６）。
【００８２】
一方、ローカル認識結果の確信度が閾値Ｒｃｕ以下である場合（Ｓ６１２／ｎｏ）、通信部２４０が、音声データをサーバ３０およびユーザ装置４０に送信する（Ｓ６２０）。その後、通信部２４０がユーザ装置４０から認識結果および確信度を受信すると（Ｓ６２４）、決定部２３４は、受信された確信度と閾値Ｒｘを比較する（Ｓ６２８）。
【００８３】
そして、受信された確信度が閾値Ｒｘを上回っている場合（Ｓ６２８／ｙｅｓ）、決定部２３４は、ユーザ装置４０からの認識結果の利用を決定する（Ｓ６３２）。一方、受信された確信度が閾値Ｒｘ以下である場合（Ｓ６２８／ｎｏ）、通信部２４０がサーバ認識結果を受信した後（Ｓ６３６）、決定部２３４は、当該サーバ認識結果の利用を決定する（Ｓ６４０）。
【００８４】
なお、Ｓ６１２においてローカル認識結果の確信度が閾値Ｒｃｕ以下であると判断された場合に通信部２４０が音声データをサーバ３０およびユーザ装置４０に送信する例を説明したが、通信部２４０は、Ｓ６０４〜Ｓ６１２の間に音声データをサーバ３０およびユーザ装置４０に送信してもよい。かかる構成によれば、音声処理システムの応答性を向上することが可能である。
【００８５】
あるいは、サーバ３０への音声データの送信は、Ｓ６２８においてユーザ装置４０から受信された確信度が閾値Ｒｘ以下であると判断された場合に行われてもよい。かかる構成によれば、サーバ３０との通信量が抑制されるので、消費電力を削減することが可能である。
【００８６】
＜＜３．ハードウェア構成＞＞
以上、本開示の実施形態を説明した。上述した音声認識および確信度の計算などの情報処理は、ソフトウェアと、以下に説明する音声処理装置２０のハードウェアとの協働により実現される。
【００８７】
図１３は、音声処理装置２０のハードウェア構成を示した説明図である。図１３に示したように、音声処理装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０３と、入力装置２０８と、出力装置２１０と、ストレージ装置２１１と、ドライブ２１２と、撮像装置２１３と、通信装置２１５とを備える。
【００８８】
ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って音声処理装置２０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。これらＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３とソフトウェアとの協働により、音声認識部２２４、確信度計算部２２８および閾値設定部２４４（２４６）などの機能が実現され得る。
【００８９】
入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。音声処理装置２０のユーザは、該入力装置２０８を操作することにより、音声処理装置２０に対して各種のデータを入力したり処理動作を指示したりすることができる。
【００９０】
出力装置２１０は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。
【００９１】
ストレージ装置２１１は、本実施形態にかかる音声処理装置２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置２１１は、ＣＰＵ２０１が実行するプログラムや各種データを格納する。
【００９２】
ドライブ２１２は、記憶媒体用リーダライタであり、音声処理装置２０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。
【００９３】
撮像装置２１３は、光を集光する撮影レンズおよびズームレンズなどの撮像光学系、およびＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。
【００９４】
通信装置２１５は、例えば、通信網１２に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置２１５は、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【００９５】
＜＜４．むすび＞＞
以上説明したように、本開示の実施形態によれば、音声の認識結果の扱いを決定する際に用いられる閾値を動的に設定することが可能である。従って、本開示の実施形態によれば、ユーザの周辺環境または外部装置の利用の有無などに適した音声認識に関する処理を柔軟に実現することが可能である。
【００９６】
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００９７】
例えば、上記では音声処理装置２２が音声認識を行う例を説明したが、音声処理装置２２は音声認識を行わなくてもよい。この場合、音声処理装置２２は、ユーザ装置４０による音声認識が行われる動作モード、ユーザ装置４０およびサーバ３０による音声認識が行われる動作モード、サーバ３０による音声認識が行われる動作モードのうちのいずれかで動作し得る。音声処理装置２２は、動作モードがいずれの動作モードであるかに応じ、上述したように閾値を設定することで、各動作モードに適した処理を実現することが可能である。
【００９８】
また、本明細書の音声処理装置２０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、音声処理装置２０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【００９９】
また、音声処理装置２０に内蔵されるＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３などのハードウェアに、上述した音声処理装置２０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【０１００】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１０１】
また、以下のような構成も本開示の技術的範囲に属する。
（１）
第１の音声認識部により得られた音声データの認識結果の確信度と閾値との比較に基づいて、前記第１の音声認識部により得られた音声データの認識結果の扱いを決定する決定部と、
前記閾値を動的に設定する閾値設定部と、
を備える、音声処理装置。
（２）
前記閾値設定部は、前記第１の音声認識部による音声データの認識が行われる第１の動作モード、および前記第１の音声認識部および第２の音声認識部による音声データの認識が行われる第２の動作モードを含む複数の動作モードのうちで該当する動作モードに応じて閾値を設定する、前記（１）に記載の音声処理装置。
（３）
前記音声処理装置は、
前記第１の音声認識部と、
前記第１の音声認識部により得られた認識結果の確信度を計算する確信度計算部と、
前記第２の動作モードにおいて、前記第２の音声認識部を有する外部装置に前記音声データを送信し、前記外部装置から音声認識に基づく情報を受信する通信部と、
を備える、前記（２）に記載の音声処理装置。
（４）
前記閾値設定部は、動作モードが前記第２の動作モードである場合には、動作モードが前記第１の動作モードである場合よりも、前記閾値として高い値を設定する、前記（２）または（３）に記載の音声処理装置。
（５）
前記閾値設定部は、動作モードが前記第２の動作モードである場合には、事前に用意された複数の値に含まれるいずれかの値を前記閾値として設定する、前記（２）または（３）に記載の音声処理装置。
（６）
前記複数の値は、前記第１の動作モードにおいて前記閾値として設定される値より大きい値および小さい値を含む、前記（５）に記載の音声処理装置。
（７）
前記通信部は、前記第２の動作モードにおいて、前記決定部により前記第１の音声認識部により得られた音声認識結果の扱いが決定される前に、前記音声データを前記外部装置に送信する、前記（３）に記載の音声処理装置。
（８）
前記決定部は、前記第２の動作モードにおいて、前記第１の音声認識部によって得られた前記音声データの認識結果の確信度が前記閾値以下であることに基づき、前記第２の音声認識部により得られた前記音声認識に基づく情報の利用を決定する、前記（３）に記載の音声処理装置。
（９）
前記決定部は、前記第１の動作モードにおいて前記第１の音声認識部によって得られた前記音声データの認識結果の確信度が前記閾値以下である場合、前記音声データの認識に失敗したことを示す信号を出力する、前記（２）に記載の音声処理装置。
（１０）
前記閾値設定部は、前記第２の動作モードにおいて、前記外部装置と前記通信部との間の通信の状況に応じて前記閾値を設定する、前記（３）に記載の音声処理装置。
（１１）
前記閾値設定部は、前記音声データに含まれるノイズ成分に応じて前記閾値を設定する、前記（１）に記載の音声処理装置。
（１２）
前記複数の動作モードは、前記第１の音声認識部、前記第２の音声認識部および第３の音声認識部により音声データの認識が行われる第３の動作モードを含み、
前記閾値設定部は、動作モードが前記第３の動作モードである場合には、前記閾値として、動作モードが前記第１の動作モードである場合よりも高い値であって、動作モードが前記第２の動作モードである場合よりも低い値を設定する、前記（２）に記載の音声処理装置。
（１３）
前記決定部は、第３の音声認識部により得られた音声データの認識結果の確信度と閾値との比較に基づいて、前記第３の音声認識部により得られた音声データの認識結果の扱いを決定し、
前記閾値設定部は、前記第３の音声認識部により得られた認識結果の確信度との対比のための閾値を、前記第１の音声認識部により得られた認識結果との対比のための閾値とは異なる値に設定する、前記（２）に記載の音声処理装置。
（１４）
前記第３の音声認識部は、前記第１の音声認識部より語彙データが多い辞書データを用いて音声認識を行い、
前記第２の音声認識部は、前記第３の音声認識部より語彙データが多い辞書データを用いて音声認識を行う、前記（１２）または（１３）に記載の音声処理装置。
（１５）
音声データの認識結果の確信度と閾値との比較に基づいて、前記音声データの認識結果の扱いを決定することと、
前記閾値を動的に設定することと、
を含む、音声処理方法。
【符号の説明】
【０１０２】
２０、２２  音声処理装置
３０  サーバ
４０  ユーザ装置
２２０  収音部
２２４  音声認識部
２２８  確信度計算部
２３２、２３４  決定部
２３６、２３８  動作モード制御部
２４０  通信部
２４４、２４６  閾値設定部
３２４  音声認識部
３４０  通信部
４２４  音声認識部
４２８  確信度計算部
４４０  通信部
【図１】
2017154282.tif 000007
【図２】
2017154282.tif 000008
【図３】
2017154282.tif 000009
【図４】
2017154282.tif 000010
【図５】
2017154282.tif 000011
【図６】
2017154282.tif 000012
【図７】
2017154282.tif 000013
【図８】
2017154282.tif 000014
【図９】
2017154282.tif 000015
【図１０】
2017154282.tif 000016
【図１１】
2017154282.tif 000017
【図１２】
2017154282.tif 000018
【図１３】
2017154282.tif 000019
【国際調査報告】
2017154282.tif 000020
2017154282.tif 000021