(57)【要約】  実施形態の閾値調整装置は、音声認識部と、評価部と、表示制御部と、を備える。音声認識部は、音声認識を行う。評価部は、音声認識部に対し、予め定められた複数の認識対象語に対し個別に設定される複数の閾値を要素とする閾値リストと評価用音声とを入力し、音声認識部が出力する評価用音声に対する認識結果に基づいて、閾値リストを用いた音声認識部による複数の認識対象語の各々に対する認識精度を表す評価値を算出する。表示制御部は、複数の認識対象語のうちの任意の認識対象語に対応する閾値を調整するための閾値調整画面を表示装置に表示させる。閾値調整画面は、評価部によって複数の認識対象語の各々に対して算出された評価値を、複数の認識対象語の各々に対して事前に算出された理想値と併せて提示する精度一覧画面を含む。
2020203275.tif 000002
【特許請求の範囲】
【請求項１】
音声認識を行う音声認識部と、
前記音声認識部に対し、予め定められた複数の認識対象語に対し個別に設定される複数の閾値を要素とする閾値リストと評価用音声とを入力し、前記音声認識部が出力する前記評価用音声に対する認識結果に基づいて、前記閾値リストを用いた前記音声認識部による前記複数の認識対象語の各々に対する認識精度を表す評価値を算出する評価部と、
前記複数の認識対象語のうちの任意の認識対象語に対応する閾値を調整するための閾値調整画面を表示装置に表示させる表示制御部と、を備え、
前記閾値調整画面は、前記評価部によって前記複数の認識対象語の各々に対して算出された評価値を、前記複数の認識対象語の各々に対して事前に算出された理想値と併せて提示する精度一覧画面を含む、閾値調整装置。
【請求項２】
前記評価部は、前記複数の認識対象語の各々について、当該認識対象語を含む前記評価用音声から前記音声認識部が他の認識対象語を誤認識した回数を、誤認識した認識対象語ごとにカウントし、
前記閾値調整画面は、前記複数の認識対象語のうちの選択された認識対象語について、前記評価部がカウントした誤認識の回数を、誤認識した認識対象語ごとに提示する誤認識解析画面をさらに含む、請求項１に記載の閾値調整装置。
【請求項３】
前記閾値調整画面は、前記複数の認識対象語のうちの選択された認識対象語について、前記複数の認識対象語に共通の閾値を設定する初期評価用閾値リストと前記評価用音声とを、前記初期評価用閾値リストにおける共通の閾値を所定間隔で変更しながら前記音声認識部に繰り返し入力したときに前記評価部によって繰り返し算出される評価値の一覧を提示する初期評価結果画面をさらに含む、請求項２に記載の閾値調整装置。
【請求項４】
前記理想値は、前記初期評価用閾値リストと前記評価用音声とを、前記初期評価用閾値リストにおける共通の閾値を所定間隔で変更しながら前記音声認識部に繰り返し入力したときに前記評価部によって繰り返し算出される評価値のうち、前記音声認識部による認識精度が最も高いことを表す評価値である、請求項３に記載の閾値調整装置。
【請求項５】
前記閾値リストは、前記複数の認識対象語に個別に設定される複数の閾値として、それぞれの認識対象語の前記理想値が得られたときの前記初期評価用閾値リストにおける共通の閾値を用いた初期閾値リストを含む、請求項４に記載の閾値調整装置。
【請求項６】
前記閾値リストは、前記閾値調整画面を用いて任意の認識対象語に対応する閾値が調整された調整後閾値リストを含む、請求項１に記載の閾値調整装置。
【請求項７】
前記精度一覧画面に提示される評価値と理想値との差分に基づいて、前記複数の認識対象語のうち、閾値を調整する対象となる第１の認識対象語を選択する自動調整部をさらに備える、請求項３に記載の閾値調整装置。
【請求項８】
前記自動調整部は、前記第１の認識対象語に対応する前記初期評価結果画面に提示される評価値の一覧に基づいて、前記第１の認識対象語に対応する閾値を調整する、請求項７に記載の閾値調整装置。
【請求項９】
前記自動調整部は、前記第１の認識対象語に対応する前記誤認識解析画面に提示される誤認識の回数に基づいて、閾値を調整する対象となる第２の認識対象語をさらに選択する、請求項７に記載の閾値調整装置。
【請求項１０】
前記自動調整部は、前記第２の認識対象語に対応する前記初期評価結果画面に提示される評価値の一覧に基づいて、前記第２の認識対象語に対応する閾値を調整する、請求項９に記載の閾値調整装置。
【請求項１１】
前記評価用音声は、前記複数の認識対象語のいずれも含まない音声であるノイズ音声を含む、請求項１に記載の閾値調整装置。
【請求項１２】
前記表示制御部は、閾値を調整する対象となる認識対象語に対応する前記初期評価結果画面に提示される評価値の一覧に基づいて、調整後の閾値として指定された閾値が所定の条件に当てはまると判断した場合に、前記閾値調整画面上で警告を表示する、請求項３に記載の閾値調整装置。
【請求項１３】
音声認識を行う音声認識部に対し、予め定められた複数の認識対象語に対し個別に設定される複数の閾値を要素とする閾値リストと評価用音声とを入力し、前記音声認識部が出力する前記評価用音声に対する認識結果に基づいて、前記閾値リストを用いた前記音声認識部による前記複数の認識対象語の各々に対する認識精度を表す評価値を算出する評価ステップと、
前記複数の認識対象語のうちの任意の認識対象語に対応する閾値を調整するための閾値調整画面を表示装置に表示させる表示制御ステップと、を含み、
前記閾値調整画面は、前記評価ステップにおいて前記複数の認識対象語の各々に対して算出された評価値を、前記複数の認識対象語の各々に対して事前に算出された理想値と併せて提示する精度一覧画面を含む、閾値調整方法。
【請求項１４】
コンピュータプログラムを記憶したコンピュータ読取可能な記録媒体であって、前記コンピュータプログラムは、前記コンピュータに、
音声認識を行う音声認識部と、
前記音声認識部に対し、予め定められた複数の認識対象語に対し個別に設定される複数の閾値を要素とする閾値リストと評価用音声とを入力し、前記音声認識部が出力する前記評価用音声に対する認識結果に基づいて、前記閾値リストを用いた前記音声認識部による前記複数の認識対象語の各々に対する認識精度を表す評価値を算出する評価部と、
前記複数の認識対象語のうちの任意の認識対象語に対応する閾値を調整するための閾値調整画面を表示装置に表示させる表示制御部と、を実現させ、
前記閾値調整画面は、前記評価部によって前記複数の認識対象語の各々に対して算出された評価値を、前記複数の認識対象語の各々に対して事前に算出された理想値と併せて提示する精度一覧画面を含む、記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、閾値調整装置、閾値調整方法および記録媒体に関する。
【背景技術】
【０００２】
従来、予め定められた複数の認識対象語のいずれかが入力音声に含まれる場合に、その認識対象語を入力音声に対する認識結果として出力する音声認識装置が知られている。この音声認識装置では、各認識対象語に対する反応しやすさを閾値によって制御できる。例えば、入力音声から算出される音響特徴量と、複数の認識対象語のうちのいずれかの音響特徴量との特徴空間上における距離がその認識対象語に対して設定された閾値以下であれば、入力音声に対する認識結果として、その認識対象語が出力される。この場合、複数の認識対象語の各々に対して適切な閾値を設定することで、入力音声に含まれる認識対象語を正しく認識することができる。【０００３】
しかし、複数の認識対象語の各々に対し、その認識対象語が入力音声に含まれる場合は反応し、他の認識対象語やノイズには反応しないように適切な閾値を設定することは難しく、このような閾値の調整をサポートする仕組みが求められている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開特開２０１８−０７２５９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、予め定められた複数の認識対象語の各々に対して適切な閾値を設定できるように閾値の調整をサポートする閾値調整装置、閾値調整方法および記録媒体を提供することである。
【課題を解決するための手段】
【０００６】
実施形態の閾値調整装置は、音声認識部と、評価部と、表示制御部と、を備える。音声認識部は、音声認識を行う。評価部は、前記音声認識部に対し、予め定められた複数の認識対象語に対し個別に設定される複数の閾値を要素とする閾値リストと評価用音声とを入力し、前記音声認識部が出力する前記評価用音声に対する認識結果に基づいて、前記閾値リストを用いた前記音声認識部による前記複数の認識対象語の各々に対する認識精度を表す評価値を算出する。表示制御部は、前記複数の認識対象語のうちの任意の認識対象語に対応する閾値を調整するための閾値調整画面を表示装置に表示させる。前記閾値調整画面は、前記評価部によって前記複数の認識対象語の各々に対して算出された評価値を、前記複数の認識対象語の各々に対して事前に算出された理想値と併せて提示する精度一覧画面を含む。
【発明の効果】
【０００７】
上記構成の閾値調整装置によれば、予め定められた複数の認識対象語の各々に対して適切な閾値を設定できるように、閾値の調整をサポートすることができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施形態の閾値調整装置の機能的な構成例を示すブロック図である。
【図２】図２は、キーワードテーブルの一例を示す図である。
【図３】図３は、評価用データテーブルの一例を示す図である。
【図４】図４は、閾値リストテーブルの一例を示す図である。
【図５】図５は、評価結果テーブルの一例を示す図である。
【図６】図６は、理想値テーブルの一例を示す図である。
【図７】図７は、実施形態の閾値調整装置の動作例を示すフローチャートである。
【図８】図８は、精度一覧画面の一例を示す図である。
【図９】図９は、誤認識解析画面の一例を示す図である。
【図１０】図１０は、初期評価結果画面の一例を示す図である。
【図１１】図１１は、変形例の閾値調整装置の機能的な構成例を示すブロック図である。
【図１２】図１２は、変形例の精度一覧画面の一例を示す図である。
【図１３】図１３は、閾値調整装置のハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【０００９】
以下、本発明の具体的な実施形態について、図面を参照しながら詳細に説明する。以下の実施形態では、数十個程度の特定のキーワード（認識対象語）のみに反応するボイストリガ音声認識への適用例を想定して説明する。
【００１０】
図１は、本実施形態の閾値調整装置の機能的な構成例を示すブロック図である。本実施形態の閾値調整装置は、図１に示すように、音声認識部１と、評価部２と、表示制御部３とを備える。
【００１１】
音声認識部１は、音声認識モデル１０を用いて入力音声に対する音声認識処理を行う。本実施形態で利用される音声認識モデル１０には、音の特性を解析する音響モデルと、音声認識モデル１０の認識対象として予め定められたキーワード群が含まれる。音声認識モデル１０に含まれるキーワード群は、キーワードテーブル２０に登録される。
【００１２】
音声認識モデル１０が認識対象とする個々のキーワードに対する反応しやすさを制御するために、音声認識部１に閾値リストが入力される。閾値リストは、各キーワードに対して個別に設定される複数の閾値を要素とするリストである。本実施形態では、音響特徴量間の類似性の指標として特徴空間上の距離を用い、入力音声の音響特徴量とキーワードの音響特徴量との間の距離が閾値以下である場合に音声認識部１がそのキーワードを出力するため、閾値を高く設定するほど対応するキーワードに反応しやすくなる。ここで、閾値の値域は０〜１とし、特徴空間上の距離が０〜１の値に正規化されて閾値と比較されるものとする。閾値リストは、閾値リストテーブル４０に登録される。
【００１３】
音声認識部１は、例えば、音響モデルを用いて入力音声から音響特徴量を算出し、認識対象となるキーワード群のうち、この入力音声の音響特徴量と特徴空間上で最も近い音響特徴量を持つキーワードを特定する。そして、音声認識部１は、入力音声の音響特徴量と特定したキーワードの音響特徴量との特徴空間上における距離が、特定したキーワードに対して設定された閾値以下の場合に、入力音声に対する認識結果として、特定したキーワードを出力する。
【００１４】
評価部２は、音声認識部１に対し、閾値リストテーブル４０に随時登録される閾値リストと、評価用データテーブル３０に登録されている評価用データの音声（評価用音声）とを入力し、音声認識部１が出力する評価用音声に対する認識結果に基づいて、閾値リストを用いた音声認識部１による各キーワードに対する認識精度を表す評価値を算出する。評価部２による評価結果は、評価結果テーブル５０に記録される。
【００１５】
また、評価部２は、後述の初期評価によって各キーワードの理想的な評価値（理想値）を事前に算出する。評価部２により事前に算出されたキーワードごとの理想値は、理想値テーブル６０に記録される。
【００１６】
表示制御部３は、音声認識モデル１０が認識対象とするキーワード群のうちの任意のキーワードに対応する閾値を調整するための閾値調整画面を任意の表示装置に表示させる。閾値調整画面は、後述の精度一覧画面７０（図８参照）、誤認識解析画面８０（図９参照）、初期評価結果画面９０（図１０参照）を含む。
【００１７】
図２は、キーワードテーブル２０の一例を示す図である。キーワードテーブル２０は、音声認識モデル１０が認識対象とする各キーワードが登録されるテーブルである。キーワードテーブル２０は、図２に示すように、各キーワードに対して一意に割り当てられたＩＤと、各キーワードのテキストとを含む。
【００１８】
図３は、評価用データテーブル３０の一例を示す図である。評価用データテーブル３０は、評価部２による評価に用いられる評価用データが登録されるテーブルである。評価用データは、音声とその音声に含まれるキーワードからなる。つまり、音声認識モデル１０の認識対象として予め定められたキーワードを含む評価用音声と、その評価用音声から認識されるべき正解のキーワードとの組みが評価用データである。評価用データテーブル３０は、図３に示すように、各評価用データに対して一意に割り当てられたＩＤと、音声のファイル名と、キーワードＩＤとを含む。キーワードＩＤは、音声に含まれるキーワードのＩＤを示す。
【００１９】
図４は、閾値リストテーブル４０の一例を示す図である。閾値リストテーブル４０は、音声認識部１に入力される閾値リストが登録されるテーブルである。閾値リストテーブル４０は、図４に示すように、各閾値リストに対して一意に割り当てられたＩＤと、閾値リストとを含む。閾値リストは、上述のように、音声認識モデル１０が認識対象とする各キーワードに対して個別に設定される閾値を要素とするリストである。
【００２０】
閾値リストテーブル４０に登録される閾値リストとしては、評価部２の初期評価で用いられる初期評価用閾値リスト、評価部２の初期評価によって得られる初期閾値リスト、閾値調整画面を用いて生成される調整後閾値リストがある。図４の例では、ＩＤが“１”とＩＤが“２”の閾値リストが初期評価用閾値リスト、ＩＤが“１９”の閾値リストが初期閾値リスト、ＩＤが“２０”の閾値リストが調整後閾値リストであることを想定している。
【００２１】
初期評価用閾値リストは、音声認識モデル１０が認識対象とする各キーワードに共通の閾値を設定する閾値リスト、つまり、要素の値が全て同じ閾値リストである。各キーワードで共通とする要素の値が異なる複数の初期評価用リストが、閾値リストテーブル４０に登録される。
【００２２】
初期閾値リストは、各キーワードに対して個別に設定される閾値として、初期評価によって理想値が得られたときに用いられた初期評価用閾値リストの閾値を用いた閾値リストである。初期閾値リストは、評価部２による初期評価の結果をもとに生成され、閾値リストテーブル４０に登録される。
【００２３】
調整後閾値リストは、ユーザが閾値調整画面を用いて任意の認識対象語に対応する閾値を調整することにより得られる閾値リストである。調整後閾値リストは、閾値調整画面を用いた操作に応じて随時生成され、閾値リストテーブル４０に登録される。
【００２４】
図５は、評価結果テーブル５０の一例を示す図である。評価結果テーブル５０は、評価部２による評価結果が記録されるテーブルである。評価結果テーブル５０は、図５に示すように、各評価結果に対して一意に割り当てられたＩＤと、閾値リストＩＤと、キーワードＩＤと、正解率と、拒絶率と、誤認識キーワードとを含む。
【００２５】
閾値リストＩＤは、評価の際に音声認識部１に入力した閾値リストのＩＤである。キーワードＩＤは、評価対象となるキーワードのＩＤである。ここでは、１つの閾値リストに対してキーワードごとの音声認識部１による認識精度を評価するものとし、閾値リストとキーワードの組合せごとの評価結果が、評価結果テーブル５０の１つのエントリに記録される。
【００２６】
正解率は、評価対象となるキーワードを含む評価用音声に対する音声認識部１による認識結果がそのキーワードであった場合を正解とし、（正解回数／そのキーワードを含む評価用データの総数）×１００（％）で算出される。拒絶率は、音声認識部１の認識結果がキーワードなしであった場合を拒絶とし、（拒絶回数／評価対象となるキーワードを含む評価用データの総数）×１００（％）で算出される。これら正解率および拒絶率は、閾値リストを用いた音声認識部１によるキーワードに対する認識精度を表す評価値として、評価結果テーブル５０に記録される。
【００２７】
上述の正解と拒絶以外に、音声認識部１による認識結果が正解と異なるキーワードである場合、つまり他のキーワードを誤認識する場合がある。音声認識部１が正解と異なる他のキーワードを誤認識した場合、誤認識したキーワードごとに誤認識した回数が評価部２によりカウントされ、誤認識したキーワードのＩＤとそのキーワードを誤認識した回数の組が、評価結果テーブル５０の誤認識キーワードに配列として記録される。
【００２８】
図６は、理想値テーブル６０の一例を示す図である。理想値テーブル６０は、評価部２が初期評価によって算出したキーワードごとの理想値が記録されるテーブルである。理想値テーブル６０は、各キーワードに対して一意に割り当てられたＩＤと、各キーワードの理想値である正解率および拒絶率とを含む。正解率は、初期評価によって得られた正解率のうち、最も値が高いものが記録される。拒絶率は、最も高い正解率が得られた初期評価における拒絶率が記録される。
【００２９】
次に、図７のフローチャートに沿って、本実施形態の閾値調整装置の動作を説明する。図７は、本実施形態の閾値調整装置の動作例を示すフローチャートである。
【００３０】
まず、閾値調整装置に対するデータ登録が実施される（ステップＳ１０１）。ここで登録されるデータは、音声認識モデル１０および評価用データである。音声認識モデル１０の登録は、例えば、モデルのファイル名と認識対象となる各キーワードの文字列とを含むＪＳＯＮファイルをアップロードすることによって行う。モデルのファイルは予め装置内部に格納しておいてもよいし、別途アップロードする構成でもよい。登録された音声認識モデル１０は、音声認識部１が音声認識処理を行うために使用される。また、この音声認識モデル１０に含まれる認識対象の各キーワードが、キーワードテーブル２０に登録される。
【００３１】
また、評価用データの登録は、例えば、複数の評価用音声のファイル名と各評価用音声に含まれるキーワードの文字列とを含むＪＳＯＮファイルをアップロードすることによって行う。各評価用音声のファイルは予め装置内部に格納しておいてもよいし、別途アップロードする構成でもよい。アップロードした各評価用音声のファイル名とキーワードのＩＤが、評価用データテーブル３０に登録される。
【００３２】
データ登録が終了すると、評価部２が初期評価を行う（ステップＳ１０２）。初期評価では、評価部２は、各キーワードに共通の閾値を設定する初期評価用閾値リストと、評価用データテーブル３０に登録されている各評価用データの音声（評価用音声）を、初期評価用閾値リストにおける閾値を所定間隔で変更しながら音声認識部１に繰り返し入力する。初期評価用閾値リストの閾値は、例えば、０．１を開始値として０．９５まで０．０５刻みで変化させる。これらの初期評価用閾値リストは、音声認識部１に順次入力されるとともに閾値リストテーブル４０に登録される。
【００３３】
評価部２は、初期評価用閾値リストと評価用音声を音声認識部１に入力するたびに、その初期評価用閾値リストの閾値を用いた音声認識部１によるキーワードごとの認識精度を評価する。初期評価用閾値リストの閾値に対応するキーワードごとの評価は、音声認識部１が出力する認識結果を評価用データに含まれるキーワードと照合し、キーワードごとの正解率・拒絶率（評価値）を算出することで行われる。すなわち、評価部２は、以上のように閾値を変化させた初期評価用と評価用音声を音声認識部１に繰り返し入力しながら、音声認識部１が出力する評価用音声に対する認識結果に基づいて、キーワードごとの評価値を繰り返し算出する。これら評価部２による初期評価の評価結果は、閾値リストテーブル４０に登録された初期評価用閾値リストのＩＤとともに、評価結果テーブル５０に記録される。
【００３４】
以上の初期評価を実施した後、評価部２は、キーワードごとに、最良の正解率が得られた評価結果を評価結果テーブル５０から検索し、その正解率・拒絶率を理想値として、キーワードのＩＤとともに理想値テーブル６０に記録する。また、評価部２は、最良の正解率が得られたキーワードごとの閾値を要素とする閾値リストを初期閾値リストとして閾値リストテーブル４０に登録する。
【００３５】
次に、評価部２は、初期閾値リストを用いた評価を行う（ステップＳ１０３）。初期評価と同様に、評価部２は、閾値リスト（ここでは初期閾値リスト）と評価用音声を音声認識部１に入力し、音声認識部１が出力する認識結果をもとにキーワードごとの正解率・拒絶率（評価値）を算出して、評価結果を評価結果テーブル５０に記録する。
【００３６】
初期閾値リストを用いた評価が終了すると、表示制御部３が、ユーザが使用する端末の表示装置などの任意の表示装置に閾値調整画面を表示させ、この閾値調整画面を用いたユーザの操作に応じて閾値の調整を行う（ステップＳ１０４）。
【００３７】
まず、表示制御部３は、閾値調整画面として、例えば図８に示すような精度一覧画面７０を表示装置に表示させる。この精度一覧画面７０は、評価部２によって認識対象のキーワードの各々に対して算出された評価値を、理想値テーブル６０に記録された理想値と併せて提示する画面である。
【００３８】
図８に示す精度一覧画面７０では、グラフ表示７１により、音声認識部１に入力した閾値リスト（ここでは初期閾値リスト）での各キーワードの評価値を理想値と併せて提示している。グラフ表示７１は、横軸に認識対象の各キーワードが配置され、キーワードごとの評価値（正解率・拒絶率）と理想値（正解率・拒絶率）が、縦軸の該当する位置にプロットされている。図中の白の丸が初期閾値リストでの正解率、黒の丸が理想値としての正解率を示し、図中の白の三角が初期閾値リストでの拒絶率、黒の三角が理想値としての拒絶率を示している。これらキーワードごとの評価値は、初期閾値リストのＩＤとキーワードのＩＤをキーとして評価結果テーブル５０を検索することで取得される。また、キーワードごとの理想値は、キーワードＩＤをキーとして理想値テーブル６０を検索することで取得される。
【００３９】
あるキーワードにおいて、初期閾値リストでの評価値が理想値と一致しないのは、理想値では他のキーワードに対して同一の閾値を設定しているのに対し、初期閾値リストでは他のキーワードに異なる閾値を設定していることにより発生する、キーワード間の相互作用のためである。ユーザは、この精度一覧画面７０のグラフ表示７１を参照することにより、初期閾値リストでの評価値が理想値に対して低下しているキーワード（図８の例では「オン」）を容易に把握することができる。
【００４０】
精度一覧画面７０上でユーザが任意のキーワードをクリックして選択し、「誤検知解析」ボタン７２を押すと、閾値調整画面は、例えば図９に示す誤認識解析画面８０に遷移する。この誤認識解析画面８０は、精度一覧画面７０で選択されたキーワードについて、そのキーワードを含む評価用音声に対して音声認識部１が他のキーワードを認識結果として出力した回数、つまり、音声認識部１による誤認識の回数を、誤認識したキーワードごとに提示する画面である。
【００４１】
図９に示す誤認識解析画面８０では、グラフ表示８１により、誤認識したキーワードごとの誤認識の回数を提示している。グラフ表示８１は、横軸に認識対象の各キーワードが配置され、誤認識されたキーワードについては、その誤認識回数が縦軸の該当する位置まで伸びる棒グラフで表されている。誤認識されたキーワードの誤認識回数は、精度一覧画面７０上で選択されたキーワードのＩＤをキーとして評価結果テーブル５０を検索することで取得される。ユーザは、この誤認識解析画面８０を参照することにより、誤認識を防止するために閾値を下げるべきキーワード（図９の例では「音楽」）を容易に把握することができる。
【００４２】
誤認識解析画面８０上でユーザが「戻る」ボタン８２を押すと、閾値調整画面は、図８に示した精度一覧画面７０に戻る。そして、精度一覧画面７０上でユーザが任意のキーワードをクリックで選択し、「初期評価結果」ボタン７３を押すと、閾値調整画面は、例えば図１０に示す初期評価結果画面９０に遷移する。この初期評価結果画面９０は、選択されたキーワードについて、初期評価で用いた初期評価用閾値リストの閾値ごとに評価部２により算出された評価値（正解率・拒絶率）の一覧を提示する画面である。
【００４３】
図１０に示す初期評価結果画面９０では、グラフ表示９１により、初期評価で用いた初期評価用閾値リストの閾値ごとの評価値の一覧を提示している。グラフ表示９１は、横軸に初期評価で用いた各初期評価用閾値リストの閾値が配置され、それぞれの閾値に対応する正解率と拒絶率が縦軸の該当する位置まで伸びる棒グラフで表されている。図中の白の棒グラフが閾値ごとの正解率、黒の棒グラフが閾値ごとの拒絶率を示している。閾値ごとの正解率・拒絶率は、キーワードのＩＤと初期評価用閾値リストのＩＤをキーとして評価結果テーブル５０を検索することで取得される。ユーザは、この初期評価結果画面９０を参照することにより、閾値の調整可能範囲などを把握できる。正解率が十分に高く、拒絶率が十分に低い範囲（図１０の例では０．４５〜０．７５の範囲）であれば、閾値を調整してよいと考えられる。
【００４４】
初期評価結果画面９０上でユーザが設定したい閾値をクリックして選択し、「閾値設定」ボタン９２を押すと、精度一覧画面７０上で選択したキーワードに対する閾値が、初期評価結果画面９０上で選択した閾値に変更され、閾値調整画面は精度一覧画面７０に戻る。誤認識解析画面８０で把握した他のキーワードに対する閾値を変更する場合、ユーザは、そのキーワードを精度一覧画面７０上で選択し、初期評価結果画面９０上で閾値を選択して「閾値設定」ボタン９２を押すことにより、そのキーワードの閾値も変更できる。すなわち、ユーザは、表示装置に閾値調整画面として表示される精度一覧画面７０、誤認識解析画面８０、初期評価結果画面９０を用いて、各キーワードに設定する閾値を所望の値に適切に調整することができる。
【００４５】
閾値を変更したい全てのキーワードについて同様の操作を行った後、精度一覧画面７０上でユーザが「再評価」ボタン７４を押すと（ステップＳ１０５：Ｎｏ）、変更された閾値を反映した新たな閾値リストが調整後閾値リストとして閾値リストテーブル４０に登録される。また、閾値調整装置の動作フローはステップＳ１０３に戻り、評価部２によってその調整後閾値リストを用いた評価が再度行われ、評価結果が評価結果テーブル５０に記録される。その後、調整後閾値リストでの各キーワードの評価値を理想値と併せて提示する精度一覧画面７０が表示される。このとき、初期閾値リストでの各キーワードの評価値も消さずに提示してもよい。この場合は、初期閾値リストでの評価値と調整後閾値リストでの評価値とを例えば色分けなどによって明確に区別できるようにすることが望ましい。
【００４６】
ユーザは、認識対象の各キーワードについて適切な評価結果が得られるまで上述の操作を繰り返し、各キーワードについて適切な評価結果が得られたことを確認したら、精度一覧画面７０上で「終了ボタン」７５を押す（ステップＳ１０５：Ｙｅｓ）。これにより、閾値調整装置の一連の動作が終了する。このとき、最新の調整後閾値リストが、ステップＳ１０１で登録された音声認識モデル１０に対応する最適な閾値リストとして、指定された外部の配信先に配信されるようにしてもよい。また、最新の調整後閾値リストを、ステップＳ１０１で登録された音声認識モデル１０に対応する最適な閾値リストとして閾値調整装置の内部に保存され、必要に応じて外部からアクセスできるようにしてもよい。
【００４７】
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の閾値調整装置は、認識対象として予め定められた複数のキーワードの各々に対して個別に設定される閾値を要素とする閾値リストを用いた場合の認識精度を表す評価値をキーワードごとに算出し、算出した評価値を理想値と併せて提示する精度一覧画面７０を表示装置に表示させるようにしている。したがって、ユーザは、この精度一覧画面７０参照することで、閾値を変更すべきキーワードを容易に把握することができる。
【００４８】
また、本実施形態の閾値調整装置は、精度一覧画面７０上で任意のキーワードが選択されると、誤認識解析画面８０や初期評価結果画面９０を表示装置に表示させるようにしている。したがって、ユーザは誤認識解析画面８０を参照することで、選択したキーワードに対して誤認識されやすい他のキーワードを容易に把握できるとともに、初期評価結果画面９０を参照することで、選択したキーワードの閾値を変更可能な範囲を容易に把握することができ、閾値の変更を適切に実施することができる。
【００４９】
このように、本実施形態の閾値調整装置は、認識対象として予め定められた複数のキーワードの各々に対して適切な閾値を設定できるように、閾値の調整をサポートすることができる。
【００５０】
＜変形例１＞
上述の閾値調整装置は、閾値を自動調整する機能を備える構成としてもよい。図１１は、本変形例の閾値調整装置の機能的な構成例を示すブロック図である。本変形例の閾値調整装置は、図１に示した構成に対し、自動調整部４が付加された構成である。
【００５１】
本変形例では、初期閾値リストを用いた評価が終了すると、表示制御部３が、閾値調整画面として、まず、図１２に示すような精度一覧画面７０を表示装置に表示させる。この精度一覧画面７０は、図８に示した精度一覧画面７０に対し、「自動調整」ボタン７６が付加された構成である。この精度一覧画面７０上でユーザが「自動調整」ボタン７６を押すと、自動調整部４が起動する。
【００５２】
自動調整部４は、起動後、まず、精度一覧画面７０に提示される評価値と理想値との差分に基づいて、閾値を調整する対象となるキーワード（第１の認識対象語）を選択する。例えば、自動調整部４は、評価値が理想値から最も低下しているキーワードを選択する。そして、自動調整部４は、選択したキーワードに対応する初期評価結果画面９０に提示される閾値ごとの評価値の一覧に基づいて、選択したキーワードの正解率が低下せず拒絶率が上昇しない範囲で、そのキーワードに対応する閾値を上げる。
【００５３】
また、自動調整部４は、精度一覧画面７０上で選択したキーワードに対応する誤認識解析画面８０において最も誤認識の回数が多かったキーワードを、精度一覧画面７０上で選択したキーワードとともに閾値を調整するキーワード（第２の認識対象語）として選択する。そして、自動調整部４は、選択したキーワードに対応する初期評価結果画面９０に提示される閾値ごとの評価値の一覧に基づいて、選択したキーワードの正解率が低下せず拒絶率が上昇しない範囲で、そのキーワードに対応する閾値を下げる。
【００５４】
自動調整部４は、以上の動作を規定回数繰り返し、変更した閾値を反映した新たな閾値リストを調整後閾値リストとして閾値リストテーブル４０に登録する。その後、上述の実施形態と同様に、評価部２によってその調整後閾値リストを用いた評価が再度行われ、評価結果が評価結果テーブル５０に記録される。そして、調整後閾値リストでの各キーワードの評価値を理想値と併せて提示する精度一覧画面７０が表示される。
【００５５】
本変形例では、以上のように、閾値を調整すべきキーワードの選択やそのキーワードに対応する閾値の調整を自動で行うことができるため、ユーザの操作負担を軽減できるといった特有の効果が得られる。
【００５６】
＜変形例２＞
上述の実施形態では、音声認識モデル１０の認識対象となるキーワードのいずれかが評価用音声に含まれるものとしたが、キーワードが含まれていないノイズ音声、あるいは音声認識モデル１０の認識対象ではない他のワードが含まれるノイズ音声を評価用音声に加えてもよい。このようなノイズ音声を評価用音声に加える場合、評価用データテーブル３０の該当するエントリのキーワードＩＤには、該当なしを示す“ｎ／ａ”が記録される。このようなノイズ音声に対する音声認識部１の認識結果としては、キーワードなし（拒絶）が正しい結果である。
【００５７】
本変形例では、初期評価後の評価実施（図７のステップＳ１０３）において、キーワードを含む評価用音声に加えてノイズ音声を音声認識部１に入力し、認識対象となるキーワードごとに、音声認識部１がノイズ音声に対する認識結果としてそのキーワードを誤認識（誤反応）した回数を記録する。そして、図８に示した精度一覧画面７０において、キーワードごとの評価値および理想値と併せて、ノイズ音声で誤認識された回数を提示する。ユーザは、この精度一覧画面７０を参照することにより、ノイズ音声に対して誤認識されやすいキーワードを容易に把握することができ、そのキーワードを閾値の調整対象として選択し、上述の実施形態と同様に閾値の調整を適切に行うことができる。
【００５８】
以上のように、本変形例では、ノイズ音声に対して誤認識されやすいキーワードをユーザに的確に把握させることができ、閾値の調整をより効果的にサポートすることができるといった特有の効果が得られる。
【００５９】
＜変形例３＞
上述の実施形態では、閾値調整の対象として選択されたキーワードに対応する初期評価結果画面９０において、正解率が十分に高くかつ拒絶率が十分に低い範囲を、閾値の調整可能な範囲としている。しかし、この範囲はあくまで評価用データを用いた評価部２の評価結果をもとに導き出される範囲であり、この範囲の境界付近の閾値を調整後の閾値として設定すると、より多様な音声が入力される実際の音声認識においては、認識精度が低下することも想定される。
【００６０】
そこで、初期評価結果画面９０において、隣接する閾値での正解率が急激に低下している、あるいは隣接する閾値での拒絶率が急激に上昇しているような閾値を調整後の閾値として設定しようとした場合に、その初期評価結果画面９０上またはその画面から遷移する精度一覧画面７０上で、閾値調整によって精度が低下する虞があることを示す警告を表示してもよい。隣接する閾値での正解率が急激に低下している、あるいは隣接する閾値での拒絶率が急激に上昇しているとの判定は、例えば、隣接する閾値での正解率が１０％以上低下する、あるいは隣接する閾値での拒絶率が１０％以上上昇するといった条件を予め定めておけばよい。
【００６１】
なお、上述の変形例１で説明したように、自動調整部４が閾値の調整を自動で行う構成の場合においても、同様の警告表示を行うようにしてもよい。すなわち、自動調整部４が調整後の閾値として、隣接する閾値での正解率が急激に低下している、あるいは隣接する閾値での拒絶率が急激に上昇しているような閾値を選択した場合に、初期評価結果画面９０上または精度一覧画面７０上で警告を表示し、ユーザが閾値の調整を許可した場合に閾値の調整を行うようにしてもよい。
【００６２】
以上のように、本変形例では、却って認識精度の低下を招くような閾値の調整を行う虞がある場合に警告を表示するようにしているので、閾値の調整をより効果的にサポートすることができるといった特有の効果が得られる。
【００６３】
＜変形例４＞
上述の実施形態では、特定のキーワードのみに反応するボイストリガ音声認識への適用例を想定したが、ボイストリガ音声認識に限らず、連続した音声を文字に変換する連続音声認識に対して本発明を適用することもできる。連続音声認識においては、一般的な用語に加えて専門的な用語を認識可能にするためのユーザ単語辞書を追加することが可能である。そして、そのユーザ単語辞書に登録された各単語の認識されやすさ、認識されにくさを、閾値によって制御することができる。
【００６４】
したがって、連続音声認識に本発明を適用する場合は、ユーザ単語辞書に登録された各単語を上述のボイストリガ音声認識におけるキーワードと同様に扱い、上述の実施形態と同様の方法で、ユーザ単語辞書内の各単語に対して設定される閾値の調整を適切にサポートすることができる。
【００６５】
上述した実施形態や各変形例の閾値調整装置における、閾値調整画面に表示する評価値は、音声認識部１が出力する認識結果をもとに、キーワードテーブル２０に登録されたキーワードごとの正解率・拒絶率（評価値）を算出した各キーワードの評価値である。すなわち、複数の発話者が発話した音声の認識結果に対して、キーワードごとの評価値を表示しているため、複数の発話者の音声認識結果が混在したものが評価対象となっている。
しかし、評価値の表示方法についてはこれに限らず、例えば、発話者ごとの音声認識結果を対象に、キーワードごとの正解率・拒絶率（評価値）を算出し、発話者ごとの各キーワードの評価値を表示するようにしても良い。同様に誤認識解析画面においても、発話者ごとの誤認識キーワードを算出し、発話者ごとの誤認識キーワードおよびその出現回数を表示するようにしても良い。
【００６６】
＜補足説明＞
上述した実施形態や各変形例の閾値調整装置は、例えば、汎用のコンピュータを基本ハードウェアとして用いることで実現可能である。すなわち、上述の閾値調整装置の各部の機能は、汎用のコンピュータに搭載された１以上のプロセッサにプログラムを実行させることにより実現することができる。このとき、閾値調整装置は、上記のプログラムをコンピュータに予めインストールすることで実現してもよいし、コンピュータ読み取り可能な記憶媒体に上記のプログラムを記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータに適宜インストールすることで実現してもよい。
【００６７】
図１３は、上述の閾値調整装置のハードウェア構成例を示すブロック図である。閾値調整装置は、例えば図１３に示すように、ＣＰＵ（Central  Processing  Unit）などのプロセッサ１０１と、ＲＡＭ（Random  Access  Memory）やＲＯＭ（Read  Only  Memory）などのメモリ１０２と、ＨＤＤ（Hard  Disk  Drive）やＳＳＤ（Solid  State  Drive）などのストレージデバイス１０３と、液晶パネルなどの表示装置１０６やキーボードやポインティングデバイスなどの入力装置１０７といった機器を接続するための機器Ｉ／Ｆ１０４と、装置外部と通信を行う通信Ｉ／Ｆ１０５と、これら各部を接続するバス１０８とを備えた一般的なコンピュータとしてのハードウェア構成を有する。
【００６８】
上述の閾値調整装置を図１３に示すハードウェア構成により実現する場合、例えば、プロセッサ１０１がメモリ１０２を利用して、ストレージデバイス１０３などに格納されたプログラムを読み出して実行することにより、上述の音声認識部１、評価部２、表示制御部３、自動調整部４などの各部の機能を実現することができる。また、上述の音声認識モデル１０、キーワードテーブル２０、評価用データテーブル３０、閾値リストテーブル４０、評価結果テーブル５０、理想値テーブル６０は、例えばメモリ１０２やストレージデバイス１０３などに格納しておき、適宜読み出して処理に利用することができる。
【００６９】
なお、上述の閾値調整装置の各部の機能は、その一部または全部を、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field-Programmable  Gate  Array）などの専用のハードウェア（汎用のプロセッサではなく専用のプロセッサ）により実現することもできる。また、複数のプロセッサを用いて上述した各部の機能を実現する構成であってもよい。また、上述の閾値調整装置は、単一のコンピュータにより実現する場合に限らず、複数のコンピュータに機能を分散して実現することもできる。
【００７０】
以上、本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７１】
１  音声認識部
２  評価部
３  表示制御部
４  自動調整部
１０  音声認識モデル
２０  キーワードテーブル
３０  評価用データテーブル
４０  閾値リストテーブル
５０  評価結果テーブル
６０  理想値テーブル
【図１】
2020203275.tif 000003
【図２】
2020203275.tif 000004
【図３】
2020203275.tif 000005
【図４】
2020203275.tif 000006
【図５】
2020203275.tif 000007
【図６】
2020203275.tif 000008
【図７】
2020203275.tif 000009
【図８】
2020203275.tif 000010
【図９】
2020203275.tif 000011
【図１０】
2020203275.tif 000012
【図１１】
2020203275.tif 000013
【図１２】
2020203275.tif 000014
【図１３】
2020203275.tif 000015
【国際調査報告】
2020203275.tif 000016
2020203275.tif 000017
2020203275.tif 000018
2020203275.tif 000019