(57)【要約】【課題】人間が、音声認識ソフトに認識しやすい発声ができるようなトレーニングを実施する【解決手段】人間の発声が音声認識しにくい原因別に見える化、フィードバックする処理をコンピュータが実行するトレーニングシステム。【選択図】図１
2019191377.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが音声で操作するシステムにおいて、
周囲の雑音の大きさなどの周辺環境を表示する表示部と、
を有することを特徴とする音声トレーニングシステム。
【請求項２】
ユーザが音声で操作するシステムにおいて、
周囲の雑音の大きさなどの周辺環境を表示する表示部と、
予めユーザに指示するコマンド内容を記録するデータを格納する記憶部を有し、前記憶部からユーザに指示するコマンド内容を伝える出力部と
を有することを特徴とする音声トレーニングシステム。
【請求項３】
ユーザが音声で操作するシステムにおいて、
周囲の雑音の大きさなどの周辺環境を表示する表示部と、
ユーザの発した音声のデータを音声認識によって解析し、認識結果を伝える出力部と
を有することを特徴とする音声トレーニングシステム。
【請求項４】
ユーザが音声で操作するシステムにおいて、
周囲の雑音の大きさなどの周辺環境を表示する表示部と、
ユーザの発した音声のデータを音声認識によって解析し、認識結果を伝える出力部と
音声認識結果をログデータとして記録し、認識結果を集計し、ユーザに指示するコマンド内容を更新する解析部と
を有することを特徴とする音声トレーニングシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声によるシステム操作における精度向上に向けたトレーニングを支援する情報処理システムに関するものである。
【背景技術】
【０００２】
従来、システム操作をする場合はタイピングソフトなどによって操作の練習をする必要があった。
一方、近年は音声操作アプリが開発されてきている。しかし、これらのアプリを操作する際の練習アプリが無いため、上手く操作できない事が多く、ユーザの不満につながっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１７０７６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
音声による情報提供装置は、作業中に手を止める必要がなく、より作業が効率的になることが期待されている。また、音声によってこれらの情報提供装置が操作できれば、指示装置を手で操作しなくて良くなるため、より生産性が向上することが期待されている。
一方、音声による操作は、周囲の雑音などの環境、音声認識の精度、システムの設計品質など、様々な原因によって、利用者の意図した通りに動作しない事が多くなってしまう。
また、既存の技術では、英会話学習や、カラオケなど、人間が言語や歌の習得が未熟な状態を前提とした音声トレーニング技術は存在するが、言語の習得が十分なユーザに対して、「音声認識」に聞き取りやすい発声をトレーニングするシステムや装置は提供されていない。
【０００５】
音声による操作がうまくいかない原因の一つに、周囲の雑音がある。
周囲の雑音が大きいと、ユーザーの声が雑音によって認識されない事がある。更に、ユーザーが大きな声で発声してシステムに認識されたとしても、雑音が聞こえている間は音声認識側で認識状態が続いてしまい、認識するまで時間がかかる場合もある。このような周囲の環境がシステムに与える影響を知らないでいると、ユーザーはさらに大きな声で発声したり、繰り返し発声し、結果的に正しく認識されなくなってしまう。
また、人間にとっての音と、デバイスが検知する雑音が異なる場合もある。例えば、風の強い環境下では、マイクに風切り音が入ってしまい、人間にとってはそれほど大きな雑音がなくてもデバイスは大きな雑音を検知してしまうなどの条件がある。
【０００６】
また、音声による操作がうまくいかない原因に、音声認識の精度の原因もある。発声が不明瞭であったり、早すぎると、ユーザーの意図したテキストと、音声認識が認識したテキストが一致しない場合がある。例えば、「次」とユーザーが発声したつもりでも、音声認識が「杉」と認識してしまう場合がある。
【０００７】
また、システムの設計不良情報によって操作できない場合もある。例えば、設計者は次の手順に進むコマンドとして、「次」を設定していても、ユーザーは「進む」と発声する場合がある。この場合は、いくら周囲の雑音が問題なく、音声認識が正しく認識されていても、ユーザーの意図に沿った操作はできない。
そして、最大の問題は、ユーザの意図の沿った操作、反応をしなかった場合、ユーザーはこれらのどの原因によって問題があったのが分からない為、何度も失敗を繰り返してしまうことがある。
例えば、設計不良が原因の場合は、何度同じ言葉を大きな声や、明瞭な発声をしても意図した反応は得られない。
本発明は、以上のような欠点をなくすためになされたものである。
【課題を解決するための手段】
【０００８】
一つの案では、音声認識がユーザーの意図しない（／した）反応をした場合の結果とそれぞれの原因をユーザにわかりやすくする為、
・ユーザーが発声する前に、周囲の環境（周囲の雑音の音量など）を知らせる
・ユーザーが発声した後に、認識結果を表示する
・ユーザーが予想外のテキストを発声した事を記録し、システム設計者に伝え、特定条件に合致する場合はシステム設定に反映する
本発明は、以上の構成よりなる音声操作の精度向上を目的としたトレーニングシステムである。
【発明の効果】
【０００９】
（イ）ユーザーが、発声する前から周囲の環境を踏まえて、適正な音量で発声し、誤検知を低減させることができる。
（ロ）ユーザーが発声した結果、システムがどのように認識したかを理解し、対応策を考えることができる。
（ハ）設計不良に対してユーザーの実際の発声結果から設定を修正し、精度の向上に役立てることができる。
【図面の簡単な説明】
【００１０】
【図１】実施例に係る音声トレーニングシステムの構成を示す機能ブロック図
【図２】音声トレーニングシステム全体の構成の一例を示す図
【図３】指示データの構成例を示す図
【図４】音声トレーニングシステムが実行する処理手順の一例を説明するためのフローチャート
【図５】音声トレーニングシステムの第一の例を示す図
【図６】ユーザの音声を認識する処理手順の一例を説明するためのフローチャート
【図７】音声トレーニングシステムの第二の例を示す図
【図８】音声トレーニングシステムの第三の例を示す図
【図９】音声トレーニングシステムの第四の例を示す図
【図１０】ログデータの構成例を示す図
【図１１】ログデータ解析の一例を説明するためのフローチャート
【図１２】実施例の音声トレーニングシステムに係るコンピュータのハードウェア構成を示す図
【発明を実施するための形態】
【００１１】
以下に、本願の開示する音声操作の精度向上を目的としたトレーニングシステムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【００１２】
（トレーニング装置の機能構成）
図１は、音声操作の精度向上を目的としたトレーニングシステムに係るとレーニング装置の構成を示す機能ブロック図である。また、図２は、トレーニングシステム全体のシステム構成の一例を示す図である。トレーニング装置１００は、通信部１０１と、入力部１０２と、出力部１０３と、制御部１１０と、記憶部１２０とを有する。
【００１３】
通信部１０１は、例えばNIC(Network  Interface  Card)等によって実現される。通信部１０１は、ネットワークを介して後述するサーバー装置２００と有線または無線で接続され、サーバー装置２００との間で情報の通信を司る通信インターフェースである。
【００１４】
入力部１０２は、例えば、後述するマイクや画面等のユーザーインターフェースにおけるユーザが入力をする処理部である。入力された情報は制御部１１０のインプットとなる。
【００１５】
出力部１０３は、例えば、モニタ、スピーカー等の各種の出力媒体に、制御部１１０において生成された解析結果などを出力する処理部である。出力部１０２は、後述するユーザインタフェースにおける操作に応じて表示形式を変更してもよい。
【００１６】
実施例に係るトレーニング装置１００は、通信部１０１を介してサーバー装置２００と通信可能に接続される。
【００１７】
（記憶部の各構成）
記憶部１２０は、サーバ装置２００が生成した指示データ１２１と、ログデータ１２２を有する。記憶部１２０は、例えば、ＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）、フラッシュメモリ（Flash  Memory）などの半導体メモリ素子、ハードディスクや光ディスクなどの記憶装置に対応する。
【００１８】
指示データ１２１は、各指示のテキストデータを保持する。図３は、指示データのデータ構造の一例を示す図である。図３の例に示すように、指示データ１２１は、各指示IDに対して、指示テキストとサブ指示テキスト候補のデータが対応付けられる。例えば、指示データ１２１は、指示ID「next」に係る指示テキスト「次」と、サブ指示テキスト候補の「進む」、「次は」とを対応づける。なお、図３の例では、各項目の支持テキストデータが指示IDと関連づけられて記憶されている例を示したが、上記説明において互いに関連づけられた項目どうしの関係が保たれれば、データは他の記憶のされ方をしても構わない。
【００１９】
（制御部の各構成）
制御部１１０は、算出部１１１と、検出部１１２と、表示部１１３とを有する。制御部１１０の機能は、例えば、ＣＰＵ（Central  Processing  Unit）が所定のプログラムを実行することで実現することができる。また、制御部１１０の機能は、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）などの集積回路により実現することができる。
【００２０】
トレーニング装置１００は、ユーザに発声して欲しいテキストを出力部１０３や表示部１１３によって指示する。指示する方法は、出力部１０３を介した音声によっても、表示部１１３を介した画面によっても、またその両方を介しても良いとする。指示する内容は記憶部１２０に記録されている指示データ１２１によって提供される。
【００２１】
指示を受けたユーザが発した声は、入力部１０２のマイクによって音声データとして記録され、その音声データは解析部１１１の音声認識によってテキストに変換される。この変換処理は、ユーザーの発声の完了を待たずに実施しても良い。解析部１１１によって解析された結果はテキストデータに変換され、出力部１０３や表示部１１３によってユーザに提供される。提供されるデータは、記憶部１２０の指示データ１２１と比較し、合致度合いと合わせて提供しても良い。合致度合いを解析する方法については後述する。
【００２２】
表示部１１３では、トレーニング装置１００が検出する周辺の騒音の大きさも表示しても良い。トレーニング装置１００の入力部１０２のマイクによって検出された騒音は、検出部１１２による騒音の大きさによって表示部１１３を介して騒音の大きさを表示する。表示例については後述する。
【００２３】
解析部１１１によって解析された結果のテキストデータは、ログデータ１２２に記録される。これらの蓄積されたログデータによって、指示データ１２１が更新されても良い。指示データの更新処理については、後述する。
【００２４】
なお、解析部で実行される音声認識、音声合成は、Amazon EchoやGoogle Homeなどのサービスのように、ネットワークを介してクラウド上などで実行されても良い。
【００２５】
以下、制御部１１０が有する各部の詳細な処理について説明する。
【００２６】
図４は、音声トレーニングシステムが実行する処理手順の一例を説明するためのフローチャートである。
【００２７】
まず、音声トレーニングシステムは、表示部１１３によって、周辺環境を表示する（ステップS１０）。続けて、コマンド内容をユーザに指示する（ステップS１１）。指示に従ってユーザが発声した後、ユーザの音声を認識する（ステップS１２）。その後、認識結果を伝える（ステップS１３）。これらの処理は、１回だけでも良いし、数回繰り返しても良い。また、例えば、５回繰り返した後で、後述するようにコマンド内容のテキストを明示しない方法で更に5回繰り返しても良い。
【００２８】
図５は、音声トレーニングシステムの第一の例を示す図である。図５の例では、表示部１１３は、１０の領域で周辺環境の表示（ステップS１０）を実施する。周辺環境の音量の大きさに応じて領域１０の黒い表示部を増やしたり、減らしたりする事で、周辺環境の騒音の大きさを表示する。なお、表示する方法は、リアルタイムで表示を変化させても良いし、数秒単位で変化させても良い。また、表示する方法も、色を変化させたり、LEDランプなどで表示しても良い。
【００２９】
図５の例では、コマンド内容は、２０aおよび、２０bによって提供される（ステップS１１）。図５の例では、指示データ１２１の指示IDがnextに該当する、２０aには、指示する内容を象徴する印（右矢印）を表示し、２０bには、ユーザーに発声してほしいテキストの「次」を表示する。
【００３０】
ユーザが発声した音声を認識した結果は、図５の３０aに出力される。ユーザが発声した内容をテキストに変換された情報は、３０bに表示され、その結果、選択されたコマンドが３０cとして表示される。更に、そのプロセスの精度によって採点された点数を、３０dに出力しても良い。
【００３１】
図６は、ユーザの音声を認識する処理手順の一例を説明するためのフローチャートである。図６の例は、ステップS１２の処理に対応する。
【００３２】
ステップS１１のコマンド内容をユーザに指示をした後、音声トレーニングシステムは、入力を待ちます（ステップS２１）。ユーザから発声があると、入力された音声がテキストとして認識されるか確認します（ステップS２２）。テキストとして認識されると（ステップS２２Yes）、次の処理に進み（ステップS２３）、テキストとして認識されないと（ステップS２２No）、再び、入力を待ちます（ステップS２１）。
【００３３】
認識されたテキストは、指示データ１２１の指示テキストと合致したか確認されます（ステップS２３）。指示テキストは、ステップS１１で選択された指示IDに対応した指示テキストが使われます。図３のように、指示IDがnextであれば、指示テキストは「次」となります。認識されたテキストと、指示テキストが合致した場合（ステップS２３Yes）は、次のステップに進み（S２４）、１０点などの点数が採点結果として得られます。認識されたテキストと、指示テキストが合致しない場合（ステップS２３No）は、次のステップS２５へと進みます。
【００３４】
ステップS２５では、認識されたテキストが、指示データ１２１のサブ指示テキスト候補と合致したか確認されます（ステップS２５）。サブ指示テキスト候補は、ステップS１１で選択された指示IDに対応したサブ指示テキスト候補が使われます。図３のように、指示IDがnextであれば、サブ指示テキスト候補は「進む」、「次は」などとなります。認識されたテキストと、サブ指示テキスト候補が合致した場合（ステップS２５Yes）は、次のステップに進み（ステップS２６）、７点などの点数が採点結果として得られます。認識されたテキストと、サブ指示テキスト候補が合致しない場合（ステップS２５No）は、認識IDは「？」となり、次のステップにすすみ（ステップS２７）、５点などの点数が採点結果として得られます。
【００３５】
ステップS２３で認識されたテキストは、図５の３０bの領域に表示されます。ステップS２４、ステップS２６、ステップS２７で得られた採点結果は、図５の３０dの領域などに表示されます。
【００３６】
図７は、音声トレーニングシステムの第二の例を示す図である。図7の例では、表示部１１３は、１０の領域で周辺環境の表示（ステップS１０）を実施する。
【００３７】
図７の例では、コマンド内容は、２０aおよび、２０bによって提供される（ステップS１１）。図７の例では、指示データ１２１の指示IDがbackに該当する、２０aには、指示する内容を象徴する印（左矢印）を表示し、２０bには、ユーザーに発声してほしいテキストの「戻る」を表示する。
【００３８】
ユーザが発声した音声を認識した結果は、３０aに出力される。ユーザが発声した内容をテキストに変換された情報は、３０bに表示され、その結果、選択されたコマンドが３０cとして表示される。更に、そのプロセスの精度によって採点された点数を、３０dに出力しても良い。図７の例では、「戻る」と認識された事を３０bに表示し、その結果選択されたコマンドがbackとして３０cに表示され、採点結果が「１０」として３０dに表示されている。
【００３９】
図８は、音声トレーニングシステムの第三の例を示す図である。図８の例では、表示部１１３は、１０の領域で周辺環境の表示（ステップS１０）を実施する。
【００４０】
図８の例では、コマンド内容は、２０aおよび、２０bによって提供される（ステップS１１）。図８の例では、指示データ１２１の指示IDがrepeatに該当する、２０aには、指示する内容を象徴する印（回転矢印）を表示し、２０bには、ユーザーに発声してほしいテキストの「もう一回」を表示する。
【００４１】
ユーザが発声した音声を認識した結果は、３０aに出力される。ユーザが発声した内容をテキストに変換された情報は、３０bに表示され、その結果、選択されたコマンドが３０cとして表示される。更に、そのプロセスの精度によって採点された点数を、３０dに出力しても良い。図８の例では、「一回」と認識された事を３０bに表示し、その結果選択されたコマンドが「？」として３０cに表示され、採点結果が「５」として３０dに表示されている。
【００４２】
次に、ログデータを活用する処理を説明する。
【００４３】
図９は、音声トレーニングシステムの第四の霊を示す図である。図９の例では、表示部１１３は、コマンド内容は２０aにのみ表示され、２０bには表示されない。ユーザは「次」というテキストが表示されていないため、指示ID「next」に該当するテキストを自分で考えて発声する事となる。
【００４４】
ユーザが発声し、音声認識で認識した結果は、記憶部１２０のログデータ１２２として記録され、主にサーバー装置に集約される。図１０は、ログデータの構成例を示す図である。ログデータが記録された日時がDateTimeとして記録され、指示した指示IDを、「指示ID」、音声認識の結果を「Results」として記録する。
【００４５】
ログデータの解析処理の一例を図１１によって説明する。記録されたログデータを読み込み（ステップS３１）、指示ID毎に同一Results値の回数を集計します。図１０のログデータの例だと、指示ID「Next」だとResults「OK」が5回、Results「次」、「杉」、「ネクスト」がそれぞれ1回、指示ID「Back」だと、Results「戻って」が2回、Results「さっきの」が1回、指示ID「Repeat」ではResults「もう一回」が1回と集計される。
【００４６】
次に回数が一定値より大きいか判断される（ステップS３３）。回数が一定値より大きいと（ステップS３３Yes）、該当データをサブ指示テキスト候補へ追加し(ステップS３４)、一定値より大きくないと（ステップS３３No）、処理を完了する。例えば図１０のログデータの例で、一定値が４回だとすると、Results「OK」が5回と、一定値より大きいとして、「OK」が指示データ１２１のサブ指示テキスト候補へ追加される。
【００４７】
（実施例の効果）
音声トレーニングシステムは、周辺環境の雑音を、入力部１０２から入力された音声データを、解析部１１１によって解析し、周辺環境の雑音の大きさを表示する表示部１１３を有する。これにより、ノイズ音の入りやすさを確認し、ユーザが発声をする大きさの目安を確認することができる。これにより、音声認識がうまく発声を認識できなかった原因としても認識することができる。これにより、ユーザが不用に大きな声で支持を出す事を防ぐことができる。
【００４８】
音声トレーニングシステムは、入力部１０２から入力されたユーザの発声データを音声認識によって認識した結果を表示する表示部１１３を有する。これにより、ユーザがシステム設計者が想定していないテキストを発声する事を防ぐことができる。また、同じテキストを発声したつもりでも音声認識がどのように認識するかを確認することができる。これにより、ユーザが、ユーザが発声した内容を、音声認識システムがどのように認識したのかを確認することができる。
【００４９】
音声トレーニングシステムは、ユーザが発声した結果をログデータ１２２に記録する、記憶部１２０を有する。また、ログデータを集計することで、指示データ１２１の更新を行う。これにより、ユーザがどのように発声したかを確認できるようになる。これにより、システム設計者が想定していない発声テキストをシステムの候補データとして反映することができる。これにより、ログデータが蓄積されると、より多様なテキストを発声されても、システムが認識しやすくなる。
【００５０】
（トレーニング端末のハードウェア構成）
図１２は、実施例のトレーニング端末に係るコンピュータのハードウェア構成を示す図である。図１２が示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータ入力を受け付けたり、処理結果を表示する画面装置３０２と、マイク３０３、スピーカー３０４とを有する。また、コンピュータ３００は、他の装置と接続するためのインターフェース装置３０５と、補助記憶装置３０６と各種情報を一時記憶するメモリ装置３０７とを有する。また、コンピュータ３００は、他の装置と無線により接続するための無線通信装置３０８とを有する。また、各装置３０１〜３０８は、バス３０９に接続される。
【００５１】
補助記憶装置３０６には、図１に示した制御部１１０の解析部１１１、検出部１１２および表示部１１３の各処理部と同様の機能を有する表示プログラムが記憶される。
また、補助記憶装置３０６には、トレーニングプログラムを実現するための各種データが記憶される。
【００５２】
ＣＰＵ３０１は、補助記憶装置３０６に記憶された各プログラムを読み出して、メモリ装置３０７に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ３００を、図１に示した制御部１１０の解析部１１１、検出部１１２および表示部１１３として機能させることができる。
【００５３】
なお、上記のトレーニング処理プログラムは、必ずしも補助記憶装置３０６に記憶されている必要はない。例えば、コンピュータ３００が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ３００が読み出して実行するようにしてもよい。コンピュータ３００がインタフェース装置３０５を介して読み取り可能な記憶媒体は、例えば、ＣＤ−ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal  Serial  Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ（Local  Area  Network）等に接続された装置にこのプログラムを記憶させておき、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。
【００５４】
以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の容姿の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００５５】
１００          トレーニング装置
１０１          通信部
１０２          入力部
１０３          出力部
１１０          制御部
１１１          解析部
１１２          検出部
１１３          表示部
１２０          記憶部
１２１          指示データ
１２２          ログデータ
２００          サーバー装置
【図１】
2019191377.tif 000003
【図２】
2019191377.tif 000004
【図３】
2019191377.tif 000005
【図４】
2019191377.tif 000006
【図５】
2019191377.tif 000007
【図６】
2019191377.tif 000008
【図７】
2019191377.tif 000009
【図８】
2019191377.tif 000010
【図９】
2019191377.tif 000011
【図１０】
2019191377.tif 000012
【図１１】
2019191377.tif 000013
【図１２】
2019191377.tif 000014