(57)【要約】【課題】計算量の増大を抑制しつつ、会話の用件について高精度な音声認識結果を取得する。【解決手段】本発明に係る音声認識装置１０は、複数の話者による会話の音声データに対して、第１の方式により音声認識処理を行い、複数の話者それぞれの発話区間ごとの音声認識結果を出力する第１の音声認識部１１と、第１の音声認識部１１による音声認識処理の結果に基づき、用件区間を判定する判定部１３と、用件区間であると判定された区間の音声データに対して、第１の方式よりも高精度の第２の方式により音声認識処理を行い、音声認識結果を用件テキストとして出力する第２の音声認識部１４と、を備える。【選択図】図１
2020126185.tif 000002
【特許請求の範囲】
【請求項１】
複数の話者による会話の音声データに対して、第１の方式により音声認識処理を行い、前記複数の話者それぞれの発話区間ごとの音声認識結果を出力する第１の音声認識部と、
前記第１の音声認識部による音声認識処理の結果に基づき、前記会話の用件を含む発話の区間である用件区間を判定する判定部と、
前記判定部により用件区間であると判定された区間の音声データに対して、前記第１の方式よりも高精度の第２の方式により音声認識処理を行い、音声認識結果を用件テキストとして出力する第２の音声認識部と、を備える音声認識装置。
【請求項２】
請求項１に記載の音声認識装置において、
前記判定部は、前記発話または前記用件区間に含まれるキーワードおよび該キーワードの類義語に基づき、前記用件のドメインを判定し、
前記第２の音声認識部は、前記第２の方式として、前記判定部により判定された前記用件のドメインに応じた音声認識モデルを用いた音声認識方式、または、前記発話の音響特徴または前記第１の音声認識部による音声認識の信頼度に応じた音声認識モデルを用いた音声認識方式を用いる、音声認識装置。
【請求項３】
入力されたテキストを検索クエリとして検索を行う検索装置であって、
請求項１または２に記載の第２の音声認識部から出力された用件テキストと、前記発話を含む会話の識別子とが対応付けられた検索インデックスを前記検索クエリに基づき検索し、前記検索クエリを含む、または、前記クエリと類似する用件テキストに対応付けられた識別子を出力する、検索装置。
【請求項４】
音声認識装置において実行される音声認識方法であって、
複数の話者による会話の音声データに対して、第１の方式により音声認識処理を行い、前記複数の話者それぞれの発話区間ごとの音声認識結果を出力するステップと、
前記第１の方式による音声認識処理の結果に基づき、前記会話の用件を含む発話の区間である用件区間を判定するステップと、
前記用件区間であると判定された区間の音声データに対して、前記第１の方式よりも高精度の第２の方式により音声認識処理を行い、音声認識結果を用件テキストとして出力するステップと、を含む音声認識方法。
【請求項５】
請求項４に記載の音声認識方法において、
前記第１の方式は、ＨＭＭ（Hidden Markov Model）方式またはＨＭＭ−ＤＮＮ（Deep Neural Network）方式を用いた音声認識方式であり、
前記第２の方式は、ＣＮＮ−ＮＩＮ（Convolutional Neural Network and Network In Network）方式を用いた音声認識方式である、音声認識方法。
【請求項６】
入力されたテキストを検索クエリとして検索を行う検索装置において実行される検索方法であって、
請求項３または４に記載の第２の方式により出力された用件テキストと、前記発話を含む会話の識別子とが対応付けられた検索インデックスを前記検索クエリに基づき検索するステップと、
前記検索クエリを含む、または、前記検索クエリと類似する用件テキストに対応付けられた識別子を出力するステップと、を含む検索方法。
【請求項７】
コンピュータを請求項１または２に記載の音声認識装置として機能させるためのプログラム。
【請求項８】
コンピュータを請求項３に記載の検索装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識装置、検索装置、音声認識方法、検索方法およびプログラムに関する。
【背景技術】
【０００２】
コンタクトセンタあるいは窓口などでの応対担当者による顧客への対応などの場面において、応対担当者と顧客との間で行われる会話を分析し、会話の音声を聞かずに会話の内容を確認したり、会話の内容から所望の情報を抽出したりすることが求められている。このような会話の分析のために、会話の音声をテキストに書き起こす音声認識処理が行われることがある。
【０００３】
従来、音声認識処理に用いる音響スコアの計算方式としては、隠れマルコフモデル（ＨＭＭ：Hidden Markov Model）あるいはＨＭＭ−ＤＮＮ（Deep Neural Network）（例えば、非特許文献１参照）などの方式が用いられていた。ＨＭＭあるいはＨＭＭ−ＤＮＮなどの音響スコア計算方式を用いた音声認識方式は、比較的計算処理が小さく、コンタクトセンタのような複数の会話に対して音声認識処理を実行する必要がある環境において、比較的少ない処理ユニット数で音声認識処理を実行することが可能である。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】"Deep Neural Networks for Acoustic Modeling in Speech Recognition: The Shared Views of Four Research Groups," Geoffrey Hinton, Li Deng, Dong Yu, George E. Dahl, Abdel-rahman Mohamed, Navdeep Jaitly, Andrew Senior, Vincent Vanhoucke, Patrick Nguyen, Tara N. Sainath, and Brian Kingsbury, IEEE Signal Processing Magazine, Volume 29, Issue 6, pp. 82-97, November 2012.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来より用いられている、ＨＭＭあるいはＨＭＭ−ＤＮＮなどの音響スコア計算方式を用いた音声認識方式によれば、会話の各発話の冒頭からデコード処理を開始して、発話の終了後、速やかに音声認識の結果が得られる。しかしながら、この方式では、十分な音声認識の精度が得られないという問題がある。特に、コンタクトセンタにおける顧客側の音声について、回線ノイズおよび顧客以外の騒音などのノイズが混入することで、音声認識の精度が低下する。
【０００６】
電話音声の音声認識を行う際に問題となるノイズなどにより強い、ＣＮＮ−ＮＩＮ（Convolutional Neural Network and Network In Network）などの音響スコア計算方式を用いた音声認識方式を使うことで、より高精度な音声認識結果を得ることが期待できる。しかしながら、この方式では、従来より用いられていた音声認識方式よりも、多くの計算量が必要となるため、会話の全ての音声に対して音声認識処理を実行すると、必要な計算資源が増大するという問題がある。
【０００７】
上記のような問題点に鑑みてなされた本発明の目的は、計算量の増大を抑制しつつ、会話の用件について高精度な音声認識結果を取得することができる音声認識装置、検索装置、音声認識方法、検索方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明に係る音声認識装置は、複数の話者による会話の音声データに対して、第１の方式により音声認識処理を行い、前記複数の話者それぞれの発話区間ごとの音声認識結果を出力する第１の音声認識部と、前記第１の音声認識部による音声認識処理の結果に基づき、前記会話の用件を含む発話の区間である用件区間を判定する判定部と、前記判定部により用件区間であると判定された区間の音声データに対して、前記第１の方式よりも高精度の第２の方式により音声認識処理を行い、音声認識結果を用件テキストとして出力する第２の音声認識部と、を備える。
【０００９】
また、上記課題を解決するため、本発明に係る検索装置は、入力されたテキストを検索クエリとして検索を行う検索装置であって、上述した第２の音声認識部から出力された用件テキストと、前記発話を含む会話の識別子とが対応付けられた検索インデックスを前記検索クエリに基づき検索し、前記検索クエリを含む、または、前記クエリと類似する用件テキストに対応付けられた識別子を出力する。
【００１０】
また、上記課題を解決するため、本発明に係る音声認識方法は、音声認識装置において実行される音声認識方法であって、複数の話者による会話の音声データに対して、第１の方式により音声認識処理を行い、前記複数の話者それぞれの発話区間ごとの音声認識結果を出力するステップと、前記第１の方式による音声認識処理の結果に基づき、前記会話の用件を含む発話の区間である用件区間を判定するステップと、前記用件区間であると判定された区間の音声データに対して、前記第１の方式よりも高精度の第２の方式により音声認識処理を行い、音声認識結果を用件テキストとして出力するステップと、を含む。
【００１１】
また、上記課題を解決するため、本発明に係る検索方法は、入力されたテキストを検索クエリとして検索を行う検索装置において実行される検索方法であって、上述した第２の方式により出力された用件テキストと、前記発話を含む会話の識別子とが対応付けられた検索インデックスを前記検索クエリに基づき検索するステップと、前記検索クエリを含む、または、前記検索クエリと類似する用件テキストに対応付けられた識別子を出力するステップと、を含む。
【００１２】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを上述した音声認識装置として機能させる。
【００１３】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを上述した検索装置として機能させる。
【発明の効果】
【００１４】
本発明に係る音声認識装置、検索装置、音声認識方法、検索方法およびプログラムによれば、計算量の増大を抑制しつつ、会話の用件について高精度な音声認識結果を取得することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る音声認識装置の構成例を示す図である。
【図２】図１に示す音声認識装置の動作の一例を示すフローチャートである。
【図３】図１に示す検索装置の動作の一例を示すフローチャートである。
【図４】図１に示す処理管理部による、判定部からの問い合わせを受けた際の動作の一例を示すフローチャートである。
【図５】図１に示す処理管理部による、第２の音声認識部からの問い合わせを受けた際の動作の一例を示すフローチャートである。
【図６】図１に示す処理管理部による、判定部から完了通知を受けた際の動作の一例を示すフローチャートである。
【図７】図１に示す処理管理部による、第２の音声認識部から完了通知を受けた際の動作の一例を示すフローチャートである。
【図８】図１に示す処理管理部による、用件区間判定タイマーのタイムアウトを検出した際の動作の一例を示すフローチャートである。
【図９】図１に示す処理管理部による、音声認識タイマーのタイムアウトを検出した際の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【００１７】
図１は、本発明の一実施形態に係る音声認識装置１０の構成例を示す図である。本実施形態に係る音声認識装置１０は、コンタクトセンタあるいは窓口などでの応対担当者と顧客との会話のような、複数の話者による会話の音声データに対して音声認識処理を行い、会話における各話者の発話を書き起こしたテキストを音声認識処理の結果として出力する。また、図１においては、本実施形態に係る検索装置２０を示している。検索装置２０は、音声認識装置１０による音声認識処理により得られたテキストから、検索クエリとして入力されたテキストと一致または類似するテキストを検索する。以下では、複数の話者による会話として、コンタクトセンタにおける応対担当者（オペレータ）と顧客とによる通話を例として説明する。
【００１８】
音声認識装置１０の構成について説明する。
【００１９】
図１に示す音声認識装置１０は、第１の音声認識部１１と、処理管理部１２と、判定部１３と、第２の音声認識部１４と、記憶部１５−１７とを備える。図１において、実線矢印はデータあるいは情報の流れを示し、点線矢印は各構成要件間での通知などの流れを示す。
【００２０】
音声認識装置１０には、オペレータと顧客との会話の音声データが入力される。より具体的には、音声認識装置１０には、オペレータと顧客との会話における、オペレータの発話の音声データ（オペレータ音声データ）と顧客の発話の音声データ（顧客音声データ）とが分離して入力される。入力された会話の音声データ（オペレータ音声データおよび顧客音声データ）は、第１の音声認識部１１に入力されるとともに、その会話を識別可能な識別子（会話ＩＤ）に対応付けて記憶部１５に記憶される。
【００２１】
第１の音声認識部１１は、入力されたオペレータ音声データおよび顧客音声データに対する音声認識処理を行い、発話の内容を示す認識結果テキストを生成する。具体的には、第１の音声認識部１１は、入力された音声データから発話が行われた音声の区間を検出し、その区間の音声データに対して音声認識処理を行い、発話の内容をテキスト化した認識結果テキストを出力する。第１の音声認識部１１は、会話の進行に伴い徐々に得られる音声データ（顧客音声データおよびオペレータ音声データ）に対する音声認識処理を逐次的に進め、発話の始端から終端と判定された区間（発話区間）ごとに、音声認識処理の結果である認識結果テキストを出力する。第１の音声認識部１１は、発話区間の認識結果テキストを、その発話区間を含む会話の会話ＩＤに対応付けて、記憶部１５に記憶させる。
【００２２】
第１の音声認識部１１は、音声認識モデル１１ａと、音声認識モデル１１ｂとを備える。第１の音声認識部１１は、顧客音声データに対して、音声認識モデル１１ａを用いて音声認識処理を行い、顧客による発話の内容を示す認識結果テキストである顧客テキストを生成する。また、第１の音声認識部１１は、オペレータ音声データに対して、音声認識モデル１１ｂを用いた音声認識処理を行い、オペレータによる発話の内容を示す認識結果テキストであるオペレータテキストを生成する。
【００２３】
音声認識モデル１１ａ，１１ｂは、音声認識結果にある程度の正確性を保持しつつ、事業上、合理的な計算設備量で、コンタクトセンタに架電される呼量に対して同時に全ての音声の音声認識処理が可能であるという基準を満たす音響モデルを用いることが好ましい。このような音響モデルとしては、例えば、音響スコアの計算にＨＭＭ−ＤＮＮ方式を用いた音声認識モデルを用いることができるが、これに限られるものではなく、例えば、ＨＭＭ方式を用いた音声認識モデルを用いてもよい。
【００２４】
このように、第１の音声認識部１１は、複数の話者による会話の音声データに対して、ＨＭＭ方式あるいはＨＭＭ−ＤＮＮ方式などを用いた音声認識方式（第１の方式）により音声認識処理を行い、複数の話者それぞれの発話区間ごとの音声認識結果（認識結果テキスト）を出力する。
【００２５】
なお、図１においては、第１の音声認識部１１は、音声認識モデル１１ａ，１１ｂを用いて、話者ごとに音声認識処理を行い、顧客テキストおよびオペレータテキストを出力する例を示しているが、本発明はこれに限られるものではない。第１の音声認識部１１は、話者を識別可能な１つの音声認識モデルを用いて音声認識処理を行い、顧客テキストおよびオペレータテキストを出力してもよい。
【００２６】
処理管理部１２は、判定部１３および第２の音声認識部１４による処理を管理する。具体的には、処理管理部１２は、記憶部１５に、会話ＩＤで識別される会話ごとに、後述する判定部１３による用件区間の判定、および、後述する第２の音声認識部１４による音声認識処理が完了したか否かを記憶させる。そして、処理管理部１２は、判定部１３からの問い合わせに応じて、用件区間の判定が完了してない会話の会話ＩＤを、問い合わせを受けた判定部１３に通知する。また、処理管理部１２は、第２の音声認識部１４からの問い合わせに応じて、第２の音声認識部１４による音声認識処理が完了してない会話の会話ＩＤを、問い合わせを受けた第２の音声認識部１４に通知する。処理管理部１２の動作の詳細については後述する。
【００２７】
判定部１３は、処理管理部１２から通知された会話ＩＤに対応付けて記憶部１５に記憶されている、認識結果テキストを取得して、あるいは、認識結果テキストおよび音声データを取得して、会話ＩＤで識別される会話における用件を含む発話の区間である用件区間を判定する。すなわち、判定部１３は、少なくとも第１の音声認識部１１による音声認識処理の結果に基づき、会話の用件を含む発話の区間である用件区間を判定する。
【００２８】
判定部１３は、会話の用件区間に関する情報である用件区間情報を、その会話の会話ＩＤに対応付けて記憶部１６に記憶させる。用件区間情報は、例えば、会話の冒頭からの用件区間の始端と終端とを示す時刻の組み合わせの情報である。また、用件区間情報は、会話の中の時間的な区間情報に置き換えられた情報であってもよい。すなわち、用件区間情報は、会話における何番目の発話の認識結果テキストに用件が含まれていたかを示す情報であってもよい。この場合、会話の用件を含む認識結果テキストが生成された区間の区間情報を別途、第１の音声認識部１１による処理結果から取り出してもよい。
【００２９】
判定部１３は、例えば、予め設定された、抽出対象の用件に対応するキーワードあるいはその類義語が各発話の認識結果テキストに含まれるか否かにより、用件区間の判定を行うことができる。また、判定部１３は、複数の話者（顧客とオペレータ）による会話の構造に基づき、用件区間を判定してもよい。具体的には、判定部１３は、会話における発話の中から、用件を確認するための発話である用件確認発話を検出する。顧客とオペレータとの会話の場合、顧客の問い合わせたい内容（用件）を確認するための用件確認発話は、オペレータによる発話である。判定部１３は、オペレータによる用件確認発話とは別の話者（顧客）による発話であって、少なくとも用件確認発話の直前の発話を用件発話であると判定してもよい。
【００３０】
一般に、顧客の問い合わせに対して、オペレータは顧客の問い合わせ内容を確認した上で、顧客の問い合わせに答えることが多い。そのため、オペレータの用件確認発話には、問い合わせ内容を確認するための特定の語句（「〜ですね。」、「〜ますね。」など）が含まれることが多いという傾向がある。また、顧客の問い合わせ内容を確認するために、オペレータは顧客の問い合わせ内容を繰り返した上で、顧客の問い合わせに答えることが多い。そのため、オペレータの用件確認発話には、顧客の用件発話と共通の語句が多く含まれていることが多いという傾向がある。
【００３１】
判定部１３は、これらの傾向に基づき、オペレータの発話が用件確認発話であるか否かを判定する。判定部１３は、ディープラーニング、サポートベクタマシンなどの種々の手法を用いた機械学習により、オペレータの発話が用件確認発話であるか否かを判定してもよい。なお、用件確認発話は用件発話と比べて、パターンが決まっている。そのため、用件確認発話の判定は比較的容易である。
【００３２】
判定部１３は、用件確認発話の判定結果に基づき、顧客の発話が用件発話であるか否かを判定する。具体的には、判定部１３は、用件確認発話の話者（オペレータ）とは異なる話者（顧客）の発話であって、用件確認発話の直前の発話を用件発話であると判定する。
【００３３】
判定部１３は、会話の用件区間の判定を完了すると、用件区間の判定を完了したことを処理管理部１２に通知する。通常、判定部１３は、会話の全体に対して、用件区間であるか否かの判定を行うが、予め設定した用件を含む用件区間を検出した時点で処理を終了してもよい。
【００３４】
第２の音声認識部１４は、判定部１３により用件区間であると判定された区間の音声データに対して、第１の音声認識部１１による音声認識方式（第１の方式）よりも高精度の音声認識方式（第２の方式）により音声認識処理を行い、音声認識結果を、用件区間の発話の内容を示す用件テキストとして出力する。
【００３５】
具体的には、第２の音声認識部１４は、処理管理部１２から通知された会話ＩＤに対応付けて記憶部１６に記憶されている用件区間情報を取得する。また、第２の音声認識部１４は、取得した用件区間情報に示される用件区間の音声データを記憶部１５から取得し、取得した音声データに対する音声認識処理を行い、用件区間の発話の内容を示す用件テキストを生成する。第２の音声認識部１４は、処理管理部１２から通知された会話ＩＤに対応付けて、生成した用件テキストを記憶部１７に記憶させる。第２の音声認識部１４は、用件区間情報に示される用件区間の発話の音声認識処理が完了すると、通知された会話ＩＤで識別される会話の用件区間の発話の音声認識処理が完了したことを処理管理部１２に通知する。
【００３６】
第２の音声認識部１４による音声認識方式は、上述したように、第１の音声認識部１１による音声認識方式よりも高精度な方式である。例えば、第２の音声認識部１４は、オペレータ側とは異なり制御することが難しい、送話器に混入する顧客自身の音声以外のノイズ、あるいは、電話回線を通過する際に重畳される電気的なノイズに強い音響スコアの計算が可能な音声認識モデルを用いて音声認識処理を行う。このような音声認識モデルとしては、例えば、音響スコアの計算にＣＮＮ−ＮＩＮ方式を用いた音声認識モデルを用いることができる。ＣＮＮ−ＮＩＮ方式による音響スコアの計算の詳細については、例えば、下記の参考文献１に記載されているので、記載を省略する。
［参考文献１］
"THE NTT CHIME-3 SYSTEM: ADVANCES IN “SPEECH ENHANCEMENT AND RECOGNITION FOR MOBILE MULTI-MICROPHONE DEVICES", Takuya Yoshioka, Nobutaka Ito, Marc Delcroix, Atsunori Ogawa, Keisuke Kinoshita, Masakiyo Fujimoto, Chengzhu Yu, Wojciech J. Fabian, Miquel Espi, Takuya Higuchi, Shoko Araki, and Tomohiro Nakatani, in Proceedings of the IEEE Workshop on Automatic Speech Recognition and Understanding (ASRU), pp. 436-443, December 2015.
【００３７】
なお、音響スコアの計算方法による頑健性の向上だけでなく、言語スコアの計算方法の改良により顧客側の音声データの認識性能の向上を図ることも可能である。従来、言語スコアの計算においては、数単語程度の単語連鎖しか考慮されていなかった。ここで、考慮する単語連鎖数に制限が無い言語スコア計算方式を用いることで、より高い認識性能を実現することができる。上述したような言語スコアの計算は、例えば、ＲＮＮ（Recurrent Neural Network）を用いた言語モデルを採用することで実現可能である（下記参考文献２参照）。
［参考文献２］
“音声認識のための深層学”, 久保陽太郎, 人工知能29巻1号,pp 62-70, 2014年1月”
【００３８】
第２の音声認識部１４は、例えば、上述したＣＮＮ−ＮＩＮ方式を用いた音声認識モデルにより音響スコアの計算と、ＲＮＮを用いた言語モデルによる言語スコアの計算とを組み合わせて音声認識を行ってもよい。
【００３９】
また、判定部１３は、用件に加え、発話または用件区間に含まれるキーワードや類義語などに基づいて発話または用件のドメインを判定・出力し、第２の音声認識部１４は、判定部１３から出力されたドメインに対応する音声認識モデルを適用してもよい。また、顧客の発話の音声データにおける顧客自身の音声以外の音声や背景音・騒音などの音響特徴、第１の音声認識部１１の信頼度などを利用して、第２の音声認識部１４は、より音声認識精度が向上可能な音声認識モデルを適用してもよい。
【００４０】
すなわち、第２の音声認識部１４は、音声認識方式（第２の方式）として、判定部１３により判定された用件のドメインに応じた音声認識モデルを用いた音声認識方式を用いてもよい。また、第２の音声認識部１４は、発話の音響特徴または第１の音声認識部１１による音声認識の信頼度に応じた音声認識モデルを用いた音声認識方式を用いてもよい。
【００４１】
会話の用件は、その会話を分析する上で非常に重要となる。本実施形態においては、判定部１３により用件区間と判定された区間の発話に対して、第２の音声認識部１４による高精度な音声認識処理が行われるので、会話の用件について高精度な音声認識結果を取得することができる。また、一般に、精度の高い音声認識方法ほど、計算量が大きくなる傾向がある。本実施形態においては、用件区間と判定された区間に対してのみ、第２の音声認識部１４による音声認識処理が行われるので、会話全体について高精度な音声認識を行う場合と比べて、計算量の増大を抑制することができる。その結果、ＣＰＵ（Central Processing Unit）およびメモリなどの計算資源の削減を図ることができる。
【００４２】
次に、検索装置２０について説明する。
【００４３】
検索装置２０は、文章、フレーズなどのテキストが検索クエリとして入力される。検索装置２０は、記憶部１７に記憶されている、第２の音声認識部１４による用件区間の発話の音声認識処理により得られた用件テキストと、その発話を含む会話の会話ＩＤとが対応付けられた検索インデックスを、検索クエリに基づき検索する。そして、検索装置２０は、検索クエリを含む（部分一致または完全一致する）、または、検索クエリと類似する用件テキストに対応付けられた会話ＩＤを出力する。検索装置２０は、例えば、予め設定された単語ごとの意味ベクトルに基づいて、検索クエリのテキストに含まれる単語と、用件テキストに含まれる単語とを用いて、意味の類似度を算出する。そして、検索装置２０は、例えば、検索クエリのテキストとの類似度が所定値以上の用件テキストを、検索クエリと類似する用件テキストとして抽出する。例えば、単語と、その単語の概念を表す単語概念ベクトルとの組の集合である単語概念ベースにおける単語概念ベクトルを単語毎の意味ベクトルとして用いることができる。用件テキストに含まれる各単語の単語概念ベクトルを合成して算出することで用件テキストの意味ベクトルを算出し、検索クエリに含まれる各単語の単語概念ベクトルを合成して算出することで、検索クエリの意味ベクトルを算出し、意味の類似度は、例えば、その２つの意味ベクトルのコサイン類似度として算出することができる。意味ベクトルの算出および意味の類似度の算出の詳細については、例えば、下記の参考文献３に記載されているので、記載を省略する。
［参考文献３］
特開２０１７−０７２８８４号公報
【００４４】
検索装置２０の検索対象は、用件区間と判定された発話について、第２の音声認識部１４による高精度な音声認識処理により得られた用件テキストに限られる。したがって、検索クエリに対して適合度の高い用件の発話を特定することが可能である。検索クエリを入力した検索装置２０の利用者は、検索装置２０から出力された会話ＩＤを元に、記憶部１５に記憶されている、その会話ＩＤで識別される会話の音声データあるいはその会話の第１の音声認識部１１による音声認識結果などを読み出すことで、検索クエリに対応する顧客の用件に関する会話の分析などを行うことができる。
【００４５】
次に、音声認識装置１０および検索装置２０の動作について説明する。
【００４６】
図２は、本実施形態に係る音声認識装置１０の動作の一例を示すフローチャートであり、音声認識装置１０において実行される音声認識方法について説明するための図である。
【００４７】
第１の音声認識部１１は、入力された複数の話者による会話の音声データに対して、第１の方式（例えば、ＨＭＭ方式あるいはＨＭＭ−ＤＮＮ方式などを用いた音声認識方式）により音声認識を行い、複数の話者それぞれの発話区間ごとの音声認識結果を出力する（ステップＳ１１）。
【００４８】
判定部１３は、第１の方式による音声認識処理の結果に基づき、会話の用件を含む発話の区間である用件区間を判定する（ステップＳ１２）。
【００４９】
第２の音声認識部１４は、用件区間であると判定された区間の音声データに対して、第１の方式よりも高精度の第２の方式（例えば、ＣＮＮ−ＮＩＮ方式などを用いた音声認識方式）により音声認識処理を行い、音声認識結果を用件テキストとして出力する（ステップＳ１３）。
【００５０】
図３は、検索装置２０の動作の一例を示すフローチャートであり、検索装置２０において実行される検索方法について説明するための図である。
【００５１】
検索装置２０は、フレーズ、文章などの検索クエリの入力を受け付ける（ステップＳ２１）。
【００５２】
次に、検索装置２０は、用件区間の発話に対する第２の方式による音声認識処理により得られた用件テキストと、その発話を含む会話の会話ＩＤ（識別子）とが対応付けられた検索インデックスを、検索クエリに基づき検索する（ステップＳ２２）。
【００５３】
次に、検索装置２０は、検索クエリを含む、または、検索クエリと類似する用件テキストに対応付けられた会話ＩＤを出力する（ステップＳ２３）。
【００５４】
次に、処理管理部１２の動作について、図４から図９に示すフローチャートを参照して説明する。なお、本実施形態に係る音声認識装置１０を、複数の会話が並行して行われるコンタクトセンタなどに適用する場合、第１の音声認識部１１が複数設けられ、並行して行われる会話の数だけ第１の音声認識部１１による音声認識処理も並行して行われる。また、判定部１３および第２の音声認識部１４も複数設けられ、並行して処理が行われる。処理管理部１２は、複数の判定部１３に対する会話の用件区間の判定処理の割り当て、および、複数の第２の音声認識部１４に対する用件区間の発話の音声認識処理の割り当てを行う。
【００５５】
図４は、判定部１３からの問い合わせを受けた際の処理管理部１２の動作の一例を示すフローチャートである。
【００５６】
判定部１３は、処理対象の会話が無い（例えば、割り当てられた会話について用件区間の判定が完了した）場合、用件区間の判定が未処理の会話の有無を処理管理部１２に問い合わせる。処理管理部１２は、判定部１３からの問い合わせを受けると（ステップＳ３１）、記憶部１５を参照し、用件区間の判定が未処理の会話の有無を判定する（ステップＳ３２）。
【００５７】
用件区間の判定が未処理の会話が無いと判定した場合（ステップＳ３２：Ｎｏ）、処理管理部１２は、用件区間の判定が未処理の会話が無いことを判定部１３に通知し（ステップＳ３３）、処理を終了する。
【００５８】
用件区間の判定が未処理の会話が有ると判定した場合（ステップＳ３２：Ｙｅｓ）、処理管理部１２は、用件区間の判定が未処理の会話のうち、１つの会話の会話ＩＤを判定部１３に通知する。また、処理管理部１２は、会話ＩＤを通知した会話が処理中であることを記憶部１５に記録する。こうすることで、１つの会話ＩＤで識別される会話の用件区間の判定が複数の判定部１３に割り当てられることを防ぐことができる。また、処理管理部１２は、判定部１３に会話の用件区間の判定を割り当ててから所定時間が経過したか否かを判定するための用件区間判定タイマーを開始する（ステップＳ３４）。
【００５９】
図５は、第２の音声認識部１４からの問い合わせを受けた際の処理管理部１２の動作の一例を示すフローチャートである。
【００６０】
第２の音声認識部１４は、処理対象の会話が無い（例えば、割り当てられた会話について用件区間の発話の音声認識処理が完了した）場合、用件区間の発話の音声認識が未処理の会話の有無を処理管理部１２に問い合わせる。処理管理部１２は、第２の音声認識部１４からの問い合わせを受けると（ステップＳ４１）、記憶部１５を参照し、用件区間の発話の音声認識が未処理の会話の有無を判定する（ステップＳ４２）。
【００６１】
用件区間の発話の音声認識が未処理の会話が無いと判定した場合（ステップＳ４２：Ｎｏ）、処理管理部１２は、用件区間の発話の音声認識が未処理の会話が無いことを第２の音声認識部１４に通知し（ステップＳ４３）、処理を終了する。
【００６２】
用件区間の発話の音声認識が未処理の会話が有ると判定した場合（ステップＳ４２：Ｙｅｓ）、処理管理部１２は、用件区間の発話の音声認識が未処理の会話のうち、１つの会話の会話ＩＤを第２の音声認識部１４に通知する。また、処理管理部１２は、会話ＩＤを通知した会話が処理中であることを記憶部１５に記録する。こうすることで、１つの会話ＩＤで識別される会話の用件区間の音声認識処理が複数の第２の音声認識部１４に割り当てられることを防ぐことができる。また、処理管理部１２は、判定部１３に用件区間の発話の音声認識処理を割り当ててから所定時間が経過したか否かを判定するための音声認識タイマーを開始する（ステップＳ４４）。
【００６３】
図６は、判定部１３からの完了通知を受けた際の処理管理部１２の動作の一例を示すフローチャートである。
【００６４】
判定部１３は、処理管理部１２から通知された会話ＩＤで識別される会話（対象の会話）の用件区間の判定が完了すると、対象の会話の用件区間の判定が完了したことを示す完了通知を処理管理部１２に行う。処理管理部１２は、判定部１３から完了通知を受けると（ステップＳ５１）、対象の会話に対応する用件判定タイマーを停止する。また、処理管理部１２は、対象の会話の用件区間の判定が完了したことを記憶部１５に記憶する（ステップＳ５２）。
【００６５】
図７は、第２の音声認識部１４からの完了通知を受けた際の処理管理部１２の動作の一例を示すフローチャートである。
【００６６】
第２の音声認識部１４は、処理管理部１２から通知された会話ＩＤで識別される会話（対象の会話）の用件区間の発話の音声認識処理が完了すると、対象の会話の用件区間の発話の音声認識処理が完了したことを示す完了通知を処理管理部１２に行う。処理管理部１２は、第２の音声認識部１４から完了通知を受けると（ステップＳ６１）、対象の会話に対応する音声認識タイマーを停止する。また、処理管理部１２は、対象の会話の用件区間の発話の音声認識処理が完了したことを記憶部１５に記録する（ステップＳ６２）。
【００６７】
図８は、用件区間判定タイマーのタイムアウトを検出した際の処理管理部１２の動作の一例を示すフローチャートである。
【００６８】
処理管理部１２は、用件区間判定タイマーのタイムアウトを検出すると（ステップＳ７１）、タイムアウトを検出した用件区間判定タイマーに対応する対象の会話の用件区間の判定が未処理であることを記憶部１５に記録する（ステップＳ７２）。
【００６９】
用件区間判定タイマーのタイムアウトを検出した場合、すなわち、判定部１３に用件区間を判定する対象の会話の会話ＩＤを通知した後、所定時間内に判定部１３から完了通知が行われない場合、何らかの処理の問題の発生により、判定部１３において用件区間の判定が失敗したと考えられる。この場合、対象の会話の用件区間の判定が未処理であることを記録することで、再度、判定部１３に対象の会話の用件区間の判定を行わせることができる。
【００７０】
図９は、音声認識タイマーのタイムアウトを検出した際の処理管理部１２の動作の一例を示すフローチャートである。
【００７１】
処理管理部１２は、音声認識タイマーのタイムアウトを検出すると（ステップＳ８１）、タイムアウトを検出した音声認識タイマーに対応する対象の会話の用件区間の発話の音声認識が未処理であることを記憶部１５に記録する（ステップＳ８２）。
【００７２】
音声認識タイマーのタイムアウトを検出した場合、すなわち、第２の音声認識部１４に用件区間の音声認識を行う対象の会話の会話ＩＤを通知した後、所定時間内に第２の音声認識部１４から完了通知が行われない場合、何らかの処理の問題の発生により、第２の音声認識部１４において用件区間の発話の音声認識が失敗したと考えられる。この場合、対象の会話の用件区間の発話の音声認識が未処理であることを記録することで、再度、第２の音声認識部１４に対象の会話の用件区間の発話の音声認識を行わせることができる。
【００７３】
図４から図９を参照して説明したように、処理管理部１２は、複数の判定部１３への用件区間の判定処理の振り分け、および、複数の第２の音声認識部１４への用件区間の発話の音声認識処理の振り分けを行う。判定部１３の処理および第２の音声認識部１４の処理それぞれの処理時間は一定ではなく、処理する会話あるいは音声の内容によって異なる。そのため、大量の会話音声を処理する際には、処理管理部１２による振り分けをおこなうことで、各処理が終わり次第、別の会話の処理を実行できるようになるため、１つの会話に対して初めから、判定部１３および第２の音声認識部１４を割り当てて処理する場合よりも効率的に処理を行うことができるため、判定部１３および第２の音声認識部１４の数の削減を図ることができる。
【００７４】
このように本実施形態においては、音声認識装置１０は、複数の話者による会話の音声データに対して、第１の方式により音声認識処理を行い、複数の話者それぞれの発話区間ごとの音声認識結果を出力する第１の音声認識部１１と、第１の音声認識部１１による音声認識処理の結果に基づき、会話の用件を含む発話の区間である用件区間を判定する判定部１３と、判定部１３により用件区間であると判定された区間の音声データに対して、第１の方式よりも高精度の第２の方式により音声認識処理を行い、音声認識結果を用件テキスト出力する第２の音声認識部１４と、を備える。
【００７５】
用件区間と判定された区間の発話に対して、第２の音声認識部１４により第１の方式よりも高精度な第２の方式による音声認識処理が行われるので、会話の用件について高精度な音声認識結果を取得することができる。また、用件区間と判定された区間に対してのみ、第２の音声認識部１４による音声認識処理が行われるので、会話全体について高精度な音声認識処理を行う場合と比べて、計算量の増大を抑制することができる。
【００７６】
以上、音声認識装置１０および検索装置２０について説明したが、音声認識装置１０および検索装置２０として機能させるために、コンピュータを用いることも可能である。そのようなコンピュータは、音声認識装置１０および検索装置２０の各機能を実現する処理内容を記述したプログラムを、該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。
【００７７】
また、プログラムは、コンピュータが読取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭおよびＤＶＤ−ＲＯＭなどの記録媒体であってもよい。
【００７８】
上述の実施形態は代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換が可能であることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形および変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【符号の説明】
【００７９】
１０    音声認識装置
１１    第１の音声認識部
１２    処理管理部
１３    判定部
１４    第２の音声認識部
１５，１６，１７    記憶部
【図１】
2020126185.tif 000003
【図２】
2020126185.tif 000004
【図３】
2020126185.tif 000005
【図４】
2020126185.tif 000006
【図５】
2020126185.tif 000007
【図６】
2020126185.tif 000008
【図７】
2020126185.tif 000009
【図８】
2020126185.tif 000010
【図９】
2020126185.tif 000011