(57)【特許請求の範囲】
【請求項１】
音声データが入力され、フレーム単位で音素基準の音声認識を行って音素格子を形成し、制限時間のフレーム別に形成される音素格子を含む、複数のフレームにより構成される制限時間のフレームに対して分割されたインデクシング情報を生成するインデクシング部と、
前記インデクシング部により生成される分割済みのインデクシング情報を分割済みのインデクシング情報別にインデクシング可能なようにそれぞれ保存するインデクシングデータベースと、
ユーザから入力される核心語を検索語として、前記インデクシングデータベースに保存された前記分割済みのインデクシング情報に対して音素基準の比較を行って前記検索語と一致する音素列を検索する検索部と、
前記検索部により検索される検索結果に基づいて主題語を把握して前記音声データの発話内容を把握可能なようにユーザに出力する把握部と、
を備え、
前記検索部は、前記検索語及び前記検索語に対応する複数の文脈キーワードを保存する検索語データベースを含み、
前記把握部は、
前記検索語及びこれに対応する文脈キーワード別に主題語が設定されている主題語データベースと、
前記検索部から出力される検索結果情報の内から検索語及び文脈キーワードを取り出して前記主題語データベースを通して対応する主題語を検索する主題語把握部と、
前記主題語把握部から検索結果情報及び主題語が入力され、これをユーザに表示する出力部とを備える発話内容の把握システム。
【請求項２】
前記インデクシング部は、
フレーム単位の音声データから特徴ベクトルを取り出す特徴ベクトル取出部と、
前記特徴ベクトル取出部により取り出される特徴ベクトルを用いて、フレーム同期に準拠した音素認識を行って、対応する音素列を生成する音素認識部と、
前記音素認識部により生成される音素列が入力され、フレーム単位の時間的な流れに沿って音素認識の候補群を生成する候補群形成部と、
前記候補群形成部により生成される音素列候補群から逆時間的な演算を行って一つの音素列候補群を選んで、対応する音素格子を形成する音素格子形成部と、
前記特徴ベクトル取出部と、前記音素認識部と、前記候補群形成部と、前記音素格子形成部と、を制御して、音声データの全体に対して、前記制限時間別に、且つ、前記制限時間内でフレーム単位別に音素単位の格子が形成されるように制御を行い、このようにして形成される音素格子が、各制限時間別にインデクシング可能なように、制限時間別に、分割済みのインデクシング情報として前記インデクシングデータベースに保存されるように制御を行うインデクシング制御部と、
を備える請求項１に記載の発話内容の把握システム。
【請求項３】
前記インデクシング制御部は、
音声データから音声が検出されたか否かを示す音声検出器と、
音声データに対して音素認識が行われる音素の時間的な位置をカウントする時間カウンタと、
前記音声検出器により音声区間が検出されたとき、前記時間カウンタにより当該音声区間が検出されたときから時間をカウントして前記制限時間をカウントする時間制限器と、
前記時間制限器によりカウントされる制限時間内に前記音声検出器により検出される有効な音声区間に対してフレーム単位で音素認識を行って音素格子を形成して、前記分割済みのインデクシング情報として前記インデクシングデータベースに保存する制御を行う動作制御器と、
を備える請求項２に記載の発話内容の把握システム。
【請求項４】
前記動作制御器は、前記音声検出器により検出される有効な音声区間に対して前記時間制限器によりカウントされる前記制限時間が徒過したとき、以前の音声区間のうち特定の時間又は特定のフレームの音声区間を重ね合わせて当該フレームから新たな制限時間に対応する音声区間として音素認識を行うように制御を行うことを特徴とする請求項３に記載の発話内容の把握システム。
【請求項５】
前記検索部は、
前記検索部により検索された検索結果を保存し、ユーザから入力される検索語に対して既に処理された検索結果があるとき、これを前記把握部に送信する検索結果ヒストリーデータベースと、
ユーザから入力される検索語に対応する音素単位の発音列を生成する発音列生成器と、
前記発音列生成器において生成される発音列を用いて、前記インデクシングデータベースに保存されている前記分割済みのインデクシング情報に対して一致する音素列を検索して、１次候補の音声区間を選定する動的整合処理器と、
前記動的整合処理器において選定される１次候補の音声区間に対して音響学的なモデルを用いて一致の有無を判断して一つの音声区間を決定し、決定される音声区間及びこの音声区間に関する情報を前記検索結果ヒストリーデータベースに保存するとともに、前記把握部に出力する検証器と、
を備える請求項４に記載の発話内容の把握システム。
【請求項６】
前記動的整合処理器は、前記分割済みのインデクシング情報の音素列及び前記発音列間の一致の有無を動的整合アルゴリズムを用いて判断し、前記動的整合アルゴリズムを用いた判断に際して、その整合度が臨界値以上であるときに一致すると判断することを特徴とする請求項５に記載の発話内容の把握システム。
【請求項７】
前記検証器は、候補となる音声区間に対し、検索語の音素列に対して、トライフォンモデルを基準として、音素モデルの状態情報に音素列によるフレーム単位で音声区間を割り当て、トライフォンモデルに対する観測確率値とモノフォンモデルに対する観測確率値との間の比率に対する累積値を求めた後に正規化させて信頼度値を算出した後、正規化された信頼度値により前記音声区間に対して最終的に検索された結果物として出力するか否かを判断することを特徴とする請求項５に記載の発話内容の把握システム。
【請求項８】
前記検証器は、前記一つの音声区間が決定されると、前記一つの音声区間を基準として、前後の一定時間の範囲内で、前記検索語データベースから前記検索語に対応して取り出される文脈キーワードの発音列に一致する音素列があるか否かを更に検索することを特徴とする請求項５に記載の発話内容の把握システム。
【請求項９】
前記検索結果ヒストリーデータベースに保存される前記音声区間に関する情報は、前記一つの音声区間が含まれているファイル名、音声データにおける開始位置及び終止位置、前記検索語、検索された区間に対する正規化された信頼度値、一致する文脈キーワード、並びに、発声話者の性別であることを特徴とする請求項５に記載の発話内容の把握システム。
【請求項１０】
前記文脈キーワードは、同じ意味を示す複数の単語がカテゴリ方式により設定されていることを特徴とする請求項５に記載の発話内容の把握システム。
【請求項１１】
前記検索部は、前記検索語に対して同じ意味を有する別称に対しては、発音列を生成して同時に検索を行うことを特徴とする請求項５に記載の発話内容の把握システム。
【請求項１２】
前記音素認識部は、音素単位でビタビアルゴリズム及びトークンパッシングアルゴリズムを行って対応する音素列を生成することを特徴とする請求項２に記載の発話内容の把握システム。
【請求項１３】
前記音素格子形成部は、当該音素列に対して音素の開始点及び終止点、並びに持続時間などの情報を一緒に形成することを特徴とする請求項２に記載の発話内容の把握システム。
【請求項１４】
前記分割済みのインデクシング情報は、フレーム数、音素数、特徴ベクトル、音素の状態別の観測確率値、タイムスタンプ、音素列、及び、各音素の持続時間を含む請求項１に記載の発話内容の把握システム。
【請求項１５】
発話内容の把握システムが音声データの発話内容を把握する方法において、
音声データが入力されるステップと、
入力される音声データの音素に対してフレーム単位の音素認識による音素格子を形成するステップと、
予め設定された制限時間単位で形成される前記音素格子を分割済みのインデクシング情報としてインデクシングデータベースに保存するステップと、
ユーザから検索語を入力されるステップと、
前記検索語に対応する音素基準の発音列を生成するステップと、
前記発音列を用いて、前記インデクシングデータベースに保存されている分割済みのインデクシング情報に対して、一致する音素列を検索して１次候補の音声区間を選定するステップと、
前記１次候補の音声区間に対して音響学的なモデルを用いて一致の有無を判断して一つの音声区間を決定するステップと、
前記一つの音声区間を基準として、前後の一定の時間の範囲内で、前記検索語に対応する文脈キーワードの発音列に一致する音素列があるか否かを更に検索するステップと、
前記検索語及び前記文脈キーワードを用いて前記音声データに対する主題語を把握してユーザに与えるステップと、
を含み、
前記音素格子を形成するステップが音声データからの音声の検出により有用な音声区間に対してのみ行われるように制御される発話内容の把握方法。
【請求項１６】
前記主題語を把握してユーザに与えるステップにおいて、前記主題語の把握は、検索語及びこれに対応する文脈キーワード別に主題語が設定されている主題語データベースにより行われることを特徴とする請求項１５に記載の発話内容の把握方法。
【請求項１７】
前記検索語は複数であり、複数の検索語が演算論理子により用いられて前記複数の検索語の組み合わせにより検索が行われることを特徴とする請求項１５に記載の発話内容の把握方法。
【請求項１８】
前記音素格子を形成するステップにおいて、前記制限時間単位で音素格子を形成するとき、以前の音声区間のうち特定の時間又は特定のフレームの音声区間を重ね合わせて次の音声区間に対する音素認識を行うことで不連続に伴う情報の損失を防いで、音素格子を形成することを特徴とする請求項１５に記載の発話内容の把握方法。
【請求項１９】
前記音素格子を形成するステップにおいては、
フレーム単位の音声データから取り出される特徴ベクトルを用いて、フレーム同期に準拠した音素認識により生成される多数の音素列候補群に対して逆時間的な演算を行って、これにより最終的に選ばれる一つの音声区間に対応する音素格子を形成することを特徴とする請求項１５に記載の発話内容の把握方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、録取された音声データに対する核心語の取出に基づく発話内容の把握システムと、このシステムを用いたインデクシング方法及び発話内容の把握方法に関する。
【背景技術】
【０００２】
最近、企業の顧客満足サービスのために顧客との対話を録取したり、電子商取引のために電話通話の内容を録取したりした後、録取された音声データから音声認識を行って全体的な発話内容を把握しようとする録取対象検索の必要性が取り上げられている。
【０００３】
しかしながら、顧客の録取音声のビックデータを処理する基本的な加工プログラムやサービスが開発されておらず、このようなビックデータを手作業で聴き取るには多大な手間がかかるため、このような録取対象の検索が正常に行われていないのが現状である。
【０００４】
また、音声認識技術に基づいて録取対象の検索を行おうとする試みがあるが、このような音声認識技術は、アップル社の「シリ」やグーグル社の「アシスタント」のようにユーザのリアルタイムの入力を音声認識エンジンを用いてテキストとして出力し、このようなテキストの出力に対して人工知能的なアクセス法を用いて意味を取り出す人工知能音声認識サービスを目指している。このため、録取された音声データが正確にテキストに変換されない場合には、録取対象の検索が正確に行われず、その結果、録取された発話内容を正確に把握し難いという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする技術的な課題は、録取された音声データに対して音素基準の音声認識を行ってインデクシング（ｉｎｄｅｘｉｎｇ）されたデータを保存し、これを用いて核心語に基づく発話内容を把握することにより、発話内容の把握が正確に、手軽に且つ速やかに行われる発話内容の把握システムと、このシステムを用いたインデクシング方法及び発話内容の把握方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一側面による発話内容の把握システムは、音声データを入力されてフレーム単位で音素基準の音声認識を行って音素格子を形成し、複数のフレームにより構成される制限時間のフレームに対して分割済みのインデクシング情報（ここで、分割済みのインデクシング情報は、制限時間のフレーム別に形成される音素格子を含む）を生成するインデクシング部と、前記インデクシング部により生成される分割済みのインデクシング情報を分割済みのインデクシング情報別にインデクシング可能なようにそれぞれ保存するインデクシングデータベースと、ユーザから入力される核心語を検索語としてインデクシングデータベースに保存された分割済みのインデクシング情報に対して音素基準の比較を行って前記検索語と一致する音素列を検索する検索部と、前記検索部により検索される検索結果に基づいて主題語を把握して前記音声データの発話内容を把握可能なようにユーザに出力する把握部と、を備え、前記検索部は、前記検索語及び前記検索語に対応する複数の文脈キーワードを保存する検索語データベースを含み、前記把握部は、前記検索語及びこれに対応する文脈キーワード別に主題語が設定されている主題語データベースと、前記検索部から出力される検索結果情報の内から検索語及び文脈キーワードを取り出して前記主題語データベースを通して対応する主題語を検索する主題語把握部と、前記主題語把握部から検索結果情報及び主題語が入力され、これをユーザに表示する出力部とを備える。
【０００７】
ここで、好ましくは、前記インデクシング部は、フレーム単位の音声データから特徴ベクトルを取り出す特徴ベクトル取出部と、前記特徴ベクトル取出部により取り出される特徴ベクトルを用いて、フレーム同期に準拠した音素認識を行って、対応する音素列を生成する音素認識部と、前記音素認識部により生成される音素列が入力され、フレーム単位の時間的な流れに沿って音素認識の候補群を生成する候補群形成部と、前記候補群形成部により生成される音素列候補群から逆時間的な演算を行って一つの音素列候補群を選んで、対応する音素格子を形成する音素格子形成部と、前記特徴ベクトル取出部と、前記音素認識部と、前記候補群形成部と、前記音素格子形成部と、を制御して、音声データの全体に対して、前記制限時間別に、且つ、前記制限時間内でフレーム単位別に音素単位の格子が形成されるように制御を行い、このようにして形成される音素格子が、各制限時間別にインデクシング可能なように、制限時間別に、分割済みのインデクシング情報として前記インデクシングデータベースに保存されるように制御を行うインデクシング制御部と、を備える。
【０００８】
また、好ましくは、前記インデクシング制御部は、音声データから音声が検出されたか否かを示す音声検出器と、音声データに対して音素認識が行われる音素の時間的な位置をカウントする時間カウンタと、前記音声検出器により音声区間が検出されたとき、前記時間カウンタにより当該音声区間が検出されたときから時間をカウントして前記制限時間をカウントする時間制限器と、前記時間制限器によりカウントされる制限時間内に前記音声検出器により検出される有効な音声区間に対してフレーム単位で音素認識を行って音素格子を形成して、前記分割済みのインデクシング情報として前記インデクシングデータベースに保存する制御を行う動作制御器と、を備える。
【０００９】
更に、好ましくは、前記動作制御器は、前記音声検出器により検出される有効な音声区間に対して前記時間制限器によりカウントされる前記制限時間が徒過したとき、以前の音声区間のうち特定の時間又は特定のフレームの音声区間を重ね合わせて当該フレームから新たな制限時間に対応する音声区間として音素認識を行うように制御を行う。
【００１０】
更にまた、好ましくは、前記検索部は、前記検索部により検索された検索結果を保存し、ユーザから入力される検索語に対して既に処理された検索結果があるとき、これを前記把握部に送信する検索結果ヒストリーデータベースと、ユーザから入力される検索語に対応する音素単位の発音列を生成する発音列生成器と、前記発音列生成器において生成される発音列を用いて、前記インデクシングデータベースに保存されている前記分割済みのインデクシング情報に対して一致する音素列を検索して、１次候補の音声区間を選定する動的整合処理器と、前記動的整合処理器において選定される１次候補の音声区間に対して音響学的なモデルを用いて一致の有無を判断して一つの音声区間を決定し、決定される音声区間及びこの音声区間に関する情報を前記検索結果ヒストリーデータベースに保存するとともに、前記把握部に出力する検証器と、を備える。
【００１１】
更にまた、好ましくは、前記動的整合処理器は、前記分割済みのインデクシング情報の音素列及び前記発音列間の一致の有無を動的整合アルゴリズムを用いて判断し、前記動的整合アルゴリズムを用いた判断に際して、その整合度が臨界値以上であるときに一致すると判断する。
【００１２】
更にまた、好ましくは、前記検証器は、候補となる音声区間に対し、検索語の音素列に対して、トライフォンモデルを基準として、音素モデルの状態情報に音素列によるフレーム単位で音声区間を割り当て、トライフォンモデルに対する観測確率値とモノフォンモデルに対する観測確率値との間の比率に対する累積値を求めた後に正規化させて信頼度値を算出した後、正規化された信頼度値により前記音声区間に対して最終的に検索された結果物として出力するか否かを判断するのに活用される。
【００１３】
更にまた、好ましくは、前記検証器は、前記一つの音声区間が決定されると、前記一つの音声区間を基準として、前後の一定時間の範囲内で、前記検索語データベースから前記検索語に対応して取り出される文脈キーワードの発音列に一致する音素列があるか否かを更に検索する。
【００１４】
更にまた、好ましくは、前記検索結果ヒストリーデータベースに保存される前記音声区間に関する情報は、前記一つの音声区間が含まれているファイル名、音声データにおける開始位置及び終止位置、前記検索語、検索された区間に対する正規化された信頼度値、一致する文脈キーワード、並びに、発声話者の性別である。
【００１５】
更にまた、好ましくは、前記文脈キーワードは、同じ意味を示す複数の単語がカテゴリ方式により設定されている。
【００１６】
更にまた、好ましくは、前記検索部は、前記検索語に対して同じ意味を有する別称に対しては、発音列を生成して同時に検索を行う。
【００１７】
更にまた、好ましくは、前記音素認識部は、音素単位でビタビアルゴリズム及びトークンパッシングアルゴリズムを行って対応する音素列を生成する。
【００１８】
更にまた、好ましくは、前記音素格子形成部は、当該音素列に対して音素の開始点及び終止点、並びに持続時間などの情報を一緒に形成する。
【００１９】
更にまた、好ましくは、前記分割済みのインデクシング情報は、フレーム数、音素数、特徴ベクトル、音素の状態別の観測確率値、タイムスタンプ、音素列、及び、各音素の持続時間を含む。
【００２０】
本発明の更に他の側面による発話内容の把握方法は、発話内容の把握システムが音声データの発話内容を把握する方法において、音声データが入力されるステップと、入力される音声データの音素に対してフレーム単位の音素認識による音素格子を形成するステップと、予め設定された制限時間単位で形成される前記音素格子を分割済みのインデクシング情報としてインデクシングデータベースに保存するステップと、ユーザから検索語を入力されるステップと、前記検索語に対応する音素基準の発音列を生成するステップと、前記発音列を用いて、前記インデクシングデータベースに保存されている分割済みのインデクシング情報に対して、一致する音素列を検索して１次候補の音声区間を選定するステップと、前記１次候補の音声区間に対して音響学的なモデルを用いて一致の有無を判断して一つの音声区間を決定するステップと、前記一つの音声区間を基準として、前後の一定の時間の範囲内で、前記検索語に対応する文脈キーワードの発音列に一致する音素列があるか否かを更に検索するステップと、前記検索語及び前記文脈キーワードを用いて前記音声データに対する主題語を把握してユーザに与えるステップと、を含み、前記音素格子を形成するステップが音声データからの音声の検出により有用な音声区間に対してのみ行われるように制御されることを特徴とする。
【００２１】
また、好ましくは、前記主題語を把握してユーザに与えるステップにおいて、前記主題語の把握は、検索語及びこれに対応する文脈キーワード別に主題語が設定されている主題語データベースにより行われる。
【００２２】
更に、好ましくは、前記検索語は複数であり、複数の検索語が演算論理子により用いられて前記複数の検索語の組み合わせにより検索が行われる。
【００２３】
更にまた、好ましくは、前記音素格子を形成するステップにおいて、前記制限時間単位で音素格子を形成するとき、以前の音声区間のうち特定の時間又は特定のフレームの音声区間を重ね合わせて次の音声区間に対する音素認識を行うことで不連続に伴う情報の損失を防いで、音素格子を形成する。
【００２４】
更にまた、好ましくは、前記音素格子を形成するステップにおいては、フレーム単位の音声データから取り出される特徴ベクトルを用いて、フレーム同期に準拠した音素認識により生成される多数の音素列候補群に対して逆時間的な演算を行って、これにより最終的に選ばれる一つの音声区間に対応する音素格子を形成する。
【発明の効果】
【００２５】
本発明によれば、検索語として入力される核心語に対してのみ音声データから音素を基準として取り出せば良いので、実際にサービスに用いられる音声データの全体の単語を把握する必要がなく、その結果、検索速度及び正確度が高く、未登録語を持続的に反映し続けることを余儀なくされる通常の大容量連続語の音声認識エンジンを活用するいわゆる書き取りプログラムを録取検索に適用する場合よりも実際の録取データに対して性能に優れており、サービスシステムのメンテナンスコストの側面からみても画期的である。
【００２６】
また、多数の検索語の組み合わせによる検索結果及び主題語の検索結果を用いて音声ファイルの発話内容を把握することができるので、音声ファイルに対する発話内容の把握時間が短縮され、その結果、顧客に対する応答処理が迅速になる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施形態による核心語の取出に基づく発話内容の把握システムの概略的な構成を示す図である。
【図２】図１に示すインデクシングデータベース（ＤＢ）の一例を示す図である。
【図３】図１に示すインデクシング部の具体的な構成を示す図である。
【図４】図３に示すインデクシング制御部の具体的な構成を示す図である。
【図５】図１に示す検索部の具体的な構成を示す図である。
【図６】図５に示す動的整合処理器において行われる動的整合アルゴリズムの基本的な動作を示す概略図である。
【図７】図５に示す動的整合処理器において行われる動的整合アルゴリズムの一例を示す図である。
【図８】図５に示す動的整合処理器がインデクシングデータＢに対して検索語Ｃを移動させながら検索（Ｓｈｉｆｔｉｎｇ  ＆  Ｓｅａｒｃｈｉｎｇ）を行う動的整合処理を示す図である。
【図９】図１に示す把握部の具体的な構成を示す図である。
【図１０】図９に示す主題語データベース（ＤＢ）の一例を示す図である。
【図１１】図９に示す出力部がユーザに表示する画面の例を示す図である。
【図１２】本発明の実施形態による音素基準のインデクシング方法のフローチャートである。
【図１３】図１２に示す音素格子形成ステップの具体的なフローチャートである。
【図１４】本発明の実施形態による核心語の取出に基づく発話内容の把握方法のフローチャートである。
【発明を実施するための形態】
【００２８】
以下、添付図面に基づき、本発明の好適な実施形態について本発明が属する技術分野において通常の知識を有する者が実施できる程度に詳細に説明する。しかしながら、本発明は、ここで説明される実施形態に何ら限定されるものではなく、他の形態に具体化可能である。また、図中、本発明を明確に説明するために不要であると思われる部分の開示は省略し、明細書全体に亘って同じ部分に対しては同じ図面符号を付する。
【００２９】
明細書全体に亘って、ある部分がある構成要素を「備える」としたとき、これは、特に断りのない限り、他の構成要素を排除するわけではなく、他の構成要素を更に備えることを意味する。また、明細書に記載の「…部」、「…器」、「モジュール」などの用語は、少なくとも一つの機能や動作を処理する単位を意味し、これは、ハードウェアやソフトウェア又はハードウェア及びソフトウェアの結合により実現される。
【００３０】
図１は、本発明の実施形態による核心語の取出に基づく発話内容の把握システムの概略的な構成を示す図である。
【００３１】
図１に示すように、本発明の実施形態による核心語の取出に基づく発話内容の把握システム１０は、インデクシング部１００、インデクシングデータベース（ＤＢ）２００、ユーザインターフェース３００、検索部４００及び把握部５００を備える。
【００３２】
インデクシング部１００は、録取サーバ（図示せず）に保存されている音声ファイル１１の音声データを入力されて音素基準の音声認識を行って音素格子を形成する。このような音素基準の音声認識は音声区間時間制限単位で行われて対応する音素格子を形成し、また、音声区間時間制限単位内の音声データに対してはフレーム単位で音素認識が行われて対応する音素格子が形成される。インデクシング部１００により音声区間時間制限単位で生成される音素格子は、分割済みのインデクシング情報としてインデクシングデータベース（ＤＢ）２００に保存される。
【００３３】
インデクシングデータベース（ＤＢ）２００は、インデクシング部１００により生成されるインデクシング情報を保存する。インデクシング情報は、音声区間時間制限単位で生成される音素格子を含む分割済みのインデクシング情報である。このようなインデクシング情報には、フレーム数、音素数、特徴ベクトル、音素の状態別の観測確率値、タイムスタンプ、音素列、各音素の持続時間などが含まれる。ここで、各音素の持続時間は、音声ファイル１１における持続時間であり、例えば、音声ファイルにおける開始位置及び終止終位置、並びに開始位置及び終止位置により算出される持続時間である。
【００３４】
図２は、図１に示すインデクシングデータベース（ＤＢ）２００の一例を示す図である。
【００３５】
図２に示すように、インデクシングデータベース（ＤＢ）２００は、Ｎ（Ｎは、１以上の自然数である）個の分割済みのインデクシング情報２００−１、２００−２、…、２００−Ｎが一つのファイル単位で保存される。ファイル単位で、ヘッダには、分割済みのインデクシング部分の数、インデクシング部のバージョン番号、原音声ファイルの大きさ、特徴ベクトルの次数などの情報が記録される。なお、分割済みのインデクシング情報としては、フレームの数及び音素列の数をはじめとするヘッダ情報と、実質的にインデクシングされた情報と、が挙げられる。実質的なインデクシング情報としては、特徴ベクトル、タイムスタンプ、音素列、音素列持続情報、音素列に対する観測確率値などが記録される。
【００３６】
引き続き、ユーザインターフェース３００は、ユーザとの相互作用のための装置であり、通常のユーザインターフェース構成を用いて実現可能である。例えば、ユーザインターフェース３００としては、ユーザからの入力を受けるためのキーボード及びマウス装置、ユーザに画面を介して表示するためのディスプレイ装置、音の入出力のためのマイク及びスピーカなどが挙げられる。
【００３７】
検索部４００は、ユーザインターフェース３００を介してユーザから入力される核心語である検索語を音素に変換してインデクシングデータベース（ＤＢ）２００に保存されている分割済みのインデクシング情報２００−１、２００−２、…、２００−Ｎに対して音素基準の比較を行って検索語と一致する音素列を検索した後に検索結果を生成する。ここで、検索部４００は、様々な方式を用いて検索を行い、本発明の実施形態においては、認識アルゴリズムの代表例として知られている動的整合アルゴリズム（Ｄｙｎａｍｉｃ  Ｔｉｍｅ  Ｗａｒｐｉｎｇ：ＤＴＷ）を用いて検索を行う。このような動的整合アルゴリズムは、代表パターンと与えられた入力パターンとを比較して類似性を判別する方法であり、周知であるため、ここではその詳細な説明を省略する。
【００３８】
また、検索部４００は、２以上の核心語を用いて検索を行う。この場合、検索部４００は、用いられる複数の核心語と、インデクシングデータベース（ＤＢ）２００に保存されている分割済みのインデクシング情報２００−１、２００−２、…、２００−Ｎとを同時に比較して検索を行う。
【００３９】
把握部５００は、検索部４００により生成される検索結果を用いて、音声ファイル１１に録取された音声データに対応するユーザの発話内容を把握して、検索結果とともにユーザインターフェース３００を介して出力する。このような発話内容の例として、ホームショッピング録取の場合には顧客の注文意思の有無を判断する内容、相談員の親切度や特定の商品に対する適切な広報の有無を判断する内容、特定の単語の漏れを判断する内容又は軍事保安内容などが挙げられる。
【００４０】
図３は、図１に示すインデクシング部１００の具体的な構成を示す図である。
【００４１】
図３に示すように、インデクシング部１００は、バッファ部１１０と、特徴ベクトル取出部１２０と、音素認識部１３０と、候補群形成部１４０と、音素格子形成部１５０と、インデクシング制御部１６０と、を備える。
【００４２】
バッファ部１１０は、ユーザインターフェース３００を介してユーザにより指定された音声ファイル１１の音声データを入力されて一時的に保存する多数のバッファ（図示せず）を備える。
【００４３】
特徴ベクトル取出部１２０は、バッファ部１１０に保存されてバッファ部１１０から出力されるフレーム単位の音声データから特徴ベクトルを取り出す。このような特徴ベクトルの取出は、音声認識分野において周知であるため、ここではその詳細な説明を省略する。
【００４４】
音素認識部１３０は、特徴ベクトル取出部１２０により取り出される特徴ベクトルを用いて、フレーム同期に準拠した音素認識を行う。このような音素認識部１３０は、音素単位でビタビアルゴリズム及びトークンパッシングアルゴリズムを行って対応する音素列を生成する。上述したビタビアルゴリズムやトークンパッシングアルゴリズムについても周知であるため、ここではその詳細な説明を省略する。
【００４５】
候補群形成部１４０は、音素認識部１３０により生成される音素列を入力されてフレーム単位の時間的な流れに沿って音素認識の候補群を生成し、これらの候補群は、最小限にＮ個の音素列候補群が維持されるように制御される。
【００４６】
音素格子形成部１５０は、候補群形成部１４０により形成されるＮ個の音素列候補群から逆時間的な演算を行って一つの最適な音素列候補群を選んで対応する音素格子を形成する。このとき、音素格子形成部１５０は、当該音素列に対して音素の開始点及び終止点、並びに持続時間などの情報を一緒に形成する。ここで、音素の開始点及び終止点は、音素が始まる箇所の音声データにおける時間情報及び音素が終わる箇所の音声データにおける時間情報である。音素格子形成部１５０により形成される音素格子は、分割済みのインデクシング情報に含まれてインデクシングデータベース（ＤＢ）２００に出力される。
【００４７】
インデクシング制御部１６０は、バッファ部１１０と、特徴ベクトル取出部１２０と、音素認識部１３０と、候補群形成部１４０と、音素格子形成部１５０と、を制御して、音声データの全体に対して限られた時間別に、且つ、限られた時間内でフレーム単位別に音素単位の格子が形成されるように制御を行い、このようにして形成される音素単位の格子、すなわち、音素格子を各限られた時間別にインデクシング可能なように限られた時間別に分割済みのインデクシング情報としてインデクシングデータベース（ＤＢ）２００に保存されるように制御を行う。例えば、インデクシング制御部１６０は、１０秒という制限時間の間に音声区間が続くと、この制限時間に対応するフレーム単位の音素格子を形成してインデクシングデータベース（ＤＢ）２００に保存する。もし、音声区間が制限時間である１０秒後にも続く場合には、制限時間である１０秒で強制的に音声の終止点を検出した後、特定の時間、例えば、３秒間に以前の時間の音声区間を重ね合わせて次の制限時間の分割済みのインデクシング情報に相当する音素格子の形成動作を行う。
【００４８】
以下、インデクシング制御部１６０について詳細に説明する。
【００４９】
図４は、図３に示すインデクシング制御部１６０の具体的な構成を示す図である。
【００５０】
図４に示すように、インデクシング制御部１６０は、音声検出器１６１と、時間カウンタ１６２と、時間制限器１６３と、動作制御器１６４と、を備える。
【００５１】
音声検出器１６１は、バッファ部１１０に保存された音声データから有効な音声区間を検出する。すなわち、音声検出器１６１は、検出される音声データが現在の音声区間であるか否かを判断可能なようにする。これは、録取ファイルに常に音声しか存在しないわけではないため、インデクシングデータの大きさを減らすために有効な音声区間に対してのみインデクシングを行ってその結果情報を保存するためである。
【００５２】
時間カウンタ１６２は、バッファ部１１０に保存された音声データに対して音素認識が行われる音素の時間的な位置をカウントする。この時間カウンタ１６２は、動作制御器１６４により音素認識が始まるときにカウントし始め、現在認識される音素の時間を出力する。
【００５３】
時間制限器１６３は、音声検出器１６１により音声区間が検出されるとき、時間カウンタ１６２から当該音声区間が検出されるときから時間をカウントして予め設定された制限時間、前記例を参照すると、１０秒の時間をカウントする。もし、時間制限器１６３が１０秒の時間を全てカウントして徒過したとき、制限時間を徒過した旨を動作制御器１６４に報知する。或いは、動作制御器１６４の要求に応じて、現在カウントされる時間が制限時間を徒過したか否かを報知する。
【００５４】
動作制御器１６４は、時間制限器１６３によりカウントされる制限時間内に音声検出器１６１により、検出される有効な音声区間に対してフレーム単位で音素認識を行って音素格子を形成して、分割済みのインデクシング情報としてインデクシングデータベース（ＤＢ）２００に保存する。動作制御器１６４は、音声検出器１６１により検出される有効な音声区間に対して、時間制限器１６３により制限時間を徒過した場合、以前の音声区間のうち特定の時間又は特定のフレームの音声区間を重ね合わせて、当該フレームから新たな制限時間に対応する音声区間として音素認識を行うように制御を行う。
【００５５】
次いで、前記検索部４００について詳細に説明する。
【００５６】
図５は、図１に示す検索部４００の具体的な構成を示す図である。
【００５７】
図５に示すように、検索部４００は、発音列生成器４２０と、検索語データベース（ＤＢ）４１０と、動的整合処理器４３０と、検証器４４０と、検索結果ヒストリーデータベース（ＤＢ）４５０と、を備える。
【００５８】
発音列生成器４２０は、ユーザインターフェース３００を介してユーザから入力される核心語（ｋｅｙｗｏｒｄ）、すなわち、検索語を入力されて、音素単位の発音列を生成する。このとき、検索語は、通常の綴り（スペリング）基準の単語であるが、必ずしも綴りである必要はなく、発音列の生成に際して発音現象を正常に反映できない虞もあるため、発音されるままで書き込まれても良い。発音列生成の例として、検索語が「しんじゅくく」である場合、発音列生成器４２０は、これに対し、「sh i _n zy u k u k u」などを発音列として生成する。
【００５９】
検索語データベース（ＤＢ）４１０は、検索語及び検索語に対応する複数の文脈キーワードを保存する。ここで、文脈キーワードは、対応する検索語を補助する単語であり、検索語と併用されて音声データの発話内容を把握する。このような文脈キーワードは、ユーザに又は本発明の実施形態による核心語の取出に基づく発話内容の把握システム１０の管理者により予め設定されると仮定する。例えば、家電製品コールセンターの相談録取収録である場合、検索語が「冷蔵庫」である場合、このような「冷蔵庫」に対して文脈キーワードとして「キムチ」、「ワイン」、「故障」、「修理」などが設定される。このとき、検索語データベース（ＤＢ）４１０に保存されている文脈キーワードは、通常の綴り基準の単語とともに対応する音素単位の発音列が予め生成されて保存されていると仮定する。
【００６０】
動的整合処理器４３０は、発音列生成器４２０から検索語及び検索語に対応して生成される発音列を受信し、当該発音列を用いてインデクシングデータベース（ＤＢ）２００に保存されている分割済みのインデクシング情報に対して一致する音素列を検索して、１次候補の音素区間を出力する。ここで、分割済みのインデクシング情報に対して発音列が一致するか否かは動的整合アルゴリズムを用いて判断して、その整合度が臨界値以上である場合を意味する。
【００６１】
以下、動的整合処理器４３０により行われる動的整合アルゴリズムについて詳細に説明する。
【００６２】
図６は、図５に示す動的整合処理器４３０において行われる動的整合アルゴリズムの基本的な動作を示す概略図である。
【００６３】
図６を参照すると、横軸は、インデクシングデータベース（ＤＢ）２００に保存されている分割済みのインデクシング情報の音素列のうちの一部を示し、縦軸は、検索語を音素列に変換した発音列を示す。ここで、検索語は、英語の「ＳＰＥＥＣＨ」である場合を示す。
【００６４】
図６は、複数の音素列のうち検索語である「ＳＰＥＥＣＨ」とマッチングされる音素列を示す。
【００６５】
基本的に、音素格子により決定される音素列はその正確度が約６０％である。このため、音素単位で間違った音素が挿入されたり、現れなかったり、別の音素として認識されたりする。この理由から、時間的には合う部分が早く現れたり遅く現れたりする。したがって、本発明の実施形態においては、図６に示すように、最適にマッチングされる経路方式を動的整合アルゴリズムを用いて算出する。
【００６６】
図７は、図５に示す動的整合処理器４３０において行われる動的整合アルゴリズムの一例を示す図である。
【００６７】
図７を参照すると、実際に発声されて保存された音声データのうち、図７において用いられる一部の実際の発声内容（Ａ）は、「東京都新宿区新宿３丁目」である。このような音声データに対してインデクシング部１００が音素基準のインデクシングを行って、インデクシングデータベース（ＤＢ）２００に保存された音素列として図７において用いられるインデクシングデータＢは、「d o k yu  dd o sh ich u o g u sh i chu gg o  s a _d j o n e」である。なお、検索語が「しんじゅくく」であるため、発音列生成器４２０により生成される発音列Ｃは、上述したように、「sh i _n zy u k u k u」である。
【００６８】
したがって、動的整合処理器４３０は、検索語の発音列（Ｃ）である「sh i _n zy u k
u k u」を基準としてインデクシングデータＢである「d o k yu  dd o sh ichu o g u sh i ch u gg o  s a _d j o n e」に対して図６に示す動的整合アルゴリズムを音素単位で行う。ここで、動的整合処理器４３０は、図８に示すように、インデクシングデータＢに対して検索語Ｃを移動させながら検索（Ｓｈｉｆｔｉｎｇ  ＆  Ｓｅａｒｃｈｉｎｇ）を行うことにより、動的整合アルゴリズムを行う。
【００６９】
図７に戻ると、例えば、インデクシングデータＢのうち、Ｐ１の位置において、図６に示すように、検索語Ａ及びインデクシングデータＢ間の動的整合アルゴリズムが行われて整合度が算出され、例えば、Ｐ１の位置における整合度は３５点となる。
【００７０】
一方、Ｐ２の位置のインデクシングデータＢに対して検索語Ｃの動的整合アルゴリズムが行われることにより算出される整合度は７５点となる。ここで、Ｐ２の位置において、インデクシングデータＢの「sh」及び「i」は、検索語Ｃの「sh」及び「i」とマッチングされて高い点数が反映されるが、検索語Ｃの「_n」は脱落してペナルティが課せられ、検索語Ｃの「zy」はインデクシングデータＢの「ch」と誤認識されたが、音価からみて互いに略同じであるためある程度高い点数が反映され、検索語Ｃの「k」は脱落してペナルティが課せられ、検索語Ｃの「u」はインデクシングデータＢの「o」と略同じ音価を有するためある程度高い点数を有して、全体的に音素文字のマッチングにより７５点という高い点数、実際には、臨界値として設定された６０点以上であるため、１次候補の音素区間として選定される。
【００７１】
同様に、上述した動作がＰ３位置のインデクシングデータＢに対しても行われて整合度として８０点が算出されて、やはり１次候補として選定される。ここで、実質的に発声は／新宿３／であるが、音素認識の不正確性に起因して、「sh i ch u ddos a _d」となって、「sh i _n zy u k u k u」及び「sh i ch u ddo s a _d」は、文字列の比較において高い点数を有する。このように検索語Ｃとやや異なるインデクシングデータＢも１次候補になるが、後述する検証器４４０により１次候補の中でより正確なマッチングが行われることにより、Ｐ３位置のインデクシングデータＢは除去される。
【００７２】
次いで、検証器４４０は、動的整合処理器４３０において選定される１次候補の音素区間に対して音響学的なモデルを用いて詳細に一致の有無を判断して最適な一つの音声区間を決定し、決定される音声区間及びこの音声区間に関する各種の情報を検索結果ヒストリーデータベース（ＤＢ）４５０に保存するとともに把握部５００に出力する。ここで、検証器４４０は、候補となる音声区間に対して検索語の音素列に対してトライフォンモデルを基準として音素モデルの状態情報に音声区間を音素列によるフレーム単位で割り当て、トライフォンモデルに対する観測確率値及びモノフォンモデルに対する観測確率値間の比率に対する累積値を求めた後、０〜１００点に正規化させて正規化された信頼度値を算出した後、正規化された信頼度値が最も高い候補を最適な候補として決定する。上述したトライフォンモデルやモノフォンモデルなどの音響学的なモデルを用いる内容については周知であるため、ここではその詳細な説明を省略する。
【００７３】
また、検証器４４０は、最適な候補が決定されれば、最適な候補に相当する音声区間を基準として前後の所定の時間の範囲内で検索語データベース（ＤＢ）４１０から検索語に対応して取り出される文脈キーワードの発音列に一致する音素列があるか否かを更に検索する。ここで、所定の時間範囲は、全体的に制限時間の範囲、上記の例において１０秒以内に設定されることが好ましい。
【００７４】
一方、検証器４４０が検索結果として出力する情報としては、検索された音素列が含まれているファイル名、音声データにおける開始位置及び終止位置、検索語、検索された区間に対する正規化された信頼度値、一致する文脈キーワード、発声話者の性別（男性又は女性）などが挙げられる。ここで、発声話者の性別情報は、音響学的に男性モデル及び女性モデルのそれぞれに対して音声信号の類似度が大きな方と判別して取り出す。
【００７５】
検索結果ヒストリーデータベース（ＤＢ）４５０は、検証器４４０を介して出力される検索結果を検索語とともに保存し、ユーザインターフェースを介して検索語が入力されれば、当該検索語に対して検索履歴が存在すれば、重複する検索を防ぎ、当該検索語に対して保存された検索結果を把握部５００に送信する。
【００７６】
次いで、把握部５００について詳細に説明する。
【００７７】
図９は、図１に示す把握部５００の具体的な構成を示す図である。
【００７８】
図９に示すように、把握部５００は、主題語データベース（ＤＢ）５１０と、主題語把握部５２０と、出力部５３０と、を備える。
【００７９】
主題語データベース（ＤＢ）５１０には、例えば、図１０に示すように、検索語及び文脈キーワード別に対応する主題語が設定されている。すなわち、一つの検索語に複数の文脈キーワードが設定されており、これらの複数の文脈キーワード別にそれぞれの主題語が予め設定されている。
【００８０】
主題語把握部５２０は、検索部４００から出力される検索結果情報の内から検索語及び文脈キーワードを取り出して、主題語データベース（ＤＢ）５１０から対応する主題語を検索して、検索される主題語を出力する。例えば、検索語が「冷蔵庫」であり、且つ、一致する文脈キーワードが「キムチ」及び「故障」である場合、主題語把握部５２０は、「キムチ冷蔵庫の故障」が主題語であると把握する。このため、ここでの主題語が音声データの発話内容に相当すると認められる。
【００８１】
出力部５３０は、主題語把握部５２０からの検索結果情報及び主題語情報を入力されてユーザに与える検索画面をユーザインターフェース３００を介して出力する。出力部５３０がユーザインターフェース３００を介してユーザに表示する画面の例が図１１に示されている。図１１から明らかなように、顧客により実際に発声された内容は「あの…キムチ冷蔵庫が…壊れたんですが…」であり、ユーザが提供する検索語は「冷蔵庫」であり、検索語に対応して一致する文脈キーワードは「キムチ」及び「壊れた」である。ここで、顧客は、「壊れました」を生成したが、一致する文脈キーワードとして「壊れた」が現れた理由は、検索語データベース（ＤＢ）４１０に類似キーワードを設定するとき、カテゴリ方式を用いて類似単語を設定したためである。例えば、文脈キーワードが「壊れた」である場合、これに対して「壊れた」はもとより、「壊れました」、「壊れたんです」、「壊れたのです」などの類似の単語をカテゴリで括って検索されるようにする。これに加えて、検索語の場合にも別称検索を支援して、ユーザが「携帯電話」を検索語として入力する場合、検索部４００は、「携帯電話機」、「スマートフォン」、「スマホ」、「アイフォン」などの別称に対しても同時に検索を行うように構成される。更に、名詞語だけでなく、動詞の場合でも別称検索が行える。例えば、ユーザが「同意しますか」を検索語として入力しても、検索部４００は、「同意しますか」はもとより、「同意できますか」などの別称に対しても同時に検索を行うように構成される。
【００８２】
また、図１１から明らかなように、検索結果として、標準化された信頼度値、全体の原音源音声ファイル上における開始点及び終止点の時間が表示され、検索語である「冷蔵庫」及び文脈キーワードである「キムチ」並びに「故障」により把握される主題語が「家電の故障」であると把握された結果が一緒に表示される。
【００８３】
以下、添付図面に基づき、本発明の実施形態による音素基準のインデクシング方法について説明する。
【００８４】
図１２は、本発明の実施形態による音素基準のインデクシング方法のフローチャートである。
【００８５】
本発明の実施形態によるインデクシング方法は、顧客などの音声録取が行われて録取された音声ファイル１１が生成されれば、直ちに又は今後のユーザの指示に従い音声ファイル１１に対して行われる。
【００８６】
図１２を参照すると、インデクシングされるべき音声ファイル１１が指定されれば、指定された音声ファイル１１に保存された音声データがインデクシング部１００に入力されてバッファ部１１０に保存される（Ｓ１００）。
【００８７】
すると、インデクシング制御部１６０は、バッファ部１１０に保存された音声データから音声の開始点が検出されたか否かを判断する（Ｓ１１０）。
【００８８】
もし、音声の開始点が検出されなければ、音声の開始点が検出されるまで音声データ上においてフレームの移動を行って（Ｓ１２０）持続的にフレーム単位で音声データを読み込み続ける。
【００８９】
前記ステップＳ１１０において、音声の開始点が検出されれば、音声データにおいて有効な音声区間が最初に始まるため、インデクシング制御部１６０は、時間をカウントし始めた後（Ｓ１３０）、有効な音声区間の音素に対してフレーム単位の音素認識による音素格子を形成する（Ｓ１４０）。このようにフレーム単位の音素認識により音素格子を形成するステップの詳細については、後述する。
【００９０】
次いで、インデクシング制御部１６０は、予め設定された制限時間、例えば、１０秒を徒過したか否かを判断し（Ｓ１５０）、もし、予め設定された制限時間を徒過したならば、強制的に音声の終止点の検出が終わった場合と同じ処理を施して、分割済みのインデクシング情報をインデクシングデータベース（ＤＢ）２００に保存する（Ｓ１６０）。ここで、分割済みのインデクシング情報は、前記ステップＳ１４０において形成される音素格子及び多数の情報を含む。このような複数の情報については上述したため、ここではその詳細な説明を省略する。次いで、強制音声終止点の処理に伴う音声情報の損失を補うためにフレームの重なり合いを行う（Ｓ１７０）。例えば、約３秒間の音声区間を逆らってインデクシング過程を行う。
【００９１】
一方、前記ステップＳ１５０において、制限時間を徒過しなかったと判断されれば、インデクシング制御部１６０は、分割済みのインデクシング情報を保存するために、音声データに対して音声の終止点が検出されたか否かを判断し（Ｓ１８０）、もし、音声の終止点が検出されれば、分割済みのインデクシング情報を保存し（Ｓ１９０）、次の音声データに対してフレームの移動を行って（Ｓ１２０）新たな開始点を探す過程（Ｓ１１０）が繰り返し行われる。一方、前記ステップＳ１８０において音声の終止点が検出されなければ、音声ファイル１１の終わりであるためインデクシングを行う音声データがそれ以上ないか否かを判断し（Ｓ２００）、もし、音声ファイル１１の終わりではないためインデクシングを行う音声データが更に残っていると判断されれば、次のフレームに対する処理のためにフレームの移動を行った後（Ｓ２１０）、移動されたフレームの音素に対して音素格子を形成する前記ステップ（Ｓ１３０）が繰り返し行われる。
【００９２】
このように、引き続く音声データに対してインデクシングを行っていて、前記ステップＳ２００において音声ファイル１１の終わりであるためインデクシングを行う音声データがそれ以上ないと判断されれば、インデクシング制御部１６０は、音声が始まったが制限時間を徒過したわけでもなく、且つ、音声の終止点が検出されたわけでもないが音声ファイル１１が終わったため、情報の損失を防ぐために、これまでインデクシング処理の施された情報を分割済みのインデクシング情報として保存した後（Ｓ２２０）、音声ファイル１１に対するインデクシング処理を終える。
【００９３】
図１３は、図１２に示す音素格子形成ステップ（Ｓ１４０）の具体的なフローチャートである。
【００９４】
図１３を参照すると、インデクシング制御部１６０は、バッファ部１１０に保存されてバッファ部１１０から出力されるフレーム単位の音声データから特徴ベクトルを取り出した後（Ｓ１３１）、取り出される特徴ベクトルを用いてフレーム同期に準拠した音素認識を行う（Ｓ１３２）。
【００９５】
次いで、インデクシング制御部１６０は、音素認識により生成される音素列をフレーム単位の時間的な流れに沿って少なくともＮ個の音素列候補群を形成し（Ｓ１３３）、形成されるＮ個の音素列候補群から逆時間的な演算を行って一つの最適な音素列候補群を選んで対応する音素格子を形成する（Ｓ１３４）。
【００９６】
次いで、添付図面に基づき、本発明の実施形態により、音素を基準としてインデクシングされた情報に対して、核心語の取出に基づいて発話内容を把握する方法について説明する。
【００９７】
図１４は、本発明の実施形態による核心語の取出に基づく発話内容の把握方法のフローチャートである。
【００９８】
本発明の実施形態による核心語の取出に基づく発話内容の把握方法においては、ユーザが発話内容を把握するための音声ファイル１１が選ばれると、選ばれた音声ファイル１１に対してインデクシングが行われた後のインデクシング情報が保存されたインデクシングデータベース（ＤＢ）２００ファイルに対して発話内容の把握が行われると仮定して説明する。
【００９９】
図１４を参照すると、ユーザインターフェース３００を介してユーザから検索のための核心語が検索語として入力されれば（Ｓ３００）、検索部４００は、入力される検索語に対して音素単位の発音列を生成する（Ｓ３１０）。
【０１００】
次いで、検索部４００は、音素単位の発音列を用いて、インデクシングデータベース（ＤＢ）２００に保存されている分割済みのインデクシング情報に対して動的整合アルゴリズムを用いて一致する音素列を検索して１次候補の音素列として出力する（Ｓ３２０）。
【０１０１】
上述したステップＳ３２０の動的整合処理は、インデクシングデータベース（ＤＢ）２００に保存されている分割済みのインデクシング情報の最後まで繰り返し行われる（Ｓ３３０）。
【０１０２】
次いで、検索部４００は、動的整合処理により選定される１次候補の音素列に対して音響学的なモデルを用いて詳細に一致有無を判断して、最適な一つの音声区間を決定する検証処理を行い、決定される音声区間及びこの音声区間に関する各種の情報を検索語データベース（ＤＢ）４１０に保存するとともに、把握部５００に出力する（Ｓ３４０）。このとき、検索部４００は、最適な候補が決定されれば、最適な候補に相当する音声区間を基準として前後の一定の時間の範囲内で検索語データベース（ＤＢ）４１０から検索語に対応して取り出される文脈キーワードの発音列に一致する音素列があるか否かを更に検索する。
【０１０３】
次いで、把握部５００は、検索部４００により検証された結果に基づいて検索語及び文脈キーワードを取り出して、主題語データベース（ＤＢ）５１０を用いて対応する主題語を把握する（Ｓ３５０）。
【０１０４】
そして、把握部５００は、最終的に検索語により検索が行われた検索結果とともに、把握された主題語をユーザインターフェース３００を介してユーザが音声ファイル１１の発話内容を把握可能なようにユーザに表示して出力する（Ｓ３６０）。
【０１０５】
したがって、ユーザは、自分が指定した音声ファイル１１に対して核心語を用いた検索を行った結果に基づいて、音声ファイル１１の発話内容を把握することが可能になる。
【０１０６】
一方、以上においては、検索部４００がユーザインターフェース３００を介してユーザから入力される一つの検索語に基づいて検索を行うことについてのみ説明したが、本発明はこれに何ら限定されるものではなく、２以上の検索語を入力されてそれぞれに対する検索を行い、それぞれの検索結果をユーザに表示してもよい。特に、２以上の検索語に対して演算論理者が使用可能なようにして、２以上の検索語の組み合わせによる主題語の把握をより具体的に行うことにより、発話内容をより具体的に把握することができる。
【０１０７】
また、検索部４００の検索結果が検索結果ヒストリーデータベース（ＤＢ）４５０に検索ヒストリーとして保存されているので、このような検索ヒストリーを統計資料として活用することにより、今後の広報に際して使用可能であるだけでなく、既に検索された検索語に対して重複検索が行われることが防がれる。
【０１０８】
このように、本発明の実施形態においては、検索語として入力される核心語に対してのみ、音声データから音素を基準として取り出せば良いので、実際にサービスに用いられる音声データの全体の単語を把握する必要がなく、その結果、検索速度及び正確度が高く、未登録語を持続的に反映し続けなければ、正常の認識過程が行えないような大容量連続語の音声認識方式よりも、実際の録取データに対して性能に優れており、メンテナンスコストが削減される。
【０１０９】
また、多数の検索語の組み合わせによる検索結果及び主題語の検索結果を用いて音声ファイルの発話内容を把握することができるので、音声ファイルに対する発話内容の把握時間が短縮され、その結果、顧客に対する応答処理が迅速になる。
【０１１０】
以上、本発明の実施形態による録取された音声データに対する核心語の取出に基づく発話内容の把握システムと、このシステムを用いたインデクシング方法及び発話内容の把握方法について詳細に説明したが、本発明の権利範囲はこれに何ら限定されるものではなく、下記の請求範囲において定義している本発明の基本概念を用いた当業者の種々の変形及び改良形態もまた本発明の権利範囲に属するものである。
【図１】
0006326490.tif 000002
【図２】
0006326490.tif 000003
【図３】
0006326490.tif 000004
【図４】
0006326490.tif 000005
【図５】
0006326490.tif 000006
【図６】
0006326490.tif 000007
【図７】
0006326490.tif 000008
【図８】
0006326490.tif 000009
【図９】
0006326490.tif 000010
【図１０】
0006326490.tif 000011
【図１１】
0006326490.tif 000012
【図１２】
0006326490.tif 000013
【図１３】
0006326490.tif 000014
【図１４】
0006326490.tif 000015