(57)【要約】【課題】音声認識用の辞書を充実させて音声文書検索精度を向上させる。【解決手段】音声認識誤りに対する正解を音声認識結果とこれに対応するテキストから統計的に求め、検索時に認識誤りに対応する正解で音声文書を拡張することによりクエリとの類似度を高める。【選択図】  図１
2004348552.tif 000002
【特許請求の範囲】
【請求項１】
音声文書に対する音声認識結果を出力する音声認識部と、
この音声認識結果の単語と音声から書き起こしたテキストの単語との対応関係を抽出する単語対応付け部と、
この抽出された対応関係のうち正しく音声が認識された音声認識単語および置換誤りした音声認識単語とこれに対応するテキストの単語との対からなるリストから構成される単語対テーブルと、
前記単語対応付け部により抽出された前記対応関係から正しく音声が認識された音声認識単語および置換誤りした音声認識単語をそれぞれ選択し、前記単語対テーブルに対し、既にその音声認識単語およびこれに対応するテキストの単語の対が格納されている場合には当該音声認識単語およびこれに対応するテキストの単語の出現頻度を更新し、そうでない場合は新たに当該音声認識単語およびこれに対応するテキストの単語の対を格納する単語対格納部と、
前記音声認識単語をキーとして、前記単語対テーブルに格納されているテキストの単語を抽出し、それらのテキストの単語を音声文書の音声認識正解単語候補に追加する単語候補拡張部と、
この音声認識正解単語候補の集合に基づいて文書ベクトルを作成する文書ベクトル生成部と、
ユーザの検索質問を入力するクエリ（ｑｕｅｒｙ）入力部と、
この検索質問に基づいてクエリベクトルを生成するクエリベクトル生成部と、
このクエリベクトルと前記文書ベクトルとの類似度を計算する類似度計算部と、
この類似度の高い順に前記文書ベクトルが指し示す音声文書名を検索結果として出力する出力部と
を備えたことを特徴とする音声文書検索装置。
【請求項２】
音声文書に対する音声認識結果を出力するステップと、
この音声認識結果の単語と音声から書き起こしたテキストの単語との対応関係を抽出するステップと、
この抽出された対応関係のうち正しく音声が認識された音声認識単語および置換誤りした音声認識単語とこれに対応するテキストの単語との対のリストからテーブルを構成するステップと、
抽出された前記対応関係から正しく音声が認識された音声認識単語および置換誤りした音声認識単語をそれぞれ選択し、前記テーブルに対し、既にその音声認識単語およびこれに対応するテキストの単語の対が格納されている場合には当該音声認識単語およびこれに対応するテキストの単語の出現頻度を更新し、そうでない場合は新たに当該音声認識単語およびこれに対応するテキストの単語の対を格納するステップと、
前記音声認識単語をキーとして、前記テーブルに格納されているテキストの単語を抽出し、それらのテキストの単語を音声文書の音声認識正解単語候補に追加するステップと、
この音声認識正解単語候補の集合に基づいて文書ベクトルを作成するステップと、
ユーザの検索質問を入力するステップと、
この検索質問に基づいてクエリ（ｑｕｅｒｙ）ベクトルを生成するステップと、
このクエリベクトルと前記文書ベクトルとの類似度を計算するステップと、
この類似度の高い順に前記文書ベクトルが指し示す音声文書名を検索結果として出力するステップと
を実行することを特徴とする音声文書検索方法。
【請求項３】
情報処理装置にインストールすることにより、その情報処理装置に、
音声文書に対する音声認識結果を出力する音声認識機能と、
この音声認識結果の単語と音声から書き起こしたテキストの単語との対応関係を抽出する単語対応付け機能と、
この抽出された対応関係のうち正しく音声が認識された音声認識単語および置換誤りした音声認識単語とこれに対応するテキストの単語との対からなるリストから構成される単語対テーブルに相応する機能と、
前記単語対応付け機能により抽出された前記対応関係から正しく音声が認識された音声認識単語および置換誤りした音声認識単語をそれぞれ選択し、前記単語対テーブルに対し、既にその音声認識単語およびこれに対応するテキストの単語の対が格納されている場合には当該音声認識単語およびこれに対応するテキストの単語の出現頻度を更新し、そうでない場合は新たに当該音声認識単語およびこれに対応するテキストの単語との対を格納する単語対格納機能と、
前記音声認識単語をキーとして、前記単語対テーブルに格納されているテキストの単語を抽出し、それらのテキストの単語を音声文書の音声認識正解単語候補に追加する単語候補拡張機能と、
この音声認識正解単語候補の集合に基づいて文書ベクトルを作成する文書ベクトル作成機能と、
ユーザの検索質問を入力するクエリ（ｑｕｅｒｙ）入力機能と、
この検索質問に基づいてクエリベクトルを生成するクエリベクトル生成機能と、
このクエリベクトルと前記文書ベクトルとの類似度を計算する類似度計算機能と、
この類似度の高い順に前記文書ベクトルが指し示す音声文書名を検索結果として出力する出力機能と
を実現させることを特徴とするプログラム。
【請求項４】
請求項３記載のプログラムが記録された前記情報処理装置読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、録画または録音された音声文書に対し、ユーザがキーワードを入力することにより所望の音声文書を検索する音声文書検索システムに関し、特に、音声認識誤りを考慮して音声文書とユーザのクエリの類似度を計算する音声文書検索システムに関する。
【０００２】
【従来の技術】
音声認識技術の精度が向上することに伴い、マルチメディア文書内に存在する音声に対して音声認識を適用して文字化することにより、これまでのテキスト文書の検索技術をマルチメディア文書の検索に応用する研究開発が行われている。例えば、特許文献１では、音声情報に対して音声認識を行うことにより検索のためのキーワードを抽出している。
【０００３】
音声認識に用いられる辞書は、認識精度および処理速度の点から、適用分野や発話されやすい単語の組み合わせが考慮された語彙数が制限されている。辞書に存在しない単語が入力されると認識することができず、別の単語として出力される。このため、音声文書集合から作成される検索のためのインデックスは高々音声認識の辞書に格納される単語数で構成される。一方、検索を行うユーザは音声認識の語彙数の制限を考慮することはなく、あらゆるキーワードが入力される。
【０００４】
【特許文献１】
特開２００１−２２９１８０号公報
【非特許文献１】
“Ｄｙｎａｍｉｃ  Ｐｒｏｇｒａｍｍｉｎｇ  Ａｌｇｏｒｉｔｈｍ（ＤＰＡ）ｆｏｒ  ｅｄｉｔ−Ｄｉｓｔａｎｃｅ”，ｈｔｔｐ：／／ｗｗｗ．ｃｓｓｅ．ｍｏｎａｓｈ．ｅｄｕ．ａｕ？／￣ｌｌｏｙｄ／ｔｉｌｄｅＡｌｇＤＳ／Ｄｙｎａｍｉｃ／Ｅｄｉｔ／
【非特許文献２】
岩波講座ソフトウェア科学１５  自然言語処理、長尾真  編、１１章
【０００５】
【発明が解決しようとする課題】
上記に述べたように、音声認識時の認識語彙数の制限のために、音声文書集合から作成されるインデックスに存在する単語とユーザが入力するキーワードにおける単語の間でミスマッチが起こるため、ユーザは所望の音声文書を検索することが難しい。
【０００６】
本発明は、このようなミスマッチの問題を解決するため、音声文書内の音声認識結果の単語が正しくはどの単語の誤りとして出力されるのかを統計的に求めることによって得られる正解単語候補を用いて文書ベクトルの作成を行うことにより、ユーザが所望する音声文書を検索可能とすることを目的とするものである。
【０００７】
【課題を解決するための手段】
上記の課題を解決するための本発明の音声文書検索装置または方法は、音声認識誤りに対する正解を音声認識結果とこれに対応するテキストから統計的に求め、検索時に認識誤りに対応する正解で音声文書を拡張することによりクエリとの類似度を高め、検索精度を向上させることを特徴とする。このような統計的な単語誤りの検証は、例えば、本発明の音声文書検索装置の管理者が保守管理の一つの工程として行うことができる。例えば、管理者は、これまでの辞書には含まれてない単語を多く含むテキストを用意し、これを本発明装置に対して音声データとして入力すると共に、テキストデータとしても入力する。本発明装置では、以下に説明する構成または手順によって、入力された音声データとテキストデータとを照合し、その単語誤りを検証する。このようにして、本発明装置は、多くの検証を行いながら自動的に学習し、検索精度を向上させていくことができる。これにより、ユーザが所望する音声文書を検索可能とすることができる。
【０００８】
すなわち、本発明の第一の観点は、音声文書検索装置であって、本発明の特徴とするところは、音声文書に対する音声認識結果を出力する音声認識部と、この音声認識結果の単語と音声から書き起こしたテキストの単語との対応関係を抽出する単語対応付け部と、この抽出された対応関係のうち正しく音声が認識された音声認識単語および置換誤りした音声認識単語とこれに対応するテキストの単語との対からなるリストから構成される単語対テーブルと、前記単語対応付け部により抽出された前記対応関係から正しく音声が認識された音声認識単語および置換誤りした音声認識単語をそれぞれ選択し、前記単語対テーブルに対し、既にその音声認識単語およびこれに対応するテキストの単語の対が格納されている場合には当該音声認識単語およびこれに対応するテキストの単語の出現頻度を更新し、そうでない場合は新たに当該音声認識単語およびこれに対応するテキストの単語の対を格納する単語対格納部と、前記音声認識単語をキーとして、前記単語対テーブルに格納されているテキストの単語を抽出し、それらのテキストの単語を音声文書の音声認識正解単語候補に追加する単語候補拡張部と、この音声認識正解単語候補の集合に基づいて文書ベクトルを作成する文書ベクトル生成部と、ユーザの検索質問を入力するクエリ（ｑｕｅｒｙ）入力部と、この検索質問に基づいてクエリベクトルを生成するクエリベクトル生成部と、このクエリベクトルと前記文書ベクトルとの類似度を計算する類似度計算部と、この類似度の高い順に前記文書ベクトルが指し示す音声文書名を検索結果として出力する出力部とを備えたところにある（請求項１）。
【０００９】
また、本発明の第二の観点は、音声文書検索方法であって、本発明の特徴とするところは、音声文書に対する音声認識結果を出力するステップと、この音声認識結果の単語と音声から書き起こしたテキストの単語との対応関係を抽出するステップと、この抽出された対応関係のうち正しく音声が認識された音声認識単語および置換誤りした音声認識単語とこれに対応するテキストの単語との対のリストからテーブルを構成するステップと、抽出された前記対応関係から正しく音声が認識された音声認識単語および置換誤りした音声認識単語をそれぞれ選択し、前記テーブルに対し、既にその音声認識単語およびこれに対応するテキストの単語の対が格納されている場合には当該音声認識単語およびこれに対応するテキストの単語の出現頻度を更新し、そうでない場合は新たに当該音声認識単語およびこれに対応するテキストの単語の対を格納するステップと、前記音声認識単語をキーとして、前記テーブルに格納されているテキストの単語を抽出し、それらのテキストの単語を音声文書の音声認識正解単語候補に追加するステップと、この音声認識正解単語候補の集合に基づいて文書ベクトルを作成するステップと、ユーザの検索質問を入力するステップと、この検索質問に基づいてクエリ（ｑｕｅｒｙ）ベクトルを生成するステップと、このクエリベクトルと前記文書ベクトルとの類似度を計算するステップと、この類似度の高い順に前記文書ベクトルが指し示す音声文書名を検索結果として出力するステップとを実行するところにある（請求項２）。
【００１０】
本発明の第三の観点は、プログラムであって、本発明の特徴とするところは、情報処理装置にインストールすることにより、その情報処理装置に、音声文書に対する音声認識結果を出力する音声認識機能と、この音声認識結果の単語と音声から書き起こしたテキストの単語との対応関係を抽出する単語対応付け機能と、この抽出された対応関係のうち正しく音声が認識された音声認識単語および置換誤りした音声認識単語とこれに対応するテキストの単語との対からなるリストから構成される単語対テーブルに相応する機能と、前記単語対応付け機能により抽出された前記対応関係から正しく音声が認識された音声認識単語および置換誤りした音声認識単語をそれぞれ選択し、前記単語対テーブルに対し、既にその音声認識単語およびこれに対応するテキストの単語の対が格納されている場合には当該音声認識単語およびこれに対応するテキストの単語の出現頻度を更新し、そうでない場合は新たに当該音声認識単語およびこれに対応するテキストの単語の対を格納する単語対格納機能と、前記音声認識単語をキーとして、前記単語対テーブルに格納されているテキストの単語を抽出し、それらのテキストの単語を音声文書の音声認識正解単語候補に追加する単語候補拡張機能と、この音声認識正解単語候補の集合に基づいて文書ベクトルを作成する文書ベクトル作成機能と、ユーザの検索質問を入力するクエリ（ｑｕｅｒｙ）入力機能と、この検索質問に基づいてクエリベクトルを生成するクエリベクトル生成機能と、このクエリベクトルと前記文書ベクトルとの類似度を計算する類似度計算機能と、この類似度の高い順に前記文書ベクトルが指し示す音声文書名を検索結果として出力する出力機能とを実現させるところにある（請求項３）。
【００１１】
本発明の第四の観点は、本発明のプログラムが記録された前記情報処理装置読取可能な記録媒体である（請求項４）。本発明のプログラムは本発明の記録媒体に記録されることにより、前記情報処理装置は、この記録媒体を用いて本発明のプログラムをインストールすることができる。あるいは、本発明のプログラムを保持するサーバからネットワークを介して直接前記情報処理装置に本発明のプログラムをインストールすることもできる。
【００１２】
これにより、情報処理装置を用いて、音声文書内の音声認識結果の単語が正しくはどの単語の誤りとして出力されるのかを統計的に求めることによって得られる正解単語候補を用いて文書ベクトルの作成を行うことにより、ユーザが所望する音声文書を検索可能とする音声文書検索装置または方法を実現することができる。
【００１３】
【発明の実施の形態】
本発明実施形態を図１ないし図５を参照して説明する。図１は本実施形態の音声文書検索装置１のブロック構成図である。図２は音声認識部２に入力された音声が認識された結果を示す図である。図３は単語対応付け部３が実際の発声を書き起こしたテキストを形態素解析した単語列と音声認識結果の単語列とを対応付けた結果を示す図である。図４は単語対テーブル６に格納される全ての音声データとその書き起こしテキストから得られる音声認識単語とテキスト対応単語リストを示す図である。図５は単語候補拡張部５における正解単語候補、単純な重み、出現頻度による重みの対応関係を示す図である。
【００１４】
本実施形態は、音声文書検索装置１であって、本実施形態の特徴とするところは、図１に示すように、音声文書に対する音声認識結果を出力する音声認識部２と、この音声認識結果の単語と音声から書き起こしたテキストの単語（以降、テキスト対応単語という）との対応関係を抽出する単語対応付け部３と、この抽出された対応関係のうち正しく音声が認識された音声認識単語および置換誤りした音声認識単語とこれに対応するテキスト対応単語との対からなるリストから構成される単語対テーブル６と、単語対応付け部３により抽出された前記対応関係から正しく音声が認識された音声認識単語および置換誤りした音声認識単語をそれぞれ選択し、単語対テーブル６に対し、既にその音声認識単語およびこれに対応するテキスト対応単語の対が格納されている場合には当該音声認識単語およびこれに対応するテキスト対応単語の出現頻度を更新し、そうでない場合は新たに当該音声認識単語およびこれに対応するテキスト対応単語の対を格納する単語対格納部４と、前記音声認識単語をキーとして、単語対テーブル６に格納されているテキスト対応単語を抽出し、それらのテキスト対応単語を音声文書の音声認識正解単語候補に追加する単語候補拡張部５と、この音声認識正解単語候補の集合に基づいて文書ベクトルを作成する文書ベクトル生成部７と、ユーザの検索質問を入力するクエリ（ｑｕｅｒｙ）入力部８と、この検索質問に基づいてクエリベクトルを生成するクエリベクトル生成部９と、このクエリベクトルと前記文書ベクトルとの類似度を計算する類似度計算部１０と、この類似度の高い順に前記文書ベクトルが指し示す音声文書名を検索結果として出力する出力部１１とを備えたところにある（請求項１）。
【００１５】
本発明は、汎用の情報処理装置にインストールすることにより、その情報処理装置に本発明の音声文書検索装置１に相応する機能を実現させるプログラムとして実現することができる（請求項３）。このプログラムは、記録媒体に記録されて情報処理装置にインストールされ（請求項４）、あるいは通信回線を介して情報処理装置にインストールされることにより当該情報処理装置に、音声認識部２、単語対応付け部３、単語対格納部４、単語候補拡張部５、単語対テーブル６、文書ベクトル生成部７、クエリ入力部８、クエリベクトル生成部９、類似度計算部１０、出力部１１にそれぞれ相応する機能を実現させることができる。
【００１６】
以下、具体例を用いて、本実施形態の音声文書検索装置１の動作を説明する（請求項２）。図２に示すように、ここで実際の発声は「ＩＴベンチャーの中谷製作所の田中祐市部長は、新プロジェクトのシリウス・ダッシュの概要を発表した」であったとするが、音声認識の誤りのために「ＩＴベンチャーのなかったり製作所の田中唯一部長は、新プロジェクトのシリウス・ダッシュの概要を発表した」のように文字化けされたものとする。
【００１７】
図３に示すように、対応付けは、例えば読みの文字列の類似度を用いることにより、編集距離を最小にするように動的計画法を用いればよい（例えば、非特許文献１参照）。対応付けた後で、双方の表記を比較することにより、正解か誤りかを求める。誤りには表記が異なる置換誤りの他に、音声認識時に余計な単語が出力される挿入誤りとテキストの単語が脱落する削除誤りとがある。
【００１８】
単語対格納部４は音声認識の正解と置換誤りと判定された単語とそれに対応するテキストの単語を対象として、単語対テーブル６に音声認識語とそれに対応するテキストの単語を格納する。単語対テーブル６に音声認識単語がなければ新規に追加する。またすでに音声認識単語が存在すればテキスト対応単語リストの出現頻度を更新する。準備されたすべての音声データとその書き起こしテキストに対して、音声認識部２、単語対応付け部３、単語格納部４を駆動して単語対テーブル６を更新する。図４には、単語対テーブル６に格納される、すべての音声データとその書き起こしテキストから得られる音声認識単語とテキスト対応単語リストを示す。括弧内の数字は頻度を表す。
【００１９】
一方、音声文書を検索するための方法を説明する。検索のための具体的な方法としては、ベクトル空間法等の手法が確立されているので、これを用いることができる（例えば、非特許文献２参照）。ベクトル空間法では、検索対象となる文書の文書ベクトルとユーザの検索質問のクエリベクトルの類似度を計算することがポイントになる。以下では、音声文書を検索対象とした場合の文書ベクトルを作成する方法を説明する。新規に収集される音声文書を音声認識部２に通すことにより認識される各単語が出力される。単語候補拡張部５によって単語対テーブル６に格納された音声認識語とテキスト対応単語リストから、出力された各単語をキーとしてテキスト対応単語リストとその頻度を取得する。文書ベクトル生成部７は、取得された各単語リストを用いて文書ベクトルを生成する。
【００２０】
【数１】
2004348552.tif 000003
単語リストに現れる全単語の数をｔ個、単語ベクトルをＶｉとして音声文書Ｄｒを表すことができる。重み係数［外１］は単語リストに出現する場合は１、出現しない場合は０でもよいし、単語リスト内の出現頻度の割合を用いて重みを決定してもよい。あるいは出現頻度の割合と音声認識語の出現頻度の積を用いてもよいし、この値と音声認識語の文書頻度の逆数の積を用いてもよい。例えば、図２が新規の音声文書を音声認識した結果であるとすると、図５のようになる。正解単語リストに出現しない単語の重みはすべて０となる。以上の処理を検索対象となるすべての音声文書に対して行うことにより、各文書の文書ベクトルを求めておく。
【００２１】
【外１】
2004348552.tif 000004
次に検索の実行時について説明する。ユーザからのクエリがクエリ入力部８で受けられ、クエリベクトル生成部９により形態素解析が行われ、得られた単語に基づいてクエリベクトルを作成する。クエリベクトルも文書ベクトルと同様に表すことができる。
【００２２】
【数２】
2004348552.tif 000005
重み係数［外２］はクエリに単語が出現すれば１、出現しなければ０とする。例えばクエリが「中谷製作所  田中祐市」であるとすると、形態素解析により、「中谷  製作所  田中  祐市」の各単語が得られる。これらの重みは１とし、これら以外の単語の重みはすべて０とする。
【００２３】
【外２】
2004348552.tif 000006
類似度計算部１０は、クエリベクトルとすべての文書ベクトルの類似度を計算する。上記のクエリの例で説明すると、クエリベクトルと図２の文書ベクトルとの類似度は、各単語の重みの積の総和になるので、「中谷」「製作所」「田中」「祐市」の重みを考慮して、
【００２４】
【数３】
2004348552.tif 000007
となる。上記の類似度の計算をすべての文書ベクトルに対して行う。出力部１１は、クエリベクトルと文書ベクトルとの類似度の高い音声文書から順番に所定の個数まで出力する。
【００２５】
【発明の効果】
以上、説明したように、本発明の音声文書検索システムによれば、音声認識の誤りのためにユーザが入力した検索質問と音声文書とのミスマッチの問題のうち、音声文書内の音声認識単語に対して統計的に求められた正解単語候補を用いて文書ベクトルを作成することにより、音声認識単語には存在しないユーザの検索質問との類似度を上昇させ、検索の再現率を向上させることができる。
【図面の簡単な説明】
【図１】本実施形態の音声文書検索装置のブロック構成図。
【図２】音声認識部に入力された音声が認識された結果を示す図。
【図３】単語対応付け部が実際の発声を書き起こしたテキストを形態素解析した単語列と音声認識結果の単語列とを対応付けた結果を示す図。
【図４】単語対テーブルに格納される全ての音声データとその書き起こしテキストから得られる音声認識単語とテキスト対応単語リストを示す図。
【図５】単語候補拡張部における正解単語候補、単純な重み、出現頻度による重みの対応関係を示す図。
【符号の説明】
１  音声文書検索装置
２  音声認識部
３  単語対応付け部
４  単語対格納部
５  単語候補拡張部
６  単語対テーブル
７  文書ベクトル生成部
８  クエリ入力部
９  クエリベクトル生成部
１０  類似度計算部
１１  出力部
【図１】
2004348552.tif 000008
【図２】
2004348552.tif 000009
【図３】
2004348552.tif 000010
【図４】
2004348552.tif 000011
【図５】
2004348552.tif 000012