(57)【要約】【課題】比較的長い音声ドキュメントの中から探したい内容を表す音声区間を精度よく検索できるようにした音声ドキュメント検索方法などを提供する。【解決手段】データベース２に格納された音声データを読み出して音声認識手段３を用いてドキュメント化し、そのドキュメント化されたデータを15発話単位、30発話単位、60発話単位といった発話単位ごとの音声区間を抽出する。そして、この音声区間を用いて入力されたクエリに関連する関連語を擬似適合性フィードバックを用いて抽出し、その抽出された関連語と元のクエリを用いて、第二音声区間を索引として検索を行うようにする。【選択図】図４
2014052803.tif 000002
【特許請求の範囲】
【請求項１】
検索対象となる音声ドキュメントを所定の時間単位ごとに分離して音声区間を抽出するステップと、
当該抽出された音声区間内においてクエリに関連する関連語を抽出するステップと、
当該抽出された関連語を用いて検索を行うステップと、
を備えたことを特徴とする音声ドキュメント検索方法。
【請求項２】
前記所定の時間単位が、所定の単語単位、もしくは、息継ぎ単位で分割された時間単位である請求項１に記載の音声ドキュメント検索方法。
【請求項３】
前記抽出された関連語を用いて検索を行うステップが、前記所定の時間単位とは異なる第二の時間単位ごとに分離された音声区間を検索のための索引として、前記抽出された関連語を用いて検索を行うものである請求項１に記載の音声ドキュメント検索方法。
【請求項４】
検索対象となる音声ドキュメントを所定の時間単位ごとに分離して音声区間を抽出する第一音声区間抽出手段と、
当該抽出された音声区間内においてクエリに関連する関連語を擬似適合性フィードバックを用いて抽出する関連語抽出手段と、
当該抽出された関連語を用いて検索を行う検索手段と、
を備えたことを特徴とする音声ドキュメント検索システム。
【請求項５】
前記所定の時間単位が、所定の単語単位、もしくは、息継ぎ単位で分割された時間単位である請求項４に記載の音声ドキュメント検索システム。
【請求項６】
前記検索手段が、前記所定の時間単位とは異なる第二の時間単位ごとに分離された音声区間を検索のための索引として、前記抽出された関連語を用いて検索を行うものである請求項４に記載の音声ドキュメント検索システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声集合から探したい内容の音声区間を見つけ出せるようにした音声ドキュメント検索方法に関するものであって、例えば、講演単位のような長時間の音声ファイルの中から最適な内容の音声区間を見つけ出せるようにした音声ドキュメント検索方法に関するものである。
【背景技術】
【０００２】
従来より、音声ドキュメントから所望の音声区間を見つけ出すようにするための手法として、クエリ拡張などの検索方法が存在する。このクエリ拡張は、ユーザが入力した初期クエリに対していくつかの関連語を抽出し、ユーザにこの関連語を取捨選択させて元のクエリとともに検索を行うようにしたものである。また、このクエリ拡張を発展させたものとして、入力された元のクエリによる検索結果から上位のいくつかを擬似的に適合文書とみなし、元のクエリとともに検索を行っていく擬似適合性フィードバックなどがある（特許文献１など）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２４２１７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、このような擬似適合性フィードバックなどの手法を用いて、例えば、複数の講演などのような非常に長い音声ドキュメントの中から所望の話題を含む音声区間を検索しようとした場合、次のような問題を生じる。
【０００５】
すなわち、擬似適合性フィードバックは、入力された初期のクエリによる検索結果の上位を擬似的に適合文書とみなして関連語を抽出するものであるため、音声ドキュメント検索では、クエリ拡張時に音声認識誤り語が追加されてしまう可能性がある。また、検索対象が、比較的長時間の講演単位であって多くの話題を含む場合には、クエリと関連しない追加語が抽出される可能性がある。このため、数多くの講演などの音声ドキュメントの中から所望の話題を含む音声区間を抽出するような場合、その抽出された講演単位の長い音声ドキュメントを一から再生して適合した検索結果であるかどうかを判断しなければならず、その作業に膨大な時間がかかってしまうという問題があった。
【０００６】
そこで、本発明は上記課題に着目してなされたものであり、比較的長い音声ドキュメントの中から探したい内容を表す音声区間を精度よく検索できるようにした音声ドキュメント検索方法などを提供することを目的とする。
【課題を解決するための手段】
【０００７】
すなわち、本発明は上記課題を解決するために、検索対象となる音声ドキュメントを所定の時間単位ごとに分離して音声区間を抽出するステップと、当該抽出された音声区間内においてクエリに関連する関連語を抽出するステップと、当該抽出された関連語を用いて検索を行うステップとを備えるようにしたものである。
【０００８】
このようにすれば、例えば、講演単位といった非常に長い区間から関連語を抽出して検索する場合と比べて、無関係な話題まで関連語として追加される可能性が少なくなり、検索精度を高めることができるようになる。
【０００９】
さらには、所定の時間単位として、所定の単語単位、もしくは、息継ぎ単位で分割された時間単位を用いるようにする。
【００１０】
このようにすれば、関連語を抽出するための音声区間を単語単位や息継ぎ単位で区切るため、一律に何秒単位といった時間で区切る場合と比べて、関連語を抽出しやすくすることができるようになる。
【００１１】
さらに、前記所定の時間単位とは異なる第二の時間単位ごとに分離された音声区間を検索のための索引として、前記抽出された関連語を用いて検索するようにする。
【００１２】
このようにすれば、分離された第二の時間単位ごとに検索を行うことができるため、長い音声ドキュメントの中から適合した音声区間を効率よく抽出することができるようになる。
【発明の効果】
【００１３】
本発明では、検索対象となる音声ドキュメントを所定の時間単位ごとに分離して音声区間を抽出し、その抽出された音声区間内においてクエリに関連する関連語を抽出して検索を行うようにしたので、例えば、講演単位といった非常に長い区間から関連語を抽出して検索する場合と比べて、無関係な話題まで関連語として追加される可能性が少なくなり、検索精度を高めることができるようになる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施の形態における音声ドキュメント検索システムの機能ブロック図
【図２】擬似適合性フィードバックを用いたクエリ拡張を示す図
【図３】本発明の一実施の形態における擬似適合性フィードバックの概観を示す図
【図４】同形態におけるシステムのフローチャート
【図５】擬似適合性フィードバックの効果を示す表
【図６】擬似適合性フィードバックの影響を示す例
【発明を実施するための形態】
【００１５】
以下、本発明における一つの実施の形態である音声ドキュメント検索システム１について図面を参照しながら説明する。
【００１６】
この実施の形態における音声ドキュメント検索システム１は、データベース２に格納された音声データを音声認識手段３を用いてドキュメント化し、その中から、入力されたクエリに関連する関連語を擬似適合性フィードバックを用いて抽出して検索するようにしたものである。そして、特徴的には、そのドキュメント化されたテキストを所定の単語（列）単位や息継ぎ（発話）の単位（例えば、15発話、30発話、60発話など）に分離し、その分離された音声区間内において擬似適合性フィードバックを用いて関連語を抽出するとともに、ドキュメント化されたテキストを前記時間単位とは異なる第二の時間単位（例えば、30発話〜全体）に分離し、これを検索のための索引として関連語を用いて検索を行えるようにしたものである。以下、本実施の形態における各機能実現手段について図１の機能ブロック図などを用いて説明する。
【００１７】
まず、データベース２には音声データが格納されている。ここでは、音声データとして、例えば、学会講演や模擬講演などのように話者によってスピーチされたものを取り扱うものとするがこれに限定されるものではない。これらの音声データは、通常10分から25分程度であるが、1時間を超える場合もあり、また、模擬講演の場合は、一般話者による日常的な話題についての12分程度のスピーチもあるため、種々の話題を含んでいることが多い。
【００１８】
音声認識手段３は、このデータベース２に格納された音声データを読み出し、音声認識技術を用いてドキュメント化する。この音声認識技術としては、従来より提案されている種々の手法を用い、これらを用いてテキスト文書とする。このとき、音声認識技術によって音声認識率にばらつきを生じるため、一般的には、認識率は65％〜95％程度となる。
【００１９】
第一音声区間抽出手段４は、このように音声認識されたテキスト文書から第一の時間長の音声区間（第一の音声区間）を抽出する。この音声区間としては、一律の秒単位（例えば、30秒、1分、2分など）の音声区間としてもよいが、ここでは、息継ぎ（発話）単位の時間長とする。この息継ぎ単位の音声区間を抽出する場合は、所定の息継ぎ（発話）単位（例えば、15発話、30発話、60発話）の時間長に分離していく。このように息継ぎ単位で時間を区切った場合は、少なくとも発話の途中で区切ることがなくなるため、一律に秒単位で分離する場合と比べて関連語などの抽出を精度よく行うことができるというメリットがある。なお、ここでは息継ぎ単位で第一の時間長を区切るようにしているが、例えば、「単語列単位」で区切るようにしてもよい。このように単語列単位で区切った場合では、典型的な文末表現が見つかれば文の境界で分離が行える。また、典型的な話題に関連する単語列が見つかれば話題の境界で分離ができるため、一律に何秒単位で分離する場合と比べて関連語などの抽出を精度よく行うことができるというメリットがある。
【００２０】
クエリ入力手段５は、ユーザによるクエリの入力を受け付ける。この入力を受け付ける方法としては、テキストとして入力を受け付けるようにしてもよく、もしくは、音声として入力を受け付けるようにしてもよい。ここでは、入力例として「アボリジニーはどこの国にいるか」というクエリが入力されたものとして、後述する実施例に擬似適合性フィードバックの影響の例を説明する。
【００２１】
関連語抽出引手段７は、この入力されたクエリに対して、前記第一音声区間抽出手段４で抽出された第一の音声区間のテキストを索引として関連語を抽出する。ここで、クエリ拡張の概念について説明する。
【００２２】
一般に、ベクトル空間に基づく検索システムでは、クエリは単語の出現頻度を要素としたベクトルで表される。元のクエリのベクトルをq、クエリに付け加える新しい索引語のベクトルqｎ、重みをαとした場合、拡張されたクエリのベクトルqｎは、数１で表される。ベクトル空間モデルではこのqをqｎにすることがクエリ拡張といえる。
【００２３】
【数１】
2014052803.tif 000003
【００２４】
一般的には、α＜１であるが、qｎの要素を正数とするため、数２に基づくβを正の整数としてクエリ拡張を行う。すなわち、元のクエリqに対して再び重み付けを行い数２のようにクエリ拡張をする。
【００２５】
【数２】
2014052803.tif 000004
【００２６】
次に、適合性フィードバックについて説明する。適合性フィードバックとは、得られた検索結果のうち、どの文書が「適合文書であるか」、どの文書が「不適合文書であるが」をユーザに入力させることによって、クエリベクトルqをqｎに修正していくものである（数３参照）。
【００２７】
【数３】
2014052803.tif 000005
【００２８】
このとき、drとdnはそれぞれ適合文書の集合と不適合文書の集合に含まれる単語の出現頻度を各要素としたクエリベクトルとしたものである。また、ω0、ω1、ω2は0以上の定数である。
【００２９】
次に、擬似適合性フィードバックについて説明する。上述の適合性フィードバックの手法は、ユーザによる「適合文書であるか」、「不適合文書であるか」の入力が必要となるものであるが、この「擬似適合性フィードバック」は、ユーザによるこれらの判断を必要とせず、ユーザとのインタラクションなしに関連語を抽出してクエリ拡張を行えるようにしたものである。この手法を図２に示す。擬似適合性フィードバックでは、音声データから音声認識された文書を索引として、入力されたクエリqを用いて検索結果を得る。次に、得られた検索結果の上位いくつかを擬似的に適合文書の集合とし、これらの文書から関連語を抽出し、元のクエリに追加することでクエリ拡張を行うようにしたものである。ここでは、不適合性文書は用いないため、擬似適合性フィードバックの手法は、数４によって表されることになる。
【００３０】
【数４】
2014052803.tif 000006
【００３１】
検索手段８は、このように抽出された関連語と元のクエリを用いて、検索のための索引から検索を行うようにする。ここで、検索のための索引としては、第二音声区間抽出手段６によって関連語抽出のための第一の時間長よりも長い時間のドキュメントを抽出し、例えば、30発話、60発話、もしくは、ドキュメント全体の長さとして、これをもとに関連語と元のクエリを用いて検索する。通常、ドキュメント全体から関連語を抽出して検索すると、異なる話題に関連する関連語を抽出してしまい、また、音声認識誤りによって検索精度が落ちてしまうが、このようにドキュメントを分離して関連語を抽出して検索するようにすれば、このような無関係な関連語を抽出する可能性が低くなり、検索精度を高めることができる。
【００３２】
出力手段９は、このように検索された音声ドキュメントを出力する。この出力に関しては、スコアの高いものから順に可能に表示し、それらが選択されることによって、該当する音声データの第二音声区間から再生できるようにする。このようにすれば、抽出された音声データを講演単位で再生して適合文書であるかどうかをユーザに検討させる必要がないため、極めて短時間のうちに該当する適合文書に対応する音声区間から再生させることができるようになる。なお、ここでは、選択された音声データの第二音声区間から再生させるようにしているが、その音声区間の所定の長さ分前からの音声区間から再生させるようにしてもよい。
【００３３】
次に、このように構成された音声ドキュメント検索システムを用いて、データベースに格納された音声データの中からクエリに対応した音声データを検索する方法について、図３の概観図や図４のフローチャートを用いて説明する。
【００３４】
まず、クエリ入力手段５を用いてユーザがクエリを入力すると（ステップＳ１）、音声ドキュメント検索システム１は、データベース２に格納された音声データを抽出し（ステップＳ２）、これを音声認識手段３を用いて音声認識する（ステップＳ３）。なお、ここでは、クエリが入力されてから音声認識手段３を用いてテキスト化するようにしているが、あらかじめデータベース２内の音声データをテキスト化しておいてもよい。
【００３５】
そして、このようにテキスト化された音声ドキュメントを形態素解析し（ステップＳ４）、例えば、15発話単位といった第一音声区間に分離する（ステップＳ５）。そして、入力されたクエリを用いて、この第一音声区間ごとに検索を行い（ステップＳ６）、ランク付けをして上位数個の検索結果を擬似適合文書とみなして関連語を抽出し（ステップＳ７）、元のクエリも用いて擬似適合性フィードバックにより再び検索を行う（ステップＳ９）。
【００３６】
この再検索を行う場合、ステップＳ３でテキスト化された文書の中から第二音声区間を抽出し（ステップＳ８）、この音声区間の中から適合する音声ドキュメントを検索する（ステップＳ９）。
【００３７】
そして、ユーザによってこの検索結果のうち所望の音声ドキュメントが選択させ、その音声ドキュメントに関連づけられた音声データをデータベースから読み出して、該当する音声区間の音声データを出力するようにする（ステップＳ１０）。
【００３８】
このように上記実施の形態によれば、検索対象となる音声ドキュメントを所定の発話単位ごとに分離して音声区間を抽出し、その抽出された音声区間内においてクエリに関連する関連語を抽出して検索を行うようにしたので、例えば、講演単位といった非常に長い区間から関連語を抽出して検索する場合と比べて、無関係な話題まで関連語として追加される可能性が低くなり、検索精度を高めることができるようになる。
【実施例１】
【００３９】
次に、本発明における実験結果を示す。ここでは、NTCIR-9 Spoken Docで用いられたテストコレクションを用いて実験を行う。これは、日本語話し言葉コーパス（以下、CSJと称す）の学会講演987件と模擬講演1715件の合計2702件の講演を検索対象とするものである。CSJの各講演音声に対する音声認識結果が必要であるが、これについては、音声ドキュメント検索テストコレクションに含まれているもの（認識率65%〜95%）を利用した。本実験ではパッセージ検索の対象として15発話と30発話、60発話を採用し、15発話単位は講演の先頭から順に15発話ごとに区切り、この各区間が検索対象の文書となる。30発話と60発話についても15発話と同様に講演の先頭から順にそれぞれ30発話、60発話ごとに区切ったものである。
【００４０】
クエリは自然言語文で記述された125件のテキストである各クエリに対する答えとしての適合情報が、どの講演のどの発話からどの発話までという単位で付与されており、適合語として適合（R）と部分適合（P）が存在する。ここでは、適合ラベル（R）が付与された区間をクエリに対する正解として扱った。
【００４１】
本実施の形態における音声ドキュメント検索システム１の検索性能の評価は、再現率と精度を用いるのが一般的である。ここでは、評価尺度としてこれらを組み合わせた評価尺度である11点平均精度を用いる。これは数５で求められるもので、値が１に近づくほど適合していることを意味するものである。
【００４２】
【数５】
2014052803.tif 000007
【００４３】
１．講演ドキュメント検索での擬似適合性フィードバックの効果
（１）ベースラインによる検索結果
ここでは、ベクトル空間モデルに基づくドキュメント検索システムを用いた。ベクトル間の類似度にはSMARTを用いた。ここでは、索引語を形態素の基本形（名詞、動詞のみ）とし、検索エンジンには汎用連想計算エンジンGETAを用いてベースライン検索システムを設計した。クエリqが与えられたとき、全ての文書Diについてqとの類似度SMART(q,Di)を算出し、類似度が0より大きいものを高い順に全件出力するようにした。
【００４４】
このベースラインシステムでの結果を図５に示す、講演単位、60発話単位、30発話単位、15発話単位の検索の11点平均精度はそれぞれ、0.531、0.294、0.241、0.183であった。
【００４５】
（２）検索対象の発話単位ごとの擬似適合性フィードバックの検索結果
擬似適合性フィードバックには、３つのパラメータが存在する。１つめは元のクエリqで得られた検索結果の上位いくつを擬似的に適合文書として扱うか、２つめは適合文書から数５を用いて関連語抽出行う際に何語抽出するか、３つめは数４における元のクエリに対する重みβである。この実施の形態では、125件のクエリを用いて、Leave-one-outの交差検定を行った。具体的には、124件のクエリを用いて検索精度が最大となるように各パラメータの推定を行い、残りの1件の検索実験にその推定パラメータを用いた。その際、擬似的に適合文書とみなす数は1件から5件までの1件刻み、関連語は10語から50語まで10語刻み、βは1〜10まで1刻みで検索を行った。これを全ての分割セットそれぞれに対して行った。なお、ここでは、予備実験に基づき、関連語抽出の際に、低頻度語に音声認識誤り語が含まれていると仮定し、文書出現頻度が1(DF=1)の語を関連語から除外することとした。
【００４６】
【数６】
2014052803.tif 000008
【００４７】
擬似適合性フィードバックによるクエリ拡張の結果を図５の真中の列に示す。ここでは検索対象の発話単位と関連語の抽出発話単位は同一である。講演単位と60発話単位では検索精度がそれぞれ0.531から0.470、0.294から0.262に減少した。30発話単位と15発話単位では検索精度がそれぞれ0.241から0.253、0.183から0.210に向上した。これらは検索対象となる文書が小さいほど擬似適合性フィードバックの効果が大きいことを示している。
【００４８】
クエリ毎の詳細な結果を見てみると、検索精度の向上がみられたクエリは講演単位では、28.8%(125件中36件)、60発話単位では32.0%(125件中40件)、30発話単位では54.4%（125件中68件）、15発話単位では66.4%（125件中83件）であった。擬似適合性フィードバックの影響の例を図６に示す。講演単位では、追加語中に当該クエリの検索意図を含む大きな話題から選ばれた語が多いことが分かる。これに対して、15発話単位では追加語中に当該クエリの検索意図に関連する語が数語あることがわかる。これは、講演単位での検索はうまく行われているが、検索結果として得られた文書が、ある話題を中心に複数の小話題を含むものであり、擬似適合性フィードバックの際に当該クエリと関連しない小話題の語が追加語として抽出されているためと考えられる。15発話単位での検索は、検索結果として得られた文書が小さく複数の話題を含みにくいため、擬似適合性フィードバックの際に当該クエリに大きく関連する語が抽出されたためと考えられる。
【００４９】
２．関連語抽出用索引を用いた擬似適合性フィードバックの利用
（１）関連語抽出用索引を用いた擬似適合性フィードバックの利用方法
擬似適合性フィードバックのための関連語抽出を、検索した発話単位とは独立な発話単位から、擬似適合性フィードバックを行う方法について述べる。
【００５０】
ここでは、15発話単位での関連語の抽出を行い、講演単位、60発話単位、30発話単位でこの追加語を擬似適合性フィードバックに用いて検索を行う。これは、複数の話題を含む可能性のある大きい発話単位の検索で、クエリと関連しない語がクエリに追加されることを防ぐことを目的とするものである。
【００５１】
（２）実験結果
15発話単位の検索での擬似適合性フィードバックの際に得られた追加語を用いて講演単位、60発話単位、30発話単位での擬似適合性フィードバックを行った。その結果を図５の右端の列に示す。全体において検索精度の改善がみられた。講演単位では11点平均精度0.500が得られ、60発話単位では11点平均精度0.313が得られた。30発話単位では11点平均精度0.262が得られた。これらは検索対象となる文書が小さいほど検索精度の上昇率が高いことを示している。クエリ毎の詳細な結果をみると、ベースラインの検索結果と比べて検索精度の向上がみられたクエリは講演単位では、33.6%（125件中42件）、60発話単位では、59.2%（125件中74件）、30発話単位では、60.0%（125件中75件）であった。通常の擬似適合性フィードバックで得られた結果と比べると、検索精度の向上がみられたクエリは講演単位では、56.0%（125件中70件）、60発話単位では、69.6%（125件中85件）、30発話単位では、55.2%（125件中69件）であった。また講演単位では、4.0%（125件中5件）のクエリで検索精度が変わらなかった。これらの結果は、15発話単位で抽出された追加語を用いて講演単位、60発話単位、30発話単位の擬似適合性フィードバックを行う効果を示している。これは、正解発話区間が15発話区間以下、特に1発話区間から3発話区間に多く分布しているためと考えられる。今後の課題として、さらに短い発話単位で追加語の抽出を行い、擬似適合性フィードバックを行うことが挙げられる。
【００５２】
CSJの講演を対象とした検索タスクにおいて、十分な量の検索クエリを利用して、擬似適合性フィードバックの効果が明らかになった。また、関連語抽出用の索引を用いた擬似適合性フィードバックの利用する手法を提案し、短い発話単位を検索して得られた追加語を擬似適合性フィードバックに用いることが有効であることが分かった。
【符号の説明】
【００５３】
１・・・音声ドキュメント検索システム
２・・・データベース
３・・・音声認識手段
４・・・第一音声区間抽出手段
５・・・クエリ入力手段
６・・・関連語抽出手段
７・・・第二音声区間抽出手段
８・・・検索手段
９・・・出力手段
【図１】
2014052803.tif 000009
【図２】
2014052803.tif 000010
【図３】
2014052803.tif 000011
【図４】
2014052803.tif 000012
【図５】
2014052803.tif 000013
【図６】
2014052803.tif 000014