(57)【要約】  事前にキーワードを登録する手間を必要とせず、入力音声の内容に合った適切な情報を自動的に検出・提示することのできる情報検索システムを提供する。情報検索システムは、音声を入力する音声入力手段１０１と、音声認識手段１０２と、検索タグとして所定の長さの音声情報が関連付けられた情報を蓄積する情報蓄積手段１０３と、前記各音声情報から抽出した各発話内容の特徴と、前記入力音声から抽出した発話内容の特徴とを比較して、前記入力音声に最も類似する音声情報が関連付けられた情報を選択し、検索結果として出力する類似度計算手段１０４及び情報選択手段１０５と、を備える。
2008114811.tif 000002
【特許請求の範囲】
【請求項１】
音声を入力する音声入力手段と、
検索タグとして音声情報が関連付けられた情報を蓄積する情報蓄積手段と、
前記各音声情報から抽出した各発話内容の特徴と、前記入力音声から抽出した発話内容の特徴とを比較して、入力音声に類似する音声情報が関連付けられた情報を選択する情報選択手段と、
入力音声に関連する情報として、前記情報選択手段により選択された情報を出力する出力手段と、を備えたこと、を特徴とする情報検索システム。
【請求項２】
前記情報選択手段は、
前記入力音声に含まれる単語の集合と類似する単語の集合を持つ前記音声情報を選択すること、
を特徴とする請求項１に記載の情報検索システム。
【請求項３】
更に、音声信号をテキストデータに変換する音声認識手段と、
前記音声認識手段によって生成された二つまたはそれ以上の音声認識結果の間の類似度を算出する類似度計算手段と、
を備え、
前記情報蓄積手段に前記音声情報として蓄積された音声信号と、前記入力音声とをそれぞれ前記音声認識手段によって音声認識し、
前記各音声認識結果の間の類似度を前記類似度計算手段によって算出し、
前記情報選択手段は、
前記類似度計算手段により算出した類似度に基づいて、入力音声と類似度が高い音声情報が関連付けられた情報を選択すること、
を特徴とする請求項１又は２に記載の情報検索システム。
【請求項４】
更に、音声信号をテキストデータに変換する音声認識手段と、
前記音声認識手段によって生成された二つまたはそれ以上の音声認識結果の間の類似度を算出する類似度計算手段と、
を備え、
前記入力音声を前記音声認識手段によって音声認識し、
前記情報蓄積手段に音声情報として予め蓄積された音声認識結果と、前記入力音声の音声認識結果の間の類似度を前記類似度計算手段によって算出し、
前記情報選択手段は、
前記類似度計算手段により算出した類似度に基づいて、入力音声と類似度が高い音声情報が関連付けられた情報を選択すること、
を特徴とする請求項１又は２に記載の情報検索システム。
【請求項５】
更に、音声信号をテキストデータに変換する音声認識手段と、
前記音声認識手段によって生成された音声認識結果から文書特徴ベクトルを算出する文書特徴ベクトル生成手段と、
前記文書特徴ベクトル生成手段によって算出された二つまたはそれ以上の文書特徴ベクトルの間の類似度を算出する類似度計算手段と、を備え、
前記情報蓄積手段に音声情報として蓄積された音声信号と、前記入力音声とをそれぞれ前記音声認識手段によって音声認識した後、前記文書特徴ベクトル生成手段によってそれぞれ文書特徴ベクトルを算出し、
前記類似度計算手段によって前記各文書特徴ベクトルの間の類似度を算出し、
前記情報選択手段は、
前記類似度計算手段により算出した類似度に基づいて、入力音声と類似度が高い音声情報が関連付けられた情報を選択すること、
を特徴とする請求項１又は２に記載の情報検索システム。
【請求項６】
更に、音声信号をテキストデータに変換する音声認識手段と、
前記音声認識手段によって生成された音声認識結果から文書特徴ベクトルを算出する文書特徴ベクトル生成手段と、
前記文書特徴ベクトル生成手段によって算出された二つまたはそれ以上の文書特徴ベクトルの間の類似度を算出する類似度計算手段と、を備え、
前記入力音声を前記音声認識手段によって音声認識した後、前記入力音声の音声認識結果と、前記情報蓄積手段に音声情報として予め蓄積された音声認識結果とから、前記文書特徴ベクトル生成手段によってそれぞれ文書特徴ベクトルを算出し、
前記類似度計算手段によって前記各文書特徴ベクトルの間の類似度を算出し、
前記情報選択手段は、
前記類似度計算手段により算出した類似度に基づいて、入力音声と類似度が高い音声情報が関連付けられた情報を選択すること、
を特徴とする請求項１又は２に記載の情報検索システム。
【請求項７】
更に、音声信号をテキストデータに変換する音声認識手段と、
前記音声認識手段によって生成された音声認識結果から文書特徴ベクトルを算出する文書特徴ベクトル生成手段と、
前記文書特徴ベクトル生成手段によって算出された二つまたはそれ以上の文書特徴ベクトルの間の類似度を算出する類似度計算手段と、を備え、
前記入力音声を前記音声認識手段によって音声認識した後、前記文書特徴ベクトル生成手段によって文書特徴ベクトルを算出し、
前記情報蓄積手段に音声情報として予め蓄積された文書特徴ベクトルと、前記入力音声より算出した文書特徴ベクトルとの間の類似度を前記類似度計算手段によって算出し、
前記情報選択手段は、
前記類似度計算手段により算出した類似度に基づいて、入力音声と類似度が高い音声情報が関連付けられた情報を選択すること、
を特徴とする請求項１又は２に記載の情報検索システム。
【請求項８】
前記情報蓄積手段に予め蓄積された音声認識結果は、前記音声認識手段と同等の音声認識手段によって生成された音声認識結果であること、
を特徴とする請求項４又は６に記載の情報検索システム。
【請求項９】
前記情報蓄積手段に予め蓄積された文書特徴ベクトルは、前記音声認識手段と同等の音声認識手段と、前記文書特徴ベクトル生成手段と同様の文書特徴ベクトル生成手段によって生成された文書特徴ベクトルであること、
を特徴とする請求項７に記載の情報検索システム。
【請求項１０】
前記音声認識手段が、
前記入力音声を任意のサイズのブロックに分割して、ブロック毎の音声認識結果を順次出力し、
前記音声認識結果の出力の都度、前記類似度計算手段が、出力済みの全ブロックの音声認識結果と前記音声情報との類似度を再計算し、
前記情報選択手段は、
前記再計算された類似度に基づいて、入力音声と類似度が高い音声情報が関連付けられた情報を再選択すること、
を特徴とする請求項３乃至９いずれか一に記載の情報検索システム。
【請求項１１】
前記音声認識手段が、
前記入力音声を任意のサイズのブロックに分割して、ブロック毎の音声認識結果を順次出力し、
前記音声認識結果の出力の都度、前記文書特徴ベクトル生成手段が前記ブロック毎の音声認識結果に対する文書特徴ベクトルを生成するとともに、前記類似度計算手段が、出力済みの全ブロックの音声認識結果と前記音声情報との類似度を再計算し、
前記情報選択手段は、
前記再計算された類似度に基づいて、入力音声と類似度が高い音声情報が関連付けられた情報を再選択すること、
を特徴とする請求項５乃至９いずれか一に記載の情報検索システム。
【請求項１２】
前記情報蓄積手段には、
一の情報に対して一つ又は複数の異なる音声情報を関連付けることが可能であること、
を特徴とする請求項１乃至１１いずれか一に記載の情報検索システム。
【請求項１３】
前記情報蓄積手段には、
一の音声情報に対して一つ又は複数の異なる情報を関連付けることが可能であること、
を特徴とする請求項１乃至１２いずれか一に記載の情報検索システム。
【請求項１４】
更に、前記音声認識手段によって得られた音声認識結果を保持するバッファ手段と、
所定の特徴選択規則に従って前記バッファ手段から音声認識結果を選択して前記類似度計算手段に入力する特徴選択手段と、を備え、
前記類似度計算手段は、
前記特徴選択手段によって選択された音声認識結果を用いて前記各類似度を算出すること、
を特徴とする請求項３乃至１３いずれか一に記載の情報検索システム。
【請求項１５】
更に、前記文書特徴ベクトル生成手段によって生成された文書特徴ベクトルを保持するバッファ手段と、
所定の特徴選択規則に従って前記バッファ手段から文書特徴ベクトルを選択して前記類似度計算手段に入力する特徴ベクトル選択手段と、を備え、
前記類似度計算手段は、
前記特徴ベクトル選択手段によって選択された文書特徴ベクトルを用いて前記各類似度を算出すること、
を特徴とする請求項５乃至１３いずれか一に記載の情報検索システム。
【請求項１６】
前記特徴選択手段又は前記特徴ベクトル選択手段は、前記情報選択手段からのフィードバックに基いて、前記所定の特徴選択規則を変更すること、
を特徴とする請求項１４又は１５に記載の情報検索システム。
【請求項１７】
更に、前記情報蓄積手段に、検索対象とする情報と、前記音声情報を登録する情報登録手段を備えたこと、
を特徴とする請求項１乃至１６いずれか一に記載の情報検索システム。
【請求項１８】
更に、検索対象とする情報に関連付ける前記音声情報として、前記バッファ手段に保持されている音声認識結果又は文書特徴ベクトルを、前記情報蓄積手段に登録する情報登録手段を備えたこと、
を特徴とする請求項１４乃至１７いずれか一に記載の情報検索システム。
【請求項１９】
更に、検索対象とする情報に関連付ける前記音声情報として、前記特徴選択手段によって選択された音声認識結果又は文書特徴ベクトルとの組を、前記情報蓄積手段に登録する情報登録手段を備えたこと、
を特徴とする請求項１４乃至１７いずれか一に記載の情報検索システム。
【請求項２０】
前記情報登録手段は、
前記情報選択手段により選択された情報に新たに関連付ける音声情報の入力を受け付け、前記情報蓄積手段に登録すること、
を特徴とする請求項１乃至１９いずれか一に記載の情報検索システム。
【請求項２１】
前記情報蓄積手段に蓄積された情報がテキストデータであること、
を特徴とする請求項１乃至２０いずれか一に記載の情報検索システム。
【請求項２２】
前記情報蓄積手段に蓄積された情報が、通話応対の内容の要約である応対履歴文書、通話音声で話題となった特定の商品に関するカタログや説明用の動画像、通話中に参照したウェブサイトのＵＲＬ、通話応対中のユーザの挙動を記録した動画像、のいずれかであること、
を特徴とする請求項１乃至２１いずれか一に記載の情報検索システム。
【請求項２３】
前記情報蓄積手段に蓄積された音声情報が、電話窓口応対者と顧客との対話音声であること、
を特徴とする請求項１乃至２２いずれか一に記載の情報検索システム。
【請求項２４】
前記情報登録手段は、
通話応対中に、電話窓口応対者が参照した情報のうち、前記情報選択手段によって選択された情報以外の任意の情報を、
当該電話窓口応対者と顧客との対話音声の内容に関連する情報として前記情報蓄積部に記録すること、
を特徴とする請求項２２又は２３に記載の情報検索システム。
【請求項２５】
音声を入力する音声入力手段と、検索タグとして音声情報が関連付けられた情報を蓄積する情報蓄積手段と、入力音声に関連する情報として、前記情報選択手段により選択された情報を出力する出力手段と、を備える情報検索システムにおける入力音声に関連する情報を検索する情報検索方法であって、
前記情報検索システムが、前記各音声情報から抽出した各発話内容の特徴と、前記入力音声から抽出した発話内容の特徴とを比較して、前記入力音声に最も類似する音声情報が関連付けられた情報を選択し、検索結果として出力すること、
を特徴とする情報検索方法。
【請求項２６】
音声を入力する音声入力手段と、検索タグとして音声情報が関連付けられた情報を蓄積する情報蓄積手段と、入力音声に関連する情報として、前記情報選択手段により選択された情報を出力する出力手段と、を備える情報検索システムに実行させる情報検索用プログラムであって、
前記情報蓄積手段に蓄積された各音声情報から抽出した各発話内容の特徴と、前記入力音声から抽出した発話内容の特徴とを比較して、前記入力音声に類似する音声情報が関連付けられた情報を選択し、前記出力手段に引き渡す処理を前記情報検索システムに実行させる情報検索用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願の記載］
本発明は、日本国特許出願：特願２００７−０７０７５８号（２００７年３月１９日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、情報検索システム、情報検索方法及び情報検索用プログラムに関し、特に、大量の蓄積情報の中から、入力された音声の内容に合った適切な情報を提示する情報検索システム、情報検索方法及び情報検索用プログラムに関する。
【背景技術】
【０００２】
映像や音声などの内容に応じた情報を素早く検索し、提示する技術は、さまざまな場面において非常に有用である。例えば会議中に議事の進行に合わせた関連資料を順次提示するシステムや、電話応対窓口において問い合わせ内容に関する情報が自動的に得られるシステムなどが実現できれば、ユーザは会議や応対そのものに集中することができ、生産性が向上する。【０００３】
このような、音声を元に情報検索を行う従来システムの一例が、特許文献１に記載されている。【０００４】
図５に示すように、この従来の情報検索システムは、音声入力手段、音声認識手段、キーワードとそれに対応したアクションについて記述されたアクションデータ記憶手段、音声認識結果テキストから予め登録されたキーワードを抽出するキーワード抽出手段、抽出されたキーワードがいずれかのアクションデータの条件を満たすかどうか判定するアクションデータ条件判定手段、条件が成立していた場合にそのアクションを実行するアクション実行手段（なお、図５のアクションデータ条件判定手段及びアクション実行手段が、特許文献１の「情報提示処理手段」に相当する。）から構成されている。【０００５】
このような構成を有する従来の情報検索システムは、次のように動作する。すなわち、音声入力部から入力された音声信号は音声認識手段によってテキストへと変換される。変換されたテキストから、予め登録されたキーワードを抽出する。最後に、抽出されたキーワードが、予め設計されたアクションの実行条件を満たすかどうかが判定され、判定結果が真であれば、所定のアクションが実行される。主なアクションは、予め定められた文書の表示である。【０００６】
また、音声ではなく入力テキストによる情報検索システムまで視野に入れると、キーワードによらず、入力文の類似度によって検索を行う類似文書検索技術が知られている。【０００７】
【特許文献１】特開２００５−２１５７２６号公報
【非特許文献１】中村ほか，「話し言葉音声の音響的・言語的特徴の分析」，  電子情報通信学会技術研究報告，  ＳＰ２００６−４  （２００６−５）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
以上の特許文献１及び非特許文献１の開示事項は、本書に引用をもって繰り込み記載されているものとする。以下に本発明による関連技術の分析を与える。
しかしながら、上記した従来技術には、以下のような問題点がある。【０００９】
第１の問題点は、探索対象とする情報に検索タグとしてキーワードを与えるキーワードベースの方法を用いる場合、実用上十分な分量かつ適切なキーワードを事前に登録することは非常に困難であるという点である。【００１０】
その理由は、検索対象の情報がごく少数の場合を除けば、どのような内容が発話され、情報検索のキーとなり得るかを予め知ることは非常に困難なためである。特に大規模テキストの全文検索等と組み合わせる場合には、事実上あらゆる単語がキーワード足りえる。また仮に、そのようなキーワードを事前に列挙しつくせるようなケースであっても、実用上十分な数のキーワードをすべて事前に登録する作業には大きな工数が掛かる。殊に特許文献１のように、複数のキーワードの組み合わせを事前に与えようとすれば、事前作業の工数は膨大なものとなる。【００１１】
第２の問題点は、類似文書検索技術をベースにした方法を用いている点であり、提示可能な情報が著しく制限されてしまうことである。【００１２】
その理由は、類似文書検索技術によって見つけ出すことができるのは、互いに「類似した」文書に限られ、内容的に関連しているが互いに類似しない情報を提示することができないためである。【００１３】
例えば、会議音声に対して議事録を類似文書として見つけ出すことは、類似文書検索技術によってある程度実現可能である。しかし、会議中に話題に上ったある特定の商品のカタログを見つけようとしても、この方法で見つけ出すことは難しい。これは、会議音声、議事録、カタログのそれぞれが以下のような性質を持つためである。【００１４】
・会議音声（をテキストに変換したもの）は、会議中に話題になったさまざまな議題に関する単語が含まれており、ある特定の商品に関連する記述はその一部に過ぎない。【００１５】
・議事録は、その会議全体の議事の進行について書かれたものであり、ある特定の商品に関連する記述はその一部に過ぎない。【００１６】
・カタログは、ある特定の商品に関連する記述のみから構成される。【００１７】
すなわち、会議音声とカタログではその内容の類似性が期待できないため、類似文書検索技術を用いて見つけ出すことは困難である。【００１８】
また、たとえ内容の類似性が高いとしても、単純な類似文書検索では会議音声から議事録を見つけられないことがある。その理由は、前者がいわゆる「話し言葉」であるのに対し、後者はいわゆる「書き言葉」で記述されていることによる。【００１９】
ここで「話し言葉」表現とは、「いわゆる自発性の高い自然な発話」（非特許文献１）で用いられる表現のことを言う。一方の書き言葉表現とは、新聞や論文、メモ書きなどで用いられる言語表現を言う。非特許文献１によれば、話し言葉と書き言葉の間では「発話スタイルによって単語の出現頻度が異なる」とあり、テストセットパープレキシティ（テキスト間の類似度を測る尺度であり、高いほど類似していないことを表す）も高い。【００２０】
議事録の中でも会話の内容を比較的忠実に書き起こすもの（議会議事録やインタビュー記録等）については会議音声との類似性が期待できる。しかし、要約や言い換えの多い議事録では、たとえ内容が一致していても、両者の間で単純なテキスト処理の観点での類似性は期待できない。例えば、会議中にＡ氏が「その問題は重要だと思うね」と発話したとする。忠実な議事録ではこれは「Ａ氏『その問題は重要だと思う』」と記述されるので、高い類似度を示す。しかし、「Ａ氏は懸念」のように要約されてしまうと、元の音声との類似性はかなり低くなる。【００２１】
以上をまとめると、音声に対して、その音声の発話内容と「類似」しない情報を見つけ出すことは、類似文書検索技術ではできない、ということである。また、たとえ発話内容に関連性のある情報であっても、書き言葉と話し言葉のスタイルの違いのために、単純な類似文書検索で見つけ出すことはできない、ということである。【００２２】
第３の問題点は、どちらの方法においても、誤認識に対して情報の検索精度が頑健でない点である。【００２３】
キーワードベースの方法を用いる場合、情報の検索タグであるキーワードを誤認識したとき、その情報を提示することは不可能であるため、キーワードの認識精度がそのまま情報の検索精度に直結するためである。【００２４】
類似文書検索技術をベースにした方法を用いる場合は、キーワードベースの方法よりも誤認識に対する頑健性が高くなる。これは一部の単語が誤認識されても、それ以外の単語が上手く認識されていれば、ある程度の類似性を見込めるからである。しかしながら、特に、情報を特徴付ける単語が音声認識器にとって未知の単語である場合においては、誤って認識された単語によって特徴付けられる別の情報との類似性が高いと判断されてしまう危険が高い。【００２５】
例えば、いま「アールグレイ」という単語によって特徴付けられる内容の音声が入力されたが、音声認識器はこの単語を知らなかったため、すべて「歩くで」と誤認識してしまったとする。類似文書検索技術をベースにした方法を用いると、この場合提示される情報はウォーキングに関するものになるだろう。【００２６】
本発明は、上記した事情に鑑みてなされたものであって、事前にキーワードを登録する手間を必要とせず、入力音声の内容に合った適切な情報を精度よく自動的に検出・提示することのできる情報検索システムを提供することにある。
【課題を解決するための手段】
【００２７】
本発明の第１の視点によれば、音声を入力する音声入力手段と、検索タグとして音声情報が関連付けられた情報を蓄積する情報蓄積手段と、前記各音声情報から抽出した各発話内容の特徴と、前記入力音声から抽出した発話内容の特徴とを比較して、入力音声に類似する音声情報が関連付けられた情報を選択する情報選択手段と、入力音声に関連する情報として、前記情報選択手段により選択された情報を出力する出力手段と、を備える情報検索システムが提供される。【００２８】
本発明の第２の視点によれば、音声を入力する音声入力手段と、検索タグとして音声情報が関連付けられた情報を蓄積する情報蓄積手段と、入力音声に関連する情報を出力する出力手段と、を備える情報検索システムにおける入力音声に関連する情報を検索する情報検索方法であって、前記情報検索システムが、前記情報蓄積手段に蓄積された各音声情報から抽出した各発話内容の特徴と、前記入力音声から抽出した発話内容の特徴とを比較して、前記入力音声に類似する音声情報が関連付けられた情報を選択し、検索結果として出力する情報検索方法が提供される。【００２９】
本発明の第３の視点によれば、音声を入力する音声入力手段と、検索タグとして音声情報が関連付けられた情報を蓄積する情報蓄積手段と、入力音声に関連する情報を出力する出力手段と、を備える情報検索システムに実行させる情報検索用プログラムであって、前記情報蓄積手段に蓄積された各音声情報から抽出した各発話内容の特徴と、前記入力音声から抽出した発話内容の特徴とを比較して、前記入力音声に類似する音声情報が関連付けられた情報を選択し、前記出力手段に引き渡す処理を前記情報検索システムに実行させる情報検索用プログラムが提供される。
【発明の効果】
【００３０】
本発明によれば、事前にキーワードを大量に登録することなく、入力音声に適した情報を検索・提示することが可能となる。その理由は、特定のキーワードによらず、入力音声と音声情報間の類似の程度を用いて情報検索を行うためである。【００３１】
また本発明によれば、入力音声と、直接の関連性・類似性を持たない情報も、検索・提示とすることができる。その理由は、検索対象である情報そのものではなく、その情報に検索タグ（インデックス）として関連付けられた音声情報と入力音声との類似性を利用して情報検索を行うためである。【００３２】
また本発明によれば、情報検索精度の頑健性を向上できる。その理由は、特定のキーワードではなく、入力音声と音声情報間の類似度を用い、特定のキーワードの誤認識によって情報検索精度が左右されにくくなるためである。【００３３】
上記本発明の効果は、入力音声とインデックスとして関連付けられた音声情報をどちらも同じ発話スタイルを持つ（どちらも話し言葉である）ようにすることや、さらに、同じ音声認識手段を用いることによって、より向上される。その理由は、誤認識の傾向が近いため、誤認識を含めても高い類似度が得られると期待できるからである。
【図面の簡単な説明】
【００３４】
【図１】本発明の第１の実施形態に係る情報検索システムの構成を表したブロック図である。
【図２】本発明の第２の実施形態に係る情報検索システムの構成を表したブロック図である。
【図３】本発明の第３の実施形態に係る情報検索システムの構成を表したブロック図である。
【図４】本発明を適用した実施例（会議資料自動提示装置）の構成を表したブロック図である。
【図５】従来の入力音声により動作する情報検索システムの構成を表したブロック図である。
【符号の説明】
【００３５】
１０１、２０１、３０１  音声入力手段
１０２、２０２、３０２  音声認識手段
１０３、２０３、３０４  情報蓄積手段
１０４、２０４、３０５  類似度計算手段
１０５、２０５、３０６  情報選択手段
２０６、３０７  情報登録手段
３０３  認識結果保持手段（バッファ）
４０１  マイクロフォン
４０２  音声認識部
４０３  文書特徴ベクトル生成部
４０４  文書特徴ベクトルバッファ
４０５  文書特徴ベクトル選択部
４０６  類似度計算部
４０７  情報選択部
４０８  ディスプレイ装置
４０９  ナレッジデータベース
４１０  情報登録インタフェース
【発明を実施するための最良の形態】
【００３６】
続いて、本発明の好適な実施形態について図面を参照して詳細に説明する。
始めに、本発明の種々の展開可能形態を示す。
（形態１）
本発明の第１の視点によれば、音声を入力する音声入力手段と、検索タグとして音声情報が関連付けられた情報を蓄積する情報蓄積手段と、前記各音声情報から抽出した各発話内容の特徴と、前記入力音声から抽出した発話内容の特徴とを比較して、入力音声に類似する音声情報が関連付けられた情報を選択する情報選択手段と、入力音声に関連する情報として、前記情報選択手段により選択された情報を出力する出力手段と、を備える情報検索システムを得ることができる。
（形態２）
前記情報検索システムの情報選択手段は、前記入力音声に含まれる単語の集合と類似する単語の集合を持つ前記音声情報を選択するよう動作させることができる。
（形態３）
前記情報検索システムは、更に、音声信号をテキストデータに変換する音声認識手段と、前記音声認識手段によって生成された二つまたはそれ以上の音声認識結果の間の類似度を算出する類似度計算手段と、を備え、前記情報蓄積手段に前記音声情報として蓄積された音声信号と、前記入力音声とをそれぞれ前記音声認識手段によって音声認識し、前記各音声認識結果の間の類似度を前記類似度計算手段によって算出し、前記情報選択手段は、前記類似度計算手段により算出した類似度に基づいて、入力音声と類似度が高い音声情報が関連付けられた情報を選択するよう動作させることができる。
（形態４）
前記情報検索システムは、更に、音声信号をテキストデータに変換する音声認識手段と、前記音声認識手段によって生成された二つまたはそれ以上の音声認識結果の間の類似度を算出する類似度計算手段と、を備え、前記入力音声を前記音声認識手段によって音声認識し、前記情報蓄積手段に音声情報として予め蓄積された音声認識結果と、前記入力音声の音声認識結果の間の類似度を前記類似度計算手段によって算出し、前記情報選択手段は、前記類似度計算手段により算出した類似度に基づいて、入力音声と類似度が高い音声情報が関連付けられた情報を選択するよう動作させることができる。
（形態５）
前記情報検索システムは、更に、音声信号をテキストデータに変換する音声認識手段と、前記音声認識手段によって生成された音声認識結果から文書特徴ベクトルを算出する文書特徴ベクトル生成手段と、前記文書特徴ベクトル生成手段によって算出された二つまたはそれ以上の文書特徴ベクトルの間の類似度を算出する類似度計算手段と、を備え、前記情報蓄積手段に音声情報として蓄積された音声信号と、前記入力音声とをそれぞれ前記音声認識手段によって音声認識した後、前記文書特徴ベクトル生成手段によってそれぞれ文書特徴ベクトルを算出し、前記類似度計算手段によって前記各文書特徴ベクトルの間の類似度を算出し、前記情報選択手段は、前記類似度計算手段により算出した類似度に基づいて、入力音声と類似度が高い音声情報が関連付けられた情報を選択するよう動作させることができる。
（形態６）
前記情報検索システムは、更に、音声信号をテキストデータに変換する音声認識手段と、前記音声認識手段によって生成された音声認識結果から文書特徴ベクトルを算出する文書特徴ベクトル生成手段と、前記文書特徴ベクトル生成手段によって算出された二つまたはそれ以上の文書特徴ベクトルの間の類似度を算出する類似度計算手段と、を備え、前記入力音声を前記音声認識手段によって音声認識した後、前記入力音声の音声認識結果と、前記情報蓄積手段に音声情報として予め蓄積された音声認識結果とから、前記文書特徴ベクトル生成手段によってそれぞれ文書特徴ベクトルを算出し、前記類似度計算手段によって前記各文書特徴ベクトルの間の類似度を算出し、前記情報選択手段は、前記類似度計算手段により算出した類似度に基づいて、入力音声と類似度が高い音声情報が関連付けられた情報を選択するよう動作させることができる。
（形態７）
前記情報検索システムは、更に、音声信号をテキストデータに変換する音声認識手段と、前記音声認識手段によって生成された音声認識結果から文書特徴ベクトルを算出する文書特徴ベクトル生成手段と、前記文書特徴ベクトル生成手段によって算出された二つまたはそれ以上の文書特徴ベクトルの間の類似度を算出する類似度計算手段と、を備え、前記入力音声を前記音声認識手段によって音声認識した後、前記文書特徴ベクトル生成手段によって文書特徴ベクトルを算出し、前記情報蓄積手段に音声情報として予め蓄積された文書特徴ベクトルと、前記入力音声より算出した文書特徴ベクトルとの間の類似度を前記類似度計算手段によって算出し、前記情報選択手段は、前記類似度計算手段により算出した類似度に基づいて、入力音声と類似度が高い音声情報が関連付けられた情報を選択するよう動作させることができる。
（形態８）
前記情報検索システムの情報蓄積手段に予め蓄積された音声認識結果として、前記音声認識手段と同等の音声認識手段によって生成された音声認識結果を用いることができる。
（形態９）
前記情報検索システムの情報蓄積手段に予め蓄積された文書特徴ベクトルとして、前記音声認識手段と同等の音声認識手段と、前記文書特徴ベクトル生成手段と同様の文書特徴ベクトル生成手段によって生成された文書特徴ベクトルを用いることができる。
（形態１０）
前記情報検索システムの音声認識手段が、前記入力音声を任意のサイズのブロックに分割して、ブロック毎の音声認識結果を順次出力し、前記音声認識結果の出力の都度、前記類似度計算手段が、出力済みの全ブロックの音声認識結果と前記音声情報との類似度を再計算し、前記情報選択手段は、前記再計算された類似度に基づいて、入力音声と類似度が高い音声情報が関連付けられた情報を再選択するよう動作させることができる。
（形態１１）
前記情報検索システムの音声認識手段が、前記入力音声を任意のサイズのブロックに分割して、ブロック毎の音声認識結果を順次出力し、前記音声認識結果の出力の都度、前記文書特徴ベクトル生成手段が前記ブロック毎の音声認識結果に対する文書特徴ベクトルを生成するとともに、前記類似度計算手段が、出力済みの全ブロックの音声認識結果と前記音声情報との類似度を再計算し、前記情報選択手段は、前記再計算された類似度に基づいて、入力音声と類似度が高い音声情報が関連付けられた情報を再選択するよう動作させることができる。
（形態１２）
前記情報検索システムの情報蓄積手段には、一の情報に対して一つ又は複数の異なる音声情報を関連付けることが可能であることが望ましい。
（形態１３）
前記情報検索システムの情報蓄積手段には、一の音声情報に対して一つ又は複数の異なる情報を関連付けることが可能であることが望ましい。
（形態１４）
前記情報検索システムは、更に、前記音声認識手段によって得られた音声認識結果を保持するバッファ手段と、所定の特徴選択規則に従って前記バッファ手段から音声認識結果を選択して前記類似度計算手段に入力する特徴選択手段と、を備え、前記類似度計算手段は、前記特徴選択手段によって選択された音声認識結果を用いて前記各類似度を算出するよう動作させることができる。
（形態１５）
前記情報検索システムは、更に、前記文書特徴ベクトル生成手段によって生成された文書特徴ベクトルを保持するバッファ手段と、所定の特徴選択規則に従って前記バッファ手段から文書特徴ベクトルを選択して前記類似度計算手段に入力する特徴ベクトル選択手段と、を備え、前記類似度計算手段は、前記特徴ベクトル選択手段によって選択された文書特徴ベクトルを用いて前記各類似度を算出するよう動作させることができる。
（形態１６）
前記情報検索システムの特徴選択手段又は特徴ベクトル選択手段は、前記情報選択手段からのフィードバックに基いて、前記所定の特徴選択規則を変更するよう動作させることができる。
（形態１７）
前記情報検索システムの情報蓄積手段に、検索対象とする情報と、前記音声情報を登録する情報登録手段を備えることもできる。
（形態１８）
前記情報検索システムは、更に、検索対象とする情報に関連付ける前記音声情報として、前記バッファ手段に保持されている音声認識結果又は文書特徴ベクトルを、前記情報蓄積手段に登録する情報登録手段を備えることもできる。
（形態１９）
前記情報検索システムは、更に、検索対象とする情報に関連付ける前記音声情報として、前記特徴選択手段によって選択された音声認識結果又は文書特徴ベクトルとの組を、前記情報蓄積手段に登録する情報登録手段を備えることもできる。
（形態２０）
前記情報検索システムの情報登録手段は、前記情報選択手段により選択された情報に新たに関連付ける音声情報の入力を受け付け、前記情報蓄積手段に登録するよう動作させることができる。
（形態２１）
前記情報検索システムの情報蓄積手段にテキストデータを蓄積し動作させることができる。
（形態２２）
前記情報検索システムの情報蓄積手段に、通話応対の内容の要約である応対履歴文書、通話音声で話題となった特定の商品に関するカタログや説明用の動画像、通話中に参照したウェブサイトのＵＲＬ、通話応対中のユーザの挙動を記録した動画像、のいずれかを蓄積し動作させることができる。
（形態２３）
前記情報検索システムの情報蓄積手段に、電話窓口応対者と顧客との対話音声を蓄積し動作させることができる。
（形態２４）
前記情報検索システムの情報登録手段は、通話応対中に、電話窓口応対者が参照した情報のうち、前記情報選択手段によって選択された情報以外の任意の情報を、当該電話窓口応対者と顧客との対話音声の内容に関連する情報として前記情報蓄積部に記録するよう動作させることができる。
（その他の形態）
また、本発明に係る情報検索方法及び情報検索用プログラムにおいても、上記した各情報検索システムの形態と同様の展開を行うことが可能である。【００３７】
［第１の実施形態］
図１は、本発明の第１の実施形態に係る情報検索システムの構成を表したブロック図である。図１を参照すると、本実施形態に係る情報検索システムは、音声入力手段１０１と、音声認識手段１０２と、情報蓄積手段１０３と、類似度計算手段１０４と、情報選択手段１０５とを含んで構成されている。【００３８】
これらの手段は、それぞれ概略次のように動作する。【００３９】
音声入力手段１０１は、ファイル入力やマイクデバイスなどからデジタル音声信号を順次入力し、音声認識手段１０２に送る。【００４０】
音声認識手段１０２は、デジタル音声信号を入力として音声認識処理を施し、音声認識結果に変換する。ここで音声認識結果とは、音声認識処理の結果として得られたテキストのほか、その尤度や、テキストを構成する各単語の出現時刻や品詞情報、２位以下認識候補などを含む。【００４１】
情報蓄積手段１０３は、最終的にユーザに提示される様々な情報と、各情報の検索タグとして利用されるデジタル音声信号を蓄積する。蓄積される情報の形態は任意である。例えばテキスト、音声、画像、映像、ハイパーリンクなどの形態が考えられる。また、その内容にも特に制限はない。一方で検索タグとして用いられる音声（タグ音声）は、次の二つの条件を満たす必要がある。【００４２】
第一に、検索タグとして用いられる音声は、入力音声との文書類似度が計算可能な程度に長くなければならない。【００４３】
第二に、検索タグとして用いられる音声は、入力音声との類似性が期待できるものでなければならない。【００４４】
具体的には、検索タグとして用いられる音声は、入力音声と同一環境、同一タスクの音声であることが望ましい。例えば、入力音声が会議における会話音声であるなら、過去の会議を録音した音声を検索タグとして用いることが最も好ましい。【００４５】
情報と検索タグとの関係は１対１に限定されない。一つの検索タグに複数の情報をリンクしても良いし、複数の検索タグを一つの情報にリンクさせても良い。【００４６】
類似度計算手段１０４は、音声認識手段１０２が出力した音声認識結果同士（二つのテキストデータ）の類似度を、任意の文書類似度算出アルゴリズムに基づいて計算する。前記文書類似度算出アルゴリズムとしては、既知の任意の手法を用いることができるが、例えば、テキストに出現した単語の頻度分布を特徴量ベクトルとして、そのコサイン距離を求める方法が考えられる。また、入力されたテキストデータに時間等による制限を加え、その一部同士を比較するようにしてもよい。【００４７】
情報選択手段１０５は、前記類似度計算手段１０４によって算出された類似度に基づき、適当な情報をユーザに提示する。なお、本実施形態では省略するが、ユーザに提示する情報そのものの形態や提示態様に応じて、ディスプレイやスピーカ等の出力装置が適宜選択される。【００４８】
以上の構成よりなる本実施形態の情報検索システムによれば、入力音声の音声認識結果と検索タグである音声の音声認識結果を直接比較し、これらの類似度に基づき入力音声に類似する音声が紐付けられた情報を提示することが可能となる。このため、事前にキーワードを選定しておく作業が不要となる。【００４９】
また、本実施形態の情報検索システムによれば、検索対象である情報と入力音声との間での直接の比較操作を行わない構成としているため、入力音声と直接的な関連性・類似性を持たない情報も検索対象に含めることができる。例えば、前回の会議で話題に上った商品に関し記憶に残ったフレーズ（入力音声）を入力することで、前回会議の録音音声（検索タグ）に関連付けられた特定の商品のカタログ（情報）を見つけることが可能となる。【００５０】
また、本実施形態の情報検索システムでは、入力音声と検索タグである音声とを同一の音声認識手段１０２を用いて音声認識するように構成されているため、両者に対する認識誤りの傾向が揃うことから、類似文書検索への誤認識の影響を抑えることができる。【００５１】
また、本実施形態の情報検索システムでは、さらに、検索対象である情報と検索タグの関連付けが１対１に制限されないよう構成されているため、１対１に制限した場合に比べて検索精度を向上させることができる。すなわち、一つの検索タグに複数の情報をリンクさせることにより、ある入力音声に対して提示される情報が増えるため、入力音声により適した情報が提示される可能性が高くなる。また、複数の検索タグを一つの情報にリンクさせることによって、入力音声がそのいずれかの検索タグである音声と類似してさえいれば、その情報を提示することができるようになる。【００５２】
［第２の実施形態］
続いて、情報蓄積手段に情報と音声情報を登録する機能を追加した本発明の第２の実施形態について図面を参照して詳細に説明する。【００５３】
図２は、本発明の第２の実施形態に係る情報検索システムの構成を表したブロック図である。図２を参照すると、本実施形態に係る情報検索システムは、音声入力手段２０１と、音声認識手段２０２と、情報蓄積手段２０３と、類似度計算手段２０４と、情報選択手段２０５と、情報登録手段２０６とを含んで構成されている。【００５４】
上記各手段のうち、音声入力手段２０１、音声認識手段２０２、類似度計算手段２０４及び情報選択手段２０５については、上記第１の実施形態における各手段と基本的に同じように動作するので、以下、上記第１の実施形態との相違点を中心に説明する。【００５５】
情報蓄積手段２０３は、最終的にユーザに提示される様々な情報と、各情報の検索タグとして利用される音声認識結果を蓄積する。蓄積される情報については第１の実施の形態と同様に特に制限はないが、検索タグとして用いられる音声認識結果については、次の二つの条件を満たす必要がある。【００５６】
第１に、検索タグとして用いられる音声認識結果は、入力音声の音声認識結果との文書類似度が計算可能な程度に長くなければならない。【００５７】
第２に、検索タグとして用いられる音声認識結果は、入力音声との類似性が期待できる音声から、音声認識手段２０２それ自体、またはほぼ同じ条件で動作する音声認識手段によって音声認識することで得られたものでなければならない。【００５８】
情報登録手段２０６は、音声入力手段２０１から入力された音声に対して情報選択手段２０５が提供したさまざまな情報について、該入力音声の認識結果を新たな検索タグとして、情報蓄積手段２０３に登録する。情報選択手段２０５が提供したさまざまな情報について、任意の音声の入力を受け付け、情報登録手段２０６に、前記任意の入力音声の認識結果を新たな検索タグとして、情報蓄積手段２０３に登録するよう動作させてもよい。【００５９】
情報登録手段２０６は、さらに、任意の情報の入力を受け取ると、その情報を受け取った際に音声入力手段２０１から入力されていた音声の認識結果を、その情報に対する検索タグとして、情報蓄積手段２０３に登録する。【００６０】
なお、情報蓄積手段２０３に音声認識結果を蓄積するのではなく、類似度計算手段２０４が用いる文書特徴量を保持する形にすることも可能である。この場合は、情報登録手段２０６は、類似度計算手段２０４より文書特徴量を受け取り、情報蓄積手段２０３に登録することとなる。【００６１】
以上の構成よりなる本実施形態の情報検索システムによれば、情報蓄積手段２０３に登録する検索タグとして、音声ではなくその音声の音声認識結果を蓄積するよう構成されているため、第１の実施の形態に比べ、情報蓄積手段２０３に必要なストレージ容量が節約される。また音声認識手段２０２にて認識する対象は音声入力手段２０１から得られた入力音声のみとなるため、計算量的にも有利である。【００６２】
また、本実施形態の情報検索システムによれば、情報登録手段２０６が配されているため、一度入力された音声の認識結果（あるいは、文書特徴量）を、その音声に対して提示された情報に対する新たな検索タグとして自動的に登録し、次回以降の検索で利用することが可能となる。このため、利用者がこのシステムを利用するだけで自動的にデータベースが増強され、ヒット率が向上するという顕著な効果が得られている。【００６３】
また、情報登録手段２０６を通じて新たな情報を登録する際も、特別な検索キーワードを別途与える必要はなく、きわめて容易に新たな情報をデータベースに追加することができる。ここで、この新規に登録される情報は、検索タグとして利用される入力音声の認識結果とはまったく無関係に与えることができる。【００６４】
［第３の実施形態］
続いて、音声入力手段から音声が随時追加入力されることを前提に、その時点で得られた入力音声に基づき類似度計算と情報検索を繰り返す機能を追加した本発明の第３の実施形態について図面を参照して詳細に説明する。【００６５】
図３は、本発明の第３の実施形態に係る情報検索システムの構成を表したブロック図である。図３を参照すると、本実施形態に係る情報検索システムは、音声入力手段３０１と、音声認識手段３０２と、認識結果保持手段３０３と、情報蓄積手段３０４と、類似度計算手段３０５と、情報選択手段３０６と、情報登録手段３０７とを含んで構成されている。【００６６】
上記各手段のうち、音声入力手段３０１、音声認識手段３０２及び情報蓄積手段３０４については、上記第１、第２の実施形態における各手段と基本的に同じように動作するので、以下、上記した各実施形態との相違点を中心に説明する。【００６７】
認識結果保持手段３０３は、音声認識手段３０２が出力した音声認識結果をブロックとして順次記録する。加えて、認識結果保持手段３０３は、音声認識手段３０２からの出力を記録するたびに類似度計算手段３０５及び情報選択手段３０６を呼び出すことで、類似文書検索をやり直させる。【００６８】
類似度計算手段３０５及び情報選択手段３０６は、基本的に第１及び第２の実施の形態と同様に動作するが、本実施の形態においては、情報選択手段３０６の指示に基づいて、類似度計算手段３０５が再度計算を試みるようフィードバックを掛けることができる。【００６９】
例えば、情報選択手段３０６が情報蓄積手段３０４から適切な情報を選択できなかった場合、類似度計算手段３０５は、比較的新しく認識結果保持手段３０３に追加された音声認識結果のみを用いて類似度を計算し直したり、あるいは、相当する入力音声の時刻に応じて、音声認識結果に重みをつけて類似度を計算し直したり、といったような動作を呈する。もちろん、ユーザより設定された設定内容にしたがって、これらの動作の優先順位等を持たせることも可能である。【００７０】
情報登録手段３０７は、基本的に第２の実施の形態と同様の動作を行うが、検索タグとして、情報と関連付ける音声認識結果は、情報登録手段３０７が動作したまさにその時刻に認識結果保持手段３０３に保持されていた音声認識結果となる。従って、音声入力手段３０１から同じ音声信号を入力したとしても、情報登録手段３０７が動作するタイミングによっては、異なる検索タグ（音声認識結果）が情報に付与されることになる。【００７１】
以上の構成よりなる本実施形態の情報検索システムによれば、認識結果保持手段３０３が、音声認識手段３０２の出力に応じて、類似度計算手段３０５および情報選択手段３０６を順次呼び出すことによって、シーケンシャルに入力された入力音声信号に対して、その音声の時刻の内容に即して、適切な情報の提示を可能とする。このような動作は、会議や電話応対のように、いくつかの話題の間を移ろいながら進行していく音声に対して特に適した動作である。【００７２】
また、本実施形態の情報検索システムによれば、情報選択手段３０６からのフィードバックを受けて類似度計算手段３０５が計算に用いる音声認識結果を認識結果保持手段３０３から適宜選び出すことによって、局所的な音声の内容の変化に追従して、適切な情報を提示することが出来る。【００７３】
さらに、本実施形態の情報検索システムによれば、情報登録手段３０７が、動作するまさにその時刻に認識結果保持手段３０３に保持されていた音声認識結果を検索タグとして用いることによって、局所的な音声の内容をより厳密に表現する検索タグを生成できるようになる。
【実施例】
【００７４】
続いて、本発明を業務システムに適用した実施例を挙げて本発明をより具体的に説明する。【００７５】
図４は、入力音声に即して会議資料の自動提示を行う会議資料自動提示装置の構成を表したブロック図である。【００７６】
図４を参照すると、本発明の一実施例に係る会議資料自動提示装置は、マイクロフォン４０１と、音声認識部４０２と、文書特徴ベクトル生成部４０３と、文書特徴ベクトルバッファ４０４と、文書特徴ベクトル選択部４０５と、類似度計算部４０６と、情報選択部４０７と、ディスプレイ装置４０８と、ナレッジデータベース４０９と、情報登録インタフェース４１０とを含んで構成されている。【００７７】
前記各要素は、それぞれ概略次のように動作する。【００７８】
マイクロフォン４０１は、音声を入力し、これをデジタル信号にＡ／Ｄ変換してシステムに取り込む。マイクの代わりに電話回線やテレビなどから音声を入力する構成ももちろん可能であり、ビデオ会議などの際に利用できる。【００７９】
音声認識部４０２は、マイクロフォン４０１から入力されたデジタル音声信号を分析し、予め与えられた音響モデル・言語モデルに基づいて音声認識処理を行って、認識結果を出力する。【００８０】
本実施例では、会議音声を認識するため、大語彙連続音声認識処理（Ｌａｒｇｅ  Ｖｏｃａｂｕｌａｒｙ  Ｃｏｎｔｉｎｕｏｕｓ  Ｓｐｅｅｃｈ  Ｒｅｃｏｇｎｉｔｉｏｎ、以下「ＬＶＣＳＲ」という。）を用いるものとする。【００８１】
一般に、ＬＶＣＳＲでは確率的言語モデルが用いられる。確率的言語モデルはある単語列が観測される確率の分布をモデル化したものであるが、このような仕組みを用いるため、未知の単語を認識することが出来ないという欠点がある。入力音声に言語モデルの知らない単語が含まれていた場合、その前後の単語も巻き込んで、音響的に近くかつ言語的に出現確率の高い別の単語列に誤認識されてしまう。【００８２】
また、ＬＶＣＳＲでは、一般に、認識の前処理として入力音声から非音声区間を除去し、発声区間ごとに切り出す処理が行われる。その後、切り出した発声区間ごとにモデルとのマッチングが行われる。そのため、音声認識結果は発声区間ごとに順に出力されることが多い。【００８３】
音声認識部４０２が出力する音声認識結果はテキスト（単語列）だけに限らない。各単語の認識尤度や読み情報、品詞情報、クラス情報、時刻情報などを出力することもある。また、第２位以下の認識候補や、音声認識結果の信頼度を出力する場合もある。【００８４】
文書特徴ベクトル生成部４０３は、与えられた入力テキストから、そのテキストの内容を特徴付けるある種の特徴量を生成する。最も古典的で広く使われている方法は、テキストに現れる単語の出現頻度分布を用いるものである。音声認識と組み合わせる場合は、ただ音声認識結果テキストに含まれる単語の頻度を数えるだけでなく、２位以下認識候補を用いても良いし、尤度や信頼度で単語の出現頻度を重み付けしてもよい。【００８５】
文書特徴ベクトルバッファ４０４は、文書特徴ベクトル生成部４０３によって生成された文書特徴ベクトルを順次記録する。文書特徴ベクトル生成部４０３は、新たな入力が与えられた場合、その入力だけでなく、文書特徴ベクトルバッファ４０４に記録されている過去の文書特徴ベクトルも組み合わせて文書特徴ベクトルを生成する。【００８６】
文書特徴ベクトル選択部４０５は、文書特徴ベクトルバッファ４０４から、所定の規則に従って取り出す文書特徴ベクトルを決定し、次の類似度計算部４０６に与える。【００８７】
前記所定の規則としては、例えば、文書特徴ベクトルバッファ４０４に最後に追加されたものから予め定められた個数（例えば１０個など）の文書特徴ベクトルを用いても良いし、また、現在の時刻から一定の過去の間に入力された入力音声から求められた文書特徴ベクトルをすべて用いることにしても良い。【００８８】
類似度計算に用いる文書特徴ベクトルについてこのような窓掛け処理を行うことによって、局所的な話題の変化に追従することができる。このような窓掛け処理は、テキスト処理の分野ではおなじみのものである。【００８９】
類似度計算部４０６は、入力音声から得られた文書特徴ベクトルと、ナレッジデータベース４０９に蓄積された文書特徴ベクトルとを比較する。比較には様々な方法が考えられるが、古典的なものはベクトル間のコサイン距離を求めるものである。ベクトルＸとＹのコサイン距離とは、ＸとＹの内積をそれぞれのノルムで割ったものである。コサイン距離が小さな文書特徴ベクトル同士は類似性が高いと判断される。もちろん、文書特徴ベクトル間の距離としてはコサイン距離以外の距離尺度を用いても良いし、まったく異なるアルゴリズムを用いても良い。【００９０】
情報選択部４０７は、類似度計算部４０６によって得られた、入力音声の文書特徴ベクトルとナレッジデータベース４０９に蓄積された各文書特徴ベクトルとの類似度を元に、適切と思しき情報（議事録、カタログ、ＵＲＬ、ｅｔｃ．）を選択する。【００９１】
例えば、情報選択部４０７は、入力音声の文書特徴ベクトルとの類似度がある閾値を越える文書特徴ベクトルにタグ付けされた情報をすべて選択したり、類似度の高い順に予め定められた個数だけ選択したりする。【００９２】
ディスプレイ装置４０８は、情報選択部４０７によって選択された情報をユーザに提示する。情報の内容をそのまま表示しても良いし、情報の一部を抜粋しても良い。【００９３】
ナレッジデータベース４０９は、音声認識部４０２及び文書特徴ベクトル生成部４０３によって生成された文書特徴ベクトルと、その文書特徴ベクトルによってタグ付けされた情報と、その文書特徴ベクトルの元となった会議音声との組を蓄積する。【００９４】
ナレッジデータベース４０９には、どのような情報でも蓄積することが可能である。例えば、ある会議の議事録や、議題に上った商品のカタログ、参考資料のＵＲＬなどが考えられる。この場合、この情報に関連付ける文書特徴ベクトルやその元となる会議音声は、まさにその会議のものを用いるのが適当である。【００９５】
文書特徴ベクトルと情報とは、１対１の関係に制限されない。一つの文書特徴ベクトルに複数の情報を関連付けても良いし、同じ情報に複数の別々の文書特徴ベクトルを関連付けても良い。【００９６】
また、一つの会議音声から生成された複数の文書特徴ベクトルを、互いにまったく異なる情報と関連付けても良い。そのような文書特徴ベクトルは、例えば、会議の前半と後半を別々に文書特徴ベクトル生成部４０３に入力することで得られる。一つの会議が幾つかの主題を含み、それぞれについて異なる情報を提示することが適切であるケースは多く、この仕組みは、そのような場合に効果を発揮する。【００９７】
情報登録インタフェース４１０は、任意の情報を与えられると、文書特徴ベクトルバッファ４０４に保持されていた直近の文書特徴ベクトルと、入力音声とを組にしてナレッジデータベース４０９に登録する。明示的に情報を与えるもの（例えば、文書ファイル名を入力するテキストボックスと「登録」ボタンなど）でも良いし、あるいはボタンを押すと、その時点で別のシステムで参照していた資料（例えば、ウェブブラウザが表示していたＵＲＬ）を自動的に取得することにしても良い。また、外部の別のシステムに情報が登録されたタイミングで、その情報を情報登録インタフェース４１０に転送させることで登録する形態も考えられる。【００９８】
次に、本実施例の全体の動作について詳細に説明する。【００９９】
マイクロフォン４０１から得られた音声信号は、音声認識部４０２に順次入力される。【０１００】
音声認識部４０２は入力音声から発声区間を検出し、切り出した発声区間ごとに、音声認識結果を出力する。【０１０１】
このようにして得られた音声認識結果は、文書特徴ベクトル生成部４０３に次々に入力される。【０１０２】
文書特徴ベクトル生成部４０３は、新しい音声認識結果が与えられる都度、その音声認識結果に対する文書特徴ベクトルを生成する。【０１０３】
例えば、文書特徴ベクトルとして、尤度上位３位までの認識候補に含まれる各単語の出現頻度を信頼度で重み付けしたものを用いるとするならば、音声認識結果の尤度上位３位までの認識候補に含まれるすべての単語について、単語の種類毎に信頼度の和を求める。【０１０４】
文書特徴ベクトル生成部４０３によって生成された文書特徴ベクトルは、文書特徴ベクトルバッファ４０４に順次保存される。【０１０５】
このとき、その文書特徴ベクトルに相当する入力音声（の相対時刻）や音声認識結果そのものも併せて保存するようにしても良い。【０１０６】
文書特徴ベクトルは、マイクロフォン４０１から音声が入力される限り保持し続けても良いし、タイムアウト時間や保存する個数を制限することによって、直近のもののみ保持するようにしてもよい。文書特徴ベクトル生成部４０３や情報登録インタフェース４１０が必要とする文書特徴ベクトルが保存できるようになっていればそれで良い。【０１０７】
文書特徴ベクトルバッファ４０４の更新に合わせて、文書特徴ベクトル選択部４０５及び類似度計算部４０６が起動される。【０１０８】
まず、前段として、文書特徴ベクトル選択部４０５が動作し、適切な文書特徴ベクトルを文書特徴ベクトルバッファ４０４から取り出して、類似度計算部４０６に与える。【０１０９】
これを受けた類似度計算部４０６は、予め定められたアルゴリズムに従って、入力音声の文書特徴ベクトルとナレッジデータベース４０９に蓄積された各文書特徴ベクトルとの類似度を計算する。【０１１０】
例えば、類似度として、文書特徴ベクトル間のコサイン距離を用いるならば、次のように計算する。【０１１１】
文書特徴ベクトル生成部４０３から得られた新たな文書特徴ベクトルＸ＝｛ｘ（ｗ１），ｘ（ｗ２），…，ｘ（ｗｎ）｝と、ナレッジデータベース４０９に蓄積されたいずれかの文書特徴ベクトルＹ＝｛ｙ（ｗ１），ｙ（ｗ２），…，ｙ（ｗｎ）｝について、ＸとＹのコサイン距離は次式で求められる：
【数１】
2008114811.tif 000003
【０１１２】
このとき、文書特徴ベクトルから予めフィラーや助詞等の内容の類似性にあまり寄与しない単語を計算から除外してもよい。また、計算に先立って何らかの正規化処理を施しておくのもよく行われる。【０１１３】
なお、類似度計算が計算リソースを過剰に取る場合、文書特徴ベクトル生成部４０３の出力毎に類似度計算を行うのは必ずしも適当ではない。このような場合は、例えば、一定時間毎に類似度計算部４０６を起動するようにしたり、前回の計算から、文書特徴ベクトルバッファ４０４が更新されていないか、文書特徴ベクトル選択部４０５への情報選択部４０７からの新たなフィードバックがなければ、その回の計算はキャンセルすることで解決される。【０１１４】
情報選択部４０７は、類似度計算部４０６によって得られた入力音声の文書特徴ベクトルとナレッジデータベース４０９の各文書特徴ベクトルとの類似度を用いて、入力音声の内容に適切と考えられる情報を選択する。【０１１５】
前記類似度から情報選択部４０７が適切な情報を選択できないような場合、例えば、入力音声の文書特徴ベクトルがナレッジデータベース４０９中のどの文書特徴ベクトルとも類似性が低い場合も起こりうる。あるいは、ある程度類似する文書特徴ベクトルがいくつかあるが、それらの類似度の差が小さく、いずれかを選ぶのが困難なケースも考えられる。【０１１６】
このようなとき、情報選択部４０７は、文書特徴ベクトル生成部４０３にフィードバックを掛けることにしてもよい。【０１１７】
例えば、どの文書特徴ベクトルとの類似度もある閾値より小さい場合は、より古い時刻の入力音声に相当する文書特徴ベクトルも類似度計算に含めるようにする。こうすることで、より大局的な音声の内容に対する情報を提示できるようになる。反対に、より古い時刻の入力音声に相当する文書特徴ベクトルを類似度計算から外すようにすることもでき、こうすることで、より最近の音声の内容に対する情報を提示できるようになる。【０１１８】
また、類似度が一定の範囲にある文書特徴ベクトルが複数ある場合も、同様の原理で、類似度計算の対象とする文書特徴ベクトルを調整することが有効であり、よい適切な情報を提示できるようになる。【０１１９】
ナレッジデータベース４０９は、過去の会議音声から得られた文書特徴ベクトルとその議事録や会議に用いた資料を用いて予め構築しておく。文書特徴ベクトルの元となった会議音声は、ナレッジデータベース４０９に保持しておく必要はないが、情報の一つとして保持しておいても構わない。また、会議音声を保存しておけば、後に音声認識部４０２の動作を変更したとき（例えば辞書や音響モデルを強化した場合など）にも対応できるメリットがある。【０１２０】
情報登録インタフェース４１０は、ナレッジデータベース４０９を簡便に強化するために有用である。【０１２１】
すなわち、本実施例のシステムの利用者は、適切な情報の提示を得ようとしてマイクロフォン４０１に音声を入力する。その結果として何らかの情報が提示された場合、利用者は、情報登録インタフェース４１０を用いて、現在の入力音声（の文書特徴ベクトル）と提示された情報とを新たに関連付けて、ナレッジデータベース４０９に追加するよう指示できる。このときの入力音声は、次回以降の検索タグとして使用され、この情報の検索ヒット率を向上させる。【０１２２】
また、適切な情報が提示されなかった場合でも、利用者は別の方法で新たな情報を入手しさえすれば、情報登録インタフェース４１０を用いて、現在の入力音声（の文書特徴ベクトル）と新たに発見した情報とをナレッジデータベース４０９に追加するよう指示できる。【０１２３】
例えば、議事録の記録者は、情報登録インタフェース４１０を用いることで、会議音声と議事録とを容易に関連付けて、ナレッジデータベース４０９に登録することができる。【０１２４】
以上、本発明の好適な実施形態及び実施例を説明したが、音声情報から抽出した各発話内容の特徴と、入力音声から抽出した発話内容の特徴とを比較して、前記入力音声に最も類似する音声情報が関連付けられた情報を選択・出力するという本発明の要旨を逸脱しない範囲で各種の変形を行うことが可能である。
【産業上の利用可能性】
【０１２５】
本発明によれば、会議中に参加者の音声から会議の内容に即した関連資料を検索して提示するような、議事進行補助システムといった用途に適用できる。【０１２６】
また、コールセンターにおける電話窓口応対者と顧客との対話音声から、顧客の問い合わせ内容に即した資料や模範回答を検索して提示するような、窓口応対支援システムといった用途にも適用可能である。【０１２７】
さらにまた、講演や授業などの講師の発話から、講演内容に即した参考情報を随時提示するような学習補助システムにも適用することができる。
本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。
【図１】
2008114811.tif 000004
【図２】
2008114811.tif 000005
【図３】
2008114811.tif 000006
【図４】
2008114811.tif 000007
【図５】
2008114811.tif 000008
【手続補正書】
【提出日】平成21年1月9日(2009.1.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１
【補正方法】変更
【補正の内容】
【請求項１】
音声を入力する音声入力手段と、
検索タグとして、文書類似度を計算可能な長さの音声情報が関連付けられた情報を蓄積する情報蓄積手段と、
前記各音声情報から抽出した各発話内容の特徴と、前記入力音声から抽出した発話内容の特徴とを比較して、入力音声に類似する音声情報が関連付けられた情報を選択する情報選択手段と、
入力音声に関連する情報として、前記情報選択手段により選択された情報を出力する出力手段と、を備えたこと、を特徴とする情報検索システム。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項２５
【補正方法】変更
【補正の内容】
【請求項２５】
音声を入力する音声入力手段と、検索タグとして、文書類似度を計算可能な長さの音声情報が関連付けられた情報を蓄積する情報蓄積手段と、入力音声に関連する情報として、前記情報選択手段により選択された情報を出力する出力手段と、を備える情報検索システムにおける入力音声に関連する情報を検索する情報検索方法であって、
前記情報検索システムが、前記各音声情報から抽出した各発話内容の特徴と、前記入力音声から抽出した発話内容の特徴とを比較して、前記入力音声に最も類似する音声情報が関連付けられた情報を選択し、検索結果として出力すること、
を特徴とする情報検索方法。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項２６
【補正方法】変更
【補正の内容】
【請求項２６】
音声を入力する音声入力手段と、検索タグとして、文書類似度を計算可能な長さの音声情報が関連付けられた情報を蓄積する情報蓄積手段と、入力音声に関連する情報として、前記情報選択手段により選択された情報を出力する出力手段と、を備える情報検索システムに実行させる情報検索用プログラムであって、
前記情報蓄積手段に蓄積された各音声情報から抽出した各発話内容の特徴と、前記入力音声から抽出した発話内容の特徴とを比較して、前記入力音声に類以する音声情報が関連付けられた情報を選択し、前記出力手段に引き渡す処理を前記情報検索システムに実行させる情報検索用プログラム。
【国際調査報告】
2008114811.tif 000009
2008114811.tif 000010