(57)【要約】【課題】  検索結果一覧から目的の検索結果を効率的に選択可能とするシステム及び方法の提供。【解決手段】  音声を入力する入力装置１と、音声認識部２と、データと、データに対応する音素列を関連付けて格納したデータ格納部３と、入力音声の音素列を検索キーとしてデータ格納部３を検索する検索処理手段４１と、入力音声と一致又は類似する音素列を含むデータから代表データを生成する代表語生成手段４２と、検索された複数の検索結果データを、代表データを用いて、階層的な構成に変換して表示装置５に出力する検索結果生成手段４３を備えている。【選択図】  図１
2006031385.tif 000002
【特許請求の範囲】
【請求項１】
データと、前記データに対応する情報とを互いに関連付けて記憶しているデータ格納部と、
音声認識の結果得られる入力音声に対応する情報を用いて前記データ格納部を検索し、前記入力音声に対応する情報に基づき検索されるデータより、検索結果の出力に用いる代表データを生成し、前記代表データを用いて前記検索結果を出力装置に出力する検索処理部と、
を備えている、ことを特徴とする検索システム。
【請求項２】
前記検索処理部は、前記データ格納部より検索された複数のデータを、前記代表データに基づき、階層的な構成に変換して前記出力装置に出力する、ことを特徴とする請求項１に記載の検索システム。
【請求項３】
前記データ格納部には、前記データと、前記データに対応する音声認識単位列の情報とが互いに関連付けて記憶されており、
前記入力音声の音声認識単位列に基づき検索されるデータより、検索結果の出力に用いる代表データを生成する、ことを特徴とする請求項１又は２記載の検索システム。
【請求項４】
前記検索処理部は、前記入力音声の音声認識単位列に一致するか又は類似した音声認識単位列に関連付けされているデータを検索する、ことを特徴とする請求項３に記載の検索システム。
【請求項５】
前記音声認識単位列は、音声認識単位をなす音素又は音節の列よりなる、ことを特徴とする請求項３に記載の検索システム。
【請求項６】
前記データ格納部に格納される前記データは、前記音声認識単位列に対応する文字列データよりなり、
前記代表データは、検索された前記文字列データの中で、前記入力音声に最も類似する部分文字列よりなる、ことを特徴とする請求項１又は２記載の検索システム。
【請求項７】
前記データ格納部には、前記データに対応する情報として、前記データに関する文字列データ及び前記文字列データに対応する音声認識単位列とが、前記データに関連付けて記憶されており、
前記検索処理部は、前記入力音声の音声認識単位列を用いて、前記データ格納部を検索し、前記入力音声の音声認識単位列との照合に基づき検索される文字列データより、検索結果の出力に用いる代表データを生成する、ことを特徴とする請求項１又は２記載の検索システム。
【請求項８】
音声を入力する入力装置と、
入力音声を、音素又は音節の列よりなる音声認識単位列に変換する音声認識部と、
対応する音声認識単位列がそれぞれ付与されている複数のデータを格納したデータ格納部と、
出力装置と、
前記音声認識部で生成される前記入力音声の音声認識単位列を検索用キーとして、前記データ格納部に格納されている、前記音声認識単位列が付与されたデータを検索し、前記入力音声の音声認識単位列との照合に基づき検索されるデータから、前記データを代表するデータであって検索結果の出力に用いる代表データを生成し、前記代表データを用いて、前記検索結果を、階層的な構成に変換し、前記出力装置に出力する検索処理部と、
を備えている、ことを特徴とする検索システム。
【請求項９】
前記データは、前記音声認識単位列に対応する文字列データであり、
前記代表データは、前記文字列データの中で、前記入力音声に最も類似する部分文字列よりなる、ことを特徴とする請求項８に記載の検索システム。
【請求項１０】
前記データが、前記音声認識単位列に対応する文字列データであり、
前記代表データは、前記文字列データに対して予め付与された文字列よりなる、ことを特徴とする請求項８に記載の検索システム。
【請求項１１】
前記検索処理部は、
前記音声認識部から与えられた前記入力音声の音声認識単位列を用いて、前記データ格納部に格納されているデータに対して検索を行い、前記入力音声の音声認識単位列と、前記データの音声認識単位列とを比較し、前記入力音声の音声認識単位列に一致するか又は類似する音声認識単位列を含むデータを検索する検索部と、
前記検索部によって検索されたデータから、検索結果の出力に用いる代表データを生成する代表データ生成部と、
前記検索部により検索された複数のデータを受け、前記代表データ生成部で生成された前記代表データを含むデータをまとめることによって、検索結果を階層的な構成に変換する検索結果生成部と、
を備え、
前記出力装置には、前記検索結果生成部で生成された階層的な構成の検索結果が出力される、ことを特徴とする請求項８に記載の検索システム。
【請求項１２】
前記検索結果生成部は、前記検索部で検索されたデータに対して、同一の代表データに関連付けされる複数のデータをグループ化して、前記出力装置に出力する、ことを特徴とする請求項１１に記載の検索システム。
【請求項１３】
前記検索結果生成部は、同一階層の複数の代表データ又は複数のデータを、同一階層であることを明示するために、並置して前記出力装置に出力する、ことを特徴とする請求項１１に記載の検索システム。
【請求項１４】
前記出力装置には、少なくとも一の階層の代表データが出力され、
利用者が前記出力装置に出力された前記一の階層の代表データの１つを選択する操作を行うと、前記操作を受けて、前記検索結果生成部は、前記代表データの一つ下の階層がある場合には、前記一つ下の階層の代表データもしくは前記代表データにより代表されるデータを、前記出力装置に出力する、ことを特徴とする請求項１１に記載の検索システム。
【請求項１５】
利用者が、検索結果から所望のデータを選択するにあたり、前記出力装置に出力される異なる階層の代表データ間で、及び、同一階層で並置されて出力される複数の代表データ間で、前記代表データを単位に、検索データを選択自在としてなる、ことを特徴とする請求項２又は８に記載の検索システム。
【請求項１６】
前記検索処理部は、生成された１つ又は複数の代表データから、前記代表データよりも上位の階層の代表データを生成する、ことを特徴とする請求項２又は８に記載の検索システム。
【請求項１７】
前記データ格納部には、前記音声認識単位列が付与されている前記データに関連付けて、前記音声認識単位列に対応する文字列データが格納されており、
前記検索処理部は、前記音声認識部で生成される前記入力音声の音声認識単位列を検索用キーとして、前記データ格納部を検索し、前記入力音声の音声認識単位列との照合に基づき検索される文字列データから、前記文字列データを代表するデータであって、検索結果の出力に用いる代表データを生成し、前記代表データ、又は、前記代表データ及び対応する前記データ、を用いて、前記検索結果を、階層的な構成に変換し前記出力装置に出力する、ことを特徴とする請求項８に記載の検索システム。
【請求項１８】
請求項１乃至１７のいずれか一に記載の検索システムを備えた情報端末。
【請求項１９】
請求項１乃至１７のいずれか一に記載の検索システムを備えたクライアント・サーバシステム。
【請求項２０】
請求項１乃至１７のいずれか一に記載の検索システムを備え、
前記データ格納部には、前記データとして、少なくとも例文データが格納されている、ことを特徴とする文書作成装置。
【請求項２１】
入力音声を認識する音声認識部と、
データと、前記データに対応する情報とを互いに関連付けて記憶しているデータ格納部と、
出力装置と、
を有する情報システムによる検索方法であって、
音声認識の結果得られた前記入力音声に対応する情報を用いて前記データ格納部を検索する第１の工程と、
前記入力音声に対応する情報に基づき検索されるデータより、検索結果の出力に用いる代表データを生成する第２の工程と、
前記代表データを用いて、前記検索結果を、出力装置に出力する第３の工程と、
を含む、ことを特徴とする検索方法。
【請求項２２】
前記第３の工程が、前記検索された複数のデータを、前記代表データに基づき、階層的な構成に変換して前記出力装置に出力する工程を含む、ことを特徴とする請求項２１に記載の検索方法。
【請求項２３】
前記データ格納部には、前記データと、前記データに対応する音声認識単位列の情報とが互いに関連付けて記憶されており、
前記第２の工程が、前記入力音声の音声認識単位列に基づき検索されるデータより、検索結果の出力に用いる代表データを生成する工程を含む、ことを特徴とする請求項２１又は２２に記載の検索方法。
【請求項２４】
前記第１の工程が、前記入力音声の音声認識単位列に一致するか又は類似した音声認識単位列に関連付けされているデータを検索する、ことを特徴とする請求項２３に記載の検索方法。
【請求項２５】
前記音声認識単位列は、音素又は音節の列よりなる、ことを特徴とする請求項２３に記載の検索方法。
【請求項２６】
前記データ格納部に格納される前記データは、前記音声認識単位列に対応する文字列データよりなり、
前記代表データは、前記文字列データの中で、前記入力音声に最も類似する部分文字列よりなる、ことを特徴とする請求項２３に記載の検索方法。
【請求項２７】
前記データ格納部には、前記データに対応する情報として、前記データに関する文字列データ及び前記文字列データに対応する音声認識単位列とが、前記データに互いに関連付けて記憶されており、
前記第１の工程が、前記入力音声の音声認識単位列を用いて、前記データ格納部の音声認識単位列を検索照合する工程を含み、
前記第２の工程が、前記入力音声の音声認識単位列に基づき検索される文字列データより、検索結果の出力に用いる代表データを生成する工程を含む、ことを特徴とする請求項２１に記載の検索方法。
【請求項２８】
入力装置と、音声認識部と、検索処理部と、出力装置とを備えた情報システムによる検索方法であって、
前記入力装置が音声を入力する工程と、
前記音声認識部が、入力音声を、音素又は音節の列よりなる音声認識単位列に変換する工程と、
前記検索処理部が、前記音声認識部で生成される前記入力音声の音声認識単位列を検索用キーとして、対応する音声認識単位列がそれぞれ付与されている複数のデータを格納したデータ格納部を検索する工程と、
前記検索処理部が、前記入力音声の音声認識単位列との照合に基づき検索されるデータから、前記データを代表するデータであって検索結果の出力に用いる代表データを生成する工程と、
前記検索処理部が、前記代表データを用いて、前記検索結果を、階層的な構成に変換し、前記出力装置に出力する工程と、
を含む、ことを特徴とする検索方法。
【請求項２９】
前記データは、前記音声認識単位列に対応する文字列データであり、
前記代表データは、前記文字列データの中で、前記入力音声に最も類似する部分文字列よりなる、ことを特徴とする請求項２８に記載の検索方法。
【請求項３０】
前記データが、前記音声認識単位列に対応する文字列データであり、
前記代表データは、前記文字列データに対して予め付与された文字列よりなる、ことを特徴とする請求項２８に記載の検索方法。
【請求項３１】
前記検索処理部が、前記検索されたデータに対して、同一の代表データに関連付けされる複数のデータをグループ化して、前記出力装置に出力する工程を含む、ことを特徴とする請求項２８に記載の検索方法。
【請求項３２】
前記検索処理部が、同一階層の複数の代表データ又は複数のデータを、同一階層であることを明示するために、並置して前記出力装置に出力する工程を含む、ことを特徴とする請求項２８に記載の検索方法。
【請求項３３】
前記出力装置には、少なくとも一の階層の代表データが出力され、
利用者が前記出力装置に出力された前記一の階層の代表データの１つを選択すると、前記代表データの一つ下の階層がある場合には、前記一つ下の階層の代表データもしくは前記代表データにより代表されるデータが、前記出力装置に出力される、ことを特徴とする請求項２２又は２８に記載の検索方法。
【請求項３４】
利用者が、検索結果から所望のデータを選択するにあたり、前記出力装置に出力される異なる階層の代表データ間で、及び、同一階層で並置されて出力される複数の代表データ間で、前記代表データを単位に、検索データを選択自在としてなる、ことを特徴とする請求項２２又は２８に記載の検索方法。
【請求項３５】
前記検索処理部が、生成された１つ又は複数の代表データから、前記代表データよりも上位の階層の代表データを生成する工程を含む、ことを特徴とする請求項２８に記載の検索方法。
【請求項３６】
前記データ格納部には、前記音声認識単位列が付与されている前記データに関連付けて、前記音声認識単位列に対応する文字列データが格納されており、
前記検索処理部は、前記音声認識部で生成される前記入力音声の音声認識単位列を検索用キーとして、前記データ格納部を検索し、前記入力音声の音声認識単位列との照合に基づき検索される文字列データから、前記文字列データを代表するデータであって、検索結果の出力に用いる代表データを生成し、前記代表データ、又は前記代表データと対応する前記データを用いて、前記検索結果を、階層的な構成に変換し出力装置に出力する、ことを特徴とする請求項２８に記載の検索方法。
【請求項３７】
入力音声を認識する音声認識部と、
データと、前記データに対応する情報とを互いに関連付けて記憶しているデータ格納部と、
出力装置と、
を備えた情報システムを構成するコンピュータに、
音声認識の結果得られた前記入力音声に対応する情報を用いて前記データ格納部を検索する第１の処理と、
前記入力音声に対応する情報に基づき検索されるデータより、検索結果の出力に用いる代表データを生成する第２の処理と、
前記代表データを用いて、前記検索結果を、出力装置に出力する第３の処理と、
を実行させるプログラム。
【請求項３８】
前記第３の処理が、前記検索された複数のデータを、前記代表データに基づき、階層的な構成に変換して前記出力装置に出力する処理を含む、ことを特徴とする請求項３７に記載のプログラム。
【請求項３９】
前記データ格納部には、前記データと、前記データに対応する音声認識単位列の情報とが互いに関連付けて記憶されており、
前記第２の処理が、前記入力音声の音声認識単位列に基づき検索されるデータより、検索結果の出力に用いる代表データを生成する処理を含む、ことを特徴とする請求項３７又は３８に記載のプログラム。
【請求項４０】
前記第１の処理が、前記入力音声の音声認識単位列に一致するか又は類似した音声認識単位列に関連付けされているデータを検索する、ことを特徴とする請求項３９に記載のプログラム。
【請求項４１】
前記音声認識単位列は、音素又は音節の列よりなる、ことを特徴とする請求項３９に記載のプログラム。
【請求項４２】
前記データ格納部に格納される前記データは、前記音声認識単位列に対応する文字列データよりなり、
前記代表データは、前記文字列データの中で、前記入力音声に最も類似する部分文字列よりなる、ことを特徴とする請求項３９に記載のプログラム。
【請求項４３】
前記データ格納部には、前記データに対応する情報として、前記データに関する文字列データ及び前記文字列データに対応する音声認識単位列とが、前記データに互いに関連付けて記憶されており、
前記第１の処理は、前記入力音声の音声認識単位列を用いて、前記データ格納部の音声認識単位列を検索照合する処理を含み、
前記第２の処理は、前記入力音声の音声認識単位列に基づき検索される文字列データより、検索結果の出力に用いる代表データを生成する処理を含む、ことを特徴とする請求項３７に記載のプログラム。
【請求項４４】
入力音声を音素列又は音節列よりなる音声認識単位列に変換する音声認識部と、
対応する音声認識単位列がそれぞれ付与されている複数のデータを格納したデータ格納部と、
出力装置と、
を備えた情報システムを構成するコンピュータに、
前記入力音声の音声認識単位列を検索用キーとして、前記データ格納部を検索する第１の処理と、
前記入力音声の音声認識単位列との照合に基づき検索されるデータから、前記データを代表するデータであって検索結果の出力に用いる代表データを生成する第２の処理と、
前記代表データを用いて、前記検索結果を、階層的な構成に変換し、前記出力装置に出力する第３の処理と、
を実行させるプログラム。
【請求項４５】
前記データは、前記音声認識単位列に対応する文字列データであり、
前記代表データは、前記文字列データの中で、前記入力音声に最も類似する部分文字列よりなる、ことを特徴とする請求項４４に記載のプログラム。
【請求項４６】
前記データが、前記音声認識単位列に対応する文字列データであり、
前記代表データは、前記文字列データに対して予め付与された文字列よりなる、ことを特徴とする請求項４４に記載のプログラム。
【請求項４７】
前記第３の処理が、検索されたデータに対して、同一の代表データに関連付けされる複数のデータをグループ化して、前記出力装置に出力する処理を含む、ことを特徴とする請求項４４に記載のプログラム。
【請求項４８】
前記第３の処理が、同一階層の複数の代表データ又は複数のデータを、同一階層であることを明示するために、並置して前記出力装置に出力する処理を含む、ことを特徴とする請求項４４に記載のプログラム。
【請求項４９】
請求項３８又は４４に記載のプログラムにおいて、
前記出力装置に、少なくとも一の階層の代表データを出力し、
利用者が前記出力装置に出力された前記一の階層の代表データの１つを選択する操作を受けて、前記代表データの一つ下の階層がある場合には、前記一つ下の階層の代表データもしくは前記代表データにより代表されるデータを、前記出力装置に出力する処理を、前記コンピュータに実行させるプログラム。
【請求項５０】
請求項３８又は４４に記載のプログラムにおいて、
利用者が、検索結果から所望のデータを選択するにあたり、前記出力装置に出力される異なる階層の代表データ間で、及び、同一階層で並置されて出力される複数の代表データ間で、前記代表データを単位に、検索データを選択させる処理を、前記コンピュータに実行させるプログラム。
【請求項５１】
請求項３８又は４４に記載のプログラムにおいて、
生成された１つ又は複数の代表データから、前記代表データよりも上位の階層の代表データを生成する処理を、前記コンピュータに実行させるプログラム。
【請求項５２】
請求項４４に記載のプログラムにおいて、
前記データ格納部には、前記音声認識単位列が付与されている前記データに関連付けて、前記音声認識単位列に対応する文字列データが格納されており、
前記音声認識部で生成される前記入力音声の音声認識単位列を検索用キーとして、前記データ格納部を検索し、前記入力音声の音声認識単位列との照合に基づき検索される文字列データから、前記文字列データを代表するデータであって、検索結果の出力に用いる代表データを生成し、前記代表データ、又は、前記代表データと対応する前記データを用いて、前記検索結果を、階層的な構成に変換し、前記出力装置に出力する処理を、前記コンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声入力による検索システム及び検索方法に関し、特に、検索結果の一覧から目的の結果を効率的に選択することを可能とした音声入力による検索システム及び検索方法とプログラムに関する。
【背景技術】
【０００２】
従来の音声入力による検索装置の一例として、後記特許文献１には、入力した音声を音素列などに変換する自動音声認識装置と、複数のデータファイルから構成されるデータベースと、データファイルの中から入力された音素列と類似するデータを検索する検索装置と、検索結果を表示する表示装置とを備えた構成が開示されている。上記データファイルには、音素列の注釈が付与されており、検索処理においては、入力された音素列とデータファイルが有する音素列とを照合し、検索結果の一覧が、利用者に提示される。利用者は、ディスプレイに表示された検索結果の一覧を、順に確認することで、目的とするデータを選択する。
【０００３】
【特許文献１】特開２００１−２１５９８７号公報（第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記特許文献１に記載された検索装置は、検索スコア順に並べられた検索結果一覧から目的の結果を選択する際に、必要な操作が多くなる場合がある、という問題点を有している。その理由は、以下の通りである。
【０００５】
すなわち、上記特許文献１に記載されたパターンマッチング方法及び装置においては、音声認識に誤りが生じた場合、検索結果の上位に目的としないデータが並び、目的のデータが下位に並ぶことになり、このような場合に、ユーザの操作回数を減らすということを考慮した表示方法の対策が講じられていないためである。
【０００６】
したがって、本発明の目的は、音声入力による検索結果の一覧から目的の検索結果を絞り込むために必要な操作の効率化を図り、操作性を向上させる音声入力による検索システム及び方法並びにプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本願で開示される発明は、上記目的を達成するため、概略以下の構成とされる。
【０００８】
本発明の一つのアスペクト（側面）に係る音声入力による検索システムは、データと、前記データに対応する情報とを互いに関連付けて記憶しているデータ格納部と、音声認識の結果得られる入力音声に対応する情報を用いて前記データ格納部を検索し、前記入力音声に対応する情報に基づき検索されるデータより、検索結果の出力に用いる代表データを生成し、前記代表データを用いて、前記検索結果を、出力装置に出力する検索処理部と、を備えている。
【０００９】
本発明において、前記検索処理部は、好ましくは、検索された複数のデータを、前記代表データに基づき、階層的な構成に変換して前記出力装置に出力する。
【００１０】
本発明において、前記データ格納部には、前記データと、前記データに対応する音声認識単位列の情報とが互いに関連付けて記憶されており、前記入力音声の音声認識単位列に基づき検索されるデータより、検索結果の出力に用いる代表データを生成する。
【００１１】
本発明において、前記検索処理部は、前記入力音声の音声認識単位列に一致するか又は類似した音声認識単位列に関連付けされているデータを検索する。
【００１２】
本発明において、前記データ格納部に格納される前記データは、前記音声認識単位列に対応する文字列データよりなり、前記代表データは、前記文字列データの中で、前記入力音声に最も類似する部分文字列よりなる。
【００１３】
本発明の他のアスペクト（側面）に係る方法は、入力音声を認識する音声認識部と、データと、前記データに対応する情報とを互いに関連付けて記憶しているデータ格納部と、出力装置と、を有する情報システムによる検索方法であって、
音声認識の結果得られた前記入力音声に対応する情報を用いて前記データ格納部を検索する第１の工程と、
前記入力音声に対応する情報に基づき検索されるデータより、検索結果の出力に用いる代表データを生成する第２の工程と、
前記代表データを用いて、前記検索結果を、出力装置に出力する第３の工程と、
を含む。本発明において、前記第３の工程は、好ましくは、前記検索された複数のデータを、前記代表データに基づき、階層的な構成に変換して前記出力装置に出力する工程を含む。
【００１４】
本発明の他のアスペクト（側面）に係るプログラムは、入力音声を認識する音声認識部と、データと、前記データに対応する情報とを互いに関連付けて記憶しているデータ格納部と、出力装置と、を備えた情報システムを構成するコンピュータに、音声認識の結果得られた前記入力音声に対応する情報を用いて前記データ格納部を検索する第１の処理と、
前記入力音声に対応する情報に基づき検索されるデータより、検索結果の出力に用いる代表データを生成する第２の処理と、
前記代表データを用いて、前記検索結果を、出力装置に出力する第３の処理と、
を実行させるプログラムよりなる。本発明において、好ましくは、前記第３の処理が、前記検索された複数のデータを、前記代表データに基づき、階層的な構成に変換して前記出力装置に出力する処理を含む。
【発明の効果】
【００１５】
本発明によれば、検索結果の一覧から、ユーザが目的の結果を選択する際に必要な操作を効率化することができる。出力装置における画面の大きさが小さい場合、音声認識誤りが生じたことにより目的以外の検索結果が上位に数多く存在し、検索対象のデータ数が大きい場合に、本発明の効果は顕著となる。
【００１６】
その理由は、本発明においては、代表データを用い、複数のデータがマージされた状態で、検索結果を出力することで、目的の検索結果を選択するのに必要な検索結果の次候補に移る操作をした場合、複数のデータをスキップするのと同じ状態となるためである。
【発明を実施するための最良の形態】
【００１７】
次に、本発明を実施するための最良の形態について図面を参照して詳細に説明する。
【００１８】
図１は、本発明を実施するための最良の一形態（一実施の形態）に係る装置の構成を示す図である。図１を参照すると、本発明を実施するための最良の一形態（一実施の形態）に係る装置は、マイクロフォン等、音声信号を入力する音声入力装置１と、アナログ入力音声信号をデジタル信号に変換し、入力音声信号を、音素列に変換する音声認識部２と、音素列の注釈が付加されている複数のデータ（文字列；単語、文例等）を格納するデータ格納部３と、音素列に基づきデータを検索する検索処理部４と、ディスプレイ等の表示装置（出力装置）５と、を備えている。
【００１９】
検索処理部４は、入力音声の音素列を検索キーとしてデータ格納部３を検索し、データ格納部３のデータの音素列と入力音声の音素列とを比較照合し、一致又は類似するデータを抽出する検索処理手段４１と、検索結果の表示に用いる代表語を生成する代表語生成手段４２と、検索結果を代表語を用いて階層的な表現にする検索結果生成手段４３とを備えている。
【００２０】
検索処理手段４１は、音声認識部２から与えられた入力音声の音素列を用いて、データ格納部３に格納されている各データの音素列に対して、検索処理を行う。
【００２１】
代表語生成手段４２は、検索処理手段４１により抽出された、入力音声の音素列と一致又は類似した音素列を含むデータを受け、該データから、代表データ（「代表語」という）を生成する処理を行う。特に制限されないが、代表語は、検索処理手段４１により抽出されたデータ（文字列）から抽出された部分文字列よりなる。あるいは、代表語は、該データ（文字列）に対して予め付与されている文字列（データ格納部３に該データに対応させて格納されている）であってもよい。
【００２２】
検索結果生成手段４３は、代表語生成手段４２で生成された代表語を用いて、検索結果を、例えば図３に示すように、同じ代表語が付与されたデータをまとめる（同一グループにグループ化する）ことによって、階層的な構成に変換する処理を行う。階層的な構成として、特に制限されないが、例えば木構造が用いられる。図３は、木構造のデータ構造の一例を示したものであり、同一の代表語Ａが付与された検索データであるデータ１、データ２、データ３、データ４（ｌｅａｆ）は、代表語Ａで類別されるものであることが直ちに判るように、代表語Ａの配下に表示される。また同一階層の代表語は、同一レベルであることが判るように、例えば同一レベルに表示される。なお、ディスプレイにおける検索結果の表示形態としては、階層構造がわかればよく、例えば木構造においても、ｌｅａｆが画面下に表示される図３の表示形態に限定されるものでないことは勿論である。
【００２３】
また、図６に示すように、各データに対し、複数の代表語を、複数の階層で付与することも可能である。図６に示すように、代表語間の階層表示において、同一階層の代表語は、同一階層であることを示すために並列配置し、検索データを葉（ｌｅａｆ）とする木構造で表示してもよい。利用者は、検索結果一覧から、目的の検索データを選択するにあたり、代表語単位で、縦、横方向に移動することができる。このため、検索結果の絞込みを効率化している。
【００２４】
表示装置５には、検索結果生成手段４３で生成された階層的な検索結果が、図４に示すように、最上位の階層が表示される。
【００２５】
利用者が表示された代表語の１つを選択すると、図５に示すように、その代表語の一つ下の階層の代表語もしくはデータが表示される。
【００２６】
次に、図２は、本発明の一実施の形態の処理を説明するためのフローチャートである。図１及び図２を参照して、本発明の一実施の形態の動作について詳細に説明する。
【００２７】
まず、利用者は入力装置１に向かって、検索用キーワードを含む音声を発声する（ステップS1）。
【００２８】
入力装置１から与えられた入力音声は、音声認識部２に供給される。音声認識部２は、この入力音声を音素列に変換する（ステップＳ２）。
【００２９】
この音素列は、検索処理部４の検索処理手段４１に供給される。検索処理手段４１は、データ格納部３に格納されているデータの有する音素列と、音声認識部２から与えられた音素列とを比較し、類似した音素列を有するデータの検索を行う（ステップＳ３）。
【００３０】
代表語生成手段４２は、検索処理手段４１から与えられた類似音素列を含むデータから代表語を生成する（ステップＳ４）。
【００３１】
検索結果生成手段４３は、代表語生成手段４２から生成された代表語を用いて検索結果を、階層的な構成に変換し、階層構成に変換された検索結果を出力する（ステップＳ５）。
【００３２】
表示装置５は、検索結果生成手段４３が生成した階層的な構成に変換された検索結果を最上位の代表語から順に表示し、利用者の選択した代表語の一つ下の階層の代表語もしくはデータを順に表示する（ステップＳ６）。なお、上記ステップは、コンピュータ（プロセッサ）で実行されるプログラムによりその処理を実行するようにしてもよい。
【００３３】
次に、本発明を一実施の形態の作用効果について説明する。
【００３４】
本実施形態では、代表語を用いて検索結果を階層的に表示するように構成されているため、音声認識誤りを含む音素列を用いて検索を行うことで目的としないデータが検索の上位に多くある場合でも、下位にある目的とするデータを選択するまでに必要な操作が効率化される。
【実施例】
【００３５】
次に、本発明を実施した具体的な実施例について、図面を参照して説明する。図７は、本発明の一実施例を説明するための図であり、携帯電話機等の端末上で音声入力により、メール等の文書を作成するシステムに、本発明を適用した例を示す図である。端末は、図１の入力装置１、音声認識部２、データ格納部３、検索処理部４、表示装置５を備えている。本発明の一実施例の処理は、図２を参照した実施の形態と同様である。
【００３６】
検索対象となるデータ（図１のデータ格納部３に格納されているデータ）は、テキスト文例データであり、入力音声と類似する部分を含む文例データを利用者に複数提示することで、利用者はそれらの中から適切な文例データを選択することができ、文書を簡単に作成することができるシステムである。
【００３７】
利用者が、「お世話になります」と、端末のマイクロフォンに向かって発声したとする。
【００３８】
端末内の図示されない音声認識部（図１の２）は、この入力音声「お世話になります」を、音響モデル・言語モデル・認識辞書等を用いて、音声認識処理を行い、その認識結果としての音素列が生成される。
【００３９】
この場合、認識結果の音素列は正しく認識された場合には、”osewaninarimasu”となる。一方、認識誤りを含む場合、例えば、”osewaminanimasu”のようになる。
【００４０】
このとき、認識結果音素列、及び、各音素には、一般的に、音声認識で用いる信頼度のようなスコア情報を付与することも可能である。
【００４１】
一方、文例データは、
・「いつもお世話になっております」、
・「毎度お世話になります」、
・「ご連絡ありがとうございます」、
のようなテキスト文例データであり、よく使われる文例などが、事前にデータとして、端末内の図示されないデータ格納部（図１の３）に登録されている。
【００４２】
また、それぞれの文例データには、図８に示すように、音素注釈が付与されている。
【００４３】
端末内の図示されない検索処理部（図１の４）では、音声認識結果の音素列と文例データが有する音素列とを、ＤＰ（ダイナミックプログラミング）マッチングのような方法を用いて、照合処理を行う。
【００４４】
また、このとき、前記したような各音素に付与される信頼度スコア等を用いることで、類似の度合いを調整することも可能となる。
【００４５】
この照合処理の時、各テキスト文例データに類似の度合いを数値化した検索スコアを付与しておくことで、入力音声により類似した文例データを、優先的に提示できるようにしておく。
【００４６】
従来の音声入力による検索システムでは、例えば図１１に示すように、付与された検索スコア順、つまり入力音声と類似性の高いデータ順に出力されることが多い。
【００４７】
音声認識誤りがない場合は、目的とするデータが検索の上位に並ぶため、利用者は検索結果一覧の中から目的のデータを選択するのに数多くの操作をしなくて良い。
【００４８】
しかしながら、音声認識誤りが生じた場合、目的としないデータが検索の上位に並び目的のデータが検索の下位に並ぶため、特に、表示用の画面が小さい場合には、目的のデータを選択するためには、カーソルを何度も動かしたり画面を何回もスクロールする操作が必要になってくる。
【００４９】
これに対して、本実施例では、代表語を用いて複数のデータをマージし、階層的に検索結果を表示することで、この問題を解決している。
【００５０】
本実施例において、各文例データに対して、代表語を生成する処理について説明する。
【００５１】
例えば代表語を、各例文データ中で、入力音素列と最も類似度の高い音素列に対応する文例の部分文字列を用いると、図８の文例データの場合、
・「お世話になっております」や、
・「お世話になります」、
等の文字列が代表語となる。
【００５２】
このように、入力された音声に類似した代表語を使用することによって、利用者にとってもわかりやすい代表語となる。
【００５３】
また、このように生成した複数の代表語から、さらに共通の部分文字列を、上位の代表語として生成することも可能である。この場合、データ格納部（図１の３）に予め格納しておく例文データに、区切り記号（ｄｅｌｉｍｉｔｅｒ）を設けて区分しておき、例文データから生成された代表語について区切り記号間のテキストの照合により上位の代表語を生成するようにしてもよい。
【００５４】
さらに、入力される内容と無関係に、文例データの部分文字列を、各文例データに予め付与しておき（すなわち、文例データの部分文字列を図１のデータ格納部３に登録しておく）、部分文字列を代表語として用いたり、「ビジネス」のような複数の文例を表現できるような、カテゴリの名称を代表語として用いることも可能である。
【００５５】
このように生成された代表語を用いて、図９、及び図１０に示すように、検索結果を、階層的な構成に変換する。
【００５６】
この階層構造の上位の階層から、順に、ユーザに表示することで、目的のデータを選択するときは、入力した内容に近い文字列、例えば「お世話になります」と、発声した場合の「お世話」のように、直感的にわかりやすい代表語を順に選択することで、素早く、選択することが可能となる。
【００５７】
また、音声認識誤りが生じたことにより、無関係な音素列を含むデータが多数検索の上位に並ぶ場合でも、例えば、図１０において、音声認識誤りが生じ、「お世話」を含む文例データが検索上位になっても、代表語を一つスキップすると、その代表語の下の階層に含まれる全ての文例データを一気にスキップしたことと同じとなる。
【００５８】
上記実施例では、入力された音声を、音素単位で認識し、その音素列を用いて、テキスト文例データに付与された音素列注釈を検索する例に即して説明したが、音声認識の単位が、音節で、かつ、テキスト文例データに付与される注釈を、音節列とすることも可能である。
【００５９】
また上記実施例では、データ格納部３に、音素列注釈が付与されたデータとして、例文データ（文字列データ）を格納しておく例について説明したが、本発明はかかる構成に限定されるものでなく、例えば記号、図形、画像、映像、音声データ等のデータにも同様にして適用可能であることは勿論である。この場合、各データに対して、代表語生成用のテキスト注釈及び検索（照合）用の音素列もしくは音節例注釈を付与することで、実現が可能である。
【００６０】
データ格納部３に格納され、検索対象となるデータが、画像データである場合の具体的な実施例について以下に説明する。図１２に示すように、データ格納部３に格納されている、それぞれの画像データに対して、代表語生成用のテキスト（文字列データ）による注釈と、検索（照合）用の音素列の注釈が付与されている。図１２（Ａ）に示すように、画像データに対して、代表語生成用のテキストとして「音声認識システム」、音素列として「oNse:niNsikisisutemu」が関連付けされて格納されており、図１２（Ｂ）に示すように、画像データに対して、代表語生成用のテキストとして「音声波形の図」、音素列として「oNse:hake:nozu」が関連付けされて格納されているものとする。
【００６１】
利用者が「音声」と端末のマイクロフォン（図１の入力装置１）に向かって発声したとする。
【００６２】
図１を参照して説明した前記実施例と同様にして、音声認識部２による音声認識処理が行われ、入力音声は例えば”o N s e:”のような、認識音素列として認識される。
【００６３】
次に、この認識音素列を用いて、前記実施例と同様に、図１の検索処理部４の検索処理手段４１による照合処理が、画像データが有する音素注釈に対して行われる。データ格納部３に格納されたデータから、入力音声の音素列と類似する音素列注釈を持つデータが検索される。
【００６４】
さらに、検索処理部４の代表語生成手段４２による代表データの作成は、データ格納部３に格納される画像データに注釈として付与されたテキスト（文字列データ）に対して行われ、各画像データに対して、代表データが生成される。入力音声の音素列に”o N s e:”に対する音素列の照合による検索結果として、テキスト注釈「音声認識システム」、「音声波形の図」が候補として抽出され、この場合、代表語生成手段４２では、「音声」や「混声」を代表データとして生成する。
【００６５】
検索処理部４の検索結果生成手段４３は、生成された代表語を用いて、例えば図１３に示すように、検索結果を、階層的に表現する。検索結果の表示の仕方は、生成された階層構造の最上位の層から順に表示される。
【００６６】
この場合、図１４に示すように、検索結果として、
「１．音声    ２．混声    …」が表示装置５に表示される。
【００６７】
ここで、利用者が、表示された代表データのうち「１．音声」を選択する（操作キーの入力、あるいはポインティングデバイスによる選択操作等）と、該操作を受けて、その一つ下のテキスト（文字列データ）注釈が表示される。すなわち、図１５に示すように、「１．音声認識システム    ２．音声波形の図・・・」と、図１４の代表データ「１．音声」の一つ下の階層のテキスト注釈が表示装置５に表示される。
【００６８】
本実施例では、画像データに付与されたテキスト注釈を表示する際に、例えば図１５のように、画像データを、テキスト注釈に対応させて表示している。なお、検索結果の表示に、画像データを表示しなくてもよい。
【００６９】
なお、前記各実施例では、図１の入力装置１、音声認識部２、データ格納部３、検索処理部４、及び表示装置５はいずれも同じ端末に設けられ、全ての処理が同じ端末で行われる例を説明したが、例えば各処理を、通信可能な別装置上で動作させるように構成されるクライアント・サーバ型のシステムとして実現してもよいことは勿論である。この場合、例えばクライアントで音声入力を行い、音声データ信号（デジタル音声信号）をネットワーク等を介してサーバ（音声認識部（図１の２）が実装されている）に転送し、該サーバが音声データ信号から音声認識を行い、検索処理部（図１の４）を実装したサーバ上で、音声認識結果に基づきデータ格納部３（データベース）を参照してデータの検索を行い代表データを作成し、検索結果をクライアントに返すような構成としてもよい。また、音声認識を行うサーバと、検索処理部を実装したサーバとは、通信接続された別個の装置（ノード）であってもよいし、同一の装置であってもよい。あるいは、クライアント側で入力音声の音声認識を行い入力音声の音素列情報を、ネットワークを介して検索処理部（図１の４）を実装したサーバに転送するようにしてもよい。またクライアント・サーバ型のシステムにおいて、図１のデータ格納部３を、ネットワークを介して他のサーバ等と通信接続するファイルサーバ等で構成してよいことは勿論である。
【００７０】
なお、前記実施例において表示装置５への出力を例に説明したが、本発明において、出力装置としては表示装置５に制限されるものでなく、検索処理部４は、ファイル装置、プリンタ装置、他の端末等へ出力を行うようにしてもよいことは勿論である。
【００７１】
本発明によれば、ユーザが操作できる操作ボタン（操作キー）の数が制限されている端末を用いて、大規模なデータを検索するシステムという用途にも適用できる。
【００７２】
以上本発明を上記実施例に即して説明したが、本発明は、上記実施例の構成にのみ限定されるものでなく、本発明の範囲内で当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
【図面の簡単な説明】
【００７３】
【図１】本発明の一実施の形態の構成を示す図である。
【図２】本発明の一実施の形態の動作を示す流れ図である。
【図３】代表語を用いて各データを、階層的な構成で表した図である。
【図４】代表語をユーザに提示した例を示す図である。
【図５】データをユーザに提示した例を示す図である。
【図６】複数の代表語を用いて各データを複数の階層で表した図である。
【図７】本発明の一実施例の端末を示す図である。
【図８】テキスト文例データとそれぞれのデータに付与されている音素列の例を示す図である。
【図９】本発明の一実施例において、代表語を用いて文例データを階層的な構成で表した図である。
【図１０】本発明の一実施例において、複数の代表語を用いて文例データを複数の階層で表した図である。
【図１１】従来の検索システムによる検索結果を示す図である。
【図１２】本発明の別の実施例におけるデータ格納部のデータ構造の一例を示す図である。
【図１３】本発明の別の実施例において代表語を用いて各データを複数の階層で表した図である。
【図１４】本発明の別の実施例による検索結果の階層的な構成の一例を示す図である。
【図１５】本発明の別の実施例による検索結果の階層的な出力の一例を示す図である。
【符号の説明】
【００７４】
１    入力装置
２    音声認識部
３    データ格納部
４    検索処理部
５    表示装置
４１  検索処理手段
４２  代表語生成手段
４３  検索結果生成手段
【図１】
2006031385.tif 000003
【図２】
2006031385.tif 000004
【図３】
2006031385.tif 000005
【図４】
2006031385.tif 000006
【図５】
2006031385.tif 000007
【図６】
2006031385.tif 000008
【図７】
2006031385.tif 000009
【図８】
2006031385.tif 000010
【図９】
2006031385.tif 000011
【図１０】
2006031385.tif 000012
【図１１】
2006031385.tif 000013
【図１２】
2006031385.tif 000014
【図１３】
2006031385.tif 000015
【図１４】
2006031385.tif 000016
【図１５】
2006031385.tif 000017