(57)【要約】【課題】入力された音声に類似する音声を音声データベースから精度良く検索することのできる音声検索装置を提供する。【解決手段】特徴ベクトル算出部１００は、入力音声の特徴ベクトル列と、音声ＤＢ１４から切り出した比較対象の音声の特徴ベクトル列を算出する。ベクトル間距離算出部１０２は、両特徴ベクトル列をＤＰマッチングにより照合し、その照合結果に基づいて、両特徴ベクトル列の各ベクトルの組間の距離を算出する。有効特徴間距離取得部１０３は、ＤＰマッチングによる照合の結果得られた交点の系列に基づいて、距離の長い順に複数のベクトルの組を抽出し、抽出した複数のベクトルの組間の距離の平均を求め、これを有効特徴間距離として取得する。類似判定部１０４は、有効特徴間距離と閾値とを比較し、その結果に基づいて、入力音声と比較対象の音声が類似しているか否かを判定する。【選択図】図２
2010204269.tif 000002
【特許請求の範囲】
【請求項１】
検索キーとして入力された入力音声信号の特徴ベクトル列を算出する第１の特徴ベクトル算出手段と、
音声データが記憶された音声データベースから所定時間長の音声信号を順次切り出す対象音声切出手段と、
該対象音声切出手段により取得された音声信号の特徴ベクトル列を算出する第２の特徴ベクトル算出手段と、
前記第１の特徴ベクトル算出手段により算出された特徴ベクトル列と前記第２の特徴ベクトル算出手段により算出された特徴ベクトル列とをＤＰマッチングにより照合し、その照合結果に基づいて、両特徴ベクトル列の各ベクトルの組間の距離を算出するベクトル間距離算出手段と、
前記ＤＰマッチングによる照合の結果得られた交点の系列に基づいて、距離の長い順に複数のベクトルの組を抽出し、抽出した複数のベクトルの組間の距離の平均を求め、これを有効特徴間距離として取得する有効特徴間距離取得手段と、
該有効特徴間距離取得手段により取得された有効特徴間距離と予め決められた閾値とを比較し、その結果に基づいて、前記入力音声信号と前記対象音声切出手段により取得された音声信号が類似しているか否かを判定する類似判定手段と、を備える、
ことを特徴とする音声検索装置。
【請求項２】
前記有効特徴間距離取得手段は、前記交点の系列に基づいて距離の長い順に所定数のベクトルの組を抽出する、
ことを特徴とする請求項１に記載の音声検索装置。
【請求項３】
検索キーとして入力された入力音声信号の特徴ベクトル列を算出する第１の特徴ベクトル算出ステップと、
音声データが記憶された音声データベースから所定時間長の音声信号を順次切り出す対象音声切出ステップと、
該対象音声切出ステップで取得された音声信号の特徴ベクトル列を算出する第２の特徴ベクトル算出ステップと、
前記第１の特徴ベクトル算出ステップで算出された特徴ベクトル列と前記第２の特徴ベクトル算出ステップで算出された特徴ベクトル列とをＤＰマッチングにより照合し、その照合結果に基づいて、両特徴ベクトル列の各ベクトルの組間の距離を算出するベクトル間距離算出ステップと、
前記ＤＰマッチングによる照合の結果得られた交点の系列に基づいて、距離の長い順に複数のベクトルの組を抽出し、抽出した複数のベクトルの組間の距離の平均を求め、これを有効特徴間距離として取得する有効特徴間距離取得ステップと、
該有効特徴間距離取得ステップで取得された有効特徴間距離と予め決められた閾値とを比較し、その結果に基づいて、前記入力音声信号と前記対象音声切出ステップで取得された音声信号が類似しているか否かを判定する類似判定ステップと、を備える、
ことを特徴とする音声検索方法。
【請求項４】
コンピュータを、
検索キーとして入力された入力音声信号の特徴ベクトル列を算出する第１の特徴ベクトル算出手段、
音声データが記憶された音声データベースから所定時間長の音声信号を順次切り出す対象音声切出手段、
該対象音声切出手段により取得された音声信号の特徴ベクトル列を算出する第２の特徴ベクトル算出手段、
前記第１の特徴ベクトル算出手段により算出された特徴ベクトル列と前記第２の特徴ベクトル算出手段により算出された特徴ベクトル列とをＤＰマッチングにより照合し、その照合結果に基づいて、両特徴ベクトル列の各ベクトルの組間の距離を算出するベクトル間距離算出手段、
前記ＤＰマッチングによる照合の結果得られた交点の系列に基づいて、距離の長い順に複数のベクトルの組を抽出し、抽出した複数のベクトルの組間の距離の平均を求め、これを有効特徴間距離として取得する有効特徴間距離取得手段、
該有効特徴間距離取得手段により取得された有効特徴間距離と予め決められた閾値とを比較し、その結果に基づいて、前記入力音声信号と前記対象音声切出手段により取得された音声信号が類似しているか否かを判定する類似判定手段、として機能させる、
ことを特徴とする音声検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識処理を経ずに、入力された音声に類似する音声を音声データベースから検索する音声検索装置、音声検索方法及び音声検索プログラムに関する。
【背景技術】
【０００２】
従来より、入力音声に類似する音声を音声データベースから検索する技術が種々提案されている。その多くは、音声認識技術により、入力音声から文字列を生成し、かかる文字列を検索対象にするものである。
【０００３】
しかしながら、現状の音声認識技術では、話し言葉等を正確に認識することは困難であり、また、相当量の対訳コーパスを準備しておく必要もある。
【０００４】
これに対し、特許文献１では、音声認識処理を行わずに、音声データベースに格納されている音声データの特徴ベクトルの時系列と、利用者が発声したキーワードの音声データの特徴ベクトルの時系列とを照合する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平６−１７５６９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一般に、音声信号には、特徴の差が現れにくい部分と、そうでない部分とがあるが、従来では、それらを全て含めて評価しており、照合精度向上の阻害要因となっていた。この点に関し、上記特許文献１は何ら解決策を開示していない。
【０００７】
本発明は、上記問題に鑑みてなされたものであり、入力された音声に類似する音声を音声データベースから精度良く検索することのできる音声検索装置、音声検索方法及び音声検索プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る音声検索装置は、
検索キーとして入力された入力音声信号の特徴ベクトル列を算出する第１の特徴ベクトル算出手段と、
音声データが記憶された音声データベースから所定時間長の音声信号を順次切り出す対象音声切出手段と、
該対象音声切出手段により取得された音声信号の特徴ベクトル列を算出する第２の特徴ベクトル算出手段と、
前記第１の特徴ベクトル算出手段により算出された特徴ベクトル列と前記第２の特徴ベクトル算出手段により算出された特徴ベクトル列とをＤＰマッチングにより照合し、その照合結果に基づいて、両特徴ベクトル列の各ベクトルの組間の距離を算出するベクトル間距離算出手段と、
前記ＤＰマッチングによる照合の結果得られた交点の系列に基づいて、距離の長い順に複数のベクトルの組を抽出し、抽出した複数のベクトルの組間の距離の平均を求め、これを有効特徴間距離として取得する有効特徴間距離取得手段と、
該有効特徴間距離取得手段により取得された有効特徴間距離と予め決められた閾値とを比較し、その結果に基づいて、前記入力音声信号と前記対象音声切出手段により取得された音声信号が類似しているか否かを判定する類似判定手段と、を備えることを特徴とする。
【０００９】
前記有効特徴間距離取得手段は、前記交点の系列に基づいて距離の長い順に所定数のベクトルの組を抽出するようにしてもよい。
【００１０】
また、本発明に係る音声検索方法は、
検索キーとして入力された入力音声信号の特徴ベクトル列を算出する第１の特徴ベクトル算出ステップと、
音声データが記憶された音声データベースから所定時間長の音声信号を順次切り出す対象音声切出ステップと、
該対象音声切出ステップで取得された音声信号の特徴ベクトル列を算出する第２の特徴ベクトル算出ステップと、
前記第１の特徴ベクトル算出ステップで算出された特徴ベクトル列と前記第２の特徴ベクトル算出ステップで算出された特徴ベクトル列とをＤＰマッチングにより照合し、その照合結果に基づいて、両特徴ベクトル列の各ベクトルの組間の距離を算出するベクトル間距離算出ステップと、
前記ＤＰマッチングによる照合の結果得られた交点の系列に基づいて、距離の長い順に複数のベクトルの組を抽出し、抽出した複数のベクトルの組間の距離の平均を求め、これを有効特徴間距離として取得する有効特徴間距離取得ステップと、
該有効特徴間距離取得ステップで取得された有効特徴間距離と予め決められた閾値とを比較し、その結果に基づいて、前記入力音声信号と前記対象音声切出ステップで取得された音声信号が類似しているか否かを判定する類似判定ステップと、を備えることを特徴とする。
【００１１】
また、本発明に係る音声検索プログラムは、
コンピュータを、
検索キーとして入力された入力音声信号の特徴ベクトル列を算出する第１の特徴ベクトル算出手段、
音声データが記憶された音声データベースから所定時間長の音声信号を順次切り出す対象音声切出手段、
該対象音声切出手段により取得された音声信号の特徴ベクトル列を算出する第２の特徴ベクトル算出手段、
前記第１の特徴ベクトル算出手段により算出された特徴ベクトル列と前記第２の特徴ベクトル算出手段により算出された特徴ベクトル列とをＤＰマッチングにより照合し、その照合結果に基づいて、両特徴ベクトル列の各ベクトルの組間の距離を算出するベクトル間距離算出手段、
前記ＤＰマッチングによる照合の結果得られた交点の系列に基づいて、距離の長い順に複数のベクトルの組を抽出し、抽出した複数のベクトルの組間の距離の平均を求め、これを有効特徴間距離として取得する有効特徴間距離取得手段、
該有効特徴間距離取得手段により取得された有効特徴間距離と予め決められた閾値とを比較し、その結果に基づいて、前記入力音声信号と前記対象音声切出手段により取得された音声信号が類似しているか否かを判定する類似判定手段、として機能させることを特徴とする。
【発明の効果】
【００１２】
以上の如く、本発明によれば、入力された音声に類似する音声を音声データベースから精度良く検索することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係る音声検索装置の構成を示すブロック図である。
【図２】図１の音声検索装置が備えるＣＰＵの機能構成を示すブロック図である。
【図３】音声検索処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明に係る音声検索装置の一実施形態について図面を参照して説明する。
【００１５】
本実施形態に係る音声検索装置１は、図１に示すように、ＣＰＵ（Central Processing Unit）１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３と、音声ＤＢ（データベース）１４と、音声インタフェース部１５と、マイクロフォン１６と、スピーカ１７と、入力部１８と、表示部１９と、を備える。また、これらの各部は、システムバス２０により相互に接続されている。システムバス２０は、命令やデータを転送するための伝送経路である。
【００１６】
ＣＰＵ１１は、システムバス２０を介して、ＲＯＭ１２、ＲＡＭ１３、音声ＤＢ１４、音声インタフェース部１５、入力部１８及び表示部１９を制御し、それに付随して、これらとの間でデータの授受を行う。
【００１７】
ＲＯＭ１２には、後述する音声検索処理を実行するための動作プログラム（音声検索プログラム）や音声検索処理で使用する各種のデータテーブル等が格納されている。ＲＡＭ１３は、動作プログラム実行時にデータが一時的に保存される作業用メモリ等として使用される。
【００１８】
音声ＤＢ１４は、例えば、会議等で録音された音声データで構成されるデータベースであり、例えば、ハードディスク等に記憶されている。
【００１９】
音声インタフェース部１５は、マイクロフォン１６及びスピーカ１７とＣＰＵ１１との間のデータ授受のためのインタフェース処理を行う。
【００２０】
入力部１８は、キーボードやマウス等の入力デバイスから構成され、ユーザからの操作入力を受け付ける。入力部１８は、ユーザの入力操作に係る信号（操作信号）をＣＰＵ１１に送出する。表示部１９は、ＣＲＴや液晶モニタ等の表示デバイスにより構成され、ＣＰＵ１１から供給される文字や画像等のデータを表示する。
【００２１】
ＣＰＵ１１は、ＲＯＭ１２に書き込まれた音声検索プログラムに従って動作することで、図２に示すように、特徴ベクトル算出部１００、区間切り出し部１０１、ベクトル間距離算出部１０２、有効特徴間距離取得部１０３、類似判定部１０４、検索結果出力部１０５等として機能する。
【００２２】
特徴ベクトル算出部１００は、マイクロフォン１６を介してユーザより入力された音声（入力音声）から特徴ベクトル列（特徴量）を算出する。具体的には、先ず、特徴ベクトル算出部１００は、所定の時間長（例えば、約２５ｍｓｅｃ）のフレームで入力音声を区切る。そして、各フレームに対し、直流成分の除去と高域強調を行う。ここで、直流成分を除去するのは、直流成分が音質にほとんど無関係であることによる。直流成分は、例えば、既知の高域通過フィルタを用いて除去することができる。
【００２３】
ここで、フレームｉの音声信号サンプルをＳ［ｉ］とすると、高域強調された音声信号サンプルＳ'［ｉ］は、下記式で求められる。ここで、αは、０．７５程度に設定するのが望ましい。
【００２４】
【数１】
2010204269.tif 000003
【００２５】
次に、特徴ベクトル算出部１００は、各フレームの音声信号サンプルについて、２０〜２５次元程度のＭＦＣＣ（Mel Frequency Cepstrum Coefficient）を算出する。そして、得られたＭＦＣＣに対し、その前後のフレームのＭＦＣＣ係数からその差分、さらに差分の差分を算出し、それらを対象フレームの特徴ベクトル列とする。
【００２６】
区間切り出し部１０１は、入力音声と比較するため、音声ＤＢ１４から音声データの区間切り出しを順次行う。その際の区間長は、入力音声の時間長の１／２〜２倍の長さとする。切り出した区間の音声データは、特徴ベクトル算出部１００に供給される。特徴ベクトル算出部１００は、上述した方法で当該区間の音声データにおける特徴ベクトル列を算出する。
【００２７】
ベクトル間距離算出部１０２は、入力音声の特徴ベクトル列と切り出された区間の音声データの特徴ベクトル列の各ベクトルの組間の距離を算出する。ここで、長さの異なるベクトル列間の距離を算出するため、ベクトル間距離算出部１０２は、先ず、ＤＰマッチングにより、対応するベクトルの系列を求める。
【００２８】
例えば、長さがそれぞれｉ，ｊの２つのベクトルの系列を“Ａ＝ａ１,ａ２,…,ａＩ”、“Ｂ＝ｂ１,ｂ２,…,ｂＪ”とし、（ａ１，ｂ１）から始まり（ａＩ，ｂＪ）まで到達する交点の系列“Ｆ＝ｃ１,ｃ２,…,ｃｋ,…,ｃＫ； ｃＫ＝（ｉＫ，ｊＫ）”とし、Ａ，Ｂ間の各ベクトルの組（ａｉ，ｂｊ）間の距離をｄ（ｉ，ｊ）と表すと、Ｆに沿ったＡ，Ｂの距離Ｄ（Ｆ）は、下記式のようになる。ここで、Ｗｋは重み付け係数である。
【００２９】
【数２】
2010204269.tif 000004
【００３０】
ベクトル間距離算出部１０２は、単調連続性条件として“０≦ｉＫ−ｉＫ−１≦１、０≦ｊｋ−ｊｋ−１≦１”、境界条件として“ｉ１＝ｊ１＝１、ｉＫ＝ｉ、ｊＫ＝ｊ”を満たす範囲でＤ（Ｆ）が最小となるＦを算出する。
【００３１】
距離ｄ（ｉ，ｊ）は、ベクトル間の角度の余弦ｃｏｓθを使用する。各ベクトルの要素を“ａ＝｛ｘ１,…,ｘＮ｝、ｂ＝｛ｙ１,…,ｙＮ｝”とすると、ｃｏｓθは、下記式で求められる。
【００３２】
【数３】
2010204269.tif 000005
【００３３】
そして、距離ｄ（ｉ，ｊ）は、下記式により与えられる。
【００３４】
【数４】
2010204269.tif 000006
【００３５】
音声信号には、特徴の差が現れにくい部分とそうでない部分とがあるが、本実施形態に係る音声検索装置１では、差の現れにくい部分を評価から外すことで、より音声信号間の距離を強調させるようにする。
【００３６】
そこで、有効特徴間距離取得部１０３は、交点の系列Ｆのうち、距離の離れているベクトルの組を距離が長い順に複数抽出する。そして、有効特徴間距離取得部１０３は、抽出したｄ（ｉ，ｊ）の平均値を求め、これを有効特徴間距離として、元のベクトル列間の距離とみなす。距離の離れているベクトルの組の抽出数は、予め決められていてもよいし、あるいは、所定の条件に合致するベクトルの組の全てを抽出するようにしてもよい。この場合の抽出条件として、例えば、全体の平均値や中間値よりも距離が長い、あるいは、距離が長い順に全体の４０％までのベクトルの組を抽出するようにしてもよい。
【００３７】
類似判定部１０４は、有効特徴間距離取得部１０３で求めた距離と予め決められた閾値（例えば、０．４）とを比較し、その結果に応じて、入力音声と切り出された区間の音声データが類似するか否かを判定する。具体的には、有効特徴間距離取得部１０３で求めた距離が、閾値より小さい場合、入力音声と切り出された区間の音声データは類似していると判定する。
【００３８】
検索結果出力部１０５は、類似判定部１０４により入力音声と切り出された区間の音声データが類似すると判定された場合、その旨のメッセージをスピーカ１７や表示部１９を介して出力し、ユーザに報知する。その際、類似すると判定された当該区間の音声データを含む音声をスピーカ１７を介して出力してもよい。
【００３９】
続いて、上述した各機能部（特徴ベクトル算出部１００、区間切り出し部１０１、ベクトル間距離算出部１０２、有効特徴間距離取得部１０３、類似判定部１０４、検索結果出力部１０５）によって実行される音声検索処理について、図３のフローチャートに沿って説明する。
【００４０】
音声検索処理は、音声検索処理の開始指令が、ユーザによって入力部１８を介して入力され、その旨の操作信号をＣＰＵ１１が受け取ることで開始される。ユーザにより、検索キーワードとなる音声が入力されると（ステップＳ１０１でＹＥＳ）、特徴ベクトル算出部１００は、上述した方法で入力音声の特徴ベクトル列を算出する（ステップＳ１０２）。
【００４１】
区間切り出し部１０１は、音声ＤＢ１４から検索対象（即ち、入力音声との比較対象）となる音声データの区間を切り出す（ステップＳ１０３）。特徴ベクトル算出部１００は、この切り出された区間の音声データの特徴ベクトル列を算出する（ステップＳ１０４）。
【００４２】
そして、ベクトル間距離算出部１０２が、入力音声の特徴ベクトル列と切り出された区間の音声データの特徴ベクトル列の各ベクトルの組間の距離を算出し、有効特徴間距離取得部１０３は、上述した有効特徴間距離を取得する（ステップＳ１０５）。
【００４３】
類似判定部１０４は、有効特徴間距離取得部１０３によって取得された有効特徴間距離と予め決められた閾値（例えば、０．４）とを比較することで、入力音声と当該区間の音声データが類似するか否かを判定する（ステップＳ１０６）。ここで、有効特徴間距離が閾値より小さい場合、類似判定部１０４は、入力音声と当該区間の音声データが類似していると判定し（ステップ１０６でＹＥＳ）、検索結果出力部１０５は、その旨のメッセージ（例えば、“該当する音声データが検出されました”等）をスピーカ１７や表示部１９を介して出力し（ステップＳ１０７）、本処理は終了する。
【００４４】
一方、有効特徴間距離が閾値以上であり、類似判定部１０４により非類似であると判定された場合（ステップＳ１０６でＮＯ）、ＣＰＵ１１は、音声ＤＢ１４に格納されている全ての音声データについて検索が完了（即ち、区間切り出し部１０１により、全ての音声データの区間の切り出しが完了）しているか否かを判定する（ステップＳ１０８）。音声ＤＢ１４内の全ての音声データについて検索が完了している場合（ステップＳ１０８でＹＥＳ）、検索結果出力部１０５は、エラーメッセージ（例えば、“該当する音声データが検出されませんでした”等）をスピーカ１７や表示部１９を介して出力し（ステップＳ１０７）、本処理は終了する。
【００４５】
一方、音声ＤＢ１４内の全ての音声データについて検索が完了していない場合（ステップＳ１０８でＮＯ）、ステップＳ１０３に移行し、区間切り出し部１０１による次の区間の切り出しが行われる。以降、ステップＳ１０６でＹＥＳ、又はステップＳ１０８でＹＥＳとなるまで、上記処理が繰り返し行われる。
【００４６】
以上説明したように、本発明の本実施形態に係る音声検索装置１によれば、音声認識処理を行わずに、入力された音声に類似する音声を音声ＤＢ１４から検索することができる。したがって、入力音声から文字列を生成し、かかる文字列を検索対象にする場合に比べ、照合精度がよく、また、対訳コーパス等も不要となる。
【００４７】
さらに、本発明では、音声信号の差の現れにくい部分を評価から外すことで、より音声信号間の距離を強調させるようにしている。したがって、照合精度のさらなる向上が期待できる。
【００４８】
なお、本発明は、上記実施形態に限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。
【００４９】
例えば、上記実施形態では、入力音声及び切り出した区間の音声データからＭＦＣＣを抽出し、これを特徴ベクトル列（特徴量）としていたが、これに限られず、例えば、ケプストラム係数等、音声信号の特徴を表す値であれば、周知のあらゆる特徴量を使用することができる。
【００５０】
また、上記実施形態で説明したフローチャートにおける各処理は、その順序に限定されるものではなく、本発明の趣旨を逸脱しない範囲において任意に順序を変更することができる。
【００５１】
また、プログラムの適用により、既存のパーソナルコンピュータ（ＰＣ）等を本発明に係る音声検索装置として機能させることも可能である。即ち、上述したＣＰＵ１１が実行したようなプログラムを、既存のＰＣ等に適用し、そのＰＣ等の制御装置（ＣＰＵ等）がそのプログラムを実行することで、本発明に係る音声検索装置として機能させることが可能である。
【００５２】
このようなプログラムの配布方法は任意であり、例えば、ＣＤ−ＲＯＭやメモリカードなどの記録媒体に格納して配布可能である他、例えば、インターネットなどの通信ネットワークを介して配布することもできる。
【符号の説明】
【００５３】
１…音声検索装置、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…音声ＤＢ、１５…音声インタフェース部、１６…マイクロフォン、１７…スピーカ、１８…入力部、１９…表示部、２０…システムバス、１００…特徴ベクトル算出部、１０１…区間切り出し部、１０２…ベクトル間距離算出部、１０３…有効特徴間距離取得部、１０４…類似判定部、１０５…検索結果出力部
【図１】
2010204269.tif 000007
【図２】
2010204269.tif 000008
【図３】
2010204269.tif 000009