(57)【特許請求の範囲】
【請求項１】
検索対象となる音声信号から複数種類の長さの時間窓を使ってそれぞれ長さの異なる部分音声時系列特徴量を抽出する過程と，
抽出された複数種類の長さの部分音声時系列特徴量を線形伸縮して，検索時における類似距離計算の基準となる基準時間窓の長さにそろえる過程と，
前記基準時間窓の長さにそろえた部分音声時系列特徴量を，検索キーとして入力される音声信号から得られる音声時系列特徴量ベクトルと比較するための検索対象となる音声時系列特徴量ベクトルとして蓄積する過程と，
検索キーとして入力または指定された音声信号から前記基準時間窓の長さの検索キー音声時系列特徴量ベクトルを抽出する過程と，
前記検索対象として蓄積された音声時系列特徴量ベクトルと前記検索キー音声時系列特徴量ベクトルとの類似距離を計算し，検索キーの音声信号と検索対象である各音声信号区間の音声信号との類似度を算出する過程と，
類似度の算出結果に基づいて検索結果を類似度順に順位付けて出力する過程と，
前記出力された検索結果の一つを検索キーとする指定情報をユーザに入力させ，指定された検索結果から得られた音声データを検索キーとして前記類似度の算出による再検索を行い，その検索結果を出力する過程とを有する
ことを特徴とする音声信号検索方法。
【請求項２】
検索対象となる音声信号から，検索時における類似距離計算の基準となる長さの基準時間窓を使って部分音声時系列特徴量を抽出する過程と，
抽出された部分音声時系列特徴量を，検索キーとして入力される音声信号から得られる音声時系列特徴量ベクトルと比較するための検索対象となる音声時系列特徴量ベクトルとして蓄積する過程と，
検索キーとして入力または指定された音声信号から複数種類の長さの時間窓を使ってそれぞれ長さの異なる部分音声時系列特徴量を抽出する過程と，
抽出された複数種類の長さの部分音声時系列特徴量を線形伸縮して，前記基準時間窓の長さにそろえる過程と，
前記基準時間窓の長さにそろえた部分音声時系列特徴量を検索キー音声時系列特徴量ベクトルとし，前記検索対象として蓄積された音声時系列特徴量ベクトルと前記検索キー音声時系列特徴量ベクトルとの類似距離を計算して，検索キーの音声信号と検索対象である各音声信号区間の音声信号との類似度を算出する過程と，
類似度の算出結果に基づいて検索結果を類似度順に順位付けて出力する過程と，
前記出力された検索結果の一つを検索キーとする指定情報をユーザに入力させ，指定された検索結果から得られた音声データを検索キーとして前記類似度の算出による再検索を行い，その検索結果を出力する過程とを有する
ことを特徴とする音声信号検索方法。
【請求項３】
前記音声信号から複数種類の長さの時間窓を使ってそれぞれ長さの異なる部分音声時系列特徴量を抽出する過程では，
前記音声信号から音声時系列特徴量を抽出し，そこから前記基準となる長さの基準時間窓を少しずつずらしながら部分音声時系列特徴量を切り出し，さらに基準時間窓の長さを中心とした複数種類の長さの時間窓でも同様に少しずつずらしながら部分音声時系列特徴量を切り出す
ことを特徴とする請求項１または請求項２記載の音声信号検索方法。
【請求項４】
前記検索対象として蓄積された音声時系列特徴量ベクトルと前記検索キー音声時系列特徴量ベクトルとは，基準時間窓の長さの部分音声時系列特徴量を所定の長さに線形圧縮したものである
ことを特徴とする請求項１，請求項２または請求項３記載の音声信号検索方法。
【請求項５】
検索対象となる音声信号から複数種類の長さの時間窓を使ってそれぞれ長さの異なる部分音声時系列特徴量を抽出する手段と，
抽出された複数種類の長さの部分音声時系列特徴量を線形伸縮して，検索時における類似距離計算の基準となる基準時間窓の長さにそろえる手段と，
前記基準時間窓の長さにそろえた部分音声時系列特徴量を，検索キーとして入力される音声信号から得られる音声時系列特徴量ベクトルと比較するための検索対象となる音声時系列特徴量ベクトルとして蓄積する手段と，
検索キーとして入力または指定された音声信号から前記基準時間窓の長さの検索キー音声時系列特徴量ベクトルを抽出する手段と，
前記検索対象として蓄積された音声時系列特徴量ベクトルと前記検索キー音声時系列特徴量ベクトルとの類似距離を計算し，検索キーの音声信号と検索対象である各音声信号区間の音声信号との類似度を算出する手段と，
類似度の算出結果に基づいて検索結果を類似度順に順位付けて出力する手段と，
前記出力された検索結果から得られた音声データを検索キーとする指定情報をユーザに入力させ，指定された検索結果の一つを検索キーとして前記類似度の算出による再検索を行い，その検索結果を出力する手段とを備える
ことを特徴とする音声信号検索装置。
【請求項６】
検索対象となる音声信号から，検索時における類似距離計算の基準となる長さの基準時間窓を使って部分音声時系列特徴量を抽出する手段と，
抽出された部分音声時系列特徴量を，検索キーとして入力される音声信号から得られる音声時系列特徴量ベクトルと比較するための検索対象となる音声時系列特徴量ベクトルとして蓄積する手段と，
検索キーとして入力または指定された音声信号から複数種類の長さの時間窓を使ってそれぞれ長さの異なる部分音声時系列特徴量を抽出する手段と，
抽出された複数種類の長さの部分音声時系列特徴量を線形伸縮して，検索時における類似距離計算の基準となる基準時間窓の長さにそろえる手段と，
前記基準時間窓の長さにそろえた部分音声時系列特徴量を検索キー音声時系列特徴量ベクトルとし，前記検索対象として蓄積された音声時系列特徴量ベクトルと前記検索キー音声時系列特徴量ベクトルとの類似距離を計算して，検索キーの音声信号と検索対象である各音声信号区間の音声信号との類似度を算出する手段と，
類似度の算出結果に基づいて検索結果を類似度順に順位付けて出力する手段と，
前記出力された検索結果の一つを検索キーとする指定情報をユーザに入力させ，指定された検索結果から得られた音声データを検索キーとして前記類似度の算出による再検索を行い，その検索結果を出力する手段とを備える
ことを特徴とする音声信号検索装置。
【請求項７】
請求項１から請求項４までのいずれかに記載の音声信号検索方法を，コンピュータに実行させるための音声信号検索用プログラム。
【請求項８】
請求項１から請求項４までのいずれかに記載の音声信号検索方法を，コンピュータに実行させるためのプログラムをコンピュータ読み取り可能な記録媒体に記録した
ことを特徴とする音声信号検索用プログラムの記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は，音声検索システムの技術に関し，特に入力または指定された音声信号に類似した音声信号区間を音声データベースの中から検索するための音声信号検索方法，音声信号検索装置，そのプログラムおよびそのプログラムの記録媒体に関するものである。
【０００２】
【従来の技術】
入力音声信号に類似した音声信号を音声データベースの中から検索する手法の従来技術としては，次の参考文献１に述べられたものがある。
［参考文献１］遠藤隆，中沢正幸，高橋裕信，岡隆一：“音声と動画像の自己組織化ネットワークによるデータ表現とスポッティング相互検索”：１９９８年度人工知能学会全国大会（第１２回），S5-04 ，pp.122-125．
これは，ＩＰＭ(Incremental Path Method) ネットワークを用いて，ＤＰマッチングと同様の動的マッチングで音声信号間の類似度を計算し，入力音声信号に類似した音声信号を音声データベースの中から検索する方法である。この方法によれば，動的マッチングを用いることにより，時間軸方向に非線形伸縮している音声信号でも類似度を計算することができる。
【０００３】
【発明が解決しようとする課題】
音声信号を音声信号で検索しようとする場合，音声信号間の類似度を計算する必要がある。一般的に音声信号は，同一文字列を発声した場合でも時間軸上で非線形伸縮する。このことから，音声信号間の類似度を計算するには，非線形伸縮に対応するため，ＤＰマッチングや隠れマルコフモデル（ＨＭＭ）等の動的マッチングを用いる必要があった。
【０００４】
しかし，全ての音声信号が時間軸上で非線形伸縮するわけではない。非線形伸縮しない音声信号の例として，まず歌声が挙げられる。歌声には潜在的にテンポが存在するので，短時間区間であれば，その区間全体のテンポがゆっくりになったり，速くなったりはすることはあるものの，その区間内でテンポが乱れることはない。つまり歌声は短時間区間内であれば，その区間全体で線形伸縮することはあるものの，その区間内で非線形伸縮することはない。
【０００５】
また，非線形伸縮しない音声信号の他の例として，アナウンサーの発話音声がある。アナウンサーは同じ言葉を同じ調子で何度も発話することが非常に上手であるため，同一の言葉であれば非線形伸縮しない。さらに，一般の人の発話でも一単語程度の短い発話であれば，その区間全体で線形伸縮することはあっても，その区間内では，ほとんど非線形伸縮していないとみなすことができる。
【０００６】
従来の技術では，音声信号間の類似度計算をするときに動的マッチングを用いていた。したがって，線形伸縮だけしかしていない音声にも，非線形伸縮にも対応できる動的マッチングを行ってしまう。動的マッチングは，固定長ベクトル間のユークリッド距離やマンハッタン距離等の距離計算を行う静的マッチングに比べて計算量が多く，検索時間が長くなってしまうという問題点があった。
【０００７】
【課題を解決するための手段】
前記課題を解決するために，本発明は，音声データの検索において時間窓を用いて切り出した特徴量を動的マッチングではなく，静的マッチングによって高速に照合できるようにする。そのため，音声時系列特徴量の音声データを線形伸縮させて，ある一定の時間区間の長さの固定長データにそろえる。こうすることにより，固定長データ間の単純なマッチングによって，検索キーと類似する音声データを高速に検索可能にすることを特徴とする。
【０００８】
具体的には，本発明の音声信号検索装置は，音声時系列特徴量抽出手段と，時間窓切り出し手段と，部分音声時系列特徴量固定長化手段と，検索キー音声時系列特徴量抽出手段と，音声蓄積手段と，検索条件入力手段と，特徴量情報比較手段と，表示形式生成手段からなる。さらに，音声時系列特徴量線形圧縮手段と，検索キー音声時系列特徴量線形圧縮手段とを設けてもよい。
【０００９】
音声時系列特徴量抽出手段は，時系列信号である音声信号から音声時系列特徴量を抽出する。
【００１０】
時間窓切り出し手段は，まず基準となる長さの時間窓である基準時間窓を用意する。そして，音声時系列特徴量抽出手段により抽出された音声時系列特徴量から，基準時間窓の長さの部分音声時系列特徴量を基準時間窓を少しずつずらしながら切り出す。次に，基準時間窓の長さを中心にして複数種類の長さの時間窓を用意する。これらの長さの時間窓でも同様にして部分音声時系列特徴量を切り出す。
【００１１】
部分音声時系列特徴量固定長化手段は，時間窓切り出し手段により複数種類の長さの時間窓で切り出した部分音声時系列特徴量を，線形伸縮して基準時間窓長にそろえた部分音声時系列特徴量を生成して，それを音声時系列特徴量ベクトルとして抽出する。
【００１２】
音声時系列特徴量線形圧縮手段は，部分音声時系列特徴量固定長化手段により生成された基準時間窓長の音声時系列特徴量を，ある一定の長さに線形圧縮して音声時系列特徴量ベクトルを抽出する。
【００１３】
検索キー音声時系列特徴量抽出手段は，検索キーとして入力された基準時間窓の長さの音声信号から，基準時間窓長の検索キー音声系列特徴量を抽出して，それを検索キー音声時系列特徴量ベクトルとして抽出する。
【００１４】
検索キー音声時系列特徴量線形圧縮手段は，検索キー音声時系列特徴量抽出手段により抽出された基準時間窓長の音声時系列特徴量を，音声時系列特徴量ベクトルと同じ長さに線形圧縮して，検索キー音声時系列特徴量ベクトルを抽出する。
【００１５】
音声蓄積手段は，入力された検索対象の音声信号を蓄積し，また音声時系列特徴量線形圧縮手段により抽出された音声時系列特徴量ベクトルからインデックスを作成して音声時系列特徴量ベクトルとともに蓄積し，さらに音声時系列特徴量ベクトルの抽出元の音声信号区間への対応付けの情報である時間窓切り出し情報も蓄積する。
【００１６】
検索条件入力手段は，音声蓄積手段において蓄積された音声信号区間を検索キーとする際に，検索キーを指定するための条件を入力する。
【００１７】
特徴量情報比較手段は，検索キー音声時系列特徴量線形圧縮手段において抽出された検索キー音声時系列特徴量ベクトルと音声蓄積手段において蓄積された音声時系列特徴量ベクトルを静的マッチングで類似距離を計算し，類似度を設定する。これにより動的マッチングよりも高速な類似度計算が可能になる。そして，検索キー音声時系列特徴量ベクトルとの類似度が高い順に音声時系列音声特徴量ベクトルを出力する。
【００１８】
表示形式生成手段は，特徴量情報比較手段から順位付けられて出力された音声時系列特徴量ベクトルを音声蓄積手段に蓄積された時間窓切り出し情報を元に抽出元の音声信号区間に対応付けて表示装置に出力する。
さらに，検索条件入力手段は，表示形式生成手段により出力された検索結果の一つを検索キーとする指定情報をユーザに入力させ，指定された検索結果から得られた音声データを検索キーとして前記類似度の算出による再検索を行う手段を有し，表示形式生成手段は，その検索結果を出力する手段を有する。
【００１９】
【発明の実施の形態】
〔実施の形態１〕
図１は，本発明の実施の形態１を説明するための構成図である。実施の形態１では，外部から入力した音声を検索キーとして用いる。
【００２０】
本発明の動作は，音声蓄積フェーズＰ１と，それから呼び出される音声時系列特徴量ベクトル抽出フェーズＰ２と，音声検索フェーズＰ３と，それから呼び出される検索キー音声時系列特徴量ベクトル抽出フェーズＰ４とで構成される。以下，各フェーズの動作を説明する。
【００２１】
〔Ａ〕音声蓄積フェーズＰ１と音声時系列特徴量ベクトル抽出フェーズＰ２
図２は，音声蓄積フェーズＰ１と音声時系列特徴量ベクトル抽出フェーズＰ２の動作を説明するフローチャートである。
【００２２】
まず，検索対象音声信号入力装置２０から検索対象の音声信号が入力され，音声蓄積部１４においてこの音声信号を記憶装置１５に蓄積する（ステップＳ１）。
【００２３】
次に，音声時系列特徴量抽出部１１において，入力された音声信号から音声時系列特徴量を抽出する（ステップＳ２）。音声時系列特徴量としては，例えば，メル周波数ケプストラム係数の低次項や，その１次差分，２次差分や，音声パワーや，フィルタバンク分析による各帯域の音声パワー等を多次元ベクトルで表し，それらを時系列順に並べたものを用いることができる。音声時系列特徴量の例は，次の参考文献２に述べられている。
［参考文献２］鹿野清宏他：“ＩＴ  ｔｅｘｔ  音声認識システム”，オーム社，2001．
次に，時間窓切り出し部１２において，まず図３に示すように，基準となる長さの時間窓を基準時間窓として設定し，この基準時間窓を少しずつずらしながら，基準時間窓長の部分音声時系列特徴量を切り出す（ステップＳ３）。
【００２４】
図４に示すように，基準時間窓の長さを中心とした複数種類の長さの時間窓を設定し，基準時間窓の場合と同様に，時間窓を少しずつずらしながらその時間窓長の部分音声時系列特徴量をそれぞれ切り出す（ステップＳ４）。後述する実験例では，基準時間窓は１５０フレームであり，１フレーム当たり約２６ミリ秒の長さである。時間窓の長さの下限は１１８フレーム，上限は１８２フレームとした。これらの時間窓を使って部分音声時系列特徴量を切り出したならば，その時間窓の切り出しに関する情報を音声蓄積部１４において時間窓切り出し情報として記憶装置１５に蓄積しておく。
【００２５】
また，部分音声時系列特徴量固定長化部１３において，図５に示すように，複数種類の長さの時間窓で切り出された部分音声時系列特徴量をそれぞれ時間軸方向で線形伸縮させて基準時間窓の長さにそろえ（ステップＳ５），その基準時間窓長の部分音声時系列特徴量を生成して，それを音声時系列特徴量ベクトルとする（ステップＳ６）。
【００２６】
そして，得られた音声時系列特徴量ベクトルからインデックスを構築し，音声時系列特徴量ベクトルとともに音声蓄積部１４の記憶装置１５に蓄積する（ステップＳ７）。多次元空間ベクトルのインデックス構造としては，例えば，次の参考文献３に述べられているＳＲ−ｔｒｅｅや，参考文献４に述べられているＡ−ｔｒｅｅなどを利用することができる。
［参考文献３］Norio Katayama and Shin'ichi Satoh：“The SR-Tree ：An Index Structure for High-Dimensional Nearest Neighbor Queries”，In Proc. ACM SIGMOID International Conference on Management of Data ，pp.368-380，May 1997．
［参考文献４］Yasushi Sakurai ，Masatoshi Yoshikawa ，Shunsuke Uemura ，and Haruhiko Kojima ：“The A-Tree：An Index Structure for High-Dimensional Spaces Using Relative Approximation ”，In Proc. of the 26th International Conference on Very Large Data Bases（VLDB），pp.516-526，Cairo ，September 2000．
〔Ｂ〕音声検索フェーズＰ３と検索キー音声時系列特徴量ベクトル抽出フェーズＰ４
図６は，音声検索フェーズＰ３と検索キー音声時系列特徴量ベクトル抽出フェーズＰ４の動作を説明するフローチャートである。
【００２７】
まず，検索キー音声信号入力装置２２を用いて，検索キーとなる基準時間窓長の音声信号を入力する（ステップＳ１０）。
【００２８】
次に，検索キー音声時系列特徴量抽出部１８において，入力した基準時間窓長の音声信号から，基準時間窓長の検索キー音声時系列特徴量を抽出する（ステップＳ１１）。検索キー音声時系列特徴量としては，前述した音声蓄積フェーズＰ１の音声時系列特徴量と同じ特徴量を利用する。この検索キー音声時系列特徴量を検索キー音声時系列特徴量ベクトルとする（ステップＳ１２）。
【００２９】
さらに，特徴量情報比較部１６において，得られた検索キー音声時系列特徴量ベクトルと，音声蓄積部１４において記憶装置１５に蓄積された音声時系列特徴量ベクトルとの類似距離を計算する（ステップＳ１３）。この距離計算には，固定長ベクトル間のユークリッド距離やマンハッタン距離等の静的マッチングを用い，また音声蓄積部１４の記憶装置１５に蓄積されたインデックスを用いて行う。これにより動的マッチングよりも高速な距離計算が可能となる。そして，その距離の短い順に音声時系列特徴量ベクトルの音声信号区間を順位付ける（ステップＳ１４）。
【００３０】
最後に，表示形式生成部１７において，音声蓄積部１４により記憶装置１５に蓄積された時間窓切り出し情報を用いて音声時系列特徴量ベクトルをその抽出元の音声信号区間に対応付けて，表示装置２１に出力する（ステップＳ１５）。ここでの表示では，例えば１時間の音楽番組の中から検索キーに該当する部分の検索結果を表示する場合に，順位の高い結果から順番に，番組の先頭から何分何秒目であるかなどの音声信号区間を示す一覧情報と，その部分の再生用のボタンとを表示し，再生ボタンが押された場合にはその部分の音声を出力することを行う。これによって，検索者が検索目的に適合する音声信号区間を探し出す手間を省けるようになる。また，検索対象について曲名などの情報をデータベース中に持つ場合には，検索結果の曲名などを併せて表示することができる。
【００３１】
〔実施の形態２〕
図７は，本発明の実施の形態２を説明するための構成図である。実施の形態２は，時間窓を用いて切り出した特徴量を圧縮してサイズを小さくし，サイズのより小さいデータベースを構築して検索を行うことを可能にしたものである。
【００３２】
実施の形態２では，線形伸縮させて基準時間窓の長さにそろえた部分音声時系列特徴量を時間軸上で線形圧縮したものを音声時系列特徴量ベクトルとして用い，これに伴い，基準時間窓の長さの検索キー音声時系列特徴量を音声時系列特徴量ベクトルと同様の長さに時間軸上で線形圧縮したものを検索キー音声時系列特徴量ベクトルとして用いる。そのため実施の形態１と比べて，音声蓄積フェーズＰ１から呼び出される音声時系列特徴量ベクトル抽出フェーズＰ２と，音声検索フェーズＰ３から呼び出される検索キー音声時系列特徴量ベクトル抽出フェーズＰ４が異なり，以下の通りになる。
【００３３】
〔Ａ〕音声蓄積フェーズＰ１と音声時系列特徴量ベクトル抽出フェーズＰ２
図８は，音声蓄積フェーズＰ１と音声時系列特徴量ベクトル抽出フェーズＰ２の動作を説明するフローチャートである。
【００３４】
実施の形態１と同様に，検索対象音声信号入力装置２０から音声信号を入力する（ステップＳ２０）。音声時系列特徴量抽出部１１において，入力された音声信号から音声時系列特徴量を抽出し（ステップＳ２１），時間窓切り出し部１２において，基準時間窓を少しずつずらしながら，基準時間窓長の部分音声時系列特徴量を切り出す（ステップＳ２２）。さらに，複数種類の長さの時間窓でも部分音声時系列特徴量を切り出し（ステップＳ２３），部分音声時系列特徴固定長化部１３において，切り出された複数種類の長さの部分音声時系列特徴量を時間軸上で線形伸縮して，基準時間窓長にそろえた部分音声時系列特徴量を生成する（ステップＳ２４）。
【００３５】
次に，音声時系列特徴量線形圧縮部３０において，図９に示すように，基準時間窓の長さにそろえた部分音声時系列特徴量をそれぞれ時間軸方向に線形圧縮して，音声時系列特徴量ベクトルを抽出する（ステップＳ２５）。これにより，音声時系列特徴量ベクトルの次元数が小さくなり，類似度計算の計算量を減らすことができ，蓄積する記憶装置１５の容量を小さくすることもできる。
【００３６】
さらに，実施の形態１と同様にして，得られた音声時系列特徴量ベクトルからインデックスを構築し，音声時系列特徴量ベクトルとともに音声蓄積部１４の記憶装置１５に蓄積する。
【００３７】
〔Ｂ〕音声検索フェーズＰ３と検索キー音声時系列特徴量ベクトル抽出フェーズＰ４
図１０は，音声検索フェーズＰ３と検索キー音声時系列特徴量ベクトル抽出フェーズＰ４の動作を説明するフローチャートである。
【００３８】
実施の形態１と同様に，検索キー音声信号入力装置２２を用いて，検索キーとなる基準時間窓長の音声信号を入力し（ステップＳ３０），検索キー音声時系列特徴量抽出部１８において，入力した基準時間窓長の音声信号から，基準時間窓長の検索キー音声時系列特徴量を抽出する（ステップＳ３１）。
【００３９】
そして，検索キー音声時系列特徴量線形圧縮部３１において，図９に示すように，基準時間窓長の音声時系列特徴量を時間軸方向に線形圧縮し，検索キー音声時系列特徴量ベクトルを抽出する（ステップＳ３２）。なお，検索キー音声時系列特徴量ベクトルの長さは，前記音声蓄積フェーズＰ１で生成された音声時系列特徴量ベクトルと同じ長さとする。
【００４０】
さらに，実施の形態１と同様に，特徴量情報比較部１６において，得られた検索キー音声時系列特徴量ベクトルと，音声蓄積部１４において記憶装置１５に蓄積された音声時系列特徴量ベクトルとの類似距離を計算し（ステップＳ３３），その距離の短い順に音声時系列特徴量ベクトルを順位付ける（ステップＳ３４）。
【００４１】
最後に，実施の形態１と同様に，表示形式生成部１７において，音声蓄積部１４の記憶装置１５に蓄積された時間窓切り出し情報を用いて音声時系列特徴量ベクトルをその抽出元の音声信号区間に対応付けて，表示装置２１に出力する（ステップＳ３５）。例えば１時間の音楽番組の中から検索キーに該当する部分の検索結果を表示する場合に，順位の高い結果から順番に，番組の先頭から何分何秒目であるかなどの音声信号区間を示す一覧情報と，その部分の再生用のボタンとを表示し，再生ボタンが押された場合にはその部分の音声を出力することができるような表示形式で表示する。
【００４２】
〔実施の形態３〕
図１１，図１２は，本発明の実施の形態３を説明するための構成図である。実施の形態３は，検索キーを外部から入力するのではなく，一度検索を行って検索結果を得たときに検索結果の中から新たに検索キーを指定しなおして，それに類似する音声データを検索することができるようにしたものである。
【００４３】
音声データを検索キーとする複数の検索結果を類似度の順に一覧表のように画面に表示し，検索結果として得られた音声データを新たな検索キーとして，類似する他の音声データを検索する。
【００４４】
例えば音楽検索の場合，検索結果表示画面の「曲名」の部分に触れると，その楽曲が検索結果として選択され，検索キーに対応する部分または楽曲の先頭から再生されて音声出力される。また，画面上の「順位」の部分に触れると，その楽曲の検索結果（例えば楽曲のうち当初の検索キーである音声データと類似する部分（３〜４秒間））を新たな検索キーとして，さらに類似する楽曲の検索を実行するようなことを行う。
【００４５】
以上のように実施の形態３では，検索結果の中から，検索目的に最も近かった結果を検索キーとして選択して再び検索を行う。図１１に示す音声信号検索装置１０の音声蓄積フェーズＰ１は，図１に示す実施の形態１の音声蓄積フェーズＰ１と同様であり，図１２に示す音声信号検索装置１０の音声蓄積フェーズＰ１は，図７に示す実施の形態２の音声蓄積フェーズＰ１と同様である。前述した実施の形態１，実施の形態２とは，音声検索フェーズＰ３が異なり，以下のようになる。
【００４６】
〔Ａ〕音声検索フェーズＰ３
図１３は，音声検索フェーズＰ３の動作を説明するフローチャートである。
【００４７】
前段階として，実施の形態１，実施の形態２と同様に検索を行い，その検索結果を類似度順に順位付けて表示装置２１に表示する（ステップＳ４０）。ユーザからの指示により，表示された検索結果が検索目的に十分に合致していれば検索を終了する（ステップＳ４１）。
【００４８】
検索目的に合致していなければ，検索条件入力部２３において，既に表示されている順位付けられた検索結果のうちの検索目的に最も近い結果を検索キーとして指定させ，それを検索キーとして選びなおす（ステップＳ４２）。このため，ステップＳ４０において順位付けられた結果を表示装置２１で表示する際に，結果１件あたりに２つの入力用ボタンを表示する。１つは検索キーとして指定する際に押すボタンであり，１つはその結果の音声を発声させる際に押すボタンである。ユーザは，表示装置２１上で前者のボタンを押すことで，検索結果の中から検索キーを指定することができる。
【００４９】
検索キーが指定されると，特徴量情報比較部１６において，検索キーと類似度の高い蓄積された音声区間を検索し，類似度の高い順に順位付けする（ステップＳ４３）。さらに，表示形式生成部１７において，検索結果から検索キーを選択できる表示形式を生成し，表示装置２１に表示する（ステップＳ４０）。
【００５０】
表示された検索結果が，検索目的に十分に合致していれば検索を終了する（ステップＳ４１）。まだ十分に合致しない場合には，さらに検索キーを選択しなおして再び検索を行い，検索目的に十分に合致する結果が得られるまで繰り返す（ステップＳ４０〜Ｓ４３）。
【００５１】
〔実施の形態４〕
以上の実施の形態１〜３では，検索対象の音声信号について複数種類の長さの時間窓を使ってそれぞれ長さの異なる部分音声時系列特徴量を抽出し，それらの部分音声時系列特徴量を線形伸縮して基準時間窓の長さにそろえたものを，検索対象の音声時系列特徴量ベクトルとして，音声蓄積部１４により蓄積した。
【００５２】
実施の形態４では，時間窓で切り出した部分音声時系列特徴量の線形伸縮を，検索対象のものについて行うのではなく，検索キーとして入力されたものについて行う。すなわち，実施の形態４では，検索対象の音声信号から複数種類の長さの時間窓を使って部分音声時系列特徴量を抽出するのではなく，基準時間窓だけを使って部分音声時系列特徴量を抽出し，それを検索対象の音声時系列特徴量ベクトルとして音声蓄積部１４に蓄積する。一方，検索キーとして入力された音声信号については，複数種類の長さの時間窓を使ってそれぞれ長さの異なる部分音声時系列特徴量を抽出し，これらの長さの異なる部分音声時系列特徴量を，基準時間窓の長さになるように線形伸縮する。
【００５３】
線形伸縮を検索キーとして入力されたものについて行っても，実施の形態１〜３と同様な検索結果が得られる。なお，基準時間窓の長さにそろえたのちに，必要に応じて実施の形態２のように一定の長さに線形圧縮することにより，検索時に照合するデータ量の削減を図ることもできる。
【００５４】
〔実験結果〕
本発明の有効性を確認するため，実施の形態２について実験用に作成した歌声データを対象とした２種類の実験を行った。
【００５５】
まず第１の実験で，本発明による線形伸縮に対応したマッチングが，線形伸縮に対応しないマッチングに比べて，歌声の検索において有効であることを確認し，次に第２の実験で，非線形伸縮マッチングを実装している従来方式と比較しても，本発明が歌声の検索において十分に有効であることを確認した。
【００５６】
〔Ａ〕両実験に共通する実験条件
１５人の被験者を女性，男性，混合の３つのグループに分け，それぞれのグループに６２曲の歌名リストを渡す。歌名リストの中で，その歌を知っている人にフレーズの一部（約１０秒程度）を歌ってもらい，６２×３個の歌声（合計約３０分）をデータベースに格納する。
【００５７】
１つの被験者グループの歌声の中から任意に１２曲選び，そこから１フレーズ程度（基準時間窓長：１５０フレーム分，約４秒）を取り出して検索キーとする。そして，他の２つのグループの被験者の歌声の同一フレーズ部分を適合結果として検索する。
【００５８】
本実験では，サンプリング周波数４４１００Ｈｚ，量子化ビット数１６ｂｉｔ，１チャネルのｗａｖｅファイル形式の音声データから歌声を検索することとする。音声特徴量として，メル周波数ケプストラム係数の低次項５次元を使い，これを時間軸上に並べたものから時間窓を用いて時系列特徴量を抽出する。
【００５９】
検索結果の評価基準としては，平均探索長の平均を用いる。これは検索結果の中から，検索目的に適合する結果を探し出す手間を表す評価基準である。なお，順位付けされた検索結果のうち，２０位までの適合性を判断することとし，順位を２０位までとし，それ以下に適合結果があっても検索できなかったものとする。
【００６０】
〔Ｂ〕平均探索長の平均の説明
ここで，検索結果の評価基準として用いた平均探索長の平均について説明する。平均探索長については，次の参考文献５に述べられている。
［参考文献５］徳永健伸：“言語と計算５  情報検索と言語処理”，東京大学出版，1999．
平均探索長は，検索結果として順位付けられた集合を評価する尺度である。検索結果として順位付けられた結果が返ってきた場合，実際には検索者は，検索結果の適合性を上位の結果から逐一判断していかなければいけない。平均探索長は，このような検索者の適合性判断の過程を考慮し，検索者が必要な数の適合結果を得るためには，どれだけ結果の適合性を判断しなければならないかというユーザの手間を計測する尺度である。
【００６１】
例えば，検索結果が次のように順序付き集合Ｓ1 ，Ｓ2 ，Ｓ3 に分けることができたとする。ただし，集合間の順序はＳ1 ，Ｓ2 ，Ｓ3 の順であり，○，×はそれぞれ適合結果，不適合結果を表す。
【００６２】
Ｓ1 ：｛○，×，×，×｝
Ｓ2 ：｛○，○，○，○，×，×｝
Ｓ3 ：｛○，○，×，×｝
今，検索者が，適合結果を１つ得たいとする。まず，集合Ｓ1 を検査することになる。この集合の中では順序が付いていないので，適合結果を見つけるまでに検査しなければならない結果の個数の期待値は，
１×１／４＋２×１／４＋３×１／４＋４×１／４＝２．５
となる。
【００６３】
これは検索結果から適合結果を１つ見つけるためには，検索者は平均的に２．５個の検索結果の適合性を判断しなければならないことを示している。つまり，この検索結果から１つの適合結果を見つけ出すのに必要な平均探索長は，２．５個である。
【００６４】
また，適合結果を２つ見つけるためには，集合Ｓ1 を全部検査した後，集合Ｓ2 から１つ見つければよいから，検査すべき結果の個数の期待値は，
（４＋１）×４／６＋（４＋２）×４／１５＋（４＋３）×１／１５＝５．４
となる。つまり，２つの適合結果を見つけ出すのに必要な平均探索長は，５．４個である。
【００６５】
上記の例では，検索結果が順位付けられた集合で与えられている場合であったが，検索結果の個々に全順序が付けられている場合でも，各集合の要素を１つと考えれば平均探索長を計算できる。
【００６６】
以上のことからもわかるように，平均探索長は一つの尺度とはならず，必要な適合結果の個数に依存した値となる。そこで，平均探索長の平均として，必要な適合結果１つあたりの平均探索長の値を計算する。
【００６７】
必要な適合結果数をｉ，総適合結果数をＭ，ｉ個の必要な適合結果を見つけるのに必要な平均探索長をｘ（ｉ）とすると，平均探索長の平均ｘavは，
ｘav＝（１／Ｍ）Σi=1 M ｛ｘ（ｉ）／ｉ｝
で表される。
【００６８】
例えば，検索の結果，適合した結果が２位と６位に検索された場合を考える。必要な適合結果の個数を１とした場合，平均探索長は２となり，必要な検索結果の個数を２とした場合，平均探索長は６となる。これらの平均探索長の平均は，（２／１＋６／２）／２＝４となる。
【００６９】
〔Ｃ〕第１の実験
線形伸縮に対応しない方法として，１種類の長さの時間窓だけを使って時系列特徴量を抽出する方法で実験する。一方，線形伸縮に対応する方法として，９種類の時間窓を使った本発明による方法で実験する。この両方法の平均探索長の平均の値を比較する。
【００７０】
〔Ｄ〕第１の実験の結果
第１の実験による平均探索長の平均を比較した結果を図１４に示す。図中の×は，適合結果を検索できなかったことを表している。平均探索長の平均は，歌Ｂ，Ｅ，Ｈで同じ値になるものの，それ以外の歌ではすべて本発明による方法が上回っている。すなわち，固定長の時間窓により検索対象の音声データを対象として，従来方法による線形伸縮を用いない場合と，本発明による線形伸縮を用いた場合とを比較すると，平均探索長が短くて済み，検索精度が２５％から２倍程度向上するという効果があることがわかった。したがって，本発明による線形伸縮に対応する方式は，歌声の検索において有効であると言える。
【００７１】
〔Ｅ〕第２の実験
非線形伸縮に対応できる従来方法として，メディアドライブ株式会社の「CrossMediator for Video V2.0(R1)」のボイス検索機能を用いて，従来方法と本発明による方法の平均探索長の平均を比較する。また，単純なマッチングにより，検索時間を削減できているかも確認する。
【００７２】
検索時間は，表示部上の検索を開始するためのボタンを押した後から検索結果が表示されるまでの時間を手動で１０回計測し，その平均値を検索時間とする。なお，今回実験に使用したのは，ＣＰＵが米国Ｉｎｔｅｌ社のＰｅｎｔｉｕｍ４（１．７ＧＨｚ），主記憶容量が６５４，８１２ＫＢのパーソナルコンピュータである。
【００７３】
〔Ｆ〕第２の実験の結果
第２の実験による平均探索長の平均を比較した結果を図１５に示す。図中の×は，適合結果を検索できなかったことを表している。図１５から，歌Ｃ，Ｇでは，本発明による方法の結果が若干下回っているものの，その他すべての結果では同等以上の結果が得られている。非線形マッチングを使わない本発明による方法では，従来方法と同等以上に検索できていることがわかる。
【００７４】
次に，検索キーとして図１５中の歌Ｂを用い，１回検索を繰り返し，その平均を検索時間として比較を行った。従来方法では，４．２９秒かかっていたところが，本発明による方法では２．４２秒ほど速くなり，単純なマッチングによる検索時間の短縮が確認された。すなわち，従来の非線形伸縮を用いる方法と，本発明の線形伸縮を用いる方法とを比較すると，本発明による方法の場合，検索精度は遜色がない一方，処理速度（ＣＰＵ負担）は５６％程度向上することがわかった。
【００７５】
以上の本発明の有効性については，実施の形態１，４についても基本的に同様であることは明らかである。
【００７６】
以上説明した各実施の形態の処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムは，コンピュータが読み取り可能な可搬媒体メモリ，半導体メモリ，ハードディスク等の適当な記録媒体に格納して，そこから読み出すことによりコンピュータに実行させることができる。また，そのプログラムは通信回線を経由して他のコンピュータからダウンロードすることができ，それをインストールして実行させることもできる。
【００７７】
【発明の効果】
従来の検索キーの音声信号を用いて検索対象の音声信号の中から類似度の高い音声信号区間を検索する方法では，類似度を表す距離計算に音声信号の非線形伸縮に対応できる動的マッチングを用いていたが，本発明は，音声信号が主に線形伸縮しかしないような場合に，類似度を表す距離計算に線形伸縮だけに対応する静的マッチングを用いることで動的マッチングを距離計算に用いる場合に比べて計算量を削減し，検索時間を少なくするという効果を有する。
【００７８】
また，本発明では，検索キーに検索結果として得られた音声信号区間を利用することができ，一度目の検索で検索対象の音声信号中の検索目的に適合する全ての音声信号区間が得られなくても，検索結果の音声信号区間の中から検索目的に適合する音声信号区間を検索キーとして選びなおすことで絞り込んだ検索を行うことができ，検索目的に適合する音声信号を得られる可能性が高くなるという効果を有する。
【図面の簡単な説明】
【図１】本発明の実施の形態１を説明するための構成図である。
【図２】音声蓄積フェーズと音声時系列特徴量ベクトル抽出フェーズの動作を説明するフローチャートである。
【図３】時間窓切り出し部の処理を説明する図である。
【図４】時間窓の切り出し方法の例を説明する図である。
【図５】部分音声時系列特徴量の線形伸縮方法を説明する図である。
【図６】音声検索フェーズと検索キー音声時系列特徴量ベクトル抽出フェーズの動作を説明するフローチャートである。
【図７】本発明の実施の形態２を説明するための構成図である。
【図８】音声蓄積フェーズと音声時系列特徴量ベクトル抽出フェーズの動作を説明するフローチャートである。
【図９】基準時間窓長の部分音声時系列特徴量を時間軸方向に線形圧縮する方法を説明する図である。
【図１０】音声検索フェーズと検索キー音声時系列特徴量ベクトル抽出フェーズの動作を説明するフローチャートである。
【図１１】本発明の実施の形態３を説明するための構成図である。
【図１２】本発明の実施の形態３を説明するための構成図である。
【図１３】音声検索フェーズの動作を説明するフローチャートである。
【図１４】第１の実験の結果を示す図である。
【図１５】第２の実験の結果を示す図である。
【符号の説明】
Ｐ１  音声蓄積フェーズ
Ｐ２  音声時系列特徴量ベクトル抽出フェーズ
Ｐ３  音声検索フェーズ
Ｐ４  検索キー音声時系列特徴量ベクトル抽出フェーズ
１０  音声信号検索装置
１１  音声時系列特徴量抽出部
１２  時間窓切り出し部
１３  部分音声時系列特徴量固定長化部
１４  音声蓄積部
１５  記憶装置
１６  特徴量情報比較部
１７  表示形式生成部
１８  検索キー音声時系列特徴量抽出部
２０  検索対象音声信号入力装置
２１  表示装置
２２  検索キー音声信号入力装置
２３  検索条件入力装置
３０  音声時系列特徴量線形圧縮部
３１  検索キー音声時系列特徴量線形圧縮部
４０  検索条件入力部
【図１】
0003798991.tif 000002
【図２】
0003798991.tif 000003
【図３】
0003798991.tif 000004
【図４】
0003798991.tif 000005
【図５】
0003798991.tif 000006
【図６】
0003798991.tif 000007
【図７】
0003798991.tif 000008
【図８】
0003798991.tif 000009
【図９】
0003798991.tif 000010
【図１０】
0003798991.tif 000011
【図１１】
0003798991.tif 000012
【図１２】
0003798991.tif 000013
【図１３】
0003798991.tif 000014
【図１４】
0003798991.tif 000015
【図１５】
0003798991.tif 000016