(57)【要約】【課題】映像，音声，音楽コンテンツの任意の音声区間を参照音声区間によって検索し，検索結果として両音声区間の心理的印象が類似するものを得られるようにする。【解決手段】音声を無声区間によって分割する（Ｓ１）。分割した音声区間の基本周波数または音声の強調度に関する韻律特徴を抽出する韻律特徴を抽出する（Ｓ２）。参照音声区間の韻律特徴と調査対象の一つ以上の音声区間の韻律特徴との距離を算出する（Ｓ３）。算出された距離により所定の値以上の類似度となる音声区間を推定する（Ｓ４）。【選択図】図１
2011069845.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータが音声区間を検索する音声検索方法において，
音声を無声区間によって複数の音声区間に分割する音声分割ステップと，
前記音声区間について分析フレーム単位に韻律特徴を抽出する韻律特徴抽出ステップと，
参照音声区間の前記韻律特徴抽出ステップにより抽出された韻律特徴と，あらかじめ調査対象音声の音声区間毎に韻律特徴を記憶する調査対象音声区間韻律特徴記憶部に記憶されている調査対象の一つ以上の音声区間の韻律特徴との距離を算出する距離計算ステップと，
前記算出された距離により所定の値以上の類似度となる音声区間を推定する音声区間推定ステップとを実行する
ことを特徴とする音声検索方法。
【請求項２】
請求項１記載の音声検索方法において，
前記韻律特徴抽出ステップでは，基本周波数または音声の強調度を韻律特徴として抽出する
ことを特徴とする音声検索方法。
【請求項３】
請求項１または請求項２記載の音声検索方法において，
前記韻律特徴抽出ステップは，基本周波数を加重平均，または点ピッチにより抽出する加重平均基本周波数抽出ステップと，前記基本周波数をセミトーン化するセミトーン化ステップとを有し，前記韻律特徴をセミトーン化基本周波数とする
ことを特徴とする音声検索方法。
【請求項４】
請求項１，請求項２または請求項３記載の音声検索方法において，
前記距離計算ステップでは，動的時間伸縮法に基づいて距離を算出する
ことを特徴とする音声検索方法。
【請求項５】
音声区間を検索する音声検索装置において，
音声を無声区間によって複数の音声区間に分割する音声分割部と，
前記音声区間について分析フレーム単位に韻律特徴を抽出する韻律特徴抽出部と，
あらかじめ調査対象音声の音声区間毎に韻律特徴を記憶する調査対象音声区間韻律特徴記憶部と，
参照音声区間の前記韻律特徴抽出部によって抽出された韻律特徴と前記調査対象音声区間韻律特徴記憶部に記憶されている調査対象の一つ以上の音声区間の韻律特徴との距離を算出する距離計算部と，
前記算出された距離により所定の値以上の類似度となる音声区間を推定する音声区間推定部とを備える
ことを特徴とする音声検索装置。
【請求項６】
請求項５記載の音声検索装置において，
前記韻律特徴抽出部は，基本周波数または音声の強調度を韻律特徴として抽出する
ことを特徴とする音声検索装置。
【請求項７】
請求項５または請求項６記載の音声検索装置において，
前記韻律特徴抽出部は，基本周波数を加重平均，または点ピッチにより抽出する加重平均基本周波数抽出部と，前記基本周波数をセミトーン化するセミトーン化部とを有し，前記韻律特徴をセミトーン化基本周波数とする
ことを特徴とする音声検索装置。
【請求項８】
請求項５，請求項６または請求項７記載の音声検索装置において，
前記距離計算部は，動的時間伸縮法に基づいて距離を算出する
ことを特徴とする音声検索装置。
【請求項９】
請求項１から請求項４までのいずれか１項に記載の音声検索方法を，コンピュータに実行させるための音声検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は，音声区間を検索する音声検索方法，装置，およびそのプログラムに関する。
【背景技術】
【０００２】
任意の音声区間と印象的に類似したシーンを検出できれば，ユーザのお好みのシーン検索に適用できるため，利便性が高い。例えば，非特許文献１では，基本周波数の時間履歴から類似シーンを検索する手法が示されており，公知の技術となっている。
【０００３】
また，音声の感性情報の取得としては，特許文献１において，音声の強調状態を抽出する手法が示されている。
【０００４】
また，非特許文献２に記載されている技術によれば，音声の笑い声に着目して，短時間化映像を生成する手法が示されている。
【０００５】
さらに，特許文献２には，映像／音声データベースの中からクエリと類似度の高いものを検索する際に，映像／音声データベースの映像／音声に対して，その感情，感情度を推定し，感情（語）または感情度をクエリとし，感情（語）または感情度の類似度が高いものを検索する技術が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３８０３３１１号公報
【特許文献２】特開２００８−２０４１９３号公報
【非特許文献】
【０００７】
【非特許文献１】斉藤勇，中嶌信弥，“感性情報検索インタフェースの試み−音声韻律情報によるコンテンツ検索”，2008年度画像電子学会第36回年次大会予稿集, R.3-5, 2008.
【非特許文献２】入江  豪，日高浩太，宮下直也，佐藤  隆，谷口行信，「個人撮影映像を対象とした映像速覧のための“笑い”シーン検出法」，映像情報メディア学会誌，vol.62, no.2, pp.227-233，2008．
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら，非特許文献１の手法は，基本周波数の時間履歴から検索するため，例えば，倍ピッチや半ピッチといった基本周波数抽出誤差の影響を無視できず，仮に平均化処理した際にもこれらの影響によって，所望の音声区間を検出することはできなかった。
【０００９】
また，特許文献１，非特許文献２の方法は，映像，音声，音楽の要約手法を示すものであって，検索に利用することを示したものではなかった。
【００１０】
特許文献２には，“楽しい”，“悲しい”などの感情のカテゴリ（感情語）や感情度をクエリとして，映像や音声を検索する発明について開示されている。この発明では，データベース中の映像や音声が誘発する感情語や感情度を推定する。ユーザは，見たいと思う映像や音声の感情語や感情度をクエリとして与えることで，近い印象の映像・音声を検索することができる。しかしながら，感情は，主観性が強く，カテゴリの境界もあいまいであることから，ユーザにとっては，必ずしも適当な感情語や感情度としてクエリを表現することができない場合があった。また，主観的影響の揺らぎを伴う，感情語や感情度で類似性を判断するため，必ずしもユーザが想定する検索結果を提示できないという課題があった。
【００１１】
本発明は，上記事情に着目してなされたもので，その目的とするところは，映像，音声，音楽コンテンツの任意の音声区間を参照音声区間によって検索し，検索結果として両音声区間の心理的印象が類似するものを得られるようにする技術を提供することにある。
【課題を解決するための手段】
【００１２】
上記目的を達成するために，本発明は，音声が視聴者に与える印象を示す特徴量として韻律特徴に着目して，各音声区間に対する韻律特徴の距離を算出することにより，人に与える印象が類似した音声区間を抽出するものであり，音声をクエリとして入力して韻律特徴を抽出し，韻律特徴が類似した映像／音声の音声区間を人に与える印象が類似した音声区間として判定することを特徴としている。音声をクエリとすることにより，ユーザが印象を言葉で表現する手間を省くことができる。また，音声をクエリとし，かつ，特徴量を用いて類似性判断を行うことにより，印象を言葉で表現することによる主観的ゆらぎが混入することを回避することができる。
【００１３】
すなわち，この発明は以下のような手段を備える。
【００１４】
・第１の手段は，映像から音声を抽出し，さらに音声区間に分割し，韻律特徴によって参照音声区間との距離を計算し，類似した音声区間を推定する。この第１の手段によれば，参照音声区間の心理的印象に類似した音声区間を検索することが可能となる。
【００１５】
・第２の手段は，韻律特徴として，基本周波数または音声の強調度を利用する。この第２の手段によれば，韻律特徴を基本周波数または強調度から求めることができる。
【００１６】
・第３の手段は，基本周波数をさらに加重平均基本周波数で算出し，セミトーン化して韻律特徴とする。この第３の手段によれば，基本周波数を倍ピッチ，半ピッチの影響を軽減して求めることができる。
【００１７】
・第４の手段は，動的時間伸縮法により両音声区間の距離を計算する。この第４の手段によれば，比較する２つ以上の音声区間の時間長が異なる場合でも，該音声区間の類似度を求めることができる。
【００１８】
また，特許文献２の有する課題を解決するために，本発明は，感情（語）ではなく音声信号を直接クエリとして利用し，特徴量レベルで類似性を判断する。さらに，類似性の判断も特徴量レベルで行う。
【発明の効果】
【００１９】
この発明によれば，参照音声区間の心理的印象に類似した音声区間を検索することが可能となる。また，音声信号を直接クエリとして利用するため，ユーザがクエリを表現できないようなケースを回避することができる。さらに，類似性の判断も特徴量レベルで行うため，主観性の揺らぎによる影響を受けにくく，検索結果に対するユーザの意図とのずれが生じにくい。
【図面の簡単な説明】
【００２０】
【図１】本発明による音声検索方法の一例を示す処理フローチャートである。
【図２】基本周波数の加重平均の例を説明する図である。
【図３】基本周波数をセミトーン化する例を説明する図である。
【図４】本発明による音声検索装置の構成例を示す図である。
【図５】コンテンツ記憶部と調査対象音声区間韻律特徴記憶部のデータ構成例を示す図である。
【図６】音声検索装置の利用例を示す図である。
【図７】自動検索の際のユーザ表示画面の例を示す図である。
【発明を実施するための形態】
【００２１】
以下に図面を参照してこの発明の実施例を説明する。
【００２２】
図１に，本発明の実施例による音声検索方法の処理フローを示す。ステップＳ１は，音声分割ステップであり，ここで入力音声を任意の音声区間に分割する。ステップＳ２は，韻律特徴抽出ステップであり，韻律特徴を抽出する。ステップＳ３は，距離計算ステップであり，前記音声区間の韻律特徴と所定の音声区間の韻律特徴との類似度を距離として求める。ステップＳ４は，音声区間推定ステップであり，ここで類似しているか否かを判定する。
【００２３】
まず，音声分割ステップＳ１では，音声の有声・無声判定により，入力音声を音声区間に分割する。例えば，基本周波数が抽出されないフレームを無声としてもよく，ＬＰＣ分析の予測残差の相関係数に閾値を設定して閾値以下は無声としてもよい。
【００２４】
韻律特徴抽出ステップＳ２では，基本周波数を波形処理，相関処理，スペクトル処理のいずれかで抽出する。通常，基本周波数のような韻律特徴は，数十ミリ秒という短い時間間隔（これを窓という）毎に抽出する。この窓が分析フレームであり，本ステップＳ２における韻律特徴抽出では，例えば１０ｍｓ（ミリ秒）毎や３０ｍｓ毎などの分析フレーム幅の間隔でもって抽出を行えばよい。上記ＬＰＣ分析手法，基本周波数抽出手法については，次の参考文献１に示されており，公知の技術であるので，ここでのさらに詳しい説明は省略する。
［参考文献１］古井貞煕著，ディジタル信号処理，東海大学出版，pp.57 〜59．
また，日本語の単語のアクセントは，拍（モーラ）ごとに１つの値を与えればよく，すなわち，この点ピッチにより韻律特徴としてもよい。または，簡単のため，例えば５０ｍｓの振幅による加重平均のＦ０を点ピッチとしてもよい。なお，５０ｍｓの振幅については限定されるものではなく，例えば１００ｍｓとしてもよい。
【００２５】
図２は，基本周波数の加重平均の例を説明する図である。図２に示すように，基本周波数（Ｆ０），振幅が，ともに１０ｍｓ間隔で抽出されているとする。そうすると，５０ｍｓの間には，５組の基本周波数と振幅（Ｆ１，ｐ１）〜（Ｆ５，ｐ５）が得られることになる。通常の基本周波数の平均では，“（Ｆ１＋Ｆ２＋Ｆ３＋Ｆ４＋Ｆ５）／５”が平均値であるが，振幅による加重平均の場合には，“（α１×Ｆ１＋α２×Ｆ２＋α３×Ｆ３＋α４×Ｆ４＋α５×Ｆ５）／５”が基本周波数の加重平均となる。ここで，αｉは，ｐｉを０〜１の値をとるように正規化した値である。
【００２６】
さらに，以上のようにして求めた基本周波数をセミトーン化して韻律特徴としてもよい。図３は，基本周波数をセミトーン化する例を説明する図である。
【００２７】
セミトーン化とは，基本周波数から音階（セミトーン）Ｃ，Ｃ＃，…，Ｂへと変換する処理である。倍ピッチ（本来の基本周波数の２倍の周波数が抽出されてしまうケース）や半ピッチ（本来の半分の周波数が抽出されてしまうケース）が与える不具合を解消する目的でセミトーン化を導入する。１オクターブは基本周波数にして丁度，倍であり，倍ピッチや半ピッチは同じ音階に分類されるため，セミトーン化によって上記の不具合による影響を回避することができる。
【００２８】
具体的なセミトーン化の処理の一例としては，例えば図３に示すセミトーン・基本周波数対応テーブルをあらかじめ記憶装置に用意しておく。基本周波数を抽出したならば，図３に示すセミトーン・基本周波数対応テーブルを参照して，抽出した基本周波数をセミトーンに変換する。この場合，例えば自乗距離として最も小さいセミトーンに分類するものとしてよい。通常，人間の音声の基本周波数は，７５ＨＺ〜４５０Ｈｚ程度と言われているので，図３のテーブルにおける基本周波数よりも低い場合や高い場合には，テーブルに設定されている基本周波数をオクターブの原則に則って，２倍もしくは半分にしたものとの距離を測り，該当するセミトーンを選択すればよい。
【００２９】
また，強調度を音声の強調確率と平静確率によって求め，これを韻律特徴としてもよい。具体的には，音声小段落ごとの強調確率Ｐｓ（ｅ）と平静確率Ｐｓ（ｎ）の確率比をＰｓ（ｅ）／Ｐｓ（ｎ）とすればよい。前記強調確率，平静確率については，特許文献１に記載の方法により求めればよい。
【００３０】
距離計算ステップＳ３では，２つ以上の音声区間を比較する際，各々の区間の時間長が異なるために比較が簡単ではない。そこで，動的時間伸縮法により距離を求める。動的時間伸縮法については，前述した参考文献１（古井貞煕著，ディジタル信号処理，東海大学出版，pp.162〜164 ）に示されている。
【００３１】
音声区間推定ステップＳ４では，前記距離をｄとして求めたものが最小となる音声区間を出力すればよい。なお，本発明においては，入力する音声区間を参照音声区間，検索対象となる音声区間を調査対象の音声区間と呼ぶこととする。上記処理では，１つ以上の調査対象の音声区間の韻律特徴が記憶されている記憶部から韻律特徴を読み出し，韻律特徴抽出ステップＳ２で求めた参照音声区間の韻律特徴との距離を，距離計算ステップＳ３で求める。音声区間推定ステップＳ４により最も距離の近い，すなわち類似度の大きい音声区間が出力されることになる。
【００３２】
本発明によれば，韻律特徴が類似している２つ以上の音声区間は，心理的印象の尺度においても近似している効果がある。例えば，映画やテレビ放送番組の任意の区間に興味を持ったユーザが，前記区間と類似した区間を検索することが可能となる。
【００３３】
図４は，以上の処理を実行する音声検索装置の構成例を示す図である。図４に示すように，音声検索装置１０は，中央処理ユニット（ＣＰＵ： Central Processing Unit）１１を備える。このＣＰＵ１１には，バス１２を介してプログラムメモリ１３，データメモリ１４，通信インタフェース（通信Ｉ／Ｆ）１５がそれぞれ接続されている。
【００３４】
プログラムメモリ１３には，音声分割部１３ａ，韻律特徴抽出部１３ｂ，距離計算部１３ｃ，音声区間推定部１３ｄを実現するプログラムが記憶される。データメモリ１４には，コンテンツ記憶部１４ａと調査対象音声区間韻律特徴記憶部１４ｂが設けられている。音声分割部１３ａ，韻律特徴抽出部１３ｂ，距離計算部１３ｃ，音声区間推定部１３ｄは，それぞれ，図１の音声分割ステップＳ１，韻律特徴抽出ステップＳ２，距離計算ステップＳ３，音声区間推定ステップＳ４の処理機能に対応している。
【００３５】
図４に示す音声検索装置１０は，大量のコンテンツ（映像・音・音楽）の中から，ユーザが問い合わせとして入力したコンテンツに，韻律特徴の観点で近いものを検索する。コンテンツ記憶部１４ａは，いわゆるコンテンツデータベースであって，これには大量のコンテンツが格納されている。また，調査対象音声区間韻律特徴記憶部１４ｂには，コンテンツの音声区間毎に，韻律特徴の時刻歴が記憶されている。
【００３６】
図５は，図４に示すコンテンツ記憶部１４ａと調査対象音声区間韻律特徴記憶部１４ｂに記憶されるデータの構成例を示す。
【００３７】
図５に示すａ２０１は，コンテンツ記憶部１４ａのコンテンツテーブルである。ここには，コンテンツそのもの（ファイル）の存在場所を示すファイルパスと，これらを一意に識別するコンテンツＩＤとが対応づけて格納されている。
【００３８】
ａ２０２は，コンテンツ記憶部１４ａのコンテンツＩＤ＝０００１の音声区間テーブルである。この例では，音声区間テーブルは，コンテンツＩＤ毎に用意している。１つのコンテンツは，複数の音声区間を持っているので，これらを一意に識別する音声区間ＩＤと，その区間の音声ファイルの存在場所を示すファイルパス，および，その各音声区間が存在するコンテンツ中の時刻位置（開始，終了時刻）が，音声区間テーブルａ２０２中に対応づけて格納されている。
【００３９】
ａ２０３は，調査対象音声区間韻律特徴記憶部１４ｂに記憶されている韻律特徴のデータの例であり，コンテンツＩＤ＝０００１，音声区間ＩＤ＝ｓ０００１の韻律特徴を示している。図１の韻律特徴抽出ステップＳ２で説明したように，韻律特徴は，例えば５０ｍｓ単位で抽出されるので，１つの音声区間に対して，５０ｍｓ毎に複数の韻律特徴が抽出されることになる。そこで，図５のａ２０３のように，音声区間ＩＤ＝ｓ０００１に対して，５０ｍｓ毎に韻律特徴として基本周波数が格納される。
【００４０】
これらの各テーブルデータは，リレーショナルデータベースのように相互参照可能であるので，ａ２０３の韻律特徴で音声区間の類似性を判別した後，この区間がどのコンテンツ（ＩＤ）のどの音声区間（ＩＤ）のものであるかを引き出すことができる。
【００４１】
ユーザがシーンに興味を持ち，類似シーンを検索する場合について述べる。図４の音声分割部１３ａは，メディアが映像の場合には音声を抽出した後，音声分割ステップＳ１と同様の処理を施す。ここで，音楽の場合であっても音声と同様の処理が施されるため，本発明において音声という場合，音楽など楽音全般を含むものとする。
【００４２】
指定されたシーンは，コンテンツ記憶部１４ａに記憶され，音声分割部１３ａで分割された音声情報ならびに音声区間の韻律特徴を，韻律特徴抽出部１３ｂにより抽出し，調査対象音声区間韻律特徴記憶部１４ｂの韻律特徴との距離を距離計算部１３ｃで求め，距離が最小となる音声区間を音声区間推定部１３ｄで同定する。そして，同音声区間と同期するシーンをコンテンツ記憶部１４ａから抽出してユーザに提示する。
【００４３】
例えば，図６に示すように，ユーザ端末２０のパーソナルコンピュータ（ＰＣ）から検索要求を，ネットワーク等を介して音声検索装置１０に行ってもよい。その場合，検索要求は，
・映像，音声などのメディア，
・映像，音声などのメディアの当該時刻情報，
でよい。
【００４４】
または，ユーザ端末が図４に示す音声検索装置１０の場合，ネットワークは必要としない構成としてもよい。
【００４５】
類似シーン検索は，ユーザの検索を待たずに自動的に行なってもよい。例えば，予め調査対象音声区間韻律特徴記憶部１４ｂに，調査対象音声区間の韻律特徴と感性状態を対応付けて保管しておく。その場合，例えば楽しい，幸せ，怒り，嫌悪，あきらめ，悲しみ，平静，驚きなどの感情と対応付けておけばよい。さらに，例えば楽しいレベルを付与しておけば，より楽しいシーンの韻律特徴から，当該シーンがより楽しいシーンであると自動推定することが可能となる。例えば，“かなり楽しい”シーンがユーザの表示端末に表示されている場合，別のシーンの“かなり楽しい”シーンを，図７のユーザ表示画面に示すように，自動挿入してもよい。ユーザは，挿入されたシーンに興味が誘発されれば，挿入シーンの視聴に切り替えるなどの対処を行なえばよい。このようにすることで，自動的に類似シーンがリコメンデーションされる装置が実現する。
【００４６】
なお，調査対象音声区間韻律特徴記憶部１４ｂに，調査対象音声区間の韻律特徴と感性状態を対応付けて保管する際には，必ずしもすべてのコンテンツの音声区間の一つ一つに対して，感性状態を対応づけておく必要はなく，少量の組の韻律特徴の時刻歴パターンと感性状態とを対応づけたモデル（テーブル）を，入力装置からの入力などにより人手で用意するだけでよい。このモデルの入力後は，このモデルを参照して残りの音声区間に感性状態を自動付与することができる。モデルとしては，例えば，ＨＭＭ（Hidden Markov Model ）などを用いることができる。
【００４７】
以上の処理によって，韻律特徴の時刻歴パターンと感性状態を対応づけたモデルができたとすると，あとは，
（１）ユーザが視聴しているコンテンツの音声区間の韻律特徴を抽出し，
（２）モデルを用いることによって，抽出した韻律特徴の感性状態を取得し，
（３）得られた感性状態に対応するコンテンツをコンテンツ記憶部１４ａから検索する，という処理を経ることで，図７に示したような利用が実現できることになる。
【００４８】
以上の音声検索の処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【符号の説明】
【００４９】
１０  音声検索装置
１１  中央処理ユニット（ＣＰＵ）
１２  バス
１３  プログラムメモリ
１３ａ  音声分割部
１３ｂ  韻律特徴抽出部
１３ｃ  距離計算部
１３ｄ  音声区間推定部
１４    データメモリ
１４ａ  コンテンツ記憶部
１４ｂ  調査対象音声区間韻律特徴記憶部
１５    通信インタフェース
【図１】
2011069845.tif 000003
【図２】
2011069845.tif 000004
【図３】
2011069845.tif 000005
【図４】
2011069845.tif 000006
【図５】
2011069845.tif 000007
【図６】
2011069845.tif 000008
【図７】
2011069845.tif 000009