(57)【特許請求の範囲】
【請求項１】
音声信号の単位区間の特徴を表現する区間特徴を単位区間毎に生成する特徴生成手段と、
前記音声信号の単位区間毎に、当該単位区間を基点区間として、前記基点区間近傍の複数の単位区間の前記区間特徴を用いて、前記音声信号の特徴の前記基点区間における時間変化を定量化した特徴変化値を算出する変化値計算手段と、
前記特徴変化値としきい値との比較結果に応じて、前記基点区間が前記音声信号の特徴の変化点を含む特徴単位区間であるか否かについて判定する区間判定手段と
を備えることを特徴とする音声処理装置。
【請求項２】
前記変化値計算手段は、前記基点区間の前記区間特徴と、前記基点区間近傍かつ前記基点区間ではない単位区間の前記区間特徴との類似度を用いて前記特徴変化値を算出する
ことを特徴とする請求項１記載の音声処理装置。
【請求項３】
前記しきい値を第１しきい値とし、
前記変化値計算手段は、前記基点区間の前記区間特徴と前記基点区間に続く単位区間の前記区間特徴との類似度を用いて前記特徴変化値を計算し、
前記区間判定手段は、前記基点区間の特徴変化値と前記第１しきい値との比較結果に応じて、前記基点区間が特徴単位区間候補であるか否かについて判定し、更に、前記特徴単位区間候補における前記特徴変化値の変化速度と、第２しきい値との比較結果に応じて、前記特徴単位区間候補が前記特徴単位区間であるか否かについて判定する
ことを特徴とする請求項２記載の音声処理装置。
【請求項４】
前記区間特徴は、前記音声信号の単位区間の特徴を表現するベクトルの各成分の強弱を強調したベクトルである、
ことを特徴とする請求項１記載の音声処理装置。
【請求項５】
さらに、前記音声信号の単位区間それぞれを前記特徴単位区間と判定するための基準となる代表特徴をあらかじめ記憶している代表特徴記憶手段を備え、
前記区間判定手段は、
前記特徴変化値と前記しきい値との比較結果に応じて、前記基点区間が特徴単位区間候補であるか否かについて判定する候補判定手段を有し、
前記特徴単位区間候補近傍の単位区間の区間特徴と前記代表特徴とが類似する場合に、前記特徴単位区間候補を前記特徴単位区間と判定する
ことを特徴とする請求項１に記載の音声処理装置。
【請求項６】
前記区間判定手段は、前記特徴単位区間候補前の単位区間の区間特徴と前記代表特徴とが類似する場合、または、前記特徴単位区間候補後の単位区間の区間特徴と前記代表特徴とが類似する場合に、前記特徴単位区間候補を前記特徴単位区間と判定する
ことを特徴とする請求項５記載の音声処理装置。
【請求項７】
さらに、前記音声信号の単位区間それぞれを前記特徴単位区間と判定するための基準となる外部情報を取得する取得手段を備え、
前記区間判定手段は、
前記特徴変化値と前記しきい値との比較結果に応じて、前記基点区間が特徴単位区間候補であるか否かについて判定する候補判定手段を有し、
前記外部情報に基づいて、前記特徴単位区間候補が前記特徴単位区間であるか否かについて判定する
ことを特徴とする請求項１に記載の音声処理装置。
【請求項８】
前記外部情報は、前記音声信号に対応するＡＶコンテンツにおいて、特定の人物の写る区間を判定可能な顔クラスタリング情報であり、
前記区間判定手段は、前記顔クラスタリング情報に基づいて前記特定の人物が写っていると判定される特徴単位区間候補を、前記特徴単位区間として判定する
ことを特徴とする請求項７に記載の音声処理装置。
【請求項９】
さらに、前記特徴単位区間の近傍の所定数の連続する単位区間からなる基準区間に含まれる単位区間それぞれの区間特徴を用いて、基準特徴を算出する基準特徴計算手段と、
前記特徴単位区間の近傍で、区間特徴が前記基準特徴と類似する複数の連続する単位区間からなる興味区間を抽出する興味区間抽出手段と
を備えることを特徴とする請求項１記載の音声処理装置。
【請求項１０】
前記基準区間は、前記特徴単位区間を含む所定数の連続する単位区間からなる区間であり、
前記興味区間抽出手段は、前記基準区間を含む前記興味区間を抽出する
ことを特徴とする請求項９記載の音声処理装置。
【請求項１１】
前記基準区間は、前記特徴単位区間の直前の所定数の連続する単位区間からなる第１基準区間、および、前記特徴単位区間の直後の所定数の連続する単位区間からなる第２基準区間であり、
前記基準特徴計算手段は、前記第１基準区間から第１基準特徴を、前記第２基準区間から第２基準特徴を、前記基準特徴としてそれぞれ算出し、
前記興味区間抽出手段は、前記第１基準区間を含み区間特徴が前記第１基準特徴と類似する単位区間からなる第１興味区間と、前記第２基準区間を含み区間特徴が前記第２基準特徴と類似する単位区間からなる第２興味区間とをそれぞれ算出し、前記興味区間として前記第１興味区間の始点から前記第２興味区間の終点までの区間を抽出する
ことを特徴とする請求項９記載の音声処理装置。
【請求項１２】
前記基準区間は、前記特徴単位区間の直前の所定数の連続する単位区間からなる第１基準区間、および、前記特徴単位区間の直後の所定数の連続する単位区間からなる第２基準区間であり、
前記基準特徴計算手段は、前記第１基準区間から第１基準特徴を、前記第２基準区間から第２基準特徴を、前記基準特徴としてそれぞれ算出し、
前記興味区間抽出手段は、前記興味区間として、前記第１基準区間を含み区間特徴が前記第１基準特徴と類似する単位区間からなる第１興味区間と、前記第２基準区間を含み区間特徴が前記第２基準特徴と類似する単位区間からなる区間を第２興味区間とを、それぞれ抽出する
ことを特徴とする請求項９記載の音声処理装置。
【請求項１３】
前記単位区間を第２単位区間とし、前記第２単位区間は、複数の連続する第１単位区間からなり、
さらに、複数種類のサウンド素片それぞれの特徴を表現する確率モデルをあらかじめ記憶しているモデル記憶手段と、
前記確率モデルを用いて、前記音声信号の前記サウンド素片それぞれに対する尤度を成分とする尤度ベクトルを、前記第１単位区間毎に生成する尤度ベクトル生成手段とを備え、
前記区間特徴は、前記第２単位区間に含まれる複数の第１単位区間の尤度ベクトルを用いて生成され、前記サウンド素片それぞれの出現頻度を示す頻度ベクトルである
ことを特徴とする請求項１記載の音声処理装置。
【請求項１４】
さらに、音声信号の前記第１単位区間における周波数特性を示す特徴量ベクトルを算出する特徴量ベクトル生成手段を備え、
前記尤度ベクトル生成手段は、前記特徴量ベクトルおよび前記確率モデルを用いて前記尤度ベクトルを生成する
ことを特徴とする請求項１３記載の音声処理装置。
【請求項１５】
さらに、前記特徴単位区間内の点であって、当該特徴単位区間の特徴変化値の算出に用いられた区間特徴を生成した単位区間のうち当該特徴単位区間より前の単位区間の数と当該特徴単位区間より後の単位区間の数との割合と、当該特徴単位区間の終点からの時間と始点からの時間との割合とが一致する点を特徴点として抽出する特徴点抽出手段を備える
ことを特徴とする請求項１記載の音声処理装置。
【請求項１６】
音声信号の単位区間の特徴を表現する区間特徴を単位区間毎に生成する特徴生成ステップと、
前記音声信号の単位区間毎に、当該単位区間を基点区間として、前記基点区間近傍の複数の単位区間の前記区間特徴を用いて、前記音声信号の特徴の前記基点区間における時間変化を定量化した特徴変化値を算出する変化値計算ステップと、
前記特徴変化値としきい値との比較結果に応じて、前記基点区間が前記音声信号の特徴の変化点を含む特徴単位区間であるか否かについて判定する区間判定ステップと
を含むことを特徴とする音声処理方法。
【請求項１７】
コンピュータ読取可能な非一時的記録媒体に記録され、コンピュータに音声処理を実行させるためのプログラムであって、
前記音声処理は、
音声信号の単位区間の特徴を表現する区間特徴を単位区間毎に生成する特徴生成ステップと、
前記音声信号の単位区間毎に、当該単位区間を基点区間として、前記基点区間近傍の複数の単位区間の前記区間特徴を用いて、前記音声信号の特徴の前記基点区間における時間変化を定量化した特徴変化値を算出する変化値計算ステップと、
前記特徴変化値としきい値との比較結果に応じて、前記基点区間が前記音声信号の特徴の変化点を含む特徴単位区間であるか否かについて判定する区間判定ステップと
を含むことを特徴とするプログラム。
【請求項１８】
音声信号の単位区間の特徴を表現する区間特徴を単位区間毎に生成する特徴生成部と、
前記音声信号の単位区間毎に、当該単位区間を基点区間として、前記基点区間近傍の複数の単位区間の前記区間特徴を用いて、前記音声信号の特徴の前記基点区間における時間変化を定量化した特徴変化値を算出する変化値計算部と、
前記特徴変化値としきい値との比較結果に応じて、前記基点区間が前記音声信号の特徴の変化点を含む特徴単位区間であるか否かについて判定する区間判定部と
を備えることを特徴とする集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号から特徴的な区間を検出する技術に関する。
【背景技術】
【０００２】
デジタルカメラ等の動画撮影機器において、ユーザが撮影したＡＶコンテンツから不要な区間を取り除いて興味がある区間（以下、興味区間と称す。）だけを抽出することができる機能が求められている。【０００３】
そこで、従来、ＡＶコンテンツのオーディオ信号から人間の音声帯域の周波数を検出して、音声が一定時間以上継続する区間を興味区間として抽出する装置が提案されている（特許文献１参照）。この装置であれば、オーディオ信号を周波数分析し、継続時間を監視するという比較的簡易な方法で、興味区間を抽出することが出来る。【０００４】
また、オーディオ信号を「拍手」、「喝采」等に判別するための確率モデルを用いて、オーディオ信号を単位区間毎に判別し、同一の判別対象となる単位区間が一定数以上継続する区間を興味区間として抽出する方法が提案されている（特許文献２参照）。【０００５】
上記特許文献１および特許文献２に記載された方法では、音声特徴（オーディオ信号における周波数などの特徴）の継続性を評価することにより、興味区間を検出している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−００４９７３号公報
【特許文献２】特開２００４−２５８６５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、ユーザの所望する興味区間には、突発的な音（例えば、徒競走のスタートにおけるピストル音など）を含む区間がある。このような興味区間は、特定の音声特徴が継続して出現しているとは限らないため、従来の音声特徴の継続性を評価する方法では検出できない可能性がある。【０００８】
本発明は、上記課題を鑑みてなされたものであり、オーディオ信号から、突発的な音を含む特徴的な区間を、音声特徴の継続性に依らず検出する音声処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために本発明に係る音声処理装置は、音声信号の単位区間の特徴を表現する区間特徴を単位区間毎に生成する特徴生成手段と、前記音声信号の単位区間毎に、当該単位区間を基点区間として、前記基点区間近傍の複数の単位区間の前記区間特徴を用いて、前記音声信号の特徴の前記基点区間における時間変化を定量化した特徴変化値を算出する変化値計算手段と、前記特徴変化値としきい値との比較結果に応じて、前記基点区間が前記音声信号の特徴の変化点を含む特徴単位区間であるか否かについて判定する区間判定手段とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明に係る音声処理装置によれば、単位区間毎にオーディオ信号の特徴の時間変化を定量化し、定量化した値としきい値とを比較することにより、単位区間が特徴的な単位区間（特徴単位区間）であるか否かを判定する。つまり、本発明に係る音声処理装置は、音声特徴の時間変化を評価することにより、音声特徴の継続性に依らずにオーディオ信号から特徴的な区間を検出することができる。
【図面の簡単な説明】
【００１１】
【図１】音声処理装置の特徴単位区間検出および興味区間抽出の概要を示す図
【図２】特徴量ベクトルの算出方法を示す図
【図３】特徴量ベクトルの一例を示す図
【図４】アンカーモデルの一例を示す図
【図５】２つの第１単位区間における尤度ベクトルの例を示す図
【図６】第１単位区間と第２単位区間との関係を示す図
【図７】頻度ベクトルの一例を示す図
【図８】音声処理装置を備える映像編集装置の機能構成例を示すブロック図
【図９】音声処理装置の機能構成例を示すブロック図
【図１０】特徴単位区間検出部の機能構成例を示すブロック図
【図１１】特徴変化値の算出に用いる時間窓の一例を示す図
【図１２】特徴単位区間候補の一例を示す図
【図１３】基準ベクトルの算出に用いる基準区間の一例を示す図
【図１４】基準ベクトル、頻度ベクトルおよびしきい値をベクトル空間の概念を用いて示した図
【図１５】アクション転換区間における基準区間の一例を示す図
【図１６】興味区間の時間軸逆方向の区間伸張処理を示す図
【図１７】アンカーモデル作成装置の機能構成例を示すブロック図
【図１８】初期代表ドミナントベクトル作成装置の機能構成例を示すブロック図
【図１９】特徴単位区間検出処理を示すフローチャート
【図２０】区間伸張基準指標計算処理を示すフローチャート
【図２１】興味区間抽出処理を示すフローチャート
【図２２】映像編集システムの構成例を示すブロック図
【図２３】映像編集システムにおけるクライアントの構成例を示すブロック図
【図２４】映像編集システムにおけるサーバの構成例を示すブロック図
【発明を実施するための形態】
【００１２】
＜実施の形態＞
＜１．概要＞
動画ファイルにおいて抽出すべき興味区間として、被写体の突発的なアクションが起こる突発アクション区間や被写体が比較的時間の長いアクションを開始・終了するなどのアクション転換区間を含む区間が挙げられる。そして、周波数特性などのオーディオ信号の特徴は、上記突発アクションやアクション転換などの特徴点において急激に変化するという性質を持つ。
【００１３】
従って、オーディオ信号においては、周波数特性などのオーディオ信号の特徴が、突発的にごく短い時間だけ他と異なる区間（突発アクション区間）、または、ある区間を境界としてオーディオ信号の特徴が変化する区間（アクション転換区間）を特徴単位区間として検出することが要求される。
【００１４】
本実施の形態に係る音声処理装置は、まず、動画ファイルに含まれるオーディオ信号を所定時間長の単位区間に分割し、分割した単位区間それぞれにおけるオーディオ信号の特徴を表現する特徴量を算出する。次に、音声処理装置は、算出した特徴量の時間変化に基づいて上記突発アクション区間やアクション転換区間を特徴単位区間として自動的に検出する。そして、音声処理装置は、検出した特徴単位区間前後で、上記特徴量の類似する区間を興味区間として抽出する。
【００１５】
例えば、動画ファイルが、運動会のシーンを撮影したもので、オーディオ信号は、図１に示す波形で表現されたとする。そして、ユーザが、この動画ファイルの中から徒競走のスタート時刻前後の所定の長さの時間内のシーンを切り出す編集をしたいとする。本実施の形態に係る音声処理装置は、徒競走のスタート時刻に発生するピストル音のようにオーディオ信号の特徴が変化する区間を特徴単位区間として自動で検出する。そして、音声処理装置は、特徴単位区間前後で、オーディオ信号の特徴が類似する区間を興味区間として抽出する。
＜２．データ＞
本実施の形態に係る音声処理装置で使用するデータについて説明する。
＜２−１．動画ファイル＞
動画ファイルは、オーディオ信号Ｘ（ｔ）と複数の画像データとから構成される。オーディオ信号Ｘ（ｔ）は、振幅値の時系列データであり、図２（ａ）に示すような波形で表現することができる。
＜２−２．特徴量ベクトル＞
特徴量ベクトルＭは、オーディオ信号Ｘ（ｔ）の特徴を表現するものであり、本実施の形態では、第１単位区間毎に分割されたオーディオ信号のメル周波数ケプストラム係数ＭＦＣＣ（Mel-Frequency Cepstrum Coefficients）を用いる。ここで、第１単位区間は、オーディオ信号Ｘ（ｔ）の時間軸における所定の長さ（例えば、１０ｍｓｅｃ）の区間であり、図２（ａ）における時刻ＴnからＴn+1までの区間である。
【００１６】
この特徴量ベクトルＭは、第１単位区間毎に算出される。従って、図３に示すように、時刻０ｓｅｃから時刻１ｓｅｃまでの間のオーディオ信号から１００個の特徴量ベクトルＭが生成されることになる。
＜２−３．アンカーモデル＞
アンカーモデルＡr（ｒ＝１，２，…，Ｋ）は、複数種類のサウンド素片となる音声データから生成される特徴量ベクトルを用いて作成される確率モデルである。本実施の形態では、混合正規分布モデル（GMM, Gaussian Mixture Model）を採用し、各アンカーモデルＡrは、正規分布を規定するパラメータで構成される。
【００１７】
図４に示すように、アンカーモデルは、複数種類（本実施の形態では１０２４種類）のサウンド素片毎に作成される。特徴量出現確率関数ｂArは、各アンカーモデルＡrが規定する正規分布の確率密度関数であり、特徴量ベクトルＭを引数としてオーディオ信号Ｘ（ｔ）のサウンド素片それぞれに対する尤度Ｌr＝ｂAr（Ｍ）を算出する。
＜２−４．尤度ベクトル＞
尤度ベクトルＦは、上記アンカーモデルＡrに基づいて算出されるオーディオ信号Ｘ（ｔ）の複数種類のサウンド素片それぞれに対する尤度Ｌrを成分とするベクトルである。
【００１８】
図５は、２つの第１単位区間における尤度ベクトルＦを示す図である。図５（ａ）は時刻０からｎ番目の第１単位区間（時刻（１０×ｎ）ｍｓｅｃから時刻（１０×（ｎ＋１））ｍｓｅｃの間の区間）に対応する尤度ベクトルＦｎを示し、図５（ｂ）は時刻０からｍ番目の第１単位区間（時刻（１０×ｍ）ｍｓｅｃから時刻（１０×（ｍ＋１））ｍｓｅｃの間の区間）に対応する尤度ベクトルＦｍを示している（ｎ＜ｍ）。
＜２−５．頻度ベクトル＞
頻度ベクトルＮＦは、オーディオ信号の第２単位区間毎の特徴を表現するベクトルであり、特に、オーディオ信号の第２単位区間に係る各サウンド素片の出現頻度を表現するベクトルである。ここで、第２単位区間は、オーディオ信号Ｘ（ｔ）の時間軸における所定の長さ（例えば、１ｓｅｃ）の区間であり、図６に示すように、複数個の連続する第１単位区間の長さに相当する。
【００１９】
頻度ベクトルＮＦは、具体的には、第２単位区間に含まれる尤度ベクトルＦの正規化累積尤度、つまり、第２単位区間に含まれる尤度ベクトルＦの各成分の累積値を正規化したものである。なお、ここで正規化とは、頻度ベクトルＮＦのノルムを１にすることである。図７は、頻度ベクトルＮＦの一例を示す模式図である。
＜２−６．ドミナントベクトル＞
ドミナントベクトルＤは、頻度ベクトルＮＦの各成分の大小を強調して、各頻度ベクトルＮＦの差異を判別しやすくしたベクトルである。本実施の形態では、ドミナントベクトルＤとして、全第２単位区間の頻度ベクトルにおける成分毎の平均値を算出し、各頻度ベクトルについて、平均値よりも大きい成分はそのまま、平均値よりも小さい成分を０としたベクトルを用いる。
＜３．構成＞
以下、本実施の形態に係る音声処理装置１０４を備える映像編集装置１００の機能構成について説明する。
＜３−１．全体構成＞
図８は、映像編集装置１００の機能構成例を示すブロック図である。図８に示すように、映像編集装置１００は、入力装置１０１、コンテンツ記憶装置１０２、音声抽出装置１０３、音声処理装置１０４、興味区間記憶装置１０５、出力装置１０６、アンカーモデル作成装置１０７、初期代表ドミナントベクトル作成装置１０８、音声データ蓄積装置１０９およびインターフェース装置１１０を備える。
＜３−１−１．入力装置１０１＞
入力装置１０１は、ディスクドライブ装置などで構成され、記録媒体１２０が装着されると、記録媒体１２０から動画ファイルを読み込んで、取得した動画ファイルをコンテンツ記憶装置１０２に格納する。なお、記録媒体１２０は、各種データを記憶する機能を有する媒体であり、例えば、光ディスクや、フレキシブルディスク、ＳＤカード、フラッシュメモリなどである。
＜３−１−２．コンテンツ記憶装置１０２＞
コンテンツ記憶装置１０２は、ハードディスク装置などで構成され、入力装置１０１が記録媒体１２０から取得した動画ファイルを格納している。動画ファイルは、動画ファイルそれぞれに固有のＩＤが付されて格納される。
＜３−１−３．音声抽出装置１０３＞
音声抽出装置１０３は、コンテンツ記憶装置１０２に格納されている動画ファイルからオーディオ信号を抽出し、抽出したオーディオ信号を音声処理装置１０４に入力する。なお、音声抽出装置１０３は、符号化されているオーディオ信号に対して復号化処理を行って、図２（ａ）に示すようなオーディオ信号Ｘ（ｔ）を生成する。
＜３−１−４．音声処理装置１０４＞
音声処理装置１０４は、音声抽出装置１０３から入力されるオーディオ信号Ｘ（ｔ）に基づいて特徴単位区間の検出および興味区間の抽出を行い、抽出した興味区間を示す興味区間データを興味区間記憶装置１０５に格納する。音声処理装置１０４の機能構成の詳細については後述する。
＜３−１−５．興味区間記憶装置１０５＞
興味区間記憶装置１０５は、ハードディスク装置などから構成され、音声処理装置１０４から入力される興味区間データを記憶する。興味区間データは、動画ファイルのＩＤおよび動画ファイルにおける時刻（興味区間の始点および興味区間の終点）からなる。
＜３−１−６．出力装置１０６＞
出力装置１０６は、興味区間記憶装置１０５から興味区間データを取得し、取得した興味区間データに対応する映像データ（コンテンツ記憶装置１０２に格納されている動画ファイルの一部）を表示装置１３０に出力する。また、出力装置１０６は、各興味区間データの動画ファイルにおける時刻が早い順に、映像データをつなぎ合わせたダイジェスト映像を表示装置１３０に出力する機能も有する。
＜３−１−７．アンカーモデル作成装置１０７＞
アンカーモデル作成装置１０７は、音声データ蓄積装置１０９に記憶されているオーディオ信号に基づいてアンカーモデルＡrを作成し、作成したアンカーモデルＡrを音声処理装置１０４に出力する。アンカーモデル作成装置１０７の機能構成の詳細については後述する。
【００２０】
なお、アンカーモデル作成装置１０７がアンカーモデルＡrを作成するときに用いられるオーディオ信号は、興味区間を抽出する対象となる動画ファイルとは別の複数の動画ファイルから、予め抽出して得られたオーディオ信号である。
＜３−１−８．初期代表ドミナントベクトル作成装置１０８＞
初期代表ドミナントベクトル作成装置１０８は、音声データ蓄積装置１０９に記憶されているオーディオ信号に基づいて初期代表ドミナントベクトルＤＤを作成し、作成した初期代表ドミナントベクトルＤＤを、音声処理装置１０４に出力する。初期代表ドミナントベクトル作成装置１０８の機能構成の詳細については後述する。
【００２１】
なお、初期代表ドミナントベクトル作成装置１０８が初期代表ドミナントベクトルＤＤを作成するときに用いられるオーディオ信号は、予め人手により代表的なアクション毎に分類されたオーディオ信号である。つまり、代表ドミナントベクトルＤＤは、特徴単位区間を検出する際に基準となる代表的なアクションの特徴を表現するドミナントベクトルである。
＜３−１−９．音声データ蓄積装置１０９＞
音声データ蓄積装置１０９は、アンカーモデル作成装置１０７がアンカーモデルＡrを作成するとき、および、初期代表ドミナントベクトル作成装置１０８が初期代表ドミナントベクトルＤＤを作成するとき、に用いられる音声データをあらかじめ記憶している。
＜３−１−１０．インターフェース装置１１０＞
インターフェース装置１１０は、キーボードなどの操作部（図示せず）を備え、ユーザからの入力操作を受け付けて、音声処理装置１０４およびアンカーモデル作成装置１０７に通知する。例えば、インターフェース装置１１０は、抽出した興味区間に対するユーザの評価を示すユーザフィードバック情報や抽出する興味区間の長さの上限ｌｅを音声処理装置１０４に通知し、作成すべきアンカーモデルの個数Ｋをアンカーモデル作成装置１０７に通知する。
【００２２】
なお、上記ユーザの評価は、ユーザが明示的に興味区間の良し悪しを入力してもよいし、抽出した興味区間に対応する映像をユーザが視聴したかスキップしたかによって判断してもよい。
＜３−２．音声処理装置１０４＞
音声処理装置１０４は、メモリ（図示せず）およびプロセッサ（図示せず）から構成され、プロセッサがメモリに書き込まれたプログラムを実行することにより、図９に示す構成を実現している。
【００２３】
図９は、音声処理装置１０４の機能構成例を示すブロック図である。図９に示すように、音声処理装置１０４は、特徴量ベクトル生成部２０１、尤度ベクトル生成部２０２、尤度ベクトルバッファ２０３、頻度ベクトル生成部２０４、頻度ベクトルバッファ２０５、特徴単位区間検出部２０６、区間伸張基準指標計算部２０７、興味区間抽出部２０８、アンカーモデル蓄積部２０９およびユーザ情報取得部２１０を備える。以下、各構成について説明する。
＜３−２−１．特徴量ベクトル生成部２０１＞
特徴量ベクトル生成部２０１は、音声抽出装置１０３から入力されたオーディオ信号Ｘ（ｔ）に基づいて、第１単位区間毎に、特徴量ベクトルＭを生成する。
【００２４】
以下、オーディオ信号Ｘ（ｔ）から特徴量ベクトルＭを生成するまでの概要を述べる。
【００２５】
まず、特徴量ベクトル生成部２０１は、第１単位区間のオーディオ信号Ｘ（ｔ）のパワースペクトラムＳ（ω）を算出する（図２（ｂ）参照）。パワースペクトラムＳ（ω）は、オーディオ信号Ｘ（ｔ）を時間軸から周波数軸に変換し、各周波数成分を二乗したものである。
【００２６】
次に、特徴量ベクトル生成部２０１は、パワースペクトラムＳ（ω）の周波数軸をメル周波数軸に変換したメル周波数スペクトラムＳ（ωmel）を算出する（図２（ｃ）参照）。
【００２７】
最後に、特徴量ベクトル生成部２０１は、メル周波数スペクトラムＳ（ωmel）からメル周波数ケプストラムを算出し、所定数（本実施の形態では２６個）の成分を特徴量ベクトルＭとする。
＜３−２−２．アンカーモデル蓄積部２０９＞
アンカーモデル蓄積部２０９は、メモリの一部の領域により構成され、アンカーモデル作成装置１０７により作成されたアンカーモデルＡrを記憶している。本実施の形態では、アンカーモデル蓄積部２０９は、興味区間抽出処理の実行前に、あらかじめアンカーモデルＡrを記憶している。
＜３−２−３．尤度ベクトル生成部２０２＞
尤度ベクトル生成部２０２は、特徴量ベクトル生成部２０１により生成される特徴量ベクトルＭおよびアンカーモデル蓄積部２０９に蓄積されているアンカーモデルＡrを用いて、オーディオ信号Ｘ（ｔ）の、サウンド素片それぞれに対する尤度Ｌrを算出し、各尤度を成分とする尤度ベクトルＦを第１単位区間毎に生成する。
＜３−２−４．尤度ベクトルバッファ２０３＞
尤度ベクトルバッファ２０３は、メモリの一部の領域により構成され、尤度ベクトル生成部２０２により生成される尤度ベクトルＦを記憶する。
＜３−２−５．頻度ベクトル生成部２０４＞
頻度ベクトル生成部２０４は、尤度ベクトルバッファ２０３で記憶されている尤度ベクトルＦに基づいて、第２単位区間毎に頻度ベクトルＮＦを生成する。
＜３−２−６．頻度ベクトルバッファ２０５＞
頻度ベクトルバッファ２０５は、メモリの一部の領域により構成され、頻度ベクトル生成部２０４により生成される頻度ベクトルＮＦを記憶する。
＜３−２−７．ユーザ情報取得部２１０＞
ユーザ情報取得部２１０は、インターフェース装置１１０からユーザフィードバック情報や抽出する興味区間の長さの上限ｌｅを取得する。
＜３−２−８．特徴単位区間検出部２０６＞
特徴単位区間検出部２０６は、頻度ベクトルバッファ２０５で記憶されている頻度ベクトルＮＦに基づいて、特徴単位区間を検出する。図１０は、特徴単位区間検出部２０６の機能構成例を示すブロック図である。図１０に示すように、特徴単位区間検出部２０６は、ドミナントベクトル生成部３０１、ドミナントベクトルバッファ３０２、特徴変化値計算部３０３、特徴単位区間候補判定部３０４、特徴単位区間判定部３０５、代表ドミナントベクトル更新部３０６および代表ドミナントベクトル蓄積部３０７を備える。以下、各構成について説明する。
＜３−２−８−１．ドミナントベクトル生成部３０１＞
ドミナントベクトル生成部３０１は、頻度ベクトルバッファ２０５で記憶されている頻度ベクトルＮＦを用いて、ドミナントベクトルＤを第２単位区間毎に生成する。
＜３−２−８−２．ドミナントベクトルバッファ３０２＞
ドミナントベクトルバッファ３０２は、メモリの一部の領域により構成され、ドミナントベクトル生成部３０１により生成されるドミナントベクトルＤを記憶する。
＜３−２−８−３．特徴変化値計算部３０３＞
特徴変化値計算部３０３は、ドミナントベクトルバッファ３０２で記憶されているドミナントベクトルＤを用いて、第２単位区間それぞれについて、オーディオ信号の特徴の時間変化を定量化した値である特徴変化値Ｃを算出する。図１１に示すように、時刻０からｉ番目の第２単位区間を基点とする特徴変化値Ｃiは、該第２単位区間を含むＮ個（例えば、Ｎ＝５）の第２単位区間からなる時間窓に含まれる第２単位区間のドミナントベクトルＤを用いて、以下の式（１）により算出される。
【００２８】
【数１】
0005908924.tif 000002
上式において、ＤiおよびＤjは、それぞれ時刻０から数えてｉ番目の第２単位区間におけるドミナントベクトルＤiおよびｊ番目のドミナントベクトルＤjであり、＜Ｄi，Ｄj＞は、ドミナントベクトルＤiとドミナントベクトルＤjの内積を示し、｜｜Ｄi｜｜および｜｜Ｄj｜｜は、それぞれドミナントベクトルＤiおよびドミナントベクトルＤjのノルムを示す。また、θijは、ドミナントベクトルＤiとドミナントベクトルＤjのなす角度である。
【００２９】
式（１）に示すように特徴変化値Ｃiは、基点となるドミナントベクトルＤiと時間窓内に含まれる他のドミナントベクトルＤjとのコサイン類似度の総和である。従って、特徴変化値Ｃは、基点となる第２単位区間と時間窓の含まれる他の第２単位区間とでオーディオ信号の特徴が変化していれば低い値となり、変化していなければ高い値となる。
【００３０】
特徴変化値計算部３０３は、時間窓を第２単位区間ずつずらしながら、第２単位区間毎に特徴変化値Ｃを算出する。
＜３−２−８−４．特徴単位区間候補判定部３０４＞
特徴単位区間候補判定部３０４は、特徴変化値計算部３０３により算出される特徴変化値Ｃに基づいて、図１２に示すように、しきい値Ｔｈ１を下回る第２単位区間を特徴単位区間候補と判定する。本実施の形態では、しきい値Ｔｈ１は、オーディオ信号の全第２単位区間数をＬとして、以下の式（２）により算出される値とする。
【００３１】
【数２】
0005908924.tif 000003
また、特徴単位区間候補判定部３０４は、特徴単位区間候補のうち、特徴変化値Ｃがしきい値Ｔｈ１を下回る際の傾きが急なもの（直前の第２単位区間における特徴変化値との差が大きいもの）を突発アクション区間（図１２における実線で囲った部分）、特徴変化値Ｃがしきい値Ｔｈ１を下回る際の傾きが緩やかなもの（直前の第２単位区間における特徴変化値との差が小さいもの）をアクション転換区間（図１２における破線で囲った部分）と判定する。なお、本実施の形態では、特徴単位区間候補の特徴変化値と、当該特徴単位区間候補の直前の第２単位区間における特徴変化値との差が所定のしきい値Ｔｈ２（例えば、Ｔｈ２＝２）より大きいものを突発アクション区間と判定し、差が所定のしきい値Ｔｈ２以下のものをアクション転換区間と判定する。
＜３−２−８−５．特徴単位区間判定部３０５＞
図１０に戻り、特徴単位区間検出部２０６の構成について説明を続ける。特徴単位区間判定部３０５は、ドミナントベクトルバッファ３０２で記憶されるドミナントベクトルＤ、特徴単位区間候補判定部３０４で検出される特徴単位区間候補、および、代表ドミナントベクトル蓄積部３０７で記憶されている代表ドミナントベクトルＤＤを用いて、抽出すべき特徴単位区間であるか否かを判定する。
【００３２】
具体的には、特徴単位区間判定部３０５は、まず、特徴単位区間候補のドミナントベクトルＤと、代表ドミナントベクトル蓄積部３０７で記憶されている複数の代表ドミナントベクトルＤＤそれぞれとの類似度を算出する。そして、特徴単位区間判定部３０５は、算出した類似度それぞれとしきい値Ｔｈ３（例えば、Ｔｈ３＝０．６）との比較により、しきい値Ｔｈ３を超えるものが存在すれば、該特徴単位区間候補が抽出すべき特徴単位区間であると判定し、存在しなければ該特徴単位区間候補が抽出すべき特徴単位区間ではないと判定する。
【００３３】
特徴単位区間判定部３０５は、代表ドミナントベクトルを用いて判定することにより、検出された特徴単位区間候補のうち、ユーザにとって不要な区間を除外し、ユーザの所望する区間のみを抽出する。
＜３−２−８−６．代表ドミナントベクトル更新部３０６＞
代表ドミナントベクトル更新部３０６は、ユーザ情報取得部２１０により入力されるユーザフィードバック情報に基づいて、ユーザ評価の高い興味区間の特徴単位区間のドミナントベクトルＤをドミナントベクトルバッファ３０２から取得し、ユーザ代表ドミナントベクトルＵＤＤとする。
【００３４】
上記構成を有することにより、ユーザからの評価の高い興味区間に含まれる特徴単位区間を検出しやすくなり、個々のユーザに対して適切に興味区間を抽出することができるようになる。
＜３−２−８−７．代表ドミナントベクトル蓄積部３０７＞
代表ドミナントベクトル蓄積部３０７は、メモリの一部により構成され、初期代表ドミナントベクトル作成装置１０８により作成される初期代表ドミナントベクトルおよび代表ドミナントベクトル更新部３０６により作成されるユーザ代表ドミナントベクトルＵＤＤを代表ドミナントベクトルＤＤとして記憶している。本実施の形態では、代表ドミナントベクトル蓄積部３０７は、興味区間抽出処理の実行前に、あらかじめ代表ドミナントベクトルＤＤを記憶している。
【００３５】
特徴単位区間検出部２０６は、上記＜３−２−８−１＞から＜３−２−８−７＞までの構成により、オーディオ信号の特徴単位区間を検出し、検出した特徴単位区間を示す特徴単位区間データ（時刻０から何番目の第２単位区間なのかを示す情報、および、突発アクション区間かアクション転換区間かを識別する情報）を区間伸張基準指標計算部２０７および興味区間抽出部２０８に出力する。図９に戻り、音声処理装置１０４の構成について説明を続ける。
＜３−２−９．区間伸張基準指標計算部２０７＞
区間伸張基準指標計算部２０７は、特徴単位区間検出部２０６により検出された特徴単位区間に基づいて、後述する区間伸張処理の基準指標となる基準区間、基準ベクトルＳ及びしきい値Ｒｔｈを算出する。
【００３６】
まず、特徴単位区間検出部２０６により検出された特徴単位区間が突発アクション区間の場合について説明する。
【００３７】
区間伸張基準指標計算部２０７は、時間軸において特徴単位区間近傍の複数の第２単位区間を基準区間として、頻度ベクトルバッファ２０５から基準区間の頻度ベクトルを取得し、取得した複数の頻度ベクトルの重心ベクトルを基準ベクトルＳとして算出する。図１３に、特徴単位区間近傍の合計９区間を基準区間とした場合における、基準区間の頻度ベクトル（ＮＦ１〜ＮＦ９）を用いた、基準ベクトルＳの算出例を示す。
【００３８】
区間伸張基準指標計算部２０７は、更に、基準ベクトルＳを生成する際に用いた複数の頻度ベクトルＮＦと基準ベクトルＳとの間のユークリッド距離をそれぞれ算出し、基準ベクトルＳとの間のユークリッド距離が最も大きい頻度ベクトルＮＦと基準ベクトルＳとの間のユークリッド距離を興味区間に属するか否かの判断に用いるしきい値Ｒｔｈとして算出する。
【００３９】
図１４は、基準ベクトルＳ、各頻度ベクトルＮＦ、および、しきい値Ｒｔｈをベクトル空間の概念を用いて示した図である。図１４において、白丸印は、それぞれ、基準ベクトルＳの算出に用いた頻度ベクトルＮＦ（図１３に示す基準区間内の各頻度ベクトルＮＦ１〜ＮＦ９に対応）を示し、円状になっているハッチ領域の中心の黒丸印が基準ベクトルＳを示している。基準ベクトルＳから各頻度ベクトルＮＦへの矢印の長さが、頻度ベクトルＮＦと基準ベクトルＳとの間のユークリッド距離を示し、その最大距離がしきい値Ｒｔｈとなる。
【００４０】
次に、特徴単位区間検出部２０６により検出された特徴単位区間がアクション転換区間の場合について、突発アクション区間の場合と異なる点を説明する。
【００４１】
区間伸張基準指標計算部２０７は、アクション転換区間の場合、特徴単位区間の前後で別々に基準ベクトルＳとしきい値Ｒｔｈを算出する。つまり、特徴単位区間の前後で第１基準区間および第２基準区間を設定し、第１基準区間から基準ベクトルＳ１およびしきい値Ｒｔｈ１を、第２基準区間から基準ベクトルＳ２およびしきい値Ｒｔｈ２を、それぞれ算出する。本実施例では、図１５に示すように、特徴単位区間前後それぞれ９区間を基準区間とする。
＜３−２−１０．興味区間抽出部２０８＞
図９に戻り、興味区間抽出部２０８は、頻度ベクトルバッファ２０５に記憶されている頻度ベクトルＮＦ、特徴単位区間検出部２０６により検出された特徴単位区間、および、区間伸張基準指標計算部２０７により算出された基準指標（基準区間、基準ベクトルＳとしきい値Ｒｔｈ）に基づいて、動画ファイルの興味区間を抽出、つまり、興味区間の始点と終点を特定する。
【００４２】
ここでは、特徴単位区間が突発アクション区間の場合について詳細に説明し、アクション転換区間の場合は、その差異について説明する。
【００４３】
まず、興味区間抽出部２０８は、興味区間の初期値として、区間伸張基準指標計算部２０７で算出した基準区間を設定する。興味区間抽出部２０８は、図１６に示すように、時間軸逆方向へ遡りながら、興味区間の直前の第２単位区間を対象区間として、対象区間を興味区間に含めるか否かについて判定していく。具体的には、興味区間抽出部２０８は、対象区間における頻度ベクトルＮＦと基準ベクトルＳとの間のユークリッド距離を算出し、算出したユークリッド距離がしきい値Ｒｔｈ以下の場合に、対象区間を興味区間に含める。興味区間抽出部２０８は、上記処理を繰り返し、算出したユークリッド距離がしきい値Ｒｔｈを最初に超えた場合の興味区間の始点を特定する。
【００４４】
上記処理は、１区間ずつ興味区間を伸張していくので、区間伸張処理と呼称する。興味区間抽出部２０８は、時間軸順方向についても区間伸張処理を行い、興味区間の終点を特定する。
【００４５】
なお、興味区間に含まれるすべての第２単位区間における頻度ベクトルＮＦは、図１４に示す頻度ベクトル空間において、基準ベクトルＳを中心とするしきい値（ユークリッド距離）Ｒｔｈ内の領域（図のハッチ領域）に存在することになる。
【００４６】
興味区間抽出部２０８は、アクション転換区間の場合、興味区間の初期値として、第１基準区間の始点から第２基準区間の終点までの区間を用い、興味区間の始点の特定には、第１基準ベクトルＳ１およびしきい値Ｒｔｈ１を使用して区間伸張処理を行い、興味区間の終点の特定には、第２基準ベクトルＳ２およびしきい値Ｒｔｈ２を使用して区間伸張処理を行う。
【００４７】
興味区間抽出部２０８は、区間伸張処理にあたって、対象区間が興味区間に含まれるか否かを判定するとともに、同時に興味区間の長さが予め設定された興味区間の長さｌｅよりも短いか否かも判断する。算出したユークリッド距離がしきい値Ｒｔｈを超えず、かつ、興味区間の長さが予め設定された興味区間の長さの上限ｌｅよりも短い場合、興味区間抽出部２０８は、対象区間を興味区間に含める。なお、興味区間の長さが興味区間の長さの上限ｌｅ以上になった場合には、興味区間抽出部２０８は、その時点での興味区間を出力する。
【００４８】
音声処理装置１０４は、上記＜３−２−１＞から＜３−２−１０＞までの構成により、動画ファイルの興味区間を抽出する。図８の映像編集装置１００の構成について説明を続ける。
＜３−３．アンカーモデル作成装置１０７＞
アンカーモデル作成装置１０７は、メモリ（図示せず）およびプロセッサ（図示せず）から構成され、プロセッサがメモリに書き込まれたプログラムを実行することにより、図１７に示す構成を実現している。
【００４９】
図１７は、アンカーモデル作成装置の機能構成および周辺機器を示すブロック図である。図１７に示すように、アンカーモデル作成装置１０７は、特徴量ベクトル生成部４０１、特徴量ベクトル分類部４０２およびアンカーモデル生成部４０３を備え、音声データ蓄積装置１０９に記憶されている音声データに基づいてアンカーモデルを作成し、作成したアンカーモデルをアンカーモデル蓄積部２０９に記憶する機能を有する。以下、各構成について説明する。
＜３−３−１．特徴量ベクトル生成部４０１＞
特徴量ベクトル生成部４０１は、音声データ蓄積装置１０９に記憶されている音声データに基づいて、第１単位区間毎に、特徴量ベクトルＭを生成する。
＜３−３−２．特徴量ベクトル分類部４０２＞
特徴量ベクトル分類部４０２は、特徴量ベクトル生成部４０１により生成された特徴量ベクトルを、クラスタリング（分類）する。
【００５０】
特徴量ベクトル分類部４０２は、インターフェース装置１１０から入力されるアンカーモデルＡｒの個数Ｋに基づいて、Ｋ−ｍｅａｎｓ法により複数の特徴量ベクトルＭをＫ個のクラスタに分類する。なお、本実施の形態では、Ｋ＝１０２４である。
＜３−３−３．アンカーモデル生成部４０３＞
アンカーモデル生成部４０３は、特徴量ベクトル分類部４０２により分類されたＫ個のクラスタそれぞれの平均および分散を算出し、アンカーモデルＡr（ｒ＝１，２，…，Ｋ）としてアンカーモデル蓄積部２０９に記憶する。
＜３−４．初期代表ドミナントベクトル作成装置１０８＞
初期代表ドミナントベクトル作成装置１０８は、メモリ（図示せず）およびプロセッサ（図示せず）から構成され、プロセッサがメモリに書き込まれたプログラムを実行することにより、図１８に示す構成を実現している。
【００５１】
図１８は、初期代表ドミナントベクトル作成装置の機能構成および周辺機器を示すブロック図である。図１８に示すように、初期代表ドミナントベクトル作成装置１０８は、特徴量ベクトル生成部５０１、尤度ベクトル生成部５０２、尤度ベクトルバッファ５０３、頻度ベクトル生成部５０４、頻度ベクトルバッファ５０５、ドミナントベクトル生成部５０６、ドミナントベクトルバッファ５０７および初期代表ドミナントベクトル生成部５０８を備え、音声データ蓄積装置１０９に記憶されている音声データに基づいて初期代表ドミナントベクトルを作成し、作成した初期代表ドミナントベクトルを代表ドミナントベクトル蓄積部３０７に記憶する機能を有する。
【００５２】
なお、＜３−１−８＞で述べたように、初期代表ドミナントベクトル作成装置１０８が初期代表ドミナントベクトルＤＤを作成するときに用いられる音声データは、予め人手により代表的なアクション毎に分類されたオーディオ信号である。そして、初期代表ドミナントベクトル作成装置１０８は、その分類ごとに、初期代表ドミナントベクトルを生成する。
＜３−４−１．特徴量ベクトル生成部５０１＞
特徴量ベクトル生成部５０１は、音声データ蓄積装置１０９に記憶されている音声データに基づいて、第１単位区間毎に、特徴量ベクトルＭを生成する。
＜３−４−２．尤度ベクトル生成部５０２および尤度ベクトルバッファ５０３＞
尤度ベクトル生成部５０２は、特徴量ベクトル生成部５０１により生成される特徴量ベクトルおよびアンカーモデル蓄積部２０９に蓄積されているアンカーモデルを用いて、音声データ蓄積装置１０９に記憶されている音声データの尤度ベクトルを生成する。
【００５３】
尤度ベクトルバッファ５０３は、メモリの一部の領域により構成され、尤度ベクトル生成部５０２により生成される尤度ベクトルを記憶する。
＜３−４−３．頻度ベクトル生成部５０４および頻度ベクトルバッファ５０５＞
頻度ベクトル生成部５０４は、尤度ベクトルバッファ５０３で記憶されている尤度ベクトルに基づいて、第２単位区間毎に頻度ベクトルを生成する。
【００５４】
頻度ベクトルバッファ５０５は、メモリの一部の領域により構成され、頻度ベクトル生成部５０４により生成される頻度ベクトルＮＦを記憶する。
＜３−４−４．ドミナントベクトル生成部５０６およびドミナントベクトルバッファ５０７＞
ドミナントベクトル生成部５０６は、頻度ベクトルバッファ５０５で記憶されている頻度ベクトルを用いて、ドミナントベクトルを生成する。
【００５５】
ドミナントベクトルバッファ５０７は、メモリの一部の領域により構成され、ドミナントベクトル生成部５０６により生成されるドミナントベクトルを記憶する。
＜３−４−５．初期代表ドミナントベクトル生成部５０８＞
初期代表ドミナントベクトル生成部５０８は、ドミナントベクトルバッファ５０７に記憶されている複数のドミナントベクトルバッファについて、上述の分類ごとに重心ベクトルを求めて、複数の分類について代表ドミナントベクトルを作成する。
【００５６】
本発明に係る映像編集装置１００は、上記構成により興味区間を抽出し、抽出した興味区間に基づいて映像データを表示装置に出力する。
＜４．動作＞
以下、本実施の形態に係る特徴単位区間検出部２０６で実行される特徴区間検出処理、区間伸張基準指標計算部２０７で実行される基準指標計算処理、および、興味区間抽出部２０８で実行される興味区間抽出処理について図面を参照しながら説明する。
＜４−１．特徴単位区間検出処理＞
図１９は、図１０に示す特徴単位区間検出部２０６で実行される特徴区間検出処理の動作を示すフローチャートである。図１９に示すように、まず、ドミナントベクトル生成部３０１は、頻度ベクトルバッファ２０５により入力される頻度ベクトルＮＦを用いて、ドミナントベクトルＤを生成し、ドミナントベクトルバッファ３０２に格納する。（ステップＳ１９０１）。
【００５７】
次に、特徴変化値計算部３０３は、第２単位時間毎に、第２単位時間Ｎ（例えば、Ｎ＝５）個分の長さの時間窓に含まれるＮ個のドミナントベクトルＤをドミナントベクトルバッファ３０２から取得し、特徴変化値Ｃを算出する（ステップＳ１９０２）。
【００５８】
ステップＳ１９０２で、オーディオ信号を分割した第２単位時間それぞれについて、ステップＳ１９０３〜Ｓ１９０９の処理を行う。なお、ここではオーディオ信号の時刻０から数えてｉ番目の第２単位区間における処理について説明する。
【００５９】
特徴単位区間候補判定部３０４は、当該単位区間の特徴変化値Ｃiとあらかじめ設定したしきい値Ｔｈ１とを比較する（ステップＳ１９０３）。
【００６０】
特徴単位区間候補判定部３０４は、特徴変化値Ｃｉがしきい値Ｔｈ１よりも小さい場合（ステップＳ１９０３：Ｙｅｓ）、さらに、特徴変化値Ｃiと直前の区間の特徴変化値Ｃi-1との差Δを算出し、算出した差Δとあらかじめ設定したしきい値Ｔｈ２とを比較する（ステップＳ１９０４）。
【００６１】
特徴単位区間候補判定部３０４は、差Δがしきい値Ｔｈ２よりも小さい場合（ステップＳ１９０４：Ｙｅｓ）、当該第２単位区間をアクション転換区間の特徴単位区間候補と判定し（ステップＳ１９０５）、差Δがしきい値Ｔｈ２以上の場合（ステップＳ１９０４：Ｎｏ）、当該第２単位区間を突発アクション区間の特徴単位区間候補と判定する（ステップＳ１９０６）。
【００６２】
次に、特徴単位区間判定部３０５は、当該特徴単位区間のドミナントベクトルを、ドミナントベクトルバッファ３０２から取得し、取得したドミナントベクトルと代表ドミナントベクトル蓄積部３０７で記憶している代表ドミナントベクトルとの類似性を判定する（ステップＳ１９０７）。類似性の判定について、具体的には、特徴単位区間判定部３０５は、代表ドミナントベクトル蓄積部３０７に複数種類の分類ごとに記憶されている代表ドミナントベクトルそれぞれとドミナントベクトルとのコサイン類似度を算出し、算出した類似度のうちあらかじめ設定したしきい値Ｔｈ３を超える類似度が存在するか否かを判定する。
【００６３】
特徴単位区間判定部３０５は、しきい値Ｔｈ３を超える類似度が存在する場合（ステップＳ１９０７：Ｙｅｓ）、当該第２単位区間を特徴単位区間と判定する（ステップＳ１９０８）。
【００６４】
ステップＳ１９０３において特徴変化値Ｃiがしきい値Ｔｈ１以上の場合（ステップＳ１９０３：Ｎｏ）、または、ステップＳ１９０７においてしきい値Ｔｈ３を超える類似が存在しない場合（ステップＳ１９０７：Ｎｏ）、特徴単位区間判定部３０５は、当該第２単位区間を特徴単位区間ではないと判定する（ステップＳ１９０９）。
【００６５】
上記ステップＳ１９０３〜Ｓ１９０９を、オーディオ信号における前第２単位区間について実行し、各第２単位区間について特徴単位区間であるかないかを判定する。
【００６６】
最後に、特徴単位区間検出部２０６は、特徴単位区間であると判定された第２単位区間を、区間伸張基準指標計算部２０７および興味区間抽出部２０８へ出力する。
＜４−２．基準指標計算処理＞
図２０は、区間伸張基準指標計算部２０７で実行される基準指標計算処理の動作を示すフローチャートである。図２０に示すように、基準指標計算処理は、特徴単位区間検出部２０６で検出される特徴単位区間および頻度ベクトルバッファ２０５で保持する頻度ベクトルを入力とする（ステップＳ２００１）。
【００６７】
区間伸張基準指標計算部２０７は、特徴単位区間検出部２０６により入力された特徴単位区間が突発アクション区間なのかアクション転換区間なのかどうかの判定を行う（ステップＳ２００２）。
【００６８】
入力された特徴単位区間が突発アクション区間の場合（ステップＳ２００２：突発アクション区間）、区間伸張基準指標計算部２０７は、まず、当該特徴単位区間および当該特徴単位区間前後４区間の計９区間の第２単位区間を基準区間として設定する（ステップＳ２００３）。
【００６９】
次に、区間伸張基準指標計算部２０７は、頻度ベクトルバッファ２０５により入力される基準区間内の頻度ベクトル（ＮＦ１〜ＮＦ９）の重心ベクトルを算出し、基準ベクトルＳとする（ステップＳ２００４）。
【００７０】
続いて、区間伸張基準指標計算部２０７は、基準ベクトルＳと基準区間内の頻度ベクトル（ＮＦ１〜ＮＦ９）との間のユークリッド距離Ｄ（Ｓ，ＮＦ１），〜，Ｄ（Ｓ，ＮＦ９）をそれぞれ算出し、算出したユークリッド距離の最大値をしきい値Ｒｔｈとする（ステップＳ２００５）。
【００７１】
入力された特徴単位区間がアクション転換区間の場合（ステップＳ２００２：アクション転換区間）、ステップＳ２００３〜Ｓ２００５の処理とほぼ同様の処理を実行して、第１基準区間，第１基準ベクトルＳ１および第１しきい値Ｒｔｈ１、並びに、第２基準区間，第２基準ベクトルＳ２および第２しきい値Ｒｔｈ２を算出する（ステップＳ２００６，Ｓ２００７およびＳ２００８）。
【００７２】
最後に、区間伸張基準指標計算部２０７は、算出した基準指標を興味区間抽出部２０８へ出力する（ステップＳ２００９）。
＜４−３．興味区間抽出処理＞
図２１は、興味区間抽出部２０８で実行される興味区間抽出処理の動作を示すフローチャートである。図２０に示すように、興味区間抽出処理は、特徴単位区間検出部２０６で検出される特徴単位区間、区間伸張基準指標計算部２０７で算出される基準指標、ユーザ情報取得部２１０より取得される興味区間の長さの上限および頻度ベクトルバッファ２０５で保持する頻度ベクトルを入力とする（ステップＳ２１０１）。
【００７３】
興味区間抽出部２０８は、特徴単位区間検出部２０６により入力された特徴単位区間が突発アクション区間なのかアクション転換区間なのかどうかの判定を行う（ステップＳ２１０２）。
【００７４】
ここでは、特徴単位区間が突発アクション区間の場合（ステップＳ２１０１：突発アクション区間）について詳細に説明し、アクション転換区間の場合（ステップＳ２１０１：アクション転換区間）については、差異についてのみ説明する。
【００７５】
まず、興味区間抽出部２０８は、区間伸張基準指標計算部２０７から入力された基準区間を興味区間の初期値とする（ステップＳ２１０３）。
【００７６】
次に、興味区間抽出部２０８は、ステップＳ２１０３で設定した興味区間の初期値に対して、ステップＳ２１０４〜Ｓ２１０７の処理を実行して、オーディオ信号の時間軸逆方向の区間伸張処理を行う。
【００７７】
興味区間抽出部２０８は、オーディオ信号の時間軸で興味区間の直前の第２単位区間を対象区間とする（ステップＳ２１０４）。
【００７８】
興味区間抽出部２０８は、頻度ベクトルバッファ２０５から入力された対象区間の頻度ベクトルＮＦと、区間伸張基準指標計算部２０７により入力された基準ベクトルＳとの間のユークリッド距離Ｄ（ＮＦ，Ｓ）を算出し、算出したユークリッド距離Ｄ（ＮＦ，Ｓ）と区間伸張基準指標計算部２０７から入力されたしきい値Ｒｔｈとの比較を行う（ステップＳ２１０５）。
【００７９】
興味区間抽出部２０８は、算出したユークリッド距離Ｄ（ＮＦ，Ｓ）がしきい値Ｒｔｈよりも短い場合（ステップＳ２１０５：Ｙｅｓ）、対象区間を含むように興味区間を更新する（ステップＳ２１０６）。
【００８０】
興味区間抽出部２０８は、興味区間を更新したあと、興味区間の長さが、ユーザ情報取得部２１０により入力される興味区間の長さの上限ｌｅとの比較を行い（ステップＳ２１０７）、興味区間の長さが上限ｌｅよりも短ければ（ステップＳ２１０７：Ｙｅｓ）、ステップＳ２１０４に戻り、興味区間の長さが上限ｌｅ以上ならば（ステップＳ２１０７：Ｎｏ）、この時点における興味区間を示す興味区間データを興味区間記憶装置１０５に出力する（ステップＳ２１２１）。
【００８１】
興味区間抽出部２０８は、算出したユークリッド距離Ｄ（ＮＦ，Ｓ）がしきい値Ｒｔｈ以上の場合（ステップＳ２１０５：Ｎｏ）、オーディオ信号の時間軸逆方向の区間伸張処理を終了してステップＳ２１０８〜Ｓ２１１１へ進み、オーディオ信号の時間軸順方向の区間伸張処理を行う。
【００８２】
時間軸順方向の区間伸張処理は、ステップＳ２１０８の興味区間の直後の第２単位区間を対象区間とすること除いて、時間軸逆方向の区間伸張処理と同じ処理なので、説明を省略する。
【００８３】
興味区間抽出部２０８は、時間軸逆方向の区間伸張処理および時間軸順方向の区間伸張処理を終了した時点における興味区間を示す興味区間データを興味区間記憶装置１０５に出力する（ステップＳ２１２１）。
【００８４】
最後に、特徴単位区間検出部２０６から入力された特徴単位区間がアクション転換区間の場合（ステップＳ２１０１：アクション転換区間）、突発アクション区間の場合との差異について説明する。
【００８５】
アクション転換区間の場合と突発アクション区間の場合との差異は、以下の３点である。
【００８６】
（１）興味区間の初期値として、区間伸張基準指標計算部２０７から入力される第１基準指標の始点から第２基準指標の終点までの区間を設定する（ステップＳ２１１２）。
【００８７】
（２）時間軸逆方向の区間伸張処理において、第１基準ベクトルＳ１および第１しきい値Ｒｔｈ１を用いる（ステップＳ２１１４）。
【００８８】
（３）時間軸順方向の区間伸張処理において、第２基準ベクトルＳ２および第２しきい値Ｒｔｈ２を用いる（ステップＳ２１１８）。
【００８９】
上記に説明した処理を実行することにより、興味区間抽出部２０８は、興味区間を抽出する。
＜５．まとめ＞
上述のように、本実施の形態に係る音声処理装置１０４は、動画ファイルに含まれるオーディオ信号の単位区間毎に、オーディオ信号の特徴を表現するベクトル（特徴量ベクトル、尤度ベクトル、頻度ベクトル、ドミナントベクトル）の時間変化に基づいて特徴変化値を算出し、算出した特徴変化値としきい値との比較結果に応じて特徴単位区間であるか否かについて判定する。
【００９０】
この構成により、音声処理装置１０４は、突発アクションやアクション転換などのオーディオ信号の特徴の時間軸における変化点を含む特徴単位区間を検出し、検出した特徴単位区間候補から興味区間を抽出することができる。
＜６−１．変形例＞
上記実施の形態に従って、本発明に係る音声処理装置について説明してきたが、本発明はこれに限られるものではない。以下、本発明の思想として含まれる各種変形例について説明する。
【００９１】
（１）上述の実施形態では、映像編集装置の構成要素として音声処理装置を説明したが、音声編集装置の構成要素としても良い。また、外部装置からオーディオ信号を含む動画ファイルを取得して、抽出結果の特徴単位区間から所定の一点に対応する画像データをサムネイル画像として出力する画像表示装置であってもよい。
【００９２】
ここで、特徴単位区間から所定の一点を選択する基準としては、特徴変化値を算出する際に用いた時間窓に応じて、時間窓に含まれる単位区間のうち特徴単位区間より前の単位区間の数と特徴単位区間より後の単位区間の数との割合と、特徴単位区間の終点からの時間と始点からの時間との割合とが一致する点を選択するとよい。もちろん、特徴単位区間の始点、終点および中央等の固定点を選択してもよい。
【００９３】
（２）上述の実施形態では、映像編集装置は、抽出された複数の興味区間について、その再生順、あるいは、ＡＶコンテンツが録画された順にしたがって、具備している記録装置あるいは外部の記録媒体に記録する機能を備えていてもよい。また、その際に、各興味区間に対応するＡＶコンテンツは、複数のファイルから抽出したものであってもよい。また、それらの複数の興味区間に対応する複数のデータの記録の際には、それらをその対応する特徴単位区間の順で１つのファイルに統合したダイジェスト映像として記録することとしてもよい。その際には、隣り合う興味区間同士で、重複する部分がある場合には、ダイジェスト映像にその重複部分が繰り返されないように統合するとよい。
【００９４】
（３）上述の実施形態では、記録媒体から動画ファイルを取得することとしたが、取得の手段は記録媒体を用いる方法に限らない。例えば、無線又は有線の放送や、ネットワークなどから取得してもよいし、音声処理装置がマイクなどの音声入力装置を備え、音声入力装置により入力されたオーディオ信号から特徴単位区間を抽出してもよい。
【００９５】
（４）上述の実施形態では、尤度ベクトルバッファ、頻度ベクトルバッファ、ドミナントベクトルバッファ、アンカーモデル蓄積部および代表ドミナントベクトル蓄積部は、メモリの一部により構成されるとしたが、音声処理装置が読み書き可能な記憶装置であればこの限りではない。例えば、ハードディスクやフレキシブルディスクであってもよいし、外部接続の記憶装置であってもよい。
【００９６】
（５）上述の実施形態に示した音データ記憶装置に記憶される音声データは、適宜新たな音声データが追加されてよく、また、コンテンツ記憶装置に記憶された動画ファイルの音データを記憶してもよい。
【００９７】
そして、新たな音データの追加に伴い、アンカーモデル作成装置１０７は新たなアンカーモデルを作成してもよい。
【００９８】
（６）上述の実施形態では、音データ記憶装置に予め蓄積されている音データからクラスタリングを用いて分類した複数種類のサウンド素片それぞれのアンカーモデルＡｒを作成する（いわゆる教師無しでアンカーモデルを作成する）例について説明したが、アンカーモデル作成手法は、これに限定されるものではない。例えば、音データ記憶装置に蓄積されている音データについて、ユーザが各サウンド素片それぞれに対応する音データを選択し、それぞれに種別ラベルを付与し、種別ラベルが同一な音データから対応するサウンド素片のアンカーモデルを作成する（いわゆる教師ありでアンカーモデルＡｒを作成する）こととしてもよい。
【００９９】
（７）上述の実施形態における第１単位区間、第２単位区間それぞれの時間の長さは一例である。その時間長は、第１単位区間＜第２単位区間となっていれば、上記実施の形態に示した以外の長さであってもよい。なお、このとき、第２単位区間の長さは、第１単位区間の長さの倍数になっていることが望ましい。
【０１００】
（８）上述の実施形態では、特徴量ベクトルとしてＭＦＣＣを用いるとしたが、オーディオ信号の第１単位区間における特徴を表現するものであればこれに限られるものではない。例えば、パワースペクトラムなどのオーディオ信号の周波数特性を用いてもよいし、オーディオ信号の振幅の時系列そのものを特徴量として用いてもよい。
【０１０１】
また、上述の実施形態では、ＭＦＣＣ２６次元を用いるとしているが、これは実験により２６次元とすることで好適な結果得られたためであり、本発明の特徴量ベクトルを２６次元に制限するものではない。
【０１０２】
（９）上述の実施形態では、第２単位区間における頻度ベクトルは、それぞれの区間に含まれる尤度ベクトルの各成分の正規化累積尤度を成分とするベクトルであるとしたが、頻度ベクトルは、その区間におけるオーディオ信号の特徴を表すものであればよく、特に、頻出する音の成分を特定できるものであれば、正規化累積尤度以外を成分とするベクトルであってもよい。例えば、単位区間に含まれる尤度ベクトルの各成分を累積し、累積尤度の高い上位ｋ個（ｋは複数であり、例えば、１０）のアンカーモデルのみに対応する累積尤度を正規化したベクトルであってもよい。あるいは、頻度ベクトルは、累積した値を正規化することなく、そのまま累積した尤度を成分とするベクトルや、各尤度の平均値を成分とするベクトルであってもよい。
【０１０３】
（１０）上述の実施形態において、ドミナントベクトルは、全頻度ベクトルの成分毎の平均値を算出し、各頻度ベクトルについて、平均値よりも小さい成分を０としたベクトルとしたが、ドミナントベクトルは、これに限るものではない。ドミナントベクトルは、頻度ベクトルの成分の大小を強調して、各頻度ベクトルの差異を判別しやすくしたベクトルであれば足り、例えば、頻度ベクトルの各成分の２以上の自然数を指数とした冪乗を正規化したベクトルであってもよい。
【０１０４】
（１１）上述の実施形態において、特徴変化値計算部３０３は、時間窓に含まれるドミナントベクトルＤのコサイン類似度を用いて特徴変化値の算出を行っているが、特徴変化値の算出方法はこれに限られるものではない。特徴変化値は、オーディオ信号の特徴の時間変化の定量化した値で、特に、基点となる区間の特徴と、時間窓に含まれる他の区間の特徴との類似度（非類似度）を算出できればよく、例えば、ユークリッド距離や、相関係数などを用いてもよい。なお、特徴変化値としてユークリッド距離を用いる場合、特徴変化値は、非類似度を表現することになるので、特徴変化値がしきい値を超える第２単位区間を特徴単位区間として検出するとよい。また、特徴変化値は、算出した類似度の総和を用いてもよいし、算出した類似度の総和を正規化した値を用いてもよい。
【０１０５】
（１２）上述の実施形態において、特徴変化値を算出する際に用いた時間窓は、基点となる第２単位区間から連続するＮ個の第２単位区間としているが、時間窓の取り方はこの限りではない。例えば、基点となる第２単位区間および基点となる第２単位区間前（Ｎ−１）個の第２単位区間からなる区間を時間窓としてもよいし、基点となる第２単位区間前後それぞれ所定数個の第２単位区間を含む区間を時間窓としてもよい。
【０１０６】
ここで、特徴単位区間候補判定部３０４は、時間窓の取り方に応じて、突発アクションかアクション転換かの判定基準を変えるとよい。具体的には、時間窓に基点となる第２単位区間前方の区間が含まれる場合は、特徴単位区間候補の特徴変化値と直後の第２単位区間における特徴変化値との差を用いて検出し、時間窓に基点となる第２単位区間後方の区間が含まれる場合は、特徴単位区間候補の特徴変化値と直前の第２単位区間における特徴変化値との差を用いて検出するとよい。
【０１０７】
なお、時間窓に含まれる第２単位区間の個数（時間窓の長さ）は一例であり、本実施例以外のものであってもよい。
【０１０８】
（１３）上述の実施形態において、特徴単位区間判定部３０５は、特徴単位区間候補のドミナントベクトルＤと、代表ドミナントベクトルＤＤとの類似度を計算していたが、類似度の計算に用いるドミナントベクトルＤの選択方法は一例であり、これに限られるものではない。
【０１０９】
例えば、特徴単位区間判定部３０５は、特徴単位区間候補がアクション転換区間候補の場合、特徴単位区間候補前後でそれぞれドミナントベクトルを選択してもよい。この構成によると、特徴単位区間判定部３０５は、特徴単位区間候補後のドミナントベクトルと代表ドミナントベクトルとが類似している場合は、アクション開始の特徴単位区間候補として、特徴単位区間候補前のドミナントベクトルと代表ドミナントベクトルとが類似している場合は、アクション終了の特徴単位区間候補として判別することが可能である。つまり、特徴単位区間判定部３０５は、動画ファイルにおける被写体が、何らかのアクションを開始したときにおける特徴単位区間なのか、何らかのアクションを終了したときにおける特徴単位区間なのか、何らかのアクションを終了して別のアクションを開始したときにおける特徴単位区間なのかを判定することが可能である。
【０１１０】
（１４）上述の実施形態における区間伸張基準指標計算部２０７で行う基準指標（基準区間、基準ベクトル、しきい値）を計算する処理は一例であり、この限りではない。
【０１１１】
例えば、区間伸張基準指標計算部２０７は、上述の実施形態における第１基準区間、第１基準ベクトルＳ１および第１しきい値Ｒｔｈ１のみ算出してもよいし、第２基準区間、第２基準ベクトルＳ２および第２しきい値Ｒｔｈ２のみ算出してもよい。区間伸張基準指標計算部２０７は、上記変形例（１３）で示したアクション開始やアクション終了などの種類に応じて、これら複数の基準指標算出方法を使い分けるとよい。
【０１１２】
また、区間伸張基準指標計算部２０７は、基準区間に含まれる第２単位区間のうち、特徴単位区間を除外した第２単位区間の頻度ベクトルＮＦを用いて、基準ベクトルおよびしきい値を算出してもよい。この場合に算出されるしきい値は、当該特徴単位区間を除外しないで算出したしきい値よりも小さくなる（基準ベクトルから頻度ベクトルまでの最大ユークリッド距離が短くなる）。従って、最終的に抽出される興味区間はより狭い区間になる。
【０１１３】
逆に、区間伸張基準指標計算部２０７は、基準区間に含まれる第２単位区間に加えて、特徴単位区間を追加した第２区間の頻度ベクトルを用いて、基準ベクトルおよびしきい値を算出してもよい。この場合に算出されるしきい値は、当該特徴単位区間を追加しないで算出したしきい値よりも大きくなる（基準ベクトルから頻度ベクトルまでの最大ユークリッド距離が長くなる）。従って、最終的に抽出される興味区間はより広い区間になる。
【０１１４】
（１５）上述の実施形態において、基準ベクトルは、基準区間に含まれる第２単位区間の頻度ベクトルの重心ベクトルとして説明したが、基準ベクトルはこれに限られるものではない。例えば、基準区間に含まれる第２単位区間の頻度ベクトルの成分毎の中央値を成分とするベクトルでもよいし、基準区間に含まれる第２単位区間の数が１００個など多い場合には、各頻度ベクトルの成分の最頻値を成分とするベクトルを基準ベクトルとしてもよい。また、基準区間に含まれる第２単位区間の頻度ベクトルとの間のユークリッド距離の合計を最小にするベクトルを基準ベクトルとしてもよい。
【０１１５】
（１６）上述の実施形態における興味区間抽出方法は一例であり、これに限られるものではない。興味区間抽出方法は、基準指標（基準区間、基準ベクトル、しきい値）を用いて、時間軸順方向および時間軸逆方向へ区間伸張処理を行うものであれば足り、例えば、アクション転換区間に対して、第１基準区間、第１基準ベクトルおよび第１しきい値を用いて抽出される興味区間と、第２基準区間、第２基準ベクトルおよび第２しきい値を用いて抽出される興味区間とをそれぞれ別の興味区間として抽出してもよい。
【０１１６】
（１７）上述の実施形態においては、興味区間抽出部２０８は、対象区間における頻度ベクトルと基準ベクトルＳの間のユークリッド距離がしきい値Ｒｔｈを超えず、かつ、興味区間の長さがあらかじめ設定された興味区間の長さの上限ｌｅよりも短いと判断すると対象区間を興味区間に含ませる旨を記載した。これは、興味区間の長さがある一定以上の長さになることを防ぐための措置であるが、興味区間の長さに制限がなければ、興味区間の長さと上限ｌｅとの比較処理は行わずに対象区間を興味区間に含ませてもよい。
【０１１７】
また、上記実施形態においては、興味区間を時間軸逆方向に伸張していき、その後に、時間軸順方向に伸張していく構成についてのみ説明したが、例えば、以下のような構成としてもよい。
【０１１８】
例えば、興味区間抽出部２０８は、区間伸張処理の順は時間軸順方向が時間軸逆方向よりも先に行われてもよいし、興味区間を第２単位区間単位で時間軸逆方向と時間軸順方向とで交互に伸張していく構成をとってもよい。交互に伸張を行う際には、第２単位区間単位に交互でなくともよく、一定数（例えば、５個）の第２単位区間毎に交互に伸張する手法をとってもよい。
【０１１９】
（１８）上記実施の形態においては、興味区間抽出部２０８は、基準ベクトルと対象区間の頻度ベクトルとの間のユークリッド距離が、しきい値Ｒｔｈを超えるか否かに応じて、対象区間を興味区間に含めるか否かを判定していた。しかし、これは、基準ベクトルと頻度ベクトルが一定以上似ているか否かを判定できれば、必ずしもユークリッド距離を用いる必要はない。
【０１２０】
例えば、基準ベクトルおよび頻度ベクトルの各成分を対応するアンカーモデルの規定する確率分布の重みとする混合分布について、２つの混合分布の両方向のカルバック・ライブラー情報量（Kullback-Leibler divergence、相対エントロピーと呼称されることもある）を距離として利用し、興味区間を抽出する構成としてもよい。この際、しきい値Ｒｔｈもカルバック・ライブラー情報量を用いて計算するとよい。
【０１２１】
なお、カルバック・ライブラー情報量は、確率論や情報理論において２つの確率分布の差異を図る尺度として一般に知られており、本発明の一実施形態に係る頻度ベクトルと基準ベクトル間のＫＬ距離は以下のようにして算出できる。
【０１２２】
まず、頻度ベクトルＮＦと各アンカーモデルの規定する確率分布を用いて一つの混合分布を構成する。具体的には、頻度ベクトルＮＦ＝（α1，…，αr，…，α1024）を、各アンカーモデルの規定する確率分布（ｂA1，…，ｂAr，…，ｂA1024）に対する重みと捉えることで、混合分布ＧNFは、以下の式（３）で与えることができる。
【０１２３】
【数３】
0005908924.tif 000004
一方、基準ベクトルでも同様に混合分布を構成する。即ち、基準ベクトルＳ＝（μ1，…，μr，…，μ1024）を、各アンカーモデルの規定する確率分布（ｂA1，…，ｂAr，…，ｂA1024）に対する重みと捉えることで、混合分布ＧSは、以下の式（４）で与えることができる。
【０１２４】
【数４】
0005908924.tif 000005
すると、この２つの混合分布ＧNF及びＧSを用いて、ＧNFからＧSに対するカルバック・ライブラー情報量は以下の式（５）で与えることができる。
【０１２５】
【数５】
0005908924.tif 000006
上記式（５）においてＸは混合分布ＧNF及びＧSの引数全体の集合である。
【０１２６】
また、ＧSからＧNFに対するカルバック・ライブラー情報量は以下の式（６）で与えることができる。
【０１２７】
【数６】
0005908924.tif 000007
式（５）と式（６）の間に対称性はないので、二つの確率分布間のＫＬ距離は、以下の式（７）から算出される。
【０１２８】
【数７】
0005908924.tif 000008
上記実施の形態に示したユークリッド距離の代わりに、この式（７）に示されるＫＬ距離を用いて、対象区間を興味区間に含めるか否かの判定を行ってもよい。このとき、しきい値Ｒｔｈは、ユークリッド距離の代わりに、基準区間に含まれる複数の第２単位区間の頻度ベクトルのうち、それら複数の頻度ベクトルと基準ベクトルとの間のＫＬ距離が最大の頻度ベクトルとの間のＫＬ距離を用いればよい。
【０１２９】
また、その他にも、ユークリッド距離を用いない手法としては、例えば、基準ベクトルと対象区間の頻度ベクトルとの相関演算（コサイン類似度やピアソンの相関係数の算出など）を行って、その相関値が一定値以上（例えば、０．６以上）であれば、対象区間を興味区間に含めるというような手法をとってもよい。
【０１３０】
（１９）上記実施の形態では、興味区間の長さの上限ｌｅは、インターフェース装置１１０を介して、ユーザにより指定するものとしたが、この限りではない。興味区間の長さの上限ｌｅは、例えば、アプリケーションが確定したときに、システム開発者によって指定されても良い。
【０１３１】
（２０）上記実施の形態において、初期代表ドミナントベクトルＤＤを作成するときに用いられる音声データは、予め人手により代表的なアクション毎に分類されたオーディオ信号であるとした。代表的なアクション音の具体例としては、「笑い声」、「拍手」、「ピストル音」、「歓声」など、人のアクションによって発生する音が挙げられる。
【０１３２】
（２１）上記実施の形態において、特徴単位区間判定部３０５は、特徴単位区間候補のドミナントベクトルＤと、代表ドミナントベクトルＤＤとの類似度を計算し、類似度の高い特徴単位区間候補を特徴単位区間として検出していた。しかしながら、特徴単位区間候補の中から特徴単位区間を検出する方法はこの限りではない。例えば、外部装置から特徴単位区間検出の基準となる外部情報を取得し、外部情報に基づいて特徴単位区間候補から特徴単位区間を検出してもよい。
【０１３３】
外部情報は、例えば、動画ファイルに写る人物を分類し、特定の人物が写っている区間を判定可能な顔クラスタリング情報である。これによると、顔クラスタリング情報に基づいて、特徴単位区間候補の中から特定の人物が写っていると判定される区間を特徴単位区間として検出することが可能である。
【０１３４】
また、外部情報は、動画ファイルにおいてズームやパンなどの操作を行った区間を判定可能な情報であってもよい。さらに、外部情報は、他の装置が動画ファイルをインデキシングすることによって作成したチャプタ情報などでもよい。
【０１３５】
（２２）本発明は、上記実施形態の映像編集装置をネットワークに接続し、当該映像編集装置および当該ネットワークに接続される１以上の端末からなる映像編集システムとして実現することも可能である。
【０１３６】
このような映像編集システムでは、例えば、ある１つの端末が映像編集装置に動画ファイルを送信し、映像編集装置が受信した動画ファイルの興味区間を抽出して端末に送信する。
【０１３７】
この構成により、映像編集機能を持たない端末でも、映像編集の施された（興味区間の抽出された）映像を再生することが可能である。
【０１３８】
また、上記映像編集システムにおいて、映像編集装置の機能を分割して、分割された機能の一部を端末が備えてもよい。ここでは、分割された機能の一部を備える端末をクライアントと称し、残る機能を備える装置をサーバと称する。
【０１３９】
図２２〜２４は、映像編集装置の機能を分割した映像編集システムの構成の一例を示す図である。
【０１４０】
図２２に示すように、映像編集システムは、クライアント２３００およびサーバ２４００から成る。
【０１４１】
クライアント２３００は、コンテンツ記憶装置１０２、音声抽出装置１０３、音声処理装置２３０２、および送受信装置２３０４を備える。
【０１４２】
コンテンツ記憶装置１０２および音声抽出装置１０３は、上記実施形態におけるコンテンツ記憶装置１０２および音声抽出装置１０３と同様である。
【０１４３】
音声処理装置２３０２は、上記実施形態における音声処理装置１０４の一部の機能、具体的には、オーディオ信号から頻度ベクトルを生成する機能を有する。
【０１４４】
送受信装置２３０４は、音声処理装置２３０２の生成した頻度ベクトルをサーバ２４００に送信する機能、および、サーバ２４００から興味区間データを受信する機能を有する。
【０１４５】
サーバ２４００は、興味区間記憶装置１０５、音声処理装置２４０２、および送受信装置２４０４を備える。
【０１４６】
興味区間記憶装置１０５は、上記実施の形態における興味区間記憶装置１０５と同様である。
【０１４７】
音声処理装置２４０２は、上記実施形態における音声処理装置１０４の一部の機能、具体的には、頻度ベクトルから興味区間データを生成する機能を有する。
【０１４８】
送受信装置２４０４は、クライアント２３００から頻度ベクトルを受信する機能、および、興味区間記憶装置１０５に記憶される興味区間データをクライアント２３００に送信する機能を有する。
【０１４９】
図２３は、クライアント２３００の備える音声処理装置２３０２の機能構成の一例を示す図である。図に示すように、音声処理装置２３０２は、特徴量ベクトル生成部２０１、尤度ベクトル生成部２０２、尤度ベクトルバッファ２０３、頻度ベクトル生成部２０４、およびアンカーモデル蓄積部２０９を備える。各構成部は、上記実施形態の同名同符号の構成部と同様の機能を有する。
【０１５０】
図２４は、サーバ２４００の備える音声処理装置２４０２の機能構成の一例を示す図である。図に示すように、音声処理装置２４０２は、頻度ベクトルバッファ２０５、特徴単位区間検出部２０６、区間伸張基準指標計算部２０７、および興味区間抽出部２０８を備える。各構成部は、上記実施形態の同名同符号の構成部と同様の機能を有する。
【０１５１】
この構成によると、映像編集システム内の通信は、頻度ベクトルおよび興味区間データに限られる。従って、映像編集装置を分割せずに動画ファイルを送信する場合と比較して、通信量を減らすことが可能となる。
【０１５２】
また、映像編集システムにおいて、サーバは、動画ファイルにおける興味区間を記憶する記憶部を備え、クライアントから動画ファイルにおける興味区間を受信して記憶し、ネットワークに接続される他の端末に配信してもよい。
【０１５３】
この構成によると、多くの端末で興味区間を共有することが可能となる。
（２３）上述の各実施形態及び各変形例を、部分的に組み合せてもよい。
【０１５４】
（２４）上述実施形態で示した特徴単位区間検出処理、基準指標算出処理、興味区間抽出処理を、音声処理装置のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるための機械語或いは高級言語のプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路等を介して流通させ頒布することもできる。このような記録媒体には、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭ、フラッシュメモリ等がある。流通、頒布された制御プログラムはプロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより各実施形態で示したような各機能が実現されるようになる。なお、プロセッサは、制御プログラムを直接実行する他、コンパイルして実行或いはインタプリタにより実行してもよい。
【０１５５】
（２５）上述の実施形態で示した各機能構成要素（特徴単位区間検出部、区間伸張基準指標計算部、興味区間抽出部等）は、その機能を実行する回路として実現されてもよいし、１又は複数のプロセッサによりプログラムを実行することで実現されてもよい。また、上述の実施形態の音声処理装置は、ＩＣ、ＬＳＩその他の集積回路のパッケージとして構成されるものとしてもよい。このパッケージは各種装置に組み込まれて利用に供され、これにより各種装置は、各実施形態で示したような各機能を実現するようになる。
【０１５６】
なお、特徴単位区間検出部、区間伸張基準指標計算部、興味区間抽出部等の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
＜６−２．補足＞
以下、更に本発明の一実施形態としての音声処理装置の構成及びその変形例と効果について説明する。
【０１５７】
（Ａ）本発明の一実施形態の音声処理装置は、音声信号の単位区間の特徴を表現する区間特徴を単位区間毎に生成する特徴生成手段と、前記音声信号の単位区間毎に、当該単位区間を基点区間として、前記基点区間近傍の複数の単位区間の前記区間特徴を用いて、前記音声信号の特徴の前記基点区間における時間変化を定量化した特徴変化値を算出する変化値計算手段と、前記特徴変化値としきい値との比較結果に応じて、前記基点区間が前記音声信号の特徴の変化点を含む特徴単位区間であるか否かについて判定する区間判定手段と備えることを特徴とする。
【０１５８】
この構成により、本発明の音声処理装置は、単位区間（第２単位区間）毎に音声信号の特徴の時間変化を定量化した値を算出し、算出した値としきい値とを比較することにより、音声特徴の継続性に依らない特徴単位区間の検出が可能である。
【０１５９】
（Ｂ）上記実施形態（Ａ）の音声処理装置において、前記変化値計算手段は、前記基点区間の前記区間特徴と、前記基点区間近傍かつ前記基点区間ではない単位区間の前記区間特徴との類似度を用いて前記特徴変化値を算出するとしてもよい。
【０１６０】
この構成によると、音声処理装置は、基点区間と周辺の単位区間（第２単位区間）との類似度を用いて特徴変化値を計算することが可能である。
【０１６１】
（Ｃ）上記実施形態（Ｂ）の音声処理装置において、前記しきい値を第１しきい値とし、前記変化値計算手段は、前記基点区間の前記区間特徴と前記基点区間に続く単位区間の前記区間特徴との類似度を用いて前記特徴変化値を計算し、前記区間判定手段は、前記基点区間の特徴変化値と前記第１しきい値との比較結果に応じて、前記基点区間が特徴単位区間候補であるか否かについて判定し、更に、前記特徴単位区間候補における前記特徴変化値の変化速度と、第２しきい値との比較結果に応じて、前記特徴単位区間候補が前記特徴単位区間であるか否かについて判定するとしてもよい。
【０１６２】
この構成によると、音声処理装置は、基点となる単位区間と基点となる単位区間に続く所定数の単位区間との類似度を特徴変化値の算出に用いるため、基点となる単位区間における特徴変化値の変化速度（傾き）が、オーディオ信号の特徴の時間変化速度を表現する。突発アクション区間ならば、特徴の変化はその区間のみなので特徴変化値は急激に変化するが、アクション転換区間ならば、アクション転換後の特徴が徐々に混ざっていくので、特徴変化値の変化は緩やかなものとなる。従って、基点となる単位区間における特徴変化値の変化速度を利用して、検出対象の特徴単位区間が、突発アクション区間なのか、アクション転換区間なのかを区別して検出することが可能である。
【０１６３】
（Ｄ）上記実施形態（Ａ）の音声処理装置において、前記区間特徴は、前記音声信号の単位区間の特徴を表現するベクトルの各成分の強弱を強調したベクトルであるとしてもよい。
【０１６４】
この構成によると、音声処理装置は、オーディオ信号の区間毎の異なりが強調されたドミナントベクトルを用いて特徴変化値を算出するので、特徴変化値もオーディオ信号の特徴の時間変化を強調したものとなる。従って、音声処理装置は、より細かな変化から特徴単位区間を検出できることになり、特徴単位区間の検出力が向上する。
【０１６５】
（Ｅ）上記実施形態（Ａ）の音声処置装置は、さらに、前記音声信号の単位区間それぞれを前記特徴単位区間と判定するための基準となる代表特徴をあらかじめ記憶している代表特徴記憶手段を備え、前記区間判定手段は、前記特徴変化値と前記しきい値との比較結果に応じて、前記基点区間が特徴単位区間候補であるか否かについて判定する候補判定手段を有し、前記特徴単位区間候補近傍の単位区間の区間特徴と前記代表特徴とが類似する場合に、前記特徴単位区間候補を前記特徴単位区間と判定するとしてもよい。
【０１６６】
この構成によると、音声処置装置は、ユーザにとって不要な特徴単位区間を除外して、ユーザの所望する特徴単位区間のみを検出することが可能となる。
【０１６７】
（Ｆ）上記実施形態（Ｅ）の音声処理装置において、前記区間判定手段は、前記特徴単位区間候補前の単位区間の区間特徴と前記代表特徴とが類似する場合、または、前記特徴単位区間候補後の単位区間の区間特徴と前記代表特徴とが類似する場合に、前記特徴単位区間候補を前記特徴単位区間と判定するとしてもよい。
【０１６８】
この構成によると、音声処置装置は、オーディオ信号において、特徴単位区間の前後のどちらがより特徴的な区間なのかを区別して判別することができる。即ち、音声処置装置は、アクション開始の特徴単位区間なのか、アクション終了の特徴単位区間なのかを区別して検出することが可能である。
【０１６９】
（Ｇ）上記実施形態（Ｅ）の音声処置装置は、さらに、前記特徴単位区間に対するユーザからの評価を取得するユーザ情報取得部と、前記評価に応じて、前記特徴単位区間近傍の前記区間特徴を用いて新たな代表特徴を算出し、算出した代表特徴を前記代表特徴記憶手段に記憶する代表特徴更新手段とを備えるとしてもよい。
【０１７０】
この構成によると、音声処理装置は、ユーザからの評価を特徴単位区間検出に反映することが可能であり、利用するユーザ個人それぞれに適切な特徴単位区間を検出することが可能である。
【０１７１】
（Ｈ）上記実施形態（Ａ）の音声処理装置は、さらに、前記音声信号の単位区間それぞれを前記特徴単位区間と判定するための基準となる外部情報を取得する取得手段を備え、前記区間判定手段は、前記特徴変化値と前記しきい値との比較結果に応じて、前記基点区間が特徴単位区間候補であるか否かについて判定する候補判定手段を有し、前記外部情報に基づいて、前記特徴単位区間候補が前記特徴単位区間であるか否かについて判定するとしてもよい。
【０１７２】
この構成によると、音声処理装置は、特徴単位区間検出の基準となる外部情報（例えば、外部装置によるインデキシング結果や顔クラスタリング情報など）を、特徴単位区間の検出に反映させることが可能となる。
【０１７３】
（Ｉ）上記実施形態（Ｈ）の音声処理装置において、前記外部情報は、前記音声信号に対応するＡＶコンテンツにおいて、特定の人物の写る区間を判定可能な顔クラスタリング情報であり、前記区間判定手段は、前記顔クラスタリング情報に基づいて前記特定の人物が写っていると判定される特徴単位区間候補を、前記特徴単位区間として判定するとしてもよい。
【０１７４】
この構成によると、音声処理装置は、顔クラスタリング情報を特徴単位区間の検出に反映させることが可能となる。
【０１７５】
（Ｊ）上記実施形態（Ａ）の音声処置装置は、さらに、前記特徴単位区間近傍の所定数の連続する単位区間からなる基準区間の区間特徴それぞれを用いて、基準特徴を算出する基準特徴計算手段と、前記特徴単位区間近傍で、前記区間特徴が前記基準特徴と類似する複数の連続する単位区間からなる興味区間を抽出する興味区間抽出手段とを備えるとしてもよい。
【０１７６】
この構成によると、音声処置装置は、検出した特徴単位区間を用いて、興味区間を自動抽出することが可能である。その結果、興味区間を抽出する際のユーザの負担を軽減することが可能である。
【０１７７】
（Ｋ）上記実施形態（Ｊ）の音声処理装置において、前記基準区間は、前記特徴単位区間を含む所定数の連続する単位区間からなる区間であり、前記興味区間抽出手段は、前記基準区間を含む前記興味区間を抽出するとしてもよい。
【０１７８】
この構成によると、音声処置装置は、特徴単位区間を含む基準区間を用いることで、突発アクションの特徴単位区間に対して適切に興味区間を抽出することが可能である。
【０１７９】
（Ｌ）上記実施形態（Ｊ）の音声処理装置において、前記基準区間は、前記特徴単位区間の直前の所定数の連続する単位区間からなる第１基準区間、および、前記特徴単位区間の直後の所定数の連続する単位区間からなる第２基準区間であり、前記基準特徴計算手段は、前記第１基準区間から第１基準特徴を、前記第２基準区間から第２基準特徴を、前記基準特徴としてそれぞれ算出し、前記興味区間抽出手段は、前記第１基準区間を含み区間特徴が前記第１基準特徴と類似する単位区間からなる第１興味区間と、前記第２基準区間を含み区間特徴が前記第２基準特徴と類似する単位区間からなる第２興味区間とをそれぞれ算出し、前記興味区間として前記第１興味区間の始点から前記第２興味区間の終点までの区間を抽出するとしてもよい。
【０１８０】
この構成によると、音声処理装置は、特徴単位区間の前後で別々の基準特徴を算出することで、特徴単位区間前後でオーディオ信号の特徴が変化するアクション転換の特徴単位区間を含む興味区間を適切に抽出することが可能である。
【０１８１】
（Ｍ）上記実施形態（Ｊ）の音声処置装置において、前記基準区間は、前記特徴単位区間の直前の所定数の連続する単位区間からなる第１基準区間、および、前記特徴単位区間の直後の所定数の連続する単位区間からなる第２基準区間であり、前記基準特徴計算手段は、前記第１基準区間から第１基準特徴を、前記第２基準区間から第２基準特徴を、前記基準特徴としてそれぞれ算出し、前記興味区間抽出手段は、前記興味区間として、前記第１基準区間を含み区間特徴が前記第１基準特徴と類似する単位区間からなる第１興味区間と、前記第２基準区間を含み区間特徴が前記第２基準特徴と類似する単位区間からなる区間を第２興味区間とを、それぞれ抽出するとしてもよい。
【０１８２】
この構成によると、音声処理装置は、特徴単位区間前後でオーディオ信号の特徴が変化するアクション転換の特徴単位区間に対して、オーディオ信号の特徴が変化する前の興味区間と、オーディオ信号の特徴が変化した後の興味区間をそれぞれ抽出することが可能である。
【０１８３】
（Ｎ）上記実施形態（Ａ）の音声処理装置において、前記単位区間を第２単位区間とし、前記第２単位区間は、複数の連続する第１単位区間からなり、さらに、複数種類のサウンド素片それぞれの特徴を表現する確率モデルをあらかじめ記憶しているモデル記憶手段と、前記確率モデルを用いて、前記音声信号の前記サウンド素片それぞれに対する尤度を成分とする尤度ベクトルを、前記第１単位区間毎に生成する尤度ベクトル生成手段とを備え、前記区間特徴は、前記第２単位区間に含まれる複数の第１単位区間の尤度ベクトルを用いて生成され、前記サウンド素片それぞれの出現頻度を示す頻度ベクトルであるとしてもよい。
【０１８４】
この構成によると、音声処理装置は、サウンド素片を表現する確率モデルに基づいて、尤度ベクトルおよび頻度ベクトルを生成することで、オーディオ信号の各第１単位区間および各第２単位区間にサウンド素片の成分がどの程度含まれているかを尤度ベクトルおよび頻度ベクトルで表現することができる。
【０１８５】
（Ｏ）上記実施形態（Ｎ）の音声処理装置は、さらに、音声信号の前記第１単位区間における周波数特性を示す特徴量ベクトルを算出する特徴量ベクトル生成手段を備え、前記尤度ベクトル生成手段は、前記特徴量ベクトルおよび前記確率モデルを用いて前記尤度ベクトルを生成するとしてもよい。
【０１８６】
この構成によると、音声処置装置は、オーディオ信号の周波数特性を用いて、特徴単位区間を検出することができる。
【０１８７】
（Ｐ）上記実施形態（Ａ）の音声処置装置は、さらに、前記特徴単位区間内の点であって、当該特徴単位区間の特徴変化値の算出に用いられた区間特徴を生成した単位区間のうち当該特徴単位区間より前の単位区間の数と当該特徴単位区間より後の単位区間の数との割合と、当該特徴単位区間の終点からの時間と始点からの時間との割合とが一致する点を特徴点として抽出する特徴点抽出手段を備えるとしてもよい。
【０１８８】
この構成によると、音声処置装置は、オーディオ信号の特徴点を自動的に算出することが可能である。
【産業上の利用可能性】
【０１８９】
本発明に係る音声処理装置および音声処理方法は、音声、家中の音、外出時の音などを含むＡＶコンテンツなどのオーディオ信号から特徴単位区間を検出することにより、ユーザが興味の対象とする興味区間を自動抽出したり、特徴単位区間の強調再生（トリック再生やフィルタ処理）などを行うことが可能となり、音声編集装置や動画編集装置などに有用である。
【符号の説明】
【０１９０】
１００  映像編集装置
１０１  入力装置
１０２  コンテンツ記憶装置
１０３  音声抽出装置
１０４  音声処理装置
１０５  興味区間記憶装置
１０６  出力装置
１０７  アンカーモデル作成装置
１０８  初期代表ドミナントベクトル作成装置
１０９  音声データ蓄積装置
１１０  インターフェース装置
２０１  特徴量ベクトル生成部
２０２  尤度ベクトル生成部
２０３  尤度ベクトルバッファ
２０４  頻度ベクトル生成部
２０５  頻度ベクトルバッファ
２０６  特徴単位区間検出部
２０７  区間伸張基準指標計算部
２０８  興味区間抽出部
２０９  アンカーモデル蓄積部
３０１  ドミナントベクトル生成部
３０２  ドミナントベクトルバッファ
３０３  特徴変化値計算部
３０４  特徴単位区間候補検出部
３０５  特徴単位区間判定部
３０６  代表ドミナントベクトル更新部
３０７  代表ドミナントベクトル蓄積部
４０１  特徴量ベクトル生成部
４０２  特徴量ベクトル分類部
４０３  アンカーモデル生成部
５０１  特徴量ベクトル生成部
５０２  尤度ベクトル生成部
５０３  尤度ベクトルバッファ
５０４  頻度ベクトル生成部
５０５  頻度ベクトルバッファ
５０６  ドミナントベクトル生成部
５０７  ドミナントベクトルバッファ
５０８  初期代表ドミナントベクトル作成部
【図１】
0005908924.tif 000009
【図２】
0005908924.tif 000010
【図３】
0005908924.tif 000011
【図４】
0005908924.tif 000012
【図５】
0005908924.tif 000013
【図６】
0005908924.tif 000014
【図７】
0005908924.tif 000015
【図８】
0005908924.tif 000016
【図９】
0005908924.tif 000017
【図１０】
0005908924.tif 000018
【図１１】
0005908924.tif 000019
【図１２】
0005908924.tif 000020
【図１３】
0005908924.tif 000021
【図１４】
0005908924.tif 000022
【図１５】
0005908924.tif 000023
【図１６】
0005908924.tif 000024
【図１７】
0005908924.tif 000025
【図１８】
0005908924.tif 000026
【図１９】
0005908924.tif 000027
【図２０】
0005908924.tif 000028
【図２１】
0005908924.tif 000029
【図２２】
0005908924.tif 000030
【図２３】
0005908924.tif 000031
【図２４】
0005908924.tif 000032