(57)【要約】【課題】動画にＢＧＭをミキシングして合成動画を作成するにあたり、ユーザにとって好ましい合成動画を作成するためのオーディオ処理装置を提供する。【解決手段】オーディオ処理装置は、第１のオーディオ信号に、第２のオーディオ信号を重畳するオーディオ処理装置であって、前記第１のオーディオ信号の周波数特徴である第１周波数特徴を取得する第１特徴取得手段と、前記第１のオーディオ信号において、特定の音が含まれる特定区間があるか否かを判定する判定手段と、前記第１のオーディオ信号において、前記特定の音が含まれると判定された場合、前記第１周波数特徴を用いて、前記第２のオーディオ信号に関する処理を実行する処理手段とを備える。【選択図】図８
2014095806.tif 000002
【特許請求の範囲】
【請求項１】
第１のオーディオ信号に、第２のオーディオ信号を重畳するオーディオ処理装置であって、
前記第１のオーディオ信号の周波数特徴である第１周波数特徴を取得する第１特徴取得手段と、
前記第１のオーディオ信号において、特定の音が含まれる特定区間があるか否かを判定する判定手段と、
前記第１のオーディオ信号において、前記特定の音が含まれると判定された場合、前記第１周波数特徴を用いて、前記第２のオーディオ信号に関する処理を実行する処理手段とを備える
ことを特徴とするオーディオ処理装置。
【請求項２】
前記処理手段は、前記特定の音が含まれる前記特定区間の情報と、前記第１周波数特徴に含まれる前記特定の音の周波数特徴に基づいて前記第２のオーディオ信号のフィルタリングに用いる第１帯域フィルタの通過特性とを含むインデクス情報を生成するインデクス情報生成手段を備える
ことを特徴とする請求項１記載のオーディオ処理装置。
【請求項３】
前記第１特徴取得手段は、
前記第１のオーディオ信号について、単位区間毎に前記第１のオーディオ信号の特徴を表現する特徴量ベクトルを計算する特徴計算手段を備え、
前記インデクス情報生成手段は、
前記特定区間に含まれる単位区間の特徴量ベクトルに基づいて、前記特定区間の区間長に相当する時間窓に含まれる第１のオーディオ信号の特徴を表現する区間特徴表現ベクトルを生成する区間特徴表現ベクトル生成手段と、
前記区間特徴表現ベクトルを用いて、前記特定の音を強調するための特定音強調用ケプストラムを生成する特定音強調用ケプストラム生成手段と、
前記特定音強調用ケプストラムを用いて、前記第１帯域フィルタの通過特性を生成する第１帯域フィルタ生成手段とを備え、
前記特定区間の情報と前記第１帯域フィルタ生成手段により生成された前記第１帯域フィルタの通過特性とに基づいて、前記インデクス情報を生成する
ことを特徴とする請求項２記載のオーディオ処理装置。
【請求項４】
前記処理手段は、更に、
前記インデクス情報に含まれる前記帯域フィルタの通過特性を用いて、前記第２のオーディオ信号をフィルタリングするフィルタリング手段を備える
ことを特徴とする請求項３記載のオーディオ処理装置。
【請求項５】
前記処理手段は、更に、
前記第１のオーディオ信号に、フィルタリング後の第２のオーディオ信号を重畳する重畳手段を備える
ことを特徴とする請求項４記載のオーディオ処理装置。
【請求項６】
前記オーディオ処理装置は、更に、
前記第２のオーディオ信号の周波数特徴を示す第２周波数特徴を取得する第２特徴取得手段を備え、
前記処理手段は、更に、
前記第２周波数特徴に基づいて、前記第２のオーディオ信号を強調するための第２帯域フィルタを生成する第２帯域フィルタ生成手段と、
前記第２帯域フィルタを用いて、前記第１のオーディオ信号をフィルタリングする第２フィルタリング手段とを備える
ことを特徴とする請求項３記載のオーディオ処理装置。
【請求項７】
前記処理手段は、更に、
フィルタリング後の第１のオーディオ信号に、フィルタリング後の第２のオーディオ信号を重畳する重畳手段を備える
ことを特徴とする請求項６記載のオーディオ処理装置。
【請求項８】
前記特徴量ベクトルは、単位区間における前記第１のオーディオ信号のメル周波数ケプストラム係数であり、
前記区間特徴表現ベクトルは、前記時間窓に含まれる単位区間に対して算出された複数の特徴量ベクトルのセントロイドベクトルであり、
前記特定音強調用ケプストラムは、前記区間特徴表現ベクトルを、サウンド素片を表現する確率密度関数の平均値に対する重みとして、前記確率密度関数の平均値の重み付き加算演算を行って得られ、
前記第１帯域フィルタは、前記特定音強調用ケプストラムの逆数に対して、逆フーリエ変換を施したものである
ことを特徴とする請求項３記載のオーディオ処理装置。
【請求項９】
前記判定手段は、前記特定の音の周波数特徴を示す特定音表現ベクトルを保持し、前記第１周波数特徴と前記特定音表現ベクトルとを用いて、前記特定区間があるか否かを判定する
ことを特徴とする請求項１記載のオーディオ処理装置。
【請求項１０】
前記オーディオ処理装置は、更に、
１以上のアンカーモデルを蓄積するアンカーモデル蓄積手段を備え、
前記インデクス情報生成手段は、
前記単位区間毎に生成された特徴量ベクトル各々の、前記１以上のアンカーモデルを用いて、アンカーモデルそれぞれに対する尤度を示す尤度ベクトルを生成する尤度ベクトル生成手段と、
前記特定区間長の時間窓に含まれる単位区間それぞれに対して算出された尤度ベクトルを用いて、前記時間窓における各アンカーモデルの正規化累積尤度である頻度ベクトルを生成する頻度ベクトル生成手段とを備え、
前記判定手段は、前記頻度ベクトルと、前記特定音表現ベクトルとが一定以上の相関関係にあるか否かに応じて、前記特定区間があるか否かを判定する
ことを特徴とする請求項９記載のオーディオ処理装置。
【請求項１１】
前記判定手段は、更に、前記特定の音ではない非特定音の周波数特徴を示す非特定音表現ベクトルを保持し、前記判定手段は、前記頻度ベクトルが前記特定音表現ベクトルと一定以上の相関を示し、かつ、前記非特定音表現ベクトルと一定以上相関がないと判定された頻度ベクトルに対応する時間窓を、前記特定区間であると判定する
ことを特徴とする請求項５記載のオーディオ処理装置。
【請求項１２】
前記オーディオ処理装置は、更に、複数の相異なる第２のオーディオ信号を記憶する記憶手段と、
前記第２のオーディオ信号の周波数特徴である第２周波数特徴を取得する第２特徴取得手段とを備え、
前記処理手段は、
前記第１周波数特徴と前記第２周波数特徴とに基づき、前記記憶手段に記憶されている複数の相異なる第２のオーディオ信号の中から、前記第１のオーディオ信号に重畳する第２のオーディオ信号を検索する検索部を備える
ことを特徴とする請求項１記載のオーディオ処理装置。
【請求項１３】
前記オーディオ処理装置は、更に、
前記頻度ベクトルに基づいて、前記第１のオーディオ信号全体の特徴を示す第１特徴表現ベクトルを生成する特徴表現ベクトル生成手段を備え、
前記記憶手段は、更に、前記複数の第２のオーディオ信号それぞれの全体の特徴を示す第２特徴表現ベクトルを、対応する第２のオーディオ信号に対応付けて記憶し、
前記検索部は、前記第１特徴表現ベクトルと、前記第２特徴表現ベクトルとを用いて前記検索を実行する
ことを特徴とする請求項１２記載のオーディオ処理装置。
【請求項１４】
前記検索部は、前記第１周波数特徴と親和性が高い第２周波数特徴に対応する第２のオーディオ信号を、前記第１のオーディオ信号に重畳する第２のオーディオ信号として検索する
ことを特徴とする請求項１３記載のオーディオ処理装置。
【請求項１５】
前記処理手段は、更に、
前記第１のオーディオ信号に、前記検索部により検索された第２のオーディオ信号を重畳する重畳手段を備える
ことを特徴とする請求項１２記載のオーディオ処理装置。
【請求項１６】
前記オーディオ処理装置は、更に、
前記第２のオーディオ信号を選択するための基準となる基準情報の入力をユーザから受け付ける受付手段を備え、
前記検索部は、前記第１周波数特徴と前記第２周波数特徴に加えて、前記基準情報を用いて、前記検索を実行する
ことを特徴とする請求項１２記載のオーディオ処理装置。
【請求項１７】
第１のオーディオ信号に、第２のオーディオ信号を重畳するオーディオ処理装置が実行するオーディオ処理方法であって、
前記第１のオーディオ信号の周波数特徴である第１周波数特徴を取得する第１特徴取得ステップと、
前記第１のオーディオ信号において、特定の音が含まれる特定区間があるか否かを判定する判定ステップと、
前記第１のオーディオ信号において、前記特定の音が含まれると判定された場合、前記第１周波数特徴を用いて、前記第２のオーディオ信号に関する処理を実行する処理ステップとを含む
ことを特徴とするオーディオ処理方法。
【請求項１８】
第１のオーディオ信号に、第２のオーディオ信号を重畳するオーディオ処理装置のコンピュータにオーディオ処理を実行させる手順を示すオーディオ処理プログラムであって、
前記オーディオ処理は、
前記第１のオーディオ信号の周波数特徴である第１周波数特徴を取得する第１特徴取得ステップと、
前記第１のオーディオ信号において、特定の音が含まれる特定区間があるか否かを判定する判定ステップと、
前記第１のオーディオ信号において、前記特定の音が含まれると判定された場合、前記第１周波数特徴を用いて、前記第２のオーディオ信号に関する処理を実行する処理ステップとを含む
ことを特徴とするオーディオ処理プログラム。
【請求項１９】
第１のオーディオ信号に、第２のオーディオ信号を重畳するオーディオ処理集積回路であって、
前記第１のオーディオ信号の周波数特徴である第１周波数特徴を取得する第１特徴取得手段と、
前記第１のオーディオ信号において、特定の音が含まれる特定区間があるか否かを判定する判定手段と、
前記第１のオーディオ信号において、前記特定の音が含まれると判定された場合、前記第１周波数特徴を用いて、前記第２のオーディオ信号に関する処理を実行する処理手段とを備える
ことを特徴とするオーディオ処理集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のオーディオ信号を合成する際の音声処理に関する。
【背景技術】
【０００２】
従来、動画にＢＧＭを付与する目的で、動画に対して、その動画を撮影した際に得られた音声とは別の音声を合成することが行われる。一般的には、このようなＢＧＭが合成された動画を作成する場合には、動画に元から付与されている音声を消去、あるいは、音声のボリュームを最小にし、別の音声をＢＧＭとして重畳することが多く、動画を撮影した際に得られた音声が活かせないという問題がある。例えば、動画が、人物が会話をしている場面を撮影したものである場合に、その会話の音声を活かすことができないという問題がある。
【０００３】
特許文献１には、動画を撮影した際に得られる音声から、人物の会話音があるか否かを特定し、人物の会話音があると判定した区間においては、合成する音声のボリュームを低減して、元の動画に付随する音声に合成する技術が開示されている。特許文献１によれば、動画に付与されている人物の会話音を利用しつつ動画にＢＧＭを付与することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−０１０７８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の手法では、必ずしもユーザにとって、興味深い合成動画が作成されるとは限らないという問題がある。
そこで、本発明は、上記問題に鑑みてなされたものであり、動画に対して別の音声を重畳するような場合において生成された合成動画が、ユーザにとって特許文献１のものよりも興味深いものとすることができるオーディオ処理を実行できるオーディオ処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係るオーディオ処理装置は、第１のオーディオ信号に、第２のオーディオ信号を重畳するオーディオ処理装置であって、前記第１のオーディオ信号の周波数特徴である第１周波数特徴を取得する第１特徴取得手段と、前記第１のオーディオ信号において、特定の音が含まれる特定区間があるか否かを判定する判定手段と、前記第１のオーディオ信号において、前記特定の音が含まれると判定された場合、前記第１周波数特徴を用いて、前記第２のオーディオ信号に関する処理を実行する処理手段とを備えることを特徴とする。
【０００７】
また、本発明に係るオーディオ処理方法は、第１のオーディオ信号に、第２のオーディオ信号を重畳するオーディオ処理装置が実行するオーディオ処理方法であって、前記第１のオーディオ信号の周波数特徴である第１周波数特徴を取得する第１特徴取得ステップと、前記第１のオーディオ信号において、特定の音が含まれる特定区間があるか否かを判定する判定ステップと、前記第１のオーディオ信号において、前記特定の音が含まれると判定された場合、前記第１周波数特徴を用いて、前記第２のオーディオ信号に関する処理を実行する処理ステップとを含むことを特徴とする。
【０００８】
また、本発明に係るオーディオ処理プログラムは、第１のオーディオ信号に、第２のオーディオ信号を重畳するオーディオ処理装置のコンピュータにオーディオ処理を実行させる手順を示すオーディオ処理プログラムであって、前記オーディオ処理は、前記第１のオーディオ信号の周波数特徴である第１周波数特徴を取得する第１特徴取得ステップと、前記第１のオーディオ信号において、特定の音が含まれる特定区間があるか否かを判定する判定ステップと、前記第１のオーディオ信号において、前記特定の音が含まれると判定された場合、前記第１周波数特徴を用いて、前記第２のオーディオ信号に関する処理を実行する処理ステップとを含むことを特徴とする。
【０００９】
また、本発明に係るオーディオ処理集積回路は、第１のオーディオ信号に、第２のオーディオ信号を重畳するオーディオ処理集積回路であって、前記第１のオーディオ信号の周波数特徴である第１周波数特徴を取得する第１特徴取得手段と、前記第１のオーディオ信号において、特定の音が含まれる特定区間があるか否かを判定する判定手段と、前記第１のオーディオ信号において、前記特定の音が含まれると判定された場合、前記第１周波数特徴を用いて、前記第２のオーディオ信号に関する処理を実行する処理手段とを備えることを特徴とする。
【発明の効果】
【００１０】
これにより、オーディオ処理装置は、第１のオーディオ信号に含まれる特定の音に基づいて、従来よりも第２のオーディオ信号をより活かした処理を行って合成音の生成を実行できる。
【図面の簡単な説明】
【００１１】
【図１】動画ファイルに含まれるオーディオ信号の構成を示す概念図
【図２】特徴量ベクトルの算出方法を示す図
【図３】特徴量ベクトルの一例を示す図
【図４】アンカーモデルの一例を示す図
【図５】２つの単位区間における尤度ベクトルの例を示す図
【図６】第１区間と第２区間との関係を示す図
【図７】頻度ベクトルの例を示す図
【図８】オーディオ処理装置を備える映像視聴装置の機能構成例を示すブロック図
【図９】オーディオ処理装置の機能構成例を示すブロック図
【図１０】アンカーモデル作成装置の機能構成例を示すブロック図
【図１１】映像視聴装置の動作を示すフローチャート
【図１２】オーディオ処理装置の動作を示すフローチャート
【図１３】アンカーモデル作成装置の動作を示すフローチャート
【図１４】実施の形態２に係るオーディオ処理装置の機能構成例を示すブロック図
【図１５】音声処理のための入力を受け付けるユーザインターフェース画面例
【発明を実施するための形態】
【００１２】
＜発明者らが得た知見＞
発明者らは、動画に別の音声を重畳するにあたって、上記特許文献１に記載の技術を用いただけでは、動画中で、人物の会話が流れる部分で、重畳するＢＧＭのボリュームが絞られて会話が聞こえるようになるだけで、ＢＧＭが重畳された動画を視聴する際に、ユーザにとって興味深い合成動画になるとは限らないことを発見した。
【００１３】
そこで、合成動画の盛り上げ効果が薄れない手法として、周波数領域での処理を、動画に合成する音声に対してフィルタリングすることで、特許文献１のように単純なボリュームの低減を行うことに比して、ユーザにとってより興味深い合成動画になることを発見するに至った。
また、この発見に至る過程において、発明者らは、当該合成動画を作成するために用いる技術の一部が、動画に対して合成する音声の選択においても有用に働くことを知見した。
【００１４】
以下、本発明に係るオーディオ処理装置が、どのように音声の合成を行うのか、また、動画に対して適した音声を選択するのか、その手法について説明する。
＜実施の形態１＞
本発明に係るオーディオ処理装置の一実施形態について説明する。
＜１−１．概要＞
まず、オーディオ処理装置の動作の概要を説明し、本明細書において用いる用語やデータについて説明する。
【００１５】
オーディオ処理装置は、まず、別の音声を重畳する対象となる動画ファイルに含まれるオーディオ信号を所定時間長に分割した単位区間（図１の第１単位区間参照）について、それぞれにおけるオーディオ信号の特徴を表現する特徴量ベクトルを算出する。特徴量ベクトルは、２６のパラメータから成り、単位区間のオーディオ信号の特徴が、各パラメータとの相関性がどれだけ高いかに基づいて、表現される。なお、図１は、動画ファイルの音声データの構成例の概念図を示すものであり、本明細書において、オーディオ処理装置が処理する単位系を示す概念図である。
【００１６】
次に、オーディオ処理装置は、算出した特徴量ベクトルの各種のサウンド素片に対する尤度の集合である尤度ベクトルを算出し、複数の連続する第１単位区間から成る第２単位区間毎に、各尤度ベクトルについて、各サウンド素片の出現する頻度を示す頻度ベクトルを生成する。
各第２単位区間に対して算出された頻度ベクトルを用いて、予め蓄積しておいた音声ベクトルおよび非音声ベクトルとの類似性に基づいて、単位区間に音声が含まれるか否かを判定する。本実施の形態では、音声とは、特に人の会話音をいう。
【００１７】
オーディオ処理装置は、音声であると判定された区間（１以上の連続する単位区間（図１の第２単位区間参照））について、各単位区間の頻度ベクトルから、音声区間の特徴を表現する特徴表現ベクトルを生成する。
そして、オーディオ処理装置は、特徴表現ベクトルをサウンド素片のケプストラム係数の重み係数として加算した音声強調用ケプストラム係数を生成する。
【００１８】
最後に、オーディオ処理装置は、生成された音声強調用ケプストラム係数の逆数を各中心周波数毎に設定した帯域フィルタを作成する。
このようにして作成された帯域フィルタを動画ファイルのオーディオ信号に対して重畳するＢＧＭにフィルタリングすることで、各第２単位区間毎に、音声のある／なしでフィルタリングが行われる。そして、ケプストラムを用いることで、周波数方向でのフィルタリングが実行されることになるため、単純にボリュームの上げ下げを行った音声を動画に重畳するよりも、盛り上がり効果の高い、合成動画ファイルが生成できる。
＜１−２．データ＞
ここで、本実施の形態に係るオーディオ処理装置で使用するデータについて説明する。
＜動画ファイル＞
動画ファイルは、オーディオ信号Ｘ（ｔ）と複数の画像データとから構成される。オーディオ信号Ｘ（ｔ）は、振幅値の時系列データであり、図２（ａ）に示すような波形で表現することができる。図２（ａ）は、横軸に時間、縦軸に振幅をとった、オーディオ信号の波形例である。
＜ＢＧＭ用音楽ファイル＞
ＢＧＭ用音楽ファイルは、オーディオ信号Ｙ（ｔ）で構成される。オーディオ信号Ｙ（ｔ）は振幅値の時系列データであり、図２（ａ）と同様、波形で表現することができる。また、ＢＧＭ用音楽ファイルは、動画ファイルに合成するオーディオ信号であり、動画ファイルに含まれるオーディオ信号Ｘ（ｔ）とは別のオーディオ信号である。
＜特徴量ベクトル＞
特徴量ベクトルＭは、オーディオ信号Ｘ（ｔ）の特徴を表現するものであり、本実施の形態では、特徴量ベクトルＭを示すものとして、第１単位区間毎に分割されたオーディオ信号のメル周波数ケプストラム係数ＭＦＣＣ（Mel-Frequency Cepstrum Coefficients）を用いる。ここで、第１単位区間は、オーディオ信号Ｘ（ｔ）の時間軸における所定の長さ（例えば、１０ｍｓｅｃ）の区間であり、図２（ａ）において刻み単位を１０ｍｓｅｃとして、図２（ａ）における時刻ＴnからＴn+1までの区間である。
【００１９】
この特徴量ベクトルＭは、第１単位区間毎に算出される。従って、図３に示すように、時刻０ｓｅｃから時刻１ｓｅｃまでの間のオーディオ信号から１００個の特徴量ベクトルＭが生成されることになる。なお、図３は、時刻０ｓｅｃから時刻１ｓｅｃまでの間の各第１単位区間に対して算出される特徴量ベクトルＭの一例である。
＜アンカーモデル＞
アンカーモデルＡr（ｒ＝１，２，…，Ｋ）は、複数種類のサウンド素片となる音声データから生成される特徴量ベクトルを用いて作成される確率モデルであり、各種サウンド素片それぞれの特徴を表現するものである。即ち、アンカーモデルは各種サウンド素片に対応して作成される。本実施の形態では、混合正規分布モデル（GMM, Gaussian Mixture Model）を採用し、各アンカーモデルＡrは、正規分布を規定するパラメータで構成される。
【００２０】
図４に示すように、アンカーモデルは、複数種類（本実施の形態では１０２４種類）のサウンド素片毎に作成され、複数種類のサウンド素片それぞれに対応する特徴量出現確率関数ｂAr（Ｍ）により表される。特徴量出現確率関数ｂAr（Ｍ）は、各アンカーモデルＡrを規定する正規分布の確率密度関数であり、特徴量ベクトルＭを引数としてオーディオ信号Ｘ（ｔ）のサウンド素片それぞれに対する尤度Ｌr＝ｂAr（Ｍ）を算出することで得られる。
＜尤度ベクトル＞
尤度ベクトルＦは、上記アンカーモデルＡrに基づいて算出されるオーディオ信号Ｘ（ｔ）の複数種類のサウンド素片それぞれに対する尤度Ｌrを成分とするベクトルである。
【００２１】
図５は、２つの第１単位区間における尤度ベクトルＦを示す図である。図５（ａ）は、例えば、時刻０から数えてｎ番目の第１単位区間（時刻（１０×ｎ）ｍｓｅｃから時刻（１０×（ｎ＋１））ｍｓｅｃの間の区間）に対応する尤度ベクトルＦｎを示し、図５（ｂ）は、例えば、時刻０から数えてｍ番目の第１単位区間（時刻（１０×ｍ）ｍｓｅｃから時刻（１０×（ｍ＋１））ｍｓｅｃの間の区間）に対応する尤度ベクトルＦｍを示している（ｎ＜ｍ）。
＜頻度ベクトル＞
頻度ベクトルＮＦは、オーディオ信号の第２単位区間毎の特徴を表現するベクトルであり、特に、オーディオ信号の第２単位区間に係る各サウンド素片の出現頻度を表現するベクトルである。ここで、第２単位区間は、オーディオ信号Ｘ（ｔ）の時間軸における所定の長さ（例えば、１ｓｅｃ）の区間であり、図６に示すように、複数個の連続する第１単位区間に相当する。図１に示す例の場合では、第１単位区間を１０ｍｓｅｃとしたとき、第２単位区間は１００ｍｓｅｃということになる。
【００２２】
頻度ベクトルＮＦは、具体的には、第２単位区間に含まれる尤度ベクトルＦの正規化累積尤度、つまり、第２単位区間に含まれる尤度ベクトルＦの各成分の累積値を正規化したものである。なお、ここで正規化とは、頻度ベクトルＮＦのノルムを１にすることである。図７は、頻度ベクトルＮＦの一例を示す模式図である。
＜区間特徴表現ベクトル＞
区間特徴表現ベクトルは、オーディオ信号の第２単位区間毎に計算される当該第２単位区間が特定の音（本実施例では音声を例示するが、これに限定されるものではない）として判定された図７で示すような連続区間（以降、特定の音が現れるこの連続区間を音声区間と称する）から、この区間の特徴表現として、計算されるベクトルである。区間特徴表現ベクトルには、例えば、第２単位区間に含まれる１以上の第１単位区間の頻度ベクトルのセントロイドベクトルを用いることとする。
＜音声強調用ケプストラム＞
音声強調用ケプストラムは、上述した区間特徴表現ベクトルを、各サウンド素片を表現している正規分布の確率密度関数における平均ＭＦＣＣの重みとして加算して生成されたものである。
【００２３】
具体的には、音声強調用ケプストラムＳＣｅｐは、以下の数式から算出される。
【００２４】
【数１】
2014095806.tif 000003
ここで、Ｒｉは、区間特徴表現ベクトルであり、
Ｒi＝｛ｒ0、ｒ1、…、ｒ1023｝
と表すことができる。区間特徴表現ベクトルは、第２単位区間に含まれる第１単位区間の頻度ベクトルのセントロイドベクトルとして算出されることから、頻度ベクトルと同様に１０２４個のパラメータを有する。
【００２５】
また、μBAiは、サウンド素片ＢＡｉを表現する正規分布の確率密度関数の平均値であり、
μBAi＝｛μ0、μ1、…、μ25｝
と表すことができる。
数１を見れば明らかように、音声強調用ケプストラムは、特徴表現ベクトルＲiが、平均ＭＦＣＣ（μBAi）に対する重みとして乗じられて、加算される（総和演算が実行される）ことによって、得られていることがわかる。
＜帯域フィルタ＞
帯域フィルタは、音声強調用ケプストラムの逆数を、帯域フィルタの各中心周波数毎に設定したものであり、より具体的には、音声強調用ケプストラムの逆数から得られる各周波数における値をフィルタリング係数としたものである。
【００２６】
以下、オーディオ処理装置の詳細について説明する。
＜１−３．構成＞
以下、実施の形態１に係るオーディオ処理装置１０４を備える映像視聴装置１００の機能構成について説明する。
＜映像視聴装置１００＞
図８は、実施の形態１に係る映像視聴装置１００の機能構成例を示すブロック図である。図８に示すように、映像視聴装置１００は、入力装置１０１と、コンテンツ記憶装置１０２と、音声抽出装置１０３と、オーディオ処理装置１０４と、インデクス記憶装置１０５と、出力装置１０６と、アンカーモデル作成装置１０７と、音声データ蓄積装置１０８と、インターフェース装置１０９と、ＢＧＭ用音楽ファイル蓄積装置１１０と、帯域フィルタ適用装置１１１と、ミキシング装置１１２とから構成される。
＜入力装置１０１＞
入力装置１０１は、ディスクドライブ装置などで実現され、記録媒体１２０が装着されると、記録媒体１２０から動画ファイルを読み込んで、取得した動画ファイルをコンテンツ記憶装置１０２に格納する。なお、記録媒体１２０は、各種データを記憶する機能を有する媒体であり、例えば、光ディスクや、フレキシブルディスク、ＳＤカード、フラッシュメモリなどである。
＜コンテンツ記憶装置１０２＞
コンテンツ記憶装置１０２は、例えば、ハードディスク装置などで実現され、入力装置１０１が記録媒体１２０から取得した動画ファイルを格納している。動画ファイルは、動画ファイルそれぞれに固有のＩＤが付されて格納される。
＜音声抽出装置１０３＞
音声抽出装置１０３は、コンテンツ記憶装置１０２に記憶されている動画ファイルからオーディオ信号を抽出し、抽出したオーディオ信号をオーディオ処理装置１０４に入力する。なお、音声抽出装置１０３は、符号化されているオーディオ信号に対して復号化処理を行って、図２（ａ）に示すようなオーディオ信号Ｘ（ｔ）を生成する。また、音声抽出装置１０３は、例えば、プログラムを実行するプロセッサ等により実現される。
＜オーディオ処理装置１０４＞
オーディオ処理装置１０４は、音声抽出装置１０３から入力されるオーディオ信号Ｘ（ｔ）に基づいて音声区間の検出を行い、検出した音声区間の開始時刻、終了時刻および帯域フィルタの通過特性からなるインデクス情報をインデクス記憶装置１０５に格納する。オーディオ処理装置１０４の機能構成の詳細については後述する。
＜インデクス記憶装置１０５＞
インデクス記憶装置１０５は、例えば、ハードディスク装置などから実現され、オーディオ処理装置１０４から入力されるインデクス情報を記憶する。インデクス情報は、動画ファイルのＩＤおよび動画ファイルにおける音声区間の開始時刻、終了時刻およびその区間の音声強調用ケプストラムに基づいて作成された帯域フィルタの通過特性を含む。
＜出力装置１０６＞
出力装置１０６は、ミキシング装置１１２から出力される動画ファイルの音声データとフィルタリングされたＢＧＭ用音楽ファイルを合成した合成音と、コンテンツ記憶装置１０２から当該合成音の作成に仕様された動画ファイルの動画データとを取得し、表示装置１３０に出力する。出力装置１０６は、表示装置１３０に出力する映像データに、例えば、インデクス情報に対応する時刻に目印を付けたプログレスバーなどのユーザインターフェース（ＵＩ：User Interface）に関する情報を付与し、インターフェース装置１０９に入力されるユーザからの操作に応じて、スキップなどの再生制御を行う。
【００２７】
なお、出力装置１０６は、表示装置１３０との間で、接続ケーブルにより接続されるコネクタを含むインターフェースである。
＜アンカーモデル作成装置１０７＞
アンカーモデル作成装置１０７は、音声データ蓄積装置１０８に記憶されている音声データに基づいてアンカーモデルＡrを作成し、作成したアンカーモデルＡrをオーディオ処理装置１０４に出力する。アンカーモデル作成装置１０７の機能構成の詳細については後述する。
【００２８】
なお、アンカーモデル作成装置１０７がアンカーモデルＡrを作成するときに用いられる音声データは、音声区間を検出する対象となる動画ファイルとは別の複数の動画ファイルから、予め抽出して得られたオーディオ信号である。
＜音声データ蓄積装置１０８＞
音声データ蓄積装置１０８は、例えば、ハードディスク装置などで実現され、アンカーモデル作成装置１０７がアンカーモデルＡrを作成するときに用いられる音声データを予め記憶している。
＜インターフェース装置１０９＞
インターフェース装置１０９は、キーボードなどの操作部（図示せず）を備え、ユーザからの入力操作を受け付けて、アイテムの選択や決定、プログレスバーの操作情報などを出力装置１０６に出力する。また、インターフェース装置１０９は、ユーザからの入力に従って、作成すべきアンカーモデルの個数Ｋをアンカーモデル作成装置１０７に通知する機能や、ユーザが選択したＢＧＭ用音楽ファイルを特定し、オーディオ処理装置１０４に通知する機能を有する。
＜ＢＧＭ用音楽ファイル蓄積装置１１０＞
ＢＧＭ用音楽ファイル蓄積装置１１０は、動画ファイルにミキシングする音楽ファイルを保持し、インターフェース装置１０９からの指定にしたがって、ＢＧＭ用音楽ファイルを選択し、帯域フィルタ適用装置１１１に伝達する。
＜帯域フィルタ適用装置１１１＞
帯域フィルタ適用装置１１１は、インデクス記憶装置１０５に記憶されているインデクス情報を取得し、インデクス情報に含まれる音声区間の開始時刻、終了時刻および帯域フィルタの通過特性を用いて、ＢＧＭ用音楽ファイル蓄積装置１１０から入力されたＢＧＭ音楽ファイルに帯域フィルタを適用する。そして、帯域フィルタを適用した後のＢＧＭ音楽ファイルをミキシング装置１１２に伝達する。
＜ミキシング装置１１２＞
ミキシング装置１１２は、帯域フィルタ適用装置１１１により音声が聞こえ易いように変換されたＢＧＭ音楽ファイルと、動画ファイルの音声データをミキシングして得られる合成音データを、出力装置１０６に出力する。
＜表示装置１３０＞
表示装置１３０は、所謂モニタであり、出力装置１０６から出力された動画ファイルの映像データに基づく画像を表示するとともに、当該映像データに同期させて合成音データに基づく音を出力する。また、表示装置１３０は、出力装置１０６から出力されたユーザインターフェース画面を表示する。
＜オーディオ処理装置１０４の詳細＞
ここから、オーディオ処理装置１０４の詳細について説明する。
【００２９】
図９は、オーディオ処理装置１０４の機能構成例を示すブロック図である。なお、図９には、オーディオ処理装置１０４の周辺機能ブロックも示している。
図９に示すように、オーディオ処理装置１０４は、特徴量ベクトル生成部２０１と、尤度ベクトル生成部２０３と、尤度ベクトルバッファ２０４と、頻度ベクトル生成部２０５と、頻度ベクトルバッファ２０６と、音声／非音声判定部２０７と、特徴表現ベクトル生成部２０９と、インデクス生成部２１２と、アンカーモデル蓄積部２０２と、音声／非音声頻度ベクトル蓄積部２０８と、音声強調用ケプストラム生成部２１０と、帯域フィルタ生成部２１１とを備える。以下、各構成について説明する。
＜特徴量ベクトル生成部２０１＞
特徴量ベクトル生成部２０１は、音声抽出装置１０３から入力されたオーディオ信号Ｘ（ｔ）に基づいて、第１単位区間毎に、特徴量ベクトルＭを生成する。
【００３０】
まず、特徴量ベクトル生成部２０１は、第１単位区間のオーディオ信号Ｘ（ｔ）のパワースペクトラムＳ（ω）を算出する（図２（ｂ）参照）。パワースペクトラムＳ（ω）は、オーディオ信号Ｘ（ｔ）を時間軸から周波数軸に変換し、角周波数成分を二乗したものであり、第１単位区間の振幅値（パワー）を周波数成分に変換したものである。
次に、特徴量ベクトル生成部２０１は、パワースペクトラムＳ（ω）の周波数軸をメル周波数軸に変換したメル周波数ケプストラムＳ（ωmel）を算出する（図２（ｃ）参照）。
【００３１】
なお、図２（ｂ）は、第１単位区間のオーディオ信号をパワースペクトラムに変換したものの一例であり、横軸に周波数、縦軸にパワースペクトラムをとっている。また、図２（ｃ）は、第１単位区間のオーディオ信号のパワースペクトラムを更に、メル周波数ケプストラムに変換したものの一例であり、横軸にメル周波数、縦軸にメル周波数ケプストラムをとる。
【００３２】
最後に、特徴量ベクトル生成部２０１は、メル周波数ケプストラムＳ（ωmel）に基づき算出される所定数（本実施の形態では２６個（２６次元ともいう））の成分を特徴量ベクトルＭとする。
＜アンカーモデル蓄積部２０２＞
アンカーモデル蓄積部２０２は、メモリの一部の記憶領域により構成され、アンカーモデル作成装置１０７により作成されたアンカーモデルＡrを記憶している。なお、アンカーモデル蓄積部２０２は、オーディオ処理装置１０４の各処理の実行前に、予めアンカーモデルＡrを記憶している。
＜尤度ベクトル生成部２０３＞
尤度ベクトル生成部２０３は、特徴量ベクトル生成部２０１により生成される特徴量ベクトルＭおよびアンカーモデル蓄積部２０２に蓄積されているアンカーモデルＡrを用いて、オーディオ信号Ｘ（ｔ）の、サウンド素片それぞれに対する尤度Ｌrを算出し、各尤度を成分とする尤度ベクトルＦを第１単位区間毎に生成する。
＜尤度ベクトルバッファ２０４＞
尤度ベクトルバッファ２０４は、メモリの一部の記憶領域により構成され、尤度ベクトル生成部２０３により生成される尤度ベクトルＦを記憶する。
＜頻度ベクトル生成部２０５＞
頻度ベクトル生成部２０５は、尤度ベクトルバッファ２０４で記憶されている尤度ベクトルに基づいて、第２単位区間毎に頻度ベクトルＮＦを生成する。上述の通り、頻度ベクトルＮＦは、連続する複数の第１単位区間から成る第２単位区間について、各第２単位区間に含まれる第１単位区間それぞれの尤度ベクトルを構成する各アンカーモデルに対する尤度の累積値を正規化した累積正規化ベクトルである。
＜頻度ベクトルバッファ２０６＞
頻度ベクトルバッファ２０６は、メモリの一部の記憶領域により構成され、頻度ベクトル生成部２０５に生成される頻度ベクトルＮＦを記憶する。
＜音声／非音声判定部２０７＞
音声／非音声判定部２０７は、第２単位区間それぞれに対して算出された頻度ベクトルＮＦと、音声／非音声頻度ベクトル蓄積部２０８に蓄積されている音声頻度ベクトル、非音声頻度ベクトルの両方のベクトルとの距離計算を行い、算出された距離に基づき、各頻度ベクトルＮＦに対応する第２単位区間それぞれが音声区間であるか否かを判定する。具体的には、算出された頻度ベクトルＮＦ−音声頻度ベクトル間の距離Ｄ１と、頻度ベクトルＮＦ−非音声頻度ベクトル間の距離Ｄ２とについて、Ｄ１の方が短い場合には、頻度ベクトルＮＦに対応する第２単位区間は音声区間であると判定し、Ｄ２の方が短い場合には、頻度ベクトルＮＦに対応する第２単位区間は非音声区間であると判定する。
【００３３】
なお、距離の単位の一例として、本実施の形態では、ユークリッド距離を用いることとする。
＜特徴表現ベクトル生成部２０９＞
特徴表現ベクトル生成部２０９は、音声／非音声判定部２０７により、音声区間であると判定された連続する第２単位区間に対して、当該第２単位区間に対応する頻度ベクトル群を用いて、この音声区間に対するセントロイドベクトルを、当該音声区間の特徴表現ベクトルとして算出する。
＜音声強調用ケプストラム生成部２１０＞
音声強調用ケプストラム生成部２１０は、特徴表現ベクトル生成部２０９が作成した音声区間の特徴表現ベクトルを、アンカーモデル蓄積部２０２に蓄積する各アンカーモデルを規定する正規分布の確率密度関数の重みとして、各確率密度関数の平均値（平均値はＭＦＣＣであるため、ここでは、ケプストラム係数と呼称する）の重み付き加算演算を行うことで、音声強調用ケプストラムを生成する。
＜帯域フィルタ生成部２１１＞
帯域フィルタ生成部２１１は、音声強調用ケプストラム生成部２１０で合成して得られた音声強調用ケプストラムの逆数を、各帯域の中心周波数の重みとして設定し、帯域フィルタを作成する。
＜インデクス生成部２１２＞
インデクス生成部２１２は、帯域フィルタ生成部２１１で算出された音声区間の帯域フィルタに基づき、当該帯域フィルタをオーディオ信号に対してフィルタリングすべき音声区間の開始時刻情報と終了時刻情報と、作成した帯域フィルタの通過特性とを含むインデクス情報を作成する。
＜アンカーモデル作成装置１０７の詳細＞
アンカーモデル作成装置１０７は、メモリおよびプロセッサ（図示せず）から構成され、プロセッサがメモリに書き込まれたプログラムを実行することにより、図１０に示す構成を実現している。
【００３４】
図１０は、アンカーモデル作成装置１０７の機能構成例を示すブロック図である。図１０に示すようにアンカーモデル作成装置１０７は、特徴量ベクトル生成部３０１と、特徴量ベクトル分類部３０２と、アンカーモデル作成部３０３とを備え、音声データ蓄積装置１０８に記憶されている音声データに基づいてアンカーモデルを作成し、作成したアンカーモデルをアンカーモデル蓄積部２０２に記憶する機能を有する。以下、各構成について説明する。
＜特徴量ベクトル生成部３０１＞
特徴量ベクトル生成部３０１は、音声データ蓄積装置１０８に記憶されている音声データに基づいて、第１単位区間毎に、特徴量ベクトルＭを生成する。
【００３５】
なお、ここで生成される特徴量ベクトルＭは、上述した特徴量ベクトル生成部において生成されるものと同様のものである。ただし、特徴量ベクトルＭの元となるのが、オーディオ信号であるか、音声データであるかという差異がある。
＜特徴量ベクトル分類部３０２＞
特徴量ベクトル分類部３０２は、特徴量ベクトル生成部３０１により生成された特徴量ベクトルＭを、クラスタリング（分類）する。
【００３６】
特徴量ベクトル分類部３０２は、インターフェース装置１０９から入力されるアンカーモデルＡrの個数Ｋに基づいて、Ｋ−ｍｅａｎｓ法により、複数の特徴量ベクトルＭをＫ個のクラスタに分類する。なお、本実施の形態においては、Ｋ＝１０２４個とする。
＜アンカーモデル作成部３０３＞
アンカーモデル作成部３０３は、特徴量ベクトル分類部３０２により分類されたＫ個のクラスタそれぞれの平均および分散を算出し、アンカーモデルＡｒ（ｒ＝１、２、…、Ｋ）として、アンカーモデル蓄積部２０２に記憶する。
【００３７】
このようにして作成、蓄積されたアンカーモデルＡrは、頻度ベクトル生成のために供される。
＜アンカーモデル蓄積部３０４＞
アンカーモデル蓄積部３０４は、メモリの一部の領域により構成され、アンカーモデル作成部３０３により作成されたアンカーモデルＡrを記憶している。本実施の形態では、アンカーモデル蓄積部３０４は、オーディオ処理装置１０４の各処理の実行前に、予めアンカーモデルＡrを記憶している。
＜１−４．動作＞
以下、本実施の形態に係る映像視聴装置１００およびオーディオ処理装置１０４の動作について説明する。
【００３８】
まず、映像視聴装置１００による動画ファイルに、フィルタリングしたＢＧＭをミキシングした合成動画作成の全体的な処理の流れを説明し、次に、その合成動画作成のために必要なインデクス情報作成処理の詳細について説明する。
図１１は、映像視聴装置１００の合成動画を作成し、表示装置１３０に出力するまでの動作を示すフローチャートである。
【００３９】
図１１に示すように、映像視聴装置１００の入力装置１０１は、動画ファイルの入力を受け付ける（ステップＳ１１０１）。入力装置１０１は、受け付けた動画ファイルを、コンテンツ記憶装置１０２に記録する。
動画の入力を受け付けると、音声抽出装置１０３は、コンテンツ記憶装置１０２に記憶された動画ファイルを読み出し、そのオーディオ信号を抽出する。そして、抽出したオーディオ信号をオーディオ処理装置１０４に伝達する（ステップＳ１１０２）。
【００４０】
オーディオ処理装置１０４は、入力されたオーディオ信号に基づき、インデクス情報を作成し、インデクス記憶装置１０５に記録する（ステップＳ１１０３）。インデクス情報の作成処理に関する詳細は後述する。
インデクス記憶装置１０５にインデクス情報が記憶されると、ＢＧＭ用音楽ファイル蓄積装置１１０はインターフェース装置１０９から指定された音楽ファイルを帯域フィルタ適用装置１１１に伝達する。そして、帯域フィルタ適用装置１１１は、インデクス情報を読み出し、当該インデクス情報で示される音声区間の開始時刻、終了時刻、および帯域フィルタの通過特性に基づいて、伝達されたＢＧＭ用音楽ファイルをフィルタリングする（ステップＳ１１０４）。例えば、開始時刻０：１２：３０（ｈ：ｍ：ｓ）、終了時刻０：１３：４１、帯域フィルタＦという情報がインデクス情報に含まれていた場合には、ＢＧＭ用音楽ファイルの再生時間軸上において、ＢＧＭ用音楽ファイルの開始時刻を０分０秒として、１２分３０秒から１３分４１秒までの間、帯域フィルタＦを、ＢＧＭ用音楽ファイルに適用する。帯域フィルタ適用装置１１１は、ＢＧＭ用音楽ファイルに対して、入力された動画のオーディオ信号から作成された全てのインデクス情報に基づく帯域フィルタを対応する時間帯に適用する。帯域フィルタ適用装置１１１は、フィルタリング後のＢＧＭ用音楽ファイルを、ミキシング装置１１２に伝達する。
【００４１】
そして、ミキシング装置１１２は、帯域フィルタ適用装置１１１によって、生成されたフィルタリング後のＢＧＭ用音楽ファイルを、動画ファイルのオーディオ信号にミキシングする（ステップＳ１１０５）。
出力装置１０６は、ミキシングして得られた合成音と、対応する動画ファイルの映像データとを含む合成動画を表示装置１３０に出力する（ステップＳ１１０６）。
【００４２】
以上が、映像視聴装置１００により動画ファイルが入力されてから、ＢＧＭがミキシングされた合成動画が出力されるまでの流れである。
図１２は、オーディオ処理装置１０４の動作を示すフローチャートである。図１２に示すように、まず、オーディオ処理装置１０４は、オーディオ信号を入力される（ステップＳ１２０１）。
【００４３】
オーディオ信号を入力されると、まず、特徴量ベクトル生成部２０１は、オーディオ信号を第１単位区間に区切り、各第１単位区間の特徴量ベクトルを生成する（ステップＳ１２０２）。
各第１単位区間の特徴量ベクトルが算出されると、尤度ベクトル生成部２０３は、各第１単位区間の特徴量ベクトルを用いて、各第１単位区間の尤度ベクトルを算出する（ステップＳ１２０３）。算出された尤度ベクトルは、尤度ベクトルバッファ２０４に蓄積される。
【００４４】
次に、頻度ベクトル生成部２０５は、尤度ベクトルバッファ２０４に蓄積されている尤度ベクトルを用いて、連続する所定数（例えば、１００）の第１単位区間から成る各第２単位区間についての頻度ベクトルを生成し、頻度ベクトルバッファ２０６に蓄積する（ステップＳ１２０４）。
音声／非音声判定部２０７は、頻度ベクトルバッファ２０６に蓄積された頻度ベクトルと、音声／非音声頻度ベクトル蓄積部２０８に蓄積されている音声頻度ベクトルおよび非音声頻度ベクトルとを用いて、各第２単位区間が音声区間であるか否かを判定する（ステップＳ１２０５）。そして、音声区間であると判定された第２単位区間の開始時刻および終了時刻を特徴表現ベクトル生成部２０９に伝達する。
【００４５】
特徴表現ベクトル生成部２０９は、音声区間であると判定された継続する第２単位区間について、それぞれの特徴表現ベクトルを生成する（ステップＳ１２０６）。例えば、ｎ番目からｎ＋６番目の第２単位区間までが音声区間であると判定された場合には、ｎ番目からｎ＋６番目の７個の第２単位区間それぞれに対して算出された計７個の頻度ベクトルのセントロイドベクトルをこの音声区間の特徴表現ベクトルとする。また、連続しない一つの第２単位区間が音声区間であると判定された場合には、その第２単位区間の頻度ベクトルそのものが、特徴表現ベクトルとなる。
【００４６】
特徴表現ベクトル生成部２０９は、生成した特徴表現ベクトルと、対応する第２単位区間（音声区間）の開始時刻および終了時刻の情報を音声強調用ケプストラム生成部２１０に伝達する。
音声強調用ケプストラム生成部２１０は、アンカーモデル蓄積部２０２に蓄積されている生成された特徴表現ベクトルを用いて、音声強調用ケプストラムを生成する（ステップＳ１２０７）。音声強調用ケプストラム生成部２１０は、生成した音声強調用ケプストラムの情報と、対応する第２単位区間の開始時刻および終了時刻の情報を帯域フィルタ生成部２１１に伝達する。
【００４７】
そして、帯域フィルタ生成部２１１は、入力された音声強調用ケプストラムの逆数をとることで、帯域フィルタを生成する（ステップＳ１２０８）。帯域フィルタ生成部２１１は、生成した帯域フィルタの通過特性と、対応する第２単位区間の開始時刻および終了時刻の情報をインデクス生成部２１２に伝達する。
オーディオ処理装置１０４のインデクス生成部２１２は、インデクス生成処理を行う（ステップＳ１２０９）。即ち、帯域フィルタ生成部２１１から、伝達された帯域フィルタの通過特性と、その帯域フィルタをＢＧＭにおいて適用すべき開始時刻および終了時刻の情報とを対応付けたインデクス情報を生成する。
【００４８】
そして、インデクス生成部２１２は、生成したインデクス情報をインデクス記憶装置１０５に記録し（ステップＳ１２１０）、オーディオ処理装置１０４は、入力されたオーディオ信号に対して、ＢＧＭを重畳する際に、そのＢＧＭに適用すべき帯域フィルタの通過特性の生成処理を終了する。
以上がオーディオ処理装置１０４に依る帯域フィルタの通過特性を含むインデクス情報の作成処理である。
【００４９】
最後にアンカーモデル作成装置１０７によるアンカーモデルＡrの作成処理について説明する。図１３は、アンカーモデル作成装置１０７によるアンカーモデル作成のフローチャートである。
アンカーモデル作成装置１０７は、まず、音声データ蓄積装置１０８に蓄積されている音声データそれぞれについて、以下の処理を実行する。
【００５０】
まず、アンカーモデル作成装置１０７の特徴量ベクトル生成部３０１は、音声データ蓄積装置の音声データについて、その音声データの第１単位区間毎の特徴量ベクトルＭを取得する（ステップＳ１３０１）。
次に、アンカーモデル作成装置１０７の特徴量ベクトル分類部３０２は、特徴量ベクトル生成部３０１が生成した特徴量ベクトルＭをＫ−ｍｅａｎｓ法を用いて、Ｋ個のクラスタに分類するクラスタリングを実行する（ステップＳ１３０２）。
【００５１】
特徴量ベクトルＭのＫ個のクラスタへの分類が終わると、アンカーモデル作成装置１０７のアンカーモデル作成部３０３は、各クラスタについて、そのクラスタに含まれる特徴量ベクトルＭの、平均と分散を算出する。そして、算出されたＫ個の平均と分散の組をそれぞれアンカーモデルとして、アンカーモデル蓄積部２０２に記憶させる（ステップＳ１３０３）。
【００５２】
こうして、アンカーモデル作成装置１０７により作成されたアンカーモデルＡｒは、アンカーモデル蓄積装置に蓄積され、頻度ベクトル作成部により、頻度ベクトル作成のために供される。
＜まとめ＞
上述したように、オーディオ処理装置１０４は、動画ファイルのオーディオ信号において、音声が検出される区間で、当該音声を強調するケプストラムを生成する。そして、ＢＧＭにフィルタリングする帯域フィルタとすることで、ＢＧＭにおいて、動画ファイルの音声が検出される周波数帯域の音のみを抑制し、その他の周波数帯域の音は抑制しないことになる。したがって、特許文献１のように、急にＢＧＭの音量が下がることがないため、フィルタリング後のＢＧＭを動画ファイルのオーディオ信号に重畳して完成する合成動画をユーザは違和感なく視聴することができるとともに、動画ファイルの音声を聞き取れるようになる。
【００５３】
即ち、オーディオ処理装置１０４は、さまざまな音が交じり合った音声情報の中から適切に音声区間を判定し、その音声区間を強調する帯域フィルタを作成可能であることにより、BGM用音楽ファイルを動画ファイルにおける音声を抑圧しないように、ミキシングすることが可能となる。
＜実施の形態２＞
上記実施の形態１においては、動画ファイルのオーディオ信号に、別のＢＧＭを重畳する場合の処理について説明した。本実施の形態２においては、オーディオ処理装置による、動画ファイルのオーディオ信号に重畳するＢＧＭの選択手法について説明する。
【００５４】
なお、本実施の形態２においては、実施の形態１と共通する内容の説明については、省略あるいは簡略化する。
＜２−１．構成＞
図１４は、実施の形態２に係る映像視聴装置１４００の機能構成例を示すブロック図である。
【００５５】
図１４に示すように映像視聴装置１４００は、上記実施の形態１に示した映像視聴装置１００の機能構成に加えて、ＢＧＭ検索部１１３を備える。上記実施の形態１においては、ミキシングするＢＧＭ用音楽ファイルを、インターフェース装置１０９を用いてユーザが指定することで、選択していたが、本実施の形態２においては、ＢＧＭ検索部１１３が自動的にＢＧＭ用音楽ファイルの検索を行って選択する。
＜ＢＧＭ用音楽ファイル蓄積装置１１０＞
ＢＧＭ用音楽ファイル蓄積装置１１０は、上記実施の形態１に示した機能に加え、更に、各ＢＧＭ用音楽ファイルに対応付けて、それぞれの音楽ファイルの周波数特徴を示すＢＧＭ特徴表現ベクトルをＢＧＭ用音楽ファイルの属性情報として記憶している。
【００５６】
ＢＧＭ特徴表現ベクトルは、オーディオ処理装置１０４の頻度ベクトル生成部がオーディオ信号に対して行った処理と同様に、ＢＧＭ用音楽ファイルの第２単位区間毎の頻度ベクトルを求め、ＢＧＭ用音楽ファイル全体から得た各頻度ベクトルのセントロイドベクトルとして得られる。
＜ＢＧＭ検索部１１３＞
ＢＧＭ検索部１１３は、オーディオ処理装置１０４から、入力されたオーディオ信号に対して特徴表現ベクトル生成部が生成した特徴表現ベクトルを取得する。そして、取得した特徴表現ベクトルを用いて、ＢＧＭ用音楽ファイル蓄積装置１１０に蓄積されているＢＧＭ用音楽ファイルを検索する。具体的には、ＢＧＭ検索部１１３は、取得した特徴表現ベクトルと、ＢＧＭ用音楽ファイル蓄積装置１１０に蓄積されているＢＧＭ用音楽ファイルに対応付けられているＢＧＭ特徴表現ベクトルそれぞれとの間のユークリッド距離を算出する。そして、最もユークリッド距離が近い（短い）ＢＧＭ特徴表現ベクトルに対応するＢＧＭ用音楽ファイルを、ミキシングするＢＧＭとして選択する。
＜映像視聴装置１４００＞
映像視聴装置１４００の帯域フィルタ適用装置１１１は、ＢＧＭ検索部１１３が検索したＢＧＭに対して、オーディオ処理装置１０４が作成したインデクス情報に基づく帯域フィルタを適用する。そして、ミキシング装置１１２は、フィルタリング後のＢＧＭを動画ファイルにミキシングする。
＜２−２．まとめ＞
このように、ＢＧＭ検索部１１３を備えた映像視聴装置１４００は、自動的に重畳すべきＢＧＭを選択することができ、上記実施の形態１に示したように、ＢＧＭ検索部１１３が検索したＢＧＭ音楽ファイルに対して、オーディオ処理装置１０４が入力されたオーディオ信号に基づいて作成したインデクス情報を用いて作成された帯域フィルタを適用し、オーディオ信号の音声を阻害しないフィルタリング後のＢＧＭをミキシングすることができる。
【００５７】
したがって、実施の形態２に係る映像視聴装置１４００は、ユーザによるＢＧＭの選択入力を必要としないため、ユーザにＢＧＭの選曲の手間を煩わせることがないという利点がある。
＜変形例＞
上記実施の形態に従って、本発明に係るオーディオ処理装置について説明してきたが、本発明の実施の形態はこれに限られるものではない。以下、本発明の思想として含まれる各種変形例について説明する。
【００５８】
（１）上記実施の形態１においては、動画に重畳するＢＧＭに対してのみ、帯域フィルタを用いてフィルタリングすることとした。しかし、これは、ＢＧＭだけでなく、動画ファイルのオーディオ信号に対して、ミキシングするＢＧＭの特徴表現ベクトルから作成した帯域フィルタを用いてフィルタリングする構成をとってもよい。本変形例（１）では、説明の便宜上、オーディオ信号に対してフィルタリングする帯域フィルタをオーディオ信号用帯域フィルタ、ＢＧＭ用音楽ファイルに対してフィルタリングする帯域フィルタ（上記実施の形態１の帯域フィルタ）をＢＧＭ用帯域フィルタと呼称する。
【００５９】
具体的には、映像視聴装置１００は、更に、オーディオ処理装置１０４相当の構成を備えるＢＧＭ処理装置を備える。ＢＧＭ処理装置は、オーディオ処理装置と同等の構成を備えるものの、音声強調用ケプストラム生成部２１０に換えて、ＢＧＭ強調用ケプストラム生成部を備えるものとする。また、ＢＧＭ処理装置は、音声／非音声判定部２０７、音声／非音声頻度ベクトル蓄積部２０８を備える必要はない。
【００６０】
ＢＧＭ処理装置の特徴表現ベクトルは、ＢＧＭ用音楽ファイル全体に対して生成された頻度ベクトル全てのセントロイドベクトルから算出される。
そして、ＢＧＭ強調用ケプストラム生成部は、ＢＧＭを強調するために、動画ファイルの音声データをフィルタリングする帯域フィルタの元となるＢＧＭ強調用ケプストラムを生成する。具体的には、ＢＧＭ強調用ケプストラムは、ＢＧＭ処理装置が生成した特徴表現ベクトルと、オーディオ処理装置が生成した音声強調用ケプストラムとの排他的論理和から算出される。
【００６１】
ＢＧＭ処理装置の帯域フィルタ生成部は、ＢＧＭ強調用ケプストラムの逆数を算出することで帯域フィルタの通過特性を得る。
映像視聴装置１００の帯域フィルタ適用装置１１１は、オーディオ処理装置１０４と、ＢＧＭ処理装置双方からインデクス情報を取得する。そして、オーディオ処理装置１０４から取得したインデクス情報に基づいて、ＢＧＭのオーディオ信号に対するフィルタリングを実行するとともに、ＢＧＭ処理装置から取得したインデクス情報に基づいて、動画ファイルの音声データに対するフィルタリングを実行する。フィルタリング後の両信号は、ミキシング装置１１２に伝達される。
【００６２】
ミキシング装置１１２は、フィルタリング後の動画ファイルの音声データと、フィルタリング後のＢＧＭのオーディオ信号とをミキシングし、生成された合成音を出力装置１０６に伝達する。
これによって、動画ファイルのオーディオ信号とＢＧＭ用音楽ファイルとの、それぞれの特徴を活かした合成動画を作成することができる。
【００６３】
（２）上記実施の形態１および変形例（１）においては、音声強調用ケプストラムや、ＢＧＭ強調用ケプストラムについて、算出されたものをそのまま逆数をとって帯域フィルタを作成することとした。しかし、これは、その限りではなく、映像視聴装置１００のインターフェース装置１０９は、音声やＢＧＭをどの程度強調するのかを決定するためのユーザインターフェースを備えていてもよい。この場合、オーディオ処理装置１０４やＢＧＭ処理装置は、入力された内容（例えば、強調度合を示すメーターに対する入力）に応じて決定される係数を、対応するケプストラムに乗じた上で、その逆数をとって帯域フィルタを作成することになる。
【００６４】
これにより、よりユーザの好みが反映される合成動画を作成することができる。
（３）上記実施の形態において、音声／非音声頻度ベクトル蓄積部２０８は、それぞれ、１つずつの音声頻度ベクトルと非音声頻度ベクトルとを蓄積することとした。しかし、これは、共に１つである必要はなく、複数の相異なる音声頻度ベクトル、非音声頻度ベクトルを蓄積していてもよい。これに応じて、音声／非音声判定部は、各音声頻度ベクトル、非音声頻度ベクトルとの距離を算出する。そして、音声／非音声判定部は、距離Ｄ１の短いものがＤ２よりも多かった場合に、第２単位区間を音声区間であると判定し、距離Ｄ２の短いものがＤ１よりも多かった場合に、第２単位区間を非音声区間であると判定する。
【００６５】
人の音声には、人毎に特徴が現れるため、必ずしも一つの音声頻度ベクトルで表現しきれるとは限らない。そこで、このように複数の音声頻度ベクトルを記憶しておけば、様々な音声に対応することができるようになる。また、同時に、複数の音声頻度ベクトル、非音声頻度ベクトルとの距離の比較を行うことで、第２単位区間が音声区間であるか否かの判定の精度を高めることができる。
【００６６】
（４）上記実施の形態において、音声／非音声頻度ベクトル蓄積部２０８は、音声頻度ベクトルと、非音声頻度ベクトルとの双方を蓄積していることとしたが、第２単位区間が音声区間であるかを判定できるのであれば、音声頻度ベクトルだけを蓄積することとしてもよい。この場合、音声／非音声判定部は、第２単位区間の頻度ベクトルと、音声頻度ベクトルとの間の相関値（内積）を求め、その値が予め定めた閾値以上であれば、その第２単位区間は、音声区間であると判定することとしてもよい。
【００６７】
また、上記実施の形態においては、頻度ベクトルと、音声頻度ベクトルおよび非音声頻度ベクトルとの間の距離を求めることで、頻度ベクトルが音声頻度ベクトルの方に近いか否かで以って音声区間であるか否かを判定する指標としたが、これは、距離ではなく、頻度ベクトルが一定以上音声頻度ベクトルと相関し、非音声頻度ベクトルと一定以上相関しないかに基づいて音声区間であるか否かを判定することとしてもよい。
【００６８】
この構成にすると、非音声頻度ベクトルを記憶するために必要とするメモリ領域を空けることができ、かつ、非音声頻度ベクトルとの間の距離計算および音声頻度ベクトルとの間で計算された距離との比較演算を省略できるので、演算速度を向上させることができる。
（５）上記実施の形態２において、ＢＧＭ検索部は、入力されたオーディオ信号の特徴表現ベクトルに基づいてＢＧＭ用音楽ファイルを検索したが、これはその限りではない。ＢＧＭ検索部は、ユーザの希望や嗜好が反映された検索を実行してもよい。
【００６９】
即ち、インターフェース装置１０９は、例えば、図１５に示すような、ＧＵＩ（Graphic User Interface）を備え、表示装置１３０に出力する構成を備えていてもよい。
そして、この入力インターフェースに対する入力に応じたＢＧＭ検索を実行してもよい。以下、その手法について説明する。
図１５に示す入力インターフェースは、例えば、表示装置１３０に表示され、表示装置１３０に付属するリモコン等の入力装置を用いて、入力が行われる。
【００７０】
図１５に示すように、ユーザインターフェースは、ユーザがＢＧＭとしてどのような雰囲気の曲を選曲してほしいかの希望を入力するためのものであって、ＢＧＭ用音楽ファイルの雰囲気の指標を入力するものである。
図１５に示すように、その雰囲気としてのＢＧＭイメージ、それに対応付けて、その雰囲気に合致するＢＧＭを選曲するのか否かを選択するためのチェックボックス１５０３と、どの程度の割合でＢＧＭイメージに合致するかを決定するためのイメージ強度メーター１５０４が対応付けられている。ユーザは、十字キーと決定ボタンを備えるリモコンを用いて、図１５に示すカーソル１５０１を上下ボタンで動かして、選択項目を選択する。また、左右キーで、カーソル内カーソル１５０２を動かして、チェックボックスとイメージ強度メーター１５０４の操作対象を変更する。カーソル内カーソル１５０２がチェックボックスを選択している状態で決定ボタンを押下することで、チェックのＯＮ／ＯＦＦを切り替えることができる。また、カーソル内カーソル１５０２がイメージ強度メーター１５０４を選択している状態で、決定ボタンを押下すると左右キーでイメージ強度メーター１５０４の値の上下を操作でき、再度決定ボタンを押下することで、イメージ強度メーター１５０４を操作できる状態を解除し、チェックボックスとイメージ強度メーター１５０４の選択ができるようになる。
【００７１】
ユーザは、各チェックボックスにチェックを入れるか否かに応じて、その雰囲気に合致するＢＧＭを選曲するのかを選択することができる。
また、それぞれに対応しているイメージ強度メーター１５０４への入力を以って、どの程度合致するものを選曲するのかを選択することができる。
一方、ＢＧＭ検索部は、インターフェース装置１０９から、ユーザからの入力情報を受け付けて、ＢＧＭ用音楽ファイルを検索する。
【００７２】
ＢＧＭ検索部は、図１５に示す各雰囲気に合致する予め定められた検索用の特徴表現ベクトルを保持している。これは、例えば、川のせせらぎなどの場合は、実際に川の周辺で環境音を録音し、録音して得られたオーディオ信号の頻度ベクトルを求めて検索用の特徴表現ベクトルを作成すればよい。
そして、チェックボックスにチェックが入っている雰囲気（ＢＧＭイメージ）に対応する検索用の特徴表現ベクトルを用い、イメージ強度メーター１５０４のパーセンテージ（例えば、０％〜１００％）に応じた係数（例えば、５０％なら、０．５、７２％なら０．７２）をその特徴表現ベクトルに乗じた後に、係数が乗じられた特徴表現ベクトルと、一定以上、相間が高いＢＧＭ用音楽ファイルを検索する。これは、係数が乗じられた特徴表現ベクトルと、ＢＧＭ用音楽ファイルのＢＧＭ特徴表現ベクトルの距離が一定以上近いか否かに応じて検索する。これは、両特徴表現ベクトルの内積が一定以上あるか否かであってもよい。
【００７３】
なお、複数のチェックボックスにチェックが入っている場合には、それぞれの雰囲気に応じて、複数回検索を行ってもよいし、チェックが入っている各雰囲気の係数が乗じられた特徴表現ベクトルのセントロイドベクトルを算出して、当該セントロイドベクトルを検索に用いてもよい。
このように、ＢＧＭ検索部は、オーディオ信号の特徴表現ベクトルではなく、ユーザの希望に応じたＢＧＭ検索を実行してもよい。
【００７４】
なお、ここでは、イメージ強度メーター１５０４のパーセンテージのスケーリングを０〜１００％にしているが、これは、別のスケーリングであってもよく、例えば、０〜２００％、あるいは、−１００〜１００％というようなスケーリングであってもよいし、パーセンテージではなく、予め定められた強度レベル設定の選択（例えば、検索するＢＧＭのＢＧＭイメージを反映させる度合として１〜５レベルまで選択でき、各レベルに応じて予め検索用の特徴表現ベクトルに対して乗じる係数を定めることで、実現できる）であってもよい。
【００７５】
（６）上記実施の形態２においては、ＢＧＭ検索部は、入力されたオーディオ信号との親和性が高いＢＧＭを検索することとしたが、これは、その限りではない。
上記実施の形態において、オーディオ信号の特徴表現ベクトルは、音声区間の特徴表現ベクトルを用いているので、特に音声の特徴が出やすい傾向にある。そこで、逆に親和性の低いＢＧＭを選曲することで、元から、音声を邪魔する周波数帯域の音が少ないＢＧＭを選曲することもできる。この場合、ＢＧＭに対して適用される帯域フィルタにより抑制される音が少なくなるため、ＢＧＭとしての違和感が少なくなる。
【００７６】
また、上記変形例（４）に示したように、入力したオーディオ信号に対して、どのようなＢＧＭをミキシングしたいかの指標（入力したオーディオ信号に対する親和性が高い、あるいは、低いなど）となる入力をユーザに行わせて、その入力結果に応じた検索を実行してもよい。この手法は、上記変形例（４）に示したものと同様の手法をとればよい。ただし、上記変形例（４）とは異なり、基本となる特徴表現ベクトルは、入力したオーディオ信号から算出したものになる。
【００７７】
（７）上記実施の形態２においては、特徴表現ベクトルとＢＧＭ特徴表現ベクトルとの間の親和性を求めるために、ベクトル間のユークリッド距離を用いたが、これはその限りではない。例えば、ベクトル間の内積を求め、その値が最も高いものを選択することとしてもよい。
（８）上記実施の形態２においては、親和性の最も高いものをＢＧＭとして選択することとしたが、特徴表現ベクトルと、ＢＧＭ特徴表現ベクトルとの間の距離が、予め定めた閾値距離よりも近いものを選択してもよい。そして、複数のＢＧＭが検索された場合は、その中からユーザに１つを選択させることとしてもよい。
【００７８】
（９）上記実施の形態２においては、ＢＧＭ検索部によるＢＧＭの自動検索の後に、実施の形態１と同様にＢＧＭに対するフィルタリングを行った上でミキシングを実行している。
しかし、場合によっては、フィルタリングを実行することなく、ミキシングを実行することとしてもよい。
【００７９】
また、ＢＧＭ検索部１１３は、ミキシングの用途に限らず、音楽検索全般のための検索エンジンとしても用いることができる。
（１０）上記実施の形態において、アンカーモデル作成装置１０７の特徴量ベクトル生成部３０１は、特徴量ベクトルを生成しているが、これは、予め生成して音声データ蓄積装置１０８に蓄積されていたものを取得し、特徴量ベクトル分類部３０２に伝達することとしてもよい。
【００８０】
（１１）上記実施の形態において、帯域フィルタ適用装置１１１や、ミキシング装置１１２は、オーディオ処理装置１０４外に設けることとしたが、これは、オーディオ処理装置１０４内に設けることとしてもよい。
（１２）上記実施の形態２において、ＢＧＭ検索部１１３をオーディオ処理装置外部に設けているが、これは、オーディオ処理装置１０４内に設けることとしてもよい。
【００８１】
（１３）上記実施の形態１においては、映像視聴装置１００が、動画ファイルにＢＧＭをミキシングする例を示したが、これは、動画ファイルに音楽ファイルをミキシングすることに限定するものではない。映像視聴装置は、動画ではなく、入力された音楽ファイルに別の音楽ファイル（ＢＧＭ）をミキシングするものであってもよい。
（１４）上記実施の形態では、第２単位区間における頻度ベクトルは、それぞれの区間に含まれる尤度ベクトルの各成分の正規化累積尤度を成分とするベクトルであるとしたが、頻度ベクトルは、その区間におけるオーディオ信号の特徴を表すものであればよく、特に、頻出する音の成分を特定できるものであれば、正規化累積尤度以外を成分とするベクトルであってもよい。例えば、単位区間に含まれる尤度ベクトルの各成分を累積し、累積尤度の高い上位ｋ個（ｋは複数であり、例えば、１０）のアンカーモデルのみに対応する累積尤度を正規化したベクトルであってもよい。あるいは、頻度ベクトルは、累積した値を正規化することなく、そのまま累積した尤度を成分とするベクトルや、各尤度の平均値を成分とするベクトルであってもよい。
【００８２】
（１５）上記実施の形態では、特徴量ベクトルとしてＭＦＣＣを用いるとしたが、オーディオ信号の第１単位区間における特徴を表現するものであればこれに限られるものではない。例えば、パワースペクトラムなどのオーディオ信号の周波数特性を用いてもよいし、オーディオ信号の振幅の時系列そのものを特徴量として用いてもよい。
また、上記実施の形態では、ＭＦＣＣ２６次元を用いるとしているが、これは実験により２６次元とすることで好適な結果が得られたためであり、本発明の特徴量ベクトルを２６次元に制限するものではない。
【００８３】
（１６）上記実施の形態では、音データ記憶装置に予め蓄積されている音データからクラスタリングを用いて分類した複数種類のサウンド素片それぞれのアンカーモデルＡｒを作成する（いわゆる教師無しでアンカーモデルを作成する）例について説明したが、アンカーモデル作成手法は、これに限定されるものではない。例えば、音データ記憶装置に蓄積されている音データについて、ユーザが各サウンド素片それぞれに対応する音データを選択し、それぞれに種別ラベルを付与し、種別ラベルが同一な音データから対応するサウンド素片のアンカーモデルを作成する（いわゆる教師ありでアンカーモデルＡｒを作成する）こととしてもよい。
【００８４】
（１７）上記実施の形態における第１単位区間、第２単位区間それぞれの時間の長さは一例である。その時間長は、第１単位区間＜第２単位区間となっていれば、上記実施の形態に示した以外の長さであってもよい。なお、このとき、第２単位区間の長さは、第１単位区間の長さの倍数になっていると処理が簡易になる。
（１８）上記実施の形態では、尤度ベクトルバッファ、頻度ベクトルバッファ、および、アンカーモデル蓄積部は、メモリの一部により構成されるとしたが、オーディオ処理装置が読み書き可能な記憶装置であればこの限りではない。例えば、ハードディスクやフレキシブルディスクであってもよいし、外部接続の記憶装置であってもよい。
【００８５】
（１９）上記実施の形態に示した音データ記憶装置に記憶される音声データは、適宜新たな音声データが追加されてよく、また、コンテンツ記憶装置に記憶された動画ファイルの音データを記憶してもよい。
そして、新たな音データの追加に伴い、アンカーモデル作成装置１０７は新たなアンカーモデルを作成してもよい。
【００８６】
（２０）上記実施の形態では、映像視聴装置の構成要素としてオーディオ処理装置を説明したが、音声編集装置の構成要素としても良い。また、外部装置からオーディオ信号を含む動画ファイルを取得して、検出結果のシーン変化点に対応する画像データをサムネイル画像として出力する画像表示装置であってもよい。
（２１）上記実施の形態では、記録媒体から動画ファイルを取得することとしたが、取得の手段は記録媒体を用いる方法に限らない。例えば、無線又は有線の放送や、ネットワークなどから取得してもよいし、オーディオ処理装置がマイクなどの音声入力装置を備え、音声入力装置により入力されたオーディオ信号からシーン変化点を検出してもよい。
【００８７】
（２２）上記実施の形態１、２及び変形例に示した各構成は、適宜選択して部分的に組み合わせることとしてもよい。
（２３）上記実施の形態で示した処理を、オーディオ処理装置のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるための機械語或いは高級言語のプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路等を介して流通させ頒布することもできる。このような記録媒体には、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭ、フラッシュメモリ等がある。流通、頒布された制御プログラムはプロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより各実施形態で示したような各機能が実現されるようになる。なお、プロセッサは、制御プログラムを直接実行する他、コンパイルして実行或いはインタプリタにより実行してもよい。
【００８８】
（２４）上記実施の形態で示した各機能構成要素は、その機能を実行する回路として実現されてもよいし、１又は複数のプロセッサによりプログラムを実行することで実現されてもよい。また、上記実施の形態のオーディオ処理装置は、ＩＣ、ＬＳＩその他の集積回路のパッケージとして構成されるものとしてもよい。このパッケージは各種装置に組み込まれて利用に供され、これにより各種装置は、各実施形態で示したような各機能を実現するようになる。
【００８９】
なお、各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【００９０】
（２５）上記実施の形態で示した各機能部により実現される機能の一部は、外部のクラウドサーバ等により実現されてもよい。
この場合、映像視聴装置１００は、外部ネットワークと通信するための通信手段を備え、外部に委託する機能において必要なデータを送信し、当該機能により得られる結果を受信し、その受信データを次の処理を実行する機能部に伝達することになる。
＜補足＞
ここで、本実施の形態に係るオーディオ処理装置の一実施形態の構成と、各構成により奏する効果について説明する。
【００９１】
（ａ）本発明に係るオーディオ処理装置は、第１のオーディオ信号に、第２のオーディオ信号を重畳するオーディオ処理装置であって、前記第１のオーディオ信号の周波数特徴である第１周波数特徴を取得する第１特徴取得手段と、前記第１のオーディオ信号において、特定の音が含まれる特定区間があるか否かを判定する判定手段と、前記第１のオーディオ信号において、前記特定の音が含まれると判定された場合、前記第１周波数特徴を用いて、前記第２のオーディオ信号に関する処理を実行する処理手段とを備えることを特徴としている。
【００９２】
また、本発明に係るオーディオ処理方法は、第１のオーディオ信号に、第２のオーディオ信号を重畳するオーディオ処理装置が実行するオーディオ処理方法であって、前記第１のオーディオ信号の周波数特徴である第１周波数特徴を取得する第１特徴取得ステップと、前記第１のオーディオ信号において、特定の音が含まれる特定区間があるか否かを判定する判定ステップと、前記第１のオーディオ信号において、前記特定の音が含まれると判定された場合、前記第１周波数特徴を用いて、前記第２のオーディオ信号に関する処理を実行する処理ステップとを含むことを特徴としている。
【００９３】
また、本発明に係るオーディオ処理プログラムは、第１のオーディオ信号に、第２のオーディオ信号を重畳するオーディオ処理装置のコンピュータにオーディオ処理を実行させる手順を示すオーディオ処理プログラムであって、前記オーディオ処理は、前記第１のオーディオ信号の周波数特徴である第１周波数特徴を取得する第１特徴取得ステップと、前記第１のオーディオ信号において、特定の音が含まれる特定区間があるか否かを判定する判定ステップと、前記第１のオーディオ信号において、前記特定の音が含まれると判定された場合、前記第１周波数特徴を用いて、前記第２のオーディオ信号に関する処理を実行する処理ステップとを含むことを特徴としている。
【００９４】
また、本発明に係るオーディオ処理集積回路は、第１のオーディオ信号に、第２のオーディオ信号を重畳するオーディオ処理集積回路であって、前記第１のオーディオ信号の周波数特徴である第１周波数特徴を取得する第１特徴取得手段と、前記第１のオーディオ信号において、特定の音が含まれる特定区間があるか否かを判定する判定手段と、前記第１のオーディオ信号において、前記特定の音が含まれると判定された場合、前記第１周波数特徴を用いて、前記第２のオーディオ信号に関する処理を実行する処理手段とを備えることを特徴としている。
【００９５】
第１のオーディオ信号は、上記実施の形態で言えば、動画ファイルの音声データが該当し、第２のオーディオ信号は重畳するＢＧＭ用音楽ファイルが該当する。また、特定の音とは、上記実施の形態では、音声（人の声）が該当する。
この構成によれば、オーディオ処理装置は、第１のオーディオ信号の周波数特徴に基づいて、第２のオーディオ信号に関する処理、例えば、第２のオーディオ信号に対して、特定の音の周波数領域の音を抑制したり第２のオーディオ信号を選択したりなどすることができる。その結果、例えば、ユーザが合成動画を作成する上でユーザの利便性を高めることができる。
【００９６】
（ｂ）上記（ａ）のオーディオ処理装置において、前記処理手段は、前記特定の音が含まれる前記特定区間の情報と、前記第１周波数特徴に含まれる前記特定の音の周波数特徴に基づいて前記第２のオーディオ信号のフィルタリングに用いる第１帯域フィルタの通過特性とを含むインデクス情報を生成するインデクス情報生成手段を備えることとしてもよい。
【００９７】
これにより、オーディオ処理装置によって作成されたインデクス情報を用いて、例えば、第２のオーディオ信号に対するフィルタリングを実行できる。したがって、第１のオーディオ信号において活かしたい音声を強調できるようにしつつ、第２のオーディオ信号を重畳したユーザにとって、盛り上がり効果の高い合成動画を作成することができる。
上記特許文献１に記載の技術の場合、音声がある部分でＢＧＭの音量を低減するだけであるため、合成動画において、急にふっとＢＧＭが聞きづらくなったりする部分ができるため、ユーザにとって違和感のある合成動画が作成され得る。
【００９８】
しかし、（ｂ）のオーディオ処理装置によれば、周波数単位での抑制ができるため、ＢＧＭ全体としては急に音量が変化するなどということもないためユーザにとって違和感が少なく、かつ、元の動画ファイルの音声を活かした合成動画を作成することができる。
（ｃ）上記（ｂ）のオーディオ処理装置において、前記第１特徴取得手段は、前記第１のオーディオ信号について、単位区間毎に前記第１のオーディオ信号の特徴を表現する特徴量ベクトルを計算する特徴計算手段を備え、前記インデクス情報生成手段は、前記特定区間に含まれる単位区間の特徴量ベクトルに基づいて、前記特定区間の区間長に相当する時間窓に含まれる第１のオーディオ信号の特徴を表現する区間特徴表現ベクトルを生成する区間特徴表現ベクトル生成手段と、前記区間特徴表現ベクトルを用いて、前記特定の音を強調するための特定音強調用ケプストラムを生成する特定音強調用ケプストラム生成手段と、前記特定音強調用ケプストラムを用いて、前記第１帯域フィルタの通過特性を生成する第１帯域フィルタ生成手段とを備え、前記特定区間の情報と前記第１帯域フィルタ生成手段により生成された前記第１帯域フィルタの通過特性とに基づいて、前記インデクス情報を生成することとしてもよい。
【００９９】
ここで、区間特徴表現ベクトルは、上記実施の形態でいえば、特徴表現ベクトルが該当する。
これにより、オーディオ処理装置は、第２のオーディオ信号に対してフィルタリングするべき帯域フィルタを作成することができる。
（ｄ）上記（ｃ）のオーディオ処理装置において、前記処理手段は、更に、前記インデクス情報に含まれる前記帯域フィルタの通過特性を用いて、前記第２のオーディオ信号をフィルタリングするフィルタリング手段を備えることとしてもよい。
【０１００】
これにより、オーディオ処理装置自身で、第２のオーディオ信号のフィルタリングを実行することができる。
（ｅ）上記（ｄ）のオーディオ処理装置において、前記処理手段は、更に、前記第１のオーディオ信号に、フィルタリング後の第２のオーディオ信号を重畳する重畳手段を備えることとしてもよい。
【０１０１】
これにより、オーディオ処理装置自身で、フィルタリングを実行した後の第２のオーディオ信号を、第１のオーディオ信号に重畳することができる。
（ｆ）上記（ｄ）のオーディオ処理装置において、前記オーディオ処理装置は、更に、前記第２のオーディオ信号の周波数特徴を示す第２周波数特徴を取得する第２特徴取得手段を備え、前記処理手段は、更に、前記第２周波数特徴に基づいて、前記第２のオーディオ信号を強調するための第２帯域フィルタを生成する第２帯域フィルタ生成手段と、前記第２帯域フィルタを用いて、前記第１のオーディオ信号をフィルタリングする第２フィルタリング手段とを備えることとしてもよい。
【０１０２】
これにより、オーディオ処理装置は、第２のオーディオ信号の周波数特徴に基づいて、第１のオーディオ信号に対してフィルタリングする帯域フィルタを作成できる。
（ｇ）上記（ｆ）のオーディオ処理装置において、前記処理手段は、更に、フィルタリング後の第１のオーディオ信号に、フィルタリング後の第２のオーディオ信号を重畳する重畳手段を備えることとしてもよい。
【０１０３】
これにより、オーディオ処理装置は、フィルタリング後の第１オーディオ信号に、フィルタリング後の第２オーディオ信号を、重畳することができる。したがって、それぞれのオーディオ信号の好ましい部分のみを使用した、言い換えれば、いいとこ取りをした合成オーディオ信号を作成することができる。
（ｈ）上記（ｃ）のオーディオ処理装置において、前記特徴量ベクトルは、単位区間における前記第１のオーディオ信号のメル周波数ケプストラム係数であり、前記区間特徴表現ベクトルは、前記時間窓に含まれる単位区間に対して算出された複数の特徴量ベクトルのセントロイドベクトルであり、前記特定音強調用ケプストラムは、前記区間特徴表現ベクトルを、サウンド素片を表現する確率密度関数の平均値に対する重みとして、前記確率密度関数の平均値の重み付き加算演算を行って得られ、前記第１帯域フィルタは、前記特定音強調用ケプストラムの逆数に対して、逆フーリエ変換を施したものであることとしてもよい。
【０１０４】
これにより、オーディオ処理装置は、本分野において利用されることがままあるメル周波数の単位での処理が可能となり、オーディオ処理装置の作成を容易化することができる。
（ｉ）上記（ａ）のオーディオ処理装置において、前記判定手段は、前記特定の音の周波数特徴を示す特定音表現ベクトルを保持し、前記第１周波数特徴と前記特定音表現ベクトルとを用いて、前記特定区間があるか否かを判定することとしてもよい。
【０１０５】
ここで、特定音表現ベクトルとは、上記実施の形態における音声頻度ベクトルが該当する。
これにより、オーディオ処理装置は、予め記憶しておく特定の音を示す特徴の情報を用いて、具体的に第１のオーディオ信号中に特定の音を含む特定区間があるか否かを判定することができる。
【０１０６】
（ｊ）上記（ｉ）のオーディオ処理装置において、前記オーディオ処理装置は、更に、１以上のアンカーモデルを蓄積するアンカーモデル蓄積手段を備え、前記インデクス情報生成手段は、前記単位区間毎に生成された特徴量ベクトル各々の、前記１以上のアンカーモデルを用いて、アンカーモデルそれぞれに対する尤度を示す尤度ベクトルを生成する尤度ベクトル生成手段と、前記特定区間長の時間窓に含まれる単位区間それぞれに対して算出された尤度ベクトルを用いて、前記時間窓における各アンカーモデルの正規化累積尤度である頻度ベクトルを生成する頻度ベクトル生成手段とを備え、前記判定手段は、前記頻度ベクトルと、前記特定音表現ベクトルとが一定以上の相関関係にあるか否かに応じて、前記特定区間があるか否かを判定することとしてもよい。
【０１０７】
これにより、オーディオ処理装置は、第１のオーディオ信号に特定の音が含まれるか否かを判定することができる。
（ｋ）上記（ｊ）のオーディオ処理装置において、前記判定手段は、更に、前記特定の音ではない非特定音の周波数特徴を示す非特定音表現ベクトルを保持し、前記判定手段は、前記頻度ベクトルが前記特定音表現ベクトルと一定以上の相関を示し、かつ、前記非特定音表現ベクトルと一定以上相関がないと判定された頻度ベクトルに対応する時間窓を、前記特定区間であると判定することとしてもよい。
【０１０８】
ここで、非特定音表現ベクトルとは、上記実施の形態における非音声頻度ベクトルが該当する。
これにより、オーディオ処理装置は、非特定音表現ベクトルを用いることで、特定の音と似通っていながらも実際には特定の音ではない音声を特定の音であると判定するという誤判定を起こす可能性を低下させることができる。したがって、オーディオ処理装置の処理制度を高めることができる。
【０１０９】
（ｌ）上記（ａ）のオーディオ処理装置において、前記オーディオ処理装置は、更に、複数の相異なる第２のオーディオ信号を記憶する記憶手段と、前記第２のオーディオ信号の周波数特徴である第２周波数特徴を取得する第２特徴取得手段とを備え、前記処理手段は、前記第１周波数特徴と前記第２周波数特徴とに基づき、前記記憶手段に記憶されている複数の相異なる第２のオーディオ信号の中から、前記第１のオーディオ信号に重畳する第２のオーディオ信号を検索する検索部を備えることとしてもよい。
【０１１０】
これにより、オーディオ処理装置は、ユーザからの指定なく、第１のオーディオ信号に重畳する第２のオーディオ信号を選択することができる。
（ｍ）上記（ｌ）のオーディオ処理装置において、前記オーディオ処理装置は、更に、前記頻度ベクトルに基づいて、前記第１のオーディオ信号全体の特徴を示す第１特徴表現ベクトルを生成する特徴表現ベクトル生成手段を備え、前記記憶手段は、更に、前記複数の第２のオーディオ信号それぞれの全体の特徴を示す第２特徴表現ベクトルを、対応する第２のオーディオ信号に対応付けて記憶し、前記検索部は、前記第１特徴表現ベクトルと、前記第２特徴表現ベクトルとを用いて前記検索を実行することとしてもよい。
【０１１１】
これにより、オーディオ処理装置は、オーディオ信号の周波数特徴を用いて、第２のオーディオ信号の選択を実行することができる。オーディオ信号は、どのような音であるかについて、その一表現として周波数に現れるので、これを用いることで、オーディオ処理装置は、第１のオーディオ信号に重畳するのに適していると考えられる第２のオーディオ信号を選択することができる。
【０１１２】
（ｎ）上記（ｍ）のオーディオ処理装置において、前記検索部は、前記第１周波数特徴と親和性が高い第２周波数特徴に対応する第２のオーディオ信号を、前記第１のオーディオ信号に重畳する第２のオーディオ信号として検索することとしてもよい。
これにより、オーディオ処理装置は、第１のオーディオ信号に親和性の高い第２のオーディオ信号を重畳する音声として選択することができるので、違和感の少ない合成音声を生成することができる。
【０１１３】
（ｏ）上記（ｍ）のオーディオ処理装置において、前記処理手段は、更に、前記第１のオーディオ信号に、前記検索部により検索された第２のオーディオ信号を重畳する重畳手段を備えることとしてもよい。
これにより、オーディオ処理装置は、自動的に選択された第２オーディオ信号を、第１オーディオ信号にミキシングすることができる。したがって、ユーザに第２オーディオ信号の選択における手間を省くことができる。
【０１１４】
（ｐ）上記（ｍ）のオーディオ処理装置において、前記オーディオ処理装置は、更に、前記第２のオーディオ信号を選択するための基準となる基準情報の入力をユーザから受け付ける受付手段を備え、前記検索部は、前記第１周波数特徴と前記第２周波数特徴に加えて、前記基準情報を用いて、前記検索を実行することとしてもよい。
これにより、オーディオ処理装置は、ユーザにより第２のオーディオ信号を直接指定されることなく、ユーザの希望に合致する第２のオーディオ信号を選択することができる。
【産業上の利用可能性】
【０１１５】
本発明に係るオーディオ処理装置は、オーディオ信号に別のオーディオ信号をミキシングする場合に、オーディオ信号中の特定の音を、別のオーディオ信号の音が阻害しないようにミキシングすることができ、例えば、ＢＧＭを付与した合成動画を作成することができる映像視聴装置等に利する。
【符号の説明】
【０１１６】
１００  映像視聴装置
１０１  入力装置
１０２  コンテンツ記憶装置
１０３  音声抽出装置
１０４  オーディオ処理装置
１０５  インデクス記憶装置
１０６  出力装置
１０７  アンカーモデル作成装置
１０８  音声データ蓄積装置
１０９  インターフェース装置
１１０  ＢＧＭ用音楽ファイル蓄積装置
１１１  帯域フィルタ適用装置
１１２  ミキシング装置
１２０  表示装置
２０１  特徴量ベクトル生成部
２０２  アンカーモデル蓄積部
２０３  尤度ベクトル生成部
２０４  尤度ベクトルバッファ
２０５  頻度ベクトル生成部
２０６  頻度ベクトルバッファ
２０７  音声／非音声判定部
２０８  音声／非音声頻度ベクトル蓄積部
２０９  特徴表現ベクトル生成部
２１０  音声強調用ケプストラム生成部
２１１  帯域フィルタ生成部
２１２  インデクス生成部
３０１  特徴量ベクトル生成部
３０２  特徴量ベクトル分類部
３０３  アンカーモデル生成部
【図１】
2014095806.tif 000004
【図２】
2014095806.tif 000005
【図３】
2014095806.tif 000006
【図４】
2014095806.tif 000007
【図５】
2014095806.tif 000008
【図６】
2014095806.tif 000009
【図７】
2014095806.tif 000010
【図８】
2014095806.tif 000011
【図９】
2014095806.tif 000012
【図１０】
2014095806.tif 000013
【図１１】
2014095806.tif 000014
【図１２】
2014095806.tif 000015
【図１３】
2014095806.tif 000016
【図１４】
2014095806.tif 000017
【図１５】
2014095806.tif 000018