(57)【要約】【課題】動画に対して別の音声を重畳するような場合において生成された合成動画を興味深いものとする。【解決手段】複数の区間からなる音声データ、及び楽曲を示す音楽データを記憶する記憶部と、音声データ及び前記音楽データを再生する再生部と、音声データの複数の区間の全部又は一部に含まれており、人から発せられる音声を示す、人音声データの種類を区間毎に判別する判別部と、再生部により再生された音声データ、及び再生部により再生された音楽データを出力する出力部と、出力部が出力する音声データが含む人音声データの種類に応じて、出力部が出力する音声データに合成する音楽データのボリュームを決定し、該決定に基づいて、音声データ、及び音楽データを合成して出力するよう出力部を制御する制御部と、を備える。【選択図】図８
2014206667.tif 000002
【特許請求の範囲】
【請求項１】
複数の区間からなる音声データ、及び楽曲を示す音楽データを記憶する記憶部と、
前記音声データ及び前記音楽データを再生する再生部と、
前記音声データの前記複数の区間の全部又は一部に含まれており、人から発せられる音声を示す、人音声データの種類を前記区間毎に判別する判別部と、
前記再生部により再生された前記音声データ、及び前記再生部により再生された前記音楽データを出力する出力部と、
前記出力部が出力する前記音声データが含む前記人音声データの種類に応じて、前記出力部が出力する前記音声データに合成する前記音楽データのボリュームを決定し、該決定に基づいて、前記音声データ、及び前記音楽データを合成して出力するよう前記出力部を制御する制御部と、
を備える、音声出力装置。
【請求項２】
前記制御部は、
前記音声データのうち前記人音声データが含まれる区間の音声データを出力するよう前記出力部を制御する際に、前記出力部が出力する前記人音声データの種類に応じて、前記音楽データに合成する前記音声データのボリュームを決定し、該決定に基づいて、前記音声データ、及び前記音楽データを合成して出力するよう前記出力部を制御する、
請求項１に記載の音声出力装置。
【請求項３】
複数の区間からなる音声データ、及び楽曲を示す音楽データを記憶し、
前記音声データ及び前記音楽データを再生し、
前記音声データの前記複数の区間の全部又は一部に含まれており、人から発せられる音声を示す、人音声データの種類を前記区間毎に判別し、
再生された前記音声データ、及び再生された前記音楽データを出力し、
出力する前記音声データが含む前記人音声データの種類に応じて、出力する前記音声データに合成する前記音楽データのボリュームを決定し、該決定に基づいて、前記音声データ、及び前記音楽データを合成して出力する、
音声出力方法。
【請求項４】
前記音声データのうち前記人音声データが含まれる区間の音声データを出力する際に、
出力する前記人音声データの種類に応じて、前記音楽データに合成する前記音声データのボリュームを決定し、該決定に基づいて、前記音声データ、及び前記音楽データを合成して出力する、
請求項３に記載の音声出力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のオーディオ信号を合成する際の音声処理に関する。
【背景技術】
【０００２】
従来、動画にＢＧＭを付与する目的で、動画に対して、その動画を撮影した際に得られた音声とは別の音声（ＢＧＭ）を合成することが行われる。一般的には、このようなＢＧＭが合成された動画を作成する場合には、動画に元から付与されている音声を消去、あるいは、音声のボリュームを最小にし、別の音声をＢＧＭとして重畳することが多く、動画を撮影した際に得られた音声が活かせないという問題がある。例えば、動画が、人物が会話をしている場面を撮影したものである場合に、その会話の音声を活かすことができないという問題がある。
【０００３】
特許文献１には、動画を撮影した際に得られる音声から、人物の会話音があるか否かを特定し、人物の会話音があると判定した区間においては、合成する音声のボリュームを低減して、元の動画に付随する音声に合成する技術が開示されている。特許文献１によれば、動画に付与されている人物の会話音を利用しつつ動画にＢＧＭを付与することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−０１０７８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の手法では、必ずしもユーザにとって、興味深い合成動画が作成されるとは限らないという問題がある。
【０００６】
本発明は、上記問題に鑑みてなされたものであり、動画に対して別の音声を重畳するような場合において、生成された合成動画が、ユーザにとって特許文献１のものよりも興味深いものとすることができるオーディオ処理を実行できる音声出力装置、及び音声出力方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明にかかる音声出力装置は、複数の区間からなる音声データ、及び楽曲を示す音楽データを記憶する記憶部と、音声データ及び前記音楽データを再生する再生部と、音声データの複数の区間の全部又は一部に含まれており、人から発せられる音声を示す、人音声データの種類を区間毎に判別する判別部と、再生部により再生された音声データ、及び再生部により再生された音楽データを出力する出力部と、出力部が出力する音声データが含む人音声データの種類に応じて、出力部が出力する音声データに合成する音楽データのボリュームを決定し、該決定に基づいて、音声データ、及び音楽データを合成して出力するよう出力部を制御する制御部と、を備える。
【０００８】
また、本発明にかかる音声出力方法は、複数の区間からなる音声データ、及び楽曲を示す音楽データを記憶し、音声データ及び音楽データを再生し、音声データの複数の区間の全部又は一部に含まれており、人から発せられる音声を示す、人音声データの種類を区間毎に判別し、再生された前記音声データ、及び再生された音楽データを出力し、出力する音声データが含む人音声データの種類に応じて、出力する音声データに合成する音楽データのボリュームを決定し、該決定に基づいて、音声データ、及び音楽データを合成して出力する。
【発明の効果】
【０００９】
これにより、動画に対して別の音声を重畳するような場合において生成された合成動画が、ユーザにとって特許文献１のものよりも興味深いものとすることができるオーディオ処理を実行できる音声出力装置、及び音声出力方法を提供できる。
【図面の簡単な説明】
【００１０】
【図１】動画ファイルに含まれるオーディオ信号の構成を示す概念図
【図２】特徴量ベクトルの算出方法を示す図
【図３】特徴量ベクトルの一例を示す図
【図４】アンカーモデルの一例を示す図
【図５】２つの単位区間における尤度ベクトルの例を示す図
【図６】第１区間と第２区間との関係を示す図
【図７】頻度ベクトルの例を示す図
【図８】音声出力装置を備える映像視聴装置の機能構成例を示すブロック図
【図９】音声出力装置の機能構成例を示すブロック図
【図１０】アンカーモデル作成装置の機能構成例を示すブロック図
【図１１】映像視聴装置のインデクス情報生成を示すフローチャート
【図１２】音声出力装置の動作を示すフローチャート
【図１３】アンカーモデル作成装置の動作を示すフローチャート
【図１４】映像視聴装置の再生開始動作を示すフローチャート
【図１５】ミキシング装置の動作を示すフローチャート
【図１６】ミキシング情報記憶装置の記憶形式の一例を示す図
【図１７】ミキシング装置のボリューム変更過程の一例を示す図
【発明を実施するための形態】
【００１１】
＜実施の形態１＞
本発明に係る音声出力装置の一実施形態について説明する。
【００１２】
＜１−１．概要＞
まず、音声出力装置の動作の概要を説明し、本明細書において用いる用語やデータについて説明する。
【００１３】
音声出力装置は、まず、別の音声を重畳する対象となる動画ファイルに含まれるオーディオ信号を所定時間長に分割した単位区間（図１の第１単位区間参照）について、それぞれにおけるオーディオ信号の特徴を表現する特徴量ベクトルを算出する。特徴量ベクトルは、２６のパラメータから成り、単位区間のオーディオ信号の特徴が、各パラメータとの相関性がどれだけ高いかに基づいて、表現される。なお、図１は、動画ファイルの音声データの構成例の概念図を示すものであり、本明細書において、音声出力装置が処理する単位系を示す概念図である。
【００１４】
次に、音声出力装置は、算出した特徴量ベクトルの各種のサウンド素片に対する尤度の集合である尤度ベクトルを算出し、複数の連続する第１単位区間から成る第２単位区間毎に、各尤度ベクトルについて、各サウンド素片の出現する頻度を示す頻度ベクトルを生成する。
【００１５】
各第２単位区間に対して算出された頻度ベクトルを用いて、予め蓄積しておいた５種類の音声ベクトルおよび非音声ベクトルとの類似性に基づいて、単位区間に５種類の音声のいずれかが含まれるか否かを判定する。本実施の形態では、５種類の音声とは、（１）会話音、（２）笑い声、（３）歓声、（４）拍手、（５）歌声をいう。
【００１６】
＜１−２．データ＞
ここで、本実施の形態に係る音声出力装置で使用するデータについて説明する。
【００１７】
＜動画ファイル＞
動画ファイルは、オーディオ信号Ｘ（ｔ）と複数の画像データとから構成される。オーディオ信号Ｘ（ｔ）は、振幅値の時系列データであり、図２（ａ）に示すような波形で表現することができる。図２（ａ）は、横軸に時間、縦軸に振幅をとった、オーディオ信号の波形例である。
【００１８】
＜ＢＧＭ用音楽ファイル＞
ＢＧＭ用音楽ファイルは、オーディオ信号Ｙ（ｔ）で構成される。オーディオ信号Ｙ（ｔ）は振幅値の時系列データであり、図２（ａ）と同様、波形で表現することができる。また、ＢＧＭ用音楽ファイルは、動画ファイルに合成するオーディオ信号であり、動画ファイルに含まれるオーディオ信号Ｘ（ｔ）とは別のオーディオ信号である。
【００１９】
＜特徴量ベクトル＞
特徴量ベクトルＭは、オーディオ信号Ｘ（ｔ）の特徴を表現するものであり、本実施の形態では、特徴量ベクトルＭを示すものとして、第１単位区間毎に分割されたオーディオ信号のメル周波数ケプストラム係数ＭＦＣＣ（Mel-Frequency Cepstrum Coefficients）を用いる。ここで、第１単位区間は、オーディオ信号Ｘ（ｔ）の時間軸における所定の長さ（例えば、１０ｍｓｅｃ）の区間であり、図２（ａ）において刻み単位を１０ｍｓｅｃとして、図２（ａ）における時刻ＴｎからＴｎ＋１までの区間である。
【００２０】
この特徴量ベクトルＭは、第１単位区間毎に算出される。従って、図３に示すように、時刻０ｓｅｃから時刻１ｓｅｃまでの間のオーディオ信号から１００個の特徴量ベクトルＭが生成されることになる。なお、図３は、時刻０ｓｅｃから時刻１ｓｅｃまでの間の各第１単位区間に対して算出される特徴量ベクトルＭの一例である。
【００２１】
＜アンカーモデル＞
アンカーモデルＡｒ（ｒ＝１，２，…，Ｋ）は、複数種類のサウンド素片となる音声データから生成される特徴量ベクトルを用いて作成される確率モデルであり、各種サウンド素片それぞれの特徴を表現するものである。即ち、アンカーモデルは各種サウンド素片に対応して作成される。本実施の形態では、混合正規分布モデル（GMM, Gaussian Mixture Model）を採用し、各アンカーモデルＡｒは、正規分布を規定するパラメータで構成される。
【００２２】
図４に示すように、アンカーモデルは、複数種類（本実施の形態では１０２４種類）のサウンド素片毎に作成され、複数種類のサウンド素片それぞれに対応する特徴量出現確率関数ｂＡｒ（Ｍ）により表される。特徴量出現確率関数ｂＡｒ（Ｍ）は、各アンカーモデルＡｒを規定する正規分布の確率密度関数であり、特徴量ベクトルＭを引数としてオーディオ信号Ｘ（ｔ）のサウンド素片それぞれに対する尤度Ｌｒ＝ｂＡｒ（Ｍ）を算出することで得られる。
【００２３】
＜尤度ベクトル＞
尤度ベクトルＦは、上記アンカーモデルＡｒに基づいて算出されるオーディオ信号Ｘ（ｔ）の複数種類のサウンド素片それぞれに対する尤度Ｌｒを成分とするベクトルである。
【００２４】
図５は、２つの第１単位区間における尤度ベクトルＦを示す図である。図５（ａ）は、例えば、時刻０から数えてｎ番目の第１単位区間（時刻（１０×ｎ）ｍｓｅｃから時刻（１０×（ｎ＋１））ｍｓｅｃの間の区間）に対応する尤度ベクトルＦｎを示し、図５（ｂ）は、例えば、時刻０から数えてｍ番目の第１単位区間（時刻（１０×ｍ）ｍｓｅｃから時刻（１０×（ｍ＋１））ｍｓｅｃの間の区間）に対応する尤度ベクトルＦｍを示している（ｎ  ＜ｍ）。
【００２５】
＜頻度ベクトル＞
頻度ベクトルＮＦは、オーディオ信号の第２単位区間毎の特徴を表現するベクトルであり、特に、オーディオ信号の第２単位区間に係る各サウンド素片の出現頻度を表現するベクトルである。ここで、第２単位区間は、オーディオ信号Ｘ（ｔ）の時間軸における所定の長さ（例えば、１ｓｅｃ）の区間であり、図６に示すように、複数個の連続する第１単位区間に相当する。図１に示す例の場合では、第１単位区間を１０ｍｓｅｃとしたとき、第２単位区間は１００ｍｓｅｃということになる。
【００２６】
頻度ベクトルＮＦは、具体的には、第２単位区間に含まれる尤度ベクトルＦの正規化累積尤度、つまり、第２単位区間に含まれる尤度ベクトルＦの各成分の累積値を正規化したものである。なお、ここで正規化とは、頻度ベクトルＮＦのノルムを１にすることである。図７は、頻度ベクトルＮＦの一例を示す模式図である。
【００２７】
以下、音声出力装置の詳細について説明する。
【００２８】
＜１−３．構成＞
以下、実施の形態１に係る音声処理装置１０４を備える映像視聴装置１００の機能構成について説明する。
【００２９】
＜映像視聴装置１００＞
図８は、実施の形態１に係る映像視聴装置１００の機能構成例を示すブロック図である。図８に示すように、映像視聴装置１００は、入力装置１０１と、コンテンツ記憶装置１０２と、音声抽出装置１０３と、音声処理装置１０４と、インデクス記憶装置１０５と、出力装置１０６と、アンカーモデル作成装置１０７と、音声データ蓄積装置１０８と、インターフェース装置１０９と、ＢＧＭ用音楽ファイル蓄積装置１１０と、ミキシング情報記憶装置１１１と、ミキシング装置１１２とから構成される。
【００３０】
＜入力装置１０１＞
入力装置１０１は、ディスクドライブ装置などで実現され、記録媒体１２０が装着されると、記録媒体１２０から動画ファイルを読み込んで、取得した動画ファイルをコンテンツ記憶装置１０２に格納する。なお、記録媒体１２０は、各種データを記憶する機能を有する媒体であり、例えば、光ディスクや、フレキシブルディスク、ＳＤカード、フラッシュメモリなどである。
【００３１】
＜コンテンツ記憶装置１０２＞
コンテンツ記憶装置１０２は、例えば、ハードディスク装置などで実現され、入力装置１０１が記録媒体１２０から取得した動画ファイルを格納している。動画ファイルは、動画ファイルそれぞれに固有のＩＤが付されて格納される。
【００３２】
＜音声抽出装置１０３＞
音声抽出装置１０３は、コンテンツ記憶装置１０２に記憶されている動画ファイルからオーディオ信号を抽出し、抽出したオーディオ信号を音声処理装置１０４に入力する。なお、音声抽出装置１０３は、符号化されているオーディオ信号に対して復号化処理を行って、図２（ａ）に示すようなオーディオ信号Ｘ（ｔ）を生成する。また、音声抽出装置１０３は、例えば、プログラムを実行するプロセッサ等により実現される。
【００３３】
＜音声処理装置１０４＞
音声処理装置１０４は、音声抽出装置１０３から入力されるオーディオ信号Ｘ（ｔ）に基づいて音声区間の検出を行い、検出したインデクス情報をインデクス記憶装置１０５に格納する。音声処理装置１０４の機能構成の詳細については後述する。
【００３４】
＜インデクス記憶装置１０５＞
インデクス記憶装置１０５は、例えば、ハードディスク装置などから実現され、音声処理装置１０４から入力されるインデクス情報を記憶する。インデクス情報は、動画ファイルのＩＤおよび動画ファイルの各再生時間（秒単位）における５種類の音声／非音声の判定結果を含む。上記判定結果は、以下のインデクス値で記憶されている。すなわち、「会話音：０、笑い声：１、歓声：２、拍手：３、歌声：４、その他（非音声）：５」という値である。
【００３５】
＜出力装置１０６＞
出力装置１０６は、ミキシング装置１１２から出力される動画ファイルの音声データとＢＧＭ用音楽ファイルを合成した合成音と、コンテンツ記憶装置１０２から当該合成音の作成に使用された動画ファイルの動画データとを取得し、表示装置１３０に出力する。出力装置１０６は、表示装置１３０に出力する映像データに、例えば、インデクス情報に対応する時刻に目印を付けたプログレスバーなどのユーザインターフェース（ＵＩ：User Interface）に関する情報を付与し、インターフェース装置１０９に入力されるユーザからの操作に応じて、スキップなどの再生制御を行う。
【００３６】
なお、出力装置１０６は、表示装置１３０との間で、接続ケーブルにより接続されるコネクタを含むインターフェースである。
【００３７】
＜アンカーモデル作成装置１０７＞
アンカーモデル作成装置１０７は、音声データ蓄積装置１０８に記憶されている音声データに基づいてアンカーモデルＡｒを作成し、作成したアンカーモデルＡｒを音声処理装置１０４に出力する。アンカーモデル作成装置１０７の機能構成の詳細については後述する。
【００３８】
なお、アンカーモデル作成装置１０７がアンカーモデルＡｒを作成するときに用いられる音声データは、音声区間を検出する対象となる動画ファイルとは別の複数の動画ファイルから、予め抽出して得られたオーディオ信号である。
【００３９】
＜音声データ蓄積装置１０８＞
音声データ蓄積装置１０８は、例えば、ハードディスク装置などで実現され、アンカーモデル作成装置１０７がアンカーモデルＡｒを作成するときに用いられる音声データを予め記憶している。
【００４０】
＜インターフェース装置１０９＞
インターフェース装置１０９は、キーボードなどの操作部（図示せず）を備え、ユーザからの入力操作を受け付けて、アイテムの選択や決定、プログレスバーの操作情報などを出力装置１０６に出力する。また、インターフェース装置１０９は、ユーザからの入力に従って、作成すべきアンカーモデルの個数Ｋをアンカーモデル作成装置１０７に通知する機能や、ユーザが選択したＢＧＭ用音楽ファイルを特定し、音声処理装置１０４に通知する機能、およびコンテンツ記憶装置１０２に記憶された動画ファイルの再生を開始する機能を有する。
【００４１】
＜ＢＧＭ用音楽ファイル蓄積装置１１０＞
ＢＧＭ用音楽ファイル蓄積装置１１０は、動画ファイルにミキシングする音楽ファイルを保持し、インターフェース装置１０９からの指定にしたがって、ＢＧＭ用音楽ファイルを選択し、ミキシング装置１１２に伝達する。
【００４２】
＜ミキシング装置１１２＞
ミキシング装置１１２は、ＢＧＭ音楽ファイルと、動画ファイルの音声データをミキシングして得られる合成音データを、出力装置１０６に出力する。
【００４３】
＜表示装置１３０＞
表示装置１３０は、所謂モニタであり、出力装置１０６から出力された動画ファイルの映像データに基づく画像を表示するとともに、当該映像データに同期させて合成音データに基づく音を出力する。また、表示装置１３０は、出力装置１０６から出力されたユーザインターフェース画面を表示する。
【００４４】
＜音声処理装置１０４の詳細＞
ここから、音声処理装置１０４の詳細について説明する。
【００４５】
図９は、音声処理装置１０４の機能構成例を示すブロック図である。なお、図９には、音声処理装置１０４の周辺機能ブロックも示している。
【００４６】
図９に示すように、音声処理装置１０４は、特徴量ベクトル生成部２０１と、尤度ベクトル生成部２０３と、尤度ベクトルバッファ２０４と、頻度ベクトル生成部２０５と、頻度ベクトルバッファ２０６と、音声／非音声判定部２０７と、インデクス生成部２１２と、アンカーモデル蓄積部２０２と、音声／非音声頻度ベクトル蓄積部２０８とを備える。以下、各構成について説明する。
【００４７】
＜特徴量ベクトル生成部２０１＞
特徴量ベクトル生成部２０１は、音声抽出装置１０３から入力されたオーディオ信号Ｘ（ｔ）に基づいて、第１単位区間毎に、特徴量ベクトルＭを生成する。
【００４８】
まず、特徴量ベクトル生成部２０１は、第１単位区間のオーディオ信号Ｘ（ｔ）のパワースペクトラムＳ（ω）を算出する（図２（ｂ）参照）。パワースペクトラムＳ（ω）は、オーディオ信号Ｘ（ｔ）を時間軸から周波数軸に変換し、角周波数成分を二乗したものであり、第１単位区間の振幅値（パワー）を周波数成分に変換したものである。
【００４９】
次に、特徴量ベクトル生成部２０１は、パワースペクトラムＳ（ω）の周波数軸をメル周波数軸に変換したメル周波数ケプストラムＳ（ωｍｅｌ）を算出する（図２（ｃ）参照）。
【００５０】
なお、図２（ｂ）は、第１単位区間のオーディオ信号をパワースペクトラムに変換したものの一例であり、横軸に周波数、縦軸にパワースペクトラムをとっている。また、図２（ｃ）は、第１単位区間のオーディオ信号のパワースペクトラムを更に、メル周波数ケプストラムに変換したものの一例であり、横軸にメル周波数、縦軸にメル周波数ケプストラムをとる。
【００５１】
最後に、特徴量ベクトル生成部２０１は、メル周波数ケプストラムＳ（ωｍｅｌ）に基づき算出される所定数（本実施の形態では２６個（２６次元ともいう））の成分を特徴量ベクトルＭとする。
【００５２】
＜アンカーモデル蓄積部２０２＞
アンカーモデル蓄積部２０２は、メモリの一部の記憶領域により構成され、アンカーモデル作成装置１０７により作成されたアンカーモデルＡｒを記憶している。なお、アンカーモデル蓄積部２０２は、音声処理装置１０４の各処理の実行前に、予めアンカーモデルＡｒを記憶している。
【００５３】
＜尤度ベクトル生成部２０３＞
尤度ベクトル生成部２０３は、特徴量ベクトル生成部２０１により生成される特徴量ベクトルＭおよびアンカーモデル蓄積部２０２に蓄積されているアンカーモデルＡｒを用いて、オーディオ信号Ｘ（ｔ）の、サウンド素片それぞれに対する尤度Ｌｒを算出し、各尤度を成分とする尤度ベクトルＦを第１単位区間毎に生成する。
【００５４】
＜尤度ベクトルバッファ２０４＞
尤度ベクトルバッファ２０４は、メモリの一部の記憶領域により構成され、尤度ベクトル生成部２０３により生成される尤度ベクトルＦを記憶する。
【００５５】
＜頻度ベクトル生成部２０５＞
頻度ベクトル生成部２０５は、尤度ベクトルバッファ２０４で記憶されている尤度ベクトルに基づいて、第２単位区間毎に頻度ベクトルＮＦを生成する。上述の通り、頻度ベクトルＮＦは、連続する複数の第１単位区間から成る第２単位区間について、各第２単位区間に含まれる第１単位区間それぞれの尤度ベクトルを構成する各アンカーモデルに対する尤度の累積値を正規化した累積正規化ベクトルである。
【００５６】
＜頻度ベクトルバッファ２０６＞
頻度ベクトルバッファ２０６は、メモリの一部の記憶領域により構成され、頻度ベクトル生成部２０５に生成される頻度ベクトルＮＦを記憶する。
【００５７】
＜音声／非音声判定部２０７＞
音声／非音声判定部２０７は、第２単位区間それぞれに対して算出された頻度ベクトルＮＦと、音声／非音声頻度ベクトル蓄積部２０８に蓄積されている会話頻度ベクトル、笑い頻度ベクトル、歓声頻度ベクトル、拍手頻度ベクトル、歌声頻度ベクトル、非音声頻度ベクトルの６つのベクトルとの距離計算を行い、算出された距離に基づき、各頻度ベクトルＮＦに対応する第２単位区間それぞれが音声区間であるか否かを判定する。具体的には、算出された頻度ベクトルＮＦと上記６つの頻度ベクトル間の距離をそれぞれ計算して、会話頻度ベクトルとの距離が最も短い場合には、頻度ベクトルＮＦに対応する第２単位区間は会話区間であると判定し、笑い頻度ベクトルとの距離が最も短い場合には、頻度ベクトルＮＦに対応する第２単位区間は笑い区間であると判定し、歓声頻度ベクトルとの距離が最も短い場合には、頻度ベクトルＮＦに対応する第２単位区間は歓声区間であると判定し、拍手頻度ベクトルとの距離が最も短い場合には、頻度ベクトルＮＦに対応する第２単位区間は拍手区間であると判定し、歌声頻度ベクトルとの距離が最も短い場合には、頻度ベクトルＮＦに対応する第２単位区間は歌声区間であると判定し、非音声頻度ベクトルとの距離が最も短い場合には、頻度ベクトルＮＦに対応する第２単位区間は非音声区間であると判定する。
【００５８】
なお、距離の単位の一例として、本実施の形態では、ユークリッド距離を用いることとする。
【００５９】
＜インデクス生成部２１２＞
インデクス生成部２１２は、音声／非音声判定部２０７にて判定された区間情報に基づき、時刻情報と区間情報を組み合わせたインデクス情報を作成する。
【００６０】
＜アンカーモデル作成装置１０７の詳細＞
アンカーモデル作成装置１０７は、メモリおよびプロセッサ（図示せず）から構成され、プロセッサがメモリに書き込まれたプログラムを実行することにより、図１０に示す構成を実現している。
【００６１】
図１０は、アンカーモデル作成装置１０７の機能構成例を示すブロック図である。図１０に示すようにアンカーモデル作成装置１０７は、特徴量ベクトル生成部３０１と、特徴量ベクトル分類部３０２と、アンカーモデル作成部３０３とを備え、音声データ蓄積装置１０８に記憶されている音声データに基づいてアンカーモデルを作成し、作成したアンカーモデルをアンカーモデル蓄積部２０２に記憶する機能を有する。以下、各構成について説明する。
【００６２】
＜特徴量ベクトル生成部３０１＞
特徴量ベクトル生成部３０１は、音声データ蓄積装置１０８に記憶されている音声データに基づいて、第１単位区間毎に、特徴量ベクトルＭを生成する。
【００６３】
なお、ここで生成される特徴量ベクトルＭは、上述した特徴量ベクトル生成部において生成されるものと同様のものである。ただし、特徴量ベクトルＭの元となるのが、オーディオ信号であるか、音声データであるかという差異がある。
【００６４】
＜特徴量ベクトル分類部３０２＞
特徴量ベクトル分類部３０２は、特徴量ベクトル生成部３０１により生成された特徴量ベクトルＭを、クラスタリング（分類）する。
【００６５】
特徴量ベクトル分類部３０２は、インターフェース装置１０９から入力されるアンカーモデルＡｒの個数Ｋに基づいて、Ｋ−ｍｅａｎｓ法により、複数の特徴量ベクトルＭをＫ個のクラスタに分類する。なお、本実施の形態においては、Ｋ＝１０２４個とする。
【００６６】
＜アンカーモデル作成部３０３＞
アンカーモデル作成部３０３は、特徴量ベクトル分類部３０２により分類されたＫ個のクラスタそれぞれの平均および分散を算出し、アンカーモデルＡｒ（ｒ＝１、２、…、Ｋ）として、アンカーモデル蓄積部２０２に記憶する。
【００６７】
このようにして作成、蓄積されたアンカーモデルＡｒは、頻度ベクトル生成のために供される。
【００６８】
＜アンカーモデル蓄積部３０４＞
アンカーモデル蓄積部３０４は、メモリの一部の領域により構成され、アンカーモデル作成部３０３により作成されたアンカーモデルＡｒを記憶している。本実施の形態では、アンカーモデル蓄積部３０４は、音声処理装置１０４の各処理の実行前に、予めアンカーモデルＡｒを記憶している。
【００６９】
＜１−４．動作＞
以下、本実施の形態に係る映像視聴装置１００および音声処理装置１０４の動作について説明する。
【００７０】
まず、映像視聴装置１００による動画ファイルにＢＧＭをミキシングした合成動画作成の全体的な処理の流れを説明し、次に、その合成動画作成のために必要なインデクス情報作成処理の詳細について説明する。
【００７１】
＜図１１＞
図１１は、映像視聴装置１００に入力した動画ファイルのインデクス情報を生成する動作を示すフローチャートである。
【００７２】
図１１に示すように、映像視聴装置１００の入力装置１０１は、動画ファイルの入力を受け付ける（ステップＳ１１０１）。入力装置１０１は、受け付けた動画ファイルを、コンテンツ記憶装置１０２に記録する。
【００７３】
動画の入力を受け付けると、音声抽出装置１０３は、コンテンツ記憶装置１０２に記憶された動画ファイルを読み出し、そのオーディオ信号を抽出する。そして、抽出したオーディオ信号を音声処理装置１０４に伝達する（ステップＳ１１０２）。
【００７４】
音声処理装置１０４は、入力されたオーディオ信号に基づき、インデクス情報を作成し、インデクス記憶装置１０５に記録する（ステップＳ１１０３）。インデクス情報の作成処理に関する詳細は後述する。
【００７５】
以上が、映像視聴装置１００により動画ファイルが入力されてから、インデクス情報が生成されるまでの流れである。
【００７６】
＜図１２＞
図１２は、音声処理装置１０４の動作を示すフローチャートである。図１２に示すように、まず、音声処理装置１０４は、オーディオ信号を入力される（ステップＳ１２０１）。
【００７７】
オーディオ信号を入力されると、まず、特徴量ベクトル生成部２０１は、オーディオ信号を第１単位区間に区切り、各第１単位区間の特徴量ベクトルを生成する（ステップＳ１２０２）。
【００７８】
各第１単位区間の特徴量ベクトルが算出されると、尤度ベクトル生成部２０３は、各第１単位区間の特徴量ベクトルを用いて、各第１単位区間の尤度ベクトルを算出する（ステップＳ１２０３）。算出された尤度ベクトルは、尤度ベクトルバッファ２０４に蓄積される。
【００７９】
次に、頻度ベクトル生成部２０５は、尤度ベクトルバッファ２０４に蓄積されている尤度ベクトルを用いて、連続する所定数（例えば、１００）の第１単位区間から成る各第２単位区間についての頻度ベクトルを生成し、頻度ベクトルバッファ２０６に蓄積する（ステップＳ１２０４）。
【００８０】
音声／非音声判定部２０７は、頻度ベクトルバッファ２０６に蓄積された頻度ベクトルと、音声／非音声頻度ベクトル蓄積部２０８に蓄積されている音声頻度ベクトルおよび非音声頻度ベクトルとを用いて、各第２単位区間が音声区間であるか否かを判定する（ステップＳ１２０５）。そして、音声区間であると判定された第２単位区間の開始時刻および終了時刻を特徴表現ベクトル生成部２０９に伝達する。
【００８１】
特徴表現ベクトル生成部２０９は、音声区間であると判定された継続する第２単位区間について、それぞれの特徴表現ベクトルを生成する（ステップＳ１２０６）。例えば、ｎ番目からｎ＋６番目の第２単位区間までが音声区間であると判定された場合には、ｎ番目からｎ＋６番目の７個の第２単位区間それぞれに対して算出された計７個の頻度ベクトルのセントロイドベクトルをこの音声区間の特徴表現ベクトルとする。また、連続しない一つの第２単位区間が音声区間であると判定された場合には、その第２単位区間の頻度ベクトルそのものが、特徴表現ベクトルとなる。
【００８２】
音声処理装置１０４のインデクス生成部２１２は、インデクス生成処理を行う（ステップＳ１２０９）。そして、インデクス生成部２１２は、生成したインデクス情報をインデクス記憶装置１０５に記録する（ステップＳ１２１０）。
【００８３】
以上が音声処理装置１０４に依るインデクス情報の作成処理である。
【００８４】
＜図１３＞
次にアンカーモデル作成装置１０７によるアンカーモデルＡｒの作成処理について説明する。図１３は、アンカーモデル作成装置１０７によるアンカーモデル作成のフローチャートである。
【００８５】
アンカーモデル作成装置１０７は、まず、音声データ蓄積装置１０８に蓄積されている音声データそれぞれについて、以下の処理を実行する。
【００８６】
まず、アンカーモデル作成装置１０７の特徴量ベクトル生成部３０１は、音声データ蓄積装置の音声データについて、その音声データの第１単位区間毎の特徴量ベクトルＭを取得する（ステップＳ１３０１）。
【００８７】
次に、アンカーモデル作成装置１０７の特徴量ベクトル分類部３０２は、特徴量ベクトル生成部３０１が生成した特徴量ベクトルＭをＫ−ｍｅａｎｓ法を用いて、Ｋ個のクラスタに分類するクラスタリングを実行する（ステップＳ１３０２）。
【００８８】
特徴量ベクトルＭのＫ個のクラスタへの分類が終わると、アンカーモデル作成装置１０７のアンカーモデル作成部３０３は、各クラスタについて、そのクラスタに含まれる特徴量ベクトルＭの、平均と分散を算出する。そして、算出されたＫ個の平均と分散の組をそれぞれアンカーモデルとして、アンカーモデル蓄積部２０２に記憶させる（ステップＳ１３０３）。
【００８９】
こうして、アンカーモデル作成装置１０７により作成されたアンカーモデルＡｒは、アンカーモデル蓄積装置に蓄積され、頻度ベクトル作成部により、頻度ベクトル作成のために供される。
【００９０】
＜図１４＞
図１４は、映像視聴装置１００のコンテンツ記憶装置１０２に記憶された動画ファイルの再生指示を受け、ミキシング装置１１２にて動画ファイルとＢＧＭそれぞれの音声の重畳係数を全区間で決定した後、再生開始するまでの動作を示すフローチャートである。
【００９１】
図１４に示すように、映像視聴装置１００のインターフェース装置１０１は、動画ファイルの再生指示を受け付ける（ステップＳ１４０１）。再生指示には、過去にコンテンツ記憶装置１０２に記録された動画ファイルの中の、どの動画ファイルを再生するかの指定を含んでいる。
【００９２】
再生指示を受け付けると、ミキシング装置１１２は、Ｓ１４０１で指定された動画ファイルのインデクス情報がインデクス記憶装置１０５に記憶されているかどうかを、指定された動画ファイルに固有のIDを元に検索する（ステップＳ１４０２）。
【００９３】
Ｓ１４０２において、インデクス記憶装置１０５の中に、指定された動画ファイル固有のIDを持つインデクス情報が存在しなかった場合は、ミキシング装置１１２におけるミキシング処理は行なわず、動画ファイルのみを再生する（ステップＳ１４０３）。
【００９４】
一方、Ｓ１４０２において、インデクス記憶装置１０５の中に、指定された動画ファイル固有のIDを持つインデクス情報が存在した場合は、ミキシング装置１１２は、以下に記すミキシング情報の生成処理を行なう。
【００９５】
まずミキシング装置１１２は、最新区間である１秒目のインデクス情報をインデクス記憶装置１０５から取得する（ステップＳ１４０４）。
【００９６】
次にミキシング装置１１２は、Ｓ１４０４で取得した最新区間のインデクス情報が０であるかどうかを判定する（ステップＳ１４０５）。
【００９７】
Ｓ１４０５にてインデクス情報が０である場合は、ミキシング装置１１２における動画ファイルの音声の重畳係数を１．２に、またBGMの重畳係数を０．３に決定する（ステップＳ１４０６）。
【００９８】
Ｓ１４０５にてインデクス情報が０でない場合は、上記インデクス情報が１であるかどうかを判定する（ステップＳ１４０７）。
【００９９】
Ｓ１４０７にてインデクス情報が１である場合は、ミキシング装置１１２における動画ファイルの音声の重畳係数を０．７に、またBGMの重畳係数を０．８に決定する（ステップＳ１４０８）。
【０１００】
Ｓ１４０７にてインデクス情報が１でない場合は、上記インデクス情報が２であるかどうかを判定する（ステップＳ１４０９）。
【０１０１】
Ｓ１４０９にてインデクス情報が２である場合は、ミキシング装置１１２における動画ファイルの音声の重畳係数を０．８に、またBGMの重畳係数を０．７に決定する（ステップＳ１４１０）。
【０１０２】
Ｓ１４１０にてインデクス情報が２でない場合は、上記インデクス情報が３であるかどうかを判定する（ステップＳ１４１１）。
【０１０３】
Ｓ１４１１にてインデクス情報が３である場合は、ミキシング装置１１２における動画ファイルの音声の重畳係数を０．７に、またBGMの重畳係数を０．８に決定する（ステップＳ１４１２）。
【０１０４】
Ｓ１４１１にてインデクス情報が３でない場合は、上記インデクス情報が４であるかどうかを判定する（ステップＳ１４１３）。
【０１０５】
Ｓ１４１３にてインデクス情報が４である場合は、ミキシング装置１１２における動画ファイルの音声の重畳係数を１．０に、またBGMの重畳係数を０．５に決定する（ステップＳ１４１４）。
【０１０６】
Ｓ１４１３にてインデクス情報が４でない場合は、ミキシング装置１１２における動画ファイルの音声の重畳係数を０．５に、またBGMの重畳係数を１．０に決定する（ステップＳ１４１５）。
【０１０７】
以上、Ｓ１４０４からＳ１４１５までのステップにより、最新区間である１秒目における、動画ファイルの音声の重畳係数およびBGMの重畳係数が決定する。決定した重畳係数は、図１６に示す形式で、ミキシング情報記憶装置１１１に記憶する。
【０１０８】
次に、動画ファイルの全区間のインデクス情報取得が終了したかどうか判定するため、秒数を１つ進めた（ここでは２秒目）のインデクス情報がインデクス記憶装置１０５に記憶されているかどうかを確認する（ステップＳ１４１６）。
【０１０９】
Ｓ１４１６にて上記インデクス情報が記憶されている場合は、全区間のインデクス情報取得が終了したと判定して、再生を開始する。再生した動画ファイルの音声は、ミキシング情報記憶装置１１１に記憶された１秒目の重畳係数に従い、ミキシング装置１１２にてBGMとミキシングする（ステップＳ１４１７）。その後、図１５で説明する処理へ移行する。
【０１１０】
またＳ１４１６にて上記インデクス情報が記憶されていない場合は、２秒目を最新区間としてＳ１４０４からＳ１４１６までの処理を再度行なう。
【０１１１】
＜図１５＞
図１５は、図１４にて映像視聴装置１００のコンテンツ記憶装置１０２に記憶された動画ファイルを再生開始した後、動画ファイルの音声とBGMをミキシングして表示装置１３０に出力して、再生が終了するまでの動作を示すフローチャートである。
【０１１２】
図１４のフローチャートを経て再生開始した後、ミキシング装置１１２は１秒間隔で動画ファイルのＰＴＳ情報を取得することにより、現在の再生時間を秒単位で取得する。取得した再生時間に２秒を追加した時間における重畳係数をミキシング情報記憶装置１１１から取得して、取得した重畳係数と現在ミキシングに使っている重畳係数とを比較することにより、変更があるかどうかを判定する（ステップＳ１５０１）。
【０１１３】
Ｓ１５０１にて重畳係数に変更があった場合は、ミキシング装置１１２はボリューム変更を開始して、図１７に示すように２秒間かけて目標とする重畳係数へ少しずつ近づけていく（ステップＳ１５０２）。
【０１１４】
Ｓ１５０１にて２秒後の重畳係数をミキシング情報記憶装置１１１から取得出来なかった場合は、動画ファイルの再生終了時間が近いと判断し、取得出来た場合は、再生が継続すると判断する（ステップＳ１５０３）。
【０１１５】
Ｓ１５０３にて再生終了時間が近いと判断した場合は、ミキシング装置１１２は動画ファイルの終了まで現在の重畳係数を継続する（ステップＳ１５０４）。
【０１１６】
Ｓ１５０３にて再生が継続すると判断した場合は、Ｓ１５０１〜Ｓ１５０３を再度実行する。
【０１１７】
このように、本実施の形態にかかる音声出力装置は、記憶部と、再生部と、判別部と、出力部と、制御部とを備える。記憶部は、複数の区間からなる音声データ、及び楽曲を示す音楽データを記憶する。再生部は、音声データ及び音楽データを再生する。判別部は、音声データの複数の区間の全部又は一部に含まれており、人から発せられる音声を示す、人音声データの種類を区間毎に判別する。出力部は、再生部により再生された音声データ、及び再生部により再生された音楽データを出力する。制御部は、出力部が出力する音声データが含む人音声データの種類に応じて、出力部が出力する音声データに合成する音楽データのボリュームを決定し、該決定に基づいて、音声データ、及び音楽データを合成して出力するよう出力部を制御する。
【０１１８】
これにより、本実施の形態にかかる音声出力装置は、人から発せられる音声の種類によって、音声データに合成する音楽データのボリュームを調整できる。例えば、音声出力装置は、音声データのうち会話音が含まれている区間に合成する音楽データのボリュームを、音声データのうち笑い声が含まれている区間に合成する音楽データのボリュームよりも小さくできる。これは、多くのユーザは、会話音についてはその内容を把握するためにしっかりと聞き取りたいと考える一方、笑い声については笑っていることさえ分かればよいためそこまでしっかりと聞き取りたいとは考えないからである。その結果、動画に対して別の音声を重畳するような場合において生成された合成動画が、ユーザにとって特許文献１のものよりも興味深いものとすることができるオーディオ処理を実行できる音声出力装置、及び音声出力方法を提供できる。
【０１１９】
また、本実施の形態にかかる音声出力装置において、制御部は、さらに、音声データのうち人音声データが含まれる区間の音声データを出力するよう出力部を制御する際に、出力部が出力する人音声データの種類に応じて、音楽データに合成する音声データのボリュームを決定し、該決定に基づいて、音声データ、及び音楽データを合成して出力するよう出力部を制御する。
【０１２０】
これにより、本実施の形態にかかる音声出力装置は、人から発せられる音声の種類によって、音楽データに合成する音声データのボリュームを調整できる。例えば、音声出力装置は、音楽データに合成する音声データのうち会話音が含まれている区間のボリュームを、音脊額データに合成する音声データのうち笑い声が含まれている区間のボリュームよりも大きくできる。これは、多くのユーザは、会話音についてはその内容を把握するためにしっかりと聞き取りたいと考える一方、笑い声については笑っていることさえ分かればよいためそこまでしっかりと聞き取りたいとは考えないからである。その結果、動画に対して別の音声を重畳するような場合において生成された合成動画が、ユーザにとって特許文献１のものよりも興味深いものとすることができるオーディオ処理を実行できる音声出力装置、及び音声出力方法を提供できる。
【産業上の利用可能性】
【０１２１】
本発明は、動画に対して別の音声を重畳するような音声出力装置、音声出力方法に適用できる。例えば、本発明は、ブルーレイディスクプレーヤーや、ＤＶＤプレーヤーに適用できる。
【符号の説明】
【０１２２】
１００    映像視聴装置
１０１    入力装置
１０２    コンテンツ記憶装置
１０３    音声抽出装置
１０４    音声処理装置
１０５    インデクス記憶装置
１０６    出力装置
１０７    アンカーモデル作成装置
１０８    音声データ蓄積装置
１０９    インターフェース装置
１１０    ＢＧＭ用音楽ファイル蓄積装置
１１１    ミキシング情報記憶装置
１１２    ミキシング装置
１２０    表示装置
２０１    特徴量ベクトル生成部
２０２    アンカーモデル蓄積部
２０３    尤度ベクトル生成部
２０４    尤度ベクトルバッファ
２０５    頻度ベクトル生成部
２０６    頻度ベクトルバッファ
２０７    音声／非音声判定部
２０８    音声／非音声頻度ベクトル蓄積部
２１２    インデクス生成部
３０１    特徴量ベクトル生成部
３０２    特徴量ベクトル分類部
３０３    アンカーモデル生成部
【図１５】
2014206667.tif 000003
【図１６】
2014206667.tif 000004
【図１７】
2014206667.tif 000005
【図１】
2014206667.tif 000006
【図２】
2014206667.tif 000007
【図３】
2014206667.tif 000008
【図４】
2014206667.tif 000009
【図５】
2014206667.tif 000010
【図６】
2014206667.tif 000011
【図７】
2014206667.tif 000012
【図８】
2014206667.tif 000013
【図９】
2014206667.tif 000014
【図１０】
2014206667.tif 000015
【図１１】
2014206667.tif 000016
【図１２】
2014206667.tif 000017
【図１３】
2014206667.tif 000018
【図１４】
2014206667.tif 000019