(57)【要約】【課題】音楽区間の検出精度に優れた技術を提供すること。【解決手段】音楽検出装置は、処理対象情報に含まれるオーディオ情報の２チャンネルの音量比に基づき、前記処理対象情報中の音楽区間を検出する音楽区間検出手段と、前記処理対象情報中のＣＭ区間を検出するＣＭ区間検出手段と、前記ＣＭ区間に前記音楽区間の少なくとも一部が重なることを条件として、前記ＣＭ区間と前記音楽区間との重なり区間と前記音楽区間との比に基づき、前記音楽区間を非音楽区間として処理する音楽区間処理手段とを備えている。【選択図】      図１
2008298976.tif 000002
【特許請求の範囲】
【請求項１】
処理対象情報に含まれる２チャンネルの音量比に基づき、前記処理対象情報中の音楽区間を検出する音楽区間検出手段と、
前記処理対象情報中のＣＭ区間を検出するＣＭ区間検出手段と、
前記ＣＭ区間に前記音楽区間の少なくとも一部が重なることを条件として、前記ＣＭ区間と前記音楽区間との重なり区間と前記音楽区間との比に基づき、前記音楽区間を非音楽区間として処理する音楽区間処理手段と、
を備えた音楽検出装置。
【請求項２】
前記音楽区間検出手段は、所定時間単位で２チャンネルの音量差と２チャンネルの合計音量とを計算し、音量差と合計音量との比を示す前記音量比を計算し、前記音量比が第１の閾値より大きく、且つ前記音量比が第１の閾値を上回っている時間が第２の閾値より長い区間を音楽区間として検出することを特徴とする請求項１に記載の音楽検出装置。
【請求項３】
前記音楽区間検出手段は、前記処理対象情報の音量の平均値に基づき前記第１の閾値を決定することを特徴とする請求項１に記載の音楽検出装置。
【請求項４】
前記音楽区間検出手段は、一時時間が重なる所定時間単位で前記音量比を計算することを特徴とする請求項２に記載の音楽検出装置。
【請求項５】
処理対象情報に含まれる２チャンネルの音量比に基づき、前記処理対象情報中の音楽区間を検出し、
前記処理対象情報中のＣＭ区間を検出し、
前記ＣＭ区間に前記音楽区間の少なくとも一部が重なることを条件として、前記ＣＭ区間と前記音楽区間との重なり区間と前記音楽区間との比に基づき、前記音楽区間を非音楽区間として処理する、
ことを特徴とする音楽検出方法。
【請求項６】
所定時間単位で２チャンネルの音量差と２チャンネルの合計音量とを計算し、音量差と合計音量との比を示す前記音量比を計算し、前記音量比が第１の閾値より大きく、且つ前記音量比が第１の閾値を上回っている時間が第２の閾値より長い区間を音楽区間として検出することを特徴とする請求項５に記載の音楽検出方法。
【請求項７】
前記処理対象情報の音量の平均値に基づき前記第１の閾値を決定することを特徴とする請求項５に記載の音楽検出方法。
【請求項８】
一時時間が重なる所定時間単位で前記音量比を計算することを特徴とする請求項６に記載の音楽検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば映像音声信号に含まれる音楽情報の検出技術に関する。
【背景技術】
【０００２】
近年、大容量ハードディスク等を搭載した映像音声録画装置の普及が目覚しい。これにより、録画情報のデータサイズが大きくなる傾向にあり、録画情報の中から目的の情報、例えば音楽部分をより効率良く検索するための機能が望まれている。
【０００３】
例えば、音楽部分を検出する技術が提案されている（特許文献１参照）。具体的には、２チャネル音声の各チャネルのパワーの合計を算出し、２チャネル音声の各チャネルのパワーの差を算出し、これら算出されたパワーの比を求め、算出されたパワーの比を閾値と比較し、比較結果に基づいて音楽区間を判定する技術が提案されている。
【特許文献１】特開２００６−３０１１３４
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、２チャネル音声の各チャネルのパワーの合計を算出し、２チャネル音声の各チャネルのパワーの差を算出し、これら算出されたパワーの比に基づき音楽区間を検出する場合、放送映像に含まれるＣＭ区間が音楽区間として検出されることがある。これは、ＣＭ区間が音楽を含むことが多いためである。また、ＣＭ付近の本編には、派手な効果音や拍手等、音楽として検出されやすい要素が多く存在する。本編中の音楽区間のみを保存用媒体に記録するアプリケーションが、ＣＭ付近の非音楽区間を音楽区間として誤検出するのを防止したい。
【０００５】
本発明の目的は、上記課題を解決するためになされたものであり、音楽区間の検出精度に優れた技術を提供することにある。
【課題を解決するための手段】
【０００６】
この発明の音楽検出装置及び音楽検出方法は、以下のように構成されている。
【０００７】
（１）この発明の一実施形態に係る音楽検出装置は、処理対象情報に含まれる２チャンネルの音量比に基づき、前記処理対象情報中の音楽区間を検出する音楽区間検出手段と、前記処理対象情報中のＣＭ区間を検出するＣＭ区間検出手段と、前記ＣＭ区間に前記音楽区間の少なくとも一部が重なることを条件として、前記ＣＭ区間と前記音楽区間との重なり区間と前記音楽区間との比に基づき、前記音楽区間を非音楽区間として処理する音楽区間処理手段とを備えている。
【０００８】
（２）この発明の一実施形態に係る音楽検出方法は、処理対象情報に含まれる２チャンネルの音量比に基づき、前記処理対象情報中の音楽区間を検出し、前記処理対象情報中のＣＭ区間を検出し、前記ＣＭ区間に前記音楽区間の少なくとも一部が重なることを条件として、前記ＣＭ区間と前記音楽区間との重なり区間と前記音楽区間との比に基づき、前記音楽区間を非音楽区間として処理する。
【発明の効果】
【０００９】
本発明によれば、音楽区間の検出精度に優れた技術を提供できる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照し、本発明の実施形態について説明する。
【００１１】
図１は、本発明の一実施形態に係る音楽検出装置の概略構成を示すブロック図である。
【００１２】
音楽検出装置は、少なくとも音声を含む情報（オーディオ情報）、例えば音楽番組を処理する。音楽検出装置は、音量比計算部１、閾値計算部２、ＣＭ検出部３、音楽区間検出部４、検出結果統合部５を備えている。
【００１３】
音量比計算部１は、入力された処理対象情報（例えばＭＰＥＧファイル）を所定区間（所定時間単位）に分割し、左右チャンネル（２チャンネル）の音量差と、左右チャンネル（２チャンネル）の合計音量とを計算し、さらに、この音量差と合計音量の比（音量比）を計算する。
【００１４】
閾値計算部２は、音量比に対する閾値Ａ及び閾値Ｃ、及び左右チャンネルの出力時間に対する閾値Ｂ及び閾値Ｄを保持する。また、閾値計算部２は、入力された処理対象情報の特徴に基づき、閾値Ａ及び閾値Ｃを動的に計算する。例えば、地上波デジタル放送と地上波アナログ放送とでは音量の平均値が異なる。つまり、地上波デジタル放送と地上波アナログ放送で同じ閾値を使うと、適切な判定ができなくなるおそれがある。そこで、閾値計算部２は、入力された処理対象情報に含まれるオーディオ情報の音量の平均値に基づき閾値Ａ及び閾値Ｃを動的に決定する。
【００１５】
音楽区間検出部４は、処理対象情報に含まれるオーディオ情報の左右チャンネルの音量比に基づき、処理対象情報中の音楽区間を検出する。例えば、音楽区間検出部４は、所定時間単位で左右チャンネルの音量差と左右チャンネルの合計音量とを計算し、音量差と合計音量との比を示す音量比を計算し、この音量比が閾値Ａより大きく、且つ音量比が閾値Ａを上回っている時間が閾値Ｂより長い区間を音楽区間として検出する。
【００１６】
ＣＭ検出部３は、入力された処理対象情報が放送映像の場合に、映像及び音声の特徴からＣＭ（コマーシャルメッセージ）を検出する。例えば、ＣＭ検出部３は、処理対象情報に含まれる所定音量未満の無音区間を少なくとも二つ検出し、検出された無音区間により挟まれるＣＭ区間を検出する。
【００１７】
検出結果統合部５は、検出された音楽区間の位置と、検出されたＣＭ区間の位置とを比較し、ＣＭ区間に音楽区間の少なくとも一部が含まれることを条件として、ＣＭ区間と音楽区間との重なり区間と音楽区間との比に基づき、音楽区間を非音楽区間として処理する。検出結果統合部５は、最終的に、音楽区間の開始時刻と終了時刻を出力する。
【００１８】
ここで、入力された処理対象情報から音楽区間検出について説明する。図２は、音楽検出検出の一例を示すフローチャートである。
【００１９】
音量比計算部１は、複数チャンネルからなる音声情報を入力し（ＳＴ１）、この音声情報を所定時間単位で区切った区間に分割する（ＳＴ２）。以下、分割された区間の数だけ、ＳＴ３〜ＳＴ５の処理が繰り返される。
【００２０】
音量比計算部１は、各区間の音量比を計算する（ＳＴ４）。つまり、音量比計算部１は、第１の区間について、左右チャンネル（２チャンネル）の音量差と、左右チャンネル（２チャンネル）の合計音量とを計算し、さらに、この音量差と合計音量の比（音量比）を計算する（ＳＴ３）。音量比計算部１は、計算した音量比を音楽区間検出部４の状態遷移機械に通知する。続いて、第１の区間の後続の第２の区間についても、同様に、左右チャンネル（２チャンネル）の音量差と、左右チャンネル（２チャンネル）の合計音量とを計算し、さらに、この音量差と合計音量の比（音量比）を計算する。音量比計算部１は、計算した音量比を音楽区間検出部４の状態遷移機械に通知する。以下、分割された区間の数だけ、処理を繰り返す。
【００２１】
音楽区間検出部４の状態遷移機械は、音量比が閾値Ａより大きく、且つ音量比が閾値Ａを上回っている時間が閾値Ｂより長い区間を音楽区間として検出する（ＳＴ５）。
【００２２】
図３は、音量比計算区間の一例を示す図である。
【００２３】
図３に示すように、処理対象情報全体は、所定時間単位に複数区間に分割される。例えば、第１の区間（１）、第２の区間（２）、第３の区間（３）、第４の区間（４）を含む複数区間に分割される。なお、時間的に後に出現する情報が右側に位置する。つまり、第１の区間（１）より第２の区間（２）中の情報が時間的に後に出現する情報である。同様に、第２の区間（２）より第３の区間（３）中の情報が時間的に後に出現する情報である。第３の区間（３）より第４の区間（４）中の情報が時間的に後に出現する情報である。音量比計算部１は、これら各区間の音量比を計算する。
【００２４】
図４は、音楽区間検出部４の状態遷移機械による音楽区間検出の一例を示す状態遷移図である。
【００２５】
音楽区間検出部４の状態遷移機械は、各区間の音量比に基づき、音楽区間を検出する。状態遷移機械は、音量比に関する閾値Ａ及び閾値Ｃ、時間長に関する閾値Ｂ及び閾値Ｄを保持する。状態遷移機械は、音量比が閾値Ａよりも大きく、且つ音量比が閾値Ａを上回っている時間が閾値Ｂ（秒）以上続く第１の条件が満たされるとき、初めて閾値Ａを上回った時刻を音楽区間の開始時刻として検出する。次に、状態遷移機械は、第１の条件が満たされている状態で、音量比が閾値Ｃよりも小さく、且つ閾値Ｃを下回っている時間が閾値Ｄ（秒）以上続く第２の条件が満たされるとき、閾値Ｃを初めて下回った時刻を音楽区間の終了時刻として検出する。
【００２６】
さらに、状態遷移機械について詳しく説明する。状態遷移機械には次の４個の状態がある。
【００２７】
・監視状態（初期状態）
・候補状態
・確定中状態
・終了可能性状態
監視状態は初期状態である。
【００２８】
さらに、次の６種類の遷移を定める。
【００２９】
１．監視状態のときに入力された音量比が閾値Ａよりも大きい場合は、候補状態に遷移する。このときの遷移時刻（解析している位置を一意に特定するための情報）をＴ１とする。
【００３０】
２．候補状態のときに入力された音量比が閾値Ａ以下の場合は監視状態に遷移する。
【００３１】
３．候補状態のときに入力された音量比が閾値Ａよりも大きい時間がＢ秒以上続いた場合、確定中状態に遷移する。
【００３２】
４．確定中状態のときに入力された音量比が閾値Ｃ以下の場合は終了可能性状態に遷移する。このとき遷移時刻をＴ２とする
５．終了可能性状態のときに入力された比が閾値Ｃよりも大きい場合は確定中状態に遷移する。
【００３３】
６．終了可能性状態のときに入力された比が閾値Ｃ以下の時間がＤ秒以上続いた場合、監視状態に遷移する。この遷移をもって音楽区間を確定する。つまり、Ｔ１からＴ２までを音楽区間として確定する。
【００３４】
遷移条件に許容範囲を設け、遷移条件をｎ回以上満たしたときに初めて遷移するようにしてもよい。これにより、処理対象情報が不安定であっても、信頼性の高い音楽区間検出が可能となる。
【００３５】
また、閾値Ａ、Ｃを固定値ではなく、入力された処理対象情報に基づき動的に計算される値にしてもよい。例えば、閾値計算部２は、入力された処理対象情報の音量の平均値に基づき、閾値Ａ、Ｃを計算する。これにより、複数台の音楽検出装置により同一の処理対象情報から音楽区間検出を行なう場合、各音楽検出装置に入力される処理対象情報の音量が異なっていても、同一の音楽区間検出結果を得ることができる。
【００３６】
また、音楽区間をより正確に求めるため、音量比に対して定数の加減乗除処理を加えたり、音量比をｎ乗したりするような変換関数を適用するようにしてもよい。左右チャンネルの音量差、左右チャンネルの合計音量、音量差と合計音量の比のいずれかが一定の条件を満たす場合にのみ変換関数を適用するようにしてもよい。
【００３７】
図５は、音量比計算区間の別例を示す図である。図３を参照して音量比計算区間について説明したが、図５に示す音量比計算区間を採用するようにしてもよい。つまり、一時時間が重なる所定時間単位で音量比を計算するようにしてもよい。
【００３８】
図５に示すように、処理対象情報全体は、所定時間単位に複数区間に分割される。例えば、第１の区間（１）、第２の区間（２）、第３の区間（３）、第４の区間（４）を含む複数区間に分割される。なお、時間的に後に出現する情報が右側に位置する。つまり、第１の区間（１）より第２の区間（２）中の情報が時間的に後に出現する情報である。同様に、第２の区間（２）より第３の区間（３）中の情報が時間的に後に出現する情報である。第３の区間（３）より第４の区間（４）中の情報が時間的に後に出現する情報である。
【００３９】
音量比計算部１は、第１の区間（１）、第２の区間（２）、及び第３の区間（３）を区間Ａとし、第２の区間（２）、第３の区間（３）、及び第４の区間（４）を区間Ｂとし、区間Ａの音量差Ａ１及び合計音量Ａ２、さらに区間Ｂの音量差Ｂ１及び合計音量Ｂ２を計算する。音量比計算部１は、音量差Ａ１と合計音量Ａ２の比を計算し、計算結果を第２の区間（２）の音量比とする。同様に、音量比計算部１は、音量差Ｂ１と合計音量Ｂ２の比を計算し、計算結果を第３の区間（３）の音量比とする。つまり、音量比計算部１は、一部時間が重なる所定時間単位で合計音量を計算する。
【００４０】
これにより、複数台の音楽検出装置で同一の処理対象情報から音楽区間検出を行なう場合に、各装置の内蔵時計にずれが生じていても、つまり解析を始める位置が異なり検出対象にずれが存在した場合でも、同一の音楽区間検出結果を得ることができる。
【００４１】
また、図６に示すように、音量を合計する際に、窓掛け関数の適用により、前後の区間の音量よりも、前後の区間で挟まれた区間の音量を大きくし、合計音量を算出するようにしてもよい。例えば、第２の区間（２）の音量比を計算するときに、第１の区間（１）及び第３の区間（３）の音量よりも第２の区間（２）の音量を大きする。即ち、以下の式１により、区間Ａの合計音量Ａを計算する。
【００４２】
(第１の区間／ｎ＋第２の区間＋第３の区間／ｎ)＊ｍ（ｎ、ｍ：定数）…（式１）
続いて、ＣＭ検出について説明する。１個のＣＭの前後には音声レベルの小さい部分（無音区間）があり、またＣＭの長さには規則性がある。ＣＭ検出部３は、処理対象情報に含まれる所定音量未満の無音区間を少なくとも二つ検出する。さらに、ＣＭ検出部３は、検出された無音区間により挟まれる区間であって、ＣＭの長さの規則性に合致する区間を、ＣＭ区間として検出する。また、音声のチャンネル情報や処理対象情報に含まれる映像の切り換わり検出（映像の変化量）に基づき、ＣＭ区間を検出するようにしてもよい。
【００４３】
以下、ＣＭ検出の一例について詳細に説明する。ＣＭ検出部３は、処理対象情報に含まれる所定音量未満の無音部を検出する。このときＣＭ検出部３、無音部情報（無音部が判定された時刻の情報）を蓄積する。さらにＣＭ検出部３は、無音部と次の無音部との時間間隔が一定時間の倍数であるかどうかを判定している。例えば、ＣＭは、１５秒の倍数で放送されることが多い。つまり、無音部と次の無音部との時間間隔が１５秒の倍数か否かにより、無音部と次の無音部との区間がＣＭか否かを判断することができる。そして、時間間隔が一定時間の倍数であれば、無音部をカウントし、無音部のカウント数が閾値以上あれば、最初と最後に現れた無音部に挟まれた区間をＣＭ区間として検出する。因みに、最初に現れた無音部がＣＭ開始時刻、最後に現れた無音部がＣＭ終了時刻に相当する。
【００４４】
例えば１つの番組中（例えば録画予約した番組）の中で、２回のコマーシャル期間があったとする。第１回目のコマーシャル期間にＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４の４つのコマーシャルが放送され、第２回目のコマーシャル期間にＣＭ５、ＣＭ６，ＣＭ７の３つのコマーシャルが放送されたとする。
【００４５】
例えば第１回目のコマーシャル期間において、無音部１→ＣＭ１→無音部２→ＣＭ２→無音部３→ＣＭ３→無音部４→ＣＭ４→無音部５が順に検出される。その結果、最初に現れた無音部１と最後に現れた無音部５に挟まれた区間がＣＭ区間として検出される。因みに、最初に現れた無音部１がＣＭ開始時刻、最後に現れた無音部５がＣＭ終了時刻に相当する。
【００４６】
同様に、第２回目のコマーシャル期間においても、無音部６→ＣＭ５→無音部７→ＣＭ６→無音部８→ＣＭ７→無音部９が順に検出される。その結果、最初に現れた無音部６と最後に現れた無音部９に挟まれた区間がＣＭ区間として検出される。因みに、最初に現れた無音部６がＣＭ開始時刻、最後に現れた無音部９がＣＭ終了時刻に相当する。
【００４７】
図７は、ＣＭ区間と音楽区間の検出例を示す図である。図７の左部分に示すようにＣＭ区間と音楽区間とが独立して検出される場合、図７の右部分に示すようにＣＭ区間と音楽区間の一部が重なって検出される場合、さらに一方の区間（音楽区間）が他方の区間（ＣＭ区間）に包含されてしまう場合がある。
【００４８】
処理対象情報に含まれる本編中に含まれる音楽区間（歌唱シーン）を正確に抜き出して、保存用媒体に記録したいというニーズがある。そのためには、音楽区間の開始位置及び終了位置を正確に検出する必要がある。しかし、ＣＭにも音楽が適用されていることがあり、ＣＭ区間を音楽区間として誤検出してしまう、あるいはＣＭ区間に含まれる一部区間を音楽区間として誤検出してしまうことが考えられる。また、ＣＭ付近の本編には派手な効果音や拍手等、音楽として検出されやすい要素が多く存在する。上記ニーズを満たすためには、ＣＭ付近の本編を音楽区間として誤検出しない必要がある。そこで、検出結果統合部５は、ＣＭ区間と音楽区間を正確に分離する。以下にその詳細を説明する。
【００４９】
図８に示すように、ＣＭ区間と音楽区間の一部が重なって検出されたとき、音楽区間のうちＣＭ区間と重なっていない部分の時間長をＴ１、音楽区間とＣＭ区間が重なっている部分の時間長をＴ２と設定する。
【００５０】
音楽区間の長さと、音楽区間中に存在するＣＭ区間の長さとの割合を、以下の式（２）に基づき計算する。
【００５１】
Ｔ２／（Ｔ１＋Ｔ２）…（式２）
検出結果統合部５は、上記した割合と閾値とを比較し、上記した割合が閾値より大きい場合、ＣＭ中の音楽区間やＣＭ付近の本編を検出したと判定する。つまり、検出結果統合部５は、上記した割合が閾値より大きい場合、検出された音楽区間は誤検出であると判定し、検出された音楽区間を非音楽区間として処理する。
【００５２】
また、音楽区間にはある程度の長さがあることから、非音楽区間として処理する条件として、「Ｔ１が閾値より小さい」という条件を追加してもよい。この条件の追加により、ＣＭ付近の本編をより正確に音楽区間又は非音楽区間として判定することができる。
【００５３】
上記した本実施形態により、以下の効果が得られる。
【００５４】
（１）左右チャンネルの音量差だけで音楽区間を検出しようとすると、ＣＭ区間又はＣＭ付近の本編が、音楽区間として誤検出されてしまうおそれがある。本実施形態では、ＣＭ検出結果を利用するため、より高精度に音楽区間を検出することができる。
【００５５】
（２）同一の放送番組を異なる複数装置で処理した場合、放送番組の時間的なずれや、放送番組の音量差により、同じ音声区間検出結果が得られないことがある。本実施形態の音楽検出装置であれば、複数装置で同一の放送番組を処理した場合、同一の音楽検出結果を得ることができる。
【００５６】
なお、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【図面の簡単な説明】
【００５７】
【図１】図１は、本発明の一実施形態に係る音楽検出装置の概略構成を示すブロック図である。
【図２】図２は、音楽検出検出の一例を示すフローチャートである。
【図３】図３は、音量比計算区間の一例を示す図である。
【図４】図４は、音楽区間検出部４の状態遷移機械による音楽区間検出の一例を示す状態遷移図である。
【図５】図５は、音量比計算区間の別例を示す図である。
【図６】図６は、音量合計の計算例を示す図である。
【図７】図７は、ＣＭ区間と音楽区間の検出例を示す図である。
【図８】図８は、ＣＭ区間と音楽区間の検出例を示す図である。
【符号の説明】
【００５８】
１…音量比計算部、２…閾値計算部、３…ＣＭ検出部、４…音楽区間検出部、５…検出結果統合部
【図１】
2008298976.tif 000003
【図２】
2008298976.tif 000004
【図３】
2008298976.tif 000005
【図４】
2008298976.tif 000006
【図５】
2008298976.tif 000007
【図６】
2008298976.tif 000008
【図７】
2008298976.tif 000009
【図８】
2008298976.tif 000010