(57)【要約】【課題】音量レベルの影響を抑え楽曲抽出の精度を向上させることが可能となる楽曲抽出装置を提供する。【解決手段】音声信号の音声パワーの変化量が閾値以上となる時点を変化点として検出する検出部と、音声信号の周波数スペクトルの時間変化を算出する第１算出部と、前記検出部が検出した変化点近傍の前記第１算出部が算出した周波数スペクトルの時間変化に基づき、前記変化点が楽曲中であるか否かを判定する判定部と、前記判定部の判定結果に基づき楽曲区間の始点と終点とを検出する楽曲区間検出部と、を備えた楽曲抽出装置とする。【選択図】図１
2011090082.tif 000002
【特許請求の範囲】
【請求項１】
音声信号から楽曲区間を抽出する楽曲抽出装置であって、
音声信号の音声パワーの変化量が閾値以上となる時点を変化点として検出する検出部と、
音声信号の周波数スペクトルの時間変化を算出する第１算出部と、
前記検出部が検出した変化点近傍の前記第１算出部が算出した周波数スペクトルの時間変化に基づき、前記変化点が楽曲中であるか否かを判定する判定部と、
前記判定部の判定結果に基づき楽曲区間の始点と終点とを検出する楽曲区間検出部と、
を備えたことを特徴とする楽曲抽出装置。
【請求項２】
前記判定部は、前記周波数スペクトルの時間変化の時間変動が大きい場合、前記変化点が楽曲中でないと判定し、前記周波数スペクトルの時間変化の時間変動が小さい場合、前記変化点が楽曲中であると判定することを特徴とする請求項１に記載の楽曲抽出装置。
【請求項３】
前記周波数スペクトルの時間変化の時間変動としてノルムを算出する第２算出部と、
前記第２算出部が算出したノルムの一定時間における変動を算出する第３算出部と、を備え、
前記第３算出部が算出したノルムの一定時間における変動に基づき、前記判定部は前記変化点が楽曲中であるか否かを判定することを特徴とする請求項１または請求項２に記載の楽曲抽出装置。
【請求項４】
前記一定時間における変動は、標準偏差または分散であることを特徴とする請求項３に記載の楽曲抽出装置。
【請求項５】
前記周波数スペクトルの時間変化とは、ＭＦＣＣ（Mel-Frequency Cepstrum Coefficient）の時間変化であることを特徴とする請求項１〜請求項４のいずれかに記載の楽曲抽出装置。
【請求項６】
音声信号の音声パワーの変化量が閾値以上となる時点を変化点として検出する検出ステップと、
音声信号の周波数スペクトルの時間変化を算出する算出ステップと、
前記検出ステップにより検出した変化点近傍の前記算出ステップにより算出した周波数スペクトルの時間変化に基づき、前記変化点が楽曲中であるか否かを判定する判定ステップと、
前記判定ステップによる判定結果に基づき楽曲区間の始点と終点とを検出する楽曲区間検出ステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号から楽曲区間を抽出する楽曲抽出装置に関する。
【背景技術】
【０００２】
ＦＭ放送やテレビ放送等の音楽番組は、音楽とＤＪ（Disc Jockey）やＭＣ（Master of Ceremony）等によるトークとから構成され、番組の中から楽曲のみを抽出する技術が従来から様々に開発されている。
【０００３】
例えば、特許文献１には、音声パワーの変化量が所定値以上である時点をカット点として検出するカット点検出部と、カット点近傍においてのみ音声信号の周波数領域における特徴量を算出する周波数特徴量算出部と、算出された周波数特徴量に基づき、カット点の属性を判定するカット点判定部と、判定された属性とサンプリング点の間隔に基づき、楽曲区間の始点と終点とを検出する楽曲区間検出部とを備えた録音再生装置が開示されている。
【０００４】
また、特許文献２には、放送波を受信し、受信した放送波から得られる左右２チャンネルの音声信号から楽曲部分を抽出して記録媒体に記録する機能を備えた楽曲記録装置において、受信した音声信号から音声パワーの変化量が大きい箇所を変化点として検出する変化点検出手段と、受信した音声信号から左右２チャンネルの音声信号の振幅差分値を算出する振幅差分値算出手段と、変化点付近の振幅差分値に基づき楽曲区間の開始位置および終了位置を特定する特定手段とを備えた楽曲記録装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２４１８５０号公報
【特許文献２】特開２００９−１９２７２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記特許文献１の録音再生装置では、典型的な楽曲の周波数特徴量と話し声の周波数特徴量を比較に際しての基準データとしてメモリに予め記憶させておき、周波数特徴量算出部により算出された周波数特徴量と基準データとの尤度を尤度検出部が算出し、算出された尤度に基づきカット点の属性を判定するので、楽曲抽出のための処理量が重くなるといった問題点があった。
【０００７】
この点、上記特許文献２の楽曲記録装置では楽曲抽出のための処理を軽くすることができるが、不安定な受信環境では音量レベルが不安定となり、音声信号の振幅差分値に誤差が生じ、変化点の属性が誤判定され、楽曲抽出を精度良く行えないことが生じるといった問題点があった。
【０００８】
上記問題点を鑑み、本発明は、音量レベルの影響を抑え楽曲抽出の精度を向上させることが可能となる楽曲抽出装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明の楽曲抽出装置は、音声信号から楽曲区間を抽出する楽曲抽出装置であって、
音声信号の音声パワーの変化量が閾値以上となる時点を変化点として検出する検出部と、
音声信号の周波数スペクトルの時間変化を算出する第１算出部と、
前記検出部が検出した変化点近傍の前記第１算出部が算出した周波数スペクトルの時間変化に基づき、前記変化点が楽曲中であるか否かを判定する判定部と、
前記判定部の判定結果に基づき楽曲区間の始点と終点とを検出する楽曲区間検出部と、を備えた構成としている。
【００１０】
このような構成によれば、音声信号の音量レベルが不安定になった場合でも、音量レベルは周波数スペクトルの時間変化には影響を与えないので、変化点が楽曲中であるか否かの誤判定を抑えて、楽曲抽出の精度を向上させることが可能となる。
【００１１】
また、上記構成において、前記判定部は、前記周波数スペクトルの時間変化の時間変動が大きい場合、前記変化点が楽曲中でないと判定し、前記周波数スペクトルの時間変化の時間変動が小さい場合、前記変化点が楽曲中であると判定するようにしてもよい。
【００１２】
また、上記いずれかの構成において、前記周波数スペクトルの時間変化の時間変動としてノルムを算出する第２算出部と、
前記第２算出部が算出したノルムの一定時間における変動を算出する第３算出部と、を備え、
前記第３算出部が算出したノルムの一定時間における変動に基づき、前記判定部は前記変化点が楽曲中であるか否かを判定するようにしてもよい。
【００１３】
また、この構成において、前記一定時間における変動は、標準偏差または分散であるようにしてもよい。
【００１４】
また、上記いずかの構成において、前記周波数スペクトルの時間変化とは、ＭＦＣＣ（Mel-Frequency Cepstrum Coefficient）の時間変化であるようにしてもよい。
【００１５】
また、本発明のプログラムは、音声信号の音声パワーの変化量が閾値以上となる時点を変化点として検出する検出ステップと、
音声信号の周波数スペクトルの時間変化を算出する算出ステップと、
前記検出ステップにより検出した変化点近傍の前記算出ステップにより算出した周波数スペクトルの時間変化に基づき、前記変化点が楽曲中であるか否かを判定する判定ステップと、
前記判定ステップによる判定結果に基づき楽曲区間の始点と終点とを検出する楽曲区間検出ステップと、
をコンピュータに実行させるためのプログラムとする。
【発明の効果】
【００１６】
本発明の楽曲抽出装置によれば、音量レベルの影響を抑え楽曲抽出の精度を向上させることが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係る録音再生装置の一概略構成を示す図である。
【図２】変化点検出を説明するための図である。
【図３】本発明に係る楽曲抽出処理に関するフローチャートである。
【図４】本発明に係る楽曲抽出処理の具体例を説明するための図である。
【図５】変化点ごとの算出された評価値を時系列で示した一例を示すグラフである。
【発明を実施するための形態】
【００１８】
以下に本発明の実施形態を図面を参照して説明する。図１に、本発明に係る録音再生装置の一概略構成を示す。
【００１９】
本発明に係る録音再生装置は、ＦＭチューナ部２と、Ａ／Ｄ変換部３と、ＭＰ３コーデック部４と、Ｄ／Ａ変換部５と、スピーカ６と、ＨＤＤ−ＩＦ７と、ＨＤＤ８と、ＤＳＰ（Digital Signal Processor）９と、ＣＰＵ１０と、メモリ１１とを備えており、ＦＭチューナ部２にはアンテナ１が接続される。
【００２０】
ＦＭチューナ部２は、アンテナ１を介して入力されたＦＭ放送波からユーザによって選択された周波数の放送波を選局し、選局した放送波を復調してアナログ音声信号をＡ／Ｄ変換部３に出力する。Ａ／Ｄ変換部３は、入力されたアナログ音声信号をデジタル音声信号に変換する。
【００２１】
ＭＰ３コーデック部４は、デジタル音声信号をＭＰ３圧縮データにエンコードしたり、ＨＤＤ８から読み出されたＭＰ３圧縮データをデジタル音声信号にデコードしたりする。
【００２２】
ＨＤＤ−ＩＦ７は、ＨＤＤ８とのインターフェイスであり、ＨＤＤ８は、大容量記憶装置である。
【００２３】
ＤＳＰ９は、Ａ／Ｄ変換部３から入力されるデジタル音声信号に基づき、音声パワーの変化量を算出し、例えば、音声パワーの変化量が閾値を越えて極大となるタイミングを変化点として検出する。図２に音声パワーの変化量の一例を示すが、この場合、音声パワーの変化量が閾値を越えて極大となるタイミングＴ（ｍ）およびＴ（ｍ＋１）が変化点として検出される。なお、音声パワーの変化量が閾値を超えるタイミングを変化点として検出してもよい。
【００２４】
また、ＤＳＰ９は、後に詳述するように、Ａ／Ｄ変換部３から入力されるデジタル音声信号に基づきＭＦＣＣ（Mel-Frequency Cepstrum Coefficient）およびその時間変化量であるΔＭＦＣＣを算出し、ΔＭＦＣＣに基づく評価値を算出する。この評価値は、変化点が楽曲中であるかトーク中であるかを判定するのに使用される。
【００２５】
ＣＰＵ１０は、録音再生装置の各部を制御する。メモリ１１は、ＣＰＵ１０のワークメモリとして使用されたり、Ａ／Ｄ変換部３が出力するデジタル音声信号を蓄積したりする。
【００２６】
ＨＤＤ８には、ＭＰ３コーデック部４のエンコード機能により得られたＭＰ３圧縮データが記録される。Ｄ／Ａ変換部５は、ＭＰ３コーデック部４のデコード機能により得られたデジタル音声信号をアナログ音声信号に変換する。スピーカ６は、Ｄ／Ａ変換部５から入力されるアナログ音声信号に基づき音声を発する。
【００２７】
次に、以上のような構成である本発明に係る録音再生装置による楽曲抽出処理について図３に示すフローチャートを参照し説明する。
【００２８】
ユーザの録音開始指示により図３のフローチャートが開始される。まず、ステップＳ１で、ＣＰＵ１０は、ＦＭチューナ部２を起動し、ＦＭチューナ部２に選局させる。
【００２９】
そして、ステップＳ２で、ＤＳＰ９は、Ａ／Ｄ変換部３から入力されるデジタル音声信号に基づき変化点を検出する処理を開始すると共に、Ａ／Ｄ変換部３から入力されるデジタル音声信号に基づき上述した評価値を算出する処理を開始する。また、Ａ／Ｄ変換部３が出力するデジタル音声信号のメモリ１１への蓄積も開始される。なお、メモリ１１には、最新から過去所定時間分のデジタル音声信号が蓄積される。
【００３０】
ここで、評価値の算出に関して詳述する。
【００３１】
まず、所定時間ごとにデジタル音声信号からＭＦＣＣの低次元（例えば、低次から１２次元まで）の係数を算出する。ＭＦＣＣは、周波数スペクトルの包絡線を表す特徴量である。
【００３２】
次に、算出されたＭＦＣＣからＭＦＣＣの時間変化量であるΔＭＦＣＣを算出する。ΔＭＦＣＣはＭＦＣＣの１次差分として（１）式のように算出され、例えば、低次から１２次元までのＭＦＣＣを使用する場合は、１２個のΔＭＦＣＣが算出される。ただし、（１）式において、ｔは時刻を、ｎは配列の番号を示す（低次から１２次元までのＭＦＣＣを使用する場合はｎ＝０〜１１）。
【数１】
2011090082.tif 000003
【００３３】
次に、上記で算出されたΔＭＦＣＣの時間変動を算出する。具体的には、時刻ｔのΔＭＦＣＣと時刻ｔ−１、ｔ−２のΔＭＦＣＣとの各ノルムを（２）式および（３）式により算出する。
【数２】
2011090082.tif 000004
【００３４】
上記の各ノルムを一定時間算出した後、各ノルムの標準偏差を（４）式および（５）式により算出する。ただし、（４）式および（５）式において、Ｎは一定時間におけるサンプル数を示す。
【数３】
2011090082.tif 000005
【００３５】
そして最後に、上記算出された標準偏差に基づき（６）式により評価値Ｐを算出する。楽曲の箇所では、ΔＭＦＣＣの時間変動が小さく、評価値Ｐは小さくなり、トークの箇所では、ΔＭＦＣＣの時間変動が大きく、評価値Ｐは大きくなる。つまり、評価値Ｐにより楽曲かトークかの判断が可能となる。なお、（６）式の第一項だけではトークの箇所で二つの標準偏差が大きい場合、評価値Ｐが小さくなってしまうので、（６）式の第二項を追加している。
【数４】
2011090082.tif 000006
【００３６】
ここで、説明を図３のフローチャートに戻す。
【００３７】
ステップＳ２で変化点検出処理および評価値算出処理を開始後、ステップＳ３で、ＤＳＰ９が変化点を検出すると、ステップＳ４に進み、ＤＳＰ９は、現時点で算出されている評価値が閾値より小さいか否かを判定する。評価値が閾値より小さい場合は（ステップＳ４のＹ）、現在の変化点は楽曲中であるとして、そのまま変化点検出処理が継続され、変化点が検出されれば（ステップＳ３）、再びステップＳ４に進む。
【００３８】
そして、もし評価値が閾値以上となれば（ステップＳ４のＮ）、現在の変化点はトーク中であるとして、ステップＳ５に進み、ＤＳＰ９は、現在の変化点を楽曲開始点候補Ｓとする。
【００３９】
そして、変化点検出処理が継続されステップＳ６で変化点が検出されると、ステップＳ７に進み、ＤＳＰ９は、現時点で算出されている評価値が閾値より小さいか否かを判定する。評価値が閾値より小さい場合は（ステップＳ７のＹ）、現在の変化点は楽曲中であるとして、そのまま変化点検出処理が継続され、変化点が検出されれば（ステップＳ６）、再びステップＳ７に進む。
【００４０】
そして、評価値が閾値以上となれば（ステップＳ７のＮ）、現在の変化点はトーク中であるとして、ステップＳ８に進み、ＤＳＰ９は、現在の変化点を楽曲終了点候補Ｅとする。
【００４１】
次に、ステップＳ９で、ＤＳＰ９は、楽曲開始点候補Ｓから楽曲終了点候補Ｅまでの時間間隔が所定時間以上（例えば、２分以上）であるか否かを判定する。
【００４２】
時間間隔が所定時間以上であれば（ステップＳ９のＹ）、楽曲開始点候補Ｓから楽曲終了点候補Ｅまでが楽曲区間であるとして、ステップＳ１０に進み、ＤＳＰ９は、楽曲開始点候補Ｓから楽曲終了点候補Ｅまでのデジタル音声信号をメモリ１１から読み出してＭＰ３コーデック部４に送ることを開始する。ＭＰ３コーデック部４は、入力されるデジタル音声信号をＭＰ３圧縮データにエンコードし、ＭＰ３圧縮データがＨＤＤ８に記録される。
【００４３】
そして、ステップＳ１０の後、ステップＳ１１で、ＤＳＰ９は、楽曲終了点候補Ｅを新たな楽曲開始点候補Ｓとして、変化点検出処理が継続され、変化点が検出されれば（ステップＳ６）、再びステップＳ７に進む。
【００４４】
また、ステップＳ９で、楽曲開始点候補Ｓから楽曲終了点候補Ｅまでの時間間隔が所定時間より短ければ（ステップＳ９のＮ）、ステップＳ１０へは進まずにステップＳ１１に進む。
【００４５】
以上が図３のフローチャートの処理となるが、ここで、図４を用いて図３のフローチャートの処理の一例を説明する。
【００４６】
まず、ステップＳ３で変化点が検出され、評価値が閾値以上となれば（ステップＳ４のＮ）、現在の変化点がトーク中として、ステップＳ５で現在の変化点が楽曲開始点候補Ｓとされる（図４の最初のＳ）。引き続き変化点が検出されるが（ステップＳ６）、評価値が閾値より小さく（ステップＳ７のＹ）、変化点は楽曲中であるとされ、以降同様のことが繰り返される（図４のｔ１、ｔ２、ｔ３等）。
【００４７】
そして、ステップＳ６で変化点が検出され、評価値が閾値以上となれば（ステップＳ７のＮ）、現在の変化点はトーク中であるとして、ステップＳ８で、現在の変化点が楽曲終了点候補Ｅとされる（図４の最初のＥ）。そして、楽曲開始点候補Ｓから楽曲終了点候補Ｅまでの時間間隔Ｔａ（図４）が所定時間以上であれば（ステップＳ９のＹ）、Ｔａの区間が楽曲区間として、Ｔａの区間のデジタル音声信号が圧縮されてＨＤＤ８に記録される。
【００４８】
そして、ステップＳ１１で、楽曲終了点候補Ｅが新たな楽曲開始点候補Ｓとされる（図４の２番目のＳ）。そして、引き続き変化点が検出されるが（ステップＳ６）、評価値が閾値より小さく（ステップＳ７のＹ）、変化点は楽曲中であるとされ、以降同様のことがもう１回繰り返される（図４のｔ４、ｔ５）。
【００４９】
そして、ステップＳ６で変化点が検出され、評価値が閾値以上となれば（ステップＳ７のＮ）、現在の変化点はトーク中であるとして、ステップＳ８で、現在の変化点が楽曲終了点候補Ｅとされる（図４の２番目のＥ）。そして、楽曲開始点候補Ｓから楽曲終了点候補Ｅまでの時間間隔Ｔｂ（図４）が所定時間より短ければ（ステップＳ９のＮ）、楽曲は抽出されずにステップＳ１１に進み、楽曲終了点候補Ｅが新たな楽曲開始点候補Ｓとされる（図４の３番目のＳ）。
【００５０】
また、図５には、変化点ごとの算出された評価値を時系列で示した一例のグラフを示す。評価値の判定の閾値を５００とし、楽曲開始点候補Ｓから楽曲終了点候補Ｅまでの時間間隔の判定の閾値を２分とした場合に、Ｔ１、Ｔ２、Ｔ３の区間のデジタル音声信号がＨＤＤ８に記録されることとなり、これらの区間は実際の楽曲の区間とほぼ一致し、精度良く楽曲を抽出することができる。
【００５１】
このように本発明に係る楽曲抽出処理によれば、ＭＦＣＣの時間変化量であるΔＭＦＣＣを算出し、算出されたΔＭＦＣＣに基づく評価値を算出し、算出された評価値を閾値を用いて判定して変化点が楽曲中であるかトーク中であるかを判定するので、楽曲抽出のための処理を軽くすることができる。
【００５２】
また、放送受信が不安定となり音量レベルが不安定となったとしても、音量レベルはＭＦＣＣに影響を与えないので評価値にも影響がなく、変化点が楽曲中であるかトーク中であるかの誤判定を抑えることができ、楽曲の抽出精度を向上させることが可能となる。
【００５３】
以上、本発明の実施形態について説明したが、本発明の実施形態はこれに限定されることはなく、本発明の趣旨を逸脱しない範囲での様々な変形が可能である。
【００５４】
例えば、上記実施形態では、周波数スペクトルの包絡線を表す特徴量としてＭＦＣＣを用いたが、その他の特徴量を用いてもかまわない。
【００５５】
また、例えば、上記（４）式および（５）式で標準偏差を算出したが、分散を算出するようにして、上記（６）式による評価値Ｐの算出を分散を用いて行うようにしてもかまわない。
【００５６】
また、例えば、上記実施形態では、メモリ１１にデジタル音声信号を蓄積し、楽曲開始点候補Ｓから楽曲終了点候補Ｅまでが楽曲区間として確定すると、メモリ１１からその区間のデジタル音声信号が読み出されてＨＤＤ８に記録されるようにしていたが、ＨＤＤ８にすべてのデジタル音声信号を記録させるようにし、ＤＳＰ９は、楽曲開始点候補Ｓから楽曲終了点候補Ｅまでが楽曲区間として確定すると、楽曲開始点候補Ｓおよび楽曲終了点候補Ｅをメモリ１１あるいはＨＤＤ８に記憶させるようにしてもよい。これにより、ＨＤＤ８から楽曲部分のみを再生したり、ＨＤＤ８に記録されたデジタル音声信号のうち楽曲部分のみを残す編集をしたりできる。
【００５７】
また、上記実施形態の図３に示す楽曲抽出処理であると、処理開始時に楽曲部分が放送されていた場合、楽曲の間はステップＳ３およびステップＳ４が繰り返され、処理を開始してからの最初の楽曲部分は抽出されないこととなる。これは、楽曲の途中からの抽出は望ましくないという観点によるものである。しかし、図３の処理において、ステップＳ２で現時点を楽曲開始点候補Ｓとし、ステップＳ６に移行するようにして、最初の楽曲部分も抽出するようにしてもよい。
【００５８】
また、上記実施形態の図３に示す楽曲抽出処理において、ステップＳ５の時点で時間計測を開始し、所定時間（ステップＳ９での所定時間と同じ時間）経過したらメモリ１１からＭＰ３コーデック部４に所定時間前のデジタル音声信号を順次送ってＨＤＤ８にデジタル音声信号を記録させるようにし、ステップＳ９のＹの場合は、楽曲終了点候補Ｅまでのデジタル音声データをＨＤＤ８に記録させるようにしてもよい。この場合、ステップＳ１１の時点から再度時間計測を開始し、同様の処理とする。
【符号の説明】
【００５９】
１  アンテナ
２  ＦＭチューナ部
３  Ａ／Ｄ変換部
４  ＭＰ３コーデック部
５  Ｄ／Ａ変換部
６  スピーカ
７  ＨＤＤ−ＩＦ
８  ＨＤＤ
９  ＤＳＰ
１０  ＣＰＵ
１１  メモリ
【図１】
2011090082.tif 000007
【図２】
2011090082.tif 000008
【図３】
2011090082.tif 000009
【図４】
2011090082.tif 000010
【図５】
2011090082.tif 000011