(57)【要約】  楽曲解析装置（４Ａ）は、楽曲データに対して周波数領域への変換を行う周波数変換部（４１）と、周波数変換部（４１）により変換された楽曲データの平滑化処理を行う平滑化処理部（４２）と、平滑化処理部（４２）により平滑化処理された楽曲データの音圧レベルのピーク値、当該ピーク値の前後の極小値の差分として与えられるプロミネンス、および当該ピーク値の山の幅となるピーク幅を検出するピーク検出部（４３）と、ピーク検出部（４３）により検出されたピーク値、プロミネンス、およびピーク幅が、所定の閾値を超えるか否かを判定し、所定の閾値を超える区間を、楽曲データの歌唱データを含む区間であると判定する歌唱区間判定部（４４）と、を備えている。
2019026286.tif 000002
【特許請求の範囲】
【請求項１】
楽曲データに対して周波数領域への変換を行う周波数変換部と、
前記周波数変換部により変換された楽曲データの平滑化処理を行う平滑化処理部と、
前記平滑化処理部により平滑化処理された楽曲データの音圧レベルのピーク値、当該ピーク値の前後の極小値の差分として与えられるプロミネンス、および当該ピーク値の山の幅となるピーク幅を検出するピーク検出部と、
前記ピーク検出部により検出されたピーク値、プロミネンス、およびピーク幅が、所定の閾値を超えるか否かを判定し、所定の閾値を超える区間を、前記楽曲データの歌唱データを含む区間であると判定する歌唱区間判定部と、
を備えていることを特徴とする楽曲解析装置。
【請求項２】
請求項１に記載の楽曲解析装置において、
前記周波数変換部は、ＦＦＴ（Fast Fourier Transform）により周波数領域への変換を行うことを特徴とする楽曲解析装置。
【請求項３】
請求項１または請求項２に記載の楽曲解析装置において、
前記平滑化処理部は、２次ＩＩＲ(Infinite Impulse Response)ＬＰＦ（Low-Pass Filter）により平滑化処理を行うことを特徴とする楽曲解析装置。
【請求項４】
コンピュータを、
楽曲データに対して周波数領域への変換を行う周波数変換部と、
前記周波数変換部により変換された楽曲データの平滑化処理を行う平滑化処理部と、
前記平滑化処理部により平滑化処理された楽曲データの音圧レベルのピーク値、当該ピーク値の前後の極小値の差分として与えられるプロミネンス、および当該ピーク値の山の幅となるピーク幅を検出するピーク検出部と、
前記ピーク検出部により検出されたピーク値、プロミネンス、およびピーク幅が、所定の閾値を超えるか否かを判定し、所定の閾値を超える区間を、前記楽曲データの歌唱データを含む区間であると判定する歌唱区間判定部と、
して機能させることを特徴とする楽曲解析プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽曲解析装置および楽曲解析プログラムに関する。
【背景技術】
【０００２】
従来、歌唱を含む楽曲データから歌唱部分を消去して、楽曲データをカラオケ等に使用するボイスキャンセル機能を有する楽曲再生装置が知られている（たとえば、特許文献１、特許文献２参照）。
このような楽曲再生装置では、歌唱部分が、ＬチャンネルとＲチャンネルの中間の位置に定位し、ＬチャンネルとＲチャンネルにほぼ同位相、同レベルで含まれていることを利用して、ＬチャンネルおよびＲチャンネルの差を取った信号に低域成分と高域成分を補充することにより、入力される楽曲データから歌唱部分を除去している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１０９２０７号公報
【特許文献２】特開平３−２１２００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、ＤＪパフォーマンスにおいては、再生中の楽曲データから他の楽曲データにテンポを同期させて遷移することが頻繁に行われている。
この場合、再生中の楽曲データの歌唱部分から他の楽曲データの歌唱部分に遷移してしまうと、聴取者に違和感を与える。
このため、コンピュータ読取可能なプログラム等を実行して楽曲データの解析を行い、歌唱部分を検出する必要があるが、前記特許文献１および特許文献２に記載の技術では、歌唱部分を検出することはできない。【０００５】
本発明の目的は、再生中の楽曲データから他の楽曲データに遷移する際、聴取者に違和感を与えることなく、楽曲データの遷移を行うことのできる楽曲解析装置および楽曲解析プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明の楽曲解析装置は、
楽曲データに対して周波数領域への変換を行う周波数変換部と、
前記周波数変換部により変換された楽曲データの平滑化処理を行う平滑化処理部と、
前記平滑化処理部により平滑化処理された楽曲データの音圧レベルのピーク値、当該ピーク値の前後の極小値の差分として与えられるプロミネンス、および当該ピーク値の山の幅となるピーク幅を検出するピーク検出部と、
前記ピーク検出部により検出されたピーク値、プロミネンス、およびピーク幅が、所定の閾値を超えるか否かを判定し、所定の閾値超える区間を、前記楽曲データの歌唱データを含む区間であると判定する歌唱区間判定部と、
を備えていることを特徴とする。【０００７】
本発明の楽曲解析プログラムは、
コンピュータを、
楽曲データに対して周波数領域への変換を行う周波数変換部と、
前記周波数変換部により変換された楽曲データの平滑化処理を行う平滑化処理部と、
前記平滑化処理部により平滑化処理された楽曲データの音圧レベルのピーク値、当該ピーク値の前後の極小値の差分として与えられるプロミネンス、および当該ピーク値の山の幅となるピーク幅を検出するピーク検出部と、
前記ピーク検出部により検出されたピーク値、プロミネンス、およびピーク幅が、所定の閾値を超えるか否かを判定し、所定の閾値を超える区間を、前記楽曲データの歌唱データを含む区間であると判定する歌唱区間判定部と、
して機能させることを特徴とする。
【図面の簡単な説明】
【０００８】
【図１】本発明の実現方法の考え方を説明するためのグラフ。
【図２】本発明の実施形態に係る音響制御システムの構成を示す模式図。
【図３】前記実施形態における楽曲解析装置の構成を示すブロック図。
【図４】前記実施形態における周波数領域への変換を示すグラフ。
【図５】前記実施形態における平滑化処理を示すグラフ。
【図６】前記実施形態における周波数領域への変換を示すグラフ。
【図７】前記実施形態における平滑化処理を示すグラフ。
【図８】前記実施形態の作用を示すフローチャート。
【発明を実施するための形態】
【０００９】
［１］本発明の実現方法
本発明の楽曲解析は、「歌声情報処理の最近の研究」（後藤真孝、齋藤毅、中野倫靖、藤原弘将（産業技術総合研究所）日本音響学会誌６４巻１０号（２００８）ｐｐ．６１６−６２３）に記載された内容に基づくものである。
【００１０】
具体には、以下に記載された内容に基づくものである。
「歌声は、話し声と比較して発声の高さや強さの変動幅が広く、より複雑で動的な特性を持つことが知られている。特に楽曲の旋律に沿って変化する基本周波数（Ｆ０、声の高さ）の軌跡には、歌声固有の動的な変動成分が現れる。中でも図１に示すように、プレパレーション、オーバーシュート、微細変動、ヴィブラートという４種の成分は、歌唱法や歌唱者に依存せず、様々な歌声において共通して存在し、かつ歌声を知覚する上で重要な役割を担っていることが明らかになってきている。」
このことから、歌声のスペクトルと楽器音のスペクトルを比較した場合、歌声のピークの幅は、楽器音のピークに比べてブロードになるという傾向を生じる。
そこで、本発明の楽曲解析では、ピークの幅の広い狭いの違いから、楽曲データ中の音が歌唱音であるか、楽器音であるかを判定することとした。
【００１１】
［２］全体構成
図２には、本発明の実施形態に係る音響制御システム１が示されている。この音響制御システム１は、音響機器としての４台のデジタルプレーヤー２と、音響機器としてのデジタルミキサー３と、コンピュータ４とを接続して構成される。
４台のデジタルプレーヤー２は、操作することにより音響制御情報を出力する機能を備え、ＬＡＮケーブル５によってデジタルミキサー３に接続されている。このように４台のデジタルプレーヤー２とデジタルミキサー３とをＬＡＮケーブル５で接続することにより、５つの音響機器２、３を連動させることが可能となる。
本実施形態では、ＬＡＮケーブル５は、ＩＥＥＥ１３９４規格のインターフェースが用いられている。なお、デジタルプレーヤー２とデジタルミキサー３との接続は、これに限らず、ＭＩＤＩ（Musical Instruments Digital Interface：登録商標／社団法人音楽電子事業協会）規格のインターフェースを利用してもよい。
【００１２】
デジタルミキサー３は、ＵＳＢケーブル６を介して、コンピュータ４と通信可能に接続される。デジタルミキサー３は、デジタルプレーヤー２を操作するごとに入力される音響制御情報と、自身が操作されることにより生成される音響制御情報とを、一括してコンピュータ４に出力するマスター音響機器（いずれか１つの音響機器）として機能する。本実施形態では、ＵＳＢケーブル６は、ＵＳＢ２．０規格のインターフェースが用いられている。なお、デジタルミキサー３とコンピュータ４との接続は、これに限らず、ＩＥＥＥ１３９４規格のＬＡＮケーブルで接続してもよい。
【００１３】
コンピュータ４は、ＣＰＵおよびハードディスク、ＲＯＭ等のメモリーを備えて構成される。ＣＰＵ上では、楽曲情報を管理するプログラムが実行可能とされ、デジタルミキサー３からＵＳＢケーブル６を介して入力された音響制御情報に基づいて、再生する楽曲等にエフェクトや、ミキシング等の音響処理を施す。
【００１４】
［３］楽曲解析装置４Ａの構成
図３には、本実施形態に係る楽曲解析装置４Ａの機能ブロック図が示されている。楽曲解析装置４Ａは、コンピュータ４のＣＰＵ上で実行される楽曲解析プログラムとして構成され、周波数変換部４１、平滑化処理部４２、ピーク検出部４３、歌唱区間判定部４４、および楽曲データ切替制御部４５を備える。
【００１５】
周波数変換部４１は、楽曲データＳＤの１小節目から１拍毎にＦＦＴ（Fast Fourier Transform）を実行し、振幅スペクトルを算出する。本実施形態では、楽曲データＳＤを１／８ダウンサンプリングしたデータを用い、計算量の削減を図っている。具体的には、周波数変換部４１は、図４に示すように、楽曲データＳＤを、周波数毎の音圧レベル（ｄＢ）に変換する。
【００１６】
本実施形態では、ＦＦＴの間隔は、（１拍分の時間長）＝（１／８のサンプリング周波数）×（１拍の時間長）＝４４１００／８×６０／ＢＰＭ（サンプル）で与えられる。
なお、本実施形態では、ＦＦＴによる周波数領域への変換を行っているが、これに限らず、たとえば、ＤＣＴ（Discrete Cosine Transform）により周波数領域への変換を行ってもよい。
【００１７】
平滑化処理部４２は、周波数変換部４１により変換された振幅スペクトルに対して、２次ＩＩＲ(Infinite Impulse Response)  ＬＰＦ（Low-Pass Filter）により平滑化処理を行う。具体的には、平滑化処理部４２は、振幅スペクトルを時間波形とみなしてＬＰＦを行っている。平滑化処理部４２は、図４に示す周波数領域への変換結果に基づいて、図５に示すように、細かなノイズ成分を除去し、なだらかなカーブとなるように平滑化処理を行う。
【００１８】
ピーク検出部４３は、平滑化処理部４２により平滑化処理された楽曲データのピーク（極大）の音圧レベルであるピーク値、ピーク値とピークの前後の極小値の差分として与えられるプロミネンス、およびピークの山の幅となるピーク幅を検出する。
ここで、プロミネンスとは、言語学的には、伝達の意図で文中の部分を他の部分を際立たせて発音することをいうが、本発明にいうプロミネンスは、他の周波数よりも音圧レベルが際だった周波数、すなわちピーク（極大）となる周波数の音圧レベルと、そのピークの前後において極小となる周波数の音圧レベルとの差分として定義される。
【００１９】
具体的には、図５に示すように、ピーク検出部４３は、平滑化処理された楽曲データのそれぞれの周波数における音圧レベルの高い山のピーク値を検出する。次に、ピーク検出部４３は、ピーク値を取る周波数と、前後の極小値を取る周波数との音圧レベルの差分をとって、プロミネンスを検出する。そして、ピーク検出部４３は、ピーク値を与える山の幅をピーク幅として検出する。なお、本実施形態では、ピーク幅は、プロミネンスの１／２音圧レベルにおける周波数の幅として検出しているが、山の裾野をピーク幅として検出してもよい。
【００２０】
歌唱区間判定部４４は、ピーク検出部４３により検出されたピーク値、プロミネンス、およびピーク幅が、所定の閾値を超えるか否かを判定し、所定の閾値を超える区間を、前記楽曲データの歌唱データを含む区間であると判定する。
【００２１】
歌唱区間判定部４４は、ピーク値およびプロミネンスが一定の音圧レベルを超え、かつ、前述したように歌声のピークの幅が楽器音のピークの幅に比べてブロードになる点に着目して、歌唱区間であると判定している。具体的には、図４および図５に示すように、ピーク値が高く、プロミネンスも大きく、ピーク幅も大きい場合には、当該区間を歌唱区間であると判定している。
一方、図６および図７に示すように、ピーク値が高く、プロミネンスも大きいが、ピーク幅が狭い区間は、プレパレーション、オーバーシュート、微細変動、ヴィブラート等の歌唱特有の効果が現れておらず、ピーク幅が狭くなっているため、歌唱区間とは判定しない。
【００２２】
楽曲データ切替制御部４５は、図３に示すように、歌唱区間判定部４４の判定結果に基づいて、再生中の楽曲データから他の楽曲データへの切り替えを許容するか否かの制御指令をデジタルミキサー３に出力する。具体的には、楽曲データ切替制御部４５は、歌唱区間判定部４４によって、再生中の楽曲データＳＤが、歌唱区間であると判定された場合には、楽曲データＳＤの切り替えを規制し、歌唱区間でないと判定された場合には、楽曲データＳＤの切り替えを許容する制御指令をデジタルミキサー３に出力する。
【００２３】
［４］実施形態の作用および効果
次に、本発明の実施形態の作用について、図８に示すフローチャートに基づいて説明する。
まず、楽曲解析装置４Ａは、入力される楽曲データＳＤを、１／８でダウンサンプリングしてデータを軽減する（手順Ｓ１）。
周波数変換部４１は、１拍毎にＦＦＴを実行し、振幅スペクトルを算出する（手順Ｓ２）。
【００２４】
平滑化処理部４２は、２次ＩＩＲ  ＬＰＦにより、周波数領域へ変換された楽曲データの平滑化処理を行う（手順Ｓ３）。
ピーク検出部４３は、平滑化処理された楽曲データに基づいて、ピーク値、プロミネンス、およびピーク幅の検出を行う（手順Ｓ４）。
【００２５】
歌唱区間判定部４４は、ピーク検出部４３により検出されたピーク値、プロミネンス、およびピーク幅が、所定の閾値を超えるか否かを判定する（手順Ｓ５）。
現在再生中の楽曲データＳＤが、歌唱区間ではないと判定されたら（Ｓ５：Ｎｏ）、楽曲データ切替制御部４５は、他の楽曲データへの切り替えを許容する制御指令をデジタルミキサー３に出力する（手順Ｓ６）。
【００２６】
現在再生中の楽曲データＳＤが、歌唱区間であると判定されたら（Ｓ５：Ｙｅｓ）、楽曲データ切替制御部４５は、他の楽曲データへの切り替えを規制する制御指令をデジタルミキサー３に出力する（手順Ｓ７）。
デジタルミキサー３では、楽曲データ切替制御部４５からの制御指令に基づいて、デジタルミキサー３による楽曲データの切り替えを行う。
【００２７】
このような本実施形態によれば、歌唱区間判定部４４が、ピーク検出部４３で検出されたピーク値、プロミネンス、およびピーク幅に基づいて、歌唱区間であるか否かの判定を行っているため、歌唱区間でない場合には、他の楽曲データへの切り替えを許容し、歌唱区間である場合には、他の楽曲データへの切り替えを規制している。したがって、楽曲データＳＤの再生中の歌唱区間で他の楽曲データへの切り替えを防止することができるため、ＤＪパフォーマンスにおいて、楽曲データの切り替えに際して、聴取者に違和感を与えることがない。
【００２８】
また、周波数領域への変換をＦＦＴ、平滑化処理を２次ＩＩＲ  ＬＰＦにより行うことにより、通常の楽曲解析で用いられる周波数領域への変換、平滑化処理を利用しているため、変換および処理の汎用化、簡略化を図り易い。
さらに、楽曲データＳＤを１／８ダウンサンプリングすることにより、データ数の軽減を図ることができるため、歌唱区間の判定のための演算負荷を軽減することができ、変換、処理の高速化を実現できる。
【符号の説明】
【００２９】
１…音響制御システム、２…デジタルプレーヤー、３…デジタルミキサー、４…コンピュータ、４Ａ…楽曲解析装置、５…ＬＡＮケーブル、６…ＵＳＢケーブル、４１…周波数変換部、４２…平滑化処理部、４３…ピーク検出部、４４…歌唱区間判定部、４５…楽曲データ切替制御部、ＳＤ…楽曲データ。
【図１】
2019026286.tif 000003
【図２】
2019026286.tif 000004
【図３】
2019026286.tif 000005
【図４】
2019026286.tif 000006
【図５】
2019026286.tif 000007
【図６】
2019026286.tif 000008
【図７】
2019026286.tif 000009
【図８】
2019026286.tif 000010
【国際調査報告】
2019026286.tif 000011
2019026286.tif 000012
2019026286.tif 000013
2019026286.tif 000014