(57)【要約】  楽曲データ（Ｍ１）の構造を特徴づける特徴区間の展開ポイントが設定された楽曲データ（Ｍ１）に、特徴区間を割り付ける楽曲構造解析装置（４）は、展開ポイントの位置情報を取得する位置情報取得部（１１）と、位置情報取得部（１１）によって取得された展開ポイントの位置情報に基づいて、それぞれの展開ポイント間の区間毎に、周波数の異なる音の数を解析する音数解析部（１２）と、音数解析部（１２）により解析された、音の数の極大値をとる展開ポイント間の区間に基づいて、他の展開ポイント間の区間に、特徴区間を割り付ける特徴区間割付部（１５）と、を備えている。
2017195292.tif 000002
【特許請求の範囲】
【請求項１】
楽曲データの構造を特徴づける特徴区間の展開ポイントが設定された楽曲データに、前記特徴区間を割り付ける楽曲構造解析装置であって、
前記展開ポイントの位置情報を取得する位置情報取得部と、
前記位置情報取得部によって取得された展開ポイントの位置情報に基づいて、それぞれの展開ポイント間の区間毎に、周波数の異なる音の数を解析する音数解析部と、
前記音数解析部により解析された、音の数の極大値をとる展開ポイント間の区間に基づいて、他の展開ポイント間の区間に、前記特徴区間を割り付ける特徴区間割付部と、
を備えていることを特徴とする楽曲構造解析装置。
【請求項２】
請求項１に記載の楽曲構造解析装置において、
前記位置情報取得部で取得された展開ポイントの位置情報に基づいて、展開ポイント間の区間毎に、所定の周波数よりも低域の周波数の音の信号レベルを解析する低音レベル解析部を備え、
前記特徴区間割付部は、前記低音レベル解析部により解析された低域の信号レベルの極大値をとる展開ポイント間の区間も加味して、前記特徴区間を割り付けることを特徴とする楽曲構造解析装置。
【請求項３】
請求項１または請求項２に記載の楽曲構造解析装置において、
前記特徴区間割付部は、音の数の極大値をとる小節を含む展開ポイント間に、サビ（Hook）区間を割り付けることを特徴とする楽曲構造解析装置。
【請求項４】
請求項３に記載の楽曲構造解析装置において、
前記特徴区間割付部は、他の展開ポイント間の区間の音の数が、固定された閾値を超えるか否かに基づいて、前記他の展開ポイント間の区間に、特徴区間の割り付けを行うことを特徴とする楽曲構造解析装置。
【請求項５】
請求項３に記載の楽曲構造解析装置において、
前記特徴区間割付部は、他の展開ポイント間の区間の音の数が、前記極大値に応じて変動する閾値を超えるか否かに基づいて、前記他の展開ポイント間の区間に、特徴区間の割り付けを行うことを特徴とする楽曲構造解析装置。
【請求項６】
請求項１から請求項５のいずれか一項に記載の楽曲構造解析装置において、
前記音数解析部は、周波数変換を行い、各周波数帯域の信号レベルにより音の数を解析することを特徴とする楽曲構造解析装置。
【請求項７】
請求項１から請求項６のいずれか一項に記載の楽曲構造解析装置において、
前記特徴区間割付部によって割り付けられた特徴区間を、楽曲データとともに表示装置上に表示情報を生成する表示情報生成部を備えていることを特徴とする楽曲構造解析装置。
【請求項８】
楽曲データの構造を特徴づける特徴区間の展開ポイントが設定された楽曲データに、特徴区間を割り付ける楽曲構造解析方法であって、
前記展開ポイントの位置情報を取得する手順と、
取得された展開ポイントの位置情報に基づいて、それぞれの展開ポイント間の区間毎に、周波数の異なる音の数を解析する手順と、
解析された音の数の極大値をとる展開ポイント間の区間に基づいて、他の展開ポイント区間に、特徴区間を割り付ける手順と、
を実施することを特徴とする楽曲構造解析方法。
【請求項９】
コンピュータを、請求項１から請求項７のいずれか一項に記載の楽曲構造解析装置として機能させることを特徴とする楽曲構造解析プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽曲構造解析装置、楽曲構造解析方法および楽曲構造解析プログラムに関する。
【背景技術】
【０００２】
従来、楽曲データに、いわゆるイントロ（Intro）、Ａメロ（Verse1）、Ｂメロ（Verse2）、サビ（Hook）、アウトロ（Outro）等の楽曲構造を特徴づける特徴区間を割り付け、楽曲構造を自動的に解析する技術が知られている。
例えば、特許文献１には、楽曲データに割り付けられたセグメント（特徴区間）同士を、セグメント間の類似性判定を行うことにより、スタンザ、リフレイン等の特徴区間を楽曲データに割り付ける技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許４７７５３８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記特許文献１に記載の技術では、特徴区間同士の類似性に基づいて、特徴区間の割り付けを行っているため、サビ、Ｂメロ等の一部の特徴区間の割り付けをすることができないという課題がある。
また、割り付けられたとしても、イントロ、Ａメロ、Ｂメロ、サビ、Ｃメロ、アウトロそれぞれについて、類似性を対比して割り付けなければならず、特徴区間の割り付けが煩雑化するという課題がある。【０００５】
本発明の目的は、楽曲データを特徴づける特徴区間を、簡単に割り付けることのできる楽曲構造解析装置、楽曲構造解析方法および楽曲構造解析プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明の楽曲構造解析装置は、
楽曲データの構造を特徴づける特徴区間の展開ポイントが設定された楽曲データに、前記特徴区間を割り付ける楽曲構造解析装置であって、
前記展開ポイントの位置情報を取得する位置情報取得部と、
前記位置情報取得部によって取得された展開ポイントの位置情報に基づいて、それぞれの展開ポイント間の区間毎に、周波数の異なる音の数を解析する音数解析部と、
前記音数解析部により解析された音の数の極大値をとる展開ポイントの区間に基づいて、他の展開ポイント間の区間に、特徴区間を割り付ける特徴区間割付部と、
を備えていることを特徴とする。【０００７】
本発明の楽曲構造解析方法は、
楽曲データの構造を特徴づける特徴区間の展開ポイントが設定された楽曲データに、特徴区間を割り付ける楽曲構造解析方法であって、
前記展開ポイントの位置情報を取得する手順と、
取得された展開ポイントの位置情報に基づいて、それぞれの展開ポイント間の区間毎に周波数の異なる音の数を解析する手順と、
解析された音の数の極大値をとる展開ポイント間の区間に基づいて、他の展開ポイント間の区間に、特徴区間を割り付ける手順と、
を実施することを特徴とする。【０００８】
本発明の楽曲構造解析プログラムは、コンピュータを、前述した楽曲構造解析装置として機能させることを特徴とする。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る音響システムの構造を表す模式図。
【図２】前記実施形態における楽曲構造解析装置の構造を表すブロック図。
【図３】前記実施形態における展開ポイントを説明するための模式図。
【図４】前記実施形態における楽曲データの展開ポイント間の区間を説明するための模式図。
【図５】前記実施形態における特徴区間割付部を説明するためのグラフ。
【図６】前記実施形態における表示情報生成部により生成された表示情報を説明するための模式図。
【図７】前記実施形態における作用を説明するためのフローチャート。
【発明を実施するための形態】
【００１０】
［１］音響制御システムの全体構成
図１には、本発明の実施形態に係る音響制御システム１が示されており、音響制御システム１は、２台のデジタルプレーヤー２と、デジタルミキサー３と、コンピュータ４と、スピーカー５とを備える。
デジタルプレーヤー２は、ジョグダイヤル２Ａと、図示しない複数の操作ボタンと、ディスプレイ２Ｂとを備え、デジタルプレーヤー２の操作者は、ジョグダイヤル２Ａや、操作ボタンを操作することにより、操作に応じた音響制御情報を出力することができる。音響制御情報は、双方向通信可能なＵＳＢ（Universal Serial Bus）ケーブル６を介してコンピュータ４に出力される。
【００１１】
デジタルミキサー３は、操作スイッチ３Ａと、音量調整レバー３Ｂと、左右切替レバー３Ｃとを備え、これらのスイッチ３Ａ、レバー３Ｂ、３Ｃを操作することにより、音響制御情報を出力することができる。音響制御情報は、ＵＳＢケーブル７を介してコンピュータ４に出力される。また、デジタルミキサー３には、コンピュータ４で処理された楽曲情報が入力され、入力されたデジタル信号からなる楽曲情報は、アナログ信号に変換され、アナログケーブル８を介して、スピーカー５から音声出力される。
また、デジタルプレーヤー２およびデジタルミキサー３は、ＩＥＥＥ１３９４規格に準拠したＬＡＮ（Local Area Network）ケーブル９を介して互いに接続され、コンピュータ４を使わなくとも、デジタルプレーヤー２を操作して生成された音響制御情報を、直接デジタルミキサー３に出力して、ＤＪパフォーマンスを行うこともできる。
【００１２】
［２］コンピュータ４の機能ブロック構成
図２には、楽曲構造解析装置としてのコンピュータ４の機能ブロック図が示されている。コンピュータ４は、演算処理装置１０上で実行される楽曲構造解析プログラムとしての
位置情報取得部１１、音数解析部１２、低音レベル解析部１３、比率演算部１４、特徴区間割付部１５、および表示情報生成部１６を備える。
【００１３】
位置情報取得部１１は、楽曲データＭ１中に設定された展開ポイントの小節数を、展開ポイントの位置情報として取得する。具体的には、図３に示されるように、位置情報取得部１１は、楽曲データＭ１中における、小節と小節の間に設定された展開ポイントＰ1、Ｐ2、…、Ｐｎ、Ｐn+3、…Ｐe-4の位置情報、本実施形態では小節数を取得する。
展開ポイントは、小節毎に周波数の異なる音の数を、ＦＦＴ等により周波数解析し、音圧レベルのピーク本数をカウントし、楽曲データＭ１中の最大の音の数となる小節を基準として、他の小節の音の比率を演算し、比率が大きく変化する小節間位置として設定される。展開ポイントは、音数解析部１２を利用して、コンピュータ４内で設定することもできるが、本実施形態のように、予め音の数を解析して展開ポイントＰ1、Ｐ2、…、Ｐｎ、Ｐn+3、…Ｐe-4が設定された楽曲データＭ１を利用してもよい。
また、展開ポイントＰ1、Ｐ2、…、Ｐｎ、Ｐn+3、…Ｐe-4の設定は、前述の方法に限られず、たとえば、楽曲データＭ１内のフレーズの類似性に基づいて、行ってもよい。
【００１４】
音数解析部１２は、入力される楽曲データＭ１について、それぞれの展開ポイントＰ1、Ｐ2、…、Ｐｎ、Ｐn+3、…Ｐe-4間の区間毎に、各周波数帯域の信号レベルを検出し、音の数を解析する。ここで、”音の数”とは、周波数の異なる音を異なる音として数えてもよく、基音、倍音等を同じ音階として１つに数える場合であってもよい。なお、入力される楽曲データＭ１は、コンピュータ４内のハードディスクに保存された楽曲データであってもよく、デジタルプレーヤー２のスロットに挿入されたＣＤ、ブルーレイディスク等に記録された楽曲データであってもよく、通信回線を介してネットワーク上からダウンロードされ得る楽曲データであってもよい。
【００１５】
具体的には、音数解析部１２は、たとえば、図４に示されるように、楽曲データＭ１の展開ポイントＰ1、Ｐ2、…、Ｐｎ、Ｐn+3、…Ｐe-4間の区間毎に、周波数のピーク本数を数えることにより、音の数をカウントする。なお、本実施形態ではＦＦＴを用いて周波数の異なる音の解析をおこなっているが、本発明はこれに限られず、例えば、離散コサイン変換、離散フーリエ変換を用いて周波数変換を行ってもよい。
音数解析部１２は、解析結果を比率演算部１４に出力する。
【００１６】
低音レベル解析部１３は、低域の信号レベルとなる低域音圧ピークレベルの小節区間毎の平均値を加味して、展開ポイントＰ1、Ｐ2、…、Ｐｎ、Ｐn+3、…Ｐe-4間の区間に、サビ区間を割り付けるために設けられている。
低音レベル解析部１３は、楽曲データＭ１の展開ポイントＰ1、Ｐ2、…、Ｐｎ、Ｐn+3、…Ｐe-4間の区間の所定の周波数よりも低域の周波数、たとえば、１００Ｈｚ以下の低音の低域音圧ピークレベルを解析する。具体的には、低音レベル解析部１３は、バスドラム、ベース等の低域音圧レベルを取得して、小節区間毎の区間内の低域音圧ピークレベルの平均値を、展開ポイントＰ1、Ｐ2、…、Ｐｎ、Ｐn+3、…Ｐe-4間の区間の信号レベルとする。
低音レベル解析部１３は、解析結果を特徴区間割付部１５に出力する。
【００１７】
比率演算部１４は、音数解析部１２の解析結果に基づいて、最大の音の数となる展開ポイントＰ1、Ｐ2、…、Ｐｎ、Ｐn+3、…Ｐe-4間の区間を基準として、他の区間の音の数の比率を演算する。具体的には、比率演算部１４は、図４に示されるように、音の数の最も大きなＦＦＴ２を与えるＰn番目の区間を特定し、ｎ番目の小節目における音の数Ｎmaxを取得し、下記式（１）に基づいて、他の小節の比率Ｒnを演算する。
Ｒn＝Ｎn／Ｎmax・・・（１）
他の区間の比率は、小節を表す矩形部分内の数字のように、最大となるｎ番目の展開ポイントＰ1、Ｐ2、…、Ｐｎ、Ｐn+3、…Ｐe-4間の区間に対する比率として演算される。比率演算部１４は、演算結果を特徴区間割付部１５に出力する。
【００１８】
特徴区間割付部１５は、比率演算部１４の演算結果、および低音レベル解析部１３の解析結果に基づいて、展開ポイントＰ1、Ｐ2、…、Ｐｎ、Ｐn+3、…Ｐe-4間の区間にイントロ（Intro）区間、Ａメロ（Verse1）区間、Ｂメロ（Verse2）区間、サビ（Hook）区間、Ｃメロ（Verse3）区間、アウトロ（Outro）区間等の特徴区間を割り付ける。
具体的には、特徴区間割付部１５は、図５のグラフＧ１に示されるように、音数解析部１２の解析結果に基づいて、前後の区間よりも大きな極大値１、極大値２を探索し、極大値１、極大値２をサビ区間（Hook）の候補とする。
特徴区間割付部１５は、図５のグラフＧ２に示されるように、低音レベル解析部１３の解析結果に基づいて、各特徴区間の低域音圧ピークレベルの平均値を取得し、極大値１、極大値２をとる区間における低域音圧ピークレベルの平均値が、所定の閾値よりも上であるか否かを判定し、サビ（Hook）区間を割り付ける。
【００１９】
次に、特徴区間割付部１５は、図５のグラフＧ３に示されるように、極大値１、極大値２の前の区間をＡメロ区間（Verse1）、後ろの区間をＢメロ区間（Verse2）、さらにその後ろの区間をＣメロ区間（Verse3）等に割り付ける。どちらの特徴区間を割り付けるかは、音の数が、所定の閾値を超えるか否かで決定する。所定の閾値は、極大値よりも小さな固定された閾値としてもよく、極大値に対する所定の割合として設定された、極大値に応じて変動する閾値としてもよい。
割り付ける特徴区間の名称の付け方は任意であり、図５において、A-Verse、B-Verse等の名称を付与してもよい。また、イントロ区間は楽曲データＭ１の最初の区間であり、アウトロ区間は楽曲データＭ１の最後の区間であることは明らかであるから、特徴区間割付部１５は、予めイントロ区間、アウトロ区間の割り付けを行っておく。
【００２０】
表示情報生成部１６は、特徴区間割付部１５で割り付けられた特徴区間を楽曲データＭ１とともに、表示情報として生成する。具体的には、図６に示されるように、楽曲データＭ１の進行とともに、特徴区間を表示し、楽曲データＭ１の進行とともに、特徴区間の色を変更させていく表示情報を生成する。
表示情報生成部１６により生成された表示情報は、デジタルプレーヤー２の表示装置となるディスプレイ２Ｂに出力され、ＤＪパフォーマーは、楽曲データＭ１の楽曲の演奏進行とともに、どこの特徴区間を演奏しているかを確認することができる。
【００２１】
［３］実施形態の作用および効果
次に、本実施形態の作用となる楽曲構造解析方法について、図７に示されるフローチャートに基づいて説明する。
位置情報取得部１１は、楽曲データＭ１中の展開ポイントＰ1、Ｐ2、…、Ｐｎ、Ｐn+3、…Ｐe-4の位置情報を取得する（手順Ｓ１）。
次に、音数解析部１２は、展開ポイントＰ1、Ｐ2、…、Ｐｎ、Ｐn+3、…Ｐe-4間の区間の音の数の解析を行う（手順Ｓ２）。
比率演算部１４は、音数解析部１２の解析結果に基づいて、音の数の最大値をとる展開ポイントＰｎ、Ｐn+3間の区間を基準として、他の展開ポイントＰ1、Ｐ2、…Ｐe-4間の区間の比率を演算する（手順Ｓ３）。
【００２２】
特徴区間割付部１５は、楽曲データＭ１の開始時点から最初の展開ポイントＰ1までの区間に、イントロ区間を割り付ける（手順Ｓ４）。
続けて、特徴区間割付部１５は、楽曲データＭ１の最後の展開ポイントＰe-4から楽曲-多Ｍ１の終了時点に、アウトロ区間を割り付ける（手順Ｓ５）。
特徴区間割付部１５は、イントロ区間およびアウトロ区間以外の展開ポイント間の区間について、極大値を探索する（手順Ｓ６）。探索は、イントロ区間の次の区間から始めてもよく、アウトロ区間の前の区間から始めてもよい。
特徴区間割付部１５は、極大値をとる区間が探索されたら、展開ポイントＰ1、Ｐ2、…、Ｐｎ、Ｐn+3、…Ｐe-4間の区間の低域音圧ピークレベルの平均値を取得する（手順Ｓ７）。
【００２３】
特徴区間割付部１５は、極大値をとる区間の低域音圧ピークレベルの平均値が所定の閾値を超えるか否かを判定する（手順Ｓ８）。
所定の閾値以下である場合、特徴区間割付部１５は、次の極大値の探索を行う。
所定の閾値を超える場合、特徴区間割付部１５は、当該区間にサビ（Hook）区間を割り付ける（手順Ｓ９）。
特徴区間割付部１５は、楽曲データＭ１中のすべての極大値をとる区間について、手順Ｓ６から手順Ｓ９を繰り返す（手順Ｓ１０）。
なお、手順Ｓ８および手順Ｓ９は、サビ区間の検出精度を向上させるために行っており、音の数の極大値をとる展開ポイント間の区間の極大値の探索のみで、展開ポイント間の区間に、サビ区間を割り付けてもよい。
【００２４】
すべてのサビ区間の割り付けが終了したら、特徴区間割付部１５は、サビ区間に設定された区間の前後の他の展開ポイント間の区間音の数を取得する（手順Ｓ１１）。
特徴区間割付部１５は、他の展開ポイント間の区間の音の数が所定の閾値を超えているか否かを判定する（手順Ｓ１２）。
【００２５】
音の数の比率が所定の閾値を超えている場合、特徴区間割付部１５は、その区間にＡメロ（Verse1）区間を割り付け（手順Ｓ１３）、所定の閾値以下である場合、特徴区間割付部１５は、その区間にＢメロ（Verse2）区間を割り付ける（手順Ｓ１４）。
特徴区間割付部１５は、すべての展開ポイントＰ1、Ｐ2、…、Ｐｎ、Ｐn+3、…Ｐe-4間の区間への特徴区間の割り付けが終わるまで繰り返す（手順Ｓ１５）。
すべての区間に特徴区間が割り付けられたら、特徴区間割付部１５は、割り付けた結果を表示情報生成部１６に出力し、表示情報生成部１６は、割り付け結果に基づいて、表示情報を生成し、生成した表示情報をデジタルプレーヤー２のディスプレイ２Ｂに出力する（手順Ｓ１６）。
【００２６】
このような本実施形態によれば、音数解析部１２による音の数の解析を行うだけで、全ての特徴区間の割り付けを行うことができるため、簡単にかつ迅速に楽曲データＭ１に対して特徴区間の割り付けを行うことができる。
また、表示情報生成部１６からディスプレイ２Ｂに表示情報を出力することにより、ＤＪパフォーマンスを行うユーザーは、現在どの特徴区間が演奏されているかを視認することができるため、より高度なＤＪパフォーマンスを行うことができる。
【符号の説明】
【００２７】
１…音響制御システム、２…デジタルプレーヤー、２Ａ…ジョグダイヤル、２Ｂ…ディスプレイ、３…デジタルミキサー、３Ａ…操作スイッチ、３Ｂ…音量調整レバー、３Ｃ…左右切替レバー、４…コンピュータ、５…スピーカー、６…ケーブル、７…ＵＳＢケーブル、８…アナログケーブル、９…ケーブル、１０…演算処理装置、１１…位置情報取得部、１２…音数解析部、１３…低音レベル解析部、１４…比率演算部、１５…特徴区間割付部、１６…表示情報生成部、Ｇ１…グラフ、Ｇ２…グラフ、Ｇ３…グラフ、Ｍ１…楽曲データ、Ｐ1、Ｐ2、Ｐn、Ｐn+3、Ｐe-4…展開ポイント。
【図１】
2017195292.tif 000003
【図２】
2017195292.tif 000004
【図３】
2017195292.tif 000005
【図４】
2017195292.tif 000006
【図５】
2017195292.tif 000007
【図６】
2017195292.tif 000008
【図７】
2017195292.tif 000009
【国際調査報告】
2017195292.tif 000010
2017195292.tif 000011