(57)【要約】【課題】  任意の部分の音楽データを自動的に時間正規化し、音楽データの検索キーを作成するための部分音楽データを作成する。【解決手段】  本発明は、１つの音が鳴る時間を抽出し、その中で基底となる時間を決定し、その基底となる時間で、各音の鳴る時間を相対値化し、音楽データを正規化された再生時間に基づいて、部分的に重なりのある固定長の部分データに冗長的に分割し、算出されたデータ量の差分に基づいて部分音楽データのデータ量を調整する。【選択図】  図１
2005257925.tif 000002
【特許請求の範囲】
【請求項１】
音楽データの部分、長さ、時間的な伸縮度合も分からない音楽データの一部を検索キーとして検索するための音楽データの再生時間を正規化するための音楽データ時間正規化装置であって、
アナログの音響信号または、音高と音長の時系列データが入力されると、１つの音が鳴る時間を抽出し、その直前の音の鳴る時間を減算し、その結果を音毎の再生時間として決定する音声再生時間決定手段と、
決定された前記音毎の再生時間の分布に基づいて、基底となる再生時間を基底再生時間として選択する仮基底再生時間決定手段と、
前記音毎の再生時間を、前記基底再生時間を用いて除算し、除算された値を正規化する音再生時間正規化手段と、
を有することを特徴とする音楽データ時間正規化装置。
【請求項２】
前記仮基底再生時間決定手段は、
前記分布から最も多く出現する再生時間を前記基底再生時間とする、請求項１記載の音楽データ時間正規化装置。
【請求項３】
前記音再生時間正規化手段は、
前記音毎の再生時間を、前記基底再生時間を用いて除算し、記憶手段から限定された幾つかの代表値を取得し、該代表値のみによって除算された値を正規化する請求項１記載の音楽データ時間正規化装置。
【請求項４】
音楽データの部分、長さ、時間的な伸縮度合も分からない音楽データについて、検索キーとするための部分音楽データを作成するための部分音楽データ作成装置であって、
入力された音楽データを、正規化された再生時間に基づいて部分的に重なりのある固定長の部分データに冗長的に分割する楽曲データ分割手段と、
前記楽曲データ分割手段で分割された前記部分データ毎に各音の再生時間を抽出し、抽出された該再生時間の中から基底となる基底再生時間を決定する正基底再生時間決定手段と、
前記基底再生時間を用いて各音の再生時間を相対値化し、相対値化された再生時間の合算値と予め規定されているデータ量の差を算出し、算出されたデータ量の差分に基づいてデータ量を調整する分割データ情報量調整手段と、を有することを特徴とする部分音楽データ作成装置。
【請求項５】
前記分割データ情報量調整手段は、
前記相対値化された再生時間の合算値と予め規定されたデータ量の差分を算出し、該差分が０の場合は、前記部分データを分割データ保存手段に格納し、該差分が０以外の場合には、該相対値化に使用した基底再生時間を単位として不足分または、剰余分のデータ量に対応する部分データを前記楽曲データ分割手段に要求する手段と、を含み、
前記楽曲データ分割手段は、
不足分がある場合には、先に分割した部分データから当該不足分のデータを削除し、または、剰余分がある場合は、当該剰余分のデータ量に対応する部分データを切り出して、先に分割した部分データに追加して、前記分割データ保存手段に格納する手段を含む、請求項４記載の部分音楽データ作成装置。
【請求項６】
前記楽曲データ分割手段は、
前記部分データの先頭から一定の長さずらし、ずれたところから同じく該一定の長さの部分データを切り出す手段を含む請求項５記載の部分音楽データ作成装置。
【請求項７】
音楽データの部分、長さ、時間的な伸縮度合も分からない音楽データの一部を検索キーとして検索するための音楽データの再生時間を正規化するための音楽データ時間正規化方法において、
アナログの音響信号または、音高と音長の時系列データが入力されると、音声再生時間決定手段において、１つの音が鳴る時間を抽出し、その直前の音の鳴る時間を減算し、その結果を音毎の再生時間として決定する音声再生時間決定ステップと、
基底再生時間決定手段が、決定された前記音毎の再生時間の分布に基づいて、基底となる再生時間を基底再生時間として選択する基底再生時間決定ステップと、
音再生時間正規化手段が、前記音毎の再生時間を、前記基底再生時間を用いて除算し、除算された値を正規化する音再生時間正規化ステップと、
を行うことを特徴とする音楽データ時間正規化方法。
【請求項８】
前記基底再生時間決定ステップにおいて、
前記分布から最も多く出現する再生時間を前記基底再生時間とする、請求項７記載の音楽データ時間正規化方法。
【請求項９】
前記音再生時間正規化ステップにおいて、
前記音毎の再生時間を、前記基底再生時間を用いて除算し、限定された代表値が記憶されている記憶手段からいくつかの代表値を取得し、該代表値のみによって除算された値を正規化する請求項７記載の音楽データ時間正規化方法。
【請求項１０】
音楽データの部分、長さ、時間的な伸縮度合も分からない音楽データについて、検索キーとするための部分音楽データを作成するための部分音楽データ作成方法において、
楽曲データ分割手段において、入力された音楽データを記憶手段に格納し、正規化された再生時間に基づいて部分的に重なりのある固定長の部分データに冗長的に分割する楽曲データ分割ステップと、
正基底再生時間決定手段において、前記楽曲データ分割ステップで分割された前記部分データ毎に各音の再生時間を抽出し、抽出された該再生時間の中から基底となる基底再生時間を決定する正基底再生時間決定ステップと、
分割データ量調整手段において、前記正基底再生時間決定ステップで決定された前記基底再生時間を用いて各音の再生時間を相対値化し、相対値化された再生時間の合算値と予め規定されているデータ量の差を算出し、算出されたデータ量の差分に基づいてデータ量を調整する分割データ情報量調整ステップと、
を行うことを特徴とする部分音楽データ作成方法。
【請求項１１】
前記分割データ情報量調整ステップにおいて、
前記分割データ情報量調整手段が、前記相対値化された再生時間の合算値と予め規定されたデータ量の差分を算出し、該差分が０の場合は、前記部分データを記憶手段に保存し、該差分が０以外の場合には、該相対値化に使用した基底再生時間を単位として不足分または、剰余分のデータ量に対応する部分データを調整するよう前記楽曲分割手段に指示し、
前記楽曲分割手段において、
不足分がある場合には、先に分割した部分データから当該不足分のデータを削除し、または、剰余分がある場合は、当該剰余分のデータ量に対応する部分データを切り出して、先に分割した部分データに追加して、前記記憶手段に格納する請求項１０記載の部分音楽データ作成方法。
【請求項１２】
前記楽曲データ分割ステップにおいて、
前記部分データの先頭から一定の長さずらし、ずれたところから同じく該一定の長さの部分データを切り出す請求項１１記載の部分音楽データ作成方法。
【請求項１３】
音楽データの部分、長さ、時間的な伸縮度合も分からない音楽データの一部を検索キーとして検索するための音楽データの再生時間を正規化するための音楽データ時間正規化プログラムであって、
コンピュータに、
アナログの音響信号または、音高と音長の時系列データが入力されると、１つの音が鳴る時間を抽出し、その直前の音の鳴る時間を減算し、その結果を音毎の再生時間として決定し、記憶手段に格納する音声再生時間決定ステップと、
前記記憶手段に格納されている前記音毎の再生時間を読出し、該再生時間の分布に基づいて、基底となる再生時間を基底再生時間として選択する基底再生時間決定ステップと、
前記音毎の再生時間を、前記基底再生時間決定ステップで選択された前記基底再生時間を用いて除算し、除算された値を正規化する音再生時間正規化ステップと、
を実行させることを特徴とする音楽データ時間正規化プログラム。
【請求項１４】
前記基底再生時間決定ステップにおいて、
前記分布から最も多く出現する再生時間を前記基底再生時間とする、請求項１３記載の音楽データ時間正規化プログラム。
【請求項１５】
前記音再生時間正規化ステップにおいて、
前記音毎の再生時間を、前記基底再生時間を用いて除算し、限定された代表値が記憶されている記憶手段から幾つかの代表値を取得し、該代表値のみによって除算された値を正規化する請求項１３記載の音楽データ時間正規化プログラム。
【請求項１６】
音楽データの部分、長さ、時間的な伸縮度合も分からない音楽データについて、検索キーとするための部分音楽データを作成するための部分音楽データ作成プログラムであって、
コンピュータに、
入力された音楽データを記憶手段に格納し、正規化された再生時間に基づいて部分的に重なりのある固定長の部分データに冗長的に分割する楽曲データ分割ステップと、
前記楽曲データ分割ステップで分割された前記部分データ毎に各音の再生時間を抽出し、抽出された該再生時間の中から基底となる基底再生時間を決定する正基底再生時間決定ステップと、
前記正基底再生時間決定ステップで決定された前記基底再生時間を用いて各音の再生時間を相対値化し、相対値化された再生時間の合算値と予め規定されているデータ量の差を算出し、算出されたデータ量の差分に基づいてデータ量を調整する分割データ情報量調整ステップと、
を実行させることを特徴とする部分音楽データ作成プログラム。
【請求項１７】
前記分割データ情報量調整ステップにおいて、
前記相対値化された再生時間の合算値と予め規定されたデータ量の差分を算出し、該差分が０の場合は、前記部分データを記憶手段に保存し、
前記差分が０以外の場合には、該相対値化に使用した基底再生時間を単位として不足分に対応する部分データを切り出して追加する、または、剰余分のデータ量に対応する部分データを削除することにより調整し、前記記憶手段に保存するステップを実行させる請求項１６記載の部分音楽データ作成プログラム。
【請求項１８】
前記楽曲データ分割ステップにおいて、
前回切り出した部分データの先頭から一定の長さずらし、ずれたところから同じく該一定の長さを切り出すステップを実行させる請求項１７記載の部分音楽データ作成プログラム。
【請求項１９】
音楽データの部分、長さ、時間的な伸縮度合も分からない音楽データの一部を検索キーとして検索するための音楽データの再生時間を正規化するための音楽データ時間正規化プログラムを格納した記憶媒体であって、
前記請求項１３乃至１５記載のプログラムを格納したことを特徴とする音楽データ時間正規化プログラムを格納した記憶媒体。
【請求項２０】
音楽データの部分、長さ、時間的な伸縮度合も分からない音楽データについて、検索キーとするための部分音楽データを作成するための部分音楽データ作成プログラムを格納した記憶媒体であって、
前記請求項１６乃至１８記載のプログラムを格納したことを特徴とする部分音楽データ作成プログラムを格納した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音楽データ時間正規化装置及び方法及びプログラム及び音楽データ時間正規化プログラムを格納した記憶媒体及び部分音楽データ作成装置及び方法及びプログラム及び部分音楽データ作成プログラムを格納した記憶媒体に係り、特に、部分も長さも時間的な伸縮度合も分からない音楽の一部を検索キーとして、音楽を検索するために用いられる部分音楽データを作成するための、音楽データ時間正規化装置及び方法及びプログラム及び音楽データ時間正規化プログラムを格納した記憶媒体及び部分音楽データ作成装置及び方法及びプログラム及び部分音楽データ作成プログラムを格納した記憶媒体に関する。
【０００２】
詳しくは、検索キーの部分の長さと伸縮度合を効率的に統一化するための音楽データ時間正規化装置及び方法及びプログラム及び音楽データ時間正規化プログラムを格納した記憶媒体及び部分音楽データ作成装置及び方法及びプログラム及び部分音楽データ作成プログラムを格納した記憶媒体に関する。
【背景技術】
【０００３】
従来、音楽を検索する方法としては、音楽データや検索キーの伸縮度合を無視できる形式、例えば音符の数などに変換したり、メトロノームのテンポ値を手掛かりにして音楽データを時間正規化するなどして音楽内容検索を行う方法がある（例えば、特許文献１〜４、非特許文献１，２参照）。
【特許文献１】特開２００１−１０９４７１号公報「音楽検索装置、音楽検索方法及び音楽検索プログラムを記録した記憶媒体」西原、小杉、紺谷、山室
【特許文献２】特開２００２−１７５０７３号公報「演奏採取装置、演奏採取方法及び演奏採取用プログラム記録媒体」片岡、小杉、小島
【特許文献３】特開２０００−３４７６５９号公報「音楽検索装置、音楽検索方法及び音楽検索プログラムを記録した記録媒体」西原、小杉、坂田、山室、梅田、紺谷
【特許文献４】特開２００２−１２３２８７号公報「音楽特徴量生成方法及び装置と音楽情報検索装置と音楽特徴量生成用プログラムの記録媒体」小杉尚子
【非特許文献１】「大規模音楽データベースのハミング検索システム」情報処理学会論文誌２００２年２月
【非特許文献２】「Sound Compass:ハミングによる音楽検索システム」情報処理学会論文誌２００４年１月
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、音楽とは音の高さと長さの時間的な変換を楽しむメディアだと表現することができるくらい、音の高さと同時に音の長さは音楽の最も重要な特徴の１つである。従って、音の長さという特徴を無視すると、曲と曲の類似性の判定において適切な比較ができなくなってしまう。このことは、音楽内容検索において、扱う楽曲データベースが大きくなると、より深刻な問題になる。
【０００５】
音楽は同じ楽曲はゆっくり演奏されても早く演奏されても、その同じ曲であることが認識できる時間軸方向に伸縮のある時系列データである。従って、音の長さや楽曲の長さを時間を基準に計測したり表現したりしても適切な比較はできない。しかも、音楽の内容検索では、検索キーとなるデータは楽曲の一部であり、その部分や長さは事前にはわからない。従って、入力される音楽の任意の部分や任意の長さに左右されない処理ができなければならない。そこで、音の長さや楽曲の長さを統一的に、しかも、楽曲の部分毎に柔軟に定義することができる手法が望まれる。
【０００６】
本発明は、上記の点に鑑みなされたもので、時間軸方向の伸縮に左右されない情報量を定義することを可能とし、音楽データの検索をするためのキーとなる部分音楽データを容易に作成することが可能な音楽データ時間正規化装置及び方法及びプログラム及び音楽データ時間正規化プログラムを格納した記憶媒体及び部分音楽データ作成装置及び方法及びプログラム及び部分音楽データ作成プログラムを格納した記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
図１は、本発明の原理構成図である。
【０００８】
本発明は、音楽データの部分、長さ、時間的な伸縮度合も分からない音楽データの一部を検索キーとして検索するための音楽データの再生時間を正規化するための音楽データ時間正規化装置であって、
アナログの音響信号または、音高と音長の時系列データが入力されると、１つの音が鳴る時間を抽出し、その直前の音の鳴る時間を減算し、その結果を音毎の再生時間として決定する音声再生時間決定手段１１０と、
決定された音毎の再生時間の分布に基づいて、基底となる再生時間を基底再生時間として選択する仮基底再生時間決定手段１２０と、
音毎の再生時間を、基底再生時間を用いて除算し、除算された値を正規化する音再生時間正規化手段１３０と、を有する。
【０００９】
また、本発明の仮基底再生時間決定手段１２０は、分布から最も多く出現する再生時間を基底再生時間とする。
【００１０】
また、本発明の音再生時間正規化手段は、音毎の再生時間を、基底再生時間を用いて除算し、記憶手段から限定された幾つかの代表値を取得し、該代表値のみによって除算された値を正規化する。
【００１１】
本発明は、音楽データの部分、長さ、時間的な伸縮度合も分からない音楽データについて、検索キーとするための部分音楽データを作成するための部分音楽データ作成装置であって、
入力された音楽データを、正規化された再生時間に基づいて部分的に重なりのある固定長の部分データに冗長的に分割する楽曲データ分割手段１４０と、
楽曲データ分割手段１４０で分割された部分データ毎に各音の再生時間を抽出し、抽出された該再生時間の中から基底となる基底再生時間を決定する正基底再生時間決定手段１５０と、
基底再生時間を用いて各音の再生時間を相対値化し、相対値化された再生時間の合算値と予め規定されているデータ量の差を算出し、算出されたデータ量の差分に基づいてデータ量を調整する分割データ情報量調整手段１６０と、を有する。
【００１２】
また、本発明の分割データ情報量調整手段１６０は、相対値化された再生時間の合算値と予め規定されたデータ量の差分を算出し、該差分が０の場合は、部分データを分割データ保存手段に格納し、該差分が０以外の場合には、該相対値化に使用した基底再生時間を単位として不足分または、剰余分のデータ量に対応する部分データを楽曲データ分割手段１４０に要求する手段と、を含み、
楽曲データ分割手段１４０は、
不足分がある場合には、先に分割した部分データから当該不足分のデータを削除し、または、剰余分がある場合は、当該剰余分のデータ量に対応する部分データを切り出して、先に分割した部分データに追加して、分割データ保存手段１９０に格納する手段を含む。
【００１３】
また、本発明の楽曲データ分割手段は、部分データの先頭から一定の長さずらし、ずれたところから同じく該一定の長さの部分データを切り出す手段を含む。
【００１４】
図２は、本発明の原理を説明するための図である。
【００１５】
本発明は、音楽データの部分、長さ、時間的な伸縮度合も分からない音楽データの一部を検索キーとして検索するための音楽データの再生時間を正規化するための音楽データ時間正規化方法において、
アナログの音響信号または、音高と音長の時系列データが入力されると（ステップ１）、音声再生時間決定手段において、１つの音が鳴る時間を抽出し、その直前の音の鳴る時間を減算し、その結果を音毎の再生時間として決定する音声再生時間決定ステップと（ステップ２）、
基底再生時間決定手段が、決定された音毎の再生時間の分布に基づいて、基底となる再生時間を基底再生時間として選択する基底再生時間決定ステップと（ステップ３）、
音再生時間正規化手段が、音毎の再生時間を、基底再生時間を用いて除算し、除算された値を正規化する音再生時間正規化ステップと（ステップ４）、を行う。
【００１６】
また、本発明の音楽データ時間正規化方法は、基底再生時間決定ステップにおいて、分布から最も多く出現する再生時間を基底再生時間とする。
【００１７】
また、本発明の音楽データ時間正規化方法は、音再生時間正規化ステップにおいて、音毎の再生時間を、基底再生時間を用いて除算し、限定された代表値が記憶されている記憶手段からいくつかの代表値を取得し、該代表値のみによって除算された値を正規化する。
【００１８】
本発明は、音楽データの部分、長さ、時間的な伸縮度合も分からない音楽データについて、検索キーとするための部分音楽データを作成するための部分音楽データ作成方法において、
楽曲データ分割手段において、入力された音楽データを記憶手段に格納し、正規化された再生時間に基づいて部分的に重なりのある固定長の部分データに冗長的に分割する楽曲データ分割ステップと、
正基底再生時間決定手段において、楽曲データ分割ステップで分割された部分データ毎に各音の再生時間を抽出し、抽出された該再生時間の中から基底となる基底再生時間を決定する正基底再生時間決定ステップと、
分割データ量調整手段において、正基底再生時間決定ステップで決定された基底再生時間を用いて各音の再生時間を相対値化し、相対値化された再生時間の合算値と予め規定されているデータ量の差を算出し、算出されたデータ量の差分に基づいてデータ量を調整する分割データ情報量調整ステップと、を行う。
【００１９】
また、本発明の部分音楽データ作成方法は、分割データ情報量調整ステップにおいて、
分割データ情報量調整手段が、相対値化された再生時間の合算値と予め規定されたデータ量の差分を算出し、該差分が０の場合は、部分データを記憶手段に保存し、該差分が０以外の場合には、該相対値化に使用した基底再生時間を単位として不足分または、剰余分のデータ量に対応する部分データを調整するよう楽曲分割手段に指示し、
楽曲分割手段において、
不足分がある場合には、先に分割した部分データから当該不足分のデータを削除し、または、剰余分がある場合は、当該剰余分のデータ量に対応する部分データを切り出して、先に分割した部分データに追加して、記憶手段に格納する。
【００２０】
また、本発明の部分音楽データ作成方法は、楽曲データ分割ステップにおいて、
部分データの先頭から一定の長さずらし、ずれたところから同じく該一定の長さの部分データを切り出す。
【００２１】
本発明は、音楽データの部分、長さ、時間的な伸縮度合も分からない音楽データの一部を検索キーとして検索するための音楽データの再生時間を正規化するための音楽データ時間正規化プログラムであって、
コンピュータに、
アナログの音響信号または、音高と音長の時系列データが入力されると、１つの音が鳴る時間を抽出し、その直前の音の鳴る時間を減算し、その結果を音毎の再生時間として決定し、記憶手段に格納する音声再生時間決定ステップと、
記憶手段に格納されている音毎の再生時間を読出し、該再生時間の分布に基づいて、基底となる再生時間を基底再生時間として選択する基底再生時間決定ステップと、
音毎の再生時間を、基底再生時間決定ステップで選択された基底再生時間を用いて除算し、除算された値を正規化する音再生時間正規化ステップと、を実行させる。
【００２２】
本発明の音楽データ時間正規化プログラムは、基底再生時間決定ステップにおいて、分布から最も多く出現する再生時間を基底再生時間とする。
【００２３】
本発明の音楽データ時間正規化プログラムは、音再生時間正規化ステップにおいて、音毎の再生時間を、基底再生時間を用いて除算し、限定された代表値が記憶されている記憶手段から幾つかの代表値を取得し、該代表値のみによって除算された値を正規化する。
【００２４】
本発明は、音楽データの部分、長さ、時間的な伸縮度合も分からない音楽データについて、検索キーとするための部分音楽データを作成するための部分音楽データ作成プログラムであって、
コンピュータに、
入力された音楽データを記憶手段に格納し、正規化された再生時間に基づいて部分的に重なりのある固定長の部分データに冗長的に分割する楽曲データ分割ステップと、
楽曲データ分割ステップで分割された部分データ毎に各音の再生時間を抽出し、抽出された該再生時間の中から基底となる基底再生時間を決定する正基底再生時間決定ステップと、
正基底再生時間決定ステップで決定された基底再生時間を用いて各音の再生時間を相対値化し、相対値化された再生時間の合算値と予め規定されているデータ量の差を算出し、算出されたデータ量の差分に基づいてデータ量を調整する分割データ情報量調整ステップと、を実行させる。
【００２５】
本発明の部分音楽データ作成プログラムは、分割データ情報量調整ステップにおいて、
相対値化された再生時間の合算値と予め規定されたデータ量の差分を算出し、該差分が０の場合は、部分データを記憶手段に保存し、
差分が０以外の場合には、該相対値化に使用した基底再生時間を単位として不足分に対応する部分データを切り出して追加する、または、剰余分のデータ量に対応する部分データを削除することにより調整し、記憶手段に保存するステップを実行させる。
【００２６】
本発明の部分音楽データ作成プログラムは、楽曲データ分割ステップにおいて、前回切り出した部分データの先頭から一定の長さずらし、ずれたところから同じく該一定の長さを切り出すステップを実行させる。
【００２７】
本発明は、音楽データの部分、長さ、時間的な伸縮度合も分からない音楽データの一部を検索キーとして検索するための音楽データの再生時間を正規化するための音楽データ時間正規化プログラムを格納した記憶媒体であって、上記の音楽データ時間正規化プログラムを格納した記憶媒体である。
【００２８】
本発明は、音楽データの部分、長さ、時間的な伸縮度合も分からない音楽データについて、検索キーとするための部分音楽データを作成するための部分音楽データ作成プログラムを格納した記憶媒体であって、上記の部分音楽データ作成プログラムを格納した記憶媒体である。
【００２９】
上記のように、本発明は、任意の部分の音楽データを自動的に時間正規化し、音楽データの検索キーなる部分音楽データを作成することを特徴とする。詳しくは、１つの音が鳴る時間を抽出し、その中で基底となる時間を決定し、その基底となる時間で、各音の鳴る時間を相対値化し、音楽データを正規化された再生時間に基づいて、部分的に重なりのある固定長の部分データに冗長的に分割し、算出されたデータ量の差分に基づいて部分音楽データのデータ量を調整している。
【発明の効果】
【００３０】
本発明によれば、各音の再生時間を統一されたルールに基づいて音楽データの部分毎に決定される基底単位長を基底とした相対値に変換することで、音楽データの任意の部分について、時間軸方向の伸縮に左右されない情報量を定義し利用することが可能になる。これにより、音楽データを検索するためのキーを作成するための音楽部分データの作成が容易になる。
【００３１】
具体的には、ハミングと楽曲データに対して、データの「部分」を定義したり、データの「量」を測るための新しい単位を定義し、当該単位を用いてデータを取り扱うことにより、メトロノームの「カチ、カチ」という音に合わせて歌えなかった人のハミングでも検索できる。
【発明を実施するための最良の形態】
【００３２】
以下、図面と共に本発明の実施の形態を説明する。
【００３３】
最初に、本発明の概要を説明する。
【００３４】
音楽内容の検索を行う場合、コンピュータで２つのデータが似ているか、似ていないかを判定する場合、ある種の演算が必要であり、その場合に、それぞれのデータが共通の単位（例えば、秒、ピクセル数など）で計測された数値で表されている必要がある。音楽は人によって早く演奏されたり、ゆっくり演奏されたりするため、秒などは単位として用いることができない。従来は、「拍」を単位にする手法を用いていたが、これは、メトロノームの「カチ、カチ」という音に合わせて歌えた人のハミングデータを数値化する場合には有効であるが、この音に合わせて歌えなかった人のハミングデータに適用すると、間違った数値に数値化されてしまい、正しい類似度判定演算ができず、音楽内容の検索を行うことができない。
【００３５】
そこで、本発明では、「拍」の代わりに、各音の再生時間を統一されたルールに基づいて音楽データの部分毎に決定される基底単位長を基底とした相対値に変換することで、音楽データの任意の部分について、時間軸方向の伸縮に左右されない情報量を定義し、これを音楽検索の際に使用する検索キーを作成するための部分音楽データとして適用する。
【００３６】
図３は、本発明の一実施の形態における音楽データ時間正規化装置の構成を示す。
【００３７】
同図に示す音楽データ時間正規化装置１００は、音声再生時間決定部１１０、仮基底再生時間決定部１２０、音再生時間正規化部１３０、楽曲データ分割部１４０、正基底再生時間決定部１５０、分割データ情報量調整部１６０、ルール１７０及び分割データ保存部１９０から構成される。
【００３８】
当該音楽データ時間正規化装置１００は、人の歌唱のようなアナログの音響信号、または、音高と音長の時系列データが入力情報として入力される。
【００３９】
音声再生時間決定部１１０は、入力情報から音の再生開始のタイミングを検出し、前の音の再生開始タイミングとの差分を計算して、その音の再生時間として決定する。
【００４０】
仮基底再生時間決定部１２０は、音声再生時間決定部１１０で決定された各音の再生時間の分布を調べ、ルールに従って仮基底再生時間を決定する。
【００４１】
音再生時間正規化部１３０は、仮基底再生時間決定部１２０で決定された仮基底再生時間を元に、各再生時間を除算し、各再生時間を正規化する。正規化された値をそのまま用いて後続の処理を行うことや、予め規定された代表値に整形してから後続の処理を行うことも可能である。
【００４２】
楽曲データ分割部１４０は、入力された音楽データ（音声時系列データ）を記憶手段（図示せず）に格納し、当該音楽データを音再生時間正規化部１３０で正規化された再生時間に基づいて、予め規定された情報量（スライド量）毎に、予め規定された情報量（データ長）の部分音楽データを切り出す。また、当該楽曲データ分割部１４０は、後述する分割データ情報量調整部１６０において、部分データに過不足がある場合に、不足している部分に対して部分音楽データを切り出して追加し、過剰分がある場合には、過剰分のデータを削除し、分割データ保存部１９０に格納する。
【００４３】
正基底再生時間決定部１５０は、各部分音楽データ毎に仮基底再生時間がルール１７０に基づいて選択されていることを確認し、もし、ルール１７０のあるルールＡに基づいていない場合には、新しく正基底単位長を決定する。
【００４４】
分割データ情報量調整部１６０は、正基底単位長に基づいて、予め規定された情報量を保持するように部分データの長さを調整する。
【００４５】
ルール１７０は、メモリ等の記憶媒体に格納されており、仮基底再生時間決定部１２０、正基底再生時間決定部１５０により参照される。ルール１７０は、与えられた音楽データの中で、
ルールＡ：最も多く出現する再生時間；
ルールＢ：最も長い再生時間；
ルールＣ：最も短い再生時間；
等が設定されている。
【００４６】
代表値変換表１８０は、メモリ等の記憶媒体に格納されており、音再生時間正規化部１３０及び正基底再生時間決定部１５０により参照される、変換するための代表値を有する。
【００４７】
データ保存部１９０は、分割データ情報量調整部１６０において求められたデータ長情報量と一致した部分データ及び、楽曲データ分割部１４０で過不足が調整された部分データを格納する。
【００４８】
次に、上記の構成における一連の動作を説明する。
【００４９】
図４は、本発明の一実施の形態における音楽データ時間正規化の動作のフローチャートである。
【００５０】
ステップ１００）  まず、アナログの音響信号または、音高と音長の時系列データが入力されると、音声再生時間決定部１１０が、１つの音が鳴る時間を抽出し、その直前の音の鳴る時間を減算し、その結果を音毎の再生時間として決定する。当該処理を入力データ全てに対して行い、メモリ（図示せず）等の記憶手段に格納する。
【００５１】
ステップ２００）  仮基底再生時間決定部１２０が、記憶手段から音毎の再生時間を読み出し、音声再生時間決定部１１０で決定された音毎の再生時間の分布に基づいて、ルール１７０を参照して基底となる再生時間を基底再生時間として選択し、その仮基底再生時間をメモリ（図示せず）等の記憶手段に格納する。
【００５２】
ステップ３００）  音再生時間正規化部１３０において、記憶手段から音毎の再生時間を読み出して、仮基底再生時間決定部１２０で決定された仮基底再生時間を用いて除算し、除算された値を正規化する。
【００５３】
上記までが、音楽データ時間正規化の処理である。
【００５４】
ステップ４００）  楽曲データ分割部１４０は、入力された音楽データを記憶手段（図示せず）に格納し、正規化された再生時間に基づいて部分的に重なりのある固定長の部分データに冗長的に分割する。
【００５５】
ステップ５００）  正基底再生時間決定部１５０において、楽曲データ分割部１４０で分割された部分データ毎に各音の再生時間を抽出する。
【００５６】
ステップ６００）  さらに、正基底再生時間決定部１５０は、抽出された再生時間の中から基底となる基底再生時間を決定する。
【００５７】
ステップ７００）  分割データ情報量調整部１６０において、正基底再生時間決定部１５０で決定された基底再生時間を用いて各音の再生時間を相対値化し、相対値化された再生時間の合算値と予め規定されているデータ量の差を算出し、算出されたデータ量の差分に基づいてデータ量を調整する。差分が０の場合には、当該部分データをデータ保存部１９０に格納する。差分が０以外の場合には、楽曲データ分割部１４０において、差分の調整を行い、データ保存部１９０に格納する。
【００５８】
次に、音再生時間正規化部１３０において、予め規定された代表値に整形する（正規化）する場合の動作を説明する。
【００５９】
図５は、本発明の一実施の形態における音再生時間正規化部の動作のフローチャートである。
【００６０】
ステップ３０１）  音再生時間正規化部１３０は、最終再生時間のフラグがＯＮであるかを判断する。ＯＮであれば、当該処理を終了する。
【００６１】
ステップ３０２）  仮基底再生時間決定部１２０で求められメモリ（図示せず）に格納されている再生時間を１つ読み出す。
【００６２】
ステップ３０３）  取り出した再生時間が最後の再生時間である場合には、ステップ３０４に移行し、そうでない場合にはステップ３０５に移行する。
【００６３】
ステップ３０４）  最終再生時間フラグをＯＮする。
【００６４】
ステップ３０５）  仮基底単位で除算する。楽曲データ中の各再生時間をＬsｊとしたとき、仮基底単位長をＵｓとすると、それぞれ以下の式を用いて時間正規化し、ステップ３０１に移行する。
【００６５】
Ｌ’sｊ＝Ｌsｊ／Ｕs                （１）
ステップ３０６）  代表値変換表１８０を用いて、予め規定された値に変換する。当該処理において、例えば、代表値変換表１８０に示させる値が以下の８種などとすることができる。
【００６６】
0.5, 1.0, 1.5, 2.0, 3.0, 4.0, 5.0, 6.0      （２）
代表値変換表１８０の値の範囲は、入力されるメディアやジャンルによって変更することが望ましい。入力がカラオケなどもＭＩＤＩデータなどの場合、代表値変換表１８０は、以下のように作成することができる。
【００６７】
【表１】
2005257925.tif 000003
ここで、正基底再生時間決定部１５０及び分割データ情報量調整部１６０において、予め規定されたルール１７０を用いて正基底単位長を決定し、それに基づく量が予め規定されたデータ量と異なる場合のデータ量調整の動作を説明する。
【００６８】
図６は、本発明の一実施の形態におけるデータ量調整の動作のフローチャートである。
【００６９】
ステップ４０１）  予めデータ量特徴量（例えば、３２）と、スライド幅情報量（例えば、８）を設定する。
【００７０】
ステップ４０２）  最終部分音楽データのフラグがＯＮであるかを判定し、ＯＮである場合には、当該処理を終了する。
【００７１】
ステップ４０３）  正基底再生時間決定部１５０は、楽曲データ分割部１４０において分割され、メモリ（図示せず）等に格納されている部分音楽データを１つ読み込む。
【００７２】
ステップ４０４）  読み込んだ部分音楽データが最後のデータであれば、ステップ４０５に移行し、そうでなければステップ４０６に移行する。
【００７３】
ステップ４０５）  最終部分音楽データのフラグをＯＮにする。
【００７４】
ステップ４０６）  読み込まれた部分音楽データの各再生時間を集計して、ルール１７０に該当する再生時間を選出する。ここで、例えば、前述のルールＡを適用した場合、再生時間の分布が図７のようになった場合、正基底再生時間は例えば、以下の式（３）により算出される。
【００７５】
【数１】
2005257925.tif 000004
上記の式は、部分音楽データ内の各再生時間を、正基底単位長で除算するものである。除算することによって、正基底単位長として選出された再生時間は、“１．０”と表現されることになり、また、それ以外の再生時間は正基底単位長として選出された再生時間との相対値となる。
【００７６】
ステップ４０７）  ステップ４０６で求められた正基底単位長で相対値化された再生時間の集合を、代表値変換表１８０を用いて変換する。これにより、代表値変換表１８０を用いて入力された相対値化された再生時間は、たった８種類の実数値によって表現されることになる。
【００７７】
ステップ４０８）  代表値表現された再生時間を全部足し合わせ合算値を求める。
【００７８】
ステップ４０９）  分割データ情報量調製部１６０は、正基底再生時間決定部１５０において求められた合算値とデータ長情報量を比較する。合算値がデータ長情報量と一致する場合には、ステップ４１４に移行する。
【００７９】
ステップ４１０）  分割データ情報量調整部１６０は、一致しない場合は、楽曲データ分割部１４０に対して、その差分を調整するよう差分を転送することにより指示する。これにより、楽曲データ分割部１４０は、差分に基づいて、処理ポイントを部分音楽データのｎ個前の部分音楽データの開始位置に戻す。現在処理している部分音楽データの開始位置が現処理ポイントであるが、それをｎ個前の部分音楽データの開始位置を指すように指示する。
【００８０】
ステップ４１１）  楽曲データ分割部１４０は、分割データ情報量調整部１６０で指定された開始位置からデータ長情報量分の部分音楽データを切り出す。なお、この時点で、基底単位長が「仮基底単語長」から「正基底単位長」に変化しているので、データ長情報量の値がかわらなくても、音楽データとしての実際の情報量は異なる。
【００８１】
ステップ４１２）  処理ポイントをスライド幅情報量分ずらす。具体的には、スライディング・ウィンドウ方式（C. Faloutsos,M. Ranganathan, and Y. Manolopoulos. Fast Subsequence Matching in Time-Series Database. In Proceedings of the ACM SIGMOD, International Conference on management of Data, pp. 419-429, 1994）を用いて、現在の処理ポイントをスライド幅情報量分ずらす。
【００８２】
ステップ４１３）  楽曲データ分割部１４０は、新しい処理ポイントと、もともと処理中であった部分音楽データの最終位置とを比較し、現部分音楽データの最終位置を越えたかを判定し、越えた場合には、ステップ４１４に移行し、越えない場合には、ステップ４１２に移行する。
【００８３】
ステップ４１４）  一連の処理で得られた部分音楽データをデータ保存部１９０に保存し、ステップ４０２に移行する。
【００８４】
なお、上記のステップ４０１において、現状のSound Compassでは、「３２」と「８」を利用しているため、データ長情報量を「３２」とし、スライド幅情報量を「８」としているが、この例に限定されるものではない。
【００８５】
次に、上記のステップ４０６における正基底再生時間決定部１５０における処理を詳細に説明する。
【００８６】
図８は、本発明の一実施の形態における正基底単位長取得処理のフローチャートである。
【００８７】
ステップ５０１）  正基底再生時間決定部１５０は、楽曲データ分割部１４０から取得した音符数分の音楽データを入力する。
【００８８】
ステップ５０２）  入力された音楽データに再生時間が含まれているかを判定し、含まれていない場合には、ステップ５０４に移行する。
【００８９】
ステップ５０３）  再生時間が含まれている場合には、当該再生時間の種類に対応する使用数を更新する。
【００９０】
ステップ５０４）  再生時間の使用数が多い順に再生時間の種類をソートする。
【００９１】
ステップ５０５）  最も使用数の多い再生時間を正基底単位長として取得する。
【００９２】
なお、上記の実施の形態における図４、図５、図６における動作をプログラムとして構築し、音楽データ時間正規化装置、部分音楽データ作成装置として利用されるコンピュータにインストールし、ＣＰＵ等の制御手段により実行させる、または、ネットワークを介して流通させることも可能である。
【００９３】
また、構築されたプログラムを、音楽データ時間正規化装置、部分音楽データ作成装置として利用されるコンピュータに接続されるハードディスクや、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体等に格納し、コンピュータにインストールして実行させることも可能である。
【００９４】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【産業上の利用可能性】
【００９５】
本発明は、音楽データの検索を行うシステムに適用可能である。
【図面の簡単な説明】
【００９６】
【図１】本発明の原理構成図である。
【図２】本発明の原理を説明するための図である。
【図３】本発明の一実施の形態における部分音楽データ生成装置の構成図である。
【図４】本発明の一実施の形態における部分音楽データ生成動作のフローチャートである。
【図５】本発明の一実施の形態における音再生時間正規化部の動作のフローチャートである。
【図６】本発明の一実施の形態におけるデータ量調達の動作のフローチャートである。
【図７】本発明の一実施の形態における基底単位長の分布例である。
【図８】本発明の一実施の形態における正基底単位長取得処理のフローチャートである。
【符号の説明】
【００９７】
１００  部分音楽データ作成装置
１１０  音声再生時間決定手段、音声再生時間決定部
１２０  仮基底再生時間決定手段、仮基底再生時間決定部
１３０  音声再生時間正規化手段、音声再生時間正規化部
１４０  楽曲データ分割手段、楽曲データ分割部
１５０  正基底再生時間決定手段、正基底再生時間決定部
１６０  分割データ情報量調整手段、分割データ情報量調整部
１７０  ルール
１８０  代表値変換表
１９０  データ保存部
【図１】
2005257925.tif 000005
【図２】
2005257925.tif 000006
【図３】
2005257925.tif 000007
【図４】
2005257925.tif 000008
【図５】
2005257925.tif 000009
【図６】
2005257925.tif 000010
【図７】
2005257925.tif 000011
【図８】
2005257925.tif 000012