【手続補正書】
【提出日】平成18年11月14日(2006.11.14)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】  明細書
【発明の名称】  楽曲登録装置、楽曲登録方法、及びそのプログラムと記録媒体
【特許請求の範囲】
【請求項１】  楽曲の音響信号を登録する楽曲登録装置であって、
楽曲の音響信号を入力する音響信号入力部と、
前記音響信号入力部に入力された音響信号から、スペクトル変化度、平均発音数、発音非周期性、拍周期、拍周期比率、拍強度、拍強度比率のうち何れかを特徴量として抽出する特徴量抽出部と、
前記特徴量から楽曲の聴感上の心理量を数量化した印象値を算出する印象値算出部と、を有し、
前記音響信号入力部に入力された音響信号と前記特徴量と前記印象値とを登録する楽曲登録装置。
【請求項２】  前記印象値算出部は、
複数の楽曲の特徴量から多変量解析等により算出される係数に基づいて、楽曲の印象値を算出する請求項１記載の楽曲登録装置。
【請求項３】  前記特徴量抽出部は、
前記音響信号入力部より入力された音響信号に対して予め定めた時間フレーム毎に周波数分析を行い、周波数帯域毎の信号を出力し、時間フレーム間の周波数帯域毎の信号に対して、その変化度合いをそのノルムの算出により求め、得られたフレーム間変化量を、処理対象である音響信号の全フレームに渡り平均化することにより、当該音響信号の特徴量の１つであるスペクトル変化度を算出する請求項１記載の楽曲登録装置。
【請求項４】  前記特徴量抽出部は、
前記音響信号入力部より入力された音響信号に対して予め定めた時間フレーム毎に周波数分析を行い、周波数帯域毎の信号を出力し、得られた周波数帯域毎の信号から各帯域信号の立ち上がり成分を検出し、得られた帯域信号の立ち上がり成分の有無を検出し、その有無を時間フレーム毎に合算し、更にその合算結果を当該音響信号の全フレームに渡り平均化することにより、立ち上がり頻度を算出することにより、当該音響信号の特徴量の１つである平均発音数を算出する請求項１記載の楽曲登録装置。
【請求項５】  前記特徴量抽出部は、
前記音響信号入力部より入力された音響信号に対して予め定めた時間フレーム毎に周波数分析を行い、周波数帯域毎の信号を出力し、得られた周波数帯域毎の信号から各帯域信号の立ち上がり成分を検出し、更にその立ち上がり成分を周波数方向に加算することより、時間フレーム毎の立ち上がり成分を算出し、前記立ち上がり成分の自己相関関数を算出し、得られた自己相関関数を周波数分析し、周波数帯域毎の信号を出力し、帯域毎に出力信号から直流成分を検出し、周波数帯域毎の出力信号から最もパワーの大きい帯域の信号をピーク値として検出し、前記直流成分の出力信号のパワーを、前記ピーク値の出力信号のパワーで除算することにより、当該音響信号の特徴量の１つである発音非周期性を算出する請求項１記載の楽音登録装置。
【請求項６】  前記特徴量抽出部は、
前記音響信号入力部より入力された音響信号に対して予め定めた時間フレーム毎に周波数分析を行い、周波数帯域毎の信号を出力し、得られた周波数帯域毎の信号から各帯域信号の立ち上がり成分を検出し、更にその立ち上がり成分を周波数方向に加算することより、時間フレーム毎の立ち上がり成分を算出し、得られた立ち上がり成分の自己相関関数を算出し、自己相関関数の極大値を示す部分の位置及びレベル値を算出し、前記自己相関関数の極大値から、当該楽曲の拍周期の候補となる値を算出し、前記自己相関関数の極大値から、当該楽曲の周期構造を算出し、前記立ち上がり成分の出力信号と前記周期構造の出力信号とを参照し、前記拍周期候補から当該楽曲の拍周期と推定される値を判定することにより、当該音響信号の特徴量の１つである拍周期を算出する請求項１記載の楽曲登録装置。
【請求項７】  前記特徴量抽出部の周期構造算出は、
算出されたピークを、そのレベル値に基づいて並べ替え、並べ替えられた各ピークを、そのレベル値が近似するグループに分割し、グループ化されたレベル群から、階層数を含む当該楽曲の周期構造に関するパラメータを算出するものである請求項６記載の楽曲登録装置。
【請求項８】  前記特徴量抽出部の周期構造算出は、
算出されたピークのレベル値に対してヒストグラムを生成し、前記ヒストグラムから、階層数を含む当該楽曲の周期構造に関するパラメータを算出するものである請求項６記載の楽曲登録装置。
【請求項９】  前記特徴量抽出部は、
前記音響信号入力部から入力された音響信号に対して予め定めた時間フレーム毎に周波数分析を行い、周波数帯域毎の信号を出力し、得られた周波数帯域毎の信号から各帯域信号の立ち上がり成分を検出し、更にその立ち上がり成分を周波数方向に加算することより、時間フレーム毎の立ち上がり成分を算出し、得られた立ち上がり成分の自己相関関数を算出し、前記自己相関関数から極大値を示す部分の位置及びレベルを第１のピーク値として算出し、前記自己相関関数の極大値から、当該楽曲の拍周期の候補となる値を算出し、前記自己相関関数の極大値から、当該楽曲の周期構造を算出し、前記立ち上がり成分算出部の出力信号と前記周期構造算出部の出力信号とを参照し、前記拍周期候補から当該楽曲の拍周期と推定される値を判定し、前記自己相関関数を周波数分析し、周波数帯域毎の信号を出力し、前記周波数帯域毎の出力信号から最もパワーの大きい帯域の信号を第２のピーク値として検出し、前記当該楽曲の拍周期と前記第２のピーク値との比率を算出することにより、当該音響信号の特徴量の１つである拍周期比率を算出する請求項１記載の楽曲登録装置。
【請求項１０】  前記特徴量抽出部は、
前記音響信号入力部から入力された音響信号に対して予め定めた時間フレーム毎に周波数分析を行い、周波数帯域毎の信号を出力し、得られた周波数帯域毎の信号から各帯域信号の立ち上がり成分を検出し、更にその立ち上がり成分を周波数方向に加算することより、時間フレーム毎の立ち上がり成分を算出し、得られた立ち上がり成分の自己相関関数を算出し、前記自己相関関数から極大値を示す部分の位置及びレベル値をピーク値として算出し、前記自己相関関数の極大値から、当該楽曲の拍周期の候補となる値を算出し、前記自己相関関数の極大値から、当該楽曲の周期構造を算出し、前記立ち上がり成分と前記周期構造の出力信号とを参照し、前記拍周期候補から当該楽曲の拍周期と推定される値を判定し、前記自己相関関数を周波数分析し、周波数帯域毎の信号を出力し、当該楽曲の拍周期から、その拍周期の整数分の１に相当する周波数を算出し、前記自己相関関数の周波数分析から、前記周波数算出により出力した周波数近傍で極大値を示す値を参照してその値を出力することにより、当該音響信号の特徴量の１つである拍強度を算出する請求項１記載の楽曲登録装置。
【請求項１１】  前記特徴量抽出部は、
前記音響信号入力部から入力された音響信号に対して予め定めた時間フレーム毎に周波数分析を行い、周波数帯域毎の信号を出力し、得られた周波数帯域毎の信号から各帯域信号の立ち上がり成分を検出し、更にその立ち上がり成分を周波数方向に加算することより、時間フレーム毎の立ち上がり成分を算出し、得られた立ち上がり成分の自己相関関数を算出し、前記自己相関関数から極大値を示す部分の位置及びレベルをピーク値として算出し、前記自己相関関数の極大値から、当該楽曲の拍周期の候補となる値を算出し、前記自己相関関数の極大値から、当該楽曲の周期構造を算出し、前記立ち上がり成分と前記周期構造の出力信号とを参照し、前記拍周期候補から当該楽曲の拍周期と推定される値を判定し、前記自己相関関数を周波数分析して周波数帯域毎の信号を出力し、前記当該楽曲の拍周期から、その拍周期の整数分の１に相当する第１の周波数を算出し、前記自己相関関数の周波数分析から、前記第１の周波数近傍で極大値を示す値を参照してその値を第１の値として出力し、当該楽曲の拍周期から、その拍周期の４分の１に相当する第２の周波数を算出し、前記自己相関関数の周波数分析から、前記第２の周波数近傍で極大値を示す値を参照してその値を第２の値として出力し、前記第１の値と前記第２の値との比率を算出することにより、当該音響信号の特徴量の１つである拍強度比率を算出する請求項１記載の楽曲登録装置。
【請求項１２】  楽曲の音響信号を登録する方法であって、
楽曲の音響信号を入力する工程と、
前記音響信号入力部に入力された音響信号から、スペクトル変化度、平均発音数、発音非周期性、拍周期、拍周期比率、拍強度、拍強度比率のうち何れかを特徴量として抽出する工程と、
前記特徴量から楽曲の聴感上の心理量を数量化した印象値を算出する工程と、
前記音響信号入力部に入力された音響信号と前記特徴量と前記印象値とを登録する工程と、を含む楽曲登録方法。
【請求項１３】  コンピュータによって読み取られ実行されるコンピュータプログラムであって、
コンピュータに、
楽曲の音響信号を入力する工程と、
前記音響信号入力部に入力された音響信号から、スペクトル変化度、平均発音数、発音非周期性、拍周期、拍周期比率、拍強度、拍強度比率のうち何れかを特徴量として抽出する工程と、
前記特徴量から楽曲の聴感上の心理量を数量化した印象値を算出する工程と、
前記音響信号入力部に入力された音響信号と前記特徴量と前記印象値とを登録する工程と、を実行させるためのコンピュータプログラム。
【請求項１４】  コンピュータに、
楽曲の音響信号を入力する工程と、
前記音響信号入力部に入力された音響信号から、スペクトル変化度、平均発音数、発音非周期性、拍周期、拍周期比率、拍強度、拍強度比率のうち何れかを特徴量として抽出する工程と、
前記特徴量から楽曲の聴感上の心理量を数量化した印象値を算出する工程と、
前記音響信号入力部に入力された音響信号と前記特徴量と前記印象値とを登録する工程と、を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、楽曲に関する書誌情報や楽曲に対する主観的な印象に基づいて、利用者の希望する楽曲を検索して提示する楽曲登録装置、楽曲登録方法、及びそのプログラムと記録媒体に関するものである。
【０００２】
【従来の技術】
ハードディスクや連装機能付きＣＤプレーヤ等、大量の音楽が格納されている楽曲データベースから特定の楽曲を検索する場合、一般的には楽曲の曲名や歌手名、作詞・作曲者名等をキーワードとして検索を行う場合が多い。
【０００３】
従来の一般的な楽曲検索装置を、図８を用いて説明する。図８において、８１は選曲条件入力手段で、検索対象の曲名等、選曲の条件を入力する。８２は楽曲データベースで、楽曲のオーディオ信号と共に、各楽曲の曲名や歌手名、作詞・作曲者名等の書誌情報が記録され、参照可能となっている。８３は書誌情報検索手段で、選曲条件入力手段８１で入力された曲名等の条件を検索キーとして楽曲データベースを参照し、検索キーと一致又は類似する書誌情報をもった楽曲を出力する。８４は再生曲選択手段で、書誌情報検索手段８３の検索結果から利用者が再生を希望する楽曲を選択する。そして８５は楽曲再生手段で、再生曲選択手段８４で選択された楽曲を聴取可能なように再生する。
【０００４】
従来の楽曲検索装置の動作を例を挙げて説明する。今、利用者が「クリスマス」に関する楽曲を検索し、聴取したいとする。この場合は、利用者が選曲条件入力手段８１で曲名の項目に「クリスマス」と入力し、曲名に「クリスマス」という文字列が含まれる楽曲を検索するのが一般的である。書誌情報検索手段８３では、楽曲データベース８２を参照し、曲名「クリスマス」を検索キーとして書誌情報に「クリスマス」という文字列が含まれている楽曲を検索し、その結果を出力する。検索の結果、「クリスマスキャロル」、「クリスマスイブ」、「戦場のメリークリスマス」の３曲が出力されたとすると、再生曲選択手段８４でこれら３曲のその他の書誌情報（歌手名、作詞・作曲者名等）を参考に利用者が再生する曲を選択し、希望の曲があれば楽曲再生手段８５で再生し、聴取することができる。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記のような楽曲の曲名、歌手名等の書誌情報は楽曲の客観的・外観的な観点からの情報であり、楽曲そのものが聴取者に対してもたらす主観的印象を推測するのは困難である。そのため、「躍動感がある楽曲を検索したい」などという主観的な印象に基づく楽曲の検索は、従来の楽曲検索装置では困難であるという課題があった。
【０００６】
一方、上記主観的な印象に基づく楽曲検索を実現するために、上記楽曲データベース８２に予め楽曲の主観的な印象をインデックス化して登録しておき、このインデックス情報に基づいて所望の楽曲を検索する方法が考えられる。しかしこの場合、上記インデックス情報の登録作業は人（主に装置の作成者又は利用者）が各楽曲を聞いてその印象を判断する必要があり、登録する楽曲数が多い場合はその作業にかかる負担も大きくなるという課題があった。
【０００７】
そこで本発明の目的は、楽曲に対する主観的な印象に基づいて利用者の希望する楽曲を検索可能にするために、楽曲を登録する楽曲登録装置、楽曲登録方法、及びそのプログラムと記録媒体を提供することにある。
【０００８】
【課題を解決するための手段】
この課題を解決するために、本発明の楽曲登録装置は、楽曲の音響信号を登録する楽曲登録装置であって、楽曲の音響信号を入力する音響信号入力部と、前記音響信号入力部に入力された音響信号から、スペクトル変化度、平均発音数、発音非周期性、拍周期、拍周期比率、拍強度、拍強度比率のうち何れかを特徴量として抽出する特徴量抽出部と、前記特徴量から楽曲の聴感上の心理量を数量化した印象値を算出する印象値算出部と、を有し、前記音響信号入力部に入力された音響信号と前記特徴量と前記印象値とを登録するものである。
【０００９】
ここで前記印象値算出部は、複数の楽曲の特徴量から多変量解析等により算出される係数に基づいて、楽曲の印象値を算出するようにしてもよい。
【００１０】
ここで前記特徴量抽出部は、前記音響信号入力部より入力された音響信号に対して予め定めた時間フレーム毎に周波数分析を行い、周波数帯域毎の信号を出力し、時間フレーム間の周波数帯域毎の信号に対して、その変化度合いをそのノルムの算出により求め、得られたフレーム間変化量を、処理対象である音響信号の全フレームに渡り平均化することにより、当該音響信号の特徴量の１つであるスペクトル変化度を算出するようにしてもよい。
【００１１】
ここで前記特徴量抽出部は、前記音響信号入力部より入力された音響信号に対して予め定めた時間フレーム毎に周波数分析を行い、周波数帯域毎の信号を出力し、得られた周波数帯域毎の信号から各帯域信号の立ち上がり成分を検出し、得られた帯域信号の立ち上がり成分の有無を検出し、その有無を時間フレーム毎に合算し、更にその合算結果を当該音響信号の全フレームに渡り平均化することにより、立ち上がり頻度を算出することにより、当該音響信号の特徴量の１つである平均発音数を算出するようにしてもよい。
【００１２】
ここで前記特徴量抽出部は、前記音響信号入力部より入力された音響信号に対して予め定めた時間フレーム毎に周波数分析を行い、周波数帯域毎の信号を出力し、得られた周波数帯域毎の信号から各帯域信号の立ち上がり成分を検出し、更にその立ち上がり成分を周波数方向に加算することより、時間フレーム毎の立ち上がり成分を算出し、前記立ち上がり成分の自己相関関数を算出し、得られた自己相関関数を周波数分析し、周波数帯域毎の信号を出力し、帯域毎に出力信号から直流成分を検出し、周波数帯域毎の出力信号から最もパワーの大きい帯域の信号をピーク値として検出し、前記直流成分の出力信号のパワーを、前記ピーク値の出力信号のパワーで除算することにより、当該音響信号の特徴量の１つである発音非周期性を算出するようにしてもよい。
【００１３】
ここで前記特徴量抽出部は、前記音響信号入力部より入力された音響信号に対して予め定めた時間フレーム毎に周波数分析を行い、周波数帯域毎の信号を出力し、得られた周波数帯域毎の信号から各帯域信号の立ち上がり成分を検出し、更にその立ち上がり成分を周波数方向に加算することより、時間フレーム毎の立ち上がり成分を算出し、得られた立ち上がり成分の自己相関関数を算出し、自己相関関数の極大値を示す部分の位置及びレベル値を算出し、前記自己相関関数の極大値から、当該楽曲の拍周期の候補となる値を算出し、前記自己相関関数の極大値から、当該楽曲の周期構造を算出し、前記立ち上がり成分の出力信号と前記周期構造の出力信号とを参照し、前記拍周期候補から当該楽曲の拍周期と推定される値を判定することにより、当該音響信号の特徴量の１つである拍周期を算出するようにしてもよい。
【００１４】
ここで前記特徴量抽出部の周期構造算出は、算出されたピークを、そのレベル値に基づいて並べ替え、並べ替えられた各ピークを、そのレベル値が近似するグループに分割し、グループ化されたレベル群から、階層数を含む当該楽曲の周期構造に関するパラメータを算出するようにしてもよい。
【００１５】
ここで前記特徴量抽出部の周期構造算出は、算出されたピークのレベル値に対してヒストグラムを生成し、前記ヒストグラムから、階層数を含む当該楽曲の周期構造に関するパラメータを算出するようにしてもよい。
【００１６】
ここで前記特徴量抽出部は、前記音響信号入力部から入力された音響信号に対して予め定めた時間フレーム毎に周波数分析を行い、周波数帯域毎の信号を出力し、得られた周波数帯域毎の信号から各帯域信号の立ち上がり成分を検出し、更にその立ち上がり成分を周波数方向に加算することより、時間フレーム毎の立ち上がり成分を算出し、得られた立ち上がり成分の自己相関関数を算出し、前記自己相関関数から極大値を示す部分の位置及びレベルを第１のピーク値として算出し、前記自己相関関数の極大値から、当該楽曲の拍周期の候補となる値を算出し、前記自己相関関数の極大値から、当該楽曲の周期構造を算出し、前記立ち上がり成分算出部の出力信号と前記周期構造算出部の出力信号とを参照し、前記拍周期候補から当該楽曲の拍周期と推定される値を判定し、前記自己相関関数を周波数分析し、周波数帯域毎の信号を出力し、前記周波数帯域毎の出力信号から最もパワーの大きい帯域の信号を第２のピーク値として検出し、前記当該楽曲の拍周期と前記第２のピーク値との比率を算出することにより、当該音響信号の特徴量の１つである拍周期比率を算出するようにしてもよい。
【００１７】
ここで前記特徴量抽出部は、前記音響信号入力部から入力された音響信号に対して予め定めた時間フレーム毎に周波数分析を行い、周波数帯域毎の信号を出力し、得られた周波数帯域毎の信号から各帯域信号の立ち上がり成分を検出し、更にその立ち上がり成分を周波数方向に加算することより、時間フレーム毎の立ち上がり成分を算出し、得られた立ち上がり成分の自己相関関数を算出し、前記自己相関関数から極大値を示す部分の位置及びレベル値をピーク値として算出し、前記自己相関関数の極大値から、当該楽曲の拍周期の候補となる値を算出し、前記自己相関関数の極大値から、当該楽曲の周期構造を算出し、前記立ち上がり成分と前記周期構造の出力信号とを参照し、前記拍周期候補から当該楽曲の拍周期と推定される値を判定し、前記自己相関関数を周波数分析し、周波数帯域毎の信号を出力し、当該楽曲の拍周期から、その拍周期の整数分の１に相当する周波数を算出し、前記自己相関関数の周波数分析から、前記周波数算出により出力した周波数近傍で極大値を示す値を参照してその値を出力することにより、当該音響信号の特徴量の１つである拍強度を算出するようにしてもよい。
【００１８】
ここで前記特徴量抽出部は、前記音響信号入力部から入力された音響信号に対して予め定めた時間フレーム毎に周波数分析を行い、周波数帯域毎の信号を出力し、得られた周波数帯域毎の信号から各帯域信号の立ち上がり成分を検出し、更にその立ち上がり成分を周波数方向に加算することより、時間フレーム毎の立ち上がり成分を算出し、得られた立ち上がり成分の自己相関関数を算出し、前記自己相関関数から極大値を示す部分の位置及びレベルをピーク値として算出し、前記自己相関関数の極大値から、当該楽曲の拍周期の候補となる値を算出し、前記自己相関関数の極大値から、当該楽曲の周期構造を算出し、前記立ち上がり成分と前記周期構造の出力信号とを参照し、前記拍周期候補から当該楽曲の拍周期と推定される値を判定し、前記自己相関関数を周波数分析して周波数帯域毎の信号を出力し、前記当該楽曲の拍周期から、その拍周期の整数分の１に相当する第１の周波数を算出し、前記自己相関関数の周波数分析から、前記第１の周波数近傍で極大値を示す値を参照してその値を第１の値として出力し、当該楽曲の拍周期から、その拍周期の４分の１に相当する第２の周波数を算出し、前記自己相関関数の周波数分析から、前記第２の周波数近傍で極大値を示す値を参照してその値を第２の値として出力し、前記第１の値と前記第２の値との比率を算出することにより、当該音響信号の特徴量の１つである拍強度比率を算出するようにしてもよい。
【００１９】
この課題を解決するために、本発明の楽曲登録方法は、楽曲の音響信号を登録する方法であって、楽曲の音響信号を入力する工程と、前記音響信号入力部に入力された音響信号から、スペクトル変化度、平均発音数、発音非周期性、拍周期、拍周期比率、拍強度、拍強度比率のうち何れかを特徴量として抽出する工程と、前記特徴量から楽曲の聴感上の心理量を数量化した印象値を算出する工程と、前記音響信号入力部に入力された音響信号と前記特徴量と前記印象値とを登録する工程と、を含むものである。
【００２０】
この課題を解決するために、本発明のコンピュータプログラムは、コンピュータによって読み取られ実行されるコンピュータプログラムであって、コンピュータに、楽曲の音響信号を入力する工程と、前記音響信号入力部に入力された音響信号から、スペクトル変化度、平均発音数、発音非周期性、拍周期、拍周期比率、拍強度、拍強度比率のうち何れかを特徴量として抽出する工程と、前記特徴量から楽曲の聴感上の心理量を数量化した印象値を算出する工程と、前記音響信号入力部に入力された音響信号と前記特徴量と前記印象値とを登録する工程と、を実行させるためのものである。
【００２１】
この課題を解決するために、本発明の記録媒体は、コンピュータに、楽曲の音響信号を入力する工程と、前記音響信号入力部に入力された音響信号から、スペクトル変化度、平均発音数、発音非周期性、拍周期、拍周期比率、拍強度、拍強度比率のうち何れかを特徴量として抽出する工程と、前記特徴量から楽曲の聴感上の心理量を数量化した印象値を算出する工程と、前記音響信号入力部に入力された音響信号と前記特徴量と前記印象値とを登録する工程と、を実行させるためのプログラムを記録したコンピュータ読み取り可能なものである。
【００２２】
【発明の実施の形態】
（実施の形態１）
以下、本発明の実施の形態１について、図面を参照しながら説明する。図１は本発明の実施の形態１における楽曲検索装置の全体構成を示すブロック図である。図１において、１１は楽曲データベース、１２は音響信号入力手段、１３は特徴量抽出手段、１４は印象値算出手段、１５は書誌情報入力手段、１６は検索要件入力手段、１７は予測印象値算出手段、１８は印象値検索手段、１９は選曲手段、１１０は楽曲再生手段を表している。
【００２３】
以上のように構成された楽曲検索装置の動作について、図１を用いて説明する。本装置は大きく分けて、検索対象となる楽曲の音響信号及びその付随情報を楽曲データベース１１に登録する楽曲登録部１１１、及び利用者の検索要件に応じて楽曲データベースから所望の楽曲を検索する楽曲検索部１１２及び楽曲データベース１１より構成される。
【００２４】
まず楽曲登録部１１１について概説する。楽曲データベース１１は、利用者が再生可能な複数の楽曲について、楽曲毎にその音響信号及び付随情報を記録し、参照可能としたものである。最初に、音響信号入力手段１２は、登録対象として入力された音響信号（ＣＤ等のメディアに記録された音響信号や放送等で配信される音響信号等）を楽曲データベース１１へ登録すると共に、付随情報生成のため後段の特徴量抽出手段１３に出力する。入力される音響信号がアナログ信号の場合は、音響信号入力手段１２によりディジタル化した後、後段に出力される。
【００２５】
次に、特徴量抽出手段１３は、入力された音響信号から、その音響信号の物理的特徴を表すいくつかの特徴量を抽出し楽曲データベースに登録する。そして、印象値算出手段１４は特徴量抽出手段１３が抽出した楽曲の物理的特徴量を、楽曲の主観的な印象を数量化した印象値に変換し、楽曲データベースに登録する。一方、登録対象として入力された音響信号に関する書誌情報（曲名、歌手名等）は書誌情報入力手段１５により別途楽曲データベースに登録される。
【００２６】
次に楽曲検索部１１２について概説する。最初に、利用者は検索要件入力手段１６に、検索したい楽曲に対する要件を入力する。次に予測印象値算出手段１７は入力された検索要件のうち主観的な印象に関する部分から、検索対象として予想される楽曲の印象値（楽曲の主観的な印象を表す数量）を算出する。そして印象値検索手段１８は入力された検索要件と予測印象値算出手段１７で算出された予想印象値を検索キーとして、楽曲データベース１１に登録されている各楽曲の付随情報部分を参照し、検索キーに類似する付随情報をもっている複数の楽曲を候補曲として出力する。その後、選曲手段１９は、利用者の選択操作や予め定めた選曲手順等により楽曲の選択を行い、楽曲再生手段１１０は最終的に選択された楽曲を検索結果として再生する。
【００２７】
では、以下各手段の詳細について、図面を参照しながら説明する。図２は本実施の形態における特徴量抽出抽出手段の概略を示すブロック図である。また（表１）は本発明の実施の形態における特徴量及びその概略を表したものである。
【００２８】
【表１】
2002278547.tif 000001
【００２９】
図２の特徴量抽出手段は、入力された音響信号から、（表１）に記載された８つの物理的特徴量を抽出する。（表１）の各特徴量の抽出動作を図２を使って説明する。以下、処理フレーム時刻をｔ，帯域分割した周波数帯域番号をｆとし、音響信号はディジタル化された後、一定時間長のフレーム単位で処理されるものとする。
【００３０】
（１）スペクトル変化度（ＳＦ）
まずステップ２１において入力された音響信号を処理フレーム毎にフーリエ変換し、各帯域のパワーを求めることによりパワースペクトルＳ（ｔ）を算出する。次にステップ２２において（数１）よりフレーム間のパワースペクトル変化量ΔＳ（ｔ）を算出する。
【００３１】
【数１】
2002278547.tif 000002
【００３２】
そしてステップ２３において全フレーム時刻にわたりΔＳ（ｔ）を平均化し、スペクトル変化度ＳＦＬＸを算出する（数２）。
【００３３】
【数２】
2002278547.tif 000003
【００３４】
（２）平均発音数（ＡＲ）
まず、ステップ２１で算出されたパワースペクトルＳ（ｔ）の各帯域のパワーｐ（ｔ，ｆ）を利用して、各帯域の信号成分の立ち上がり度合いｄ（ｔ，ｆ）及びｄ（ｔ，ｆ）をフレーム時刻ｔにおいて周波数方向に加算した立ち上がり成分Ｄ（ｔ）を算出する。ｄ（ｔ，ｆ）及びＤ（ｔ）は、各帯域ｆのパワーｐ（ｔ，ｆ）を利用して（数３）から（数７）により算出する。
【００３５】
【数３】
2002278547.tif 000004
【００３６】
【数４】
2002278547.tif 000005
【００３７】
【数５】
2002278547.tif 000006
【００３８】
【数６】
2002278547.tif 000007
【００３９】
【数７】
2002278547.tif 000008
【００４０】
立ち上がり度合いｄ（ｔ，ｆ）及び立ち上がり成分Ｄ（ｔ）の抽出方法については、例えば文献（後藤・村岡：“音楽音響信号に対するビートトラッキングシステム”，情報処理学会研究報告，Vol.94, No.71, pp.49-56, 1994）に詳細が記載されている。そしてステップ２５において立ち上がり度合いｄ（ｔ，ｆ）の全フレームにわたる出現頻度を（数８）により算出し、平均発音数とする。
【００４１】
【数８】
2002278547.tif 000009
【００４２】
（３）発音非周期性（ＮＺ）
まずステップ２６において（数９）によりＤ（ｔ）の自己相関関数Ａ（ｍ）（ｍは遅延フレーム）を算出し、立ち上がり成分の周期性を求める。次にステップ２７においてＡ（ｍ）をフーリエ変換し、各帯域のパワーを求めることによりＡ（ｍ）のパワースペクトルＡｓｐｅｃ（Ｋ）（Ｋは周波数）を算出する。そしてステップ２８においてＡｓｐｅｃ（Ｋ）の直流成分値（即ちＡｓｐｅｃ（０））を、ステップ２９においてＡｓｐｅｃ（Ｋ）のピーク値（Ａｓｐｅｃ（Ｋｐｅａｋ）とする）をそれぞれ検出し、ステップ２１０においてＡｓｐｅｃ（０）とＡｓｐｅｃ（Ｋｐｅａｋ）の比率を算出することにより、発音非周期性を算出する（数１０）。
【００４３】
【数９】
2002278547.tif 000010
【００４４】
【数１０】
2002278547.tif 000011
【００４５】
（４）拍周期（ＴＴ）
拍周期ＴＴは、楽曲の拍の間隔、即ち当前記楽曲の４分音符の時間長であり、立ち上がり成分Ｄ（ｔ）の自己相関関数Ａ（ｍ）を用いて検出する。まずステップ２１１でＡ（ｍ）のピーク部分、即ち信号の立ち上がり成分の周期が最も強く表れている時間長ｐｋ（ｉ）を算出する。次にステップ２１２によりｐｋ（ｉ）より拍周期候補Ｔ１，Ｔ２を算出し、ステップ２１３で楽曲の周期構造を算出し、ステップ２１４において立ち上がり頻度ＡＲ、及び前記周期性構造を参照することにより、Ｔ１，Ｔ２のうち真の拍周期と考えられる方を楽曲の拍周期として出力する。拍周期の算出方法については、例えば文献（田川・三崎：“音楽信号からのテンポ検出法に関する一検討”，日本音響学会講演論文集，pp.529-530, 
2000）に詳細が記載されている。
【００４６】
（５）拍周期比率（ＢＲ）
拍周期と、優勢な発音周期との関係より、拍周期比率を求める。まずステップ２１５において、上記Ａｓｐｅｃ（Ｋｐｅａｋ）に対応する時間周期Ｔｋｐｅａｋを算出した後、（数１１）により拍周期ＴＴとＴｋｐｅａｋとの比率ＢＲを算出する。
【００４７】
【数１１】
2002278547.tif 000012
【００４８】
（６）拍強度１（ＢＩ１）
拍周期の概ね半分の周期で出現する、立ち上がり成分のパワーを算出する。まずステップ２１６において拍周期の半分に相当する周波数ｆ１をＴＴより算出する。そしてステップ２１７においてｆ１近傍で極大値をもつＡｓｐｅｃ（Ｋ）の値を参照し、その値をＢＩ１とする。
【００４９】
（７）拍強度２（ＢＩ２）
拍周期の概ね１／４の周期で出現する、立ち上がり成分のパワーを算出する。まずステップ２１８において拍周期の半分に相当する周波数ｆ２をＴＴより算出する。そしてステップ２１９においてｆ２近傍で極大値をもつＡｓｐｅｃ（Ｋ）の値を参照し、その値をＢＩ２とする。
【００５０】
（８）拍強度比（ＩＲ）
ステップ２２０において、拍強度１ＢＩ１と拍強度２ＢＩ２の比率ＩＲを（数１２）により算出する。
【００５１】
【数１２】
2002278547.tif 000013
【００５２】
以上の各特徴量は、楽曲の音響的特徴を表した数量であり、楽曲が聴取者に与える主観的な印象と関連が高いと考えられる。例えば、拍周期は楽曲のテンポ、即ち速さを表現する数量であり、一般的に速い楽曲は「忙しく」、遅い曲は「ゆったり」感じられるなどは、我々が日常音楽を聞く上で体験することである。そこで、これらの特徴量を主観的な印象と関連付けるための数量として用いる。
【００５３】
図１の特徴量抽出手段１３により求まった（表１）の特徴量は、印象値算出手段１４において、（数１３）により印象値、即ち楽曲の主観的な印象を表現する数量に変換される。
【００５４】
【数１３】
2002278547.tif 000014
【００５５】
（数１３）において、Ｉｉは印象因子ｉに対する印象値、Ｐｊは特徴量ｊの値、Ｗｉｊは特徴量ｊと印象因子ｉとの関係を表す重み係数、Ｎｐは特徴量の種類数である。本実施の形態では（表１）に示されているようにＮｐ＝７であり、Ｐｊはそれぞれ各特徴量に対応する。また、印象値Ｉｉは楽曲の主観的な印象を表す数量であり、特定の形容詞語で表現されるような印象の度合い（Ｅｊとする）を集約した数量として用いる。例えば、楽曲の印象を「激しさ（Ｅ１）」、「のりのよさ（Ｅ２）」、「爽やかさ（Ｅ３）」、「素朴さ（Ｅ４）」、「ソフトさ（Ｅ５）」の５つの観点の度合いで表現すると、ＩｉはＥｊから（数１４）で求める。
【００５６】
【数１４】
2002278547.tif 000015
【００５７】
（数１４）でＹｉｊはＥｊとＩｊとの関係を表す重み係数である。Ｙｉｊ及び印象因子数Ｎｉの導出は、サンプルとして選定した複数の楽曲に対するＥｊの値を予めＳＤ（semantic differencial）法等による官能評価実験で求めておき、その結果に対し、主成分分析等の因子分析を施すことにより求めておく。また、Ｗｉｊの導出は、上記官能評価及び因子分析によりＹｉｊを導出し各楽曲の印象値Ｉｉを（数１４）で求めた後、その対応する各楽曲について算出した特徴量Ｐｊとの関係を線形重回帰分析等の手法により算出する。なお、上記特徴量Ｐｊと印象値Ｉｉの導出は、線形重回帰分析にかえてニューラルネットワーク等の非線形なシステムにより導出しても良い。
【００５８】
楽曲データベース１１は、各楽曲の音響信号及びその付随情報より構成されるレコードの集合体である。本実施の形態における楽曲データベース１１のレコード構成例を図３に示す。レコードは、レコードを一意に参照するための曲ＩＤ、書誌情報入力手段１５により入力された曲名や歌手名などの楽曲に関する書誌情報、特徴量抽出手段１３により抽出された特徴量、特徴量から印象値変換手段により抽出された印象値、及び音響信号入力手段１２で入力された楽曲の音響信号より構成される。
【００５９】
検索要件入力手段１６は、利用者が検索を希望する楽曲に対する要件を入力する。入力される検索要件の例を図４に示す。検索要件はアーティスト名などの文字列や「激しさ」の度合いなどを表す数値、及び「陽気に踊りたい」など予め定めた条件の有無および検索方法などを入力する。各検索要件は、キーボードや各種スイッチ、スライダーやボリューム等の手段により利用者により入力される。
【００６０】
予測印象値算出手段１７は、検索要件入力手段１６で入力された検索要件のうち、主観的な印象に関する要件（主観的要件）から、検索対象として予想される楽曲の印象値ＰＩｊ（予測印象値）を算出する。予測印象値ＰＩｊは前記重み係数Ｙｉｊを用いて数１５より算出される。
【００６１】
【数１５】
2002278547.tif 000016
【００６２】
ＩＥｊは例えば「激しさ」の度合い等、主観的要件を構成する数値であり、ＩＥｊの種類は重み係数Ｙｉｊの導出過程で用いられた楽曲に対する印象の度合いの種類と対応する。
【００６３】
また、「陽気に踊りたい」など複数の主観的要因が絡む要件については、予めその要件を表現するＩＥｊの値をプリセットしておき、当前記要件が選択された場合はそのプリセット値から（数１５）より予測印象値ＰＩｊを算出する。例えば、主観的な度合いを最大１．０、最小−１．０の間の数量で表現した場合、「陽気に踊りたい」という要件は、「のりのよさ及び爽快さの度合いが大きい」と類推できるので、激しさＩＥ１＝０．５、のりのよさＩＥ２＝１．０、爽やかさＩＥ３＝１．０、素朴さＩＥ４＝０．０、ソフトさＩＥ５＝０．０などという値でプリセットしておき、このＩＥｊより対応する予測印象値ＰＩｊを算出することができる。
【００６４】
印象値検索手段１８は、楽曲データベース１１を参照し、書誌的要件と予測印象値ＰＩｊを検索キーとして、検索キーに類似するレコードを抽出する。書誌的要件に対しては、楽曲データベースに格納されている各レコードの書誌情報部分を参照し、入力された要件とのマッチングを計る（入力された文字列が含まれているかなど）ことにより、類似するレコードを抽出する。一方、予測印象値ＰＩｊに対しては、楽曲データベースに格納されている各レコードの印象値との類似性を数量化して検索する。印象値の類似性を模式的に説明した図を図５に示す。各レコードに記録されている各楽曲の印象値Ｉｉは印象因子数Ｎｉ個の数値組で構成されるベクトルとして空間上で表現することができ、この空間を印象空間と呼ぶことにする。図５は印象値の印象因子数Ｎｉ＝２の場合の例であり、各楽曲の印象値Ｉｉは４２のように２次元の印象空間上の点で表現される。同様に予測印象値ＰＩｊも印象空間上に布置することができ、ある主観的要件に対して例として４３の位置に布置されたとする。すると、予測印象値ＰＩｊと楽曲の印象値Ｉｉの類似性は印象空間上のユークリッド距離の大小として表現することができ、（数１６）により距離Ｌを算出し数量化できる。
【００６５】
【数１６】
2002278547.tif 000017
【００６６】
距離Ｌを検索対象の全ての楽曲に対して算出すると、Ｌが小さい楽曲ほど予測印象値と類似している、即ち希望する楽曲の主観的な印象と類似するとみなすことができるので、距離Ｌが小さい楽曲から順次候補曲とする。検索結果として出力する候補曲は、予め定めた個数の候補曲を検索結果として出力する。なお、４４のように予測印象値を中心とした類似性判別境界を設定し、境界内の楽曲を検索結果として出力しても良い。この場合は、類似性の判別範囲を予め定めておくことにより、類似度がある程度以上の楽曲は候補曲としないという限定を加えることができる。
【００６７】
また、書誌的要件による検索と主観的要件による検索はそれぞれ独立して行っても、組み合わせて行ってもよく、検索方法は利用者が検索要件入力手段で指定するものとする。
【００６８】
また、検索要件入力手段１６で入力された曲名等の書誌情報からまず前記当する楽曲を検索し、さらにその楽曲の印象値を予測印象値として楽曲を検索することにより、書誌情報に基づいて、主観的に類似する楽曲を検索することができる。例えば、利用者が曲名に「夜空ノムコウ」と入力し、この曲名をキーにまず楽曲データベース１１を検索する。そして前記当する楽曲が見つかった後、さらに「夜空ノムコウ」の印象値を予測印象値として楽曲データベース１１を検索することにより、当前記楽曲の主観的印象に基づいて検索を行い、それに類似した印象をもつ楽曲を検索することが可能となる。この例では、「「夜空ノムコウ」に類似する印象をもつ楽曲」が検索結果として出力される。
【００６９】
また、検索要件入力手段１６が、音響信号入力手段１２、特徴量抽出手段１３、及び印象値算出手段１４を備えると、入力された音響信号から特徴量を算出し、その特徴量を予測印象値として楽曲データベースを参照することにより、入力された楽曲の音響信号に類似した印象をもつ楽曲を検索することができる。
【００７０】
印象値検索手段１８によって抽出された候補曲は、選曲手段１９によってさらに絞り込むことができる。選曲手段１９では抽出された候補曲に関する付随情報（曲名、アーティスト名等）を楽曲データベースより抽出して利用者に提示し、再生する楽曲の選択を促す。選択に際しては楽曲再生手段１１０により楽曲の一部または全部を視聴しても良い。
【００７１】
また、主観的要件により検索がなされた場合は、印象値検索手段１８で算出した距離Ｌに基づき、利用者が指定した主観的要件と抽出された各候補曲との類似度を算出し、その類似度を利用者に提示しても良い。なお、検索結果の選択は、「第一候補曲を選択結果とする」など予め定めた方法により利用者の指示を介さず自動的に行われても良い。利用者に対する情報の提示はモニターやＬＣＤなどの表示手段により行われ、選択の入力はキーボードやスイッチなどの入力手段によりなされる。
【００７２】
選曲手段により選択された楽曲は、楽曲再生手段１１０により利用者が聴取可能な形で提示される。もちろん、楽曲を再生せず、曲名等の書誌情報を検索結果として利用者に提示しても良い。
【００７３】
（実施の形態２）
以下、本発明の実施の形態２について、図面を参照しながら説明する。図６は本発明の実施の形態２における楽曲登録装置の全体構成を示すブロック図である。図６において、６１は楽曲データベース、６２は音響信号入力手段、６３は特徴量抽出手段、６４は印象値算出手段、６５は書誌情報入力手段を表している。本装置は実施の形態１における、楽曲登録部１１１を独立して装置化したものである。従って、図６の各手段の動作は、実施の形態１記載の各手段と同様である。
【００７４】
本実施の形態の楽曲登録装置は、検索データとして楽曲データベースに登録する楽曲及びその付随情報を入力された音響信号より抽出し、楽曲データベース６１に格納する。本装置によりデータベース６１に格納されるデータは、音響信号、特徴量、印象値、書誌情報等であり、本データを楽曲データベースに格納することにより、実施の形態１記載の楽曲検索装置に必要なデータベースを個別に作成することができる。
【００７５】
なお、楽曲データベース６１はハードディスク等の記録媒体やＣＤＲＯＭ等のリムーバブル媒体の形態をとり、本装置により楽曲データを登録後、楽曲検索装置に組み込み検索に利用することができる。
【００７６】
また、楽曲データベース６１とその他の手段とはインターネット等のネットワークを介して接続されている場合があり、この場合は、本装置により登録データを作成後、ネットワークを介してデータベースに格納することにより、ネットワークに接続された１または複数の楽曲検索装置に対して、検索に必要なデータを供給することができる。
【００７７】
（実施の形態３）
本実施の形態は、上記実施の形態１及び実施の形態２をコンピュータプログラムとして実施した形態である。以下、本発明の実施の形態３について、図面を参照しながら説明する。図７は本発明の実施の形態３におけるプログラムの全体構成を示すブロック図である。図７において、７１は楽曲登録プログラム、７２は楽曲検索プログラム、７３は楽曲データベースであり、その他の手段の名称及び機能は実施の形態１に記載の各手段と同様である。
【００７８】
楽曲登録プログラム７１及び楽曲検索プログラム７２は、パーソナルコンピュータやマイクロコンピュータ等の各種コンピュータ用のプログラムとして記述され、コンピュータの記録領域（メモリ、ハードディスク、フロッピーディスク等）に格納されている。また楽曲データベース７３は実施の形態１や実施の形態２に記載のように、ハードディスクやＣＤＲＯＭ等のコンピュータの記録媒体に記録されているデータの集合体である。
【００７９】
楽曲登録プログラム７１は、検索データとして楽曲データベースに登録する楽曲及びその付随情報をコンピュータに入力された音響信号より抽出し、楽曲データベース７３に格納する。本プログラムにより楽曲データベース７３に格納されるデータは、音響信号、特徴量、印象値、書誌情報等であり、本データを楽曲データベース７３に格納することにより、楽曲検索プログラム７２に必要なデータベースを作成することができる。
【００８０】
一方、楽曲検索プログラム７２は、まず利用者の検索要件を入力し、その検索要件のうち主観的な印象に関する部分から、検索対象として予想される楽曲の印象値（予測印象値）を算出する。そして入力された検索要件と前記予測印象値を検索キーとして、楽曲データベース７３に登録されている各楽曲の付随情報部分を参照し、検索キーに類似する付随情報をもっている複数の楽曲を候補曲として出力する。その後、利用者の選択操作を記号化した選択パラメータや予め定めた選曲手順等により楽曲の選択を行い、最終的に選択された楽曲を検索結果として出力する。
【００８１】
以上のプログラムにより、利用者が入力した検索要件に応じて、所望の楽曲を提供することが可能となる。なお、楽曲登録プログラム７１及び楽曲検索プログラム７２はＣＤＲＯＭ９１（図９）等のリムーバブルメディアやコンピュータネットワーク等を介してコンピュータの記録領域に格納されても良い。また、楽曲登録プログラム７１と楽曲検索プログラム７２はそれぞれ別のコンピュータ上で動作し、両コンピュータで共有された記録領域に格納された楽曲データベース７３にアクセスしても良い。もちろん、楽曲データベース７３をフロッピーディスクやＣＤＲＯＭ等のリムーバブルメディアに記録し、楽曲登録プログラム７１でデータベース７３を作成後、別のコンピュータで動作する楽曲検索プログラム７２で利用しても良い。
【００８２】
【発明の効果】
本願の請求項１〜１２に記載の楽曲登録装置、楽曲登録方法によれば、楽曲の音響信号を入力し、前記音響信号から、予め定めた特徴量を抽出し、前記特徴量から、その楽曲の印象を数量化した印象値を算出することにより、楽曲データベースに、前記音響信号及び前記印象値を登録することが可能となる。
【００８３】
また、楽曲の音響信号に含まれる発音周期及び発音強度に関する数量を特徴量として算出することにより、楽曲の印象値を算出するのに必要な特徴量を楽曲の音響信号より算出することが可能となる。
【００８４】
楽曲の音響信号のスペクトル変化度合い、発音頻度、発音周期性の度合い、拍周期、拍周期比率、拍強度、拍強度比率などの数量を特徴量として算出することにより、楽曲の印象値を算出するのに必要な特徴量を楽曲の音響信号より算出することが可能となる。
【００８５】
楽曲の音響信号を複数の帯域に分割して各帯域の立ち上がり成分を検出し、前記各帯域の立ち上がり成分を用いて算出することにより、楽曲の印象値を算出するのに必要な特徴量を楽曲の音響信号より算出することが可能となる。
【００８６】
また本願の請求項１３，１４記載の発明は、楽曲の音響信号を入力し、前記音響信号から、予め定めた特徴量を抽出し、前記特徴量から、その楽曲の印象を数量化した印象値を算出するように機能させるプログラムを記録媒体に記録することにより、記録媒体に記録されたコンピュータプログラムにより、楽曲データベースに、前記音響信号及び前記印象値を登録することが可能となる。
【図面の簡単な説明】
【図１】
本発明の実施の形態１の楽曲検索装置の概略構成を表すブロック図
【図２】
本発明の実施の形態１の特徴量抽出の概略構成を表すブロック図
【図３】
本発明の実施の形態１の楽曲データベースを構成するレコードの例を表す図
【図４】
本発明の実施の形態１の入力要件の例を表す図
【図５】
印象空間の模式的説明を表す図
【図６】
本発明の実施の形態２の楽曲登録装置の概略構成を表すブロック図
【図７】
本発明の実施の形態３の楽曲検索プログラムの概略構成を表すブロック図
【図８】
従来の楽曲検索装置の概略構成を表すブロック図
【図９】
本発明の実施の形態３のＣＤＲＯＭを示す図
【符号の説明】
１１，６１，７３，８２  楽曲データベース
１２，６２  音響信号入力手段
１３，６３  特徴量抽出手段
１４，６４  印象値算出手段
１５，６５  書誌情報入力手段
１６  検索要件入力手段
１７  予測印象値算出手段
１８  印象値検索手段
１９  選曲手段
３１  楽曲レコード
３２  書誌情報
３３  特徴量
３４  印象値
７１  楽曲登録プログラム
７２  楽曲検索プログラム
８１  選曲条件入力手段
８３  書誌情報検索手段
８４  再生曲選択手段
８５，１１０  楽曲再生手段
９１  ＣＤＲＯＭ
１１１  楽曲登録部
１１２  楽曲検索部