(57)【要約】【課題】楽曲の音響信号から抽出した特徴量をもとに、利用者が楽曲の内容を視覚的・直感的に把握することを可能とする楽曲データ処理装置を提供する。【解決手段】楽曲の音響信号を入力する音響信号入力手段と、音響信号からあらかじめ定めた特徴量を抽出する特徴量抽出手段と、特徴量をもとに楽曲の特徴を表現する２次元または３次元キャラクタの形状及びまたはキャラクタの動作を選択するキャラクタ付与手段と、特徴量とキャラクタの形状及びまたはキャラクタの動作を関連付けて保管するキャラクタ保管手段とを有することを特徴とする。これにより、楽曲の音響信号に対し、あらかじめ定めた特徴量を抽出し、その特徴量を用いて、該当する楽曲を特徴づけるキャラクタを付与することにより、利用者がその楽曲の内容を視覚的に把握することが可能になる。【選択図】図６
2008210382.tif 000002
【特許請求の範囲】
【請求項１】
楽曲の音響信号を入力する音響信号入力手段と、該音響信号から、あらかじめ定めた特徴量を抽出する特徴量抽出手段と、該特徴量をもとに楽曲の特徴を表現する２次元または３次元キャラクタの形状及びまたは動作を選択するキャラクタ付与手段と、該特徴量と該キャラクタの形状及びまたは動作を関連付けて保管するキャラクタ保管手段とを備えることを特徴とする楽曲データ処理装置。
【請求項２】
楽曲の音響信号をある周期ごとに入力する音響信号入力手段と、該音響信号から、あらかじめ定めた特徴量を抽出する特徴量抽出手段と、該特徴量の変化に連動して２次元または３次元キャラクタの形状及びまたは動作を選択するキャラクタ付与手段と、該特徴量と該キャラクタの形状及びまたは該キャラクタの動作を関連付けて保管するキャラクタ保管手段とを備えることを特徴とする楽曲データ処理装置。
【請求項３】
前記特徴量抽出手段は、該楽曲登録時または該楽曲再生時に抽出することを特徴とする、請求項１または請求項２に記載の楽曲データ処理装置。
【請求項４】
前記特徴量抽出手段は、楽曲の再生と同時に並行して行う、あるいは楽曲の再生の前にあらかじめ抽出しておくことを特徴とする、請求項３に記載の楽曲データ処理装置。
【請求項５】
前記特徴量抽出手段は、楽曲の全体、楽曲の一部分及び、楽曲の複数の部分に対し、任意の組み合わせからなる領域から楽曲の音響信号の特徴量を抽出することを特徴とする、請求項１または請求項２に記載の楽曲データ処理装置。
【請求項６】
前記音響信号入力手段は、楽曲の圧縮された音響信号を入力することを特徴とする、請求項１または請求項２に記載の楽曲データ処理装置。
【請求項７】
楽曲と特徴量とキャラクタの形状及びまたはキャラクタの動作を関連付けて管理を行うデータ管理手段をさらに備えることを特徴とする、請求項１または請求項２に記載の楽曲データ処理装置。
【請求項８】
前記キャラクタ保管手段において、キャラクタの形状とキャラクタの動作のうち少なくともどちらか１つを特徴量と関連付けて保管することを特徴とする、請求項１または請求項２に記載の楽曲データ処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、利用者に対し、楽曲検索再生時、あるいは楽曲データ操作時に視覚的で直感的な楽曲内容の把握を可能にする楽曲データ処理装置に関する。
【背景技術】
【０００２】
ＭＤプレーヤや、ＤＶＤプレーヤ、あるいはハードディスクに大量の音楽が格納されているような楽曲データベースから、利用者が好みの楽曲を検索する場合、楽曲の曲名や歌手名などをキーワードとして検索したり、曲名や歌手名などのテキスト情報の一覧が表示されたリストの中から、利用者が自分の好みに合うと思う楽曲を選択する場合が多い。しかし、上記のように、曲名や歌手名などのテキスト情報からだけでは、その楽曲が、例えばテンポの速い曲であるか遅い曲であるかや、激しい曲か穏やかな曲かなどの楽曲自体の内容を知るのは困難である。曲名や歌手名以外により多くのテキスト情報を書誌情報として準備すれば、選択時の助けにはなるが、書誌情報を準備したり、登録するには、別途作業が必要になる。ＣＤＤＢなどの楽曲の書誌情報を蓄積したデータベースを利用するソフトウエアなどの場合では、書誌情報の自動挿入による操作性・利便性の改善が試みられているが、テキスト情報だけでは楽曲の内容を把握し理解するのに時間がかかり、楽曲の内容を直感的にイメージしにくい。
【０００３】
これに対し、その楽曲に対応付けて、楽曲自体の内容あるいは雰囲気を表現する静止画を表示できれば、テキスト情報に加えて静止画のイメージ情報をもとにより楽曲の内容を把握しやすくなるので、利用者にとって求める楽曲を分類したり検索したりするのが容易になる。しかし、現状では楽曲の内容に合った静止画を用意するのが煩雑であり、かつ内容を表現する複数の代表的な静止画を用意しても、それを楽曲に適切に対応させることが難しい。
【０００４】
また、現在では楽曲を再生する際、キャラクタなどを表示する技術がある。しかし、それらは楽曲内容に関係なくランダムに表示するものであったり、楽曲の曲名や歌詞など楽曲情報をキーワードとして表示するものだったりする。前者の方法では、楽曲の内容を把握することは不可能であり、後者の方法では、楽曲情報を登録する作業が別途必要となり時間もかかる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、楽曲の音響信号の内容に基づいて、その楽曲に適合する静止画を付与する手段を提案することにより、多くの楽曲データの中から利用者の希望する楽曲を容易に検索あるいは選択することを可能にする手段を提供することを目的としてなされたものである。また、楽曲の音響信号の内容に基づいて、その楽曲に適合するキャラクタを動作させる手段を提案することにより、楽曲再生時に、利用者が楽曲内容を聴覚だけではなく視覚的に把握することを可能にする手段を提供することを目的としてなされたものである。
【課題を解決するための手段】
【０００６】
請求項１記載の楽曲データ処理装置は、楽曲の音響信号を入力する音響信号入力手段と、音響信号からあらかじめ定めた特徴量を抽出する特徴量抽出手段と、特徴量をもとに楽曲の特徴を表現する２次元または３次元キャラクタの形状及びまたはキャラクタの動作を選択するキャラクタ付与手段と、特徴量とキャラクタの形状及びまたはキャラクタの動作を関連付けて保管するキャラクタ保管手段とを備えることを特徴とする。
【０００７】
請求項２記載の楽曲データ処理装置は、楽曲の音響信号を、ある周期ごとに入力する音響信号入力手段と、音響信号からあらかじめ定めた特徴量を抽出する特徴量抽出手段と、特徴量の変化に連動して２次元または３次元キャラクタの形状及びまたは動作を選択するキャラクタ付与手段と、特徴量とキャラクタの形状及びまたはキャラクタの動作を関連付けて保管するキャラクタ保管手段とを備えることを特徴とする。
【０００８】
請求項３記載の発明は、請求項１または請求項２記載の楽曲データ処理装置において、特徴量抽出が、楽曲登録時または楽曲再生時に抽出することを特徴とする。
【０００９】
請求項４記載の発明は、請求項３記載の楽曲データ処理装置において、楽曲再生時に抽出することを特徴とする特徴量抽出が、楽曲の再生と同時に並行して行う、あるいは楽曲の再生の前にあらかじめ抽出しておくことを特徴とする。
【００１０】
請求項５記載の発明は、請求項１または請求項２に記載の楽曲データ処理装置において、特徴量抽出手段が、楽曲の全体、楽曲の一部分及び、楽曲の複数の部分に対し、任意の組み合わせからなる領域から楽曲の音響信号の特徴量を抽出することを特徴とする。
【００１１】
請求項６記載の発明は、請求項１または請求項２に記載の楽曲データ処理装置において、音響信号入力手段が、楽曲の圧縮された音響信号を入力することを特徴とする。
【００１２】
請求項７記載の発明は、請求項１または請求項２に記載の楽曲データ処理装置において、楽曲と特徴量とキャラクタの形状及びまたはキャラクタの動作を関連付けて管理を行うデータ管理手段をさらに備えることを特徴とする。
【００１３】
請求項８記載の発明は、請求項１または請求項２に記載の楽曲データ処理装置において、キャラクタ保管手段において、キャラクタの形状とキャラクタの動作のうち少なくともどちらか１つを特徴量と関連付けて保管することを特徴とする。
【発明の効果】
【００１４】
請求項１に記載の発明により、楽曲の音響信号に対し、あらかじめ定めた特徴量を抽出し、その特徴量を用いて、該当する楽曲を特徴づけるキャラクタを付与することにより、利用者がその楽曲の内容を視覚的に把握することが可能になる。
【００１５】
請求項２に記載の発明により、楽曲の音響信号に対し、あらかじめ定めた特徴量を何度か抽出し、その特徴量の変化を用いて、該当する楽曲を特徴づけるキャラクタの形状及びまたはキャラクタの動作を変化させることにより、利用者がその楽曲の内容を視覚的に把握することが可能となる。
【００１６】
請求項３に記載の発明により、特徴量を抽出するタイミングを、楽曲登録時と楽曲再生時とで選択することが可能となる。
【００１７】
請求項４に記載の発明により、特徴量抽出の精度を上げるために一定の時間を要する場合も、あらかじめ抽出した特徴量を初期値として用いることにより、高い精度での特徴量の利用が可能になる。
【００１８】
請求項５に記載の発明により、特徴量抽出の領域を選択可能にすることにより、利用者は楽曲のイントロ部分や、エンディング部分あるいは、好みのフレーズの部分に近い特徴を持つ楽曲を、キャラクタの形状及び動作から容易に知ることが可能となる。
【００１９】
請求項６に記載の発明により、音楽ＣＤなどで利用されているリニアＰＣＭ方式のディジタルオーディオだけでなく、ＡＡＣ、ＭＰ３、ＷＭＡその他の圧縮されたオーディオデータに対しても、楽曲の音響信号から抽出される特徴量に応じてキャラクタを対応付けることが可能となる。
【００２０】
請求項７に記載の発明により、楽曲の音響信号、特徴量、キャラクタの形状及びまたは動作などのデータが保存・管理されることが可能となる。
【００２１】
請求項８に記載の発明により、キャラクタの形状と動作のうちどちらか１つを固定することが可能になる。
【００２２】
楽曲の一覧表示時に、映像データの一覧をサムネイル表示するように、楽曲に対してもその特徴量をもとに付与したサムネイル用静止画を対応させ表示することによって、利用者が楽曲や楽曲群の内容を視覚的・直感的に把握することが可能になる。
【発明を実施するための最良の形態】
【００２３】
（実施の形態１）
以下、本発明の実施の形態１について、図面を参照しながら説明する。図１は本発明の実施の形態１における楽曲検索装置の全体構成を示すブロック図である。図１において、１１は音響信号入力手段、１２は特徴量抽出手段、１３はサムネイル付与手段、１４はデータ管理手段、１５はブラウズ手段、１６はブラウズ要件入力手段、１７は書誌情報入力手段を表している。
【００２４】
以上のように構成された楽曲検索装置について、以下、その動作について図１を用いて説明する。本装置は大きく分けて、対象となる楽曲の音響信号及びその付随するデータを登録する楽曲データ登録部１１１と、登録された楽曲データを管理するデータ管理手段１４、及び管理されたデータの中から利用者の所望する楽曲をブラウズする楽曲ブラウズ部１１２より構成される。
【００２５】
まず、楽曲データ登録部１１１について概説する。データ管理手段１４は、楽曲ごとにその音響信号及び以下に記述する付随情報を関連させて記録し、検索参照可能とするものである。最初に、音響信号入力手段１１は登録対象として入力された楽曲の音響信号をデータ管理手段１４に登録すると共に、付随情報生成のため後段の特徴量抽出手段１２に出力する。音響信号入力手段１１は、入力される音響信号がアナログ信号の場合は、デジタル化した後、後段に出力する。また、圧縮された音響信号の場合は、圧縮データをデータ管理手段１４に登録し、圧縮データを伸張した後、伸張データを特徴量抽出手段１２に出力する。
【００２６】
次に、特徴量抽出手段１２は、入力された音響信号から、その音響信号の物理的特徴を表すいくつかの特徴量を抽出し、付随情報としてデータ管理手段１４に登録し、後段のサムネイル付与手段１３に特徴量を出力する。サムネイル付与手段１３は、入力された特徴量からサムネイル用静止画を生成し、付随情報としてデータ管理手段１４に登録する。上記手続きと関連して、書誌情報入力手段１７は、入力した楽曲名や歌手名及びジャンル名などの書誌情報を、付随情報としてデータ管理手段１４に登録する。
【００２７】
利用者は、ブラウズ要件入力手段１６より、歌手名やジャンル名などをキーワードとして入力し、データ管理手段１４は、前記キーワードをもとに管理しているデータを検索し、該当する楽曲候補を抽出し、結果をブラウズ手段１５に出力する。ブラウズ手段１５は、データ管理手段１４より入手した結果に対し、該当楽曲に関連付けられたサムネイル用静止画を楽曲名などの書誌情報と共に一覧表示する。一覧表示されたリストの中から、利用者が、サムネイル用静止画や書誌情報から得られる情報をもとに、ブラウズ要件入力手段１６を通じて所望する楽曲を選択する。ブラウズ要件入力手段１６は、選択された楽曲の音響信号をデータ管理手段１４からブラウズ手段１５に出力させ、ブラウズ手段１５は前記楽曲を再生する。
【００２８】
特徴量抽出手段１２で抽出される特徴量として、スペクトル変化度Ｐ１（フレーム間のスペクトル変化の度合い）、平均発音数Ｐ２（楽曲中で発音される音の発音頻度）、発音非周期性Ｐ３（楽曲中で発音される音の非周期性の度合い）、拍周期Ｐ４（楽曲の４分音符に相当する時間長）、が挙げられるが、上記４種類の特徴量の他に、拍周期比率Ｐ５、拍強度Ｐ６、拍強度比Ｐ７などのパラメータについても特徴量として利用してもよい。これらの特徴量の算出方法の詳細は、特願２００１−０８２１５０に記載されている。なお、対象となる楽曲から特徴量を抽出するにあたり、特徴量の抽出範囲は、楽曲の全体、楽曲の一部分及び、
楽曲の複数の部分に対し、任意の組み合わせからなる領域から抽出してよい。
【００２９】
次に、サムネイル付与手段の動作について説明する。サムネイル付与手段は前段で抽出された特徴量Ｐ１からＰＮのＮ個の値を入力し、この値をもとに、サムネイル用静止画を生成する。サムネイル用静止画生成の実施例として、２次元あるいは３次元形状静止画の生成、及び色彩静止画の生成を説明する。
【００３０】
２次元あるいは３次元形状静止画の生成については、Ｎ個の特徴量の中からＭ個の特徴量をあらかじめ選定しておき、Ｍ個の値をもつグラフを生成する。グラフは円グラフや棒グラフとして表示した静止画でもよいし、Ｍ次元の値を２次元あるいは３次元の形状に表現した静止画として生成したものでもよい。
【００３１】
色彩静止画の生成については、Ｎ個の特徴量の中からＭ個の特徴量をあらかじめ選定しておき、Ｍ個の値を用いて色空間に変換する。（数１）はあらかじめ定めた前記３つの特徴量をもとに３原色を用いて色空間の値に変換する例である。
【００３２】
【数１】
2008210382.tif 000003
【００３３】
また、前記拍周期Ｐ４は楽曲の４分音符の時間長を表し、楽曲のテンポを表現する数値であるので、（数２）により、前記拍周期Ｐ４を用いてテンポの速い楽曲はより赤い色に、テンポの遅い楽曲はより青い色に静止画を表示するようにしてもよい。
【００３４】
【数２】
2008210382.tif 000004
【００３５】
以上の動作により、サムネイル付与手段１３は、楽曲に対するサムネイル用静止画を生成し、データ管理手段１４はこれを楽曲と関連付けて管理する。さらに書誌情報入力手段１７から、楽曲名、歌手名、ジャンル名などの書誌情報を入力し、データ管理手段１４はこれらを楽曲と関連させて管理する。楽曲の音響信号、書誌情報、特徴量、サムネイル用静止画などのデータはそれぞれ関連付けられレコードの形でデータ管理手段１４にて管理される。図３にデータ管理手段１４が管理するレコード形式の一例を示す。３２は特徴量の内容を示し、３１は楽曲の音響信号の前に書誌情報と特徴量が付随情報１として並べられたレコードを示す。３３は付随情報２であり、サムネイル用静止画データを含む。３３の付随情報２と３１の音響信号は、各楽曲にユニークに与えられた曲IＤをもとに相互に関連付けられている。
【００３６】
次に利用者が、ブラウズ要件入力手段１６より、例えばジャンル名を検索のキーワードとして入力すると、ブラウズ要件入力手段１６は、データ管理手段１４に対し前記キーワードをもとに楽曲データの検索を指示し、データ管理手段１４は検索結果である指定したジャンルに相当する楽曲の一覧を、各楽曲に関連付けられた書誌情報やサムネイル用静止画及び３１で示す曲ＩＤ共にブラウズ手段１５に出力し、ブラウズ手段１５は、楽曲に関連付けられた書誌情報やサムネイル用静止画を表示する。利用者はブラウズ手段１５にて表示された、書誌情報やサムネイル用静止画の一覧の中から所望の楽曲を、ブラウズ要件入力手段１６にて選択し、ブラウズ要件入力手段１６は選択された楽曲の曲ＩＤをもとにデータ管理手段１４に検索を指示する。データ管理手段１４は、曲ＩＤに対応する楽曲の音響信号データをブラウズ手段１５に出力し、ブラウズ手段１５が楽曲の再生を行う。
【００３７】
以上では、上記の動作を実現する装置として本発明の実施の形態１を述べたが、前記各手段をコンピュータ上で上記動作を実現するプログラムとして全体を構成してもよい。また、前記プログラムは楽曲データ登録部１１１及びデータ管理手段を実現するプログラムはサーバ上で実行され、楽曲ブラウズ部１１２はインターネットを経由して、端末側のコンピュータで実行されるプログラムとしてもよい。あるいは、サーバ上では、データ管理手段を実現するプログラムが実行され、楽曲データ登録部１１１及び楽曲ブラウズ部１１２を実現するプログラムはインターネットを経由して、それぞれ同じコンピュータあるいは異なるコンピュータ上で実行される形態としてもよい。
【００３８】
（実施の形態２）
以下、本発明の実施の形態２について、図面を参照しながら説明する。図２は本発明の実施の形態２における楽曲検索装置の全体構成を示すブロック図である。図２において、１１は音響信号入力手段、１２は特徴量抽出手段、２３はサムネイル付与手段、２４はデータ管理手段、２５はブラウズ手段、２６はブラウズ要件入力手段、２７は静止画入力手段を表している。
【００３９】
以上のように構成された楽曲検索装置について、以下、その動作について図２を用いて説明する。本装置は大きく分けて、対象となる楽曲の音響信号及びその付随するデータを登録する楽曲データ登録部２１１と、登録された楽曲データを管理するデータ管理手段２４、及び管理されたデータの中から、利用者の所望する楽曲をブラウズする楽曲ブラウズ部２１２より構成される。本装置は実施の形態１における各ブロックで示される各手段を利用し、一部を新しい機能に置き換えたものである。以下にその内容を説明する。
【００４０】
音響信号入力手段１１及び特徴量入力手段１２は、実施の形態１の音響信号入力手段１１及び特徴量入力手段１２と同じ動作をし、サムネイル付与手段２３に対し、楽曲から抽出した特徴量を出力する。このとき同時に静止画入力手段２７からサムネイル用静止画が入力されている場合は、サムネイル付与手段２３は前記サムネイル用静止画と前記特徴量をデータ管理手段２４に出力し、データ管理手段２４はこれらを楽曲の音響信号データと共に関連付けて管理する。
【００４１】
静止画入力手段２７からサムネイル用静止画が入力されていない場合は、サムネイル付与手段２３は入力された楽曲から抽出された上記の特徴量Ｐをキーとして、データ管理手段２４にて管理されている付随情報の中の特徴量ＰＸを検索し、（数３）にて各特徴量間のユークリッド距離を算出しその逆数Ｌを、類似度を表す値として求める。
【００４２】
【数３】
2008210382.tif 000005
【００４３】
サムネイル付与手段２３は、算出された類似度の中で最も大きい値Ｌｍを持つ特徴量ＰＸｍを求め、ＰＸｍに関連付けて管理されているサムネイル用静止画データを抽出する。その後、楽曲に関連させてサムネイル用静止画、特徴量Ｐ及び類似度Ｌｍを、データ管理手段２４に出力し、データ管理手段２４はこれらを関連付けて管理する。図３の３４は、サムネイル用静止画データと類似度データを持つレコードである付随情報３の例を示す。
【００４４】
利用者は、ブラウズ要件入力手段２６により、楽曲データの一覧表示を指定し、データ管理手段２４はブラウズ要件入力手段２６からの指示で、検索結果である曲ＩＤ、サムネイル用静止画データ、特徴量及び類似度の一覧をブラウズ手段２５に出力する。ブラウズ手段２５はサムネイル用静止画の一覧を表示する。
【００４５】
また、ブラウズ手段２５は、サムネイル用静止画を表示するときに、サムネイル用静止画に関連付けられた類似度データをもとにサムネイル用静止画の表示の明るさを調節したり、色合いを調整することによって、同じサムネイル用静止画を割り当てられた楽曲間の類似の程度を表現してもよい。また、類似度を各楽曲に対応された特徴量のうち全ての特徴量からユークリッド距離を用いて算出したが、任意の特徴量の組み合わせからなる値の間でのユークリッド距離として算出してもよいし、距離ではなく、単純な値の差や、特定の特徴量を強調するような係数を用いて算出した値を類似度として用いてもよい。さらに、発明の実施の形態１にあった書誌情報入力手段を、実施の形態２に追加し、書誌情報の入力を可能にし、ブラウズ手段２５は、サムネイル用静止画と共に、楽曲の曲名などの書誌情報を表示するようにしてもよい。図４はブラウズ手段２５によって提示された一覧表示の例を示す。４１はブラウズ画面であり、４２はサムネイル用静止画の例である。また、実施の形態１と同様に、コンピュータ上で実施の形態２の動作を実現するプログラムとして全体を構成してもよいし、前記プログラムはサーバ上で実行される部分と、インターネットを経由して、1つのあるいは複数のコンピュータ上で実行される部分をもった形態としてもよい。
【００４６】
（実施の形態３）
以下、本発明の実施の形態３について、図面を参照しながら説明する。図５は本発明の実施の形態３における楽曲データ処理装置の全体構成を示すブロック図である。図５において、５１は音響信号入力手段、５２は特徴量抽出手段、５３はキャラクタ付与手段、５４はデータ管理手段、５５は表示動作手段、５６はキャラクタ保管手段を表している。
【００４７】
以上のように構成された楽曲データ処理装置について、以下、その動作について図５を用いて説明する。本装置は大きく分けて、対象となる楽曲の音響信号及びその付随するデータを登録する楽曲データ登録部５１１と、登録された楽曲データを管理するデータ管理手段５４、及び管理されたデータの中から楽曲の特徴に対応するキャラクタを表示、動作させる表示動作手段５５より構成される。まず、楽曲データ登録部５１１について概説する。データ管理手段５４は、楽曲ごとにその音響信号及び以下に記述する付随情報を関連させて記録し、検索参照可能とするものである。
【００４８】
最初に、音響信号入力手段５１は登録対象として入力された楽曲の音響信号をデータ管理手段５４に登録すると共に、付随情報生成のため後段の特徴量抽出手段５２に出力する。音響信号入力手段５１は、入力される音響信号がアナログ信号の場合は、デジタル化した後、後段に出力する。また、圧縮された音響信号の場合は、圧縮データをデータ管理手段５４に登録し、圧縮データを伸張した後、伸張データを特徴量抽出手段５２に出力する。
【００４９】
次に、特徴量抽出手段５２は、入力された音響信号から、その音響信号の物理的特徴を表すいくつかの特徴量を抽出し、付随情報としてデータ管理手段５４に登録し、後段のキャラクタ付与手段５６に特徴量を出力する。なお、特徴量として、実施の形態１と同様に、スペクトル変化度Ｐ１、平均発音数Ｐ２、発音非周期性Ｐ３、拍周期Ｐ４が挙げられるが、上記４種類の特徴量の他に、拍周期比率Ｐ５、拍強度Ｐ６、拍強度比Ｐ７などのパラメータについても特徴量として利用してもよい。また、対象となる楽曲から特徴量を抽出するにあたり、特徴量の抽出範囲は、楽曲の全体、楽曲の一部分及び、楽曲の複数の部分に対し、任意の組
み合わせからなる領域から抽出してよい。
【００５０】
次に、キャラクタ付与手段５３について説明する。キャラクタ付与手段５３は前段で抽出された特徴量Ｐ１からＰＮのＮ個の値を入力し、この特徴量との距離が最も近い特徴量に対応付けられた２次元あるいは３次元キャラクタの形状及び動作を後段のキャラクタ保管手段より選択し、付随情報としてデータ管理手段５４に登録する。以下に、キャラクタ選択の実施例を説明する。
【００５１】
キャラクタ保管手段５６は、あらかじめ楽曲の特徴量と、キャラクタの形状及びキャラクタの動作を対応させておく。特徴量の特定の、あるいは任意の組み合わせのパラメータごとに対応させてもよいし、Ｐ１からＰＮのＮ個の値の統計と対応させてもよい。前段キャラクタ付与手段５３に特徴量が入力されると、キャラクタ付与手段５３は、キャラクタ保管手段５６から前記方法により楽曲の特徴量との距離が最も近い特徴量に対応付けられたキャラクタの形状及びキャラクタの動作を選択する。さらに、キャラクタの動作のテンポについては、動作の周期を指定する時間のパラメータとして前記拍周期Ｐ４を用いると、前記拍周期Ｐ４が楽曲の４部音符の時間長を表すので、キャラクタは対応する楽曲のテンポに合わせた動きで動作する。この他にも、他の特徴量をキャラクタの動作パラメータとして利用することにより、楽曲の内容をより多くの動きによって表現してもよい。前段キャラクタ付与手段５３は、上記手段によりキャラクタの形状、動作、及び動作の周期を指定し、データ管理手段に登録する。
【００５２】
また、楽曲の特徴量と、キャラクタの形状または動作を対応させる際、特願２００１−０８２１５０にも記載されているように、ＳＤ（ｓｅｍａｎｔｉｃ  ｄｉｆｆｅｒｅｎｃｉａｌ）法等による官能評価実験などにより、楽曲に対する利用者の主観的な印象を元にしてキャラクタの形状や動作を決定すると、より楽曲の内容に合ったものになる。
【００５３】
以上の動作により、キャラクタ付与手段５３は、楽曲に対するキャラクタを選択し、データ管理手段５４はこれを楽曲と関連付けて管理する。楽曲の音響信号、特徴量、キャラクタの形状、キャラクタの動作などのデータはそれぞれ関連付けられレコードの形でデータ管理手段５４によって管理される。図７にデータ管理手段５４が管理するレコード形式の一例を示す。７２は特徴量の内容を示し、７３はキャラクタの情報を示す。７１は楽曲の音響信号の前に特徴量とキャラクタ情報が付随情報として並べられたレコードを示す。７４はキャラクタ保管例であり、ｘは特徴量の値である。なお、７４の他にも、あらかじめいくつかの楽曲レコードをキャラクタ保管手段に登録しておくなどしてもよい。７５はキャラクタの形状情報一覧であり、７６はキャラクタの動作情報一覧である。
【００５４】
楽曲再生時、データ管理手段５４は、管理しているデータより該当する楽曲情報を抽出し、結果を表示動作手段５５に出力する。表示動作手段５５は、データ管理手段５４より入手した結果に対し、該当楽曲に関連付けられたキャラクタを動作させる。また、上記の実施例では、一度登録した楽曲のデータはデータ管理手段５４によって保存され、楽曲再生時に前記データを読み出すが、データ管理手段を用いず楽曲再生ごとに特徴量を抽出し、キャラクタと関係付けて表示動作させてもよい。また、楽曲再生ごとに特徴量を抽出する際、あらかじめ抽出した特徴量を初期値として用いることによって、特徴量の精度を高めてもよい。また
、実施の形態１と同様に、コンピュータ上で実施の形態３の動作を実現するプログラムとして全体を構成してもよいし、前記プログラムはサーバ上で実行される部分と、インターネットを経由して、１つのあるいは複数のコンピュータ上で実行される部分を持った形態としてもよい。
【００５５】
（実施の形態４）
以下、本発明の実施の形態４について、図面を参照しながら説明する。図６は本発明の実施の形態４における楽曲データ処理装置の全体構成を示すブロック図である。図６において、６１は音響信号入力手段、６２は特徴量抽出手段、６３はキャラクタ付与手段、６４はデータ管理手段、６５は表示動作手段、６６はキャラクタ保管手段を表している。
【００５６】
以上のように構成された楽曲データ処理装置について、以下、その動作について図６を用いて説明する。本装置は大きく分けて、対象となる楽曲の音響信号及びその付随するデータを登録する楽曲データ登録部６１１と、登録された楽曲データを管理するデータ管理手段６４、及び管理されたデータの中から楽曲の特徴に対応するキャラクタを表示、動作させる表示動作手段６５より構成される。本装置は実施の形態３における各ブロックで示される各手段を利用し、一部を新しい機能に置き換えたものである。以下にその内容を説明する。
【００５７】
音響信号入力手段６１は、特徴量抽出手段６２とデータ管理手段６４に対し、楽曲の音響信号を、一定時間デルタＴごとの時間Ｔ（Ｔ１、Ｔ２、…Ｔｎ、…）に出力する。特徴量抽出手段６２は、入力された、時間Ｔｎにおける音響信号の物理的特徴を表すいくつかの特徴量を抽出し、付随情報としてデータ管理手段６４に登録し、後段のキャラクタ付与手段６３に特徴量を出力する。キャラクタ付与手段６３は、一定時間Ｔごとに抽出された特徴量との距離が最も近い特徴量に対応付けられた２次元あるいは３次元キャラクタの形状及びまたは動作をそれぞれ後段のキャラクタ保管手段より選択し、時間Ｔｎと共に付随情報としてデータ管理手段６４に登録する。楽曲再生時、データ管理手段６４は、管理しているデータより該当する楽曲情報を抽出し、結果を表示動作手段６５に出力する。表示動作手段６５は、データ管理手段６４より入手した結果に対し、該当楽曲に関連付けられたキャラクタを動作させる。
【００５８】
以上の動作により、キャラクタ付与手段６３は、楽曲に対するキャラクタを選択し、データ管理手段６４はこれを楽曲と関連付けて管理する。楽曲の音響信号、特徴量、キャラクタの形状、一定時間Ｔごとにおけるキャラクタの動作などのデータはそれぞれ関連付けられレコードの形でデータ管理手段６４によって管理される。上記の実施例では、一度登録した楽曲のデータはデータ管理手段６４によって保存され楽曲再生時に前記データを読み出すが、データ管理手段を用いず楽曲再生ごとに特徴量を抽出し、キャラクタと関係付けて表示動作させてもよい。また、上記の実施例では、一定時間Ｔごとに、キャラクタの形状及び動作の変更の有無に関わらず、それらのデータをデータ管理手段６４に登録するが、時間Ｔｎにおいて、直前の時間Ｔｎ−１におけるキャラクタの形状及び動作に変更があった場合、変更したデータのみをデータ管理手段６４に登録してもよい。また、時間周期デルタＴを短くすることによって、より楽曲の内容に合ったものになる。また、実施の形態１と同様に、コンピュータ上で実施の形態４の動作を実現するプログラムとして全体を構成してもよいし、前記プログラムはサーバ上で実行される部分と、インターネットを経由して、１つのあるいは複数のコンピュータ上で実行される部分を持った形態としてもよい。
【産業上の利用可能性】
【００５９】
本発明にかかる楽曲データ処理装置は、２次元や３次元のキャラクタを楽曲の特徴に合わせて自動的に動作させ、楽曲の再生と連動して表示することが可能になる。その結果、好みの楽曲の内容を聴覚だけでなく視覚的にも鑑賞できるようになるため、家庭や劇場あるいは車内等の移動空間でのエンターテイメント端末などに適用できる。
【図面の簡単な説明】
【００６０】
【図１】本発明の実施の形態１による楽曲検索装置の概略構成を表すブロック図
【図２】本発明の実施の形態２による楽曲検索装置の概略構成を表すブロック図
【図３】本発明の実施の形態１及び２によるデータ管理手段が管理するレコードの例を示す図
【図４】本発明の実施の形態２によるブラウズ手段が提示する画面例を示す図
【図５】本発明の実施の形態３による楽曲データ処理装置の概略構成を表すブロック図
【図６】本発明の実施の形態４による楽曲データ処理装置の概略構成を表すブロック図
【図７】本発明の実施の形態３及び４によるデータ管理手段が管理するレコードの例、及びキャラクタ情報保管の例を示す図
【符号の説明】
【００６１】
１１，５１，６１    音響信号入力手段
１２，５２，６２    特徴量抽出手段
１３，２３    サムネイル付与手段
１４，２４，５４，６４    データ管理手段
１５，２５    ブラウズ手段
１６，２６    ブラウズ要件入力手段
１７    書誌入力手段
２７    静止画入力手段
１１１，２１１，５１１，６１１    楽曲データ登録部
１１２，２１２    楽曲データブラウズ部
３１    付随情報１
３２    特徴量
３３    付随情報２
３４    付随情報３
４１    ブラウズ画面
４２    サムネイル用静止画
５３，６３    キャラクタ付与手段
５５，６５    表示動作手段
５６，６６    キャラクタ保管手段
７１    楽曲レコード
７２    特徴量
７３    キャラクタ情報
７４    キャラクタ情報保管例
７５    キャラクタの形状情報
７６    キャラクタの動作情報
【図１】
2008210382.tif 000006
【図２】
2008210382.tif 000007
【図３】
2008210382.tif 000008
【図４】
2008210382.tif 000009
【図５】
2008210382.tif 000010
【図６】
2008210382.tif 000011
【図７】
2008210382.tif 000012