(57)【要約】【課題】  音楽のリズムから音楽を検索する音楽検索装置を実現する。【解決手段】  時系列信号入力部２０５は、オン状態とオフ状態とを交互に繰り返す時系列信号を入力する。類似リズム検索部２０６は、時系列信号入力部２０５に入力された時系列信号と同一又は類似した変動パターンを有するリズムデータを、データ蓄積部２０３に蓄積されている複数のリズムデータの中から検索する。音楽付随情報蓄積部２０４は、リズムデータに対応する音楽に付随する音楽付随情報をリズムデータに対応付けて蓄積する。検索結果生成部２０７は、検索されたリズムデータに対応して記憶されている前記音楽付随情報（曲名などの情報）をもちいて検索結果を生成し、検索結果出力部２０８を介して出力する。【選択図】      図２
2006106818.tif 000002
【特許請求の範囲】
【請求項１】
オン状態とオフ状態とを交互に繰り返す時系列信号を入力する入力手段と、
複数のリズムデータを前記リズムデータに対応する音楽に付随する音楽付随情報に対応付けて蓄積するデータ蓄積手段と、
前記入力手段に入力された前記時系列信号と同一又は類似した変動パターンを有するリズムデータを、前記データ蓄積手段に蓄積されている前記複数のリズムデータの中から検索する検索手段と、
この検索手段により検索されたリズムデータに対応して記憶されている前記音楽付随情報を前記データ蓄積手段から読み出し、この読み出した音楽付随情報を前記検索による検索結果として出力する検索結果出力手段とを備えたことを特徴とする音楽検索装置。
【請求項２】
請求項１に記載の音楽検索装置と通信回線を介して通信する通信部と、
携帯端末の操作部を操作することにより入力された時系列信号を、前記通信部を介して前記入力手段へ入力する手段と、
この入力した時系列信号を検索した検索結果を、前記通信部を介して前記検索結果出力手段から受信する手段と、
この受信した検索結果を表示する表示手段とを備えたことを特徴とする音楽検索装置。
【請求項３】
オン状態とオフ状態とを交互に繰り返す時系列信号を入力する入力手段と、
複数のリズムデータを前記リズムデータに対応する音楽に付された音楽ＩＤと共に蓄積するリズムデータ蓄積手段と、
前記音楽ＩＤと対応付けて前記音楽に付随する情報を蓄積する音楽付随情報蓄積手段と、
前記入力手段に入力された前記時系列信号と同一又は類似した変動パターンを有するリズムデータを、前記リズムデータ蓄積手段に蓄積されている前記複数のリズムデータの中から検索する検索手段と、
この検索手段により検索されたリズムデータに対応する前記音楽ＩＤを用いて前記音楽付随情報蓄積手段から前記音楽に付随した情報を読み出し、この読み出した情報を前記検索による検索結果として出力する検索結果出力手段とを備えたことを特徴とする音楽検索装置。
【請求項４】
請求項３に記載の音楽検索装置と通信回線を介して通信する通信部と、
携帯端末の操作部を操作することにより入力された時系列信号を、前記通信部を介して前記入力手段へ入力する手段と、
この入力した時系列信号を検索した検索結果を、前記通信部を介して前記検索結果出力手段から受信する手段と、
この受信した検索結果を表示する表示手段とを備えたことを特徴とする音楽検索装置。
【請求項５】
音楽データを前記音楽ＩＤに対応付けて蓄積する音楽データ蓄積手段と、
この音楽データ蓄積手段からの音楽データに基づいて、音楽毎に一つ以上のリズムデータを生成するリズムデータ生成手段と、
この生成されたリズムデータを前記リズムデータ蓄積手段に蓄積させる手段とを備えたことを特徴とする請求項３または4記載の音楽検索装置。
【請求項６】
前記音楽データは複数の旋律から構成されており、
前記リズムデータ生成手段は、前記複数の旋律について各々リズムデータを生成することを特徴とする請求項５記載の音楽検索装置。
【請求項７】
オン状態とオフ状態とを交互に繰り返す時系列信号を入力する入力手段と、
複数のリズムデータを前記リズムデータに対応する音楽に付随する音楽付随情報に対応付けて蓄積するデータ蓄積手段と、
前記入力手段に入力された前記時系列信号と同一又は類似した変動パターンを有するリズムデータを、前記データ蓄積手段に蓄積されている前記複数のリズムデータの中から検索する検索手段と、
この検索手段により検索されたリズムデータに対応して記憶されている前記音楽付随情報を前記データ蓄積手段から読み出し、この読み出した音楽付随情報を前記検索による検索結果として出力する検索結果出力手段と、
この検索手段による検索の結果、所定の類似度以上のリズムデータが検索されたか否かを判断する判断手段と、
この判断手段による判断の結果、
前記所定の類似度以上のリズムデータが検索されたときには本装置内の検索手段による検索結果を表示するよう前記表示手段を制御し、
前記所定の類似度以上のリズムデータが検索されなかったときには前記音楽検索装置内の検索手段による検索結果を表示するよう前記表示手段を制御する制御手段を有することを特徴とする請求項２、４、５、６のいずれか１項に記載の音楽検索装置。
【請求項８】
前記検索による検索結果として、前記音楽付随情報の他に前記検索手段により検索されたリズムデータを出力する手段と、
前記通信部を介して受信した前記検索結果に含まれる前記リズムデータを前記リズムデータ蓄積手段に蓄積する手段とを備えたことを特徴とする請求項２、４、５、６、７のいずれか１項に記載の音楽検索装置。
【請求項９】
前記データ蓄積手段或いは前記音楽付随情報蓄積手段は、前記音楽に付随する情報として階名、楽譜、歌詞あるいは音楽データの内少なくとも一つを蓄積しており、
前記検索結果出力手段は、この情報を前記検索結果の一部として出力することを特徴とする請求項１乃至８のいずれか１項に記載の音楽検索装置。
【請求項１０】
前記時系列信号を前記リズムデータに変換して前記データ蓄積手段または前記リズムデータ蓄積手段に蓄積する手段を有することを特徴とする請求項１乃至９のいずれか１項に記載の音楽検索装置。
【請求項１１】
前記入力手段における時系列信号の入力時間の過不足を計算する手段と、
前記計算された過不足を出力する手段とを有することを特徴とする請求項１乃至１０のいずれか１項に記載の音楽検索装置。
【請求項１２】
入力手段により、オン状態とオフ状態とを交互に繰り返す時系列信号を入力し、
データ蓄積手段により、複数のリズムデータを前記リズムデータに対応する音楽に付随する音楽付随情報に対応付けて蓄積し、
検索手段により、前記入力手段に入力された前記時系列信号と同一又は類似した変動パターンを有するリズムデータを、前記データ蓄積手段に蓄積されている前記複数のリズムデータの中から検索し、
検索結果出力手段により、前記検索手段により検索されたリズムデータに対応して記憶されている前記音楽付随情報を前記データ蓄積手段から読み出し、この読み出した音楽付随情報を前記検索による検索結果として出力することを特徴とする音楽検索方法。
【請求項１３】
コンピュータを、
オン状態とオフ状態とを交互に繰り返す時系列信号を入力する入力手段と、
複数のリズムデータを前記リズムデータに対応する音楽に付随する音楽付随情報に対応付けて蓄積するデータ蓄積手段と、
前記入力手段に入力された前記時系列信号と同一又は類似した変動パターンを有するリズムデータを、前記データ蓄積手段に蓄積されている前記複数のリズムデータの中から検索する検索手段と、
この検索手段により検索されたリズムデータに対応して記憶されている前記音楽付随情報を前記データ蓄積手段から読み出し、この読み出した音楽付随情報を前記検索による検索結果として出力する検索結果出力手段として機能させるための音楽検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、検索装置に関し、特に音楽，楽曲，うた等を検索する音楽検索装置に関する。
【背景技術】
【０００２】
従来の音楽の検索方法としては、曲名や実演者（アーティスト）名などの音楽に付随する情報を文字列として入力し検索する方式が一般的に知られている。
この他、音楽や音楽に関する情報（例えば、実演者であるアーティスト等）を検索する方式として、次のような入力から検索を行うものが知られている。
（１）検索者の周囲で流れている音楽を、その音源に移動電話をかざして音を装置に入力。
（２）メロディを口ずさんだ音声波形を入力。
（３）鍵盤楽器などの演奏情報を元にして音楽を検索する方式、
（４）例えばドレミファといったように文字列で階名を表記した音階列を入力し音楽を検索する方式、
（５）音楽のコード進行（Ｃ、Ｇ７などの和声の系列）を入力することでそのコード進行を含む音楽を検索する方式等が知られている。
上記従来の音楽検索方式の特徴は、音楽を構成する要素であるリズム、音色、旋律、和声（コード）などのうち、少なくとも音色、旋律、和声のいずれかを入力するものであった。
【０００３】
これに対し、時系列信号の入力、すなわちリズムのみの入力により音を再生する方式（特許文献１、非特許文献１および２）や、データを検索する方式（特許文献２）が提案されている。
【特許文献１】特開２００３−１４２５１１公報
【特許文献２】特開２００４−３３４９２公報
【非特許文献１】池谷直紀，服部正典，大須賀昭彦：“リズム入力インタフェース「タタタタップ」”，情報処理学会第６６回全国大会４Ａ−４，２００４．
【非特許文献２】武田春登，篠田浩一，嵯峨山茂樹等：“リズムベクトルを用いたリズム認識”，情報処理学会研究報告「音楽情報科学」Ｎｏ．４６，２００２．
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし上述の特許文献における時系列信号の入力による音楽検索方式においては、リズムを識別する方式が洗練されておらず、また音楽検索方式として活用するために有効な構成要素が欠けていた。
【０００５】
また移動電話における着信音楽の検索方式として実施するために有効な構成要素が欠けていた。
本発明の課題は、リズムの入力による音楽検索装置をより使いやすく実現しやすいものにすることである。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために、この発明においては、オン状態とオフ状態とを交互に繰り返す時系列信号を入力する入力手段と、複数のリズムデータを前記リズムデータに対応する音楽に付随する音楽付随情報に対応付けて蓄積するデータ蓄積手段と、前記入力手段に入力された前記時系列信号と同一又は類似した変動パターンを有するリズムデータを、前記データ蓄積手段に蓄積されている前記複数のリズムデータの中から検索する検索手段と、この検索手段により検索されたリズムデータに対応して記憶されている前記音楽付随情報を前記データ蓄積手段から読み出し、この読み出した音楽付随情報を前記検索による検索結果として出力する検索結果出力手段とを備えたことを特徴とする音楽検索装置を提供する。
【０００７】
なお、装置に係る本発明は方法に係る発明としても成立し、方法に係る本発明は装置に係る発明としても成立する。
また、装置または方法に係る本発明は、コンピュータに当該発明に相当する手順を実行させるための（あるいはコンピュータを当該発明に相当する手段として機能させるための、あるいはコンピュータに当該発明に相当する機能を実現させるための）プログラムとしても成立し、該プログラムを記録したコンピュータ読み取り可能な記録媒体としても成立する。
【発明の効果】
【０００８】
この発明によれば、時系列信号としてＯＮ／ＯＦＦをリズミカルに変化させる入力に対し、そのリズムに類似したリズムを含む音楽を検索し、その音楽情報の閲覧や音楽の再生を可能とする音楽検索装置が実現できる。
【発明を実施するための最良の形態】
【０００９】
（第１の実施形態）
以下、図面を参照して本発明の実施形態を説明する。
図１は、本実施形態に係るリズム入力による音楽検索装置の構成を示す図である。この実施形態では例として移動電話型の音楽検索装置１０１を含む構成となっている。
【００１０】
本実施形態は、典型的には、ソフトウェアで制御されるコンピュータにより実現される。この場合のソフトウェアは、プログラムやデータを含み、コンピュータのハードウェアを物理的に活用することで本発明の作用効果を実現するものであり、従来技術を適用可能な部分には好適な従来技術が適用される。さらに、本発明を実現するハードウェアやソフトウェアの具体的な種類や構成、ソフトウェアで処理する範囲などは自由に変更可能である。従って、以下の説明では、本発明を構成する機能ごとにブロック化して図示した仮想的機能ブロック図を用いる。なお、コンピュータを動作させて本発明を実現するためのプログラムも、本発明の一態様である。
【００１１】
図２は、本実施形態に係るリズム入力による音楽検索装置の構成を示す機能ブロック図である。
まず詳細な実施形態を述べる前に、各機能ブロックの概要を説明する。
図２において、音楽データ蓄積部２０１は、検索対象となる音楽データを、例えば着信音楽の一種である「．ｍｍｆ」形式の着信メロディ，ＳＭＡＦ形式の着信メロディ，ＭＩＤＩ形式や、音声データである「着うた（登録商標）」形式，リニアＰＣＭ符号化音声形式，ＭＰＥＧ１  ＡＵＤＩＯ  Ｌａｙｅｒ3形式などの形式で音楽データを蓄積する機能を有する。この音楽データ蓄積部２０１は、例えばメモリやハードディスク等の記録媒体により実現する。
【００１２】
リズムデータ生成部２０２は、音楽データ蓄積部２０１から入力した音楽データと、更に必要に応じてリズムデータ編集者の編集データの入力を受け、音楽を検索するときの検索キーとして使用され、個々の音楽に適したリズムデータを音楽毎に生成してリズムデータ蓄積部２０３に登録する。この個々の音楽に適したリズムデータとは、該音楽を検索する際に利用者が入力することを想定したリズム、或いはこのリズムを含む複数のリズム群として構成されるデータであり、一般的には音楽の冒頭部分，サビ部分，曲全体の主旋律のリズムが入力音楽に対するリズムデータとなる。即ち、リズムデータ生成部２０２は一般的には、入力された音楽データに対して、その冒頭，サビ，曲全体の主旋律等のリズムデータを登録リズムデータとして生成する。
【００１３】
なお、主旋律が必ずしも適したリズムであるとは限らない。このため、ＭＩＤＩデータに含まれる複数パートのそれぞれについてリズムデータを作成するようにしてもよい。
【００１４】
リニアＰＣＭ符号化音声形式であるＷＡＶＥファイルからＭＩＤＩデータを生成するには、音声のスペクトル分析をして機械的変換を行えばよく、例えばソフトウェアとしては、「MuseBook（Ｒ）  Wav2Midi  Version  1.0（http://www.musebook.com/?page=mbwav2midi）」や「採譜の達人」(http://www.pluto.dti.ne.jp/~araki/soft/)等で実施されている。あるいは、ＷＡＶＥファイルやＭＰＥＧ１  ＡＵＤＩＯ  Ｌａｙｅｒ３形式から直接リズムデータを生成することも音楽データによっては可能である。例えばボーカルの付随する音楽であれば声の周波数帯域に絞り込む信号処理を行うアナログフィルタによってボーカル部分の信号を抜き出し、さらにまたステレオ音声の音楽データにおいてはボーカルは中央に定位し、コーラスやその他の楽器音は中央以外の左右に定位することを用いてボーカル部分の信号をより正確に抜き出すことができる。そうして抜き出したボーカル部分の信号に対して、音量あるいは音量変化率の高い部分を発声とみなしてその時刻を記録することにより、歌のリズムを生成することができる。
【００１５】
さらに音楽データからリズムデータを自動的に生成する場合には、サビ部分の時刻を検出する公知の技術を合わせて用いることで、利用者が入力することを想定したサビ部分のリズムデータを高い精度で生成することが可能である。サビ部分の検出技術は以下文献に記載されている「後藤 真孝: "リアルタイム音楽情景記述システム: サビ区間検出手法", 情報処理学会 音楽情報科学研究会 研究報告 2002-MUS-47-6, Vol.2002, No.100, pp.27-34, October 2002.」。
【００１６】
リズムデータ蓄積部２０３は、リズムデータ生成部２０２により生成されたリズムデータを保持し、類似リズム検索部２０６に対してリズムデータを提供する。このリズムデータ蓄積部２０３は、例えば計算機上のメモリにより実現する。
【００１７】
時系列信号入力部２０５は、音楽を検索するための検索キーとして音楽検索者が入力した音楽のリズムの信号（入力時系列信号）を入力として受け、この受けた信号を入力時系列信号として類似リズム検索部２０６に出力する。時系列信号入力部２０５は、ＯＮ／ＯＦＦの時間的な変化を検出することができる機能を有していれば良く、パーソナルコンピュータ（ＰＣ）のキーボード、マウス、移動電話のボタン、リモコンのボタンなど各種ボタンはもちろん、タッチパネルや赤外線センサーなど、多様な機器で実施が可能である。
【００１８】
類似リズム検索部２０６は、時系列信号入力部２０５から入力された入力時系列信号と、リズムデータ蓄積部２０３に保持されているリズムデータを入力として受け、入力時系列信号の信号パターンと類似したリズムデータを検索し、この検索結果を検索結果生成部２０７に出力する。
【００１９】
音楽付随情報蓄積部２０４は、音楽に付随する曲名、作曲者名、作詞者名、実演者名、歌詞の一部または全部、音楽データの存在するＵＲＬ、音楽データ自体などを音楽データと関連付けて保持する部分であり、例えば計算機上のメモリとして構成される。
【００２０】
音楽付随情報蓄積部２０４は、更に、音楽に付随する階名や、楽譜データや、歌詞や、あるいは音データについても保持していてもよい。
検索結果生成部２０７は、類似リズム検索部２０６による検索結果を入力として受け、必要によりこの検索結果に応じて音楽付随情報蓄積部２０４から音楽付随情報を参照し、音楽検索者に対して検索結果を出力するための出力データを生成する。例えば類似リズム検索部２０６の検索結果から、この検索されたリズムデータに関する関連情報として、曲名、作曲者名、作詞者名、実演者名、歌詞の一部または全部、リズムデータに対応する音楽データの存在するＵＲＬ、音楽データ自体などを組として出力データとして検索結果出力部２０８に出力する。
【００２１】
検索結果出力部２０８は、検索結果生成部２０７により生成された出力データを検索者に対して出力する。例えば検索に用いた移動電話により画面情報や音情報として出力するという例が挙げられる。
【００２２】
次に、最も典型的な実施形態として、移動電話利用者向けの着信音検索装置として実施する場合について、個々の機能ブロックの具体的な構成を含めて説明する。なお、本明細書中では、移動電話とは、携帯電話に限らず、ＰＨＳ、無線ＬＡＮ通信による移動電話等、移動可能な電話ならば何でも含む。
【００２３】
なお、本明細書中では着信音とは、移動電話に電話やメールの着信があったことを移動電話の使用者に知らせるために鳴らす音のことを指し、楽曲に限らず音声のみから構成されているものも含む。
【００２４】
［移動電話側の動作］
移動電話側の動作は、図3（ａ）に示した手順となる。
（ステップＳ３０１）移動電話１０１は、無線通信回線を介して検索装置に対して、入力時系列信号を送信する。この入力時系列信号の入力にあたっては、例えば、移動電話のある一つのボタンでリズムを入力し、入力された入力時系列信号は逐次検索装置側へ送信される。
（ステップＳ３０２）移動電話１０１は、無線通信回線を介して検索装置から検索結果を受信し、検索結果を移動電話１０１の表示装置１０２やスピーカー１１１へ出力する。
（ステップＳ３０３）移動電話１０１は、着信音の検索処理を終了する場合には、ステップＳ３０４へ進み、続ける場合にはステップＳ３０１へ戻る。
（ステップＳ３０４）移動電話１０１は、無線通信回線を介して検索装置に対して、検索処理を終了することを通知し、処理を終了する。
［検索装置側の動作］
検索装置側の動作は、図3（ｂ）に示した手順となる。
（ステップＳ３５１）検索装置は、無線通信回線を介して移動電話から逐次入力される入力時系列信号を受け、この入力時系列信号を逐次に類似リズム検索部２０６へ渡し、この入力時系列信号に類似したリズムデータの検索行う検索要求を行う。
【００２５】
（ステップＳ３５２）検索装置は、時間経過に伴い逐次検索を実行していき、検索されたリズムデータに対応付けられた音楽付随情報を用いて生成した検索結果を、無線通信回線を介して移動電話側へ出力する。この例では音楽付随情報として、音楽に付随する曲名、作曲者名、作詞者名、実演者名、歌詞の一部または全部、音楽データの存在するＵＲＬ、音楽データ自体の内、曲名および実演者名を用いるものとする。
（ステップＳ３５３）検索を終了しない場合にはステップＳ３５１へ戻り、検索を終了する場合には処理を終了する。
このように、移動電話側において利用者が一つのボタンでリズムを入力し続けることで、検索装置側において入力時系列信号に類似するリズムを持つリズムデータがリズムデータ蓄積部２０３の中から逐次検索されて移動電話側へ送信される。
【００２６】
この結果、移動電話側では、音楽検索者が検索しようとしたと考えられる着信音を再生したり、着信音の曲名を見たりする等の検索結果を逐次得ることができる。
また、音楽付随情報蓄積部２０４が、音楽に付随する階名や、楽譜データや、歌詞や、あるいは音データについても保持しる場合には、音楽検索者は、検索結果としてこれらについても確認をすることができる。
【００２７】
なお、上記例では入力時系列信号は逐次移動電話側から検索装置側へ送信され、検索装置側では逐次検索が実行されることとした。しかし、本発明はこれに限定しない。移動電話側からの検索実行ボタンの押下の入力をきっかけとして検索を実行するようにしてもよい。この場合は、例えば移動電話１０１を使用している音楽検索者は、一定時間の入力時系列信号を入力した上で検索ボタンを押下し、この一定時間の入力時系列信号を検索装置へ送信する。検索装置は、この押下をきっかけとして入力時系列信号に類似するリズムを持つリズムデータをリズムデータ蓄積部２０３の中から検索し、移動電話側へ送信すればよい。なお、この場合には移動電話側に入力時系列信号を取得するための機能が必要となる。
【００２８】
検索結果として、着信音のデータや着信音を取得するためのデータ（着信音データまたは着信音へのリンク情報等）を移動電話側へ送信することにより、移動電話側では検索結果から所望の着信音をダウンロードすることができる。
【００２９】
以下、機能ブロックごとに詳細を説明する。
音楽データ蓄積部２０１に蓄積されるデータは、計算機を用いて音楽を再生することが可能なデータであり、例えば図４に示すように、着信メロディの典型的なデータ形式である「．ｍｍｆ」の拡張子で表現されるＳＭＡＦ（Synthetic music Mobile Application Format）形式のデータや、より一般的なＭＩＤＩの標準形式である「．ｍｉｄ」の拡張子で表現されるＳＭＦ（Standard Midi File）形式のデータが挙げられる。他にも「．ｐｍｄ」の拡張子で知られる着信メロディデータや、「．ａｍｃ」の拡張子などの着うた（登録商標）、あるいはＷＡＶＥ形式と呼ばれる「．ｗａｖ」やＭＰＥＧ１  ＡＵＤＩＯ  Ｌａｙｅｒ３形式データの「．ｍｐ３」など、音楽データ全般が対象である。音楽データ蓄積部２０１においては、音楽データを音楽データ識別ＩＤと関連付けて保持する。ここでは音楽データ識別ＩＤのことを「ＣＩＤ」と呼ぶこととする。この音楽データ蓄積部２０１はサーバ計算機のメモリやハードディスク等の記録媒体により構成することができる。
【００３０】
次にリズムデータ生成部２０２においては、音楽データ蓄積部２０１から音楽データの入力を受け、個々の音楽に適したリズムデータを音楽毎に生成する。ここでは典型的な例として、ＳＭＦ形式の音楽データの入力を受け、リズムデータを生成する方式を示す。この概要を端的に言えば、ＳＭＦをはじめとするＭＩＤＩ形式の音楽データは楽譜情報をデジタルデータ化したようなものであり、音楽のテンポと、個別の音の音色、音長、音高などのデータで構成されている。リズムデータ生成部２０２は、これらデータ中から音色情報や音高の情報を排除し、音長の情報を抜き出してデータ化する。
【００３１】
このリズムデータ生成の処理フローについて図５を用いて説明する。
（ステップＳ５０１）音楽データ蓄積部２０１から、ＳＭＦ形式のＭＩＤＩデータファイルをＣＩＤと共に読み込む。
（ステップＳ５０２）ＭＩＤＩデータに複数トラックが存在する場合は、操作者の補助入力により１つのトラックを選択する。
（ステップＳ５０３）選択されたトラックにおける音の立ち上がりの情報（ノートオンメッセージ）の発生する時間情報（デルタタイム）を切り出し、音の間隔情報を数値列として配列に追加する。これを繰り返し、音楽データの全体についての音の間隔情報列を保持する。
【００３２】
（ステップＳ５０４）音の間隔情報列について、操作入力者の補助入力により、リズムデータとして使用する部分を一箇所または複数選択する。
（ステップＳ５０５）ステップＳ５０４で選択された１つまたは複数の音の間隔情報をリズムデータとし、ＣＩＤに対応付けてリズムデータ蓄積部２０３に対して出力する。
【００３３】
上記各選択処理については、従来種々知られているＧＵＩ機能により実現すればよい。
本実施形態においては、リズムデータは打鍵の時間間隔列をミリ秒単位でカンマ区切りで示したものであり、リズムデータｒは以下のように表現される。
ｒ  ＝  ｛ｒ１，ｒ２，ｒ３，…，ｒｎ｝
例えば「タ、＿、タ、タ、タ」（「＿」は一拍休む記号）という四回の打鍵で構成されるリズムであれば、打鍵の間隔は三つあるため例えば一拍を２５０ミリ秒とすれば、リズムデータｒ＝｛５００，２５０，２５０｝として表現される。本実施形態においてリズムデータ生成部２０２はサーバ計算機のＣＰＵおよびプログラムとして構成される。
【００３４】
リズムデータ蓄積部２０３は、リズムデータを識別子と関連付けて保持する機能ブロックであり、典型的には計算機の記憶装置として実施される。本実施形態においては、サーバ計算機のメモリやハードディスクおよび携帯電話のメモリとして構築される。
【００３５】
リズムデータ蓄積部２０３は、前記リズムデータ生成部２０２において生成され出力されたリズムデータを保持する他、検索装置の外部で作成されたリズムデータやユーザがリズムデータを手入力により入力したリズムデータについても保持する。
【００３６】
図６にリズムデータ蓄積部２０３に蓄積されるデータの構成例を示す。リズムデータ蓄積部２０３は、音楽データ識別ＩＤであるＣＩＤとリズムデータとを関連付けて蓄積している。
【００３７】
時系列信号入力部２０５は、入力者の入力によるＯＮ／ＯＦＦの時間的な変化を、入力時系列信号列として類似リズム検索部２０６へ出力する。
時系列信号入力部２０５は、少なくとも一つ以上のＯＮ／ＯＦＦの状態を検出可能な入力装置であり、典型的な構成としては電子的な出力を伴う機械部品のボタンとして実施される。本実施形態では検索者が手にする携帯電話の一部である、ボタンおよびその信号を受理する回路が該時系列信号入力部２０５に相当する。前記の通り実施形態によっては対象となる機器は携帯電話のみではなく、ＰＣのキーボードやマウス、タッチパネル、リモコンのボタンなどＯＮ／ＯＦＦの状態を検出できるものであれば同様に実施可能である。
【００３８】
類似リズム検索部２０６は、入力時系列信号列を入力として受け、この信号の変動パターンに類似したリズムデータを選出し、１つもしくは複数の候補とそれぞれの入力パターンとの類似の度合いを組にして検索結果生成部２０７に出力する。
【００３９】
類似リズム検索部２０６は、本実施形態においてはサーバ計算機および携帯電話のＣＰＵおよびプログラムとして構成される。典型的には、入力として受けた信号列をリズムデータに変換した上で、２つのリズム間の類似性を算出するアルゴリズムを用いて計算する計算機のプログラムとして実施される。
【００４０】
この類似リズム検索部２０６による類似リズム検索の処理フローの一例を、図７を用いて説明する。
（ステップＳ７０１）類似リズム検索部２０６は、時系列信号入力部２０５から入力時系列信号を受理し、入力リズムデータに変換する。
（ステップＳ７０２）リズムデータ蓄積部２０３から一つリズムデータを取り出し、入力リズムデータとの類似性を、類似性判定アルゴリズムに基づいて計算する。
（ステップＳ７０３）全リズムデータについて算出していなければステップＳ７０１へ戻り処理を繰り返し、していれば次のステップＳ７０４へ進む。
（ステップＳ７０４）算出結果のリズムの類似性の高かった順に、上位３つについてＣＩＤおよび後述する類似度ｓを検索結果生成部２０７出力し、処理を終了する。
【００４１】
本実施形態においては、入力時系列信号列からリズムデータへと変換する手順は、図８に示すようにＯＦＦからＯＮに状態が変化した時刻を検出し、個々の時間間隔をミリ秒単位で記述し、その時間間隔列をカンマ区切りで表記したデータに変換することであり容易な手順である。
【００４２】
また、二つのリズムデータ間の類似性を判定するアルゴリズムとしては、非特許文献１や非特許文献２のリズムベクトル方式による算出方法や、差分二乗和による類似度算出方法、動的計画法を用いた類似度算出方法などの利用が挙げられる。本実施形態では、差分二乗和方式による類似度算出を行うものとし、この算出方法を以下に述べる。
入力時系列信号列をリズムデータに変換した入力リズムデータをＲｉ、リズムデータ蓄積部２０３から取得したリズムデータをＲｊとする。
Ｒｉ＝｛ｒｉ１，ｒｉ２，ｒｉ３，…，ｒｉｎ｝
Ｒｊ＝｛ｒｊ１，ｒｊ２，ｒｊ３，…，ｒｊｎ，…，ｒｊｍ｝
この二つのリズムの距離ｄを以下のように算出する。
ｄ＝Σｋ（（ｒｉｋ−ｒｊｋ）２）
類似度ｓは次のように算出する。
ｓ＝１／（１＋ｄ）
この類似度ｓが大きいほど、類似性は高いことを意味する。このｓの値が高いものから順に例えば上位３つのリズムデータＲｊのそれぞれについて、ＣＩＤと類似度ｓとの組を検索結果生成部２０７へ出力する。
【００４３】
本実施形態では算出の結果、図９のような類似リズムの検索結果が出力されるものとする。この図９は、最も類似度が高いＣＩＤは「ＭＵＳ０００３」であり、類似度は「０．８」であったことを示している。
【００４４】
音楽付随情報蓄積部２０４は、着信音に関連する情報を保持する機能ブロックであり、着信音を識別する識別子をキーとして例えば曲名、作曲者名などの付随情報を保持するものであり、計算機のメモリなどとして実施される。
【００４５】
本実施形態においては、図１０のように、音楽の識別子であるＣＩＤをキーとして、「曲名」、「音楽ジャンル」、「作曲者氏名」、「作詞者氏名」、「音楽データの所在ＵＲＬ」のデータを保持している。なお、本発明はこれに限らず、例えば実演者名、収録アルバム名、音楽の演奏時間、着信音データのデータサイズ、歌詞の一部または全部、あるいは着信音データ自体など、音楽およびそのデータに関連する情報の全てが蓄積の対象となり得る。
【００４６】
検索結果生成部２０７は、類似リズム検索部２０６から入力されたＣＩＤと類似度ｓとの組を受け、検索結果出力部２０８にて出力するための出力データとしてまとめ、このまとめた出力データを検索結果出力部２０８へ出力する。このまとめる際、検索結果として他に出力する必要がある情報を、ＣＩＤに基づいて音楽付随情報蓄積部２０４から取得する。出力データは文字情報、画像情報、音情報、類似度の得点などから構成される。
【００４７】
また、類似度としては、類似度ｓに基づいた得点として、０点がまったく類似していないことを意味し、１００点が完全に一致することを意味するように類似度を正規化して出力するようにしてもよい。これにより、検索者は結果がどの程度入力と一致しているかが一目でわかるようになる。
【００４８】
検索結果出力部２０８は、検索結果生成部２０７から受け、文字列や画像を表示、あるいは音楽の再生等により検索結果を出力する。
この実施形態においては、例えば、検索結果として図１１に示すような画像を出力するために、図１０に示した音楽付随情報蓄積部２０４に蓄積されるデータの中からＣＩＤを用いて「曲名」、「曲名」、「音楽ジャンル」、「作曲者氏名」、「作詞者氏名」、「音楽データの所在ＵＲＬ」を得て、図１０に示すレイアウトにて画像データを生成して移動電話１０１のディスプレイ画面１０２へ出力する。
【００４９】
また、図１０に示した音楽付随情報の中からデータ所在ＵＲＬ1から着信音のデータをダウンロードして移動電話内のメモリに蓄積すると共に、移動電話１０１に接続されたスピーカー１１１から音声出力する。
【００５０】
なお、上記実施形態は、移動電話における着信音の検索を例として説明したが、本発明はこれに限定しない。音楽を再生／ダウンロード可能な携帯端末やＰＣ等の装置における音楽の検索装置としても同様に実施可能である。
【００５１】
このとき携帯端末内の音楽データの再生のための検索であれば、リズムデータ蓄積部２０３および音楽データ蓄積部２０１は携帯端末におけるメモリ等の記憶媒体であり、類似リズム検索部２０６は携帯端末のＣＰＵおよびプログラムとして構成され、出力として音楽データを再生することにより実現される。
【００５２】
また、上記実施形態では、音楽の識別子であるＣＩＤをキーとして、「曲名」、「音楽ジャンル」、「作曲者氏名」、「作詞者氏名」、「音楽データの所在ＵＲＬ」等のデータを得るようにした。しかしこれに代え、リズムデータの識別子のＩＤをキーとして「曲名」、「音楽ジャンル」、「作曲者氏名」、「作詞者氏名」、「音楽データの所在ＵＲＬ」等のデータを得るようにしてもよい。
【００５３】
また、この検索結果として移動電話内部に保有している曲を再生するために呼び出すような用途にも、本発明の検索を利用することができる。
また、上記では、（ステップＳ５０３）において、選択されたトラックにおける音の立ち上がりの情報（ノートオンメッセージ）の発生する時間情報（デルタタイム）のみを切り出すのではなく、更に、音の立ち下がりの情報（ノートオフメッセージ）についても切り出して、合わせて数値列として配列に追加してもよい。この場合、数値配列は立ち上がり時間と立ち下がり時間が交互に記録されることとなり、データは音のＯＮとＯＦＦの切り替わる時間間隔情報となる。そしてこのようにして作成したリズムデータを用いる場合には、時系列信号入力部２０５により入力リズムデータを生成する手順（ステップＳ７０１）においても同様に、ＯＦＦからＯＮに切り替わる時刻のみならず、ＯＮからＯＦＦに切り替わる時刻をも検出して用いる。これらのデータを用いても、上記実施形態の通りに検索を実施することができ、これにより音の立ち上がりのタイミングだけでなく音の長さの情報をも活用した検索が実施可能である。
【００５４】
以上説明した通り、この発明によれば、リズムの入力による音楽検索装置をより使いやすく実現しやすいものにすることができる。
（第２の実施形態）
次に、端末側とサーバによる音楽検索装置との両方で検索を行う第２の実施形態について説明する。
以下では、第１の実施形態との差分について説明する。
この実施形態は、図２の各機能ブロックの機能を、移動電話とサーバによる音楽検索装置の両方に搭載した構成となっている。そして移動電話等の端末内にて所定の類似度の検索結果が得られない場合に、サーバによる音楽検索装置により検索を行う。
【００５５】
移動電話１０１内部のリズムデータ蓄積部２０３は、サーバによる音楽検索装置におけるリズムデータ蓄積部に保持されているデータの部分集合であることが一般的であり、検索結果となる可能性の高い曲を蓄積しておくことが有効である。ただし部分集合には限らず利用者が保持する楽曲のリズムデータや打鍵したことがあるリズムデータを蓄積することにより、利用者ならではの検索結果を得ることも可能である。
【００５６】
図１２は、このような音楽検索装置の動作を説明するための動作フローである。以下、移動電話（音楽検索装置）内の機能については符号の後ろにＴ（Terminalの略）を付し、サーバによる音楽検索装置内の機能については符号の後ろにＳ（Serverの略）を付して説明する。
【００５７】
図１２において、端末側の移動電話（音楽検索装置）では、時系列信号入力部２０５Ｔで時間経過に伴って時系列信号を受理し、これを移動電話内部の類似リズム検索部２０６Ｔに出力する（ステップＳ１２０１）。これは例えばｉアプリ（登録商標）等のアプリケーションとして移動電話内で以下のようにして実施することが可能である。例えば中央のボタンが押下されたイベントを検出し入力時系列信号を受理するプログラムにより時系列信号入力部２０５Ｔを構成し、ｉアプリのデータ記憶の仕組みであるスクラッチパッドに定数データとして予め定義したリズムデータを蓄積することによりリズムデータ蓄積部２０３Ｔを構成する。
【００５８】
端末側では、移動電話内の例えばｉアプリ（登録商標）プログラムとして構成される類似リズム検索部２０６Ｔが、移動電話内部のリズムデータ蓄積部２０３Ｔを参照して第１の実施形態と同様に検索処理を行う（ステップＳ１２０２）。
【００５９】
端末側では、ステップＳ１２０２にて、所定の類似度以上の結果が得られた場合（ステップＳ１２０３のＹｅｓ）、検索結果生成部２０７Ｔは、この結果を元に最終的に検索の結果として出力するための検索結果を、音楽付随情報蓄積部２０４Ｔから得た音楽付随情報を用いて生成する（ステップＳ１２０４）。上記所定の類似度とは、例えば１を最大値とする類似度において０．９などと定めることができる。
【００６０】
端末側では、ステップＳ１２０２にて、所定の類似度以上の結果が得られなかった場合（ステップＳ１２０３のＮｏ）、サーバによる音楽検索装置に検索要求として時系列信号を送信する（ステップＳ１２０５）。
【００６１】
サーバによる音楽検索装置では、第１の実施形態と同様に、リズムデータ蓄積部２０３Ｓを参照して検索処理を行った上で（ステップＳ１２５１）、音楽付随情報蓄積部２０４Ｓから得た音楽付随情報を用いて、最終的に検索の結果として出力するための検索結果を生成して移動電話端末へ送信する（ステップＳ１２５２）。サーバによる音楽検索装置では、端末側で検索処理を終了しなければステップＳ１２５１へ戻る（ステップＳ１２５３）。
【００６２】
端末側では、サーバによる音楽検索装置から検索結果を受信する（ステップＳ１２０６）。
端末側では、得られた検索結果を表示等に出力する（ステップＳ１２０７）。
端末側では、検索処理を終了する場合、無線通信回線を介して検索装置に対して、検索処理を終了することを通知し、処理を終了する（ステップＳ１２０８）。
以上説明した通り、この発明によれば、リズムの入力による音楽検索装置をより使いやすく実現しやすいものにすることができる。
更に、第２の実施形態では、移動電話端末内部で所定の類似度の検索結果が得られたときには通信等による遅延なしに検索結果を得ることができるため高速な検索結果を得ることができ、更に、所定の類似度の検索結果が得られなかったときにはサーバによる音楽検索装置により検索結果を得るためより正しいと考えられる検索結果を得ることができる。
【００６３】
一般に、サーバ側の方が記憶容量に余裕があるため多くのリズムデータを蓄えている。このような大規模データについての検索などは移動電話での計算は困難であるが、サーバによる音楽検索装置で検索を実行することで、通信などによる遅延はあるものの利用者はリズムデータを保有していない楽曲についても検索結果を得ることができる。
【００６４】
また、所定の類似度以上の結果を移動電話内部で検索できた場合にも、利用者からの指示により、サーバによる音楽検索装置での検索を実行できるようにしてもよい。
【００６５】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。この実施形態では、入力時系列信号を入力した打鍵部分の歌詞、楽譜、階名、音を伴って検索結果を出力する。
以下では、第１の実施形態との差分について説明する。
本実施形態は、検索結果を生成して出力する過程において、入力時系列信号に対応する部分がわかるように、歌詞の一部または全部、あるいは楽曲の音符の階名の一部または全部、楽譜の一部または全部、音声の試聴データの再生を行うものである。これにより、楽曲名を知らずに印象的なフレーズのリズムパターンを入力して検索し、候補がいくつか表示された場合に、どの候補が自分の望む候補であるかが簡易に判別できるようになる。
【００６６】
この実施形態の実現方法は以下の通りである。
リズムデータ蓄積部に蓄積している個々のリズムデータに、そのリズムがそのリズムを含む楽曲の開始から何秒の位置に出現するリズムであるかのタイムスタンプを保持しておく。これは通常は一つであるが、複数のタイムスタンプを登録することも可能である。そして、音楽付随情報蓄積部２０４においては、タイムスタンプ別に歌詞、階名、楽譜、音声データの該当部分を登録しておくことで、それぞれの音楽付随情報を個々のリズムデータに対応づけて出力することができる。こうして出力したものを検索結果生成部２０７で検索結果の一部として生成し、検索結果出力部２０８で出力することにより、利用者に入力時系列信号に対応する部分の歌詞や音階により、検索結果が意図したものであるかどうかを素早く判断することができる。
【００６７】
ここで、タイムスタンプ別にデータを登録しておく方法以外にも、例えば音声データであれば指定の部分から数秒を切り出して出力することは公知技術により容易であり、利用者が時系列信号を入力した部分に対応する音声試聴データの提供を行うことができる。
【００６８】
また、歌詞、階名、楽譜などもある程度の部分ごとに予めその開始位置の時刻を付随情報としてタグづけしておくことにより、利用者が時系列信号を入力した範囲を含む一部の歌詞、階名、楽譜を出力することができる。
【００６９】
あるいは一部の歌詞、階名、楽譜を出力するのではなく、全部の歌詞、階名、楽譜を出力した上で利用者が時系列信号を入力した範囲を異なる色で表示するなどの出力形態も有効である。
【００７０】
以上説明した通り、この発明によれば、リズムの入力による音楽検索装置をより使いやすく実現しやすいものにすることができる。
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。この実施形態では、検索時の入力時系列信号をリズムデータに変換してリズムデータ蓄積部に蓄積して後の検索に再利用する。
【００７１】
以下では、第１の実施形態との差分について説明する。
本実施形態は、検索時の入力時系列信号をリズムデータに変換してリズムデータ蓄積部２０３に蓄積し、後の検索に再利用をすることにより検索の精度を高める仕組みを導入したものである。
【００７２】
時系列信号入力部で受理した信号に基づいて、類似リズム検索部により検索した結果を結果出力部で出力する部分については第１の実施形態と同様である。
この実施形態では、更に、入力時系列信号をリズムデータのデータ形式に変換してリズムデータ蓄積部２０３に保持する。
検索結果の中から利用者が一つの楽曲を選択した場合に、保持しておいた入力時系列信号をリズムデータのデータ形式に変換し、上記選択された楽曲のリズムデータの一つとしてリズムデータ蓄積部２０３に追加登録していく。このデータ形式の変換については、第１の実施形態にて図８を用いて説明した方法と同様でよい。
【００７３】
これにより、類似した入力時系列信号での検索要求に対しては今回選択された候補楽曲がさらに上位の候補として表示される可能性が高くなる。これは、利用者のリズムの認識や時系列信号の入力は必ずしも譜面どおりではないが、往々にして利用者ごとの特徴があるという性質を活用したものであり、同一の利用者がある楽曲について複数回検索を実行するような場合、例えば端末内部に保有されている楽曲の呼び出しのために検索を行うような場合の精度は通常の場合よりも高まるという効果が得られる。
【００７４】
以上説明した通り、この発明によれば、リズムの入力による音楽検索装置をより使いやすく実現しやすいものにすることができる。
更に、第４の実施形態では、より高い精度の検索を行うことができるという効果が得られる。
本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
本発明の情報編集装置は、ワークステーション（ＷＳ）やパーソナルコンピュータ（ＰＣ）等のコンピュータで動作させるプログラムとして実現することができる。
図１３は本発明の情報編集装置をコンピュータで実現するときの構成の例を示す図である。このコンピュータは、プログラムを実行する中央演算装置１３０１と、プログラムやプログラムが処理中のデータを格納するメモリ１３０２と、プログラム、検索対象のデータ及びＯＳ（Operating System）を格納しておく磁気ディスクドライブ１３０３と、光ディスクにプログラムやデータを読み書きする光ディスクドライブ１３０４とを備える。
【００７５】
さらに、ディスプレイ等に画面を表示させるためのインターフェースである画像出力部１３０５と、キーボード・マウス・タッチパネル等からの入力を受ける入力受付部１３０６と、外部機器との出入力インターフェース（例えばＵＳＢ（Universal Serial Bus）、音声出力端子等）である出入力部１３０７とを備える。また、ＬＣＤ、ＣＲＴ、プロジェクタ等の表示装置１３０８と、キーボードやマウス等の入力装置１３０９と、メモリカードリーダ・スピーカー等の外部機器１３１０とを備える。
【００７６】
中央演算装置１３０１は、磁気ディスクドライブ１３０３からプログラムを読み出してメモリ１３０２に記憶させた後にプログラムを実行することにより図２に示す各機能ブロックを実現する。プログラム実行中に、磁気ディスクドライブ１３０３から検索対象データの一部或いは全部を読み出してメモリ１３０２に記憶させておいても良い。
【００７７】
基本的な動作は、入力装置１３０９を介して利用者からの検索要求を受け、検索要求に応じて磁気ディスクドライブ１３０３やメモリ１３０２に記憶させた検索対象データを検索する。そして、表示装置１３０８に検索結果を表示させる。
【００７８】
検索結果は表示装置１３０８に表示させるだけでなく、例えば外部機器１３１０としてスピーカーを接続しておいて音声で利用者に提示しても良い。あるいは、外部機器１３１０としてプリンタを接続しておいて、印刷物として提示しても良い。
【００７９】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００８０】
【図１】本実施形態に係るリズム入力による音楽検索装置の構成を示す図。
【図２】本実施形態に係るリズム入力による音楽検索装置の構成を示す機能ブロック図。
【図３】移動電話側の動作と検索装置側の動作を説明するためのフローチャート。
【図４】音楽データ蓄積部２０１に蓄積されるデータの構成例を示す図。
【図５】リズムデータ生成の処理フローを示すフローチャート。
【図６】リズムデータ蓄積部２０３に蓄積されるデータの構成例を示す図。
【図７】類似リズム検索部２０６による類似リズム検索の処理フローを示すフローチャート。
【図８】入力時系列信号列からリズムデータへと変換する手順を説明するための図。
【図９】類似リズムの検索結果の一例を示す図。
【図１０】音楽付随情報蓄積部２０４に蓄積される着信音に関連する情報の一例を示す図。
【図１１】最終的に出力される検索結果の一例を示す図。
【図１２】二段階の検索を説明するためのフローチャート。
【図１３】本実施形態に係る音楽検索装置をコンピュータで実現したときの構成を示す図。
【符号の説明】
【００８１】
１０１…移動電話、１０２…表示装置、１０３…ボタン、１０４…ＣＰＵ、１１１…スピーカー、１２１…記憶装置、２０１…音楽データ蓄積部、２０２…リズムデータ生成部、２０３…リズムデータ蓄積部、２０４…音楽付随情報蓄積部、２０５…時系列信号入力部、２０６…類似リズム検索部、２０７…検索結果生成部、２０８…検索結果出力部。
【図１】
2006106818.tif 000003
【図２】
2006106818.tif 000004
【図３】
2006106818.tif 000005
【図４】
2006106818.tif 000006
【図５】
2006106818.tif 000007
【図６】
2006106818.tif 000008
【図７】
2006106818.tif 000009
【図８】
2006106818.tif 000010
【図９】
2006106818.tif 000011
【図１０】
2006106818.tif 000012
【図１１】
2006106818.tif 000013
【図１２】
2006106818.tif 000014
【図１３】
2006106818.tif 000015