(57)【特許請求の範囲】
【請求項１】
音楽データの音楽断片データから候補となる楽曲名を同定するために、上記音楽断片データを時間周波数分布に変換し、音楽断片特徴量を抽出する音楽断片特徴量抽出手段と、
上記音楽断片特徴量抽出手段により抽出された音楽断片特徴量に基づいて、既に登録されている楽曲の中から、候補となる楽曲名を同定する同定手段と、
上記既に登録されている楽曲を保存および管理する楽曲データベースとを有し、
上記音楽断片特徴量抽出手段は、上記時間周波数分布のデータを所定の周波数および時間間隔でリサンプリングすることにより、上記音楽断片データに対応した音楽断片特徴行列を上記音楽断片特徴量として抽出し、
上記楽曲データベースには、複数の楽曲の時間周波数分布のデータを所定の周波数および時間間隔でリサンプリングして得られた楽曲特徴行列が上記楽曲特徴量として保存され、
上記同定手段は、上記音楽断片特徴行列を同定用特徴行列に変換する特徴行列変換手段を有し、
上記特徴行列変換手段は、上記音楽断片特徴行列をマスク行列によりマスクする処理を行い、上記マスク行列としては、低周波成分をマスクするための行列、時間マスクを行うための行列、音声成分をマスクするための行列の少なくとも１つを含む複数のマスクを切り替えて用いる
楽曲同定装置。
【請求項２】
上記同定手段は、上記楽曲データベースに登録されている各楽曲の上記楽曲特徴行列に対して、時間をずらしながら、上記特徴行列変換手段から得られた同定用特徴行列との類似度を計算し、各時刻の類似度のうち最大のもの及びその時刻によって、楽曲と音楽断片の類似度及び類似度最大時刻を求める請求項１記載の楽曲同定装置。
【請求項３】
上記楽曲データベースには、上記楽曲特徴行列のデータが、該楽曲特徴行列を抽出した楽曲の楽曲名、演奏家名、楽曲のＩＤ番号と対応付けられて登録される請求項１記載の楽曲同定装置。
【請求項４】
音楽データの音楽断片データから候補となる楽曲名を同定するために、上記音楽断片データを時間周波数分布に変換し、音楽断片特徴量を抽出する音楽断片特徴量抽出工程と、
上記音楽断片特徴量抽出工程により抽出された音楽断片特徴量に基づいて、既に登録されている楽曲の中から、候補となる楽曲名を同定する同定工程とを有し、
上記音楽断片特徴量抽出工程では、上記時間周波数分布のデータを所定の周波数および時間間隔でリサンプリングすることにより、上記音楽断片データに対応した音楽断片特徴行列を上記音楽断片特徴量として抽出し、
上記既に登録されている楽曲を保存および管理する楽曲データベースには、複数の楽曲の時間周波数分布のデータを所定の周波数および時間間隔でリサンプリングして得られた楽曲特徴行列が上記楽曲特徴量として保存され、
上記同定工程では、上記音楽断片特徴行列を同定用特徴行列に変換し、上記音楽断片特徴行列をマスク行列によりマスクする処理を行い、上記マスク行列としては、低周波成分をマスクするための行列、時間マスクを行うための行列、音声成分をマスクするための行列の少なくとも１つを含む複数のマスクを切り替えて用いる
楽曲同定方法。
【請求項５】
音楽データを記録する記録手段と、
上記音楽データから音楽を再生する再生手段と、
携帯電話運用システムを介して、上記音楽データの音楽断片データから候補となる楽曲名を同定するために、上記音楽断片データを時間周波数分布に変換し、音楽断片特徴量を抽出する音楽断片特徴量抽出手段と、
上記音楽断片特徴量抽出手段により抽出された音楽断片特徴量に基づいて、既に登録されている楽曲の中から、候補となる楽曲名を同定する同定手段と、
上記同定手段に基づいて、同定された楽曲を送信する送信手段と、
上記既に登録されている楽曲を保存および管理する楽曲データベースとを有し、
上記音楽断片特徴量抽出手段は、上記時間周波数分布のデータを所定の周波数および時間間隔でリサンプリングすることにより、上記音楽断片データに対応した音楽断片特徴行列を上記音楽断片特徴量として抽出し、
上記楽曲データベースには、複数の楽曲の時間周波数分布のデータを所定の周波数および時間間隔でリサンプリングして得られた楽曲特徴行列が上記楽曲特徴量として保存され、
上記同定手段は、上記音楽断片特徴行列を同定用特徴行列に変換する特徴行列変換手段を有し、
上記特徴行列変換手段は、上記音楽断片特徴行列をマスク行列によりマスクする処理を行い、上記マスク行列としては、低周波成分をマスクするための行列、時間マスクを行うための行列、音声成分をマスクするための行列の少なくとも１つを含む複数のマスクを切り替えて用いる
楽曲同定配信装置。
【請求項６】
音楽データを記録する記録工程と、
上記音楽データから音楽を再生する再生工程と、
携帯電話運用システムを介して、上記音楽データの音楽断片データから候補となる楽曲名を同定するために、上記音楽断片データを時間周波数分布に変換し、音楽断片特徴量を抽出する音楽断片特徴量抽出工程と、
上記音楽断片特徴量抽出工程により抽出された音楽断片特徴量に基づいて、既に登録されている楽曲の中から、候補となる楽曲名を同定する同定工程と、
上記同定工程により同定された楽曲を送信する送信工程とを有し、
上記音楽断片特徴量抽出工程では、上記時間周波数分布のデータを所定の周波数および時間間隔でリサンプリングすることにより、上記音楽断片データに対応した音楽断片特徴行列を上記音楽断片特徴量として抽出し、
上記既に登録されている楽曲を保存および管理する楽曲データベースには、複数の楽曲の時間周波数分布のデータを所定の周波数および時間間隔でリサンプリングして得られた楽曲特徴行列が上記楽曲特徴量として保存され、
上記同定工程では、上記音楽断片特徴行列を同定用特徴行列に変換し、上記音楽断片特徴行列をマスク行列によりマスクする処理を行い、上記マスク行列としては、低周波成分をマスクするための行列、時間マスクを行うための行列、音声成分をマスクするための行列の少なくとも１つを含む複数のマスクを切り替えて用いる
楽曲同定配信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば電子音楽配信のための楽曲同定装置及び方法、楽曲同定配信装置及び方法に関するものであり、特に携帯電話を利用した楽曲配信を行うための楽曲同定装置及び方法、楽曲同定配信装置及び方法に関する。
【背景技術】
【０００２】
近年は、膨大な数の新曲が発表されており、過去に作成された様々な楽曲も含めて、それらの全てを知ることは到底不可能な状況になっている。また、それら様々な楽曲は、テレビジョン放送やラジオ放送の番組中やコマーシャルメッセージ中に流されたり、街頭で流されることも多く、したがって、人々は自らの意思にかかわらず、様々な楽曲を耳にする機会が多い。
【０００３】
このように、周囲に溢れる楽曲の中から、ある気に入った楽曲を入手しようとした場合、購入者は、一般に以下の（１）〜（４）の順番のような手続きを踏むことになる。
【０００４】
（１）楽曲を耳にする。
【０００５】
（２）楽曲名を調査する。
【０００６】
（３）楽曲販売店に行く。
【０００７】
（４）楽曲名を指定し楽曲を購入する。
【０００８】
従来技術として、特許文献１−６が知られている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平０７−１２１５５６号公報
【特許文献２】特開平０２−０３３２００号公報
【特許文献３】特開平０９−２９３０８３号公報
【特許文献４】特開２０００−１７２６９３号公報
【特許文献５】特開２０００−１８７６７１号公報
【特許文献６】特開平０６−０６９９９９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、多くの場合、上記（２）の楽曲名の調査には多大な労力を要する。また、楽曲を知ると同時に楽曲名を知り得る場合もあるものの、例えば一部分のみを耳にした曲、放送番組中やコマーシャルメッセージで耳にした曲、外出時に耳にした曲などの場合、その楽曲名を同定できずに結局は入手に至らないことも多い。一方、調査の結果として楽曲名を知り得た場合でも、実際に楽曲を入手するためには、販売店に足を運ぶか、あるいは、電子音楽配信などを利用する必要がある。電子音楽配信を利用する場合は、販売店に足を運ぶ必要はないものの、パーソナルコンピュータを動作させ、インターネットヘの接続を行い、配信者への支払い方法の登録を行い、楽曲をダウンロードするなど、多段階の行動が必要となる。
【００１１】
そこで、本発明はこのような実情に鑑みてなされたものであり、例えば演奏、再生、放送などがされている楽曲或いはその一部断片であっても、その楽曲を容易に同定及び入手（例えば購入）可能とし、また、その楽曲の代金の支払い、楽曲の再生等をも可能にする楽曲同定方法及び装置、楽曲同定配信装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述の課題を解決するために、本発明に係る楽曲同定装置は、音楽データの音楽断片データから候補となる楽曲名を同定するために、上記音楽断片データを時間周波数分布に変換し、音楽断片特徴量を抽出する音楽断片特徴量抽出手段と、上記音楽断片特徴量抽出手段により抽出された音楽断片特徴量に基づいて、既に登録されている楽曲の中から、候補となる楽曲名を同定する同定手段と、上記既に登録されている楽曲を保存および管理する楽曲データベースとを有し、上記音楽断片特徴量抽出手段は、上記時間周波数分布のデータを所定の周波数および時間間隔でリサンプリングすることにより、上記音楽断片データに対応した音楽断片特徴行列を上記音楽断片特徴量として抽出し、上記楽曲データベースには、複数の楽曲の時間周波数分布のデータを所定の周波数および時間間隔でリサンプリングして得られた楽曲特徴行列が上記楽曲特徴量として保存され、上記同定手段は、上記音楽断片特徴行列を同定用特徴行列に変換する特徴行列変換手段を有し、上記特徴行列変換手段は、上記音楽断片特徴行列をマスク行列によりマスクする処理を行い、上記マスク行列としては、低周波成分をマスクするための行列、時間マスクを行うための行列、音声成分をマスクするための行列の少なくとも１つを含む複数のマスクを切り替えて用いる。
【００１３】
また、本発明に係る楽曲同定方法は、音楽データの音楽断片データから候補となる楽曲名を同定するために、上記音楽断片データを時間周波数分布に変換し、音楽断片特徴量を抽出する音楽断片特徴量抽出工程と、上記音楽断片特徴量抽出工程により抽出された音楽断片特徴量に基づいて、既に登録されている楽曲の中から、候補となる楽曲名を同定する同定工程とを有し、上記音楽断片特徴量抽出工程では、上記時間周波数分布のデータを所定の周波数および時間間隔でリサンプリングすることにより、上記音楽断片データに対応した音楽断片特徴行列を上記音楽断片特徴量として抽出し、上記既に登録されている楽曲を保存および管理する楽曲データベースには、複数の楽曲の時間周波数分布のデータを所定の周波数および時間間隔でリサンプリングして得られた楽曲特徴行列が上記楽曲特徴量として保存され、上記同定工程では、上記音楽断片特徴行列を同定用特徴行列に変換し、上記音楽断片特徴行列をマスク行列によりマスクする処理を行い、上記マスク行列としては、低周波成分をマスクするための行列、時間マスクを行うための行列、音声成分をマスクするための行列の少なくとも１つを含む複数のマスクを切り替えて用いる。
【００１４】
また、本発明に係る楽曲同定配信装置は、音楽データを記録する記録手段と、上記音楽データから音楽を再生する再生手段と、携帯電話運用システムを介して、上記音楽データの音楽断片データから候補となる楽曲名を同定するために、上記音楽断片データを時間周波数分布に変換し、音楽断片特徴量を抽出する音楽断片特徴量抽出手段と、上記音楽断片特徴量抽出手段により抽出された音楽断片特徴量に基づいて、既に登録されている楽曲の中から、候補となる楽曲名を同定する同定手段と、上記同定手段に基づいて、同定された楽曲を送信する送信手段と、上記既に登録されている楽曲を保存および管理する楽曲データベースとを有し、上記音楽断片特徴量抽出手段は、上記時間周波数分布のデータを所定の周波数および時間間隔でリサンプリングすることにより、上記音楽断片データに対応した音楽断片特徴行列を上記音楽断片特徴量として抽出し、上記楽曲データベースには、複数の楽曲の時間周波数分布のデータを所定の周波数および時間間隔でリサンプリングして得られた楽曲特徴行列が上記楽曲特徴量として保存され、上記同定手段は、上記音楽断片特徴行列を同定用特徴行列に変換する特徴行列変換手段を有し、上記特徴行列変換手段は、上記音楽断片特徴行列をマスク行列によりマスクする処理を行い、上記マスク行列としては、低周波成分をマスクするための行列、時間マスクを行うための行列、音声成分をマスクするための行列の少なくとも１つを含む複数のマスクを切り替えて用いる。
【００１５】
また、本発明に係る楽曲同定配信方法は、音楽データを記録する記録工程と、上記音楽データから音楽を再生する再生工程と、携帯電話運用システムを介して、上記音楽データの音楽断片データから候補となる楽曲名を同定するために、上記音楽断片データを時間周波数分布に変換し、音楽断片特徴量を抽出する音楽断片特徴量抽出工程と、上記音楽断片特徴量抽出工程により抽出された音楽断片特徴量に基づいて、既に登録されている楽曲の中から、候補となる楽曲名を同定する同定工程と、上記同定工程により同定された楽曲を送信する送信工程とを有し、上記音楽断片特徴量抽出工程では、上記時間周波数分布のデータを所定の周波数および時間間隔でリサンプリングすることにより、上記音楽断片データに対応した音楽断片特徴行列を上記音楽断片特徴量として抽出し、上記既に登録されている楽曲を保存および管理する楽曲データベースには、複数の楽曲の時間周波数分布のデータを所定の周波数および時間間隔でリサンプリングして得られた楽曲特徴行列が上記楽曲特徴量として保存され、上記同定工程では、上記音楽断片特徴行列を同定用特徴行列に変換し、上記音楽断片特徴行列をマスク行列によりマスクする処理を行い、上記マスク行列としては、低周波成分をマスクするための行列、時間マスクを行うための行列、音声成分をマスクするための行列の少なくとも１つを含む複数のマスクを切り替えて用いる。
【発明の効果】
【００１６】
本発明によれば、音楽断片特徴量に基づいて、既に登録されている楽曲の中から、候補となる楽曲名を同定することにより、例えば演奏、再生、放送などがされている楽曲の一部断片であっても、その楽曲を容易に同定できる。また、同定した楽曲を携帯電話運用システムを介して配信することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態に係る携帯電話端末の送信部の概略構成を示すブロック図である。
【図２】本発明の実施の形態に係る携帯電話端末の受信部の概略構成を示すブロック図である。
【図３】楽曲をデータベースへ登録するためのシステムの概略構成を示すブロック図である。
【図４】特徴行列とマスクパターンの説明に用いる図である。
【図５】音楽断片から楽曲を同定するための楽曲同定システムの概略構成を示すブロック図である。
【図６】マッチング方法の流れを示すフローチャートである。
【図７】電子音楽同定配信システムの全体構成を示すシステム構成図である。
【図８】楽曲登録方法の流れを示すフローチャートである。
【図９】楽曲同定方法の流れを示すフローチャートである。
【図１０】楽曲試聴方法の流れを示すフローチャートである。
【図１１】楽曲購入方法の流れを示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明の好ましい実施の形態について、図面を参照しながら説明する。
【００１９】
先ず、第１の発明として携帯端末について述べ、続いて、第２の発明として音楽同定方法について述べ、さらに第３の発明として電子音楽同定配信サービスシステムについて述べる。
【００２０】
第１の発明の携帯端末が適用される一実施の形態としての携帯電話端末の送信部の概要を図１に示し、受信部の概要を図２に示す。
【００２１】
本実施の形態の携帯電話端末の送信部は、一般の携帯電話装置と略々同様の構成を有し、図１に示すように、音響電気変換手段としてのマイクロフォン１、「０」〜「９」までの１０キー、通話開始キー、通話終了キー、電源オン／オフキー等の各種キーや各種メニュー、アイコン、アプリケーションなどの選択用の選択手段（例えばプッシュスイッチ機能を有するジョグダイヤルなどを含む）を備えたキー入力部２、マイクロフォン１により音響電気変換されたアナログ音響信号をディジタル音響信号に変換するＡ／Ｄ変換器４、ディジタル音響信号（例えば通話時の通話音声信号）を符号化する音声用符号化器６、キー入力部２や音声用符号化器６からの信号などを多重化するマルチプレクサ８、電送用の高周波信号への変調を行う変調器９等を備えている。これら各構成要素は、従来の携帯電話装置に搭載されているものと同様であるため、ここではこれらの詳細な動作の説明を省略する。
【００２２】
本実施の形態の携帯電話端末の送信部において、一般の携帯電話装置と異なる独自の部分は、録音ボタン３、スイッチ５、および音楽データ処理部７であり、以下、これらの詳細な動作を説明する。
【００２３】
録音ボタン３は例えばオン（ＯＮ）／オフ（ＯＦＦ）ボタンであり、そのオン／オフ信号はマイクロフォン１の指向性切り換え制御信号とスイッチ５の切り換え制御信号となっている。
【００２４】
当該録音ボタン３がオフ（ＯＦＦ）になされている場合、マイクロフォン１の指向性は電話用として近距離に設定され、また、スイッチ５は音声用符号化器６側に設定される。したがって、当該録音ボタン３がオフになされている場合、マイクロフォン１を通じて入力された音響信号（この場合は通話時の音声信号となる）は、Ａ／Ｄ変換器４によりディジタル化され、音声用符号化器６により符号化されて、通話電送に用いられる音声データ（ディジタルビットストリームデータ）となされ、さらに、変調器９にて高周波信号に変調された後、携帯電話会社の運用システムヘと送信される。またこの通話時において、例えば、キー入力部２が操作者により操作されて当該キー入力部２から番号や動作指令などの入力がなされた場合、そのキー入力信号は、マルチプレクサ６にて上記音声データと組み合わされ、さらに上記変調器９にて高周波信号に変調された後、携帯電話会社の運用システムヘと送信される。以上は、従来の携帯電話の基本動作と全く同じである。
【００２５】
一方、録音ボタン３がオン（ＯＮ）になされた場合、マイクロフォン１の指向性は音楽録音用として遠距離に設定され、また、このときのスイッチ５は音楽データ処理部７側に設定される。これにより、マイクロフォン１を通じて入力された音響信号（この場合は音楽信号となる）は、Ａ／Ｄ変換器４によりディジタル化され、音楽データ処理部７により後述のように圧縮符号化或いは特徴抽出された後にビットストリーム化され、一時記憶部１０に送られて少なくとも所定の時間（例えば数秒間）分蓄積される。当該一時記憶部１０に蓄積された所定の時間分の音楽データに係るビットストリームは、自動的若しくは操作者の操作によるキー入力部２からの読み出し指示信号に応じて読み出されてマルチプレクサ８に送られる。当該マルチプレクサ８には、操作者の操作に応じてキー入力部２から出力された後述する要求信号などが入力され、上記所定時間分の音楽データに係るビットストリームと上記キー入力部２からの信号とが多重化されて変調器９に送られる。変調器９からは、上記通話時と同様に、高周波信号への変調がなされ、携帯電話運用システムヘと送信される。
【００２６】
なお、マイクロフォン１の指向性の調節は、一つのマイクロフォンの指向性を変更する方法でもよいし、指向性の異なる複数のマイクロフォンを切り替えて使用する方法でもよい。上記一時記憶部１０は、一般の携帯電話装置が備えるメモリとは別の大容量のメモリとして新たに設けても良いし、一般の携帯電話装置に設けられているメモリが大容量メモリである場合はそのメモリをそのまま用いても良い。また、上記一時記憶部１０は、後述する受信部のメモリ１８と共用することも可能であり、半導体メモリカードのように取り外し可能なものであっても良い。上記一時記憶部１０として、半導体メモリカードのように取り外し可能なものを用いると、マイクロフォン１により取り込んだ楽曲だけでなく、別の携帯電話端末や携帯型情報処理装置など様々な装置にて取得した楽曲についても、後述するような楽曲名の同定や楽曲の購入等を行えることになる。
【００２７】
上記音楽データ処理部７は、上記一時記憶部１０に蓄積（以下、適宜録音とする）された上記所定時間の短時間音楽データ（以下、音楽断片或いは音楽クリップと呼ぶ）から、その楽曲名の同定に必要となる符号化データを生成、あるいは楽曲名同定に必要となる後述する特微量を抽出するものである。
【００２８】
すなわち本実施の形態において、上記音楽データ処理部７は、以下の第１、第２の構成の何れかを取り得る。
【００２９】
第１の音楽データ処理部７の構成は、例えばいわゆるＭＰＥＧオーディオなどのオーディオ圧縮用符号化器をそのまま用いる構成である。この場合、一時記憶部１０に録音された音楽断片は、上記オーディオ圧縮用符号化器によりそのまま圧縮符号化されて送信され、後述する楽曲同定システムに送られ、当該楽曲同定システムの側で、楽曲名同定に必要な後述する特微量への変換が行われることになる。この例によれば、本実施の形態の携帯電話端末に搭載しなければならない構成が一般的な符号化器のみで良いため、携帯電話端末のコストを低減することが可能となる。同時に、この例の場合、楽曲名同定のための後述する特徴抽出は楽曲同定システム側で行うことになるため、当該特徴抽出のための多量の演算を必要とする精度の高い同定法を導入できることになり、また、自動的に同定できない楽曲については、楽曲同定システム側の人が聞いて確認することもでき、さらに、新たな同定アルゴリズムが開発された場合に旧同定アルゴリズムを当該新たな同定アルゴリズムに置き換えるようなことが容易になる、などの利点がある。
【００３０】
第２の音楽データ処理部７の構成は、当該音楽データ処理部７において後述する特徴抽出法を用いた特徴抽出を行い、その特徴量情報（すなわち例えば特徴ベクトル）を符号化する構成である。この例の場合、当該音楽データ処理部７により得られる特徴量の情報は、第１の構成のような圧縮符号化された音楽データと比べて、そのデータ量は遥かに少なくなる。このため、前記一時記憶部１０の記憶容量（メモリの容量）や、そのデータを電送する際の電送容量、電送時間などを節約できる利点がある。
【００３１】
次に、図２に示した本実施の形態の携帯電話端末の受信部も、従来の携帯電話装置と略々同様の構成を有し、アンテナを介して受信した高周波信号を復調する復調器１１、多重化されたデータを分離するデマルチプレクサ１２、デマルチプレクサ１２により分離された通話用の音声データを復号化する音声用復号化器１５、上記復号化により得られた通話用のディジタル音声データをアナログ音声信号に変換するＤ／Ａ変換器１６、Ｄ／Ａ変換器１６からの通話用アナログ音声信号を放音するスピーカ１７、デマルチプレクサ１２により分離された制御データに含まれる番号や文字等のデータから表示用信号を生成する表示処理部１３、液晶表示デバイス等からなるディレイ１４等を備えている。これら各構成要素は、従来の携帯電話装置に搭載されているものと同様であるため、ここではこれらの詳細な動作の説明を省略する。
【００３２】
一方、本実施の形態の携帯電話端末の受信部において、一般の携帯電話装置と異なる独自の部分は、音楽信号処理系の構成として、メモリ１８、オーディオ用復号化器１９、Ｄ／Ａ変換器２０、スピーカ２１が設けられていることであり、以下、これらの詳細な動作を説明する。
【００３３】
この図２に示す受信部において、前記復調器１１にて復調された受信データに、通話用の音声データとは別の本実施の形態に係る音楽データが含まれている場合、上記デマルチプレクサ１２は、受信データから当該音楽データを分離し、メモリ１８に送る。メモリ１８は、当該音楽データを一時蓄積する。なお、当該メモリ１８は、携帯電話端末に内蔵されているものでも、或いは、半導体メモリカードのように取り外し可能なものであっても良い。メモリ１８として、半導体メモリカードのように取り外し可能なものを用いると、取得した音楽データを他の機器でも再生できて都合がよい。
【００３４】
上記音楽データは、楽曲の全て若しくは十分なデータが受信された後、メモリ１８から読み出されてオーディオ用復号器１９に送られ復号され、さらにＤ／Ａ変換器２０を経てスピーカ２１若しくはヘッドフォンなどにより音として出力される。なお、Ｄ／Ａ変換器２０及びスピーカ２１については、部品点数を減らすためには音声信号処理系のＤ／Ａ変換器１６及びスピーカ１７と共用しても良いが、通話用の音声信号と楽曲用の音楽信号とでは、一般に必要とされる音質が異なる（例えば音楽用は高品質）ため、それぞれ必要とされる音質に応じて別個に設けることが望ましい。
【００３５】
次に、第２の発明としての楽曲名の同定方法について以下に説明する。
【００３６】
本発明に係る楽曲同定方法は、大別して、以下に述べるように、楽曲同定の前段階の処理となる楽曲のデータベースへの登録処理と、登録された楽曲データベースを用いた実際の楽曲同定処理の２つの流れにより行われる。
【００３７】
図３には、本発明に係る楽曲同定方法における上記楽曲のデータベースへの登録処理のためのシステム構成を示す。
【００３８】
図３において、例えばいわゆるコンパクトディスク（ＣＤ）やネットワークなどを介して配布された複数の各楽曲データ３１は、パワースペクトル分析部３３に送られる。パワースペクトル分析部３３は、入力された複数のそれぞれの楽曲データ３１を時間周波数分布に変換し、それぞれ得られた時間周波数分布データを特徴行列生成部３４に送る。
【００３９】
特徴行列生成部３４では、各楽曲に対応する時間周波数分布データを所定の周波数および時間間隔でリサンプリングすることにより、各楽曲にそれぞれ対応した楽曲特徴行列（特徴ベクトル）Ａｆｔを生成する。但し、図４の（ａ）に示すように、上記楽曲特徴行列Ａｆｔの「ｆ」は行列の周波数方向のインデックス（行）、「ｔ」は時間方向のインデックス（列）を表している。これら各楽曲に対応した楽曲特徴行列Ａｆｔのデータは、上記楽曲データ３１と共に配布された各楽曲の楽曲名、演奏家名、楽曲のＩＤ番号などの各楽曲の属性データ３２と対応付けられて、データベース３５に登録される。
【００４０】
次に、図５には、上記登録された楽曲データベースを用いた楽曲同定のためのシステム構成を示す。
【００４１】
この図５において、上述した第１の発明にかかる携帯電話端末やその他の任意の方法で得られた、例えば数秒程度の楽曲の一部分（前記音楽断片）データ４１は、上記図３と同様のパワースペクトル分析部４３に送られ、時間周波数分布に変換される。また、上記図３と同様の特徴行列生成部４４では、パワースペクトル分析部４３からの時間周波数分布データを所定の周波数および時間間隔でリサンプリングし、音楽断片特徴行列（特徴ベクトル）Ｓｆｕを生成する。但し、図４の（ｂ）に示すように、音楽断片特徴行列Ｓｆｕの「ｆ」は上記と同様の行列の周波数方向のインデックス（行）、「ｕ」は時間方向のインデックス（列）を表す。この音楽断片特徴行列Ｓｆｕのデータは、マッチング部４５へ送られる。なお、前記携帯電話端末において特徴量の抽出まで行うようにした場合は、当該図５のパワースペクトル分析部４３及び特徴行列生成部４４と同様の構成が、特徴量抽出のための構成として前記携帯電話端末の音声データ処理部７内に設けられることになる。一方、携帯電話端末にて音楽データの圧縮符号化のみ行い特徴量の抽出を行わない場合は、この図５のパワースペクトル分析部４３に供給される音楽断片のデータ４１として、前記携帯電話端末にて圧縮符号化されて送信されてきたデータを伸長復号化したデータが用いられることになる。
【００４２】
マッチング部４５には、上記データベース３５に登録されている複数の楽曲についての楽曲特徴行列Ａｆｔとそれぞれ対応する楽曲名、演奏家名、楽曲のＩＤ番号などの各楽曲の属性データ３２とからなるデータ４２も入力される。当該マッチング部４５は、データベース３５から得られた複数の楽曲特徴行列Ａｆｔすなわち楽曲特徴ベクトルと、上記特徴行列生成部４４から供給された音楽断片特徴行列Ｓｆｕすなわち音楽断片特徴ベクトルとを用いて、後述の方法によりマッチング（ベクトルマッチング）を行い、それらベクトルの類似度を算出し、上記音楽断片特徴ベクトルと楽曲特徴ベクトルとの間の類似度が所定の閾値を越えているとき、当該楽曲特徴ベクトルに対応する楽曲について、その類似度Ｑ、類似度が最大となる時刻（類似度最大時刻）Ｔ、および属性データ３２からなるデータ４６を出力する。
【００４３】
ここで、上記マッチング部４５でのマッチングは、相互相関を用いて以下のように行う。
【００４４】
図４に示すように、楽曲特徴行列Ａｆｔは、複数の楽曲全曲分の特徴行列であり、音楽断片特徴行列Ｓｆｕは、ある楽曲の一部分の（劣化した）特徴行列となる。原理的には、これらの行列の相互相関が最大となる時刻の相関値を類似度とすればよいが、通例、音楽断片特徴行列Ｓｆｕには雑音が加わっているため、次のような操作を行いノイズ耐性を改善する。
【００４５】
先ず、音楽断片特徴行列Ｓｆｕを、次式（１）により変換する。
【００４６】
Ｓ'ｆｕ＝Ｍｆｕ（Ｓｆｕ−Ｂｆｕ）                (1)
但し、式中のＢｆｕは、定常的なノイズ成分を減ずるための定数行列であり、例えば各周波数成分における最小値などによって作成される。また、式中のＭｆｕは図４の（ｃ）〜図４の（ｅ）に示すように、音楽断片特徴行列Ｓｆｕの一部（各図中ｍで示す部分）をマスクする行列である。図４の（ｃ）に示すマスク行列Ｍｆｕは低周波成分をマスクするための行列であり、これによれば、例えば交通騒音など低周波ノイズが強い場合に、それら低周波ノイズを音楽断片特徴行列Ｓｆｕから除去するのに有効となる。また、図４の（ｄ）に示すマスク行列Ｍｆｕは時間マスクを行うための行列であり、この時間マスクにより、音楽断片特徴行列Ｓｆｕから例えば音楽成分が強い時刻のみを取り出すことで、安定なマッチング処理が実現可能となる。また、図４の（ｅ）に示すマスク行列Ｍｆｕは音声成分をマスクするための行列であり、音楽断片特徴行列Ｓｆｕから音声成分が最も多く含まれる周波数範囲（例えば１００Ｈｚ〜１ｋＨｚ）を除去することで、例えば音声混入があるような場合にその音声成分を除去することが可能となる。この他にも様々なマスクパターンが考えられるが、これらのマスクを切り替えて用い、最も類似度の高いものを選択することで、ノイズ耐性の強い安定なマッチングが行われる。
【００４７】
次に、上記式（１）の変換を用い、各時刻での類似度を次式（２）により計算する。
【００４８】
【数１】
0004788810.tif 000002
【００４９】
さらに、各時刻の類似度のうち最大のもの及びその時刻によって、式（３）、式（４）のように、楽曲と音楽断片の類似度Ｑ及び類似度最大時刻Ｔを求める。
【００５０】
Ｑ＝maxｔＲ(t)             (3)
Ｔ＝argmaxｔＲ(t)          (4)
マッチング部４５では、図６に示す流れで、以上説明したマッチング方法を実現する。
【００５１】
図６において、マッチング部４５には、上述した低周波成分のマスクや時間マスク、音声成分のマスク等の、必要と思われる各種のマスクパターンが予め用意されており、マッチング処理に先立ち、テップＳ５１として、そのうち一つのマスクパターンが選択される。
【００５２】
次に、マッチング部４５では、ステップＳ５２として、全てのマスクパターンについて処理したか否かの判定が行われ、未だ全てのマスクパターンの処理が終了していないと判定した場合はステップＳ５３の処理に進み、用意した全てのマスクパターンの処理が終了したと判定した場合はステップＳ５５の処理に進む。
【００５３】
ステップＳ５２において未だ全てのマスクパターンの処理が終了していないと判定され、ステップＳ５３の処理に進むと、マッチング部４５では、ステップＳ５１で選択されたマスクパターンを用いて相関関数Ｒ(t)を計算し、次のステップＳ５４において、類似度Ｑ、類似度最大時刻Ｔを計算し、得られた値を保存する。その後は、ステップＳ５１に戻り、再びマスクパターンを選択する。
【００５４】
一方、ステップＳ５２において、用意した全てのマスクパターンの処理が終了したと判定され、ステップＳ５５の処理に進むと、マッチング部４５では、上記類似度Ｑの中で最大のものをもって、その楽曲と入力された音楽断片との類似度とする。
【００５５】
次に、上記第１の発明に係る携帯電話端末と上記第２の発明に係る楽曲同定のシステムを用いた、第３の発明である電子音楽同定配信サービス方法及びそのシステムについて、以下に説明する。このシステムの利点は、一つの携帯端末（本実施の形態の携帯電話端末）から楽曲の調査、購入、再生、代金支払いなどが全て行われる点である。
【００５６】
図７には第３の発明である電子音楽同定配信サービスが適用される実施の形態のシステム構成を示し、図８〜図１１を用いて当該システムの運用方法を説明する。なお、図７中の指示符号Ｓ７１，Ｓ７２，Ｓ７５，Ｓ７６，Ｓ７８，Ｓ７９，Ｓ８２〜Ｓ８５，Ｓ９０〜Ｓ９９は、図８〜図１１中の対応する指示符号で表されるステップの処理が行われることを示している。図８には予め行われる楽曲登録段階での処理の流れを示し、図９には楽曲同定段階での処理の流れを、図１０には楽曲試聴段階での処理の流れを、図１１には楽曲購入段階での処理の流れを示す。
【００５７】
図８に示す楽曲登録段階において、先ずステップＳ７１として、楽曲販売者側の楽曲配信システム６４は、楽曲同定に必要なデータ（前記複数の楽曲データとその属性データ）を楽曲同定者側の楽曲同定システム６３に送り、それらデータを受け取った楽曲同定システム６３では、その楽曲同定用の楽曲データから前述したように特徴行列を求め、属性データと対応つけて前記データベースに登録する。また、ステップＳ７２として、楽曲配信システム６４は、楽曲の試聴時に必要なデータ（複数の試聴用の楽曲データと各試聴用の楽曲データのＩＤ等）を楽曲同定システム６３に送り、当該楽曲同定システム６３では、その楽曲試聴用データをデータベースに登録する。なお、ステップＳ７１とＳ７２の処理は同時に行ってもよく、また、ステップＳ７１の処理後にステップＳ７２の処理を行っても良い。
【００５８】
次に、図９に示す楽曲同定段階において、先ずステップＳ７３として、楽曲購入者側の携帯電話端末６１は、当該端末の操作者によって前記録音ボタン３がオン操作されると、そのオン操作時点で例えば放送番組中やコマーシャルメッセージ中に演奏されたり街頭で流されている楽曲の一部分(音楽断片)を録音する。また、ステップＳ７４として、携帯電話端末６１は、前記音楽データ処理部７により、その音楽断片のデータに対して前述のように圧縮符号化若しくは特徴抽出を行う。
【００５９】
次に、ステップＳ７５として、携帯電話端末６１は、携帯電話運用者側の携帯電話運用システム６２に対して、キー入力部２からのキー入力に応じて生成された楽曲同定要求と共に、上記特徴抽出されたデータを送信し、さらに、ステップＳ７６として、携帯電話運用システム６２は、その楽曲同定要求と上記特徴抽出されたデータをそのまま楽曲同定者側の楽曲同定システム６３に送信する。
【００６０】
上記楽曲同定要求と上記圧縮符号化データ若しくは特徴抽出されたデータを受け取った楽曲同定システム６３は、ステップＳ７７として、前記第２の発明で説明したようにして特徴ベクトルを用いた楽曲同定の処理（候補となる楽曲の検索）を行う。なお、携帯電話端末６１側の音楽データ処理部７において、音楽断片の録音から特徴抽出までの処理を行っている場合、上記楽曲同定システム６３では、携帯電話端末６１から送られてきた特徴ベクトルを用いた前記マッチングにより楽曲同定を行うことになる。また、携帯電話端末６１側の音楽データ処理部７において、音楽断片の録音から音楽データの圧縮符号化処理までしか行っていない場合、上記楽曲同定システム６３では、上記携帯電話端末６１から送られてくる圧縮符号化された音楽データを復号してから前述した特徴抽出を行い、さらにマッチングにより楽曲同定を行うことになる。上記楽曲同定処理が終了すると、当該楽曲同定システム６３は、ステップＳ７８として、その楽曲同定処理により得られた候補となる楽曲に関するデータ（楽曲名や演奏家名、楽曲のＩＤ番号など）を、携帯電話運用システム６２に送信し、さらに、ステップＳ７９として、携帯電話運用システム６２は、その候補楽曲についてのデータをそのまま携帯電話端末６１に送信する。
【００６１】
上記候補楽曲についてのデータを受け取った携帯電話端末６１では、ステップＳ８０として、当該端末の操作者（楽曲購入者）により前記キー入力部２に対して候補楽曲を試聴することの要否を指示するための所定の入力操作がなされたか否かの判断を行う。このステップＳ８０において、操作者から候補楽曲を試聴することの指示入力がなされた場合（試聴する場合（Ｙ））は、図１０に示す楽曲試聴段階の処理へ進み、一方、操作者から楽曲を試聴しないことの指示入力がなされた場合（試聴しない場合（Ｎ））は、処理を終了する。
【００６２】
図１０に示す楽曲試聴段階へ進むと、先ず、ステップＳ８１として、携帯電話端末６１では、端末操作者（楽曲購入者）により前記キー入力部２に対して試聴用の楽曲を選択するための所定の入力操作がなされると、その入力操作に応じた試聴用の楽曲の選択を行う。
【００６３】
次に、ステップＳ８２として、携帯電話端末６１は、携帯電話運用システム６２に対して、前記キー入力部２からのキー入力に応じて生成された楽曲試聴要求を送信し、さらに、携帯電話運用システム６２は、ステップＳ８３として、その楽曲試聴要求をそのまま楽曲同定システム６３に送信する。
【００６４】
上記楽曲試聴要求を受け取った楽曲同定システム６３は、ステップＳ８４として、上記楽曲試聴要求に応じた試聴用データを携帯電話運用システム６２へ送信し、さらに、携帯電話運用システム６２は、ステップＳ８５として、その試聴用データをそのまま携帯電話端末６１に送信する。このときの携帯電話端末６１では、上記試聴用データを前記メモリ１８に蓄積する。
【００６５】
次に、ステップＳ８６として、上記試聴用データの提供を受けた携帯電話端末６１では、当該端末の操作者（楽曲購入者）により前記キー入力部２に対して当該試聴用の楽曲を試聴する旨の所定の入力操作がなされると、その入力操作に応じて前記メモリ１８に蓄積された試聴用の楽曲データをオーディオ用復号化器１９に送り、当該試聴用の楽曲データを復号し、さらにＤ／Ａ変換器２０を介してスピーカ２１に送る。これにより、当該携帯電話端末６１の操作者（楽曲購入者）は、上記試聴用の楽曲を聴くことができる。
【００６６】
その後、携帯電話端末６１では、ステップＳ８７として、当該端末の操作者（楽曲購入者）により前記キー入力部２に対して他の楽曲を試聴することの要否を指示するための所定の入力操作がなされたか否かの判断を行う。このステップＳ８７において、操作者から他の楽曲を試聴することの指示入力がなされた場合（試聴する場合（Ｙ））は、ステップＳ８１の試聴曲の選択の処理に戻り、一方、操作者から他の楽曲を試聴しないことの指示入力がなされた場合（試聴しない場合（Ｎ））は、ステップＳ８８の処理に進む。
【００６７】
ステップＳ８８の処理に進むと、携帯電話端末６１では、操作者（楽曲購入者）によりキー入力部２に対してその試聴した楽曲を購入することの要否を指示するための所定の入力操作がなされたか否かの判断を行う。このステップＳ８８において、操作者から当該試聴した楽曲を購入することの指示入力がなされた場合（Ｙ）は、図１１に示す楽曲購入段階へ進み、一方、操作者から当該試聴した楽曲を購入しないことの指示入力がなされた場合（Ｎ）は、処理を終了する。
【００６８】
図１１に示す楽曲購入段階へ進むと、先ずステップＳ８９として、携帯電話端末６１では、端末操作者（楽曲購入者）によりキー入力部２に対して購入楽曲を選択するための所定の入力操作がなされると、その入力操作に応じた楽曲選択を行う。
【００６９】
次に、ステップＳ９０として、携帯電話端末６１は、上記選択された楽曲の購入意思を示す楽曲購入要求を携帯電話運用システム６２に対して送信し、さらに、ステップＳ９１として、携帯電話運用システム６２は、その楽曲購入要求をそのまま楽曲販売者側の楽曲配信システム６４に送信する。
【００７０】
上記楽曲購入要求を受け取った楽曲販売システム６４は、ステップＳ９２として、当該楽曲購入要求に応じた楽曲データを携帯電話運用システム６２へ送信し、さらに、携帯電話運用システム６２は、ステップＳ９３として、その楽曲データをそのまま携帯電話端末６１に送信する。なお、このときの携帯電話端末６１では、上記楽曲データがメモリ１８に蓄積される。その後、当該端末操作者（楽曲購入者）によりキー入力部２に対して当該楽曲を再生する旨の所定の入力操作がなされると、携帯電話端末６１は、その入力操作に応じて前記メモリ１８に蓄積された楽曲データをオーディオ用復号化器１９に送り、当該楽曲データを復号し、さらにＤ／Ａ変換器２０を介してスピーカ２１に送る。これにより、当該携帯電話端末６１の操作者（楽曲購入者）は、上記購入した楽曲を聴くことができる。
【００７１】
ここで、上述のように楽曲の同定や配信が行われた場合、その楽曲の同定や購入の代金は、楽曲購入者が楽曲同定者や楽曲配信者に直接或いは銀行振込、インターネット経由のクレジットカード精算等により支払うことも可能であるが、本発明実施の形態の電子音楽同定配信システムでは、代金支払いの一括化のために、上記携帯電話運用者を通じて支払うようにしている。
【００７２】
先ず、ステップＳ９４として、楽曲同定者側の楽曲同定システム６３は、前述した楽曲の同定のための代金請求情報を、電話運用者側の携帯電話運用システム６２に対して送る。このときの携帯電話運用システム６２の電話運用者は、ステップＳ９５として、その代金を楽曲購入者に代行して上記楽曲同定者に支払う。なお、この場合の代金支払い方法としては、例えば電話運用者の銀行口座から楽曲同定者の銀行口座に代金が振り込まれるような電子決済処理を行い、その決済が行われたことを示す情報を、携帯電話運用システム６２或いは銀行より、楽曲同定者側の楽曲同定システム６３に送るようにしても良い。
【００７３】
同様に、ステップＳ９６として、楽曲販売者側の楽曲配信システム６４は、前述のように配信した楽曲の代金請求情報を、電話運用者側の携帯電話運用システム６２に対して送る。このときの携帯電話運用システム６２の電話運用者は、ステップＳ９７として、その代金を楽曲購入者に代行して上記楽曲配信者に支払う。なお、この場合の代金支払い方法としては、例えば電話運用者の銀行口座から楽曲配信者の銀行口座に代金が振り込まれるような電子決済処理を行い、その決済が行われたことを示す情報を、携帯電話運用システム６２或いは銀行より、楽曲配信者側の楽曲配信システム６４に送るようにしても良い。
【００７４】
次に、ステップＳ９８として、携帯電話運用システム６２は、上記楽曲同定者や楽曲配信者に対して上記代行して支払った金額を通話料などに加算して、上記携帯電話端末６１の使用者（楽曲購入者）に対して請求する。その後、ステップＳ９９として、当該携帯電話端末６１の使用者（楽曲購入者）は、上記楽曲同定代金や楽曲配信代金が加算された通話料を、上記電話運用者に対して、直接或いは銀行振込、インターネット経由のクレジットカード精算等により一括或いは分割して支払う。なお、携帯電話端末６１の使用者（楽曲購入者）と電話運用者との間の通話料の支払いについても、上述同様に、例えば携帯電話端末６１の使用者（楽曲購入者）の銀行口座から電話運用者の銀行口座に代金が振り込まれるような電子決済処理を行い、その決済が行われたことを示す情報を、携帯電話端末６１或いは銀行より、電話運用者側の携帯電話運用システム６２に送るようなことも可能である。
【００７５】
以上により、代金精算の処理が完了する。
【００７６】
本実施の形態では、説明の便宜上、楽曲同定者と楽曲販売者を別物として説明したが、もちろん、楽曲販売者自身が同定サービスを行っても同様のことが実現される。また、説明の便宜上、試聴用の楽曲データは、同定者が提供するよう説明したが、この部分は販売者が行っても本質的な差異が生じないのは明らかである。
【００７７】
さらに、本実施の形態では、楽曲データの配信を受けた後に、同定代金と楽曲購入代金を支払うようにしているが、楽曲同定のみが行われ、楽曲購入が行われなかった場合には、上記楽曲同定の代金のみを請求することも可能であるし、また、楽曲同定については無料サービスとすることもできる。
【００７８】
また、本発明実施の形態では、携帯電話端末を例に挙げているが、本発明は、いわゆるパームトップ型コンピュータのような携帯型情報処理端末であっても適用可能である。但し、本発明では、上述したように音楽の録音、楽曲同定、楽曲配信、購入、再生などの全てを一台の携帯電話端末において実現することにより、携帯型情報処理端末を不要とし、さらに、いわゆる携帯型のオーディオ記録再生装置をも不要としている。
【００７９】
以上説明したように、本発明実施の形態によれば、テレビジョン放送やラジオ放送等、街頭放送等により流れている音楽の一部分から、楽曲候補の検索を行うことができ、さらに、該楽曲候補の試聴、楽曲名の同定、楽曲の購入、楽曲の再生を、一台の携帯電話端末により行うことが可能となっている。すなわち、本発明実施の形態によれば、テレビジョン放送やラジオ放送等、街頭放送等により流れている音楽の調査を容易に行え、その楽曲を容易に入手可能となり、したがって、購入者は楽曲を同定できずに購入をあきらめることが減り、また購入のための時間や労力を著しく節約することが可能となる。
【産業上の利用可能性】
【００８０】
以上の説明からも明らかなように、本発明によれば、携帯電話端末において、音響電気変換手段を介して取り込まれた音楽データを録音し、その録音された音楽データを圧縮符号化、若しくは、録音された音楽データから当該音楽の楽曲名を同定するための特徴量を抽出して楽曲同定・配信側に送り、楽曲同定・配信側において、その圧縮符号化若しくは抽出された特徴量から楽曲の候補を検索し、その候補の楽曲の試聴用データを携帯電話端末に送り、携帯電話端末での試聴の結果、購入の決定された楽曲を、楽曲同定・配信側から携帯電話端末に送り、携帯電話運用側において、試聴した楽曲と購入した楽曲に応じた課金を行うことにより、例えば演奏、再生、放送などがされている楽曲の一部断片であっても、その楽曲を容易に同定及び入手（例えば購入）可能であり、また、その楽曲の代金の支払い、楽曲の再生等をも同時に可能となる。
【符号の説明】
【００８１】
１  マイクロフォン、  ２  キー入力部、  ３  録音ボタン、  ４  Ａ／Ｄ変換器、  ５  スイッチ、  ６  音声用符号化器、  ７  音楽データ処理部、  ８  マルチプレクサ、  ９  変調器、  １０  一時記憶部、  １１  復調器、  １２  デマルチプレクサ、  １３  表示処理部、  １４  ディスプレイ、  １５  音声用復号化器、  １６，２０  Ｄ／Ａ変換器、  １７，２１  スピーカ、  １８  メモリ、  １９  オーディオ用復号化器、  ３３，４３  パワースペクトル分析部、  ３４，４４  特徴行列生成部、  ３５  データベース、  ４５  マッチング部、  ６１  携帯電話端末、  ６２  携帯電話運用システム、  ６３  楽曲同定システム、  ６４  楽曲配信システム
【図１】
0004788810.tif 000003
【図２】
0004788810.tif 000004
【図３】
0004788810.tif 000005
【図４】
0004788810.tif 000006
【図５】
0004788810.tif 000007
【図６】
0004788810.tif 000008
【図７】
0004788810.tif 000009
【図８】
0004788810.tif 000010
【図９】
0004788810.tif 000011
【図１０】
0004788810.tif 000012
【図１１】
0004788810.tif 000013