(57)【要約】【課題】  テレビジョン放送等のコンテンツに音楽データが含まれる際、音楽認識手段による音楽データをディスプレイにリアルタイム表示する。【解決手段】  楽曲データ表示システム１は、チューナ３が受信したテレビジョン放送等のコンテンツに含まれる音楽情報を特徴量情報抽出装置４によって特徴量情報を抽出し、インターネット１１を解してサーバ９に送信する。サーバ９は音楽情報データベース１０に含まれる音楽データとマッチングを行って楽曲を認識し、楽曲に対応する曲名情報やアーティスト情報などを認識結果として特徴量情報抽出装置４に送信する。特徴量情報抽出装置４が受信した認識結果は元の音楽情報を含むコンテンツと関連付けられて記憶装置５に記録される。記憶装置５に記録されたコンテンツを再生する際には、音楽がスピーカ１３から出力されると同時にディスプレイ１２に認識結果が表示される。【選択図】  図１
2006190027.tif 000002
【特許請求の範囲】
【請求項１】
音楽データを含むＡＶデータから前記音楽データに関連する音楽データ関連情報を抽出する音楽データ関連情報抽出手段と、
該音楽データ関連情報抽出手段により抽出された音楽データ関連情報を検索キーとして外部から楽曲に関する楽曲情報を取得する楽曲情報取得手段と、
該楽曲情報取得手段により取得された楽曲情報と、前記ＡＶデータと、を関連付けして記憶する記憶手段と
を有することを特徴とする情報処理装置。
【請求項２】
前記ＡＶデータを再生する際に、前記記憶手段に前記ＡＶデータと関連して記憶されている前記楽曲情報を出力する出力制御手段を備えたことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記ＡＶデータと前記楽曲情報とを合成する情報合成手段と、
該情報合成手段により合成された情報を出力する出力手段と
を有することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記楽曲情報取得手段は、前記音楽データ関連情報から音楽データを特徴付ける特徴量情報を抽出する特徴量情報抽出手段を有し、
楽曲データ群を蓄積する音楽情報データベースとインターネットを介して交信することで、前記特徴量情報と前記音楽情報データベースに蓄積された楽曲データ群とのマッチングを行って前記音声データに適合する楽曲データを取得することを特徴とする請求項１から３までのいずれか１項に記載の情報処理装置。
【請求項５】
音楽データを含むＡＶデータから前記音楽データに関連する音楽データ関連情報を抽出する音楽データ関連情報抽出手段と、
該音楽データ関連情報抽出手段により抽出された音楽データ関連情報を検索キーとして外部から楽曲に関する楽曲情報を取得する楽曲情報取得手段であって前記音楽データ関連情報から音楽データを特徴付ける特徴量情報を抽出する特徴量情報抽出手段を有する楽曲情報取得手段と、
該楽曲情報取得手段により取得された楽曲情報と、前記ＡＶデータと、を関連付けして記憶する記憶手段と、を有する情報処理装置と； 
楽曲データ群を蓄積する音楽情報データベースと；を有し、
前記情報処理装置からインターネットを介して前記音楽情報データベースと交信することにより、前記特徴量情報と前記音楽情報データベースに蓄積された楽曲データ群とのマッチングを行って前記音声データに適合する楽曲データを取得することを特徴とする情報処理システム。
【請求項６】
音楽データを含むＡＶデータから前記音楽データに関連する音楽データ関連情報を抽出するステップと、
抽出された前記音楽データ関連情報を検索キーとして外部から楽曲に関する楽曲情報を取得するステップと、
取得された前記楽曲情報と、前記ＡＶデータと、を関連付けして記憶するステップと、
前記ＡＶデータを再生する際に、記憶されている前記ＡＶデータと関連して記憶されている前記楽曲情報を出力するステップと
を有することを特徴とする情報処理方法。
【請求項７】
前記楽曲情報を取得するステップは、
楽曲データ群を蓄積する音楽情報データベースとインターネットを介して交信することにより、音楽情報データベースに蓄積された楽曲データ群から、前記楽曲情報に基づいて適合する楽曲データを取得するステップを有することを特徴とする請求項６に記載の情報処理方法。
【請求項８】
請求項６又は７に記載のステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音楽認識手段を用いた、画像および音声の受信・表示手段を含む情報処理装置に関する。
【背景技術】
【０００２】
従来、放送局等から送信されたテレビ番組などのコンテンツ中には音楽データが多く含まれている。コンテンツ中の音楽データは、音楽番組中の音楽のように音楽がメインのデータの場合もあるが、たとえばコマーシャルソングやドラマの挿入歌などのように、音楽がメインでないデータの場合もある。音楽がメインでないデータにおいては、曲名やアーティスト名などの情報が流れている音楽と一緒にテレビの画面に表示されないことが多く、流れている音楽に関心を持ったテレビの視聴者が即座に曲名やアーティスト名を探すのは困難であった。
【０００３】
一方、音楽データを元に楽曲名等の特定や既知の音楽との異動の判定などを行う音楽認識システムが普及している。この音楽認識システムは、インターネット等に接続され音楽情報のデータベースを有するサーバと、視聴者が利用する受信システムに設けられインターネットを介してサーバと交信する認識装置とを有し、放送局からチューナが受信した放送コンテンツ中に含まれる音楽データから抽出した特徴量情報をサーバに送り、サーバが特徴量情報とデータベースに蓄積された音楽情報とのマッチングを行い、音楽データの曲名やアーティスト名を抽出して認識結果を認識装置に送信する（たとえば、特許文献１参照）。
【０００４】
【特許文献１】特開２００２−２５８８７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載する手段においては、音楽認識システムがサーバと交信してコンテンツの認識結果を受信するまでにある程度の時間を要するため、視聴者側に音楽が流れてから曲名やアーティスト名が画面に表示されるまでに一定のタイムラグが発生する。そのため、曲名やアーティスト名が画面に表示されたときには既に音楽が終わっていたり、次の音楽が流れていたりする事態が生ずる。かかる問題は視聴者がビデオ録画したテレビ番組等のコンテンツを音楽認識システムによって認識させながら視聴する場合にも生じ、ビデオを視聴する視聴者が曲名やアーティスト名を知る際の利便性を損ねることになる。
【０００６】
本発明は上記の事情に基づいてなされたものであり、本発明の目的は、放送コンテンツ中に含まれる音楽データの曲名情報やアーティスト情報などを、音楽データの出力とのリアルタイム性を持って画面に表示することができる楽曲データ表示システム（情報処理装置を含む。）および楽曲データ表示方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一観点によれば、音楽データを含むＡＶデータから前記音楽データに関連する音楽データ関連情報を抽出する音楽データ関連情報抽出手段と、該音楽データ関連情報抽出手段により抽出された音楽データ関連情報を検索キーとして外部から楽曲に関する楽曲情報を取得する楽曲情報取得手段と、該楽曲情報取得手段により取得された楽曲情報と、前記ＡＶデータと、を関連付けして記憶する記憶手段とを有することを特徴とする情報処理装置が提供される。
【０００８】
前記ＡＶデータを再生する際に、前記記憶手段に前記ＡＶデータと関連して記憶されている前記楽曲情報を出力する出力制御手段を備えるのが好ましい。前記ＡＶデータと前記楽曲情報とを合成する情報合成手段と、該情報合成手段により合成された情報を出力する出力手段とを有することが好ましい。
【０００９】
尚、前記楽曲情報取得手段は、前記音楽データ関連情報から音楽データを特徴付ける特徴量情報を抽出する特徴量情報抽出手段を有し、楽曲データ群を蓄積する音楽情報データベースとインターネットを介して交信することで、前記特徴量情報と前記音楽情報データベースに蓄積された楽曲データ群とのマッチングを行うことで、前記音声データに適合する楽曲データを取得することができる。
【発明の効果】
【００１０】
本発明によれば、放送コンテンツ中に含まれる音楽データの曲名情報やアーティスト情報などを、ＡＶデータの出力と同時に出力することができ、リアルタイム性を確保することが可能となる。
【発明を実施するための最良の形態】
【００１１】
本発明に一実施の形態による情報処理技術について図面を参照しつつ説明を行う。図１は、本発明の一実施の形態による情報処理装置を含む楽曲データ表示システムの全体構成図である。楽曲データ表示システム１は、アンテナ２と、チューナ３と、特徴量情報抽出装置４と、記憶装置５と、第１セレクタ６と、第２セレクタ７と、ＯＳＤ（On Screen Display）部８と、サーバ９と、音楽情報データベース１０と、ディスプレイ１２と、スピーカ１３とを備えている。楽曲データ表示システム１のうち、特徴量情報抽出装置４と、記憶装置５と、第１セレクタ６と、第２セレクタ７と、ＯＳＤ部８と、チューナ３と、ディスプレイ１２と、スピーカ１３とは、インターネット１１に接続可能なテレビジョン受像機に設けられており、一方、サーバ９と、音楽情報データベース１０とは、インターネット１１上にテレビジョン受像機と交信可能に設けられている。
【００１２】
アンテナ２は、アナログ放送や、BSディジタル放送や、CSディジタル放送など、地上波放送や衛星放送など、放送局から送信された各種の無線放送信号を受信する。ただし、テレビジョン受信機が光ケーブル等から放送を受信する場合にはアンテナ２を備えていなくてもよい。チューナ３は、アンテナ２が受信した放送局からの放送信号を受け、放送信号中から所望のチャンネルの信号を検波して元の画像データや音声データに復調する。特徴量情報抽出装置４は、チューナ３から出力された音声データの特徴量情報を抽出し、特徴量情報をもとにサーバ９と交信を行う。
【００１３】
図２に、特徴量情報抽出装置４の構成ブロック図を示す。特徴量情報抽出装置４は、音楽受信部４１と、Ａ／Ｄ変換部４２と、正規化処理部４３と、特徴量抽出部４４と、情報送信部４５と、情報受信部４６とを有している。音楽受信部４１は、チューナ３や記憶装置５から音声データをアナログ信号として受信する。Ａ／Ｄ変換部４２は、アナログ信号の音声データを量子化してディジタル信号に変換する。正規化処理部４３は、ディジタル化された音声データのピーク値が一定の値になるように信号の大きさを調節する正規化処理を行う。特徴量抽出部４４は、正規化された音声データの中から特徴量を抽出する。特徴量抽出部４４が抽出する特徴量としては、たとえば音声データ中のピーク値の出現率や出現間隔など、伝送時のデータ量が少なくて済み、音楽を高い確率で特定できる情報を用いる。情報送信部４５は、特徴量抽出部４４が抽出した特徴量情報を、インターネット１１を介してサーバ９に送信する。情報受信部４６は、サーバ９から、後述する楽曲データを受信する。
【００１４】
図１に戻り、記憶装置５は、ハードディスクドライブ等の大容量のデータ記録媒体であり、チューナ３が受信し検波したテレビジョン放送の画像データや音声データなどをファイル形式の記録データとして記憶する。また、画像データや音声データに関連する楽曲データも、対象の画像データや音声データに関連付けられた形で、記録データとして記憶される。
【００１５】
第１セレクタ６はデータ選択用のマルチプレクサであり、２の入力部と１の出力部を有し、テレビジョン受像機に設けられた切替スイッチ（図示せず）などにより入力された制御信号に基づいて、入力部に入力された信号のうちいずれか一方を選択し出力部に出力する。入力部には特徴量情報抽出装置４から出力されたデータと記憶装置５から出力された記録データとがそれぞれ入力されており、いずれか一方のデータをＯＳＤ部８に供給する。
【００１６】
第２セレクタ７もデータ選択用のマルチプレクサであり、２の入力部と１の出力部を有し、切替スイッチ（図示せず）などの制御信号に基づいて、入力部に入力された信号のうちいずれか一方を選択し出力部に出力する。入力部にはチューナ９から出力されたデータと記憶装置５から出力されたデータとがそれぞれ入力されており、いずれか一方のデータをＯＳＤ部８に供給する。
【００１７】
ＯＳＤ部８はディスプレイ１２に表示される情報を制御する制御機構の一部であって、ディスプレイ１２上の一部分に画像データとともに文字情報や記号情報などのデータを表示する。ＯＳＤ部８は、特徴量情報抽出装置４がサーバ９から受信した認識結果を文字情報や図形情報としてディスプレイ１２に表示する。なお、ＯＳＤ部８によるディスプレイ１２における表示の態様は、画面の一部に画像データとは別の表示領域（たとえば画面の下端部近傍や左右端部近傍に設けられた、画像データとは別個の表示領域）を形成する態様でもよいし、ディスプレイ１２に表示された画像データ上にオーバーラップさせる態様であってもよい。
【００１８】
ディスプレイ１２はブラウン管や液晶やＴＦＴなどの各種画像表示用機器であり、チューナ３が受信し復調したテレビジョン放送や、記憶装置５から出力された記録データや、ＯＳＤ部８から出力された文字情報や図形情報などを表示する。スピーカ１３は、チューナ３が受信し復調したテレビジョン放送や、記憶装置５から出力された記録データなどに含まれる音声データを音声に変換し出力する。サーバ９は、ネットワークサーバとしての機能を有し、インターネット１１を介して視聴者の利用するテレビ受像機等の特徴量情報抽出装置４と交信する。また、サーバ９は、特徴量情報抽出装置４から送信された特徴量情報をもとに音楽情報データベース１０に記憶された楽曲データ群とのマッチングを行い、特徴量情報抽出装置４から受信した特徴上情報に係る楽曲の認識を行う。サーバ９が行った認識の結果、適合する楽曲のデータとして音楽情報データベース１０から抽出された楽曲データは、インターネット１１を介して特徴量情報抽出装置４に送信される。
【００１９】
音楽情報データベース１０は、アナログレコードやＣＤ（コンパクトディスク）、ＤＶＤ（Digital Versatile Disk）などのメディアを通じて世界各国で発売され頒布されている主要な音楽のデータが楽曲データ群として蓄積されている。蓄積された楽曲データ群には、音情報と、各音楽の歌手名や奏者名や作編曲者名など音楽を製作したアーティストに関する情報、ＣＤ等のメディアを発売したレコード会社名やレーベル名等のＣＤ等の関連情報、アーティストのコンサート情報などアーティスト関連情報が記録されている。音情報は、ＣＤやＤＶＤに記録された音源がそのままディジタル情報として記録されていてもよいが、サーバ９においてマッチング処理が行いやすくなるように、特徴量情報に変換されて記録されていてもよい。
【００２０】
図３に、本実施の形態に係る楽曲データ表示システム１を用い、記憶装置５に記録されたデータを再生した場合のディスプレイ１２の表示態様の模式図を示す。図３の模式図においては、画像データとして風景（遠景の山）が表示されている際に、特定アーティストの音楽がＢＧＭとして流れている状態を示している。ディスプレイ１２の大半部分には、画像データである風景が表示され、ディスプレイ１２の右下方に設けられた四角枠の中には、楽曲データとして、現在スピーカ１３から出力されている楽曲の曲名情報や、楽曲のＣＤ発売元であるレコード会社情報が表示されている。
【００２１】
以上、本実施の形態による情報処理技術を用いることにより、放送コンテンツ中に含まれる音楽データの曲名情報やアーティスト情報などを、スピーカからの音楽データの出力とのリアルタイム性をもってディスプレイに表示することができる。
【産業上の利用可能性】
【００２２】
本発明は、音楽に関する情報処理技術に適用可能である。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施の形態に係る楽曲データ表示システムの全体構成図である。
【図２】楽曲データ表示システムの特徴量情報抽出部の構成図である。
【図３】楽曲データ表示システムを用いたディスプレイの表示模式図である。
【符号の説明】
【００２４】
１・・・楽曲データ表示システム（情報処理装置）、３・・・チューナ、４・・・特徴量情報抽出装置、８・・・ＯＳＤ部、９・・・サーバ、１０・・・音楽情報データベース、１１・・・インターネット、１２・・・ディスプレイ。
【図１】
2006190027.tif 000003
【図２】
2006190027.tif 000004
【図３】
2006190027.tif 000005