(57)【要約】【課題】効果的にメタデータを生成する技術を提供する。【解決手段】メタデータ生成装置において、低レベルメタデータ抽出部１２０は、コンテンツデータから低レベルのメタデータを抽出し、中レベルメタデータ抽出部１４０は、低レベルのメタデータから、中レベルのメタデータを抽出する。ビート特徴量解析部１２２および時間−音程解析部１２４は、同一の音楽データ１１２ａから、それぞれ低レベルメタデータを抽出する。ビート情報抽出部１４２および中レベル音楽特徴量抽出部１４４は、ビート特徴量解析部１２２および時間−音程解析部１２４で抽出された低レベルメタデータから、それぞれ中レベルメタデータを抽出する。【選択図】図５
2008192102.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツデータから第１レベルのメタデータを抽出する第１メタデータ抽出部と、
第１レベルのメタデータから、第２レベルのメタデータを抽出する第２メタデータ抽出部とを備えて、コンテンツに関連するメタデータを階層的に生成するメタデータ生成装置であって、
前記第１メタデータ抽出部は、コンテンツデータに含まれる第１データから、複数種類の第１レベルのメタデータを抽出し、
前記第２メタデータ抽出部は、複数種類の第１レベルのメタデータから、第２レベルのメタデータを抽出することを特徴とするメタデータ生成装置。
【請求項２】
第２レベルのメタデータから、第３レベルのメタデータを抽出する第３メタデータ抽出部をさらに備えることを特徴とする請求項１に記載のメタデータ生成装置。
【請求項３】
前記第１メタデータ抽出部は、コンテンツデータに含まれる第１データと、第１データとは種類の異なる第２データから、複数種類の第１レベルのメタデータを抽出し、
前記第２メタデータ抽出部は、前記第１メタデータ抽出部においてコンテンツデータに含まれる異なる種類の第１データおよび第２データをもとに抽出された複数種類のメタデータから、第２レベルのメタデータを抽出することを特徴とする請求項１に記載のメタデータ生成装置。
【請求項４】
前記第１メタデータ抽出部は、コンテンツデータに含まれる第１データと、第１データとは種類の異なる第２データから、複数種類の第１レベルのメタデータを抽出し、
前記第２メタデータ抽出部は、前記第１メタデータ抽出部においてコンテンツデータに含まれる異なる種類の第１データおよび第２データをもとに抽出された複数種類のメタデータから、複数種類の第２レベルのメタデータを抽出し、
前記第３メタデータ抽出部は、前記第２メタデータ抽出部において抽出された複数種類の第２レベルのメタデータから、第３レベルのメタデータを抽出することを特徴とする請求項２に記載のメタデータ生成装置。
【請求項５】
コンテンツデータから第１レベルのメタデータを抽出するステップと、
第１レベルのメタデータから、第２レベルのメタデータを抽出するステップとを備えて、コンテンツに関連するメタデータを階層的に生成するメタデータ生成方法であって、
第１レベルのメタデータを抽出するステップは、コンテンツデータに含まれる１種類のデータから、複数種類の第１レベルのメタデータを抽出し、
第２レベルのメタデータを抽出するステップは、複数種類の第１レベルのメタデータから、１種類の第２レベルのメタデータを抽出する
ことを特徴とするメタデータ生成方法。
【請求項６】
コンピュータに、
コンテンツデータに含まれる１種類のデータから、複数種類の第１レベルのメタデータを抽出する機能と、
複数種類の第１レベルのメタデータから、１種類の第２レベルのメタデータを抽出する機能と、を実現させて、コンテンツに関連するメタデータを階層的に生成させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツのメタデータを生成する技術に関する。
【背景技術】
【０００２】
メタデータとはコンテンツの関連情報であり、コンテンツの作成日時や作成者、データ形式、タイトルなどのコンテンツ付随情報を示すことが多い。たとえばＭＰ３（MPEG1 Aidio Layer-3）ファイルには、ＩＤ３タグと呼ばれる規格により、曲名やアーティスト名などをテキストデータとして記述した書誌情報が埋め込まれている。最近、ＩＤ３タグによる記入サイズが拡張されて、記入できる項目が増加し、画像データを含めることも可能となっている。
【０００３】
また近年では、音楽データを解析して、音楽の特徴量を解析して抽出しようとする試みがなされている。音楽の特徴量であるリズムなどをメタデータとして抽出することで、音楽をジャンル分けするような処理も可能になる。このように１つのコンテンツから、様々な種類のメタデータを抽出することが可能であり、メタデータの種類が増えることで、メタデータを利用した様々なアプリケーションの実現が可能となる。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
メタデータをアプリケーションに応用するためには、メタデータの抽出精度を高めることが好ましい。たとえば、ＭＰ３ファイルからは、音楽の特徴量から導出されるメタデータと、またＩＤ３タグに記述されたメタデータとを抽出することができるが、これらのメタデータはそれぞれ独立に存在しているのであって、それらを統合して処理する試みはなされていない。本発明者は、独立して存在しているコンテンツデータやメタデータを、互いに関連づけて処理することにより、メタデータを効果的に生成できる技術を開発するに至った。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明のある態様のメタデータ生成装置は、コンテンツデータから第１レベルのメタデータを抽出する第１メタデータ抽出部と、第１レベルのメタデータから、第２レベルのメタデータを抽出する第２メタデータ抽出部とを備えて、コンテンツに関連するメタデータを階層的に生成する。このメタデータ生成装置において、前記第１メタデータ抽出部は、コンテンツデータに含まれる第１データから、複数種類の第１レベルのメタデータを抽出し、前記第２メタデータ抽出部は、複数種類の第１レベルのメタデータから、第２レベルのメタデータを抽出する。
【０００６】
本発明の別の態様のメタデータ生成方法は、コンテンツデータから第１レベルのメタデータを抽出するステップと、第１レベルのメタデータから、第２レベルのメタデータを抽出するステップとを備えて、コンテンツに関連するメタデータを階層的に生成するメタデータ生成方法に関する。この方法において、第１レベルのメタデータを抽出するステップは、コンテンツデータに含まれる１種類のデータから、複数種類の第１レベルのメタデータを抽出し、第２レベルのメタデータを抽出するステップは、複数種類の第１レベルのメタデータから、１種類の第２レベルのメタデータを抽出する。
【０００７】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００８】
本発明によると、メタデータを効果的に生成する技術を提供することができる。
【発明を実施するための最良の形態】
【０００９】
図１は、本発明の実施例にかかる情報処理システムの使用環境を示す。情報処理システム１は、アプリケーションを実行する情報処理装置１０と、情報処理装置１０における処理結果を出力する表示機器１２とを備える。表示機器１２は、画像を出力するディスプレイ部を有して構成され、さらに音声を出力する音声出力部を有するテレビであってよい。表示機器１２は、情報処理装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。情報処理システム１において、情報処理装置１０は、ケーブル１４を介してインターネットなどの外部ネットワークに接続する。なお、無線通信により外部ネットワークへの接続が行われてもよい。情報処理装置１０は、ゲームデータが記録されたメディアを装着されて、そのゲームデータを実行し、ゲームアプリケーションの処理結果を示す画像信号および音声信号を生成するゲーム装置であってよい。
【００１０】
本実施例において情報処理装置１０は、外部ネットワークに接続するコンテンツ提供サーバから、音楽ファイルや映像ファイルなどのコンテンツデータを受信して、再生する機能を有する。コンテンツデータは、ファイル形式のデータであってもよく、またストリーミング形式のデータであってもよい。コンテンツデータとして、たとえば評論家による音楽アルバムの評論ファイルなどが含まれてもよい。なおコンテンツデータは、ネットワーク経由ではなく、光ディスクや光磁気ディスク、ブルーレイディスクなどの記録メディアから供給されてもよい。情報処理装置１０は、取得したコンテンツデータから、コンテンツに関連するメタデータを階層的に生成するメタデータ生成装置として機能する。情報処理装置１０は、従来にない新しいメタデータを抽出する機能ももつ。情報処理装置１０は、コンテンツデータを大容量の補助記憶装置に一旦記憶し、このコンテンツデータからメタデータを生成すると、コンテンツデータとは別にメタデータファイルを補助記憶装置に記憶する。生成されたメタデータは、コンテンツデータの検索などに利用される。
【００１１】
図２は、本発明の実施例にかかるコンテンツ配信システムを示す。コンテンツ配信システム２では、インターネットなどのネットワーク１６を介して、ユーザ端末である情報処理装置１０と、コンテンツ提供者が保有する端末であるコンテンツ提供サーバ１８ａ、１８ｂ、１８ｃ（以後、総称して「コンテンツ提供サーバ１８」とよぶ）とが通信可能に接続される。コンテンツ提供者は、コンテンツデータをコンテンツ提供サーバ１８に保存して、情報処理装置１０が、コンテンツデータをコンテンツ提供サーバ１８からダウンロードできるようにする。
【００１２】
情報処理装置１０は、ユーザから操作されることにより、所望のコンテンツデータを保持するコンテンツ提供サーバ１８にアクセスし、そのコンテンツデータをダウンロードする。コンテンツ提供サーバ１８は、たとえば複数曲が入った音楽アルバムのデジタルコンテンツを保持しており、ユーザは、料金を支払うことで、所望のアルバムファイルを取得できる。情報処理装置１０は、コンテンツ提供サーバ１８からダウンロードしたコンテンツデータを、補助記憶装置の所定の領域に格納する。
【００１３】
図３は、情報処理装置１０の機能ブロック図を示す。情報処理装置１０は、電源ボタン２０、ＬＥＤ２２、システムコントローラ２４、デバイスコントローラ３０、メディアドライブ３２、ハードディスクドライブ３４、スイッチ３６、無線インタフェース３８、メインコントローラ１００、メインメモリ１０２および出力処理部２００を有して構成される。
【００１４】
電源ボタン２０は、ユーザからの操作入力が行われる入力部であって、情報処理装置１０への電源供給をオンまたはオフするために操作される。電源ボタン２０は押下ボタンであってよく、押下されることで電源のオンまたはオフが制御されてもよい。なお電源ボタン２０は、タッチセンサなど、ユーザが電源のオンオフを行える他の構造をとってもよい。ＬＥＤ２２は、電源のオンまたはオフの状態を点灯表示する。システムコントローラ２４は、電源ボタン２０の押下状態または非押下状態を検出し、電源オフの状態から押下状態への状態遷移を検出すると、メインコントローラ１００を起動し、またＬＥＤ２２を点灯制御する。情報処理装置１０に電源ケーブルが差し込まれている場合、システムコントローラ２４は、電源オフの状態であってもスタンバイモードを維持して、電源ボタン２０の押下を監視する。
【００１５】
デバイスコントローラ３０は、サウスブリッジのようにデバイス間の情報の受け渡しを実行するＬＳＩ（Large-Scale Integrated Circuit）として構成される。図示のように、デバイスコントローラ３０には、システムコントローラ２４、メディアドライブ３２、ハードディスクドライブ３４、スイッチ３６およびメインコントローラ１００などのデバイスが接続される。デバイスコントローラ３０は、それぞれのデバイスの電気特性の違いやデータ転送速度の差を吸収し、データ転送のタイミングを制御する。
【００１６】
メディアドライブ３２は、アプリケーションデータを記録したメディア５０を装着して駆動し、メディア５０からアプリケーションデータを読み出すドライブ装置である。メディア５０は、光ディスクや光磁気ディスク、ブルーレイディスクなどの読出専用の記録メディアであってよい。
【００１７】
ハードディスクドライブ３４は、内蔵ハードディスクを駆動し、磁気ヘッドを用いてデータの書込／読出を行う補助記憶装置である。コンテンツ提供サーバ１８からダウンロードされるコンテンツデータおよびメディア５０から供給されるコンテンツデータは、ハードディスクドライブ３４に格納される。スイッチ３６は、イーサネットスイッチ（イーサネットは登録商標）であって、外部の機器と有線または無線で接続して、情報の送受信を行うデバイスである。本実施例では、スイッチ３６にケーブル１４が差し込まれ、ネットワーク１６に通信可能に接続している。さらにスイッチ３６は無線インタフェース３８に接続し、無線インタフェース３８は、Bluetooth（登録商標）プロトコルやIEEE802.11プロトコルなどの通信プロトコルで無線通信機能をもつ無線コントローラ４０と接続する。無線コントローラ４０は、ユーザからの操作入力が行われる入力部として機能する。
【００１８】
メインコントローラ１００は、マルチコアＣＰＵを備え、１つのＣＰＵの中に１つの汎用的なプロセッサコアと、複数のシンプルなプロセッサコアを有する。汎用プロセッサコアをＰＰＵ（Power Processing Unit）と呼び、残りのプロセッサコアをＳＰＵ（Synergistic-Processing Unit）と呼ぶ。
【００１９】
メインコントローラ１００は、主記憶装置であるメインメモリ１０２に接続するメモリコントローラを備える。ＰＰＵはレジスタを有し、演算実行主体としてメインプロセッサを備えて、各アプリケーションにおける基本処理単位としてのタスクを各ＳＰＵに効率的に割り当てる。なお、ＰＰＵ自身がタスクを実行してもよい。ＳＰＵはレジスタを有し、演算実行主体としてのサブプロセッサとローカルな記憶領域としてのローカルメモリ（専用ＲＡＭ）を備える。ＳＰＵは制御ユニットとして専用のＤＭＡ（Direct Memory Access）コントローラをもち、メインメモリ１０２とローカルメモリの間のデータ転送を行うことで、データを高速にストリーム処理でき、また出力処理部２００に内蔵されるフレームメモリとローカルメモリの間で高速なデータ転送を実現できる。
【００２０】
出力処理部２００は、表示機器１２に接続されて、アプリケーションの処理結果である映像信号および音声信号を出力する。出力処理部２００は、画像処理機能を実現するＧＰＵ（Graphics Processing Unit）を備える。ＧＰＵは、ＨＤＭＩ（High Definition Multimedia Interface）を採用し、アナログを介さずに、映像信号をデジタル出力できる。
【００２１】
図４は、メタデータ生成処理を実行するメインコントローラ１００の内部構成を示す。メインコントローラ１００は、低レベルメタデータ抽出部１２０、中レベルメタデータ抽出部１４０および高レベルメタデータ抽出部１６０を備える。図４において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。既述したように、メインコントローラ１００には１つのＰＰＵと複数のＳＰＵとが設けられており、ＰＰＵおよびＳＰＵがそれぞれ単独または協同して、各機能ブロックを構成できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００２２】
低レベルメタデータ抽出部１２０、中レベルメタデータ抽出部１４０および高レベルメタデータ抽出部１６０は、コンテンツデータ１１０ａ、１１０ｂ（以下、総称する場合は「コンテンツデータ１１０」と呼ぶ）から階層的なメタデータを抽出する。低レベルメタデータ抽出部１２０は、コンテンツデータ１１０に含まれるデータを直接利用して、低レベル（１次レベル）のメタデータを抽出する。中レベルメタデータ抽出部１４０は、低レベルメタデータ抽出部１２０で抽出された低レベルメタデータを利用して、中レベル（２次レベル）のメタデータを抽出する。高レベルメタデータ抽出部１６０は、中レベルメタデータ抽出部１４０で抽出された中レベルメタデータを利用して、高レベル（３次レベル）のメタデータを抽出する。このように、メインコントローラ１００は、段階的（階層的）にメタデータを生成し、コンテンツデータの検索などに有用なメタデータを高精度に生成する。本実施例におけるメタデータの階層化は、信号処理の観点からいえば、各階層におけるメタデータのレベルが揃うように、解析処理、認識処理、理解処理の順に実行される。なお、解析処理から認識処理までを１階層、すなわち１次レベルと設定してもよく、この場合は、メタデータが２階層で抽出されることになる。
【００２３】
まず低レベルメタデータ抽出部１２０は、解析処理を実行し、コンテンツデータを物理量として解析した低レベルのメタデータを抽出する。低レベルメタデータ抽出部１２０は、信号処理を実行して、複数のコンテンツデータ１１０ａ、１１０ｂから、低レベルメタデータを抽出してもよい。ここで、複数のコンテンツデータ１１０のうち、１つのコンテンツデータ１１０ａが、メタデータの作成対象として存在し、他のコンテンツデータ１１０ｂなどが、コンテンツデータ１１０ａ用のメタデータを作成するための補助的なデータとして利用されてもよい。たとえば、コンテンツデータ１１０ａが、音楽データを圧縮したＭＰ３ファイルであり、一方、コンテンツデータ１１０ｂが、その音楽に対する評論のテキストファイルである場合、コンテンツデータ１１０ｂは、コンテンツデータ１１０ａの音楽データに対するメタデータを作成するために利用されてもよい。なお、この場合に、コンテンツデータ１１０ａが、コンテンツデータ１１０ｂのメタデータを作成するために利用されることも可能である。
【００２４】
ＭＰ３ファイルは、圧縮された音楽データに加えて、ＩＤ３タグと呼ばれる規格により、曲名やアーティスト名などのテキストデータを含み、さらに、音楽アルバムのジャケット写真の画像データを含むこともある。本実施例の情報処理装置１０において、低レベルメタデータ抽出部１２０は、ＭＰ３ファイルから、３種類のデータ、すなわち音楽データ、テキストデータおよび画像データを取得し、それぞれのデータから低レベルメタデータを抽出する。このとき低レベルメタデータ抽出部１２０は、ＭＰ３ファイルに含まれる１種類のデータから、複数種類の低レベルメタデータを抽出してもよい。たとえば低レベルメタデータ抽出部１２０は、圧縮された音楽データから、複数種類の低レベルメタデータを抽出してもよく、またテキストデータから、複数種類の低レベルメタデータを抽出してもよい。
【００２５】
低レベルメタデータ抽出部１２０は、音楽データに対して高速フーリエ変換などの信号処理を施すことで、時間−音程解析を実行することができ、物理量としての音程解析結果を低レベルのメタデータとして抽出できる。また同様に音楽データのビート特徴量を解析することも可能であり、これにより音楽中の音の変化位置を解析できる。このビート特徴量も、低レベルのメタデータとして抽出される。また、低レベルメタデータ抽出部１２０は、テキストデータを形態素解析することで、低レベルのメタデータを抽出でき、さらに画像データを画像解析することで、低レベルのメタデータを抽出できる。
【００２６】
次に、中レベルメタデータ抽出部１４０は、認識処理を実行し、低レベルのメタデータをユニークに変換することで、中レベルのメタデータを抽出する。たとえば、音程解析結果をある単位のセグメントごとに分割して認識処理することで、メインの楽器や声などの高さ、大きさなどの音楽特徴量が中レベルのメタデータとして抽出される。また、ビート特徴量から、より高精度なビート情報が中レベルのメタデータとして抽出される。解析処理において、１つの音楽データから、音程解析結果とビート特徴量とが低レベルメタデータとして抽出されている場合、これらを相互に利用して、より高精度な中レベルの音楽特徴量および／またはビート情報を抽出することも可能である。また、認識処理では、低レベルメタデータ抽出部１２０における形態素解析の結果から、キーワードや、文章中の構文を中レベルメタデータとして抽出することができ、また、中レベルメタデータ抽出部１４０における画像解析の結果から、画像中に含まれる人の数や、明るさ（雰囲気）などの画像特徴量を中レベルメタデータとして抽出することもできる。
【００２７】
高レベルメタデータ抽出部１６０は、理解処理を実行し、中レベルのメタデータから、クラス化した高レベルのメタデータ、換言するとシンボリック化した高レベルのメタデータを抽出する。たとえば、音楽特徴量やビート情報などから、その音楽のジャンルや、楽器の有無などが高レベルのメタデータとして抽出される。また、抽出したキーワードや構文から、楽曲やキーワードの関係を高レベルメタデータとして抽出することができ、また、中レベルの画像特徴量から特定した人の顔などを高レベルメタデータとして抽出することができる。
【００２８】
メインコントローラ１００において、コンテンツデータ１１０ａ、１１０ｂに含まれる複数種類のデータから、複数種類の低レベルのメタデータが抽出され、また、これらから複数種類の中レベルのメタデータが生成される。高レベルメタデータ抽出部１６０は、異なる種類の中レベルのメタデータから、たとえば高レベルの音楽特徴量を抽出することも可能である。このように、音楽データ、テキストデータおよび／または画像データなど、異なる種類のデータを起原として生成された中レベルのメタデータを統合して処理し、１種類の高レベルのメタデータを抽出することで、高レベルメタデータの生成精度を高めることが可能となる。
【００２９】
図５は、図４に示すメインコントローラ１００の詳細を示す。図５において、メインコントローラ１００は、ＭＰ３ファイルであるコンテンツデータ１１０ａおよび音楽評論のテキストデータであるコンテンツデータ１１０ｂから、階層的にメタデータを生成する。ＭＰ３ファイルは、圧縮された音楽データ１１２ａ、ＪＰＥＧ記録されたジャケット写真画像データ１１２ｂ、およびテキストデータで記述された音楽書誌データ１１２ｃを含む。なお、ジャケット写真画像データ１１２ｂおよび／または音楽書誌データ１１２ｃについては、ネットワーク１６上のコンテンツ提供サーバ１８から、ＭＰ３ファイルとは別にダウンロードされたファイルであってもよい。
【００３０】
低レベルメタデータ抽出部１２０は、ビート特徴量解析部１２２、時間−音程解析部１２４、画像解析部１２６、形態素解析部１２８および形態素解析部１３０を備え、コンテンツデータを物理量として解析した低レベルのメタデータを抽出する。ビート特徴量解析部１２２および時間−音程解析部１２４は、情報圧縮された音楽データ１１２ａをデコードしてモノラル処理した音楽信号から、低レベルメタデータを抽出する。画像解析部１２６は、ジャケット写真画像データ１１２ｂから低レベルメタデータを抽出し、同様に、形態素解析部１２８および形態素解析部１３０は、それぞれ音楽書誌データ１１２ｃおよび音楽評論データ１１２ｄから低レベルメタデータを抽出する。低レベルメタデータ抽出部１２０において、ビート特徴量解析部１２２および時間−音程解析部１２４が、音楽データ１１２ａから、それぞれメタデータを抽出する。これにより、コンテンツデータ１１０ａに含まれる音楽データ１１２ａから、複数のメタデータを抽出することになり、多面的な低レベルメタデータの取得を実現できるとともに、後段の中レベルおよび高レベルのメタデータの抽出精度を高めることができる。また、低レベルメタデータ抽出部１２０において、それぞれ種類の異なる音楽データ１１２ａ、ジャケット写真画像データ１１２ｂ、音楽書誌データ１１２ｃおよび音楽評論データ１１２ｄから、複数の低レベルのメタデータを抽出することで、後段の中レベルおよび高レベルのメタデータの抽出精度を高めることもできる。
【００３１】
ビート特徴量解析部１２２は、情報圧縮された音楽データ１１２ａをデコードしてモノラル処理した音楽信号を、楽器特徴量に応じた帯域に音楽信号を分割する。次に、ビート信号に対応する帯域を選択して平滑化することにより、音のアタックタイムとリリースタイムの候補位置を求め、各帯域の自己相関関数から基本周期を求める。これにより、ビート特徴量解析部１２２は、ビート特徴量を抽出する。
【００３２】
時間−音程解析部１２４は、情報圧縮された音楽データ１１２ａをデコードしてモノラル処理した音楽信号を、短時間のインターバルで周波数分析し、時間−周波数の特徴量を求める。この周波数分析には、たとえば高速フーリエ変換（ＦＦＴ）器、またはバンドパスフィルタの集合体であるフィルタバンクが利用されてもよい。時間−音程解析部１２４は、４４．１ｋＨｚのサンプリング周波数のデジタル信号を音程に対応した帯域で分割した後、１〜２０ｍｓのインターバルで標本化して、時間−周波数（音程）特徴量を抽出する。
【００３３】
画像解析部１２６は、ジャケット写真画像データ１１２ｂから、オブジェクトセグメンテーション処理を実行し、ジャケット写真中のオブジェクトの解析を行う。また画像解析部１２６は、色解析処理を行い、色相ヒストグラムを求めてもよい。従来、ジャケット写真画像データ１１２ｂの画像解析結果をメタデータとして利用するものはないが、本実施例の情報処理システム１では、これを新たに低レベルのメタデータとして取り扱うことで、メタデータの種類を増やすことができ、中レベル以降のメタデータ抽出処理における選択肢を広げることができる。
【００３４】
形態素解析部１２８は、音楽書誌データ１１２ｃから、書誌データを抽出する。たとえば書誌データには、アルバムタイトル、アーティスト名、楽曲名、作詞者、作曲者、レーベル名、ジャンルなどが含まれてもよい。形態素解析部１３０は、音楽評論データ１１２ｄを形態素解析して、形態素を品詞に分類する。ここで音楽評論データ１１２ｄは、音楽評論家により、ＭＰ３ファイルに含まれる音楽アルバムを評論、批評したテキストデータであるものとする。なお音楽評論データ１１２ｄを処理する形態素解析部１３０は複数設けられてもよい。その場合、それぞれの形態素解析部は、解析結果を異ならせるように、異なる辞書などを利用して形態素解析を実行してもよい。これにより、様々な形態素解析を実行することができ、後段のキーワード抽出部１５０が、異なる解析結果をもとに、バリエーションに富んだキーワードを抽出することが可能となる。なお同様に、音楽書誌データ１１２ｃを処理する形態素解析部１２８が複数設けられてもよい。
【００３５】
このように低レベルメタデータ抽出部１２０は、様々なコンテンツデータを物理量として解析した低レベルのメタデータを複数抽出することで、後段の中レベルメタデータ抽出部１４０および高レベルメタデータ抽出部１６０におけるメタデータ抽出処理の選択肢の幅を広げることができるとともに、低レベルメタデータの組合せをダイナミックに変更することも可能とする。
【００３６】
中レベルメタデータ抽出部１４０は、ビート情報抽出部１４２、中レベル音楽特徴量抽出部１４４、画像特徴量抽出部１４６、キーワード抽出部１４８およびキーワード抽出部１５０を備え、低レベルメタデータをユニークに変換した中レベルのメタデータを生成する。ビート情報抽出部１４２は、音楽データ１１２ａから抽出されたビート特徴量および時間−音程特徴量から、中レベルのメタデータを抽出する。中レベル音楽特徴量抽出部１４４も同様に、音楽データ１１２ａから抽出されたビート特徴量および時間−音程特徴量から、中レベルのメタデータを抽出する。ビート情報抽出部１４２および中レベル音楽特徴量抽出部１４４は、１つの音楽データ１１２ａから抽出された異なる種類の低レベルメタデータをもとに、それぞれ中レベルのメタデータを生成する。複数種類の低レベルメタデータを利用することで、生成する中レベルメタデータの正確度を高めることができる。画像特徴量抽出部１４６は、画像解析部１２６で解析された画像解析データから、中レベルのメタデータを抽出する。キーワード抽出部１４８は、形態素解析部１２８による形態素解析データから中レベルのメタデータを抽出する。同様にキーワード抽出部１５０は、形態素解析部１３０による形態素解析データから中レベルのメタデータを抽出する。
【００３７】
ビート情報抽出部１４２は、ビート特徴量解析部１２２で抽出されたビート特徴量と、時間−音程解析部１２４で抽出された時間−音程特徴量から、音楽信号のビート位置を高精度に抽出する。ビート特徴量として音楽の基本周期が抽出され、また時間−音程特徴量として時間ごとの音程量が抽出されているため、ビート情報抽出部１４２は、抽出された基本周期を、時間ごとの音程量で補正等することで、正確なビート位置を抽出することができる。ビート情報抽出部１４２で抽出されたビート位置は、後段の高レベル音楽特徴量抽出部１６２に供給される。なお、抽出されたビート位置は、異なる音楽同士をつなげるリミックス処理に利用されてもよい。正確なビート位置を抽出することで、なめらかなリミックス処理を実現できる。
【００３８】
中レベル音楽特徴量抽出部１４４は、ビート特徴量解析部１２２で抽出されたビート特徴量と、時間−音程解析部１２４で抽出された時間−音程特徴量から、音符情報や、小節ごとの音の強さやテンポ、楽曲構造などの中レベル音楽特徴量を抽出する。従来、これらの中レベル音楽特徴量は、時間−音程解析部１２４により抽出された時間−音楽特徴量のみから導出されていたが、中レベル音楽特徴量抽出部１４４は、ビート特徴量として抽出された音楽の基本周期をさらに利用することで、楽曲構造や、テンポなどの抽出精度を高めることが可能となる。
【００３９】
画像特徴量抽出部１４６は、画像解析部１２６で抽出された画像解析データから、オブジェクトの位置、大きさ、色相などの画像特徴量を抽出する。
【００４０】
キーワード抽出部１４８は、形態素解析部１２８で抽出された形態素解析データから、キーワードを抽出する。またキーワード抽出部１５０も、形態素解析部１３０で抽出された形態素解析データから、キーワードを抽出する。キーワード抽出部１５０は、たとえば音楽評論に一般に使用される用語をテーブルとして保持している。そのような用語は、「バラード」、「聴きやすい」、「落ち着く」などのキーワードであってもよく、キーワード抽出部１５０は、テーブルに含まれる用語を、形態素解析部１３０で抽出された形態素解析データから抽出する。
【００４１】
高レベルメタデータ抽出部１６０は、高レベル音楽特徴量抽出部１６２、顔抽出部１６４および評価抽出部１６６を備える。高レベルメタデータ抽出部１６０は、ビート情報抽出部１４２、中レベル音楽特徴量抽出部１４４、画像特徴量抽出部１４６およびキーワード抽出部１４８で抽出された中レベルメタデータから、高レベルのメタデータを抽出する。顔抽出部１６４は、画像特徴量抽出部１４６で抽出された中レベルメタデータから高レベルのメタデータを抽出する。評価抽出部１６６は、キーワード抽出部１４８およびキーワード抽出部１５０で抽出された中レベルメタデータから高レベルのメタデータを抽出する。
【００４２】
高レベルメタデータ抽出部１６０は、高レベルの音楽特徴量として、音楽のジャンル、楽器音、ムード、音質、速さ、音の良さなどの音楽全体に対する特徴量を高レベルメタデータとして抽出する。また、高レベル特徴量として、全体のエネルギに対するリズム楽器のエネルギの割合であったり、また単位時間あたりの音符数などを抽出することもできる。高レベルメタデータ抽出部１６０は、ビート情報抽出部１４２、中レベル音楽特徴量抽出部１４４、画像特徴量抽出部１４６およびキーワード抽出部１４８で抽出された中レベルメタデータを受け取ることで、高レベル音楽特徴量を高精度に抽出する。
【００４３】
たとえば高レベル音楽特徴量抽出部１６２は、ビート情報抽出部１４２から供給される正確なビート情報および中レベル音楽特徴量抽出部１４４から供給される正確な中レベル音楽特徴量から、楽曲構造やテンポなどを高精度に把握でき、したがって、音楽の速さやムードなどを正確に推定し抽出することができる。また、高レベル音楽特徴量抽出部１６２は、これらの中レベルメタデータから、音楽のジャンルを推定して抽出することもできる。またジャンルについていえば、キーワード抽出部１４８から供給されるキーワードにジャンルが含まれており、推定したジャンルと、キーワードに含まれたジャンルとから、新たに正確なジャンルを決定してもよい。たとえば、キーワードとして「バラード」のジャンルが抽出されていた場合であっても、楽曲構造やテンポなどから、若干激しいロック調の音楽であることが推定された場合には、その音楽のジャンルをロックとして高レベル音楽特徴量を抽出してもよい。なお、この場合に、バラードとロックの間のジャンル、たとえばポップをジャンルとして抽出してもよい。このように、書誌データと、実際の音楽を解析、認識処理した結果を突き合わせることで、高精度なメタデータを抽出することが可能となる。また、画像特徴量抽出部１４６から供給される画像特徴量により、たとえばジャケット写真に明るい色が使用されている場合には、高レベル音楽特徴量抽出部１６２が、楽しい音楽であろうことを推測し、他の要素、たとえばテンポや使用される楽器などから、明るい曲調の音楽であるとして高レベル音楽特徴量を抽出してもよい。従来では、ジャケット写真の色調や、それに含まれるオブジェクトの特徴量などを、メタデータとして利用する試みはなされていなかった。一方、本実施例では、高レベル音楽特徴量抽出部１６２が、画像特徴量抽出部１４６から供給される画像特徴量も含めて高レベルのメタデータを生成することで、新しいメタデータを抽出できるだけでなく、メタデータの抽出精度を高めることが可能となる。
【００４４】
顔抽出部１６４は、画像特徴量から顔を抽出する。たとえば、この抽出結果は、たとえば顔認識処理などにより、抽出された顔が誰であるかを判別するアプリケーションで利用されてもよい。
【００４５】
評価抽出部１６６は、キーワード抽出部１４８およびキーワード抽出部１５０で抽出されたキーワードを関連づける。たとえば音楽評論データ１１２ｄに、同一アーティストによるアルバムリストなどが含まれている場合は、音楽書誌データ１１２ｃにおける書誌データとアルバムリストが紐付けられる処理が行われてもよい。
【００４６】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００４７】
実施例ではＭＰ３の音楽ファイルのメタデータを生成する例について説明したが、コンテンツデータは、これに限らず、単なる音声ファイルであってもよく、また動画データであってもよく、さらにいえば、メタデータを作成する必要がある対象全てが含まれてもよい。
【００４８】
実施例では、情報処理装置１０がメタデータ生成装置として機能する例について説明したが、たとえばコンテンツ提供サーバ１８が、メタデータ生成装置として機能してもよい。この場合、コンテンツ提供サーバ１８は、コンテンツデータとともに、コンテンツデータから生成したメタデータを情報処理装置１０に配信してもよい。
【図面の簡単な説明】
【００４９】
【図１】本発明の実施例にかかる情報処理システムの使用環境を示す図である。
【図２】本発明の実施例にかかるコンテンツ配信システムを示す図である。
【図３】情報処理装置の機能ブロック図を示す図である。
【図４】メタデータ生成処理を実行するメインコントローラの内部構成を示す図である。
【図５】図４に示すメインコントローラの詳細を示す図である。
【符号の説明】
【００５０】
１・・・情報処理システム、１０・・・情報処理装置、１２・・・表示機器、１００・・・メインコントローラ、１１０・・・コンテンツデータ、１１２ａ・・・音楽データ、１１２ｂ・・・ジャケット写真画像データ、１１２ｃ・・・音楽書誌データ、１１２ｄ・・・音楽評論データ、１２０・・・低レベルメタデータ抽出部、１２２・・・ビート特徴量解析部、１２４・・・時間−音程解析部、１２６・・・画像解析部、１２８・・・形態素解析部、１３０・・・形態素解析部、１４０・・・中レベルメタデータ抽出部、１４２・・・ビート情報抽出部、１４４・・・中レベル音楽特徴量抽出部、１４６・・・画像特徴量抽出部、１４８・・・キーワード抽出部、１５０・・・キーワード抽出部、１６０・・・高レベルメタデータ抽出部、１６２・・・高レベル音楽特徴量抽出部、１６４・・・顔抽出部、１６６・・・評価抽出部。
【図１】
2008192102.tif 000003
【図２】
2008192102.tif 000004
【図３】
2008192102.tif 000005
【図４】
2008192102.tif 000006
【図５】
2008192102.tif 000007