(57)【要約】  ユーザーに音楽に関連付けられたビジュアル効果を共有することを許容するため、本発明は、オーディオデータを処理する方法と装置を提供する。一実施形態では、ビジュアル効果を提供する装置（３）が提案され、それは、オーディオデータと関連付けられたビジュアルデータを定義する情報を取得する、第１ユニット（３１）と、前記情報とオーディオデータを統合し統合データを生成する、第２ユニット（３２）とを有する。他の実施形態では、ビジュアル効果を抽出する装置が提案され、統合データを受信するインターフェース（５０）とビジュアル効果を定義する情報を統合データから抽出する第１ユニット（５１）を有する。ビジュアル効果はオーディオデータに統合されるので、ユーザーは、自分のビジュアル効果を、オーディオデータを伝達することにより共有することができる。
2013505474.tif 000002
【特許請求の範囲】
【請求項１】
オーディオデータを処理する装置であって：
-ビジュアル効果を定義する情報を取得する第１ユニットであって、前記ビジュアル効果はオーディオデータの特性と関連付けられており；及び
-前記情報を前記オーディオデータと統合し、統合データを生成する第２ユニット；
を有する、装置。
【請求項２】
前記オーディオデータはデジタルフォーマットであり、前記第２ユニットは、電子透かし技術を使用して、前記情報と前記オーディオデータを統合する、請求項１記載の装置。
【請求項３】
-前記統合データを出力する第３ユニット；及び
-前記統合データを保存する第４ユニット、
のうち少なくとも１つを更に有する、請求項１又は２に記載の装置。
【請求項４】
-前記統合データが前記第３ユニットによって出力されるか、前記第４ユニットに保存される前に、前記統合データをアナログフォーマットに変換するコンバーター；
-前記統合データがエンコードされていないフォーマットの場合は、前記統合データが前記第三ユニットによって出力されるか、前記第４ユニットに保存される前に、前記統合データをエンコードするオーディオエンコーダー；及び
-前記統合データがエンコードされたフォーマットの場合は、前記統合データが前記第３ユニットによって出力されるか、前記第４ユニットに保存される前に、前記統合データをデコードするオーディオデコーダー；
のうち少なくとも１つを更に有する、請求項３に記載の装置。
【請求項５】
前記第１ユニットは：
-前記情報を受信するインターフェース；及び
-前記オーディオデータの特性を取得するために前記オーディオデータを分析し、その分析結果に従って前記情報を決定する第５ユニット；
のうち少なくとも１つを有する、請求項１又は２に記載の装置。
【請求項６】
前記ビジュアル効果は、カラー効果を有する、請求項１又は２に記載の装置。
【請求項７】
オーディオデータを処理する装置であって：
-統合データを受信するインターフェースであって、前記統合データは、前記オーディオデータとビジュアル効果を定義する情報とを有し、前記ビジュアル効果は前記オーディオデータの特性と関連付けられており；及び
-前記情報を前記統合データから抽出する第１ユニット、
を有する、装置。
【請求項８】
前記情報は、前記オーディオデータと電子透かし技術を使用して統合され、前記第１ユニットは、電子透かし技術を使用してさらに前記情報を抽出するのに使用され；
前記インターフェースによって受信された前記統合データがアナログフォーマットのときは、前記装置は：
-前記情報が、前記第１ユニットによって前記統合データから抽出される前に、前記統合データをアナログフォーマットに変換するコンバーター；
を更に有する、請求項７に記載の装置。
【請求項９】
-前記オーディオデータを再生する第２ユニット；及び
-前記オーディオデータが再生されるときに、前記ビジュアル効果を前記情報に従って提示する、第３ユニット、
を有する、請求項７に記載の装置。
【請求項１０】
-オーディオデータを分析し、音楽データの特性を取得する、第４ユニット；及び
-前記第４ユニットによって取得された分析結果と、前記第１ユニットによって抽出された情報に従って、全体的なビジュアル効果を決定する、第５ユニット；
を有し、
-前記第３ユニットは、さらに、前記全体的なビジュアル効果を提示するために使用される、
請求項９に記載の装置。
【請求項１１】
前記ビジュアル効果は、カラー効果を有する、請求項７乃至１０のいずれか１つに記載の装置。
【請求項１２】
オーディオデータを処理する方法であって：
-ビジュアル効果を定義する情報を取得するステップであり、前記ビジュアル効果は前記オーディオデータの特性と関連付けられており；及び
-前記情報を前記オーディオデータと統合して統合データを生成するステップ；
を有する方法。
【請求項１３】
オーディオデータを処理する方法であって：
-統合データを受信するステップであって、前記統合データは、前記オーディオデータとビジュアル効果を定義する情報を有し、前記ビジュアル効果は前記オーディオデータの特性と関連づけられており；
-前記情報を前記統合データから抽出するステップ；
-前記オーディオデータを再生するステップ；及び
-前記オーディオデータが再生されるときは、前記情報に従って、前記ビジュアル効果を提示するステップ；
を有する、方法。
【請求項１４】
ビジュアル効果を定義する情報に統合されたオーディオデータを有し、前記ビジュアル効果は、前記オーディオデータの特性と関連付けられている、
信号。
【請求項１５】
請求項１４に記載された信号を記録した、記録担持体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理、特にオーディオデータ処理に関する。
【背景技術】
【０００２】
従来、人々は音響的方法だけで音楽を楽しんでいた。近年、ビジュアル効果が人々に与える影響が、その音楽鑑賞体験を向上させるということが実証されてきている。それゆえ、ビジュアル効果は重要である。これらのビジュアル効果は、少なくとも部分的には、音楽の音量、周波数そしてテンポといった音楽の特性に関連している。例えば、音楽が再生されるとき、ウィンドウズ（登録商標）メディアプレーヤーのような音楽プレーヤーは、ユーザーに対し、音楽のテンポに従った、波形、ファイヤーワークス、又は移動曲線の効果を表示できる。
【０００３】
ビジュアル効果を音楽を聴く人に提示可能にする技術は、既に知られている。例えば、図１は、音楽に基づいたライト効果（light  effects）生成システム１を示し、再生される音楽に応じてライト効果を生成する。システム１の入力は、音楽源１０によって提供される。例えば、音楽源１０は、アナログオーディオ信号をイヤーフォンソケットによって出力するＭＰ３プレーヤーである。それ以外でも、音楽源１０は音楽ＣＤの１トラックであって、その音楽ＣＤは、ＣＤ−ＲＯＭドライバーによってシステム１によって読み出されデジタル信号を供給する。はじめに、音楽特性分析器１１は、アナログ又はデジタル信号をロードして分析し、音量、周波数、及びテンポなどの音楽特性を取得する。次に、ライト効果の２つの要因、即ち、光の輝度と点滅の方法が、得られた特性に基づいてライト効果関連付け手段１２によって決定される。音楽特性をライト効果と結びつける既定の関連付けるルールＲに従って、例えば、高い音量は、高い輝度に対応し、早いテンポは、点滅の高い周波数に対応する。その後、決定されたライト効果は、ライト効果コントローラー１３により使用され、ライト効果生成器１４を構成し、それは、最終的に、望ましいライト効果を生成する。一方、サウンド生成器１５は、音楽源からのアナログ又はデジタル音楽信号をロードし、その音楽を再生する。生成されるライト効果は、ユーザーの音楽鑑賞体験を向上させる。そうした音楽ベースのライト効果生成システム２０２の例が、スピーカー２０１や表面発光素子２０２を備えたスピーカーシステム２０であり、図２に示される。図１に示される原理に関しては、ＭＰ３プレーヤー２１は音楽源である。スピーカー２０１は、サウンド生成器である。スピーカーシステム２０の内部のマイクロプロセッサは、音楽特性分析器として動作し、ライト効果関連付け手段とライト効果コントローラー及び既定の関連付けルールはメモリに保存され、マイクロプロセッサによってロードされる。表面発光素子２０２は、マイクロプロセッサのコントロールにしたがって決定された効果の光を発する。
【発明の概要】
【０００４】
現行の音楽ベースのライト効果生成システムは、音楽を分析し、音楽の特性を取得し、それから得られた特性に従って輝度や点滅方法を決定している。ライト効果は、ユーザーの間では伝達されない。
【０００５】
この問題にうまく対処するため、本発明の第１の側面の実施形態では、オーディオデータを処理する装置が提供され、その装置は、ビジュアル効果を定義する情報を得る第１ユニットと、前記情報を前記オーディオデータと統合し統合データを生成する第２ユニットとを有する。
【０００６】
本発明の第１の側面の他の実施形態では、オーディオデータを処理する方法が提供され、その方法は、ビジュアル効果を定義する情報を得るステップと、前記ビジュアル効果はオーディオデータの特性と関連付けられ、前記情報を前記オーディオデータと統合し統合データを生成するステップとを有する。
【０００７】
本発明の第２の側面の実施形態では、オーディオデータを処理する装置が提供され、その装置は、統合データを受信するインターフェースと、前記統合データが前記オーディオデータとビジュアル効果を定義する情報を有し、前記ビジュアル効果はオーディオデータの特性と関連付けられており、前記統合データから前記情報を抽出する第１ユニットを有する。
【０００８】
本発明の第２の側面の他の実施形態では、オーディオデータの処理方法が提供され、次のステップを有する。統合データを受信するステップと、前記統合データは、前記オーディオデータとビジュアル効果を定義する情報とを有し、前記ビジュアル効果は、オーディオデータの特性と関連付けられており、前記統合データから前記情報を抽出するステップとを有する。
【０００９】
さらに、本発明の実施形態は、信号と当該信号が記録される記録担持体を提供する。前記信号は、ビジュアル効果を定義する情報と統合されるオーディオデータを有し、前記ビジュアル効果は、オーディオデータの特性と関連付けられている。
【００１０】
ビジュアル効果はオーディオデータと統合されるので、本発明のこれらの実施形態に基づいて、ユーザーは、オーディオデータを伝達することによって、ビジュアル効果を共有することができる。
【００１１】
好ましくは、本発明の実施形態は、電子透かし技術を採用し、ビジュアル効果を定義する情報とオーディオデータを統合し、統合データを取得し、前記情報は、電子透かしのペイロードの形態で、オーディオデータの中に埋め込まれ、統合データを生成する。同様に、本発明は、電子透かし技術を採用し、電子透かしのペイロードの形態で前記オーディオデータに埋め込まれたビジュアル効果を定義する情報を、前記統合データから抽出する実施形態を提供する。電子透かし技術は、オーディオデータにダメージを与えることなく情報を隠すことができ、それゆえ、音楽は普通に再生されユーザーには楽しむことができる。
【００１２】
さらに、現行のシステムは、その音楽の特性に従って光の輝度と点滅方法とを決定するだけであり、ビジュアル効果の表現は少々退屈である。ビジュアル効果の表現を向上させるため、本発明の好ましい実施形態では、オーディオデータの特性に関連付けられたビジュアル効果は、さらに、光の色を含む。
【００１３】
さらにまた、ユーザーの好ましい、ライト効果と音楽特性との間の関連付けは、ユーザーの現在の気分により変化する。１人のユーザーの好ましい関係は、他のどのユーザーの関係とも異なるかもしれない。しかし、現行のシステムでは、ライト効果の関連付けと音楽特性とはあらかじめ固定されており、それゆえ、ユーザーの嗜好に応じて柔軟に変更できない。ビジュアル効果の柔軟性を向上させるためには、本発明の好ましい実施形態では、システムは、ユーザーの好ましい関連付けに応じて、ユーザーインターフェースやネットワークインターフェースのようなインターフェースにより、オーディオデータの特性に関連付けられたビジュアル効果が得られる。これにより、ユーザーの設定変更サポートが付加され、ビジュアル効果とオーディオデータの特性との関連の柔軟性が容易になる。
【００１４】
本発明のこれらの、そして他の特徴は、実施形態の項で詳細に説明される。
【図面の簡単な説明】
【００１５】
本発明の特徴、側面そして効果は、後述される実施形態の実施例から明確であり、さらに詳細に説明され、同一もしくは同様の参照番号は、同一もしくは同様のステップ又は手段を示す。
【図１】図１は、音楽ベースのライト効果生成システムのブロックダイアグラムを示す。
【図２】図２は、表面発光素子を備えたスピーカーシステムを示す。
【図３】図３は、音楽処理装置のブロックダイアグラムを示し、本発明の実施形態に従って、音楽データとカラー効果を定義する情報とを統合するデータを生成する。
【図４】図４は、音楽処理方法のフローチャートを示し、本発明の実施形態に従って、統合データから、カラー効果を定義する情報を抽出する。
【図５】図５は、音楽処理装置のブロックダイアグラムを示し、本発明の実施形態に従って、統合データから、カラー効果を定義する情報を抽出する。
【図６】図６は、音楽処理方法のフローチャートを示し、本発明の他の実施形態に従って、統合データから、カラー効果を定義する情報を抽出する。
【図７】図７は、本発明の実施形態に従って、カラー効果を定義する情報が埋め込まれたデータ構造を示す。
【発明を実施するための形態】
【００１６】
図３は、オーディオデータ処理装置３のブロックダイアグラムを示し、オーディオデータとビジュアル効果を定義する情報との統合データを生成する。装置３は、第１ユニット３１、第２ユニット３２、コンバーター３３、オーディオエンコーダー３４、第３ユニット３５、及び第４ユニット３６を有する。第１ユニット３１は、さらに、インターフェース３１１及び第５ユニット３１２を有する。ここで、装置３は、機能的ブロックを用いて説明されるが、実際には、装置３は、ソフトウェア若しくはハードウェア又はそれらのコンビネーションにより実現される。例えば、上記の機能的ブロックの機能を達成するプログラムコードは、メモリに保存される。これらのコードは、プロセッサによりロードされ、実行され、装置３を実現する。あるいは、特定のＩＣチップは、上記の機能的ブロックの機能を達成し、これらのチップは、ＭＣＵによってコントロールされ、装置３を実現する。
【００１７】
本発明の１側面に従って、装置３の操作と処理方法は、図４を参照して説明される。
【００１８】
はじめに、ユーザーは、例えば音楽ファイルＭなどの処理されるべきオーディオデータを選択する。その音楽ファイルＭは、ＭＰ３フォーマットで存在する。本発明は、ＭＰ３フォーマットの音楽データに限定されるものではなく、他のどんなフォーマットのどのようなオーディオデータ、例えば、ＣＤの音楽データやボイスデータなどにも適用可能であることに留意すべきである。
【００１９】
ステップＳ４０において、第１ユニット３１は、ビジュアル効果を定義する情報を取得する。そのビジュアル効果は、１つ又は複数の色、輝度及び点滅方法を含む。カラー効果は、説明的な具体例として挙げられる。
【００２０】
カラー効果を定義する情報は、次のうちの少なくとも１つを有する。
―  特定の色
―  色の範囲
―  色のヒント、例えば情熱的、気楽な等々。
【００２１】
ＲＧＢ表色系では、例えば、カラー効果を定義する情報は、特定の色を定義するＲＧＢ値（３成分）、色の範囲を定義するＲＧＢ値の範囲、及び色のヒントを定義する数値を有する。
【００２２】
一実施態様では、インターフェース３１１はユーザーインターフェースである。装置３は、ＭＰ３音楽ファイルＭをデコードし、スピーカーで再生する。音楽が再生される間、ユーザー自身は、自分の音楽鑑賞に応じたカラー効果を決定し、ユーザーインターフェースを通じて、カラー効果を入力する。こうして、ユーザーインターフェースは、そのカラー効果を受信する。ユーザーインターフェースは、ユーザーにビジュアル効果を作り出す多くの自由度をもたらす。カラー効果を定義する情報は、さらにネットワークにアップロードされ、検索を簡易にするために、音楽のタイトルと長さのインデックスとともに、効果ファイルとして他のユーザーに伝達される。
【００２３】
他の実施形態では、インターフェース３１１はネットワークインターフェースである。カラー効果を定義する情報は、曲の歌詞と同じく、他の音楽ファンによって上記の方法で作り出され、ネットワークにアップロードされていたかもしれない。ネットワークインターフェースは、最初に、音楽のタイトルと長さを、音楽ファイルＭのＩＤ３タグ（ＭＰ３ファイルのメタタグコンテナーで、タイトル、長さ、アーティスト、アルバムといった一曲の基本的な情報を含む。）から得る。その後、ネットワークインターフェースは、カラー効果を定義する情報を含む、ビジュアル効果ファイル用にネットワークを、タイトルや長さに基づいて検索し、このファイルをダウンロードする。そのネットワークインターフェースは、現在利用可能な、ビジュアル効果を定義する情報をユーザーがダウンロードするのを許容し、ユーザーに多くの利便性を提供する。ユーザーは、さらに、自分のディスプレイ上でファイルに含まれるビジュアル効果をプレビューでき、ユーザーの好みに応じて、それを使用するかどうかを決定することができる。
【００２４】
この実施形態は、ユーザーのビジュアル効果と音楽との好ましい関係に応じて、ユーザーに適切なビジュアル効果を提示する柔軟性を提供するものである。
【００２５】
他の実施形態では、ステップＳ４０２において、第５ユニット３１２は音楽データを分析し、音楽の特性を取得し、その分析結果に応じて、カラー効果を定義する情報を決定する。この解決手法は、自動的であって、それゆえユーザーに便利である。
【００２６】
１つの例では、第５ユニット３１２は、音楽データを分析し、例えば音量、周波数及びテンポなどの特性を取得する。そして、あるルール、例えば赤色のような暖色には早いテンポが対応、に基づいて、得られた結果に基づいて、カラー効果を決定する。
【００２７】
他の例では、第５ユニット３１２は、ＭＰ３ファイルＭのＩＤ３タグから、例えばクラシック、ロック又はＲ＆Ｂなどの音楽のスタイルを取得する。そして、あるルール、例えば気楽さにはＲ＆Ｂが対応する、に基づいて、カラーヒントを決定する。
【００２８】
第５ユニット３１２で決定されるビジュアル効果を定義する情報は、さらにプレビューされ、ユーザーの好みに応じて、ユーザーインターフェースを通じてユーザーによって変更される。
【００２９】
一般的に、ビジュアル効果は、少なくとも次の方法のうち１つの方法で、オーディオデータの特性と関連付けられる。
【００３０】
―ビジュアル効果は、楽しむ音楽の特性に対するユーザーの経験に応じて、ユーザーによって手動で決定される。
【００３１】
―ビジュアル効果と音楽の特性の間の予め定義された関連付けルールに基づいて、音楽の特性を分析し、取得し、ビジュアル効果を関連付けることにより、そのビジュアル効果は、第５ユニット３１２によって自動的に決定される。
【００３２】
本発明は、上記の方法に限定されるものではなく、再生される音楽に応じたビジュアル効果を決定するいかなる他の方法も、「音楽の特性に関連付けられたビジュアル効果」の範囲内にあるものであり、それゆえ、本発明の請求項の範囲内であることに留意されるべきである。
【００３３】
カラー効果と同様に、輝度効果や点滅効果もユーザーによって、又は第５ユニット３１２の分析によって決定され、プロセッサのために記録される。どのように分析し、音楽と輝度及び又は点滅効果と関連付けるかについては、当業者に周知であるので、ここでは詳述されないだろう。
【００３４】
情報が第１ユニット３１によって取得された後、ステップＳ４１において、第２ユニット３２は、前記情報と音楽データを統合し統合データを生成する。
【００３５】
詳しくは、第２ユニット３２は、ＭＰ３フォーマットの音楽ファイルＭをロードし、ファイルＭをデコードし、デコードされていないフォーマットの音楽データを取得する。デコードされていないフォーマットの音楽データは、デジタルフォーマットである。第２ユニット３２は、電子透かし技術を用いて、情報をデコードされていないフォーマットの音楽データと統合する。現在は、時間領域（空間領域）であれ、周波数領域のような変換領域であれ、情報を音楽データに埋め込むための電子透かし技術が数多く存在する。通常は、これらの電子透かし技術方法は、音楽データにダメージを与えないように情報をとてもうまく隠すことができ、リスナーは、透かしの入った音楽と透かしの入っていない「クリーンな」音楽の違いに気づくことはない。例えば、周波数領域で透かしを用いるときは、情報は、周波数成分に付されており、人間には感知できない。第２ユニット３２は、音楽データを周波数領域に変換し、音楽データの周波数表示を得る。その後、第２ユニット３２は、情報を音楽データの周波数表示に伝達する周波数成分を加え、そして、音楽の周波数表示を周波数成分と共に変換し、時間領域に戻し、そうして統合データを生成する。電子透かし技術は、当業者には一般的な知識であり、例えば「Digital  Watermarking  and  Steganography,  2nd  Ed.  by  Ingemar  Cox  et  al.,  Morgan  Kaufmann,  2007」などの教科書に記載されている。それゆえ、ここでは詳述されないだろう。情報を音楽データと統合する如何なる他の技術も適用可能であり、それゆえ本発明の請求の範囲内であることに留意すべきである。
【００３６】
ビジュアル効果を定義する、埋め込まれた情報のフォーマットは、規格として定義され、この規格をサポートする全てのスピーカーシステムは、情報をパースし、ビジュアル効果を取得することができる。フレームのデータ構造の具体例は、図７に示される。そこでは、ヘッダーセクションＨはフレームの長さを含む。タイプセクションＴは、カラー効果のタイプを示すタイプ値を含み、例えば、１は特定の色を、２は色の範囲を、３はカラーヒントを表す。バリューセクションＶは、カラー効果を定義する情報を含み、例えば、ＲＧＢ値、ＲＢＧ値の範囲、及び数値である。フレームは、ＣＲＣセクションＣは、前のタイプ値とカラー値のＣＲＣ値と共に含み、スピーカーシステムに受信したタイプ値とカラー値のエラーのチェックを支援する。
【００３７】
好ましくは、しかし必ずしも必要ではないが、ビジュアル効果は、音楽の再生中にカラー効果がいつ提示されるかを示す、カラー効果に対応したタイム効果を含んでもよい。この場合は、あるカラー効果が音楽データのセクションに埋め込まれ、カラー効果が表示されるときに遅れず、少しだけ先行する。スピーカーシステムは、情報を抽出する直後に、その音楽用にカラー効果を提示する。
【００３８】
前記統合データは、生成された後、再生されるべきスピーカーへ提供されるか、又は保存される。保存された統合データは、音楽の品質要件及び記憶手段のスペースに応じて、エンコードされたフォーマット又はエンコードされていないフォーマットとなり得る。本発明は、統合データの様々な出力方法と様々なフォーマットに従って、以下の実施形態を有する。
【００３９】
統合データの再生
【００４０】
統合データがデコードされていないフォーマットのとき、一例では、第３ユニット３５は直接デジタルフォーマットの統合データをデジタルスピーカーシステムに出力し、音楽を再生し、ビジュアル効果をＳ／ＰＤＩＦ接続などのデジタルインターフェースを通して提示する。別の例では、ステップＳ４２で、Ｄ／Ａコンバーター３３は、デジタルフォーマットの統合データをアナログスピーカーシステム用にアナログフォーマットに変換する。そして、ステップＳ４３では、第３ユニット３５は、アナログフォーマットの統合データＳをアナログスピーカーに出力し、音楽を再生し、ビジュアル効果を一般的なＴＲＳ（Ｔｉｐ，Ｒｉｎｇ，Ｓｌｅｅｖｅ）コネクタなどのアナログインターフェースを通して提示する。後者の例では、アナログスピーカーシステムは一般的に、デジタル的に埋め込まれた情報を抽出するため、アナログフォーマットの統合データＳをコンバートして、デジタルフォーマットに戻すので、情報を埋め込むために用いられる透かし技術は、Ｄ／Ａ変換とＡ／Ｄ変換の処理から生じる歪みに耐えられるほど充分にロバストである。
【００４１】
統合データの音楽データがエンコードフォーマットのときは、装置３は、さらにオーディオデコーダーを有する。オーディオデコーダーは、第３ユニット３５が統合データを出力する前に、その統合データをデコードする、又は、Ｄ／Ａコンバーター３３は、スピーカーシステムによって再生されるエンコードされていないデータを供給するために、その統合データをアナログフォーマットに変換する。スピーカーシステムが固有のデコーディング機能を有し、第３ユニット３５によって提供されるエンコードされたデータをデコードできる場合には、オーディオデコーダーは割愛されることは理解されるべきである。
【００４２】
上記のデジタル及びアナログスピーカーシステムは、以下の実施形態では、「装置５」として説明される。
【００４３】
情報の埋め込みは音楽データにダメージを与えることがないので、ビジュアル効果を定義する情報を抽出し、そのビジュアル効果を提示する機能を有しない通常のスピーカーシステムでも、統合データを再生し、音楽を再生することができることに留意すべきである。
【００４４】
上記の実施形態は、信号を供給し、その信号は、カラー効果を定義する情報と統合された音楽データを含み、そのカラー効果は前記音楽の特性と関連付けられている。その信号は、デジタルフォーマット又はアナログフォーマットで利用可能である。
【００４５】
統合データの保存
【００４６】
統合データの音楽データがエンコードされていないフォーマットのとき、一例では、第６ユニット３６は統合データを保存する、例えば、後で音楽を再生したり、ビジュアル効果の提示をするため、その統合データを音楽ＣＤに焼付ける。別の例では、統合データのサイズを減少させ、記憶スペースをセーブするため、ステップＳ４２では、オーディオエンコーダー３４は、ＭＰ３コーデックを使用して、統合データをエンコードする。そして、ステップＳ４３では、第４ユニット３６は、後で音楽を再生したり、ビジュアル効果の提示をするため、エンコードされた統合データを保存する。例えば、第４ユニット３６はエンコードされた統合データをＭＰ３ファイルＭ´として、ハードディスクに書き込んだり、エンコードされた統合データをＭＰ３ファイルＭ´としてネットワークにアップロードしたり、又はエンコードされた統合データのメディアストリームをインターネットラジオ放送局から、他のユーザーへ配信する。この場合には、エンコードされた統合データは埋め込まれたカラー効果を検索するために再びデコードされるので、情報を埋め込むために使用される電子透かし技術は、エンコードとデコードの処理から生じるどんな歪みにも耐えられるほど充分にロバストである。
【００４７】
統合データの音楽データがエンコードされたフォーマットのとき、ある例では、第４ユニット３６は、後で音楽を再生したり、ビジュアル効果の提示をするため、そのエンコードされた統合データを直接保存する。例えば、第４ユニット３６は、エンコードされた統合データをＭＰ３ファイルＭ´としてハードディスクに書き込んだり、エンコードされた統合データをＭＰ３ファイルＭ´としてネットワークにアップロードしたり、又はエンコードされた統合データのメディアストリームをインターネットラジオ放送局から、他のユーザーへ配信する。別の例では、装置３は、さらに、統合データをデコードするオーディオデコーダーを有する。そして、第４ユニット３６は、後で音楽を再生したり、ビジュアル効果の提示をするため、そのデコードされた統合データを、例えば音楽ＣＤなどに焼き付けるなどして保存する。
【００４８】
上記の実施形態では、ユーザーはこの装置３を使用して、自分のカラー・ミュージックの関連付けとともに音楽ファイルを生成し、友人と共有することができる。音楽会社は、また、装置３を使用して、推薦のカラー・ミュージックの関連付けとともに音楽を配信することもできる。そして、カラー効果は、統合データと共にユーザーに伝達される。
【００４９】
上記の実施形態は、記憶担持体を提供し、その記憶担持体には、カラー効果を定義する情報に統合された音楽を含む信号が記憶され、その音楽の特性に関連づけられている。その信号は、エンコードされたフォーマット又はエンコードされていないフォーマットである。
【００５０】
オーディオデータを処理する装置及び方法は、オーディオデータとビジュアル効果を定義する情報との統合データを生成するものであって、上記で説明された。オーディオデータを処理する装置及び方法は、統合データからビジュアル効果を定義する情報を抽出するものであって、以下で説明される。
【００５１】
図５は、ビジュアル効果を定義する情報を統合データから抽出する、オーディオデータを処理する装置５のブロックダイアグラムを示す。装置５は、インターフェース５０、第１ユニット５１、第４ユニット５２、第５ユニット５３、第３ユニット５４、第２ユニット５５、及びＡ／Ｄコンバーター５６を有する。装置５は、スピーカーシステムであってもよい。機能ブロック５１，５２，５３及び５４は、スピーカーシステムのＭＣＵで制御されるＩＣチップによって実現されてもよい。図５は、多くの実施形態を例示するための図であって、多くのユニットが図５には示されているが、それらは本発明を実現するためには必ずしも必要でないことに留意されたい。ユニットの幾つかは、ある実施形態では必要とされず、他の幾つかのユニットは、別の実施形態では必要とされない。例えば、もし統合データが既にデジタルデータであるなら、ユニット５６のＡ／Ｄコンバーターは必要ではない。
【００５２】
本発明の別の実施形態による、装置５の操作と処理方法は、図６を参照して説明される。音楽データは、オーディオデータの具体例として挙げられるが、本発明は、それに限定されず、ボイスデータなどの他のオーディオデータも本発明の範囲内である。
【００５３】
ステップＳ６０で、インターフェース５０は、統合データＳを受信する。統合データＳは、音楽データとカラー効果を定義する情報とを有する。そのカラー効果は、その音楽の特性と関連している。好ましくは、その情報は、電子透かし技術によって音楽データと統合される。
【００５４】
一例では、統合データＳは、上記の装置３によって供給される。他の例では、如何なる通常の音楽プレーヤーでも、エンコードされた統合データＳの音楽ファイルＭ´をロードするか、又はエンコードされた統合データＳのメディアストリームを受信する。音楽プレーヤーは、エンコードされた統合データＳをデコードし、統合データを装置５に送信する。
【００５５】
統合データＳについては、ビジュアル効果を定義する情報は感知できない方法で埋め込まれているので、その統合データは直接再生されることができる。ステップＳ６１では、例えばスピーカーなどの第２ユニット５５は、インターフェース５０から統合データを取得し再生する。一実施形態では、装置５は、デジタルスピーカーシステムであり、統合データはデジタルフォーマットである。従って、第２ユニット５５はそれをアナログフォーマットに変換し、増幅し、エネルギー変換器を通して、電気信号に対応した音楽の音声波を生成する。他の実施形態では、装置５は、アナログスピーカーシステムであって、統合データはアナログフォーマットであり、従って、第２ユニット５５は、エネルギー変換器を通して、電気信号に対応した音楽の音声波を生成することにより、直接音楽を再生する。
【００５６】
同調して、統合データＳのカラー効果については、一実施形態では、統合データはデジタルフォーマットであり、Ｓ／ＰＤＩＦ接続により受信される。第１ユニット５１は、統合データから情報を抽出する。別の実施形態では、統合データはアナログフォーマットであり、ＴＲＳ接続により受信される。ステップＳ６２では、Ａ／Ｄコンバーター５６は統合データをデジタルフォーマットに変換する。そして、ステップＳ６３では、第１ユニット５１は、デジタルフォーマットの統合データから情報を抽出する。統合データから電子透かし内の情報を抽出する電子透かし技術は、当該分野の通常の知識を有する者には一般的な知識であり、従って、ここではあまり詳述しない。
【００５７】
他の実施形態では、カラー効果を定義する情報は、特定の色のＲＧＢ値を有する。第３ユニット５４は、特定の色のＲＧＢ値に応じて、ＬＥＤなどの光発光素子をコントロールするための信号を生成し、信号をＬＥＤに送信する。ＬＥＤは特定の色の光を発光する。一方、情報は、例えば「情熱的」といったカラーヒントを有する。第３ユニット５４は、あるルールに従って、そのヒントに対応した色を決定する、例えば、赤色と黄色が「情熱的」であり、そして対応する色を提示する。「情熱的」を例にとる。第３ユニット５４は、赤色と黄色のＲＧＢ値に応じて、発光素子をコントロールするための信号を生成し、その信号を発光素子に送信する。発光素子は、赤色と黄色に発光する。
【００５８】
他の実施形態では、一例では、情報は、特定の色のＲＧＢ値を有する。ステップＳ６４では、第４ユニット５２は統合データを分析し、即ち、第４ユニット５２は音楽それ自体を実質的に分析し、音楽のテンポを取得する。ステップＳ６５では、第５ユニット５３は、全体的なビジュアル効果を決定する、即ち、第４ユニット５２によって取得されるテンポと第１ユニット５１によって抽出された特定の色とに従って、この特定の色の光があるやり方で点滅する。他の実施形態では、情報はこの音楽用の色の範囲を含む。
【００５９】
他の実施形態では、ビジュアル効果を定義する埋め込まれた情報は、音楽の品質に与える影響を避けるため、できるだけ少ないバイトから成るべきである。従って、ビジュアル効果を定義する情報は、輝度と点滅周波数を定義する情報を有さず、あるカラー効果を定義する情報のみを含むかもしれない。ステップＳ６４では、第４ユニット５２は、統合データ内の音楽データを分析し、音量、周波数及びテンポといった音楽の特性を取得する。ステップＳ６５では、第５ユニット５３は、全体的なビジュアル効果を決定する、つまり、第４ユニット５２で取得されたテンポや音量、及び第１ユニットで抽出された一定の色に従って、その一定色の光が所定の方法により所定の輝度で点滅する。
【００６０】
ステップＳ６６では、第３ユニットは全体的なビジュアル効果を提示する。
【００６１】
上記の実施形態では、統合データＳはエンコードされていないフォーマットである。変形実施形態では、統合データＳはエンコードされている。例えば、装置５は、その装置５のＵＳＢソケットに差し込まれたＵＳＢディスク上のエンコードされた統合データＳのファイルＭ´をロードする。装置５は、統合データＳをデコードするため、デコーダーを有し、そして、Ｄ／Ａ変換を実行し音楽を再生する。この実施形態では、一例では、エンコードされた統合データＳは、ビジュアル効果を定義する情報の統合データをエンコードすることによって取得される。こうして、第一のユニット５１は、ビジュアル効果を定義する情報を、デコーダーによって出力されるデコードされた統合データＳから抽出する。他の例では、エンコードされた統合データは、ビジュアル効果を定義する情報とエンコードされた音楽データとを統合することで得られる。このようにして、第１ユニット５１は、ビジュアル効果を定義する情報を、統合データＳから抽出する。
【００６２】
ビジュアル効果がタイム効果を含むときは、そのタイム効果に対応する特定のカラー効果が、そのカラー効果が提示されるのに遅れず少し先行して、音楽データのセクションに埋め込まれる。その直後に、第１ユニット５１は、カラー効果を定義する情報を抽出する。そして、第３ユニット５４はその音楽用のカラー効果を速やかに提示する。
【００６３】
上記の実施形態は、本発明を説明するために、ビジュアル効果の例として色を挙げる。本発明は、色に限定されないことに留意されるべきである。パターン、色の変化、パターンの変化、若しくは他のどんな目に見える表示を定義する情報であっても、本発明の他の実施形態によって、オーディオデータに統合され、抽出され、提示される。それゆえ、それらはすべてライト効果又はビジュアル効果の範囲内であって、本発明の特許請求の範囲の範囲内である。
【００６４】
本発明の実施形態は、上記で詳細に説明されたが、上述の実施形態は、例示の目的のみで示され、本発明の限定として解釈されるべきではないことに留意されるべきである。本発明は、これらの実施形態に限定されない。
【００６５】
当該分野の通常の知識を有する者は、開示された発明の変更が可能であることは理解するだろう、また、説明、図面、付属の特許請求の範囲の研究を通じて、これらの変更を認識することができるだろう。本発明の精神から逸脱しない、こうしたすべての変更は、付属の特許請求の範囲の範囲内にあるものであることが意図される。用語「含む」は、特許請求の範囲や詳細な説明で挙げられていない要素やステップの存在を除外するものではない。要素の前にある用語「１つの」は、そうした要素の複数の存在を除外するものではない。本発明の実施においては、特許請求の範囲の中の幾つかの技術的特徴は、１つの構成要素により実現可能である。特許請求の範囲においては、カッコ内で記載されたどのような参照符号も、特許請求の範囲を限定するものと解釈されるべきではない。
【図１】
2013505474.tif 000003
【図２】
2013505474.tif 000004
【図３】
2013505474.tif 000005
【図４】
2013505474.tif 000006
【図５】
2013505474.tif 000007
【図６】
2013505474.tif 000008
【図７】
2013505474.tif 000009
【手続補正書】
【提出日】平成24年3月22日(2012.3.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
オーディオデータを処理する装置であって：
-ライト効果を定義する情報データを取得する第１ユニット；及び
-前記情報データを前記オーディオデータと共に埋め込み、統合データを生成する第２ユニット；
を有し、
前記オーディオデータが再生されるとき、前記情報データによって定義される前記ライト効果に従って、光を発光するように光発光素子がコントロールされる、装置。
【請求項２】
前記オーディオデータはデジタルフォーマットであり、前記第２ユニットは、電子透かし技術を使用して、前記オーディオデータと共に前記情報データを埋め込む、請求項１記載の装置。
【請求項３】
-前記統合データを出力する第３ユニット；及び
-前記統合データを保存する第４ユニット；
のうち少なくともいずれか１つを更に有する、請求項１又は２記載の装置。
【請求項４】
前記第１ユニットは：
-前記情報データを受信するインターフェース；及び
-前記オーディオデータの特性を取得するために前記オーディオデータを分析し、その分析結果に従って前記情報データを決定する、第５ユニット；
のうち少なくともいずれか１つを有する、請求項１又は２記載の装置。
【請求項５】
前記ライト効果は、前記光の色を含む、請求項１又は２に記載の装置。
【請求項６】
オーディオデータを処理する装置であって：
-統合データを受信するインターフェースであって、前記統合データはオーディオデータと情報データとを有し、前記情報データはライト効果を定義するため前記オーディオデータに埋め込まれており；
-前記情報データを前記統合データから抽出する第１ユニット；
-前記オーディオデータを再生する第２ユニット；
-光を発光する光発光素子；及び
-前記オーディオデータが再生されるとき、前記情報データによって定義されるライト効果に従って、光を発光するように、前記光発光素子をコントロールする第３ユニット；
を有する、装置。
【請求項７】
前記情報データは、前記オーディオデータと共に電子透かし技術を使用して埋め込まれ、前記第１ユニットは、電子透かし技術を使用してさらに前記情報データを抽出するのに使用され；
前記インターフェースによって受信された前記統合データがアナログフォーマットのときは、前記装置はさらに：
-前記情報データが、前記第１ユニットによって前記統合データから抽出される前に、前記統合データをアナログフォーマットに変換するコンバーター、
を有する、請求項６記載の装置。
【請求項８】
-オーディオデータを分析し、前記オーディオデータの特性を取得する第４ユニット；及び
-前記第４ユニットによって取得された分析結果と、前記第１ユニットによって抽出された情報データとに従って、全体的なライト効果を決定する第５ユニット；
を更に有し、
-前記第３ユニットは、さらに、前記全体的なライト効果に従って、光を発光するように、光発光素子をコントロールするために使用される、請求項６記載の装置。
【請求項９】
前記ライト効果は、前記光の色を含む、請求項６乃至８のいずれか１つに記載の装置。
【請求項１０】
オーディオデータを処理する方法であって：
-ライト効果を定義する情報データを取得するステップ；及び
-前記情報データを前記オーディオデータに埋め込み、統合データを生成するステップ；
を有し、
前記オーディオデータが再生されるとき、前記情報データによって定義されるライト効果に従って、光を発光するように光発光素子がコントロールされる、方法。
【請求項１１】
オーディオデータを処理する方法であって：
-統合データを受信するステップであって、前記統合データは、オーディオデータとライト効果を定義する情報データとを有する、ステップ；
-前記情報データを前記統合データから抽出するステップ；
-前記オーディオデータを再生するステップ；及び
-前記オーディオデータが再生されるとき、前記情報データによって定義されるライト効果に従って、光を発光するステップ；
を有する、方法。
【請求項１２】
ライト効果を定義する情報データと共に埋め込まれたオーディオデータを有し、光発光素子が、前記オーディオデータが再生されるとき、前記情報データによって定義されるライト効果に従って、光を発光するようにコントロールされる、
信号。
【請求項１３】
請求項１２に記載された信号を記録した記録担持体。
【国際調査報告】
2013505474.tif 000010
2013505474.tif 000011
2013505474.tif 000012