(57)【要約】オーディオ信号を処理する方法が、オーディオ信号を受信する工程と、該オーディオ信号から特徴を抽出する工程と、この抽出された特徴をマークアップ言語の命令群を含むメタデータへ変換する工程とを有する。オーディオ信号を処理するシステムが、オーディオ信号を受信する入力機器と、該オーディオ信号から特徴を抽出し、この抽出された特徴をマークアップ言語の命令群を含むメタデータへ変換するプロセッサとを有する。
2006512625.tif 000002
【特許請求の範囲】
【請求項１】
オーディオ信号を処理する方法であって、
オーディオ信号を受信する工程と、
前記オーディオ信号から特徴を抽出する工程と、
前記抽出された特徴をマークアップ言語の命令群を含むメタデータへ変換する工程と、を有することを特徴とする方法。
【請求項２】
請求項１記載の方法であって、
前記メタデータを記憶する工程を更に有する、ことを特徴とする方法。
【請求項３】
請求項２記載の方法であって、
前記記憶工程は、前記メタデータを関連する時間データと共に記憶する工程を有する、ことを特徴とする方法。
【請求項４】
請求項３記載の方法であって、
前記時間データは、前記命令群中の各マークアップ言語タームの、前記受信されたオーディオ信号に対する、開始時間及び長さを定義する、ことを特徴とする方法。
【請求項５】
請求項１乃至４のいずれか一項記載の方法であって、
前記命令群をブラウザへ送信する工程を更に有する、ことを特徴とする方法。
【請求項６】
請求項１乃至５のいずれか一項記載の方法であって、
マークアップ言語アセットを受信する工程を更に有する、ことを特徴とする方法。
【請求項７】
請求項５又は６記載の方法であって、
前記マークアップ言語アセットを前記受信されたオーディオ信号と同期させて提供する工程を更に有する、ことを特徴とする方法。
【請求項８】
請求項１乃至７のいずれか一項記載の方法であって、
前記オーディオ信号から抽出された特徴は、速度、基調、及び、音量のうち少なくとも１つを含む、ことを特徴とする方法。
【請求項９】
オーディオ信号を処理するシステムであって、
オーディオ信号を受信する入力機器と、
前記オーディオ信号から特徴を抽出し、この抽出された特徴をマークアップ言語の命令群を含むメタデータへ変換するプロセッサと、を有することを特徴とするシステム。
【請求項１０】
請求項９記載のシステムであって、
前記メタデータを記憶するストレージ機器を更に有する、ことを特徴とするシステム。
【請求項１１】
請求項９又は１０記載のシステムであって、
前記受信されたオーディオ信号を出力する出力機器を更に有する、ことを特徴とするシステム。
【請求項１２】
請求項９乃至１１のいずれか一項記載のシステムであって、
複数の機器の中に分散され、マークアップ言語の命令群及びマークアップ言語アセットを受信し、それに応じて前記複数の機器を制御するように構成されたブラウザを更に有する、ことを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号から抽出された特徴に基づいて該オーディオ信号を処理する方法及びシステムに関する。本発明は、特に、速度（ｔｅｍｐｏ：テンポ）や基調（ｋｅｙ：キー）などのオーディオ信号の音楽的特徴（ｍｕｓｉｃａｌ  ｆｅａｔｕｒｅ）を判断し、抽出するシステムと共に用いられる。抽出された特徴は、メタデータへ変換される。
【背景技術】
【０００２】
環境を制御する周辺環境システム（ａｍｂｉｅｎｔ  ｅｎｖｉｒｏｎｍｅｎｔ  ｓｙｓｔｅｍ）が知られている（例えば、本出願人による特許文献１参照）。特許文献１には、複数の機器を含む現実世界表現システムが開示されている。このシステムにおいて、上記複数の機器の各々は、１以上の現実世界のパラメータ（例えば、オーディオビジュアル特性など）を提供するように構成されている。また、上記複数の機器の中の少なくとも１つは、マークアップ言語の命令群である現実世界記述を受信するように構成される。さらに、上記複数の機器は、この記述に従って作動する。上記言語で表現された汎用ターム（ｇｅｎｅｒａｌ  ｔｅｒｍｓ）は、上記複数の機器をユーザに現実世界体験（ｅｘｐｅｒｉｅｎｃｅ）を提供するように作動させるために、ローカルサーバ又は分散ブラウザによって解釈される。
【０００３】
特許文献２は、例えばゲーム世界モデルの少なくとも一部などの信号をコンピュータプログラムから受信する複数の機器の作動方法について開示している。上記信号は、マークアップ言語の命令群である現実世界記述を作成するために分析され、上記複数の機器は、この記述に従って作動する。
【特許文献１】米国特許出願公開第２００２／０１６９８１７号明細書
【特許文献２】米国特許出願公開第２００２／０１６９０１２号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００４】
オーディオ信号からマークアップ言語の命令群を自動的に生成する方法を提供することが望まれている。
【課題を解決するための手段】
【０００５】
本発明の第一の態様によれば、オーディオ信号を処理する方法であって、オーディオ信号を受信する工程と、該オーディオ信号から特徴を抽出する工程と、この抽出された特徴をマークアップ言語の命令群を含むメタデータへ変換する工程とを有する方法が提供される。
【０００６】
本発明の第二の態様によれば、オーディオ信号を処理するシステムであって、オーディオ信号を受信する入力機器と、該オーディオ信号から特徴を抽出し、この抽出された特徴をマークアップ言語の命令群を含むメタデータへ変換するプロセッサとを有するシステムが提供される。
【０００７】
本発明によって、オーディオ信号の中身に基づいたメタデータが該オーディオ信号から自動的に生成することができるようになり、このメタデータを用いて周辺環境システムを制御することができるようになる。
【０００８】
本方法は、上記メタデータを記憶する工程を更に有すると有益的である。これにより、ユーザは、例えばメタデータをオーディオ信号から特徴を抽出できるだけの処理能力を持たないロケーションへ送信することによって、出力済みのメタデータを再利用することもできるようになる。この記憶工程は、上記メタデータを関連する時間データと共に記憶する工程を有することが好ましい。ここで、上記時間データは、上記命令群中の各マークアップ言語ターム（ｔｅｒｍ）の、上記受信されたオーディオ信号に対する、開始時間及び長さを定義する。オリジナルのオーディオ信号と同期した時間データをメタデータと共に記憶することによって、メタデータは、オーディオ信号と共に再利用された際に、時間に依存するが、オリジナルのオーディオ信号と一致した体験を定義する。
【０００９】
本方法は、更に、上記命令群をブラウザへ送信する工程、及び、マークアップ言語アセット（ａｓｓｅｔ）を受信する工程、を更に有すると有益的である。本方法は、更に、上記マークアップ言語アセットを上記受信されたオーディオ信号と同期させて提供する工程を更に有することが好ましい。このように、メタデータは、周辺環境を提供するのに直接用いられる。上記ブラウザは、上記命令群及び上記マークアップ言語アセットを受信し、該命令群による指示に従って該アセットを出力されたオーディオと同期して提供する。
【００１０】
好ましい実施形態において、オーディオ信号から抽出された特徴は、速度、基調、及び、音量のうち少なくとも１つを含む。これらの特徴は、オーディオ信号の感覚や印象を定義する。それらはこれらのものをムードとして示す。これは、オーディオ信号が増強されるように周辺環境を決定するメタデータを定義するのに用いることができる。
【発明を実施するための最良の形態】
【００１１】
以下、添付図面を参照して、本発明の一例を説明する。
【実施例】
【００１２】
図１は、オーディオ信号を処理するシステム１００の概略図を示している。システム１００は、プロセッサ（ＣＰＵ）１０２を有する。プロセッサ（ＣＰＵ）１０２は、汎用データバス１０８を通じて、メモリ（ＲＯＭ）１０４及びメモリ（ＲＡＭ）１０６へ接続されている。キャリア１１２上のコンピュータコード又はソフトウェア１１０は、ＲＡＭ１０６内にロードされてもよく、或いは、ＲＯＭ１０４に設けられてもよい。このコンピュータコード１１０は、プロセッサ１０２に本処理方法を具現化する命令群を実行させる。加えて、プロセッサ１０２は、ストレージ（ＳＴＯＲＥ）１１４、出力機器（Ｏ／Ｐ）１１６、１１８、及び、入力機器（Ｉ／Ｐ）１２２へ接続されている。ユーザインターフェース（ＵＩ）１２０も設けられる。
【００１３】
システム１００は、例えば、コンピュータモニタやディスプレイなどの出力機器１１６を備えた従来通りの家庭用パーソナルコンピュータ（ＰＣ）として実現される。ストレージ１１４は、ネットワーク接続を通じて利用可能なリモートデータベースであってもよい。あるいは、システム１００がホームネットワークとして実現された場合、出力機器１１６、１１８は、例えば、家庭内に分散して置かれた、壁掛けフラットパネルディスプレイ、コンピュータ制御の家庭用照明ユニット、及び／又は、オーディオスピーカなどである。プロセッサ１０２と出力機器１１６、１１８との間の接続は、例えば無線規格のＷｉＦｉやブルートゥース（登録商標）などのワイヤレス通信であってもよく、或いは、例えば有線規格のイーサネット（登録商標）やＵＳＢなどのワイヤ通信であってもよい。
【００１４】
システム１００は、オーディオ信号（例えば、ＣＤの中の１曲、など）の入力を受け、該オーディオ信号から音楽的特徴を抽出する。本実施形態において、このオーディオ信号は、ＰＣの内部入力機器１２２（例えば、ＣＤ／ＤＶＤディスクドライブや、ハードディスクドライブ、など）を通じて提供される。別の方法として、このオーディオ信号は、ネットワーク化されたホームエンターテイメントシステム（Ｈｉ−Ｆｉ、ホームシアター、など）への接続を通じて受信されてもよい。当業者には明らかなように、オーディオ信号を提供するための具体的なハードウェア／ソフトウェア構成及びメカニズムが重要なのではなく、むしろ重要なのは、システム１００がそのようなオーディオ信号を利用可能であることである。
【００１５】
オーディオ信号から音楽的特徴を抽出することは、論文：Ｍａｔｔ  Ｗｅｌｓｈら、「Ｑｕｅｒｙｉｎｇ  ｌａｒｇｅ  ｃｏｌｌｅｃｔｉｏｎｓ  ｏｆ  ｍｕｓｉｃ  ｆｏｒ  ｓｉｍｉｌａｒｉｔｙ」、ＵＣ  Ｂｅｒｋｅｌｅｙ  Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ  ＵＣＢ／ＣＳＤ−００−１０９６、１９９９年１１月、に記載されている。この論文は、入力オーディオ信号を分析することによって平均速度、音量、雑音、及び、音階移行などの特徴をどのようにして決定することができるのかについて記載している。オーディオ信号の基調を決定する方法は、米国特許第５０３８６５８号に記載されている。
【００１６】
入力機器１２２はオーディオ信号を受信するためのものであり、プロセッサ１０２はこのオーディオ信号から特徴を抽出し、抽出された特徴をマークアップ言語の命令群を有するメタデータへ変換するためのものである。プロセッサ１０２は、上述の参考文献に記載されたように、オーディオ信号を受信し、音量、速度、及び、基調などの音楽的特徴を抽出する。プロセッサ１０２がオーディオ信号から音楽的特徴を抽出すると、プロセッサ１０２はそれら音楽的特徴をメタデータへ変換する。このメタデータは、＜ＳＵＭＭＥＲ＞（夏）や＜ＤＲＥＡＭＹ  ＰＯＮＤ＞（夢のような池）などの非常に広義な表現である。プロセッサ１０２内の変換エンジンは、メタデータを生成するための決められた一連のアルゴリズムを作動させてもよく、或いは、抽出された特徴からメタデータを作成する「ニューラルネットワーク」構成でもよい。こうして得られたメタデータは、マークアップ言語の命令群である。
【００１７】
システム１００は、更に、図２に概略的に示すブラウザ１２４を有する。ブラウザ１２４は、複数の機器の中に分散しており、上記マークアップ言語の命令群及びマークアップ言語アセットを受信し、それに応じて上記複数の機器を制御するように構成される。ブラウザ１２４によって制御される複数の機器には、出力機器１１６及び１１８が含まれてもよく、及び／又は、システム外の別の機器が含まれてもよい。これらの機器は一体となって周辺環境システムを構成する。このシステムにおいては、様々な出力機器１１６、１１８が、マークアップ言語と現実世界体験を伝達するように設計されたに対応した命令群とに準拠している。
【００１８】
このような言語の一例は、上述の本出願人による同時係属出願に記載された物理マークアップ言語（ｐｈｙｓｉｃａｌ  ｍａｒｋｕｐ  ｌａｎｇｕａｇｅ：ＰＭＬ）である。ＰＭＬは、エンドユーザが現実の物理的空間内へのある程度のレベルの没入を体験するように、エンドユーザへ体験を書き、伝え、提供する手段を含む。例えば、ＰＭＬは、オーディオシステムや照明システムなどのユーザ機器が、該家電製品からの照明や音の出力を修正する命令（例えば、ＤＶＤビデオストリーム内に埋め込まれてもよい）をネットワークホスト機器から受信できるようにする。ゆえに、映画において暗いシーンになると、ユーザの家の照明が適切に暗くなる。
【００１９】
ＰＭＬは、概して、高レベルの記述的マークアップ言語であり、例えば、現実世界の出来事に関する記述子（例えば、＜ＦＯＲＥＳＴ＞（森）、など）を持つＸＭＬとして実現できる。ゆえに、ＰＣＬは、家庭周辺の機器が標準化された方法で消費者にとっての体験を増強させることができるようにする。
【００２０】
したがって、ブラウザ１２４は、例えば、＜ＳＵＭＭＥＲ＞（夏）や＜ＥＶＥＮＩＮＧ＞（夕方）などを含み得る命令群を受信する。また、ブラウザ１２４は、命令群の各メンバについての少なくとも１つのアセットであるマークアップ言語アセット１２６を受信する。そして、＜ＳＵＭＭＥＲ＞に関して、静止画を含むビデオフィルムと、色の定義を含むファイルとが存在し得る。同様に、＜ＥＶＥＮＩＮＧ＞について、色に関するデータを含むファイル、静止画、及び／又は、動画が存在し得る。オリジナルの音楽が再生されると、ブラウザ１２４は、上記複数の機器の各々が各機器の能力に応じて色及び画像を提供できるように、関連するマークアップ言語アセット１２６を提供する。
【００２１】
図２は、本オーディオ信号処理方法をまとめたものである。本方法は、オーディオ信号を受信する工程２００と、このオーディオ信号から特徴を抽出する工程２０２と、抽出された特徴をマークアップ言語の命令群を含むメタデータへ変換する工程２０４とを有する。オーディオ信号は、図１の入力機器１２２を通じて、ＣＤから受信される。オーディオ信号の音楽的特徴を抽出する工程２０２と、これら特徴を適切なメタデータへ変換する工程２０４とは、図１のシステムのプロセッサ１０２内で実行される。特徴抽出工程２０２の出力は、受信したオーディオ信号に関するメタ記述である。メタ記述の構造は、プロセッサ１０２によって用いられる抽出システムの性質に依存する。比較的シンプルな抽出システムは、例えば、基調：Ａｍ、平均音量：８／１０、音量標準偏差：±２などの記述を返す。より複雑なシステムとして、処理中の音楽内での時間の経過に伴う特徴の変化などのオーディオ信号に関する非常に細かい情報を返すことができるものとしてもよい。
【００２２】
本方法は、更に、メタデータを記憶する工程２０６を有することができる。これを図３に示す。記憶工程２０６は、メタデータ３０２を関連する時間データ３０４と共に記憶することを含むことができる。工程２０２において時間に依存したデータを返す高性能な特徴抽出システムが用いられる場合、変換器から出力されるメタデータも時間依存とすることができる。
【００２３】
例えば、オーディオ信号を構成する音楽の中でムードが明確に変化する場合がある。変換器は、これを、＜ＳＵＭＭＥＲ＞（夏）及び＜ＡＵＴＵＭＮ＞（秋）というタームで表すことができる。この場合、これらのタームには、その音楽の中で＜ＳＵＭＭＥＲ＞が終わり、＜ＡＵＴＵＭＮ＞が始まる明確な時点が伴う。記憶された時間データ１４６は、命令群中の各マークアップ言語タームの受信したオーディオ信号に対する開始時間及び長さを定義することができる。図３で用いられた一例において、＜ＳＵＭＭＥＲ＞というタームは、その音楽が開始してからの経過時間（秒）を示す開始時間（Ｓ）が０秒、長さ（Ｄ）が１２０秒、として図示されている。図３中の残りの２つのタームは、変換器によって定義された異なる開始時間及び長さを有する。図３において、矢印３０６は、変換器からの出力を示している。
【００２４】
本方法は、更に、命令群をブラウザ１２４へ送信する工程２０８を有することができる。図１のシステムに関連して既に述べたように、ブラウザ１２４は、工程２１０において、マークアップ言語アセット１２６を受信することができる。ブラウザ１２４は、工程２１２において、受信したオーディオ信号と同期させてマークアップ言語アセット１２６を提供するように構成される。
【図面の簡単な説明】
【００２５】
【図１】オーディオ信号を処理するシステムの概略図である。
【図２】オーディオ信号を処理する方法のフローチャートである。
【図３】メタデータを関連する時間データと共に記憶する処理の概略図である。
【図１】
2006512625.tif 000003
【図２】
2006512625.tif 000004
【図３】
2006512625.tif 000005
【国際調査報告】
2006512625.tif 000006
2006512625.tif 000007
2006512625.tif 000008