(57)【要約】  オーディオ信号（Ａ）に応じて、アンビエント照明等の照明（２０）を制御する照明制御パラメータを生成する方法、装置、及びシステムを提供する。そのオーディオ信号（Ａ）の意味的コンテンツの時間的発展を抽出するために、そのオーディオ信号（Ａ）を分析する。次に、オンラインまたはオフラインで、オーディオ信号（Ａ）の意味的コンテンツの時間的発展により照明制御パラメータを生成する。こうすることにより、音楽等のオーディオ信号に知覚的に合った照明を作り出すことができる。好ましい実施形態では、オーディオ信号（Ａ）の空間的特性を抽出し、例えば、光源を各スピーカの近くに配置したステレオまたはサラウンドのサウンドシステムのオーディオ信号の空間的特性に応じて、空間的に配置された各光源を制御する照明制御パラメータを生成する。かかる実施形態により照明とオーディオの空間的対応が可能となる。他の好ましい実施形態において、オーディオ信号（Ａ）のシーケンスの意味的に区別できる時間的セクション（例えば楽曲のセクション）を決定し、このオーディオ信号（Ａ）のセクションを反映するように照明制御パラメータを生成する。かかる実施形態により、例えば楽曲中の知覚できる変化に追随して照明を時間的に変化させることが可能となる。上記の方法は、例えば、ホームエンターテイメントシステム、シアター、ジュークボックス、バー、レストラン、シネマ、ディスコに適用できる。
2010508626.tif 000002
【特許請求の範囲】
【請求項１】
オーディオ信号に応じて照明を制御する照明制御パラメータを生成する方法であって、前記方法は、
−  前記オーディオ信号の意味的コンテンツの時間的発展を抽出するために前記オーディオ信号を分析する段階と、
−  前記オーディオ信号の意味的コンテンツの時間的発展に基づき照明制御パラメータを生成する段階とを含む方法。
【請求項２】
前記照明制御パラメータによりアンビエント照明を制御しつつ前記オーディオ信号を再生する段階をさらに含む、請求項１に記載の方法。
【請求項３】
前記オーディオ信号の空間的特性を抽出して、前記オーディオ信号の空間的特性により、空間的に配置された各光源を制御する照明制御パラメータを生成する段階をさらに含む、請求項１に記載の方法。
【請求項４】
前記オーディオ信号中の楽器などのオブジェクトの空間的特性を抽出して、各オブジェクトの空間的特性により照明制御パラメータを生成する段階をさらに含む、請求項３に記載の方法。
【請求項５】
前記オーディオ信号のシーケンスの意味的に区別できる時間的セクションを決定する段階をさらに含み、前記照明制御パラメータを前記オーディオ信号のセクションを反映するように生成する、請求項１に記載の方法。
【請求項６】
前記オーディオ信号のセクションを決定する段階は、セクションバウンダリ、テンポ、動的バリエーション、音楽の主音よりなるグループから選択した少なくとも１つの特性に関係する統計的データを抽出する段階を含む、請求項５に記載の方法。
【請求項７】
前記照明制御パラメータは各セクションのオーディオ信号の特徴的な特性を反映する、請求項５に記載の方法。
【請求項８】
前記照明制御パラメータは、明るさ、彩度、ヒュー、及びその空間的分布と時間的変化よりなるグループから選択した少なくとも１つの照明特性を制御する情報を含む、請求項１に記載の方法。
【請求項９】
前記オーディオ信号を分析する段階と前記照明制御パラメータを生成する段階を、前記オーディオ信号を再生し前記照明制御パラメータにより光源を制御しつつ実行する、請求項１に記載の方法。
【請求項１０】
楽曲などの前記オーディオ信号のシーケンスに基づき照明制御パラメータを生成し、前記照明制御パラメータを記憶し、後で、前記照明制御パラメータにより光源を制御しつつ前記オーディオ信号のシーケンスを再生する段階をさらに含む、請求項１に記載の方法。
【請求項１１】
オーディオ信号に応じて照明を制御する照明制御パラメータを生成するように構成された信号プロセッサであって、前記信号プロセッサは、
−  前記オーディオ信号の意味的コンテンツの時間的発展を抽出するために前記オーディオ信号を分析するように構成されたオーディオアナライザと、
−  前記オーディオ信号の意味的コンテンツの時間的発展に基づき照明制御パラメータを生成するように構成された照明パラメータ制御ジェネレータとを有する信号プロセッサ。
【請求項１２】
前記オーディオ信号の空間的特性を抽出して、前記オーディオ信号の空間的特性により、空間的に配置された各光源を制御する照明制御パラメータを生成するようにさらに構成された、請求項１１に記載の信号プロセッサ。
【請求項１３】
前記オーディオ信号中の楽器などのオブジェクトの空間的特性を抽出して、各オブジェクトの空間的特性により照明制御パラメータを生成するようにさらに構成された、請求項１２に記載の信号プロセッサ。
【請求項１４】
前記オーディオ信号のシーケンスの意味的に区別できる時間的セクションを決定し、前記照明制御パラメータを前記オーディオ信号のセクションを反映するように生成するように構成された、請求項１１に記載の信号プロセッサ。
【請求項１５】
請求項１１に記載の信号プロセッサを有する装置。
【請求項１６】
オーディオ信号に基づき光を発生するように構成されたシステムであって、前記システムは、
−  前記オーディオ信号の意味的コンテンツの時間的発展を抽出するために前記オーディオ信号を分析するように構成されたオーディオアナライザと、
−  前記オーディオ信号の意味的コンテンツの時間的発展に基づき照明制御パラメータを生成するように構成された照明パラメータ制御ジェネレータと、
−  前記オーディオ信号を再生する少なくとも１つのスピーカと、
−  前記照明制御パラメータに基づき光を発生する少なくとも１つの光源とを有するシステム。
【請求項１７】
前記オーディオアナライザと照明制御ジェネレータは、前記オーディオ信号の空間的特性を抽出して、前記オーディオ信号の空間的特性に基づき空間的に配置された複数の光源のそれぞれの照明制御パラメータを生成するように構成された、請求項１６に記載のシステム。
【請求項１８】
請求項１に記載の方法を実行するコンピュータ実行可能プログラムコード。
【請求項１９】
請求項１８に記載のコンピュータ実行可能プログラムコードを含むコンピュータ読み取り可能記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理、特にオーディオ信号の処理の分野に関する。より具体的には、本発明は、オーディオ信号に応じたアンビエント照明（ambient  lighting）などの光源を制御するパラメータを抽出するためにオーディオ信号を処理する方法、信号プロセッサ、及び装置に関する。
【背景技術】
【０００２】
照明と音楽とが合うオーディオ・ビジュアル知覚経験を作り出すことを目標として音楽の特徴などのオーディオ信号の特性を反映させるために、アンビエント照明などの照明を制御する技術は周知である。このような制御はコンサート、レストラン、バー、ディスコなどで行われている。
【０００３】
コンサートでは、音楽的なコンテンツを完全に合わせるように複雑な照明シーケンスを注意深く計画するので、かかる結果を得るためには人のスキルや人手による計画が必要である。対照的に、ディスコやバーの照明は、音楽信号の信号パラメータを検出して自動的に制御することが多い。かかる照明制御は、オーディオ信号の全体的なレベルを検出して照明の強さを適宜調整し、音楽のビートとともにフラッシュする照明経験を作り出すことにより行われている。他の例として、低音、中音、高音の３つの周波数帯域でオーディオ信号のレベルを検出することもある。各周波数帯域にはある色の光が割り当てられており、検出したレベルに応じて各色の光の強さを制御する。
【０００４】
上記の自動照明制御方法は、例えばアナログ電子回路による実施が簡単であり、オペレータがいなくてもオーディオ信号に応じてオンラインで照明を制御することが可能である。しかし、かかる低レベルの方法は、音楽的コンテンツと照明とを自在に合わせることはできず、特にクラシック音楽からダンス音楽やスピーチなどを含む非常に幅広いオーディオ信号の場合にできない。
【発明の開示】
【０００５】
よって、本発明の目的は、照明の変化がオーディオ信号の変化に知覚的に対応するようにアンビエント照明などの照明を自動的に制御できる方法及び装置を提供することである。
【０００６】
この目的及びその他の目的は、本発明の第１の態様により、次の方法を提供することで達成できる。すなわち、オーディオ信号に応じてアンビエント照明等の照明を制御する照明制御パラメータを生成する方法であって、前記方法は、前記オーディオ信号の意味的コンテンツの時間的発展を抽出するために前記オーディオ信号を分析する段階と、前記オーディオ信号の意味的コンテンツの時間的発展に基づき照明制御パラメータを生成する段階とを含む。
【０００７】
意味的コンテンツとは、周波数、振幅、及び時間領域分析等のオーディオ信号の表現から直接抽出される低レベルの特性（features）の組み合わせに基づき、その低レベルの特性から推論した（applying  reasoning  on）特性である。また、状況情報があれば、それを適用してオーディオ信号の意味的コンテンツの抽出を支援してもよい。  
照明制御パラメータとは、明るさ、彩度、ヒュー、及びその空間的分布と時間的変化等の相異なる特性に関して、光源または複数の光源のグループを制御するために使用するソフトウェアパラメータや電気的信号などの情報である。
【０００８】
本発明の方法の利点は、光源を制御して、照明効果と、楽曲などのオーディオ信号のコンテンツとが知覚的に一致（perceived  agreement）するように、オーディオ信号の再生（presentation）と時間的に合った（time  aligned）照明効果を提供できるようになることである。特に、音楽の変化を照明に適切に反映または照明により強調することができる。本方法は、音楽と照明（light）とを良く対応させつつ、非常に様々なオーディオ信号（例えば音楽の相異なるジャンル）に対して照明の自動制御に好適である。
【０００９】
本方法は、照明制御パラメータに基づきアンビエント照明を制御しつつオーディオ信号を再生する段階を含み得る。
【００１０】
一部の実施形態では、本方法は、前記オーディオ信号の空間的特性を抽出して、前記オーディオ信号の空間的特性により、空間的に配置された各光源を制御する照明制御パラメータを生成する段階をさらに含む。かかる実施形態により、オーディオ信号と照明とをさらに対応させることが可能である。知覚的に重要なパラメータを考慮し、ホーム・ハイファイステレオやサラウンドサウンドシステムなどで再生される音像（auditory  image）を対応する照明により強調できるからである。
【００１１】
好ましくは、オーディオ信号の再生により作られる音像を少なくともカバーするように、空間的に離れた個別制御可能な光源を配置する。特に、好ましくは、前記オーディオ信号中の楽器などのオブジェクトの空間的特性を抽出して、各オブジェクトの空間的特性により照明制御パラメータを生成する。これにより、オーディオ信号中の楽器などのオブジェクトを空間的に反映し、知覚する音像中の空間的位置に対応する特殊照明効果、すなわちオブジェクトに応じた照明のマッピングが可能となる。特に、オーディオ信号は、３つ以上のチャンネルを表すサラウンドサウンド信号を含む、または表す。照明制御パラメータは各サラウンドサウンドチャンネルに対して生成される。このように、本方法は、ホームシステムやシネマなどのオーディオシステムとともに使用することに適している。オーディオ信号は、ステレオ、ドルビーサラウンド、５．１、６．１、６．２オーディオシステムなどの少なくとも２つのチャンネルを含む、または表している。
【００１２】
他の実施形態では、本方法は、前記オーディオ信号のシーケンスの意味的に区別できる時間的セクションを決定する段階をさらに含み、前記照明制御パラメータを前記オーディオ信号のセクションを反映するように生成する。特に、前記オーディオ信号のセクションを決定する段階は、セクションバウンダリ、テンポ、動的バリエーション、音楽の主音よりなるグループから選択した少なくとも１つの特性に関係する統計的データを抽出する段階を含み得る。前記照明制御パラメータは各セクションのオーディオ信号の特徴的な特性を反映し得る。
【００１３】
前記照明制御パラメータは、明るさ、彩度、ヒュー、及びその空間的分布と時間的変化よりなるグループから選択した少なくとも１つの照明特性を制御する情報を含み得る。
【００１４】
前記オーディオ信号を分析する段階と前記照明制御パラメータを生成する段階を、前記オーディオ信号を再生し前記照明制御パラメータにより光源を制御しつつ、すなわちオンラインで、実行し得る。あるいは、オフラインの解決策が好ましい場合もあり、すなわち、楽曲などの前記オーディオ信号のシーケンスに基づき照明制御パラメータを生成し、前記照明制御パラメータを記憶し、後で、前記照明制御パラメータにより光源を制御しつつ前記オーディオ信号のシーケンスを再生する段階をさらに含む。
【００１５】
原理的には、本発明は、アナログまたはデジタル（例えば圧縮したＭＰＥＧタイプのオーディオ信号など）の任意のフォーマットのオーディオ信号で機能し得る。しかし、分析はデジタル領域で実行することが好ましく、分析段階を実行する前にアナログオーディオ信号をデジタル表現に変換することが好ましい。
【００１６】
言うまでもなく、どのようにも、上記の実施形態を２つ以上組み合わせることも、第１の態様の副態様（sub  aspects）を組み合わせることも可能である。
【００１７】
第２の態様では、本発明は次の信号プロセッサを提供する。すなわち、オーディオ信号に応じてアンビエント照明等の照明を制御する照明制御パラメータを生成するように構成された信号プロセッサであって、前記信号プロセッサは、前記オーディオ信号の意味的コンテンツの時間的発展を抽出するために前記オーディオ信号を分析するように構成されたオーディオアナライザと、前記オーディオ信号の意味的コンテンツの時間的発展に基づき照明制御パラメータを生成するように構成された照明パラメータ制御ジェネレータとを有する。
【００１８】
本信号プロセッサは、様々な方法で実施でき、例えば１つのチップに集積してもよいし、アナライザと照明パラメータ制御ジェネレータを異なるチップに分けても良い。また、信号プロセッサは、専用信号プロセッサでもよいし、オーディオ分析と照明パラメータ生成を行うように構成されたソフトウェアを有する、パーソナルコンピュータ等の汎用プロセッサでもよい。
【００１９】
言うまでもなく、第１の態様について上記したのと同じ利点と実施形態が第２の態様にも当てはまる。
【００２０】
第３の態様では、本発明は第２の態様による信号プロセッサを有する装置を提供する。第２の態様の信号プロセッサを組み込んだ装置には、網羅的ではないが、次のものが含まれる：１）オーディオアンプ、ＣＤプレーヤ、ポータブルオーディオ装置、オーディオコントロールセンター等のオーディオ装置、２）テレビセット、ＤＶＤプレーヤ、セットトップボックス等のビジュアル装置、または３）ハードディスクレコーダやメディアセンター等の組み合わせオーディオ・ビジュアル装置。
【００２１】
言うまでもなく、第１の態様について上記したのと同じ利点と実施形態が第３の態様にも当てはまる。
【００２２】
第４の態様では、本発明は次のシステムを提供する。すなわち、  
オーディオ信号に基づきアンビエント照明などの光を発生するように構成されたシステムであって、前記システムは、前記オーディオ信号の意味的コンテンツの時間的発展を抽出するために前記オーディオ信号を分析するように構成されたオーディオアナライザと、前記オーディオ信号の意味的コンテンツの時間的発展に基づき照明制御パラメータを生成するように構成された照明パラメータ制御ジェネレータと、前記オーディオ信号を再生する少なくとも１つのスピーカと、前記照明制御パラメータに基づき光を発生する少なくとも１つの光源とを有する。
【００２３】
本システムの一実施形態では、前記オーディオアナライザと照明制御ジェネレータは、前記オーディオ信号の空間的特性を抽出して、前記オーディオ信号の空間的特性に基づき空間的に分離された複数の光源のそれぞれの照明制御パラメータを生成するように構成される。特に、本システムは、空間的に離れた３つ以上のスピーカを有するサラウンドサウンドシステムを含み、適宜、別々に制御可能な光源を好ましくは空間的に配置または分散して、サラウンドサウンドシステムによりカバーされる音像が、再生されるサラウンドサウンド中のオブジェクトを対応する空間的照明効果で追従する印象を生じるように実質的にカバーされる。
【００２４】
第４の態様によるシステムは相異なる様々なアプリケーションで適用でき、網羅的でないリストとしては、ホームエンターテイメントシステム、ジュークボックス、シネマ、シアター、バー、レストラン、コンサート、ホテルの客室、ホテルのラウンジ、ディスコが含まれる。光源は、本技術分野で知られているように、発光ダイオード（ＬＥＤ）や複数のＬＥＤのグループ、グローランプ等である。
【００２５】
本システムは、例えば「ゲットーブラスター（ghetto  blasters）」等の携帯オーディオ機器にも適用することができる。この携帯オーディオ機器は、オーディオ信号の空間的特性に沿って空間的に分散した照明効果を提供するために、光源がキャビネットハウジングのスピーカの両端に空間的に配置されている。特に、照明制御パラメータを用いてオーディオ信号の空間的態様に基づき光源を制御する実施形態では、携帯オーディオ装置は、スピーカが再生するオーディオ信号の空間的特性に応じて照明を空間的に調性するために、キャビネットの端に空間的に配置したＬＥＤのグループを有する。代替的または追加的に、かかる装置は、スピーカにより再生されるオーディオ信号の空間的印象を知覚的に改善するアンビエント照明効果を作り出すように、キャビネットに配置され異なる方向を向いたスポットライトを含む。
【００２６】
言うまでもなく、第１の態様について上記したのと同じ利点と実施形態が第４の態様にも当てはまる。
【００２７】
第５の態様では、本発明は、第１の態様の方法を実行するように構成されたコンピュータ実行可能プログラムコードを提供する。上記の通り、かかるプログラムは、原理的に、専用信号プロセッサや汎用コンピュータハードウェアで実行できる。
【００２８】
言うまでもなく、第１の態様について上記したのと同じ利点と実施形態が第５の態様にも当てはまる。
【００２９】
第６の態様では、本発明は、第５の態様によるコンピュータ実行可能プログラムコードを含むコンピュータ読み取り可能記憶媒体を提供する。記憶媒体の網羅的でないリストとしては：メモリスティック、メモリカードあり、ＣＤ、ＤＶＤ、ブルーレイディスク、ハードディスク（ポータブルハードディスク）等のディスクベースのものでもよい。  言うまでもなく、第１の態様について上記したのと同じ利点と実施形態が第６の態様にも当てはまる。
【００３０】
言うまでもなく、第１の態様で記載した利点や実施形態は、本発明の第２、第３、第４、第５、及び第６の態様にも当てはまる。このように、言うまでもなく、本発明のどの態様も他の態様と組み合わせることができる。
【図面の簡単な説明】
【００３１】
例として添付した図面を参照して本発明を説明する。
【図１】本発明の装置またはシステムの実施形態を示す図である。
【図２】独立に制御可能な光源をサラウンドサウンドスピーカのセットがある範囲をカバーするように空間的に配置したサラウンドサウンドシステムの実施形態を示す図である。
【図３】抽出した音楽シーケンスの意味的に区別可能なセクションに基づく照明制御パラメータの例を示す図である。
【発明を実施するための形態】
【００３２】
図１は、信号プロセッサ１０を含むシステムまたは装置を示す図である。信号プロセッサ１０は、ＭＰＥＧ標準により圧縮されたデジタルオーディオストリームなどのデジタルオーディオストリーム等であるオーディオ信号Ａを受信するように構成されたオーディオアナライザ１１を有する。オーディオアナライザ１１は、例えば、オーディオ信号Ａの周波数分析及び時間的分析に基づき、オーディオ信号Ａの基本的低レベル信号特性を抽出するために、オーディオ信号Ａに信号処理アルゴリズムを適用する。次に、オーディオアナライザ１１は、これらの低レベル信号特性を組み合わせて、別の状況情報（contextual  information）ももしあれば用いて、オーディオ信号Ａの意味的コンテンツ（semantic  content）の時間的発展を反映した分析結果を求める。
【００３３】
照明制御パラメータジェネレータ１２は、オーディオアナライザ１１からオーディオ信号Ａの意味的コンテンツの時間的発展に関する情報を受け取り、それに基づいて、オーディオ信号Ａの意味的コンテンツの時間的発展を反映する照明制御パラメータを生成する。最後に、増幅されスピーカ３０で再生されたオーディオ信号Ａの音響プレゼンテーション（acoustic  presentation）に時間的に合ったアンビエント照明を作り出すために、生成した照明制御パラメータで光源２０を制御する。照明制御パラメータはオーディオ信号Ａの意味的コンテンツの時間的発展に応じて生成されるので、アンビエント照明が「インテリジェントに」または「ちょうどよく（right）」オーディオ信号Ａの意味的コンテンツに追随するオーディオ・ビジュアルプレゼンテーションを経験することが可能である。例えば、本発明の方法とシステムを用いると、音楽ジャンルに拘わらず楽曲（piece  of  music）の意味的コンテンツを反映するようにアンビエント照明を自動的に制御可能である。
【００３４】
オーディオ信号の意味的コンテンツの時間的発展を抽出する段間に関しては、M.  Bruderer,  A.G.  Kohlrausch  and  M.F.  McKinneyによる論文「Perception  of  structural  boundaries  in  popular  music」（Proceedings  of  the  ９th  International  Conference  on  Music  Perception  and  Cognition,  ２００６,  Bologna  (see  e.g.  http://www.icmpc２００６.org)）を参照する。この論文には、歌から構造情報を抽出する方法が記載されている。楽曲を表すオーディオ信号の「バウンダリ・キュー（boundary  cues）」のが記載されている。この論文に記載されている、楽曲の意味的に区別できるセクション間のバウンダリの検出について重要なオーディオ信号中のキューは、（例えばドラムや声の）音色（timbre）、調性（例えば倍音進行（harmonic  progression）やメロディ変化）、リズム（例えば強勢の変化、テンポ変化、リズム変化）、構造（例えば、全体構造や反復）である。また、この論文は、E.  Cambouropoulosの博士論文「Towards  a  general  computational  theory  of  musical  structure」（University  of  Edinburgh,  １９９８）、及びB.W.  Frankland  &  A.J.  Cohenの論文「Parsing  of  melody:  Quantification  and  testing  of  the  local  grouping  rules  of  “Lerdahl  and  Jackendoff&oslash;s  a  Generative  Theory  of  Tonal  Music”」（Music  Perception,  ２１(４),  pp.  ４９９−５４３,  ２００４）に記載されている２つの音楽学的モデルを用いて、異なるキューの時間的な分布である休憩、長さ及び音域の変化、アタックポイント（attack-point）（短い音符の間の長い音符）を抽出している。また、この他に３つのキュー、すなわち楽器の声部の始めと終わり、及び和声解決（harmonic  resolution）の時点を抽出する。歌の異なるキューの分布間の時間的相関が低ければ、好適な実験候補とみなした（時間的相関が低いと、セグメントバウンダリのキューを分離することができる）。上記論文は、ポピュラー音楽ではセクションの配置に関して個人間で概ね一致すると結論づけ、かかるセクションを抽出する方法を記載している。このように、照明が音楽に合わせて「正しく（in  the  right  way）」変化することに一般的な一致が見られるので、楽曲のかかるセクションに時間的に合った変化をする照明を生成することも好ましい。
【００３５】
図１のシステムを参照して説明する方法は、オンラインで、すなわちオーディオストリームＡを受信し、同時にスピーカ３０で再生する場合に実行することもできる。あるいは、信号プロセッサ１０（すなわち、１１及び１２、または少なくとも１１）が実行する信号処理は、例えば楽曲やＣＤアルバム全体のコンテンツであるオーディオ信号Ａのシーケンスに基づいてオフラインで実行できる。結果として得られる時間の関数としての照明制御パラメータは、コンピュータ読み取り記憶可能媒体に記憶して、後で使用、すなわち後でオーディオ信号Ａをスピーカ３０で再生する時に光源２０を制御できる。
【００３６】
言うまでもなく、１１及び１２の一方または両方を含む信号処理部１０はいろいろな方法で実施することができる。信号処理部１０は専用信号プロセッサや、パーソナルコンピュータなどの汎用コンピュータの信号処理パワーを用いて実施することができる。信号プロセッサはスタンドアロン装置で実施してもよいし、装置に組み込んでもよい。装置には光源２０とスピーカ３０の一方または両方を含む。
【００３７】
図２は、点線のボックスで示したサラウンドサウンド装置（surround  sound  setup）の一実施形態を示す図である。人１１０はサラウンドサウンドシステム内にいて、例えば５つのスピーカＳ１−Ｓ５が使用される。これらのスピーカＳ１−Ｓ５は、例えばデジタルフォーマットの５つのオーディオチャンネルを表すオーディオ信号Ａに含まれた情報により空間的な音響経験（spatial  auditory  experience）をその人に提供するために、空間的に離れて配置されている。図示した実施例では、信号プロセッサ１００は、５つの光源（すなわち光源のグループ）Ｌ１−Ｌ５を独立に制御できる照明制御パラメータを抽出する。図では、５つの光源Ｌ１−Ｌ５はスピーカＳ１−Ｓ５の空間的に近くに配置され、スピーカが張る空間範囲を知覚的にカバーする。もちろん、独立して制御可能な光源の数はオーディオチャンネルの数よりも大きくてもよく、その場合、オーディオ信号中の楽器などのオブジェクトをより精密に空間的に光でマッピングすることができる。
【００３８】
４つの光源Ｌ１−Ｌ５はスピーカＳ１−Ｓ５に対して空間的に散らばっているので、光源Ｌ１−Ｌ５を制御して、スピーカＳ１−Ｓ５によりオーディオ信号Ａを再生するときに光源Ｌ１−Ｌ５を制御して、空間的なアンビエント照明経験が空間的な音響経験に対応するようにすることができる。例えば、各光源Ｌ１−Ｌ５は異なった色を異なった強さで光をだすことができる。例えばギターなどの楽曲中の意味的オブジェクトの情報を抽出することにより、音響イメージ中のそのギターの空間的配置を、オーディオ信号Ａにおいて、追跡することが可能となる。このように、例えば、緑色の光を用いてそのギターを表し、強さがそのギターのレベルを示す。ギタープレーヤがコンサートのシーン中で歩くと、ギターの音響イメージ中の位置は変化し、緑色の光もそれに応じて空間的に変化し、例えばギタープレーヤの動きに応じてＬ１からＬ２を通ってＬ３に動く。こうすることにより、視聴者１１０の経験が全体的に改善される（enhance）。
【００３９】
本発明は、例えばＤＶＤなどのオーディオ・ビジュアルプレゼンテーションのオーディオ信号部分で実行することができる。オーディオ・ビジュアルプレゼンテーションは、テレビセットなどの２次元または３次元の表示画面に表示される画像信号部分Ｉも含む。これらのビジュアルな要素Ｉ，Ｄは、任意的なので、図２では点線で示した。信号プロセッサ１００の実施形態では、照明制御パラメータを生成するオーディオ信号Ａの情報を支援して空間的に分布した光源Ｌ１−Ｌ５を制御するために、画像Ｉ中のオブジェクトの空間的特性を考慮する。こうして、照明制御パラメータの生成においてオーディオから抽出した空間的オブジェクト特性（spatial  object  properties）をさらにサポートすることができる。例えば、映画のヒーローが火炎銃を持って画像Iを右に走るとき、オーディオ信号Ａは火炎銃があることをまだ示していなくても、例えば光源Ｌ１で赤い光を弱くフラッシュさせることが可能である。そして、火炎銃を撃つとき、スピーカＳ１で主に再生される銃の大きな音に光源Ｌ１からの強い赤い光を伴わせることができる。
【００４０】
図３は、点線で示したバウンダリ２０１の間のセクションに分割した時間ｔの関数として、楽曲を示す３つのグラフ２００，２１０，２２０を示す。グラフ２００は、時間の関数として楽曲から分析及び抽出されたテンポ等を表すパラメータｐの時間的発展を示す。この例では、テンポの時間的発展はセクションバウンダリ２０１と相関しているように見えることが分かる。グラフ２１０は、時間ｔの関数としての対応する照明制御パラメータを示す。このパラメータは例えば光の強さｉである。グラフからわかるように、この例では、音楽信号のテンポを光の強さに直接変換している。光の強さがテンポと直接対応するステップ状で制御され、抽出したセクションバウンダリ２０１に変化が一致していることから分かる。グラフ２２０は、時間ｔの関数として他の照明制御パラメータ、すなわち異なるフラッシュパターンＦＰ１−ＦＰ３を示す。これらのフラッシュパターンは音楽のテンポを直接反映していないが、テンポが前のセクションと比較して増えたか減ったかに応じてセクションごとにフラッシュパターンＦＰ１−ＦＰ３を変更するように選択されていることが分かる。フラッシュパターンＦＰ１−ＦＰ３は、それぞれフラッシュの強さ、フラッシュのテンポ、光源の空間的分布等の点で異なる変化のシーケンスである。このように、音楽の意味的コンテンツ（semantic  content）の変化を反映する楽曲のセクションから抽出したセクションに従って変化するように生成された照明制御パラメータを示している。
【００４１】
照明制御パラメータを提供する代替的な方法として、音楽的オーディオ信号を分析して、演奏されている和音が長調か短調かに応じてセクションに分割する。そして、和音が短調のセクションでは光の色を全体的に青く変更し、長調の和音を検出したセクションでは明るい黄色に変更してもよい。さらに別の実施形態では、歌詞の意味的コンテンツを抽出するために、オーディオ信号Ａに音声認識アルゴリズムを適用してもよい。単純な例として、特定の言葉を認識して、照明制御パラメータを生成してもよい。例えば、「愛」という言葉が歌に出てくると光源をオンにして赤いハートを表示してもよい。
【００４２】
本発明の実施形態について、オーディオ信号の空間的な側面について、次にかかる空間的側面を抽出する方法の詳細な説明をする。水平的（バイノーラル）音楽定位の場合、両耳間強度差、両耳間時間差、及び両耳間相関の３つの信号パラメータが重要である。これらのパラメータは周波数と時間の関数として評価され、音響システムの限定されたスペクトル的及び時間的解像度を組み込んでいる。さらに、バイノーラル音響システムは、Leslie  R.  Bernstein  and  Constantine  Trahiotisによる「The  effects  of  randomizing  values  of  interaural  disparities  on  binaural  detection  and  on  discrimination  of  interaural  correlation.」（J.  Acoust.  Soc.  Am.,  １０２,  pp.  １１１３&#8211;１１２０,  １９９７）に記載されているように、少量のインターラクションだけでこれらの信号パラメータを評価することができる。これらのパラメータの１つの実際の値は、他のパラメータの変化と比較して、人間の感度にほとんど影響しない。
【００４３】
ここで説明したパラメータは次の３段階モデルを用いて求めることができる：
１）  第１段階は周辺プリプロセッサを含む。この段階は蝸牛（cochlea）と聴覚神経に見られるように周辺信号変換（peripheral  signal  transductions）をまねる。これと関係する周辺プリプロセッサの段階はつぎのように要約できる。
−  基底膜を含む蝸牛（cochlea）を、帯域幅が等化方形帯域幅（equivalent  rectangular  bandwidth（ＥＲＢ））に対応するフィルタを用いて、３次のガンマトーンフィルタバンクでモデル化する。
−  内有毛細胞の有効信号処理を、半波整流器（half-wave  rectifier）とそれに続くカットオフ周波数（−３ｄＢ点）が７７０Ｈｚである５次ローパスフィルタとでモデル化する。
−  様々な時定数の適応（adaptation）の影響を含めるため、５つの適応ループのチェーンを含めた。
２）  第２段階は、バイノーラルプロセッサを含み、左右の耳からの信号をいわゆる興奮・抑制（Excitation-Inhibitation、ＥＩ）要素により比較する。興奮・抑制要素は、DurlachのＥＣ理論（「Equalization  and  cancellation  theory  of  binaural  masking-level  differences」,  J.  Acoust.  Soc.  Am,  ３５:１２０６−１２１８,  １９６３,  by  N.I.  Durlach)に密接に関係するフレームワークである。ＥＩタイプの要素は特徴的ＩＴＤと特徴的ＩＩＤにより記述される。各ＥＩタイプ要素は、２つの入力信号の違いに関係する出力を有する（すなわち、１つの入力は興奮的であり、他の入力は抑制的である）。より具体的には、出力は２つの入力信号の差の二乗により構成される。ＥＩ要素の出力は、ある有効方形長さ（equivalent  rectangular  duration、ＥＲＤ）を有する両側指数ウィンドウで出力をたたみ込むことにより時間的になめらかにされる。ＥＩアクティビティパターンの最小値をスキャンすることにより、モデルの入力における波形のＩＩＤとＩＴＤを抽出できる。さらに、最小中のアクティビティ量は各周波数領域の左と右のチャンネルの波形間の最大相互相関の尺度である。
３）  モデルの第３段階は中央プロセッサを含む。この中央プロセッサはＥＩアクティビティの違いを分析する。すなわち、２つの刺激に対するＥＩアクティビティがまったくまたはほとんど同じであれば、これらの刺激による空間的印象は同じであると仮定する。
【００４４】
要約すると、本発明は、オーディオ信号（Ａ）に応じて、アンビエント照明等の照明（２０）を制御する照明制御パラメータ（light  control  parameter）を生成する方法、装置、及びシステムを提供する。そのオーディオ信号の意味的コンテンツの時間的発展を抽出するために、そのオーディオ信号を分析する。次に、オンラインまたはオフラインで、オーディオ信号の意味的コンテンツの時間的発展により照明制御パラメータを生成する。こうすることにより、音楽等のオーディオ信号に知覚的に合った（perceptually  aligned）照明を作り出すことができる。好ましい実施形態では、オーディオ信号の空間的特性を抽出し、例えば、光源を各スピーカの近くに配置したステレオまたはサラウンドのサウンドシステムのオーディオ信号の空間的特性に応じて、空間的に配置された各光源を制御する照明制御パラメータを生成する。かかる実施形態により照明（light）とオーディオの空間的対応（correspondence）が可能となる。他の好ましい実施形態において、オーディオ信号のシーケンスの意味的に区別できる（semantically  distinct）時間的セクション（例えば楽曲のセクション）を決定し、このオーディオ信号のセクションを反映するように照明制御パラメータを生成する。かかる実施形態により、例えば楽曲中の知覚できる変化に追随して照明を時間的に変化させることが可能となる。上記の方法は、例えば、ホームエンターテイメントシステム、シアター、ジュークボックス、バー、レストラン、シネマ、ディスコに適用できる。
【００４５】
具体的な実施形態に関して本発明を説明したが、ここに記載した具体的な形式に限定することを意図したものではない。むしろ、本発明の範囲は添付した請求の範囲のみにより限定される。請求項では、「有する」という用語は他の要素やステップの存在を排除するものではない。また、個々の機能（feature）は異なる請求項に含まれていても、これらを有利に組み合わせることが可能であり、異なる請求項に含まれていても、機能を組み合わせられないとか、組み合わせても有利ではないということを示唆するものでもない。また、単数扱いをしても複数の場合を排除するものではない。よって、「１つの」、「第１の」、「第２の」等は複数の場合を排除するものではない。さらにまた、請求項に含まれる参照符号は、その請求項の範囲を限定するものと解してはならない。
【図１】
2010508626.tif 000003
【図２】
2010508626.tif 000004
【図３】
2010508626.tif 000005
【手続補正書】
【提出日】平成21年5月8日(2009.5.8)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理、特にオーディオ信号の処理の分野に関する。より具体的には、本発明は、オーディオ信号に応じたアンビエント照明（ambient  lighting）などの光源を制御するパラメータを抽出するためにオーディオ信号を処理する方法、信号プロセッサ、及び装置に関する。
【背景技術】
【０００２】
照明と音楽とが合うオーディオ・ビジュアル知覚経験を作り出すことを目標として音楽の特徴などのオーディオ信号の特性を反映させるために、アンビエント照明などの照明を制御する技術は周知である。このような制御はコンサート、レストラン、バー、ディスコなどで行われている。
【０００３】
コンサートでは、音楽的なコンテンツを完全に合わせるように複雑な照明シーケンスを注意深く計画するので、かかる結果を得るためには人のスキルや人手による計画が必要である。対照的に、ディスコやバーの照明は、音楽信号の信号パラメータを検出して自動的に制御することが多い。かかる照明制御は、オーディオ信号の全体的なレベルを検出して照明の強さを適宜調整し、音楽のビートとともにフラッシュする照明経験を作り出すことにより行われている。他の例として、低音、中音、高音の３つの周波数帯域でオーディオ信号のレベルを検出することもある。各周波数帯域にはある色の光が割り当てられており、検出したレベルに応じて各色の光の強さを制御する。
【０００４】
上記の自動照明制御方法は、例えばアナログ電子回路による実施が簡単であり、オペレータがいなくてもオーディオ信号に応じてオンラインで照明を制御することが可能である。しかし、かかる低レベルの方法は、音楽的コンテンツと照明とを自在に合わせることはできず、特にクラシック音楽からダンス音楽やスピーチなどを含む非常に幅広いオーディオ信号の場合にできない。
【発明の開示】
【０００５】
よって、本発明の目的は、照明の変化がオーディオ信号の変化に知覚的に対応するようにアンビエント照明などの照明を自動的に制御できる方法及び装置を提供することである。
【０００６】
この目的及びその他の目的は、本発明の第１の態様により、次の方法を提供することで達成できる。すなわち、オーディオ信号に応じてアンビエント照明等の照明を制御する照明制御パラメータを生成する方法であって、前記方法は、前記オーディオ信号の意味的コンテンツの時間的発展、及び前記オーディオ信号の空間的特性を抽出するために前記オーディオ信号を分析する段階と、前記オーディオ信号の空間的特性に応じて、空間的に配置された光源を制御する照明制御パラメータを生成する段階であって、前記照明制御パラメータを前記オーディオ信号の意味的コンテンツの時間的発展に基づき生成する段階とを含む。
【０００７】
意味的コンテンツとは、周波数、振幅、及び時間領域分析等のオーディオ信号の表現から直接抽出される低レベルの特性（features）の組み合わせに基づき、その低レベルの特性から推論した（applying  reasoning  on）特性である。また、状況情報があれば、それを適用してオーディオ信号の意味的コンテンツの抽出を支援してもよい。  
照明制御パラメータとは、明るさ、彩度、ヒュー、及びその空間的分布と時間的変化等の相異なる特性に関して、光源または複数の光源のグループを制御するために使用するソフトウェアパラメータや電気的信号などの情報である。
【０００８】
本発明の方法の利点は、光源を制御して、照明効果と、楽曲などのオーディオ信号のコンテンツとが知覚的に一致（perceived  agreement）するように、オーディオ信号の再生（presentation）と時間的に合った（time  aligned）照明効果を提供できるようになることである。特に、音楽の変化を照明に適切に反映または照明により強調することができる。本方法は、音楽と照明（light）とを良く対応させつつ、非常に様々なオーディオ信号（例えば音楽の相異なるジャンル）に対して照明の自動制御に好適である。
【０００９】
本方法は、照明制御パラメータに基づきアンビエント照明を制御しつつオーディオ信号を再生する段階を含み得る。
【００１０】
前記オーディオ信号の空間的特性を抽出して、前記オーディオ信号の空間的特性により、空間的に配置された各光源を制御する照明制御パラメータを生成する段階を本方法にさらに含むことにより、オーディオ信号と照明とをさらに対応させることが可能である。知覚的に重要なパラメータを考慮し、ホーム・ハイファイステレオやサラウンドサウンドシステムなどで再生される音像（auditory  image）を対応する照明により強調できるからである。
【００１１】
好ましくは、オーディオ信号の再生により作られる音像を少なくともカバーするように、空間的に離れた個別制御可能な光源を配置する。特に、好ましくは、前記オーディオ信号中の楽器などのオブジェクトの空間的特性を抽出して、各オブジェクトの空間的特性により照明制御パラメータを生成する。これにより、オーディオ信号中の楽器などのオブジェクトを空間的に反映し、知覚する音像中の空間的位置に対応する特殊照明効果、すなわちオブジェクトに応じた照明のマッピングが可能となる。特に、オーディオ信号は、３つ以上のチャンネルを表すサラウンドサウンド信号を含む、または表す。照明制御パラメータは各サラウンドサウンドチャンネルに対して生成される。このように、本方法は、ホームシステムやシネマなどのオーディオシステムとともに使用することに適している。オーディオ信号は、ステレオ、ドルビーサラウンド、５．１、６．１、６．２オーディオシステムなどの少なくとも２つのチャンネルを含む、または表している。
【００１２】
他の実施形態では、本方法は、前記オーディオ信号のシーケンスの意味的に区別できる時間的セクションを決定する段階をさらに含み、前記照明制御パラメータを前記オーディオ信号のセクションを反映するように生成する。特に、前記オーディオ信号のセクションを決定する段階は、セクションバウンダリ、テンポ、動的バリエーション、音楽の主音よりなるグループから選択した少なくとも１つの特性に関係する統計的データを抽出する段階を含み得る。前記照明制御パラメータは各セクションのオーディオ信号の特徴的な特性を反映し得る。
【００１３】
前記照明制御パラメータは、明るさ、彩度、ヒュー、及びその空間的分布と時間的変化よりなるグループから選択した少なくとも１つの照明特性を制御する情報を含み得る。
【００１４】
前記オーディオ信号を分析する段階と前記照明制御パラメータを生成する段階を、前記オーディオ信号を再生し前記照明制御パラメータにより光源を制御しつつ、すなわちオンラインで、実行し得る。あるいは、オフラインの解決策が好ましい場合もあり、すなわち、楽曲などの前記オーディオ信号のシーケンスに基づき照明制御パラメータを生成し、前記照明制御パラメータを記憶し、後で、前記照明制御パラメータにより光源を制御しつつ前記オーディオ信号のシーケンスを再生する段階をさらに含む。
【００１５】
原理的には、本発明は、アナログまたはデジタル（例えば圧縮したＭＰＥＧタイプのオーディオ信号など）の任意のフォーマットのオーディオ信号で機能し得る。しかし、分析はデジタル領域で実行することが好ましく、分析段階を実行する前にアナログオーディオ信号をデジタル表現に変換することが好ましい。
【００１６】
言うまでもなく、どのようにも、上記の実施形態を２つ以上組み合わせることも、第１の態様の副態様（sub  aspects）を組み合わせることも可能である。
【００１７】
第２の態様では、本発明は独立項に記載した信号プロセッサを提供する。
【００１８】
本信号プロセッサは、様々な方法で実施でき、例えば１つのチップに集積してもよいし、アナライザと照明パラメータ制御ジェネレータを異なるチップに分けても良い。また、信号プロセッサは、専用信号プロセッサでもよいし、オーディオ分析と照明パラメータ生成を行うように構成されたソフトウェアを有する、パーソナルコンピュータ等の汎用プロセッサでもよい。
【００１９】
言うまでもなく、第１の態様について上記したのと同じ利点と実施形態が第２の態様にも当てはまる。
【００２０】
第３の態様では、本発明は第２の態様による信号プロセッサを有する装置を提供する。第２の態様の信号プロセッサを組み込んだ装置には、網羅的ではないが、次のものが含まれる：１）オーディオアンプ、ＣＤプレーヤ、ポータブルオーディオ装置、オーディオコントロールセンター等のオーディオ装置、２）テレビセット、ＤＶＤプレーヤ、セットトップボックス等のビジュアル装置、または３）ハードディスクレコーダやメディアセンター等の組み合わせオーディオ・ビジュアル装置。
【００２１】
言うまでもなく、第１の態様について上記したのと同じ利点と実施形態が第３の態様にも当てはまる。
【００２２】
第４の態様では、本発明は独立請求項１６に記載したシステムを提供する。
【００２３】
特に、本システムは、空間的に離れた３つ以上のスピーカを有するサラウンドサウンドシステムを含み、適宜、別々に制御可能な光源を好ましくは空間的に配置または分散して、サラウンドサウンドシステムによりカバーされる音像が、再生されるサラウンドサウンド中のオブジェクトを対応する空間的照明効果で追従する印象を生じるように実質的にカバーされる。
【００２４】
第４の態様によるシステムは相異なる様々なアプリケーションで適用でき、網羅的でないリストとしては、ホームエンターテイメントシステム、ジュークボックス、シネマ、シアター、バー、レストラン、コンサート、ホテルの客室、ホテルのラウンジ、ディスコが含まれる。光源は、本技術分野で知られているように、発光ダイオード（ＬＥＤ）や複数のＬＥＤのグループ、グローランプ等である。
【００２５】
本システムは、例えば「ゲットーブラスター（ghetto  blasters）」等の携帯オーディオ機器にも適用することができる。この携帯オーディオ機器は、オーディオ信号の空間的特性に沿って空間的に分散した照明効果を提供するために、光源がキャビネットハウジングのスピーカの両端に空間的に配置されている。特に、照明制御パラメータを用いてオーディオ信号の空間的態様に基づき光源を制御する実施形態では、携帯オーディオ装置は、スピーカが再生するオーディオ信号の空間的特性に応じて照明を空間的に調性するために、キャビネットの端に空間的に配置したＬＥＤのグループを有する。代替的または追加的に、かかる装置は、スピーカにより再生されるオーディオ信号の空間的印象を知覚的に改善するアンビエント照明効果を作り出すように、キャビネットに配置され異なる方向を向いたスポットライトを含む。
【００２６】
言うまでもなく、第１の態様について上記したのと同じ利点と実施形態が第４の態様にも当てはまる。
【００２７】
第５の態様では、本発明は、第１の態様の方法を実行するように構成されたコンピュータ実行可能プログラムコードを提供する。上記の通り、かかるプログラムは、原理的に、専用信号プロセッサや汎用コンピュータハードウェアで実行できる。
【００２８】
言うまでもなく、第１の態様について上記したのと同じ利点と実施形態が第５の態様にも当てはまる。
【００２９】
第６の態様では、本発明は、第５の態様によるコンピュータ実行可能プログラムコードを含むコンピュータ読み取り可能記憶媒体を提供する。記憶媒体の網羅的でないリストとしては：メモリスティック、メモリカードあり、ＣＤ、ＤＶＤ、ブルーレイディスク、ハードディスク（ポータブルハードディスク）等のディスクベースのものでもよい。  言うまでもなく、第１の態様について上記したのと同じ利点と実施形態が第６の態様にも当てはまる。
【００３０】
言うまでもなく、第１の態様で記載した利点や実施形態は、本発明の第２、第３、第４、第５、及び第６の態様にも当てはまる。このように、言うまでもなく、本発明のどの態様も他の態様と組み合わせることができる。
【図面の簡単な説明】
【００３１】
例として添付した図面を参照して本発明を説明する。
【図１】信号チャネル装置またはシステムの実施形態を示す図である。
【図２】独立に制御可能な光源をサラウンドサウンドスピーカのセットがある範囲をカバーするように空間的に配置したサラウンドサウンドシステムの実施形態を示す図である。
【図３】抽出した音楽シーケンスの意味的に区別可能なセクションに基づく照明制御パラメータの例を示す図である。
【発明を実施するための形態】
【００３２】
図１は、信号プロセッサ１０を含むシステムまたは装置を示す図である。信号プロセッサ１０は、ＭＰＥＧ標準により圧縮されたデジタルオーディオストリームなどのデジタルオーディオストリーム等であるオーディオ信号Ａを受信するように構成されたオーディオアナライザ１１を有する。オーディオアナライザ１１は、例えば、オーディオ信号Ａの周波数分析及び時間的分析に基づき、オーディオ信号Ａの基本的低レベル信号特性を抽出するために、オーディオ信号Ａに信号処理アルゴリズムを適用する。次に、オーディオアナライザ１１は、これらの低レベル信号特性を組み合わせて、別の状況情報（contextual  information）ももしあれば用いて、オーディオ信号Ａの意味的コンテンツ（semantic  content）の時間的発展を反映した分析結果を求める。
【００３３】
照明制御パラメータジェネレータ１２は、オーディオアナライザ１１からオーディオ信号Ａの意味的コンテンツの時間的発展に関する情報を受け取り、それに基づいて、オーディオ信号Ａの意味的コンテンツの時間的発展を反映する照明制御パラメータを生成する。最後に、増幅されスピーカ３０で再生されたオーディオ信号Ａの音響プレゼンテーション（acoustic  presentation）に時間的に合ったアンビエント照明を作り出すために、生成した照明制御パラメータで光源２０を制御する。照明制御パラメータはオーディオ信号Ａの意味的コンテンツの時間的発展に応じて生成されるので、アンビエント照明が「インテリジェントに」または「ちょうどよく（right）」オーディオ信号Ａの意味的コンテンツに追随するオーディオ・ビジュアルプレゼンテーションを経験することが可能である。例えば、本発明の方法とシステムを用いると、音楽ジャンルに拘わらず楽曲（piece  of  music）の意味的コンテンツを反映するようにアンビエント照明を自動的に制御可能である。
【００３４】
オーディオ信号の意味的コンテンツの時間的発展を抽出する段間に関しては、M.  Bruderer,  A.G.  Kohlrausch  and  M.F.  McKinneyによる論文「Perception  of  structural  boundaries  in  popular  music」（Proceedings  of  the  ９th  International  Conference  on  Music  Perception  and  Cognition,  ２００６,  Bologna  (see  e.g.  http://www.icmpc２００６.org)）を参照する。この論文には、歌から構造情報を抽出する方法が記載されている。楽曲を表すオーディオ信号の「バウンダリ・キュー（boundary  cues）」のが記載されている。この論文に記載されている、楽曲の意味的に区別できるセクション間のバウンダリの検出について重要なオーディオ信号中のキューは、（例えばドラムや声の）音色（timbre）、調性（例えば倍音進行（harmonic  progression）やメロディ変化）、リズム（例えば強勢の変化、テンポ変化、リズム変化）、構造（例えば、全体構造や反復）である。また、この論文は、E.  Cambouropoulosの博士論文「Towards  a  general  computational  theory  of  musical  structure」（University  of  Edinburgh,  １９９８）、及びB.W.  Frankland  &  A.J.  Cohenの論文「Parsing  of  melody:  Quantification  and  testing  of  the  local  grouping  rules  of  “Lerdahl  and  Jackendoff&oslash;s  a  Generative  Theory  of  Tonal  Music”」（Music  Perception,  ２１(４),  pp.  ４９９−５４３,  ２００４）に記載されている２つの音楽学的モデルを用いて、異なるキューの時間的な分布である休憩、長さ及び音域の変化、アタックポイント（attack-point）（短い音符の間の長い音符）を抽出している。また、この他に３つのキュー、すなわち楽器の声部の始めと終わり、及び和声解決（harmonic  resolution）の時点を抽出する。歌の異なるキューの分布間の時間的相関が低ければ、好適な実験候補とみなした（時間的相関が低いと、セグメントバウンダリのキューを分離することができる）。上記論文は、ポピュラー音楽ではセクションの配置に関して個人間で概ね一致すると結論づけ、かかるセクションを抽出する方法を記載している。このように、照明が音楽に合わせて「正しく（in  the  right  way）」変化することに一般的な一致が見られるので、楽曲のかかるセクションに時間的に合った変化をする照明を生成することも好ましい。
【００３５】
図１のシステムを参照して説明する方法は、オンラインで、すなわちオーディオストリームＡを受信し、同時にスピーカ３０で再生する場合に実行することもできる。あるいは、信号プロセッサ１０（すなわち、１１及び１２、または少なくとも１１）が実行する信号処理は、例えば楽曲やＣＤアルバム全体のコンテンツであるオーディオ信号Ａのシーケンスに基づいてオフラインで実行できる。結果として得られる時間の関数としての照明制御パラメータは、コンピュータ読み取り記憶可能媒体に記憶して、後で使用、すなわち後でオーディオ信号Ａをスピーカ３０で再生する時に光源２０を制御できる。
【００３６】
言うまでもなく、１１及び１２の一方または両方を含む信号処理部１０はいろいろな方法で実施することができる。信号処理部１０は専用信号プロセッサや、パーソナルコンピュータなどの汎用コンピュータの信号処理パワーを用いて実施することができる。信号プロセッサはスタンドアロン装置で実施してもよいし、装置に組み込んでもよい。装置には光源２０とスピーカ３０の一方または両方を含む。
【００３７】
図２は、点線のボックスで示したサラウンドサウンド装置（surround  sound  setup）の一実施形態を示す図である。人１１０はサラウンドサウンドシステム内にいて、例えば５つのスピーカＳ１−Ｓ５が使用される。これらのスピーカＳ１−Ｓ５は、例えばデジタルフォーマットの５つのオーディオチャンネルを表すオーディオ信号Ａに含まれた情報により空間的な音響経験（spatial  auditory  experience）をその人に提供するために、空間的に離れて配置されている。図示した実施例では、信号プロセッサ１００は、５つの光源（すなわち光源のグループ）Ｌ１−Ｌ５を独立に制御できる照明制御パラメータを抽出する。図では、５つの光源Ｌ１−Ｌ５はスピーカＳ１−Ｓ５の空間的に近くに配置され、スピーカが張る空間範囲を知覚的にカバーする。もちろん、独立して制御可能な光源の数はオーディオチャンネルの数よりも大きくてもよく、その場合、オーディオ信号中の楽器などのオブジェクトをより精密に空間的に光でマッピングすることができる。
【００３８】
４つの光源Ｌ１−Ｌ５はスピーカＳ１−Ｓ５に対して空間的に散らばっているので、光源Ｌ１−Ｌ５を制御して、スピーカＳ１−Ｓ５によりオーディオ信号Ａを再生するときに光源Ｌ１−Ｌ５を制御して、空間的なアンビエント照明経験が空間的な音響経験に対応するようにすることができる。例えば、各光源Ｌ１−Ｌ５は異なった色を異なった強さで光をだすことができる。例えばギターなどの楽曲中の意味的オブジェクトの情報を抽出することにより、音響イメージ中のそのギターの空間的配置を、オーディオ信号Ａにおいて、追跡することが可能となる。このように、例えば、緑色の光を用いてそのギターを表し、強さがそのギターのレベルを示す。ギタープレーヤがコンサートのシーン中で歩くと、ギターの音響イメージ中の位置は変化し、緑色の光もそれに応じて空間的に変化し、例えばギタープレーヤの動きに応じてＬ１からＬ２を通ってＬ３に動く。こうすることにより、視聴者１１０の経験が全体的に改善される（enhance）。
【００３９】
本発明は、例えばＤＶＤなどのオーディオ・ビジュアルプレゼンテーションのオーディオ信号部分で実行することができる。オーディオ・ビジュアルプレゼンテーションは、テレビセットなどの２次元または３次元の表示画面に表示される画像信号部分Ｉも含む。これらのビジュアルな要素Ｉ，Ｄは、任意的なので、図２では点線で示した。信号プロセッサ１００の実施形態では、照明制御パラメータを生成するオーディオ信号Ａの情報を支援して空間的に分布した光源Ｌ１−Ｌ５を制御するために、画像Ｉ中のオブジェクトの空間的特性を考慮する。こうして、照明制御パラメータの生成においてオーディオから抽出した空間的オブジェクト特性（spatial  object  properties）をさらにサポートすることができる。例えば、映画のヒーローが火炎銃を持って画像Iを右に走るとき、オーディオ信号Ａは火炎銃があることをまだ示していなくても、例えば光源Ｌ１で赤い光を弱くフラッシュさせることが可能である。そして、火炎銃を撃つとき、スピーカＳ１で主に再生される銃の大きな音に光源Ｌ１からの強い赤い光を伴わせることができる。
【００４０】
図３は、点線で示したバウンダリ２０１の間のセクションに分割した時間ｔの関数として、楽曲を示す３つのグラフ２００，２１０，２２０を示す。グラフ２００は、時間の関数として楽曲から分析及び抽出されたテンポ等を表すパラメータｐの時間的発展を示す。この例では、テンポの時間的発展はセクションバウンダリ２０１と相関しているように見えることが分かる。グラフ２１０は、時間ｔの関数としての対応する照明制御パラメータを示す。このパラメータは例えば光の強さｉである。グラフからわかるように、この例では、音楽信号のテンポを光の強さに直接変換している。光の強さがテンポと直接対応するステップ状で制御され、抽出したセクションバウンダリ２０１に変化が一致していることから分かる。グラフ２２０は、時間ｔの関数として他の照明制御パラメータ、すなわち異なるフラッシュパターンＦＰ１−ＦＰ３を示す。これらのフラッシュパターンは音楽のテンポを直接反映していないが、テンポが前のセクションと比較して増えたか減ったかに応じてセクションごとにフラッシュパターンＦＰ１−ＦＰ３を変更するように選択されていることが分かる。フラッシュパターンＦＰ１−ＦＰ３は、それぞれフラッシュの強さ、フラッシュのテンポ、光源の空間的分布等の点で異なる変化のシーケンスである。このように、音楽の意味的コンテンツ（semantic  content）の変化を反映する楽曲のセクションから抽出したセクションに従って変化するように生成された照明制御パラメータを示している。
【００４１】
照明制御パラメータを提供する代替的な方法として、音楽的オーディオ信号を分析して、演奏されている和音が長調か短調かに応じてセクションに分割する。そして、和音が短調のセクションでは光の色を全体的に青く変更し、長調の和音を検出したセクションでは明るい黄色に変更してもよい。さらに別の実施形態では、歌詞の意味的コンテンツを抽出するために、オーディオ信号Ａに音声認識アルゴリズムを適用してもよい。単純な例として、特定の言葉を認識して、照明制御パラメータを生成してもよい。例えば、「愛」という言葉が歌に出てくると光源をオンにして赤いハートを表示してもよい。
【００４２】
本発明の実施形態について、オーディオ信号の空間的な側面について、次にかかる空間的側面を抽出する方法の詳細な説明をする。水平的（バイノーラル）音楽定位の場合、両耳間強度差、両耳間時間差、及び両耳間相関の３つの信号パラメータが重要である。これらのパラメータは周波数と時間の関数として評価され、音響システムの限定されたスペクトル的及び時間的解像度を組み込んでいる。さらに、バイノーラル音響システムは、Leslie  R.  Bernstein  and  Constantine  Trahiotisによる「The  effects  of  randomizing  values  of  interaural  disparities  on  binaural  detection  and  on  discrimination  of  interaural  correlation.」（J.  Acoust.  Soc.  Am.,  １０２,  pp.  １１１３&#8211;１１２０,  １９９７）に記載されているように、少量のインターラクションだけでこれらの信号パラメータを評価することができる。これらのパラメータの１つの実際の値は、他のパラメータの変化と比較して、人間の感度にほとんど影響しない。
【００４３】
ここで説明したパラメータは次の３段階モデルを用いて求めることができる：
１）  第１段階は周辺プリプロセッサを含む。この段階は蝸牛（cochlea）と聴覚神経に見られるように周辺信号変換（peripheral  signal  transductions）をまねる。これと関係する周辺プリプロセッサの段階はつぎのように要約できる。
−  基底膜を含む蝸牛（cochlea）を、帯域幅が等化方形帯域幅（equivalent  rectangular  bandwidth（ＥＲＢ））に対応するフィルタを用いて、３次のガンマトーンフィルタバンクでモデル化する。
−  内有毛細胞の有効信号処理を、半波整流器（half-wave  rectifier）とそれに続くカットオフ周波数（−３ｄＢ点）が７７０Ｈｚである５次ローパスフィルタとでモデル化する。
−  様々な時定数の適応（adaptation）の影響を含めるため、５つの適応ループのチェーンを含めた。
２）  第２段階は、バイノーラルプロセッサを含み、左右の耳からの信号をいわゆる興奮・抑制（Excitation-Inhibitation、ＥＩ）要素により比較する。興奮・抑制要素は、DurlachのＥＣ理論（「Equalization  and  cancellation  theory  of  binaural  masking-level  differences」,  J.  Acoust.  Soc.  Am,  ３５:１２０６−１２１８,  １９６３,  by  N.I.  Durlach)に密接に関係するフレームワークである。ＥＩタイプの要素は特徴的ＩＴＤと特徴的ＩＩＤにより記述される。各ＥＩタイプ要素は、２つの入力信号の違いに関係する出力を有する（すなわち、１つの入力は興奮的であり、他の入力は抑制的である）。より具体的には、出力は２つの入力信号の差の二乗により構成される。ＥＩ要素の出力は、ある有効方形長さ（equivalent  rectangular  duration、ＥＲＤ）を有する両側指数ウィンドウで出力をたたみ込むことにより時間的になめらかにされる。ＥＩアクティビティパターンの最小値をスキャンすることにより、モデルの入力における波形のＩＩＤとＩＴＤを抽出できる。さらに、最小中のアクティビティ量は各周波数領域の左と右のチャンネルの波形間の最大相互相関の尺度である。
３）  モデルの第３段階は中央プロセッサを含む。この中央プロセッサはＥＩアクティビティの違いを分析する。すなわち、２つの刺激に対するＥＩアクティビティがまったくまたはほとんど同じであれば、これらの刺激による空間的印象は同じであると仮定する。
【００４４】
要約すると、本発明は、オーディオ信号（Ａ）に応じて、アンビエント照明等の照明（２０）を制御する照明制御パラメータ（light  control  parameter）を生成する方法、装置、及びシステムを提供する。そのオーディオ信号の意味的コンテンツの時間的発展を抽出するために、そのオーディオ信号を分析する。次に、オンラインまたはオフラインで、オーディオ信号の意味的コンテンツの時間的発展により照明制御パラメータを生成する。こうすることにより、音楽等のオーディオ信号に知覚的に合った（perceptually  aligned）照明を作り出すことができる。好ましい実施形態では、オーディオ信号の空間的特性を抽出し、例えば、光源を各スピーカの近くに配置したステレオまたはサラウンドのサウンドシステムのオーディオ信号の空間的特性に応じて、空間的に配置された各光源を制御する照明制御パラメータを生成する。かかる実施形態により照明（light）とオーディオの空間的対応（correspondence）が可能となる。他の好ましい実施形態において、オーディオ信号のシーケンスの意味的に区別できる（semantically  distinct）時間的セクション（例えば楽曲のセクション）を決定し、このオーディオ信号のセクションを反映するように照明制御パラメータを生成する。かかる実施形態により、例えば楽曲中の知覚できる変化に追随して照明を時間的に変化させることが可能となる。上記の方法は、例えば、ホームエンターテイメントシステム、シアター、ジュークボックス、バー、レストラン、シネマ、ディスコに適用できる。
【００４５】
具体的な実施形態に関して本発明を説明したが、ここに記載した具体的な形式に限定することを意図したものではない。むしろ、本発明の範囲は添付した請求の範囲のみにより限定される。請求項では、「有する」という用語は他の要素やステップの存在を排除するものではない。また、個々の機能（feature）は異なる請求項に含まれていても、これらを有利に組み合わせることが可能であり、異なる請求項に含まれていても、機能を組み合わせられないとか、組み合わせても有利ではないということを示唆するものでもない。また、単数扱いをしても複数の場合を排除するものではない。よって、「１つの」、「第１の」、「第２の」等は複数の場合を排除するものではない。さらにまた、請求項に含まれる参照符号は、その請求項の範囲を限定するものと解してはならない。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
オーディオ信号に応じて照明を制御する照明制御パラメータを生成する方法であって、前記方法は、
−  前記オーディオ信号の意味的コンテンツの時間的発展、及び前記オーディオ信号の空間的特性を抽出するために前記オーディオ信号を分析する段階と、
−  前記オーディオ信号の空間的特性に応じて、空間的に配置された光源を制御する照明制御パラメータを生成する段階であって、前記照明制御パラメータを前記オーディオ信号の意味的コンテンツの時間的発展に基づき生成する段階とを含む方法。
【請求項２】
前記照明制御パラメータによりアンビエント照明を制御しつつ前記オーディオ信号を再生する段階をさらに含む、請求項１に記載の方法。
【請求項３】
前記オーディオ信号中の楽器などのオブジェクトの空間的特性を抽出して、各オブジェクトの空間的特性により照明制御パラメータを生成する段階をさらに含む、請求項１に記載の方法。
【請求項４】
前記オーディオ信号のシーケンスの意味的に区別できる時間的セクションを決定する段階をさらに含み、前記照明制御パラメータを前記オーディオ信号のセクションを反映するように生成する、請求項１に記載の方法。
【請求項５】
前記オーディオ信号のセクションを決定する段階は、セクションバウンダリ、テンポ、動的バリエーション、音楽の主音よりなるグループから選択した少なくとも１つの特性に関係する統計的データを抽出する段階を含む、請求項４に記載の方法。
【請求項６】
前記照明制御パラメータは各セクションのオーディオ信号の特徴的な特性を反映する、請求項４に記載の方法。
【請求項７】
前記照明制御パラメータは、明るさ、彩度、ヒュー、及びその空間的分布と時間的変化よりなるグループから選択した少なくとも１つの照明特性を制御する情報を含む、請求項１に記載の方法。
【請求項８】
前記オーディオ信号を分析する段階と前記照明制御パラメータを生成する段階を、前記オーディオ信号を再生し前記照明制御パラメータにより光源を制御しつつ実行する、請求項１に記載の方法。
【請求項９】
楽曲などの前記オーディオ信号のシーケンスに基づき照明制御パラメータを生成し、前記照明制御パラメータを記憶し、後で、前記照明制御パラメータにより光源を制御しつつ前記オーディオ信号のシーケンスを再生する段階をさらに含む、請求項１に記載の方法。
【請求項１０】
オーディオ信号に応じて照明を制御する照明制御パラメータを生成するように構成された信号プロセッサであって、前記信号プロセッサは、
−  前記オーディオ信号の意味的コンテンツの時間的発展、及び前記オーディオ信号の空間的特性を抽出するために前記オーディオ信号を分析するように構成されたオーディオアナライザと、
−  前記オーディオ信号の空間的特性に応じて、空間的に配置された光源を制御する照明制御パラメータを生成するように構成された照明パラメータ制御ジェネレータであって、前記照明制御パラメータを前記オーディオ信号の意味的コンテンツの時間的発展に基づき生成する照明パラメータ制御ジェネレータとを有する信号プロセッサ。
【請求項１１】
前記オーディオ信号中の楽器などのオブジェクトの空間的特性を抽出して、各オブジェクトの空間的特性により照明制御パラメータを生成するようにさらに構成された、請求項１０に記載の信号プロセッサ。
【請求項１２】
前記オーディオ信号のシーケンスの意味的に区別できる時間的セクションを決定し、前記照明制御パラメータを前記オーディオ信号のセクションを反映するように生成するように構成された、請求項１０に記載の信号プロセッサ。
【請求項１３】
請求項１０に記載の信号プロセッサを有する装置。
【請求項１４】
オーディオ信号に基づき光を発生するように構成されたシステムであって、前記システムは、
−  前記オーディオ信号の意味的コンテンツの時間的発展、及び前記オーディオ信号の空間的特性を抽出するように構成されたオーディオアナライザと、
−  前記オーディオ信号の空間的特性に応じて、空間的に配置された光源を制御する照明制御パラメータを生成するように構成された照明パラメータ制御ジェネレータであって、前記照明パラメータを前記オーディオ信号の意味的コンテンツの時間的発展に基づき生成するように構成された照明パラメータ制御ジェネレータと、
−  前記オーディオ信号を再生する少なくとも１つのスピーカと、
−  前記照明制御パラメータに基づき光を発生する空間的に配置された複数の光源とを有するシステム。
【請求項１５】
請求項１に記載の方法を実行するコンピュータ実行可能プログラムコード。
【請求項１６】
請求項１５に記載のコンピュータ実行可能プログラムコードを含むコンピュータ読み取り可能記憶媒体。
【国際調査報告】
2010508626.tif 000006
2010508626.tif 000007