(57)【要約】  メディアコンテンツの分析に基づいて光効果を決定する方法は、ユーザがビデオの重み及びオーディオの重みに影響を与えることを可能にすること（４０１）を含む。ビデオの重みは、光効果の決定におけるビデオコンテンツの重みを表し、オーディオの重みは、該決定におけるオーディオコンテンツの重みを表す。方法はさらに、ビデオコンテンツに関連する情報及び／又はオーディオコンテンツに関連する情報を得ること（４０５）と、メディアコンテンツがレンダリングされている際にレンダリングされるべき光効果を決定すること（４０７）を含む。方法はまた、光効果を指定する光スクリプトを保存すること及び／又は光効果をレンダリングするように１つ以上の光源を制御すること（４０９）を含む。光効果は、ビデオの重みに依存してビデオコンテンツに関連する情報に基づいて、及び、オーディオの重みに依存してオーディオコンテンツに関連する情報に基づいて決定される。
2022500837.tif 000002
【特許請求の範囲】
【請求項１】
メディアコンテンツの分析に基づいて１つ以上の光効果を決定するためのシステムであって、前記メディアコンテンツは、ビデオコンテンツ及びオーディオコンテンツを含み、当該システムは、
少なくとも１つの入力インターフェースと、
少なくとも１つの出力インターフェースと、
ユーザが１つ以上の光効果の決定に使用されるビデオの重み及びオーディオの重みに影響を与えることを可能にするために前記少なくとも１つの入力インターフェースを使用し、前記ビデオの重みは、前記１つ以上の光効果の前記決定における前記ビデオコンテンツの重みを表し、前記オーディオの重みは、前記決定における前記オーディオコンテンツの重みを表す、
前記ビデオコンテンツに関連する情報及び／又は前記オーディオコンテンツに関連する情報を得るために前記少なくとも１つの入力インターフェースを使用する、
前記メディアコンテンツがレンダリングされている際に１つ以上の光源にレンダリングされるべき前記１つ以上の光効果を決定し、前記１つ以上の光効果は、前記ビデオの重みに依存して前記ビデオコンテンツに関連する前記情報に基づいて決定される、及び、前記オーディオの重みに依存して前記オーディオコンテンツに関連する前記情報に基づいて決定される、及び
前記１つ以上の光効果を指定する光スクリプトを保存する及び／又は前記１つ以上の光効果をレンダリングするように前記１つ以上の光源を制御するために前記少なくとも１つの出力インターフェースを使用する、
ように構成される、少なくとも１つのプロセッサと、
を含み、
前記ビデオコンテンツに関連する前記情報は、前記ビデオコンテンツから抽出される色情報を含み、前記少なくとも１つのプロセッサは、ある色抽出方法を使用することにより前記色情報から色を決定するように構成され、
前記ある色抽出方法は、前記ビデオの重みがある非ゼロの値を持ち、且つ、前記オーディオの重みがある非ゼロの値を持つ場合少なくとも前記オーディオコンテンツに関連する前記情報に基づいて選択される、システム。
【請求項２】
前記ビデオの重みは、異なるタイプのビデオ情報に対する複数の重み成分を含む、及び／又は、前記オーディオの重みは、異なるタイプのオーディオ情報に対する複数の重み成分を含む、請求項１に記載のシステム。
【請求項３】
前記少なくとも１つのプロセッサは、前記ビデオの重み及び前記オーディオの重みがある非ゼロの値を持つかどうかを判断する、光スクリプトが前記オーディオコンテンツに対して利用可能であるかどうかを判断する、並びに、前記ビデオの重み及び前記オーディオの重みが前記ある非ゼロの値を持ち、且つ、前記光スクリプトが利用可能であると判断すると前記利用可能な光スクリプトで指定される光効果をレンダリングするように前記１つ以上の光源を制御するために前記少なくとも１つの出力インターフェースを使用するように構成される、請求項１又は２に記載のシステム。
【請求項４】
前記少なくとも１つのプロセッサは、前記オーディオコンテンツがある量を超えるダイアログを含むかどうかを判断する、並びに、前記ビデオの重み及び前記オーディオの重みが前記ある非ゼロの値を持ち、前記光スクリプトが利用可能であり、且つ、前記オーディオコンテンツが前記ある量を超えるダイアログを含まないと判断すると前記利用可能な光スクリプトで指定される前記光効果をレンダリングするように前記１つ以上の光源を制御するために前記少なくとも１つの出力インターフェースを使用するように構成される、請求項３に記載のシステム。
【請求項５】
前記オーディオコンテンツに関連する前記情報は、ハーモニー、バレンス、エネルギ、ムード、及び／若しくはダンサビリティ情報を含む、並びに／又は、前記ビデオコンテンツに関連する前記情報は、色情報を含む、請求項１乃至４のいずれか一項に記載のシステム。
【請求項６】
前記少なくとも１つのプロセッサは、前記１つ以上の光効果の各々の色、開始時間及び持続時間を決定することにより前記１つ以上の光効果を決定するように構成される、請求項１乃至５のいずれか一項に記載のシステム。
【請求項７】
前記少なくとも１つのプロセッサは、前記１つ以上の光源のうちの少なくとも１つに前記１つ以上の光効果の各々を割り当てることにより前記１つ以上の光効果をさらに決定するように構成される、請求項６に記載のシステム。
【請求項８】
前記１つ以上の光効果の前記開始時間及び前記持続時間は、前記ビデオの重みがゼロの値を持つ場合前記１つ以上の光効果が前記オーディオコンテンツにおけるミュージックのビート、バー、及び／又はリズムと同期されるように決定される、請求項６又は７に記載のシステム。
【請求項９】
前記オーディオコンテンツに関連する前記情報が第１のエネルギ値を含む場合第１の色抽出方法が選択され、前記オーディオコンテンツに関連する前記情報が第２のエネルギ値を含む場合第２の色抽出方法が選択され、前記第２のエネルギ値は前記第１のエネルギ値よりも高く、前記第２の色抽出方法は前記第１の色抽出方法よりも低い平滑化の程度を伴う、請求項８に記載のシステム。
【請求項１０】
前記オーディオコンテンツに関連する前記情報が第１のバレンス値を含む場合第１の色抽出方法が選択され、前記オーディオコンテンツに関連する前記情報が第２のバレンス値を含む場合第２の色抽出方法が選択され、前記第２のバレンス値は前記第１のバレンス値よりも高く、前記第２の色抽出方法は前記第１の色抽出方法により決定される色よりも飽和されている色を決定する、請求項８に記載のシステム。
【請求項１１】
請求項１乃至１０のいずれか一項に記載のシステムと、前記１つ以上の光源とを含む、照明システム。
【請求項１２】
プロセッサを含むモバイルデバイスと、
前記モバイルデバイスによって前記１つ以上の光源を制御するために前記１つ以上の光源及び前記モバイルデバイスとワイヤレスで通信するように構成される、ブリッジと、
を含む、請求項１１に記載の照明システム。
【請求項１３】
メディアコンテンツの分析に基づいて１つ以上の光効果を決定する方法であって、前記メディアコンテンツは、ビデオコンテンツ及びオーディオコンテンツを含み、当該方法は、
ユーザが１つ以上の光効果の決定に使用されるビデオの重み及びオーディオの重みに影響を与えることを可能にすることであって、前記ビデオの重みは、前記１つ以上の光効果の前記決定における前記ビデオコンテンツの重みを表し、前記オーディオの重みは、前記決定における前記オーディオコンテンツの重みを表す、ことと、
前記ビデオコンテンツに関連する情報及び／又は前記オーディオコンテンツに関連する情報を得ることと、
前記メディアコンテンツがレンダリングされている際に１つ以上の光源にレンダリングされるべき前記１つ以上の光効果を決定することであって、前記１つ以上の光効果は、前記ビデオの重みに依存して前記ビデオコンテンツに関連する前記情報に基づいて決定される、及び、前記オーディオの重みに依存して前記オーディオコンテンツに関連する前記情報に基づいて決定される、ことと、
前記１つ以上の光効果を指定する光スクリプトを保存すること及び／又は前記１つ以上の光効果をレンダリングするように前記１つ以上の光源を制御することと、
を含み、
前記ビデオコンテンツに関連する前記情報は、前記ビデオコンテンツから抽出される色情報を含み、前記少なくとも１つのプロセッサは、ある色抽出方法を使用することにより前記色情報から色を決定するように構成され、
前記ある色抽出方法は、前記ビデオの重みがある非ゼロの値を持ち、且つ、前記オーディオの重みがある非ゼロの値を持つ場合少なくとも前記オーディオコンテンツに関連する前記情報に基づいて選択される、方法。
【請求項１４】
前記オーディオコンテンツに関連する前記情報が第１のエネルギ値を含む場合第１の色抽出方法が選択され、前記オーディオコンテンツに関連する前記情報が第２のエネルギ値を含む場合第２の色抽出方法が選択され、前記第２のエネルギ値は前記第１のエネルギ値よりも高く、前記第２の色抽出方法は前記第１の色抽出方法よりも低い平滑化の程度を伴う、請求項１３に記載のメディアコンテンツの分析に基づいて１つ以上の光効果を決定する方法。
【請求項１５】
少なくとも１つのソフトウェアコード部分を含むコンピュータプログラム若しくはコンピュータプログラム一式又は少なくとも１つのソフトウェアコード部分を記憶するコンピュータ可読記憶媒体であって、前記ソフトウェアコード部分は、コンピュータシステムで実行されると、請求項１３又は１４に記載の方法が実行されることを可能にするように構成される、コンピュータプログラム若しくはコンピュータプログラム一式又はコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、メディアコンテンツの分析に基づいて１つ以上の光効果(light effect)を決定するためのシステムであって、前記メディアコンテンツは、ビデオコンテンツ及びオーディオコンテンツを含む、システムに関する。
【０００２】
本発明はさらに、メディアコンテンツの分析に基づいて１つ以上の光効果を決定する方法であって、前記メディアコンテンツは、ビデオコンテンツ及びオーディオコンテンツを含む、方法に関する。
【０００３】
本発明はまた、コンピュータシステムがそのような方法を実行することを可能にするコンピュータプログラムプロダクトに関する。
【背景技術】
【０００４】
Ｐｈｉｌｉｐｓ  Ｈｕｅ  Ｅｎｔｅｒｔａｉｎｍｅｎｔ等の動的な照明システムは、特にオーディオビジュアル素材が、ソース素材の知的な解釈を構成する光スクリプト(light script)と同期される場合、オーディオビジュアル素材の体験及び印象に劇的な影響を与えることができる。しかしながら、光スクリプトの手動作成は、気の遠くなる作業であり得る。
【０００５】
この理由から、ソースコンテンツから第１の光スクリプトを自動的に生成する方法が存在する。第１の光スクリプトは、そのままレンダリングされる又はさらなる手動編集を受けることができる。自動スクリプティングプロセスの前又はその間に、ユーザによって設定又は変更され得る特定のパラメータがある。これらのパラメータは、スクリプト生成プロセス全体に対してグローバルに設定されてもよい。
【０００６】
しかしながら、光スクリプトで指定されるべき光設定が決定されることができる多種多様なやり方がある。例えば、ＷＯ  ２０１７／１６２４６９Ａ１は、オーディオストリームと関連付けられるメタデータの項目を決定する、メタデータに基づいて画像検索（例えば、Ｇｏｏｇｌｅ検索）を実行する、及び、結果の画像を使用して、照明デバイスの光設定、例えば、色相／明度／彩度(hue/brightness/saturation)を決定するコントローラを開示している。
【０００７】
ＵＳ２０１０／２６５４１４Ａ１は、アンビエント照明エレメントを制御するためのアンビエント照明データを決定することを含む、アンビエント照明エレメントを制御する方法を開示している。方法は、組み合わせアンビエント照明データを処理することを含み、組み合わせアンビエント照明データは、対応するビデオコンテンツの部分と対応するオーディオコンテンツの部分とに基づく。処理した組み合わせアンビエント照明データは、その後、アンビエント照明エレメントを制御するために用いられてもよい。ビデオに基づくアンビエント照明データ及びオーディオに基づくアンビエント照明データは、組み合わせアンビエント照明データを生成するために組み合わせられてもよい。ビデオに基づく及びオーディオに基づくアンビエント照明データを組み合わせることには、オーディオに基づくアンビエント照明データによりビデオに基づくアンビエント照明データを調節することが含まれてもよい。
【０００８】
既知の自動スクリプティング方法は、ユーザ入力の量を減らすが、結果の光スクリプトは、光スクリプトが生成されたコンテンツとうまくフィットしないことがよくある。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明の第１の目的は、かなりの量のユーザ入力を必要とすることなく決定される、ビデオコンテンツにフィットする光効果を決定することができる、システムを提供することである。
【００１０】
本発明の第２の目的は、かなりの量のユーザ入力を必要とすることなく決定される、ビデオコンテンツにフィットする光効果を決定することができる、方法を提供することである。
【課題を解決するための手段】
【００１１】
本発明の第１の態様では、メディアコンテンツの分析に基づいて１つ以上の光効果を決定するためのシステムであって、前記メディアコンテンツは、ビデオコンテンツ及びオーディオコンテンツを含み、当該システムは、少なくとも１つの入力インターフェースと、少なくとも１つの出力インターフェースと、ユーザが１つ以上の光効果の決定に使用されるビデオの重み(video weight)及びオーディオの重み(audio weight)に影響を与えることを可能にするために前記少なくとも１つの入力インターフェースを使用するように構成される、少なくとも１つのプロセッサとを含み、前記ビデオの重みは、前記１つ以上の光効果の前記決定における前記ビデオコンテンツの重みを表し、前記オーディオの重みは、前記決定における前記オーディオコンテンツの重みを表す。
【００１２】
前記少なくとも１つのプロセッサはさらに、前記ビデオコンテンツに関連する情報及び／又は前記オーディオコンテンツに関連する情報を得るために前記少なくとも１つの入力インターフェースを使用する、前記メディアコンテンツがレンダリングされている際に１つ以上の光源にレンダリングされるべき前記１つ以上の光効果を決定し、前記１つ以上の光効果は、前記ビデオの重みに依存して前記ビデオコンテンツに関連する前記情報に基づいて決定される、及び、前記オーディオの重みに依存して前記オーディオコンテンツに関連する前記情報に基づいて決定される、並びに、前記１つ以上の光効果を指定する光スクリプトを保存する及び／又は前記１つ以上の光効果をレンダリングするように前記１つ以上の光源を制御するために前記少なくとも１つの出力インターフェースを使用するように構成される。
【００１３】
ビデオコンテンツに付随するオーディオ、例えばミュージック（映画又はシリーズのテーマミュージック等）から導出される情報を使用して、特定のコンテンツ又はコンテンツの部分に対する自動光スクリプト作成のパラメータを駆動する(drive)ことにより、決定された光効果は、これらの特定のコンテンツ又はコンテンツの部分により良くフィットし得る。（例えば、Ｓｐｏｔｉｆy等の既存のオーディオメタデータサービスから、例えば、バレンス(valence)、エネルギ、ダンサビリティダンス(danceability)等のパラメータ、又は生のオーディオデータのローカル分析による）ミュージックに関連するメタデータが、ルールのセットを適用することにより、自動光スクリプト作成のためのパラメータ（例えば、使用される色抽出方法のタイプ、遷移速度及び／又は空間分布）を決定するために使用されてもよい。
【００１４】
結果として得られる光スクリプトに向けてオーディオ、例えばミュージックとスクリーンパラメータとの影響のバランスをユーザが制御することを可能にすることにより、光スクリプト抽出のより良好な文脈的精度(contextual accuracy)が達成され得、これにより、ユーザが光スクリプトの手動調整に費やす必要がある時間を減らす。リアルタイム光効果作成（例えば、Ｐｈｉｌｉｐｓ  ＨｕｅＳｙｎｃ）の場合、同様のバランシング制御は、エンドユーザに提示されてもよい。
【００１５】
当該システムは、例えば、前記１つ以上の光源を含む照明システムの一部であってもよく、又は、前記１つ以上の光源を含む照明システムにおいて用いられてもよい。前記オーディオコンテンツに関連する情報は、前記オーディオコンテンツから抽出されてもよく及び／若しくはインターネットサーバーから得られてもよく、並びに／又は、前記ビデオコンテンツに関連する前記情報は、前記ビデオコンテンツから抽出されてもよく及び／又はインターネットサーバーから得られてもよい。
【００１６】
前記オーディオコンテンツに関連する前記情報は、例えば、ハーモニー、バレンス、エネルギ、ムード、及び／又はダンサビリティ情報を含んでもよい。前記ビデオコンテンツに関連する前記情報は、例えば、色情報を含んでもよい。前記オーディオの重みは、ミュージックの重み、すなわち、ミュージックコンテンツに関連する情報に基づいてどのように光効果が決定されるかを重み付けするためにのみ使用される重みであってもよく、又は、前記オーディオの重みはまた、他のタイプのオーディオ、例えば、スピーチ及び／若しくはオーディオエフェクトに適用されてもよい。
【００１７】
ユーザは、ビデオの重み及びオーディオの重みの両方を指定及び／若しくは適応させる(adapt)ことができてもよく、又は、ユーザは、２つの重みのうち１つを指定及び／若しくは適応させることができてもよい。後者の場合、ユーザが第１の重みを指定又は適応させた後、第２の重みは、第１の重みに基づいて自動的に決定されてもよい。ユーザは、重みについて、単一の値又は複数の値、例えば範囲を指定してもよい。ユーザが複数の値を指定する場合、システム自身が、例えば、オーディオコンテンツのタイプ、どのチャンネルのミュージックが再生されているか、及び／又は、ビデオコンテンツのタイプに依存して、これらの値のうちの１つを選択してもよい。例えば、映画のあるシーンが非常にカラフルで、トリムミーン又はドミナント色(trimean or dominant color)がビデオコンテンツをうまく表さない場合、ユーザが、例えば同様のオーディオ及びビデオの重みの範囲を選択したとしても、システムは、よりオーディオに影響された色を目指すことを決定してもよい。
【００１８】
前記ビデオの重みは、異なるタイプのビデオ情報に対する複数の重み成分を含んでもよく、及び／又は、前記オーディオの重みは、異なるタイプのオーディオ（例えば、ミュージック）情報に対する複数の重み成分を含んでもよい。これは、ユーザが、自身の好みをより正確に指定することを可能にする。
【００１９】
前記少なくとも１つのプロセッサは、前記ビデオの重み及び前記オーディオの重みがある非ゼロの値を持つかどうかを判断する、光スクリプトが前記オーディオコンテンツに対して利用可能であるかどうかを判断する、並びに、前記ビデオの重み及び前記オーディオの重みが前記ある非ゼロの値を持ち、且つ、前記光スクリプトが利用可能であると判断すると前記利用可能な光スクリプトで指定される光効果をレンダリングするように前記１つ以上の光源を制御するために前記少なくとも１つの出力インターフェースを使用するように構成されてもよい。例えば、映画がある曲を含み、光スクリプトがこの曲に対して利用可能である場合、ユーザがオーディオ、例えばミュージック情報のみ、又はビデオ情報のみの使用を好まない場合、素晴らしいエンターテイメント体験が提供され得る。
【００２０】
前記少なくとも１つのプロセッサは、前記オーディオコンテンツがある量を超えるダイアログを含むかどうかを判断する、並びに、前記ビデオの重み及び前記オーディオの重みが前記ある非ゼロの値を持ち、前記光スクリプトが利用可能であり、且つ、前記オーディオコンテンツが前記ある量を超えるダイアログを含まないと判断すると前記利用可能な光スクリプトで指定される前記光効果をレンダリングするように前記１つ以上の光源を制御するために前記少なくとも１つの出力インターフェースを使用するように構成されてもよい。例えば、映画の中にある量を超えるダイアログがある場合、バックグラウンドに流れる曲に関連する光スクリプトはそれほど望ましくない可能性がある。
【００２１】
前記少なくとも１つのプロセッサは、前記１つ以上の光効果の各々の色、開始時間及び持続時間を決定することにより前記１つ以上の光効果を決定するように構成されてもよい。前記１つ以上の光効果の前記開始時間及び前記持続時間は、前記ビデオの重みがゼロの値を持つ場合前記１つ以上の光効果が前記オーディオコンテンツにおけるミュージックのビート(beat)、バー(bar)、及び／又はリズムと同期されるように決定されてもよい。これは、１つ以上の光効果がオーディオ情報のみに基づくことを可能にする。
【００２２】
前記少なくとも１つのプロセッサは、前記１つ以上の光源のうちの少なくとも１つに前記１つ以上の光効果の各々を割り当てることにより前記１つ以上の光効果をさらに決定するように構成されてもよい。例えば、ビデオコンテンツのどの部分から、及び／又は、オーディオコンテンツのどの部分から、ある光源に対して光効果が決定されるかは、光源の空間的位置に依存してもよい。
【００２３】
前記ビデオコンテンツに関連する前記情報は、前記ビデオコンテンツから抽出される色情報を含み、前記少なくとも１つのプロセッサは、ある色抽出方法を使用することにより前記色情報から色を決定するように構成されてもよい。ビデオから抽出される色に基づいて光効果を決定することは、ビデオから光効果を決定するための良い方法である。
【００２４】
前記ある色抽出方法は、前記ビデオの重みがある非ゼロの値を持ち、且つ、前記オーディオの重みがある非ゼロの値を持つ場合前記オーディオコンテンツに関連する前記情報に基づいて選択される。これにより、１つ以上の光効果は、オーディオ及びビデオ情報の両方に基づいて決定される。
【００２５】
前記オーディオコンテンツに関連する前記情報が第１のエネルギ値を含む場合第１の色抽出方法が選択されてもよく、前記オーディオコンテンツに関連する前記情報が第２のエネルギ値を含む場合第２の色抽出方法が選択され、前記第２のエネルギ値は前記第１のエネルギ値よりも高く、前記第２の色抽出方法は前記第１の色抽出方法よりも低い平滑化の程度(degree of smoothing)を伴ってもよい。これは、オーディオ及びビデオ情報の両方に基づいて光効果を決定する有益な方法である。
【００２６】
前記オーディオコンテンツに関連する前記情報が第１のバレンス値を含む場合第１の色抽出方法が選択されてもよく、前記オーディオコンテンツに関連する前記情報が第２のバレンス値を含む場合第２の色抽出方法が選択され、前記第２のバレンス値は前記第１のバレンス値よりも高く、前記第２の色抽出方法は前記第１の色抽出方法により決定される色よりも飽和されている(saturated)色を決定してもよい。これは、オーディオ及びビデオ情報の両方に基づいて光効果を決定する有益な方法である。
【００２７】
本発明の第２の態様では、メディアコンテンツの分析に基づいて１つ以上の光効果を決定する方法であって、前記メディアコンテンツは、ビデオコンテンツ及びオーディオコンテンツを含み、当該方法は、ユーザが１つ以上の光効果の決定に使用されるビデオの重み及びオーディオの重みに影響を与えることを可能にすることであって、前記ビデオの重みは、前記１つ以上の光効果の前記決定における前記ビデオコンテンツの重みを表し、前記オーディオの重みは、前記決定における前記オーディオコンテンツの重みを表す、ことと、前記ビデオコンテンツに関連する情報及び／又は前記オーディオコンテンツに関連する情報を得ることとを含む。前記ビデオコンテンツに関連する前記情報は、前記ビデオコンテンツから抽出される色情報を含み、前記少なくとも１つのプロセッサは、ある色抽出方法を使用することにより前記色情報から色を決定するように構成される。色抽出方法は、前記ビデオの重みがある非ゼロの値を持ち、且つ、前記オーディオの重みがある非ゼロの値を持つ場合少なくとも前記オーディオコンテンツに関連する前記情報に基づいて選択される。
【００２８】
当該方法はさらに、前記メディアコンテンツがレンダリングされている際に１つ以上の光源にレンダリングされるべき前記１つ以上の光効果を決定することであって、前記１つ以上の光効果は、前記ビデオの重みに依存して前記ビデオコンテンツに関連する前記情報に基づいて決定される、及び、前記オーディオの重みに依存して前記オーディオコンテンツに関連する前記情報に基づいて決定される、ことと、前記１つ以上の光効果を指定する光スクリプトを保存すること及び／又は前記１つ以上の光効果をレンダリングするように前記１つ以上の光源を制御することとを含む。
【００２９】
当該方法はさらに、前記オーディオコンテンツに関連する前記情報が第１のエネルギ値を含む場合第１の色抽出方法が選択され、前記オーディオコンテンツに関連する前記情報が第２のエネルギ値を含む場合第２の色抽出方法が選択され、前記第２のエネルギ値は前記第１のエネルギ値よりも高く、前記第２の色抽出方法は前記第１の色抽出方法よりも低い平滑化の程度を伴うことを含んでもよい。
【００３０】
前記方法は、プログラマブルデバイスで実行されるソフトウェアによって実行されてもよい。このソフトウェアは、コンピュータプログラムプロダクトとして提供されてもよい。
【００３１】
さらに、本明細書で説明される方法を実践するためのコンピュータプログラム、並びに、そのコンピュータプログラムを記憶している非一時的コンピュータ可読記憶媒体が提供される。コンピュータプログラムは、例えば、既存のデバイスによってダウンロードされるか、又は、既存のデバイスにアップロードされてもよく、あるいは、これらのシステムの製造時に記憶されてもよい。
【００３２】
非一時的コンピュータ可読記憶媒体は、ソフトウェアコード部分を記憶し、ソフトウェアコード部分は、コンピュータによって実行又は処理されると、メディアコンテンツの分析に基づいて１つ以上の光効果を決定することを含む、実行可能オペレーションを実行するように構成され、前記メディアコンテンツは、ビデオコンテンツ及びオーディオコンテンツを含む。
【００３３】
実行可能オペレーションは、ユーザが１つ以上の光効果の決定に使用されるビデオの重み及びオーディオの重みに影響を与えることを可能にすることであって、前記ビデオの重みは、前記１つ以上の光効果の前記決定における前記ビデオコンテンツの重みを表し、前記オーディオの重みは、前記決定における前記オーディオコンテンツの重みを表す、ことと、前記ビデオコンテンツに関連する情報及び／又は前記オーディオコンテンツに関連する情報を得ることと、前記メディアコンテンツがレンダリングされている際に１つ以上の光源にレンダリングされるべき前記１つ以上の光効果を決定することであって、前記１つ以上の光効果は、前記ビデオの重みに依存して前記ビデオコンテンツに関連する前記情報に基づいて決定される、及び、前記オーディオの重みに依存して前記オーディオコンテンツに関連する前記情報に基づいて決定される、ことと、前記１つ以上の光効果を指定する光スクリプトを保存すること及び／又は前記１つ以上の光効果をレンダリングするように前記１つ以上の光源を制御することとを含む。
【００３４】
当業者には理解されるように、本発明の諸態様は、デバイス、方法、又はコンピュータプログラム製品として具現化されてもよい。したがって、本発明の諸態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）、あるいは、ソフトウェアの態様とハードウェアの態様とを組み合わせた実施形態の形態を取ってもよく、それらは全て、本明細書では「回路」、「モジュール」、又は「システム」と総称されてもよい。本開示で説明される機能は、コンピュータのプロセッサ／マイクロプロセッサによって実行される、アルゴリズムとして実装されてもよい。更には、本発明の諸態様は、１つ以上のコンピュータ可読媒体として具現化されている、コンピュータプログラム製品の形態を取ってもよく、１つ以上のコンピュータ可読媒体は、その上に具現化されている、例えば記憶されている、コンピュータ可読プログラムコードを有する。
【００３５】
１つ以上のコンピュータ可読媒体の任意の組み合わせが、利用されてもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は、例えば、限定するものではないが、電子、磁気、光学、電磁気、赤外線、又は半導体の、システム、装置、若しくはデバイス、あるいは、上述の任意の好適な組み合わせであってもよい。より具体的なコンピュータ可読記憶媒体の例としては、限定するものではないが、１つ以上のワイヤを有する電気的接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（random access memory；ＲＡＭ）、読み出し専用メモリ（read-only memory；ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（erasable programmable read-only memory；ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（portable compact disc read-only memory；ＣＤ−ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、又は上述の任意の好適な組み合わせを挙げることができる。本発明の文脈では、コンピュータ可読記憶媒体は、命令実行システム、装置、若しくはデバイスによって、又はそれらに関連して使用するためのプログラムを含むか、又は記憶することが可能な、任意の有形媒体であってもよい。
【００３６】
コンピュータ可読信号媒体としては、例えばベースバンド内又は搬送波の一部として、その内部に具現化されているコンピュータ可読プログラムコードを有する、伝搬データ信号を挙げることができる。そのような伝搬信号は、限定するものではないが、電磁気、光学、又はこれらの任意の好適な組み合わせを含めた、様々な形態のうちのいずれを取ってもよい。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、若しくはデバイスによって、又はそれらに関連して使用するためのプログラムを、通信、伝搬、又は伝送することが可能な、任意のコンピュータ可読媒体であってもよい。
【００３７】
コンピュータ可読媒体上に具現化されているプログラムコードは、限定するものではないが、無線、有線、光ファイバ、ケーブル、ＲＦ等、又は上述の任意の好適な組み合わせを含めた、任意の適切な媒体を使用して送信されてもよい。本発明の諸態様に関する動作を実施するためのコンピュータプログラムコードは、Ｊａｖａ（商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト指向プログラミング言語、「Ｃ」プログラミング言語又は同様のプログラミング言語等の従来の手続き型プログラミング言語、及び、Ｓｃａｌａ、Ｈａｓｋｅｌ等の関数型プログラミング言語を含めた、１つ以上のプログラミング言語の任意の組み合わせで書き込まれてもよい。このプログラムコードは、スタンドアロン型ソフトウェアパッケージとして、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で実行されてもよく、部分的にユーザのコンピュータ上かつ部分的にリモートコンピュータ上で、又は完全にリモートコンピュータ若しくはサーバ上で実行されてもよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（local area network；ＬＡＮ）若しくは広域ネットワーク（wide area network；ＷＡＮ）を含めた任意のタイプのネットワークを通じて、ユーザのコンピュータに接続されてもよく、又は、この接続は、外部コンピュータに対して（例えば、インターネットサービスプロバイダを使用してインターネットを通じて）実施されてもよい。
【００３８】
本発明の実施形態による方法、装置（システム）、及びコンピュータプログラム製品の、フローチャート図及び／又はブロック図を参照して、本発明の諸態様が以下で説明される。フローチャート図及び／又はブロック図の各ブロック、並びに、フローチャート図及び／又はブロック図内のブロックの組み合わせは、コンピュータプログラム命令によって実装されることができる点が理解されるであろう。これらのコンピュータプログラム命令は、マシンを作り出すために、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置の、プロセッサ、特にマイクロプロセッサ又は中央処理ユニット（central processing unit；ＣＰＵ）に提供されてもよく、それにより、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスのプロセッサを介して実行される命令が、フローチャート及び／又はブロック図のブロック内で指定されている機能／行為を実施するための手段を作り出す。
【００３９】
これらのコンピュータプログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスに、特定の方式で機能するように指示することが可能な、コンピュータ可読媒体内に記憶されてもよく、それにより、コンピュータ可読媒体内に記憶されている命令が、フローチャート及び／又はブロック図のブロック内で指定されている機能／行為を実施する命令を含む、製品を作り出す。
【００４０】
コンピュータプログラム命令はまた、コンピュータ実施プロセスを作り出すために、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイス上にロードされて、それらのコンピュータ、他のプログラマブルデータ処理装置、又は他のデバイス上で一連の動作ステップを実行させてもよく、それにより、コンピュータ又は他のプログラマブル装置上で実行される命令が、フローチャート及び／又はブロック図のブロック内で指定されている機能／行為を実施するためのプロセスを提供する。
【００４１】
図におけるフローチャート及びブロック図は、本発明の様々な実施形態によるデバイス、方法、及びコンピュータプログラム製品の可能な実装の、アーキテクチャ、機能性、及び動作を示す。この点に関して、フローチャート又はブロック図内の各ブロックは、指定されている論理関数を実施するための１つ以上の実行可能命令を含む、コードのモジュール、セグメント、又は部分を表してもよい。また、一部の代替的実装形態では、ブロック内に記されている機能は、それらの図に記されている順序と異なる順序で行われてもよい点にも留意されたい。例えば、連続して示されている２つのブロックは、実際には、実質的に同時に実行されてもよく、又は、それらのブロックは、関与している機能性に応じて、逆の順序で実行される場合があってもよい。また、ブロック図及び／又はフローチャート図の各ブロック、並びに、それらブロック図及び／又はフローチャート図内のブロックの組み合わせは、指定されている機能若しくは行為を実行する専用ハードウェアベースのシステム、又は、専用ハードウェアとコンピュータ命令との組み合わせによって実施されることができる点にも留意されたい。
【図面の簡単な説明】
【００４２】
本発明のこれらの態様及び他の態様は、以下の図面から明らかであり、例として、それらの図面を参照して更に解明されるであろう。
【図１】システムの一実施形態のブロック図である。
【図２】オフスクリーン色抽出方法の第１の実施形態のフロー図である。
【図３】いくつかは明るい光源を捕捉しているビデオフレームの例を示す。
【図４】図３のビデオフレームの各々について明るい光源の位置を反映した光設定の例を示す。
【図５】オフスクリーン色抽出方法の第２の実施形態のフロー図である。
【図６】オフスクリーン色抽出方法の第３の実施形態のフロー図である。
【図７】現在のフレーム及び９つの隣接するフレームで構成されるスーパーフレームの一例を示す。
【図８】図７のスーパーフレームにおける分析エリアの例を示す。
【図９】オフスクリーン色抽出方法の第４の実施形態のフロー図である。
【図１０】スーパーフレームにおける異なる分析エリアの例を示す。
【図１１】色抽出選択方法の第１の実施形態のフロー図である。
【図１２】色抽出選択方法の第２の実施形態のフロー図である。
【図１３】色抽出選択方法の第３の実施形態のフロー図である。
【図１４】色抽出選択方法の第４の実施形態のフロー図である。
【図１５】色空間における最短距離の色遷移の一例を示す。
【図１６】色空間における等飽和の色遷移の一例を示す。
【図１７】色空間における脱飽和の最短距離の色遷移の一例を示す。
【図１８】重み付け影響光効果作成方法の第１の実施形態のフロー図である。
【図１９】重み付け影響光効果作成方法の第２の実施形態のフロー図である。
【図２０】重み付け影響光効果作成方法の第３の実施形態のフロー図である。
【図２１】オフスクリーン色抽出方法の第５の実施形態、色抽出選択方法の第５の実施形態、及び重み付け影響光効果作成方法の第４の実施形態のフロー図である。
【図２２】本発明の方法を実行するための例示的なデータ処理システムのブロック図である。
【図２３】スーパーフレームのピクセルから単一の色を決定するためにこれらのピクセルに重みを割り当てる関数の一例を示す。
【発明を実施するための形態】
【００４３】
図面中の対応する要素は、同じ参照番号によって示される。
【００４４】
図１は、上述したシステムの一実施形態、モバイルデバイス１を示している。モバイルデバイス１は、無線ＬＡＮアクセスポイント２３に接続されている。また、ブリッジ１１が、例えば、Ｅｔｈｅｒｎｅｔを介して、無線ＬＡＮアクセスポイント２３に接続されている。光源１３〜１７は、ブリッジ１１と、例えばＺｉｇｂｅｅプロトコルを用いて無線通信し、ブリッジ１１を介して、例えばモバイルデバイス１によって制御されることができる。例えば、ブリッジ１１は、Ｐｈｉｌｉｐｓ  Ｈｕｅブリッジであってもよく、光源１３〜１７は、Ｐｈｉｌｉｐｓ  Ｈｕｅライトであってもよい。代替的な実施形態では、ライトデバイスは、ブリッジなしで制御される。
【００４５】
また、ＴＶ２７が、無線ＬＡＮアクセスポイント２３に接続されている。メディアコンテンツは、例えば、モバイルデバイス１又はＴＶ２７によってレンダリングされてもよい。無線ＬＡＮアクセスポイント２３は、インターネット２４に接続されている。インターネットサーバ２５も、インターネット２４に接続されている。モバイルデバイス１は、例えば、携帯電話又はタブレットであってもよい。モバイルデバイス１は、例えば、Ｐｈｉｌｉｐｓ  Ｈｕｅ  Ｓｙｎｃアプリを実行してもよい。モバイルデバイス１は、プロセッサ５、レシーバ３、トランスミッタ４、メモリ７、及びディスプレイ９を備える。図１の実施形態では、ディスプレイ９は、タッチスクリーンを備える。モバイルデバイス１、ブリッジ１１、及び光源１３〜１７は、照明システム２１の一部である。
【００４６】
図１の実施形態では、プロセッサ５は、オフスクリーン色抽出方法(offscreen color extraction method)を実行するように構成される。それゆえ、プロセッサ５は、ビデオコンテンツを得るためにレシーバ３を使用する、ビデオコンテンツの複数のフレームに対して分析を実行する、分析に基づいて複数のフレームにおけるカメラの動き(camera movement)を決定する、決定されたカメラの動きに基づいて複数のフレームのうちの少なくとも１つからオフスクリーン色情報を抽出する、及び、ビデオコンテンツのさらなるフレームがレンダリングされている際に１つ以上の光源１３〜１７にレンダリングされるべき１つ以上の光効果を決定するように構成される。色は、例えば、色度(chromaticity)及び明度(brightness)を含んでもよい。
【００４７】
さらなるフレームは、複数のフレームに隣接し、１つ以上の光効果は、オフスクリーン色情報に基づいて決定される。プロセッサ５はさらに、１つ以上の光効果を指定する光スクリプトを保存する及び／又は１つ以上の光効果をレンダリングするように１つ以上の光源１３〜１７を制御するためにトランスミッタ４を使用するように構成される。
【００４８】
図１の実施形態では、プロセッサ５はさらに、色抽出選択方法(color extraction selection method)を実行するように構成される。プロセッサ５はさらに、メディアコンテンツ及びメディアコンテンツに関する情報を得るためにレシーバ３を使用するように構成される。メディアコンテンツは、ビデオコンテンツを含む。プロセッサ５はさらに、得られた情報に基づいて複数の色抽出方法から色抽出方法を選択するように構成される。色抽出方法は、同じピクセルから異なる色を抽出するという点で互いに異なる。
【００４９】
プロセッサ５はさらに、選択された色抽出方法を適用することによりビデオコンテンツの１つ以上のフレームから色を抽出する、及び、１つ以上のフレームがレンダリングされている際に１つ以上の光源にレンダリングされるべき１つ以上の光効果を決定するように構成される。色は、オンスクリーンコンテンツ(onscreen content)及び／又はオフスクリーンコンテンツ(offscreen content)から抽出されてもよい。１つ以上の光効果は、抽出された色に基づいて決定される。プロセッサ５はさらに、１つ以上の光効果を指定する光スクリプトを保存する及び／又は１つ以上の光効果をレンダリングするように１つ以上の光源を制御するためにトランスミッタ４を使用するように構成される。
【００５０】
図１の実施形態では、プロセッサ５はさらに、重み付け影響光効果作成方法(weighted influence light effect creation method)を実行するように構成される。それゆえ、プロセッサ５はさらに、ユーザが１つ以上の光効果の決定に使用されるビデオの重み(video weight)及びオーディオの重み(audio weight)に影響を与えることを可能にするためにタッチスクリーンディスプレイ９を使用するように構成される。ビデオの重みは、１つ以上の光効果の決定におけるビデオコンテンツの重みを表し、オーディオの重みは、該決定におけるオーディオコンテンツの重みを表す。オーディオの重みは、ミュージックの重み、すなわち、ミュージックコンテンツに関連する情報に基づいてどのように光効果が決定されるかを重み付けするためにのみ使用される重みであってもよく、又は、オーディオの重みはまた、他のタイプのオーディオ、例えば、スピーチ及び／若しくはオーディオエフェクトに適用されてもよい。
【００５１】
プロセッサ５はさらに、ビデオコンテンツに関連する情報及び／又はオーディオコンテンツに関連する情報を得るためにレシーバ３を使用する、及び、メディアコンテンツがレンダリングされている際に１つ以上の光源にレンダリングされるべき１つ以上の光効果を決定するように構成される。１つ以上の光効果は、ビデオの重みに依存してビデオコンテンツに関連する情報に基づいて決定される、及び、オーディオの重みに依存してオーディオコンテンツに関連する情報に基づいて決定される。
【００５２】
例えば、色抽出方法は、ビデオの重み及びオーディオの重みに依存して得られた情報に基づいて選択されてもよい。その後、色抽出方法は、オンスクリーンコンテンツ及び／又はオフスクリーンコンテンツから色を抽出するために使用されてもよい。ビデオの重みは、どのようにオフスクリーンコンテンツから抽出される色及びオンスクリーンコンテンツから抽出される色が重み付けされるべきかを示すために使用されてもよい。例えば、ユーザがより高いビデオの重みを示す、又は、ビデオの重みの成分(component)としてより高いオフスクリーン貢献度(offscreen contribution)を示す場合、オフスクリーンコンテンツから抽出される色は、それ以外で与えられるものよりも高い重みを与えられてもよい。
【００５３】
プロセッサ５はさらに、１つ以上の光効果を指定する光スクリプトを保存する及び／又は１つ以上の光効果をレンダリングするように１つ以上の光源を制御するためにトランスミッタ４を使用するように構成される。    図１の実施形態では、プロセッサ５は、３つの方法のすべてを実行するように構成される。代替的な実施形態では、プロセッサ５は、３つの方法のうち１つ又は２つを実行するように構成される。
【００５４】
図１に示されるモバイルデバイス１の実施形態では、モバイルデバイス１は、１つのプロセッサ５を含む。代替的な実施形態では、モバイルデバイス１は、複数のプロセッサを含む。モバイルデバイス１のプロセッサ５は、例えばＱｕａｌｃｏｍｍからの若しくはＡＲＭベースの、汎用プロセッサ、又は特定用途向けプロセッサであってよい。モバイルデバイス１のプロセッサ５は、例えば、Ａｎｄｒｏｉｄ又はｉＯＳオペレーティングシステムを実行してもよい。メモリ７は、１つ以上のメモリユニットを含んでもよい。メモリ７は、例えば、固体メモリを含んでもよい。メモリ７は、例えば、オペレーティングシステム、アプリケーション及びアプリケーションデータを記憶するために使用されてもよい。
【００５５】
レシーバ３及びトランスミッタ４は、例えば、無線ＬＡＮアクセスポイント２３と通信するためにＷｉ−Ｆｉ（ＩＥＥＥ ８０２．１１）等の１つ以上の無線通信技術を使用してもよい。代替的な実施形態では、単一のレシーバ及び単一のトランスミッタに代えて、複数のレシーバ及び／又は複数のトランスミッタが使用される。図１に示される実施形態では、別個のレシーバ及び別個のトランスミッタが使用される。代替的な実施形態では、レシーバ３及びトランスミッタ４は、トランシーバに組み合わされる。ディスプレイ９は、例えば、ＬＣＤ又はＯＬＥＤパネルを含んでもよい。モバイルデバイス１は、バッテリ及び電源コネクタ等のモバイルデバイスに典型的な他の構成要素を含んでもよい。本発明は、１つ以上のプロセッサで実行されるコンピュータプログラムを使用して実装されてもよい。
【００５６】
図１の実施形態では、本発明のシステムは、モバイルデバイスである。代替的な実施形態では、本発明のシステムは、異なるデバイス、例えば、ＰＣ又はビデオモジュールである、又は、複数のデバイスを含む。ビデオモジュールは、例えば、ＨＤＭＩ入力を分析することができるようにＴＶ及びＨＤＭＩ入力を提供するデバイスの間に置かれることができる専用のＨＤＭＩモジュールであってもよい。
【００５７】
オフスクリーン色抽出方法の第１の実施形態が、図２に示されている。ステップ１０１は、ビデオコンテンツを得ることを含む。ステップ１０３は、ビデオコンテンツの複数のフレームに対して分析を実行することを含む。ステップ１０５は、分析に基づいて複数のフレームにおけるカメラの動きを決定することを含む。カメラの動きは、例えば、チルト、ズーム、横方向のカメラの動き(lateral camera movement)、又は旋回するカメラの動き(swiveling camera movement)であってもよい。ステップ１０７は、決定されたカメラの動きに基づいて複数のフレームのうちの少なくとも１つからオフスクリーン色情報を抽出することを含む。
【００５８】
ステップ１０９は、ビデオコンテンツのさらなるフレームがレンダリングされている際に１つ以上の光源にレンダリングされるべき１つ以上の光効果を決定することを含む。さらなるフレームは、複数のフレームに隣接し、１つ以上の光効果は、オフスクリーン色情報に基づいて決定される。複数のフレームは、フレームに先行する１つ以上のフレーム及び／又はフレームに後続する１つ以上のフレームを含む。ステップ１０９の後、ステップ１１１及び／又はステップ１１３が実行される。ステップ１１１は、１つ以上の光効果を指定する光スクリプトを保存することを含む。ステップ１１３は、１つ以上の光効果をレンダリングするように１つ以上の光源を制御することを含む。
【００５９】
例えば、以下のプロセスが、光スクリプトを作成するために使用されてもよい。
１．  ビジュアルメディアの事前分析が、ビデオの連続したセグメント（「ショット(shot)」）で発生するカメラの動きに関するカメラの動き情報(camera movement information)を得るために（人手を介す又は介さずに）行われる。追跡プロセス(tracking process)が、共に働くべきより多くのデータセットを得るために順方向及び逆方向の両方に適用されてもよい。
２．  ショット内の各フレームが、ステップ１で収集された情報に基づいて、ショット内の他のフレームに関係して仮想的に位置付けられる。
３．  各フレームについて、オフスクリーン色情報の位置に関するデータが保存される。
３．  （オプション）手動編集が行われる（例えば、所与のカットに対してオフスクリーンコンテンツを使用するかしないかを選択する）。
５．  最終的なスクリプトが作成され、スクリプトの一部はオフスクリーン色情報を含む。
【００６０】
リアルタイム光効果レンダリングのために、（十分な処理リソースがあれば）リアルタイムで（逆分析を除いた）上記のすべてのステップを実行することが可能であってもよい。しかしながら、通常は、（前述のビデオモジュールで実現されてもよい）バッファを用いてビデオ出力が数フレーム遅延されなければ、スクリーンに入ってくる色情報（すなわち、未来のフレームの一部）を検出することはできない。
【００６１】
図２の実施形態では、ステップ１０７は、サブステップ１２１及び１２３を含む。ステップ１２１は、１つ以上の光源の光源の空間的位置及び決定されたカメラの動きに基づいてフレームを選択することにより複数のフレームから少なくとも１つのフレームを選択することを含む。ステップ１２３は、選択されたフレームにおける光源に対するオフスクリーン色情報を抽出するための分析エリアを決定することを含む。
【００６２】
斯くして、視聴者に対するオフスクリーンコンテンツの仮想的なロケーションが推定され、光源の空間的位置に基づいてマッピングされることができる。例えば、カメラが１８０°の旋回動作を行う場合、ユーザの背後にある光源にレンダリングされる光効果は、（０°の回転を反映する）カメラの動きの開始に対応するフレームからの（色）情報を使用してもよい。この例は水平方向の動きのみを述べているが、この原理は、水平方向の動き及び／又は垂直方向の動きに使用されてもよい。
【００６３】
図３は、カメラがこのような１８０°の旋回動作を行う場合に捕捉された連続したビデオフレーム３１〜３８の一例である。ビデオフレーム３１〜３８は、単一のショットの部分である。フレーム３１〜３４は、明るい光源である太陽を捕捉しており、その色は、これらのフレームにおいてドミナント色である。図４は、図３のビデオフレーム３１〜３８の各々に対する瞬時(moment)４１〜４８における光設定の例を示し、どのように光源の光設定が太陽の明るい白色を追従しているかを描写している。
【００６４】
カメラの動きは、フレーム３１で始まると判断される。フレーム３１内の太陽の位置の結果、中央及び右前方の光源が、瞬時４１において太陽の明るい白色にマッチした光効果をレンダリングする。フレーム３１〜３４において、太陽は依然オンスクリーンで見えている。フレーム３５〜３８において、太陽はオンスクリーンでもはや見えないが、光設定では依然表現されている。フレーム３８について、カメラは１８０°旋回されていて、視聴者の背後にある光源に対して、色情報がフレーム３１から抽出されるべきであると判断される。瞬時４８において、左後及び右後の光源は、それゆえ、太陽の明るい白色にマッチした光効果をレンダリングする。
【００６５】
オフスクリーン色抽出方法の第２の実施形態が、図５に示されている。この第２の実施形態は、図２の第１の実施形態の拡張である。この第２の実施形態では、方法は、追加のステップ１６７を含み、ステップ１０７は、２つの追加のサブステップ、ステップ１６１及び１６５を含み、ステップ１２３は、サブステップ１６３を含む。ステップ１６１は、少なくとも１つのフレームが動いているオブジェクトを捕捉しているかどうかを判断することを含み、ステップ１６３は、動いているオブジェクトを捕捉していない少なくとも１つのフレームの１つ以上のエリアからオフスクリーン色情報を抽出することを含む。ステップ１６５は、ビデオコンテンツのさらなるフレームからオンスクリーン色情報(onscreen color information)をさらに抽出することを含み、ステップ１６７は、オンスクリーン色情報に基づいて１つ以上のさらなる光効果を決定することを含む。
【００６６】
オフスクリーン色抽出方法の第３の実施形態が、図６に示されている。図６の実施形態では、ステップ１０７は、図２のサブステップ１２１及び１２３に代えて、サブステップ１３１、１４１及び１３３を含み、ステップ１０９は、サブステップ１３５を含む。ステップ１３１は、さらなるフレーム（すなわち、現在のフレーム）と、少なくとも１つのフレームの一部とを含むスーパーフレームを構成する(compose)ことを含む。スーパーフレームは、決定されたカメラの動きに基づいて構成される。ステップ１４１は、光源の空間的位置及びカメラの動きに関する情報に基づいてスーパーフレームから１つ以上の光源の光源に対するオフスクリーン色情報を抽出するための分析エリアを決定することを含む。ステップ１４１は、１つ以上の光源のサブセット又はすべてに対して実行されてもよい。
【００６７】
カメラの動きに関する情報は、例えば、カメラの動きが横方向のカメラの動きであるか、旋回するカメラの動きであるかを示してもよい。横方向のカメラの動きと旋回するカメラの動きとを区別するために、エッジ検出が使用されてもよく、及び／又は、運動視差(motion parallax)が決定されてもよい。ステップ１３３は、ステップ１４１で決定される（複数の）分析エリアを用いてスーパーフレームからオンスクリーン色情報及びオフスクリーン色情報を決定することを含む。ステップ１３５は、オンスクリーン色情報及びオフスクリーン色情報に基づいて１つ以上の光効果を決定することを含む。
【００６８】
図７は、現在のフレームの境界を延長するためにカメラの動きに起因するフレームをコラージュして、スーパーフレームを作成する一例である。過去のフレーム５０〜５４及び未来のフレーム５６〜５９の一部が、現在のフレーム５５とともにスーパーフレーム６１に含まれる。図７の例では、まず現在のフレーム５５がスーパーフレーム６１に追加されている。次に、フレーム５５の一部ではないフレーム５４及びフレーム５６の一部が、スーパーフレーム６１に追加されている。次に、まだスーパーフレーム６１の一部ではないフレーム５３及びフレーム５７の一部が、スーパーフレーム６１に追加されている。同様の原理が、フレーム５０〜５２及び５８〜５９に用いられている。
【００６９】
図８は、スーパーフレーム６１のオフスクリーンコンテンツが、ユーザのスクリーンに対する（例えば、ユーザの照明セットアップ情報で指定される）光源の空間的位置に依存して、光源にオフスクリーンコンテンツの異なる部分をレンダリングするために使用されてもよいことを示している。分析エリア７３及び７４は、より高く、スクリーンから遠くに位置付けられている光源を有する第１のユーザのために使用されてもよく、分析エリア７６及び７７は、より低く、スクリーンの近くに位置付けられている光源を有する第２のユーザのために使用されてもよい。分析エリア７３は、図７のフレーム５１から得られる部分に位置し、分析エリア７４は、図７のフレーム５７から得られる部分に位置し、分析エリア７６は、図７のフレーム５４から得られる部分に位置し、分析エリア７７は、図７のフレーム５６から得られる部分に位置する。
【００７０】
図８の例では、分析エリアは、オフスクリーンコンテンツからしか決定されていないが、分析エリアは、オンスクリーンコンテンツから決定されてもよい。分析エリアがマッピングされる光源は、すべて異なるライトデバイスの部分であってもよく、又は、１つ以上のライトデバイスは、複数の光源を含んでもよく、例えばピクセル化されたライトを使用してもよい。ピクセル化されたライトの場合、そのある部分は、オンスクリーンコンテンツに基づいて作成される光効果をレンダリングしてもよく、その別の部分は、オフスクリーンコンテンツに基づいて作成される光効果をレンダリングしてもよい。斯くして、ピクセル化されたライトスリップは、図８のスーパーフレーム６１全体に基づいて作成される光効果をレンダリングすることができてもよい。
【００７１】
オフスクリーン色抽出方法の第４の実施形態が、図９に示されている。第４の実施形態では、図６の第３の実施形態のステップ１４１が、ステップ１５１に置き換えられている。ステップ１５１は、オンスクリーン色情報及びオフスクリーン色情報の両方を抽出するための単一の分析エリアを決定することを含む。単一の分析エリアの位置及び／又はサイズは、分析エリアの一部がさらなるフレーム（すなわち、現在／オンスクリーンフレーム）と重なり、分析エリアの一部が（オフスクリーン色情報が抽出される）少なくとも１つのフレームの一部と重なるように決定される。
【００７２】
これは、図１０を用いて例示されている。フレーム８１〜８３では、分析エリアが、スーパーフレーム内のオンスクリーンコンテンツ及びオフスクリーンコンテンツの両方をカバーするために移動され得ることが示されている。フレーム８１は、カメラの動きの開始を反映しており、分析エリア９１は、通常の位置にある。スーパーフレーム８２及び８３は、複数の過去のフレームの一部を含む。スーパーフレーム８２では、分析エリア９２は、現在のフレームの一部及び１つの過去のフレームの一部の両方をカバーするように右に移動されている。分析エリア９３は、現在のフレーム及び２つの過去のフレームに重なるように移動されている。
【００７３】
フレーム８５〜８６では、分析エリアは移動されるだけでなく、伸ばされている。どのくらいエリアが「伸びる(stretch)」かは、スクリプト作成者によって又は自動的に定義されてもよい。分析エリア９２と比較して、分析エリア９５は、２つのフレームのより大きな部分をカバーするように拡大されている。分析エリア９３と比較して、分析エリア９６は、３つのフレームのより大きな部分をカバーするように拡大されている。フレーム８５〜８６は、分析エリアが異なることを除いて、フレーム８２〜８３と同じである。
【００７４】
オフスクリーン色情報及びオンスクリーン色情報の両方を抽出して、両方に基づいて光効果を作成する場合、例えば、オフスクリーン色情報の影響を減らす又は増やすために、オンスクリーンエリアに対する色値とオフスクリーンエリアに対する色値とで異なる重みが割り当てられてもよい。例えば、オンスクリーンエリア内のピクセルから抽出される色に１の重みを与え、オフスクリーンエリア内のピクセルから抽出される色に低減された重みを与え、ピクセルがオンスクリーンエリアから離れるほど重みが低くなるようなアルゴリズムが使用されてもよい。
【００７５】
このアルゴリズムは、例えば、離散関数又は連続（例えば、線形）関数によって実装されてもよい。後者の一例が、図２３に示されている。図２３は、図７のスーパーフレーム６１の部分６０１を示している。部分６０１は、現在のフレーム５５の一部と、過去のフレーム５１〜５４の一部とから成る。部分６０１内のあるピクセルの列から抽出される色に与えられるべき重み（０〜１の範囲）は、該ピクセルの列の下のライン６０３の対応する部分から決定されることができる。図２３では、スーパーフレーム６１の一部のみが示されている。同じ原理が、スーパーフレーム６１の他のピクセルに適用されてもよい。ユーザが、どの重み付け(weighting)が適用されるかを指定できてもよい。
【００７６】
色抽出選択方法の第１の実施形態が、図１１に示されている。ステップ２０１は、メディアコンテンツ及びメディアコンテンツに関する情報を得ることを含む。メディアコンテンツは、ビデオコンテンツを含み、オーディオコンテンツをさらに含んでもよい。コンテンツに関する情報は、例えば、ダイナミシティレベル(level of dynamicity)、コントラスト情報、彩度情報(saturation information)、オーディオレベル、ジャンル、シーンロケーション(scene location)、シーンタイプ、及び／又は曲名を含んでもよい。
【００７７】
ステップ２０３は、得られた情報に基づいて複数の色抽出方法から色抽出方法を選択することを含む。色抽出方法は、同じピクセルから異なる色を抽出するという点で互いに異なる。複数の色抽出方法は、例えば、異なるタイプの色抽出方法及び／又は単一のタイプの色抽出方法に対する異なるセットのパラメータを含んでもよい。
【００７８】
異なるタイプの色抽出方法は、例えば、平均色判定(average color determination)（例えば、トリムミーン色判定(trimean color determination)、ミーン色判定(mean color determination)、メジアン色判定(median color determination)、又はモード色判定(mode color determination)）、ドミナント色判定、ドミナント照明色判定(dominant illumination color determination)、可視光源色判定(visible light source color determination)、及び／又は特徴色判定(feature color determination)を含んでもよい。平均色が、フレーム（サブエリア）ごとに決定されてもよく、複数のフレームの平均が、それら自体で平均化（例えば、トリムミーンのトリムミーン）されてもよい。異なる平均化方法が、フレーム（サブエリア）ごとの平均を決定することと、平均の平均を決定することとで用いられてもよい。
【００７９】
色抽出を実行する異なる方法は、例えばムードに基づいて、色空間の異なる領域に対して異なる重みを使用してもよい。例えば、ムードが、気が重いもの(depressing)であると判断される場合、非飽和色(desaturated color)により高い重みを与える（すなわち、好む）色抽出方法が使用されてもよい。トリムミーン判定（又は他の平均色決定）を実行する異なる方法はさらに、フレームの異なる分析エリアに対して異なる重みを使用してもよく、例えば、スーパーフレームのオフスクリーンコンテンツにおける分析エリア（例えば、１つ以上のピクセルの列）から決定されるトリムミーンは、スーパーフレームのオンスクリーンコンテンツにおける分析エリアから決定されるトリムミーンとは異なる重みを与えられてもよく、その後、異なる分析エリアのトリムミーンの平均（例えば、トリムミーン）が決定されてもよい。
【００８０】
ステップ２０５は、選択された色抽出方法を適用することによりビデオコンテンツの１つ以上のフレームから色を抽出することを含む。図１１の実施形態では、１つ以上の色が、複数のセクションに対してセクションごとに抽出される。各セクションは、シーン、ショット又は単一のフレームを含む。シーン及びショットは、複数のフレームを含む。単一の色が、セクションのすべてのフレームからセクションごとに抽出されてもよく、及び／又は、色が、セクションのすべてのフレームにおけるサブエリアからサブエリアごとにセクションごとに抽出されてもよい。図１１の実施形態では、光スクリプトが保存されるべき場合、ステップ２０５の後にステップ２０３が、異なるセクションに対して繰り返されてもよい。
【００８１】
異なる色抽出方法が、例えば、コンテンツのタイプ及びユーザの照明セットアップにおける光源のタイプに依存して、セクションの異なるサブエリア（すなわち、スクリーンの異なるエリア）に対して選択されてもよい。例えば、トリムミーン判定(trimean determination)が、スクリーンの中央エリアにマッピングされる光源のためにスクリーンの中央で使用されてもよく、ドミナント色判定(dominant color determination)が、スクリーンの左及び右エリアにマッピングされる光源のためにスクリーンの左及び右で使用されてもよい。斯くして、複数の異なる色抽出方法が、あるセクションの複数の異なるサブエリアから色を抽出するために当該セクションに対して選択されてもよい。
【００８２】
異なるサブエリアから色が抽出される場合、複数の候補色が、（複数の）選択された色抽出方法を用いて１つ以上のサブエリアから抽出されてもよく、異なるサブエリアから抽出される異なる色が、例えば、美しい(aesthetically pleasing)、相補的(complementary)、色相が同一、又は明度が同一であるように、サブエリアごとに候補色から１つの色が選択されてもよい。例えば、プリセット（例えば、美的又は相補的）に依存して、異なる色の組み合わせが、例えば、フランキングランプ(flanking lamp)にレンダリングされてもよい。第１の例として、複数の候補色は、サブエリアにおける３つの最ドミナント色を決定することにより抽出されてもよい。第２の例として、複数の候補色は、平均色判定の異なる方法（例えば、トリムミーン、ミーン、メジアン及びモード）を使用して抽出されてもよい。
【００８３】
ステップ２０７は、１つ以上のフレームがレンダリングされている際に１つ以上の光源にレンダリングされるべき１つ以上の光効果を決定することを含む。１つ以上の光効果は、抽出された色に基づいて決定される。ステップ２０７の後、ステップ２０９及び／又はステップ２１１が実行される。
【００８４】
ステップ２０９は、１つ以上の光効果を指定する光スクリプトを保存することを含む。図１１の実施形態では、ステップ２０８は、サブステップ２０９を含む。ステップ２０８は、ユーザが、光スクリプトを保存する前に抽出された色及び／又は選択された色抽出方法を確認することを可能にすることを含む。この実施形態では、選択された色及び／又は（複数の）選択された色抽出方法がユーザの好みに合わない場合、ユーザは、ステップ２０８において、抽出された色を手動で修正する、又は、異なる色抽出方法を手動で選択することが可能である。ユーザがあるセクション又はすべてのセクションに対して異なる色抽出方法を選択する場合、ステップ２０５が、これらのセクションに対して繰り返される。
【００８５】
ステップ２１１は、１つ以上の光効果をレンダリングするように１つ以上の光源を制御することを含む。図１１の実施形態では、１つ以上の光効果があるセクションについて決定され、レンダリングされた後、ステップ２０１が、コンテンツの次のセクションに対して繰り返される。ステップ２１１で１つ以上の光源が制御されるのと同時に、ステップ２０９で光スクリプトがリアルタイムで作成される場合、光効果は、セクションごとに決定され、光スクリプトに格納され、ステップ２０８は省略される。
【００８６】
例えば、以下のプロセスが、光スクリプトを作成するために使用されてもよい。
１．  情報が、以下の例示的な方法の１つ以上を用いて収集される。
−  オーディオビジュアルメディアの事前分析（ビジュアルダイナミクス(visual dynamic)、コントラスト、彩度、オーディオレベル等の量）。
−  メディアコンテンツに関する既存の情報（ジャンル、シーンロケーション及びタイプ、ミュージックタイトル等）についてデータベースを照会する。
２．  その後、関連する情報が、コンテンツに使用する最良の色抽出方法を決定するために処理される。理想的な実施形態では、方法は、（例えば、シーン、カメラカット、フレーム、又は組み合わせにより）セクションごとに定義される。
３．  その後、抽出方法が、各メディアセクションについて確認され、最終的な光スクリプトに「焼かれる(baked)」。ここで「抽出方法」という用語は、単純に、コンテンツに基づく、色／輝度信号の作成を指す。これは、結果としての信号が実際にソースに含まれていることを意味するものではない。相関関係はあり得るが、結果としての色度座標は、ソースに含まれている必要は定義上ない。
【００８７】
リアルタイム光効果レンダリングのために、例えば、以下の処理が用いられてもよい。
１．  情報が、以下の例示的な方法の１つ以上を用いて収集される。
−  コンテンツプロバイダにより提供されるメタデータからの抽出、又はメディアコンテンツに関する既存の情報（ジャンル、シーンロケーション及びタイプ、ミュージックタイトル等）についてデータベース（例えば、Ｇｒａｃｅｎｏｔｅ）を照会する。
−  ストリーミングデータのリアルタイム分析（ダイナミクス、ラウドネス、彩度等の量）。
２．  関連する情報が、メディアコンテンツにおける現在の位置に使用する最良の色抽出方法を決定するためにリアルタイムで処理される。
３．  抽出がリアルタイムで適用され、照明源にレンダリングされる。
【００８８】
オプションとして、バッファが、例えばビデオモジュールにおいて、将来のフレームをいくつかバッファリングするために使用され、これらの将来のフレームがリアルタイム光効果レンダリング中に分析されることを可能にする。
【００８９】
色抽出選択方法の第２の実施形態が、図１２に示されている。図１１の第１の実施形態と比較して、第２の実施形態は、ステップ２０８及び２０９を含んでいない。この実施形態では、ただ光スクリプトが保存される。さらに、図１２の第２の実施形態では、図１１のステップ２０３及び２１１が、それぞれステップ２２１及び２２３を含む。ステップ２２１は、得られた情報に基づいて及びユーザの照明セットアップに関する情報に基づいて複数の色抽出方法から色抽出方法を選択することを含む。ユーザの照明セットアップは、１つ以上の光源を含む。ステップ２２３は、１つ以上の光効果をレンダリングするようにユーザの照明セットアップの１つ以上の光源を制御することを含む。
【００９０】
ユーザの照明セットアップに関する情報は、例えば、光源の量、光源の空間的位置、光源のタイプ、及び光源の能力(capability)を含んでもよい。例えば、ユーザの照明セットアップが、（例えば、Ｐｈｉｌｉｐｓ  ＨｕｅＧｏ等）ディープ調光(deep diming)が可能な光源を含む場合、ユーザの照明セットアップが（例えば、Ｐｈｉｌｉｐｓ  Ｈｕｅ  ｂｕｌｂ  Ｅ２７等）ディープ調光を持つ光源を含まない場合に選択される色抽出方法とは異なる色を暗いシーンから抽出する色抽出方法が選択されてもよい。
【００９１】
色抽出選択方法の第３の実施形態が、図１３に示されている。この実施形態のステップ２０７では、１つ以上の光効果が、第１のタイプの潜在的な照明セットアップに対して決定される。方法はさらに、３つの追加のステップを含む。ステップ２３１は、得られた情報に基づいて複数の色抽出方法からさらなる色抽出方法を選択することを含む。ステップ２３３は、選択されたさらなる色抽出方法を適用することによりビデオコンテンツの１つ以上のフレームからさらなる色を抽出することを含む。
【００９２】
ステップ２３５は、第２のタイプの潜在的な照明セットアップに対して１つ以上のさらなる光効果を決定することを含む。１つ以上のさらなる光効果は、抽出されたさらなる色に基づいて決定される。さらに、ステップ２０９は、ステップ２３７を含む。ステップ２３７は、光スクリプトで１つ以上のさらなる光効果を指定することを含む。１つ以上の光効果は、光スクリプトで第１のタイプの照明セットアップと関連付けられ、１つ以上のさらなる光効果は、光スクリプトで第２のタイプの照明セットアップと関連付けられる。光スクリプトが後にレンダリングされる場合、マッチする光効果が、ユーザの実際の照明セットアップに基づいて選択されてもよい。代替的なの実施形態では、同様のアプローチが、３つ以上の潜在的な照明セットアップに対して用いられる。
【００９３】
斯くして、図１２及び図１３の実施形態では、ユーザの照明セットアップも、色抽出方法のタイプを決定又は選択するために使用されることができる。スクリプト化コンテンツ(scripted content)の場合、スクリプトは、異なる方法を用いて作成されたカラーパレットを含み、これらのパレットの１つが、ユーザのセットアップに基づいて再生時に選択されてもよい。リアルタイム光効果レンダリングの場合、ユーザのセットアップは、どの色抽出方法を使用するかを決定するために（例えば、ストリーミングデータ及びコンテンツデータに加えて）重み付けファクタ(weighted factor)になってもよい。ユーザのセットアップに関する情報は、例えば、光源のタイプ、光源の位置、及び／又は光源の数を含んでもよい。
【００９４】
色抽出選択方法の第４の実施形態が、図１４に示されている。この第４の実施形態では、複数の色抽出方法は、単一のタイプの色抽出方法に対する異なるセットのパラメータを含み、これらの異なるセットのパラメータは、同じタイプの色抽出方法（例えば、トリムミーン判定又は他の平均色判定）で使用される色空間の異なる領域を識別する。斯くして、色遷移がどのように起こるかが、得られた情報に基づいて決定されてもよい。例えば、点Ｘから点Ｙまで特定の色空間を直進するのではなく、このパスが、得られた情報によって影響を受けてもよい。この一例は、知覚されるライトネス(lightness)又は彩度を一定に保つ色遷移である。
【００９５】
図１４のステップ２０１では、４つのセクションＳｋ〜Ｓｋ＋３、例えば、同じシーン内の４つのショットが得られる。ステップ２０３の第１の反復(iteration)において、セクションＳｋが分析され、この分析に基づいて色抽出方法が選択される。この抽出方法は、色Ｃｋを決定するためにステップ２０５の第１の反復においてセクションＳｋに適用される。ステップ２０３の第２の反復において、セクションＳｋ＋３が分析され、この分析に基づいて色抽出方法が選択される。この抽出方法は、色Ｃｋ＋３を決定するためにステップ２０５の第２の反復においてセクションＳｋ＋３に適用される。
【００９６】
次のステップ２５１は、２つの色Ｃｋ及びＣｋ＋３間の色空間における遷移パスを選択すること、及び、２つのセクションＳｋ及びＳｋ＋３間に位置する中間セクションＳｋ＋１及びＳｋ＋２に適用されるべき色抽出方法を選択することとを含む。色抽出方法は、選択された遷移パスに基づいて選択される。この抽出方法は、色Ｃｋ＋１を決定するためにステップ２０５の第３の反復においてセクションＳｋ＋１に適用され、色Ｃｋ＋２を決定するためにステップ２０５の第４の反復においてセクションＳｋ＋２に適用される。
【００９７】
ステップ２０７では、セクションＳｋ〜Ｓｋ＋３に対してレンダリングされるべき光効果が、２つのセクションＳｋ及びＳｋ＋３から抽出される２つの色Ｃｋ及びＣｋ＋３、並びに、中間セクションＳｋ＋１及びＳｋ＋２から抽出される色Ｃｋ＋１及びＣｋ＋２に基づいて決定される。例えば、セクションＳｋに対する光効果は色Ｃｋに基づいて決定され、セクションＳｋ＋１に対する光効果は色Ｃｋ＋１に基づいて決定され、セクションＳｋ＋２に対する光効果は色Ｃｋ＋２に基づいて決定され、セクションＳｋ＋３に対する光効果は色Ｃｋ＋３に基づいて決定される。ステップ２０９は、光効果を指定する光スクリプトを保存することを含む。
【００９８】
図１５〜１７は、異なる色遷移パスの例を示している。図１５〜１７は、ＣＩＥＬ＊ａ＊ｂ＊  １９７６色空間、及び点Ｘ（座標２７１）から点Ｙ（座標２７２）まで空間を通る様々なパスを表している。例えば、座標２７１は、Ｃｋに対応してもよく、座標２７２は、Ｃｋ＋３に対応してもよい。説明を容易にするために、Ｌ（Ｌｉｇｈｔｎｅｓｓ：ライトネス）はＸ及びＹともに一定であり、ａ＊及びｂ＊（緑赤及び青黄色成分）のみが可変である。抽出された色のライトネスは、同じ又は異なることが予想され、色空間を通るパスはさらに、Ｘ及びＹのライトネス間で直線ではないパスを含むことができる。一例として、Ｘ及びＹ間のライトネスパス(lightness path)は、パス上のいくつかの点がＸ及びＹの両方よりも低いライトネスを有するような放物線であることができる。図１５は、直線進路(direct line of travel)を示し、その結果、このライン、ライン２７５上のすべての点は、点Ｘ及びＹよりも飽和されないことになる。
【００９９】
図１６は、遷移中彩度を最大にする最大彩度アルゴリズム(max saturation algorithm)を示している（ライン２７６上のすべての点は、原点から等距離にある）。最後に、図１７は、遷移中ライン２７７上の色度座標を非飽和する(desaturate)するアルゴリズムを示している。例えば、色Ｃｋ及びＣｋ＋３に基づいて、シーンのムードが気が重いものであると判断される場合、図１７に描写される遷移パスが、中間セクションＳｋ＋１及びＳｋ＋２に対して選択されてもよい。
【０１００】
重み付け影響光効果作成方法の第１の実施形態が、図１８に示されている。重み付け影響光効果作成方法では、１つ以上の光効果が、メディアコンテンツの分析に基づいて決定される。メディアコンテンツは、ビデオコンテンツ及びオーディオコンテンツを含む。ステップ３０１は、ユーザが１つ以上の光効果の決定に使用されるビデオの重み(video weight)及びオーディオの重み(audio weight)に影響を与えることを可能にすることを含む。ビデオの重みは、１つ以上の光効果の決定におけるビデオコンテンツの重みを表し、オーディオの重みは、該決定におけるオーディオコンテンツの重みを表す。ビデオの重みは、異なるタイプのビデオ情報に対する複数の重み成分を含んでもよく、及び／又は、オーディオの重みは、異なるタイプのオーディオ情報に対する複数の重み成分、例えば、ミュージックのリズムに対する特定の重を含んでもよい。
【０１０１】
ユーザは、ビデオの重み及びオーディオの重みの両方を指定及び／若しくは適応させる(adapt)ことができてもよく、又は、ユーザは、２つの重みのうち１つを指定及び／若しくは適応させることができてもよい。後者の場合、ユーザが第１の重みを指定又は適応させた後、第２の重みは、第１の重みに基づいて自動的に決定されてもよい。ユーザは、重みについて、単一の値又は複数の値、例えば範囲を指定してもよい。ユーザが複数の値を指定する場合、システム自身が、例えば、オーディオコンテンツのタイプ、どのチャンネルのミュージックが再生されているか、及び／又は、ビデオコンテンツのタイプに依存して、これらの値のうちの１つを選択してもよい。例えば、映画のあるシーンが非常にカラフルで、トリムミーン又はドミナント色(trimean or dominant color)がビデオコンテンツをうまく表さない場合、ユーザが、例えば同様のオーディオ及びビデオの重みの範囲を選択したとしても、システムは、よりオーディオに影響された色を目指すことを決定してもよい。
【０１０２】
ステップ３０３は、ビデオコンテンツに関連する情報及び／又はオーディオコンテンツに関連する情報を得ることを含む。ビデオコンテンツに関連する情報は、例えば、色情報を含んでもよい。オーディオコンテンツに関連する情報は、例えば、ハーモニー、バレンス(valence)、エネルギ、ムード、及び／又はダンサビリティ(danceability)情報を含んでもよい。バレンス、エネルギ及びダンサビリティ情報は、例えば、Ｓｐｏｔｉｆｙによって提供される。Ｓｐｏｔｉｆｙのバレンス情報は、トラックによって伝えられる音楽的なポジティブさ(musical positiveness)を記述する０．０から１．０までの尺度である。バレンスが高いトラックは、よりポジティブなサウンド（例えば、ハッピー、陽気、多幸感）であり、バレンスが低いトラックは、よりネガティブなサウンド（例えば、悲しみ、落ち込み、怒り）である。
【０１０３】
Ｓｐｏｔｉｆｙのエネルギ情報は、インテンシティ(intensity)及びアクティビティ(activity)の知覚的な尺度を表す０．０から１．０までの尺度である。典型的には、エネルギッシュなトラックは、速くて、うるさくて、騒々しい感じがする。例えば、デスメタルは高いエネルギを持ち、バッハのプレリュードはスケール上で低いスコアである。この属性に寄与する知覚的特徴は、ダイナミックレンジ、知覚されるラウドネス、音色(timbre)、オンセットレート(onset rate)、一般的なエントロピ(general entropy)を含む。Ｓｐｏｔｉｆｙのダンサビリティ情報は、テンポ、リズムの安定性、ビートの強さ、及び全体的な規則性を含む音楽的要素の組み合わせに基づいてトラックがダンスにどの程度適しているかを記述する。０．０の値は最もダンサブルではなく、１．０の値は最もダンサブルである。
【０１０４】
ステップ３０５は、メディアコンテンツがレンダリングされている際に１つ以上の光源にレンダリングされるべき１つ以上の光効果を決定することを含む。１つ以上の光効果は、ビデオの重みに依存してビデオコンテンツに関連する情報に基づいて決定される、及び、オーディオの重みに依存してオーディオコンテンツに関連する情報に基づいて決定される。
【０１０５】
図１８の実施形態では、１つ以上の光効果は、１つ以上の光効果の各々の色、開始時間及び持続時間を決定することにより、及び、１つ以上の光源のうちの少なくとも１つに１つ以上の光効果の各々を割り当てることにより決定される。色抽出方法、持続時間及び空間的割り当ては、ビデオの重み及びオーディオの重みに基づいて選択されてもよい。第１の例として、色抽出方法は、ミュージックのバレンス若しくはムードに基づいて、又は、シーンが（ビデオコンテンツの観点から）遅いか速いかに基づいて選択されてもよい。第２の例として、光効果の持続時間は、シーンが遅いか速いかに依存してもよく、又は、ミュージックのビート(beat)、バー(bar)、及び／又はリズムと光効果を同期するように決定されてもよい。
【０１０６】
第３の例として、ある光源に対する色を決定するために使用されるビデオ分析エリアは、この光源の空間的位置に依存してもよく、又は、ある光源に対する色及び／若しくは持続時間を決定するために使用されるオーディオチャネル（例えば、左又は右）は、この光源の空間的位置に依存してもよい。第４の例として、サラウンドサウンドシステムの場合、後方オーディオチャンネル／スピーカでのみミュージックが再生される場合、（ユーザが持っている場合）背後の光源のみが、ミュージックコンテンツに関連する情報に基づいて光効果をレンダリングしてもよい。ユーザが背後の光源を持っていない場合、光効果は、ミュージックコンテンツに関連する情報に基づかなくてもよい。斯くして、オーディオチャンネルが、どのようにビデオ及びオーディオ主導の光効果作成間のバランスをとるかを決定するために使用されてもよい。
【０１０７】
ステップ３０５の後、ステップ３０７及び／又はステップ３０９が実行される。ステップ３０７は、１つ以上の光効果を指定する光スクリプトを保存することを含む。ステップ３０９は、１つ以上の光効果をレンダリングするように１つ以上の光源を制御することを含む。
【０１０８】
斯くして、ユーザは、ビジュアルコンテンツ及びミュージカルコンテンツの相対的な影響、並びに、どのように各々が結果としての光効果に影響を与えるかを重み付けすることを選択してもよい。例えば、−１の値は、ミュージックの態様のみへの依存性を意味してもよく、＋１の値は、ビデオコンテンツへの依存性を意味してもよい。その間の値は、両方のコンテンツ及びそれらの光効果への影響の「ブレンディング(blending)」を意味する。値が−１の場合、光効果は、例えば、メディアに含まれるミュージックから得られる情報のみによって決定されてもよい。この場合、光効果は、（存在する場合）メディアのビジュアル部分との直接的な相関関係は持たないことになる。
【０１０９】
ミュージックから得られる異なるタイプの情報が、別個に露にされ、各々に異なる重み付けが適用されることを可能にしてもよい。例えば、ユーザは、照明効果に対してミュージックトラックのリズムの態様(rhythmic aspect)が持つ影響量(amount of influence)を選択してもよい。
【０１１０】
同様のアプローチは、光スクリプト生成及び光効果のリアルタイム作成の両方に適用されてもよい。例えば、オーディオ／ビデオの重みが異なる複数のプリセット、例えば、オーディオの重みが高い「ミュージックビデオ」、並びに／又は、オーディオ及びビデオの重みが中程度(medium)である「映画」、がユーザに提供されてもよい。
【０１１１】
どのミュージックトラックがメディアコンテンツの一部であるかを決定するために、例えば、この情報は、メディアコンテンツのタイトル若しくは他の識別子に基づいてインターネット若しくはコンテンツプロバイダから得られてもよく、又は、この情報は、オーディオコンテンツをローカルに分析することによって決定されてもよい。この情報はさらに、メディアコンテンツにおけるミュージックトラックの位置及びミュージックに関するコンテキスト情報(contextual information)（例えば、ハーモニー、バレンス、ムード、エネルギ等）を含んでもよい。
【０１１２】
この情報が得られると、該情報は、事前定義されたルールのセットに従って光効果生成のためのパラメータを設定するために使用されてもよい。例えば、ルールは、ミュージックトラックのエネルギ及び平滑化(smoothing)の間に逆相関を指定してもよく、すなわち、エネルギの低いミュージックを含む映画の部分は、高い平滑化が適用され、その逆もなされてもよい。同様に、これは、映画の中の単一のミュージックトラックの様々なセクションに適用してもよい。
【０１１３】
重み付け影響光効果作成方法の第２の実施形態が、図１９に示されている。ステップ３０１(図１８参照)が実行された後、ビデオコンテンツが、ステップ３２１で得られ、ローカルに分析される。ステップ３２３では、オーディオ及びビデオの重みに基づいて次にどのステップを実行するかが決定される。オーディオの重みが０である場合、次にステップ３２５が実行される。オーディオの重みが１である場合、次にステップ３２７が実行される。
【０１１４】
ステップ３２５は、デフォルトのパラメータに基づいて又はビデオの重みに基づいて選択されるパラメータに基づいて、ビデオコンテンツを分析する、例えば、ビデオコンテンツから色を抽出することを含む。ステップ３２７は、オーディオコンテンツに関連するメタデータの要求をインターネットサーバに送信することを含む。ステップ３４１は、インターネットサーバが要求を受け、ステップ３４３で要求に応じて要求されたメタデータを送信することを含む。ステップ３２９は、システムがメタデータを受けることを含む。
【０１１５】
次に、ステップ３３１は、システムが、受けたメタデータからパラメータを決定することを含む。ステップ３３３は、システムが、ステップ３３１で決定されるパラメータに基づいて、ビデオコンテンツを分析する、例えば、ビデオコンテンツから色を抽出することを含む。ステップ３０５では、１つ以上の光効果が、ビデオコンテンツの分析に基づいて決定される。ステップ３０７は、１つ以上の光効果を指定する光スクリプトを保存することを含む。
【０１１６】
重み付け影響光効果作成方法の第３の実施形態が、図２０に示されている。図２０の第３の実施形態では、オーディオコンテンツに関連するメタデータがインターネットサーバから得られず、代わりにローカルオーディオ分析が実行される。このため、図１９のステップ３２１は、ビデオ及びオーディオコンテンツの両方が得られるステップ３５１に置き換えられる。ステップ３２３でオーディオの重みが１であると判断される場合、ステップ３５３が実行される。ステップ３５３は、オーディオコンテンツを分析すること、及び、オーディオコンテンツからパラメータを決定することを含む。その後、これらのパラメータは、ステップ３３３において、ビデオコンテンツを分析する、例えば、ビデオコンテンツから色を抽出するために使用される。
【０１１７】
図１９の実施形態及び図２０の実施形態の両方において、ビデオ分析はローカルに実行される。代替的なの実施形態では、ビデオコンテンツに関連するメタデータが、インターネットサーバから得られる。
【０１１８】
オフスクリーン色抽出方法の第５の実施形態、色抽出選択方法の第５の実施形態、及び重み付け影響光効果作成方法の第４の実施形態が、図２１に示されている。ステップ４０１は、図１８〜図２０のステップ３０１と同様である。ステップ４０１は、ユーザが１つ以上の光効果の決定に使用されるビデオの重み及びオーディオの重みに影響を与えることを可能にすることを含む。ステップ４０３は、図２０のステップ３５１と同様である。ステップ４０３は、ビデオコンテンツ及びオーディオコンテンツを得ることを含む。ステップ４０５は、ビデオコンテンツに関連する情報及び／又はオーディオコンテンツ、例えばミュージックコンテンツに関連する情報を得ることを含む。
【０１１９】
ステップ４１１では、オーディオ及びビデオの重みに基づいて次にどのステップを実行するかが決定される。オーディオの重みが０で、ビデオの重みが１である場合、次にステップ４２１が実行される。オーディオの重みが１で、ビデオの重みが０である場合、次にステップ４４１が実行される。オーディオの重みが１で、ビデオの重みが１である場合、次にステップ４３１が実行される。図２１の実施形態では、オーディオの重みは０又は１であり、ビデオの重みは０又は１である。代替的な実施形態では、オーディオの重み及びビデオの重みは、１よりも高くすることができる。この代替的な実施形態では、例えば、ステップ４２１は、オーディオの重みが０であり、ビデオの重みが１以上である場合に実行されてもよく、ステップ４４１は、オーディオの重みが１以上であり、ビデオの重みがゼロである場合に実行されてもよく、ステップ４３１は、オーディオの重みが１以上であり、ビデオの重みが１以上である場合に実行されてもよい。
【０１２０】
次にステップ４２１が実行される場合、色抽出方法が、ビデオコンテンツのコンテンツに基づいて（例えば、ビデオコンテンツのローカル分析に基づいて又はインターネットサーバから得られるメタデータに基づいて）複数の色抽出方法から選択される。この実施形態では、複数の色抽出方法は、異なるタイプの色抽出方法を含む。ステップ４２１は、シーンが遅いシーンであるか、速いシーン（アクションシーン）であるか、通常のシーンであるかを判断することを含む。これは、例えば、圧縮ビデオで典型的に使用される動きベクトルに基づいて、１つのフレームから次のフレームへ何個のピクセルが移動するか、及び／又は、１つのフレームから次のフレームへどのくらい速くピクセルが移動するかを検出することを伴ってもよい。この検出に基づいて単一の動き値が決定される場合、遅いシーン、通常のシーン、及び速い（アクション）シーンを区別するために、２つの閾値が使用されてもよい。
【０１２１】
ステップ４２２では、ステップ４２１において、得られた情報がシーンは遅いシーンであることを示すと判断するとシーンから色を抽出するために、ドミナント色判定が選択される。シーンのドミナント色は、典型的には、シーン内で最も出現する色である。例えば、色ごとに、この色を持つピクセルの数を示すカラーヒストグラムが作られてもよく、最高のピクセル数を持つ色が選択されてもよい。平均色(average color)は、典型的には、ドミナント色とは異なり、シーン内のピクセルのいずれかが持つ色でさえない可能性がある。
【０１２２】
ステップ４２４では、ステップ４２１において、得られた情報がシーンはアクションシーンであることを示すと判断するとシーンから色を抽出するために、（例えば、車又は建物等のドミナント特徴(dominant feature)の色を決定する）特徴色判定が選択される。ステップ４２３では、ステップ４２１において、得られた情報がシーンは通常のシーン、すなわちスローでもアクションシーンでもないことを示すと判断すると各フレームから色を抽出するために、トリムミーン判定が選択される。この実施形態では、トリムミーンのトリムミーンが、フレームごとの色からシーンごとの色を決定するために決定される。ステップ４２５が、ステップ４２３の後に実行される。
【０１２３】
ステップ４２５は、決定されたトリムミーンの結果、所望の色になるかどうかを判断することを含む。そうである場合、ステップ４２６が実行される。そうではない場合、すなわち、トリムミーン判定の結果、望ましくない色になる場合、ステップ４２４においてシーンから色を抽出するために特徴色判定が選択される。どのような色が望ましい、又は望ましくないかは、事前構成(pre-configure)されてもよく、又はユーザによって指定されてもよい。例えば、暗い色は、望ましくなくてもよい。ステップ４２６は、ステップ４２２及びステップ４２４の後にも実行される。ステップ４２６では、１つ以上の色が、選択された色抽出方法を用いてシーンから抽出される。色は、例えば、異なる分析エリアを用いて、光源ごとに決定されてもよい。図２１の実施形態では、１つ以上の色は、図２、５、６及び９に関連して述べられたように、オンスクリーンコンテンツから、及びオフスクリーンコンテンツから決定される。
【０１２４】
図２１の実施形態では、トリムミーン判定の結果、望ましくない色になる場合、特徴色判定が選択される。代替的な実施形態では、１つ以上のフレームにドミナント色がない場合、並びに／又は、動いている、鮮明な(sharp)及び／若しくは高コントラストのオブジェクトが１つ以上のフレームに検出される場合、特徴色判定が代替的又は追加的に選択される。
【０１２５】
ステップ４３１は、ミュージックコンテンツに対して光スクリプトが利用可能であるかどうかを判断すること、及び、ミュージックコンテンツがある量を超えるダイアログを含むかどうかを判断することを含む。光スクリプトが利用可能であり、ミュージックコンテンツがある量を超えるダイアログを含まない場合、ステップ４３９が実行される。ステップ４３９は、光スクリプトから光効果に対するパラメータ、例えば、開始時間、持続時間及び色を抽出することを含む。ステップ４０７は、ステップ４３９の後に実行される。
【０１２６】
光スクリプトが利用可能ではない場合、及び／又は、ミュージックコンテンツがある量を超えるダイアログを含む場合、ステップ４３２が実行される。ステップ４３２が実行される場合、色抽出方法が、ミュージックコンテンツに関連する情報（例えば、オーディオコンテンツのローカル分析を用いて決定される情報又はインターネットサーバから得られる情報）に基づいて選択される。ステップ４３２は、ミュージックコンテンツが低エネルギ値を含むか、高エネルギを含むかを判断すること、及び、ミュージックコンテンツが低バレンス値を含むか、高バレンス値を含むかを判断することを含む。
【０１２７】
図２１の実施形態では、ある閾値を超えるエネルギ値は高エネルギ値とみなされ、このある閾値以下のエネルギ値は低エネルギ値とみなされ、ある閾値を超えるバレンス値は高バレンス値とみなされ、このある閾値以下のバレンス値は低バレンス値とみなされる。代替的な実施形態では、２つの閾値が、エネルギ及び／又はバレンスに使用されてもよく、２つの閾値間の値が、通常の（エネルギ又はバレンス）値であってもよい。
【０１２８】
ステップ４３２で（ミュージックの）エネルギ値が低いと判断され、（ミュージックの）バレンス値が低いと判断される場合、ステップ４３３で第１の色抽出方法が選択される。ステップ４３２でエネルギ値が高いと判断され、バレンス値が低いと判断される場合、ステップ４３４で第２の色抽出方法が選択される。ステップ４３２でエネルギ値が低いと判断され、バレンス値が高いと判断される場合、ステップ４３５で第３の色抽出方法が選択される。ステップ４３２でエネルギ値が高いと判断され、バレンス値が高いと判断される場合、ステップ４３６で第４の色抽出方法が選択される。例えば、ミュージックトラックのバレンスは、トラックによって伝えられる音楽的なポジティブさを表し、この情報は、例えばＳｐｏｔｉｆｙによって提供される。
【０１２９】
ステップ４３４及び４３６でそれぞれ選択される第２及び第４の色抽出方法は、ステップ４３３及び４３５でそれぞれ選択される第１及び第３の色抽出方法よりも低い平滑化の程度(degree of smoothing)を伴う。平滑化は、例えば、トリムミーンのトリムミーンを決定する場合に使用される。ステップ４３５及び４３６でそれぞれ選択される第３及び第４の色抽出方法は、ステップ４３３及び４３４でそれぞれ選択される第１及び第２の色抽出方法により決定される色よりも飽和されている色を決定する。
【０１３０】
ステップ４３７では、１つ以上の色が、選択された色抽出方法を用いてシーンから抽出される。色は、例えば、異なる分析エリアを用いて、光源ごとに決定されてもよい。図２１の実施形態では、１つ以上の色が、オンスクリーンコンテンツのみから決定される。ステップ４４１は、１つ以上の光効果がミュージックコンテンツのビート、バー、及び／又はリズムと同期されるように１つ以上の光効果の開始時間及び持続時間を決定することを含む。光効果に対する色は、例えば、オーディオコンテンツに基づいて、任意に又は所定の順序で決定されてもよい。ステップ４０７は、ステップ４４１の後に実行される。
【０１３１】
ステップ４０７及び４０９は、それぞれ、図１８のステップ３０５及び３０９に対するステップと同様である。ステップ４０７では、１つ以上の光効果が、抽出された色及び／又は決定された他のパラメータに基づいて決定される。ステップ４０９は、１つ以上の光効果をレンダリングするように１つ以上の光源を制御することを含む。
【０１３２】
図２２は、図２、５、６、９、１１〜１４及び１８〜２１を参照して述べられたような方法を実行し得る、例示的なデータ処理システムを示すブロック図を示す。
【０１３３】
図２２に示されるように、データ処理システム５００は、システムバス５０６を介してメモリ要素５０４に結合される、少なくとも１つのプロセッサ５０２を含んでもよい。それゆえ、データ処理システムは、メモリ要素５０４内にプログラムコードを記憶してもよい。さらに、プロセッサ５０２は、システムバス５０６を介してメモリ要素５０４からアクセスされるプログラムコードを実行してもよい。一態様では、データ処理システムは、プログラムコードを記憶及び／又は実行するために好適な、コンピュータとして実装されてもよい。しかしながら、データ処理システム５００は、本明細書内で述べられる機能を実行することが可能な、プロセッサ及びメモリを含む任意のシステムの形態で実装されてもよい点を理解されたい。
【０１３４】
メモリ要素５０４は、例えば、ローカルメモリ５０８及び１つ以上の大容量記憶デバイス５１０などの、１つ以上の物理メモリデバイスを含んでもよい。ローカルメモリとは、プログラムコードの実際の実行中に一般に使用される、ランダムアクセスメモリ又は他の非永続的メモリデバイスを指してもよい。大容量記憶デバイスは、ハードドライブ又は他の永続的データ記憶デバイスとして実装されてもよい。処理システム５００はまた、実行中に大容量記憶デバイス５１０からプログラムコードが取得されなければならない回数を低減するために、少なくとも一部のプログラムコードの一時記憶を提供する、１つ以上のキャッシュメモリ（図示せず）を含んでもよい。また、処理システム５００は、例えば、処理システム５００がクラウドコンピューティングプラットフォームの一部である場合、別の処理システムのメモリ要素を使用することができてもよい。
【０１３５】
入力デバイス５１２及び出力デバイス５１４として示される、入出力（input/output；Ｉ／Ｏ）デバイスが、オプションとして、データ処理システムに結合されることができる。入力デバイスの例としては、限定するものではないが、キーボード、マウス等のポインティングデバイス、（例えば、ボイス及び／又はスピーチ認識のための）マイク等を挙げることができる。出力デバイスの例としては、限定するものではないが、モニタ又はディスプレイ、スピーカ等を挙げることができる。入力デバイス及び／又は出力デバイスは、直接、又は介在Ｉ／Ｏコントローラを介して、データ処理システムに結合されてもよい。
【０１３６】
一実施形態では、入力デバイス及び出力デバイスは、複合型入力／出力デバイス（入力デバイス５１２及び出力デバイス５１４を取り囲む破線で図２２に示されるもの）として実装されてもよい。そのような複合型デバイスの一例は、「タッチスクリーンディスプレイ」又は単に「タッチスクリーン」と称される場合もある、タッチ感知ディスプレイである。そのような実施形態では、デバイスへの入力は、タッチスクリーンディスプレイ上、又はタッチスクリーンディスプレイの近くでの、例えばスタイラス又はユーザの指等の、物理的実体の移動によって提供されてもよい。
【０１３７】
ネットワークアダプタ５１６もまた、データ処理システムに結合されて、介在する私設ネットワーク又は公衆ネットワークを介して、そのデータ処理システムが、他のシステム、コンピュータシステム、リモートネットワークデバイス、及び／又はリモート記憶デバイスに結合されることを可能にしてもよい。ネットワークアダプタは、上述のシステム、デバイス、及び／又はネットワークによってデータ処理システム５００に送信されるデータを受信するための、データ受信機と、データ処理システム５００から上述のシステム、デバイス、及び／又はネットワークにデータを送信するための、データ送信機とを含んでもよい。モデム、ケーブルモデム、及びＥｔｈｅｒｎｅｔカードは、データ処理システム５００と共に使用されてもよい、種々のタイプのネットワークアダプタの例である。
【０１３８】
図２２に示されるように、メモリ要素５０４は、アプリケーション５１８を記憶してもよい。様々な実施形態では、アプリケーション５１８は、ローカルメモリ５０８、１つ以上の大容量記憶デバイス５１０内に記憶されてもよく、あるいは、それらローカルメモリ及び大容量記憶デバイスとは別個であってもよい。データ処理システム５００は、アプリケーション５１８の実行を容易にすることが可能なオペレーティングシステム（図２２には示さず）を、更に実行してもよい点を理解されたい。アプリケーション５１８は、実行可能プログラムコードの形態で実装されており、データ処理システム５００によって、例えばプロセッサ５０２によって、実行されることができる。アプリケーションの実行に応答して、データ処理システム５００は、本明細書で述べられる１つ以上の動作又は方法ステップを実行するよう構成されてもよい。
【０１３９】
本発明の様々な実施形態は、コンピュータシステムと共に使用するためのプログラム製品として実装されてもよく、このプログラム製品のプログラムは、（本明細書で説明される方法を含めた）実施形態の機能を定義する。一実施形態では、このプログラムは、様々な非一時的コンピュータ可読記憶媒体上に含まれることができ、本明細書で使用されるとき、「非一時的コンピュータ可読記憶媒体」という表現は、全てのコンピュータ可読媒体を含むが、唯一の例外は一時的な伝搬信号である。別の実施形態では、このプログラムは、様々な一時的コンピュータ可読記憶媒体上に含まれることができる。例示的なコンピュータ可読記憶媒体としては、限定するものではないが、（ｉ）情報が永続的に記憶される、書き込み不可記憶媒体（例えば、ＣＤ−ＲＯＭドライブによって読み取り可能なＣＤ−ＲＯＭディスク、ＲＯＭチップ、又は任意のタイプの不揮発性固体半導体メモリ等の、コンピュータ内部の読み出し専用メモリデバイス）、及び（ｉｉ）変更可能な情報が記憶される、書き込み可能記憶媒体（例えば、フラッシュメモリ、ディスケットドライブ若しくはハードディスクドライブ内部のフロッピーディスク、又は任意のタイプのランダムアクセス固体半導体メモリ）が挙げられる。コンピュータプログラムは、本明細書で述べられるプロセッサ５０２上で実行されてもよい。
【０１４０】
本明細書で使用される用語法は、特定の実施形態を説明することのみを目的とするものであり、本発明を限定することを意図するものではない。本明細書で使用されるとき、単数形「a」、「an」、及び「the」は、文脈がそうではないことを明確に示さない限り、複数形も含むことが意図される。本明細書で使用されるとき、用語「含む（comprises）」及び／又は「含んでいる（comprising）」は、記述された特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するものであるが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらの群の存在若しくは追加を排除するものではない点が、更に理解されるであろう。
【０１４１】
以下の請求項における全てのミーンズプラスファンクション又はステッププラスファンクションの要素の、対応する構造、材料、行為、及び均等物は、具体的に特許請求される他の特許請求要素と組み合わせて機能を実行するための、任意の構造、材料、又は行為を含むことが意図される。本発明の実施形態の説明は、例示を目的として提示されてきたが、網羅的であるか、又は開示された形態の実装形態に限定されることを意図するものではない。実施形態は、本発明の原理及び一部の実際的応用を最良に説明し、想到される特定の用途に適するような様々な修正を有する様々な実施形態に関して、他の当業者が本発明を理解することを可能にするために、選択及び説明されるものとした。
【図１】
2022500837.tif 000003
【図２】
2022500837.tif 000004
【図３】
2022500837.tif 000005
【図４】
2022500837.tif 000006
【図５】
2022500837.tif 000007
【図６】
2022500837.tif 000008
【図７】
2022500837.tif 000009
【図８】
2022500837.tif 000010
【図９】
2022500837.tif 000011
【図１０】
2022500837.tif 000012
【図１１】
2022500837.tif 000013
【図１２】
2022500837.tif 000014
【図１３】
2022500837.tif 000015
【図１４】
2022500837.tif 000016
【図１５】
2022500837.tif 000017
【図１６】
2022500837.tif 000018
【図１７】
2022500837.tif 000019
【図１８】
2022500837.tif 000020
【図１９】
2022500837.tif 000021
【図２０】
2022500837.tif 000022
【図２１】
2022500837.tif 000023
【図２２】
2022500837.tif 000024
【図２３】
2022500837.tif 000025
【国際調査報告】
2022500837.tif 000026
2022500837.tif 000027