(57)【要約】適応的なクロマキーを生成する方法及び装置は、合成シーンの形成の間に前景のオブジェクト情報を考慮することを含む。前景のキーと後景のシーンとの間で関心のある領域の輝度及び色度が合成シーンの形成の間に考慮される。
2010532629.tif 000002
【特許請求の範囲】
【請求項１】
クロマキーを生成する方法であって、
前景のキーを使用して合成シーンについて関心のある領域（AOI）を決定するステップと、
決定されたAOIにおける画素の物理的な特性を考慮してクロマキーを生成するステップと、
を含むことを特徴とする方法。
【請求項２】
前記決定するステップは、
後景のシーンに前景のキーを重ね合わせるステップと、
前記前景のキーに含まれる前記後景のシーンにおける画素を識別するステップと、
を含む請求項１記載の方法。
【請求項３】
前記生成するステップは、
前記AOIにおける画素の平均の輝度を計算するステップと、
前記前景のシーンにおけるサンプルされた領域の平均の輝度を計算するステップと、
前記前景のシーンにおける輝度を前記AOIにおける輝度に関連付けるステップと、
を更に含む請求項１記載の方法。
【請求項４】
前記生成するステップは、
前記AOIにおける色度信号を考慮するステップを更に含む、
請求項１記載の方法。
【請求項５】
前記考慮するステップは、
一定のベクトルが前記AOIにおける全ての画素に適用されるかを判定するステップと、
一定のベクトルが全ての画素に適用されるとき、僅かな割合の前記一定のベクトルを結果として得られる前景のシーンに適用するステップと、
を更に含む請求項４記載の方法。
【請求項６】
前記考慮するステップは、
一定のベクトルが前記AOIにおける全ての画素に適用されるかを判定するステップと、
一定のベクトルが全ての画素に適用されないとき、結果として得られる前景のシーンに変化を加えないステップと、
を更に含む請求項４記載の方法。
【請求項７】
前記僅かな割合は５〜１０％を含む、
請求項５記載の方法。
【請求項８】
クロマキーを生成する装置であって、
前景のキーを使用して合成シーンについて関心のある領域（AOI）を決定する手段と、
決定されたAOIにおける画素の物理的な特性を考慮してクロマキーを生成する手段と、
を有することを特徴とする装置。
【請求項９】
後景のシーンに前景のキーを重ね合わせる手段と、
前記前景のキーに含まれる前記後景のシーンにおける画素を識別する手段と、
を更に有する請求項８記載の装置。
【請求項１０】
前記AOIにおける画素の平均の輝度を計算する手段と、
前記前景のシーンにおけるサンプルされた領域の平均の輝度を計算する手段と、
前記前景のシーンにおける輝度を前記AOIにおける輝度に関連付ける手段と、
を更に有する請求項８記載の装置。
【請求項１１】
前記生成する手段は、
前記AOIにおける色度信号を考慮する手段を更に有する、
請求項８記載の装置。
【請求項１２】
前記考慮する手段は、
一定のベクトルが前記AOIにおける全ての画素に適用されるかを判定する手段と、
一定のベクトルが全ての画素に適用されると判定されたとき、僅かな割合の前記一定のベクトルを結果として得られる前景のシーンに適用する手段と、
を含む請求項１１記載の装置。
【請求項１３】
前記考慮する手段は、
一定のベクトルが前記AOIにおける全ての画素に適用されるかを判定する手段と、
一定のベクトルが全ての画素に適用されないとき、結果として得られる前景のシーンに変化を加えない手段と、
を含む請求項１１記載の装置。
【請求項１４】
前記僅かな割合は５〜１０％を含む、
請求項１１記載の装置。
【請求項１５】
クロマキーを生成する装置であって、
前景のキーを使用して合成シーンについて関心のある領域（AOI）を決定し、決定されたAOIにおける画素の物理的な特性を考慮してクロマキーを生成するソース選択装置を有する、
ことを特徴とする装置。
【請求項１６】
前記ソース選択装置は、
複数の入力ソースと、
プロセッサと、
前記プロセッサと通信するスイッチングロジックと、
前記プロセッサ及び前記スイッチングロジックに接続される適応型クロマキーサブシステムであって、前記合成シーンについて２以上の入力ソースを選択的に結合するために前記プロセッサの制御下で動作する適応型クロマキーサブシステムと、
を有する請求項１５記載の装置。
【請求項１７】
前記画素の物理的特性は、輝度信号及び色度信号を含む、
請求項１５記載の装置。
【請求項１８】
前記ソース選択装置は、前記AOIにおける画素の平均の輝度を計算し、前景のシーンにおけるサンプルされた領域の平均の輝度を計算し、前記前景のシーンにおける輝度を前記AOIにおける輝度に関連付けるリンクデータを供給することで前記クロマキーを生成する、
請求項１７記載の装置。
【請求項１９】
前記ソース選択装置は、一定のベクトルが前記AOIにおける全ての画素に適用されるかを判定し、一定のベクトルが前記AOIにおける全ての画素に適用されるとき、僅かな割合の前記一定のベクトルを前記合成シーンにおける結果として得られる前景のシーンに適用する、
請求項１７記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、クロマキーイングに関する。  
より詳細には、本発明は、適応型クロマキーの製作に関する。  
本出願は、2007年6月29日に提出された“Method  and  Apparatus  for  Chroma  Key  Production”と題された国際特許出願PCT/US2007/015254に対する優先権を主張するものである。
【背景技術】
【０００２】
クロマキーは、一般に、後景のシーンに前景のオブジェクトを配置する。クロマキーのパラメータは、前景のシーンのみに基づいて各フィールドについて計算されるので、前景のオブジェクトは、後景のシーンの明暗に対して適応することができない。したがって、周辺光又は人口光の使用が変わる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
実際に、クロマキーのパラメータは、後景のシーンにおける明暗よりも均質化されたスタジオの明暗の条件に基づく。このタイプの明暗のミスマッチにより、自然のクロマキーを生成することができない。
【課題を解決するための手段】
【０００４】
本発明の態様は、従来技術の問題点を克服する適応型のクロマキーを提供する。  
この態様及び他の態様は、前景のキーを使用して合成シーンについて関心のある領域（AOI）を決定し、決定されたAOIにおける画素の物理的な特性を考慮してクロマキーを生成することを含む、クロマキーを生成する方法により達成される。
【０００５】
本発明の別の態様によれば、クロマキーを生成する装置は、前景のキーを使用して合成シーンについて関心のある領域（AOI）を決定し、決定されたAOIにおける画素の物理的な特性を考慮してクロマキーを生成するために構成されるソース選択装置を含む。ソース選択装置は、複数の入力ソース、プロセッサ、プロセッサと通信するスイッチングロジック、並びに、プロセッサ及びスイッチングロジックに接続される適応型のクロマキーサブシステムを含み、前記クロマキーサブシステムは、プロセッサの制御下で動作し、合成シーンについて２以上の入力シーンを選択的に結合する。
【０００６】
本発明の他の態様及び特徴は、添付図面と共に考慮される以下の詳細な説明から明らかとなるであろう。しかし、図面は例示のために描かれており、本発明の限定する定義として描かれていないため、特許請求の範囲が参照されるべきである。図面は必ずしもスケーリングするために描かれておらず、特に示されない限り、本実施の形態で記載される構造及び手順を概念的に例示することが意図されている。図面では、同じ参照符号は、図面を通して同じコンポーネントを示す。
【図面の簡単な説明】
【０００７】
【図１】緑色のバーチャルスタジオセットにおける前景のシーンのグラフィック描写である。
【図２】シーンにおける前景のオブジェクトのグラフィック描写である。
【図３】前景のシーンとの使用が意図される後景のシーンのグラフィック描写である。
【図４】前景のキーのグラフィック描写である。
【図５】前景のシーンと後景のシーンの両者の合成の出力のグラフィック描写である。
【図６】合成シーンにおける関心のある領域（AOI）のグラフィック描写である。
【図７】より明るい後景と前景のオブジェクトの両者をもつ合成シーンのグラフィック描写である。
【図８】より暗い後景と前景のオブジェクトの両者をもつ合成シーンのグラフィック描写である。
【図９】図９ａから図９ｃは、後景のシーンにおける異なる色相が、異なるものの、整合する前景のオブジェクトをどのように形成するかを示すグラフィック描写である。
【図１０ａ】本発明の実現に係る、合成画像の表示のための輝度の決定のフロー図である。
【図１０ｂ】本発明の実現に係る、クロマキーのAOIの決定のフロー図である。
【図１１】本発明の実現に係る、合成画像の表示のための色度の決定及び適用のフロー図である。
【図１２】本発明の適応型クロマキーを実現するために構成されるスイッチャ装置のブロック図である。
【図１３】本発明の実現に係る適応型クロマキーサブシステムのブロック図である。
【発明を実施するための最良の形態】
【０００８】
一般に、クロマキーにより、前景のオブジェクトを後景のシーンに配置することができる。クロマキーのパラメータは前景のシーンのみに基づいて各フィールドについて計算されるので、前景のオブジェクトは、後景のシーンの明暗（たとえば周囲及び人口）の変化に適応することができない。実際に、クロマキーのパラメータは、後景のシーンにおける明暗ではなく、スタジオの明暗の状態について均質化されることがある。
【０００９】
本発明は、後景のシーンからの輝度情報及び色度情報を使用して、クロマキーの適応的な形成を可能にすることで、このクロマキーイング（chroma  keying）スキームに対する代替を提供する。
【００１０】
図１〜５は、本発明の概念を理解するための幾つかの後景の情報を示す。図１は、（ピクチャにおける人により表される）前景のシーン１０、及び緑色のバーチャルスタジオセット１２を示す。図２は、バーチャルスタジオセット１２がない前景のオブジェクト１０を示す。図３は、バーチャルスタジオセット上に表示される後景のシーン１４を示す。図４は、後景のシーン上に重ね合わされる前景のシーンの画像を表す前景のキー１６を示す。図５は、後景のシーン１４と前景のシーン１０の組み合わせから得られる合成出力画像の描写である。
【００１１】
はじめに、本発明によれば、前景のシーンと後景のシーンとの間の関心のある領域（AOI）に関する判定が行われる（図１０ａのステップ１０２）。図１０ｂを参照して、これを行うため、前景のキーは後景のシーンに重ね合わされ（ステップ１１０）、前景のキーに入る後景のシーンの全ての画素の識別が行われる（ステップ１１２）。この識別は、AOIを構成する。図６は、このプロセスから得られたAOIのグラフィック描写である。
【００１２】
１つの実現によれば、後景のシーンからの情報は、クロマキーを適応的に形成するため、クロマキーロジックにより使用される。これを行うことにおいて、本方法は、クロマキーを形成するため、決定されたAOIにおける画素の１以上の物理的な特性を考慮することを含む。本実施の形態の例では、これらの物理的な特性は、画素の輝度及び色度を含む。
【００１３】
図１０ａは、AOIの輝度を考慮する方法１００を示し、図１１は、AOIの色度を考慮する方法１５０を示す。
【００１４】
図１０ａを参照して、はじめに、合成シーンのAOIに関する判定（ステップ１０２）が行われる。次いで、AOIにおける画素の平均の輝度が計算され（ステップ１０４）、前景のシーンにおけるサンプルエリアの平均の輝度も計算される（ステップ１０６）。ひとたびこれらの輝度の計算が行われると、前景のシーンにおける輝度は、AOIにおける輝度にリンクされる（ステップ１０８）。言い換えると、各フィールドについて、前景のシーンにおける輝度に対するAOIにおける輝度の差（デルタ）を利用する。後景がビデオクリップのような急激な明暗の変化を有する場合、たとえばビデオクリップは、マンハッタンの明るい道路と暗い道路を見せる。前景のオブジェクト（たとえば新たなリーダ又はリポート）は、後景のシーンに適応し、これに応じてその明暗を変える。図７は、明るい前景のオブジェクトを有する明るい後景の例を示し、図８は、暗い前景のオブジェクトを有する暗い後景の例を示す。
【００１５】
図１１は、色度信号が考慮される方法１５０の例を示す。AOIの決定１０２の後、一定のベクトルがAOIにおける全ての画素に適用されるかが決定される（ステップ１２０）。適用されない場合、前景のシーンは、変化しないままである（ステップ１２４）。AOIにおける全ての画素に適用される一定のベクトルがある場合、僅かなパーセンテージの同じ一定のベクトルは、結果として得られる前景のシーンに適用される。たとえば、後景のシーンが多色の光ビームが回転するディスコクラブである場合、前景のオブジェクトは、後景のシーンにおける色相の変化に適応する（すなわち、赤の光ビームがAOIに含まれる場合、同様に、やや赤い色が前景のオブジェクトに現れる）。したがって、後景のシーンにおける異なる色相は、異なるものの、整合するオブジェクトを前景において形成することができる。この概念は、図９ａ〜図９ｃの例示的な画像において示される。それぞれの図において、色相は異なり、結果的に前景のオブジェクトの色における変化となり、これにより、表示される合成画像全体の全体的な変化となる。図９ｂは、後景の明暗に付加される（図９ｂ全体をカバーする非常に小さなドットのアレイにより表現される）赤色を帯びた色相の影響、及び前景のオブジェクトへの赤色を帯びた色相の全体的な影響（すなわち、後景との赤色を帯びた色相の整合）を示し、図９ｃは、後景のシーンにおける（図９ｃ全体をカバーする非常に小さなダッシュのアレイにより表される）緑色を帯びた色相の影響を示す。
【００１６】
図１２は、本発明に従って動作するためにプログラムされるスイッチャシステム２００のブロック図を示す。スイッチャ２０２は、複数の入力２０８、プロセッサ２０４、及びプロセッサと通信するスイッチングロジック２０６を含む。プロセッサ２０８は、オンボードメモリ２１０を含むか、ハードディスクドライブ、コンパクトディスクドライブ、フラッシュメモリ又は他の固体メモリ装置、或いは他のメモリストレージ手段のような外部記憶媒体にリンクされる場合がある。適応クロマキーサブシステム２０７は、プロセッサ２０４及びスイッチングロジック２０６と通信し、本発明の方法を実行し、後景のシーンを有する前記入力２０８のうちの１つを受け、それを前景のシーンを有する別の入力と選択的に結合し、その出力２１２で所望の合成シーンを供給する。
【００１７】
図１３は、本発明の実現に係る適応型クロマキーサブシステム２０７のブロック図を示す。前景のビデオ２５０及び前景のキー２５２は、補間器２５８により補間される。（第一の色相セレクタ２６２及び第二の色相セレクタ２６６を介した）色相の選択及び（第一の抑圧２６４及び第二の抑圧２６８を介した）抑圧の後、ビデオ２７０は、スイッチャ２０２における次のロジカルサブシステム（たとえば、スイッチングロジック２０６）に通過される。第二の色相セレクタ２６６は、前景の情報を出力し、この前景の情報は、後景の変化が適用される（２８０）前に処理される（チップ＆ゲイン２７８）。後景のビデオ２５４と後景のキー２５６は、補間器２６０により補間され、次いで、ＡＯＩが決定される。上述されたように、ひとたびＡＯＩが決定されると、ＡＯＩにおける輝度の変化２７４及び色度の変化２７６が決定され、前景に与えられる（２８０）。このステージで、オフセット２８２がフォアグランドキー信号に加えられ、前景のキー２１２が出力される。
【００１８】
様々な態様、実現及び特徴は、１以上の様々なやり方で実現される。たとえば、様々な態様、実現及び特徴は、たとえば１以上の方法、装置を使用して、方法、プログラム又は他の命令のセットを実行する装置又は処理装置を使用して、プログラム又は命令のセットを含む装置を使用して、及びコンピュータ読取可能な記録媒体を使用して実現される場合がある。
【００１９】
装置は、たとえば、ディスクリート又は集積されたハードウェア、ファームウェア及びソフトウェアを含む場合がある。例として、装置は、たとえばマイクロプロセッサ、集積回路、又はプログラマブルロジックデバイスを一般に含む処理装置を示すプロセッサを含む場合がある。別の例として、装置は、１以上のプロセッサを実行する命令を有する１以上のコンピュータ読取可能な記録媒体を含む場合がある。
【００２０】
コンピュータ読取可能な記録媒体は、たとえば、ハードディスク、コンパクトディスク、ランダムアクセスメモリ（ＲＡＭ）又はリードオンリメモリ（ＲＯＭ）のようなソフトウェアキャリア又は他のストレージデバイスを含む場合がある。また、コンピュータ読取可能な記録媒体は、たとえば命令を符号化又は送信するフォーマットされた電磁波を含む場合がある。命令は、たとえば、ハードウェア、ファームウェア、ソフトウェア、又は電磁波である場合がある。命令は、たとえばオペレーティングシステム、個別のアプリケーション、又はこれらの組み合わせで見られる場合がある。プロセッサは、たとえば、プロセスを実行するために構成される装置及びプロセスを実行する命令を有するコンピュータ読取可能な記録媒体を含む装置の両者として特徴付けられる。
【００２１】
多数の実現が開示された。それにもかかわらず、様々な変更が行われる場合がある。たとえば、異なる実現のエレメントは、他の実現を生成するために結合、補充、変更又は除去される場合がある。したがって、他の実現は、以下の特許請求の範囲の概念に含まれる。
【図１】
2010532629.tif 000003
【図２】
2010532629.tif 000004
【図３】
2010532629.tif 000005
【図４】
2010532629.tif 000006
【図５】
2010532629.tif 000007
【図６】
2010532629.tif 000008
【図７】
2010532629.tif 000009
【図８】
2010532629.tif 000010
【図９ａ】
2010532629.tif 000011
【図９ｂ】
2010532629.tif 000012
【図９ｃ】
2010532629.tif 000013
【図１０ａ】
2010532629.tif 000014
【図１０ｂ】
2010532629.tif 000015
【図１１】
2010532629.tif 000016
【図１２】
2010532629.tif 000017
【図１３】
2010532629.tif 000018
【国際調査報告】
2010532629.tif 000019
2010532629.tif 000020
2010532629.tif 000021