(57)【特許請求の範囲】
【請求項１】
主体部の撮影中に背景画素を含む背景シーンが前景主体部と合成される際、前記主体部が見かけ上カメラに近づくほど前記背景シーンがよりデフォーカスされるように、背景シーンを自動的にデフォーカスする方法であって、
ａ）背景画素の夫々は信号レベルを持ち、前記背景画素の選択されたグループを平均化することのできる合成装置の背景入力に背景画像信号源を接続するステップと、
ｂ）前景画像信号源を前記合成装置の前景入力に接続するステップと、
ｃ）前記合成装置によって生成されたマット信号にアクセスするステップと、
ｄ）前記マット信号を用いて、前景主体部領域と画像フレーム領域の比を決定するステップと、
ｅ）前記領域比を用いて、前記背景画像内の各画素に対して平均画素レベルを形成するために平均化すべき隣接する画素数を選択するステップと、
ｆ）前記背景画素内の信号レベルを前記平均画素レベルで置き換え、それによって、カメラと主体部の距離の見かけの減少に比例して前記背景シーンのデフォーカシングを行うステップとを含む方法。
【請求項２】
デフォーカスを開始するときの主体部領域と画像フレーム領域の比が、前記比の選択された最小値よりも大きい請求項１に記載の方法。
【請求項３】
主体部領域の変化のレートに対して、デフォーカス変化のレートが選択的に決定される請求項１に記載の方法。
【請求項４】
平均化のために選択された画素数がデフォーカスの量を決定する請求項１に記載の方法。
【請求項５】
選択されたデフォーカス・レートが非線形とされる請求項３に記載の方法。
【請求項６】
主体部が移動して選択された画像フレームのエッジに接触したとき、デフォーカス状態が自動的に凍結される請求項１に記載の方法。
【請求項７】
主体部が画像フレームをクリアしたとき、所定期間にわたってデフォーカス状態からシャープなフォーカスに戻る請求項６に記載の方法。
【請求項８】
主体部が選択された画像エッジの外側から画像フレームに入ってくるとき、所定期間にわたって前記背景がデフォーカスされる請求項１に記載の方法。
【請求項９】
前記カメラと主体部の距離が見かけ上増加するにしたがって前記背景デフォーカス量が減少する請求項１に記載の方法。
【請求項１０】
主体部が占める画像フレーム領域の百分率に比例して前記背景シーンをデフォーカスすることにより、主体部の背後のビデオ背景シーンをリアル・タイムで自動的にデフォーカスし、背景シーン領域の対する主体部の比率を用いて背景シーン領域内の各ピクセルと、近隣ピクセル群の数とから平均ピクセルレベルを形成する自動デフォーカス方法。
【請求項１１】
平均化のために選択された画素数が選択された最大量を超えない請求項１に記載の方法。
【請求項１２】
主体部の写真撮影中に、それぞれが信号レベルを有する背景ピクセル群を有する背景シーンが前景主体部と合成される際、主体部が見かけ上カメラに近づくほど前記背景シーンがよりデフォーカスされるように、背景シーンを自動的にデフォーカスする装置であって、
前景画像信号を受け取る前景入力と背景画像信号を受け取る背景入力とを有する合成装置を備え、その合成装置は、受け取った背景画像信号から背景画素の選択されたグループを平均化しマット信号を生成することができ、前記マット信号を使用して前景主体部領域と画像フレーム領域の比を決定し、前記決定された領域比を使用して、前記背景画像内の各画素に対して、平均画素レベルを形成するために平均化すべき、いくつかの隣接する画素を選択し、さらにその合成装置は、前記背景シーン内の各画素における信号レベルを前記平均画素レベルで置き換えて前記背景シーンをカメラと主体部の距離の見かけの減少に比例してデフォーカスする装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、バーチャル・スタジオに関し、さらに詳細には被写体等の主体部がカメラに近づく際に自動的に背景画像をデフォーカスする方法および装置に関する。
【０００２】
【従来の技術】
シャープに焦点を合わせた主体部のクローズアップの背後のシーンは、通常は不鮮明になる。これは一般的な写真用レンズと人間の目のレンズによって得られる経験だからである。しかしながら、主体部が３０フィート（約９ｍ）またはそれ以上の位置にある場合、背景はかなりシャープに焦点が合うはずである。
【０００３】
ブルー・バッキングの除去のためのブルー・スクリーン合成写真における改善と、カメラの動きの検出およびスケーリングの技術の向上により、テレビジョンの生放送でバーチャル・スタジオの使用が実用的になった。
【０００４】
【発明が解決しようとする課題】
バーチャル・スタジオは、木材、ペンキ、壁紙などでできていた背景をアーチストまたは写真家によって創造された背景シーンに代えることができる。その場合、背景シーンは画像であるため、主体部がカメラに近づいたり遠ざかったりするのに合わせて前景カメラの焦点が主体部を追うとき、背景が焦点を変化させない。カメラが焦点を変化させる際のこの背景の焦点変化の欠如が、バーチャル・スタジオ・コンセプトにおける欠陥の１つであった。本発明は、主体部がカメラに近づく際に背景画像を自動的にデフォーカスし、それによって、背景が本物であったら生じるであろう状況を再現するものである。
【０００５】
【課題を解決するための手段】
被写体としての俳優がカメラから離れているとき、俳優は画像フレーム上で小さな領域しか占めない。俳優がカメラに近いとき（クローズアップの場合）、彼は画像フレームの大きな部分を占める。主体部領域と画像フレーム領域の比は、様々な主体部とカメラの距離で起こる背景デフォーカスの程度を推定する規準の１つである。
【０００６】
主体部の領域は、合成マット信号によって提供される。生成されているデフォーカスを開始し終了するように調整できる比の限界が設定される。カメラの近くで俳優が、フレームに入ったり出たりする際のデフォーカスおよびリフォーカス・レートが制御される。
【０００７】
【発明の実施の形態】
すべての合成装置またはソフトウェア合成プログラムは、マット信号（matte signal）、いわゆるキー信号またはアルファ・チャンネルを生成する。マット信号は主体部のシルエットであり、したがって、主体部として同じ画像フレームの領域を占める。例えば、Ｕｌｔｉｍａｔｔｅ  Ｃｏｒｐｏｒａｔｉｏｎ社から入手できる合成装置においては、不透明な主体部領域内ではマット信号はゼロである。画像フレーム内の画素数と比較した、マット・レベルがゼロであるマット画素数の比は、主体部が占める画像フレームの割合（百分率）である。主体部とカメラの距離が減少するほど、または外見上減少するほど、主体部は画像フレームの大きな部分を占める。主体部とカメラの距離は、ズーム・レンズのレンズ焦点距離を変化させることによっても、変化するように見せることができる。
【０００８】
図１のｘ軸は画像フレームの主体部が占める割合（主体部の大きさ）を示し、ｙ軸は主体部の大きさが増大するにしたがって増加する背景のデフォーカス量を示す。図１は、主体部が遠距離にあり微小点にすぎず、大きなフレーム領域を占めないときにちょうど背景の焦点がぼけ始まる背景を示す。
【０００９】
すべてのレンズが被写界深度を有するため、主体部が前景レンズの過焦点距離よりも近づくまで背景デフォーカシングは開始すべきでない。この距離は、例えば、ｆ／４．０の５０ｍｍレンズで５０フィート（約１５．２４ｍ）である。シャープなフォーカスの決定は主観的であるため、デフォーカスの開始点も主観的でシーンとオペレータの判断とに依存する。図２において、２０％の主体部の大きさが、背景のデフォーカスを開始する最小主体部の大きさとして選択されている。
【００１０】
適切なデフォーカス開始点を選択すると、次いでオペレータはデフォーカス・レートを選択する、すなわち、主体部の大きさの増加に対して、背景をどれだけデフォーカスするか選択する。図３は、オペレータによって選択されたレートを示す実線を含めたデフォーカス・レートの範囲を図示する。
【００１１】
背景がかなりの量だけデフォーカスされると、もはやデフォーカスを続ける必要がなくなる。背景は認識できなくなるほどのデフォーカスは要求されていないので、デフォーカスを比較的控えめな量に制限することが望ましい。デフォーカスの最大量はオペレータの選択によって制限することができる。図４では、中程度の制限が選択されている。図４はまた、選択された最小のデフォーカス限界を示すが、これは焦点が離れた背景に戻されないとき有用である。レンズ・フォーカスは突然には変化しない、したがって、フォーカスの変化レートが図５に示すようにわずかに線形でない場合には、よりリアルになるはずである。
【００１２】
実用的なシステムであるには、自動デフォーカス機能は容易にごまかされてはならず、かつ必要なオペレータの注意は最小にすべきである。例えば、カメラの近くに俳優がいて、画像フレームのどちらかの側でシーンから歩いて出ていくときどうなるか。最も起こりそうなのは、俳優がシーンを離れる際にカメラが彼に焦点を合わせたままであることである。
【００１３】
カメラに近いとき、俳優は画像フレームの大きな割合を占めるが、シーンから歩いて出ていくと、この割合はゼロまで減少する。主体部が占める画像領域の割合がゼロに減少するので、デフォーカス・ロジックは、通常カメラ・レンズがその焦点を変化させていなくても背景をシャープなフォーカスに戻す。このような背景のデフォーカスの変化を防止するため、システムのロジックは、主体部が最初にフレームの左端または右端へ接触したとき、背景のデフォーカスを現在の設定に凍結する。このエッジ接触ロジックを拡張してフレームの上端および下端をも含めることもできるが、主体部が人間である場合、左端と右端が好ましい。
【００１４】
主体部が画像フレームからなくなると（フレームがクリアになる）、カメラ・オペレータがカメラの焦点を変化させるアクションをシミュレートするため、背景デフォーカスの凍結が数秒の間解除される。
【００１５】
主体部がカメラの近くで画像フレームに入ってくるとき、彼のカメラからの正確な距離がわからないことがある。カメラの焦点は俳優に移り、同時にそれが背景にデフォーカスを引き起こすと想定できる。オペレータによる通常の焦点変化レートはデフォーカス・ロジックによるデフォーカス変化レートによって近似される。
【００１６】
デフォーカス／リフォーカスが生じうる最大レートは、オペレータがカメラの焦点を変化させるであろうレートをシミュレートする選択されたレートに制限される。したがって、被写体が画像フレームに突然入ってきても、デフォーカス・ロジックはごまかされて、背景焦点を突然に変化させることはない。
【００１７】
画像をデフォーカスする技術は画像処理においてよく知られている。画像をデフォーカスする簡単な手段は、背景内の各画素に対してそれに隣接する小グループの画素のＲＧＢレベルの平均を代用することである。重み付けされた画素平均は、図５の曲線の下端における非常になめらかな無段デフォーカス効果をもたらす。その際、重み付けはデフォーカス開始時はかなり小さく、平均化される画素数が増えるに従い増加する。図５の上端における変化する勾配は、デフォーカスが選択された最大値に近づくに従い、平均化される画素の数の増加をより小さくすることによって達成される。
【００１８】
制御された各パラメータに対するオペレータの設定を凍結（ロッキング）することができる。このように設定を固定すると、オペレータが固定されたデフォーカス量を決めることが可能となり、それは放送セグメントの間存続する。オペレータはまた、いつでも、デフォーカス機能を現行状態で凍結する、あるいはデフォーカス機能をオフにしてシャープに焦点の合った背景に戻すことができる。
【００１９】
特定のレンズとそのＦストップをシミュレートすることは目的ではなく、むしろ本発明の分野の当業者による過去の経験から予想されるデフォーカスの範囲を生成することが目的である。制御が与えられると、オペレータは、俳優がカメラに近づいていくとき予想されるようにソフトになる背景を生成するパラメータを調整するのに必要な多くの柔軟性を有する。そして調整を自動的に行う。上述の各パラメータのデフォルト設定は、デフォーカス機能が最初に選択されたときにアクセスされる。これらのデフォルト設定は、Ｕｌｔｉｍａｔｔｅ社の経験に基くが、他の値にリセットすることもできる。
【００２０】
カメラの焦点の変化はまた画像サイズの小さな変化を引き起こす。画像サイズの変化はカメラの動きと、背景シーンの反対の動きの間とにトラッキング・エラーを導入する。大きな被写界深度を達成するため照明レベルを上げ、カメラ・レンズを絞り、それによってカメラの焦点を変化させる必要を回避することは、バーチャル・スタジオ環境では慣例となっている。
【００２１】
焦点変化を検出するためにカメラ・レンズ・フォーカス・リングにセンサを取り付け、この変化を用いて背景をデフォーカスさせる場合でも、その目的は大きな被写体深度によってかなり損なわれる。カメラ・レンズがカメラ・レンズ・フォーカス・センサを備えている場合でも、フレームに対する主体部の割合を使用することができる。
【００２２】
図６はここに提案する自動背景デフォーカシングの一実施形態のブロック図である。フレームに対する主体部位置の状態は、計算されたマット（ブロック２）とフレーム（ブロック３）から決定される（ブロック４）。デフォーカス・パラメータ（ブロック１）は以下の通りである。
ＩＮＩＴＤＥＦ−初期デフォーカス量。主体部が最初に入ってきたときに使用されるデフォーカスのプリセット量。
ＭＩＮＳＩＺＥ−デフォーカス開始の時点での主体部領域とフレーム領域との比。
ＲＡＴＥ−主体部が占める画像フレームの割合の変化に対応するデフォーカス量の変化のレート。
ＭＩＮＤＥＦ−最小デフォーカス量。許容される最小デフォーカス量。ＭＩＮＤＥＦは通常ＩＮＩＴＤＥＦに初期化される。
ＭＩＮ２ＤＥＦ−２次プリセット・デフォーカス量。デフォーカス量がＭＩＮ２ＤＥＦを超えたとき、より低いデフォーカス量に戻るのを避けるためＭＩＮＤＥＦはＭＩＮ２ＤＥＦにリセットされる。
ＭＡＸＤＥＦ−主体部がフレームに入ってきたと判定される場合に許容される最大デフォーカス量。このデフォーカス量は、ゼロからプリセット値であるＩＮＩＴＤＥＦに徐々に（２秒間で）シフトする（ブロック５）。主体部が過去２秒以内にフレームに入ってきた場合、デフォーカス量はブロック６の出力であるｄに徐々にシフトする（ブロック８）。主体部が２秒以上前にフレームに入ってきた場合、デフォーカス量はブロック６の出力であるｄに設定（ブロック９）される。主体部がフレームから出ていく場合、デフォーカス量は凍結される（ブロック７）。最後に、主体部が過去２秒以内にフレームになかった場合、デフォーカス量は徐々にゼロにシフトする（ブロック１０）。どの場合にも、新しい背景（ブロック３４）はこのデフォーカス量だけデフォーカスされる（ブロック３５）。
【００２３】
図７は図６の「ｄを計算」ブロックの詳細を示す。このブロックは、デフォーカス・パラメータ（図６のブロック１）、計算したマット値、およびフレームのサイズ（画素の総数）を用いて、仮の「デフォーカス量」ｄを計算する。これは図６に示されているように直接使用されるか、あるいは他のプリセット値またはオペレータの設定する値とブレンドされる。マット（ブロック１１）がゼロである画素の数ｎがカウントされ（ブロック１２）、フレーム内の画素の総数ｔ（ブロック１３）で割られる（ブロック１４）。この比から、主体部の相対的サイズｓが推定され、次いでその値から最小サイズデフォーカスであるＭＩＮＳＩＺＥ（ブロック１５）を引くと、調整されたサイズｓＭが得られる（ブロック１６）。次いでｓＭに、ＲＡＴＥパラメータ（ブロック１７）を掛けて（ブロック１８）、仮のデフォーカス量ｄが得られる。任意選択で、ｄが２次最小デフォーカス量ＭＩＮ２ＤＥＦ（ブロック３３）より大きい場合（ブロック２０）、最初にＩＮＩＴＤＥＦに設定されている１次デフォーカス量ＭＩＮＤＥＦ（ブロック２１）がＭＩＮ２ＤＥＦにリセットされる（ブロック１９）。これによりデフォーカスを低い値（０またはＩＮＩＴＤＥＦ）から実施することが可能になるが、任意選択で後で低い値に戻ることを防止する。この時点で、（ブロック１８からの）ｄはＭＩＮＤＥＦ（ブロック２１）と比較される（ブロック２２）。ｄがＭＩＮＤＥＦより小さい場合、ＭＩＮＤＥＦにリセットされる。そうでない場合はｄはＭＡＸＤＥＦ（ブロック２４）と比較され（ブロック２５）、最大デフォーカス量をとることが可能になる。ｄがＭＡＸＤＥＦより大きい場合は、ＭＡＸＤＥＦにリセットされる。これでｄの計算は終了する。ブロック１８で、ルックアップ・テーブル（ＬＵＴ）を用い、ｓＭ*ＲＡＴＥ の積を次式で置き換えて、代替の非線形デフォーカス量を計算することができる。
ＭＡＸＤＥＦ*ＬＵＴ［ｓＭ*ＲＡＴＥ／ＭＡＸＤＥＦ］
ＬＵＴは０．０と１．０の間の離散値を０．０と１．０の間の離散値にマップするようにセットアップされる。上式で使用されるこのＬＵＴは、デフォーカス・パラメータの影響を受けない。
【００２４】
図８は図６の「主体部の状態を検出」ブロックの状態遷移グラフである。この図において、マット・レベルがゼロの画素が、選択されたフレーム・エッジ上に、またはその近辺にある場合、主体部は（左、右、上端および／または下端）「選択されたフレーム・エッジに接触している」と言われる。フレーム内にゼロのマット画素がある場合、主体部は「出現する」と言われる。図示された状態遷移は以下の通りである。
【００２５】
システムが「フレームがクリア」状態（ブロック２７）である場合、すなわち、フレームから主体部がない場合、主体部（ゼロ−マット領域）の出現は「フレームに入ってくる」状態への遷移を引き起こす（ブロック２８）。
【００２６】
システムが「フレームに入ってくる」状態（ブロック２８）にあり、主体部がフレーム内にあるが選択されたフレーム・エッジに接触しない場合、「最近入ってきた」状態（ブロック２９）に遷移する。
【００２７】
システムが「フレームに入ってくる」状態（ブロック２８）にあり、主体部がもはやフレーム内にない場合、「最近フレームをクリアした」状態（ブロック３２）へ遷移する。
【００２８】
システムが「最近入ってきた」状態（ブロック２９）にあり、主体部がフレーム内にあるが選択されたフレーム・エッジに２秒以上接触しない場合、「フレーム内にある」状態（ブロック３０）へ遷移する。
【００２９】
システムが「最近入ってきた」状態（ブロック２９）にあり、主体部が選択されたフレーム・エッジに接触している場合、「フレームから出て行く」状態（ブロック３１）へ遷移する。
【００３０】
システムが「フレーム内にある」状態（ブロック３０）にあり、主体部が選択されたフレーム・エッジに接触している場合、「フレームから出て行く」状態（ブロック３１）へ遷移する。
【００３１】
システムが「フレーム内にある」状態（ブロック３０）にあり、主体部がもはやフレーム内にない場合、「最近フレームをクリアした」状態（ブロック３２）へ遷移する。
【００３２】
システムが「フレームから出て行く」状態（ブロック３１）にあり、主体部がもはやフレーム内にない場合、「最近フレームをクリアした」状態（ブロック３２）へ遷移する。
【００３３】
システムが「クレームから出て行く」状態（ブロック３１）にあり、主体部がフレーム内にあるが選択されたフレーム・エッジに接触しない場合、「最近入ってきた」状態（ブロック２９）へ遷移する。
【００３４】
システムが「最近フレームをクリアした」状態（ブロック３２）にあり、主体部が２秒以上フレーム内にない場合、「フレームをクリア」状態（ブロック２７）へ遷移する。
【００３５】
システムが「最近フレームをクリアした」状態（ブロック３２）にあり、主体部が現れた場合、「フレームに入ってくる」状態（ブロック２８）へ遷移する。
【図面の簡単な説明】
【図１】主体部が占める画像フレームの百分率の関数としてデフォーカス量を示すグラフである。デフォーカス量は、フレーム内のすべての画素（カラー）の全平均として得られる、起こりうる最高のデフォーカス量に対する百分率で表される。
【図２】オペレータがデフォーカスの開始を選択できる、画像領域とフレーム領域の比の範囲を示すグラフである。
【図３】オペレータが選択できるデフォーカス・レートの範囲を示すグラフである。
【図４】オペレータが最大限度および最小限度を選択できるデフォーカス量の範囲を示すグラフである。
【図５】選択された最大限度と最小限度の間でのデフォーカスの漸進的な開始および終了を示すグラフである。
【図６】提案する自動背景デフォーカシングの一実装のブロック図である。
【図７】図６の「ｃｏｍｐｕｔｅ  ｄ」ブロックの詳細を示す図である。
【図８】図６の「主体部の状態を検出」ブロックの状態遷移を示すグラフである。
【図１】
0004128711.tif 000002
【図２】
0004128711.tif 000003
【図３】
0004128711.tif 000004
【図４】
0004128711.tif 000005
【図５】
0004128711.tif 000006
【図６】
0004128711.tif 000007
【図７】
0004128711.tif 000008
【図８】
0004128711.tif 000009