(57)【要約】【課題】手動操作、クロマ置換、カメラの前面に取り付けられて前景被写体を照明する他の特殊な赤外線カメラ等に頼ることなく、背景を決定し、除去し、置換する装置等を提供する。【解決手段】  第１の照明条件のもとで背景と前景被写体が照明されフレーム領域の第１のデジタル画像が取得される。第２の照明条件のもとで背景と前景被写体が照明され同じフレーム領域の第２のデジタル画像が取得される。第１の照明条件は、好ましくは、前景被写体を照明せずに背景を照明することにより、第１の画像中に前景被写体のシルエットを取得する。第２の照明条件は、前景被写体を照明する。第１の画像中に生じる、背景とシルエットと間の明暗度差に起因して、アルファマスクが創出される。このマスクを使用して、第２の画像から背景を除却し、所望の背景に置換することができる。【選択図】図２
2010527168.tif 000002
【特許請求の範囲】
【請求項１】
背景の前に位置する前景被写体を撮像する方法であって、
前記方法は、
前記被写体に関する第１の照明条件のもとで前記背景を照明している間に前記前景被写体と前記背景の第１の画像を取得し、
前記被写体に関する第２の照明条件のもとで前記背景を照明している間に前記前景被写体と前記背景の第２の画像を取得し、
前記画像のうち選択した１つの画像に基づいて混合関数を計算し、
選択しなかった前記画像と前記混合関数を使用し、
選択しなかった前記画像に相当する前記前景被写体に比して、背景輝度が減少している状態での前記前景被写体の画像についての被写体画像関数を計算すること、
を特徴とする方法。
【請求項２】
前記選択した画像は、
前記第１の画像であり、
前記混合関数の計算は、
前記第１の画像の各画素についてアルファブレンディング用のアルファ値を計算することを含むこと、
を特徴とする請求項１に記載の方法。
【請求項３】
前記第１の画像を前記第１の照明条件のもとで取得することは、
前記背景が前記前景被写体よりも明るくなるように前記背景を照明することを含むこと、
を特徴とする請求項１に記載の方法。
【請求項４】
前記方法は、
前記被写体画像関数と第３の画像とを合成して、
前記第３の画像が前記前景被写体の背後に見える合成画像を生成すること、
を特徴とする請求項１に記載の方法
【請求項５】
前記混合関数を計算することは、
前記第１の画像の各画素についてアルファブレンディング用のアルファ値（α）を計算し、
前記被写体画像関数を計算し、
前記背景が除却された状態の前記前景被写体の前記画像に属する前記画素の色彩ベクトルを表すαＦｃを前記画素毎に計算することを含み、
前記合成画像を生成することは、
前記合成画像の各画素を、式Ｒ＝αＦｃ＋（１−α）Ｂｎｅｗにしたがって計算することを含み、
Ｒは、前記合成画像の各画素の色彩ベクトルであり、
Ｂｎｅｗは、前記第３の画像の色彩ベクトルであること、
を特徴とする請求項４に記載の方法。
【請求項６】
前記方法は、
前記前景被写体の動きの最大許容動作速度を決定し、
前記最大許容動作速度に基づいて前記第１の画像及び前記第２の画像が取得されるべき時間間隔を算出すること、
を特徴とする請求項１に記載の方法。
【請求項７】
前記方法は、
前記第１の画像と前記第２の画像が相互にオフセットすることを許容される画素の最大数を設定し、
前記時間間隔を計算することは、
前記第１の画像と前記第２の画像が相互にオフセットすることを許容される前記画素の最大数に基づいて前記時間間隔を計算することを含むこと、
を特徴とする請求項６に記載の方法。
【請求項８】
前記時間間隔を計算することは、
前記時間間隔を、式ｔ＝ｗｓｄｔ／（ｗｃｖｔ）にしたがって計算することを含み、
ｖｔは、前記前景被写体の許容される速度であり、
ｗｓは、前記前景被写体での前記画像の幅であり、
ｄｔは、前記第１の画像と前記第２の画像が相互にオフセットすることを許容される前記画素の数であり、
ｗｃは、前記第１の画像及び前記第２の画像の画素の幅であり、
ｔは、両者の画像を取得するべき時間であること、
を特徴とする請求項７に記載の方法。
【請求項９】
前記第１の画像と前記第２の画像が相互にオフセットすることを許容される画素の最大数を設定することは、
前記オフセットを１画素の端数内に制限すること、
を特徴とする請求項７に記載の方法。
【請求項１０】
前記第１の画像及び前記第２の画像を取得することは、
フラッシュ照明のもとで前記第１の画像及び前記第２の画像を取得し、
前記第１の画像を取得した後に、前記第２の画像を取得すること、
を特徴とする請求項６に記載の方法。
【請求項１１】
前記第１の画像及び前記第２の画像を取得することは、
フラッシュ照明のもとで前記第１の画像及び前記第２の画像を取得し、
前記第１の画像を取得した後１ミリ秒より短い時間間隔内に、前記第２の画像を取得すること、
を特徴とする請求項１に記載の方法。
【請求項１２】
前記前景被写体は、
動くことが不可能であり、
前記第１の画像及び前記第２の画像を取得することは、
フラッシュ照明のもとで前記第１の画像及び前記第２の画像を取得し
前記第１の画像を取得した後の任意の将来時点において、前記第２の画像を取得すること、
を特徴とする請求項１に記載の方法。
【請求項１３】
前記方法は、
前記被写体画像関数を第１の位置から、コンピュータネットワークを介して第２の位置へ転送することを含み、
前記合成画像を生成することは、
前記転送された被写体画像関数に基づいて、前記混合関数を生成することを含むこと、
を特徴とする請求項４に記載の方法。
【請求項１４】
画像を計算する方法であって、
前記方法は、
被写体に関する第１の照明条件のもとで照明された背景の前に位置する前景被写体を有するシーンから取得された第１の画像から混合関数を計算し、
前記被写体に関する第２の照明条件のもとで照明された前記背景と、前記前景被写体との第２の画像にアクセスし、
前記第２の画像と前記混合関数を使用し、
前記第２の画像に相当する前記前景被写体に比して、背景輝度が減少している状態での前記前景被写体の画像についての被写体画像関数を計算すること、
を特徴とする方法。
【請求項１５】
前記方法は、
前記シーンの前記第１の画像を取得し、
前記背景は、
前記第１の照明条件のもとでは、前記背景が前記前景被写体よりも明るくなるように、照明されること、
を特徴とする請求項１４に記載の方法。
【請求項１６】
前記前景被写体は、
前記第１の照明条件のもとでは、前記第１の画像内で実質的に黒く見えること、
を特徴とする請求項１５に記載の方法。
【請求項１７】
背景の前に位置する前景被写体を撮像する方法であって、
前記方法は、
被写体に関する第１の照明条件のもとで前記背景を照明している間に前記前景被写体と前記背景の第１の画像を取得し、
前記被写体に関する第２の照明条件のもとで前記背景を照明している間に前記前景被写体と前記背景の第２の画像を、前記第１の画像を取得する予め決定された時間間隔内であって、前記前景被写体の動きの最大許容動作速度に基づいて計算された時間間隔内に、取得すること、
を特徴とする方法。
【請求項１８】
前記方法は、
前記第１の画像と前記第２の画像が相互にオフセットすることを許容される画素の最大数を設定し、
前記予め決定された時間間隔を計算することは、
前記第１の画像と前記第２の画像が相互にオフセットすることを許容される前記画素の最大数に基づいて前記予め決定された時間間隔を計算することを含むこと
を特徴とする請求項１７に記載の方法。
【請求項１９】
前記予め決定された時間間隔を計算することは、
前記予め決定された時間間隔を、式ｔ＝ｗｓｄｔ／（ｗｃｖｔ）にしたがって計算することを含み、
ｖｔは、前記前景被写体の許容される速度であり、
ｗｓは、前記前景被写体での前記画像の幅であり、
ｄｔは、前記第１の画像と前記第２の画像が相互にオフセットすることを許容される前記画素の数であり、
ｗｃは、前記第１の画像及び前記第２の画像の画素の幅であり、
ｔは、両者の画像を取得するべき時間であること、
を特徴とする請求項１８に記載の方法。
【請求項２０】
前記第１の画像と前記第２の画像が相互にオフセットすることを許容される画素の最大数を設定することは、
前記オフセットを１画素の端数内に制限すること、
を特徴とする請求項１８に記載の方法。
【請求項２１】
前記第１の画像及び前記第２の画像を取得することは、
フラッシュ照明のもとで前記第１の画像及び前記第２の画像を取得し、
前記第１の画像を取得した後に、前記第２の画像を取得すること、
を特徴とする請求項１７に記載の方法。
【請求項２２】
背景の前に位置する前景被写体を有するシーンを撮像する撮像システムであって、
前記撮像システムは、
前記シーンの画像を取得するカメラシステムと、
前記背景が前記前景被写体よりも明るく前記カメラに見える第１の照明条件及び前記前景被写体と前記背景の両者が照明される第２の照明条件を生成する照明システムと、
を有し、
前記照明システムは、
前記前景被写体の動きの最大許容動作速度に基づいて計算された時間間隔内に、前記第１の照明条件及び前記第２の照明条件を連続的に生成し、
前記カメラシステムは、
前記第１の照明条件のもとで前記シーンの第１の画像を取得し、前記第２の照明条件のもとで前記シーンの第２の画像を取得すること、
を特徴とする撮像システム。
【請求項２３】
前記照明システムは、
前記第１の照明条件を生成した後、前記時間間隔内に、前記第２の照明条件を生成すること、
を特徴とする請求項２２に記載のシステム。
【請求項２４】
前記時間間隔は、
１ミリ秒より短いこと、
を特徴とする請求項２３に記載のシステム。
【請求項２５】
前記カメラシステムは、
交互に配列されたフォトセンサ素子と記憶素子とを有するインターライン転送センサ配列であって、対応するフォトセンサ素子から転送された信号を格納するインターライン転送センサ配列を有するカメラを有し、
前記カメラは、
前記第１の画像を取得し、
前記第１の画像を前記記憶素子に転送した後に、
前記第２の画像を取得すること、
を特徴とする請求項２２に記載の撮像システム。
【請求項２６】
前記カメラシステムは、
２つのカメラを有し、
前記２つのカメラのそれぞれ１つは、
前記第１の画像及び前記第２の画像のそれぞれ１つを取得すること、
を特徴とする請求項２２に記載の撮像システム。
【請求項２７】
前記撮像システムは、
前記第１の画像と前記第２の画像を受け取り、
前記第１の画像に基づき混合関数を計算し、
前記第２の画像と前記混合関数を使用し、
前記第２の画像に相当する前記前景被写体に比して、背景輝度が減少している状態での前記前景被写体の画像についての被写体画像関数を計算する、
画像プロセッサを有すること、
を特徴とする請求項２２に記載のシステム
【請求項２８】
コード化されたコンピュータ読取可能な命令を保持する記憶媒体であって、
前記命令がコンピュータに実行されると、
前記命令は、前記コンピュータに対して、
被写体に関する第１の照明条件のもとで照明された背景の前に位置する前景被写体を有するシーンから取得された第１の画像から混合関数を計算し、
前記被写体に関する第２の照明条件のもとで照明された前記背景と、前記前景被写体との第２の画像にアクセスし、
前記第２の画像と前記混合関数を使用し、
前記第２の画像に相当する前記前景被写体に比して、背景輝度が減少している状態での前記前景被写体の画像についての被写体画像関数を計算する処理を実行させること、
を特徴とする記憶媒体。
【請求項２９】
フレームされた領域内の実質的に不動の前景被写体を、前記フレームされた領域内の背景から、スチル写真撮像を使用して隔離する方法であって、
前記方法は、
第１の照明条件のもとで前記背景及び前記前景被写体を照明している間に前記フレームされた領域の第１の画像を取得し、
第２の照明条件のもとで前記背景及び前記前景被写体を照明している間に前記フレームされた領域の第２の画像を取得し、
前記第１の画像及び前記第２の画像のうちの予め決定された一方の画像から、前記背景を決定し、
前記予め決定された一方の画像の前記決定された背景を他方の画像に登録することにより、前記他方の画像から前記背景を除却すること、
を特徴とする方法。
【請求項３０】
前記第１の照明条件は、
前記前景被写体のシルエットが前記第１の画像内に取得されるように、前記前景被写体を照明することなく前記背景を照明すること、
を特徴とする請求項２９に記載の方法。
【請求項３１】
前記予め決定された一方の画像は、
前記第１の画像であり、
前記他方の画像は、
前記第２の画像であること、
を特徴とする請求項３０に記載の方法。
【請求項３２】
前記第２の照明条件は、
前記前景被写体を、フロントライトによって照明すること、
を特徴とする請求項２９に記載の方法。
【請求項３３】
前記背景を決定することは、
アルファマスクを決定することを含むこと、
を特徴とする請求項３１に記載の方法。
【請求項３４】
前記方法は、
記憶用のデータベースに前記アルファマスクと前記他方の画像を記憶すること、
を特徴とする請求項３３に記載の方法。
【請求項３５】
前記方法は、
前記データベースに複数の背景を記憶すること、
を特徴とする請求項３４に記載の方法。
【請求項３６】
前記方法は、
前記データベースから１つの画像を選択し、
前記データベースから複数の背景の候補のうちの１つの背景を選択し、
前記選択された画像と前記背景との合成画像を、前記アルファマスクを使用して形成し、前記選択された画像内の背景を除却すること、
を特徴とする請求項３５に記載の方法。
【請求項３７】
前記方法は、
前記他方の画像と前記アルファマスクを遠隔コンピュータに送信し、
前記他方の画像と背景との合成画像を、前記アルファマスクを使用して形成し、前記他方の画像内の前記画像を除却すること、
を特徴とする請求項３４に記載の方法。
【請求項３８】
フレームされた領域内の実質的に不動の前景被写体を、前記フレームされた領域内の背景から、スチル写真撮像を使用して隔離する隔離システムであって、
前記隔離システムは、
前記背景が前記前景被写体よりも明るく見える第１の照明条件と、前記前景被写体及び前記背景の両者が照明される第２の照明条件を生成するフロントライト及びバックライトと、
前記第１の照明条件及び前記第２の照明条件が継続している間に、前記フレームされた領域の、それぞれ、第１の画像及び第２の画像を取得するカメラシステムと、
前記カメラシステムに接続されたプロセッサであって、前記第１の画像及び前記第２の画像のうちの予め決定された一方の画像から、前記第１の画像及び前記第２の画像のうちの他方から前記背景を除却するアルファマスクを、決定するプロセッサと、
を有すること、
を特徴とする隔離システム。
【請求項３９】
前記第１の照明条件は、
前記前景被写体のシルエットが前記第１の画像内に取得されるように、前記前景被写体を照明することなく前記背景を照明すること、
を特徴とする請求項３８に記載の隔離システム。
【請求項４０】
前記予め決定された一方の画像は、
前記第１の画像であり、
前記他方の画像は、
前記第２の画像であること、
を特徴とする請求項３８に記載の隔離システム。
【請求項４１】
前記第２の照明条件は、
前記前景被写体を、フロントライトによって照明すること、
を特徴とする請求項４０に記載の隔離システム。
【請求項４２】
前記隔離システムは、
前記フロントライト及び前記バックライトを同期させる制御装置を有すること、
を特徴とする請求項４１に記載の隔離システム。
【請求項４３】
前記プロセッサは、
複数の前記第２の画像を記憶する記憶装置を有すること、
を特徴とする請求項４２に記載の隔離システム。
【請求項４４】
前記隔離システムは、
複数の記憶装置から転送された複数の画像を記憶するデータベースを有すること、
を特徴とする請求項４３に記載の隔離システム。
【請求項４５】
前記隔離システムは、
前記データベースから１つの画像を選択する手段と、
前記データベースに格納された複数の背景の候補のうちの１つの背景を選択する手段と、
前記選択された画像と前記選択された背景との合成画像を、前記アルファマスクを使用して形成し、前記選択された画像内の背景を除却する手段と、
を有すること、
を特徴とする請求項４４に記載の隔離システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、米国を除くすべての指定国については、米国法人ライフタッチ インクを出願人として、米国のみについては、米国市民リチャード リー スワンソン、米国市民アール ジョン アドルフィ、米国市民マイケル ジョン サーマ、及び米国市民ジョン ロバート レイナート ナッシュを出願人として、更に、２００７年４月３日に出願された米国特許出願第１１／７３２，５０７号を基礎とする優先権を主張して、２００８年３月１９日付ＰＣＴ国際特許出願として、出願されたものである。
【０００２】
本発明は、一般的には、写真撮影の分野に関する。より具体的には、ポートレート及び静物写真の分野に、さらに具体的には、ポートレート及び静物写真における背景を、決定し、除却し、新たな背景と置換し、異なる構成の画像を創出することに関する。
【背景技術】
【０００３】
写真撮影においては、前景の被写体から、画像の背景を分離することが望ましいことが多い。例えば、写真撮影スタジオ、プロ写真家、及び商業ポートレート業務を行う者（ここでは、纏めて“写真家”という）は、人物写真及び／又は静物写真を撮影することが多いが、被写体の画像を、元の背景なしで、及び／又は、別の背景付で、納品して欲しいといわれることも多い。このような依頼は、広告目的のためであったり、複数の画像間の統一のため等（例えば、卒業アルバムや身分証明書用の写真）であったりする。
【０００４】
従来、いくつかの方法が、画像において、背景を前景被写体から除却するために使用されて来た。最初の従来方法は、アドビーフォトショップ（Ａｄｏｂｙ社）及びペイントショッププロ（Ｃｏｒｅｌ社）のような様々なソフトウエアパッケージツールを使用している。これらのツールは、非常に手間がかかることが多く、一般的には、消去機能及び投げ縄（ｌａｓｓｏ）型ツールの使用を含む。前者では、手動で前景被写体のエッジの位置が決定され、当該ツールによって、背景が消去される。後者では、被写体が選択されると、ツールが自動的にエッジを発見する。しかしながら、前景被写体と背景との間の明暗差及び色彩差に起因して、当該ツールは不正確となることも多い。したがって、これらのツールは、特に、前景と背景の色彩が予め選択され得ない場合は、手間がかかり不正確であるという欠点を有する。これらのシステムを力技であるとする従来技術が少なくとも１つはある。
【０００５】
これらのタイプのソフトウエアを使用して背景を決定する他の方法は、画像を赤緑青のチャンネルに分解することによって、手動で実行され得る。前景被写体と背景との間の明暗差が最も高い画像が選択され、マスクが、一連のステップに亘って手動で創出される。マスクが元の画像とともに使用されて背景を除却する。しかしながら、背景の除却が自動化されず、最も高い明暗差チャンネルの手動選択及びマスクの創出に依存しているという欠点を、当該処理は有する。
【０００６】
背景除却のためのクロマキー置換も、単色背景を使用することによって実行されてきた。人間被写体に対しては、皮膚色との対比を提供するために、緑スクリーンが典型的に使用される。予めプログラムされた色彩の範囲内の色彩を画素が有するか否かを評価することによって、自動化されたシステムにより、画素毎に画像部分を剥ぎ取る。当該システムに関連するいくつかの欠点の一つに、興味ある前景被写体上に位置する画素（この例では緑）を不注意に剥ぎ取ってしまうという点がある。背景の緑色の前景被写体上への反射率に起因して前景被写体の周辺部分を剥ぎ取ったり、前景被写体上に位置する反射する被写体（例えば、腕時計、宝石など）を剥ぎ取ったりすると言う点である。したがって、粒度の細かな写真撮影と組み合わせて使用する場合、特に、前景被写体の色彩が予め制御されていない及び／又は知られていない場合、クロマキー置換は、いくつかの欠点を有する。
【０００７】
背景を除却する他の従来システムが、ハウエルによる米国特許６,８８５,７６７に示されている。当該システムは、意図的に前景被写体よりもはるかに明るい背景を創出する。このようにして、前景と背景との間の明度の差異が、両者を区別するために使用される。当該システムは、非常に高い反射率を有する背景を使用する。この背景上では、入射光が、その入射光が通過してきた経路に沿って反射する。カメラの前面に取り付けられた装置は、ストロボ、部分的に銀メッキされた鏡、及び集光レンズを有する。シャッタが開くと、光源からの強い光が、被写体及び反射する背景に当たる。高度の反射率を有するが故に、背景は、前景被写体よりも明るい。この画像は、ストロボが始動されない被写体の他のショットに対してはマスクとして使用される。したがって、この処理は、背景を除却するクロマ技術ではなく、明暗度技術を使用している。しかしながら、当該方法にも、よく反射する背景が必要である、カメラレンズ平面から来る所望の光強度が必要であるということを含む欠点が有る。人物写真を撮影する場合、この方法はまた欠点を有する。より具体的には、この方法は静物被写体の撮影には適している一方で、被写体が画像間で移動する場合、マスクは、他の画像における被写体の画像に適切に登録されなくなる。
【０００８】
ヤングらによる米国特許５，５７４，５１１は、光度を使用してマスクを創出する他の方法を例示している。この方法では、前景及び背景における赤外線照明の光強度の異なる２つの赤外線画像を比較する。可視光画像に適用されるマスクを作製する。ここで再び、当該方法は、赤外線照明光源及び赤外線パスフィルタを有する第二のカメラのような、特別な設備を必要とするという欠点を有する。さらに、人間を撮影する場合は、ショット間で被写体が動くと、マスクのマッチング精度は低くなる。また、赤外線マスクは、粒度の細かな写真撮影に向くほど精密ではない。
【０００９】
米国特許出願２００３／００３５０６１号公報には、他のシステムが開示されている。このシステムでは、静物被写体が、一定速度で回転する回転テーブル上に置かれている。最初に前景被写体が照明され、次に背景が前景被写体のシルエットを創出するように照明され、一連の画像が撮影される。この順番は逆であってもかまわない。この公報に記述されている実施形態の一つにおいて、前景画像をシルエット画像に結合して切り出し画像を供給する背景切り出しユニットが開示されている。切り出し画像においては、前景画像のみが依然として現れる。したがって、切り出し画像は、しばらく経ってから、他の背景画像に結合され得る。この公報に開示されているシステムにも欠点はある。第一に、このシステムは、静物３次元被写体とともに使用される。したがって、このシステムは、一方向に移動する及び／又は回転テーブルの設定された回転速度とは異なる速度で移動する被写体を撮影することを考慮に入れていない。したがって、画像間を移動し得る人間を撮影することは考慮されていない。第二に、切り出しマスクは、切り出された被写体の領域とともに創出される。マスクはこのとき、背景を除却する反転マスクレイヤ控除処理において使用される。また、たとえこの画像（及び付属のメタデータ）が他のダウンストリーム処理において必要とされる及び／又は使用されるとしても、元の画像は保存され伝送されるものとして記述されていない。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
そこで、手動の方法、クロマ置換、及び／又は、カメラの前面に取り付けられて前景被写体を照明する他の特殊な赤外線カメラもしくは装置に頼ることなく、背景が決定され、除却され置換されるような、前景被写体の画像を取得することを容易にする方法、装置及びシステムが必要となる。本発明は、移動する前景被写体に関連する欠点を克服し、特別な背景又は前景被写体の予め決定された色彩を必要としない。本発明の態様は、従来技術の短所を克服し、当技術分野のニーズに対応する。
【課題を解決するための手段】
【００１１】
（要約）
本発明は、スチル写真から、興味ある前景被写体を選択的に分離する方法、装置及びシステムに関する。本発明の原理に係る好適な実施形態においては、２つのデジタル画像が収集される。一方の画像は、前景被写体及び背景の両者を照明する光を含む。他方の画像は、前景被写体のシルエットを創出する照明された背景のみとともに収集される。後者の画像は、照明された前景画像に登録されるとき背景の除却を可能にする正確なマスクを創出するために使用される。
【００１２】
本発明が使用され得る１つの環境の１つに、ポートレート写真撮影に関連の環境がある。便宜的に、以降では、当該環境を例にして実施形態を説明する。しかしながら、他のタイプのスチル写真撮影であっても、本発明の原理は使用可能である。例えば、製品、食料品等の広告目的（背景を除却する又は置換することが望ましい及び／又は必要である）で使用される静物写真撮影及び他の写真撮影が、他の代表的環境である。
【００１３】
より具体的には、取得されたデジタル画像中に含まれる、実質的に不動の興味ある前景被写体を、取得されたデジタル画像内の背景から分離するための方法、装置及びシステムを本発明は提供する。好ましくは、第１の照明条件のもとで背景と前景被写体を照明している間に一定のフレーム領域を有する第１のデジタル画像が取得される。次に、第２の照明条件のもとで背景と前景被写体を照明している間に同じフレーム領域を有する第２のデジタル画像が取得される。好ましくは、第１の照明条件は、前景被写体を照明することなく背景を照明し、その結果、前景被写体のシルエットが第１の画像中に取得される。第２の照明条件は、前景被写体を照明する（例えば、フロントライト）。背景と、第１の画像中のシルエットとの間の照明の差異によって、第１の取得された画像からマスクが創出され得る。このマスクを使用して、背景を第２の画像から除却し、事実上あらゆる他の所望の背景に置換し得る。
【００１４】
本発明は、前景被写体及び背景が、両者間の周辺領域内の各画素の明暗度水準に対してどのように貢献するかを好適に説明する。混合関数又は各画素において０と１との間の値を有するアルファマスクが使用され得る。前景被写体と背景との間の遷移を考慮することは、前記した従来技術には開示されていないし、示唆もされていない。
【００１５】
本発明の特徴の１つは、取得された画像内の背景（例えば、背景を含む下がり幕）は、実質的にあらゆる単色であってもかまわないし、どのような素地／材質（例えば、繊維、ビニル等）からできていてもかまわない、ということである。本発明の原理は２つの画像間の照明の差異を使用するので、背景は特定の色彩であること及び／又は特定の材質からできていることを要さない。したがって、写真家は、予め色彩の調和を取り、及び／又は多くの背景見本を持ち歩く必要はない。
【００１６】
本発明の他の特徴は、前景被写体が、合成ショット中で、事前に存在する及び／又は事後的に取得されるあらゆる数の背景と組み合わされる、ということである。例えば、学期の始めに、元の背景の前で学生の集合写真が撮影される。学期中に、前景被写体（例えば学生たちの画像）が元の背景から取り出され、学生証用のスクールカラー及びスクールマスコットを使用した第２の背景の前に貼り付けられる。その写真は、卒業アルバム用としても、元の背景付で又は別の背景付で使用され得る。さらに後年、学生の個人写真は、親に渡され得る。親は、子供の写真との合成用として予め決定された別の背景を選択することができる。この予め決定された背景は、実質的にどのような場所の背景であってもよいが、代表的な背景としては、学校図書館、スタジアム、中庭、又はキャンパス内の他の場所がある。本発明のさらに他の特徴は、取得された画像間の経過時間を減少させるような画像取得シーケンスが選択され得ることである。この場合、第１に、シルエット画像が取得され、第２に、普通に照明された前景画像が取得される。このようにして、照明シーケンスは最適化され２つの画像間の時間の総和を減少させ得る。例えば、当然のことながら、写真用フラッシュ照明は、一般的に、相当に切り立ったフロントエッジを有し、その後減衰する。したがって、前景被写体の写真が第１に撮影された場合、フロントフラッシュ照明が減衰するのを待つ間、比較的長い遅延時間が必要となる（すなわち、第２の画像が素早く取得されすぎた場合、前景被写体は依然として照明されており、良好なシルエット画像は取得されない）。しかしながら、本発明は、まずシルエット画像を取得することによって、背景フラッシュプロフィールを利用し、その後、背景光線が減衰している間の適当な時点で第２の画像を取得する。
【００１７】
この方法及びこの画像取得シーケンスは、複数の画像を取得する間の時間を減少させ、複数の画像を取得する間に前記被写体が移動する可能性を減少させる。当然のことながら、複数の画像間の前景被写体の移動は、（取得されたシルエット画像から創出された）前景被写体のマスク及び前景被写体の普通に照明された画像の登録を減少させる。したがって、撮影中に動く傾向のある、幼児、ペット、又は他の被写体を撮影するとき、この特徴は非常に有益である。最小化された時間間隔内で、バックライトされかつフロントライトされる画像を撮影することによって、撮影されている人の普通の無意識な動きのような、前景被写体の他の動きは許容される。あるいは、前景被写体が、画像取得の間の期間において動けない及び／又は動きそうにない場合、画像取得のシーケンスは逆転され得る。このような事象が起こると、このような画像取得間の期間は、実質的に任意の期間にまで延長され得る。
【発明の効果】
【００１８】
したがって、本発明の第１の形態によれば、背景の前に位置する前景被写体を撮像する方法であって、前記被写体に関する第１の照明条件のもとで前記背景を照明している間に前記前景被写体と前記背景の第１の画像を取得し、前記被写体に関する第２の照明条件のもとで前記背景を照明している間に前記前景被写体と前記背景の第２の画像を取得し、前記画像のうち選択した１つの画像に基づいて混合関数を計算し、選択しなかった前記画像と前記混合関数を使用し、選択しなかった前記画像に相当する前記前景被写体に比して、背景輝度が減少している状態での前記前景被写体の画像についての被写体画像関数を計算する方法が提供される。
【００１９】
前段落に記載された形態によれば、前記選択された画像が前記第１の画像であり、混合関数を計算するステップは前記第１の画像の各画素についてアルファブレンディング用のアルファ値を計算することを含む方法が提供され得る。さらに、前記第１の画像は、前記背景が前記前景被写体よりも明るくなるように前記背景を照明することを含む前記第１の照明条件のもとで取得され得る。
【００２０】
本発明の第２の形態によれば、画像を計算する方法であって、前記被写体に関する第１の照明条件のもとで照明された背景の前に位置する前景被写体を有するシーンから取得された第１の画像から混合関数を計算し、前記被写体に関する第２の照明条件のもとで照明された前記背景と前記前景被写体の第２の画像にアクセスし、前記第２の画像と前記混合関数を使用し、前記第２の画像に相当する前記前景被写体に比して、背景輝度が減少している状態での前記前景被写体の画像についての被写体画像関数を計算する方法が提供される。
【００２１】
本発明の第３の形態によれば、背景の前に位置する前景被写体を撮像する方法であって、前記被写体に関する第１の照明条件のもとで前記背景を照明している間に前記前景被写体と前記背景の第１の画像を取得し、前記被写体に関する第２の照明条件のもとで前記背景を照明している間に前記前景被写体と前記背景の第２の画像を、前記第１の画像を取得する予め決定された時間間隔内であって前記前景被写体の動きの最大許容動作速度に基づいて計算された時間間隔内に、取得する方法が提供される。
【００２２】
本発明の第４の形態によれば、背景の前に位置する前景被写体を有するシーンを撮像する撮像システムであって、前記シーンの画像を取得するカメラシステムと、前記背景が前記前景被写体よりも明るく前記カメラに見える第１の照明条件及び前記前景被写体と前記背景の両者が照明される第２の照明条件を生成する照明システムと、を有する撮像システムであって、前記照明システムは、前記前景被写体の動きの最大許容動作速度に基づいて計算された時間間隔内に、前記第１の照明条件及び前記第２の照明条件を連続的に生成し、前記カメラシステムは、前記第１の照明条件のもとで前記シーンの第１の画像を取得し、前記第２の照明条件のもとで前記シーンの第２の画像を取得する撮像システムが提供される。
【００２３】
本発明の第５の形態によれば、コード化されたコンピュータ読取可能な命令を保持する記憶媒体であって、前記命令がコンピュータに実行されると、前記命令はコンピュータに対して、被写体に関する第１の照明条件のもとで照明された背景の前に位置する前景被写体を有するシーンから取得された第１の画像から混合関数を計算し、前記被写体に関する第２の照明条件のもとで照明された前記背景と前記前景被写体の第２の画像にアクセスし、前記第２の画像と前記混合関数を使用し、前記第２の画像に相当する前記前景被写体に比して、背景輝度が減少している状態での前記前景被写体の画像についての被写体画像関数を計算する処理を実行させるコンピュータ読取可能な命令が提供される。
【００２４】
本発明の第６の形態によれば、フレームされた領域内の実質的に不動の前景被写体を、前記フレームされた領域内の背景から、スチル写真撮影を使用して隔離する方法であって、第１の照明条件のもとで前記背景及び前記前景被写体を照明している間に前記フレームされた領域の第１の画像を取得し、第２の照明条件のもとで前記背景及び前記前景被写体を照明している間に前記フレームされた領域の第２の画像を取得し、前記第１の画像及び前記第２の画像のうちの予め決定された一方の画像から、前記背景を決定し、前記予め決定された一方の画像の前記決定された背景を他方の画像に登録することにより、前記他方の画像から前記背景を除却する方法が提供される。
【００２５】
前段落に記載された形態によれば、前記第１の照明条件は、前記前景被写体を照明せずに背景を照明し得るので、前記前景被写体のシルエットは前記第１の画像内に取得される。前記予め決定された画像は前記第１の画像であり得、前記他方の画像は前記第２の画像である。前記第２の照明条件は前頭部に取り付けた照明で前記前景被写体を照明し得る。前記背景を決定するステップは、アルファマスクを決定することを含み得る。
【００２６】
本発明の第７の形態によれば、フレームされた領域内の実質的に不動の前景被写体を、前記フレームされた領域内の背景から、スチル写真撮像を使用して隔離するシステムであって、前記前景被写体よりも前記背景が明るく見える第１の照明条件と、前記前景被写体及び前記背景の両者が照明される第２の照明条件を生成するように配置されたフロント照明及びバック照明と、前記第１の照明条件及び前記第２の照明条件が継続している間に、前記フレームされた領域の、それぞれ、第１の画像及び第２の画像を取得するカメラシステムと、前記カメラシステムに接続されたプロセッサであって、前記第１の画像及び前記第２の画像のうちの予め決定された一方の画像から、前記第１の画像及び前記第２の画像のうちの他方から前記背景を除却するアルファマスクを、決定するプロセッサと、を有するシステムが提供される。
【００２７】
前記段落においては、複数の形態を便宜的に番号付けしたが、これは発明を限定するものではない。さらに、本発明が、好ましい実施形態並びに好ましい前景被写体及び画像取得シーケンスに関して記述されたとしても、記載された通りの実施形態、前景被写体又は画像取得シーケンスによって発明が限定されることがないのは当然のことである。それどころか、本発明の原理は、２つのデジタル画像が連続的に取得され、それらの画像の一方が興味ある前景被写体のシルエットを含むようなあらゆる実施形態に拡張される。本発明のこれらの及び他の変形例が、本発明のより詳細な記述に接した当業者には明らかになる。
【００２８】
本発明の利点及び特徴は、別添されかつ本願の一部である特許請求の範囲に具体的に記載されている。本発明をよりよく理解するためには、本願の一部である図面及び本発明の好適な実施形態が記述されている明細書が参照されるべきである。
【図面の簡単な説明】
【００２９】
図面が複数に亘っても、同様の要素は同じ数字が付されている。
【００３０】
【図１Ａ】前景被写体及び元の背景の両者が照明されているデジタル写真画像を示す図である。
【図１Ｂ】前景被写体がバックライトされて、前景被写体がシルエットになっているデジタル写真画像を示す図である。
【図１Ｃ】図１Ｂの画像から作成された、計算されたアルファマスクを示す図である。
【図１Ｄ】選択された背景画像のデジタル写真を示す図である。
【図１Ｅ】図１Ｃのアルファマスクが元の背景を除却し、図１Ｄの選択された背景に置換した、図１Ａの前景被写体の合成写真を示す図である。
【図２】普通に照明されたシルエット画像を取得するための本発明の一形態に係るシステムの一実施形態を示す概略図である。
【図３】本開示の一形態に係るシステム内で使用されるインターラインＣＣＤセンサを示す概略図である。
【図４】光源からの照明と、カメラ２１０インテグレーションとの関係において、カメラ２１０によって画像を取得するタイミングを示した図である。
【図５Ａ】電子シャッタ付の２台のデジタル画像センサが使用され、同一の画像を２台のセンサに送信する装置が使用される、カメラ２１０の第１の代替的実施形態である。
【図５Ｂ】機械式シャッタ付の２台のデジタル画像センサが使用され、同一の画像を２台のセンサに送信する装置が使用される、カメラ２１０の第２の代替的実施形態である。
【図５Ｃ】シャッタ及びレンズを有する２台のデジタル画像センサが使用され、同一の画像を２台のセンサに送信する装置が使用される、カメラ２１０の第３の代替的実施形態である。
【図６】図１Ｃの、前景被写体と背景との間のエッジのセグメントの周辺領域を拡大し、照明された画素と暗い画素との間の遷移を示した図である。
【図７Ａ】前景被写体の動きの最大許容動作速度と、シルエット画像を取得した後フロントライトされた画像を取得するまでの最大許容経過時間との関係を表す曲線の図である。
【図７Ｂ】前景被写体の動きの最大許容動作速度と、シルエット画像を取得した後フロントライトされた画像を取得するまでの最大許容経過時間との関係を表す曲線の、別尺度の図である。
【図８】図２のシステム２００によって取得された画像が処理され、ダウンロードされ、記憶され、他の用途に使用される、拡張分散システム８００の概略図である。
【発明を実施するための形態】
【００３１】
本発明は、背景及び前景被写体を含むデジタル写真画像から背景を選択的に識別し除却する方法、装置及びシステムに関する。置換背景が前景被写体と合成されて合成写真を創出する。特に、本発明は、２つの写真を連続処理し、元の背景を除却するためのマスクを創出及び使用し、新たな合成写真を創出する方法、装置及びシステムに関する。
【００３２】
一般的に、画像処理を行うと、前景被写体のバックライトされた画像を取得することになる。結果的に取得するバックライトされた画像、すなわちシルエット画像は、マスクを決定するために使用される。普通のフロントライトされた被写体の画像、すなわち、被写体及び背景の両者が照明された画像もまた取得される。フロントライトされた画像とマスクは合成されて、背景が除却された被写体の画像を創出する。前記したように、この画像は、照明特性や他の検討事項を利用するために、ある方法で連続処理され得る。好適な実施形態においては、第１にシルエット画像が取得され、第２にフロントライトされた画像が取得される。しかしながら、本発明の原理は、この順序に限定されない。したがって、第１の画像、第２の画像、という語が使用されても、第１、第２、と言う語は２つの画像を区別するために使用されるのであって、文脈上特段の断りがない限り、経時的な取得順序を暗示するものではない。
【００３３】
図１Ａ〜図１Ｂには、本発明の概略を描写する連続画像が示されている。図１Ａにおいては、デジタル写真画像２０は、前景被写体２１（この場合人物のポートレートである）と背景２２を含む。図１Ａにおいては、前景被写体及び元の背景の両者ともが、普通の方法で照明されている。画像のフレーム領域が、２３で指定されている。図１Ｂは、同じカメラ位置から取得したデジタル写真画像２０´を示している。画像のフレーム領域は変化しておらず依然として２３で指定されている。しかしながら、前景被写体２１はバックライトされているので、前景被写体２１のシルエットが生じている。図１Ｃは、図１Ｂの画像から作成された計算されたアルファマスク２４を示している（詳細後記）。図１Ｄは、選択された背景画像の代表的なデジタル画像写真を示している。最後に図１Ｅは、前景被写体２１の合成写真を示している。この合成写真においては、アルファマスク２４が使用されて、元の背景２２を除却して図１Ｄの選択された背景に置換している。
【００３４】
図２においては、連続画像の取得に関連して使用され得るシステム２００が示されている。デジタルカメラ２１０が使用されて、背景２１５の前に位置する前景被写体又は人物２０５の画像を取得する。背景２１５は、好ましくは、フロントライトされた、有用で高品質の写真を供給できるように選択される一方、実質的にあらゆる単色のあらゆる材質の下がり幕を含み得る。カメラ２１０は、ライト２２０、２２５、２３０と、カメラ２１０による画像取得の同期を取る制御装置２４０と接続されている。
【００３５】
制御装置２４０は、予め決定されたシーケンスに従って、ライト２２０及び２２５及び／又は２３０とカメラ２１０のシャッタを起動する。制御装置は様々な装置であり得るが、デジタル的にプログラム可能なデバイス、カメラ２１０から出力された同期トリガに反応し、ライト２２０、２２５及び２３０を連続作動させる回路、又はコンピュータ制御される制御装置を含む。
【００３６】
システム２００は、さらにプロセッサ２６０を含む。プロセッサ２６０は、制御装置２４０、カメラ２１０、及び／又はライト２２０、２２５、２３０と接続され得る。プロセッサ２６０は、必要なアプリケーション及びシステムプログラムを実行する中央処理装置２６１と、メモリ２６２を含む。さらに、プロセッサ２６０は、好ましくは、カメラ２１０からの画像データを受け取り記憶する記憶装置２６３を供給する。記憶装置２６３は、ＵＳＢタイプのケーブルに接続された外部ハードドライブ、フロッピィ（登録商標）ディスクドライブ、ＣＤ又はＤＶＤライタ、若しくは他の周知の記憶装置であってもよい。プロセッサ２６０は、スタンドアロンの装置であってもよい。カメラ２１０からの画像データは、フラッシュドライブ、メモリスティック、フロッピィ（登録商標）ディスク、ＣＤ、ＤＶＤ又は他の周知の記憶媒体を介して供給される。プロセッサ２６０は、様々なタイプであり得るが、１又は複数の、特定目的コンピュータ又はパーソナルコンピュータ（例えば、ｐｅｎｔｉｕｍチップベースのパソコン）のような汎用目的コンピュータを含む。プロセッサ２６０は、連続的に取得された画像について、画像算出アルゴリズム（詳細後記）の少なくとも一部を実行するようにプログラムされていることが好ましい。しかしながら、プロセッサ２６０は、連続的に取得された画像を記録しそれらの画像を遠隔コンピュータ又は他のコンピュータに転送するだけでもよい。
【００３７】
図２には示していないが、プロセッサ２６０は、ビデオディスプレイユニットのような様々なパソコン部品、様々な記憶装置（例えば、ハードドライブ、ＣＤドライブ等）、ユーザ入力装置（例えば、マウス及び／又はキーパッド）、インターネットに接続し通信を可能とするネットワーク接続装置、及びモデムを含むことが一般的である。
【００３８】
照明ユニット又はライト２２０、２２５、２３０は好ましくはフラッシュユニットである。このうちフロントライト２２０については、テネシー州ナッシュビルのポール  シー  バフ社の一部署である、エイリアンビーによって製造され、エイリアンビーという名で販売されているフラッシュユニットが好ましい。背景ライト２２５及び背後ライト２３０については、フロリダ州ポートリッチーのリュメディンヌ社によって製造され、リュメディンヌという名で販売されているフラッシュユニットが好ましい。図２には示されていないが、当然のことながら、１つのライトよりもむしろ、複数のライトが使用され得る。図２では便宜的に、前景、背景及び半透明下がり幕のそれぞれを照明する１つずつのライトが示されている。他のタイプのライト及び照明設備が使用してもよいが、ライトについての重要な選択基準は、シルエットが生じるような方法で前景被写体をバックライトし、かつ、適当な及び／又は所望の品質の画像の取得ができるような方法で前景被写体を照明することができる、ということである。
【００３９】
背後ライト２３０は、半透明背景２１５と組み合わせて使用されることも可能である。このタイプの照明を用いれば、取得した画像をより均等に照明でき、光が届かない影部分も少なくなるので、人物２０５を背景スクリーン２１５により近い位置に配置することが可能となる。好ましい実施形態においては、ライト２２５又はライト２３０のうちの１つのみが使用され、シルエット画像を取得する。しかしながら、所望であれば、ライト２２５及びライト２３０を同時に使用してもよい。
【００４０】
発光層２１７によって表面を覆われた下がり幕を使用して、背後ライトを作ってもよい。このようなライトは、様々な蛍光材質から入手され得る。例えば、化学発光や生物発光が使用され得る。これらの光源は、常温での化学反応又は生物化学反応から生じる発光を伴う。このような光源についてはより詳細に後記する。
【００４１】
好ましい実施形態においては、カメラ２１０は３つの主たる部分を有する。すなわち、レンズ２１３、機械式シャッタ２１２及びＣＣＤ素子２１１である。一般に、ＣＣＤ素子２１１は比較的高速な露出速度を有する。しかしながら、ＣＣＤ素子２１１から取得された画像を画像記憶領域に移動させる処理は、画像を取得する時間よりも遅い。したがって、バックライトされた画像の取得と、フロントライトされた画像の取得との間の時間を短縮させるためには、  −さらに、ショット間の期間内に生ずる前景被写体のあらゆる動きを減少させるためには−  ＣＣＤ素子２１１は、インターライン移転ＣＣＤであることが好ましい。このような素子は市販されており、ニューヨーク州ロチェスタのイーストマンコダック社によって、ＫＩＩ−１１０００という名で生産されている。このタイプのＣＣＤは、シフトレジスタの配列の間に配置されたフォトダイオードの配列を含む（図３の符号１０００）。処理においては、第１の画像を取得した後、フォトダイオード１０１０は、隣接するシフトレジスタに電子を移転し、その後次の画像を取得できる状態になる。フォトダイオードとそれに対応しているシフトレジスタとは近接しているので、画像移転周期を非常に短くできる。このようにして、好適な装置は、第１の画像を取得し、第１の画像を記憶位置に移転し（そこで一時的に記憶される）、第２の画像を取得する。画像のシーケンスが取得された後、第１の画像及び第２の画像は、適当な長期記憶位置にダウンロードされ得る。
【００４２】
ＣＣＤ素子２１１は、第１の画像を読み終わった後も引き続き第２の画像を蓄積するために、シャッタ２１２をＣＣＤ素子２１１の前面に設けている。好ましい実施形態においては、機械式シャッタ２１２が使用され、制御装置２４０によって同期が取られる。シャッタ２１２が開いた後に、第１の画像が取得され、第２のフラッシュが継続している間は、シャッタ２１２は開いたままである。シャッタ２１２は、閉止信号を受け、周辺光による露出を回避する。好適なシャッタ２１２は、アリゾナ州タックソンのレッドレイクＭＡＳＤ  ＬＬＣによって製造されているシャッタのように、市販されている。しかしながら、他のシャッタも使用可能である。さらに、露出時間は、ストロボ、シャッタ及び／又はそれらの組み合わせによって制御され得る。
【００４３】
レンズ２１３は、シャッタ２１２の前に配置し、光透過率、被写界深度等の適当な写真特性が得られるように選択する。好ましい実施形態においては、レンズ２１３は、５０から２５０ミリメートルまでの焦点距離から選択され、画像が取得される際の絞りは、一般的にｆ１６からｆ２２までの範囲内である。この範囲であれば、被写体に対するゾーンフォーカスが可能となる。また、この範囲であれば、一般的に、周辺光に関する懸念もない。しかしながら、当然、本発明では任意のレンズ数、任意の焦点距離及び任意のｆ値を使用し得る。
【００４４】
カメラ２１０は、第１の画像の蓄積開始の時点で、１つのトリガパルスを送信する。このパルスは、制御装置によって使用され、ライト２２０、２２５及び２３０を同期作動させる。ある実施形態においては、このトリガパルスの開始エッジまたは立ち上がりエッジが、背景ライト２２５及び／又は２３０を作動させるトリガとなり、終端エッジ又は立下りエッジは、フロントライト２２０を作動させるトリガとなる。他のタイプのトリガやパルスもまた使用可能である。例えば、カメラ２１０は、２種類のパルスを使用してもよい。
【００４５】
画像の取得を始動するために、シャッタリリース（図示せず）が使用されることが好ましい。このようなリリースは、一般に、カメラに接続されている。しかしながら、画像取得を始動するための、他の方法や装置が使用可能である。例えば、ボタン、スイッチ等が制御装置２４０上に含まれ得る。さらに、コンピュータ２６０を、処理を始動するために使用してもよい。
【００４６】
図４は、システム２００の様々な装置の、好ましい作動タイミングを示している。前記したように、ストロボライトは、ストロボからの光の減衰に起因して２つの連続画像を取得するためのページングアイテムである。時間間隔を狭めるために、いくつかのタイプのライトが使用され得る。好ましい実施形態においては、同期パルスがカメラ２１０によって生成される。制御装置２４０は、ストロボを同期させる。ストロボ１は背景ライト２２５の起動に対応している。ストロボ２は、フロントライト２２０の起動に対応している。前記したように、背後ライト２３０は、背景ライト２２５との組み合わせで又は単独で、半透明背景２１５とともに選択的に使用され得る。
【００４７】
背景ライト２２５の光が減衰した結果、前景被写体の画像を取得するための望ましいレベルに達した時点で、ストロボ２と第２の画像の取得（図４の露出２）を起動することが好ましい。したがって、背景ストロボの起動は、両者の画像の取得のために使用され得る。露出２は、カメラ２１０によって電子的に開始されるが、機械式シャッタ２１２を閉じることによって終了される。図４に示されるように、シャッタを閉じるのに、約１０ミリ秒を要する。このタイムラグは、一定電圧で駆動する場合の十分なソレノイド電流を流すのに必要な時間であることを基準に決定する。しかしながら、他のタイプや他のスタイルのシャッタ及び駆動回路を使用すれば、この期間は変化し得る。
【００４８】
蓄積期間１及び蓄積期間２（図４では短縮して、蓄積と記す）は、光エネルギーがＣＣＤ素子上に降下して電気的光強度に変換される期間である。したがって、期間ｔ１は一般に、蓄積１に対応し、期間ｔ２は一般に、蓄積２に対応する。後者の場合、蓄積２自体は機械式シャッタ２１２が閉じられた後も続くが、閉じられたシャッタはその後の入射光をすべて遮断するので、露出２は影響を受けない。露出１の終了と露出２の開始との間の時間ずれは非常に短い。このずれは、好適なＣＣＤ素子２１１内に収集された画像情報をフォトダイオードコレクタに近接する位置にあるオンボードメモリ位置に移動させるために必要である。
【００４９】
他のカメラや他の画像取得装置が使用されて、本発明の原理が実施されてもよい。例えば、図５Ａ〜図５Ｃは、連続する画像を取得するために使用され得る３つの異なる実施形態を示している。
【００５０】
図５Ａにおいて、代替的な実施形態を５００に示す。２つのＣＣＤ装置又は他のデジタル画像センサ５０１、５０２が使用されている。各デジタル画像センサは、インテグラル電子シャッタ（図示せず）を含む。分光器５０３は、レンズ５０４からの同一の画像をデジタル画像センサ５０１、５０２に供給するために使用される。この実施形態においては、第１の画像及び第２の画像が、それぞれセンサ５０１及びセンサ５０２によって取得され得る。
【００５１】
図５Ｂにおいて、第２の代替的な実施形態を５１０に示す。２つのＣＣＤ装置又は他のデジタル画像センサ５１１、５１２が使用されている。しかしながら、この実施形態のセンサ５１１、５１２は、それぞれ、機械式シャッタ５１３、５１４と組み合わせて使用する。分光器５１５は、レンズ５１６からの同一の画像をデジタル画像センサ５１１、５１２に供給するために使用する。この実施形態においては、第１の画像及び第２の画像を、それぞれセンサ５１１及びセンサ５１２によって取得できる。
【００５２】
図５Ｃにおいて、第３の代替的な実施形態を５２０に示す。２つのＣＣＤ装置又は他のデジタル画像センサ５２１、５２２が使用されている。この実施形態のセンサ５２１、５２２は、それぞれ、機械式シャッタ５２３、５２４と組み合わせて使用する。また、個別のレンズ５２５、５２６が各センサに備え付けられている。分光器５２７は、レンズ５２５、５２６を介してセンサ５２１、５２２のそれぞれに対して画像を供給する。この実施形態においては、連続画像がセンサ５２１、５２２によって取得される。好ましくは、関連付けられたセンサ５２１、シャッタ５２３及びレンズ５２５（並びにセンサ５２２、シャッタ５２４及びレンズ５２６）を一体的に組み合わせて、同一の画像を撮像する２台のカメラに１つの分光器を原則的に共有させてもよい。独立した部品を使用してもよい。
【００５３】
３つの代替的な実施形態のそれぞれにおいて、分光器５０３、５１５、５２７に替わって所望の機能を有する他の装置を使用してもよい。例えば、プリズム、分光キューブ、穿孔ミラー等の同一の画像を２つの物理位置に送る装置が使用可能である。さらに、これらの３つの代替的な実施形態において、追加的な光学装置及びセンサが必要とされる一方で、これらの実施形態はセンサから画像をダウンロードする速度が速くなる。しかしながら、ライトは依然として、画像を取得するために必要となる時間のページングアイテムである。
【００５４】
図６に、除却された背景と図１Ｃのマスク部分との間の境界の代表的な領域が示されている。境界は、６００に示されている。前景部分と背景部分を十分に分離するために、２つの部分の間の境界の詳細を考慮することが必要である。光学系の解像度及びＣＣＤ装置２１１の画素数に起因して、背景２２とシルエット２３との間を区別する線はくっきりとした線にはならない。そうではなく、図６に示すように、複数の画素に亘ってぼけが生じる。より具体的には、シルエット又はマスク領域では、α＝１であり、ぼけ領域では０＜α＜１であり、背景領域ではα＝０となるような遷移が生じる。このように、境界領域では、画素は前景部分及び背景部分の両者から影響を受ける。元の背景を除却し新たな背景を合成する際に、本発明は、前景及び背景の両者からの部分的な影響を考慮する。
【００５５】
元の背景を除却するために、混合関数を使用する。混合関数は、好ましい実施形態においては、アルファチャンネルを使用する。アルファチャンネルは、画素毎にアルファ値（α）を有する。第１に、画像内の各点毎にバックライトされた背景の推定値Ｂｂｌが作成される、次に、画像内の各点毎に、最も明るい色彩チャンネル（すなわち、青色背景が使用されている場合は青色チャンネル、緑色又は灰色背景が使用されている場合は緑色チャンネル）を使用して、以下のようにしてβが計算される。
【００５６】
【数１】
2010527168.tif 000003
【００５７】
ここで、βは、前景に対する背景の比率である。
Ｍｇは、測定された画素値である。
Ｂｇｂｌは、推定された背景画素値である。
【００５８】
次に、以下のようにしてαが計算される。
【００５９】
【数２】
2010527168.tif 000004
【００６０】
ここで、αは混合因子である。
βｌは、βがこれより小さいとα＝１となる、βの下方閾値である。
βｈは、βがこれより大きいとα＝０となる、βの上方閾値である。
【００６１】
好ましい実施形態において、βｌは、既知の前景においては、観測されたノイズ及び周辺光の影響があっても、α＝１となるように設定する。βｈは、既知の背景において、観測された画像ノイズを含んでも、α＝０となるように設定する。
【００６２】
様々な推定方法が使用され得る。例えば、一様な背景を創出してもよい。この場合、Ｂｇｂｌは、各画素について同じ値となる。非一様背景については、地表面近似技術が使用されてもよい。
【００６３】
図６の説明で前記したように、ある画像の前景部分と背景部分の間の境界領域においては、αは、０から１までの値を取る。このように、αは０から１まで推移し、境界領域内の画素の明暗度の部分的影響を反映する。画像のアルファチャンネルは、マスクを有し
このマスクは、後記するように、前景被写体がよく照明されている画像から元の背景を除却するために使用される
【００６４】
背景を除却するために、被写体画像関数を計算する。この例では被写体画像関数はαＦｃであり、次の式によって計算される。
【００６５】
【数３】
2010527168.tif 000005
【００６６】
Ｆｃは、修正された前景画素である（すなわち、混合された背景を全く含まない）。
Ｍは、測定された前景画像の画素値である。
Ｂｆｌは、推定されたフロントライトされた背景の画素値である。
バックライトされた画像と同様に、背景がここで推定される。典型的には、背景画像部分２２の光強度深度から、推定される。背景が十分に一様である場合は、Ｂｆｌは、すべての画素について定数である。非一様な背景の場合、周知の技術が使用され背景をモデル化し得る。この公式は、従来のアルファブレンディング用の公式を再整理したものである。この公式によれば、
【００６７】
【数４】
2010527168.tif 000006
【００６８】
ここで、Ｒ、Ｆ及びＢは、赤、緑及び青の成分からなる色彩ベクトルである。
αは、混合因子である。
Ｆは、前景画素値である。
Ｂは、背景画素値である。
Ｒは、前景画素値と背景画素値をアルファブレンドすることによって算出した画素値である。
【００６９】
αが既知であり、αＦｃも既知であるので、Ｆｃが計算され得る。代替的に、後記するように、Ｆｃ自体に替わって、αＦｃがその後の新たな背景画像との合成に使用されるので、αと、Ｆｃ又はαＦｃのいずれかが、新たな背景画像との合成にあとで使用されるために記憶されるか、又は所望の目的地（例えば、インターネットのようなコンピュータネットワークを介して）へ転送され得る。
【００７０】
被写体画像関数αＦｃ、及び新たな背景画像を合成し、前景画像Ｆｃと新たな背景内に画像を作る。新たな画像を作るために、標準アルファブレンディングを再度使用する。
【００７１】
【数５】
2010527168.tif 000007
【００７２】
Ｒは、結果として生じる画素値である。
Ｂnewは、新たな背景画素値である。
【００７３】
新たな画像においては、前景被写体２１の画像が登録された領域内のαは概ね１になっており、したがって、これらの領域は、前景被写体２１の画像で占められている。反対に、前景被写体２１の画像の外側の領域のαは概ね０になっている。したがって、これらの領域は新たな背景画像で占められている。前景画像と背景画像との間の境界領域では、αは、０と１の間の値を取る。境界領域内の各画素の明暗度は、前景画像と背景画像の両者からの影響の合計となる。２つの画像部分の間で適切にブレンドされたエッジを有する合成画像においては、前景被写体２１は新たな背景の前面に位置するように見える。結果として、前景被写体は、背景の前面に自然に現れる。
【００７４】
（アプリケーション例）
本発明の特徴の一つは、合成写真内の新たな背景との関係において、任意の場所及び任意の向きに前景被写体の画像を配置できるということである。例えば、適当な画素について、αに値１を指定し、Ｆｃ又はαＦｃに値（０，０，０）を指定することによって、前景被写体の画像を配置できる。よって、例えば、ポートレートフォーマット（縦型）で取得した前景被写体の画像を使用して、景色フォーマット（横型）の新たな背景内に被写体の画像を配置することができる。
【００７５】
他の特徴は、バックライトされた画像及びフロントライトされた画像が一旦取得され、ここに記述したように処理されると、その後の処理のために、値α及び値αＦｃ（又は値Ｆｃ）のみを記憶しておけばよいということである。記憶された情報は、後で読み出されて、新たな背景画像と組み合わされ、合成画像を作成することができる。α及びαＦｃの情報は、コンピュータネットワークを越えて転送され、目的サイトで使用され得る。これらの情報だけを転送することで、処理速度および処理能力が有意に改善され得る。さらに具体的に言えば、新たな背景が多くの画素を有している場合、背景は目的サイトに記憶しておき、前景被写体のほうだけが転送されるようにすればよい。
【００７６】
例えば図８には、より大規模な分散システム８００の様々な構成要素が示されている。このより大規模な分散システム８００においては、個別のシステム２００によって取得され、記憶装置２６３に格納された画像は、処理、記憶、分配及び／又は他の用途のために集中データベース８０４に供給できる。データストア８０８は記憶装置２６３を有しており、コンピュータ８０７は、取得した画像を、インターネット８０１及びウエブサーバ８０３を介して、集中データベース８０４に転送する。多数のシステム２００が多数の画像を取得するために使用され得るので、複数のデータストア８０８が使用され得る。さらに、データストア８０８は任意の数の記憶装置２６３であってもかまわない。
【００７７】
インターネット８０１が好ましい通信経路として例示されているが、記憶装置２６３を、ＬＡＮ、ＷＡＮ、私有通信回線、ＰＢＸのダイヤルアップモデム等を介して直接データベース８０４に接続する他の通信システムが使用されてもよい。
【００７８】
このシステムにおいては、記憶されたα及びαＦｃの情報は、コンピュータ８０７又はウエブサーバ８０３のいずれかから、受付コンピュータ８０２に転送され得る。様々な背景が、これらの情報を有する受付コンピュータ８０２によって、画像に対して挿入され得る。
【００７９】
他の特徴は、オンラインサービスを介して画像を供給する、ということである。図８では、遠隔サイト８０９にいる顧客が、前景被写体の画像を示され、前景被写体と合成するために予め決定されている背景画像の候補のセットのうちから、１又は複数の背景を選択することができる。この場合、遠隔ユーザ８０９は、インターネット８０１を介して、データベース８０４に格納されている、適当な画像８０５及び適当な背景８０６を視認し得る。顧客が、１又は複数の背景を選択し、注文を発すると、前景被写体画像（Ｆｃ又はαＦｃ）は、適当な印刷施設に転送され、顧客に選択された１又は複数の背景と合成され得る。この例では、受付コンピュータは、印刷施設に位置していてもよい。
【００８０】
前記したように、背景のセットが印刷施設に予め格納され、かつ顧客に選択された背景は注文がある毎に転送される必要がないので、ネットワークの転送オーバヘッドが削減される。任意の数の画像８０５及び背景８０６が、図示したように、画像１−ｎ、背景１−ｎとしてデータベース８０４に格納され得る。ユーザ８０９、８１０の数も、任意の数ｎであってよい。ユーザは、パスワード又は他の情報の入力を促され、格納されている適当な画像８０５及び背景８０６を視認する。ユーザは、画像のハードコピーを視認してもよいし、インターネット上のサイトにログオンするよりはむしろ、実在店舗に実際に足を運び、画像及び背景を視認してもよい。
【００８１】
前記したように、他の適用例は、様々な目的に合わせて様々な背景を、１つの前景被写体に使用することである。例えば、学校又は大学の仕様で、前記した処理によって学生のポートレートが取得され得る。そして背景なしの学生の画像が記憶できる。記憶された画像は、後で、学生証、卒業アルバム、学内公示、学内新聞、及び学生個人のウエブページを含む様々な用途向けに背景と組み合わせて使用できる。
【００８２】
本発明の他の特徴は、バックライトされた半透明背景を使用する、ということである。こうすることによって、被写体は、背景により近づくことができる。図２に示されるように、前景被写体２０５の全身ショットが取得され得る。被写体が立つショットステージ２１６又は他の適当な床面が背景２１５まで延設され、全身ショットを可能にしている。半透明床面とともに本発明を実施することによって、他の創造的な画像が取得され得る。この場合、フラッシュは床下に配置され、床面上に立つ被写体を、カメラが見下ろすことになる。
【００８３】
本開示の他の特徴によれば、取得された画像間の時間間隔を調整し、前景被写体の予想される動きを補正できる。適当な間隔を選択することによって、マスク及び前景被写体の画像は、的確に相互に登録されることになる。例えば、動作中のダンサーの画像を取得するためには、許容される動作の速度がスチル写真の場合よりはるかに大きいことが予想され得る。他の例として、高い解像度で画像が取得されるけれども表示する解像度は低くてもよい場合、画像が高い解像度で表示されるべき場合に比して、より多くの画素の位置合わせ誤差（misalignment）を許容できる。
【００８４】
誤登録の許容総数が所与である場合、動きの許容速度と、連続して取得された画像間の時間間隔とは、次式のように本質的に反比例の関係にある。
【００８５】
【数６】
2010527168.tif 000008
【００８６】
ここで、ｖｔは、被写体の許容速度である。
ｗｓは、被写体の画像幅である。
ｄｔは、許容されるカメラ内の距離（画素数）である。
ｗｃは、カメラ内の画像の幅（画素数）である。
ｔは、両画像を取得する時間である。
【００８７】
したがって、例えば、ｗｓ＝３６インチ、ｄｔ＝０．５画素、ｗｃ＝２６７２であれば、図７Ａ及び図７Ｂに示すように、ｖｔは、画像取得時間ｔを変数とする双曲線関数の従属変数である。さらに具体的な例を言えば、誤登録されてもよい許容度が画素の端数（例えば０．５画素）以内であり、移動速度が毎秒数インチであれば、バックライトされた画像と、フロントライトされた画像は、数ミリ秒の時間間隔内に取得されなければならない、ということになる。前記したように、このような例では、高速度の連続画像取得能力を有するカメラシステムが使用され得る。
【００８８】
背景を除却した後に正確に顔面を発見するということも、特徴の１つである。卒業アルバム等の用途のため、頭部の大きさを均一サイズにし、画像をシャープにし、被写体を複数のレイヤを有する写真の中に落とし込むということは、本発明と組み合わせて実現され得る追加的特徴である。
【００８９】
背景２１５上のレイヤ２１７として発光体を使用し、ある条件においてバックライトを生成してもよい。発光は、励起状態に続く過剰な熱放射を光に変えるプロセスである。発光する固形物は、蛍光体と呼ばれる。蛍光体は、通常は、高純度で、平均分子サイズが３〜１５マイクロメートルである、微細な無機複合粉体であるが、シンチレータ若しくはガラス膜又は薄膜として使用される大型単結晶であってもよい。蛍光体は、高エネルギー不可視紫外線放射（写真発光）、Ｘ線（放射線発光）、高エネルギー電子（陰極線発光）又は強電場（電気発光）によって、いくつかの場合では、赤外線放射（アップコンヴァージョン）又は化学反応（化学発光）によって、さらには、ストレス（摩擦発光）によってさえも、励起されうる。蛍光体は、通常、母材に加えて活性化イオンを含む。これらのイオンは、合成の間は、適度な割合で慎重に追加される。活性剤とその周辺イオンは、光学活性中心を形成する。蛍光体の光学的特性は、蛍光体粉末を比較的薄いプラーク状にして測定される。発光体として適用するために重要な光学的特性は、発光スペクトルと、発した光の波長に対する強度変化である。
【００９０】
電気発光の方法が、光の迅速なパルスを生成するタスクには特に向いている。このタイプの発光は、電場が掛けられたとき直接光を生成する発光体を前提とする。発光体を横断して印加されるとき、この光源は、平面パネルに対して最も望ましい。存在する物質を使用して電気発光が実施され得る方法は２つある。１つは、発光ダイオード（ＬＥＤ）を使用することである。発光ダイオードは、通常、微量の窒素を添加したリン化ガリウムの単結晶である。電気エネルギーを光に変換する第２の方法は、電気発光蛍光体を使用する方法である。抜群に最良の電気発光蛍光体は、２価のマンガン添付硫化亜鉛（ＺｎＳ：Ｍｎ２＋）である。
【００９１】
レイヤ２１７内にストロボ光を生成するために他の発光方法が使用され得る。ただし、その方法が、進行中のアプリケーションに対して十分高速かつ明るいという条件付ではある。さらに、より小型のスラッシュユニット（slash units）又は発光ダイオード（ＬＥＤｓ）の配列を含む、レイヤ２１７内にストロボ光を供給する他の技術が使用され得る。
【００９２】
本発明の具体的な実施形態が、本発明の適用例との関連で記述されてきたが、ここで開示され記述された適用例、実施形態又は具体的構成要素に本発明が限定されないことは、当業者には当然理解される。本発明の原理を体現する他の構成要素、及びここで記述されたものとは異なる他の適用例もまた、本発明の主旨の範囲内で実施可能であることも当業者には当然理解されるはずである。ここに記述された例は、本発明の原理を体現し、具体化する実施形態の一例に過ぎない。他の修正及び代替もまた、当業者の知識の範囲内であり、添付の特許請求の範囲の主旨に含まれるべきである。
【符号の説明】
【００９３】
２０    デジタル写真画像
２１    前景被写体
２２    背景
２３    フレーム領域
２４    アルファマスク
２００  システム
２０５  人物（前景被写体）
２１０  カメラ
２１１  ＣＣＤ素子
２１２  シャッタ
２１３  レンズ
２１５  背景（半透明背景）
２１６  ショットステージ
２１７  発光層（レイヤ）
２２０  ライト（フロントライト）
２２５  ライト（背景ライト）
２３０  ライト（背後ライト）
２４０  制御装置
２６０  プロセッサ
２６１  中央処理装置
２６２  メモリ
２６３  記憶装置
５０１、５０２、５１１、５１２、５２１、５２２  画像センサ
５０３、５１５、５２７  分光器
５０４、５１６、５２５、５２６  レンズ
５１３、５１４、５２３、５２４  機械式シャッタ
８００  分散システム
８０１  インターネット
８０２  受付コンピュータ
８０３  ウエブサーバ
８０４  集中データベース
８０５  画像
８０６  背景
８０７  コンピュータ
８０８  データストア
８０９、８１０  コンピュータ（ユーザ）
１０００  フォトダイオードの配列
１０１０  フォトダイオード
１０２０  シフトレジスタ
【図１Ａ】
2010527168.tif 000009
【図１Ｂ】
2010527168.tif 000010
【図１Ｃ】
2010527168.tif 000011
【図１Ｄ】
2010527168.tif 000012
【図１Ｅ】
2010527168.tif 000013
【図２】
2010527168.tif 000014
【図３】
2010527168.tif 000015
【図４】
2010527168.tif 000016
【図５Ａ】
2010527168.tif 000017
【図５Ｂ】
2010527168.tif 000018
【図５Ｃ】
2010527168.tif 000019
【図６】
2010527168.tif 000020
【図７Ａ】
2010527168.tif 000021
【図７Ｂ】
2010527168.tif 000022
【図８】
2010527168.tif 000023
【国際調査報告】
2010527168.tif 000024
2010527168.tif 000025