【手続補正書】
【提出日】平成23年3月17日(2011.3.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像内の背景を別の背景に置換するシステムを用いた方法であって、
前記システムは、
前景被写体及び前記背景が照明されている第１の照明条件のもとで前記前景被写体と前記背景の第１の画像を取得し、
前記背景が照明されている第２の照明条件のもとで前記前景被写体と前記背景の第２の画像を取得し、
前記背景に対応する各画素については第１の値に実質的に等しく、前記前景被写体に対応する各画素については第２の値に実質的に等しく、前記前景被写体と前記背景との間の境界領域に対応する各画素については前記第１の値と前記第２の値との間の値である、前記第２の画像の各画素についての値を含む混合関数を、前記第２の画像に基づいて少なくとも１つのプロセッサによって計算し、
前記第１の画像のうちの前記前景被写体の画像を保持し、前記第１の画像のうちの前記背景の少なくとも一部を保持しない被写体画像関数を、前記第１の画像及び前記混合関数を使用して少なくとも１つのプロセッサによって計算し、
前記第１の画像のうちの前記前景被写体の画像及び前記別の背景の少なくとも一部を含む新たな画像を、前記別の背景に前記被写体画像関数を適用することによって生成し、
前記新たな画像のうちの前記第２の画像の前記背景に対応する画素は、
前記別の背景の画素に比して実質的に不変であり、
前記新たな画像のうちの前記第２の画像の前記前景被写体に対応する画素は、
前記第１の画像の前記前景被写体に対応する画素によって実質的に置換され、
前記新たな画像のうちの前記第２の画像の前記前景被写体と前記背景との間の前記境界領域に対応する画素は、
前記第１の画像の前記前景被写体及び前記別の背景の両者から影響を受けるように混合されること、
を特徴とする方法。
【請求項２】
前記混合関数の計算は、
前記第１の画像の各画素についてアルファブレンディング用のアルファ値を計算することを含むこと、
を特徴とする請求項１に記載の方法。
【請求項３】
前記第２の画像を前記第２の照明条件のもとで取得することは、
前記背景が前記前景被写体よりも明るくなるように前記背景を照明することを含むこと、
を特徴とする請求項１に記載の方法。
【請求項４】
前記新たな画像を生成することは、
前記別の背景が前記前景被写体の背後に見える合成画像を生成することであること、
を特徴とする請求項１に記載の方法
【請求項５】
前記混合関数を計算することは、
前記第２の画像の各画素についてアルファブレンディング用のアルファ値（α）を計算することを含み、
前記被写体画像関数を計算することは、
前記背景が除却された状態の前記前景被写体の前記第１の画像に属する前記画素の色彩ベクトルを表すαＦｃを前記画素毎に計算することを含み、
前記合成画像を生成することは、
前記合成画像の各画素を、式Ｒ＝αＦｃ＋（１−α）Ｂｎｅｗにしたがって計算することを含み、
Ｒは、前記合成画像の各画素の色彩ベクトルであり、
Ｂｎｅｗは、前記別の背景の色彩ベクトルであること、
を特徴とする請求項４に記載の方法。
【請求項６】
前記システムは、
前記被写体画像関数を第１の位置から、コンピュータネットワークを介して第２の位置へ転送することを含み、
前記合成画像を生成することは、
前記転送された被写体画像関数に基づいて、前記合成画像を生成することを含むこと、
を特徴とする請求項４に記載の方法。
【請求項７】
前記システムは、
前記前景被写体の動きの最大許容動作速度を決定し、
前記最大許容動作速度に基づいて前記第１の画像及び前記第２の画像が取得されるべき時間間隔を算出すること、
を特徴とする請求項１に記載の方法。
【請求項８】
前記システムは、
前記第１の画像と前記第２の画像が相互にオフセットすることを許容される画素の最大数を設定し、
前記時間間隔を計算することは、
前記第１の画像と前記第２の画像が相互にオフセットすることを許容される前記画素の最大数に基づいて前記時間間隔を計算することを含むこと、
を特徴とする請求項７に記載の方法。
【請求項９】
前記時間間隔を計算することは、
前記時間間隔を、式ｔ＝ｗｓｄｔ／（ｗｃｖｔ）にしたがって計算することを含み、
ｖｔは、前記前景被写体の動きの最大許容動作速度であり、
ｗｓは、前記前景被写体での前記画像の幅であり、
ｄｔは、前記第１の画像と前記第２の画像が相互にオフセットすることを許容される前記画素の最大数であり、
ｗｃは、前記第１の画像及び前記第２の画像の画素の幅であり、
ｔは、両者の画像を取得するべき時間であること、
を特徴とする請求項８に記載の方法。
【請求項１０】
前記第１の画像と前記第２の画像が相互にオフセットすることを許容される画素の最大数を設定することは、
前記オフセットを１画素の端数内に制限すること、
を特徴とする請求項８に記載の方法。
【請求項１１】
前記第１の画像及び前記第２の画像を取得することは、
フラッシュ照明のもとで前記第１の画像及び前記第２の画像を取得し、
前記第１の画像を取得した後に、前記第２の画像を取得すること、
を特徴とする請求項７に記載の方法。
【請求項１２】
前記第１の画像及び前記第２の画像を取得することは、
フラッシュ照明のもとで前記第１の画像及び前記第２の画像を取得し、
前記第１の画像を取得した後１ミリ秒より短い時間間隔内に、前記第２の画像を取得すること、
を特徴とする請求項１に記載の方法。
【請求項１３】
前記前景被写体は、
動くことが不可能であり、
前記第１の画像及び前記第２の画像を取得することは、
フラッシュ照明のもとで前記第１の画像及び前記第２の画像を取得し、
前記第１の画像を取得した後の任意の将来時点において、前記第２の画像を取得すること、
を特徴とする請求項１に記載の方法。
【請求項１４】
第１の画像及び第２の画像からの画像を計算するシステムを用いた方法であって、
前記システムは、
背景に対応する各画素については第１の値に実質的に等しく、前景被写体に対応する各画素については第２の値に実質的に等しく、前記前景被写体と前記背景との間の境界領域に対応する各画素については前記第１の値と前記第２の値との間の値である、前記第２の画像の各画素についての値を含む混合関数を、前記背景が照明されている第２の照明条件のもとでの、前記前景被写体及び前記背景の画像である第２の画像に基づいて少なくとも１つのプロセッサによって計算し、
前記前景被写体及び前記背景が照明されている第１の照明条件のもとでの、前記前景被写体及び前記背景の画像である第１の画像並びに前記混合関数を使用して少なくとも１つのプロセッサによって被写体画像関数を計算し、
前記被写体画像関数は、
前記第１の画像のうちの前記前景被写体の画像を保持し、前記第１の画像のうちの前記背景の少なくとも一部を保持せず、
第３の画像に適用されて、前記第３の画像が前記前景被写体の背後に見える新たな画像を生成すること、
を特徴とする方法。
【請求項１５】
前記システムは、
デジタルカメラによって前記第２の画像を取得し、
前記背景は、
前記第２の照明条件のもとでは、前記背景が前記前景被写体よりも明るくなるように、照明されること、
を特徴とする請求項１４に記載の方法。
【請求項１６】
前記前景被写体は、
前記第２の照明条件のもとでは、前記第２の画像内で実質的に黒く見えること、
を特徴とする請求項１５に記載の方法。
【請求項１７】
背景の前に位置する前景被写体を撮像するシステムを用いた方法であって、
前記システムは、
前記前景被写体に関する第１の照明条件のもとで前記背景を照明している間に前記前景被写体と前記背景の第１の画像を取得し、
前記前景被写体に関する第２の照明条件のもとで前記背景を照明している間に前記前景被写体と前記背景の第２の画像を、前記第１の画像を取得する予め決定された時間間隔内に、カメラによって取得し、
前記前景被写体の動きの最大許容動作速度、並びに、前記第１の画像及び前記第２の画像が相互にオフセットすることを許容される画素の最大数に少なくとも部分的に基づいて前記予め決定された時間間隔を計算し、
前記画素の最大数は、
１画素より小さいこと、
を特徴とする方法。
【請求項１８】
前記予め決定された時間間隔を計算することは、
前記予め決定された時間間隔を、式ｔ＝ｗｓｄｔ／（ｗｃｖｔ）にしたがって計算することを含み、
ｖｔは、前記前景被写体の動きの最大許容動作速度であり、
ｗｓは、前記前景被写体での前記画像の幅であり、
ｄｔは、前記第１の画像と前記第２の画像が相互にオフセットすることを許容される前記画素の最大数であり、
ｗｃは、前記第１の画像及び前記第２の画像の画素の幅であり、
ｔは、両者の画像を取得するべき時間であること、
を特徴とする請求項１７に記載の方法。
【請求項１９】
前記第１の画像及び前記第２の画像を取得することは、
フラッシュ照明のもとで前記第１の画像及び前記第２の画像を取得し、
前記第１の画像を取得した後に、前記第２の画像を取得すること、
を特徴とする請求項１７に記載の方法。
【請求項２０】
背景の前に位置する前景被写体を有するシーンを撮像する撮像システムであって、
前記撮像システムは、
フォトセンサ素子と、対応する前記フォトセンサ素子から転送された信号を格納する記憶素子とを交互に配列するインターライン移転センサを有し、前記シーンの画像を取得するカメラシステムと、
前記背景が前記前景被写体よりも明るく前記カメラシステムに見える第１の照明条件及び前記前景被写体と前記背景の両者が照明される第２の照明条件を生成する照明システムと、
を有し、
前記照明システムは、
前記前景被写体の動きの最大許容動作速度に基づいて計算された時間間隔内に、前記第１の照明条件及び前記第２の照明条件を連続的に生成し、
前記カメラシステムは、
前記第１の照明条件のもとで前記シーンの第１の画像を前記フォトセンサ素子によって取得し、前記第１の画像に関連付けられたエネルギーを前記記憶素子に移転した後に、前記第２の照明条件のもとで前記シーンの第２の画像を前記フォトセンサ素子によって取得すること、
を特徴とする撮像システム。
【請求項２１】
前記照明システムは、
前記第１の照明条件を生成した後、前記時間間隔内に、前記第２の照明条件を生成すること、
を特徴とする請求項２０に記載の撮像システム。
【請求項２２】
前記時間間隔は、
１ミリ秒より短いこと、
を特徴とする請求項２１に記載の撮像システム。
【請求項２３】
前記撮像システムは、
機械式シャッタと、制御装置とを有し、
前記制御装置は、
前記第１の画像の取得以前に前記機械式シャッタを開き、
前記カメラシステムが前記第２の画像を取得している間は前記機械式シャッタを開き続け、
前記カメラシステムが第２の画像を取得した後、前記機械式シャッタを閉じて前記フォトセンサ素子が周辺光にさらに露出することを回避すること、
を特徴とする請求項２０に記載の撮像システム。
【請求項２４】
前記撮像システムは、
前記第１の画像と前記第２の画像を受け取り、
前記第１の画像に基づき混合関数を計算し、
前記第２の画像と前記混合関数を使用し、
前記前景被写体の画像に適用され、前記第２の画像に比して、前記前景画像に対する背景輝度を減少させる被写体画像関数を計算する、
画像プロセッサを有すること、
を特徴とする請求項２０に記載の撮像システム
【請求項２５】
コード化されたコンピュータ読取可能な命令を保持する記憶媒体であって、
前記命令がコンピュータに実行されると、
前記命令は、前記コンピュータに対して、
背景に対応する各画素については第１の値に実質的に等しく、前景被写体に対応する各画素については第２の値に実質的に等しく、前記前景被写体と前記背景との間の境界領域に対応する各画素については前記第１の値と前記第２の値との間の値である、第２の画像の各画素についての値を含む混合関数を、前記背景が照明されている第２の照明条件のもとでの前景被写体と前記背景の画像である第２の画像に基づいて計算し、
前記前景被写体及び前記背景が照明されている第１の照明条件のもとでの、前記前景被写体及び前記背景の画像である第１の画像並びに前記混合関数を使用して被写体画像関数を計算する処理を実行させ、
前記被写体画像関数は、
前記第１の画像のうちの前記前景被写体の画像を保持し、前記第１の画像のうちの前記背景の少なくとも一部を保持せず、
第３の画像に適用されて、前記第３の画像が前記前景被写体の背後に見える新たな画像を生成すること、
を特徴とする記憶媒体。
【請求項２６】
背景の前に位置する前景被写体を撮像するシステムを用いた方法であって、
前記システムは、
前記前景被写体の動きの最大許容動作速度を決定し、
前記最大許容動作速度に基づいて第１の画像及び第２の画像が取得されるべき時間間隔を算出し、
前記第１の画像と前記第２の画像が相互にオフセットすることを許容される画素の最大数を設定し、
前記時間間隔を計算することは、
前記第１の画像と前記第２の画像が相互にオフセットすることを許容される前記画素の最大数に基づいて前記時間間隔を、式ｔ＝ｗｓｄｔ／（ｗｃｖｔ）にしたがってプロセッサによって計算することを含み、
ｖｔは、前記前景被写体の動きの最大許容動作速度であり、
ｗｓは、前記前景被写体での前記画像の幅であり、
ｄｔは、前記第１の画像と前記第２の画像が相互にオフセットすることを許容される前記画素の最大数であり、
ｗｃは、前記第１の画像及び前記第２の画像の画素の幅であり、
ｔは、両者の画像を取得するべき時間であり、
前記システムは、
前記前景被写体に関する第１の照明条件のもとで前記背景を照明している間に前記前景被写体と前記背景の前記第１の画像を取得し、
前記前景被写体に関する第２の照明条件のもとで前記背景を照明している間に前記前景被写体と前記背景の前記第２の画像を取得し、
前記第１の画像及び前記第２の画像のうちから選択した１つの画像に基づいて混合関数を計算し、
選択しなかった画像及び前記混合関数を使用し、
前記前景被写体の画像に適用され、前記選択しなかった画像に比して、前記前景画像に対する背景輝度を減少させる被写体画像関数を計算すること、
を特徴とする方法。
【請求項２７】
背景の前に位置する前景被写体を撮像するシステムを用いた方法であって、
前記システムは、
前記前景被写体に関する第１の照明条件のもとで前記背景を照明している間に前記前景被写体と前記背景の第１の画像を取得し、
前記前景被写体に関する第２の照明条件のもとで前記背景を照明している間に前記前景被写体と前記背景の第２の画像を、前記第１の画像を取得する時点を含む予め決定された時間間隔内であって、前記前景被写体の動きの最大許容動作速度に基づいて計算された時間間隔内に取得し、
前記第１の画像と前記第２の画像が相互にオフセットすることを許容される画素の最大数を設定し、
前記予め決定された時間間隔を計算することは、
前記第１の画像と前記第２の画像が相互にオフセットすることを許容される前記画素の最大数に基づいて前記予め決定された時間間隔を、式ｔ＝ｗｓｄｔ／（ｗｃｖｔ）にしたがってプロセッサによって計算することを含み、
ｖｔは、前記前景被写体の動きの最大許容動作速度であり、
ｗｓは、前記前景被写体での前記画像の幅であり、
ｄｔは、前記第１の画像と前記第２の画像が相互にオフセットすることを許容される前記画素の最大数であり、
ｗｃは、前記第１の画像及び前記第２の画像の画素の幅であり、
ｔは、両者の画像を取得するべき時間であること、
を特徴とする方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】スチル写真における背景置換のための方法、システム及び記憶媒体