【手続補正書】
【提出日】平成16年12月6日(2004.12.6)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
デジタルビデオのフォアグラウンド部分をバックグラウンド部分からマスキングする方法において、
デジタルビデオを画定するデジタル画像のシーケンスからの一つである第一デジタル画像のフォアグランド部分とバックグランド部分との間にある境界を包含する第一境界領域を画定する第一入力を受取り、該第一境界領域は更に該バックグラウンド部分の一部のみと該フォアグラウンド部分の一部のみとを包含しており、
前記デジタル画像のシーケンスの内の別の一つである第二デジタル画像内の境界を包含する第二境界領域を画定する第二入力を受取り、該第二境界領域は更に該バックグラウンド部分の一部のみと該フォアグラウンド部分の一部のみとを包含しており、
該第一及び第二境界領域の間で補間して該第一及び第二デジタル画像に対して該シーケンスにおいて中間にある画像に対して中間境界領域を画定し、
該境界領域の内側エッジを使用してフォアグランドマスクを画定し、該境界領域の外側エッジを使用してバックグランドマスクを画定し、且つ該フォアグランドマスク及びバックグランドマスクを使用して該境界を包含するハイライトマスクを画定することにより、該第一及び第二デジタル画像に対して該シーケンスにおいて中間にある該画像に対してハイライトマスクを画定し、
該ハイライトマスクを使用して該第一及び第二デジタル画像に対して該シーケンスにおいて中間にある該画像において該バックグラウンド部分から該フォアグラウンド部分を抽出し、その抽出したフォアグランド部分が本来のフォアグランドのカラー値を有している、
ことを特徴とする方法。
【請求項２】
請求項１において、抽出する場合に、
該境界領域におけるピクセルに対する本来のカラー値を推定し、
該第一及び第二デジタル画像に対して該シーケンスにおいて中間にある該画像において該バックグラウンド部分から該フォアグラウンド部分を抽出するために該推定した本来のカラー値を使用する、
ことを特徴とする方法。
【請求項３】
請求項１において、抽出する場合に、
該境界領域の該部分に対してガウシアンぼかしを適用すること、
を特徴とする方法。
【請求項４】
請求項１において、抽出する場合に、
該フォアグラウンド部分と共に表示される該境界領域の該部分におけるピクセルの不透明度を決定し、
スレッシュホールド値より大きな不透明度を有するピクセルに対する不透明度を変化させる、
ことを特徴とする方法。
【請求項５】
請求項１において、該境界が第一境界であり、本方法が、更に、
該第一デジタル画像における第二フォアグランド部分と該バックグラウンド部分との間の第二境界を包含する第三境界領域を画定する第三入力を受取り、該第三境界領域は更に第二フォアグラウンド部分の一部のみと該バックグラウンド部分の一部のみとを包含しており、
該第二デジタル画像における該第二境界を包含する第四境界領域を画定する第四入力を受取り、該第四境界領域は更に該第二フォアグラウンド部分の一部のみと該バックグラウンド部分の一部のみとを包含しており、
該第三及び第四境界領域の間で補間して該中間のデジタル画像に対する該第二フォアグラウンド部分に対する中間境界領域を画定する、
ことを特徴とする方法。
【請求項６】
請求項１において、更に、
第一内部境界領域を画定する入力を受取り、該第一内部境界領域は、第一デジタル画像において、該第一境界領域によって取囲まれており、
第二内部境界領域を画定する入力を受取り、該第二内部境界領域は、第二デジタル画像において、該第二境界領域によって取囲まれており、
該第一及び第二デジタル画像に対して時間的に中間にある画像に対する中間内部境界領域を補間し、
該デジタルビデオにおける該バックグラウンド部分から該フォアグラウンド部分をマスキングするために該第一、第二、中間境界領域及び該第一内部、第二内部、中間内部境界領域を使用する、
ことを包含している方法。
【請求項７】
デジタルビデオのバックグラウンド部分からフォアグラウンド部分をマスキングする方法において、
デジタルビデオを画定するデジタル画像のシーケンスの中の一つである初期的デジタル画像のフォアグランド部分とバックグランド部分との間の境界を包含する初期的境界領域を画定する入力を受取り、該初期的境界領域は更に該バックグラウンド部分の一部のみと該フォアグラウンド部分の一部のみとを包含しており、
該初期的境界領域に基づいて該デジタル画像のシーケンスの別のデジタル画像に対する境界領域を自動的に発生し、該自動的に発生される境界領域が該他のデジタル画像における境界と、該フォアグランド部分の一部のみと、該バックグランド部分の一部のみとを包含しており、
該デジタルビデオにおける該バックグラウンド部分から該フォアグラウンド部分をマスキングするために該初期的及び自動的に発生した境界領域を使用する、
ことを特徴とする方法。
【請求項８】
請求項７において、更に、
該第一、第二、中間境界領域におけるピクセルに対して本来的なカラー値を推定し、
該バックグラウンド部分から該フォアグラウンド部分を抽出するために該推定した本来的なカラー値を使用する、
ことを包含している方法。
【請求項９】
請求項７において、該バックグラウンド部分から該フォアグラウンド部分をマスキングするために該初期的及び該自動的に発生した境界領域を使用する場合に、
該フォアグラウンド部分及び該境界領域の一部をマスキングし、
該境界領域の該部分に対してガウシアンぼかしを適用する、
ことを特徴とする方法。
【請求項１０】
請求項７において、該バックグラウンド部分から該フォアグラウンド部分をマスキングするために該初期的及び該自動的に発生した境界領域を使用する場合に、
該フォアグラウンド部分及び該境界領域の一部をマスキングし、
該フォアグラウンド部分と共に表示される該境界領域の該部分におけるピクセルの不透明度を決定し、
スレッシュホールド値より大きな不透明度を有するピクセルに対する不透明度を変化させる、
ことを特徴とする方法。
【請求項１１】
請求項７において、該境界が該第一境界であり、本方法が、更に、
該初期的デジタル画像の該バックグラウンド部分と第二フォアグランド部分との間の第二境界を包含する第二初期的境界領域を画定する入力を受取り、該第二初期的境界領域は更に該バックグラウンド部分の一部のみ及び第二フォアグラウンド部分の一部のみを包含しており、
該第二初期的境界領域に基づいて該他のデジタル画像に対する第二境界領域を自動的に発生し、該自動的に発生される第二境界領域が、該他のデジタル画像における該第二境界領域と、該第二フォアグラウンド部分の一部のみと、該バックグラウンド部分の一部のみとを包含しており、
該デジタルビデオにおける該バックグラウンド部分から該第二フォアグラウンド部分をマスキングするために該第二初期的及び該自動的に発生した第二境界領域を使用する、
ことを特徴とする方法。
【請求項１２】
請求項７において、更に、
初期的内部境界領域を画定する入力を受取り、該初期的内部境界領域は、第一デジタル画像において、該初期的境界領域によって取囲まれており、
該初期的内部境界領域に基づいて時間系列における別の画像に対し初期的境界領域を自動的に発生し、
該デジタルビデオにおける該バックグラウンド部分から該フォアグラウンド部分をマスキングするために該初期的内部及び該自動的に発生した内部境界領域を使用する、
ことを特徴とする方法。
【請求項１３】
請求項７において、別のデジタル画像に対して境界領域を自動的に発生する場合に、
該初期的境界領域におけるエッジ経路を識別し、該エッジ経路は該初期的デジタル画像における該フォアグラウンド部分のエッジを表わし、
自動的に発生した境界領域におけるエッジ経路を識別し、該エッジ経路は別のデジタル画像における該フォアグラウンド部分のエッジを表わし、
該初期的デジタル画像と該別のデジタル画像との間のエッジ経路変換を決定し、
該別のデジタル画像において境界領域を発生するために該初期的デジタル画像における該内側経路及び該外側経路に対して該エッジ経路変換を適用する、
ことを特徴とする方法。
【請求項１４】
請求項１３において、該別の自動的に発生した境界領域において該エッジ経路を識別する場合に、
前に識別したエッジ経路に関して動作するスネークアルゴリズムを使用して該エッジ経路を識別する、
ことを特徴とする方法。
【請求項１５】
請求項１３において、該初期的境界領域内のエッジ経路を識別する場合に、
スレッシュホールド値を超える画像勾配値を有する該境界領域内の点を見つけ出すこと、
を特徴とする方法。
【請求項１６】
請求項１５において、更に、
該初期的境界領域内の各カラーチャンネルに対して画像勾配値を計算する、ことを特徴とする方法。
【請求項１７】
請求項１３において、該初期的境界領域内のエッジ経路を識別する場合に、
該内側経路及び該外側経路をコピーし、
該内側経路及び該外側経路のコピーを互いに向かって且つスネークアルゴリズムを使用して該フォアグラウンド部分のエッジに向かって移動させ、
該内側経路のコピーと該外側経路のコピーとが１つの経路に収束する場合に該エッジ経路を該経路として識別する、
ことを特徴とする方法。
【請求項１８】
請求項１３において、エッジ経路変換を決定する場合に、
１組の局所的エッジ経路変換を決定し、該１組の局所的エッジ経路変換が一体的に該エッジ経路変換を形成している、
ことを特徴とする方法。
【請求項１９】
請求項１８において、１組の局所的エッジ経路変換を決定する場合に、
該エッジ経路における各点に対して局所的エッジ経路変換を決定する、
ことを特徴とする方法。
【請求項２０】
請求項１８において、１組の局所的エッジ経路変換を決定する場合に、
該１組の局所的エッジ経路変換における各局所的エッジ経路変換に対する並進、回転、スケーリングを決定する、
ことを特徴とする方法。
【請求項２１】
請求項１３において、該内側及び外側経路に対して該エッジ経路変換を適用する場合に、
該外側経路内の各点に対して且つ該内側経路内の各点に対して１組の局所的変換を適用し、該１組の局所的変換が該エッジ経路変換を形成している、ことを特徴とする方法。
【請求項２２】
デジタルビデオのバックグラウンド部分からフォアグラウンド部分をマスキングするためにコンピュータ読取可能媒体又は伝播キャリア信号内にタンジブルに実現されたコンピュータソフトウエアにおいて、
デジタルビデオを画定するデジタル画像のシーケンスからの一つである第一デジタル画像のフォアグランド部分とバックグランド部分との間にある境界を包含する第一境界領域を画定する第一入力を受取り、該第一境界領域が更に該バックグラウンド部分の一部のみと該フォアグラウンド部分の一部のみとを包含しており、
前記デジタル画像のシーケンスの内の別の一つである第二デジタル画像内の境界を包含する第二境界領域を画定する第二入力を受取り、該第二境界領域は更に該バックグラウンド部分の一部のみと該フォアグラウンド部分の一部のみとを包含しており、
該第一及び第二境界領域の間で補間して該第一及び第二デジタル画像に対して該シーケンスにおいて中間にある画像に対して中間境界領域を画定し、
該境界領域の内側エッジを使用してフォアグランドマスクを画定し、該境界領域の外側エッジを使用してバックグランドマスクを画定し、且つ該フォアグランドマスク及びバックグランドマスクを使用して該境界を包含するハイライトマスクを画定することにより、該第一及び第二デジタル画像に対して該シーケンスにおいて中間にある該画像に対してハイライトマスクを画定し、
該ハイライトマスクを使用して該第一及び第二デジタル画像に対して該シーケンスにおいて中間にある該画像において該バックグラウンド部分から該フォアグラウンド部分を抽出し、その抽出したフォアグランド部分が本来のフォアグランドのカラー値を有している、
上記動作を実施するための命令を有していることを特徴とするコンピュータソフトウエア。
【請求項２３】
請求項２２において、抽出するための命令が、
該境界領域におけるピクセルに対する本来的なカラー値を推定し、
該第一及び第二デジタル画像に対し該シーケンスの中間の該画像において該バックグラウンド部分から該フォアグラウンド部分を抽出するために該推定した本来的なカラー値を使用する、
ための命令を包含していることを特徴とするコンピュータソフトウエア。
【請求項２４】
請求項２２において、該抽出する命令が、
該境界領域の該部分に対してガウシアンぼかしを適用する、
ための命令を包含していることを特徴とするコンピュータソフトウエア。
【請求項２５】
請求項２２において、該抽出する命令が、
該フォアグラウンド部分と共に表示される該境界領域の該部分におけるピクセルの不透明度を決定し、
スレッシュホールド値より大きな不透明度を有するピクセルに対する不透明度を変化させる、
ための命令を包含していることを特徴とするコンピュータソフトウエア。
【請求項２６】
請求項２２において、該境界が第一境界であり、更に、本コンピュータソフトウエアが、
該第一デジタル画像における該バックグラウンド部分と第二フォアグラウンド部分との間の第二境界を包含する第三境界領域を画定する第三入力を受取り、該第三境界領域は更に該バックグラウンド部分の一部のみと該第二フォアグラウンド部分の一部のみとを包含しており、
該第二デジタル画像における該第二境界領域を包含する第四境界領域を画定する第四入力を受取り、該第四境界領域は更に該バックグラウンド部分の一部のみと該第二フォアグラウンド部分の一部のみとを包含しており、
該中間のデジタル画像に対して該第二フォアグラウンド部分に対する中間境界領域を画定するために該第三及び第四境界領域の間で補間する、
上記動作を実施するための命令を包含していることを特徴とするコンピュータソフトウエア。
【請求項２７】
請求項２２において、更に、
第一内部境界領域を画定する入力を受取り、該第一内部境界領域は、第一デジタル画像において、該第一境界領域によって取囲まれており、
第二内部境界領域を画定する入力を受取り、該第二内部境界領域は、第二デジタル画像において、該第二境界領域によって取囲まれており、
該第一及び第二デジタル画像に対して時間的に中間にある画像に対する中間内部境界領域を補間し、
該デジタルビデオにおいて該バックグラウンド部分から該フォアグラウンド部分をマスキングするために該第一、第二、中間境界領域、及び該第一内部、第二内部、中間内部境界領域を使用する、
上記動作を実施するための命令を包含していることを特徴とするコンピュータソフトウエア。
【請求項２８】
デジタルビデオのバックグラウンド部分からフォアグラウンド部分をマスキングするためにコンピュータ読取可能媒体又は伝播搬送信号内にタンジブルに実現されているコンピュータソフトウエアにおいて、
デジタルビデオを画定するデジタル画像のシーケンスの一つである初期的画像のフォアグランド部分とバックグランド部分との間の境界を包含する初期的境界領域を画定する入力を受取り、該初期的境界領域が更に該バックグラウンド部分の一部のみと該フォアグラウンド部分の一部のみとを包含しており、
該初期的境界領域に基づいて該デジタル画像のシーケンスの別のデジタル画像に対する境界領域を自動的に発生し、該自動的に発生される境界領域が該他のデジタル画像における該境界と、該フォアグランド部分の一部のみと、該バックグラウンド部分の一部のみとを包含しており、
該デジタルビデオにおける該バックグラウンド部分から該フォアグラウンド部分をマスキングするために該初期的及び該自動的に発生した境界領域を使用する、
上記動作を実施するための命令を包含していることを特徴とするコンピュータソフトウエア。
【請求項２９】
請求項２８において、更に、
該第一、第二、中間境界領域におけるピクセルに対する本来的なカラー値を推定し、
該バックグラウンド部分から該フォアグラウンド部分を抽出するために該推定した本来的なカラー値を使用する、
上記動作を実施するための命令を包含していることを特徴とするコンピュータソフトウエア。
【請求項３０】
請求項２８において、該バックグラウンド部分から該フォアグラウンド部分をマスキングするために該初期的及び該自動的に発生した境界領域を使用するための該命令が、
該フォアグラウンド部分及び該境界領域の一部をマスクし、
該境界領域の該部分に対してガウシアンぼかしを適用する、
ための命令を包含していることを特徴とするコンピュータソフトウエア。
【請求項３１】
請求項２８において、該バックグラウンド部分から該フォアグラウンド部分をマスキングするために該初期的及び該自動的に発生した境界領域を使用するための該命令が、
該フォアグラウンド部分及び該境界領域の一部をマスクし、
該フォアグラウンド部分と共に表示される該境界領域の該部分におけるピクセルの不透明度を決定し、
スレッシュホールド値より大きな不透明度を有しているピクセルに対する不透明度を変化させる、
ための命令を包含していることを特徴とするコンピュータソフトウエア。
【請求項３２】
請求項２８において、該境界が第一境界であり、更に、
該初期的デジタル画像の該バックグランド部分と第二フォアグラウンド部分との間の第二境界を包含する第二初期的境界領域を画定する入力を受取り、該第二初期的境界領域は更に第二フォアグラウンド部分の１部のみと該バックグラウンド部分の一部のみとを包含しており、
該第二初期的境界領域に基づいて該他のデジタル画像に対する第二境界領域を自動的に発生し、該自動的に発生される第二境界領域は該他のデジタル画像における該第二境界と、該第二フォアグランド部分の一部のみと、該バックグラウンド部分の一部のみとを包含しており、
該デジタルビデオにおける該バックグラウンド部分から該第二フォアグラウンド部分をマスキングするために該第二初期的及び該自動的に発生した第二境界領域を使用する、
上記動作を実施するための命令を包含していることを特徴とするコンピュータソフトウエア。
【請求項３３】
請求項２８において、更に、
初期的内部境界領域を画定する入力を受取り、該初期的内部境界領域が、第一デジタル画像において、該初期的境界領域によって取囲まれており、
該初期的内部境界領域に基づいて時間的系列における別の画像に対する内部境界領域を自動的に発生し、
該デジタルビデオにおける該バックグラウンド部分から該フォアグラウンド部分をマスキングするために該初期的内部及び該自動的に発生した内部境界領域を使用する、
上記動作を実施するための命令を包含していることを特徴とするコンピュータソフトウエア。
【請求項３４】
請求項２８において、別のデジタル画像に対する境界領域を自動的に発生する該命令が、
該初期的境界領域におけるエッジ経路を識別し、該エッジ経路は該初期的デジタル画像における該フォアグラウンド部分のエッジを表わし、
自動的に発生した境界領域におけるエッジ経路を識別し、該エッジ経路は該別のデジタル画像における該フォアグラウンド部分のエッジを表わし、
該デジタル画像と該別のデジタル画像との間のエッジ経路変換を決定し、
該別のデジタル画像における境界領域を発生するために該初期的デジタル画像における該内側経路及び該外側経路に対して該エッジ経路変換を適用する、
ための命令を包含していることを特徴とするコンピュータソフトウエア。
【請求項３５】
請求項３４において、該別の自動的に発生した境界領域における該エッジ経路を識別するための該命令が、
前に識別したエッジ経路に関して動作するスネークアルゴリズムを使用して該エッジ経路を識別する、
ための命令を包含していることを特徴とするコンピュータソフトウエア。
【請求項３６】
請求項３４において、該初期的境界領域におけるエッジ経路を識別するための該命令が、
スレッシュホールド値を超える画像勾配値を有する該境界領域における点を見つけ出す、
ための命令を包含していることを特徴とするコンピュータソフトウエア。
【請求項３７】
請求項３６において、更に、
該初期的境界領域における各カラーチャンネルに対する画像勾配値を計算する、
ための命令を包含していることを特徴とするコンピュータソフトウエア。
【請求項３８】
請求項３４において、該初期的境界領域におけるエッジ経路を識別するための該命令が、
該内側経路及び該外側経路をコピーし、
該内側経路及び該外側経路の該コピーを互いに向かって且つスネークアルゴリズムを使用して該フォアグラウンド部分のエッジに向かって移動させ、
該内側経路のコピーと該外側経路のコピーとが１つの経路に収束する経路して該エッジ経路を識別する、
ための命令を包含していることを特徴とするコンピュータソフトウエア。
【請求項３９】
請求項３４において、エッジ経路変換を決定するための該命令が、
１組の局所的エッジ経路変換を決定し、該１組の局所的エッジ経路変換が一体となって該エッジ経路変換を形成する、
ための命令を包含していることを特徴とするコンピュータソフトウエア。
【請求項４０】
請求項３９において、１組の局所的エッジ経路変換を決定するための該命令が、
該エッジ経路における各点に対する局所的エッジ経路変換を決定する、
ための命令を包含していることを特徴とするコンピュータソフトウエア。
【請求項４１】
請求項３９において、１組の局所的エッジ経路変換を決定するための該命令が、
該１組の局所的エッジ経路変換における各局所的エッジ経路変換に対する並進、回転、スケーリングを決定する、
ための命令を包含していることを特徴とするコンピュータソフトウエア。
【請求項４２】
請求項３４において、該内側及び外側経路に対して該エッジ経路変換を適用する該命令が、
該内側経路における各点に対して且つ該外側経路における各点に対して１組の局所的変換を適用する、
ための命令を包含しており、該１組の局所的変換が該エッジ経路変換を形成していることを特徴とするコンピュータソフトウエア。
【請求項４３】
請求項４２において、１組の局所的変換を適用する該命令が、
該内側経路及び該外側経路の各局所的変換として並進、回転、スケーリングを適用する、
ための命令を包含していることを特徴とするコンピュータソフトウエア。