(57)【要約】  前景判定の技法が、フレーム間で変化しているよみなされる画素を解析する段階と、フラクタル方法に基づくフィルタリング技法を適用する段階とを含む。実装には、１及びそれより大きい次元の構造を保持しつつ、１より小さい次元の構造を除去するよう設計されたフィルタの適用が含まれる。本技法は、リアルタイムで実行されてよく、前景判定技法及び画像セグメンテーション技法に可変閾値を活用する。
2018508910.tif 000002
【特許請求の範囲】
【請求項１】
前景検出の方法であって、
一組の画素を有する現画像と、一組の画素を有し、当該画素のうち少なくとも１つが前記現画像の前記一組の画素のうち少なくとも１つに対応する、第１の前画像と、一組の画素を有し、当該画素のうち少なくとも１つが前記現画像及び前記第１の前画像のそれぞれにおいて少なくとも１つの画素に対応する、第２の前画像とを含む一組のデジタル画像を受信する段階と、
前記現画像に対応するセグメントマップを受信する段階であって、前記セグメントマップは前記現画像の少なくとも１つのセグメントを画定する、段階と、
前景表示マップを構築する段階であって、前記前景表示マップは一組の画素を含み、前記前景表示マップの前記一組の画素のそれぞれは、前記現画像の前記一組の画素のうちの１つに対応し、前記前景表示マップの前記一組の画素のそれぞれは、前景又は背景に対応する初期分類を含む、段階と、
少なくとも１のフラクタル次元を有する構造を保持するフィルタを適用することにより、前記前景表示マップをフィルタリングすることでフィルタリングされた前景表示マップを構築する段階と、
前記フィルタリングされた前景表示マップに基づいて、前記少なくとも１つのセグメントを前景セグメント又は背景セグメントであると特定する段階と
を備える方法。
【請求項２】
前記前景表示マップを構築する段階は、
周囲の背景画像を構築する段階と、
一組の画素を含む差分画像を構築する段階と
を含み、
前記差分画像の各画素は、前記周囲の背景画像内の対応する画素と前記現画像内の対応する画素との間の差分を示す、
請求項１に記載の方法。
【請求項３】
前記周囲の背景画像は中央値の背景画像を含み、前記中央値の背景画像は一組の画素を含み、前記中央値の背景画像の前記一組の画素のそれぞれは複数の色成分を有し、前記中央値の背景画像の各画素の各色成分は、前記現画像、前記第１の前画像、及び前記第２の前画像における対応する画素に対応する成分の前記中央値を含む、
請求項２に記載の方法。
【請求項４】
前記前景表示マップはバイナリ前景表示マップ（ＢＦＩＭ）」である、
請求項１から３のいずれか一項に記載の方法。
【請求項５】
前記ＢＦＩＭを構築する段階は、
前記ＢＦＩＭの前記一組の画素のそれぞれについて、差分画像内の対応する画素が閾値を超える差分に対応するかを判定する段階であって、前記閾値は閾値画像内の対応する画素によって示され、前記閾値画像は一組の画素を含み、前記閾値画像の各画素は、画素が画像間で変化してもなお前記背景の一部とみなすことができるだけの量を示す、段階と、
前記ＢＦＩＭの前記一組の画素のそれぞれに初期分類を割り当てる段階であって、前記対応する差分が前記閾値を超える場合、画素の前記初期分類は前景である、段階と
を備える、請求項４に記載の方法。
【請求項６】
前記ＢＦＩＭをフィルタリングする段階は、
隣接合計マップを構築する段階であって、前記隣接合計マップは、前記ＢＦＩＭの前記一組の画素の第１の画素について、第１の隣接合計マップ値及び第２の隣接合計マップ値を含み、前記第１の画素は前景としての初期分類を含む、段階と、
前記第１の画素について、一組のフィルタ基準を前記第１の隣接合計マップ値及び前記第２の隣接合計マップ値に適用する段階と、
前記フィルタ基準が満たされている場合、前記第１の画素について、前景の前記初期分類を保持する段階と
を含む、請求項５に記載の方法。
【請求項７】
前記隣接合計マップを構築する段階は、
前記第１の画素について、第１のボックスハーフサイズｓ１を有し、前記第１の画素の中心にある第１のボックスを特定する段階と、
前記第１の隣接合計マップ値を決定する段階であって、前記第１の隣接合計マップ値は、前記第１のボックスの中に含まれる、前景としての初期分類を有する複数の画素を含む、段階と、
前記第１の画素について、第２のボックスハーフサイズｓ２を有し、前記第１の画素の中心にある第２のボックスを特定する段階と、
前記第２の隣接合計マップ値を決定する段階であって、前記第２の隣接合計マップ値は、前記第２のボックスの中に含まれる、前景としての初期分類を有する複数の画素を含む、段階と
を含む、請求項６に記載の方法。
【請求項８】
ｓ１はｓ２より小さく、前記フィルタ基準が満たされている場合、前記第１の画素に対して前景の前記初期分類を保持する段階は、以下の条件が全て真である場合、前記第１の画素を保持する段階を含み、その条件とは、
前記第１の隣接合計マップ値が、ｓ１と第１の定数との積より大きくない最大の整数より大きいか、又はそれに等しいことと、
前記第２の隣接合計マップ値が、ｓ２と前記第１の定数との積より大きくない最大の整数より大きいか、又はそれに等しいことと、
前記第２の隣接合計マップ値が、ｓ２及びｓ１の間の前記差分と第２の定数との積より大きくない最大の整数と、前記第１の隣接合計マップ値との合計より大きいか、又はそれに等しいことである、
請求項７に記載の方法。
【請求項９】
前記第１の定数は０．９であり、前記第２の定数は０．４である、
請求項８に記載の方法。
【請求項１０】
前記少なくとも１つのセグメントを前景セグメント又は背景セグメントであると特定する段階は、
前記フィルタリングされたＢＦＩＭに基づいて、前記少なくとも１つのセグメントに対応する少なくとも１つの前景測定基準を決定する段階と、
前記少なくとも１つの前景測定基準に基づいて、少なくとも１つの可変閾値を決定する段階と、
前記少なくとも１つの可変閾値を前記フィルタリングされたＢＦＩＭに適用して、前記少なくとも１つのセグメントを前景セグメント又は背景セグメントであると特定する段階と
を含む、請求項５に記載の方法。
【請求項１１】
前記少なくとも１つの前景測定基準を決定する段階は、
前記少なくとも１つのセグメント内の前景画素数を前記少なくとも１つのセグメント内の画素総数で割ることにより、重み付けのない前景面積割合（ＵＦＡＦ）を決定する段階と、
前記少なくとも１つのセグメントの外周部の前景画素数を前記少なくとも１つのセグメントの前記外周部の画素総数で割ることにより、前記外周部の前景割合（ＦＰＦ）を決定する段階と、
前記少なくとも１つのセグメント内の前記画素のそれぞれに可変重み値を適用し、前記少なくとも１つのセグメント内の重み付けされた前景画素数を前記セグメント内の重み付けされた画素総数で割ることにより、重み付けされた前景面積割合（ＷＦＡＦ）を決定する段階と
を含む、請求項１０に記載の方法。
【請求項１２】
前記少なくとも１つの前景測定基準に基づいて、前記少なくとも１つの可変閾値を決定する段階は、
前記ＵＦＡＦに基づいて第１の前景曲線を構築する段階と、
前記ＦＰＦに基づいて第２の前景曲線を構築する段階と、
前記ＷＦＡＦに基づいて第３の前景曲線を構築する段階と、
前記第１の前景曲線と第１の単調減少閾値曲線との交点を決定することで、第１の可変閾値を決定する段階と、
前記第２の前景曲線と第２の単調減少閾値曲線との交点を決定することで、第２の可変閾値を決定する段階と、
前記第３の前景曲線と第３の単調減少閾値曲線との交点を決定することで、第３の可変閾値を決定する段階とを含み、
前記少なくとも１つのセグメントが前記第１の可変閾値、前記第２の可変閾値、又は前記第３の可変閾値を超える場合、前記少なくとも１つのセグメントは前景であると特定される、
請求項１１に記載の方法。
【請求項１３】
前記前景表示マップは非バイナリ前景表示マップ（ＮＢＦＩＭ）である、
請求項１から３のいずれか一項に記載の方法。
【請求項１４】
前記ＮＢＦＩＭを構築する段階は、
正規化された絶対差分画像（ＮＡＤＩ）を構築する段階であって、前記ＮＡＤＩは一組の画素を含み、前記一組の画素のそれぞれは複数の成分を含み、前記ＮＡＤＩの各画素の各成分は、前景閾値画像内の対応する値で割られた差分画像内の対応する値に等しい、段階と、
一組の画素を有する、フィルタリングされていないＮＢＦＩＭを構築する段階であって、前記ＮＢＦＩＭの各画素は、クロマ成分のそれぞれに対して０．５の係数を有する、前記ＮＡＤＩ内の対応する画素の前記複数の成分の平方和の逆双曲線サインに等しい、段階と、
フィルタリングされたＮＢＦＩＭを生成するために、非バイナリのフラクタルベース解析を適用する段階と
を含む、請求項１３に記載の方法。
【請求項１５】
前記ＮＢＦＩＭをフィルタリングする段階は、
隣接合計マップを構築する段階であって、前記隣接合計マップは、前記ＮＢＦＩＭの前記画素のそれぞれについて、第１の隣接合計マップ値及び第２の隣接合計マップ値を含む、段階と、
前記ＮＢＦＩＭの前記画素のそれぞれについて、一組のフィルタ基準を前記第１の隣接合計マップ値及び前記第２の隣接合計マップ値に適用する段階と
を含む、請求項１４に記載の方法。
【請求項１６】
前記隣接合計マップを構築する段階は、
前記ＮＢＦＩＭの前記画素のそれぞれについて、第１のボックスハーフサイズｓ１を有し、前記画素の中心にある、第１のボックスを特定する段階と、
前記第１の隣接合計マップ値を決定する段階であって、前記第１の隣接合計マップ値は前記第１のボックスの中に含まれる前記ＮＢＦＩＭの前記画素の前記値の合計を含む、段階と、
前記ＮＢＦＩＭの前記画素のそれぞれについて、第２のボックスハーフサイズｓ２を有し、前記画素の中心にある、第２のボックスを特定する段階と、
前記第２の隣接合計マップ値を決定する段階であって、前記第２の隣接合計マップ値は、前記第２のボックスの中に含まれる前記ＮＢＦＩＭの前記画素の前記値の合計を含む、段階と
を含む、請求項１５に記載の方法。
【請求項１７】
ｓ１はｓ２より小さく、前記フィルタ基準が満たされている前記ＮＢＦＩＭの前記画素のそれぞれを保持する段階は、以下の条件が全て真である前記ＮＢＦＩＭの前記画素のそれぞれを保持する段階を含み、その条件とは、
前記画素に対応する前記第２の隣接合計マップ値が、第１の可変係数とｓ２との積より大きいか、又はこれに等しいことと、
前記画素に対応する前記第２の隣接合計マップ値が、ｓ２及びｓ１の間の差分と第２の可変係数との積と、前記第１の隣接合計マップ値との合計より大きいか、又はこれに等しいこと
である、請求項１６に記載の方法。
【請求項１８】
前記第１の可変係数は、この反復において前記ＮＢＦＩＭの平均値の３倍を有し、前記第２の可変係数は、この反復において前記ＮＢＦＩＭの平均値の１０倍を有する、
請求項１７に記載の方法。
【請求項１９】
前記少なくとも１つのセグメントを前景セグメント又は背景セグメントとして特定する段階は、
前記フィルタリングされたＮＢＦＩＭに基づいて、前記少なくとも１つのセグメントに対応する少なくとも１つの前景測定基準を決定する段階と、
前記少なくとも１つの前景測定基準に基づいて、少なくとも１つの可変閾値を決定する段階と、
前記少なくとも１つの可変閾値を前記フィルタリングされたＮＢＦＩＭに適用して、前記少なくとも１つのセグメントを前景セグメント又は背景セグメントとして特定する段階と
を含む、請求項１８に記載の方法。
【請求項２０】
前記少なくとも１つの前景測定基準を決定する段階は、前記セグメントの面積で割られた、各セグメントの中の前記フィルタリングされたＮＢＦＩＭの合計を計算する段階を含む、
請求項１９に記載の方法。
【請求項２１】
エッジ強調技法を前記フィルタリングされたＮＢＦＩＭに適用して、移動物体の少なくとも１つのエッジの特定を容易にする段階をさらに備える、
請求項１４に記載の方法。
【請求項２２】
少なくとも１つのコンポーネントをプロセッサにインスタンス化させるためのプログラムであって、
前記少なくとも１つのコンポーネントは、前景検出器を含み、
前記前景検出器は、
一組の画素を有する現画像と、一組の画素を有し、当該画素のうち少なくとも１つが前記現画像の前記一組の画素のうち少なくとも１つに対応する、第１の前画像と、一組の画素を有し、当該画素のうち少なくとも１つが前記現画像及び前記第１の前画像のそれぞれにおいて少なくとも１つの画素に対応する、第２の前画像とを含む一組のデジタル画像を受信し、
前記現画像に対応した、前記現画像の少なくとも１つのセグメントを画定するセグメントマップを受信し、
一組の画素を含む前景表示マップであって、前記前景表示マップの前記一組の画素のそれぞれは、前記現画像内の前記一組の画素のうち１つに対応し、前記前景表示マップの前記一組の画素のそれぞれは、前景又は背景としての初期分類を含む、前景表示マップを構築し、
少なくとも１のフラクタル次元を有する構造を保持するフィルタを適用することで前記前景表示マップをフィルタリングすることにより、フィルタリングされた前景表示マップを構築し、
前記フィルタリングされた前景表示マップに基づいて、前記少なくとも１つのセグメントを前景セグメント又は背景セグメントとして特定する、
プログラム。
【請求項２３】
前記前景表示マップは、非バイナリ前景表示マップ（ＮＢＦＩＭ）である、
請求項２２に記載のプログラム。
【請求項２４】
前景検出を実行するためのシステムであって、
メモリに格納された少なくとも１つのコンポーネントをインスタンス化するプロセッサを有する符号化デバイスを備え、
前記少なくとも１つのコンポーネントは前景検出器を含み、
前記前景検出器は、
一組の画素を有する現画像と、一組の画素を有し、当該画素のうち少なくとも１つが前記現画像の前記一組の画素のうち少なくとも１つに対応する、第１の前画像と、一組の画素を有し、当該画素のうち少なくとも１つが前記現画像及び前記第１の前画像のそれぞれにおいて少なくとも１つの画素に対応する、第２の前画像とを含む一組のデジタル画像を受信し、
前記現画像に対応した、前記現画像の少なくとも１つのセグメントを画定するセグメントマップを受信し、
一組の画素を含む前景表示マップであって、前記前景表示マップの前記一組の画素のそれぞれは、前記現画像内の前記一組の画素のうち１つに対応しており、前記前景表示マップの前記一組の画素のそれぞれは、前景又は背景としての初期分類を含む、前景表示マップを構築し、
少なくとも１のフラクタル次元を有する構造を保持するフィルタを適用することで前記前景表示マップをフィルタリングすることにより、フィルタリングされた前景表示マップを構築し、
前記フィルタリングされた前景表示マップに基づいて、前記少なくとも１つのセグメントを前景セグメント又は背景セグメントとして特定する、
システム。
【請求項２５】
前記前景表示マップは、非バイナリ前景表示マップ（ＮＢＦＩＭ）である、
請求項２４に記載のシステム。
【請求項２６】
前景検出の方法であって、
一組の画素を有する現画像と、一組の画素を有し、当該画素のうち少なくとも１つが前記現画像の前記一組の画素のうち少なくとも１つに対応する、第１の前画像と、一組の画素を有し、当該画素のうち少なくとも１つが前記現画像及び前記第１の前画像のそれぞれにおいて少なくとも１つの画素に対応する、第２の前画像とを含む一組のデジタル画像を受信する段階と、
前景表示マップを構築する段階であって、前記前景表示マップは一組の画素を含み、前記前景表示マップの前記一組の画素のそれぞれは、前記現画像の前記一組の画素のうちの１つに対応し、前記前景表示マップの前記一組の画素のそれぞれは、前景又は背景に対応する初期分類を含む、段階と、
少なくとも１のフラクタル次元を有する構造を保持するフィルタを適用することにより、前記前景表示マップをフィルタリングすることでフィルタリングされた前景表示マップを構築する段階と、
前記フィルタリングされた前景表示マップに基づいて、前記一組の画素のそれぞれを前景画素又は背景画素として特定する段階と
を備える方法。
【請求項２７】
前記前景表示マップは、非バイナリ前景表示マップ（ＮＢＦＩＭ）である、
請求項２６に記載の方法。
【請求項２８】
少なくとも１つのコンポーネントをプロセッサにインスタンス化させるためのプログラムであって、
前記少なくとも１つのコンポーネントは、前景検出器を含み、
前記前景検出器は、
一組の画素を有する現画像と、一組の画素を有し、当該画素のうち少なくとも１つが前記現画像の前記一組の画素のうち少なくとも１つに対応する、第１の前画像と、一組の画素を有し、当該画素のうち少なくとも１つが前記現画像及び前記第１の前画像のそれぞれにおいて少なくとも１つの画素に対応する、第２の前画像とを含む一組のデジタル画像を受信し、
一組の画素を含む前景表示マップであって、前記前景表示マップの前記一組の画素のそれぞれは、前記現画像内の前記一組の画素のうち１つに対応し、前記前景表示マップの前記一組の画素のそれぞれは、前景又は背景としての初期分類を含む、前景表示マップを構築し、
少なくとも１のフラクタル次元を有する構造を保持するフィルタを適用することで前記前景表示マップをフィルタリングすることにより、フィルタリングされた前景表示マップを構築し、
前記フィルタリングされた前景表示マップに基づいて、前記一組の画素のそれぞれを前景画素又は背景画素として特定する、
プログラム。
【請求項２９】
前記前景表示マップは、非バイナリ前景表示マップ（ＮＢＦＩＭ）である、
請求項２８に記載のプログラム。
【請求項３０】
前景検出を実行するためのシステムであって、
メモリに格納された少なくとも１つのコンポーネントをインスタンス化するプロセッサを有する符号化デバイスを備え、
前記少なくとも１つのコンポーネントは前景検出器を含み、
前記前景検出器は、
一組の画素を有する現画像と、一組の画素を有し、当該画素のうち少なくとも１つが前記現画像の前記一組の画素のうち少なくとも１つに対応する、第１の前画像と、一組の画素を有し、当該画素のうち少なくとも１つが前記現画像及び前記第１の前画像のそれぞれにおいて少なくとも１つの画素に対応する、第２の前画像とを含む一組のデジタル画像を受信し、
一組の画素を含む前景表示マップであって、前記前景表示マップの前記一組の画素のそれぞれは、前記現画像内の前記一組の画素のうち１つに対応しており、前記前景表示マップの前記一組の画素のそれぞれは、前景又は背景としての初期分類を含む、前景表示マップを構築し、
少なくとも１のフラクタル次元を有する構造を保持するフィルタを適用することで前記前景表示マップをフィルタリングすることにより、フィルタリングされた前景表示マップを構築し、
前記フィルタリングされた前景表示マップに基づいて、前記一組の画素のそれぞれを前景画素又は背景画素として特定する、
システム。
【請求項３１】
前記前景表示マップは、非バイナリ前景表示マップ（ＮＢＦＩＭ）である、
請求項３０に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願の相互参照］  本出願は、２０１５年３月１７日に出願された米国仮出願第６２／１３４，５３４号、及び２０１５年６月１１日に出願された米国出願第１４／７３７，４１８号の優先権を主張し、これらのそれぞれの全体は、あらゆる目的のために参照によって本明細書によりここに組み込まれる。
【背景技術】
【０００２】
ビデオシーケンスのどの部分が何らかの所望の目的のために「重要」であるかを判定する場合に、計算リソースを効率的に割り当てる手段、及び誤検出を低減する方法の両方を前景検出が提供する。前景検出に関する従来からの多くの方法は、フレーム間の画素値の変化を考慮に入れる。中央値フィルタなど、フィルタリングに関するいくつかの方法が用いられることが多く、これらの方法は例えば、「Ｂａｃｋｇｒｏｕｎｄ  Ｍｏｄｅｌｉｎｇ  ａｎｄ  Ｆｏｒｅｇｒｏｕｎｄ  Ｄｅｔｅｃｔｉｏｎ  ｆｏｒ  Ｖｉｄｅｏ  Ｓｕｒｖｅｉｌｌａｎｃｅ」の第１章である、Ｐ−Ｍ．Ｊｏｄｏｉｎ、Ｓ．Ｐｉｅｒａｒｄ、Ｙ．Ｗａｎｇ、及びＭ．Ｖａｎ  Ｄｒｏｏｇｅｎｂｒｏｅｃｋを著者とする「Ｏｖｅｒｖｉｅｗ  ａｎｄ  Ｂｅｎｃｈｍａｒｋｉｎｇ  ｏｆ  Ｍｏｔｉｏｎ  Ｄｅｔｅｃｔｉｏｎ  Ｍｅｔｈｏｄｓ」に説明されており、これは、あらゆる目的のためにその全体の参照によって本明細書に組み込まれる。ごく最近になって開発された手法は、ビデオフレームの一部に適用されるフラクタル測定の使用であり、ジョイントヒストグラムのフラクタル次元が、局所的な照明の変化と異なる前後関係から見た変化を示唆する。ここでは、ボックスカウント法を用いて次元が測定され、これは、Ｍ．Ｅ．Ｆａｒｍｅｒを著者とする「Ａ  Ｃｈａｏｓ  Ｔｈｅｏｒｅｔｉｃ  Ａｎａｌｙｓｉｓ  ｏｆ  Ｍｏｔｉｏｎ  ａｎｄ  Ｉｌｌｕｍｉｎａｔｉｏｎ  ｉｎ  Ｖｉｄｅｏ  Ｓｅｑｕｅｎｃｅｓ（Ｊｏｕｒｎａｌ  ｏｆ  Ｍｕｌｔｉｍｅｄｉａ，Ｖｏｌ．２，Ｎｏ．２，２００７，ｐｐ．５３−６４）」、及びＭ．Ｅ．Ｆａｒｍｅｒを著者とする「Ｒｏｂｕｓｔ  Ｐｒｅ−Ａｔｔｅｎｔｉｖｅ  Ａｔｔｅｎｔｉｏｎ  Ｄｉｒｅｃｔｉｏｎ  Ｕｓｉｎｇ  Ｃｈａｏｓ  Ｔｈｅｏｒｙ  ｆｏｒ  Ｖｉｄｅｏ  Ｓｕｒｖｅｉｌｌａｎｃｅ（Ａｐｐｌｉｅｄ  Ｍａｔｈｅｍａｔｉｃｓ，４，２０１３，ｐｐ．４３−５５）」においてＦａｒｍｅｒが説明しており、これらの文献のそれぞれは、あらゆる目的のためにその全体の参照により本明細書に組み込まれる。明確に自己相似の構造を画像の物理空間において探索することも、画像の重要な部分を見つけるのにうまく用いられており、このことは、Ｈ．Ｌｉ、Ｋ．Ｊ．Ｒ．Ｌｕｉ、及びＳ−Ｃ．Ｂ．Ｌｏを著者とする「Ｆｒａｃｔａｌ  Ｍｏｄｅｌｉｎｇ  ａｎｄ  Ｓｅｇｍｅｎｔａｔｉｏｎ  ｉｎ  ｔｈｅ  Ｅｎｈａｎｃｅｍｅｎｔ  ｏｆ  Ｍｉｃｒｏｃａｌｃｉｆｉｃａｔｉｏｎｓ  ｉｎ  Ｄｉｇｉｔａｌ  Ｍａｍｍｏｇｒａｍｓ（メリーランド大学カレッジパーク校（メリーランド州、郵便番号２０７４２）のシステムリサーチ研究所（Ｉｎｓｔｉｔｕｔｅ  ｆｏｒ  Ｓｙｓｔｅｍｓ  Ｒｅｓｅａｒｃｈ）による１９９７年のレポート）」に説明されており、この文献は、あらゆる目的のためにその全体の参照により本明細書に組み込まれる。
【発明の概要】
【０００３】
実施形態は、フレーム間の変化とみなされる画素の解析、及びフラクタル解析方法に基づくフィルタリング技法の適用を含む、前景検出の技法を容易にする。実装には、１及びそれより大きい次元の構造を保持しつつ、１より小さい次元の構造を除去するよう設計されたフィルタの適用が含まれる。本技法の実施形態は、リアルタイムで実行され、前景検出技法及び画像セグメンテーション技法に可変閾値を活用することができる。
【０００４】
実施例１において、前景検出の方法が、一組の画素を有する現画像と、一組の画素を有し、当該画素のうち少なくとも１つが現画像の一組の画素のうち少なくとも１つに対応する、第１の前画像と、一組の画素を有し、当該画素のうち少なくとも１つが現画像及び第１の前画像のそれぞれにおいて少なくとも１つの画素に対応する、第２の前画像とを含む一組のデジタル画像を受信する段階と、現画像に対応するセグメントマップを受信する段階であって、セグメントマップは現画像の少なくとも１つのセグメントを画定する、段階と、前景表示マップを構築する段階であって、前景表示マップは一組の画素を含み、前景表示マップの一組の画素のそれぞれは、現画像の一組の画素のうちの１つに対応し、前景表示マップの一組の画素のそれぞれは、前景又は背景に対応する初期分類を含む、段階と、少なくとも１のフラクタル次元を有する構造を保持するよう構成されたフィルタを適用することにより、前景表示マップをフィルタリングすることでフィルタリングされた前景表示マップを構築する段階と、フィルタリングされた前景表示マップに基づいて、少なくとも１つのセグメントを前景セグメント又は背景セグメントであると特定する段階とを備える。
【０００５】
実施例１の方法である実施例２において、前景表示マップを構築する段階は、周囲の背景画像を構築する段階と、一組の画素を含む差分画像を構築する段階とを含み、差分画像の各画素は、周囲の背景画像内の対応する画素と現画像内の対応する画素との間の差分を示す。
【０００６】
実施例２の方法である実施例３において、周囲の背景画像は中央値の背景画像を含み、中央値の背景画像は一組の画素を含み、中央値の背景画像の一組の画素のそれぞれは複数の色成分を有し、中央値の背景画像の各画素の各色成分は、現画像、第１の前画像、及び第２の前画像における対応する画素の対応する成分の中央値を含む。
【０００７】
実施例１から３のいずれかの方法である実施例４において、前景表示マップはバイナリ前景表示マップ（ＢＦＩＭ）である。
【０００８】
実施例４の方法である実施例５において、ＢＦＩＭを構築する段階は、ＢＦＩＭの一組の画素のそれぞれについて、差分画像内の対応する画素が閾値を超える差分に対応するかを判定する段階であって、閾値は閾値画像内の対応する画素によって示され、閾値画像は一組の画素を含み、閾値画像の各画素は、画素が画像間で変化してもなお背景の一部とみなすことができるだけの量を示す、段階と、ＢＦＩＭの一組の画素のそれぞれに初期分類を割り当てる段階であって、対応する差分が閾値を超える場合、画素の初期分類は前景である、段階とを備える。
【０００９】
実施例５の方法である実施例６において、ＢＦＩＭをフィルタリングする段階は、隣接合計マップを構築する段階であって、隣接合計マップは、ＢＦＩＭの一組の画素の第１の画素について、第１の隣接合計マップ値及び第２の隣接合計マップ値を含み、第１の画素は前景としての初期分類を含む、段階と、第１の画素について、一組のフィルタ基準を第１の隣接合計マップ値及び第２の隣接合計マップ値に適用する段階と、フィルタ基準が満たされている場合、第１の画素について、前景の初期分類を保持する段階とを含む。
【００１０】
実施例６の方法である実施例７において、隣接合計マップを構築する段階は、第１の画素について、第１のボックスハーフサイズｓ１を有し、第１の画素の中心にある第１のボックスを特定する段階と、第１の隣接合計マップ値を決定する段階であって、第１の隣接合計マップ値は、第１のボックスの中に含まれる、前景としての初期分類を有する複数の画素を含む、段階と、第１の画素について、第２のボックスハーフサイズｓ２を有し、第１の画素の中心にある第２のボックスを特定する段階と、第２の隣接合計マップ値を決定する段階であって、第２の隣接合計マップ値は、第２のボックスの中に含まれる、前景としての初期分類を有する複数の画素を含む、段階とを含む。
【００１１】
実施例７の方法である実施例８において、ｓ１はｓ２より小さく、フィルタ基準が満たされている場合、第１の画素に対して前景の初期分類を保持する段階は、以下の条件が全て真である場合、第１の画素を保持する段階を含み、その条件とは、第１の隣接合計マップ値が、ｓ１と第１の定数との積より大きくない最大の整数より大きいか、又はそれに等しいことと、第２の隣接合計マップ値が、ｓ２と第１の定数との積より大きくない最大の整数より大きいか、又はそれに等しいことと、第２の隣接合計マップ値が、ｓ２及びｓ１の間の差分と第２の定数との積より大きくない最大の整数と、第１の隣接合計マップ値との合計より大きいか、又はそれに等しいことである。
【００１２】
実施例８の方法である実施例９において、第１の定数は０．９であり、第２の定数は０．４である。
【００１３】
実施例４から９のいずれかの方法である実施例１０において、少なくとも１つのセグメントを前景セグメント又は背景セグメントであると特定する段階は、フィルタリングされたＢＦＩＭに基づいて、少なくとも１つのセグメントに対応する少なくとも１つの前景測定基準を決定する段階と、少なくとも１つの前景測定基準に基づいて、少なくとも１つの可変閾値を決定する段階と、少なくとも１つの可変閾値をフィルタリングされたＢＦＩＭに適用して、少なくとも１つのセグメントを前景セグメント又は背景セグメントであると特定する段階とを含む。
【００１４】
実施例１０の方法である実施例１１において、少なくとも１つの前景測定基準を決定する段階は、少なくとも１つのセグメント内の前景画素数を少なくとも１つのセグメント内の画素総数で割ることにより、重み付けのない前景面積割合（ＵＦＡＦ）を決定する段階と、少なくとも１つのセグメントの外周部の前景画素数を少なくとも１つのセグメントの外周部の画素総数で割ることにより、外周部の前景割合（ＦＰＦ）を決定する段階と、少なくとも１つのセグメント内の画素のそれぞれに可変重み値を適用し、少なくとも１つのセグメント内の重み付けされた前景画素数をセグメント内の重み付けされた画素総数で割ることにより、重み付けされた前景面積割合（ＷＦＡＦ）を決定する段階とを含む。
【００１５】
実施例１１の方法である実施例１２において、少なくとも１つの前景測定基準に基づいて、少なくとも１つの可変閾値を決定する段階は、ＵＦＡＦに基づいて第１の前景曲線を構築する段階と、ＦＰＦに基づいて第２の前景曲線を構築する段階と、ＷＦＡＦに基づいて第３の前景曲線を構築する段階と、第１の前景曲線と第１の単調減少閾値曲線との交点を決定することで、第１の可変閾値を決定する段階と、第２の前景曲線と第２の単調減少閾値曲線との交点を決定することで、第２の可変閾値を決定する段階と、第３の前景曲線と第３の単調減少閾値曲線との交点を決定することで、第３の可変閾値を決定する段階とを含み、少なくとも１つのセグメントが第１の可変閾値、第２の可変閾値、又は第３の可変閾値を超える場合、少なくとも１つのセグメントは前景であると特定される。
【００１６】
実施例１から３のいずれかの方法である実施例１３において、前景表示マップは非バイナリ前景表示マップ（ＮＢＦＩＭ）である。
【００１７】
実施例１３の方法である実施例１４において、ＮＢＦＩＭを構築する段階は、正規化された絶対差分画像（ＮＡＤＩ）を構築する段階であって、ＮＡＤＩは一組の画素を含み、一組の画素のそれぞれは複数の成分を含み、ＮＡＤＩの各画素の各成分は、前景閾値画像内の対応する値で割られた差分画像内の対応する値に等しい、段階と、一組の画素を有する、フィルタリングされていないＮＢＦＩＭを構築する段階であって、ＮＢＦＩＭの各画素は、クロマ成分のそれぞれに対して０．５の係数を有する、ＮＡＤＩ内の対応する画素の複数の成分の平方和の逆双曲線サインに等しい、段階と、フィルタリングされたＮＢＦＩＭを生成するために、非バイナリのフラクタルベース解析を適用する段階とを含む。
【００１８】
実施例１４の方法である実施例１５において、ＮＢＦＩＭをフィルタリングする段階は、隣接合計マップを構築する段階であって、隣接合計マップは、ＮＢＦＩＭの画素のそれぞれについて、第１の隣接合計マップ値及び第２の隣接合計マップ値を含む、段階と、ＮＢＦＩＭの画素のそれぞれについて、一組のフィルタ基準を第１の隣接合計マップ値及び第２の隣接合計マップ値に適用する段階とを含む。
【００１９】
実施例１５の方法である実施例１６において、隣接合計マップを構築する段階は、ＮＢＦＩＭの画素のそれぞれについて、第１のボックスハーフサイズｓ１を有し、画素の中心にある、第１のボックスを特定する段階と、第１の隣接合計マップ値を決定する段階であって、第１の隣接合計マップ値は第１のボックスの中に含まれるＮＢＦＩＭの画素の値の合計を含む、段階と、ＮＢＦＩＭの画素のそれぞれについて、第２のボックスハーフサイズｓ２を有し、画素の中心にある、第２のボックスを特定する段階と、第２の隣接合計マップ値を決定する段階であって、第２の隣接合計マップ値は、第２のボックスの中に含まれるＮＢＦＩＭの画素の値の合計を含む、段階とを含む。
【００２０】
実施例１６の方法である実施例１７において、ｓ１はｓ２より小さく、フィルタ基準が満たされているＮＢＦＩＭの画素のそれぞれを保持する段階は、以下の条件が全て真であるＮＢＦＩＭの画素のそれぞれを保持する段階を含み、その条件とは、画素に対応する第２の隣接合計マップ値が、第１の可変係数とｓ２との積より大きいか、又はこれに等しいことと、画素に対応する第２の隣接合計マップ値が、ｓ２及びｓ１の間の差分と第２の可変係数との積と、第１の隣接合計マップ値との合計より大きいか、又はこれに等しいことである。
【００２１】
実施例１７の方法である実施例１８において、第１の可変係数は、この反復においてＮＢＦＩＭの平均値の３倍を有し、第２の可変係数は、この反復においてＮＢＦＩＭの平均値の１０倍を有する。
【００２２】
実施例１８の方法である実施例１９において、少なくとも１つのセグメントを前景セグメント又は背景セグメントとして特定する段階は、フィルタリングされたＮＢＦＩＭに基づいて、少なくとも１つのセグメントに対応する少なくとも１つの前景測定基準を決定する段階と、少なくとも１つの前景測定基準に基づいて、少なくとも１つの可変閾値を決定する段階と、少なくとも１つの可変閾値をフィルタリングされたＮＢＦＩＭに適用して、少なくとも１つのセグメントを前景セグメント又は背景セグメントとして特定する段階とを含む。
【００２３】
実施例１９の方法である実施例２０において、少なくとも１つの前景測定基準を決定する段階は、セグメントの面積で割られた、各セグメントの中のフィルタリングされたＮＢＦＩＭの合計を計算する段階を含む。
【００２４】
実施例１３から２０のいずれかの方法である実施例２１において、エッジ強調技法をフィルタリングされたＮＢＦＩＭに適用して、移動物体の少なくとも１つのエッジの特定を容易にする段階をさらに備える。
【００２５】
実施例２２において、１つ又は複数のコンピュータ可読媒体が、デジタル画像における前景検出のためにそこに具現化されたコンピュータ実行可能命令を有し、命令は、実行されると少なくとも１つのコンポーネントをプロセッサにインスタンス化させるよう構成され、少なくとも１つのコンポーネントは、前景検出器を含み、前景検出器は、一組の画素を有する現画像と、一組の画素を有し、当該画素のうち少なくとも１つが現画像の一組の画素のうち少なくとも１つに対応する、第１の前画像と、一組の画素を有し、当該画素のうち少なくとも１つが現画像及び第１の前画像のそれぞれにおいて少なくとも１つの画素に対応する、第２の前画像とを含む一組のデジタル画像を受信し、現画像に対応した、現画像の少なくとも１つのセグメントを画定するセグメントマップを受信し、一組の画素を含む前景表示マップであって、前景表示マップの一組の画素のそれぞれは、現画像内の一組の画素のうち１つに対応し、前景表示マップの一組の画素のそれぞれは、前景又は背景としての初期分類を含む、前景表示マップを構築し、少なくとも１のフラクタル次元を有する構造を保持するよう構成されたフィルタを適用することで前景表示マップをフィルタリングすることにより、フィルタリングされた前景表示マップを構築し、フィルタリングされた前景表示マップに基づいて、少なくとも１つのセグメントを前景セグメント又は背景セグメントとして特定するよう構成される。
【００２６】
実施例２２の媒体である実施例２３において、前景表示マップは、非バイナリ前景表示マップ（ＮＢＦＩＭ）である。
【００２７】
実施例２４において、前景検出を実行するためのシステムが、メモリに格納された少なくとも１つのコンポーネントをインスタンス化するよう構成されたプロセッサを有する符号化デバイスを備え、少なくとも１つのコンポーネントは前景検出器を含み、前景検出器は、一組の画素を有する現画像と、一組の画素を有し、当該画素のうち少なくとも１つが現画像の一組の画素のうち少なくとも１つに対応する、第１の前画像と、一組の画素を有し、当該画素のうち少なくとも１つが現画像及び第１の前画像のそれぞれにおいて少なくとも１つの画素に対応する、第２の前画像とを含む一組のデジタル画像を受信し、現画像に対応した、現画像の少なくとも１つのセグメントを画定するセグメントマップを受信し、一組の画素を含む前景表示マップであって、前景表示マップの一組の画素のそれぞれは、現画像内の一組の画素のうち１つに対応しており、前景表示マップの一組の画素のそれぞれは、前景又は背景としての初期分類を含む、前景表示マップを構築し、少なくとも１のフラクタル次元を有する構造を保持するよう構成されたフィルタを適用することで前景表示マップをフィルタリングすることにより、フィルタリングされた前景表示マップを構築し、フィルタリングされた前景表示マップに基づいて、少なくとも１つのセグメントを前景セグメント又は背景セグメントとして特定するよう構成される。
【００２８】
実施例２４のシステムである実施例２５において、前景表示マップは、非バイナリ前景表示マップ（ＮＢＦＩＭ）である。
【００２９】
実施例２６において、前景検出の方法が、一組の画素を有する現画像と、一組の画素を有し、当該画素のうち少なくとも１つが現画像の一組の画素のうち少なくとも１つに対応する、第１の前画像と、一組の画素を有し、当該画素のうち少なくとも１つが現画像及び第１の前画像のそれぞれにおいて少なくとも１つの画素に対応する、第２の前画像とを含む一組のデジタル画像を受信する段階と、前景表示マップを構築する段階であって、前景表示マップは一組の画素を含み、前景表示マップの一組の画素のそれぞれは、現画像の一組の画素のうちの１つに対応し、前景表示マップの一組の画素のそれぞれは、前景又は背景に対応する初期分類を含む、段階と、少なくとも１のフラクタル次元を有する構造を保持するよう構成されたフィルタを適用することにより、前景表示マップをフィルタリングすることでフィルタリングされた前景表示マップを構築する段階と、フィルタリングされた前景表示マップに基づいて、一組の画素のそれぞれを前景画素又は背景画素として特定する段階とを備える。
【００３０】
実施例２６の方法である実施例２７において、前景表示マップは、非バイナリ前景表示マップ（ＮＢＦＩＭ）である。
【００３１】
実施例２８において、１つ又は複数のコンピュータ可読媒体が、デジタル画像における前景検出のためにそこに具現化したコンピュータ実行可能命令を有し、命令は、実行されると少なくとも１つのコンポーネントをプロセッサにインスタンス化させるよう構成され、少なくとも１つのコンポーネントは、前景検出器を含み、前景検出器は、一組の画素を有する現画像と、一組の画素を有し、当該画素のうち少なくとも１つが現画像の一組の画素のうち少なくとも１つに対応する、第１の前画像と、一組の画素を有し、当該画素のうち少なくとも１つが現画像及び第１の前画像のそれぞれにおいて少なくとも１つの画素に対応する、第２の前画像とを含む一組のデジタル画像を受信し、一組の画素を含む前景表示マップであって、前景表示マップの一組の画素のそれぞれは、現画像内の一組の画素のうち１つに対応し、前景表示マップの一組の画素のそれぞれは、前景又は背景としての初期分類を含む、前景表示マップを構築し、少なくとも１のフラクタル次元を有する構造を保持するよう構成されたフィルタを適用することで前景表示マップをフィルタリングすることにより、フィルタリングされた前景表示マップを構築し、フィルタリングされた前景表示マップに基づいて、一組の画素のそれぞれを前景画素又は背景画素として特定するよう構成される。
【００３２】
実施例２８の媒体である実施例２９において、前景表示マップは、非バイナリ前景表示マップ（ＮＢＦＩＭ）である。
【００３３】
実施例３０において、前景検出を実行するためのシステムが、メモリに格納された少なくとも１つのコンポーネントをインスタンス化するよう構成されたプロセッサを有する符号化デバイスを備え、少なくとも１つのコンポーネントは前景検出器を含み、前景検出器は、一組の画素を有する現画像と、一組の画素を有し、当該画素のうち少なくとも１つが現画像の一組の画素のうち少なくとも１つに対応する、第１の前画像と、一組の画素を有し、当該画素のうち少なくとも１つが現画像及び第１の前画像のそれぞれにおいて少なくとも１つの画素に対応する、第２の前画像とを含む一組のデジタル画像を受信し、一組の画素を含む前景表示マップであって、前景表示マップの一組の画素のそれぞれは、現画像内の一組の画素のうち１つに対応しており、前景表示マップの一組の画素のそれぞれは、前景又は背景としての初期分類を含む、前景表示マップを構築し、少なくとも１のフラクタル次元を有する構造を保持するよう構成されたフィルタを適用することで前景表示マップをフィルタリングすることにより、フィルタリングされた前景表示マップを構築し、フィルタリングされた前景表示マップに基づいて、一組の画素のそれぞれを前景画素又は背景画素として特定するよう構成される。
【００３４】
実施例３０のシステムである実施例３１において、前景表示マップは、非バイナリ前景表示マップ（ＮＢＦＩＭ）である。
【図面の簡単な説明】
【００３５】
本特許又は出願ファイルは、カラーで作られた少なくとも１つの図面を含む。カラー図面付きの本特許又は特許出願公開のコピーは、要求及び必要な手数料の支払いにより、特許庁によって提供される。
【００３６】
【図１】本発明の実施形態に従って例示の画像システムを示すブロック図である。
【００３７】
【図２】本発明の実施形態に従って、動作環境（及び、いくつかの実施形態では本発明の態様）を示すブロック図である。
【００３８】
【図３】本発明の実施形態に従って前景を検出する例示の方法を示すフロー図である。
【００３９】
【図４】本発明の実施形態に従って、バイナリ前景表示マップ（ＢＦＩＭ）をフィルタリングする例示の方法を示すフロー図である。
【００４０】
【図５】本発明の実施形態に従って、ＢＦＩＭを用いる前景検出の例示の方法を示すフロー図である。
【００４１】
【図６】本発明の実施形態に従って、非バイナリ前景表示マップ（ＮＢＦＩＭ）をフィルタリングする例示の方法を示すフロー図である。
【００４２】
【図７】本発明の実施形態に従って、ＮＢＦＩＭを用いる前景検出の例示の方法を示すフロー図である。
【００４３】
【図８Ａ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の例示的な実装の態様を示す。
【図８Ｂ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の例示的な実装の態様を示す。
【図８Ｃ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の例示的な実装の態様を示す。
【図８Ｄ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の例示的な実装の態様を示す。
【図８Ｅ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の例示的な実装の態様を示す。
【図８Ｆ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の例示的な実装の態様を示す。
【図８Ｇ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の例示的な実装の態様を示す。
【図８Ｈ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の例示的な実装の態様を示す。
【図８Ｉ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の例示的な実装の態様を示す。
【図８Ｊ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の例示的な実装の態様を示す。
【図８Ｋ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の例示的な実装の態様を示す。
【図８Ｌ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の例示的な実装の態様を示す。
【図８Ｍ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の例示的な実装の態様を示す。
【図８Ｎ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の例示的な実装の態様を示す。
【図８Ｏ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の例示的な実装の態様を示す。
【図８Ｐ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の例示的な実装の態様を示す。
【図８Ｑ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の例示的な実装の態様を示す。
【図８Ｒ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の例示的な実装の態様を示す。
【図８Ｓ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の例示的な実装の態様を示す。
【図８Ｔ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の例示的な実装の態様を示す。
【図８Ｕ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の例示的な実装の態様を示す。
【図８Ｖ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の例示的な実装の態様を示す。
【図８Ｗ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の例示的な実装の態様を示す。
【００４４】
【図９Ａ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の別の例示的な実装の態様を示す。
【図９Ｂ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の別の例示的な実装の態様を示す。
【図９Ｃ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の別の例示的な実装の態様を示す。
【図９Ｄ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の別の例示的な実装の態様を示す。
【図９Ｅ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の別の例示的な実装の態様を示す。
【図９Ｆ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の別の例示的な実装の態様を示す。
【図９Ｇ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の別の例示的な実装の態様を示す。
【図９Ｈ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の別の例示的な実装の態様を示す。
【図９Ｉ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の別の例示的な実装の態様を示す。
【図９Ｊ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の別の例示的な実装の態様を示す。
【図９Ｋ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の別の例示的な実装の態様を示す。
【図９Ｌ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の別の例示的な実装の態様を示す。
【図９Ｍ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の別の例示的な実装の態様を示す。
【図９Ｎ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の別の例示的な実装の態様を示す。
【図９Ｏ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の別の例示的な実装の態様を示す。
【図９Ｐ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の別の例示的な実装の態様を示す。
【図９Ｑ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の別の例示的な実装の態様を示す。
【図９Ｒ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の別の例示的な実装の態様を示す。
【図９Ｓ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の別の例示的な実装の態様を示す。
【図９Ｔ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の別の例示的な実装の態様を示す。
【図９Ｕ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の別の例示的な実装の態様を示す。
【図９Ｖ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の別の例示的な実装の態様を示す。
【図９Ｗ】本発明の実施形態に従って、ＢＦＩＭを用いてビデオフレームの前景を検出する方法の別の例示的な実装の態様を示す。
【００４５】
【図１０】本発明の実施形態に従って、ＮＢＦＩＭを用いてビデオフレームの前景を検出する方法の例示的な実装の態様を示す。
【図１１】本発明の実施形態に従って、ＮＢＦＩＭを用いてビデオフレームの前景を検出する方法の例示的な実装の態様を示す。
【図１２】本発明の実施形態に従って、ＮＢＦＩＭを用いてビデオフレームの前景を検出する方法の例示的な実装の態様を示す。
【図１３】本発明の実施形態に従って、ＮＢＦＩＭを用いてビデオフレームの前景を検出する方法の例示的な実装の態様を示す。
【図１４】本発明の実施形態に従って、ＮＢＦＩＭを用いてビデオフレームの前景を検出する方法の例示的な実装の態様を示す。
【図１５】本発明の実施形態に従って、ＮＢＦＩＭを用いてビデオフレームの前景を検出する方法の例示的な実装の態様を示す。
【図１６】本発明の実施形態に従って、ＮＢＦＩＭを用いてビデオフレームの前景を検出する方法の例示的な実装の態様を示す。
【００４６】
本発明は様々な変更及び代替の形態に対応可能であるが、特定の実施形態が例として図面に示されており、以下に詳細に説明される。しかし、本発明は、説明される特定の実施形態に限定されない。それどころか、本発明は、添付の特許請求の範囲により定められた本発明の範囲に含まれる全ての変更形態、均等な形態、及び代替形態を包含するよう意図されている。
【００４７】
「ブロック」という用語が、例として利用される異なる要素を意味するのに本明細書で用いられることがあるが、この用語は、本明細書で開示される様々な段階の中で、又はこれらの間で、明確に個々の段階の順序に言及しない限り、及び、そのように言及する場合を除いて、特定の順序のあらゆる必要条件又は特定の順序を示唆するものと解釈されるべきではない。
【発明を実施するための形態】
【００４８】
本発明の実施形態は、フレーム間のビジュアルコンテンツの実質的な変化を示す画素の特定、及びフラクタル次元法に基づくフィルタリング技法の適用を容易にする前景検出のシステム及び方法を含む。例えば、１又はそれより大きい次元の構造を保持しつつ、１より小さい次元の構造を除去するよう構成されたフィルタが適用されてよい。本明細書で説明される技法の実施形態は、前景検出がリアルタイム（又は、ほぼリアルタイム）に、適度な計算負荷で実行されることを可能にすることができる。本発明の実施形態は、前景検出技法及び画像セグメンテーション技法に可変閾値を利用することもできる。専門用語が本明細書で用いられるとき、「前景検出」（「前景判定」とも区別なく呼ばれる）は、デジタル画像（例えば、写真、ビデオフレームなど）の前景の部分である画素の検出（例えば、特定、分類など）を指す。
【００４９】
図１は、符号化デバイス１０２を有する例示の画像システム１００を示す。符号化デバイス１０２は例として、通信リンク１０６によって画像ソース１０４に結合される。実施形態において、符号化デバイス１０２は例として、通信リンク１０６を介して画像ソース１０４から画像ファイルを受信する。例示的な画像ファイルには、限定されないが、デジタル写真、医療用画像のデジタル画像ファイル、マシンビジョン画像ファイル、ビデオ画像ファイル、及び複数の画素を有するその他の好適な画像が含まれる。符号化デバイス１０２は例として、通信リンク１１０によって受信デバイス１０８に結合される。実施形態において、符号化デバイス１０２は、通信リンク１１０を介して画像ファイルを伝達する。いくつかの実施形態において、通信リンク１０６及び／又は通信リンク１１０は別個に、有線ネットワーク、無線ネットワーク、又は有線ネットワークと無線ネットワークの組み合わせであるか、これらを含むか、これらに含まれる。実施形態において、通信リンク１０６及び１１０の一方又は両方はネットワークである。例示のネットワークには、任意の数の異なるタイプの通信ネットワークが含まれ、例えば、ショートメッセージングサービス（ＳＭＳ）、ローカルエリアネットワーク（ＬＡＮ）、無線ＬＡＮ（ＷＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット、Ｐ２Ｐネットワーク、又は他の好適なネットワークなどがある。ネットワークは、複数のネットワークの組み合わせを含むことができる。
【００５０】
本明細書には例示されていないが、受信デバイス１０８は、符号化デバイス１０２に関連して本明細書で説明されるコンポーネントの任意の組み合わせ、示されても説明されてもいないコンポーネント、及び／又はこれらの組み合わせを含むことができる。実施形態において、符号化デバイス１０２は、２０１２年３月２３日に出願された「ＶＩＤＥＯ  ＥＮＣＯＤＩＮＧ  ＳＹＳＴＥＭ  ＡＮＤ  ＭＥＴＨＯＤ」と題する米国出願第１３／４２８，７０７号、及び／又は、２０１３年４月２３日に出願された「ＭＡＣＲＯＢＬＯＣＫ  ＰＡＲＴＩＴＩＯＮＩＮＧ  ＡＮＤ  ＭＯＴＩＯＮ  ＥＳＴＩＭＡＴＩＯＮ  ＵＳＩＮＧ  ＯＢＪＥＣＴ  ＡＮＡＬＹＳＩＳ  ＦＯＲ  ＶＩＤＥＯ  ＣＯＭＰＲＥＳＳＩＯＮ」と題する米国出願第１３／８６８，７４９号で説明される符号化コンピューティングシステムを含んでよく、又はこれらと類似であってよく、これらの出願のそれぞれの開示は参照により本明細書に明確に組み込まれる。
【００５１】
図２は、本発明の実施形態に従って、動作環境２００（及び、いくつかの実施形態では本発明の態様）を示すブロック図である。動作環境２００は、ビデオデータ２０４を符号化して符号化されたビデオデータ２０６を生成するよう構成することができる符号化デバイス２０２を含む。図２に示されるように、符号化デバイス２０２は、符号化されたビデオデータ２０６を復号化デバイス２０８に通信リンク２１０を介して伝達するよう構成することもできる。実施形態において、通信リンク２１０は、ネットワークであってよく、ネットワークを含んでよく、及び／又はネットワークに含まれてよい。ネットワークは、任意の数の異なるタイプの通信ネットワークであってよく、又はそれらを含んでよい。こうした通信ネットワークは、例えば、ショートメッセージングサービス（ＳＭＳ）、ローカルエリアネットワーク（ＬＡＮ）、無線ＬＡＮ（ＷＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット、Ｐ２Ｐネットワークなどである。ネットワークは、複数のネットワークの組み合わせを含むことができる。
【００５２】
図２に示されるように、符号化デバイス２０２は、プロセッサ２１２、メモリ２１４、入出力（Ｉ／Ｏ）デバイス２１６を含むコンピューティングデバイス上に実装することができる。符号化デバイス２０２は、本明細書において単数形で言及されるが、符号化デバイス２０２は、複数のインスタンスに実装される、複数のコンピューティングデバイスにわたり分散される、複数の仮想マシン内にインスタンス化されるなどであってもよい。実施形態において、プロセッサ２１２はメモリ２１４に格納された様々なプログラムコンポーネントを実行し、これにより、ビデオデータ２０６の符号化を容易にすることができる。実施形態において、プロセッサ２１２は、１つのプロセッサ若しくは複数のプロセッサであってよく、又はこれらを含んでもよい。実施形態において、Ｉ／Ｏデバイス２１６は、任意の数の異なるタイプのデバイスであってよく、又はこれらを含んでもよい。こうしたデバイスは、例えば、モニタ、キーボード、プリンタ、ディスクドライブ、ユニバーサルシリアルバス（ＵＳＢ）ポート、スピーカ、ポインタデバイス、トラックボール、ボタン、スイッチ、タッチスクリーンなどである。
【００５３】
実施形態によると、上述したように、図２に例示される動作環境２００の様々なコンポーネントが、１つ又は複数のコンピューティングデバイス上に実装されてよい。コンピューティングデバイスは、本発明の実施形態を実装するのに好適な任意のタイプのコンピューティングデバイスを含むことができる。コンピューティングデバイスの例には、「ワークステーション」、「サーバ」、「ラップトップ」、「デスクトップ」、「タブレットコンピュータ」、「ハンドヘルド型デバイス」などの汎用のコンピューティングデバイス、又は専用のコンピューティングデバイスが含まれ、これら全ては、動作環境２００の様々なコンポーネントに関連して図１の範囲内で企図される。例えば、実施形態によると、符号化デバイス２０２（及び／又はビデオ復号化デバイス２０８）は、汎用のコンピューティングデバイス（例えば、デスクトップコンピュータ、ラップトップ、モバイルデバイスなど）、特別に設計されたコンピューティングデバイス（例えば、専用のビデオ符号化デバイス）などであってよく、又はこれらを含んでもよい。さらに、本明細書には例示されていないが、復号化デバイス２０８は、符号化デバイス２０２に関連して本明細書に説明されるコンポーネントの任意の組み合わせ、示されても説明されてもいないコンポーネント、及び／又はこれらの組み合わせを含むことができる。
【００５４】
実施形態において、コンピューティングデバイスは、直接及び／又は間接に以下のデバイス、例えば、プロセッサ、メモリ、入出力（Ｉ／Ｏ）ポート、Ｉ／Ｏコンポーネント、及び電源を結合するバスを含む。任意の数の追加のコンポーネント、異なるコンポーネント、及び／又はコンポーネントの組み合わせも、コンピューティングデバイスに含まれてよい。バスは、１つ又は複数のバスになり得るもの（例えば、アドレスバス、データバス、これらの組み合わせなど）を表す。同様に、実施形態において、コンピューティングデバイスは、複数のプロセッサ、複数のメモリコンポーネント、複数のＩ／Ｏポート、複数のＩ／Ｏコンポーネント、及び／又は、複数の電源を含むことができる。さらに、任意の数のこれらのコンポーネント、又はこれらの組み合わせが、複数のコンピューティングデバイスにわたり分散されてよく、及び／又は複製されてよい。
【００５５】
実施形態において、メモリ２１４は、揮発性メモリ及び／又は不揮発性メモリの形態でコンピュータ可読媒体を含み、取り外し可能、取り外しできない、又はこれらの組み合わせであってよい。媒体の例には、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電子的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、光媒体若しくはホログラフィック媒体、磁気カセット、磁気テープ、磁気ディスクストレージ若しくは他の磁気ストレージデバイス、データ通信、又は、情報を格納するのに用いることができ、例えば量子状態メモリなどのコンピューティングデバイスがアクセスできる、その他の媒体が含まれる。実施形態において、メモリ２１４は、プロセッサ２１２に、本明細書で論じられるシステムコンポーネントに関する実施形態の態様を実装させるための、及び／又は、本明細書で論じられる方法及び手順に関する実施形態の態様を実行させるための、コンピュータ実行可能命令を格納する。コンピュータ実行可能命令は、例えば、コンピュータコード、機械が使用可能な命令などを含むことができ、これは例えば、コンピューティングデバイスに関連する１つ又は複数のプロセッサが実行することができるプログラムコンポーネントなどである。そのようなプログラムコンポーネントの例には、セグメンタ２１８、前景検出器２２０、エンコーダ２２２、及び通信コンポーネント２２４が含まれる。本明細書で企図される機能のいくつか若しくは全てが、ハードウェア及び／又はファームウェアに実装されてもよく、又は代替的にそのように実装されてよい。
【００５６】
実施形態において、セグメンタ２１８は、ビデオフレームを複数のセグメントにセグメント化するよう構成することができる。これらのセグメントには、例えば、オブジェクト、グループ、スライス、タイルなどが含まれてよい。セグメンタ２１８は、当分野で知られている任意の数の様々な自動画像セグメンテーション方法を利用することができる。実施形態において、セグメンタ２１８は、画像色及び対応する階調を用いて、類似の色及びテクスチャを有するセグメントに画像を細分化することができる。画像セグメンテーション技法の２つの例には、分水嶺アルゴリズム、及び画素連結性グラフの最適カットパーティショニングが含まれる。例えば、セグメンタ２１８は、最適カットパーティショニングのためにビデオフレーム上のエッジを検出するのにキャニーエッジ検出を用い、結果として生じる画素連結性グラフの最適カットパーティショニングを用いてセグメントを生成することができる。
【００５７】
実施形態において、前景検出器２２０は、ビデオフレーム上で前景検出を実行するよう構成される。例えば、実施形態において、前景検出器２２０はセグメントベースの前景検出を実行することができ、セグメンタ２１８により決定される前景セグメント又はこれらのセグメントの部分は、本明細書で説明される方法の実施形態の１つ又は複数の態様を用いて検出される。実施形態において、前景検出器２２０は、セグメント化されていない画像上で前景検出を実行することができる。実施形態において、前景検出の結果が、セグメンテーションプロセスを通知するために、セグメンタ２１８により用いられてよい。
【００５８】
図２に示されるように、符号化デバイス２０２は、パーティショニングされたビデオフレームのエントロピー符号化のために構成されたエンコーダ２２２、及び通信コンポーネント２２４も含む。実施形態において、通信コンポーネント２２４は、符号化されたビデオデータ２０６を伝達するよう構成される。例えば、実施形態において、通信コンポーネント２２４は、符号化されたビデオデータ２０６の復号化デバイス２０８への伝達を容易にすることができる。
【００５９】
図２に示される例示の動作環境２００は、本発明の実施形態の使用又は機能の範囲に関して、いかなる限定も示唆するように意図されてはいない。例示の動作環境２００は、そこに示される単一のコンポーネント又はコンポーネントの組み合わせに関連した、いかなる依存性も要件も有するものではないと解釈されたい。さらに、図２に示されるコンポーネントのうちいずれか１つ又は複数が、実施形態において、本明細書に示されるその他のコンポーネント（及び／又は、示されていないコンポーネント）のうち様々なものと一体化されてよく、これらの全てが本発明の範囲内にあるとみなされる。
【００６０】
図３は、画像内の前景画素を検出する例示の方法３００を示すフロー図である。実施形態において、方法３００の態様が符号化デバイス（例えば、図１に示される符号化デバイス１０２、及び／又は図２に示される符号化デバイス２０２）によって実行されてよい。図３に示されるように、例示の方法の実施形態３００は、現画像にアクセスする段階（ブロック３０２）と、一組の前画像にアクセスする段階（ブロック３０４）とを含むことができる。実施形態において、現画像及び一組の前画像は、別のデバイス（例えば、メモリデバイス、サーバなど）から符号化デバイスにより受信された１つ又は複数のビデオフレームを含むことができる。実施形態において、一組の最近の画像は、１つの画像、２つの画像、３つの画像、４つの画像、又は４つより多くの画像を含むことができる。実施形態において、前の（例えば最近の）画像は、「現在の」（つい最近の）画像と合わせるように適切に記録され、例えば、全体的な照度の変化に対する補正を含んでいる。こうしたことは、例えば、Ｍ．Ｅ．Ｆａｒｍｅｒを著者とする「Ａ  Ｃｈａｏｓ  Ｔｈｅｏｒｅｔｉｃ  Ａｎａｌｙｓｉｓ  ｏｆ  Ｍｏｔｉｏｎ  ａｎｄ  Ｉｌｌｕｍｉｎａｔｉｏｎ  ｉｎ  Ｖｉｄｅｏ  Ｓｅｑｕｅｎｃｅｓ（Ｊｏｕｒｎａｌ  ｏｆ  Ｍｕｌｔｉｍｅｄｉａ，  Ｖｏｌ．２，Ｎｏ．２，２００７，ｐｐ．５３−６４）」、Ｎ．Ｃｈｕｍｃｈｏｂ及びＫ．Ｃｈｅｎを著者とする「Ａ  Ｒｏｂｕｓｔ  Ａｆｆｉｎｅ  Ｉｍａｇｅ  Ｒｅｇｉｓｔｒａｔｉｏｎ  Ｍｅｔｈｏｄ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｎｕｍｅｒｉｃａｌ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍｏｄｅｌｉｎｇ，Ｖｏｌ．６，Ｎｏ．２，ｐｐ  ３１１−３３４，２００９）」、及び、２００３年１２月１５〜１８日にシンガポールで開催された、情報、通信、及び信号処理に関する第４回国際会議、並びにマルチメディアに関する環太平洋会議（４ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｉｎｆｏｒｍａｔｉｏｎ，  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ  ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  ａｎｄ  Ｐａｃｉｆｉｃ−Ｒｉｍ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍｕｌｔｉｍｅｄｉａ：ＩＣＩＣＳ−ＰＣＭ，２００３）における、Ｓｏｒｗａｒ，Ｇ．、Ｍｕｒｓｈｅｄ，Ｍ．、及びＤｏｏｌｅｙ，Ｌを著者とする「Ｆａｓｔ  ｇｌｏｂａｌ  ｍｏｔｉｏｎ  ｅｓｔｉｍａｔｉｏｎ  ｕｓｉｎｇ  ｉｔｅｒａｔｉｖｅ  ｌｅａｓｔ−ｓｑｕａｒｅ  ｅｓｔｉｍａｔｉｏｎ  ｔｅｃｈｎｉｑｕｅ（２００３）」などに説明されており、これらの文献のそれぞれは、あらゆる目的のために、その全体の参照により本明細書に組み込まれる。このような方法で、一組の画像は、一組の画素を有する現画像と、一組の画素を有し、これらの画素のうち少なくとも１つが現画像の一組の画素のうち少なくとも１つに対応する、第１の前画像と、一組の画素を有し、これらの画素のうち少なくとも１つが現画像及び第１の前画像のそれぞれにおいて少なくとも１つの画素に対応する、第２の前画像とを含むことができる。
【００６１】
例えば、記録カメラがビデオシーケンスの記録中に移動する、又は倍率を変更する場合、実施形態は、シーケンスの背景をある程度の許容精度にフレーム間で少なくとも実質的に適切に位置合わせされたままにできるように、そのような動きを補償する方法を提供することを含む。同様に、ビデオシーケンスに何らかの照明の変化があり、それが例えば、シーンの物理照明の変化に起因する、及び／又はビデオに加えられたフェード効果に起因する場合、そのような効果を補償するために、画像が調整されてよい。
【００６２】
例えば、図８Ａ及び図８Ｂは、ビデオフレーム内の前景を検出するアルゴリズムの実施形態の第１の例示的な実装（「第１の例」）に関連した、例示の前フレームを示す。図８Ａ（左）は、ｎｆｌ＿ｂｕｃｋｙ．ａｖｉ＿３８４ｘ２１６＿４４４．ｙｕｖのフレーム０００１２３を示す。図８Ｂ（右）は、同じシーケンスのフレーム０００１２４を示す。これらのフレームは、現フレーム０００１２５に対して、第２の前フレーム（例えば、「前の前フレーム」）、及び、第１の前フレーム（例えば、「前フレーム」）であり、これらは以下の図において解析される。このシーンには、ごくわずかなカメラの動きと、視聴者に話しかけるほぼ静止した男性とが示されている。
【００６３】
ビデオフレーム内の前景を検出するアルゴリズムの実施形態の第２の例示的な実装（「第２の例」）において、図９Ａ（左）は、ＡＶＣ＿７２０ｐ＿Ｓｔｒｅａｍ２Ｅｎｃｏｄｅｒｓ．ｙ４ｍ＿３２０ｘ１８０＿４４４．ｙｕｖのフレーム００２０４８を示し、これは、ケーブルラブズ研究開発コンソーシアム（ＣａｂｌｅＬａｂｓ  ｒｅｓｅａｒｃｈ  ａｎｄ  ｄｅｖｅｌｏｐｍｅｎｔ  ｃｏｎｓｏｒｔｉｕｍ）の修正されたテストビデオである。図９Ｂ（右）は、同じシーケンスのフレーム００２０４９を示す。このシーンには森の中を歩く女性が示され、カメラがその女性と共に追跡しており、物理前景にある数本の木が、視差に起因して見かけ上の動きを示している。
【００６４】
図３に示されるように、例示の方法の実施形態３００はさらに、現画像の少なくとも１つのセグメントを画定するセグメントマップにアクセスする段階（ブロック３０６）を含むことができ、これは例えば、Ｒ．Ｃ．Ｇｏｎｚａｌｅｚ、Ｒ．Ｅ．Ｗｏｏｄｓを著者とする「Ｉｍａｇｅ  Ｓｅｇｍｅｎｔａｔｉｏｎ（Ｄｉｇｉｔａｌ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，  Ｓｅｃｏｎｄ  Ｅｄｉｔｉｏｎ，  Ｃｈａｐｔｅｒ  １０，  Ｐｒｅｎｔｉｃｅ−Ｈａｌｌ，  Ｉｎｃ，  ２００２ｊ）」、及び、Ｍ．Ｓｏｎｋａ、Ｖ．Ｈｌａｖａｃ、Ｒ．Ｂｏｙｌｅを著者とする「Ｓｅｇｍｅｎｔａｔｉｏｎ  Ｉ（Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，  Ａｎａｌｙｓｉｓ，  ａｎｄ  Ｍａｃｈｉｎｅ  Ｖｉｓｉｏｎ，  Ｃｈａｐｔｅｒ  ６，  Ｔｈｏｍｓｏｎ  Ｌｅａｒｎｉｎｇ，  ２００８）」などに説明されており、これらの文献のそれぞれは、あらゆる目的のために、その全体の参照により本明細書によってここに組み込
まれる。実施形態において、セグメントマップは、その中に現フレームが別個のセグメントに分割されており、アクセスされて（例えば、ストレージから生成され、検索されるなどして）よく、それぞれ異なる可視物体をそれ自体のセグメントとしてフレーム内に含むことができる。実施形態において、セグメントマップは、オーバーセグメンテーション（個々の物体が複数のセグメントに分割される）を含むことができる。実施形態において、セグメントマップは、アンダーセグメンテーション（複数の物体が同じセグメントの部分として連結される）を含むことができる。実施形態によると、前景検出は、誤検出を許容し過ぎて失敗することを含んでよい。
【００６５】
示されるように、例示の方法の実施形態３００は、周囲の背景画像を構築する段階（ブロック３０８）を含むことができる。周囲の背景画像は、変わらない背景に近いものとして用いることができ、任意の数の異なる方法で構築することができる。例えば、実施形態において、周囲の背景画像は一組の画素を含む中央値の背景画像であってよく、中央値の背景画像の一組の画素のそれぞれは複数の色成分を有し、中央値の背景画像の各画素の各色成分は、現画像、第１の前画像、及び第２の前画像における対応する画素の対応する成分の中央値である。実施形態において、周囲の背景画像は他のタイプの平均値（例えば、平均（ｍｅａｎ）及び／又はモード）、内挿値などを用いて構築されてよい。
【００６６】
中央値の背景画像の例が図８Ｄ及び図９Ｄに示されている。例えば、図８Ｃ（左）はフレーム０００１２５を示し、これは、本明細書で説明される第１の例の解析の「現フレーム」である。図８Ｄ（右）は、第１の例の解析に関連した中央値の背景画像を示す。この場合、中央値の画像はフレーム０００１２４とほぼ同一であるが、注意して比較すると、男性の口のあたりにいくつかの変化が示されている。第２の例において、図９Ｃ（左）はフレーム００２０５０を示し、図９Ｄ（右）は中央値の背景画像を示す。
【００６７】
方法の実施形態３００によると、差分画像が構築される（ブロック３１０）。実施形態において、差分画像は一組の画素を含み、差分画像の各画素は、周囲の背景画像内の対応する画素と現画像内の対応する画素との間の差分を示す。実施形態はさらに、前景閾値画像を構築する段階（ブロック３１２）を含む。実施形態において、閾値画像は一組の画素を含み、閾値画像の各画素は、画素が画像間で変化してもなお背景の一部とみなすことができるだけの量を示す。
【００６８】
差分画像及び前景閾値画像の例が、図８Ｅ、図８Ｆ、図９Ｅ、及び図９Ｆに示されている。第１の例において、図８Ｅ（左）は、４倍した差分画像を示す。カラー図面で表した場合、例えば、現フレームと中央値の背景画像との間で、緑成分はＹにおいて４倍の差分を示し、青成分はＣｂにおいて４倍の差分を示し、赤成分はＣｒにおいて４倍の差分を示す。図８Ｆ（右）は前景閾値画像を示す。図８Ｆのカラー版では、緑成分はＹの閾値を示し、青成分はＣｂの閾値を示し、赤成分はＣｒの閾値を示す。
【００６９】
第２の例において、図９Ｅ（左）は４倍した差分画像を示す。図９Ｆ（右）は前景閾値画像を示す。これらの図の意味は、図８Ｅ及び図８Ｆの意味と類似している。女性及び物理前景の２本の木が、差分画像において顕著な輪郭を有することが観察でき、差分画像におけるノイズ低減の研究が有益となり得ることも示唆している。
【００７０】
示されるように、例示の方法の実施形態３００は、前景表示マップ（ＦＩＭ）を構築する段階（ブロック３１４）を含むことができる。前景表示マップは一組の画素を含み、前景表示マップの一組の画素のそれぞれは現画像の一組の画素のうち１つに対応し、前景表示マップの一組の画素のそれぞれは、前景又は背景に対応する初期分類を含む。前景表示マップは、バイナリマップ又は非バイナリマップであってよい。バイナリマップでは、画素のそれぞれは、前景又は背景として分類することができ、非バイナリマップでは、各画素は、前景又は背景と関連した確率の測定値を提供することができ、ここで確率は、画素が前景であるという確率である。方法３００の実施形態において、バイナリ前景表示マップ（ＢＦＩＭ）が用いられてよく、非バイナリ前景表示マップ（ＮＢＦＩＭ）が用いられてよく、又はこれら両方が用いられてよい。
【００７１】
例示の方法３００の実施形態はさらに、ＦＩＭからノイズをフィルタリングすることでフィルタリングされたＦＩＭを構築する段階（ブロック３１６）を含む。実施形態において、ＦＩＭは、意味のある構造を保持しつつ、点在するノイズを除去するためにフィルタリングされる。例えば、ＦＩＭは、移動物体の本体よりも移動物体のエッジをより簡単に示すので、フィルタ処理の間、十分に大きい１次元構造を保持することが望ましい場合がある。ボックスカウントによるフラクタル次元の考え方に動機付けられて、実施形態は、ＦＩＭのボックス領域のサイズ変動に注目すること、及びＦＩＭ内の画素をノイズであると宣言するための様々な基準を用いることを伴う技法を含むことができる。実施形態において、これらの基準は、十分に点在するノイズが除去される間に、いくつかのギャップを有する十分に大きい１次元構造が除去されないように選択することができる。
【００７２】
例示の方法３００の実施形態はさらに、前景セグメントを判定する段階（ブロック３２０）を含むことができる。実施形態によると、少なくとも１つのセグメントを前景セグメント又は背景セグメントであると特定することは、フィルタリングされたＢＦＩＭに基づいて、少なくとも１つのセグメントに対応する少なくとも１つの前景測定基準を決定すること、少なくとも１つの前景測定基準に基づいて、少なくとも１つの可変閾値を決定すること、少なくとも１つの可変閾値をフィルタリングされたＢＦＩＭに適用して、少なくとも１つのセグメントを前景セグメント又は背景セグメントであると特定することを含むことができる。前景検出アルゴリズムの実施形態は現フレームの画像セグメンテーションを活用し、誤検出を許容し過ぎて失敗しつつも、どのセグメントが移動している可能性があるかを決定することを含んでよい。
【００７３】
実施形態において、各セグメントの３つの割合のそれぞれに静的閾値を適用し、これらの閾値のいずれかを超えたあらゆるセグメントを前景にあると宣言することで、前景を検出することができる。実施形態によると、アルゴリズムは、現フレーム内の複数の（例えば、あらゆる）セグメントの前景割合を同時に考慮する可変閾値を用いることができ、経験的に容認された、前景であると宣言されるフレームの面積と閾値との間のトレードオフを提供する。このことは、システムはまれにしか入力を考慮しないという仮定のもとで容認されてよく、この場合、フレーム全体が前景とみなされることが、内容的には正しく、且つ計算的に有益であり、同時に、フレーム全体が背景とみなされるべきである場合は、いくつかの誤検出を許容することに対してほとんどオーバーヘッドがない。
【００７４】
上述したように、例示の方法の実施形態は、バイナリ前景表示マップ（ＢＦＩＭ）を構築する段階を含むことができる。実施形態において、ＢＦＩＭを構築する段階は、ＢＦＩＭの一組の画素のそれぞれについて、差分画像内の対応する画素が閾値を超える差分に対応するかを判定する段階であって、閾値は閾値画像内の対応する画素により示され、閾値画像は一組の画素を含み、閾値画像の各画素は、画素が画像間で変化してもなお背景の一部とみなすことができるだけの量を示す、段階と、ＢＦＩＭ内の一組の画素のそれぞれに初期分類を割り当てる段階であって、対応する差分が閾値を超える場合、画素の初期分類は前景である、段階とを含む。つまり、例えば、実施形態において、差分画像内の対応する画素が、閾値画像内の対応する画素により示される閾値より大きい差分を示す場合、ＢＦＩＭの各画素は１の値を与えられ、そうでなければ、画素は０の値を与えられる。実施形態は、予測される動きなど、前フレームからの任意の利用可能な解析に基づいて、画素が前景としてＢＦＩＭ内にマークされることを可能にすることができる。
【００７５】
ＢＦＩＭの例が図８Ｇ及び９Ｇに示されている。第１の例において、図８Ｇは初期のＢＦＩＭを示す。人体のいくつかの顕著な輪郭が存在するが、画像の全体にわたって点在する多くのノイズ画素も存在することを観察することができる。初期のＢＦＩＭのいくつかの領域が、前フレームから予測される動き情報に基づいて、前景と宣言されていた。
【００７６】
実施形態において、ＢＦＩＭは、意味のある構造を保持しつつ、点在するノイズを除去するためにフィルタリングされる。例えば、移動物体のエッジが物体の本体よりもＢＦＩＭにより簡単に現れるので、フィルタ処理の間、十分に大きい１次元構造を保持することが望ましい場合がある。上述したように、修正されたボックスカウント技法が、ＢＦＩＭをフィルタリングするのに用いられてよい。実施形態によると、修正されたボックスカウント技法を用いることは、隣接合計マップを構築することを含むことができ、隣接合計マップは、ＢＦＩＭ内の一組の画素の第１の画素について、第１の隣接合計マップ値及び第２の隣接合計マップ値を含み、第１の画素は前景としての初期分類を含む。この技法はまた、第１の画素について、一組のフィルタ基準を第１の隣接合計マップ値及び第２の隣接合計マップ値に適用することと、フィルタ基準が満たされている場合、第１の画素の前景に対応する初期分類を保持することを含むことができる。
【００７７】
図４は、本発明の実施形態に従って、ＢＦＩＭをフィルタリングするための例示の方法４００を示す。示されるように、例示の方法４００は、第１のボックスハーフサイズｓ１、及び第２のボックスハーフサイズｓ２の初期値を設定する段階（ブロック４０２）を含む。実施形態において、ｓ２はｓ１の関数であってよい。方法の実施形態４００はさらに、ｓ１用の隣接合計マップ（ＮＳＭ（Ｓ１））を定義する段階（ブロック４０４）と、ｓ２用の隣接合計マップ（ＮＳＭ（Ｓ２））を定義する段階（ブロック４０６）とを含む。実施形態において、ＢＦＩＭ及び所与のボックスハーフサイズについて、任意の所与の画素ｐについて、この技法は、当該画素の中心にある（１＋２×ボックスハーフサイズ）×（１＋２×ボックスハーフサイズ）のサイズのボックスに注目し、次に当該ボックス内に示された前景画素の数をカウントする段階を含み、このカウントが、画素ｐでの隣接合計マップの値である。ＢＦＩＭをフィルタリングするために、隣接合計マップは、２つの異なるボックスハーフサイズ、例えばｓ１及びｓ２を用いて定義され、ｓ１＜ｓ２である。次に、画素を前景として保持するかどうかを判定するために、一組の基準がｓ１及びｓ２の隣接合計マップに適用されてよい。
【００７８】
例えば、図４に示される方法の実施形態４００において、保持される前景画素については、当該画素における隣接合計マップは、以下の条件の全てを満たさなければならない。
（１）ｎｅｉｇｈｂｏｒＳｕｍＭａｐ（ｓ１）≧ｆｌｏｏｒ（Ｃ１×ｓ１）
（２）ｎｅｉｇｈｂｏｒＳｕｍＭａｐ（ｓ２）≧ｆｌｏｏｒ（Ｃ１×ｓ２）
（３）ｎｅｉｇｈｂｏｒＳｕｍＭａｐ（ｓ２）≧ｎｅｉｇｈｂｏｒＳｕｍＭａｐ（ｓ１）＋ｆｌｏｏｒ（Ｃ２×（ｓ２−ｓ１））
【００７９】
実施形態において、これらの条件の全てが検証されてよい。他の実施形態において、図４に示されるように、これらの条件は順次検証されてよく、例えば、これらの条件のうち１つが満たされない場合、不必要な計算を回避する。示されるように、方法４００は、ＮＳＭ（ｓ１）≧ｆｌｏｏｒ（Ｃ１×ｓ１）であるかを判定する段階（ブロック４０８）を含む。この不等式が満たされない場合、画素は前景として保持されない（ブロック４１０）。この不等式が満たされている場合、方法４００は、ＮＳＭ（ｓ２）≧ｆｌｏｏｒ（Ｃ１×ｓ２）であるかを判定する段階（ブロック４１２）を含む。この不等式が満たされない場合、画素は前景として保持されない（ブロック４１０）。この不等式が満たされている場合、方法４００は、ＮＳＭ（ｓ２）≧ＮＳＭ（ｓ１）＋ｆｌｏｏｒ（Ｃ１×（ｓ２−ｓ１））であるかを判定する段階（ブロック４１４）を含む。この不等式が満たされない場合、画素は前景として保持されず（ブロック４１０）、この不等式が満たされている場合、画素は保持される（ブロック４１６）。
【００８０】
図４に示されるように、方法の実施形態４００は、ｓ１及びｓ２の値を変えて、これらの基準を繰り返し適用する段階を含む。つまり、例えば、方法の実施形態４００は、予め定められたｓ１の値の全てが用いられたかを判定する段階を含む（ブロック４１８）。ｓ１の値の全てが用いられた場合、方法４００は終了し（ブロック４２０）、ｓ１の値の全てが用いられていない場合、ｓ１及びｓ２はインクリメントされ、プロセスが繰り返される（ブロック４２２）。「インクリメント」という用語が本明細書で用いられるとき、この用語は次の値を１つの組に割り当てることを指す。一組の値は予め定められる、動的に決定されるなどでよく、値のインクリメントは、前値より低い値、前値より高い値、又は前値と同じ値を割り当てることを含んでよい。実施形態において、例えば、ｓ２＝ｓ１＋３であり、以下の値、つまり｛０、２、４、６、８、０、２、４、６｝が指定された順序でｓ１に用いられてよい。例えば、ｓ１＝０は、第１の反復において１ｘ１及び７ｘ７のサイズのボックスに注目しており、７ｘ７の中に少なくとも２つの画素があることを必要とすることを意味する。フィルタリング技法の例が、図８Ｈ〜図８Ｑ、及び図９Ｈ〜図９Ｑに示されている。
【００８１】
実施形態によると、Ｃ１及びＣ２は、所望の結果を生成するために、経験的証拠、公式などに基づいて選択されてよい。実施形態において、例えば、Ｃ１は０．９であってよく、Ｃ２は０．４であってよい。１よりも小さい係数（０．９及び０．４）は、保持されるよう所望される構造において、いくつかのギャップを許容するのに用いられてよく、実施形態において、ギャップのない構造だけを保持することが望ましい場合、これらの係数は１に増やしてもよいことに留意されたい。さらに、構造の内部ポイントだけを保持し、端部が除去されることを許可することが望ましい場合、これらの係数は２の値に増やすことが可能である。また、実施形態において、これらの必要条件に対するハーフサイズ（ｓ１、ｓ２、及び（ｓ２−ｓ１））の指数は全て１であり、保持される構造に異なる次元が所望される場合は、それに応じて、これらの指数を変更することが可能である。
【００８２】
用いられるｓ１及びｓ２の正確な値については、ｓ２をｓ１より十分に大きくなるようにし、「十分に拡大した必要条件（つまり、必要条件「（３）」）」に対して十分な空間をサンプリングして意味をなすようにすることが望ましい場合がある。また、実施形態において、用いられるべきｓ１及びｓ２の最大値は、フレーム内の物体の期待サイズに依存する。ここに提示される値は、数百画素×数百画素にスケーリングされたビデオシーケンスに対してよく機能する。選択されるｓ１の特定の値については、現在の繰り返しスケジュールは、所望のフィルタリングの妥当な実現を提供し、そのレベルの品質になりやすいことが経験的に分かっており、このスケジュールは、必要とされる最小の仕事量であるように見える。
【００８３】
例えば、図８Ｈは、ノイズ低減の第１の反復（ｓ１＝０）の間のＢＦＩＭの変化を示す。白は、この反復後も存続している画素を示す。除去された画素はグレーで示されている。ｓ１＝０なので、この反復中の除去の基準は基本的に１つだけであり、中央にある７ｘ７のボックスに他の前景画素がなければ除去する。図８Ｉは、第２の反復（ｓ１＝２）の間のＢＦＩＭの変化を示す。ここでも、白は存続しているものを示す。グレーは除去された画素を示す。演色性については、画素が除去された反復に従って、様々な色が、除去された様々な画素を示すのに用いられてよい。例えば、演色性については、濃いグレーが、あらかじめ除去された画素を示す。他の色は、この反復中の除去を示し、Ｒ／Ｇ／Ｂ成分は、どの基準のもとで画素が除去されたかを見分け、Ｒは「（１）ｎｓｍ（ｓ１）＜ｆｌｏｏｒ（０．９×ｓ１）」を示し、Ｇは「（２）ｎｓｍ（ｓ２）＜ｆｌｏｏｒ（０．９×ｓ２）」を示し、Ｂは「（３）ｎｓｍ（ｓ２）＜ｎｓｍ（ｓ１）＋ｆｌｏｏｒ（０．４×（ｓ２−ｓ１））」を示す。例えば、シアンは（２）及び（３）を満たさないが、（１）を満たすことを示す。３つの基準全てを満たさない画素は薄いグレーであるが、そのような画素はここには何もないように見える。
【００８４】
図８Ｊは、第３の反復（ｓ１＝４）の間のＢＦＩＭの変化を示す。この反復の演色性ついては、赤、黄色、薄いグレーの画素がいくつか見える。図８Ｋ〜図８Ｐは、その後の反復（ｓ１＝６、８、０、２、４、６）の間のＢＦＩＭの変化を示す。この場合、最後のいくつかの反復では、ほとんど影響がないように見えるが、実際にはわずかに害を及ぼしているように見える。図９Ｇ〜図９Ｐは、初期のＢＦＩＭ、及び各反復の間の変化を示す。これらの図は、図８Ｇ〜図８Ｐと類似している。反復の間に変化はほとんどない。
【００８５】
図８Ｑは、初期のＢＦＩＭとノイズを低減したＢＦＩＭとの比較を示す。ＢＦＩＭ内の白い画素は、ノイズ低減処理後も存続している画素であり、グレーの画素はノイズ低減処理の間に除去されたものである。画像の全体にわたるノイズの大部分は除去されたが、人体の輪郭はほとんど影響を受けていないことが観察され得る。第２の例において、図９Ｑは、初期のＢＦＩＭと最後のＢＦＩＭとの比較を示す。この場合、フレームのほぼ全体でノイズが目立つ。影の領域の画素の一部は除去されているが、ＢＦＩＭはノイズ低減処理でもほとんど変わっていない。初期のＢＦＩＭのいくつかの領域は、前フレームから予測される動き情報に基づいて、前景であると宣言されたことに留意されたい。
【００８６】
図５は、ＢＦＩＭを用いて前景セグメントを決定するための例示の方法５００を示す。実施形態において、各セグメントに対して、複数の前景測定基準が決定されてよい。例えば、図５に示されるように、方法５００は、（１）（重み付けのない）前景面積割合（ＵＦＡＦ）（ブロック５０２）、（２）外周部の前景割合（ＦＰＦ）（ブロック５０４）、及び（３）重み付けされた前景面積割合（ＷＦＡＦ）（ブロック５０６）を決定する段階を含むことができる。セグメントの（重み付けのない）前景面積割合（ＵＦＡＦ）は、当該セグメントの画素総数で割られた当該セグメントの前景画素数であってよく、前景画素はフィルタリングされたＢＦＩＭにより決定される。同様に、外周部の前景割合（ＦＢＦ）は、当該セグメントの外周部の画素総数で割られた当該セグメントの外周部の前景画素数であってよい。実施形態において、フィルタリングされていないＢＦＩＭが外周部に用いられてよい。重み付けされた前景面積割合（ＷＦＡＦ）は、セグメントの各画素が可変重み値を与えられ得る（例えば、色に関してより大きい空間的変化がある領域の画素が、何らかのキャップ付き上限まで、より高い重みを与えられ得る）ことを除いて、（重み付けのない）前景面積割合（ＵＦＡＦ）と同一であってよい。
【００８７】
重みマップの例が、図８Ｒ及び図９Ｒに示されている。例えば、図８Ｒ及び図９Ｒは、重み付けされた部分に用いられる重みマップを示す。各画素での輝度は当該画素の重みを示し、黒はゼロの重みであり、白は最大の重みである。図８Ｓ及び図９Ｓ（左）は、フレームに提供されるセグメントマップを示す。図８Ｔ及び図９Ｔ（右）は、二重に浸食された（ｅｒｏｄｅｄ）セグメントマップを示し、黒の画素はどのセグメントの一部としてもカウントされていない。
【００８８】
実施形態によると、可変閾値を活用し、ＢＦＩＭを用いて前景を検出するために、各前景割合に１つずつ、３つの前景曲線が構築されてよい。各前景曲線は、この測定基準に対して、面積加重の前景割合の累積分布関数を表すことができる。図５に示されるように、３つの測定基準のそれぞれについて、方法５００は、各セグメントを最も低い前景割合から最も高い前景割合に順序づける段階を含む（ブロック５０８、５１０、及び５１２）。方法５００はさらに、測定基準のそれぞれに対して予備曲線を構築する段階を含む（ブロック５１４、５１６、及び５１８）。例えば、各曲線は、ポイント（０、０）で始まり、次のポイントを（０＋第１のセグメントの面積、第１のセグメントの前景割合）、その後のポイントを（０＋第１のセグメントの面積＋第２のセグメントの面積、第２のセグメントの前景割合）、次に続く各ポイントを（前×値＋次のセグメントの面積、次のセグメントの前景割合）と定義することで構築されてよい。全てのセグメントの総面積でｘ軸が正規化されてよい（ブロック５２０、５２２、及び５２４）。このように、方法の実施形態５００は、（０、０）で始まり、（１、各セグメントのうち最高の前景割合）で終わる、単調増加曲線（ＦＣＵＲＶＥ（ＵＦＡＦ）、ＦＣＵＲＶＥ（ＦＰＦ）、及びＦＣＵＲＶＥ（ＷＦＡＦ））の構築を容易にすることができ、各セグメントは、その面積に比例して曲線の影響を受ける。
【００８９】
実施形態において、方法５００はさらに、各測定基準（ＶＴＨ（ＵＦＡＦ）、ＶＴＨ（ＦＰＦ）、及びＶＴＨ（ＷＦＡＦ））用の可変閾値を決定する段階（ブロック５２６、５２８、及び５３０）を含む。可変閾値は、各前景曲線と指定された単調減少閾値曲線との交点を見いだすことで決定され得る。これらの曲線間に交点がない場合、全てのセグメントは背景であると宣言することができる。発明者らは、閾値曲線を、下記に列挙したポイントを通る直線であると考えて、良い結果を得た。つまり、（重み付けのない）面積閾値曲線（ＶＴＨ（ＵＦＡＦ））は（０、０．８）、（１、０．１）を通り、外周部閾値曲線（ＶＴＨ（ＦＰＦ））は（０、１．０）、（１、０．５）を通り、重み付けされた面積閾値曲線（ＶＴＨ（ＷＦＡＦ））は（０、０．６）、（１、０．２）を通る。方法５００は、可変閾値のいずれかを超えた全てのセグメントを前景に分類する段階（ブロック５３２）、及び、他の全てのセグメントを背景に分類する段階を含むことができる。
【００９０】
多くの場合、優れた移動前景検出が人の検査のもとで可能であるように見える場合、上記の基準は概ねうまく機能している。しかし、小さな前景の動きが上記の基準で検出できないが、人の検査で可能であるという低ノイズの場合がいくつか存在する。これらのケースを処理するために、条件付きの第２のパスが利用されてよい。例えば、前景と宣言された総面積が、セグメントの総面積の２５％未満であるかという判定が行われてよい（ブロック５３４）。２５％未満ではない場合、ブロック５３２で示された分類は保持されてよく（ブロック５３６）、２５％未満である場合には、第２のパスの可変閾値が適用されてよい（ブロック５３８）。
【００９１】
この第２のパスの閾値が、例えば、二重に浸食されたセグメントの（重み付けのない）面積割合にだけ適用されてよく、当該割合はセグメントの浸食されていない面積で正規化されている。（二重に浸食されたセグメントマップの例が図８Ｔ及び図９Ｔに示されている）。すでに実行された第１のパスでも、これから実行される第２のパスでも、閾値は、セグメントの総面積の２５％までが最終的に前景であると宣言されるように選ばれてよいが、例えば０．００５など、下限閾値未満であることは許可されていない。実施形態において、第２のパスは代替的に、（重み付けのない）二重に浸食された前景面積割合曲線と、（０．７５、１．０）、（０．７５、０．００５）、（１、０．００５）を結ぶ線分から構成される区分曲線との交点であると考えることができる。総セグメントの２５％という上限閾値、及び０．００５という下限閾値は、限定されないが、最適化基準、計算負荷基準などを含む任意の数の異なる静的基準及び／又は動的基準に基づいて調整及び／又は選択されてよい。
【００９２】
前景曲線の例、及び第１の例の閾値の決定が、図８Ｕ及び図９Ｕに示されている。例えば、図８Ｕは、前景曲線、閾値曲線、及び計算された可変閾値を示す。プロットの演色性については、赤（８０２）が第１のパスの外周部基準を示し、緑（８０４）が第１のパスの重み付けされた面積基準を示し、青（８０６）が第１のパスの（重み付けのない）面積基準を示し、黄色（８０８）が二重に浸食されたセグメントに適用される第２のパスの面積基準を示す。前景曲線は丸で示され、閾値曲線は四角で示され、取得された可変閾値の値は「×」で示されている。第２の例では、図９Ｕが、前景曲線、閾値曲線、及び可変閾値を示す。この図は図８Ｕに類似しているが、第２のパスが省略されている。前景曲線の形が、図８Ｕに示される場合と非常に異なることに気づかれたい。
【００９３】
前景であると宣言された画像の部分の例が、図８Ｖ、図８Ｗ、図９Ｖ、及び図９Ｗに示されている。第１の例において、図８Ｖ（左）が第１のパスの前景強調画像を示す。強調領域は決定された前景を示し、カラー版のＲ、Ｇ、及びＢの成分のそれぞれが、上記の外周部閾値、重み付けされた面積閾値、及び（重み付けのない）面積閾値をそれぞれ示している。図８Ｗ（右）は、第２のパスの前景強調画像を示す。第１のパスからの前景領域が白で示されている。カラー版では、第２のパスからの前景領域は黄色（８１０）で示されている。第２のパスが、誤検出過多にならずに、人体の残りの大部分を抽出できていることに気づかれたい。
【００９４】
第２の例において、図９Ｖ（左）が、図８Ｖに類似した、第１のパスの前景強調画像を示す。図９Ｗ（右）は第２のパスの前景強調画像を示すが、第２のパスが実行されなかったので、この図は、前景であるとすでに判定された領域を強調しているだけである。好ましくないことに、背景の木の多くが前景であると宣言されていることが観察でき、これらの木が移動物体ではないと判定するために、さらなる解析が必要となり得る。
【００９５】
実施形態において、第２のパスのセグメントの二重浸食は、例えば、隣接セグメントの前景画素及びノイズ低減に及ぼすそれらの影響を完全に無視することと、この目的のためにこれらを十分に考慮することの間の良好なバランスを提供することに起因してよい。
【００９６】
上述したように、前景表示マップ（ＦＩＭ）はバイナリ（ＢＦＩＭ）でも非バイナリ（ＮＢＦＩＭ）でもよく、本明細書で説明される方法の様々な実施形態は、ＢＦＩＭ、ＮＢＦＩＭ、又はこの２つの何らかの組み合わせを用いることができる。上述したように、バイナリ前景表示マップ（ＢＦＩＭ）は、差分画像及び前景閾値画像から計算することができる。前景解析へのさらなる洞察が、非バイナリ前景表示マップ（ＮＢＦＩＭ）を用いることで提供されてよい。非バイナリマップの使用には、変更したフラクタルベースの解析技法が含まれてよい。
【００９７】
ＮＢＦＩＭを構築するために、実施形態は、正規化された絶対差分画像（ＮＡＤＩ）を画像であると定義する段階を含み、各画素の各成分は、前景閾値画像内の対応する値で割られた差分画像内の対応する値に等しい。前景閾値画像は、各画素のそれぞれの成分に対して少なくとも１つの値を有するように構築されてよい。フィルタリングされていないＮＢＦＩＭの各画素は、クロマ成分のそれぞれに対して０．５の係数を有する、正規化された絶対差分画像（ＮＡＤＩ）内の対応する画素の各成分の平方和の逆双曲線サイン（ａｓｉｎｈ）に等しいと定義されてよい。つまり、各画素に対して、
フィルタリングされていないＮＢＦＩＭ＝ａｓｉｎｈ（ＮＡＤＩＹ２＋０．５×ＮＡＤＩＣｂ２＋０．５×ＮＡＤＩＣｒ２）である。ａｓｉｎｈ（）関数は、無限の疑似正規化を提供するのに用いられ、ｘが小さい場合、ａｓｉｎｈ（ｘ）はｘにほぼ等しく、ｘが大きい場合、ａｓｉｎｈ（ｘ）はｌｏｇ（ｘ）にほぼ等しい。
【００９８】
例えば、図１０は、非バイナリ前景表示マップを用いて解析された様々なテストケースの「現フレーム」を示す（全ての副図面は、実際の解像度に関係なく同じ幅になるようにスケーリングされている）。列３行４のケースは、ｎｆｌ＿ｂｕｃｋｙ．ａｖｉ＿３８４ｘ２１６＿４４４．ｙｕｖのフレーム０００１２５であり、図８Ａから図８Ｗにおいて、バイナリ解析のもとで検査された。図１１は、図１０で示された現フレームのそれぞれに対してセグメントマップを示し、ＮＡＤＩのサンプルが図１２に示されている。演色性については、各副図面の緑成分が、ＮＡＤＩの輝度成分の６４倍を示し、２５６の最大値でキャップされている。例えば、１．５というＮＡＤＩの輝度が、この図では９６という緑の値として現れる。同様に、演色性については、この図の青成分及び赤成分が、ＮＡＤＩのＣｂ成分及びＣｒ成分の６４倍を示す。低解像度の魚のケース（列４行２）では、魚とほぼ同じ強さで現れている背景を有することが観察でき、これは、前フレームの現フレームへの不適切な位置合わせが原因である。結果として、このテストケースは、適切に位置合わせされていない画像に適用される場合、本明細書で説明される方法の実施形態の可能な挙動を示すのに役立つ。行３の列３及び列４のケースの位置合わせも損なわれているが、低解像度の魚のケースほどひどくはない。
【００９９】
フィルタリングされていないＮＢＦＩＭのサンプルが、図１３に示されている。演色性については、副図面は「ジェット」カラーマップを用い、フィルタリングされていないＮＢＦＩＭにおいて濃い青が０．０の値に対応し、フィルタリングされていないＮＢＦＩＭにおいて緑が２．０の値に対応し、フィルタリングされていないＮＢＦＩＭにおいて濃い赤が４．０又はそれより高い値に対応する。
【０１００】
非バイナリのフラクタルベース解析が、フィルタリングされていないＮＢＦＩＭからフィルタリングされたＮＢＦＩＭを生成するのに用いられてよい。解析の考え方は、バイナリの場合と同じであってよく、例えば、ボックスサイズに関するｎｅｉｇｈｂｏｒＳｕｍＭａｐにおいて選択された最小線形成長レートに基づいてよいが、バイナリの場合と異なり、成長の係数は反復中のフレーム内の画素の平均値に基づいてよい。
【０１０１】
図６は、本開示の実施形態に従って、ＮＢＦＩＭをフィルタリングする例示の方法６００を示す。示されるように、例示の方法６００は、第１のボックスハーフサイズｓ１の初期値と、第２のボックスハーフサイズｓ２を設定する段階（ブロック６０２）を含む。実施形態において、ｓ２はｓ１の関数であってよい。方法の実施形態６００はさらに、ｓ１の隣接合計マップ（ＮＳＭ（Ｓ１））を定義する段階（ブロック６０４）と、ｓ２の隣接合計マップ（ＮＳＭ（Ｓ２））を定義する段階（ブロック６０６）とを含む。ＮＢＦＩＭ及び所与のボックスハーフサイズについては、任意の所与の画素ｐに対して、この技法は、当該画素の中心にある（１＋２×ボックスハーフサイズ）×（１＋２×ボックスハーフサイズ）のサイズのボックスに注目し、次に当該ボックスの中のＮＢＦＩＭの画素値を合計する段階を含み、この値が画素ｐでの隣接合計マップの値である。ＮＢＦＩＭをフィルタリングするために、隣接合計マップは、２つの異なるボックスハーフサイズ、例えばｓ１及びｓ２を用いて定義され、ｓ１＜ｓ２である。次に、画素を前景として保持するかどうかを判定するために、一組の基準がｓ１及びｓ２の隣接合計マップに適用されてよい。実施形態によると、これらの画素を保持するのに、任意の数の異なる基準が用いられてよい。
【０１０２】
例えば、図６に示される方法６００の実施形態では、保持される前景画素について、当該画素での隣接合計マップは、以下の条件の全てを満たさなければならない。
（１）ｎｅｉｇｈｂｏｒＳｕｍＭａｐ（ｓ２）≧ｃ０×ｓ２
（２）ｎｅｉｇｈｂｏｒＳｕｍＭａｐ（ｓ２）≧ｎｅｉｇｈｂｏｒＳｕｍＭａｐ（ｓ１）＋（ｃ１×（ｓ２−ｓ１））
ここで、ｃ０はこの反復でのＮＢＦＩＭの平均値の３倍であり、ｃ１はこの反復でのＮＢＦＩＭの平均値の１０倍である。第１の反復では、ＮＢＦＩＭは単にフィルタリングされていないＮＢＦＩＭであってよく、その後、各反復において、ＮＢＦＩＭは前の反復にルールを適用することで生成されるＮＢＦＩＭでよく、フィルタリングされたＮＢＦＩＭは、全ての反復が完了した後のＮＢＦＩＭであってよい。
【０１０３】
実施形態において、両方の条件が検証されてよい。他の実施形態において、図６に示されるように、これらの条件は順次検証されてよく、例えば、これらの条件のうち１つが満たされない場合、不必要な計算を回避する。示されるように、方法６００は、ＮＳＭ（ｓ２）≧（Ｃ０×ｓ２）であるかを判定する段階（ブロック６０８）を含む。この不等式が満たされない場合、画素は前景として保持されない（ブロック６１０）。この不等式が満たされている場合、方法６００は、ＮＳＭ（ｓ２）≧ＮＳＭ（ｓ１）＋Ｃ１×（ｓ２−ｓ１）であるかを判定する段階（ブロック６１２）を含む。この不等式が満たされない場合、画素は前景として保持されない（ブロック６１０）。この不等式が満たされている場合、画素は保持される（ブロック６１４）。
【０１０４】
図６に示されるように、方法の実施形態６００は、ｓ１及びｓ２の値を変えて、これらの基準を繰り返し適用する段階を含む。つまり、例えば、方法の実施形態６００は、ｓ１の値の全てが用いられたかを判定する段階を含む（ブロック６１６）。ｓ１の値の全てが用いられた場合、方法６００は終了し（ブロック６１８）、ｓ１の値の全てが用いられていない場合、ｓ１及びｓ２はインクリメントされ、プロセスが繰り返される（ブロック６２０）。実施形態において、数百画素×数百画素のフレームに適用される場合、ｓ１及びｓ２はｓ２＝ｓ１＋３になるよう定義されてよく、例えば、方法６００はｓ１に以下の値、つまり｛２、４、６、８、１０、１２、２、４、６、８、１０、１２｝を指定された順序で用いることができる。バイナリの場合と異なり、ｎｅｉｇｈｂｏｒＳｕｍＭａｐ（ｓ１）のそれ自体によるチェックを活用しなかったことに留意されたい。
【０１０５】
フィルタリングされたＮＢＦＩＭのサンプルが、図１４に示されている。カラースケールは、図１３のカラー版におけるものと同じであってよい。本明細書で説明されるフラクタルベースの解析の実施形態により提供されるフィルタリングは、前景の１次元構造の大部分を保持しつつ、画像の大部分においてノイズ及び背景画素の低減を容易にすることが観察できる。
【０１０６】
フィルタリングされたＮＢＦＩＭは、バイナリの場合と類似した方法で、前景検出に用いることができる。図７は、本開示の実施形態に従って、ＮＢＦＩＭを用いる前景検出の例示の方法７００を示す。示されるように、例示の方法７００は、前景測定基準を計算する段階（ブロック７０２）を含み、これは、例えば、セグメントの面積で割られた各セグメントの中のフィルタリングされたＮＢＦＩＭの合計であってよい。計算された前景測定基準は、前景曲線（ＦＣＵＲＶＥ（ＭＥＴＲＩＣ））を構築するために用いられる（ブロック７０４）。方法７００は、例えば、ＦＣＵＲＶＥ（ＭＥＴＲＩＣ）と閾値曲線との交点を決定するなどによって、可変閾値（ＶＴＨ（ＭＥＴＲＩＣ））を決定する段階を含む（ブロック７０６）。実施形態において、閾値曲線は例えば、（０、０．５）から（１、０．０）までの線であってよい。バイナリの場合のように、可変閾値を超えるセグメントは、前景として分類されてよい（ブロック７０８）。
【０１０７】
複数のケースの前景曲線及び決定された前景のサンプルが、図１５及び図１６に例示されており、そこに閾値曲線が線分によって示されている。図１６において、強調された領域が前景を示し、暗い領域が背景を示す。左上隅の４つのケースにおけるレターボックスマットは前景解析から除外され、面積がゼロであるとみなされ、前景曲線の一部として前景がないことに留意されたい。改善の余地がいくらかあるのは明らかであるが、これらの図は、我々の非バイナリ前景検出アルゴリズムが、複数の困難なケースであっても、ある程度うまく実行できることを示している。
【０１０８】
実施形態によると、複数の他の可能な前景測定基準が存在してよい。例えば、いくつかの困難なケースであっても、上述した方法の実施形態は、多くの所望の１次元構造を保持しつつ、ノイズの除去を容易にすることができる。したがって、例えば、移動物体のエッジの特定に役立てるために、簡単なエッジ強調技法をフィルタリングされたＮＢＦＩＭに適用することができる。そのような１つの技法は、フィルタリングされたＮＢＦＩＭ内の１より大きい値を有する全てのポイントの組である予備マスクを設定する段階と、基礎マスク＝ｄｉｌａｔｅ３ｘ３（予備マスク）を設定する段階とを含むことができ、ｄｉｌａｔｅ３ｘ３（）は、出力の各画素が、対応する画素及びその８個の隣接画素のうちの最大値に設定されることを意味する（この段階は、構造内の任意のギャップを低減するために実行することができる）。この技法はさらに、輪郭マスク＝基礎マスク＆（¬ｅｒｏｄｅ３ｘ３（基礎マスク））を設定する段階を含みことができ、ｅｒｏｄｅ３ｘ３（）はｄｉｌａｔｅ３ｘ３（）と類似しているが、最小値を用い、「＆」はビット単位の「ＡＮＤ演算」を示し、「¬」は否定を示す。輪郭マスクは、移動物体のエッジではなく、基礎マスクの輪郭を与えることができる。次に、エッジマスク＝ｉｍｅｒｏｄｅ３ｘ３（ｉｍｄｉｌａｔｅ３ｘ３（輪郭マスク））を設定する。前景判定を向上させるために、この追加の情報を別の前景測定基準の一部として用いることが可能であってよい。
【０１０９】
本開示の様々な実施形態によると、可変閾値の選択は、カスタマイズ及び／又は最適化にいくらかの余地を許容することができる。例えば、実施形態は前景曲線の「屈曲部（ｋｎｅｅ）」を見いだすことに焦点を合わせることができ、屈曲部は（前景曲線−ｘの）導関数の最小値とみなされてよく、ｄｆ／ｄｘ＝１のポイントの検索について別個の類似物として働く。実施形態は、局所的に変動する照度変化を検出する何らかの方法を組み込むことができ、そのような方法は、Ｍ．Ｅ．Ｆａｒｍｅｒを著者とする「Ａ  Ｃｈａｏｓ  Ｔｈｅｏｒｅｔｉｃ  Ａｎａｌｙｓｉｓ  ｏｆ  Ｍｏｔｉｏｎ  ａｎｄ  Ｉｌｌｕｍｉｎａｔｉｏｎ  ｉｎ  Ｖｉｄｅｏ  Ｓｅｑｕｅｎｃｅｓ（Ｊｏｕｒｎａｌ  ｏｆ  Ｍｕｌｔｉｍｅｄｉａ，Ｖｏｌ．２，Ｎｏ．２，２００７，ｐｐ．５３−６４）、及びＭ．Ｅ．Ｆａｒｍｅｒを著者とする「Ｒｏｂｕｓｔ  Ｐｒｅ−Ａｔｔｅｎｔｉｖｅ  Ａｔｔｅｎｔｉｏｎ  Ｄｉｒｅｃｔｉｏｎ  Ｕｓｉｎｇ  Ｃｈａｏｓ  Ｔｈｅｏｒｙ  ｆｏｒ  Ｖｉｄｅｏ  Ｓｕｒｖｅｉｌｌａｎｃｅ（Ａｐｐｌｉｅｄ  Ｍａｔｈｅｍａｔｉｃｓ，４，２０１３，ｐｐ．４３−５５）に説明されるような、Ｆａｒｍｅｒが用いた方法などである。実施形態は、我々のフラクタル解析フィルタを適用する段階を含むことができ、又は図９Ｅなどの差分画像に対する可変閾値も研究する価値がある可能性がある。
【０１１０】
非バイナリの場合では、実施形態は様々な変更を含むことができる。例えば、実施形態は、バイナリの場合について上述したように、マルチパス方法を活用することができる。例えば、第１のパスは、任意の明らかな移動物体を特定するのに十分な場合があるが、前景として特定された面積が少なすぎる場合は、わずかな動きを特定するために第２のパスが実行されてよい。実施形態において、閾値画像の計算は、任意の数の異なる方法で実行されてよく、例えば、１つ又は複数のフィルタリングを閾値画像に適用する、及び／又は、画素の一時的変化を閾値の一部として考慮するなどによる方法である。別の手法が、実施形態に従って、前景合計をセグメントサイズの何らかの線形単位（例えば、面積の平方根）で割る段階を含むことができる。
【０１１１】
本発明の実施形態が具体的に説明されているが、説明そのものは、本特許の範囲を限定するよう意図されていない。したがって、発明者らは、請求項に係る本発明が他の方法でも具現化され、異なる段階若しくは特徴、又は本明細書で説明されたものと類似の段階若しくは特徴の組み合わせを、他の技術と共に含む場合があることを企図している。例えば、本明細書で説明される前景検出技法の実施形態が、セグメント化されていない画像において前景を検出するのに用いられてよい。つまり、ＦＩＭ（例えば、ＢＦＩＭ及び／又はＮＢＦＩＭ）が、セグメント化されていない画像に基づいて構築されてよい。実施形態において、そのようなＦＩＭがフィルタリングされてよく、残りの前景画素が前景として分類されてよい。
【図１】
2018508910.tif 000003
【図２】
2018508910.tif 000004
【図３】
2018508910.tif 000005
【図４】
2018508910.tif 000006
【図５】
2018508910.tif 000007
【図６】
2018508910.tif 000008
【図７】
2018508910.tif 000009
【図８Ａ】
2018508910.tif 000010
【図８Ｂ】
2018508910.tif 000011
【図８Ｃ】
2018508910.tif 000012
【図８Ｄ】
2018508910.tif 000013
【図８Ｅ】
2018508910.tif 000014
【図８Ｆ】
2018508910.tif 000015
【図８Ｇ】
2018508910.tif 000016
【図８Ｈ】
2018508910.tif 000017
【図８Ｉ】
2018508910.tif 000018
【図８Ｊ】
2018508910.tif 000019
【図８Ｋ−８Ｐ】
2018508910.tif 000020
【図８Ｑ】
2018508910.tif 000021
【図８Ｒ】
2018508910.tif 000022
【図８Ｓ】
2018508910.tif 000023
【図８Ｔ】
2018508910.tif 000024
【図８Ｕ】
2018508910.tif 000025
【図８Ｖ】
2018508910.tif 000026
【図８Ｗ】
2018508910.tif 000027
【図９Ａ−９Ｂ】
2018508910.tif 000028
【図９Ｃ−９Ｄ】
2018508910.tif 000029
【図９Ｅ】
2018508910.tif 000030
【図９Ｆ】
2018508910.tif 000031
【図９Ｇ−９Ｐ】
2018508910.tif 000032
【図９Ｑ】
2018508910.tif 000033
【図９Ｒ】
2018508910.tif 000034
【図９Ｓ】
2018508910.tif 000035
【図９Ｔ】
2018508910.tif 000036
【図９Ｕ】
2018508910.tif 000037
【図９Ｖ】
2018508910.tif 000038
【図９Ｗ】
2018508910.tif 000039
【図１０】
2018508910.tif 000040
【図１１】
2018508910.tif 000041
【図１２】
2018508910.tif 000042
【図１３】
2018508910.tif 000043
【図１４】
2018508910.tif 000044
【図１５】
2018508910.tif 000045
【図１６】
2018508910.tif 000046
【国際調査報告】
2018508910.tif 000047
2018508910.tif 000048
2018508910.tif 000049