(57)【特許請求の範囲】
【請求項１】
流動を求める方法であって、
カメラを用いて前記流動のビデオを取得するステップであって、前記流動はシーン内の歩行者であり、前記ビデオはフレームのセットを含む、ステップと、
前記セット内の各フレームからモーションベクトルを抽出するステップと、
前記フレームのセット内の前記モーションベクトルからデータ行列を構築するステップと、
前記データ行列から低ランクコープマン演算子を求めるステップと、
前記低ランクコープマン演算子のスペクトルを解析して、コープマンモードのセットを求めるステップと、
前記コープマンモードのクラスタリングに従って前記フレームを前記流動にセグメント化するステップであって、前記流動は、独立した歩行者流動である、ステップと、
を含み、前記ステップはプロセッサが実行する、方法。
【請求項２】
前記モーションベクトルは、ガウス分布雑音を含み、
前記方法は、
最小二乗制約又は全最小二乗制約を用いて、因数分解核ノルム最小化問題を解くことによって、前記低ランクコープマン演算子を求めることと、
フロベニウスノルム正則化項によって前記ガウス分布雑音を最小化することと、
を更に含む、請求項１に記載の方法。
【請求項３】
前記モーションベクトルは、スパース異常値雑音を含み、
前記方法は、
１ノルム正則化項によって前記スパース異常値雑音を最小化すること、
を更に含む、請求項１に記載の方法。
【請求項４】
前記低ランクコープマン演算子の特異値分解（ＳＶＤ）を実行して、特異ベクトルを生成することと、
ｋ平均クラスタリング又はグラフスペクトルクラスタリングを前記低ランクコープマン演算子の行空間特異ベクトルに適用することと、
を更に含む、請求項１に記載の方法。
【請求項５】
前記低ランクコープマン演算子の固有値分解を実行して、固有ベクトルを生成することと、
前記データ行列を前記固有ベクトル上に射影することによって射影係数ベクトルを求めることと、
支配的なコープマンモードを、前記射影係数ベクトルにおいて閾値よりも大きな大きさを有する前記低ランクコープマン演算子の前記固有ベクトルとして求めることと、
ｋ平均クラスタリングを前記支配的なコープマンモードに適用することによって前記セグメントを求めることと、
を更に含む、請求項１に記載の方法。
【請求項６】
雑音の分布の正則化項を選択することによって前記雑音を最小化すること、
を更に含み、
前記正則化項は、フロベニウスノルム正則化項、ユークリッドノルム正則化項、絶対値和ノルム正則化項、１ノルム正則化項及びそれらの組み合わせからなる群から選択される、請求項１に記載の方法。
【請求項７】
各フレームは空間ブロックを含み、
前記方法は、
前記フレームのセットの全ての前記空間ブロックの水平モーションベクトル及び垂直モーションベクトルをスタックして、前記データ行列を構築すること、
を更に含む、請求項１に記載の方法。
【請求項８】
前記コープマン演算子は、動的モード分解（ＤＭＤ）によって求められる、請求項１に記載の方法。
【請求項９】
各独立した歩行者流動におけるモーションが特徴付けられ、
前記方法は、
前記データ行列の行のサブセットを抽出することと、
前記行のサブセットを前記コープマンモードのセット上に射影することによって射影係数ベクトルを求めることと、
閾値よりも大きな大きさを有する前記射影係数ベクトル内のエントリーに関連付けられた前記低ランクコープマン演算子の固有値を求めることと、
複素平面における前記固有値の位置に従って前記独立した歩行者流動を特徴付けることと、
を更に含む、請求項１に記載の方法。
【請求項１０】
前記ビデオは、圧縮ビットストリームの形態にある、請求項１に記載の方法。
【請求項１１】
前記セグメント化することは、前記ビットストリーム内のブロックレベルで行われる、請求項１０に記載の方法。
【請求項１２】
流動を求めるシステムであって、
前記流動のビデオを取得するように構成されたカメラであって、前記流動はシーン内の歩行者であり、前記ビデオはフレームのセットを含む、カメラと、
前記カメラに接続されたプロセッサであって、前記セット内の各フレームからモーションベクトルを抽出することと、前記フレームのセット内の前記モーションベクトルからデータ行列を構築することと、前記データ行列から低ランクコープマン演算子を求めることと、前記低ランクコープマン演算子のスペクトルを解析して、コープマンモードのセットを求めることと、前記コープマンモードのクラスタリングに従って前記フレームを前記流動にセグメント化することであって、前記流動は、独立した歩行者流動である、こととを行うように構成されている、プロセッサと、
を備える、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には、コンピュータービジョンに関し、より詳細には、ビデオに示さるような流動において歩行者をセグメント化することに関する。
【背景技術】
【０００２】
ビデオにおける歩行者の密集した群集内のモーション（motion：動作）フローのセグメンテーションは、群集の安全確保及び雑踏警備の用途において不可欠なツールである。混雑シーンのビデオは、通常の状況下であっても複雑な群集の挙動を示す可能性がある。例えば、鉄道の駅等の大きな密集エリアにおける群集流動は、最初は無秩序に見える可能性がある。しかしながら、一定の構造を持たない流動から識別及びセグメント化することが望ましい低次元の動的構造が流動に存在することはよくあることである。その上、独立した群集流動の自動セグメンテーションは、混雑した環境における危険な状況のモニタリング及び予測に役立つ。
【０００３】
特に関心があることは、ビデオから抽出されたモーション情報を用いた群集流動の検出及び推定である。モーションベクトル（motion vector：動作ベクトル、動きベクトル）は、ビデオにおけるテクスチャ、すなわちピクセル強度に適用されるオプティカルフロー推定を用いて求めることもできるし、モーションベクトルは、ビットストリームから直接抽出することもできる。ビットストリームは、よく知られた符号化標準規格、例えば、ＭＰＥＧ、Ｈ．２６４、ＨＥＶＣ等のうちの任意のものを用いて符号化することができる。
【０００４】
混雑シーンにおける歩行者を流動内の粒子とみなすと、ビデオフレームのモーションベクトルは、その流動における或る時刻の粒子の速度の観測値に対応する。ビデオテクスチャの代わりにモーションベクトルを処理することによって、監視ビデオにおいて観察される個人のプライバシーが保護される。
【０００５】
特許文献１は、監視ビデオにおいて独立したモーションを検出する方法を開示している。この方法は、テクスチャ勾配をモーションベクトルと比較することによってビデオのマクロブロックから線形システムを構築する。独立した流動は、モーションが線形システムに対して統計的異常値としてフラグ付けされるときに検出される。
【０００６】
特許文献２は、形状インデクシングを用いたビデオにおける群集セグメンテーションの方法を開示している。背景差分がビデオに対して実行され、前景シルエット形状が識別される。前景シルエット形状を、予め設定された前景シルエット形状のセットと照合することよって、人々の近似的な数及び位置が求められる。
【０００７】
ダイナミカルシステム（dynamical system：動的システム）のモデル化
歩行者の群集の密度が高いとき、群集内の個人のモーションは、流体流動としてモデル化することができる。群集解析に一般に用いられる１つのそのようなモデルは、ヒューズ（Hughes）モデルである。これについては、非特許文献１を参照されたい。
【０００８】
ヒューズは、以下の式のように、群集流動を密度ρ（ｘ，ｙ，ｔ）と、速度（ｕ（ｘ，ｙ，ｔ）及びｖ（ｘ，ｙ，ｔ））との関数としてモデル化する。
【数１】
0006385601.tif 000002
ここで、ｕ（ｘ，ｙ，ｔ）及びｖ（ｘ，ｙ，ｔ）は、あらゆる空間点（ｘ，ｙ）及び時刻ｔの水平方向及び垂直方向におけるそれぞれの速度である。グリーンシールド（Greenshields）モデルも、群集モデル化において密度場と速度場とを関係付けるのに用いることができる。グリーンシールドモデルは、以下のとおりである。
【数２】
0006385601.tif 000003
ここで、
【数３】
0006385601.tif 000004
及び
【数４】
0006385601.tif 000005
は、水平方向及び垂直方向における最大速度を決定するシステムパラメーターであり、
【数５】
0006385601.tif 000006
は、シーンにおける最大密度である。
【０００９】
（１）の解は、所与の初期条件及び境界条件を満たす全ての（ｘ，ｙ，ｔ）の群集密度マップρ及び速度場（ｕ，ｖ）を与える。ρ及び（ｕ，ｖ）の展開を律則する微分方程式の次元数は無限であり得るが、流動は低次元の挙動を示す場合が多い。
【００１０】
時刻ｔにおける低次元状態変数がｘ（ｔ）であり、このｘ（ｔ）について、可観測ベクトルｙ（ｔ）＝Ｇ（ｘ（ｔ））は、時刻ｔにおける全ての位置ｘ及びｙの密度場及び速度場のスタッキングに対応する。関数Ｇは、ｘが展開する低次元多様体から可観測値の空間へのマッピングである。その場合、（１）の解は、以下の式によって一般に特徴付けられる対応するダイナミカルシステムの過渡応答及び安定性を決定する。
【数６】
0006385601.tif 000007
ここで、Ｆ（・）は、ダイナミカルシステムが展開する低次元多様体における或るマッピングである。離散時間システムの場合、ダイナミカルシステムの展開は、以下の式によって特徴付けられる。
【数７】
0006385601.tif 000008
ここで、ｋは時間インデックスである。
【００１１】
コープマン演算子及び動的モード分解
コープマン演算子は、以下の式を満たす線形演算子Ｋである。
【数８】
0006385601.tif 000009
【００１２】
このダイナミカルシステムは非線形であり、有限次元多様体を展開させるが、コープマン演算子は線形であり、無限（infinitely）次元を有する。コープマン演算子のスペクトル解析は、コープマンモードと、対応するコープマンモードの時間的挙動を求める関連付けられたコープマン固有値との点から流動を分解するのに用いることができる。
【００１３】
動的モード分解（ＤＭＤ）は、コープマンモードを推定するのに用いることができる。ＤＭＤは、流体ダイナミクス（fluid dynamics：流体力学）において、システムダイナミクスを識別するデータ駆動型方程式フリー法として用いられてきた。以下のデータ行列を検討する。
【数９】
0006385601.tif 000010
【００１４】
ＤＭＤは、以下の関係を満たす最良適合行列Ｋを求める。
【数１０】
0006385601.tif 000011
【００１５】
Ｋの固有ベクトル及び固有値は、コープマンモード及びコープマン固有値を近似する。本明細書において、コープマンモード及びＤＭＤモードという用語は、区別なく用いられる。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】米国特許第８７７３５３６号
【特許文献２】米国特許第８３５８８０６号
【非特許文献】
【００１７】
【非特許文献１】Hughes、「A continuum theory for the flow of pedestrians」、Transportation Research Part B: Methodological、Volume 36、Issue 6、Pages 507-535、July 2002
【発明の概要】
【００１８】
本発明の実施の形態は、ビデオカメラによってシーンから取得されたビデオ内のモーションベクトルに基づいて、シーン内の歩行者流動をセグメント化する方法及びシステムを提供する。これらのモーションベクトルは、入力データ行列に編成されたシーン内の流動を規定する基礎をなすダイナミカルシステムの可観測値として扱われる。本方法は、モーションベクトルを用いてダイナミカルシステムを特徴付ける低ランクコープマン演算子を求める。次に、コープマン演算子のスペクトルが解析されて、シーン内の独立した流動がセグメント化される。
【００１９】
本発明の１つの実施の形態では、低ランクコープマン演算子が、動的モード分解（ＤＭＤ）のワンステップ予測方程式による制約を受ける核ノルム最小化問題を解くことによって求められる。雑音の分布の近似的な正則化項を選択することによって、雑音の影響を最小化することができる。例えば、フロベニウスノルム正則化項又はユークリッドノルム正則化項は、ガウス分布雑音に用いることができる。絶対値和ノルム正則化項又は１ノルム正則化項は、スパースインパルス性雑音に用いることができる。双方のタイプの雑音が存在する場合、最適化中に２つの正則化項を用いることができる。
【００２０】
本発明の１つの実施の形態は、コープマン演算子の特異値分解（ＳＶＤ）を実行する。次に、非ゼロの特異値に対応する行空間（左側）特異ベクトルを用いて、ビデオ内のブロックが、独立した流動に対応するセグメントとしてクラスタリングされる。別の実施の形態では、コープマン演算子の固有ベクトルが求められ、入力データ行列がこれらの固有ベクトル上に射影される。次に、閾値よりも大きな大きさの射影係数を有する固有ベクトルを用いて、ブロックがクラスタリングされ、独立した流動がセグメント化される。
【００２１】
本発明の別の実施の形態は、各流動のダイナミクスを記述する固有ベクトルの固有値に従って動的レジーム（dynamical regime：動的領域、力学的状態）を識別することによって、セグメント化された歩行者流動を特徴付ける。セグメント化された流動データは、コープマン演算子の固有ベクトル上に射影され、閾値よりも大きな大きさの射影係数を有する固有ベクトルに関連付けられた固有値を用いて、動的レジームが規定される。動的レジームは、例えば、安定又は不安定として流動のタイプを特徴付ける。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態による、シーンから取得されたビデオにおける歩行者流動をセグメント化するシステム及び方法の概略図である。
【図２】本発明の実施形態による、コープマンモードを求める方法のフロー図である。
【図３】本発明の実施形態による、コープマンモードを用いて独立した流動をセグメント化する方法のフロー図である。
【図４】セグメント化された独立した歩行者流動を特徴付ける方法のフロー図である。
【発明を実施するための形態】
【００２３】
図１に示すように、本発明の実施形態は、シーンから取得されたビデオにおける歩行者流動をセグメント化するシステム及び方法を提供する。これらの実施形態は、符号化ビットストリームから抽出されたモーションベクトルを用いることができる。ただし、モーションベクトルは、他の手段によって取得することもできる。モーションベクトルは、シーン内の流動を特徴付ける幾つかの独立したダイナミクスからなる基礎をなすダイナミカルシステムの可観測値として扱われる。本方法は、モーションベクトルを用いてダイナミカルシステムを特徴付ける低ランクコープマン演算子を求める。次に、コープマン演算子のスペクトルが、特異値分解（ＳＶＤ）又は固有値分解を用いて解析される。独立した群集流動は、用いられる分解に応じて、支配的な特異ベクトル又は支配的な固有ベクトルをクラスタリングすることによって求められる。
【００２４】
システム及び方法の概略
図１に示すように、ビデオ１０１は、ビデオカメラ１０３を用いてシーン１０２内の歩行者から取得される。このビデオは、フレームのセットを含む。各フレームは、通常はモーションベクトルを符号化したブロックのセットを含む。各フレームｋ  １０４は、当該技術分野において知られているように、入力／出力バスによってメモリ及びカメラに接続されたプロセッサ１００において動作する方法によって処理される。ビデオは、符号化ビットストリームの形態にある。
【００２５】
一利点として、符号化ビットストリームは、通常、少なくとも２桁以上圧縮される。したがって、ビットストリームを処理するのに要する記憶量及び時間ははるかに少ない。加えて、ピクセルを取得するのにビットストリームを復号化する必要がないように、本方法はブロックレベルにおいて動作することができる。ただし、本方法は、カメラにおいて動作することもでき、他の手段によってモーションベクトルを取得することもできる。
【００２６】
本方法は、ビデオ、例えば、ビットストリーム内のブロックからモーションベクトル１０５を抽出し（１１０）、以下でより詳細に説明するように、これらのモーションベクトルをスタックすることによってデータ行列１１１を構築する。
【００２７】
低ランクコープマン演算子１２１が、データ行列１１１から求められる（１２０）。低ランクコープマン演算子のスペクトルが解析されて、支配的なコープマンモード１３１が求められる。次に、これらのコープマンモードを用いて、ビデオのフレーム内のブロックをセグメント化し（３００）、独立した流動１０９を取得することができる。
【００２８】
図２は、スペクトルを解析してコープマンモード１３１を求めるのに用いられるステップ２００を示している。これらのステップは、特異ベクトル２１１を取得するＳＶＤ２１０若しくは固有ベクトルを求める固有値分解、又は双方を含む。ステップ２４０は、射影係数を求め、次に、これらの射影係数が用いられて、固有ベクトルが選択される（２５０）。次に、特異ベクトル若しくは選択された固有ベクトル、又は双方を用いて、コープマンモード１３１を求めることができる。
【００２９】
図３は、ピクセルをセグメント化するステップ２００を示している。これらのステップは、入力としてコープマンモード１３１を取り込む。モーションベクトルが、ｋ平均クラスタリング３１０又はグラフスペクトルクラスタリング３２０を用いてクラスタリングされて、独立した流動１０９が取得される。
【００３０】
図４は、流動の動的レジームを求めることによって、各セグメント化された流動を特徴付けるステップ４００を示している。これらの動的レジームは、流動を本質的に特徴付ける。これらのステップは、入力として、コープマン固有ベクトル２２１と、データ行列１１１と、セグメント化された流動１０９とを取り込む。データ行列１１１の行のサブセット４０１が、セグメント化された流動１０９を用いて抽出される。行のサブセット４０１は、コープマン固有ベクトル２２１上に射影されて、射影係数４１１が求められる（４１０）。固有値選択ステップ４２０は、閾値よりも大きな大きさを有する射影係数を有する固有ベクトルに対応する固有値を選択する。これらの選択された固有値によって、流動の動的レジーム又は流動特性４２１が識別される。
【００３１】
次に、上記ステップの詳細を説明する。
【００３２】
モーションベクトル及び可観測データ行列
ビデオフレームｋ  １０４内の全ての空間ブロックの水平モーションベクトル及び垂直モーションベクトルは、それぞれ、ｕｋ及びｖｋである。これらの水平モーションベクトル及び垂直モーションベクトルをデータ行列１１１にスタックすることによって、データ行列ｚｋ＝［ｕｋ，ｖｋ］１１１が構築される。次に、コープマン演算子Ｋを用いて、このデータをワンステップ予測モデルに適合させることによって、これらのモーションベクトルの時間的展開（temporal evolution：時間発展）を以下の式のようにモデル化することができる。
【数１１】
0006385601.tif 000012
【００３３】
（８）は、同じ演算子Ｋがモーションベクトルｕｋ及びｖｋの時間的展開をモデル化することを保証していることに注目されたい。
【００３４】
ｍ＋１個のビデオフレームからのモーションベクトルのｍ＋１個の観測値がある場合、（６）と同様のデータ行列Ｚ１及びＺ２を形成し、最小二乗適合を達成する演算子Ｋｌｓ、すなわち以下の式を求めることによって、動的モード分解（ＤＭＤ）を用いて演算子Ｋを求めることができる。
【数１２】
0006385601.tif 000013
ここで、上付き文字†は、行列のムーア・ペンローズ（Moore-Penrose）擬似逆行列を示す。
【００３５】
モーションベクトルが、ビデオ内の歩行者の真のモーションに対応する場合、演算子Ｋｌｓは、システムにおける流動の全ダイナミクスを特徴付ける。しかしながら、圧縮領域モーションベクトルは、一般に、非常に雑音が多く、多くの場合、真のモーションに対応していないモーションベクトルを含む。この雑音は、ビデオ符号器による特定のレート歪み最適化に依存する。
【００３６】
低ランクＤＭＤ
雑音のない速度観測値ｙｋは、シーン内の歩行者の真のモーションを測定したものであり、モーションベクトルｚｋは、雑音を有する観測値に対応し、これらは、以下のような関係となる。
【数１３】
0006385601.tif 000014
ここで、ｅｋは付加雑音である。（６）のようにｅｋ及びｙｋの代わりにそれぞれＥ１、Ｅ２及びＹ１、Ｙ２を用いることにする。その場合、雑音のないダイナミクスに対応するコープマン演算子は、以下のように全最小二乗制約によって与えられる。
【数１４】
0006385601.tif 000015
【００３７】
しかしながら、問題（１１）は、非凸かつ不良設定である。なぜならば、Ｚ１及びＺ２しか観測されず、Ｋ、Ｅ１及びＥ２は未知であるからである。この状況を修復するために、本発明者らの問題に次の前提条件が与えられる。非常に複雑なシステムは、低次のダイナミクスによって正確にモデル化することができる。これは、換言すれば、雑音のないシステムの展開をモデル化する演算子Ｋが低ランクを有するという前提条件になる。
【００３８】
第２の前提条件は、行列Ｅ１及びＥ２の定義から派生するものである。サイズ（ｍ−１）×（ｍ−１）の単位行列をＩｍ−１によって表し、ｍ個の列を有する行列の最初の列及び最後の列を除去する選択演算子を、それぞれ
【数１５】
0006385601.tif 000016
及び
【数１６】
0006385601.tif 000017
とすると、Ｅ１及びＥ２は以下の関係を満たす。
【数１７】
0006385601.tif 000018
【００３９】
全最小二乗制約を有する低ランクＤＭＤ（ＬＲ−ＤＭＤｔｌｓ）は、以下のように定義される。
【数１８】
0006385601.tif 000019
ここで、ｅ０は、Ｅ１における最初の列であり、γは、正則化パラメーターであり、||Ｋ||＊は、行列Ｋの特異値の和に等しい核ノルムである。
【００４０】
ビデオフレーム内のモーションブロックの数がＮである場合、演算子ＫのサイズはＮ×Ｎであり、高解像度ビデオの演算子Ｋを記憶すること及び求めることが困難になる可能性がある。したがって、計算複雑度を低減するために、Ｋは、Ｋ＝ＬＲＴとなるようなランクｒの因数
【数１９】
0006385601.tif 000020
及び
【数２０】
0006385601.tif 000021
に置き換えられる。以下の式のように、行列の核ノルムを、その低ランク因数のフロベニウスノルムの二乗の平均に置き換える核ノルムプロキシ（nuclear norm proxy）が用いられる。
【数２１】
0006385601.tif 000022
【００４１】
その結果、低ランクＤＭＤは、以下のように定式化することができる。
【数２２】
0006385601.tif 000023
この式は、乗算器の交互方向法（ＡＤＭＭ）を用いて解かれる。
【００４２】
（１５）に規定された問題は、雑音がガウス分布である場合を取り扱う。測定値Ｚが異常値スパース雑音を含む場合、以下の式を用いて、問題が解かれる。
【数２３】
0006385601.tif 000024
ここで、変数Ｓ１及びＳ２は、データ内の異常値雑音を表し、γ及びλは、正則化パラメーターである。（１６）の解は、ＡＤＭＭ手順を用いて取得することもできる。
【００４３】
流動セグメンテーション
独立したダイナミクスを有する種々の流動をセグメント化する（３００）ために、推定された低ランクコープマン演算子Ｋ＝ＬＲＴのスペクトルが評価される。ここで、セグメンテーションを実行する種々のシナリオを検討することにする。
【００４４】
特異値分解によるセグメンテーション
第１の手法では、コープマン演算子ＫのＳＶＤ２１０を実行して、Ｋ＝ＵｒΣｒＶｒＴとなるような行空間特異ベクトルＵｒ２１１を抽出することができる。行列ＵｒはＮ×ｒ行列であり、ここで、ｒは演算子Ｋのランクである。Ｕｒの行は、ピクセルを予め設定された個数ｎのクラスターにセグメント化するために、図３に示すようなｋ平均クラスタリング３１０が適用されるビデオフレーム内のあらゆるピクセルの特徴ベクトルとして取り扱われる。次に、クラスタリングされたピクセルを用いて、ビデオ１０１に観測されるシーン１０２内の独立した流動１０９の空間セグメンテーションを求めることができる。
【００４５】
代替的に、スペクトルクラスタリングを行列Ｕｒの行に適用することができる。このとき、Ｕｒの行は正規化されて、行列
【数２４】
0006385601.tif 000025
が生成され、アフィニティー行列
【数２５】
0006385601.tif 000026
が構築される。ここで、指数は、この場合に要素ごとに適用される。次に、以下のステップが適用されて、対応するグラフラプラシアンの主要な固有ベクトルが求められる。
【数２６】
0006385601.tif 000027
ここで、
【数２７】
0006385601.tif 000028
は、全てが１のベクトルであり、最初のｄｉａｇ（・）は、Ａの対角エントリーのみを抽出し、２番目の
【数２８】
0006385601.tif 000029
は、Ａの行を加算し、その結果を行列の対角に配置する。
【００４６】
次に、ＬＧのＳＶＤを求めて、最初のｎ個の行空間特異ベクトルＵＧが抽出される。ＵＧの最初の特異ベクトルは全て１であり、そのため、このベクトルは除去され、次に、ＵＧにおける残りのベクトルの行が正規化される。
【００４７】
最後に、ｋ平均クラスタリング３１０をＵＧの行に適用して、独立した流動１０９が求められる。スペクトルクラスタリング手法は、ｋ平均クラスタリングをＵｒの行に直接適用するよりも良好な結果を提供するが、大きなＮ×Ｎアフィニティー行列を構築するには、より大きなものを必要とする。
【００４８】
固有値分解によるセグメンテーション
第２の手法では、Ｋの固有値分解２２０を求めて、Ｋ＝ＵｅΛｅＵｅ†となるような固有ベクトルＵｅ２２１及び固有値Λｅが取得される。Ｋの固有ベクトルはダイナミカルシステムのコープマンモードを推定することを想起されたい。データ行列Ｚ２から、Ｚ２をＵｅ上に射影し、ベクトル
【数２９】
0006385601.tif 000030
における射影係数の大きさを平均することによって、アクティブモードが識別される。これらのアクティブモードは、閾値よりも大きな大きさを有するαにおけるエントリーに対応するＵｅの列である。
【００４９】
アクティブモードを含む行列はＵａである。ｋ平均クラスタリングをＵａの正規化された行に適用することによって、セグメンテーションが実行される。各クラスターを用いて識別されたピクセルは、ビデオ内の独立した流動に対応する。
【００５０】
流動特徴付け
各セグメント化された流動は、流動のタイプが、例えば、安定又は不安定としてラベル付けされるように、動的レジームに従って特徴付けることができる。動的レジームは、その流動内のモーションに最も大きく寄与するＫの固有値の位置に依存する。これらの固有値を求めるために、セグメント化された流動ｆに関連付けられたデータ行列の行のサブセットＺｆが固有ベクトルＵｅ上に射影され、射影係数
【数３０】
0006385601.tif 000031
が求められる。閾値よりも大きな大きさを有する、αｆにおけるエントリーに対応する固有値は、流動に関連付けられる。
【００５１】
複素平面における固有値の位置を用いて、流動のレジーム（regime：様式）が求められる。例えば、安定した流動は、単位円に位置する固有値を有する一方、不安定な流動は、単位円の外部に位置する固有値を有する。その上、次第に減衰する過渡流動は、単位円の内部に位置する固有値を有する。また、固有値の複素位相は、流動内のモーションの発振周波数を示す。
【図１】
0006385601.tif 000032
【図２】
0006385601.tif 000033
【図３】
0006385601.tif 000034
【図４】
0006385601.tif 000035