(57)【要約】【課題】  事前知識を少なくすることができるとともに、画像の動きを高精度に抽出することができる画像解析装置、画像解析方法及び画像解析プログラムを提供する。【解決手段】  画像取得部１１は、処理対象となる画像データを取得し、前処理部１２及びクラスタリング部１３は、Ｐｏｔｔｓモデルを用いて画像データの各画素を粒子として取扱い、粒子が超常磁性となる状態における画像の動きを統計的手法によりクラスタリングし、動き抽出部１４は、クラスタリング結果を基に画像における動きのクラスタを抽出する。このとき、クラスタリング部１３は、クラスタの動きを陽に使用することにより規定された画素間の相互作用を用いて画像の動きをクラスタリングする。【選択図】      図２
2006072691.tif 000002
【特許請求の範囲】
【請求項１】
処理対象となる画像データを取得する取得手段と、
スピンの状態を多値に拡張した磁性体のスピンモデルを用いて前記取得手段により取得された画像データの各画素を粒子として取扱い、粒子が超常磁性となる状態における画像の動きを統計的手法によりクラスタリングするクラスタリング手段と、
前記クラスタリング手段によるクラスタリング結果を基に画像における動きのクラスタを抽出する抽出手段とを備え、
前記クラスタリング手段は、クラスタの動きを陽に使用することにより規定された画素間の相互作用を用いて画像の動きをクラスタリングすることを特徴とする画像解析装置。
【請求項２】
前記クラスタリング手段は、画像の輝度をＩ（ｘ，ｙ，ｔ）、Ｉ（ｘ，ｙ，ｔ）の偏微分をｂｆ＝（ｆx，ｆy，ｆt）、画素ｉが属しているクラスタの動きベクトルをＢＵi＝（Ｕi，Ｖi）としたとき、下記式（１）に示す画素ｉと画素ｊとの動きの類似度ｄijを用いて、下記式（２）に示す粒子ｉと粒子ｊとの相互作用Ｊij（ここで、Ｋは近傍の画素数の平均、ａはｄijの平均）を算出し、算出した相互作用Ｊijを用いて画像の動きをクラスタリングすることを特徴とする請求項１記載の画像解析装置。
【数１】
2006072691.tif 000011
【請求項３】
前記クラスタリング手段は、モンテカルロ法を用いて画像の動きをクラスタリングすることを特徴とする請求項２記載の画像解析装置。
【請求項４】
前記クラスタリング手段は、Ｓｗｅｎｄｓｅｎ−Ｗａｎｇアルゴリズムを用いて、各画素にランダムにスピン値を割り当て、注目画素と近傍画素とのリンクを下記式（３）、（４）で示す確率に従って切断又は結合し、結合されたリンクを有する画素群をクラスタとし、各クラスタにおける動きベクトルＢＵiを算出し、同じクラスタに属する画素に同一スピン値が割り当てられるように各画素にランダムにスピン値を割り当てる処理を所定回数だけ反復処理することにより画像の動きをクラスタリングすることを特徴とする請求項３記載の画像解析装置。
【数２】
2006072691.tif 000012
【請求項５】
前記クラスタリング手段は、温度をスイープさせたときに、画素間の相互作用を用いて算出された磁化率が所定範囲内の値をとる温度を粒子が超常磁性となる状態の温度として決定し、決定した温度における画像の動きをクラスタリングすることを特徴とする請求項１〜４のいずれかに記載の画像解析装置。
【請求項６】
処理対象となる画像データを取得する取得手段と、
スピンの状態を多値に拡張した磁性体のスピンモデルを用いて前記取得手段により取得された画像データの各画素を粒子として取扱い、粒子が超常磁性となる状態における画像の動きを統計的手法によりクラスタリングするクラスタリング手段と、
前記クラスタリング手段によるクラスタリング結果を基に画像における動きのクラスタを抽出する抽出手段としてコンピュータを機能させ、
前記クラスタリング手段は、クラスタの動きを陽に使用することにより規定された画素間の相互作用を用いて画像の動きをクラスタリングすることを特徴とする画像解析プログラム。
【請求項７】
取得手段、クラスタリング手段及び抽出手段として機能するコンピュータを用いて画像の動きを解析する画像解析方法であって、
前記取得手段が、処理対象となる画像データを取得する第１のステップと、
前記クラスタリング手段が、スピンの状態を多値に拡張した磁性体のスピンモデルを用いて前記取得手段により取得された画像データの各画素を粒子として取扱い、粒子が超常磁性となる状態における画像の動きを統計的手法によりクラスタリングする第２のステップと、
前記抽出手段が、前記クラスタリング手段によるクラスタリング結果を基に画像における動きのクラスタを抽出する第３のステップとを含み、
前記第２のステップは、クラスタの動きを陽に使用することにより規定された画素間の相互作用を用いて画像の動きをクラスタリングするステップを含むことを特徴とする画像解析方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の動きを解析する画像解析装置、画像解析プログラム及び画像解析方法に関するものである。
【背景技術】
【０００２】
映像中の画像の動きを抽出して分類することは、画像認識技術の中核であり、応用範囲も広く、交通監視、侵入者の検出、人物の認識、テレビ映像の切り出しの前処理に必須である。また、画像の動きから対象物体の３次元形状を推定するＳｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎと呼ばれる手法にも深くかかわっている。
【０００３】
このような画像の動きを解析する研究の歴史は長く、１９８０年代からオプティカルフロー解析として知られ、例えば、非特許文献１には、各画素の明るさ情報からＢＣＣ（Brightness Constant Constraint）と呼ばれる拘束条件を導き出し、動きの推定を行うことが開示されている。
【０００４】
また、非特許文献２には、Ｐｏｔｔｓモデルを利用した画像解析の研究として、画像中にちりばめられた点群を磁性体の粒子に見立て、点間の局所的な相互作用の集積により、大局的なクラスタを生成することが開示されている。このＰｏｔｔｓモデルは、Ｉｓｉｎｇモデルを多値に拡張したものであり、Ｐｏｔｔｓモデルでは、温度と局所的な相互作用を変化させることによりクラスタの結果が異なってくる。この非特許文献２では、温度を連続的に変化させ、システムが強磁性から超常磁性そして常磁性の状態に変化していくことを、システムの磁化率を監視しながら検出し、超常磁性の状態が、最もよいクラスタが得られると結論付けている。
【０００５】
上記のようにＰｏｔｔｓモデルを画像における動きのクラスタリングに利用するためには、局所的な相互作用を定義する必要があるが、ＢＣＣだけでは動きを一意に決定することはできず、非特許文献２に使用された相互作用の定義をそのまま流用することはできない。このため、本願発明者らは、画像の輝度をＩ（ｘ，ｙ，ｔ）、Ｉ（ｘ，ｙ，ｔ）の偏微分をｂｆ＝（ｆx，ｆy，ｆt）、その画素の動きベクトルをｂｕ＝（ｕ，ｖ）としたとき、画素ｉの近傍にある画素ｊ のそれぞれの動きベクトルｂｕiとｂｕjとが同じであるなら、対応する拘束直線は同じであるという仮定に基づき、画素ｉと画素ｊとの動きの類似度をｄij＝‖ｂｆi×ｂｆj‖／‖ｂｆi‖‖ｂｆj‖と規定し、この類似度を用いて画素間の相互作用を算出して画像の動きをクラスタリングする方法を提案した（非特許文献３参照）。
【非特許文献１】ビー  ホーン（B. Horn）他、「オプティカルフローの決定」（Determining optical flow）、アーティフィシャル・インテリジェンス（Artificial Intelligence）、１９８１年、１７：１８５−２０３
【非特許文献２】エム  ブラット（M. Blatt）他、「Ｐｏｔｔｓモデルアナロジーを用いたデータクラスタリング」（Clustering data through an analogy to the potts mode）、ニューラル・インフォメーション・プロセッシング・システム（Neural Information Processing Systems）、１９９５年、ＮＩＰＳ，Ｖｏｌ．８、ｐ．４１６−ｐ．４２２
【非特許文献３】木下敬介他、「Ｐｏｔｔｓモデルによる動画像のクラスタリング」、情報処理学会研究報告、２００３年、２００３−ＣＶＩＭ−１３８、ｐ．１９３−ｐ．２００
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献３に開示される画素ｉと画素ｊとの動きの類似度を用いたのでは、超常磁性の状態が明確に現れないため、画像の動きを高精度に抽出することができない。また、従来の画像の動き解析方法としては、動きのモデルを予め与えてこれに適合する動きを推定するという手法が主であり、この場合、剛体運動や動きの滑らかさ拘束といった動きのモデルが必要になり、事前知識が膨大となる。
【０００７】
本発明の目的は、事前知識を少なくすることができるとともに、画像の動きを高精度に抽出することができる画像解析装置、画像解析方法及び画像解析プログラムを提供することである。
【課題を解決するための手段】
【０００８】
本発明に係る画像解析装置は、処理対象となる画像データを取得する取得手段と、スピンの状態を多値に拡張した磁性体のスピンモデルを用いて取得手段により取得された画像データの各画素を粒子として取扱い、粒子が超常磁性となる状態における画像の動きを統計的手法によりクラスタリングするクラスタリング手段と、クラスタリング手段によるクラスタリング結果を基に画像における動きのクラスタを抽出する抽出手段とを備え、クラスタリング手段は、クラスタの動きを陽に使用することにより規定された画素間の相互作用を用いて画像の動きをクラスタリングするものである。
【０００９】
本発明に係る画像解析装置では、処理対象となる画像データを取得し、スピンの状態を多値に拡張した磁性体のスピンモデルを用いて、画像データの各画素を粒子として取扱い、粒子が超常磁性となる状態における画像の動きを統計的手法によりクラスタリングし、クラスタリング結果を基に画像における動きのクラスタを抽出し、このクラスタリング処理において、クラスタの動きを陽に使用することにより規定された画素間の相互作用を用いて、画像の動きをクラスタリングしているので、超常磁性の状態が明確に現われ、超常磁性となる状態における画像の動きをクラスタリングして画像の動きを高精度に抽出することができる。また、局所的な相互作用を定義するだけで大局的な動きをクラスタリングすることができるので、事前知識を少なくすることができる。この結果、事前知識を少なくすることができるとともに、画像の動きを高精度に抽出することができる。
【００１０】
クラスタリング手段は、画像の輝度をＩ（ｘ，ｙ，ｔ）、Ｉ（ｘ，ｙ，ｔ）の偏微分をｂｆ＝（ｆx，ｆy，ｆt）、画素ｉが属しているクラスタの動きベクトルをＢＵi＝（Ｕi，Ｖi）としたとき、下記式（１）に示す画素ｉと画素ｊとの動きの類似度ｄijを用いて、下記式（２）に示す粒子ｉと粒子ｊとの相互作用Ｊij（ここで、Ｋは近傍の画素数の平均、ａはｄijの平均）を算出し、算出した相互作用Ｊijを用いて画像の動きをクラスタリングすることが好ましい。この場合、超常磁性の状態がより明確に現われ、超常磁性となる状態における画像の動きをクラスタリングして画像の動きをより高精度に抽出することができる。
【００１１】
【数１】
2006072691.tif 000003
【００１２】
クラスタリング手段は、モンテカルロ法を用いて画像の動きをクラスタリングすることが好ましい。この場合、クラスタリング処理を高速に行うことができる。
【００１３】
クラスタリング手段は、Ｓｗｅｎｄｓｅｎ−Ｗａｎｇアルゴリズムを用いて、各画素にランダムにスピン値を割り当て、注目画素と近傍画素とのリンクを下記式（３）、（４）で示す確率に従って切断又は結合し、結合されたリンクを有する画素群をクラスタとし、各クラスタにおける動きベクトルＢＵiを算出し、同じクラスタに属する画素に同一スピン値が割り当てられるように各画素にランダムにスピン値を割り当てる処理を所定回数だけ反復処理することにより画像の動きをクラスタリングすることが好ましい。この場合、各画素（粒子）別個にランダムにスピンの状態を割り当てるのではなく、クラスタに属する画素にまとめて同じスピンの状態を割り当てることができるので、クラスタリング処理をより高速に行うことができる。
【００１４】
【数２】
2006072691.tif 000004
【００１５】
クラスタリング手段は、温度をスイープさせたときに、画素間の相互作用を用いて算出された磁化率が所定範囲内の値をとる温度を粒子が超常磁性となる状態の温度として決定し、決定した温度における画像の動きをクラスタリングすることが好ましい。この場合、超常磁性の状態となる温度を正確に決定することができるので、画像の動きをより高精度に抽出することができる。
【００１６】
本発明に係る画像解析プログラムは、処理対象となる画像データを取得する取得手段と、スピンの状態を多値に拡張した磁性体のスピンモデルを用いて取得手段により取得された画像データの各画素を粒子として取扱い、粒子が超常磁性となる状態における画像の動きを統計的手法によりクラスタリングするクラスタリング手段と、クラスタリング手段によるクラスタリング結果を基に画像における動きのクラスタを抽出する抽出手段としてコンピュータを機能させ、クラスタリング手段は、クラスタの動きを陽に使用することにより規定された画素間の相互作用を用いて画像の動きをクラスタリングするものである。
【００１７】
本発明に係る画像解析方法は、取得手段、クラスタリング手段及び抽出手段として機能するコンピュータを用いて画像の動きを解析する画像解析方法であって、取得手段が、処理対象となる画像データを取得する第１のステップと、クラスタリング手段が、スピンの状態を多値に拡張した磁性体のスピンモデルを用いて取得手段により取得された画像データの各画素を粒子として取扱い、粒子が超常磁性となる状態における画像の動きを統計的手法によりクラスタリングする第２のステップと、抽出手段が、クラスタリング手段によるクラスタリング結果を基に画像における動きのクラスタを抽出する第３のステップとを含み、第２のステップは、クラスタの動きを陽に使用することにより規定された画素間の相互作用を用いて画像の動きをクラスタリングするステップを含むものである。
【発明の効果】
【００１８】
本発明によれば、クラスタリング処理において、クラスタの動きを陽に使用することにより規定された画素間の相互作用を用いて画像の動きがクラスタリングされるので、超常磁性の状態が明確に現われ、超常磁性となる状態における画像の動きをクラスタリングして画像の動きを高精度に抽出することができるとともに、局所的な相互作用を定義するだけで大局的な動きをクラスタリングすることができるので、事前知識を少なくすることができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の一実施の形態による画像解析装置について図面を参照しながら説明する。図１は、本発明の一実施の形態による画像解析装置の構成を示すブロック図である。
【００２０】
図１に示す画像解析装置は、パーソナルコンピュータ等のコンピュータ装置等から構成され、入力装置１、ＲＯＭ（リードオンリメモリ）２、ＣＰＵ（中央演算処理装置）３、ＲＡＭ（ランダムアクセスメモリ）４、Ｉ／Ｆ（インターフェース）部５、外部記憶装置６、表示装置７及び記録媒体駆動装置８を備える。各ブロックは内部のバスに接続され、このバスを介して種々のデータ等が各ブロック間で入出力され、ＣＰＵ３の制御の下、種々の処理が実行される。
【００２１】
入力装置１は、キーボード、マウス等から構成され、ユーザが種々の操作指令を入力するために用いられる。ＲＯＭ２には、システムプログラム等が予め記憶される。外部記憶装置６は、ハードディスクドライブ等から構成され、後述する画像解析プログラム等を記憶している。ＣＰＵ３は、外部記憶装置６から画像解析プログラム等を読み出し、後述する画像解析処理等を実行して各ブロックの動作を制御する。ＲＡＭ４は、ＣＰＵ３の作業領域等として用いられる。表示装置７は、ＣＲＴ（陰極線管）又は液晶表示装置等から構成され、ＣＰＵ３の制御の下、種々の画面を表示する。また、Ｉ／Ｆ部５は、画像キャプチャボード等から構成され、画像出力装置１０は、テレビジョン、ビデオカメラ、ＤＶＤレコーダ等の画像データを出力可能な機器から構成される。Ｉ／Ｆ部５は、画像出力装置１０と接続され、画像出力装置１０から出力される画像データをＣＰＵ３等へ出力する。
【００２２】
なお、画像解析プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ等から構成されるコンピュータ読み取り可能な記録媒体９に記録するようにしてもよい。この場合、ＣＤ−ＲＯＭドライブ、ＤＶＤドライブ等から構成される記録媒体駆動装置８を用いて記録媒体９から読み出された画像解析プログラムが外部記憶装置６にインストール等される。また、画像解析装置が外部との通信を制御する通信装置を有し、ネットワークを介して接続されている他のコンピュータ等に画像解析プログラム等が記憶されている場合、当該コンピュータ等からネットワークを介して画像解析プログラム又は処理対象となる画像データ等をダウンロードするようにしてもよい。
【００２３】
次に、上記のように構成された画像解析装置の主要な機能について説明する。図２は、図１に示す画像解析装置の主要機能ブロック図である。
【００２４】
図２に示すように、画像解析装置は、ＣＰＵ３等が画像解析プログラム等を実行することにより、画像取得部１１、前処理部１２、クラスタリング部１３、動き抽出部１４及び画像処理部１５として機能する。
【００２５】
画像取得部１１は、入力装置１及びＩ／Ｆ部５等から構成され、例えば、ユーザが画像データ取得指令を入力すると、画像出力装置１０から処理対象となる画像データを取得する。前処理部１２は、ＣＰＵ３等から構成され、処理対象となる画像データにスムージング処理、解像度変換処理等の前処理を施し、画像データをクラスタリング処理に適した解像度等を有する画像データに変換する。
【００２６】
クラスタリング部１３は、ＣＰＵ３等から構成され、スピンの状態を多値に拡張した磁性体のスピンモデルであるＰｏｔｔｓモデルを用いて前処理部１２から出力される画像データの各画素を粒子として取扱い、粒子が超常磁性となる状態における画像の動きを統計的手法によりクラスタリングする。このとき、クラスタリング部１３は、クラスタの動きを陽に使用することにより規定された画素間の相互作用を用いて画像の動きをクラスタリングする。例えば、クラスタリング部１３は、画像の輝度をＩ（ｘ，ｙ，ｔ）、Ｉ（ｘ，ｙ，ｔ）の偏微分をｂｆ＝（ｆx，ｆy，ｆt）、画素ｉが属しているクラスタの動きベクトルをＢＵi＝（Ｕi，Ｖi）としたとき、下記式（１）に示す画素ｉと画素ｊとの動きの類似度ｄijを用いて、下記式（２）に示す粒子ｉと粒子ｊとの相互作用Ｊij（ここで、Ｋは近傍の画素数の平均、ａはｄijの平均）を算出し、算出した相互作用Ｊijを用いて画像の動きをクラスタリングする。この場合、超常磁性の状態がより明確に現われ、超常磁性となる状態における画像の動きをクラスタリングして画像の動きをより高精度に抽出することができる。なお、近傍の画素数としては、種々の値を用いることができ、例えば、注目画素の上下、左右、斜めの直近に位置する８個の画素を用いることができる。
【００２７】
【数３】
2006072691.tif 000005
【００２８】
上記のクラスタリング処理において、クラスタリング部１３は、モンテカルロ法を用いて画像の動きをクラスタリングする。具体的には、クラスタリング部１３は、Ｓｗｅｎｄｓｅｎ−Ｗａｎｇアルゴリズム（R. Swendsen and J-S. Wang. Nonuniversal critical dynamics in monte carlo simulation. Physics Review Letters, 58(2):86.88, 1987.等を参照）を用いて、各画素にランダムにスピン値を割り当て、注目画素と近傍画素とのリンクを下記式（３）、（４）で示す確率に従って切断又は結合し、結合されたリンクを有する画素群をクラスタとし、各クラスタにおける動きベクトルＢＵiを算出し、同じクラスタに属する画素に同一スピン値が割り当てられるように各画素にランダムにスピン値を割り当てる処理を所定回数だけ反復処理することにより画像の動きをクラスタリングする。この場合、各画素別個にランダムにスピンの状態を割り当てるのではなく、クラスタに属する画素にまとめて同じスピンの状態を割り当てることができるので、クラスタリング処理をより高速に行うことができる。
【００２９】
【数４】
2006072691.tif 000006
【００３０】
なお、クラスタリング処理に用いられるモンテカルロ法は、上記の例に特に限定されず、種々の変更が可能であり、例えば、Ｍｅｔｒｏｐｏｌｉｓ、Ｇｉｂｂｓ  ｓａｍｐｌｉｎｇ等のマルコフ鎖モンテカルロ法を用いてもよい。
【００３１】
また、上記のクラスタリング処理において、クラスタリング部１３は、温度をスイープさせたときに、画素間の相互作用を用いて算出された磁化率が所定範囲内の値をとる温度を粒子が超常磁性となる状態の温度として決定し、決定した温度における画像の動きをクラスタリングする。この場合、超常磁性の状態となる温度を正確に決定することができるので、画像の動きをより高精度に抽出することができる。
【００３２】
動き抽出部１４は、ＣＰＵ３等から構成され、クラスタリング部１３のクラスタリング結果を基に画像における動きのクラスタを抽出する。画像処理部１５は、ＣＰＵ３等から構成され、抽出されたクラスタを基に種々の画像処理を画像データに対して施し、例えば、交通監視、侵入者の検出、人物の認識、テレビ映像の切り出し等の種々のアプリケーションに用いられる画像処理等を行う。なお、単に画像の動きを解析する場合は、画像処理部１５を省略してもよい。
【００３３】
本実施の形態では、画像取得部１１が取得手段の一例に相当し、前処理部１２及びクラスタリング部１３がクラスタリング手段の一例に相当し、動き抽出部１４が抽出手段の一例に相当する。
【００３４】
次に、本実施の形態に用いられるＰｏｔｔｓモデルについて詳細に説明する。図３は、Ｉｓｉｎｇモデル及びＰｏｔｔｓモデルの模式図であり、図中の矢印はスピンの方向を示している。図３の（ｂ）に示すＰｏｔｔｓモデルは、図３の（ａ）に示す磁性体のスピンモデルであるＩｓｉｎｇモデルのスピンの状態を２値（＋１，−１）から多値（１，…，ｑ）に拡張したものであり、磁性体のスピンモデルとして知られている（F.Y.Wu. The potts model. Review of Modern Physics, 54(1):235-268, 1984.等を参照）。各粒子には、ｑ個の状態（１，…，ｑ）のうちの一つが割り当てられる。粒子ｉ に割り当てられたスピンの状態をσiで表すと、システムのハミルトニアンは、下記式（５）で表される。
【００３５】
【数５】
2006072691.tif 000007
【００３６】
ここで、δσiσjは、粒子ｉと粒子ｊとの間の相関であり、Ｊijは粒子ｉと粒子ｊとの相互作用であり、これらの積の総和は、近傍領域<ｉ，ｊ>で定義される。いま、Ｎ個の粒子がある場合、σ＝（σ1，…，σN）は、このシステムの状態を表しており、ある状態σhになる確率は、温度をＴとして、下記式（６）で表される。ただし、ｚは正規化するための定数である。
【００３７】
【数６】
2006072691.tif 000008
【００３８】
図４は、強磁性、常磁性及び超常磁性の状態を説明するための模式図である。上記のシステムの温度Ｔを変化させると、相転移が起き、Ｔが小さい場合は図４の（ａ）に示す強磁性（ferromagnetism）を示し、Ｔが大きい場合は図４の（ｂ）に示す常磁性（paramagnetism）となる。強磁性ではスピンは一方向に収束し、常磁性ではスピンはバラバラになり、秩序を持たないが、これらの間に図４の（ｃ）に示す超常磁性（super-paramagnetism）が現れる場合がある。これは、磁区が小さくなり、磁化が熱的に揺らいでいる状態である。つまり、粒子がクラスタとなり、複数のクラスタが存在するようになる。このため、本実施の形態では、画素を粒子に見立てて、超常磁性となる温度を決定することにより画像の動きをクラスタリングする。
【００３９】
また、画像に動きがある場合、オプティカルフローが生じる。いま、画像の輝度をＩ（ｘ，ｙ，ｔ）とする。二枚の画像間で、ある画素の移動前後の輝度が変化しないという仮定を置く。Ｉ（ｘ，ｙ，ｔ）をｘ，ｙ，ｔで偏微分したものをｂｆ＝（ｆx，ｆy，ｆt）、その画素の動きベクトルをｂｕ＝（ｕ，ｖ）とすると、下記式（７）に示す拘束式が得られる。
【００４０】
【数７】
2006072691.tif 000009
【００４１】
これはＢＣＣ（Brightness Constant Constraint）と呼ばれ、動きベクトルは、画像上でｂｆで表される直線上に乗ることを示しているが、この拘束式だけからｕ，ｖを一意に求めることはできない。このため、本実施の形態では、クラスタの情報を陽に使用する方法を用いている。いま、画素ｉが属している仮のクラスタの動きをＢＵi＝（Ｕi，Ｖi）とすると、画素ｉがこのクラスタに属しているなら、ＢＵiは、上記の式（７）の拘束を満たすはずである。そこで、画素ｉと画素ｊとの動きの類似度の指標として、上記の式（１）に示す画素ｉと画素ｊとの動きの類似度ｄijを導入する。なお、式（１）のｄiは、クラスタの動きベクトルＢＵiと、偏微分が表す拘束直線との距離を表している。
【００４２】
このように、Ｐｏｔｔｓモデルでは、上記式（２）で表される粒子間の相互作用Ｊijが重要な働きを行い、本実施の形態では、画素のＢＣＣに対して、その画素が属しているクラスタの動きベクトルが合致することを要求して相互作用Ｊijを決定することにより、上記式（１）で表される画素ｉと画素ｊとの動きの類似度ｄijに応じて相互作用Ｊijを定義している。
【００４３】
次に、上記のように構成された画像解析装置による画像解析処理について説明する。図５は、図２に示す画像解析装置による画像解析処理を説明するためのフローチャートである。
【００４４】
まず、ユーザが画像データ取得指令を入力すると、ステップＳ１において、画像取得部１１は、例えば、４８０×６４０画素からなる画像データを取得して前処理部１２へ出力する。次に、ステップＳ２において、前処理部１２は、ガウシアンフィルタを用いて画像データ全体にスムージング処理を施し、解像度を１／８に低下させてクラスタリング部１３へ出力する。
【００４５】
次に、ステップＳ３において、クラスタリング部１３は、各画素の輝度の偏微分ｂｆ＝（ｆx，ｆy，ｆt）を算出する。次に、ステップＳ４において、クラスタリング部１３は、キュリー温度ＴCを算出し、算出したＴCを基準に温度のスイープ範囲を設定する。次に、ステップＳ５において、クラスタリング部１３は、設定した温度のスイープ範囲内で温度を設定する。
【００４６】
Ｐｏｔｔｓモデルにおいては、システムの挙動は温度Ｔと相互作用Ｊijとによって決まる。本実施の形態では、上記式（２）に示すＪijを用い、温度Ｔに関しては、低い温度から高い温度までＴをスイープし、適切な温度を探る。一般に、強磁性から常磁性への相転移はキュリー温度ＴCで起こるとされ、キュリー温度ＴCは下記式（８）で近似できる。
【００４７】
【数８】
2006072691.tif 000010
【００４８】
超常磁性もこの近辺で現れると考えられるので、本実施の形態では、温度Ｔを０＜Ｔ＜４ＴCの範囲でスイープする。また、各温度での磁化率χを、相転移がどのように変化したかの指標として用いる。
【００４９】
次に、ステップＳ６において、クラスタリング部１３は、Ｓｗｅｎｄｓｅｎ−Ｗａｎｇ（ＳＷ）アルゴリズムによるクラスタリング処理を実行する。図６は、図５に示すステップＳ６のクラスタリング処理を説明するためのフローチャートである。
【００５０】
まず、ステップＳ２１において、クラスタリング部１３は、画像中の各画素を粒子に見立て、σi（ｉ＝１，…，Ｎ）にスピンの状態（１，…，ｑ）をランダムに割り当てる。次に、ステップＳ２２において、クラスタリング部１３は、各画素にクラスタを設定し、クラスタの動きベクトルにランダムな値を設定する。したがって、各画素が画素数１のクラスタとなり、クラスタの総数はＮとなる。
【００５１】
次に、ステップＳ２３において、クラスタリング部１３は、全ての画素の直近８近傍領域において、上記の式（１）に示す画素ｉと画素ｊとの動きの類似度ｄijを用いて式（２）に示す粒子ｉと粒子ｊとの相互作用Ｊijを算出する。次に、ステップＳ２４において、クラスタリング部１３は、上記の式（３）、（４）で示す確率に従って近傍の画素とのリンクを切断又は結合する。ただし、結合はσi＝σjの場合のみに限定する。
【００５２】
次に、ステップＳ２５において、クラスタリング部１３は、結合されたリンクを有する画素の集合をクラスタとして設定する。次に、ステップＳ２６において、クラスタリング部１３は、クラスタに含まれる画素の拘束式（７）を連立させて各クラスタの動きベクトルＢＵを計算する。なお、クラスタに含まれる画素数が少ない場合や拘束式（７）を連立させても解が不定になる場合は、ＢＵにランダムな値を格納する。次に、ステップＳ２７において、クラスタリング部１３は、各画素にランダムにスピン値を割り当てる。ただし、同じクラスタに属する画素には同じスピン値を割り当てる。
【００５３】
次に、ステップＳ２８において、クラスタリング部１３は、上記のステップＳ２３〜Ｓ２７の処理を予めモンテカルロ法の反復回数だけ行ったか否かを判断し、反復回数に達していない場合はステップＳ２３〜Ｓ２７の処理を繰り返し、反復回数に達した場合は反復処理を終了して図５に示すステップＳ７へ処理を移行する。
【００５４】
再び、図５を参照して、ステップＳ７において、クラスタリング部１３は、以下のようにして磁化率等を算出する。まず、クラスタリング部１３は、画素ｉと画素ｊとが同一クラスタに属する場合はｃijを１、その他の場合はｃijを０とし、熱的平均として、モンテカルロ法のすべてのステップの平均<ｃij>を計算する。次に、クラスタリング部１３は、この<ｃij>を用いて画素ｉと画素ｊとが同一のクラスタに属する確率<δij>＝（（ｑ−１）<ｃij>＋１）／ｑを計算する。次に、クラスタリング部１３は、<δij>＞θ（ここで、θはクラスタを決定する際の閾値）である画素のリンクを結合し、結合を持つ画素の集合をクラスタとする。これがステップＳ５で設定した温度Ｔにおけるクラスタリングの結果となる。最後に、クラスタリング部１３は、磁化ｍの分散を用いて、磁化率χ＝Ｎ（<ｍ2>−<ｍ>2）／Ｔを計算する。なお、磁化ｍは、各モンテカルロ法のステップで、ｍ＝（ｑＮmax−Ｎ）／（Ｎ（ｑ−１））として計算する。ただし、Ｎmax＝ｍａｘ（Ｎ1，…，Ｎq）であり、各スピン値をとる画素数の最大となるものである。
【００５５】
次に、ステップＳ８において、クラスタリング部１３は、上記のステップＳ４で設定したスイープ範囲に対してステップＳ５〜Ｓ７の処理を実行したか否かを判断し、全てのスイープ範囲に対する処理が終了していない場合はステップＳ５において温度Ｔを所定値だけ変化させてステップＳ６〜Ｓ７の処理を繰り返し、全てのスイープ範囲に対する処理が終了した場合はステップＳ９へ処理を移行する。
【００５６】
上記のようにして、温度をスイープしながら処理を繰り返すと、磁化率χは、温度が低いとき、つまり強磁性の状態ではほぼ０であり、その後、キュリー温度ＴC近辺で急激に上昇する。さらに温度を上昇させると、磁化率χは下落し、しばらく変化しない範囲が表れる。これが超常磁性の状態であり、この状態がクラスタリングに適した温度である。その後は、急激に０に低下し、常磁性の状態となる。
【００５７】
したがって、ステップＳ９において、クラスタリング部１３は、磁化率χが上記のように変化して所定範囲内の値をとる温度を、例えば、磁化率χの変化量が所定値以内になる温度のうち中間の温度を粒子が超常磁性となる状態の温度として決定する。次に、ステップＳ１０において、クラスタリング部１３は、決定した温度における画像の動きのクラスタリング結果を動き抽出部１４へ出力する。
【００５８】
次に、ステップＳ１１において、動き抽出部１４は、クラスタリング部１３のクラスタリング結果を基に処理対象となった画像における動きのクラスタを抽出する。最後に、ステップＳ１２において、画像処理部１５は、抽出されたクラスタを基に所定の画像処理を実行して画像の動きを抽出したり、画像の動きを分類し、画像解析処理が終了する。
【００５９】
図７は、動きの前後を表す画像の一例を示す図であり、図８は、図７に示す画像間のｆx，ｆy，ｆtを示す図である。図７に示す２枚の画像を用いて上記の画像の動きのクラスタリングする画像解析処理を行った結果、図８の（ａ）〜（ｃ）に示す画像間のｆx，ｆy，ｆtが得られた。ここで、処理条件としては、図７に示す元の画像は４８０×６４０画素であるが、ｆx，ｆy，ｆtを計算するに当たり、まずガウシアンフィルタで画像全体を事前にスムージング処理して解像度を１／８にし、近傍領域として画素のまわり８近傍を用い、スピン値をｑ＝１１とした。また、モンテカルロ法の反復回数は４０００回とし、クラスタを決定する際のパラメータθは０．５とした。
【００６０】
図９は、図７に示す画像に対する画像解析処理により得られた磁化率χと温度Ｔとの関係を示す図であり、図１０は、温度Ｔ＝０．２５のときのクラスタリング結果の一例を示す図である。図９に示すように、Ｔ＝０．２５の近辺で磁化率χの変化が少なくなり、超常磁性の状態であることがわかった。このときのクラスタリングの結果が図１０に示すものであり、頭と胴部がほぼ同じ動きをし、右腕はこれと異なる動きをしていることがわかり、画像の動きを高精度に抽出することができた。
【００６１】
上記の処理により、本実施の形態では、Ｐｏｔｔｓモデルを用いて画像データの各画素を粒子として取扱い、Ｓｗｅｎｄｓｅｎ−Ｗａｎｇアルゴリズムを用いた統計的手法により粒子が超常磁性となる状態における画像の動きをクラスタリングし、このクラスタリング結果を基に画像における動きのクラスタを抽出し、このクラスタリング処理において、上記の式（１）に示す画素ｉと画素ｊとの動きの類似度ｄijを用いて規定される式（２）に示す粒子ｉと粒子ｊとの相互作用Ｊijを用いて画像の動きをクラスタリングしているので、超常磁性の状態が明確に現われ、このときの画像の動きをクラスタリングして画像の動きを高精度に抽出することができる。また、上記のように局所的な相互作用を定義するだけで大局的な動きをクラスタリングすることができるので、事前知識を少なくすることができる。
【００６２】
なお、上記の説明では、本発明による画像解析処理をソフトウエアを用いて行う例を説明したが、一部又は全てを専用のハードウエアを用いて構成してもよく、この場合、より高速に処理を実行することができる。
【図面の簡単な説明】
【００６３】
【図１】本発明の一実施の形態による画像解析装置の構成を示すブロック図である。
【図２】図１に示す画像解析装置の主要機能ブロック図である。
【図３】Ｉｓｉｎｇモデル及びＰｏｔｔｓモデルの模式図である。
【図４】強磁性、常磁性及び超常磁性の状態を説明するための模式図である。
【図５】図２に示す画像解析装置による画像解析処理を説明するためのフローチャートである。
【図６】図５に示すステップＳ６のクラスタリング処理を説明するためのフローチャートである。
【図７】動きの前後を表す画像の一例を示す図である。
【図８】図７に示す画像間のｆx，ｆy，ｆtを示す図である。
【図９】図７に示す画像に対する画像解析処理により得られた磁化率χと温度Ｔとの関係を示す図である。
【図１０】温度Ｔ＝０．２５のときのクラスタリング結果の一例を示す図である。
【符号の説明】
【００６４】
１１  画像取得部
１２  前処理部
１３  クラスタリング部
１４  動き抽出部
１５  画像処理部
【図１】
2006072691.tif 000013
【図２】
2006072691.tif 000014
【図３】
2006072691.tif 000015
【図４】
2006072691.tif 000016
【図５】
2006072691.tif 000017
【図６】
2006072691.tif 000018
【図９】
2006072691.tif 000019
【図７】
2006072691.tif 000020
【図８】
2006072691.tif 000021
【図１０】
2006072691.tif 000022