(57)【要約】本発明は、ビデオを用いて物体の位置と形を求めるシステムと方法に関する。本発明は、物体の分離と識別、動いている物体の動きの追跡、物体のポーズの分類、行動の識別を自動的に行うように構成されたコンピュータと、コンピュータに接続されたカメラを有するシステムを含む。好ましい実施の形態では、本発明は、物体の識別と追跡のためのバックグランド除去、動きを追跡するための期待−最大化による確率的アプローチ、行動識別のための決定樹分類を用いる。本発明は、イメージ内の様々な物体の行動とその物体の動きを、識別し追跡し分類するために、ビデオイメージを自動的に監視することができる。このイメージは、リアルタイムで、またはデータ記憶手段から提供される。本発明は、薬品の投与や遺伝子操作の効果を試験する動物の行動の監視と分類に特に有効であり、その他の多くの監視にも利用できる。【選択図】図１
2004514975.tif 000002
【特許請求の範囲】
【請求項１】
ビデオイメージを基に、対象の物体の位置と形を決定し、時間に対する前記位置と前記形の変化の分析を基に、前記対象の物体の行動を特徴付けするように構成されたコンピュータを含んで構成されているシステム。
【請求項２】
さらに、前記ビデオイメージを提供するために、前記コンピュータに接続されたビデオカメラを含んで構成されている請求項１に記載のシステム。
【請求項３】
さらに、前記ビデオカメラによって提供される前記ビデオイメージを、アナログからディジタル形式に変換するための前記ビデオカメラと前記コンピュータに接続されたビデオディジタル化ユニットを含んで構成されている請求項２に記載のシステム。
【請求項４】
さらに、前記ビデオイメージと基準の物体のビデオイメージを格納するために、前記ビデオディジタル化ユニット、前記ビデオカメラおよび前記コンピュータに接続された格納・再生ユニットを含んで構成されている請求項３に記載のシステム。
【請求項５】
前記コンピュータが、前記ビデオイメージを受信する、物体識別・分離モジュールを含んで構成されている請求項１に記載のシステム。
【請求項６】
前記物体識別・分離モジュールが、複数の前記ビデオイメージを１つのセットにグループ化するバックグランド除去アルゴリズムを用いて動作し、前記セットのビデオイメージ標準偏差マップが生成され、所定のスレショルドより変化の大きいバウンダリボックスがビデオイメージの前記セットから取り除かれ、イメージのない前記バウンダリボックスのセットがバックグランドイメージを生成するために平均化されるように構成されている請求項５に記載のシステム。
【請求項７】
前記コンピュータが、さらに、前記物体の行動を特徴付けするための行動識別モジュールを含み、該行動識別モジュールが前記物体識別・分離モジュールに接続されている請求項６に記載のシステム。
【請求項８】
前記コンピュータが、さらに、前記ビデオイメージのうちの１つのフレームから別のフレームへ前記物体を追跡するための物体追跡モジュールおよび前記物体の行動を分類するための物体の形と位置の変化の分類手段を含み、それらが相互に接続されており、かつ前記物体識別・分離モジュールと前記行動識別モジュールを含んで構成されている請求項７に記載のシステム。
【請求項９】
前記コンピュータが、さらに、前記物体の行動を比較するための予め定められた基準物体の既知の行動に関する情報を格納する基準物体の行動格納モジュールを含み、該基準物体の行動格納モジュールが前記行動識別モジュールに接続され、基準物体分類モジュールが前記基準物体行動モジュールに接続されている請求項８に記載のシステム。
【請求項１０】
前記コンピュータが、さらに、前記物体の行動を比較するために予め定められた基準物体の既知の行動に関する情報を格納する基準物体の行動格納モジュールを含み、該基準物体の行動格納モジュールが、前記行動識別モジュールに接続されている請求項５に記載のシステム。
【請求項１１】
前記物体が生きている物体である請求項１に記載のシステム。
【請求項１２】
前記物体が動物である請求項１に記載のシステム。
【請求項１３】
前記物体がマウスである請求項１に記載のシステム。
【請求項１４】
前記物体が人間である請求項１に記載のシステム。
【請求項１５】
前記物体が人間が作った機械である請求項１に記載のシステム。
【請求項１６】
ビデオイメージのコンピュータ処理を利用することにより物体の行動を決定し、特徴付けする方法であって、
前記ビデオイメージ内の対象としている前景の物体を検出するステップと、
複数の前記ビデオイメージにわたって、前記前景の物体の変化を追跡するステップと、
前記前景の物体の前記変化を識別し分類するステップと、
基準物体の行動との比較に基づいて、前記前景の物体の前記行動を特徴付けするステップとを含む方法。
【請求項１７】
前記行動を特徴付けするステップが、行動のプリミティブに応じて一連のポーズを描くステップと、
該行動のプリミティブを、１つの範囲のイメージに関する実際の行動に集約するステップとを含む請求項１６に記載の方法。
【請求項１８】
前記前景の物体の検出が、前記ビデオイメージにおける１セットの個々のフレームの平均からバックグランドイメージを生成するステップを含む請求項１６に記載の方法。
【請求項１９】
前記バックグランドイメージを生成するステップが、前記前景の物体が位置する領域を識別するために、前記個々のフレーム内にある画素の強度の変化を決定するステップを含む請求項１８に記載の方法。
【請求項２０】
前記バックグランドイメージを生成するステップが、さらに、前記バックグランドイメージを生成するために、前記ビデオイメージのうち、変化のない画素を利用するステップを含む請求項１９に記載の方法。
【請求項２１】
前記バックグランドイメージを生成するステップが、前記バックグランドにおける物体の変化と、前記ビデオイメージを捉えるカメラの小さな動きを周期的に修正することを含む請求項２０に記載の方法。
【請求項２２】
前記前景の物体の検出が、バックグランド除去法の利用を含み、
最新のイメージのうち近接するフレームを拡大するステップと、
対象物に対する広い領域を決定するために、最新のイメージとバックグランドとの間の相違に、緩いスレショルドを適用するステップと、
前記前景の物体を得るために、対象とする前記領域における画素を強度によって分類するステップと、
前記前景の物体のイメージの輪郭を更新するためのエッジ情報を適用するステップとを含む請求項１６に記載の方法。
【請求項２３】
前記前景の物体を検出するステップが、追跡され特徴付けされる前景の物体をマニュアルで識別するステップを含む請求項１６に記載の方法。
【請求項２４】
前記ポーズの決定と描画が、統計的な形状情報でかつ輪郭に基づいた形状情報の利用を含む請求項１７に記載の方法。
【請求項２５】
前記前景の物体の変化を識別し分類するステップが、
前景の物体の領域、
前景の物体の重心、
前景の物体のバウンダリボックスとそのアスペクト比、
前景の物体の偏心度、および
主成分分析で生成される軸に対する前景の物体の方位
を含むグループから選ばれた統計的な形状情報の使用を含む請求項２４に記載の方法。
【請求項２６】
前記前景の物体の変化を識別し分類するステップが、Ｂ−スプライン表示、コンベックスハル表示およびコーナーポイントから選ばれた輪郭に基づく形状情報を用いるステップである請求項２４に記載の方法。
【請求項２７】
前記前景の物体の変化を識別し分類するステップが、１セットのモデルポーズとそれらの描画情報を含み、前記モデルポーズのセットが、水平のポーズ、垂直のポーズ、摂食しているポーズまたは眠っているポーズを含むステップである請求項２４に記載の方法。
【請求項２８】
前記前景の物体の変化を識別し分類するステップが、もっともよく適合したポーズが割り当てられる最新のイメージから、統計学的で輪郭に基づいた形状情報を分類することを含むステップである請求項２７に記載の方法。
【請求項２９】
前記行動プリミティブを描画するステップが、一連のイメージにおけるポーズのパターンを識別するステップを含む請求項１７に記載の方法。
【請求項３０】
前記行動プリミティブを描画するステップが、さらに、重心の動きの方向と大きさ、偏心度の増加と減少、面積の増加と減少、バウンダリボックスのアスペクト比の増加と減少、Ｂ−スプライン表示ポイントの変化、コンベックスハルポイントの変化およびコーナーポイントの方向と大きさからなるグループから選ばれた一時的な情報を分析するステップを含む請求項２９に記載の方法。
【請求項３１】
前記行動プリミティブステップが、静止、左から右またはその逆の動き、立ち上がりおよび倒れ込みのような基準の物体の行動の分析を含む請求項２９に記載の方法。
【請求項３２】
前記行動プリミティブステップを描画するステップが、ユーザが定義しカスタマイズした行動プリミティブに入るための手段を提供するステップを含む請求項２９に記載の方法。
【請求項３３】
行動プリミティブを総計することにより実際の行動を決定するステップが、前の行動プリミティブから次の行動プリミティブへの変化に関する情報を用いる、プリミティブの一時的な配列の分析を行うステップを含む請求項１７に記載の方法。
【請求項３４】
前記一時的な配列の分析が、隠れマルコフモデル（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ：ＨＭＭ）などの時系列分析である請求項３３に記載の方法。
【請求項３５】
実際の行動を決定する前記ステップが、睡眠、摂食、ウォーキング、身繕いおよびよじ登りからなるグループから選ばれた実際の行動の識別を含む請求項３３に記載の方法。
【請求項３６】
ビデオイメージのバックグランドを除去する方法であって、
多数のイメージを１セットのビデオイメージに分類するステップと、
分類されたイメージの標準偏差マップを作成するステップと、
部分イメージを生成するために、変化が所定のスレショルドを超える前記イメージのうちのバウンダリボックス領域を除去するステップと、
対象の前景の物体のない完全なバックグランドイメージを生成するために、イメージのセットを平均化することによりすでに得られている部分イメージのセットと、前記部分イメージとを結合するステップと
を含む方法。
【請求項３７】
さらに、前記前景の対象の物体を得るために、最新のイメージから前記完全なバックグランドイメージを除去するステップを含む請求項３６に記載の方法。
【請求項３８】
前記ステップが、前記完全なバックグランドイメージを更新するために周期的に繰り返される請求項３６に記載の方法。
【請求項３９】
ビデオイメージ分析を用いることにより、物体の動きに基づいて、対象としている１つの物体の少なくとも１つの行動を検出し、特徴付けするように構成されたコンピュータを含んで構成されているシステム。
【請求項４０】
前記物体が動物であり、前記行動が、前記動物がフリージング、接触または臭いをかぐという特定の項目にある時に検出されるものである請求項３９に記載のシステム。
【請求項４１】
前記物体が動物であり、前記検出し特徴付けする前記行動が、前記動物の行動を所定の基準と比較することによって決定されるものである請求項３９に記載のシステム。
【請求項４２】
前記物体が動物であり、前記行動の特徴付けが、前記動物に対する薬品の投与または遺伝子操作の効果を検出するために、統計学的な基準に対する前記物体の日常のパターンを分析することによって決定されるものである請求項３９に記載のシステム。
【発明の詳細な説明】
【０００１】
（技術分野）
本発明は、一般的には物体の識別と認識に関する。より詳しくは、本発明に係る一つの態様は、例えば動物や人間を対象に、ビデオ分析を利用する、イメージ内の物体の監視や特徴付けに関する。
（背景技術）
ビデオ分析は、この数十年間進歩を続けてきており、自動化機械を用いる製造における機械の操作には欠くことのできない手段となってきた。例えば、ビデオによる物体認識やパターン認識は、機械加工のための様々な工作物や様々な製造業におけるアセンブリを、正しい向きに置いたり、整列させることに使われてきた。そのような使い方の一つには、半導体集積回路の製造や超小型電子回路のパッケージングがある。この分野では、パターン認識が大いに浸透してきた。その理由は、製品のサイズが微小であり、そのような製品の位置決めや整列配置を、多数の製品に対して連続して正確に人間がこなすことは、あまりにも退屈すぎるからである。
【０００２】
近年、軍は、戦車や自動車のように、情景内で軌跡が動く対象物にビデオを使用する研究を行ってきた。グローバル・ポジショニング・システム（ＧＰＳ）のような別の位置測定装置が、そのような追跡を補助するのに今後使われるようになるであろう。
【０００３】
ビデオ分析の別の利用に、医薬や生物科学における臨床試験に使われる動物の行動のモニタリングがある。ある特定の領域で、動物の行動を連続して監視することにより、特定のタイプの動物における様々な薬品の効果や遺伝子の変化の効果を確認することができる。臨床試験に使われるそのような動物のひとつはマウスである。
【０００４】
この２０年間以上、重要な技術の発展の結果として、科学者達によってマウスモデルの沢山の納骨堂が築かれてきた。モデル生物は、人類がかかる病気や生物学的プロセスを理解したり、解剖したりするのに大切な道具である。それは、マウスと人間は、多くの類似した基本的な生物学的、行動的プロセスを共有しているからであり、この動物は、人類が患う病気やほ乳類の生物学的プロセスを研究する上で、もっとも重要な臨床試験モデルの一つである。しかしながら、遺伝子学的に操作されたマウスに適した行動の特徴付け（行動の表現型（ｐｈｅｎｏｔｙｐｉｎｇ）−生物の目に見える特徴に関する遺伝子操作の効果）は、動物モデルを用いる開発では大きな障害になってきている。すなわち、遺伝子型の数が急激に増加してきており、行動の表現型の把握はもっとも重要な基本的事項であるにもかかわらず、完全に放棄されている。これは最近の表現型の調査法は、ほとんどマニュアルであるため時間を要し、複雑な表現型に対して向いていないからである。
【０００５】
マウスの行動分析に対してビデオ技術が導入され、いくつかの製品が商業ベースで利用可能になってきている。しかし、これらの技術はまだ初歩的なものであり、製品の機能は、研究の目的に適しているとは到底言えない。最近、マウスの行動の監視に利用することができる２つのタイプのシステム（個々の行動を識別するものとマウスの位置のみを識別するもの）がある。
【０００６】
もっとも基本的な最先端のマウスの行動分析システムは、従来のアナログ技術に依っている。その技術では、マウスを分割できない物体として処理するだけであり、マウスの位置を識別することができるにすぎない。マウスに関するすべての情報は、スペースにおける点として詰め込まれるので、マウスの行動に関する多くの重要な情報が失われる。これらのシステムにおける最高の機能は、マウスの位置を見つけることである。「Ｓａｎ Ｄｉｅｇｏ Ｉｎｓｔｒｕｍｅｎｔｓ’ Ｐｈｏｔｏｂｅａｍ」や「ＡｃｃｕＳｃａｎ Ｉｎｓｔｒｕｍｅｎｔｓ Ｉｎｃ．’ｓ Ｄｉｇｉｔａｌ Ｌｉｎｅ ｏｆ Ａｎｉｍａｌ Ａｃｔｉｖｉｔｙ Ｍｏｎｉｔｏｒｉｎｇ， Ｃｏｌｕｍｂｕｓ， ＯＨ」のようなシステムは、マウスの位置の検出と追跡に、簡単で基本的なフォトビームを使っている。これらのシステムの追跡手段は、空間分解能が低いので、動物の行動に関する多くの測定に係る出力を制限する。それらのシステムは、移動や回転のような基本的な行動さえ区別することができない。マウスがいる位置に対して時間ラインを加えることが、それらのシステムが提供可能なすべてである。動物の動きを監視するのに用いられるその他のタイプの動物位置測定システムは、Ｕ．Ｓ．Ｐａｔ．Ｎｏｓ．３，１００，４７３； ３，８０３，５７１； ３，９７４，７９８； ４，３７７，７２６； ４，５７４，７３４； ５，８１６，２５６に開示されているシステムに含まれている。
【０００７】
この分野における別のシステムは、ビデオを用いて個々の行動を識別するシステムである。現存のビデオ分析システム（例えば、Ｎｏｌｄｕｓ Ｏｂｓｅｒｖｅｒ／Ｅｔｈｏｖｉｓｉｏｎ， Ｓｔｅｒｌｉｎｇ， ＶＡ； ＨＶＳ Ｉｍａｇｅ， Ｈａｍｐｔｏｎ， ＵＫ，； ＡｃｃｕＳｃａｎ Ｉｎｓｔｒｕｍｅｎｔｓ Ｉｎｃ．’ｓ ＶｉｄｅｏＳｃａｎ２０００ Ｓｙｓｔｅｍ； ＳａｎＤｉｅｇｏ Ｉｎｓｔｒｕｍｅｎｔｓ Ｐｏｌｙ−Ｔｒａｃｋ ｓｙｓｔｅｍ， Ｓａｎ Ｄｉｅｇｏ， ＣＡ）は、どちらの期待にも適合しない。ビデオからのディジタルイメージは、マウスの体を捕らえるのに使われ、動物の位置や動きに関する定量的なデータと、すべての時間にわたるこれらの変化のパターンを提供する。それらは、動物（例えば、マウス）をスペースにおける１つの点として、処理するに過ぎない。その代わりに、それらは、１ブロックにおける画素として取り扱われ、より多くの情報が保存される。しかしながら、それらはいくつかの単純な特徴を利用できるようにするに過ぎない。例えば、動物（例えば、マウス）の集団の中心が計算され、動物（例えば、一匹のマウス）を追跡する手段の一つとして用いられる。このように、異なったポーズなどの動物の行動、手足など動物の体の部分の位置を識別するのが難しいような多くの情報が失われる。これらのシステムは、移動などの基本的な行動を識別するだけであり、摂食や後ろ足立ちや跳躍などの単純な動物の姿を自動的に識別することができず、また、熟達したリーチングのような複雑な行動に言及することができない。そのような行動の識別には、人間の介在や寄与が必要である。
【０００８】
さらに、これらのシステムは、運動状態にある姿で比較的動きが少ないラット用に開発されている。しかし、マウスのような他の動物は行動範囲が広く、ラットに比べると集団の中心がかなり非固定的である。重心が急速に、頻繁に動く場合には、移動した距離のような測定値を追加することができないので、これらのシステムがマウスに対しては著しく不正確なものとなる。さらに、システムが、暗いバックグランド中の白いラットの検査に利用される場合はいいが、茶色や黒いマウスなどの他の動物を追跡する場合には、測定の正確さに欠ける。
【０００９】
もっとも進歩したシステムは、Ｎｏｌｄｕｓによって提案されたシステムである。このＮｏｌｄｕｓ Ｏｂｓｅｒｖｅｒ システムは、ビデオカメラ、ＴＶモニタ、高性能のＶＣＲおよびＰＣシステムを備えており、すべてのものが１つに接続されている。そのカメラは、ケージ内のマウスのビデオ映像を撮影する。このビデオは、ビデオテープに記録され、ディジタル化されてＰＣシステムに入力され、コンピュータのモニタ上に映し出される。記録され映し出されたビデオを人間の観察者がコントロールすることができるが、人間の観察者は、スクリーン上の動物を見て、動物が行っている行動を決定し、記録や後の分析を行うシステムによって提供されるメカニズムに情報を含めなければならない。このシステムは、行動の観察が可能になっているが、自動化されておらず、また、人間のエラーを招きやすく、極端に厳しい作業を強いられる。一日中の行動や異なったタイプの動物の行動プロフィールや同一の動物の変化する緊張（例えば、マウスの変化する緊張）をコーディングする作業は、この装置では非常に多くの時間を必要とする。
（発明の要約）
一般に、本発明は、ビデオを用いる対象物の行動および／または活動のパターンを観察するためのシステムと方法に関する。本発明は、物体の識別、物体の動きの追跡（例えば、動いている物体）、物体の形やポーズの分類および行動の識別を自動的に提供するように構成されているコンピュータに接続されたビデオカメラを有するシステムを含んでいる。このように、本発明によれば、様々な物体の行動やそれらの動きを識別し、追跡し、分類するためのビデオイメージを自動的にモニタリングすることができる。このビデオイメージは、リアルタイムでカメラから、および／または格納元から提供される。本発明は、薬品の臨床試験や染色体の突然変異の試験に用いられた動物の行動の監視と分類に特に有用であるが、多くの対象の監視やその他の応用のいずれにおいても有用である。
【００１０】
一つの実施の形態では、本発明は、アナログビデオカメラとビデオ録画・再生装置（例えば、ＶＣＲ）が、ビデオのディジタル化・圧縮装置に接続されている。ビデオカメラは、識別する物体を含むビデオイメージを提供する。ビデオイメージのディジタル化・圧縮装置は、モニタに接続されており、一連のビデオセッションイメージフレーム内ですべての時間にわたって、物体の行動とその動きを識別し、追跡し、分類するためのビデオイメージを自動的に監視するように構成されている。ディジタル化・圧縮装置は、アナログビデオに変換してもよく、例えば、ＭＰＥＧやその他のフォーマットの音声に変換してもよい。コンピュータは、例えば、パーソナルコンピュータでよく、ウインドウズプラットフォームとユニックスプラットフォームのいずれか、またはマッキントッシュ・コンピュータと互換性のあるプラットフォームが用いられる。コンピュータには、例えば、ＭＡＴＬＢまたはＣ／Ｃ＋＋プログラミング語を用いる、ウインドウズプラットフォーム、カスタムソフトウエアプログラムがロードされ、構築される（または、ファームウエアとして装備される）。それによって、物体の識別と分類、追跡、および／または行動／活動の特徴付けを行うためのディジタル化されたビデオイメージを分析することができる。このソフトウエアは、例えば、ＲＯＭ、ＲＡＭ、ＣＤＲＯＭおよび／またはハードディスクなどを含むプログラムメモリに格納することができる。
【００１１】
本発明に係る一つの実施の形態では、ソフトウエア（またはファームウエア）が、独特なバックグランド除去方法を含んでいる。その方法は、以前知られていたようなものより、よりシンプルで効率的で正確である。
【００１２】
使用の際には、システムは、ビデオカメラからリアルタイムで送られるビデオイメージ、またはビデオ録画・再生装置から送られるビデオイメージを受信する。ビデオイメージがアナログ型の場合には、その情報はアナログ型からディジタル型に変換され、次に、ビデオディジタル化・圧縮装置によって圧縮される。次に、そのディジタル化されたビデオイメージは、イメージから所定の物体を識別し分離するために、様々な処理を施すコンピュータに提供される。好ましい実施の形態においては、物体は、ビデオ内のフレームからフレームにかけていくつかの動きを含む運動中の一つの物体（例えば、一匹のマウス）であり、その物体はビデオイメージの前景にいるものである。いずれのケースにおいても、ディジタルのイメージが処理され、入力されるビデオイメージの様々なフレームから所定の物体が識別され分類される。この処理は、例えば、バックグランド除去、混合モデリング、ロバストエスティメーション（Ｒｏｂｕｓｔ Ｅｓｔｉｍａｔｉｏｎ）および／またはその他のプロセスを用いることによって達成される。
【００１３】
次に、所定の物体の形と位置が、１つのフレームまたはシーンからもう１つのフレームまたはシーンにかけてビデオイメージが追跡される。さらに、対象とする物体の形、位置および／またはポーズの変化が識別され、それらの特徴が抽出され、例えば、立った（垂直の）姿勢の側面像、横たわった（水平の）姿勢の側面像、立った（垂直の）姿勢の前面像、横たわった（水平の）姿勢の前面像、左から右への動きなどの意味のあるカテゴリに分類される。次に、形、位置およびポーズのカテゴリが、物体の行動を、予め定義されている多数の行動のうちの１つに特定するために利用される。例えば、物体が一匹の動物の場合には、いくつかの予め定義された通常の行動に、睡眠、摂食、ドリンキング、ウォーキング、ランニングなどが含まれるはずである。また、予め定義された異常な行動に、立った姿勢での回転、同じ位置でのジャンピングなどが含まれるはずである。この予め定義された行動は、データメモリのデータベースに格納されていることが好ましい。このような行動は、例えば、ルールに基づくラベル分析、徴候解析処理および／または隠れマルコフモデル（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌｉｎｇ：ＨＭＭ）などの方法を用いることによって、特徴付けされる。さらに、このシステムは、新しい行動や特別な一時的なリズムのような物体の行動を特徴付けできるように構成することもできる。
【００１４】
別の好ましい実施の形態は、動物などの活発に動く物体のビデオ分析に関するものであり、そのシステムの動作は次のとおりである。予備的な事項として、動物の通常のポーズと行動が定義され、通常のポーズと行動用のデータベースに格納される。最初の分析の際に、入力されるビデオイメージが受信される。システムは、ビデオイメージがアナログ型かディジタル型かを確認し、コンピュータに入力する。ビデオイメージがアナログ型の場合には、例えば、ＭＰＥＧディジタル化・圧縮装置を利用して、ディジタル化し圧縮する。そうではなくて、ディジタルビデオイメージをコンピュータに直接入力してもよい。次に、バックグランドが、ディジタルビデオイメージと検出された前景の物体から、発生されるかまたはアップデートされる。次に、前景の物体の特徴が抽出される。さらに、前景の物体の形が、例えば、立っているのか、座っているのかなどの様々なカテゴリに分類される。次に、前景の物体のポーズが、データベースに格納されている予め定義された多くのポーズと比較され、特定のポーズか新しい（識別できない）ポーズとして識別される。次に、様々なグループのポーズが、前景の物体の行動を処理するためにひと続きに結びつけられて、ひと続きのポーズと比較され、メモリ内のデータベース用の例として格納される。そのデータは、動物の既知の正常な行動か異常な行動かを判断する処理に使われる。次に、異常な行動は、既知の異常な行動か、新しい行動かおよび／または日常のリズムかが識別される。
【００１５】
本発明に係る１つの態様においては、物体の検出がバックグランド除去というユニークな方法によって行われる。はじめに、入力されるディジタルビデオ信号が、リアルタイムで別個のイメージ（フレーム）に分割される。次に、システムは、以前入力されたビデオ信号から導かれるバックグランドイメージが、バックグランドイメージの変化によってアップデートされる必要があるか、またはバックグランドイメージが開発される必要があるかを決定する。後者の開発を必要とする理由は、以前開発されたバックグランドイメージがない場合に該当するからである。バックグランドイメージを生成する必要がある場合には、多数（例えば、２０）のビデオイメージのフレームが、イメージのサンプルにグループ分けされるはずである。次に、システムは、イメージのサンプルの標準偏差マップを作成する。
【００１６】
次に、プロセスは、イメージのグループ内の変化が所定のスレショルド（肩）を超えている（すなわち、対象の物体または動いている物体が位置している）個々のフレームまたはイメージにおけるバウンダリボックス領域を取り除く。次に、バウンダリボックス領域より少ないサンプル内の様々なイメージを平均化する。さらに、５〜１０サンプルを平均化することによって、最後のバックグランドが得られる。これらの過程で、バックグランド生成プロセスが完了する。しかし、いくつかの理由によって、バックグランドイメージが、長時間一定に維持されないことがしばしば生じる。このように、バックグランドは上記のように定期的に再計算するか、または異なったイメージの追跡とあらゆる突然の変化への注意とを絶えず行うことによって再計算するようにする。新たに生成されたバックグランドイメージは、対象の物体を含むはずである前景領域を得るために、最新のビデオイメージから差し引かれる。
【００１７】
次に、物体識別・検出プロセスが実行される。はじめに、差し引くことによって生成された強度差が、探されている潜在する前景の物体を構成する、所定のスレショルドより大きい領域を識別することによって、対象の領域（Ｒｅｇｉｏｎｓ ｏｆ Ｉｎｔｅｒｅｓｔ： ＲＯＩ）が得られる。対象とするこれらの前景領域の分類は、前景の物体を識別するために、ＲＯＩのサイズ、これらのＲＯＩ間の距離、スレショルドの強度および連結性を用いることによって実行される。次に、前景の物体の識別・検出プロセスが、前景のＲＯＩのヒストグラムの適応性学習と、目標の物体をより正確に識別するためのエッジ検出の利用とによってさらに改良される。最後に、目標の前景の物体を識別する情報が出力される。このプロセスは、さらに追跡および／または行動特徴付けステップに続く。
【００１８】
上記の実施の形態は、遺伝子操作や薬品投与の実験に使われるマウスの監視と分析に特に有用である。
【００１９】
本発明に係る別の実施の形態は、ホームケージの中にいるマウスの行動を自動的に特徴付けすることに、特に有効である。遺伝子学的に操作されたり、薬品が投与されたマウスの新しい表現型を高感度で検出することが必要であるために、分析の自動化が求められている。マウスが実験者の操作によって拘束を受けていない時に、しばしば行動上の表現型がもっともよく検出される。このように、ホームケージなどの一般的な環境における行動の分析の自動化は、遺伝子操作や薬品投与によって生じる表現型を検出する強力な道具になり得る。分析の自動化によって、行動が日々の活動サイクルにわたって変化する通りに、すべての行動を定量化できるようになる。人類の発達障害の原因になる遺伝子欠陥は、通常日常の行動リズムの変化をもたらすので、日常の行動の系統的なパターン分析も、遺伝子組み換えや対象とされた突然変異マウスの表現型を検出するのに効果的である。マニュアルで所定の行動を識別するために、マウスの活動を終日または長期間観察する監視員が張り付いている場合には、普通は起こすことがなく、ビデオクリップに示すこともないような行動を、自動化されたシステムでは検出することができる。
【００２０】
本発明による自動化された分析によって検出することができるマウスの行動に関する体系的に開発された定義によって、マウスのすべての行動のレパートリーに関する正確な定量的な分析が、はじめて可能になった。行動の特徴の定義に基づいて、自動的に行動分析を行うための本発明に含まれる様々なコンピュータアルゴリズムによって、マウスの行動を正確に、効率的に識別することが確かなものとなった。さらに、本発明に係るディジタルビデオ分析技術は、（１）動物の行動が観察によって妨げられないために、動物の行動の変化が抑制されないこと、（２）従来可能であったよりもはるかに長い時間スパンにわたって多くの行動をサンプリングすることにより、実験の感度が向上すること、（３）すべての一般的な標準的行動パターンに適用されるポテンシャル、複雑な行動状態を評価する能力および個々の行動に加えて行動パターンの変化の検出に導くこと、によって行動の分析精度が向上した。
【００２１】
開発活動によって、マウスの行動の様々な科学的定義を有効にすることと、マウスの追跡と行動の確認を行うための新たなディジタルビデオ処理アルゴリズムを創出することが達成された。これらは、本発明に係るソフトウエアとハードウエアシステムで実現される。ディジタル化された２４時間ビデオから、マウスの行動を分析する自動化された方法が、物体の識別と分離、追跡および分類のための本発明と、ディジタルビデオ分析方法を用いることによって完成された。バックグランド除去、期待−最大化（Ｅｘｐｅｃｔａｔｉｏｎ−Ｍａｘｉｍｉｚａｔｉｏｎ）による確率的アプローチ、一組のデータの測定と結果をもっともよく適合させることによってパラメータ値を求める方法であるローバスト推定（Ｒｏｂｕｓｔ Ｅｓｔｉｍａｔｉｏｎ）を含む、いくつかの方法とそれらのアルゴリズムが有効なことが判った。ホームケージ内の個々のマウスに関するすべての行動上のレパートリーが、逐次代入法（ｓｕｃｃｅｓｓｉｖｅ ｉｔｅｒａｔｉｏｎ）を用いてマニュアルによるビデオテープ分析により分類された。それらのマニュアルで定義された行動の分類は、自動分類の基礎となった。分類の基準（形状、位置、動きなどの前景の物体から抽出される特徴に基づく）が求められ、決定樹（Ｄｅｃｉｓｉｏｎ Ｔｒｅｅ：ＤＴ）の分類アルゴリズムに当てはめられた。決定樹によって、９３％を超える正確さで、５００サンプルの特徴が５つの異なったポーズのクラスに分類された。シンプルなＨＭＭシステムが、ダイナミックプログラミングを用いて構築され、ＤＴによって識別され分類されているポーズを分類することに利用され、連続するマウスの行動におけるポーズの入力から行動の出力へほとんど完全なマッピングを生成した。
【００２２】
本発明は、既知の異常な動物のビデオイメージ情報（例えば、メモリに格納されている情報）を用いることによって、その行動に関するビデオプロフィールを作成するために、いくつかの異常な行動を識別するはずである。例えば、ケージの天井からぶら下がっている時の縦に回転するビデオイメージがメモリに格納され、マウスのそのような動きを自動的に識別することに利用された。さらに、異常性は、ある特別なタイプの正常な行動の増加によっても生じる。そのような新しい異常な行動の検出は、本発明に係る検出、例えば、基準のプロフィールに適合しない行動を分類することによって達成される。その基準のプロフィールは、マウスの特定の緊張（ｓｔｒａｉｎ）に対して開発された。一方、正常な行動のうちの異常な行動の量は、基準のプロフィールにおける統計的特性との比較によって検出されるはずである。
【００２３】
このように、本発明に係る自動化された分析は、各動物の行動、行動の量、持続期間および日々のサイクル、例えば、それぞれに対して通常用いられているマウスの緊張プロフィールの作成に利用される。そのような多数のプロフィールは、例えば、コンピュータのデータメモリ内のデータベースに格納される。次に、１つまたはそれ以上のこれらのプロフィールが、該当するマウスと比較され、量的に表現されたプロフィールの相違と比較される。
【００２４】
日々の繰り返しを通じて、ホームケージ内のマウスのすべての行動を自動的に分類し、定量化する本発明によって開発された技術は、マウスにおける遺伝子操作に伴う表現型の効果を検出するための強力なツールとなる。上述のように、この技術は、監視を目的とするような、動物や人間の行動に関する他の研究にも拡張可能である。以下に詳細に説明するように、本発明は、イメージがビデオで捉えられるような物体を対象としており、自動化された正確な識別、追跡、行動の分析を行うための自動化されたシステムと方法を提供するものである。
【００２５】
（好ましい実施の形態）
ここ数年間、ビデオカメラとコンピュータ技術の一体化に関する技術が向上してきた。最近、この２つの技術の向上によって、ビデオイメージが、例えば、パーソナルコンピュータのような小型で安価なコンピュータで、ディジタル化され、保存され、映像が見られるようになっている。さらに、これらの小型で安価なコンピュータの処理、記憶性能が急速に向上し、データ処理費用が安くなり、コンピュータの計算のみへの応用が少なくなった。このように、現在、ビデオ分析システムは、様々な物体の自動化された分析と識別およびそれらの行動の特徴付けを提供することができる強力な監視システムとして構築されている。本発明は、そのようなシステムとそれに関連する方法を提供する。
【００２６】
例えば、、本発明は、ビデオを使用して監視される所定の物体の行動および／または行動パターンを自動的に観察することができる。本発明は、物体の識別と、物体の動きの追跡（動く物体に対して）と、物体の形状およびポーズの分類と、行動の識別とを自動的に提供するように構成されたコンピュータと、そのコンピュータに接続されたビデオカメラを有するシステムを含んでいる。好ましい実施の形態においては、そのシステムは、様々なビデオ分析アルゴリズムを含んで構成されている。このコンピュータシステムは、様々なアルゴリズムを用いて、ディジタル化されたビデオイメージを分析する。そのために、１つまたはそれ以上の所定の物体の行動とその動きを識別し、追跡し、分類するように、ビデオイメージを自動的に監視するようになっている。また、そのイメージは、一つのビデオフレームまたはシーンから、別のものが現れるようなビデオイメージによって把握されるものである。このシステムは、所定の物体の既知の行動に関する物体情報データベースにアクセスすることにより、行動の特徴付けを行う。分析されるイメージは、リアルタイムで１台またはそれ以上のカメラから提供され、および／または記憶装置から提供される。
【００２７】
以下に詳しく説明するいくつかの典型的な実施の形態では、本発明は、動物に対する薬品や遺伝子変異の試験の結果として現れる動物の行動の監視と分類が可能なように構成されている。しかし、上記のように、システムは、多くの対象物の監視やその他の応用といったあらゆるものに対しても、同様に利用可能に構成されている。例えば、本発明は、動いている物体の追跡が必要とされるような様々な形態に適用することができる。そのような形態の一つは、エアポートなどの公衆の領域、基地、家庭のセキュリティシステムにおける安全監視などである。これらのシステムは、犯罪が発生し、モニタされた特別な行動が識別される必要がある場合に、自動的に識別して該当する法律の行使を担当官に通知するような用途に有用である。また、このシステムは、自動車の動きを自動的に識別し追跡することができるので、駐車の安全性や交差点での動いている往来の監視にも有用である。このシステムは、自動車がスピードを出しすぎていたり、その他のいくつかの交通違反を犯した場合に、自動的に判定するようにも構成されている。さらに、このシステムは、銃や、強盗や窃盗に関係する人間の行動を自動的に識別し、特徴付けを行うことができるように構成されている。同様に、本発明によれば、前肢のような体の一部に関係する複雑な動きを識別し解釈することが可能であり、本発明は、人間のジェスチャーの認識の識別と解釈に応用することができる。これは、耳が不自由な人の情報の伝達を助けることにもなる。本発明は、人間とコンピュータ間における現在のインターフェース・エクスペリエンスを高めるために、人間のジェスチャーをコンピュータが理解するためのベースにもなる。そこでは、ジェスチャーはコンピュータとの間のインターフェースの役割を果たす。コンピュータと人間との間のインターフェースへの応用と、調査と監視への応用に係る経済的な可能性は莫大である。
【００２８】
図１は、好ましい実施の形態を示すブロック図である。この実施の形態に係るシステムは、アナログのビデオカメラ１０５とビデオの記憶・検索ユニット１１０とが相互に接続され、ビデオイメージのディジタル化・圧縮ユニット１１５に接続されたシステムを含んでいる。ビデオカメラ１０５は、リアルタイムで、識別すべき物体を含むビデオイメージを提供する。ビデオの記憶・検索ユニット１１０は、例えば、ＶＣＲ、ＤＶＤ、ＣＤまたはハードディスク装置などで構成される。ビデオのディジタル化・圧縮ユニット１１５は、一連のイメージに対応する時間の間、物体の行動（または状態）とその動き（または静止）を識別し、追跡し、分類するために、自動的にビデオイメージを監視するように構成されているコンピュータ１５０に接続されている。ビデオイメージのディジタル化・圧縮ユニット１１５は、アナログのビデオイメージと音声を、例えば、ＭＰＥＧ形式、リアルプレイヤ形式などに変換する。
【００２９】
コンピュータ１５０は、例えば、ウインドウズプラットフォーム、ユニックスプラットフォームまたはマッキントッシュコンピュータとその互換プラットフォームなどである。別の形態では、コンピュータ１５０は、（１）データメモリ１５１、例えば、ハードディスクドライブや他のタイプの揮発性または不揮発性のメモリ、（２）プログラマブルメモリ１５２、例えば、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭなど、（３）マイクロプロセッサなどのプロセッサ１５３、および（４）システムの計算特性を管理する第２のプロセッサ、例えば、計算コプロセッサ（Ｍａｔｈ Ｃｏｐｒｏｃｅｓｓｏｒ）１５４、などの多くの要素を含んでいる。また、コンピュータ１５０は、ＭＰＥＧエンコーダ／デコーダなどのビデオプロセッサも含んでいる。図１では、コンピュータ１５０は、２つのメモリ（データメモリ１５１とプログラマブルメモリ１５２）および２つのプロセッサ（プロセッサ１５３と計算コプロセッサ１５４）を含んでいたが、別の形態では、コンピュータ１５０は、１つのプロセッサと１つのメモリまたは２つを超えるプロセッサと２つを超えるメモリを含むものでもよい。さらに、コンピュータ１５０は、キーボード１５５、マウス１５６、ディスプレイ１５７などのユーザインタフェース部材を装備することができる。
【００３０】
別の形態では、システムは、ディジタルビデオカメラとディジタルビデオの記憶・検索ユニット１１０（一体化されているのがよい）など、すべてディジタル要素を用いることによって簡素化される。この場合、ビデオイメージのディジタル化・圧縮ユニット１１５は不要である。
【００３１】
コンピュータ１５０は、例えば、ＭＡＴＬＡＢまたはＣ／Ｃ＋＋プログラミング語を用いる特注（ｃｕｓｔｏｍ）ソフトウエアプログラムがロードされ、組み込まれている（またはファームウエアを装備している）。それによって、物体の識別と分離、追跡、および／または行動／活動の特徴付けのためのディジタル化されたビデオイメージを分析する。このソフトウエアは、例えば、ＲＯＭ、ＲＡＭ、ＣＤＲＯＭおよび／またはハードディスクドライブなどを含むプログラマブルメモリ１５２またはデータメモリ１５１に格納される。本発明に係る別の形態では、ソフトウエア（またはファームウエア）は、独特のバックグランド除去方法を含んでおり、その方法は、後に詳しく説明する従来知られているものよりも、よりシンプルで、効率的で、正確である。いずれの場合においても、アルゴリズムは、ソフトウエアで実行されるもので、図２に示し、以下に述べるように、独特の機能モジュールとして理解されるはずである。
【００３２】
図２は、物体の基準情報が予めロードされているシステムを示すブロック図である。なお、システムは、マウスなどの所定の物体のビデオイメージを分析する前の情報を含むものである。はじめに、既知の特性を有する既知の物体を含む一連のディジタルビデオイメージが、システムの基準物体分類モジュール２２０に供給される。次に、ユーザは、スクリーン上の基準物体を見て、例えば、立っている状態、座っている状態、正常、異常などの基準物体の様々な行動を識別し分類する。基準の行動のようなデータ情報の表示が、基準物体の行動格納モジュール２２５、例えばデータメモリ１５１のデータベースに保存される。もちろん、基準物体の行動情報のデータセットは、データが本発明のプロトコルやデータ構造と互換性がある場合には、他のシステムやデータソースから、直接、基準物体の行動格納モジュール２２５にロードすることができる。いずれの場合においても、いったん基準物体の行動データが基準物体の行動格納モジュール２２５に入ると、システムは、１またはそれ以上の所定の物体、例えばマウスの行動の分析と分類を行う。
【００３３】
自動ビデオ分析モードの場合、識別し特徴付けを行うモニタされた物体のディジタルビデオイメージ（リアルタイムおよび／または記憶）は、物体識別・分離モジュール２０５に入力される。このモジュールは、ディジタルビデオイメージから、所定のタイプの物体を識別して分離し、物体追跡モジュール２１０へ出力する。物体追跡モジュール２１０は、１つのフレームまたはシーンから別のフレームまたはシーンへの特徴情報など、所定の物体の追跡を容易にする。次に、この特徴情報が抽出され、物体形状・ポーズ分類部２１５に入力される。
【００３４】
このモジュールは、対象としている所定の物体に関して観察された様々な状態を様々な形とポーズに分類し、行動識別モジュール２３０へ送信する。行動識別モジュール２３０は、物体の形状、動き、ポーズの情報と、基準物体の形状、動き、ポーズの情報とを比較する。そして、基準物体によって示された予め定義されている、正常、異常、新奇などの行動を含むカテゴリに応じて、物体の行動を分類する。この情報は、特徴付けされた情報としてユーザに出力され、例えばディスプレイ１５７に表示される。
【００３５】
図３は、本発明の実施の形態に係る一般的な操作手順を示すフローチャートである。操作においては、ビデオ分析モードでは、システムはステップ３０５で、リアルタイムの場合はビデオカメラ１０５から、録画の場合はビデオの記憶・検索ユニット１１０および／またはコンピュータ１５０と一体化されたメモリから、送信されるビデオイメージを受信する。ビデオイメージがアナログ型の場合には、情報がアナログからディジタル型に変換され、ビデオのディジタル化・圧縮ユニット１１５によって圧縮される。次に、ディジタルのビデオイメージが、そのイメージから所定の物体を識別し分離するために、様々な計算を集中的に行うコンピュータ１５０に提供される。好ましい実施の形態では、識別され、行動が特徴付けされる物体が、例えばマウスのように動いている物体である。その物体は、ビデオイメージの中でフレームからフレーム、シーンからシーンへのいくつかの動きを行うものであり、通常ビデオイメージの前景に位置する。あるケースでは、ステップ３１０で、ディジタルのイメージが、入力されるビデオのフレームから目標（所定）の物体を識別し分離するために処理される。この処理は、例えば、バックグランド除去、混合モデリング、ローバスト推定（ｒｏｂｕｓｔ ｅｓｔｉｍａｔｉｏｎ）および／またはその他のプロセスを用いることによって行われる。
【００３６】
次に、ステップ３１５では、目標とする物体のいくつかの動き（または静止した形）が、ビデオイメージの１つのフレームまたはシーンから別のフレームまたはシーンへ追跡される。以下にさらに詳細に説明するように、この追跡は、例えば、物体がある形から別の形および／またはある位置から別の位置に変化する時に、１つのフレームまたはシーンから別のものへの物体の輪郭を追跡することによって達成される。次に、ステップ３２０で、対象とする物体の形、位置、ポーズなどの物体の動きの変化が、識別され、それらの特徴が抽出され、意味のあるカテゴリに分類される。これらのカテゴリは、例えば、垂直位の側面図、水平位の側面図、垂直位の正面図、水平位の正面図、左から右への動きなどを含んでいる。次に、ステップ３２５で、例えば、形、位置、ポーズのカテゴリなどの物体の状態が、物体の行動を、予め定義された多数の行動の内の１つに特徴付けるために利用される。物体が動物の場合には、予め定義されたいくつかの正常な行動に、睡眠、摂食、ドリンキング、ウォーキング、ランニングなどが含まれ、予め定義された異常な行動には、立った状態での回転、同じ位置でのジャンピングなどが含まれる。これらの予め定義された行動は、データメモリ１５１内のデータベースに格納されている。
【００３７】
行動のタイプは、ルールに基づいたラベル分析、徴候分析法（ｔｏｋｅｎ ｐａｒｓｉｎｇ ｐｒｏｃｅｄｕｒｅ）、および／または隠れマルコフモデル（ＨＭＭ）などの方法を用いることによって特徴付けすることもできる。ＨＭＭ法は、１つの選択されたフレームににおいて、物体の様々な動きの一時的な関係で決定される行動を特徴付けることに、とくに有用である。これらの方法によって、このシステムは、新奇な行動や特に一時的なリズムのような物体の行動に対しても特徴付けを行うことができる。
【００３８】
図４は、別の好ましい実施の形態をさらに詳細に示すフローチャートである。この場合には、システムは動物などの動く物体のビデオ分析を対象としている。予備的な事項として、ステップ４１５で、基準の物体の行動と既知の行動の特徴のビデオが、システムに入力される。この情報は、ビデオの記憶・検索ユニット１１０からディジタル化されたビデオ形式で基準物体分類モジュール２２０に提供される。ステップ４１６で、この情報は、ユーザがディスプレイ１５７に表示されたビデオイメージを観察し、それらの分類を入力することによって、正常と異常な活動や行動を定義するために、マニュアルで分類される。例えば、この技術分野におけるエキスパート達が、記録されたシーンを座って一緒に観察する。次に、彼らは、例えば動物（マウスなど）の行動を、ノルダスオブザーバ（Ｎｏｌｄｕｓ Ｏｂｓｅｒｖｅｒ）システムなどのシステムによる支援を受けてまたは支援なしに、定性的、定量的に定義する。これらの分類された行動は、重要なポーズと行動のデータベースを構成するものであり、ステップ４２０で基準物体の既知の行動に関するデータとして、メモリのような記憶装置に格納される。この情報は、非基準物体の行動、すなわち遺伝子学的に変化したり、薬剤が投与されたマウスなどの特徴付けを行う必要がある行動／活動を特徴付けするためのビデオ分析に、参考となる事項を提供する。例えば、動物の正常なポーズや行動が定義され、正常なポーズと行動のデータベースに格納される。
【００３９】
いったん、基準物体（ｓ）の特徴付けに関する情報が確立されると、次にシステムは、行動の自動的な特徴付けが要求されている物体を含む、入力されるビデオイメージの分析に使用される。はじめに、ステップ４０５で、入力されるビデオイメージを受信する。次に、決定ステップ４０６で、システムは、ビデオイメージがアナログ型かディジタル型かを決定する。ビデオイメージがアナログ型の場合には、ステップ４０７でディジタル化する。そのビデオは、ディジタル化・圧縮ユニット１１５などが利用され、ＭＰＥＧ、リアルプレイヤなどの使いやすいディジタルビデオ型に圧縮される。そうでない場合には、ディジタルビデオイメージは、直接コンピュータ１５０に入力される。ここで、対象としている物体は、ビデオイメージで識別され、分析用に分離される。そのように、ステップ４０８で、バックグランドが、ディジタルビデオイメージから生成されて更新され、行動の特徴付けが行われる所定の物体を含む前景の物体が検出される。例えば、ケージ内のマウスが前景に検出され、バックグランドから分離される。次に、ステップ４０９で、対象とする前景の物体（マウスなど）に関する特徴、すなわち、物体の重心や主要な方位角、面積（画素数）、偏心度（丸味）、物体のアスペクト比、および／または凸形、Ｂ−スプラインと呼ばれる形状などの特徴が抽出される。次に、ステップ４１０で、前景の物体の形とポーズが、立った状態、座った状態などの様々なカテゴリに分類される。
【００４０】
次に、ステップ４１１で、前景の物体（マウスなど）のポーズが、予め定義された様々なポーズと比較される。それらのポーズは、ステップ４２０における基準物体の行動の格納のより既知のポーズとなっているもので、データベースに格納されている。ステップ４１２で、分析されたビデオイメージに含まれている、観察された物体のポーズが、基準物体に対して既知の特別なポーズ、またはそれまでに識別されていない新しいポーズとして、識別され分類される。次に、ステップ４１３で、ポーズのいくつかのグループが、前景の物体の行動を整理するために、一連の列にまとめられる。その列は、次に、基準物体の既知の行動を構成するポーズで、データベースのメモリなどに格納されている一連のポーズと比較される。この既知の基準の行動は、調査された動物のタイプでは正常な行動であることが望ましい。しかし、基準物体の既知の行動は、動物の正常な行動でも異常な行動でもよい。ステップ４１４で、両方のケースについて、異常な行動が、（１）既知の異常な行動、（２）異常とされる新しい行動、（３）異常な行動に似た日常的なリズムの相違という観点で識別される。既知の正常な行動は、ユーザによって必要に応じて出力されるようにしてもよい。この情報は、ユーザの再検討や整理用に自動的に識別される。本発明に係る別の実施の形態では、情報の出力は、ＳｙｓｔａｔやＳＰＳＳなどの最近の統計学的パッケージと互換性のある行動情報を含んでいることが望ましい。
【００４１】
図５は、本発明に係る別の実施の形態を示すフローチャートである。物体の検出は、独特のバックグランド除去法によって行われる。はじめに、ステップ４０５で、入力されるビデオイメージが分析システムに提供される。ディジタルの装置によって提供され、コンピュータ１５０の物体識別・分離モジュール２０５に入力される。次に、ステップ５０５で、入力されたディジタルのビデオ信号は、リアルタイムで個々のイメージ（フレーム）に分割される。このステップは、リアルタイムで分析を行う必要がある場合に含まれるものである。次に、ステップ５０６で、それ以前に生成されたバックグランドイメージがなかったか、またはバックグランドイメージがそれまでに更新されていないような場合には、バックグランドイメージを発展させる必要があるか否かを決定する。バックグランドイメージが生成されるか、更新される必要がある場合には、ステップ５０７で、１つのバックグランドイメージから、多数のフレームまたはイメージの第１のグループ分けによって、例えば２０フレームまたは２０イメージからなる１つのサンプルのビデオイメージが生成される。バックグランドは、照明に起因する変化や、ケージ内で動く物体の位置（寝床など）の移動に起因する変化があるために、周期的に更新されなければならない。次に、ステップ５０８で、システムは、そのグループ分けされたイメージの標準偏差マップを生成する。次に、ステップ５０９で、バウンダリボックス領域の物体が識別され、修正されたフレームまたはイメージを作成するために、それぞれのフレームまたはイメージから取り除かれる。バウンダリボックス領域は、強度の標準偏差のような特性の変化が、所定のスレショルドを超える領域を感知することによって決定される。このように、動いている対象の物体が位置するディジタル化されたビデオイメージ内の領域が、一部のイメージのみを残して取り除かれる。次に、ステップ５１０で、バウンダリボックス領域より少ない、グループ内のいくつかの修正されたイメージが、ステップ５１１でバックグランドイメージを作成するために結合され、例えば平均化される。
【００４２】
変化する画素は平均化には使えないので、「ホール」が、平均化処理が使われるそれぞれのイメージ内に生成される。時間が経過すると、すべてのフレームが同じ位置でそれらのホールを持っている訳ではないので、平均化処理の後で、完全なバックグランドイメージが得られる。最後のバックグランドは、５〜１０のサンプルを平均化することによって得られる。これによって、バックグランド生成処理における少なくとも１つの反復処理が完了する。
【００４３】
バックグランドイメージは、いくつかの理由により、長時間にわたって一定に維持されるものではない。例えば、マウスのケージの寝床は、マウスの活動によって位置が変わる。照明条件の変化のような外部要因も、バックグランドイメージの再計算を必要とする。また、カメラが動くと、バックグランドは当然変化する。このように、一般的に、バックグランドは、上記のように周期的に再計算する必要があり、または、異なったイメージを追跡し続けることによって再計算するようにすることもできる。また、異なったイメージ内の特定な色（白など）の画素数の減少、または異なったイメージの別の領域における特定な色（白など）の画素パッチの出現のような突然の変化に注意する必要がある。いずれの場合においても、新たに生成されたバックグランドイメージは、次にステップ５１１で、新しいバックグランドイメージを生成するために保存されているバックグランドイメージと組み合わされる。
【００４４】
次のステップ５１２で、新たに生成されたバックグランドイメージは、対象とする物体を含む前景領域を得るために、最新のビデオイメージから除去される。
【００４５】
次に、ステップ５１３〜５１８で、物体の識別・検出処理が行われる。はじめに、ステップ５１３で、対象物（ＲＯＩ）の範囲が、強度の相違が所定のスレショルドより大きい領域、すなわち探している潜在的な前景の物体を構成する領域を識別することによって獲得される。前景の物体を識別するために、これらの対象物が存在する前景の領域の分類が、ＲＯＩの大きさ、ＲＯＩ間の距離、強度のスレショルドおよび連結性を用いることによって実行される。次に、前景の物体の識別・検出処理が、前景の物体の強度レベルに関する実際の分布（ヒストグラム）を利用し、また、より正確に目標の物体を識別するためのエッジ検出を用いることによって、さらに高精度化される。
【００４６】
ステップ５１４で、物体の識別を行うためのバックグランド生成とバックグランド除去の両方のステップの間、システムは、前景の物体の強度の分布を、得られた状態に維持し続ける。低い方のスレショルドが用いられると、それによって、ＲＯＩ形の中の前景のイメージに多量のノイズが現れてしまう。このように、ステップ５１４では、ＲＯＩの中の画素で、ヒストグラムが更新される。ステップ５１５で、多くのイメージにわたって、特定の色の画素に関するすべての強度のヒストグラムをプロットすることにより、前景の物体の強度に関する大きいピークとＲＯＩイメージの中のノイズ画素に関する小さなピークに、バイ−モーダル形（ｂｉ−ｍｏｄａｌ ｓｈａｐｅ）が提供される。ステップ５１６で、前景の物体の強度範囲が学習され、この強度範囲に適合する前景の物体内の画素だけが選択される。それによって、かなり類似したバックグランドであっても、より明確に前景の物体が識別される。
【００４７】
いずれの場合においても、次のステップ５１７で、目標の物体をより正確に識別するためのエッジ情報を利用することによって、対象とする前景の物体が精緻化される。プレウィット（Ｐｒｅｗｉｔｔ）オペレータなどのエッジ検出メカニズムが、元のイメージに適用される。また、エッジ検出に適応するスレショルドが使用される。いったんエッジマップが得られると、前景の物体に関する実際の境界が、エッジマップの中の１つまたはそれ以上のセグメントで構成されるように想定される。すなわち、前景の物体に関する実際の輪郭によって、エッジマップにおけるエッジが構成される。検出された前景の物体の閉じた輪郭は、必要に応じて、より小さなセグメントに分割される。距離関数に従って、これらの輪郭セグメントにもっとも近接するエッジマップ内のセグメントが、目標の輪郭と判断される。１つの典型的な距離関数（ｄｉｓｔａｎｃｅ ｍｅｔｒｉｃ）は、検出された前景の物体の閉じた輪郭における各々の点からエッジマップセグメントまでの距離の絶対値の合計である。最後に、ステップ５１８で、目標の前景の物体を識別する情報が出力される。このプロセスは、さらに追跡および／または行動の特徴付けステップへと続く。
【００４８】
上記の実施の形態は、通常、動物、人間、自動車などのビデオイメージ内に存在する対象物である特定の物体の行動を識別し、追跡し、特徴付けに適用することができる。しかしながら、本発明は、新しい薬品や遺伝子操作の試験に利用される動物の調査と分析にも、特に有効である。そのように、マウスの行動の変化の決定に関連する多くの実施の形態を、得られるビデオイメージの例を使用して、以下にさらに詳しく説明する。
【００４９】
本発明に係る１つの実施の形態は、１匹のマウスの行動の特徴を自動的に測定し、決定することを目的として、特別に設計されている。遺伝子操作が行われたり、薬品が投与されたマウスの新奇な表現型を感度よく検出することが要求されている。行動に関する表現型は、マウスが実験者の操作によって拘束されていない時に、もっともよく検出されることが多い。このように、ホームケージ内における行動の分析の自動化は、遺伝子操作や薬品の投与の結果としての表現型を検出する好ましい手段である。また、本発明によって提供される分析の自動化は、すべての行動の定量化を可能にし、行動が日々の活動サイクルにわたって変化するマウスの行動を分析することができる手段を提供する。通常、発育障害の原因となる遺伝子欠陥は、日常の行動におけるリズムの変化となって現れる。したがって、１日の行動に関する組織化されたパターンを分析することは、遺伝子組み換えや突然変異を起こした目標とするマウスの表現型を検出するのに効果的である。本発明に係る自動化されたシステムによれば、普通は起こさない行動や、終日または長期間のマウスの行動を観察し、目標の行動をマニュアルで識別する調査員がいる場合には調査員に示されることのない行動を、ビデオクリップで検出することもできる。
【００５０】
本発明に係る自動化された分析によってマウスの行動を分析し、検出されたマウスの行動に関する定義を体系的に発展させることによって、はじめて、すべてのマウスの行動のレパートリーを含む正確かつ定量的な分析が可能になった。また、行動の定義に基づいて行動の分析を自動化するために本発明に含まれる様々なコンピュータのアルゴリズムによって、マウスの行動に関する正確で効率的な識別が確立された。さらに、本発明に係るディジタルビデオ分析技術によって、行動の分析が次の（１）〜（３）に導かれた。（１）動物を邪魔することのない観察によるありのままの変化、（２）従来可能であったスパンより十分に長期間のスパンにわたって集められる多くの行動に関する実験の感度の向上、（３）あらゆる普通の基準の行動パターンへの適用の可能性、微妙な行動の状態にアクセスすることや、個々の行動に加えて行動のパターンの変化を検出することの可能性。
【００５１】
開発活動によって、マウスの行動を科学的に定義することが可能なことが証明され、マウスの追跡と行動認識を行うための新規なディジタルビデオプロセシングアルゴリズムが創出された。それは、本発明に係るソフトウエアとハードウエアを基にして実現される。
【００５２】
ビデオテープに撮影するためのいくつかの照明方法が検討された。ナイトビジョンカメラが用いられるような場合の照明が検討された。ねずみなどのげっ歯類の動物には見えにくい波長の薄暗い赤色の照明を用いることによって、通常市販されているビデオカメラで、優れた品質のビデオが得られることが判った。ビデオは、ソニー（登録商標）アナログカメラなどの市販のカメラ１０５（図１参照）を用いて、標準的な実験室の環境で撮影され、開発されたコンピュータアルゴリズムが、平均的な実験室で利用されるビデオの品質向上に有効であることが確認された。市販のカメラを用いた白色照明による昼間の撮影で優れた結果が得られており、薄暗い赤色照明による夜間の撮影で優れた結果が得られた。
【００５３】
図３におけるステップ３１０に示したように、ホームケージ内の行動の分析における第１ステップは、マウスの位置と輪郭を識別するためのビデオイメージ分析を含む自動化された初期化ステップである。第２のステップは、ステップ３１５によって示されているように、マウスの位置と輪郭を所定の時間にわたって追跡することである。初期化ステップは、追跡ステップの間に現れるあらゆる伝達エラーをリセットするために、周期的に実行される。マウスが所定の時間にわたって追跡される時に、ステップ３２０によって示されているように、形状を含む特徴が抽出され、フレームからフレームへのマウスのポーズをトレーニングし分類するために使用される。ポーズラベルが各フレームに対して生成される。それらのポ−ズラベルは、ステップ３２５によって示されているように、実際の行動を決定するために所定の時間に間分析される。これらのステップを、マウスの行動の特徴付けという特定の応用により、以下に詳細に説明する。
【００５４】
Ｉ．マウスの識別
図６は、ホームケージ内にいるマウスが撮影されている代表的なビデオフレームを示す図である。このビデオフレームでは、マウスは、立ち上がったポーズで示されている。そのような数多くのフレームによって、例えば、２４時間マウスの行動を監視したセッションを含むビデオが作り上げられている。前述のように、視野の中で動いている物体を識別し追跡するためには、いくつかの方法を利用することができる。もっとも簡単で容易な方法は、図５に示した１つのサンプルに関して、バックグランドを除去する方法である。
【００５５】
Ａ．バックグランド除去法
本発明で用いられるバックグランド除去法は、通常、ビデオクリップにおけるフレームのすべてまたはサブセット（部分集合）から、静止したバックグランドイメージを生成することと、このバックグランドイメージを、前景の物体を得るために与えられているイメージから除去することを含んでいる。
【００５６】
上記のバックグランドは、カメラの動きによって生じたあらゆる変化を補正した後に、例えば約１００のビデオフレームというように、多数のフレームを平均化することによって生成される。バックグランドイメージを生成させるために平均化されているフレーム内に、前景の物体が存在しているとする。前景の物体が同じ場所に位置し続けないと想定し、多数のフレームがバックグランドの計算に使用されるとすれば、前景の物体のバックグランドへの寄与は無視できる程度である。
【００５７】
バックグランドの平均化処理の１つの形態では、前景の動いている物体の不必要な影響を避けるために、１つのイメージにおける静止した画素だけが考慮される。静止している画素と静止していない画素は、図５に示したステップ５０９に関して説明したように、短い時間における一連のフレームの各々の画素での局部的な変化を分析することによって決定される。平均値からの標準偏差は、はじめに、各画素に対して計算される。選ばれたスレショルドより標準偏差が大きい場合には、静止していないか、変化している画素として、それらの画素を把握する。スレショルドより標準偏差が小さい場合には、それらの画素は、静止しているか、または一定の画素として把握される。それらの静止した画素だけが、バックグランドを計算するための平均化処理に使用される。変化する画素は使用されないので、平均化処理に使われている各イメージ内には、「ホール」が存在する。長時間にわたり、すべてのフレームが、同じ位置にそれらのホールを備えている訳ではないので、平均化処理によって、完全なバックグランドイメージを得ることができる。いったんバックグランドイメージが得られると、与えられ分析されたイメージからバックグランドイメージが除去され、それによって前景の物体が明確になる。そのようなバックグランド除去方法に関する典型的なアルゴリズムは下記のとおりである。
【００５８】
バックグランドを計算するために平均化されたフレームの数をＴとする。ｐ（ｘ、ｙ、ｔ）は、位置（ｘ，ｙ）、フレーム数ｔにおける画素値であり、平均値ｐｍ（ｘ、ｙ）と標準偏差σ（ｘ、ｙ）は、それぞれ次のように定義される位置における値を意味している。
【００５９】
【数１】
2004514975.tif 000003
【００６０】
特定の画素に対する標準偏差σ（ｘ、ｙ）が、スレショルドより大きい場合、例えば、０から２５５の範囲の６４の強度が、ケージ内のマウスを伴うビデオクリップとして使用された場合には、標準偏差σ（ｘ、ｙ）は、バックグランドイメージの計算から除外される。
【００６１】
通常、ビデオセッションのバックグランドイメージは、長時間にわたって一定に維持されることがない。例えば、マウスの行動を監視すると、マウスケージ内の寝床（ｂｅｄｄｉｎｇ）は、マウスの活動によって移動する。したがって、バックグランドは、周期的に再計算されなければならない。照明条件の変化のような外的要因の変化がると、バックグランドイメージの再計算が必要となる。カメラ１０５が動いても、バックグランドイメージの再計算が必要となる。
【００６２】
周期的にバックグランドの再計算を行うことを必要としない別の方法は、イメージの相違を追跡し続けて、それぞれのイメージにおける白い画素数の増加や、それぞれのイメージの別の領域における白い画素のパッチの出現などの突然の変化に注意し、記録することである。
【００６３】
図７Ａ、７Ｂ、７Ｃは、本発明に係るマウスの監視に用いられる典型的なバックグランド除去処理を示すスクリーンショットの例である。図７Ａは、摂食中のポーズ７０５にあるマウスが写っている続きのフレームのうちの第１のフレームを示している。図７Ｂは、同じフレームのビデオイメージを示す図であり、この図では、フレームの領域が、遮蔽部７１０として描かれている画素が変化した部分を含んでいる。その結果として、バックグランドには、「ホール」（遮蔽部）７１０（黒く示されている）が存在することになる。このホール７１０は、後に、他のフレームが真の完全なバックグランドイメージで平均化された時に、その完全なバックグランドイメージを表示するイメージで置き替えられる。
【００６４】
一続きのビデオイメージから良好なバックグランドを生成させるために、はじめに、いくつかのサンプルが作成される。例えば、ビデオクリップから、１０〜２０のフレームサンプル（３０フレーム／秒）が取り出され、次に平均化され１つのサンプルが作成される。１つのサンプルが得られると、そのサンプルは既存のバックグランドの更新に使われる。十分に完全なバックグランドは、５〜１０サンプルというように、多くのサンプルの組を平均化することによって得ることができる。
【００６５】
図７Ｃは、１つのサンプルの組と多数のサンプルの組にあるフレームのグループが一緒に平均化され、その結果として得られたビデオクリップのバックグランドイメージを示す図である。図７Ｃに見られるように、この方法は、理にかなった完全なバックグランドイメージ（対象とする前景の物体がない）を生成する上で極めて有効であり、この場合のマウスのような目標の物体を識別し分類するためのバックグランド除去処理に利用される。
【００６６】
この技術の本質的に優れている点は、バックグランドの再計算と前景の物体の検出が、複雑さを伴うことなく簡単に行えることである。そのために、本発明に係るバックグランド除去方法は、リアルタイム処理が適用される用途に、よく適合したものとなっている。
【００６７】
Ｂ．マウスの識別に関するその他のアルゴリズム
物体またはマウスの識別に、別のいくつかのアルゴリズムを用いてもよい。例えば、そのうちの１つとして、バックグランド除去に加えるかまたは置き替えて、混合モデルおよび／またはローバスト（ｒｏｂｕｓｔ）推定アルゴリズムを用いることができる。これらのアルゴリズムは、イメージシーケンス処理および物体細分化（ｓｅｇｍｅｎｔａｔｉｏｎ）の分野で、最近開発された理論であり、ある状況下では、バックグランド除去より、よく物体の細分化（ｓｅｇｍｅｎｔａｔｉｏｎ）を行うことができる。予備的な分析によって、混合モデルおよび／またはローバスト（ｒｏｂｕｓｔ）推定アルゴリズムは、マウスの識別に優れた結果が得られることが判った。
【００６８】
ＩＩ．位置と輪郭の識別および特徴の抽出
いずれの場合においても、バックグランドが生成されると、次にそのバックグランドは、ノイズを取り除くために、強度差を取得することとスレショルド決定処理を適用することによって、前景の物体を決定することに用いられる。このステップは、領域の強度とサイズの両者に関するスレショルドの決定を含んでいる。８−コネクションラベリング（標識化）処理によって、結合されていない小さなノイズ領域を篩い分け、マウスに関係する領域を向上させることが行われる。このラベリングプロセスでは、フレーム内のすべての画素は、前景の画素またはバックグランドの画素として、ラベルが割り当てられる。スレショルディングによって、特定の画素に対してラベルが生成される。ラベルが付与された画素の近くにある、ラベルが付与されていない画素には、ラベルが付与された画素と同じラベルが与えられる。８−連結性（ｃｏｎｎｅｃｔｅｄｎｅｓｓ）は、すべてが隣接する８コーナー隣接画素として定義される。前景の物体であることが示された残りの領域は、マウスの領域に比べて大幅に小さいので、より大きなマウスの領域を選択するために、サイズ判定基準（ｓｉｚｅ ｃｒｉｔｅｒｉａ）が用いられる。
【００６９】
さらに、画素のコンベックスハル（ｃｏｎｖｅｘ ｈｕｌｌ）が、表示用に前景の物体内で使用される。この場合には、フレーム内の領域にある、任意のセットＳのコンベックスハルＨは、Ｓを含むもっとも小さいセットである。そのセットの差Ｈ−Ｓは、セットＳのコンベックス不足Ｄと呼ばれる。領域Ｓの境界は、Ｓの輪郭に従うことによって、またコンベックス不足の要素内に、または要素から変移が行われるポイントを作成することによって仕切られる。これらの作成されたポイントが結合され、領域を描く多角形となる。前景の物体の重心（質量の中心）が計算され、物体（例えば、マウス）の位置の表示に用いられる。
【００７０】
図８Ａ、８Ｂおよび８Ｃは、本発明を利用して、マウスを対象に、位置と物体の輪郭の識別を行った結果を示す図である。図８Ａは、図７Ａに示したイメージについて、前景とバックグランドとの間のイメージの相違を示す図である。図８Ｂは、スレショルディングを行った後のイメージであり、正しく識別された前景のマウス７０５を示す図である。図８Ｃは、前景の物体を表すビデオイメージを示す図であり、上述のコンベックスハル法によって作成されたマウスが多角形の線画８０５で正しく識別されていることが分かる。
【００７１】
また、マウスの形の表示を向上させることのできる位置と輪郭を識別する別の方法に、Ｂ−スプライン法がある。Ｂ−スプライン法は、少数のパラメータを用いることによって、形状に対して局部的に近似する輪郭を提供することができる区分的（ｐｉｅｃｅｗｉｓｅ）多項式であり、各区分の滑らかな線が物体の領域の輪郭を表示するのに用いられる。人間の形状の認識が、輪郭の各部（物体の表面）の曲率に基づいていると考えられるので、Ｂ−スプライン法は有用である。これは、マウスの形が常に曲率を有しているので、特に有効である。この表示は、粗くディジタル化された輪郭のスムージングのように、境界データを圧縮する効果が得られる。
【００７２】
抽出されたマウスの形が、１組の順序付けられた境界ポイントＷｉ＝（Ｘｉ，Ｙｉ）、ただし０≦ｉ＜ｎで表されるものと仮定する。このポイントの組は、次のように、Ｂ−スプライン表示によって近似される。
【００７３】
【数２】
2004514975.tif 000004
ここで、Ｂｋは変形されたＢ−スプラインバイアス関数、Ｐ（０）＝Ｐ（Ｎ）は近似した形を構成するための式である。
【００７４】
【数３】
2004514975.tif 000005
はいわゆるコントロールポイントであり、この式における係数であるだけではなく、スムースな曲線を描くためのスプラインを案内する多角形の頂点を、物理的に定義する式である。次に、標準的な二乗最小化法によって最小化する。
【００７５】
【数４】
2004514975.tif 000006
ここで、ｔｉは、スプライン関数が１つに繋ぎ合わされるｋに関係する結節点である。次の２つの等式が得られる。
【００７６】
【数５】
2004514975.tif 000007
ここで、０≦ｉ＜ｎである。
【００７７】
バックグランド除去によって得られたシルエットに基づいて、一連のイメージ処理ステップが実行される。はじめに、ソーベル（Ｓｏｂｅｌ）エッジ検出アルゴリズムを用いてエッジ検出が行われ、形態的な操作により、エッジポイントが１つに繋がることを確実にするエッジポイントのトリミングが行われる。
【００７８】
処理を続けるためには、閉じた形の上に固定した基準点が必要である。その特徴を利用して、形を抽出し、主成分分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ： ＣＰＡ）によって得られる主軸の方向を示す角度を使用して、基準点を導く。その角度を有し重心を通る直線が生成され、その直線がエッジ部の画素を横切るポイントが基準点である。上記の式を解くことを容易にするために、それらのエッジ部の画素を順に並べる開始点として、基準点が用いられる。Ｂ−スプライン関数を特別（ｕｎｉｑｕｅ）に定義するマトリックスのコントロールポイントが得られる。
【００７９】
図９Ａ〜９Ｃは、本発明に導入されたＢ−スプラインアルゴリズムの使い方の１例を示す図である。図９Ａ、９Ｂ、９Ｃのそれぞれに、エッジが検出された元のイメージと、曲線の頂点をコントロールポイントとして描かれたＢ−スプライン関数が示されている。図９Ａは、マウス７０５が摂食している典型的なビデオイメージフレームを示す図である。また、図９Ｂは、図９Ａに見られるマウス７０５を区切る（ｓｅｇｍｅｎｔ）エッジ９０５を示す図である。図９Ｃは、図９Ａに見られるマウスを区切るエッジから推定されたマウスのエッジ９１０のＢ−スプライン表示を示す図である。
【００８０】
上述のように、Ｂ−スプライン表示、コンベックスハル表示のどちらも、前景の物体の特徴付けに利用することが可能である。それらの特徴には、物体の重心と元の方位角、物体の領域（画素数）と偏心度（丸味）とアスペクト比などを含むが、それだけには限定されない。
【００８１】
ＩＩＩ．マウスの追跡
１つのフレームから次のフレームへ対応するポイントを識別するマッチング操作が実行される場合には、イメージ領域における前景の物体の理想的な追跡が行われる。このプロセスは、効率的な形態で実行するには、計算ではあまりにも無駄でコスト高になる。したがって、１つの方法は、短時間に行うことができる理想的なケースへの近似を用いることである。例えば、前景の物体の追跡が、特徴スぺースにおける１つのフレームから次のフレームへ、輪郭（すなわち、識別された前景の物体のイメージ）を単に追跡することによって達成されることである。
【００８２】
本発明に係る別の実施の形態は、イメージ領域における追跡に良好な近似を提供する特徴スペース（ｆｅａｔｕｒｅ ｓｐａｃｅ）で、追跡が行われることである。その特徴は、物体の重心と元の方位角、物体の第１と第２の軸に沿って測定された長さを含む物体のアスペクト比を含んでいる。この場合、Ｓは前景の物体内の画素の組、Ａは画素の数に対応する領域、（Ｃｘ，Ｃｙ）は重心、φは方位角、Ｅは偏心度、Ｒはアスペクト比を意味する。
【００８３】
【数６】
2004514975.tif 000008
【００８４】
第２のオーダーモーメントと呼ばれる３つの中間項を、次のように定義する。
【数７】
2004514975.tif 000009
【００８５】
また、中心モーメントを用いて、次のように定義される。
【数８】
2004514975.tif 000010
【００８６】
ここで、Ｒは、φに直角な軸に沿って投影されたポイントの範囲の長さの比に等しく、φに平行な軸に沿って投影されたポイントの範囲の長さに等しい。これは、前景の物体をφだけ回転させた後のアスペクト比（長さに対する幅の比）としても定義される。
【００８７】
特徴スペースにおける追跡は、１つのフレームから次のフレームへの特徴値を追跡することを含んでいる。例えば、その領域が着実に増加する場合には、マウスが寄りかかっていた位置からより長い位置に出ていることか、または前面から側面などへ動いている可能性があることを意味するはずである。また、マウスの重心の位置が上方へ動く場合には、マウスが後ろ足で立ち上がっていることを意味する。同様に、水平から垂直に方位角が変わる場合にも、後ろ足立ちしていることを意味する。これらの変化は、特徴を組み合わせることによって分析することもできる。
【００８８】
ＩＶ．マウスのポーズの分類
連続するビデオイメージ内のフレームに対して特徴が得られると、前景のマウスの状態が、与えられた分類のうちの１つに分類される。これは、利用可能な特徴を用いることによって形を分類することができる分類手段を構築することを意味する。この情報は、データメモリなどの中のデータベースなどに格納される。
【００８９】
本発明に係る別の実施の形態では、デシジョンツリー（Ｄｅｃｉｓｉｏｎ Ｔｒｅｅ）分類手段（物体形状ポーズ分類部２１５など）が、基準のディジタル化されたビデオイメージの４８８サンプル（この場合は正常なマウス）を有する分類手段をトレーニングすることによって導入された。各サンプルに対する６つの特性（または特徴）が識別された。分類用の５つのポーズ区分が下記のリストのように識別された。
【００９０】
１．側面図が正常な状態かまたは伸びた状態をした水平なポーズ
２．後ろ足立ちか、上からぶら下がった格好の垂直なポーズ
３．（ボールなどに）寄りかかったポーズ
４．マウスの軸が観察者の視線に沿うような、水平に位置した前向きまたは後向きのポーズ
５．飲んだり食べている時などの後ろ足の上に座っている不完全な後ろ立ち（図７Ａ参照）のポーズ。
【００９１】
本発明に係るシステムが、これらの分類を利用することによって試験された。表１に、上記の５区分に対するサンプルの分布を示す。
【００９２】
表１　５クラスのサンプルの分布と各クラスの精度
【表１】
2004514975.tif 000011
【００９３】
４８８のトレーニングサンプルに関する１０フォールド（折れ曲がり）の相互検証を行い、総合精度９３．６５％が得られた。この値は、分類が良好に行われたことを示している。これは、人間の観察者間でもっとも高いレベルに相当する範囲にある。相互検証処理は、トレーニングセットをほぼ数が等しいＮ個のセットにランダムに分割することを含み、Ｎ回のフォールドまたは繰り返しに対して、１つのセットは、残りのＮ−１セットがトレーニングサンプルとして使われている間に、試験用に脇に置いておかれる。表１の右端の列に、個々のクラスの精度を示した。
【００９４】
表２に、各フォールドの総合精度を示す。適切なラベルが、クラスに対応する各フレームに割り当てられている。
【００９５】
表２　相互検証テストにおける各フォールドの精度
【表２】
2004514975.tif 000012
【００９６】
表１に示されているデータから、クラス２は、識別に間違いがなく、自動化システムにとって、もっとも容易であったことが明らかである。これは、垂直な姿勢が他のポーズに比べて、まったく異なっているからである。一方、クラス３と４は、２つのポーズが類似していたために、もっとも悪い結果であった。２つのクラスとも、マウスがほぼ丸い物体として描画されていたためであり、クラス３のサイズがクラス４からのサイズよりわずかに大きいと推定されるという、物体のサイズのはじめの相違のみで描画されたためである。
【００９７】
表によって説明したように、本発明に係るシステムは、マウスの形とポーズの認識と分類に対して優れた精度を発揮することができることが分かった。
【００９８】
Ｖ．行動の識別
ビデオクリップ内のすべてのフレームのポーズがラベル付けされると、識別されたポーズに基づいて、データベースに定義されている、所定の予め定義された行動を決定しなければならない。現在のところ、下記の行動を含む２３の行動が定義されている。睡眠、身繕い、摂食、後ろ足立ち、ドリンク、ウォーキング、ジャンピング、ケージの天井からのぶら下がり、ストレッチ、穴掘り、目覚め、興奮、けいれん、あくび、休止、回転、餌探し、咀嚼、排尿、排便。さらに、身繕いは、舐めること、掻くこと、支持なしまたは支持ありで後ろ足立ちすることに分割される。このプロセスはリアルタイムで行われるので、すぐに結果が研究者に報告され、データベースに格納される。
【００９９】
１つのアプローチ法は、ルールに基づいたラベル分析法（または徴候分析法）を用いることである。この方法によって、一連のラベルが分析され、分析されているビデオフレームから対応する一連のラベルが引き出される時に、特定の行動が識別される。例えば、長く続く（数分間のように続く）「寄りかかった姿勢」のラベル（クラス３）が観察される場合や、その重心が停止している場合には、マウスは眠っていると結論される。注ぎ口の位置にいることが識別されたり、一連の「不完全な後ろ足立ち」（クラス５）ラベルが観察されたり、重心の位置とマウスの方位角が予め決められている狭い範囲内にある場合には、このシステムはマウスが水を飲んでいると決定し、識別することができる。ある特別の条件に対して、行動の時間的な特徴付けに加えて、「水を飲んでいると識別されるのであれば、マウスのある部分（口）が注ぎ口に触れていなければならない。」というようなテストをすることも有効である。
【０１００】
別のアプローチは、隠れマルコフモデル（ＨＭＭ）のような確率論的モデルを用いることを含んでいる。この場合には、モデルは、トレーニングサンプルを有する各クラスの行動に対して構築される。次に、これらのモデルは、入力される一連のラベルに基づく行動の識別に利用される。ＨＭＭは、独特で複雑な行動の特徴付けにおける時間的な関係の精度を著しく向上させることができる。
【０１０１】
図１０に、本発明でテストされたいくつかの典型的なマウスの状態変化を示す。５つの典型的なマウスの状態変化は、（１）水平（ＨＳ）１００５、（２）寄りかかり（ＣＵ）１０１０、（３）不完全な後ろ足立ち（ＰＲ）１０１５、（４）垂直な後ろ足立ち（ＶＲ）１０２０、（５）後ろ向き（ＦＢ）１０２５ポーズを含んでいる。図１０には、５つのポーズの状態と、マウスが典型的なサンプルのビデオクリップにおけるそれぞれの状態で過ごした期間とが示されている。図から理解することが可能で、また明らかなパターンの１つの例は、マウスが、通常、他の３つの床位置の状態から垂直に後ろ足立ち（ＶＲ）１０２５した状態に到達するために、不完全な後ろ足立ち（ＰＲ）１０１５した状態を経ることである。その状態は、前述の５つクラスのポーズに従って定義される。
【０１０２】
多くの重要な特徴は、この表示から導かれる。例えば、状態の変化の頻度が多い場合には、マウスは非常に活動的であることを意味する。マウスが、長時間にわたって「寄りかかっている」（クラス３）ような１つの床上の状態に止まっている場合には、このシステムは、マウスが睡眠中か休息中と結論する。連続する変化もまた重要である。例えば、「水平に位置するポーズ」（クラス１）などの床上の状態から後ろ足立ち（クラス２）をする場合には、一時的に不完全な後ろ足立ち（クラス５）状態を経るはずである。ＨＭＭなどの技術では、分類を完成するために、これらのタイプの時間に依存する情報が利用される。
【０１０３】
簡単なＨＭＭシステムが、入力系列と状態機械を通るパスとの間で、もっともよい整合を求めるためのダイナミックプログラミングを利用することによって作成された。そのシステムは、マウスの行動の系列の１つにおける事象を分類することに利用された。また、ＨＭＭシステムは、基準のマウスの後ろのビデオイメージから、認識された行動や状況を表示する一連の見本を備えている。すなわち、このファイルは５つの異なったポーズにおける姿を含んでいる。それらの姿は、
ｃ：寄りかかったポーズの姿、
ｆ：前または後ろの姿、
ｈ：水平な横向きの姿、
ｐ：不完全な後ろ足立ちの姿、
ｒ：後ろ足立ちまたは垂直の姿である。
【０１０４】
これらはいずれもマウスのポーズを表すものであり、それら全部で５つの見本を構成している。これらの見本は、１つの（隠された）状態から別の状態へＨＭＭを変わらせる。ＨＭＭは、０：水平、１：寄りかかり、２：後ろ足立ち、３：ちゅうぶらりんの４つの隠された状態などのうちの１つに、行動を分類する。このように、マウスの行動を定義するＨＭＭによって、その行動は次のように記載される。
サイズ４　５；　　スタート０　ストップ０；　　シンボルｃｆｈｐｒ。
【０１０５】
マウスの行動の特徴付けに関するＨＭＭへのアプローチは、下記の３つのタイプに分類されるという多くのマッチしないケースが生じる結果になった。
（ａ）スタートとストップの状態が強制的に０にさせられたことによる１つのミスマッチ（最後の見本）。
（ｂ）「不完全に後ろ足立ちした姿」がちゅうぶらりんに描かれた。これはネーミングの相違だけに起因していた。
（ｃ）「前または後ろの姿」が「水平な横向きの姿」（２１ケース）と同じ値に区分された。しかし、「前または後ろの姿」と「水平な横向きの姿」が同じ分類に区分されたことは、両者とも「行動上」では相互に類似しているので、合理的であった。すなわち、マウスの視点から、「前または後ろの姿」または「水平な横向きの姿」であることは、同じことである。これによって、入力から出力への完全な分類が行われる。これは、マウスの行動を決定するためのＨＭＭ分析法を定義するフレームワークへの１つの典型的なアプローチに過ぎない。
【０１０６】
上記の典型的な実施の形態は、ホームケージ内で分析されたマウスに関するものであるが、マウス８（またはあらゆる物体）は、ある位置または環境で分析されていることが理解されるべきである。さらに、別の実施の形態に係る発明は、１つまたはそれ以上の特定の行動を自動的に検出し、特徴付けすることに利用される。例えば、このシステムは、特定の物体を恐れさせ、触り、臭いを嗅ぐ動物を自動的に検出し、特徴付けするように構成することができる。また、このシステムは、特定の行動のパラメータに係る「基準」と、物体の行動を比較するように構成することができる。上手な手の使い方、前肢の動きに加えて、動物のグループ内での社会的な行動のようなその他の詳細な活動も、検出し、特徴付けすることができる。
【０１０７】
要約すると、ビデオクリップが分析される時、本発明に係るシステムは、はじめに、ビデオイメージのバックグランドを取得し、それを利用して前景の物体を識別する。次に、前景の物体から特徴が抽出され、分類とラベリング用の決定樹（ｄｅｃｉｓｉｏｎ ｔｒｅｅ）分類手段に順に送られる。このラベルの付与に続き、ビデオクリップに現れている行動の最後のセットを識別する行動識別システムモジュールに送られる。イメージの分析と今までに試みられた行動識別に関する得られたシステムの精度は、極めて優れていた。その結果として、ビデオイメージ内の物体の識別と行動の特徴付けを効果的に自動的に行うことができるシステムを得ることができた。
【０１０８】
本発明は、その行動に関するビデオプロフィールを構築するために、既知の異常な動物の行動のビデオイメージ情報（メモリに格納されたものなど）を用いることによって、いくつかの異常な行動を識別することができるようになっている。例えば、ケージの天井からぶら下がっている間に縦に回転するビデオイメージがメモリに格納され、マウスの行動などの自動的な識別に利用された。さらに、異常性は、正常な行動のうち、特定のタイプ行動の増加にも起因していた。そのような新しい異常な行動の検出は、基準のプロフィールに合致しない行動の区分など、本発明に係る検出によって完成された。基準のプロフィールは、特定の緊張（ｓｔｒａｉｎ）下にあるマウスに対して開発された。それは、正常な行動のうちの異常な行動の量が、基準のプロフィールの統計的な特性に対する比較によって検出されるからである。このように、本発明に係る自動化された分析は、それぞれの動物（通常適用される緊張（ｓｔｒａｉｎ）下にあるマウスなど）に関する行動、それらの量、期間および日常の繰り返しのプロフィールを構築するために利用される。
【０１０９】
そのような複数のプロフィールは、コンピュータのデータメモリ内のデータベースなどに格納される。１つまたはそれ以上のこれらのプロフィールは、該当するマウスと比較され、プロフィールとの相違が定量的に表示される。日常の繰り返しを通じて、すべてのホームケージにおけるマウスの行動の分類と定量化を自動化する本発明に関して開発された技術は、マウスに対する遺伝子操作の効果を表現型で検出するための強力な手段である。前述のように、この技術は、動物や人間を対象とするその他の行動の研究だけではなく、監視の目的にも拡張することができる。いずれの場合においても、本発明は、そのイメージがビデオイメージで捉えられる物体を、自動的に正確に識別し、追跡し、行動の分類を行うための自動化されたシステムと方法を創出するという重要な功績を収めたことが証明された。
【０１１０】
本発明に係る特定の実施の形態を示し説明したが、それらの説明は、発明を好ましい実施の形態または開示した実施の形態に限定することを意図するものではないことが理解されるであろう。また、当業者であれば、本発明の技術的思想および技術的範囲から逸脱しない範囲内で、様々な変更や改良を行うことができることが明らかである。このように、本発明は、特許請求の範囲に記載した発明の技術的思想と技術的範囲内に含まれる置換、改良、均等発明を含むことを意図している。
【０１１１】
例えば、本発明は、音声の分析および／または多数のカメラの分析も含んでいる。音声は、今日のほとんどのビデオシステムに含まれるので、ビデオイメージ分析は、音声分析によって補強される。そのように、さらに価値のある、特定の物体の行動の決定と分類に利用される。また、別の実施の形態では、分析は、マウスやその社会で相互に接触のある物体などの多数の物体のビデオイメージ分析に拡張される。音のない別の実施の形態では、このシステムは、分析の対象である物体の１つまたはそれ以上の平面図を提供する多数のカメラを含んでいる。さらに別の実施の形態においては、カメラが離れた位置に配置され、別のサイトにあるサーバによって、インターネットを介して分析用のビデオイメージが送信される。実際には、物体の基準の行動データおよび／またはデータベースが離れた位置に格納され、データファイルが、インターネットを介して、本発明に係る独立した分析システムにダウンロードされるようにすることもできる。これらの追加される性能／機能は、本発明に対して汎用性を与え、本発明の行動特徴付け性能を向上させるのに有効である。それによって、物体の行動分類システムが完成され、広範囲の応用における人間の観察者による分類がほぼ完全なものとなる。
【０１１２】
ここに引用されたすべての刊行物、特許、特許出願は、すべての目的に対して、そのまま参考用に引用されている。
【図面の簡単な説明】
【図１】自動化されたビデオ分析を用いることにより、物体の位置、形および行動上の特徴を求めるように構成することができる、本発明の実施の形態に係る代表的なシステムを示すブロック図である。
【図２】自動化されたビデオ分析を用いることにより、物体の位置、形および行動上の特徴を求めるように構成された、図１に示されているようなコンピュータシステムにおける各機能部を示す、本発明の実施の形態に係るシステムのブロック図である。
【図３】本発明の実施の形態に係る、物体の識別と特徴付けのための自動ビデオ分析方法を示すフローチャートである。
【図４】本発明の別の実施の形態に係る、物体の識別と特徴付けのための自動ビデオ分析方法を示すフローチャートである。
【図５】本発明の実施の形態に係る、物体の検出と識別のための自動ビデオ分析方法を示すフローチャートである。
【図６】マウスの行動を監視し特徴付けするための本発明に係る１つの実施の形態を用いることによって決定された、後ろ足立ちポーズのマウスを含むビデオイメージフレームのサンプルを示す図である。
【図７Ａ】マウスの行動の監視と特徴付けに適用された本発明の実施の形態に係る図で、バックグランド除去処理に用いられるバックグランドの生成を説明するための摂食中のポーズをしたマウスを含む一連のビデオイメージフレームの最初のフレームを示す図である。
【図７Ｂ】マウスの行動の監視と特徴付けに適用された本発明の実施の形態に係る図で、前景のマウスに関連するビデオイメージ領域を抜き出す処理が行われ、バックグランド除去処理のために、その他のフレームが平均化された時に埋められる「ホール」が形成された、図７Ａに示した最初のビデオイメージフレームのコピーである。
【図７Ｃ】マウスの行動の監視と特徴付けに適用された本発明の実施の形態に係る図で、図７Ｂに示したように変換され、後に続くビデオイメージで平均化された図７Ａに示した最初のビデオイメージフレームを含むビデオクリップ用のバックグランドイメージを示す図である。
【図８Ａ】マウスの行動の監視と特徴付けに適用された本発明の実施の形態に係る図で、図７Ａに示したイメージに関する前景とバックグランドとの間のイメージの差を示す図である。
【図８Ｂ】マウスの行動の監視と特徴付けに適用された本発明の実施の形態に係る図で、前景のマウスのイメージを識別するスレショルド処理を完了し、正しく識別された後の図７Ａに示したイメージを示す図である。
【図８Ｃ】マウスの行動の監視と特徴付けに適用された本発明の実施の形態に係る図で、多角形の輪郭で示されているように、本システムにより正確に識別された前景の物体であるマウスを表すビデオイメージフレームを示す図である。
【図９Ａ】マウスの行動の監視と特徴付けに適用された本発明の実施の形態に係る図で、物体の位置と輪郭の識別に関するＢ−スプラインアプローチを説明するために、摂食しているマウスが示されているビデオイメージフレームを示す図である。
【図９Ｂ】マウスの行動の監視と特徴付けに適用された本発明の実施の形態に係る図で、エッジセグメンテーション後の図９Ａに示されている前景のマウスの輪郭を表すコンピュータで作成されたイメージを示す図である。
【図９Ｃ】マウスの行動の監視と特徴付けに適用された本発明の実施の形態に係る図で、Ｂ−スプライン処理によって生成された、図９Ｂに示されているマウスの輪郭から導かれた、図９Ａに示されている前景のマウスの輪郭を表すコンピュータで作成されたイメージを示す図である。
【図１０】マウスの行動の監視と特徴付けに適用された本発明の実施の形態に係る図で、サンプルを基準として、それぞれの状態における持続時間に従って、水平（ＨＢ）、寄りかかり（ＣＵ）、不完全な後ろ足立ち（ＰＲ）、垂直な後ろ足立ち（ＶＲ）および後ろ向き（ＦＢ）を含むマウスの行動の特徴付けに用いられた、マウスが様々な状態に変化した例を示すチャートである。
【図１】
2004514975.tif 000013
【図２】
2004514975.tif 000014
【図３】
2004514975.tif 000015
【図４】
2004514975.tif 000016
【図５】
2004514975.tif 000017
【図６】
2004514975.tif 000018
【図７Ａ】
2004514975.tif 000019
【図７Ｂ】
2004514975.tif 000020
【図７Ｃ】
2004514975.tif 000021
【図８Ａ】
2004514975.tif 000022
【図８Ｂ】
2004514975.tif 000023
【図８Ｃ】
2004514975.tif 000024
【図９Ａ】
2004514975.tif 000025
【図９Ｂ】
2004514975.tif 000026
【図９Ｃ】
2004514975.tif 000027
【図１０】
2004514975.tif 000028
【国際公開パンフレット】
2004514975.tif 000029
2004514975.tif 000030
2004514975.tif 000031
2004514975.tif 000032
2004514975.tif 000033
2004514975.tif 000034
2004514975.tif 000035
2004514975.tif 000036
2004514975.tif 000037
2004514975.tif 000038
2004514975.tif 000039
2004514975.tif 000040
2004514975.tif 000041
2004514975.tif 000042
2004514975.tif 000043
2004514975.tif 000044
2004514975.tif 000045
2004514975.tif 000046
2004514975.tif 000047
2004514975.tif 000048
2004514975.tif 000049
2004514975.tif 000050
2004514975.tif 000051
2004514975.tif 000052
2004514975.tif 000053
2004514975.tif 000054
2004514975.tif 000055
2004514975.tif 000056
2004514975.tif 000057
2004514975.tif 000058
2004514975.tif 000059
2004514975.tif 000060
2004514975.tif 000061
2004514975.tif 000062
2004514975.tif 000063
2004514975.tif 000064
2004514975.tif 000065
2004514975.tif 000066
2004514975.tif 000067
2004514975.tif 000068
2004514975.tif 000069
2004514975.tif 000070
2004514975.tif 000071
2004514975.tif 000072
2004514975.tif 000073
2004514975.tif 000074
2004514975.tif 000075
2004514975.tif 000076
2004514975.tif 000077
2004514975.tif 000078
2004514975.tif 000079
2004514975.tif 000080
2004514975.tif 000081
2004514975.tif 000082
2004514975.tif 000083
2004514975.tif 000084
2004514975.tif 000085
2004514975.tif 000086
2004514975.tif 000087
2004514975.tif 000088
【国際公開パンフレット（コレクトバージョン）】
2004514975.tif 000089
【国際調査報告】
2004514975.tif 000090
2004514975.tif 000091