(57)【特許請求の範囲】
【請求項１】
動体の動作を、撮像部により撮像された該動体の複数フレームの画像から自動的に認識する認識装置であって、
a) 前記画像中で前記動体に対応する動体領域の重心である全体重心を特定する全体重心特定手段と、
b) 前記動体領域を機械学習アルゴリズムを用いて複数の領域に分割する領域分割手段と、
c) 前記領域分割手段が分割した複数の領域のうち所定領域において、前記全体重心から最も遠い点を前記動体の端点として特定する端点特定手段と、
を備えることを特徴とする動作認識装置。
【請求項２】
前記動体は前後軸を有する動物であり、
前記領域分割手段は、前記動体領域を前後方向に分割し、
前記端点特定手段は、前記複数の領域のうち前記前後方向の一方の端部に位置する領域である端部領域において、前記全体重心から最も遠い点を前記動体の端点として特定することを特徴とする請求項１に記載の動作認識装置。
【請求項３】
d) 前記端部領域の重心を特定する端部重心特定手段
をさらに備えることを特徴とする請求項２に記載の動作認識装置。
【請求項４】
前記端部重心特定手段は、直前に特定した前記端部領域の重心を、次フレームにおいて特定すべき前記端部領域の重心の初期値とすることを特徴とする請求項３に記載の動作認識装置。
【請求項５】
前記領域分割手段が用いる機械学習アルゴリズムがk-meansクラスタリングであることを特徴とする請求項１〜４のいずれかに記載の動作認識装置。
【請求項６】
前記領域分割手段は、予備実験の結果に基づいて前記動体領域の分割数を決定することを特徴とする請求項１〜５のいずれかに記載の動作認識装置。
【請求項７】
動体の動作を、撮像部により撮像された該動体の複数フレームの画像から自動的に認識する認識方法であって、
a) 前記画像中で前記動体に対応する動体領域の重心である全体重心を特定する全体重心特定ステップと、
b) 前記動体領域を機械学習アルゴリズムを用いて複数の領域に分割する領域分割ステップと、
c) 前記領域分割ステップにて分割した複数の領域のうち所定領域において、前記全体重心から最も遠い点を前記動体の端点として特定する端点特定ステップと、
を含むことを特徴とする動作認識方法。
【請求項８】
前記動体は前後軸を有する動物であり、
前記領域分割ステップにて、前記動体領域を前後方向に分割し、
前記端点特定ステップにて、前記複数の領域のうち前記前後方向の一方の端部に位置する領域である端部領域において、前記全体重心から最も遠い点を前記動体の端点として特定することを特徴とする請求項７に記載の動作認識方法。
【請求項９】
d) 前記端部領域の重心を特定する端部重心特定ステップ
をさらに含むことを特徴とする請求項８に記載の動作認識方法。
【請求項１０】
前記端部重心特定ステップにて、直前に特定した前記端部領域の重心を、次フレームにおいて特定すべき前記端部領域の重心の初期値とすることを特徴とする請求項９に記載の動作認識方法。
【請求項１１】
前記領域分割ステップにて用いる機械学習アルゴリズムがk-meansクラスタリングであることを特徴とする請求項７〜１０のいずれかに記載の動作認識方法。
【請求項１２】
前記領域分割ステップにて、予備実験の結果に基づいて前記動体領域の分割数を決定することを特徴とする請求項７〜１１のいずれかに記載の動作認識方法。
【請求項１３】
コンピュータを請求項１〜６のいずれかに記載の動作認識装置の各手段として機能させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、実験動物等の動体の動作を自動的に認識する動作認識装置及び動作認識方法等に関する。
【背景技術】
【０００２】
マウス等に代表される実験動物の行動を撮影して解析することは、動物行動学等の基礎研究の他、医薬品の薬効試験等において広く採用されている実験手法である。古典的には、撮影された映像を実験者が目視にて観察し、いくつかの類型化された行動を検出して記録するといった手法が取られていたが、この手法には目視観察に起因する労働コストの高さや、観察者の主観的判断に依存するが故の再現性の低さといった多くの問題がある。
【０００３】
こうした問題を解決するため、従来、様々な自動解析ソフトウェアが開発されてきた。例えば、上方からの撮影画像からマウスの重心を検出し、各時点での位置及び移動速度、並びに所定時間範囲内での移動経路等をトラッキングするものが広く使用されている。
なお、ここでの「重心」とは、撮影画像から適宜の手法で検出された２次元図形に関して求められる点であり、マウスの体積や体重を考慮したものではない。以降、本明細書中で用いられる「重心」との語は上記の意味を持つものである。
【０００４】
さらに近年では、マウスの行動をより詳細に観察する手法として、モデルフィッティングを用いた手法が開示されている。こうした例としては物理モデルフィッティング（非特許文献１及び図１０（ａ）を参照）や楕円フィッティング（非特許文献２及び図１０（ｂ）参照）を挙げることができる。これらの手法によれば、マウスの動きや体の向き等を目視によらずともトラッキングすることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2012-190280号公報
【非特許文献】
【０００６】
【非特許文献１】ネイチャー・メソッズ（Nature Methods），米国，ネイチャーパブリッシンググループ（Nature Publishing Group），第９巻，ｐ．４１０−４１７
【非特許文献２】ジャーナル・オブ・ニューロサイエンス・メソッズ（Journal of Neuroscience Methods），オランダ，エルゼビア（Elsevier B.V.），第２１９巻，ｐ．１０−１９
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、マウスは実に多彩な行動でその内部状態を表現する動物であり、行動を評価するための指標は上記のような動きや体の向きに限定されない。
【０００８】
例えば、マウスは電気ショックを与えられた後は鼻先を非常に細かく動かすことがあり、これは不安行動の指標とされている。楕円フィッティングでは、マウスを体全体の形状と最もよく一致する楕円として扱う（すなわち楕円からはみ出した一部のピクセルが除外される）ことになるため、こうした細かい鼻先の動きの検出漏れを起こすことがある。
【０００９】
また、マウスは非常に柔軟な動物であるため、頸や胴体部を大きく屈曲させることも多い。上記の物理モデルフィッティングは、基本的には静止状態にあるマウスの理想的な形状に基づいたモデルであり、胴体部分の大きな変形を正しく検出することが難しい。楕円フィッティングにも同様の問題を指摘することができ、例えばマウスが頸や胴体部を屈曲させたときに楕円の形状が大きく変形し、楕円周上の誤った位置が鼻先や尾の付け根と判定されるおそれがある。
【００１０】
本発明は上記の事情に鑑みて成されたものであり、その目的とするところは、マウス等の実験動物の行動解析において、トラッキング精度を向上させることにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために成された本発明に係る動作認識装置は、実験動物等の動体の動作を、撮像部により撮像された該動体の複数フレームの画像から自動的に認識する認識装置であって、
a) 前記画像中で前記動体に対応する動体領域の重心である全体重心を特定する全体重心特定手段と、
b) 前記動体領域を機械学習アルゴリズムを用いて複数の領域に分割する領域分割手段と、
c) 前記領域分割手段が分割した複数の領域のうち所定領域において、前記全体重心から最も遠い点を前記動体の端点として特定する端点特定手段と、
を備えることを特徴とする。
【００１２】
上記「動体」には、マウスやラット等の四足動物の他、家禽等の鳥類、及び所定環境下の細胞等が含まれる。本発明の動体に含まれ得る細胞とは、例えば、神経細胞、ガン細胞及び免疫細胞等に代表される種々の動物細胞のように、極性を有する移動を行う細胞である。
また、上記「所定領域」は観察者の指示に基づいて決定されてもよいし、適宜の画像認識手法を用いて自動的に決定されてもよい。後者の例としては、具体的には、上記複数の領域のうち全体重心から最も離れた位置にある領域、又は動体に関する情報の判断材料となる特徴的な形状を有する領域等が自動的に上記所定の領域として決定されてもよい。なお、或る領域が「特徴的な形状を有する」とは、例えば動体がマウスである場合、鼻先の輪郭を検出してこれを自らの輪郭線の一部に含む領域を上記所定の領域とすることもできる。
【００１３】
上記の構成によれば、機械学習アルゴリズムにより動体領域が複数の領域に分割され、このうち所定領域内にあって全体重心から最も遠い点が動体の端点として特定される。従って、例えば動体がマウスである場合、アルゴリズムにより動体領域を前後方向に複数の領域に分割し、そのうち最前部の領域を所定領域とし、該領域における全体重心からの最遠端を当該マウスの鼻先として特定することができる。動体領域の分割数、及び該分割後の複数領域のいずれを所定領域とするかは、その動体の運動や変形の性質、及び形状等に応じて適宜決定されればよい。
本構成では動体の画像を規定のモデルに当てはめることがないので、動体領域中の重要な（具体的には端点の）画素が除外され検出対象から漏れることがない。また、画像ごとに動体領域の全体重心が求められるので、動体が屈曲等により変形しても、変形後の全体重心からの距離に基づいて端点を特定することができる。従って、マウス等の実験動物の行動解析において、トラッキング精度が向上する。
【００１４】
前記動体は前後軸を有する動物であり、
前記領域分割手段は、前記動体領域を前後方向に分割し、
前記端点特定手段は、前記複数の領域のうち前記前後方向の一方の端部に位置する領域である端部領域において、前記全体重心から最も遠い点を前記動体の端点として特定する構成とすることが好ましい。
【００１５】
ここで、「前後軸を有する」とは、具体的には頭部と尾部（若しくは腹部）とを有し、通常の移動様式として、全体重心から頭部の重心に向かう方向に移動する性質を有することと同義である。
上記の構成によれば、前後軸を有する多くの実験動物について、マウスの鼻先等に代表される端点を特定することで高精度なトラッキングが可能となる。なお、上記「一方の端部」を前後逆転させることにより、前後軸において前部に位置する端点（マウスにおける鼻先）のみでなく、後部に位置する端点（例えば尾の付け根）の特定も可能である。
【００１６】
マウスに鼻先で探索行動を行う習性があることは以前から知られていたが、昨今の研究の結果、マウスがこれまで考えられていたよりもずっと多くの部分を視覚に頼って行動していることが分かってきた。しかも、このことを裏付ける各種の行動は、フィールドに２匹以上のマウスが存在する場合に特に顕著である。こうした発見により視線、すなわち胴体部に対し頭部をどの程度傾けているかの測定が、マウス実験における社会的行動の重要な評価指標として認識され始めている。
【００１７】
そこで、前記動作認識装置はさらに、
d) 前記端部領域の重心を特定する端部重心特定手段
を備える構成とすることが好ましい。
【００１８】
上記の構成によれば、動体領域において、端点、端部領域の重心及び全体重心の少なくとも３個の特徴点が特定される。これにより、画像解析を行うソフトウェアは、動体の形状について詳細な情報を得ることができる。具体的には、例えば動体をマウスとし、前後軸において最前部に位置する領域を端部領域と定めた場合を考える。このとき、領域分割手段による分割数を最も少ない２と定めた場合であっても、端部領域の重心は後頭部付近に求められることとなるため、端点（鼻先）、端部領域の重心（後頭部付近の点）及び全体重心の３点の位置関係から、該マウスの胴体部に対する頭部の傾き角度を高精度に求めることができる。領域分割手段による分割数が増大すれば、端部領域の重心は端点に近づくため、該領域内での（例えば頸部の）屈曲等の影響を受けにくくなり、精度はさらに向上する。
なお、前後軸において最後部に位置する領域を端部領域とし、該端部領域の重心を特定してもよいことは上述と同様である。よって、マウスにおいて上述の３点に加え、後部側の端部領域の重心（又は後部側の端点である尾の付け根）を求めれば胴体部の姿勢がより正確に把握でき、胴体部に対する頭部の傾き角度はさらに高精度に求められる。
従って上記構成によれば、マウスの社会的行動の解析において極めて有用な評価方法を提供することができる。
頭部の向きに着目した従来の解析手法として、例えば特許文献１には、マウスの上面視画像を二値化して重心を求め、該求めた重心を基準とした極座標変換により該マウスの輪郭情報を取得し、該輪郭情報に基づいて尾部の向き及び頭部の向きを特定することが記載されている。しかし本発明の上記構成によれば、毎回極座標変換によって輪郭情報を求めずとも、簡易な手法で頭部の向きを高精度に求めることができる。
【００１９】
前記端部重心特定手段は、直前に特定した前記端部領域の重心を、次フレームにおいて特定すべき前記端部領域の重心の初期値とすることが好ましい。
一般的な撮影動画では、連続するフレーム間で動体の前後が逆転することは稀であるため、上記の構成により端点の誤認識（すなわち後部の端点を誤って前部の端点と判定するミス）が防止される。
【００２０】
前記領域分割手段が用いる機械学習アルゴリズムとしては、例えばk-meansクラスタリングを用いることができる。
これにより、高速な処理で動体領域を複数の領域に簡易に分割することができる。
【００２１】
ここで、例としてマウスの画像をあまりに多く（例えば１０以上）の領域に分割しようとすると、マウスの体幅との関係上、観察者の所期どおりに（例えば前後方向に）動体領域が分割されない場合がある。
そこで、前記領域分割手段は、予備実験の結果に基づいて前記動体領域の分割数を決定してもよい。
これにより、行動解析の目的に沿わない領域分割が防止される。
【００２２】
上記課題を解決するために成された本発明に係る動作認識方法は、実験動物等の動体の動作を、撮像部により撮像された該動体の複数フレームの画像から自動的に認識する認識方法であって、
a) 前記画像中で前記動体に対応する動体領域の重心である全体重心を特定する全体重心特定ステップと、
b) 前記動体領域を機械学習アルゴリズムを用いて複数の領域に分割する領域分割ステップと、
c) 前記領域分割ステップにて分割した複数の領域のうち所定領域において、前記全体重心から最も遠い点を前記動体の端点として特定する端点特定ステップと、
を含むことを特徴とする。
【発明の効果】
【００２３】
本発明によれば、マウス等の実験動物の行動解析において、トラッキング精度が向上する。
【図面の簡単な説明】
【００２４】
【図１】本発明の第１の実施形態に係る動作認識装置を含む行動解析システムの概略構成を示すブロック図。
【図２】同実施形態に係る動作認識装置が行う処理の流れを示すフローチャート。
【図３】同実施形態に係る動作認識装置が実行するk-meansクラスタリングによるマウス画像の領域分割の手順を示す説明図。
【図４】図３（ｃ）に示す各クラスタ中心の初期値を設定する処理の流れを示すフローチャート。
【図５】同実施形態によるマウスの鼻先のトラッキング精度を従来手法と比較したグラフ。
【図６】本発明の第２の実施形態に係る動作認識装置が実行するk-meansクラスタリングによるマウス画像の領域分割の手順を示す説明図。
【図７】マウスの頭部の向きの認識精度を評価する方法を示す説明図であり、（ａ）は元のマウス画像から本願明者らが目視で特定した頭部の向きを、（ｂ）は従来の楕円フィッティングにより推定された頭部の向きを、（ｃ）は同実施形態により特定された鼻先、全体重心及び尾の付け根の３点に基づき推定された頭部の向きを、（ｄ）は同実施形態により特定された鼻先、前部重心、全体重心、後部重心及び尾の付け根の５点に基づき推定された頭部の向きをそれぞれ破線又は実線の矢印にて示している。
【図８】図７（ａ）にてユーザが特定した頭部の向きと、同図（ｂ）、（ｃ）及び（ｄ）により推定された頭部の向きとの角度差をそれぞれ示すグラフ。
【図９】図８に第１の実施形態による結果を追加した比較用グラフ。
【図１０】（ａ）従来の物理モデルフィッティングの一例を示す図。（ｂ）従来の楕円フィッティングの一例を示す図。
【発明を実施するための形態】
【００２５】
以下、本発明を実施するための形態について、図面を参照しつつ詳細に説明する。以下の記載において、先に説明した図面と同一の機能を有する部材には同一の番号を付し、その説明を省略する。
【００２６】
〔第１の実施形態〕
図１は本発明の一実施形態に係る動作認識装置を含む行動解析システムの概略構成を示すブロック図である。この行動解析システムは、観察箱１０と、該観察箱１０内でのマウスの行動を解析・処理したりするための、該観察箱１０と接続された情報処理装置２０（本発明の動作認識装置に相当）とを備える。
【００２７】
観察箱１０はマウス１２が探索可能なフィールドを有し、該フィールドの縁部を所定の高さの壁板で囲繞したものである。観察箱１０の天板内側にはカメラ１１（本発明の撮像部に相当）が設けられており、これによりマウス１２の行動を上方から撮影する。なお、観察箱１０は不図示の照明装置を例えば天板内側に備えている。観察箱１０はさらに、床板上に電気ショック呈示用の配線等を備えていてもよい。
【００２８】
情報処理装置２０の実態はワークステーションやＰＣ（Personal Computer）等のコンピュータであり、中央演算処理装置であるＣＰＵ（Central Processing Unit）２１にＲＡＭ（Random Access Memory）等の揮発性記憶装置から成るメモリ２２、ＬＣＤ（Liquid Crystal Display）等から成る表示部２３、キーボードやマウス等から成る入力部２４、ＨＤＤ（Hard Disc Drive）やＳＳＤ（Solid State Drive）等の大容量記憶装置から成る記憶部３０が互いに接続されている。記憶部３０には、ＯＳ（Operating System）３１及び行動解析プログラム３２が記憶されている。情報処理装置２０はさらに、外部装置との直接的な接続や、外部装置等とのＬＡＮ（Local Area Network）などのネットワークを介した接続を司るためのインターフェース（Ｉ／Ｆ）２５を備えており、該Ｉ／Ｆ２５よりネットワークケーブルＮＷ（又は無線ＬＡＮ）を介して観察箱１０が備えるカメラ１１や不図示の照明装置等に接続されている。別の構成例として、Ｉ／Ｆ２５と観察箱１０とは観察箱１０専用の制御装置（不図示）を解して接続されていてもよい。
【００２９】
行動解析プログラム３２は、カメラ１１が撮影したマウス１２の行動を解析するための各種機能を具備するプログラムである。但し以下の記載では、本発明の趣旨から外れる機能（例えば類型行動の検出や分類の方法等）については詳細な説明を省略する。
【００３０】
図１においては、行動解析プログラム３２に係るように、撮影制御部４１、画像取得部４２、前処理部４３、全体重心特定部４４、領域分割部４５（本発明の領域分割手段及び端部重心特定手段に相当）、端点特定部４６及びフレーム情報記憶部４７が示されている。これらはいずれも基本的にはＣＰＵ２１が行動解析プログラム３２をメモリ２２に読み出して実行することによりソフトウェア的に実現される機能手段である。なお、行動解析プログラム３２は必ずしも単体のプログラムである必要はなく、例えば観察箱１０に付随して設けられた各種の機械要素を制御するためのプログラムの一部に組み込まれた機能であってもよく、その形態は特に問わない。また、行動解析プログラム３２が備える機能の一部（例えば撮影制御部４１）を、上述したような観察箱１０専用の制御装置が具備していてもよい。
【００３１】
撮影制御部４１は、カメラ１１による観察箱１０内部の撮影を制御するものである。例えば、入力部２４を介したユーザの指示をトリガとして撮影の開始や終了を指示する。
画像取得部４２は、カメラ１１が撮影した観察箱１０内部の画像（所定長さの動画を構成する複数フレームの画像）を取得するものである。画像取得部４２が取得した複数フレームの画像はメモリ２２の他に、記憶部３０内の不図示の記憶領域に保存されてもよい。
【００３２】
前処理部４３は、画像取得部４２が取得した画像の二値化やノイズ除去といった前処理を行う。これらの処理には公知の技術を用いることができる。
ここで、図３（ａ）及び（ｂ）を参照して、画像の前処理について説明を行う。図３（ａ）は画像取得部４２が取得した或るフレームの画像のうち、マウス１２を中心とする小区画を説明のために切り出したものである。これに対し、前処理部４３が二値化及び必要に応じてノイズ除去を施すことにより、同図（ｂ）に示すような画像が得られる。このうち白抜きで示された領域が、後述の全体重心特定や領域分割の対象となるマウス領域１３（本発明の動体領域に相当）である。
【００３３】
再び図１を参照して説明を行う。全体重心特定部４４は、上記前処理後の画像に基づき、マウス領域１３の２次元図形としての重心である全体重心Ｃ（図３（ｂ）参照）を特定する。この全体重心Ｃの特定も公知の技術を適用することで可能である。なお、重心（並びに後述のクラスタ中心及び各端部）の「特定（又は設定）」とは、本実施形態では画像中の座標が一意に定まることを意味している。
【００３４】
領域分割部４５は、k-meansクラスタリングにより、マウス領域１３をk個の領域に分割する。本実施形態ではk = 2とし、マウス領域１３を前後２つの領域に分割する。k-meansクラスタリングによる領域分割の手順については後述する。
領域分割部４５はまた、クラスタリングが収束した時点での各クラスタの中心を、前後の領域の各重心として特定する。
【００３５】
端点特定部４６は、マウス１２の鼻先５１及び尾の付け根５２（図３（ｈ）参照）を特定する。具体的には、領域分割部４５によって分割された前後２つの領域内の画素について、全体重心Ｃから最も遠いものをそれぞれ鼻先５１、尾の付け根５２として特定する。本実施形態では、鼻先５１及び尾の付け根５２がそれぞれ本発明の端点に相当する。
【００３６】
フレーム情報記憶部４７は、上述した前処理部４３、全体重心特定部４４、領域分割部４５及び端点特定部４６による処理結果を１フレームの画像に関する情報として保持し蓄積するものである。フレーム情報記憶部４７に所定数のフレームの画像に関する情報が蓄積された時点で、又はユーザによる任意のトリガリングによって、マウス１２の類型行動の検出や分類等の行動解析が行われることとなる。
【００３７】
以下、メインルーチンのフローチャートである図２、及び必要に応じて図３及びサブルーチンのフローチャートである図４を参照しつつ、本実施形態の情報処理装置２０による処理の流れについて説明を行う。いま、撮影制御部４１からの指示によりカメラ１１が観察箱１０内部の動画を撮影し、該動画を構成するＩ個の連続するフレームの画像を、画像取得部４２が取得したものとする。
【００３８】
まず、行動解析プログラム３２が、フレーム番号を示す変数ｉ（１≦ｉ≦Ｉ）を１とし（ステップＳ１０１）、前処理部４３が、画像取得部４２が取得した上記複数フレームの画像のうち最初の画像（例えば図３（ａ））を取得し（ステップＳ１０２）、該画像の二値化を行う（ステップＳ１０３）。ステップＳ１０３における二値化後に画像中にノイズが残っていれば、これを適宜の方法により除去する。続いて、全体重心特定部４４がマウス領域１３の全体重心Ｃ（図３（ｂ）参照）を特定する（ステップＳ１０４：本発明の全体重心特定ステップに相当）。
【００３９】
次に、領域分割部４５が、マウス領域１３内に２つのクラスタ中心ｆＣｉ及びｒＣｉの初期値ｆＣｉ,１及びｒＣｉ,１を定める（ステップＳ１０５）。本ステップに係る処理の詳細は後述するが、現在は１番目のフレームに係る処理中であるので、これらの初期値ｆＣ１,１及びｒＣ１,１は任意に定められる（例えば図３（ｃ）のクラスタ中心ｆＣ１及びｒＣ１を参照）。ここで、初期値ｆＣ１,１及びｒＣ１,１は任意に定められると述べたが、ｆＣ１,１は少なくともｒＣ１,１に対して前方に定められることが好ましい。具体的には、例えばユーザが目視判断に基づいて入力部２４を介して指定してもよいし、別の画像認識手法を用いてマウス領域１３の前後を自動認識させることでｆＣ１,１、ｒＣ１,１をそれぞれ前方、後方のランダムな位置に定めてもよい。このように予めクラスタ中心の前後のみ規定しておくことで、後述の前後各端部の特定処理にて鼻先と尾の付け根とが逆転してしまう検出ミスを防止することができる。
【００４０】
続いて、領域分割部４５は、マウス領域１３内の画素に対しk-meansクラスタリングを適用し、マウス領域１３をまずはｆＣ１,１、ｒＣ１,１をそれぞれ重心とする２つの領域に分割する（ステップＳ１０６：本発明の領域分割ステップに相当）。
【００４１】
本ステップから開始するk-meansクラスタリングによる領域分割の手順について、図３を参照して説明を行う。
【００４２】
まず、上述のステップＳ１０２〜Ｓ１０５により、図３（ｃ）に示すように所与の位置に２つのクラスタ中心ｆＣ及びｒＣの初期値ｆＣ１及びｒＣ１が定められた。なお、図３は全フレームに共通の手順であるため、符号中のフレーム番号ｉが省略されている。
【００４３】
次に、同図（ｄ）に示すように前後２つの領域Ｆ１及びＲ１に各画素が割り当てられる。この領域Ｆ１及びＲ１は、初期値として定められたクラスタ中心ｆＣ１とｒＣ１とを結ぶ線分の垂直二等分線（ボロノイ境界）を境界としている。画素の割り当てがなされると、続いて同図（ｅ）に示すようにクラスタ中心がｆＣ２及びｒＣ２として更新される。ｆＣ２及びｒＣ２は、領域Ｆ１及びＲ１内の各画素からの距離の総和を最小化する位置に定められる。続いてこのｆＣ２及びｒＣ２についてもボロノイ境界が定められ、これに基づく領域Ｆ２及びＲ２への画素の割り当てが行われる（同図（ｆ））。そして領域Ｆ２及びＲ２に対してクラスタ中心がｆＣ３及びｒＣ３として更新される（同図（ｇ））。
【００４４】
以上のような処理を繰り返し、更新によるデータ値の変化量が所定の閾値を下回ったとき（例えばクラスタ中心ｆＣ及びｒＣの座標値についてｆＣｎ＋１−ｆＣｎ＜Ｔｈ且つｒＣｎ＋１−ｒＣｎ＜Ｔｈが成立；Ｔｈは所定の閾値）、領域分割部４５はクラスタリングが収束したと判定する（Ｓ１０７でＹｅｓ）。上記変化量が閾値以上であれば（Ｓ１０７でＮｏ）、領域分割部４５は上述したクラスタ中心の更新と領域分割とを継続する。
【００４５】
クラスタリングが収束したと判定された時点でのフレーム画像の例を図３（ｈ）に示す。この画像の情報を元に、領域分割部４５はＦｎを前部領域、Ｒｎを後部領域とし、ｆＣｎ、ｒＣｎを前後の各重心として確定する（ステップＳ１０８：本発明の端部重心特定ステップに相当）。
【００４６】
次に、端点特定部４６が、前部領域Ｆｎのうち全体重心Ｃから最も遠い点（正確には画素）をマウス１２の鼻先５１と特定し（ステップＳ１０９）、後部領域Ｒｎのうち全体重心Ｃから最も遠い点（画素）をマウス１２の尾の付け根５２と特定する（ステップＳ１１０）。これらのステップはそれぞれ本発明の端点特定ステップに相当し、実行順序は逆であっても構わない。
【００４７】
次いで前処理部４３はｉをインクリメントし（ステップＳ１１１）、ｉが動画を構成するフレーム数Ｉを上回っていなければ（ステップＳ１１２でＮｏ）、次なるフレーム画像について、ステップＳ１０２〜Ｓ１１２を実行する。
【００４８】
一方、ステップＳ１１１におけるインクリメントの結果、ｉがＩを上回った場合（ステップＳ１１２でＹｅｓ）、この判定結果は動画中の全フレームについて全体重心の特定、領域分割、前後各重心の特定、並びに鼻先及び尾の付け根の特定が完了したことを意味するので、処理は終了となる。
なお、ステップＳ１０４、Ｓ１０８〜Ｓ１１０における処理結果は逐次フレーム情報記憶部４７に保存され、全フレームについての情報が蓄積された後、種々の行動解析に用いられる元データとなる。
【００４９】
以上説明した処理によれば、動画を構成する各フレームについて画像が二値化されてマウス領域１３が画定され、全体重心Ｃが特定される。そして、k-meansクラスタリング（k=2）によりマウス領域１３が前部領域Ｆｎと後部領域Ｒｎとに分割されるとともに、２つのクラスタ中心ｆＣｎ、ｒＣｎが前後の各重心として特定される。さらに、前部領域Ｆｎ、後部領域Ｒｎのうち全体重心Ｃから最も遠い点がそれぞれマウス１２の鼻先５１、尾の付け根５２として特定される。
【００５０】
ここで、ステップＳ１０５における、前後２つのクラスタ中心の初期値ｆＣｉ,１及びｒＣｉ,１を定める処理について、図４を参照して説明する。
まず、ｉが１に等しいか、すなわち現在処理中の画像が動画中の最初のフレームであるか否かの判定が行われる（ステップＳ２０１）。ｉが１に等しければ（Ｓ２０１でＹｅｓ）、上述のステップＳ１０５の説明にて記載したように、ユーザ入力（又は上述した画像認識手法を用いた設定）に基づき初期値ｆＣ１,１及びｒＣ１,１を決定する（ステップＳ２０２）。
一方、ｉの値が２以上であると判定された場合（Ｓ２０１でＮｏ）、この判定結果は既に直前のフレームにおける前後のクラスタ中心が確定済みであることを意味する。このとき、領域分割部４５は、前フレームにて前部重心及び後部重心として確定したクラスタ中心ｆＣｉ−１,ｎ及びｒＣｉ−１,ｎを、現在処理中のフレームの初期値ｆＣｉ,１及びｒＣｉ,１とする（ステップＳ２０３）。
【００５１】
通常の撮影動画において、連続するフレーム間でマウス１２の前後が逆転するほどの急激な姿勢変化が起こることは稀である。従って、このように直前フレームで確定したクラスタ中心ｆＣｉ−１,ｎ及びｒＣｉ−１,ｎを今回の初期値ｆＣｉ,１及びｒＣｉ,１として利用することで、ユーザが目視で前後を定めずとも、前後認識の逆転に起因する鼻先５１及び尾の付け根５２の検出ミスが防止される。また、本構成によれば、マウス領域１３の輪郭を認識して該輪郭の形状から鼻先を特定するといった特許文献１に記載のような処理を不要とすることができる。
【００５２】
〔実験例１：鼻先のトラッキング〕
本実施形態の効果を確認するため、以下の条件でマウス１２の鼻先のトラッキング精度について評価実験を行った。
データセットとして、マウス１２の自由行動を３０秒間に亘り撮影した１００個の動画から、それぞれ連続する５フレームの画像をサンプリングした。すなわち、解析対象画像の総数は５００である。これら５００個の画像の各々について、本発明者らが目視に基づき手動でマーク（アノテーション）した鼻先位置からの距離を評価指標とし、従来用いられている楕円フィッティングと、現在広く使用されている商用ソフトウェアであるNoldus社製のEthoVision XT（登録商標）と、本実施形態を適用した提案手法とで、鼻先のトラッキング精度を比較した。
【００５３】
上記評価実験の結果を図５に示す。横軸はアノテーション位置からの距離（画素数）を、縦軸は累積分布（％）を表す。同図に示すとおり、特定された鼻先の位置が上記アノテーション位置から１０画素（一点鎖線で示す）以内に含まれる割合は、楕円トラッキング及び商用ソフトウェアでは４５％及び７４％であった。これに対し、本実施形態を用いた提案手法では９４％と非常に高い精度でマウス１２の鼻先を追跡可能であった。
【００５４】
以上のとおり、本実施形態によれば、k-meansクラスタリングによりマウス領域１３を前後に２分割し、前部領域Ｆｎ内でマウス領域１３の全体重心Ｃから最も遠い点を求めるという簡易な手法により鼻先５１を高精度に追跡できる。また、本実施形態によるトラッキングでは物理モデルや楕円形へのフィッティングを行わないため、胴体部の屈曲や細かな動作に起因する誤差が少なく、高い堅牢性が維持されている。
【００５５】
〔第２の実施形態〕
上記第１の実施形態ではマウス領域１３を前後２つの領域に分割する構成について説明したが、さらに多くの領域、例えば３つの領域に分割してもよい。すなわち、図２に示すフローチャートのステップＳ１０６においてk=3とすればよい。但し、本実施形態では３つのクラスタ中心のうち１つを全体重心Ｃに固定し、他のクラスタ中心ｆＣ及びｒＣのみを更新する構成とする。
【００５６】
図６を参照して、本実施形態におけるk-meansクラスタリングを用いたマウス領域１３の分割手順について説明を行う。
図６（ａ）及び（ｂ）は図３（ｂ）及び（ｃ）に対応する。但し図３（ｃ）では説明の簡略化と図の見易さのために全体重心Ｃの図示を省略している。
本実施形態ではここより先の処理が異なっている。図６（ｃ）に、ｆＣ１、Ｃ及びｒＣ１の３つのクラスタ中心によるマウス領域１３の分割の様子を示す。上記第１の実施形態にて説明した所謂ボロノイ境界により、マウス領域１３はまず前部領域Ｆ１と中部領域Ｍ１と後部領域Ｒ１とに分割される。次に、これら３領域Ｆ１、Ｍ１及びＲ１に基づきクラスタ中心ｆＣ１及びｒＣ１がｆＣ２及びｒＣ２に更新される（図６（ｄ））。上記のとおり全体重心Ｃは固定されたクラスタ中心であり、更新の対象ではない。この後さらに領域Ｆ２、Ｍ２及びＲ２（不図示）に対応する画素の割り当てとｆＣ２及びｒＣ２の更新がなされ、同様の処理を繰り返した後、３領域内の各画素と３つのクラスタ中心（全体重心Ｃを含む）との距離の総和が最小になった時点でクラスタリングは収束する（図６（ｅ））。
【００５７】
〔実験例２：頭部の向きの推定〕
本実施形態の効果を確認するため、以下の条件でマウス１２の頭部の向きの推定精度について評価実験を行った。図７及び図８を参照して説明を行う。
データセットについては上記第１の実施形態における実験例１と同一である。上記５００個の画像の各々について、本発明者らが目視で特定した頭部の向き（以下、便宜的に「実際の頭部の向き６０」と称す）（一例を図７（ａ）に破線矢印で示す）との角度差θ（°）を評価指標とし、楕円フィッティングと、本実施形態を用いた提案手法で特定された３点（鼻先５１、全体重心Ｃ及び尾の付け根５２）に基づく場合と、同提案手法で特定された５点（鼻先５１、前部重心ｆＣｎ、全体重心Ｃ、後部重心ｒＣｎ及び尾の付け根５２）に基づく場合とで、頭部の向きの推定精度を比較した。
【００５８】
楕円フィッティング、本実施形態を用いた提案手法（３点）、及び同提案手法（５点）により推定された頭部の向き６１、６２及び６３を図７（ｂ）、（ｃ）及び（ｄ）に実線矢印で示す。同図（ｂ）から明らかなように、楕円フィッティングでは楕円の延伸方向の両端を鼻先５１ａ及び尾の付け根５２ａとするため、全体重心Ｃと鼻先５１ａとの位置関係により推定される頭部の向き６１は、実際の頭部の向き６０に対し大きなずれが生じている。一方、提案手法（３点）では、全体重心Ｃと鼻先５１との位置関係により推定される頭部の向き６２は、上記の楕円フィッティングと比較すれば実際の頭部の向き６０とのずれは軽減されているものの、マウス１２の視線を測定するに十分とは言い難い。この「提案手法（３点）」は、上記の商用ソフトウェア（アルゴリズム非公開）による推定結果を想定した参考データである。
これに対し、提案手法（５点）では、同図（ｄ）に示すように、前部重心ｆＣｎと鼻先５１との位置関係から推定される頭部の向き６３は、実際の頭部の向き６０と殆ど一致するほどに角度差θ（図示は省略）が小さくなっている。
【００５９】
上述した評価実験の結果を図８に示す。本実験例でも、上記実験例１と類似の傾向が見られ、本実施形態を用いた提案手法（５点）では、少なくとも楕円フィッティングと比較して非常に高い推定精度が認められた。
【００６０】
そして、鼻先５１、前部重心ｆＣｎ、全体重心Ｃ、後部重心ｒＣｎ及び尾の付け根５２の５点の位置関係を参照すれば、マウス１２が全体としてどのような姿勢をとっているかがよく把握できる。従って、上述のようにして求めた頭部の向き６３と、胴体部の向き（例えば全体重心Ｃと後部重心ｒＣｎ（又は尾の付け根５２）との位置関係から推定される）との角度差、すなわちマウス１２の胴体部に対する頭部の傾き角度を高精度に求めることが可能となる。
【００６１】
なお、本実験例において上記第１の実施形態（k=2）を用いても類似の効果が得られる。第１の実施形態を用いて得られた結果を図９にて一点鎖線で示す。同図に示すとおり、k=3とした本実施形態と比較するとやや劣るものの良好な結果が得られている。これは、マウス１２が、体長（頭胴長）に占める頭長の割合が比較的大きい動体であることに起因すると考えられる。すなわち、マウス領域１３の分割数が３から２に減少したことによってずれた前部重心ｆＣｎの位置はマウス１２においては後頭部付近（図７（ｄ）よりもやや後方）であり、従って頸部の屈曲等の影響を受け難い。一方で、体長に占める頭長の割合が小さい動体（例えばネコ等）においては、頭部の向きの推定における分割数の増大はより有効であると考えられる。このように、kの値は観察対象の動体の形態や動作の特性によって適宜に定められることが好ましい。本発明者らが行った検証によれば、マウス１２に関して鼻先５１のトラッキングや頭部の向きの推定を目的とする場合には、kの値は3が最も適しているようである。kの値を大きくし過ぎるとマウス領域１３が体幅方向にも分割されてしまう場合がある。
【００６２】
以上のとおり、本実施形態によれば、マウスの頭部の向きを従来よりも高い精度で推定できる。すなわち、マウスの視線のトラッキングが可能となる。さらに、胴体部に対する頭部の傾き角度を求めることにより、進行方向から視線を大きく動かして対象に注意を向けているといった重要な動作も正しく検出することができる。これにより、近年注目されているマウスの社会的行動の解析において極めて有用な評価方法を提供し得る。
また、後部重心ｒＣｎを特定することにより、頭部の向きだけでなく体の伸び等の姿勢も検出することが可能である。
【００６３】
〔変更例〕
本発明は上述した各実施形態に限定されるものではなく、本発明の趣旨の範囲で適宜変更が許容される。
例えば、上述の各実施形態ではマウス領域１３を分割する手法としてk-meansクラスタリングを用いているが、別の機械学習アルゴリズムを用いて領域分割を行うことも可能である。そのようなアルゴリズムとしては、例えばウォード法や混合ガウス分布を挙げることができる。
さらに、k-meansクラスタリングにおいては、kの値を2又は3と定めた例を挙げたが、kの具体的な値は、観察対象となる動体の形状や観察の目的に応じて適宜変更されればよい。
また、頭部の向きの推定は家畜の発情行動や社会的行動の検出に有用であるが、こうした解析を行わない場合には、前後の重心を特定する工程を省略してもよい。
【００６４】
〔本発明の応用先〕
上述の各実施形態では動体としてマウス１２を挙げたが、本発明の動体はこれに限定されず、ラットは勿論のこと、イヌ、ネコ及びウマ等の四足動物、並びに鳥類や一部の細胞（神経細胞、ガン細胞及び免疫細胞等のように、所定の環境下で極性を有する移動を行う細胞）等であってもよい。上記鳥類の一例として、ニワトリ等の一部の家禽では、何らかの刺激により惹起された或る個体の走駆行動に誘導されて群れ全体が飼育場の壁に向かって集合し、これが原因で多数の個体が圧死してしまうという問題がある。本発明によれば、こうした集合動作を検出することで飼育管理者に警告通知を行う等の方法により、家禽の圧死による経済的損失を防止することも可能となる。
【符号の説明】
【００６５】
１０…観察箱
１１…カメラ
１２…マウス
１３…マウス領域
２０…情報処理装置
２１…ＣＰＵ
２２…メモリ
２３…表示部
２４…入力部
２５…Ｉ／Ｆ
３０…記憶部
３２…行動解析プログラム
４１…撮影制御部
４２…画像取得部
４３…前処理部
４４…全体重心特定部
４５…領域分割部
４６…端点特定部
４７…フレーム情報記憶部
５１、５１ａ…鼻先
５２、５２ａ…尾の付け根
６０…実際の頭部の向き
６１、６２、６３…推定された頭部の向き
Ｃ…全体重心
ｆＣ…クラスタ中心
ｆＣｎ…前部重心
Ｆ…前部領域
Ｍ…中部領域
ｒＣ…クラスタ中心
ｒＣｎ…後部重心
Ｒ…後部領域
θ…角度差
【図１】
0006346007.tif 000002
【図２】
0006346007.tif 000003
【図３】
0006346007.tif 000004
【図４】
0006346007.tif 000005
【図５】
0006346007.tif 000006
【図６】
0006346007.tif 000007
【図７】
0006346007.tif 000008
【図８】
0006346007.tif 000009
【図９】
0006346007.tif 000010
【図１０】
0006346007.tif 000011