(57)【要約】【課題】動画途中から登場する対象物を効率的に認識する。【解決手段】運動オブジェクト画像メモリ９に格納された動画オブジェクト画像フレームＦｄｙ  １〜Ｆｄｙ  ｌａｓｔのそれぞれについて、その画像フレーム中の白領域を抽出し、各白領域に固有の仮ラベルを付与し、最初の動画オブジェクト画像フレームＦｄｙ  １の仮ラベルを本ラベルとする。そして、ｉを２から進めながら、動画オブジェクト画像フレームＦｄｙ  ｉの白領域と最もパターンマッチする、動画オブジェクト画像フレームＦｄｙ  ｉ−１の白領域を探索し、探索が成功した場合には、動画オブジェクト画像フレームＦｄｙ  ｉ−１の探索した白領域に付与されている本ラベルの値を、動画オブジェクト画像フレームＦｄｙ  ｉの当該白領域に本ラベルとして与え両者を同一の対象物に対するものとして関係づける。一方、探索が失敗した場合には、動画オブジェクト画像フレームＦｄｙ  ｉの当該白領域の仮ラベルを、新たな値の本ラベルに書き換える。【選択図】図１
2005031734.tif 000002
【特許請求の範囲】
【請求項１】
動画より動画中に映された対象物を認識する画像解析装置であって、
各画素の画素値を、当該画素と同じ位置にある、前記動画を構成する各画像フレームの画素の画素値の全てが前記対象物に対応する画素値である場合に当該対象物に対応する画素値とし、他の場合には背景を表す画素値とした静止体画像を生成する静止体画像生成手段と、
前記静止体画像に基づいて、静止している対象物を認識する静止対象物認識手段とを有することを特徴とする画像解析装置。
【請求項２】
動画より動画中に映された対象物を認識する画像解析装置であって、
各画素の画素値を、当該画素と同じ位置にある、前記動画を構成する各画像フレームの画素の画素値の全てが前記対象物に対応する画素値である場合に当該対象物に対応する画素値とし、他の場合には背景を表す画素値とした静止体画像を生成する静止体画像生成手段と、
動画を構成する各画像フレームについて、前記静止体画像に基づいて当該画像フレームから静止している対象物の画像パターンを除去した動体画像フレームを生成することにより、生成した前記各動体画像フレームからなる動体動画を生成する動体動画生成手段と、
前記動体動画に基づいて、運動している対象物を認識する運動対象物認識手段とを有することを特徴とする画像解析装置。
【請求項３】
動画より動画中に映された対象物を認識する画像解析装置であって、
動画を構成する各画像フレームに含まれる個々の対象物の画像部分を対象画像として抽出する手段と、
撮影時刻順に順次、動画を構成する先頭の画像フレームを除く各画像フレームについて、当該画像フレームについて抽出した各対象画像を着目対象画像として、当該着目対象画像と所定のレベル以上マッチする、当該画像フレームの時間的に直前の画像フレームの対象画像を探索する探索手段と、
前記探索手段が、前記着目対象画像と所定のレベル以上マッチする、当該画像フレームの時間的に直前の画像フレームの対象画像を探索できた場合に、最も良く前記着目対象画像とマッチした当該画像フレームの時間的に直前の画像フレームの対象画像と同じ対象物に対応する対象画像として、前記着目対象画像とした対象画像を分類し、前記探索手段が、前記着目対象画像と所定のレベル以上マッチする、当該画像フレームの時間的に直前の画像フレームの対象画像を探索できなかった場合に、前記着目対象画像とした対象画像を、当該画像フレームから新たに動画中に登場した対象物に対応する対象画像として分類する対象画像分類手段とを有することを特徴とする画像解析装置。
【請求項４】
請求項３記載の画像解析装置であって、
前記対象画像分類手段が同じ対象物に対応する対象画像として分類した各画像フレームの対象画像の挙動に基づき、当該対象画像に対応する対象物の挙動を解析する対象物解析手段を有することを特徴とする画像解析装置。
【請求項５】
精液を撮影した動画より動画中に映された精子を認識する画像解析装置であって、
各画素の画素値を、当該画素と同じ位置にある、前記動画を構成する各画像フレームの画素の画素値の全てが前記精子に対応する画素値である場合に当該精子に対応する画素値とし、他の場合には背景を表す画素値とした静止体画像を生成する静止体画像生成手段と、
前記静止体画像に基づいて静止している静止数を算出する静止精子算出手段と、
動画を構成する各画像フレームについて、前記静止体画像に基づいて当該画像フレームから静止している精子の画像パターンを除去した動体画像フレームを生成することにより、生成した前記各動体画像フレームからなる動体動画を生成する動体動画生成手段と、
前記体動画を構成する各画像フレームに含まれる個々の精子の画像部分を対象画像として抽出する対象画像抽出手段と、
撮影時刻順に順次、動体動画を構成する先頭の画像フレームを除く各画像フレームについて、当該画像フレームについて抽出した各対象画像を着目対象画像として、当該着目対象画像と所定のレベル以上マッチする、当該画像フレームの時間的に直前の画像フレームの対象画像を探索する探索手段と、
前記探索手段が、前記着目対象画像と所定のレベル以上マッチする、当該画像フレームの時間的に直前の画像フレームの対象画像を探索できた場合に、最も良く前記着目対象画像とマッチした当該画像フレームの時間的に直前の画像フレームの対象画像と同じ精子に対応する対象画像として、前記着目対象画像とした対象画像を分類し、前記探索手段が、前記着目対象画像と所定のレベル以上マッチする、当該画像フレームの時間的に直前の画像フレームの対象画像を探索できなかった場合に、前記着目対象画像とした対象画像を、当該画像フレームから新たに動体動画中に登場した精子に対応する対象画像として分類する対象画像分類手段と、
前記対象画像分類手段の対象画像の分類数より、運動している精子数を算出し、前記対象画像分類手段が同じ精子に対応する対象画像として分類した各画像フレームの対象画像の挙動に基づいて、当該対象画像に対応する精子の挙動を解析する運動精子解析手段とを有することを特徴とする画像解析装置。
【請求項６】
動画より動画中に映された対象物を認識する画像解析方法であって、
各画素値を、当該画素と同じ位置にある、前記動画を構成する各画像フレームの画素の値の全てが前記対象物に対応する画素値である場合に当該対象物に対応する画素値とし、他の場合には背景を表す画素値とした静止体画像を生成するステップと、
動画を構成する各画像フレームについて、前記静止体画像に基づいて当該画像フレームから静止している対象物の画像パターンを除去した動体画像フレームを生成することにより、生成した前記各動体画像フレームからなる動体動画を生成するステップと、
前記動体動画に基づいて、運動している対象物を認識するステップとを有することを特徴とする画像解析方法。
【請求項７】
動画より動画中に映された対象物を認識する画像解析方法であって、
動画を構成する各画像フレームに含まれる個々の対象物の画像部分を対象画像として抽出するステップと、
撮影時刻順に順次、動画を構成する先頭の画像フレームを除く各画像フレームについて、当該画像フレームについて抽出した各対象画像を着目対象画像として、当該着目対象画像と所定のレベル以上マッチする、当該画像フレームの時間的に直前の画像フレームの対象画像を探索するステップと、
前記着目対象画像と所定のレベル以上マッチする、当該画像フレームの時間的に直前の画像フレームの対象画像を探索できた場合に、最も良く前記着目対象画像とマッチした当該画像フレームの時間的に直前の画像フレームの対象画像と同じ対象物に対応する対象画像として、前記着目対象画像とした対象画像を分類し、前記探索手段が、前記着目対象画像と所定のレベル以上マッチする、当該画像フレームの時間的に直前の画像フレームの対象画像を探索できなかった場合に、前記着目対象画像とした対象画像を、当該画像フレームから新たに動画中に登場した対象物に対応する対象画像として分類するステップとを有することを特徴とする画像解析方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像中に含まれる動体の認識や、動体の挙動等の解析を行う技術に関するものである。
【０００２】
【従来の技術】
動画像中に撮影された対象物の認識や、対象物の挙動等の解析を行う技術は、各種監視装置や飛行体等の追尾装置などに適用されている。通常、これらの技術では、まず、画像フレーム中の対象物の領域を、その対象物の画像上の特徴に基づいて抽出する。そして、画像フレームを時間的に後に進めながら画像フレーム中の対象物の位置を追尾していくことにより、動画像中における対象物の移動を検出している。
【０００３】
【発明が解決しようとする課題】
さて、このような従来の技術を多数の対象物が存在する状況を撮影した動画像に適用する場合には次のような問題が生じる。
まず、撮影の時間軸に沿って対象物を追尾することにより各画像フレーム中における同一の対象物を求める手法であるため、撮影途中に視野外から視野中に移動してきたために動画像途中の画像フレームから登場するようになった対象物については、これを認識し、追尾の対象に加えるための特段の処理が、初めの画像フレームから撮影されていた対象物の追尾の処理とは別に必要となる。
【０００４】
また、動体である対象物と共に静止体である同種の対象物が動画像中に含まれる場合には、このような静止体である対象物の存在のために、動体である対象物の抽出や追尾が困難化することが避けられないとなるいう問題もある。
【０００５】
そこで、本発明は、複数の対象物を撮影した動画像に対して、動体である対象物の挙動をより効率的に認識することのできる画像解析装置を提供することを課題とする。また、併せて本発明は、対象物が静止体として動画像中に動体である対象物と共に含まれることもある場合にも、良好に両者を弁別して認識することのできる画像解析装置を提供することを課題とする。
【０００６】
【課題を解決するための手段】
前記課題達成のために本発明は、各画素の画素値を、当該画素と同じ位置にある、前記動画を構成する各画像フレームの画素の画素値の全てが前記対象物に対応する画素値である場合に当該対象物に対応する画素値とし、他の場合には背景を表す画素値とした静止体画像を生成する静止体画像生成手段と、前記静止体画像に基づいて、静止している対象物を認識する静止対象物認識手段とを含めて構成したものである。
【０００７】
このような画像解析装置によれば、以上のような簡易な処理により、静止体画像として静止する対象物のみが映された画像を生成することができるので、より精度良く、静止している対象物を運動している対象物とは弁別して認識することができるようになる。
また、前記課題達成のために、本発明は、動画より動画中に映された対象物を認識する画像解析装置を、各画素の画素値を、当該画素と同じ位置にある、前記動画を構成する各画像フレームの画素の画素値の全てが前記対象物に対応する画素値である場合に当該対象物に対応する画素値とし、他の場合には背景を表す画素値とした静止体画像を生成する静止体画像生成手段と、動画を構成する各画像フレームについて、前記静止体画像に基づいて当該画像フレームから静止している対象物の画像パターンを除去した動体画像フレームを生成することにより、生成した前記各動体画像フレームからなる動体動画を生成する動体動画生成手段と、前記動体動画に基づいて、運動している対象物を認識する運動対象物認識手段とを含めて構成したものである。
【０００８】
このような画像解析装置によれば、初めに静止体画像として静止する対象物のみが映された画像を生成し、その後、生成した静止体画像を利用して、動画の各画像フレームより静止している対象物の画像パターンを除去するので、効率よく運動している対象物のみが映された動体動画を生成し、この動体動画に基づいて精度良く運動している対象物を認識することができるようになる。
【０００９】
また、本発明は、前記課題達成のために、動画より動画中に映された対象物を認識する画像解析装置を、動画を構成する各画像フレームに含まれる個々の対象物の画像部分を対象画像として抽出する手段と、撮影時刻順に順次、動画を構成する先頭の画像フレームを除く各画像フレームについて、当該画像フレームについて抽出した各対象画像を着目対象画像として、当該着目対象画像と所定のレベル以上マッチする、当該画像フレームの時間的に直前の画像フレームの対象画像を探索する探索手段と、前記探索手段が、前記着目対象画像と所定のレベル以上マッチする、当該画像フレームの時間的に直前の画像フレームの対象画像を探索できた場合に、最も良く前記着目対象画像とマッチした当該画像フレームの時間的に直前の画像フレームの対象画像と同じ対象物に対応する対象画像として、前記着目対象画像とした対象画像を分類し、前記探索手段が、前記着目対象画像と所定のレベル以上マッチする、当該画像フレームの時間的に直前の画像フレームの対象画像を探索できなかった場合に、前記着目対象画像とした対象画像を当該画像フレームから新たに動画中に登場した対象物に対応する対象画像として分類する対象画像分類手段とより構成したものである。
【００１０】
ここで、このような画像解析装置には、前記対象画像分類手段が同じ対象物に対応する対象画像として分類した各画像フレームの対象画像の挙動に基づき、当該対象画像に対応する対象物の挙動を解析する対象物解析手段を備えるようにしても良い。
【００１１】
このような画像解析装置によれば、動画中に映された対象物の追尾を、撮影時刻順に順次、各画像フレーム中から抽出した対象物の画像部分に対応する画像部分が、時間的に直前の画像フレームから抽出した対象物の画像部分のいずれに対応するかを探索していくことにより行う。そして、探索が失敗した場合には、画像フレーム中から抽出した対象物の画像部分に対応する画像部分が、当該画像フレームから新たに動画中に登場した対象物の画像部分であると見なして、当該画像フレームの時刻以降における追尾の対象に加える。
【００１２】
したがって、対象物の追尾処理において、視野外から視野中に移動してきたために動画像途中の画像フレームから撮影されるようになった対象物の認識も行うことができるため、これらの処理を効率的に行うことができるようになる。
なお、以上のような画像解析装置は、たとえば、精液を撮影した動画より動画中に映された精子を認識する画像解析装置に適用することができる。
すなわち、この場合には、たとえば、画像解析装置に、各画素の画素値を、当該画素と同じ位置にある、前記動画を構成する各画像フレームの画素の画素値の全てが前記精子に対応する画素値である場合に当該精子に対応する画素値とし、他の場合には背景を表す画素値とした静止体画像を生成する静止体画像生成手段と、前記静止体画像に基づいて静止している静止数を算出する静止精子算出手段と、動画を構成する各画像フレームについて、前記静止体画像に基づいて当該画像フレームから静止している精子の画像パターンを除去した動体画像フレームを生成することにより、生成した前記各動体画像フレームからなる動体動画を生成する動体動画生成手段と、前記体動画を構成する各画像フレームに含まれる個々の精子の画像部分を対象画像として抽出する対象画像抽出手段と、撮影時刻順に順次、動体動画を構成する先頭の画像フレームを除く各画像フレームについて、当該画像フレームについて抽出した各対象画像を着目対象画像として、当該着目対象画像と所定のレベル以上マッチする、当該画像フレームの時間的に直前の画像フレームの対象画像を探索する探索手段と、前記探索手段が、前記着目対象画像と所定のレベル以上マッチする、当該画像フレームの時間的に直前の画像フレームの対象画像を探索できた場合に、最も良く前記着目対象画像とマッチした当該画像フレームの時間的に直前の画像フレームの対象画像と同じ精子に対応する対象画像として、前記着目対象画像とした対象画像を分類し、前記探索手段が、前記着目対象画像と所定のレベル以上マッチする、当該画像フレームの時間的に直前の画像フレームの対象画像を探索できなかった場合に、前記着目対象画像とした対象画像を、当該画像フレームから新たに動体動画中に登場した精子に対応する対象画像として分類する対象画像分類手段と、前記対象画像分類手段の対象画像の分類数より、運動している精子数を算出し、前記対象画像分類手段が同じ精子に対応する対象画像として分類した各画像フレームの対象画像の挙動に基づいて、当該対象画像に対応する精子の挙動を解析する運動精子解析手段とを備えるようにして良い。
【００１３】
【発明の実施の形態】
以下、本発明の実施形態について、精子の挙動解析への適用を例にとり説明する。
図１に本実施形態に係る画像解析装置の構成を示す。
図示するように、画像解析装置は、入力画像メモリ１、２値化処理部２、２値化画像メモリ３、静止オブジェクト画像生成部４、静止オブジェクト画像メモリ５、静止オブジェクトラベリング処理部６、静止オブジェクト解析部７、運動オブジェクト画像生成部８、運動オブジェクト画像メモリ９、運動オブジェクトラベリング処理部１０、運動オブジェクト解析部１１、運動表示画像生成部１２、運動表示画像メモリ１３、結果表示部１４とを有する。
【００１４】
ただし、本解析装置は、ハードウエア的には、ＣＰＵや主記憶やハードディスク装置等の外部記憶装置やキーボードやポインティングデバイスなどの入力装置や表示装置や動画入力デバイスを備えた、一般的な構成を有するコンピュータであってよく、この場合、以上の各部は、ＣＰＵが主記憶に外部記憶装置からロードされたプログラムを実行することにより電子計算機上に具現化されるプロセスや記憶領域として実現される。また、この場合において、以上のプログラムは、たとえばＣＤ−ＲＯＭなどの可搬型の記憶媒体や、通信媒体から、コンピュータに提供され外部記憶装置等に記憶されるものであってよい。
【００１５】
以下、本画像解析装置の動作について説明する。
まず、入力画像メモリ１には別途カメラにて撮影された精子の動画像が格納される。図２ａに、その一画像フレームを示すように、この動画像には多数の精子２１が含まれている。そして、通常精子は運動しているが、一部の精子は静止している場合もある。
【００１６】
２値化処理部２は、入力画像メモリ１に格納された動画像の各画像フレームの各画素を白黒に２値化することにより、２値化画像フレームＦ  １〜Ｆ  ｌａｓｔにより構成される動画像を２値化画像メモリ３に格納する。ここで、各２値化画像フレームにおいて精子部分は白に、その他の背景部分は黒に２値化されている。
【００１７】
次に、静止オブジェクト画像生成部４は、２値化画像メモリ３に格納されるた２値化画像の動画像より、静止した精子のみが含まれる静止オブジェクト画像Ｆ  ｓｔを生成し、静止オブジェクト画像メモリ５に格納する。
図３ａに示すように、静止オブジェクト画像Ｆ  ｓｔの生成は、静止画オブジェクト画像の各画素の値を、当該画素と同位置にある、２値化画像メモリ３に格納されている複数の２値化画像フレームＦ  １〜Ｆ  ｌａｓｔの画素の内、最も値が小さい画素の値とすることにより行う。
【００１８】
すなわち、静止画オブジェクト画像Ｆ  ｓｔのある位置の画素の値は、その位置の画素の値が黒である２値化画像フレームが複数の２値化画像フレームＦ  １〜Ｆ  ｌａｓｔの内に一つでも存在する場合には黒となり、その位置の画素の値が黒である２値化画像フレームが一つも存在しない場合にのみ白となる。ここで静止している精子が写っている画素は、全ての２値化画像フレームＦ  １〜Ｆ  ｌａｓｔにおいて白となり、運動している精子が写っている画素の位置は各２値化画像フレームＦ  １〜Ｆ  ｌａｓｔにおいて異なったものとなる。
【００１９】
したがって、以上の処理により、静止した精子のみが白画素によって表現された静止オブジェクト画像Ｆ  ｓｔを生成することができる。
次に、静止オブジェクトラベリング処理部６は、静止オブジェクト画像Ｆ  ｓｔ中に存在する白領域（白画素の連続領域）を求める。そして、静止オブジェクト解析部７は、抽出された白領域の数（静止している精子の数）などを算出する。
【００２０】
一方、運動オブジェクト画像生成部８は、図３ｂに示すように、２値化画像メモリ３に格納されている各２値化画像フレームＦ  １〜Ｆ  ｌａｓｔの各々から、静止オブジェクト画像メモリ５に格納された静止オブジェクト画像Ｆ  ｓｔを減算して動画オブジェクト画像フレームＦｄｙ  １〜Ｆｄｙ  ｌａｓｔを生成することにより、動画オブジェクト画像フレームＦｄｙ  １〜Ｆｄｙ  ｌａｓｔから成る動画である運動オブジェクト画像を生成し、運動オブジェクト画像メモリ９に格納する。ここで画像間の減算は、２値化画像フレームＦ  ｉの画素と静止オブジェクト画像Ｆ  ｓｔの同位置にある画素が共に白のとき減算後の動画オブジェクト画像フレームＦｄｙ  ｉの同位置の画素が黒、２値化画像フレームＦ  ｉの画素と静止オブジェクト画像Ｆ  ｓｔの同位置にある画素が共に黒のとき減算後の動画オブジェクト画像フレームＦｄｙ  ｉの同位置の画素が黒、２値化画像フレームＦ  ｉの画素が白で静止オブジェクト画像Ｆ  ｓｔの同位置にある画素が黒のとき減算後の動画オブジェクト画像フレームＦｄｙ  ｉの同位置の画素が白、２値化画像フレームＦ  ｉの画素が黒で静止オブジェクト画像Ｆ  ｓｔの同位置にある画素が白のとき減算後の動画オブジェクト画像フレームＦｄｙ  ｉの同位置の画素が黒となるように行う。
【００２１】
結果、動画オブジェクト画像フレームＦｄｙ  ｉとしては、２値化画像フレームＦ  ｉから、静止している精子が黒く塗りつぶされた２値画像が得られ、動画オブジェクト画像フレームＦｄｙ  １〜Ｆｄｙ  ｌａｓｔから成る動画は運動している精子のみが表れた動画となる。
【００２２】
次に、運動オブジェクトラベリング処理部１０の処理について説明する。
図４に、運動オブジェクトラベリング処理部１０が行う運動オブジェクトラベリング処理の手順を示す。
図示するように、この処理では、まず、運動オブジェクト画像メモリ９に格納された動画オブジェクト画像フレームＦｄｙ  １〜Ｆｄｙ  ｌａｓｔのそれぞれについて、その画像フレーム中に存在する白領域（白画素の連続領域）と、その白領域の重心座標を算出し、各領域に固有の仮ラベルを付与する（ステップ４１）。そして、動画オブジェクト画像フレームＦｄｙ  １〜Ｆｄｙ  ｌａｓｔのそれぞれについて、図５に示すようなオブジェクトテーブルを作成し、ｉ番目のオブジェクトテーブルに対応する動画オブジェクト画像フレームＦｄｙ  ｉに対して算出した白領域の重心座標を登録すると共に、当該重心座標に対して与えた仮ラベルをラベルとして記述する。
【００２３】
そして、次に、動画オブジェクト画像フレームＦｄｙ  １のオブジェクトテーブルに登録されているラベルを、オブジェクトテーブル登録順に１からシーケンシャルに１づつ増加する値をとる本ラベルに書き換える（ステップ４２）。但し、仮ラベル付与の際に１からシーケンシャルに１づつ増加する値を仮ラベルとして既に与えている場合は、このステップは行う必要がない。
【００２４】
次に、第２番目の動画オブジェクト画像フレームＦｄｙ  ２から最後の動画オブジェクト画像フレームＦｄｙ  ｌａｓｔについて順次（ステップ４３、５１、５２）、以下の処理を行う。
すなわち、いま処理を行っている動画オブジェクト画像フレームをＦｄｙ  ｉとし、動画オブジェクト画像フレームＦｄｙ  ｉのオブジェクトテーブルに登録されているラベル数がｏｂｍａｘとして、動画オブジェクト画像フレームＦｄｙ  ｉに対応するオブジェクトテーブルに登録されている１〜ｏｂｍａｘの各重心座標に対して（ステップ４４、４９、５０）、動画オブジェクト画像フレームＦｄｙ  ｉの当該重心座標を算出した白領域と最もマッチする、時間的に一つ前の動画オブジェクト画像フレームＦｄｙ  ｉ−１の白領域を探索する（ステップ４５）。そして、探索が成功した場合には、両重心座標が同一の精子に対するものと推定されるので、探索した白領域のうち最も良くマッチした白領域の重心座標に対して動画オブジェクト画像フレームＦｄｙ  ｉ−１のオブジェクトテーブルに記述されているラベルの値に、動画オブジェクト画像フレームＦｄｙ  ｉのオブジェクトテーブルの当該重心座標のラベルを書き換えることにより両重心座標を同一精子に対するものとして関係づける（ステップ４７）。一方、探索が失敗した場合には、その重心座標が動画中に新たに視野外から登場した精子に対するものと推定されるので、動画オブジェクト画像フレームＦｄｙ  ｉのオブジェクトテーブルの当該重心座標のラベルの値を、本ラベルとして使用していない最小の番号を有する本ラベルに書き換える（ステップ４８）。
【００２５】
ここで、このステップ４６〜４８の処理は、より詳細には次のように行う。
すなわち、図６ａに示すように、まず、動画オブジェクト画像フレームがＦｄｙ  ｉの処理対象の重心座標６１を中心とする所定の第１探索領域６２を設定する。そして、一つ前の動画オブジェクト画像フレームがＦｄｙ  ｉ−１の第１探索領域内６３に重心座標が一つしか存在しない場合には、存在した重心座標６４に対して動画オブジェクト画像フレームＦｄｙ  ｉ−１のオブジェクトテーブルに記述されているラベルの値に、動画オブジェクト画像フレームＦｄｙ  ｉのオブジェクトテーブルの処理対象の重心座標６１のラベルを書き換える。
【００２６】
一方、図６ｂに示すように、動画オブジェクト画像フレームがＦｄｙ  ｉ−１の第１探索領域内６３に重心座標が複数存在するか一つも存在しない場合には、第１探索領域６２を広げた第２探索領域６４を設定し、動画オブジェクト画像フレームがＦｄｙ  ｉの処理対象の重心座標を求めた白領域６６の形状と所定レベル以上マッチする白領域を、動画オブジェクト画像フレームＦｄｙ  ｉ−１の第２探索領域内６５で、周知のパターンマッチングの手法により探索する。ここで、このようなパターンマッチングに必要となる白領域の形状についての情報は、その重心座標と共にオブジェクトテーブルに登録しておくようにするのが良い。
【００２７】
そして、所定レベル以上マッチする白領域が存在したならば、最も良くマッチした白領域６７の重心座標に対して動画オブジェクト画像フレームＦｄｙ  ｉ−１のオブジェクトテーブルに記述されているラベルの値に、動画オブジェクト画像フレームＦｄｙ  ｉのオブジェクトテーブルの処理対象の重心座標６１のラベルを書き換える。
【００２８】
そして、もし、図６ｃに示すように、動画オブジェクト画像フレームＦｄｙ  ｉ−１の第２探索領域６５内に、所定レベル以上マッチする白領域が存在しなかった場合には、動画オブジェクト画像フレームＦｄｙ  ｉのオブジェクトテーブルの当該重心座標６１のラベルを本ラベルとして使用していない最小の番号を有する本ラベルに書き換える。
【００２９】
さて、このようにして運動オブジェクトラベリング処理部１０の処理が終了したならば、運動オブジェクト解析部１１は、動画オブジェクト画像フレームＦｄｙ  １〜Ｆｄｙ  ｌａｓｔのそれぞれについて作成されたオブジェクトテーブルを参照して、各オブジェクトテーブル登録のラベル数の平均数から運動している精子の数を算出したり、各オブジェクトテーブルに同じ値のラベルで登録されている重心座標の、時間的に隣接する動画オブジェクト画像フレーム間の変位の平均距離から運動している精子の平均運動速度を算出するなどの、運動している精子についての挙動の解析を行う。
【００３０】
そして、運動表示画像生成部１２は、入力画像メモリ１中のカメラで撮影した動画の各画像フレームに、当該画像フレームに対するオブジェクトテーブルに格納されている各重心座標の現在（当該画像フレーム時刻）までの軌跡を描画した運動画像表示画像を生成し、運動表示画像メモリ１３に格納する。ここで、重心座標の軌跡は、処理対象の画像フレームのオブジェクトテーブルに当該重心座標に対して登録されているラベルと同じ値を持つラベルに対して、処理対象の画像フレームより時刻的に前の各画像フレームのオブジェクトテーブルに登録されている重心座標を、時間を遡る方向に辿ることにより求めることができる。また、この重心座標軌跡は、複数の色の内からラベルの値毎に順次選択した１色を用いて描画するようにするのが、識別性を高める上で望ましい。
【００３１】
さて、結果表示部１４は、たとえば、図２ｂに示すように、運動表示画像メモリ１３に格納された運動表示画像運より構成される動画２２と共に、静止オブジェクト解析部７が求めた静止している精子数２４や、運動オブジェクト解析部１１が求めた運動している精子数２５や、これら精子数より求まる総精子数２３や、各精子数の割合２４／２５や、運動オブジェクト解析部１１が求めた平均運動速度２６等を表示する。
【００３２】
以上、本発明の実施形態について説明した。
本実施形態によれば、動画中に映された各精子毎の、当該精子に対応する白領域の追尾を、順次各画像フレームについて、その画像フレーム中から抽出した白領域に対応する白領域が、時間的に直前の画像フレームから抽出した白領域のいずれに対応するかを探索し、探索した白領域のラベルを当該白領域のラベルとして継承させるることにより行う。そして、探索が失敗した場合には、画像フレーム中から抽出した白領域が、当該画像フレームから新たに動画中に登場した精子に対応する白領域であると見なして、新たなラベルを与え、当該画像フレームの時刻以降における追尾の対象に加える。
【００３３】
したがって、精子の追尾処理において、視野外から視野中に移動してきたために動画像途中の画像フレームから登場するようになった精子物の認識も行うことができるため、これらの処理を効率的に行うことができるようになる。
なお、以上では精子の挙動解析への適用を例にとり説明したが、本実施形態は、たとえば、微生物等の任意の生体の挙動解析の他、非生物である粒子体の挙動解析など、各種対象の挙動解析に同様に適用することができる。
【００３４】
【発明の効果】
以上のように、本発明によれば、複数の対象物を撮影した動画像に対して、動体である対象物の挙動をより効率的に認識することのできる画像解析装置を提供することができる。また、本発明は、対象物が静止体として動画像中に動体である対象物と共に含まれることもある場合にも、良好に両者を弁別して認識することのできる画像解析装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像解析装置の構成を示すブロック図である。
【図２】本発明の実施形態に係る画像解析装置の入力画像と結果出力の例を示す図である。
【図３】本発明の実施形態に係る静止オブジェクト画像と運動オブジェクト画像の生成法を示す図である。
【図４】本発明の実施形態に係る運動オブジェクトラベリング処理の手順を示すフローチャートである。
【図５】本発明の実施形態に係るオブジェクトテーブルを示す図である。
【図６】本発明の実施形態に係る運動オブジェクト画像間で対応する白領域を探索する方法を示す図である。
【符号の説明】
１：入力画像メモリ、２：２値化処理部、３：２値化画像メモリ、４：静止オブジェクト画像生成部、５：静止オブジェクト画像メモリ、６：静止オブジェクトラベリング処理部、７：静止オブジェクト解析部、８：運動オブジェクト画像生成部、９：運動オブジェクト画像メモリ、１０：運動オブジェクトラベリング処理部、１１：運動オブジェクト解析部、１２：運動表示画像生成部、１３：運動表示画像メモリ、１４：結果表示部。
【図１】
2005031734.tif 000003
【図２】
2005031734.tif 000004
【図３】
2005031734.tif 000005
【図４】
2005031734.tif 000006
【図５】
2005031734.tif 000007
【図６】
2005031734.tif 000008