(57)【特許請求の範囲】
【請求項１】
動画像における動物体を追跡する動物体追跡方法であって、
前記動画像を複数のフレームに分割する分割ステップと、
第１番目の前記フレームを表示して、ユーザに追跡する前記動物体と背景とを指定させ、前記指定した動物体と背景とに基づいて、色特性モデル、輪郭特性モデル、および動き特性モデルからなる初期モデルと、背景値とを算出する初期設定ステップと、
第１番目の前記フレーム以降の１の前記フレームから前記背景値を用いて前記動物体の候補となる領域を検出し、その検出した各領域と前記色特性モデルとの面積比を演算し、その演算した面積比に基づいて、各前記候補毎に、前記候補と前記色特性モデルとの色特性に関する適合度を示す第１の適合確率を算出する色特性解析ステップと、
検出した各前記領域毎に、前記候補と前記輪郭特性モデルとの輪郭特性に関する適合度を示す第２の適合確率を算出する輪郭特性解析ステップと、
前記動き特性モデルから前記動物体の位置を予測し、検出した各前記候補毎に、前記候補と前記予測した位置との近さを示す第３の適合確率を算出する動き特性解析ステップと、
各前記候補毎に、前記第１の適合確率、前記第２の適合確率、および前記第３の適合確率を統合して統合確率を算出し、前記統合確率の値が最大の前記候補を追跡する前記動物体と決定する統合ステップと、
前記統合ステップにおいて決定された動物体の位置である動き特性モデルと、前記決定された動物体から前記背景値を用いて得られた２値化画像である色特性モデルと、前記決定された動物体の輪郭強調画像である輪郭特性モデルとからなる更新モデルを作成する更新ステップと、
第１番目の前記フレーム以降の前記フレームについて、順次、追跡する前記動物体を決定するための制御を行なう制御ステップとを備え、
前記制御ステップは、
前記初期モデルにより前記追跡する動物体を決定するように第２番目のフレームを制御するステップと、
前記更新モデルにより前記追跡する動物体を決定するように第３番目以降のフレームを制御するステップとを含む、動物体追跡方法。
【請求項２】
前記背景値とは、
前記ユーザが指定した前記背景を占める色の値であり、
前記色特性モデルとは、
前記フレームに対して、前記背景値を用いてフィルタ処理を施すことにより得られる前記動物体の２値化画像であり、
前記輪郭特性モデルとは、
前記動物体の中心位置を中心とする領域に対して、輪郭強調処理を施すことにより得られる前記動物体の輪郭強調画像であり、
前記動き特性モデルとは、
前記動物体の中心位置である、請求項１記載の動物体追跡方法。
【請求項３】
前記色特性解析ステップは、
前記フレームに対して、前記背景値を用いてフィルタ処理を施すことにより前記動物体の候補となる領域を得るステップと、
前記候補となる領域毎に、前記領域と前記色特性モデルとの面積比を求めて、前記面積比の大きいものから順に３つの前記領域を選択して前記候補とするステップと、
前記選択された３つの各前記候補毎に、前記面積比に基づき、前記第１の適合確率を算出するステップとを備える、請求項２記載の動物体追跡方法。
【請求項４】
前記輪郭特性解析ステップは、
各前記候補を中心とした領域に、輪郭強調処理を施すことにより、各前記候補の輪郭強調画像を得るステップと、
各前記輪郭強調画像と、前記輪郭特性モデルとのテンプレートマッチングを行なうステップと、
各前記候補毎に、前記テンプレートマッチングの結果に基づき、前記第２の適合確率を算出するステップとを備える、請求項２記載の動物体追跡方法。
【請求項５】
前記動き特性解析ステップは、
前記動き特性モデルを用いて、前記動物体が直線的に移動した場合の位置を予測するステップと、
前記予測された位置と、各前記候補との距離を算出するステップと、
各前記候補毎に、求めた前記距離に基づき、前記第３の適合確率を算出するステップとを備える、請求項２記載の動物体追跡方法。
【請求項６】
前記更新ステップは、
決定した前記動物体の位置を、前記動き特性モデルとして更新するステップと、
決定した前記動物体の前記統合確率が一定値以上であれば、決定した前記動物体の２値化画像を前記色特性モデルとし、かつ決定した前記動物体の輪郭強調画像を前記輪郭強調モデルとして更新するステップとを備える、請求項２記載の動物体追跡方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動物体追跡方法に関し、特に、形状の変化する非剛体を追跡することができる動物体追跡方法に関するものである。
【０００２】
【従来の技術】
従来より、連続画像の中の動物体を追跡する動物体追跡方法として、連続画像を一つに積み重ねた三次元画像（いわゆる時空間画像）を利用して動物体を追跡する方法がある。この方法は、Ｈ．Ｈ．Ｂａｋｅｒ  ａｎｄ  Ｔ．Ｄ．Ｇａｒｖｅｙ，”Ｍｏｔｉｏｎ  Ｔｒａｃｋｉｎｇ  ｏｎ  ｔｈｅ  Ｓｐａｔｉｏｔｅｍｐｏｒａｌ  Ｓｕｒｆａｃｅ”，Ｐｒｏｃ．［ＤＡＲＰＡ］  Ｉｍａｇｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ    Ｗｏｒｋｓｈｏｐ，ｐｐ．４５１〜４５７，Ｊａｎ．１９９２に詳しく記載されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、時空間画像を用いた従来の動物体追跡法では、形状が変化する非剛体物体を抽出することが難しく、さらに、形状の似通った複数の物体の中から、特定の物体を追跡することは困難であった。
【０００４】
これに対して、動画像を複数の連続した静止画面から構成されているとみなして、各静止画面を分散機能を用いて解析することにより動物体を追跡する動物体追跡方法が多く提案されている。
【０００５】
例えば、情報処理学会発行の「情報処理」Ｖｏｌ．２６，Ｎｏ．５，ｐｐ．８７７〜８８９，１９８５年の松山、ハングによる”画像理解システムＳＩＧＭＡ”にその内容が開示されている。
【０００６】
しかし、従来の分散機能を用いた動物体追跡方法は、動画像に応用した例は少ない。また、解析する動画像があまり精密でない場合（例えば、放送されたテレビの映像等）にあっては、動物体を追跡することは困難であると予想される。
【０００７】
そこで、本発明の目的は、上記の問題点を解決するためになされたものであり、似通った特徴をもつ複数の物体が存在する状態であっても、目的とする物体を追跡することが可能な動物体追跡方法を提供することである。
【０００８】
また、本発明のもう一つの目的は、追跡する動物体が形状の変化するものであっても、追跡することが可能な動物体追跡方法を提供することである。
【０００９】
さらに、本発明のもう一つの目的は、あまり精密でない動画像であっても上記目的を達成することが可能な動物体追跡方法を提供することである。
【００１０】
【課題を解決するための手段】
請求項１に係る動物体追跡方法は、動画像における動物体を追跡する動物体追跡方法であって、動画像を複数のフレームに分割する分割ステップと、第１番目のフレームを表示して、ユーザに追跡する動物体と背景とを指定させ、指定した動物体と背景とに基づいて、色特性モデル、輪郭特性モデル、および動き特性モデルと、背景値とを算出する初期設定ステップと、第１番目のフレーム以降の１のフレームから、背景値と、色特性モデルとを用いて動物体の候補を検出し、各候補毎に、候補と色特性モデルとの色特性に関する適合度を示す第１の適合確率を算出する色特性解析ステップと、検出した各候補毎に、候補と輪郭特性モデルとの輪郭特性に関する適合度を示す第２の適合確率を算出する輪郭特性解析ステップと、動き特性モデルから動物体の位置を予測し、検出した各候補毎に、候補と予測した位置との近さを示す第３の適合確率を算出する動き特性解析ステップと、各候補毎に、第１の適合確率、第２の適合確率、および第３の適合確率を統合して統合確率を算出し、統合確率の値が最大の候補を追跡する動物体と決定する統合ステップと、決定した動物体に基づき、色特性モデル、輪郭特性モデル、および動き特性モデルを更新する更新ステップと、第１番目のフレーム以降のフレームについて、順次、追跡する動物体を決定するための制御を行なう制御ステップとを備える。
【００１１】
請求項２に係る動物体追跡方法は、請求項１に係る動物体追跡方法であって、背景値とは、ユーザが指定した背景を占める色の値であり、色特性モデルとは、フレームに対して、背景値を用いてフィルタ処理を施すことにより得られる動物体の２値化画像であり、輪郭特性モデルとは、動物体の中心位置を中心とする領域に対して、輪郭強調処理を施すことにより得られる動物体の輪郭強調画像であり、動き特性モデルとは、動物体の中心位置である。
【００１２】
請求項３に係る動物体追跡方法は、請求項２に係る動物体追跡方法であって、色特性解析ステップは、フレームに対して、背景値を用いてフィルタ処理を施すことにより動物体の候補となる領域を得るステップと、候補となる領域毎に、領域と色特性モデルとの面積比を求めて、面積比の大きいものから順に３つの領域を選択して候補とするステップと、選択された３つの各候補毎に、面積比に基づき、第１の適合確率を算出するステップとを備える。
【００１３】
請求項４に係る動物体追跡方法は、請求項２に係る動物体追跡方法であって、輪郭特性解析ステップは、各候補を中心とした領域に、輪郭強調処理を施すことにより、各候補の輪郭強調画像を得るステップと、各輪郭強調画像と、輪郭特性モデルとのテンプレートマッチングを行なうステップと、各候補毎に、テンプレートマッチングの結果に基づき、第２の適合確率を算出するステップとを備える。
【００１４】
請求項５に係る動物体追跡方法は、請求項２に係る動物体追跡方法であって、動き特性解析ステップは、動き特性モデルを用いて、動物体が直線的に移動した場合の位置を予測するステップと、予測された位置と、各候補との距離を算出するステップと、各候補毎に、求めた距離に基づき、第３の適合確率を算出するステップとを備える。
【００１５】
請求項６に係る動物体追跡方法は、請求項２に係る動物体追跡方法であって、更新ステップは、決定した動物体の位置を、動き特性モデルとして更新するステップと、決定した動物体の統合確率が一定値以上であれば、決定した動物体の２値化画像を色特性モデルとし、かつ決定した動物体の輪郭強調画像を輪郭強調モデルとして更新するステップとを備える。
【００１６】
【発明の実施の形態】
［実施の形態１］
本発明は、動物体追跡方法に関し、複数の形状が変化する動物体の中から、特定の動物体を追跡することを可能とするものである。
【００１７】
図１は、本発明の実施の形態１における動物体追跡方法１００の全体の流れを示すフロー図である。図１を参照して、本発明の実施の形態１における動物体追跡方法１００についての概要を説明する。
【００１８】
ステップｓ１−１（前処理）では、連続画像を分割して、さらに各フレームの信号形式を変換する。ステップｓ１−２（画像入力部）では、解析するフレームを読み出す。読み出したフレームが第１番目のフレームである場合は、追跡する対象物体（動物体）を指定して、雛形となる初期モデルを生成する。ステップｓ１−３（解析部）では、モデルを用いて、フレームを３つのプロセスで解析（色特性解析部ステップｓ１−１０、輪郭特性解析部ステップｓ１−１１、動き特性解析部ステップｓ１−１２）する。解析結果として、追跡対象の候補と、その適合確率とを得る。ステップｓ１−４（情報統合部）では、候補別に、適合確率を統合した統合確率を算出し、その結果に基づき候補の中から追跡する対象物体を決定する。ステップｓ１−５（情報モデル判別更新部）では、決定した追跡対象物体に基づき、モデルの更新を行なう。ステップｓ１−６（表示部）では、結果をモニタ等に表示する。次のフレームが存在する場合（ステップｓ１−７）は、次のフレームについて、ステップｓ１−２〜ｓ１−６の処理を行ない、対象物体を追跡する。なお、本発明の実施の形態１の動物体追跡方法１００では、放送されたテレビ画面上の非剛体を追跡する。
【００１９】
図２は、本発明の実施の形態１における動物体追跡方法を実施するためのシステム１１０の概略的な基本構成の一例を示すブロック図である。図２を参照して、システム１１０は、キャプチャボード２、主制御部３、表示部６およびディスク装置４、５を備える。
【００２０】
キャプチャボード２は、テレビ（もしくはＶＴＲ）１、および主制御部３に接続されている。主制御部３には、表示部６、およびディスク装置４、５が接続されている。
【００２１】
キャプチャボード２を介して、テレビ（もしくはＶＴＲ）１から出力されるＮＴＳＣ信号を主制御部３に取り込む。表示部６は、モニタ等を含み、解析状況等を表示する。
【００２２】
主制御部３は、ＮＴＳＣ信号をｍｏｔｉｏｎ    ｊｐｅｇ形式の信号に変換する。変換されたｍｏｔｉｏｎ    ｊｐｅｇ形式の信号は、ディスク装置４に格納する。また、主制御部３は、ディスク装置４に格納されたｍｏｔｉｏｎ    ｊｐｅｇ形式の信号を読み出して、１秒間に３０のフレームに分割して、ＰＰＭ形式画像とする。ＰＰＭ形式画像は、ディスク装置５に格納する。この結果、テレビ（もしくはＶＴＲ）１から取り込んだ連続画像が、ｎフレームの静止画面（以下、フレームＧ（ｋ）と記す：ただしｋ＝１〜ｎ）に変換される。
【００２３】
さらに、主制御部３は、後述するように、ディスク装置５に格納されたＰＰＭ形式画像を解析して、動物体の追跡を行なう。
【００２４】
続いて、図１に示した各ステップについて詳細を説明する。
図１に示す前処理（ステップｓ１−１）では、解析する連続画像（すなわちテレビ映像）を複数の静止画像に分割する。具体的には、前述したように、主制御部３（図２）おいて、テレビ１（図２）から得た連続画像を、１秒間につき３０のフレームに分割し、ＰＰＭ形式画像を生成してディスク装置５（図２）に格納する。動物体追跡方法１００は、このディスク装置５に格納された静止画像を時系列の順に解析することによって、対象物体を追跡する。
【００２５】
続いて、図１に示す画像入力部（スッテプｓ１−２）の詳細について説明する。前述したように、画像入力部では、解析するフレームＧ（ｋ）をディスク装置５（図２）から読み出す。読み出したフレームが、第１番目のフレームＧ（１）である場合は、ユーザが指定した追跡対象物体に基づき、雛形となるモデル（初期モデル）を作成する。
【００２６】
図３は、本発明の実施の形態１における画像入力部の処理手順を示すフロー図である。図３を参照して、ステップｓ３−１では、解析するフレームＧ（ｋ）が、第１番目のフレームに当る（ｋ＝１）か否かを調べる。第１番目のフレームＧ（１）に該当する場合は、フレームＧ（１）を取り込み（ステップｓ３−２）、例えば、表示部６（図２）に表示する（ステップｓ３−３）。それ以外の場合には、ステップｓ３−８に移り、解析するフレームＧ（ｋ）を、ディスク装置５（図２）から読み出す。
【００２７】
ステップｓ３−３では、表示されたフレームＧ（１）に対して、ユーザが追跡する対象物体および背景画像を指定する。
【００２８】
図４は、本発明の実施の形態１における追跡対象物体および背景画像の指定方法について説明するための図である。図４は、フレームＧ（１）の表示画面であり、追跡対象物体の一例として非剛体である人物（ＭＡＮ）が表わされている。図４を参照して、ユーザは、図示しないマウス等を用いて、表示画面上の位置Ａ、Ｂ、Ｃを指定する。位置Ａ、Ｂは、追跡対象物体ＭＡＮに外接する長方形と中心位置Ｄとを決定する。位置Ｃは、背景画像を決定する。
【００２９】
図３を参照して、ステップｓ３−５〜ｓ３−７では、ユーザが指定した追跡対象物体ＭＡＮおよび背景画像に基づき、３種類の初期モデル（色特性モデル、輪郭特性モデル、および動き特性モデル）を作成する。
【００３０】
色特性モデルの作成処理（ステップｓ３−５）について説明する。色特性モデル作成処理では、背景画像の色のヒストグラムを用いて色特性モデル（初期モデル）を作成する。色に関する画像処理の方法については、Ｙ．Ｏｈｔａ，”Ａ
ｒｅｇｉｏｎ−ｏｒｉｅｎｔｅｄ    ｉｍａｇｅ    ａｎａｌｙｓｉｓ    ｓｙｓｔｅｍ  ｂｙ    ｃｏｍｐｕｔｅｒ”，Ｐｈ．Ｄ．ｔｈｅｓｉｓ，Ｋｙｏｔｏ    Ｕｎｉｖ．（１９８０）、およびＷ．Ｄｏｙｌｅ，”Ｏｐｅｒａｔｉｏｎｓ    ｕｓｅｆｕｌ    ｆｏｒ    ｓｉｍｉｌａｒｉｔｙ−ｉｎｖａｒｉａｎｔ    ｐａｔｔｅｒｎ
ｒｅｃｏｇｎｉｔｉｏｎ”，ＪＡＣＭ，９，ｐｐ．２５９〜２６７（１９６２）に詳しく記載されているので、ここではその概要を簡単に説明する。
【００３１】
図５は、本発明の実施の形態１における色特性モデル作成処理の処理手順を示すフロー図である。図５を参照して、ステップｓ５−１では、ユーザが指定した位置Ｃを中心とする領域の色を、（ｃｏｌｏｒｘ、ｃｏｌｏｒｙ）座標系の値に変換する。式（１）〜式（２）に変換式を示す。
【００３２】
ｃｏｌｏｒｘ＝（Ｒ＋Ｇ＋Ｂ）／３                    …（１）
ｃｏｌｏｒｙ＝（Ｒ−Ｂ）／２                            …（２）
ここで、（Ｒ、Ｇ、Ｂ）とは、位置Ｃを中心とする領域の３原色を示す。
【００３３】
ステップｓ５−２では、ステップｓ５−１で得られた値（ｃｏｌｏｒｘ、ｃｏｌｏｒｙ）を用いて、ｃｏｌｏｒｘについてのヒストグラム、およびｃｏｌｏｒｙについてのヒストグラムを作成する。
【００３４】
ステップｓ５−３では、２つのヒストグラムを用いて、背景値（Ｘｕｐ，Ｘｌｏｗ、Ｙｕｐ，Ｙｌｏｗ）を算出する。参考のため、図６に、背景画像における色のヒストグラムと背景値との関係を示す。図６（ａ）は、ｃｏｌｏｒｘについてのヒストグラムを、図６（ｂ）は、ｃｏｌｏｒｙについてのヒストグラムをそれぞれ表わしている。２つのヒストグラムの中心から正規分布９０％を占める上限、下限の値（Ｘｕｐ，Ｘｌｏｗ、Ｙｕｐ，Ｙｌｏｗ）を、背景値とする。背景値（Ｘｕｐ，Ｘｌｏｗ、Ｙｕｐ，Ｙｌｏｗ）は、後述するように、フレームＧ（ｋ）（ｋ＝１〜ｎ）から背景画像を切り出すためのパラメータとなる。
【００３５】
図５を参照して、ステップｓ５−４では、色特性モデルを作成する。具体的には、ステップｓ５−３で算出された背景値（Ｘｕｐ、Ｘｌｏｗ、Ｙｕｐ、Ｙｌｏｗ）を用いて、フレームＧ（１）から背景画像を切り出す。これにより得られる２値化画像を、色特性モデル（初期モデル）とする。
【００３６】
続いて、図３に示す輪郭特性モデルの作成処理（ステップｓ３−６）について説明する。輪郭特性モデル作成処理では、ユーザが指定した追跡対象物体ＭＡＮの中心位置（図４の位置Ｄ）を中心とする領域に対して輪郭強調作業を行ない、輪郭強調画像を作成する。作成された輪郭強調画像を、輪郭特性モデル（初期モデル）とする。
【００３７】
輪郭強調作業は、Ｒｏｂｅｒｔｓオペレータを用いて行なう。Ｒｏｂｅｒｔｓオペレータについては、Ｌ．Ｇ．Ｒｏｂｅｒｔｓ，”Ｍａｃｈｉｎｅ    ｐｅｒｃｅｐｔｉｏｎ    ｏｆ    ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ    ｓｏｌｉｄｓ”，Ｏｐｔｉｃａｌ    Ｅｌｅｃｔｏ−ｏｐｔｉｃａｌ    Ｐｒｏｃｅｓｓｉｎｇ    ｏｆＩｎｆｏｒｍａｔｉｏｎ，ＭＩＴ    Ｐｒｅｓｓ，ｐｐ．１５９〜１９７（１９６５）に詳しく説明されているので、ここではその説明は省略する。
【００３８】
続いて、図３に示す動き特性モデルの作成処理（ステップｓ３−７）について説明する。動き特性モデル作成処理では、ユーザが指定した追跡対象物体ＭＡＮの中心位置（図４の位置Ｄ）を、動き特性モデル（初期モデル）とする。
【００３９】
フレームＧ（１）に対して、ステップｓ３−５〜ｓ３−７を行なった後は、ステップｓ３−８に移り、解析するフレームＧ（２）をディスク装置５（図２）から読み出す。
【００４０】
続いて、図１に示す解析部（ステップｓ１−３）の詳細について説明する。解析部は、色特性解析部（ステップｓ１−１０）、輪郭特性解析部（ステップｓ１−１１）、および動き特性解析部（ステップｓ１−１２）を備える。
【００４１】
解析部では、モデル（色特性モデル、輪郭特性モデル、および動き特性モデル）を用いて、フレームＧ（ｋ）を解析する。ここで、第２番目のフレームＧ（２）は、図３で説明した初期モデルを用いて解析し、第３番目以降のフレームＧ（ｋ）（ｋ＞２）は、後述するように、情報モデル判別更新部（図１に示すステップｓ１−５）において得られるモデルを用いて解析する。
【００４２】
図１に示す色特性解析部（ステップｓ１−１０）の詳細について説明する。色特性解析部では、色特性モデルを用いてフレームＧ（ｋ）から追跡対象物体の候補を検出し、検出した候補に対して色特性に関する適合確率を算出する。
【００４３】
図７は、本発明の実施の形態１における色特性解析部の処理手順を示すフロー図である。図７を参照して、ステップｓ７−１では、背景値（Ｘｕｐ、Ｘｌｏｗ、Ｙｕｐ、Ｙｌｏｗ）を用いて、フレームＧ（ｋ）に色フィルタ処理を施す。これにより、フレームＧ（ｋ）から背景を抜き出し、追跡対象物体の候補となるべき複数の領域が、２値化画像として得られる。
【００４４】
ステップｓ７−２では、次に示す式（３）を用いて、候補となる各領域と色特性モデルとの面積比Ｐｃｏｌｏｒを算出する。
【００４５】
Ｐｃｏｌｏｒ＝ＡＲＥＡｃａｎｄ／ＡＲＥＡｍｏｄｅｌ                …（３）
ここで、ＡＲＥＡｍｏｄｅｌとは、色特性モデルの面積を示し、ＡＲＥＡｃａｎｄは、候補となる各領域の面積を示す。面積比Ｐｃｏｌｏｒの値が大きい候補ほど、色特性に関して色特性モデルとの適合度が高い。
【００４６】
面積比Ｐｃｏｌｏｒの値の大きい領域から順に３つの領域を検出して、追跡対象物体の候補とする。
【００４７】
ステップｓ７−３では、各候補について、色特性に関する適合確率を算出する。本実施例では、適合確率として式（３）をそのまま用いる（適合確率＝Ｐｃｏｌｏｒ）。適合確率Ｐｃｏｌｏｒは、候補と色特性モデルとの適合の度合を示している。
【００４８】
続いて、図１に示す輪郭特性解析部（ステップｓ１−１１）の詳細について説明する。輪郭特性解析部では、輪郭特性モデルを用いてフレームＧ（ｋ）を解析して、追跡対象物体の候補毎に、輪郭特性に関する適合確率を算出する。
【００４９】
図８は、本発明の実施の形態１における輪郭特性解析部の処理手順を示すフロー図である。図８を参照して、ステップｓ８−１では、前述した色特性解析部（図１のステップｓ１−１０）で得られる候補を中心とした領域に、Ｒｏｂｅｒｔｓオペレータを用いて輪郭強調処理を施す。候補は３つあるので、３つの輪郭強調画像を得る。
【００５０】
ステップｓ８−２では、ステップｓ８−１で得られた３つの輪郭強調画像のそれぞれと、輪郭特性モデルとのテンプレートマッチングを行う。テンプレートマチングの評価式を、式（４）に示す。
【００５１】
【数１】
0003552456.tif 000002
【００５２】
ここで、ｏｉｊは、輪郭特性モデルを構成する各ピクセル毎の階調を、ｍｉｊは、フレームＧ（ｋ）内の各ピクセルの階調を、Ｎ、Ｍは、テンプレートマッチングする領域をそれぞれ表わす。
【００５３】
ＳＳＤは、１ピクセルの階調度の違いを二乗した値を、テンプレートマッチングする範囲で足し合せた値である。ＳＳＤの値が小さいほど、輪郭特性モデルとの適合度が高いことを意味する。
【００５４】
１の輪郭強調画像に対して、輪郭特性モデルの位置を左右、上下に移動させてＳＳＤを算出する。ＳＳＤの値が最も小さい位置は、輪郭特性モデルと最も適合する（適合度が高い）位置である。一方、ＳＳＤの値が最も大きい位置は、輪郭特性モデルと最も適合度が低い位置である。
【００５５】
ステップｓ８−３では、各候補に対して、輪郭特性に関する適合確率Ｐｅｄｇｅを算出する。式（５）に、適合確率Ｐｅｄｇｅの算出式を示す。
【００５６】
Ｐｅｄｇｅ＝（ＳＳＤｍａｘ−ＳＳＤｍｉｎ）／ＳＳＤｍａｘ    …（５）
ここで、ＳＳＤｍｉｎとは、ＳＳＤの最も小さい値を、ＳＳＤｍａｘとは、ＳＳＤの値が最も大きい値を表わす。適合確率Ｐｅｄｇｅは、候補と輪郭特性モデルとの適合の度合を示している。
【００５７】
続いて、図１に示す動き特性解析部（ステップｓ１−１２）の詳細について説明する。動き特性解析部では、解析するフレームＧ（ｋ）での追跡対象物体の位置を予測（以下、予測位置と呼ぶ）して、予測位置と各候補との相関関係から、動き特性に関する適合確率を算出する。
【００５８】
図９は、本発明の実施の形態１における動き特性解析部の処理手順を示すフロー図である。図９を参照して、ステップｓ９−１では、フレームＧ（ｋ―１）とフレームＧ（ｋ―２）とを用いて、フレームＧ（ｋ）での追跡対象物体の予測位置（ＸＯ、ＹＯ）を算出する、予測位置ＸＯ、ＹＯは、式（６）〜式（７）を用いて算出する。
【００５９】
ＸＯ＝（Ｘ１−Ｘ２）＋Ｘ１            …（６）
ＹＯ＝（Ｙ１−Ｙ２）＋Ｙ１            …（７）
ここで、（Ｘ１、Ｙ１）とは、１フレーム前のフレームＧ（ｋ―１）での追跡対象物体の位置（動き特性モデル）を、（Ｘ２、Ｙ２）とは、２フレーム前のフレームＧ（ｋ−２）での追跡対象物体の位置（動き特性モデル）をそれぞれ表わす。予測位置（ＸＯ、ＹＯ）は、追跡対象物体が、フレームＧ（ｋ−２）、Ｇ（ｋ−１）から直線的に動くと仮定した場合の、フレームＧ（ｋ）での位置を表わす。
【００６０】
ステップｓ９−２では、色特性解析部（図１のステップｓ１−１０）で挙げられた各候補について、各候補の位置と予測位置（ＸＯ、ＹＯ）との距離ｄｉｓｔを算出する。式（８）に、距離ｄｉｓｔの算出式を示す。
【００６１】
【数２】
0003552456.tif 000003
【００６２】
ここで、（ＸＣ、ＹＣ）とは、色特性解析部（図１のステップｓ１−１０）で得られた各候補の位置を表わす。式（８）で得られる距離ｄｉｓｔは、予測位置（ＸＯ、ＹＯ）と、色特性解析部で得られた各候補との直線距離を表わす。
【００６３】
ステップｓ９−３では、距離ｄｉｓｔを用いて、各候補に対して、動き特性に関する適合確率Ｐｄｉｓｔを算出する。式（９）に、適合確率Ｐｄｉｓｔの算出式を示す。
【００６４】
Ｐｄｉｓｔ＝１／ｄｉｓｔ                                        …（９）
ここで、適合確率Ｐｄｉｓｔは、候補と予測位置との近さの度合を示している。
【００６５】
続いて、図１に示す情報統合部（ステップｓ１−４）についての詳細を説明する。情報統合部では、上記で説明した３つの解析プロセスで得られる適合確率を各候補別に統合し、統合確率の結果に基づき、候補の中の１つを、フレームＧ（ｋ）における追跡対象物体とする。
【００６６】
図１０は、本発明の実施の形態１における情報統合部の処理手順を示すフロー図である。図１０を参照して、ステップｓ１０−１では、３つの解析プロセスで得られた適合確率（合計９個）を正規化するために、適合確率を基本確率に変換する。基本確率への変換は、シグモイド関数曲線を用いて、式（１０）に従って行なう。
【００６７】
【数３】
0003552456.tif 000004
【００６８】
ここで、ｙは基本確率を、Ｃは正の定数を、ｘは代入する適合確率をそれぞれ表わす。ｘに適合確率（適合確率Ｐｃｏｌｏｒ、適合確率Ｐｅｄｇｅ、または適合確率Ｐｄｉｓｔ）を代入することによって、基本確率が算出される。各解析プロセスから３つの適合確率が出力されるので、基本確率への変換は９回行なう。
【００６９】
ステップｓ１０−２〜ｓ１０−３では、各候補別に、Ｄｅｍｐｓｔｅｒ＆Ｓｈａｆｅｒの統合式を用いて基本確率を統合する。
【００７０】
Ｄｅｍｐｓｔｅｒ＆Ｓｈａｆｅｒ統合式を用いた統合方法については、Ｓｈａｆｅｒ，Ｇ．，”Ａ    Ｍａｔｈｅｍａｔｉｃａｌ    Ｔｈｅｏｒｙ    ｏｆ    Ｅｖｉｄｅｎｃｅ”，Ｐｒｉｎｃｅｔｏｎ    Ｕｎｉｖｅｒｓｉｔｙ    Ｐｒｅｓｓ（１９７６）、もしくは情報処理学会発行の「情報処理」Ｖｏｌ．３４，Ｎｏ．１０，ｐｐ２０７１〜２０７４，１９９３年の大田による”トップダウン的画像理解における仮説の妥当評価に関する一考察”に詳しく説明されている。
【００７１】
Ｄｅｍｐｓｔｅｒ＆Ｓｈａｆｅｒの統合式は、可能性のある事象を要素とする集合を全体集合として定義する。基本確率の集合の要素選択の条件として、各要素が互いに排反でかつ、これらの要素が基本確率の集合を網羅していることが必要とされる。ここで、基本確率の集合θの部分集合に対して、基本確率ｍ：  Ｐ（θ）→［  ０、１］を割り当てる。式（１１）〜式（１２）に、条件式を示す。
【００７２】
【数４】
0003552456.tif 000005
【００７３】
ここで、Ａｉは、事象を、ｍ（Ａｉ）は、事象Ａｉの基本確率をそれぞれ表わしている。基本確率ｍ（Ａｉ）の総和は１であり、さらに空集合φに対する基本確率ｍ（φ）には０を割り当てる。
【００７４】
２つの基本確率を統合するＤｅｍｐｓｔｅｒ＆Ｓｈａｆｅｒの統合式を、（１３）  〜（１５）に示す。
【００７５】
【数５】
0003552456.tif 000006
【００７６】
ここで、Ｂｉ、Ｃｊは、事象を、ｍ１（Ｂｉ）  、ｍ２（Ｃｊ）  は、式（１１）〜式（１２）を満たす基本確率を、ｍ１、２（Ａｉ）  は、これらの統合確率をそれぞれ表わしている。ｉ、ｊは、候補を示し、１、２、３のいずれかの値をとる。
【００７７】
ステップｓ１０−２では、候補別に、Ｄｅｍｐｓｔｅｒ＆Ｓｈａｆｅｒの統合式（１３）  〜（１５）を用いて、色に関する基本確率と輪郭特性に関する基本確率とを統合する。
【００７８】
図１１は、Ｄｅｍｐｓｔｅｒ＆Ｓｈａｆｅｒの統合式を用いて統合確率を算出する手順を説明するための図である。具体的には、図１０に示すステップｓ１０−２では、候補別に、図１１のｍ１（Ｂｉ）に色特性に関する基本確率を、図１１のｍ２（Ｃｉ）に輪郭特性に関する基本確率をそれぞれ割り当てる。この結果、中間統合確率ｍ１、２（Ａｉ）  （ｉ＝１、２、３）が得られる。
【００７９】
続いて、図１０に示すステップｓ１０−３では、候補別に、Ｄｅｍｐｓｔｅｒ＆Ｓｈａｆｅｒの統合式（１３）  〜（１５）を用いて、中間統合確率と動き特性に関する基本確率とを統合する。具体的には、図１１のｍ１（Ｂｉ）  に図１０に示すステップｓ１０−２で得られた中間統合確率を、図１１のｍ２（Ｃｉ）に動き特性に関する基本確率をそれぞれ割り当てる。この結果、最終的な統合確率として、ｍ１、２（Ａｉ）（ｉ＝１  、２  、３）  が得られる。
【００８０】
図１０に示すステップｓ１０−４では、ステップｓ１０−３で求めた統合確率が最大である候補を選択する。選択された候補を、フレームＧ（ｋ）における追跡対象物体と決定する。
【００８１】
続いて、図１に示す情報モデル判別更新部（ステップｓ１−５）について説明する。情報モデル判別更新部では、情報統合部（図１のステップｓ１−４）において決定したフレームＧ（ｋ）における追跡対象物体に基づき、雛形となるモデルを更新する。
【００８２】
図１２は、本発明の実施の形態１における情報モデル判別更新部の処理手順を示すフロー図である。図１２を参照して、ステップｓ１２−１では、決定した追跡対象物体の位置を動き特性モデルとして更新する。ステップｓ１２−２では、決定した追跡対象物体の統合確率に基づき、色特性モデルおよび輪郭特性モデルの更新を行なうか否かを判別する。具体的には、統合確率がある閾値より大きい場合には、決定した追跡対象物体に基づき、色特性モデルおよび輪郭特性モデルを更新する（ステップｓ１２−３、ｓ１２−４）。
【００８３】
具体的には、ステップｓ１２−３では、決定した追跡対象物体の２値化画像を色特性モデルとする（更新する）。さらに、ステップｓ１２−４では、決定した追跡対象物体の輪郭強調画像を輪郭特性モデルとする（更新する）。
【００８４】
続くフレームＧ（ｋ＋１）は、これらのモデルを用いて解析する。
【００８５】
【発明の効果】
以上のように、本発明の動物体追跡方法では、複数の解析プロセスで得た結果を統合することにより、動画像の中に似通った特徴をもつ複数の物体が存在する状態であっても、目的とする動物体を追跡することが可能となる。
【００８６】
また、本発明の動物体追跡方法では、動画像を複数の画面に分割して、一画面毎に解析を行ない、かつ画面毎に雛形となるモデルを更新するので、形状が変化する動物体であっても追跡することが可能となる。
【００８７】
さらに、本発明の動物体追跡方法では、複数の解析プロセスで得た結果を統合することにより、あまり精密でない動画像であっても形状が変化する動物体を追跡することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における動物体追跡方法１００の全体の流れを示すフロー図である。
【図２】本発明の実施の形態１における動物体追跡方法を実施するためのシステム１１０の概略的な基本構成の一例を示すブロック図である。
【図３】本発明の実施の形態１における画像入力部の処理手順を示すフロー図である。
【図４】本発明の実施の形態１における追跡対象物体および背景画像の指定方法について説明するための図である。
【図５】本発明の実施の形態１における色特性モデル作成処理の処理手順を示すフロー図である。
【図６】本発明の実施の形態１の色特性モデル作成処理の背景画像における色のヒストグラムと背景値との関係を示す図である。
【図７】本発明の実施の形態１における色特性解析部の処理手順を示すフロー図である。
【図８】本発明の実施の形態１における輪郭特性解析部の処理手順を示すフロー図である。
【図９】本発明の実施の形態１における動き特性解析部の処理手順を示すフロー図である。
【図１０】本発明の実施の形態１における情報統合部の処理手順を示すフロー図である。
【図１１】Ｄｅｍｐｓｔｅｒ＆Ｓｈａｆｅｒの統合式を用いて統合確率を算出する手順を説明するための図である。
【図１２】本発明の実施の形態１における情報モデル判別更新部の処理手順を示すフロー図である。
【符号の説明】
１  テレビ
２  キャプチャボード
３  主制御部
４、５  ディスク装置
６  表示部
１１０  システム
【図１】
0003552456.tif 000007
【図２】
0003552456.tif 000008
【図３】
0003552456.tif 000009
【図４】
0003552456.tif 000010
【図５】
0003552456.tif 000011
【図６】
0003552456.tif 000012
【図７】
0003552456.tif 000013
【図８】
0003552456.tif 000014
【図９】
0003552456.tif 000015
【図１０】
0003552456.tif 000016
【図１１】
0003552456.tif 000017
【図１２】
0003552456.tif 000018