(57)【要約】      （修正有）【課題】  物体の追跡方法および装置を提供する。【解決手段】  連続して入力された画像のうち現行のフレームから物体が位置する領域のセグメントを分割し、セグメントについての所定測定情報を得るステップと、セグメントを中心に複数の探索領域を決定し、探索領域で前のフレームの測定情報を基にして現行のフレームでセグメントのパラメータを予測するステップと、予測したパラメータから所定探索領域を部分探索候補領域として選択するステップと、セグメントについてのビジュアルキューを測定するステップと、部分探索候補領域でビジュアルキューおよび予測したパラメータを基にして現行のフレームについてのセグメントのパラメータを推定し、推定したパラメータのうち最も大きい値を有するパラメータを前記セグメントのパラメータとして決定するステップと、を含むことを特徴とする物体の追跡方法。【選択図】      図２Ａ
2005235222.tif 000002
【特許請求の範囲】
【請求項１】
連続して入力された画像のうち現行のフレームから物体が位置する領域のセグメントを分割し、前記セグメントについての所定測定情報を得るステップと、
前記セグメントを中心に複数の探索領域を決定し、前記探索領域で前のフレームの測定情報を基にして現行のフレームで前記セグメントのパラメータを予測するステップと、
前記予測したパラメータから所定探索領域を部分探索候補領域として選択するステップと、
前記セグメントについてのビジュアルキューを測定するステップと、
前記部分探索候補領域で前記ビジュアルキューおよび前記予測したパラメータを基にして現行のフレームについての前記セグメントのパラメータを推定し、前記推定したパラメータのうち最も大きい値を有するパラメータを前記セグメントのパラメータとして決定するステップと、
を含むことを特徴とする物体の追跡方法。
【請求項２】
前記探索領域は、前記セグメントを中心にした、前記画像を入力する手段の幾何学から決定される大きさの楕円を、複数の方向に区分した領域であることを特徴とする請求項１に記載の物体の追跡方法。
【請求項３】
前記セグメントについての所定測定情報は、前記セグメントで何れか１方向の直線に沿って測定された画像の深さ情報を平均した値であることを特徴とする請求項１に記載の物体の追跡方法。
【請求項４】
ｋ番目フレームの深さ情報がＤkであり、前記セグメントのパラメータがｘkと表されれば、前記予測は以下の式のような事前確率ｐ（ｘk｜Ｄk-1）
【数１】
2005235222.tif 000012
（
2005235222.tif 000013
は、現行のフレームで物体について部分的に得られた深さ情報）で表すことを特徴とする請求項３に記載の物体の追跡方法。
【請求項５】
2005235222.tif 000014
は以下の式
【数２】
2005235222.tif 000015
（ここで、ｙ0depthは、基準セグメントの１次元深さマップによる深さ情報、ｙkdepthは、ｋ番目のフレームでｘk-1の周辺についての深さマップによる深さ情報）のように計算されることを特徴とする請求項４に記載の物体の追跡方法。
【請求項６】
前記物体が現行のフレームで始めて登場した新しい物体ならば、前記セグメントの初期位置ｘ0を中心とする前記探索領域でＮ個の位置をサンプリングし、前記ｘ0についての事前確率ｐ（ｘ0）を１／Ｎと決定することを特徴とする請求項５に記載の物体の追跡方法。
【請求項７】
前記新しい物体のＩＤと、前記セグメントについての深さ情報およびカラー情報と、を含む画像情報を、データベースに保存して初期化するステップをさらに含むことを特徴とする請求項６に記載の物体の追跡方法。
【請求項８】
前記新しい物体であるかどうかの判別は、
前記画像情報を求めるステップと、
前記画像情報を前記データベースに保存された値と比較して、略同じ値がなければ、新しい物体と判別するステップと、
を含むことを特徴とする請求項７に記載の物体の追跡方法。
【請求項９】
前記初期化するステップは、
前記新しい物体のＩＤと、前記画像情報と、前記セグメントの中心位置およびスケールと、を含む情報を保存することを特徴とする請求項７に記載の物体の追跡方法。
【請求項１０】
前記部分探索候補領域は、前記予測したパラメータが所定値以上である領域であるか、または前記予測したパラメータが大きい順に所定の数が含まれる領域であることを特徴とする請求項１に記載の物体の追跡方法。
【請求項１１】
前記ビジュアルキューは、
前記セグメントについて測定されるカラーヒストグラム、平均深さ情報、動き情報および輪郭情報についての確率のうち少なくとも１つを含むことを特徴とする請求項１に記載の物体の追跡方法。
【請求項１２】
前記推定されたパラメータは、
前のフレームで前記物体について測定された深さ情報について、現行のフレームにおけるカラーヒストグラム、平均深さ情報、動き情報および輪郭情報のうち少なくとも１つを含んで測定する確率により正規化されることを特徴とする請求項１１に記載の物体の追跡方法。
【請求項１３】
前記セグメントをマスキングするステップと、
前記画像でマスキングされたセグメント以外の地域を探索して他の物体を探すステップと、
他の物体があれば、前記領域のセグメントを分割するステップから前記他の物体を探すステップまでを反復実行するステップと、
をさらに含むことを特徴とする請求項１に記載の物体の追跡方法。
【請求項１４】
前記画像に現れたすべての物体について前記マスキングするステップを行ったならば、前記物体についての情報を保存するデータベースを参照して、前記データベースに保存された物体のうち前記画像に現れていない物体を探し、前記物体を前記データベースから削除するステップをさらに含むことを特徴とする請求項１３に記載の物体の追跡方法。
【請求項１５】
画像が連続して入力される画像入力部と、
前記画像で物体が位置する領域のセグメントを検出して分割し、前記セグメントについての所定測定情報を得る画像分割部と、
前記セグメントを中心に複数の探索領域を決定し、前記探索領域で前のフレームの測定情報を基にして現行のフレームで前記セグメントのパラメータを予測する予測部と、
前記セグメントについての平均深さ情報、カラー情報、動き情報および輪郭情報についての確率のうち少なくとも１つを含むビジュアルキューを測定するビジュアルキュー測定部と、
前記予測部の予測結果から、所定探索領域を部分探索候補領域として選択し、前記部分探索候補領域で前記ビジュアルキューおよび前記予測したパラメータを基にして現行のフレームについての前記セグメントのパラメータを推定し、前記推定したパラメータのうち最も大きい値を有するパラメータを前記セグメントのパラメータとして決定する追跡部と、
を含むことを特徴とする物体の追跡装置。
【請求項１６】
前記予測部は、前記セグメントを中心に前記画像入力部の幾何学から決定される大きさの楕円を複数の方向に区分した領域を、前記探索領域として選択する機能を含むことを特徴とする請求項１５に記載の物体の追跡装置。
【請求項１７】
前記画像分割部は、前記セグメントでいずれか１方向の直線に沿って測定された画像の深さ情報を平均した値を、前記セグメントの測定情報として得る機能を含むことを特徴とする請求項１６に記載の物体の追跡装置。
【請求項１８】
前記予測部は、
ｋ番目フレームの深さ情報がＤkであり、前記セグメントのパラメータがｘkと表現されれば、以下の式のような事前確率ｐ（ｘk｜Ｄk-1）
【数３】
2005235222.tif 000016
（
2005235222.tif 000017
は、現行のフレームで物体について部分的に得られた深さ情報）によって前記パラメータを予測する機能を含むことを特徴とする、請求項１７に記載の物体の追跡装置。
【請求項１９】
2005235222.tif 000018
を以下の式
【数４】
2005235222.tif 000019
（ここで、ｙ0depthは、基準セグメントの１次元深さマップによる深さ情報、ｙkdepthは、ｋ番目のフレームでｘk-1の周辺についての深さマップによる深さ情報）によって求める機能を含むことを特徴とする、請求項１８に記載の物体の追跡装置。
【請求項２０】
データベースと、
前記物体が新しい物体ならば、前記セグメントから深さ情報およびカラー情報を前記新しい物体のＩＤと共に前記データベースに保存し、前記セグメントのパラメータを初期化する初期化部とを
さらに含むことを特徴とする、請求項１５に記載の物体の追跡装置。
【請求項２１】
前記追跡部は、前記セグメントのパラメータを決定した場合、前記セグメントを前記画像の地域と区別するようにマスキングするマスクをさらに含むことを特徴とする、請求項２０に記載の物体の追跡装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は物体の追跡方法およびその装置に関し、より詳細にはステレオ画像を利用して動く物体を追跡する方法およびその装置に関する。
【背景技術】
【０００２】
コンピュータビジョンを利用して人間の行動を分析する分野は数十年間研究されており、その研究結果は画像監視、コンテンツベースの画像サービス、バーチャルリアリテイ、顧客関係の管理、生物測定学および知能型インターフェースなどに応用されている。近年、シニアや個人のセキュリティなどの社会的な要求、スマートホームまたはユービキタスコンピューティングなどの新たなコンピューティング環境などにより、人間の行動についての画像分析研究がさらに活発になりつつある。
【０００３】
様々な人間についてのビジュアル追跡は、人間分析において基本的な要素である。ビジュアル追跡は、様々な人間または彼ら身体の一部分についての動きの軌跡を提供し、人間の行動分析についての主要入力要素となる。
【０００４】
人間を物体として追跡することは、カメラの構成によっていろいろな分野からアプローチできる。近年には、いろいろな観察結果を確率的な骨組み（probabilistic framework）で融合できるという効率性のため、確率的追跡接近方法が注目されている。確率的追跡接近方法は、決定論的探索方法と確率論的探索方法の２つに大別できる。
【０００５】
決定論的探索方法は、物体の追跡が速いという特徴があり、動きをガウス関数でモデリングする場合に適用できる。
確率論的探索方法は、画像の背景に複雑な散乱がある時に、動きを非ガウス関数で拡張したものである。確率論的探索方法には粒子フィルタが使われる。粒子フィルタは複雑な解釈的な計算をせず、モンテカルロシミュレーションに基づいて非線形、非ガウスシステムで状態推定に適した骨組みを提供するので、人間の身体を追跡するのに適している。
【０００６】
しかし、粒子フィルタは、高次元の状態空間をサンプリングするに当って非現実的に多い粒子、すなわち、ランダムサンプルまたは関心変数を必要とする。もし粒子数が少ない場合、状態空間でのサンプリング空白のために追跡失敗を回復し難くなるという問題点が発生する。また、粒子フィルタは正確なモデル初期化を必要とするが、これは手動で行わなければならず、現実的に応用し難い。また、粒子フィルタを利用した確率論的探索方法は、粒子数および個別問題に合せられたモデリングを良好に取り扱わねば、探索が非常に遅くなるという問題がある。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明が解決しようとする技術的課題は、１次元の決定論的探索を用いて物体が移動する地域の候補数を減少させ、候補について２次元の確率論的探索で物体の位置およびスケールを推定する、複数の物体に対する追跡方法およびその装置を提供することにある。
【課題を解決するための手段】
【０００８】
前記技術的課題を解決するための本発明の物体の追跡方法は、連続して入力された画像のうち現行のフレームから物体が位置する領域のセグメントを分割し、前記セグメントについての所定測定情報を得るステップと、前記セグメントを中心に複数の探索領域を決定し、前記探索領域で前のフレームの測定情報を基にして現行のフレームで前記セグメントのパラメータを予測するステップと、前記予測したパラメータから所定探索領域を部分探索候補領域として選択するステップと、前記セグメントについてのビジュアルキューを測定するステップと、前記部分探索候補領域で前記ビジュアルキューおよび前記予測したパラメータを基にして現行のフレームについての前記セグメントのパラメータを推定し、前記推定したパラメータのうち最も大きい値を有するパラメータを前記セグメントのパラメータとして決定するステップと、を含むことを特徴とする。
【０００９】
前記技術的課題を解決するための本発明の物体の追跡装置は、画像が連続して入力される画像入力部と、前記画像で物体が位置する領域のセグメントを検出して分割し、前記セグメントについての所定測定情報を得る画像分割部と、前記セグメントを中心に複数の探索領域を決定し、前記探索領域で前のフレームの測定情報を基にして現行のフレームで前記セグメントのパラメータを予測する予測部と、前記セグメントについての平均深さ情報、カラー情報、動き情報および輪郭情報についての確率のうち少なくとも１つを含むビジュアルキューを測定するビジュアルキュー測定部と、前記予測部の予測結果から、所定探索領域を部分探索候補領域として選択し、前記部分探索候補領域で前記ビジュアルキューおよび前記予測したパラメータを基にして現行のフレームについての前記セグメントのパラメータを推定し、前記推定したパラメータのうち最も大きい値を有するパラメータを前記セグメントのパラメータとして決定する追跡部と、を含むことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、画像を物体の位置するセグメントに分割し、分割されたセグメントを基に決定論的探索を行って探索候補領域および粒子数を決定し、探索候補領域について確率論的探索方法を利用してビジュアルキューを推定し、推定した値を基にしてセグメントの位置およびスケールを更新することによってさらに正確な物体の追跡が可能となる。またサポートマスクを使用することによって他の物体を追跡する場合、マスキングされたセグメントを除外することによって速い探索およびさらに正確な追跡が可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、添付された図面を参照して本発明の１実施形態をより詳細に説明する。
図１は、本発明による物体の追跡装置についてのブロック図である。該物体の追跡装置は、画像入力部１０、画像分割部１１、初期化部１２、データベース１３、ビジュアルキュー測定部１４、予測部１５および追跡部１６から構成されている。
【００１２】
この構成による動作を図２のフローチャートを参照して説明する。図２は、本発明の１実施形態による物体の追跡方法についてのフローチャートである。
【００１３】
画像入力部１０には、２台のカメラを利用して一定の時間毎にステレオ画像が入力される（２０ステップ）。２台のカメラは、図３Ａに示すように、目標場所の上部に設置されて上から下に向かう視野（トップダウンビュー）を有する。図３Ｂは、物体のトップダウンビューを概略的に示したものであり、人間の場合、参照番号３−２のように楕円状に頭と肩部分とを図示できる。参照番号３−１は、固定された物体である。
【００１４】
画像分割部１１は、入力されたステレオ画像で物体を検出し、画像から検出した部分を分割する（２１ステップ）。物体の検出は、既存の任意の物体検出方法でなされ、ステレオ画像での深さを利用して深さの変化パターンまたは変化範囲を参照してなされることもある。ここで、深さは、カメラから物体までの距離をいう。例えば、深さのパターンが肩−頭−肩のパターンに沿って凹凸状に現れるならば、物体が人間であると検出することもできる。分割は、画像で人間の頭と肩部分についてなされるが、この部分は、人間の動きについてのトップダウンビューで動きがほとんどない部分である。
【００１５】
初期化部１２は、データベース１３を参照して検出された物体が新たな物体であるかどうかを判別し（２２ステップ）、新たな物体ならば（２２ステップで「はい」）データベース１３に新たな物体のＩＤおよび関連情報を保存して（２３ステップ）、初期化する（２４ステップ）。ここで、物体の関連情報は分割された部分、すなわちセグメントについての深さ情報ｙ0depthおよびカラー情報ｙ0colorを含む。深さ情報は１次元深さマップであって、図４に示すように、セグメント４１でいずれか１方向の直線４２に沿って測定された深さを平均した値をいう。カラー情報は、分割された部分４１に含まれたカラーヒストグラムをいう。
【００１６】
初期化部１２は、検出された物体の深さおよびカラー情報が前記データベース１３に保存された値と略同一であるかどうかを判別し、略同一でなければ、検出された物体を新たな物体と判別する。セグメント４１は、四角形の幅と高さとの平均の自乗で正規化される。したがって、物体が画像から分割された時、回転変化に不変であり、かつセグメントのスケールに敏感でないと見なすことができる。すなわち、非対称分割であっても好ましく動作する。
【００１７】
追跡のために初期状態で、セグメント４１の中心位置（ｘ0，ｙ0）およびスケールはｘ0＝｛ｘ0，ｙ0，１．０｝のように保存される。ここで、ｘ0，ｙ0はセグメントの中心に対するｘ、ｙの位置を表し、スケールは初期セグメントの幅と長さを基準としてその値を１．０と指定する。以下で、位置およびスケールを位置と略して記述する。
【００１８】
予測部１５は、前のフレームの測定値から、現行のフレームで粒子の位置についての事前確率を求めて物体の位置を予測する。予測部１５は、初期に初期化部１２により初期化される。基準セグメントについて初期位置ｘ0の周辺でＮ個の位置をサンプリングして粒子を生成し、ｘ0に物体が存在する確率をｐ（ｘ0）＝ｐ0と決める。この時、ｐ0は１／Ｎである。ここで、初期位置の周辺とは、初期位置を中心に所定範囲内で決まる領域であって、本実施形態では今後説明される探索楕円をいう。
【００１９】
粒子についての事前確率および今後説明される事後確率についての計算を粒子の伝播といい、一般的に伝播は物体の公知のまたは学習された動きの動力学によってモデリングされる。しかし、ノイズのある環境下では、前のフレームで物体についての観察は、次のフレームで物体の位置を予測するのに十分に正確ではない。さらに、物体が交差するか、または速く複雑に動く場合、複雑な動きについての動力学をモデリングするのは容易ではない。数人の研究者は数種類例を利用して動力学モデリングを学習させる研究を行ったが、コンピュータなどの装置があらゆる可能な状況を学習するということは容易でないだけでなく時間のかかる作業である。
【００２０】
したがって、本発明の１実施形態では、先ず回転／スケールにある程度不変の特徴を有する１次元の決定論的探索を行う。
【００２１】
決定論的探索のために、まず、図５に示すように（ｋ−１）番目のフレームで推定された物体の位置を中心とする探索楕円を決定し、決定した楕円で１２方向の位置をそれぞれ選定する（２５ステップ）。１次元決定論的探索は、物体５０の位置を追跡するように探索ライン５１を通じて行われる。次いで、１２方向の探索ライン５１について事前確率を求める（２６ステップ）。探索楕円の大きさは、カメラの高さによるカメラの幾何学により決定され得る。
本実施形態による決定論的探索では事前確率として、前述したような１次元深さマップを利用した深さ確率を用いる。深さ確率は次の式のように表すことができる。
【００２２】
【数５】
2005235222.tif 000003
式中、ｐ（ｘk｜Ｄk-1）は、（ｋ−１）番目フレームで測定された物体の深さ情報から予測されるｋ番目のフレームで物体の位置を表す深さ確率、ｐ（ｘk｜ｘk-1）は、フレームの変化による位置変化確率、ｐ（ｘk-1｜Ｄk-1）は、（ｋ−１）番目のフレームの物体の位置ｘk-1で深さ情報Ｄk-1が測定される確率である。
2005235222.tif 000004
は、現行のフレームで物体について部分的に得られた深さ情報を表す。
【００２３】
2005235222.tif 000005
は、以下の式のように基準深さマップ、すなわち該当する物体が最初に画面に現れた時のセグメント、すなわち基準セグメントの１次元深さマップによる深さ情報であるｙ0depthと、ｋ番目のフレームでｘk-1の周辺についての１次元深さマップとの相関の平均で計算され得る。
【００２４】
【数６】
2005235222.tif 000006
ここで、Ｔは転置である。
【００２５】
予測部１５は、数式１で深さ確率が所定値以上の位置、あるいは深さ確率の大きい順に所定数だけ選択した位置を探索候補として選択する。例えば、図５の参照番号５２で示した位置が探索候補として選択される。追跡部１６は選択された探索候補について、粒子数を決定し、決定した粒子数だけ粒子を生成する（２７ステップ）。粒子数は深さ確率から計算できる。すなわち、最大粒子数Ｎを、深さ確率から以下の式のように得られる比ｒを乗算することによって得られる。
【００２６】
【数７】
2005235222.tif 000007
式中、
2005235222.tif 000008
は（ｋ−１）番目のフレームで該当する物体についての探索楕円の中心である。
【００２７】
物理的に、ｒは深さ確率を反映した深さ分布での粒子の位置分散と、一定の分布下での位置分散との比で決定される。すなわち、１次元探索により粒子をさらに局部的に位置させることにより、一定の分布を考慮する場合より必要な粒子数が少なくなる。
【００２８】
ビジュアルキュー測定部１４は、予測による物体の位置推定のためにセグメントについてのビジュアルキューを測定する（２８ステップ）。ここで、ビジュアルキューは物体についての平均深さ情報、カラー情報、動き情報または輪郭情報を含み、より正確にはｋフレームの物体の位置ｘkについて各情報を持つ確率をいう。この時、確率は、各セグメントが有するスケールにより正規化された値を意味する。
【００２９】
平均深さ確率ｐ（ｙk，depth｜ｘk）は、ｋ番目のフレームで測定された深さと、初期セグメントでの基準深さとの差を平均した値で計算される。動き確率ｐ（ｙk，motion｜ｘk）は、画像のピクセル分散について観察されたピクセルと背景画像の基準ピクセルとの距離を平均した値で計算される。カラー確率ｐ（ｙk，color｜ｘk）は、カラーヒストグラムが適用され得る。輪郭確率ｐ（ｙk，shape｜ｘk）は、セグメント４１について２次微分演算を行って得た物体の輪郭情報と、データベース１３に保存された該当物体の輪郭情報との類似度を求めることにより得られる。
【００３０】
図６Ａないし６Ｃは、複数の粒子について物体のセグメントから得た各確率の例を示したものであり、それぞれ深さ確率、カラー確率、動き確率を表し、図６Ｄは、図６ＡないしＣの確率をすべて乗算した結果を示したものである。例えば、図６Ｄで最も高い値に該当する粒子の位置に現行のフレームで物体が位置する確率が最も高いといえる。
【００３１】
追跡部１６は、ビジュアルキュー測定部１４から出力される平均深さ確率、動き確率、輪郭確率およびカラー確率のうち何れか１つ以上またはすべてを利用して、各粒子についてｋ番目フレームでの位置およびスケールについての事後確率ｐ（ｘk｜Ｄk）を以下の式で計算する（２９ステップ）。
【００３２】
【数８】
2005235222.tif 000009
ここで、ｐ（ｙk｜Ｄk-1）は、（ｋ−１）番目のフレームの深さ情報についてｋ番目のフレームでの各測定値の確率であり、事後確率についての正規化のためのものである。
【００３３】
各探索候補に属する粒子について、数式４によって物体の位置およびスケールが更新されれば、更新された確率のうち最も大きい値に該当する位置およびスケールが物体の現行のフレームで物体の位置およびスケールとなり、これは次のフレームで前のフレームの物体の位置およびスケールとなる（３０ステップ）。
【００３４】
物体の位置およびスケールが更新されれば、物体についてマスキング過程がさらに行われうる（３１ステップ）。マスキングは、トップダウンビューから物体を追跡する間に物体が同時に同じ位置を占有しないので、追跡対象の物体が他の物体により覆われる場合がないという点に着目して現在追跡中の物体をマスキングすることをいう。
【００３５】
したがって、他の物体により占有された地域をサポートマスクと命名した２進マスクを利用してマスキングする。その過程は、まず、画像と同じ大きさのマップを１と設定する。追跡対象の物体および該当物体により占有されたと推定される地域を０とマスキングする。次の物体を追跡する場合、マスキングされた地域は考慮対象から除外する。但し、単１物体を追跡する間に推定誤差を許容するために物体間の小さな重畳は許容することもある。図７は、深さ画像に重畳されたサポートマスクの例を示したものである。図７Ａは、トップダウンビューの深さ画像を表し、図７ＢないしＤは、それぞれ追跡される第１、第２、第３の物体をそれぞれマスキングした結果を示したものである。
【００３６】
現在追跡中の物体についてマスキングが完了すれば、現行のフレームのすべての物体についての追跡が完了したかどうかを点検して（３２ステップ）、他の物体がさらに残っていれば（ステップ３２で「いいえ」）、マスキングされた地域以外の他の地域の物体に移動して（３３ステップ）、２２ないし３１ステップを行う。すべての物体を処理したならば（ステップ３２で「はい」）、前のフレームと比較して画面外に移動した物体があるかどうかを点検し（３４ステップ）、該当する物体がある場合、データベースから削除する（３５ステップ）。
【００３７】
図８Ａは深さ画像を表し、図８Ｂは物体について追跡した軌跡を表したものである。図示するところによれば、複数の動く物体についても追跡が行われていることが分かる。
次の表は、本発明の１実施形態による実験結果を説明するものである。本実験で、カメラは底面から２．６ｍ離れた天井に設置され、５ｍ×４ｍサイズのビューを持つ。また、カメラは毎秒５フレームの画像を出力する。実験は、複数の人々が様々な速度で多方向に通り過ぎる単純な場合と、Ｕターン、一時停止、交差または物の同伴など複雑な場合とに分けて行われた。
【００３８】
表１は、１人、２〜３人または４人以上が画面で動く場合についての実験回数を表し、表２は、表１の各場合についての平均追跡成功率を表したものである。
【００３９】
【表１】
2005235222.tif 000010
【００４０】
【表２】
2005235222.tif 000011
【００４１】
表によれば、全体で平均８５％の成功率を得たことが分かる。
本発明は、また、コンピュータ可読記録媒体にコンピュータ可読コードとして実装することができる。コンピュータ可読記録媒体は、コンピュータシステムによって読み取られるデータが保存される任意の種類の記録装置を含む。コンピュータ可読記録媒体の例には、ＲＯＭ（read only memory）、ＲＡＭ（random access memory）、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光学式データ保存装置などがあり、また、キャリアウェーブ（例えば、インターネットを通じた伝送）の形で実装されるものも含む。また、コンピュータ可読記録媒体はネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータ可読コードが保存され実行され得る。そして、本発明を実現するための機能的なプログラム、コードおよびコードセグメントは、当業者により容易に推論され得る。
【産業上の利用可能性】
【００４２】
ロボットのようにコンピュータビジョンを利用して物体の位置を追跡することによって、本発明を画像監視、コンテンツベースの画像サービス、バーチャルリアリテイ、顧客関係の管理、生物測定学および知能型インターフェースなどに応用できる。
【図面の簡単な説明】
【００４３】
【図１】本発明の１実施形態による物体の追跡装置を示すブロック図である。
【図２Ａ】本発明の１実施形態による物体の追跡方法を示すフローチャートである。
【図２Ｂ】本発明の１実施形態による物体の追跡方法を示すフローチャートである。
【図３Ａ】物体の追跡のために特定場所にカメラが設置された態様を示す図である。
【図３Ｂ】図３Ａに示したカメラから出力される画像を概略的に示す図である。
【図４】図３Ａに示すカメラから得た画像から地域を分割し、該当地域で何れか１方向の直線に沿って１次元深さ情報を得る過程を概略的に示す図である。
【図５】決定論的探索のための探索ラインおよび楕円を示す図である。
【図６Ａ】複数の粒子について物体セグメントから得た深さ確率の例を示す図である。
【図６Ｂ】複数の粒子について物体セグメントから得たカラー確率の例を示す図である。
【図６Ｃ】複数の粒子について物体セグメントから得た動き確率の例を示す図である。
【図６Ｄ】複数の粒子について物体セグメントから得た全体確率の例を示す図である。
【図７Ａ】トップダウンビューで深さ画像を示す図である。
【図７Ｂ】追跡される第１の物体をマスキングした結果を示す図である。
【図７Ｃ】追跡される第１および第２の物体をそれぞれマスキングした結果を示す図である。
【図７Ｄ】追跡される第１、第２および第３の物体をそれぞれマスキングした結果を示す図である。
【図８Ａ】深さ画像を示す図である。
【図８Ｂ】物体について追跡された軌跡を示す図である。
【符号の説明】
【００４４】
１０    画像入力部
１１    画像分割部
１２    初期化部
１３    データベース
１４    ビジュアルキュー測定部
１５    予測部
１６    追跡部
【図１】
2005235222.tif 000020
【図２Ａ】
2005235222.tif 000021
【図２Ｂ】
2005235222.tif 000022
【図３Ａ】
2005235222.tif 000023
【図３Ｂ】
2005235222.tif 000024
【図５】
2005235222.tif 000025
【図６Ａ】
2005235222.tif 000026
【図６Ｂ】
2005235222.tif 000027
【図６Ｃ】
2005235222.tif 000028
【図６Ｄ】
2005235222.tif 000029
【図４】
2005235222.tif 000030
【図７Ａ】
2005235222.tif 000031
【図７Ｂ】
2005235222.tif 000032
【図７Ｃ】
2005235222.tif 000033
【図７Ｄ】
2005235222.tif 000034
【図８Ａ】
2005235222.tif 000035
【図８Ｂ】
2005235222.tif 000036