(57)【特許請求の範囲】
【請求項１】
画面上で対象物を追跡する相関追跡システムにおいて、
対象物の回転を含む変化する形状や表情などを表す、予めその変化を予測する複数のテンプレートと、
画面上で上記テンプレートの大きさの参照ブロック、およびその参照ブロックの周囲に所定の大きさの探索ブロックを設定する手段と、
探索ブロック内において上記参照ブロックをずらしながら複数のテンプレートを順次マッチングさせ、その一致度が最も大きくなる位置までの移動ベクトルを算出し、逐次当該位置を更新しつつ対象物を追跡する手段と、
この見つけたテンプレートに対応づけられたデータあるいは指令を出力する手段と
を備えたことを特徴とする相関追跡システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像上で対象物を追跡する相関追跡システムに関するものである。
【０００２】
【従来の技術】
従来、カメラによって撮影した画像上で相関演算によってテンプレートとの一致度を計算し、最も一致する場所へ参照ブロック（ウィンドウ）を移動させて追跡することが行われている。
【０００３】
【発明が解決しようとする課題】
上述した従来の単一のテンプレートとカメラで撮影した画像上で相関演算して最も一致度の大きい場所に参照ブロックを移動させて追跡していたため、形状が変化した対象物に対しては、誤差を最小とするように追跡できず、安定した追跡が困難であるという問題があった。
【０００４】
これを解決するために、特開昭５−２９５５９１号公報に記載されているように、上部に配置したカメラの画像から、走っている車を認識する際に、車の全体ではなく、特徴的な部分を複数個追跡して、ブロック毎の追跡ブロックの速度関係などから追跡の妥当性を評価し、安定な追跡を実現する技術がある。この技術では、形状が変化してしまう場合、テンプレートの更新処理を行って実現するものであり、追跡開始時点からすでに形状が変化したり、急激な形状変化している物体を追跡できないという問題がある。
【０００５】
本発明は、これらの問題を解決するため、参照ブロックの周囲に設けた探索ブロック内で参照ブロックの複数のテンプレートのうち最も一致度の大きい位置を探索し移動ベクトルや一致テンプレートに対応するデータ、指令を出力し、対象物の形状が急激に変化しても安定に精度良好に追跡することを目的としている。
【０００６】
【課題を解決するための手段】
図１を参照して課題を解決するための手段を説明する。
図１において、テンプレート１は、対象物の変化する形状あるいは対象物の人の異なる表情などを表す複数のテンプレートである。
【０００７】
マッチング手段２は、画像上の対象物と複数のテンプレート１とをマッチングして最も一致度が大きいテンプレートを見つけるものである。
次に、動作を説明する。
【０００８】
マッチング手段２が画像上で複数のテンプレート１について順次マッチングを行って最も一致度の大きいテンプレート１を見つけて当該テンプレート１の位置への移動ベクトルを逐次算出して更新し対象物を追跡するようにしている。
【０００９】
また、マッチング手段２が画像上で複数のテンプレート１について順次マッチングを行って最も一致度の大きいテンプレート１を見つけ、この見つけたテンプレート１に対応したデータあるいは指令などを計算機システムに出力させたりするようにしている。
【００１０】
この際、対象物の変化する形状を表す複数のテンプレート１が、手の形状が表す意味に対応づけた手の画像のテンプレート１とするようにしている。
また、対象物の変化する形状を表す複数のテンプレート１が、人の顔などの異なる表情に対応づけたテンプレート１とするようにしている。
【００１１】
従って、参照ブロックの周囲に設けた探索ブロック内で参照ブロックの複数のテンプレート１のうち最も一致度の大きいテンプレート１を算出して直前の位置から現在の位置への移動ベクトル５を求めたり、最も一致度の大きいテンプレート１に対応するデータ、指令あるいは表情を出力したりなどすることにより、対象物の形状が変化しても安定に精度良好に追跡することが可能となると共に、対象物の形状の変化に対応したデータ、指令、表情などを認識して出力することが可能となる。
【００１２】
【発明の実施の形態】
次に、図１から図５を用いて本発明の実施の形態および動作を順次詳細に説明する。
【００１３】
図１は、本発明の動作説明フローチャートを示す。
図１において、Ｓ１は、画像を取り込む。これは、ビデオカメラで対象物を撮影した画像を取り込む。
【００１４】
Ｓ２は、全画面を指定する。これは、Ｓ１で取り込んだ画像について、画面上に表示された全体について探索する旨を指定する。
Ｓ３は、テンプレートを１つ選択する。これは、対象物の形状や表情などを表す予め作成した複数のテンプレート１のうちから１つのテンプレートを選択する。
【００１５】
Ｓ４は、マッチングして一致度を算出する。これは、Ｓ２で指定した画面全体についてテンプレートを順次ずらしながらパターンマッチングを行い、一致度を算出する。
【００１６】
Ｓ５は、最も一致する位置と一致度を記憶する。
Ｓ６は、終わりか判別する。ＹＥＳの場合には、全てのテンプレートについてマッチングを終わったので、Ｓ７に進む。ＮＯの場合には、Ｓ３で次のテンプレートを取り出し、Ｓ４以降を繰り返す。
【００１７】
Ｓ７は、一致度が最も大きいテンプレートの位置から追跡を開始する。
以上のＳ１からＳ７の処理によって、取り込んだ画像について複数のテンプレート１のそれぞれについて最も一致する位置と一致度を算出し、そのうちの最も一致度が大きいテンプレート１を見つけることができたこととなる。
【００１８】
Ｓ８は、画像を取り込む。
Ｓ９は、探索ブロックを設定する。これは、後述する図２に示すように、Ｓ７で見つけた最も一致度の大きいテンプレート１の位置を追跡開始点とし、当該追跡開始点を中心に所定の大きさの探索ブロックを設定し、マッチングする領域を小さくする。
【００１９】
Ｓ１０は、テンプレートを１つ選択する。
Ｓ１１は、探索ブロック内で一致度が最も大きくなる位置を探す。これは、後述する図２に示すように、Ｓ９で設定した探索ブロック内でテンプレート１の大きさの参照ブロックを設けて順次移動させつつパターンマッチングを行い、最も一致度の大きい位置を探す。
【００２０】
Ｓ１２は、一致度と位置を記憶する。
Ｓ１３は、終わりか判別する。ＹＥＳの場合には、全てのテンプレート１についてマッチングを終わったので、Ｓ１４に進む。一方、ＮＯの場合には、Ｓ１０で次のテンプレート１を１つ取り出し、Ｓ１１以降を繰り返す。
【００２１】
Ｓ１４は、一致度の最も大きいテンプレートが示す位置へ参照ブロックを移動させる。これは、後述する図２に示すように、全てのテンプレート１についてマッチングを行い、最も一致度の大きいテンプレート１の位置に、参照ブロックを移動させ、このときの移動ベクトルを求める。
【００２２】
Ｓ１５は、終了指示ありか判別する。ＹＥＳの場合には、終了する。ＮＯの場合には、Ｓ８に戻り次の画像を取り込み、Ｓ９以降を繰り返す。
以上のＳ７からＳ１５によって、画像上で最も一致度の大きいテンプレートの位置を中心に所定大きさの探索ブロックを設定しこの探索ブロック内で取り込んだ画像について複数のテンプレート１をずらしながらマッチングを行い最も一致度の大きい位置および一致度を求め、これらのうちから最も一致度の大きいテンプレート１を見つこのテンプレート１への移動ベクトルを求めることを繰り返し、対象物を追跡する。これにより、対象物の形状が変化してもいずれかのテンプレート１に一致し、精度良好に追跡することが可能となる。
【００２３】
図２は、本発明の概念説明図を示す。
図２の（ａ）は、探索ブロック／参照ブロックを示す。
図２の（ａ−１）は直前のビデオフレームを示し、図２の（ａ−２）は現在のビデオフレームを示す。ここで、直前のビデオフレーム中の探索ブロック３は、最も一致度が大きいテンプレート１を中心に所定サイズのブロックであって、探索する領域を表す。参照ブロック４は、テンプレート１の大きさのブロックであって、当該参照ブロック４のテンプレート１について、探索ブロック３内を順次ずらしながら一致度を求め、最も大きい一致度を算出する。図示の最もマッチングが取れた参照ブロック４が算出できた場合、移動ベクトル５を図示のように、前回の最も一致度が大きいテンプレート１の参照ブロック４の中心位置から、今回の最も一致度が大きいテンプレート１の参照ブロック４の中心位置への移動ベクトル５として求める。
【００２４】
以上のように、直前のビデオフレームで最も一致度の大きいテンプレート１の中心位置から、現在のビデオフレームで最も一致度の大きいテンプレート１の中心位置までの移動ベクトル５を図示のように求めることにより、対象物が変化しても予め作成した複数のテンプレート１のいずれかに一致する限り、極めて精度良好に対象物を追跡することが可能となる。
【００２５】
図２の（ｂ）は、追跡対象物が変化する場合の様子を示す。
図２の（ｂ−１）は、直前のビデオフレームの参照ブロック４内に存在する対象物を示す。この直前のビデオフレームのときの対象物は、図２の（ｂ−２）の複数のテンプレート１のうちのテンプレート▲１▼との一致度が最も高いとして算出されたものである。
【００２６】
図２の（ｂ−２）は、テンプレート例を示す。ここでは、対象物の形状が、図示の▲１▼ないし▲４▼の４つのテンプレート１のいずれかに変わるので、図示のように４つのテンプレート１を予め登録したものである。
【００２７】
図２の（ｂ−３）は、現在のビデオフレームについて移動ベクトルを算出した様子を示す。ここで、右下の参照ブロック（直前）４は、図２の（ｂ−１）の直前の対象物の参照ブロック４であって、テンプレート▲１▼との一致度が最も大きい。一方、左上の参照ブロック（現在）４は、現在の対象物の参照ブロック４であって、テンプレート▲２▼との一致度が最も大きいとしてその位置および一致度が求められたものである。これにより、移動ベクトル５が参照ブロック（直前）４のテンプレート▲１▼でマッチングした中心位置から参照ブロック（現在）４のテンプレート▲２▼でマッチングした中心位置までの移動ベクトル５として算出されることとなる。
【００２８】
以上のように、直前のビデオフレームから現在のビデオフレームになったときに対象物と最も一致するテンプレート１がテンプレート▲１▼からテンプレート▲２▼に変化しても、本願発明では予め変化すると予想される形状のテンプレート１を登録しておき、急激に変化してもいずれかのテンプレート１に一致するものとして安定かつ精度良好に位置および移動距離（移動ベクトル）を追跡することが可能となる。
【００２９】
次に、図３のフローチャートに示す順序に従い、複数のテンプレートによるマッチング時の動作を詳細に説明する。
図３は、本発明のマッチングフローチャートを示す。
【００３０】
図３において、Ｓ２１は、ｎ＝１と初期設定する。
Ｓ２２は、ｎ番目のテンプレートを読み出す。
Ｓ２３は、テンプレートとマッチングし、一致度および移動ベクトルを算出する。これは、既述したように、テンプレートをずらしながら画像とのマッチングを行い、一致度を算出して最も大きい一致度の位置を求め、次に、直前の位置から現在の位置までの移動ベクトルを算出する。
【００３１】
Ｓ２４は、テンプレート番号と対応する一致度、移動ベクトルを格納して記憶する。
Ｓ２５は、登録されているテンプレートをすべて処理したか判別する。ＹＥＳの場合には、Ｓ２７に進む。ＮＯの場合には、Ｓ２６でｎ＝ｎ＋１して次のテンプレートについて、Ｓ２２以下を繰り返す。
【００３２】
以上のＳ２１からＳ２６の処理によって、複数のテンプレート毎に、直前の対象物の位置から、現在のテンプレートが最も一致した一致度およびこの一致した位置までの移動ベクトルをそれぞれ算出できたこととなる。
【００３３】
Ｓ２７は、一致度の最も大きいテンプレート番号と移動ベクトルを抽出する。
Ｓ２８は、抽出した移動ベクトルで参照ブロックの位置を更新する。
Ｓ２９は、マッチングしたテンプレートの意味を出力する。これは、Ｓ２７で抽出した一致度の最も大きいテンプレート番号に対応づけて予め登録されている情報を取り出す。。
【００３４】
Ｓ３０は、Ｓ２９で取り出した情報がデータか指令か判別する。指令の場合には、Ｓ３１で対応する処理を起動する。データの場合には、Ｓ３２でそのデータを出力する（例えば後述する複数のテンプレートのうち最も一致度が大きいテンプレートが後述する図４の▲１▼の場合には、対応づけて登録されている数字“０”を出力する）。
【００３５】
以上のＳ２７からＳ３２によって、複数のテンプレートのうち最も一致度の大きいテンプレートのテンプレート番号と移動ベクトルを抽出し、この移動ベクトルおよびテンプレート番号に対応するデータを出力したり、指令に応じた処理を起動したりなどすることが可能となる。
【００３６】
図４は、本発明の手形状の認識例を示す。
図４の（ａ）は直前のフレームを示し、図４の（ｂ）は現在のフレームを示す。ここで、直前の参照ブロック４内の対象物が手を開いた図４の（ｃ−１）のテンプレート▲６▼との一致度が最も大きく、現在の参照ブロック４内の対象物が２本の指を出した図４の（ｃ−１）のテンプレート▲３▼との一致度が最も大きい場合の例である。この場合には、参照ブロック（直前）４の最も一致度の大きいテンプレート▲６▼が、参照ブロック（現在）４の最も一致度の大きいテンプレート▲３▼として算出されるので、このときの移動ベクトル５は図示のように得られ、そのときのテンプレート番号▲３▼として得られることとなり、数字“２”を出力する（図３のＳ３２）。
【００３７】
図４の（ｃ）はテンプレート例を示す。
図４の（ｃ−１）は、テンプレートに対応づけて数字を登録した例を示す。ここでは、図示の形状のテンプレート▲１▼ないし▲８▼に対応づけて、数字“０”ないし“５”を登録している（尚、数字“５”については回転したイメージも登録している。この回転したイメージを登録しなくても、画面上でテンプレート１を回転させてマッチングを行うようにしてもよい）。
【００３８】
図４の（ｃ−２）は、テンプレートに対応づけて意味を登録した例を示す。ここでは、図示の形状のテンプレート▲９▼ないし(16)に対応づけて、意味“ｏｋ”、“ｇｏｏｄ”、“ｎｏ  ｇｏｏｄ”などを図示のように登録する。これにより、図示のテンプレート１のうちの最も一致度の大きいテンプレート番号に対応する意味が出力されることとなる。
【００３９】
図５は、本発明の表情の認識例を示す。
図５の（ａ）は、人の上半身の画像をカメラで撮影し、そのときの目の位置を検出して設定した参照ブロック（直前）４を示す。ここでは、図５の（ｂ）のテンプレート１のうちのテンプレート▲１▼に最も一致度が大きいとしてマッチングされる。
【００４０】
図５の（ｂ）は、テンプレートの例を示す。ここでは、人の目の形状の変化として、テンプレート▲１▼ないし▲４▼を予め登録する。
図５の（ｃ）は、目を閉じた状態の参照ブロック（現在）を示す。この場合には、図５の（ｂ）のテンプレート▲４▼と最も一致度が大きいとして算出されるので、このときのテンプレート▲４▼に対応づけて登録されている人の表情（例えば“目を閉じた状態”という表情、あるいは他の任意の表情）を出力することが可能となる。
【００４１】
図５の（ｄ）は、首を傾けた状態の参照ブロック（現在）を示す。この場合には、図５の（ｂ）のテンプレート▲２▼と最も一致度が大きいとして算出されるので、このときのテンプレート▲２▼に対応づけて登録されている人の表情（例えば“首を傾けた状態”という表情、あるいは他の任意の表情）を出力することが可能となる。
【００４２】
【発明の効果】
以上説明したように、本発明によれば、参照ブロック４の周囲に設けた探索ブロック３内で参照ブロック４の複数のテンプレート１のうち最も一致度の大きいテンプレート１を算出して直前の位置から現在の位置への移動ベクトル５を求めたり、最も一致度の大きいテンプレート１に対応するデータ、指令あるいは表情を出力したりなどする構成を採用しているため、対象物の形状が変化しても安定に精度良好に追跡することができると共に、対象物の形状の変化に対応したデータ、指令、表情などを認識して出力することができる。
【図面の簡単な説明】
【図１】本発明の動作説明フローチャートである。
【図２】本発明の概念説明図である。
【図３】本発明のマッチングフローチャートである。
【図４】本発明の手形状の認識例である。
【図５】本発明の表情の認識例である。
【符号の説明】
１：テンプレート
２：マッチング手段
３：探索ブロック
４：参照ブロック
５：移動ベクトル
【図１】
0003673578.tif 000002
【図２】
0003673578.tif 000003
【図３】
0003673578.tif 000004
【図４】
0003673578.tif 000005
【図５】
0003673578.tif 000006