(57)【要約】【課題】カメラ等により撮像された画像データ上の目標を追尾する技術に関し、エッジを用いることにより構造的な特徴を活かす利点を残しつつ、エッジの目標に対する位置の正確さを高めることができる相関追尾手法を提供することにある。【解決手段】画像フレーム毎に下記機能が実行される。機能１０１は、入力画像について、エッジとそのエッジ近傍の輝度情報とからなる入力処理画像１０５を算出する。機能１０２は、入力理画像上の目標領域を走査しながら、エッジとそのエッジ近傍の輝度情報とからなるレファレンス処理画像１０７との相関処理を実行する。機能１０３は、相関処理の結果得られる相関係数に基づいて相関度が最も高い点を入力画像上の目標の追尾点として抽出する。機能１０４は、目標追尾情報に基づきレファレンス画像を更新する。【選択図】図１
2009087238.tif 000002
【特許請求の範囲】
【請求項１】
画像追尾処理を実行するコンピュータに、
画像フレーム単位で、入力画像と該入力画像上の追尾目標を示すレファレンス画像のそれぞれについて、画素値に関するエッジ情報と該エッジ上又はエッジ近傍の多値情報とからなる入力処理画像及びレファレンス処理画像を算出する第１の機能と、
前記画像フレーム毎に、前記入力処理画像上の所定領域を走査しながら前記レファレンス処理画像との相関処理を実行する第２の機能と、
前記画像フレーム毎に、前記相関処理の結果得られる相関係数に基づいて前記入力画像上の目標の追尾を行う第３の機能と、
を実行させることを特徴とするプログラム。
【請求項２】
前記多値情報は輝度値情報または、色情報、彩度情報である、
ことを特徴とする請求項１に記載のプログラム。
【請求項３】
前記第３の機能は、前記フレーム毎に、前記相関処理の結果得られる相関係数において、相関度が最も高い点を追尾点として抽出することにより、前記入力画像上の目標の追尾を行う機能である、
ことを特徴とする請求項１又は２の何れか１項に記載のプログラム。
【請求項４】
前記第３の機能によって算出される前記目標の追尾に関する情報に基づいて、前記レファレンス画像を更新する第４の機能を更に実行させる、
ことを特徴とする請求項１乃至３の何れか１項に記載のプログラム。
【請求項５】
画像追尾処理を実行するための装置であって、
フレーム毎に、入力画像と該入力画像上の追尾目標を示すレファレンス画像のそれぞれについて、画素値に関するエッジ情報とそのエッジ上又はエッジ近傍の多値情報とからなる入力処理画像及びレファレンス処理画像を算出する第１の手段と、
前記フレーム毎に、前記入力処理画像上の所定領域を走査しながら前記レファレンス処理画像との相関処理を実行する第２の手段と、
前記フレーム毎に、前記相関処理の結果得られる相関係数に基づいて前記入力画像上の目標の追尾を行う第３の手段と、
を含むことを特徴とする画像追尾装置。
【請求項６】
画像追尾処理を実行するための方法であって、
フレーム毎に、入力画像と該入力画像上の追尾目標を示すレファレンス画像のそれぞれについて、画素値に関するエッジ情報とそのエッジ上又はエッジ近傍の多値情報とからなる入力処理画像及びレファレンス処理画像を算出する第１の過程と、
前記フレーム毎に、前記入力処理画像上の所定領域を走査しながら前記レファレンス処理画像との相関処理を実行する第２の過程と、
前記フレーム毎に、前記相関処理の結果得られる相関係数に基づいて前記入力画像上の目標の追尾を行う第３の過程と、
を含むことを特徴とする画像追尾方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ等により撮像された画像データ上の目標を追尾する技術に関する。
【背景技術】
【０００２】
可視カメラや赤外線カメラで撮影された画像をディジタル処理することにより目標を追尾する技術は、監視カメラにより侵入者を検出・追跡するセキュリティシステム、航空機搭載カメラにより目標を追尾する防衛用偵察・監視システム、自動車による通行人の検出・追尾システムなどに応用されている。
【０００３】
ディジタル画像処理による目標追尾では、カメラ等により撮像された画像データから目標領域が抽出され、その領域に含まれる画像上の目標が追尾目標とされる。そして、目標の移動やカメラが搭載されたプラットフォームの移動による、視野内での画像上の目標の動きに合わせて、目標を包含するゲート（矩形領域）や目標の中心を示すクロス・ヘア・マーク（十字線）が表示されることにより、監視者の注意が惹起させられる。或いは、目標を追尾し視野中心に目標をとどめるように、カメラの視軸を制御するための信号（追尾偏差）が算出される。
【０００４】
画像追尾装置は、画像データから目標領域を抽出し、抽出した領域内の目標位置を計算し、その追尾点をマーカ等で画面上に指示する動作、或いはカメラ視軸を制御して目標を画面中心に保持する動作を行う。
【０００５】
目標位置の計算方法としては、一般に、レファレンス画像との目標画像のマッチング位置を目標位置とする相関追尾手法、画像を２値化して抽出した目標の重心点を目標位置とする重心点追尾手法、輝度レベルの最高値を目標位置とするピーク点追尾手法等が知られている。
【０００６】
相関追尾手法においては、レファレンスの更新が課題となる。
追尾における相関処理では、レファレンス画像と同じ画像部分をサーチしながら目標位置を決定する場合に、画像全体ではなく、画像信号の更新レートに対応する移動量、変化量で決まる範囲のみが、サーチ範囲となる。このため、追尾の結果得られる目標位置の近傍領域に対してのみ相関処理が行われ、レファレンス画像と一致する画像部分が存在する位置（一致度が一番高い点）がサーチされる。このため、相関追尾手法では、基本的には、目標の変化は急激でないことが前提となる。
【０００７】
本発明の従来技術に関連して、下記の特許文献が公知例として存在する。
【特許文献１】特開平６−２８８６９８号公報
【特許文献２】特開平９−８０１４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
相関追尾手法において、追尾対象となる入力画像上の目標の大きさ、形や色、明るさなどの状態が変化せず一定であれば、入力画像上でレファレンス画像と常に一致する画像部分が存在するために、目標位置を正確に計算することができる。しかし、目標の状態が変化すると、入力画像上でレファレンス画像と一致する画像部分が無くなるため、目標の位置を正確に計算することができなくなる。ただし、多少の目標の変化には対応することができる。
【０００９】
そこで、従来、目標の変化に合わせてレファレンスを定期的に更新する手法が考えられる。しかし例えば、ゲート等で囲まれ目標だけでなく背景が含まれる目標領域のような、変化した目標シーンに対して、相関追尾が行われた場合、レファレンス画像との一致度が一番大きい画像部分の位置が目標位置として算出されるが、その位置は目標の一部分ではあるが目標全体や目標中心を正確に捉えたものではない。この追尾点に基づいてレファレンス画像が更新されてしまうと、次の追尾点計算では、この目標とずれたレファレンス画像との一致度が近い点が計算されることになる。このような更新が繰り返されるうちに、検出位置が目標から徐々にずれてゆき、最後には目標とは全く異なるシーンがレファレンス画像とされてしまうことがおこる、という問題点を有していた。
【００１０】
このように、レファレンスが正しく更新されるようにするためには、目標の位置を正しく特定することが必要である。
そのための従来技術として、目標の重心点を計算し、その計算された重心点を中心とする画像をレファレンスとする技術が考えられる。しかしそれでは、重心点追尾手法と変わらず、２値化による目標抽出が困難で重心点を算出できないような複雑なシーンに対しても追尾点算出が可能であるという相関追尾手法の特徴を生かすことができない、という問題点を有していた。
【００１１】
また、レファレンス画像と入力画像を共にエッジ画像に変換して相関追尾を行うことにより、目標の構造的な特徴をエッジ画像として抽出して目標位置を特定しやすくした手法が従来考案されている。この従来技術においては、目標は微小時間には急変しないという前提でレファレンス画像を素早く更新すれば、目標の構造的な大きさや形状が変化しても、エッジ構造の一致度から目標を特定することができる。そして、この従来技術では、エッジ画像を２値化することにより、目標の輝度や色の変化による影響を排除している。しかし、この従来技術は、目標の構造が単純である場合に有効であるが、エッジが輻輳するシーンや、背景のエッジ構造が複雑なシーンが対象とされる場合には、目標の特定が困難であり、背景と目標の区別を付けることができないという問題点を有していた。
【００１２】
例えば、図８（ａ）は、レファレンス画像とそれに対してエッジ抽出を行って得られるレファレンスエッジ画像の例である。また、図８（ｂ）は、目標領域における入力画像とそれに対してエッジ抽出を行って得られる入力エッジ画像の例である。図８（ｂ）の入力画像の例では、入力画像の輝度分布の変動により、入力エッジ画像において、２つのエッジが抽出されている。この場合に、図８（ａ）に示されるレファレンスエッジ画像の１つのエッジが、本来であれば図８（ｂ）に示される入力エッジ画像の左側のエッジにマッチしなければいけないにもかかわらず、右側のエッジにマッチしてしまうというような誤抽出が行われる可能性がある。
【課題を解決するための手段】
【００１３】
本発明の課題は、エッジを用いることにより構造的な特徴を活かす利点を残しつつ、エッジの目標に対する位置の正確さを高めることができる相関追尾手法を提供することにある。
【００１４】
本発明は、画像追尾処理を実行するコンピュータのプログラム、装置、又は方法として実現される。
まず、本発明の第１の機能は、画像フレーム単位で、入力画像とその入力画像上の追尾目標を示すレファレンス画像のそれぞれについて、画素値に関するエッジ情報と該エッジ上又はエッジ近傍の多値情報とからなる入力処理画像及びレファレンス処理画像を算出する。
【００１５】
本発明の第２の機能は、画像フレーム毎に、入力処理画像上の所定領域を走査しながら
レファレンス処理画像との相関処理を実行する。この多値情報は、例えば輝度値情報であるが、色情報や彩度情報等であってもよい。
【００１６】
本発明の第３の機能は、画像フレーム毎に、相関処理の結果得られる相関係数に基づいて入力画像上の目標の追尾を行う。この機能は、得られる相関係数において、相関度が最も高い点を追尾点として抽出するように構成することができる。
【００１７】
上記発明の構成に加えて更に、第３の機能によって算出される目標の追尾に関する情報に基づいて、レファレンス画像を更新する第４の機能を有するように構成することができる。
【発明の効果】
【００１８】
本発明によれば、エッジを用いることで構造的な特徴を活かす利点を残しつつ、エッジのみの追尾では同等のエッジ形状があった場合に区別がつかずどちらが目標かの判断ができないような場合であっても、エッジ上又はエッジ近傍の輝度情報等の多値情報を付随させて相関処理に用いることにより、エッジとその近傍の多値情報との総合判断に基づく目標に対する正確な追尾を実現することが可能となる。特に、障害物があるような場合における画像追尾性能の向上が実現できる。
【００１９】
また、エッジ上又はエッジ近傍の多値情報のみを相関計算に用い、それ以外の領域の情報はゼロとして相関計算に用いないことにより、高速な相関計算が可能となり、画像追尾システムの追尾性能と応答性能を同時にアップさせることが可能となる。
【００２０】
更に、上記相関計算の結果に基づいて、レファレンス画像が逐次更新されることによって、目標を継続的かつ正確に追尾することが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、図面を参照しながら、本発明を実施するための最良の形態を詳細に説明する。
本発明の実施形態では、エッジを用いることにより構造的な特徴を活かす利点を残しつつ、エッジ線の両側の輝度情報がエッジに付随して相関処理に用いられ、これにより得られた追尾点の画像がレファレンス画像の更新に用いられることにより、エッジの目標に対する位置の正確さを高めることができる。
【００２２】
本発明の第１の実施形態
図１は、本発明をプログラムとして実現した場合の第１の実施形態の構成図である。図１に示される各プログラム機能は、後述する図２に例示されるコンピュータによって実行される。
【００２３】
機能１０１として、入力画像データ１０５に対し、エッジ抽出画像に、エッジ近傍の輝度情報が付加される。入力画像データ１０５の縦方向と横方向に対して別々に、全ての処理が最後まで実行される。又は、入力画像データ１０５の縦方向と横方向に対し別々に、エッジ抽出処理が実行され近傍輝度が付加された後に、縦方向と横方向の各画像が合成される。
【００２４】
本発明においては、相関度算出のための目標自身の固有値としての構造と輝度が必要である。フレーム間差分によるエッジ（輪郭）抽出手法は、移動目標が抽出できるが、動きによるブレ量がエッジ幅を変動させるので適さない。そこで、本実施形態におけるエッジ抽出画像の生成においては、１フレーム内の画像に対する隣接画素同士のラプラシアン（微分画像＝隣の画素との差の絶対値）等が用いられる。ラプラシアン等により算出された隣接画素の差分画像に対して、大きい値の閾値が設定されてエッジが抽出されることにより、大きなエッジのみが抽出される。
【００２５】
エッジ近傍の輝度情報の付加においては、上述のようにして抽出されたエッジ画像の各エッジについて、縦、横の各方向に対して、エッジと垂直の方向に１画素から数画素の幅でエッジを太くする方向に、その領域内の各画素の輝度値が輝度情報として付加される。エッジがない領域では輝度情報を用いずその領域の輝度値は０とする。
【００２６】
機能１０２では、機能１０１にて生成された、入力画像の「エッジ＋エッジ近傍輝度抽出グレー画像」１０６が追尾対象画像とされる。そして、その画像１０６上で追尾目標近傍の目標領域が走査されながら、後述する機能１０４のレファレンス画像更新処理によって得られているレファレンス画像の「エッジ＋エッジ近傍輝度抽出グレー画像」１０７との相関処理（画像マッチング）が実行され、相関係数が算出される。
【００２７】
機能１０３では、機能１０２によって算出された相関係数のマップ上で、一致度が最大の点として目標位置が検出され、その目標位置に基づいてカメラの視軸の指向制御用の追尾誤差値が追尾点算出結果１０９として算出され、出力される。
【００２８】
機能１０４では、追尾点算出結果１０９に基づいて、入力画像の「エッジ＋エッジ近傍輝度抽出グレー画像」１０６のなかから最新の追尾点で示された目標位置の画像が、新たなレファレンス画像の「エッジ＋エッジ近傍輝度抽出グレー画像」１０７として更新されて、メモリに保持される。なお、この更新処理は、リカーシブに行われてもよい。リカーシブな更新方法としては、例えば、旧レファレンス画像に対して、更新されるべき新レファレンス画像が全て置き換えられるのではなく、重み付けをして新旧ともに重み付けの割合で足し合わせる方法を採用することができる。
発明の開示において、図８を用いて説明したように、エッジのみの追尾では同等のエッジ形状があった場合に区別がつかず、どちらのエッジが目標かの判断ができない。
【００２９】
一方、本実施形態のように、エッジの両側の輝度情報が付随していれば、エッジの形状は同等でも、輝度情報の相関一致度が高くなり、目標を正しく判断することができる。例えば、図２の（ａ）（レファレンス画像）及び（ｂ）（入力画像）に示されるように、図１の機能１０１によってエッジ両側の輝度が付加されると、レファレンス画像のエッジ２０１は、入力画像において、エッジ２０３ではなくエッジ２０２に相関マッチすることが理解できる。
【００３０】
エッジ上のみの輝度を保存する方式も本発明の範囲であり、一定の効果を得ることが可能であるが、その方式では、図３に示されるように、実際にはかなり輝度特性が異なるエッジでも類似のエッジ画像として抽出されてしまう可能性がある。本実施形態のように、エッジ両側の輝度が付加されることにより、それらが更に明確に区別されるようにエッジ画像を抽出することが可能となる。
【００３１】
また、エッジと輝度の組合せにより、目標が多少変化しても、目標又は目標の一部のエッジが存在する部分との相関が高まる度合いが高くなるため、本実施形態の方式で抽出された相関ピークを中心にレファレンス画像が更新されることにより、目標変化があっても目標を継続的に追尾する性能を高めることが可能となる。
【００３２】
なお、エッジ線の両側の輝度情報に限定するのは、エッジから離れた、エッジがなくて面積のある領域は輝度が一様であるので、その輝度情報は位置を特定することにあまり向かないためである。
【００３３】
図４は、図１に示されるプログラム機能を実現できるコンピュータのハードウェア構成の一例を示す図である。
図４に示されるコンピュータは、ＣＰＵ４０１、メモリ４０２、入力装置４０３、出力装置４０４、外部記憶装置４０５、可搬記録媒体４０９が挿入される可搬記録媒体駆動装置４０６、及びネットワーク接続装置４０７を有し、これらがバス４０８によって相互に接続された構成を有する。同図に示される構成は上記システムを実現できるコンピュータの一例であり、そのようなコンピュータはこの構成に限定されるものではない。
【００３４】
ＣＰＵ４０１は、当該コンピュータ全体の制御を行う。メモリ４０２は、プログラムの実行、データ更新等の際に、外部記憶装置４０５（或いは可搬記録媒体４０９）に記憶されているプログラム又はデータを一時的に格納するＲＡＭ等のメモリである。ＣＵＰ４０１は、プログラムをメモリ４０２に読み出して実行することにより、全体の制御を行う。
【００３５】
入力装置４０３は、例えば、キーボード、マウス等及びそれらのインタフェース制御装置とからなる。入力装置４０３は、ユーザによるキーボードやマウス等による入力操作を検出し、その検出結果をＣＰＵ４０１に通知する。
【００３６】
出力装置４０４は、表示装置、印刷装置等及びそれらのインタフェース制御装置とからなる。出力装置４０４は、ＣＰＵ４０１の制御によって送られてくるデータを表示装置や印刷装置に出力する。
【００３７】
外部記憶装置４０５は、例えばハードディスク記憶装置である。主に各種データやプログラムの保存に用いられる。
可搬記録媒体駆動装置４０６は、光ディスクやＳＤＲＡＭ、コンパクトフラッシュ（登録商標）等の可搬記録媒体４０９を収容するもので、外部記憶装置４０５の補助の役割を有する。
【００３８】
ネットワーク接続装置４０７は、例えばＬＡＮ（ローカルエリアネットワーク）又はＷＡＮ（ワイドエリアネットサーク）の通信回線を接続するための装置である。
本実施形態によるシステムは、図１に示される機能を実現するプログラムをＣＰＵ４０１が実行することで実現される。そのプログラムは、例えば外部記憶装置４０５や可搬記録媒体４０９に記録して配布してもよく、或いはネットワーク接続装置４０７によりネットワークから取得できるようにしてもよい。
【００３９】
本発明の第２の実施形態
図５は、本発明をハードウェアシステムとして実現した場合の第２の実施形態の構成図である。
【００４０】
本実施形態は、入力画像データ５１０を記憶する目標領域抽出画像メモリ５０１と、レファレンス画像データ５１１を記憶するレファレンス画像メモリ５０９と、レファレンス画像を更新するレファレンス更新回路５０８と、相関追尾処理を実行する演算プロセッサ５０２と、相関係数の計算結果をマップとして記憶する相関係数マップメモリ５０７とによって構成される。
【００４１】
演算プロセッサ５０２内のエッジ＋エッジ近傍輝度抽出グレー画像生成部５０３は、図１に示される本発明の第１の実施形態の機能１０１と同等の機能を実現する演算部で、目標領域抽出画像メモリ５０１から読み出される入力画像データ５１０と、レファレンス画像メモリ５０９から読み出されるレファレンス画像データ５１１のそれぞれに対して、エッジ抽出画像にエッジ近傍の輝度情報が付加された入力画像及びレファレンス画像の各「エッジ＋エッジ近傍輝度抽出グレー画像」を抽出する。
【００４２】
演算プロセッサ５０２内の相関処理部５０４、最大相関値検出部５０５、及び目標追尾点算出部５０６は、図６に示される動作フローチャートに対応する相関追尾処理を実行す
る。
【００４３】
まず、相関処理部５０４は、図１に示される本発明の第１の実施形態の機能１０２と同等の機能を実現する演算部で、画像フレーム毎に、以下の処理を実行する。
まず、相関処理部５０４は、レファレンス画像メモリ５０９からエッジ＋エッジ近傍輝度抽出グレー画像生成部５０３を介して、エッジ画像の「エッジ＋エッジ近傍輝度抽出グレー画像」（以下、「レファレンスグレー画像」と省略する）を取得する（図６のＳ６０１）。
【００４４】
次に、相関処理部５０４は、目標領域抽出画像メモリ５０１に対して領域指定５１２を指示することにより、目標領域抽出画像メモリ５０１からエッジ＋エッジ近傍輝度抽出グレー画像生成部５０３を介して、入力画像の追尾目標近傍の目標領域における「エッジ＋エッジ近傍輝度抽出グレー画像」（以下、目標領域グレー画像と省略する）を取得する（図６のＳ６０２）。
【００４５】
続いて、相関処理部５０４は、目標領域グレー画像の領域内を走査しながら、レファレンスグレー画像との相関処理計算を実行し、相関係数を算出する（図６のＳ６０３−＞Ｓ６０４−＞Ｓ６０３のループ処理）。
【００４６】
そして、相関処理部５０４は、上述の算出された各走査領域の相関係数を、相関係数マップとして相関係数マップメモリ５０７に記憶させる（図６のＳ６０５）。
演算プロセッサ５０２内の最大相関値検出部５０５及び目標追尾点算出部５０６は、図１に示される本発明の第１の実施形態の機能１０３と同等の機能を実現する演算部で、画像フレーム毎に、以下の処理を実行する。
【００４７】
すなわち、最大相関値検出部５０５が、相関係数マップメモリ５０７に記憶された相関係数マップ上で相関度が最も高い位置を検出し、その検出結果に基づいて、演算プロセッサ５０２内の目標追尾点算出部５０６が、入力画像上の目標追尾点５１３を算出し出力する（図６のＳ６０６）。
【００４８】
以上の目標追尾動作に同期して動作するレファレンス更新回路５０８は、図１に示される本発明の第１の実施形態の機能１０４と同等の機能を実現する演算回路であり、画像フレーム毎に、以下の処理を実行する。
【００４９】
即ち、レファレンス更新回路５０８は、目標領域抽出画像メモリ５０１から出力されている目標領域画像内の、演算プロセッサ５０２から出力される目標追尾点５１３に対応する領域の画像に基づいて、レファレンス画像を決定し（図６のＳ６０７）、レファレンス画像メモリ５０９内に記憶されているレファレンス画像データ５１１を更新する（図６のＳ６０８）。この場合、レファレンス更新回路５０８は、本発明の第１の実施形態において説明したように、旧レファレンス画像に対して、更新されるべき新レファレンス画像を全て置き換えるのではなく、重み付けをして新旧ともに重み付けの割合で足し合わせる方法で更新を行うような動作を行うように、構成することが可能である。
以上説明した一連の動作が、画像フレーム毎に繰り返し実行されることにより、本発明による相関追尾動作が実現される。
【００５０】
本発明の第１及び第２の実施形態に対する補足
本発明の第１及び第２の実施形態の特徴を、図７を用いて説明する。
図７（ａ）において、時間進行と共に、フレームｎ−１、フレームｎ、フレームｎ＋１の各画像フレームがカメラから得られる。
現在の処理フレームがフレームｎであった場合、フレームｎ−１で検出されている目標位置に基づいて、現在の処理フレームｎでの目標領域画像が、図７（ａ）の７０１（ｎ）として得られる。
【００５１】
本発明の第１及び第２の実施形態では、この目標領域画像７０１（ｎ）に対応する目標領域グレー画像の領域内が図７（ｂ）に示されるように走査されながら、処理フレームｎにおけるレファレンス画像７０２（ｎ）のグレー画像との相関処理計算が実行される。
【００５２】
この場合に、単純なエッジ画像のみの相関追尾処理だと、処理フレームｎにおける目標候補７０３（ｎ）に加えて、他の目標候補７０４（ｎ）も類似のエッジ候補として検出されてしまうおそれがある。一方、本発明の第１及び第２の実施形態のように、エッジの両側の輝度情報を付加した相関追尾処理ならば、エッジの形状は同等でも、目標の進行領域と他の目標の進行領域とにおける輝度情報の相違が加味されるため、輝度情報を加味した相関精度が高くなり、目標候補７０３（ｎ）のみを正しく判断することができるようになる。
【００５３】
なお、上述した本発明の第１及び第２の実施形態では、画像の輝度情報を対象として２値化されたエッジとそのエッジ近傍の輝度情報が相関追尾処理に利用されたが、画像の色情報等様々な多値情報を対象として２値化されたエッジとそのエッジ近傍の多値情報が相関追尾処理に利用されるようにすることも、本発明の範囲である。
【００５４】
本発明は、以下の構成をとることが可能である。
（付記１）
画像追尾処理を実行するコンピュータに、
フレーム毎に、入力画像と該入力画像上の追尾目標を示すレファレンス画像のそれぞれについて、画素値に関するエッジ情報とそのエッジ上又はエッジ近傍の多値情報とからなる入力処理画像及びレファレンス処理画像を算出する第１の機能と、
前記フレーム毎に、前記入力処理画像上の所定領域を走査しながら前記レファレンス処理画像との相関処理を実行する第２の機能と、
前記フレーム毎に、前記相関処理の結果得られる相関係数に基づいて前記入力画像上の目標の追尾を行う第３の機能と、
を実行させることを特徴とするプログラム。
（付記２）
前記多値情報は輝度値情報である、
ことを特徴とする付記１に記載のプログラム。
（付記３）
前記第３の機能は、前記フレーム毎に、前記相関処理の結果得られる相関係数において、相関度が最も高い点を追尾点として抽出することにより、前記入力画像上の目標の追尾を行う機能である、
ことを特徴とする付記１又は２の何れか１項に記載のプログラム。
（付記４）
前記第３の機能によって算出される前記目標の追尾に関する情報に基づいて、前記レファレンス画像を更新する第４の機能を更に実行させる、
ことを特徴とする付記１乃至３の何れか１項に記載のプログラム。
（付記５）
画像追尾処理を実行するための装置であって、
フレーム毎に、入力画像と該入力画像上の追尾目標を示すレファレンス画像のそれぞれについて、画素値に関するエッジ情報とそのエッジ上又はエッジ近傍の多値情報とからなる入力処理画像及びレファレンス処理画像を算出する第１の手段と、
前記フレーム毎に、前記入力処理画像上の所定領域を走査しながら前記レファレンス処
理画像との相関処理を実行する第２の手段と、
前記フレーム毎に、前記相関処理の結果得られる相関係数に基づいて前記入力画像上の目標の追尾を行う第３の手段と、
を含むことを特徴とする画像追尾装置。
（付記６）
画像追尾処理を実行するための方法であって、
フレーム毎に、入力画像と該入力画像上の追尾目標を示すレファレンス画像のそれぞれについて、画素値に関するエッジ情報とそのエッジ上又はエッジ近傍の多値情報とからなる入力処理画像及びレファレンス処理画像を算出する第１の過程と、
前記フレーム毎に、前記入力処理画像上の所定領域を走査しながら前記レファレンス処理画像との相関処理を実行する第２の過程と、
前記フレーム毎に、前記相関処理の結果得られる相関係数に基づいて前記入力画像上の目標の追尾を行う第３の過程と、
を含むことを特徴とする画像追尾方法。
【図面の簡単な説明】
【００５５】
【図１】本発明の第１の実施形態のプログラム機能構成図である。
【図２】本発明の第１の実施形態の動作説明図（その１）である。
【図３】本発明の第１の実施形態の動作説明図（その２）である。
【図４】本発明の第１の実施形態のプログラム機能を実行するコンピュータの構成図である。
【図５】本発明の第２の実施形態のハードウェアブロック図である。
【図６】本発明の第２の実施形態の動作フローチャートである。
【図７】本発明の第１及び第２の実施形態の特徴を説明する説明図である。
【図８】従来技術の説明図である。
【符号の説明】
【００５６】
１０１  エッジ抽出＋エッジ近傍輝度情報付加処理機能
１０２  相関処理機能
１０３  追尾点算出処理機能
１０４  レファレンス画像更新処理機能
１０５  入力画像データ
１０６  入力画像の「エッジ＋エッジ近傍輝度抽出グレー画像」
１０７  レファレンス画像の「エッジ＋エッジ近傍輝度抽出グレー画像」
１０８  相関係数マップ出力
１０９  追尾点算出結果
２０１、２０２、２０３  エッジ
４０１  ＣＰＵ
４０２  メモリ
４０３  入力装置
４０４  出力装置
４０５  外部記憶装置
４０６  可搬記録媒体駆動装置
４０７  ネットワーク接続装置
４０８  バス
４０９  可搬記録媒体
５０１  目標領域抽出画像メモリ
５０２  演算プロセッサ
５０３  エッジ＋エッジ近傍輝度抽出グレー画像生成部
５０４  相関処理部
５０５  最大相関値検出部
５０６  目標追尾点算出部
５０７  相関係数マップメモリ
５０８  レファレンス更新回路
５０９  レファレンス画像メモリ
５１０  入力画像データ
５１１  レファレンス画像データ
５１２  領域指定
５１３  目標追尾点
７０１（ｎ）  目標領域画像
７０２（ｎ）  レファレンス画像
７０３（ｎ）  目標候補
７０４（ｎ）  他の目標候補
【図１】
2009087238.tif 000003
【図２】
2009087238.tif 000004
【図３】
2009087238.tif 000005
【図４】
2009087238.tif 000006
【図５】
2009087238.tif 000007
【図６】
2009087238.tif 000008
【図８】
2009087238.tif 000009
【図７】
2009087238.tif 000010