(57)【特許請求の範囲】
【請求項１】
入力した画像のオプティカルフローを推定し、前記入力画像とテンプレート画像との間で最も相関の高い対応領域をテンプレートマッチングにより検出し、テンプレート画像を更新しながら入力画像中の物体を追跡する手法に関し、前記テンプレート画像の取得領域を補正する際、前記テンプレート画像との相関が最も高い入力画像の矩形領域の各辺の内外において前記オプティカルフローが一致している区間の長さと辺の長さとの比率に応じて、各辺の位置を所定量移動して前記テンプレート画像の取得領域を補正する工程を有することを特徴とする画像認識方法。
【請求項２】
入力した画像のオプティカルフローを推定し、前記入力画像とテンプレート画像との間で最も相関の高い対応領域をテンプレートマッチングにより検出し、テンプレート画像を更新しながら入力画像中の物体を追跡する装置に関し、前記テンプレート画像の取得領域を補正する際、前記テンプレート画像との相関が最も高い入力画像の矩形領域の各辺の内外において前記オプティカルフローが一致している区間の長さと辺の長さとの比率に応じて、各辺の位置を所定量移動して前記テンプレート画像の取得領域を補正する領域補正部を有することを特徴とする画像認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像認識方法および画像認識装置に関し、特に侵入者を追跡監視する監視システムに利用する画像認識方法および画像認識装置に関するものである。
【０００２】
【従来の技術】
従来、この種の画像認識方法および画像認識装置を利用した監視装置としては、特開平１０−１５４２９２号広報に記載されているようなテンプレートマッチング手法が知られている。以下、図２を参照して、上記従来のテンプレートマッチング手法を説明する。
【０００３】
図２において、画面下部の画像解析領域２０１は道路を横断するように設定されており、画像解析領域内の輝度分布を利用して車両２０２の前面部または後面部等特徴的な部分をテンプレート画像２０３として捕捉する。その後、追跡する車両の対象画像内を走査してテンプレート画像との相関が最も高い領域を検出するようにしたテンプレートマッチング処理を行って、移動する車両を追跡する。追跡中、車両までの距離によって車両の見かけの大きさが変化するため、最初に取得したテンプレート画像を継続して利用するとテンプレートマッチングの精度が低下する。そこで現在の車両位置付近の車線幅に応じてテンプレート画像を拡大縮小し、テンプレートマッチングの精度を向上させるようにしている。各車線２０４はあらかじめ直線式で近似するようにしてあり、これを用いて車線幅を算出する。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の監視装置に利用した画像認識装置においては、テンプレート画像の取得領域が実際に物体の存在する領域に対してズレていたり大きすぎる等不適切であった場合でもテンプレート画像の取得領域を補正しておらず、結果として背景部、言い換えると物体以外の画像特徴の影響を受けて物体の追跡に失敗する可能性があるという問題があった。
【０００５】
また、オプティカルフローを用いてテンプレート画像の取得領域を補正しようとする場合、オプティカルフローの信頼性に応じて補正量を制御する必要があるのに制御していないという問題があった。
また、従来のテンプレートマッチングでは、テンプレート画像内に含まれている物体領域の画素も、背景領域（例えば、道路の白線や建物の影等）の画素も、テンプレートマッチングを行う際の重み付けは同じであったため、対応する物体を見失う可能性があるという問題があった。
【０００６】
本発明は、上記のような従来の問題を解決するためになされたもので、テンプレート画像の取得領域を物体の領域に合わせて適切かつ動的に補正可能とし、補正する際、オプティカルフローの信頼性に応じてその補正量を制御可能にし、さらにテンプレートマッチングの際、対象物体の画素に重みを置くようにした画像認識方法及び画像認識装置を提供するものである。
【０００７】
【課題を解決するための手段】
本発明における画像認識方法は、入力した画像のオプティカルフローを推定し、前記入力画像とテンプレート画像との間で最も相関の高い対応領域をテンプレートマッチングにより検出し、テンプレート画像を更新しながら入力画像中の物体を追跡する手法に関し、前記テンプレート画像の取得領域を補正する際、前記テンプレート画像との相関が最も高い入力画像の矩形領域の各辺の内外において前記オプティカルフローが一致している区間の長さと辺の長さとの比率に応じて、各辺の位置を所定量移動して前記テンプレート画像の取得領域を補正する工程を有するという構成を有している。この構成により、オプティカルフローを利用してテンプレート画像の取得領域を物体の領域に合うように補正する事ができ、オプティカルフローの発生状況によってテンプレート取得領域の各境界線を移動し、物体領域に対して適切にテンプレート取得領域を補正する事ができる。
【０００８】
本発明における画像認識装置は、入力した画像のオプティカルフローを推定し、前記入力画像とテンプレート画像との間で最も相関の高い対応領域をテンプレートマッチングにより検出し、テンプレート画像を更新しながら入力画像中の物体を追跡する装置に関し、前記テンプレート画像の取得領域を補正する際、前記テンプレート画像との相関が最も高い入力画像の矩形領域の各辺の内外において前記オプティカルフローが一致している区間の長さと辺の長さとの比率に応じて、各辺の位置を所定量移動して前記テンプレート画像の取得領域を補正する領域補正部を有するという構成を有している。この構成により、オプティカルフローを利用してテンプレート画像の取得領域を物体の領域に合わせて補正する事ができ、オプティカルフローの発生状況によってテンプレート取得領域の各境界線を移動し、物体の領域に対して適切にテンプレート画像の取得領域を補正する事ができる。
【００１８】
【発明の実施の形態】
以下、添付図面に基づき、本発明の第１ないし第８の実施の形態を詳細に説明する。
（第１の実施の形態）
まず、図１のブロック図を参照して、本発明の第１の実施の形態における画像認識装置の構成を説明する。図１において、入力した映像信号はＡ／Ｄ変換部（ＡＤＣ）１においてＡ／Ｄ変換され、現フレームＩとしてフレームメモリ（ＦＭ１）２に記憶される。フロー推定部（ＦＬＷ）４は、撮影時刻の異なる２つの画像を用いて各ブロック毎にオプティカルフロー（画像を構成する各ブロックの時間的位置変動）を推定する。テンプレートマッチング部（ＴＭＰ）５は、テンプレート画像（例えば、追跡するべき新たな画像が現れたときに、テンプレート抽出部（ＥＸＴ）７により抽出されテンプレート画像としてテンプレートメモリ（ＴＭＥＭ）６に格納される）と最も相関の高い現フレーム中の対応領域を検出する。補正量制御部（ＡＤＪ）８はテンプレート画像の取得領域の補正を行う際の補正量を決定する。領域補正部（ＲＥＶ）９はテンプレート画像の取得領域が適切であるかどうかを判定し、必要であればテンプレート取得領域を補正する。テンプレート更新部（ＲＮＷ）１０はテンプレート画像を補正した取得領域の画像に更新する。テンプレート抽出部（ＥＸＴ）７は画像中に新規物体が現れた場合にテンプレート画像を新規作成する。物体認識部（ＲＣＧ）１１は物体の追跡回数や移動方向、大きさ等の特徴量から物体が発報対象の物体かどうかを認識し、発報対象である場合は警報出力部（ＨＲＮ）１２に対しアラーム信号を通知する。警報出力部（ＨＲＮ）１２はアラーム信号を受けて警報を発する。
【００１９】
次に、図１、図３ないし図５及び図９を参照して、本発明の第１の実施の形態における画像認識装置の動作を説明する。
この説明において、入力画像のフォーマットについては、画素数が６４０（Ｈ）＊４８０（Ｖ）画素、２５６階調モノクロの場合であるものとする。
フロー推定部（ＦＬＷ）４では、画像を構成する各ブロックの時間的位置変動、いわゆるオプティカルフローを推定する。
まず、最新の入力画像である現フレームＩ（ｘ，ｙ）を記憶しているフレームメモリ（ＦＭ１）２と、より早い時刻に撮影された前フレームＰ（ｘ，ｙ）を記憶しているフレームメモリ（ＦＭ２）３とから、現フレームＩと前フレームＰの画像データを読み込む（但し、０≦ｘ＜６４０、０≦ｙ＜４８０）。
【００２０】
次に、例えば現フレームＩを水平方向８０個、垂直方向６０個のブロックＢＬ（ｂｘ，ｂｙ）に区切って、オプティカルフローＯＦ（ｂｘ，ｂｙ）を推定する（但し、０≦ｂｘ＜８０，０≦ｂｙ＜６０とする）。この場合、ブロックサイズは水平８画素、垂直８画素となる。
【００２１】
前フレームＰ内に設定した探索範囲において、現フレームＩの注目ブロックＢＬ（ｂｘ，ｂｙ）との相関が最も高い領域を探索することにより注目ブロックのオプティカルフローを推定する。注目ブロックと前フレームＰの領域との相関値の評価には差分絶対値和ＳＡを用いる事にする。差分絶対値和ＳＡを用いた場合、相関が最も高い位置においてＳＡが最小値となる。現フレームＩ（ｘ，ｙ）における注目ブロックの左上座標を（ｘ1 ，ｙ1 ）とし、それと前フレームＰの画像上のオフセット位置（ｈ，ｖ）との差分絶対値和ＳＡ（ｈ，ｖ）は〔数１〕から求める事ができる。
【００２２】
【数１】
0004548933.tif 000002
【００２３】
これにより、オフセット位置（ｈ，ｖ）を所定の範囲で変化させながら最も相関の高い領域を探索する。
テンプレートマッチング部（ＴＭＰ）５は、現フレームＩの画像からテンプレート画像と最も相関が高い対応領域を探索する。但し、既にテンプレートメモリ（ＴＭＥＭ）６にテンプレート画像が登録されている場合にのみ行う。
【００２４】
ここで、図３を参照して、テンプレートマッチング部（ＴＭＰ）５の動作を説明する。まず、現フレームＩ内の探索範囲について、テンプレート画像Ｔとの相関を順次求める。相関値の指標としては、前述した差分絶対値和ＳＡを用いて算出しても良いが、ここではよりロバスト性の高い相関演算手法である正規化相関ＮＲＭを用いる場合について説明する。テンプレート画像の画素数をＫ（Ｈ）＊Ｌ（Ｖ）画素とした場合、現フレームＩ（ｘ，ｙ）内の矩形領域（画素数Ｋ＊Ｌ画素）とテンプレート画像Ｔ（ｉ，ｊ）との正規化相関（ＮＲＭ）（ｘ，ｙ）は、〔数２〕のように示す事ができる。正規化相関（ＮＲＭ）は両画像間の相関が高いほど１．０に近い値となる。最も相関が高くなる現フレームＩ上の位置を対応領域ＭＴＣＨとして検出する。
【００２５】
【数２】
0004548933.tif 000003
【００２６】
但し、現フレームＩ内の矩形領域（Ｍ＊Ｎ画素）における輝度の平均を、テンプレート画像における輝度の平均とする。
補正量制御部（ＡＤＪ）８では、後で説明する領域補正部（ＲＥＶ）９においてテンプレート画像の取得領域を補正する際の補正量ｃｒｒを決定する。補正量ｃｒｒは、例えば撮像装置から物体までの距離に応じて変化させる。遠方の場合は補正量を小さくし、近方の場合は補正量を大きくすることにより、物体の画像上における見かけ上の大きさに応じて補正量を制御する事ができる。
【００２７】
領域補正部（ＲＥＶ）９は、テンプレート画像を更新する際の取得領域が物体の領域に対して適切であるかどうかを各ブロックのオプティカルフローを利用して判定し、適切でなければ前述の補正量制御部（ＡＤＪ）８から得られた補正量ｃｒｒに応じて補正する。
【００２８】
次に、図４のテンプレート画像の補正処理説明図と、図９のフローチャートとを参照して、テンプレート画像の取得領域の補正処理手順について説明する。
テンプレート画像の取得領域が適切かどうかは、テンプレート画像Ｔ（図３）と最も相関が高い現フレームＩ内の対応領域ＭＴＣＨの矩形各辺を境界線Ｂ１〜Ｂ４と見なし、各境界線Ｂ１〜Ｂ４の内外で発生しているオプティカルフローがどの程度一致しているかにより判断する。
【００２９】
この説明では、例として、境界線Ｂ１における位置の補正について説明する。境界線Ｂ１は水平ブロック座標ｂｘ0 とｂｘ0 ＋１の間に存在し、垂直ブロック座標はｂｙ0 〜ｂｙ0 ＋１０の範囲にまたがる。境界線の位置はもともと画素単位で決定されるが、オプティカルフローがブロック単位でしか得られないためブロック座標（ｂｘ，ｂｙ）で表現する。
【００３０】
以下、図９を参照して、テンプレート画像の取得領域の補正処理手順を説明する。まず、処理を開始し、ステップＳ９−１（以下、ステップの文字は省略する）において、処理の始点を境界線Ｂ１の始点へ移動し、ｂｎｄｎｏをクリアする（Ｓ９−２）。各垂直ブロック座標ｂｙ0 、ｂｙ0 ＋１、ｂｙ0 ＋２、・・・ｂｙ0 ＋１０において、境界線の内外つまり水平ブロック座標ｂｘ0 とｂｘ0 ＋１とのオプティカルフローを評価し、オプティカルフローが一致していれば（Ｓ９−３）、ｂｎｄｎｏをカウントアップする（Ｓ９−４）。このようにして境界線の始点から終点までオプティカルフローをチェックする（Ｓ９−６）。ここでは、ｂｘ0 、ｂｘ0 ＋１共にオプティカルフローが発生さえしていれば一致していることにするが、さらにオプティカルフローの方向や大きさまで一致の判断に含める事も考えられる。オプティカルフローのチェックが境界線の終点まで終わると（Ｓ９−７）へ進む。ステップＳ９−７において、各垂直ブロックで評価後の非境界ブロック長ｂｎｄｎｏを境界線Ｂ１がまたぐ垂直方向のブロック数ｌｅｎｎｏで除した評価値と、閾値ＴＨ１との関係が下記の〔数３〕を満足すれば、境界線Ｂ１をテンプレート画像が大きくなる方向、つまり左側へ補正量制御部（ＡＤＪ）８で得られた補正量ｃｒｒ分だけ拡大する（Ｓ９−８）。ここで、閾値ＴＨ１は０．５〜１．０が適当である。
【００３１】
【数３】
0004548933.tif 000004
【００３２】
逆に、評価値（ｂｎｄｎｏ／ｌｅｎｎｏ）と閾値ＴＨ２（但し、ＴＨ１≧ＴＨ２）との関係が〔数４〕を満足する場合は（Ｓ９−９）、境界線Ｂ１をテンプレート画像が小さくなる方向、つまり右側へ補正量ｃｒｒ分だけ縮小する（Ｓ９−１０）。閾値ＴＨ２は０．０〜０．５が適当である。また、ステップＳ９−９において拡大も縮小もしない場合は、そのまま終了する（Ｓ９−１１）。
【００３３】
【数４】
0004548933.tif 000005
【００３４】
評価値と閾値ＴＨ１およびＴＨ２との関係が〔数３〕、〔数４〕のいずれも満足しない場合は境界線Ｂ１については補正せず、対応領域ＭＴＣＨをもってテンプレート画像更新時の取得領域とする。
【００３５】
図４の境界線Ｂ１の場合、評価値（ｂｎｄｎｏ／ｌｅｎｎｏ）は約０．１（＝１／１１）であり、閾値ＴＨ２が例えば０．４とするならば〔数４〕を満足するので、テンプレート画像の取得領域（境界線で囲まれた領域）を小さくする方向、つまり境界線Ｂ１を右側へ補正量ｃｒｒだけ移動する。
残りの境界線Ｂ２、Ｂ３、Ｂ４についても同様の処理を行う。
境界線の位置の補正によってテンプレート画像Ｔの取得領域は、位置だけでなく大きさや縦横比も補正されることになる。
【００３６】
閾値ＴＨ１、ＴＨ２の設定は、物体の中心部（例：人の胴体部）をテンプレート取得領域としたい場合は閾値ＴＨ２を大きく、閾値ＴＨ１を小さくすれば良いし、より物体の周辺部（例：手足を含む）までを取得領域としたい場合は閾値ＴＨ２を小さく、ＴＨ１を大きくすれば良い。
【００３７】
テンプレート更新部（ＲＮＷ）１０は、領域補正部（ＲＥＶ）９によつて得られたテンプレート取得領域の画像をテンプレート画像Ｔとして抽出し、それによってこれまで用いていたテンプレート画像を更新する。領域補正部（ＲＥＶ）９において既にテンプレート取得領域が補正されている場合は、補正されていたテンプレート取得領域で画素を更新する。テンプレート画像の更新は処理周期毎に行うことにする。
なお、テンプレート画像の更新は必ずしも処理周期毎でなくてもよく、所定のタイミングで行っても良い。
【００３８】
次に、図５のテンプレート画像の抽出処理説明図を参照して、テンプレート画像の抽出処理について説明する。図５において、テンプレート抽出部（ＥＸＴ）７（図１）は、画像中に新規物体が出現した場合（例えば、Ｌ２）は、テンプレート画像を追加する。すなわち、オプティカルフローＯＦが所定ブロック数以上塊状に発生した場合は、新規物体が出現したと判断する。具体的には、オプティカルフローが発生したブロックに対してラベリング処理を行い、隣接したブロック同士に同一のラベルを与える。同一ラベルとなったブロック数が所定以上となった場合は、その領域を含む矩形領域をテンプレート画像の取得領域とする。例えば、図５中、ラベルＬ１のみが所定のブロック数を超えた場合、ラベルＬ１の外接矩形内の画像をテンプレート画像Ｔとして抽出する。抽出されたテンプレート画像Ｔはテンプレートメモリ（ＴＭＥＭ）６に保持される。
【００３９】
物体認識部（ＲＣＧ）１１は、テンプレートマッチング部（ＴＭＰ）５で検出したテンプレート画像と最も相関が高い現フレームＩの対応領域ＭＴＣＨ（図３）について、物体の追跡回数や移動方向、大きさ、縦横比、輝度パターンといった特徴量を獲得し、あらかじめ設定してある発報対象物体が示すであろう特徴量の範囲と合致するかどうかを検索し、合致した場合は、警報出力部（ＨＲＮ）１２に対してアラーム信号を通知する。
警報出力部（ＨＲＮ）１２はアラーム信号を受けた場合に光や音で警報を発する。
【００４０】
このように構成された画像認識装置は、オプティカルフローを利用してテンプレート取得領域の境界線を移動することにより、従来の画像認識装置に比べてテンプレート取得領域を物体の領域に対応して適切に補正する事ができる。
本実施の形態は、請求項７および８に対応する。
【００４１】
（第２の実施の形態）
次に、図６の補正処理の説明図と図１０のフローチャートとを参照して、本発明の第２の実施の形態における画像認識装置について説明する。本実施の形態における画像認識装置の構成は図１と同様であるから、その説明は省略する。しかし、本実施の形態では、領域補正部（ＲＥＶ）９の動作が第１の実施の形態のものと異なるので、以下本実施の形態における領域補正部（ＲＥＶ）９の処理について説明する。
【００４２】
領域補正部（ＲＥＶ）９は、テンプレート画像Ｔとの相関が最高となった現フレームＩの対応領域ＭＴＣＨ（図６）から、よりオプティカルフローの特徴が揃っている方向へテンプレート取得領域を平行移動して補正するものであり、以下、具体的な動作を説明する。
【００４３】
図６および図１０において、テンプレートマッチング部（ＴＭＰ）５におけるテンプレートマッチングの結果、テンプレート画像と最も相関が高い現フレームＩの領域を対応領域ＭＴＣＨとする。そして、対応領域ＭＴＣＨと同じ大きさのウインドウＷＩＮを設定し、ウインドウＷＩＮを対応領域ＭＴＣＨの周囲に巡回させながら順次ウィンドウＷＩＮ内のオプティカルフローの一致率を評価する（ステップＳ１０−１）。ここでは対応領域ＭＴＣＨに対して１ブロック相当外側の位置までウインドウＷＩＮを巡回させて評価するものとし、ウィンドウＷＩＮ左上の初期位置が（ｂｘ0 ，ｂｙ0 ）であるとすると、下記のようにウィンドウＷＩＮを移動させ、各位置についてオプティカルフローの一致率を評価する。それはウィンドウＷＩＮの巡回が終了するまで（ステップＳ１０−２）ウィンドウＷＩＮを移動し（Ｓ１０−４）、ウィンドウＷＩＮの巡回が終了すると、テンプレート取得領域ＧＴを最も一致率の高い方向にｃｒｒ分だけ平行移動する（Ｓ１０−３）。
【００４４】
ウィンドウＷＩＮの移動：
（ｂｘ0 −１，ｂｙ0 −１）→（ｂｘ0 ，ｂｙ0 −１）→（ｂｘ0 ＋１，ｂｙ0 −１）・・・（ｂｘ0 ，ｂｙ0 ＋１）→（ｂｘ0 ＋１，ｂｙ0 ＋１）
【００４５】
オプティカルフローの一致率とはウィンドウＷＩＮ内に存在する各オプティカルフローの方向、大きさ、あるいはオプティカルフローの有無について評価する事が考えられるが、ここではオプティカルフローが発生しているブロック同士は一致しているものと評価することにする。この場合、ウィンドウＷＩＮ内にオプティカルフローが発生しているほど一致率が高いという事になる。巡回中、最もオプティカルフロー同士の一致率が高くなったウィンドウＷＩＮの方向へテンプレート取得領域を平行移動して補正する（Ｓ１０−３）。テンプレート取得領域の平行移動量は補正量制御部（ＡＤＪ）８で決定した補正量ｃｒｒとし、必ずしも最もオプティカルフローの一致率が高くなったウィンドウＷＩＮの位置まで平行移動させる訳ではない。図６はテンプレート画像のテンプレート取得領域ＧＴをオプティカルフローの一致率が高くなる方向（下方）へ平行移動した様子を示す。
【００４６】
ウィンドウＷＩＮ内のオプティカルフロー一致率が、初期位置（ｂｘ0 ，ｂｙ0 ）で最も高くなる場合はテンプレート取得領域ＧＴを平行移動しない。
テンプレート更新部（ＲＮＷ）１０においてテンプレート画像を更新する際は、テンプレート取得領域ＧＴ内の画素を用いて更新する。
【００４７】
このように構成された画像認識装置は、オプティカルフローを利用してテンプレート取得領域を平行移動する事により、従来の画像認識装置に比べて物体が存在する領域に合わせてテンプレート画像の取得領域を適切に補正する事ができる。
本実施の形態は、請求項７および９に対応する。
【００４８】
（第３の実施の形態）
次に、図７の補正処理の説明図を参照して、本発明の第３の実施の形態における画像認識装置について説明する。本実施の形態における画像認識装置の構成は図１と同様であるから、その説明は省略する。しかし、本実施の形態では、補正量制御部（ＡＤＪ）８の動作が第１および第２の実施の形態のものと異なるので、以下本実施の形態における補正量制御部（ＡＤＪ）８の処理について説明する。
【００４９】
本実施の形態の補正量制御部（ＡＤＪ）８は、テンプレートマッチング部（ＴＭＰ）５で得られた２フレーム間のテンプレート画像の移動量、すなわち物体の移動量に応じて、領域補正部（ＲＥＶ）９で使用するテンプレート取得領域ＧＴの補正量ｃｒｒを決定する。
ここで、前フレームＰにおけるテンプレート取得領域ＧＴの左上座標を（ｘs ，ｙs ）とし、現フレームＩにおける対応領域ＭＴＣＨの左上座標を（ｘe ，ｙe ）とすると、テンプレート画像の移動量ＭＶは、例えば〔数５〕によって算出することができる。
【００５０】
【数５】
0004548933.tif 000006
【００５１】
テンプレート画像が元の位置から大きく動く、つまりテンプレート画像内の物体が大きく動くということは、信頼性の高いオプティカルフローが多く発生しやすく、これを用いればテンプレート取得領域ＧＴを精度良く補正することができるため、補正量を大き目に設定する。逆に、物体の動きが小さい場合はオプティカルフローが発生しにくく、補正量を小さく制限しておいた方が無難である。テンプレート移動量ＭＶが閾値ＴＨ３を超える場合は補正量をｃｒｒ1 とし、閾値ＴＨ３に満たない場合は補正量をｃｒｒ2 とする。但し、ｃｒｒ1 ≧ｃｒｒ2 とする。
【００５２】
このように構成した画像認識装置は、テンプレート画像の２フレーム間の移動量に基づいてテンプレート取得領域ＧＴの補正量を制御するので、オプティカルフローの信頼性に応じて補正量を制御する事が出来る。
本実施の形態は、請求項７ないし１０に対応する。
【００５３】
（第４の実施の形態）
次に、図１１のフローチャートとを参照して、本発明の第４の実施の形態における画像認識装置について説明する。本実施の形態における画像認識装置の構成は図１と同様であるから、その説明は省略する。しかし、本実施の形態では、テンプレートマッチング部（ＴＭＰ）５の動作が第１ないし第３の実施の形態のものと異なるので、以下、本実施の形態におけるテンプレートマッチング部（ＴＭＰ）５の処理について説明する。
【００５４】
図１１において、本実施の形態におけるテンプレートマッチング部（ＴＭＰ）５は、テンプレート画像Ｔ（ｉ，ｊ）（図５）内の各画素毎に重み付けして現フレームＩの画像との相関値を算出する。図１１に示す処理フローチャートのとおり、まず、ｊおよびｉをクリアし（Ｓ１１−１、Ｓ１１−２）、各ブロックがテンプレート取得領域ＧＴ内でオプティカルフローが発生したかどうかをチェックする（Ｓ１１−３）。オプティカルフローが発生していたブロック内の画素は重みｗ（ｉ，ｊ）をｗｈｉと高くし（Ｓ１１−４）、オプティカルフローが発生していなかったブロック内の画素は重みｗｌｏと低く設定する（但しｗｈｉ＞ｗｌｏ）。テンプレート画像Ｔ（ｉ，ｊ）と現フレームＩの画像上の位置（ｘt ，ｙt ）の相関値の計算には、〔数６〕に示す重み付けを考慮した差分絶対値和ＳＡ２を用いる。差分絶対値和ＳＡ２を用いた場合、相関値が高いほど小さい値となる。
【００５５】
【数６】
0004548933.tif 000007
【００５６】
但し、テンプレート画像ＴのサイズはＫ（Ｈ）＊Ｌ（Ｖ）画素とする。
次に、探索範囲内の各座標（ｘt ，ｙt ）について差分絶対値和ＳＡ２を計算し（Ｓ１１−５〜Ｓ１１−８）、最も差分絶対値和ＳＡ２が小さい、すなわち最も相関が高い座標位置をテンプレート画像Ｔの対応領域ＭＴＣＨとする。このように、差分絶対値和ＳＡ２を用いて相関値を計算する（Ｓ１１−９）。
なお、相関値の計算の際、差分絶対値和をベースとしたが、正規化相関をベースとしても良い。
【００５７】
このように構成した画像認識装置は、テンプレートマッチングを行う際に、テンプレート取得領域ＧＴ内のオプティカルフローの発生状況に応じて相関値を求める際の各画素の重み付けを行うので、オプティカルフローが発生している物体が存在する可能性が高い領域の画素が相関値により反映できるようになる。その結果、物体領域の画素に重みが置かれ、安定した追跡が行うことができるるテンプレートマッチングを実現する事ができる。
本実施の形態は、請求項７ないし１１に対応する。
【００５８】
（第５の実施の形態）
次に、図８のフローチャートとを参照して、本発明の第５の実施の形態における画像認識方法について説明する。本実施の形態における画像認識装置の構成は図１と同様であるから、その説明は省略する。本実施の形態における画像認識方法は、本発明の第１の実施の形態で説明した画像認識装置の処理をソフトウエアにより実現する画像認識方法であり、以下、本実施の形態における画像認識方法のソフトウェア処理手順について説明する。
【００５９】
図８において、まず、画像入力フェーズｆＡＤＣ（Ｓ８−１）では、撮像装置から入力された画像データを以降の処理に合わせたフォーマット（例：６４０＊４８０ｐｉｘｅｌ、２５６階調モノクロ）に変換する。フロー推定フェーズｆＦＬＷ（Ｓ８−２）は、撮影時刻の異なる２つの画像を用いて各ブロック毎にオプティカルフローを推定する。ステップＳ８−３において、テンプレート画像があるかどうか検索し、ある場合はＳ８−４に進み、ない場合はＳ８−８に進んで、テンプレートマッチングは行わない。テンプレートマッチングフェーズｆＴＭＰ（Ｓ８−４）では、テンプレート画像と最も相関の高い現フレームＩ中の対応領域を検出する。補正量制御フェーズｆＡＤＪ（Ｓ８−５）はテンプレート領域の補正を行う際の補正量を決定する。領域補正フェーズｆＲＥＶ（Ｓ８−６）はテンプレート画像の取得領域が適切であるかどうかを判定し、必要であれば取得領域を補正する。テンプレート更新フェーズｆＲＮＷ（Ｓ８−７）はテンプレート画像を取得領域の画素に更新する。テンプレート抽出フェーズｆＥＸＴ（Ｓ８−８）は画像中に新規物体が現れた場合にテンプレート画像を新規作成する。物体認識フェーズｆＲＣＧ（Ｓ８−９）は物体の追跡回数や移動方向、大きさ等の特徴量から物体が発報対象かどうかを認識し、発報対象である場合は警報出力部（ＨＲＮ）１２に対してアラーム信号を通知する。警報出力フェーズｆＨＲＮ（Ｓ８−１０）はアラーム信号を受けて光や音で警告を発する。
【００６０】
フロー推定フェーズｆＦＬＷ（Ｓ８−２）、テンプレートマッチングフェーズｆＴＭＰ（Ｓ８−４）、補正量制御フェーズｆＡＤＪ（Ｓ８−５）、領域補正フェーズｆＲＥＶ（Ｓ８−６）、テンプレート更新フェーズｆＲＮＷ（Ｓ８−７）、テンプレート抽出フェーズｆＥＸＴ（Ｓ８−８）、および物体認識フェーズｆＲＣＧ（Ｓ８−９）の詳細な処理内容は、それぞれ、対応する第１の実施の形態において説明した、フロー推定部（ＦＬＷ）４、テンプレートマッチング部（ＴＭＰ）５、補正量制御部（ＡＤＪ）８、領域補正部（ＲＥＶ）９、テンプレート更新部（ＲＮＷ）１０、テンプレート抽出部（ＥＸＴ）７、および物体認識部（ＲＣＧ）１１における処理内容と同様であるから説明を省略する。
【００６１】
このように画像を処理する本実施の形態における画像認識方法は、オプティカルフローを利用してテンプレート画像の取得領域の境界線を移動することにより、従来の画像認識方法にくらべテンプレート取得領域を物体の領域に対して適切に補正する事ができる。
本実施の形態は、請求項１および２に対応する。
【００６２】
（第６の実施の形態）
次に、本発明の第６の実施の形態における画像認識方法について説明する。本実施の形態における画像認識方法は、本発明の第２の実施の形態において説明した画像認識装置の処理をソフトウエアにより実現する画像認識方法であり、処理の流れは図８に示すフローチャートのとおりであるが、本実施の形態では、領域補正フェーズｆＲＥＶ（Ｓ８−６）の動作が第５の実施の形態におけるものと異なる。
【００６３】
本実施の形態における領域補正フェーズｆＲＥＶ（Ｓ８−６）の処理において、領域補正部（ＲＥＶ）９は、テンプレート画像との相関が最高となった対応領域ＭＴＣＨから、オプティカルフローがより一致する方向へテンプレート取得領域ＧＴを平行移動して補正するものである。
領域補正フェーズの詳細な処理内容については第２の実施の形態において説明した領域補正部（ＲＥＶ）９の処理内容と同様であるから省略する。
【００６４】
このように画像を処理する画像認識方法は、オプティカルフローを利用してテンプレート取得領域ＧＴを平行移動する事により、従来の画像認識装置にくらべ、物体が存在する領域に合わせてテンプレート取得領域ＧＴを適切に補正することができる。
本実施の形態は、請求項１および３に対応する。
【００６５】
（第７の実施の形態）
次に、本発明の第７の実施の形態における画像認識方法について説明する。本実施の形態における画像認識方法は、本発明の第３の実施の形態において説明した画像認識装置の処理をソフトウエアにより実現する画像認識方法であり、処理の流れは図８に示すフローチャートのとおりであるが、本実施の形態では、補正量制御フェーズｆＡＤＪ（Ｓ８−５）の動作が第５および第６の実施の形態におけるものと異なる。
【００６６】
本実施の形態における補正量制御フェーズｆＡＤＪ（Ｓ８−５）は、テンプレートマッチング部（ＴＭＰ）５で得られたテンプレート画像の移動量に応じて、領域補正部（ＲＥＶ）９で使用するテンプレート取得領域ＧＴの補正量ｃｒｒを制御する。
補正量制御フェーズの詳細な処理内容については、第３の実施の形態で説明した補正量制御部（ＡＤＪ）８の処理内容と同様であるので省略する。
【００６７】
このように画像を処理する画像認識方法では、テンプレート画像の２フレーム間の移動量に基づいてテンプレート取得領域ＧＴの補正量を制御するので、オプティカルフローの信頼性に応じて補正量を制御することが出来る。
本実施の形態は、請求項１ないし４に対応する。
【００６８】
（第８の実施の形態）
次に、本発明の第８の実施の形態における画像認識方法について説明する。本実施の形態における画像認識方法は、本発明の第４の実施の形態において説明した画像認識装置の処理をソフトウエアにより実現する画像認識方法であり、処理の流れは図８に示すフローチャートのとおりであるが、本実施の形態では、テンプレートマッチングフェーズｆＴＭＰ（Ｓ８−４）の動作が第５ないし第７の実施の形態におけるものと異なる。
【００６９】
本実施の形態におけるテンプレートマッチングフェーズｆＴＭＰ（Ｓ８−４）は、テンプレート画像Ｔにおいて、オプティカルフローが発生したブロックの各画素に重みを置き、現フレームＩの画像との相関値を算出するものである。
テンプレートマッチングフェーズｆＴＭＰ（Ｓ８−４）の詳細な処理内容については、第４の実施の形態で説明したテンプレートマッチング部（ＴＭＰ）５と同様であるから省略する。
【００７０】
このように画像を処理する画像認識方法は、テンプレートマッチングを行う際に、テンプレート取得領域ＧＴ内のオプティカルフローの発生状況に応じて、相関値を求める際の各画素の重み付けを変更するので、オプティカルフローが発生し物体が存在する可能性が高い領域の画素がより相関値に反映されるようになる。結果として、物体領域の画素に重みを置くことになり、安定した追跡が行えるテンプレートマッチングを実現する事ができる。
本実施の形態は、請求項１ないし５に対応する。
【００７１】
【発明の効果】
本発明における画像認識方法および画像認識装置は、上記のように構成され、オプティカルフローを利用してテンプレート画像の取得領域を物体の領域に合わせて補正する事ができ、オプティカルフローの発生状況によってテンプレート取得領域の各境界線を移動し、物体の領域に対して適切にテンプレート画像の取得領域を補正する事ができる、という効果を有する。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における画像認識装置の構成を示すブロック図、
【図２】従来技術におけるテンプレートマッチング手法の説明図、
【図３】本発明の第１の実施の形態における画像認識装置によるテンプレートマッチング処理の説明図、
【図４】本発明の第１の実施の形態における画像認識装置によるテンプレート取得領域の補正処理の説明図、
【図５】本発明の第１の実施の形態における画像認識装置によるテンプレート抽出処理の説明図、
【図６】本発明の第２の実施の形態における画像認識装置によるテンプレート取得領域の補正処理の説明図、
【図７】本発明の第３の実施の形態における画像認識装置の補正量制御部の処理の説明図、
【図８】本発明の第５の実施の形態における画像認識方法の処理手順を示すフローチャート、
【図９】本発明の第１の実施の形態における領域補正部の処理手順を示すフローチャート、
【図１０】本発明の第２の実施の形態における領域補正部の処理手順を示すフローチャート、
【図１１】本発明の第４の実施の形態におけるテンプレートマッチング部の処理手順を示すフローチャート。
【符号の説明】
１  ＡＤＣ（ＡＤＣ）
２  フレームメモリ（ＦＭ１）
３  フレームメモリ（ＦＭ２）
４  フロー推定部（ＦＬＷ）
５  テンプレートマッチング部（ＴＭＰ）
６  テンプレートメモリ（ＴＭＥＭ）
７  テンプレート抽出部（ＥＸＴ）
８  補正量制御部（ＡＤＪ）
９  領域補正部（ＲＥＶ）
１０  テンプレート更新部（ＲＮＷ）
１１  物体認識部（ＲＣＧ）
１２  警報出力部（ＨＲＮ）
Ｔ  テンプレート画像
Ｉ  現フレーム
Ｐ  前フレーム
ＯＦ  オプティカルフロー
Ｂ１  境界線
ＷＩＮ  ウインドウ
ＮＲＭ  正規化相関
ＭＴＣＨ  対応領域
ＳＡ、ＳＡ２  差分絶対値和
ＴＨ１、ＴＨ２、ＴＨ３  閾値
Ｓ８−１  画像入力フェーズ（ｆＡＤＣ）
Ｓ８−２  フロー推定フェーズ（ｆＦＬＷ）
Ｓ８−４  テンプレートマッチングフェーズ（ｆＴＭＰ）
Ｓ８−５  補正量制御フェーズ（ｆＡＤＪ）
Ｓ８−６  領域補正フェーズ（ｆＲＥＶ）
Ｓ８−７  テンプレート更新フェーズ（ｆＲＮＷ）
Ｓ８−８  テンプレート抽出フェーズ（ｆＥＸＴ）
Ｓ８−９  物体認識フェーズ（ｆＲＣＧ）
Ｓ８−１０  警報出力フェーズ（ｆＨＲＮ）
【図１】
0004548933.tif 000008
【図２】
0004548933.tif 000009
【図３】
0004548933.tif 000010
【図４】
0004548933.tif 000011
【図５】
0004548933.tif 000012
【図６】
0004548933.tif 000013
【図７】
0004548933.tif 000014
【図８】
0004548933.tif 000015
【図９】
0004548933.tif 000016
【図１０】
0004548933.tif 000017
【図１１】
0004548933.tif 000018