(57)【要約】【課題】  画像内に複数のオブジェクトが存在している場合でも、異なるフレーム間で同一のオブジェクトを認識する。【解決手段】  入力画像中に含まれる複数のオブジェクトをフレーム毎に入力画像から分割する画像分割セルネットワーク６と、各オブジェクトについての移動量を示す動きベクトルに基づき、各オブジェクトの推定位置を算出する位置情報計算部９と、推定位置と、推定位置以外の特徴量とに基づき、異なるフレーム間で同一のオブジェクトを認識する最小距離検索連想メモリ１０とを備えている。【選択図】  図１
2006072763.tif 000002
【特許請求の範囲】
【請求項１】
入力画像中に含まれる複数のオブジェクトを、その入力画像のフレーム毎に入力画像から分割する画像分割手段と、
分割された各オブジェクトについて、そのオブジェクトの前々フレームにおける位置座標と、前フレームの位置座標との差分から、そのオブジェクトの移動量を示す動きベクトルを算出する動きベクトル算出手段と、
各オブジェクトについて、そのオブジェクトの前フレームの位置座標と、上記動きベクトルとに基づき、現フレームにおいて各オブジェクトが存在すると推定される位置である推定位置を算出する推定位置算出手段と、
上記推定位置と、前フレームの各オブジェクトに関する推定位置以外の特徴量と、現フレームの各オブジェクトに関する推定位置以外の特徴量とに基づき、現フレームと前フレームとの間で同一のオブジェクトを認識するオブジェクト認識手段とを備えていることを特徴とする画像処理装置。
【請求項２】
上記オブジェクト認識手段は、現フレームの注目オブジェクトと、前フレームの各オブジェクトとの間で、第１差分値および第２差分値に基づく値である距離指標を算出し、その距離指標が最小となるオブジェクトを同一のオブジェクトとして認識するものであり、
上記第１差分値は、現フレームにおける注目オブジェクトの推定位置を示す座標と、前フレームにおける各オブジェクトの実際の位置を示す座標との差分値であり、
上記第２差分値は、前フレームの各オブジェクトに関する推定位置以外の特徴量と、現フレームの注目オブジェクトに関する推定位置以外の特徴量との差分値であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記推定位置以外の特徴量は、画素数、幅、高さ、および色情報のうち、少なくとも１つを含むものであることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
上記推定位置以外の特徴量は、画素数、幅、高さ、および色情報であり、
上記第２差分値は、画素数、幅、高さ、および色情報のそれぞれに関する差分値であり、
上記オブジェクト認識手段は、
現フレームのオブジェクトｉと、前フレームのオブジェクトｊとの間における距離指標をDij、上記第１差分値をIpij、上記画素数の差分値をIaij、上記幅の差分値をIwij、上記高さの差分値をIhij、上記色情報の差分値をIcijとした場合、
Dij＝αIaij＋β（Iwij＋Ihij）＋γIpij＋εIcij
（α、β、γ、εは、Iaij，Iwij，Ihij，Ipij，およびIcijのそれぞれの大きさに応じて決定される係数）
と設定して、距離指標Dijを算出することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
上記推定位置以外の特徴量は、画素数、幅、高さ、および色情報であり、
上記第２差分値は、画素数、幅、高さ、および色情報のそれぞれに関する差分値であり、
上記オブジェクト認識手段は、
現フレームのオブジェクトｉと、前フレームのオブジェクトｊとの間における距離指標をDij、上記第１差分値をIpij、上記画素数の差分値をIaij、上記幅の差分値をIwij、上記高さの差分値をIhij、上記色情報の差分値をIcijとした場合、
Dij＝√ｋ
ｋ＝αIaij2＋βIwij2＋βIhij2＋γIpij2＋εIcij2
（α、β、γ、εは、Iaij，Iwij，Ihij，Ipij，およびIcijのそれぞれの大きさに応じて決定される係数）
と設定して、距離指標Dijを算出することを特徴とする請求項２に記載の画像処理装置。
【請求項６】
上記係数α、β、γ、およびεは、α＝２β＝２γ＝εを満たすことを特徴とする請求項４または５に記載の画像処理装置。
【請求項７】
上記オブジェクト認識手段は、上記推定位置として、正規化された値を用いることを特徴とする請求項１ないし６のいずれか１項に記載の画像処理装置。
【請求項８】
上記オブジェクト認識手段は、上記推定位置の現実の値を、上記推定位置が取り得る最大値で除算することにより、上記正規化を行うことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
上記オブジェクト認識手段は、それぞれが等しい大きさを有する複数の領域に入力画像を分割するとともに、上記推定位置の現実の値を、その領域の大きさに基づく所定値で除算することにより、上記正規化を行うことを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
上記オブジェクト認識手段は、上記推定位置以外の特徴量として、正規化された値を用いることを特徴とする請求項１ないし９のいずれか１項に記載の画像処理装置。
【請求項１１】
上記オブジェクト認識手段は、上記特徴量の現実の値を、上記特徴量の対応する値が取り得る最大値で除算することにより、上記正規化を行うことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
上記オブジェクト認識手段は、それぞれが等しい大きさを有する複数の領域に入力画像を分割するとともに、上記特徴量の現実の値を、その領域の大きさに基づく所定値で除算することにより、上記正規化を行うことを特徴とする請求項１０に記載の画像処理装置。
【請求項１３】
請求項１ないし１２のいずれか１項に記載の画像処理装置を集積回路化したことを特徴とする画像処理集積化回路。
【請求項１４】
入力画像中に含まれる複数のオブジェクトを、その入力画像のフレーム毎に入力画像から分割する第１ステップと、
分割された各オブジェクトについて、そのオブジェクトの前々フレームにおける位置座標と、前フレームの位置座標との差分から、そのオブジェクトの移動量を示す動きベクトルを算出する第２ステップと、
各オブジェクトについて、そのオブジェクトの前フレームの位置座標と、上記動きベクトルとに基づき、現フレームにおいて各オブジェクトが存在すると推定される位置である推定位置を算出する第３ステップと、
上記推定位置と、前フレームの各オブジェクトに関する推定位置以外の特徴量と、現フレームの各オブジェクトに関する推定位置以外の特徴量とに基づき、現フレームと前フレームとの間で同一のオブジェクトを認識する第４ステップとを備えていることを特徴とする画像処理方法。
【請求項１５】
コンピュータに請求項１４に記載の画像処理方法における各ステップを実行させるための画像処理プログラム。
【請求項１６】
請求項１５に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像分割処理を用いて画像内のオブジェクトを抽出し、連想処理を用いてオブジェクトのマッチングをとることにより、画像内から静止物体と動物体とを検出するものである。
【背景技術】
【０００２】
近年、知的情報処理技術の実現に向けての画像認識処理技術の要求が高まっている。特に、人間に近い動作・判断をする知能ロボットの実現や、リアルタイムでの画像認識処理においては、カメラ等から取り込んだ画像を高速に処理する必要があり、処理の高速化が求められている（非特許文献３および非特許文献４参照）。
【０００３】
そのためには、入力画像中の様々なオブジェクトから、対象となるオブジェクトを分割し取り出す、画像分割処理が必要である。そして、画像分割処理のアルゴリズムとして、LEGION(Locally Excitatory Globally Inhibitory Oscillator Network)（非特許文献２、非特許文献６、および非特許文献７参照）に基づいたセルオートマトン型ディジタル画像分割アーキテクチャが提案されている（非特許文献１１および１３参照）。
【０００４】
さらに、これまでの研究では、セルオートマトン型ディジタル画像分割アーキテクチャのハードウェア化が行われるとともに、セルネットワークをフルカスタム設計したチップ（非特許文献８参照）が試作され、その処理時間が測定されている。その測定の結果、セルオートマトン型ディジタル画像分割アーキテクチャによれば、非常に高速で精度良く画像分割処理できることが知られている。
【０００５】
また、知的情報処理技術の実現に向けては、画像内のオブジェクトの動きを検出する技術への要求も高い。これまでに、オブジェクトの動き検出のために、たとえば、特許文献１および特許文献２に記載されているような様々なアルゴリズムが提案されている。
【特許文献１】特開平８−２４１４１４号公報（１９９６年９月１７日公開）
【特許文献２】特開２００２−３１２７９３号公報（２００２年１０月２５日公開）
【特許文献３】特開２００３−３４６１４２号公報（２００３年１２月５日公開）
【特許文献４】特開２００４−１３５０４号公報（２００４年１月１５日公開）
【非特許文献１】N. H. E. Weste and K. Eshraghian, “PRINCIPLES OF CMOS VLSI DESIGN : A System Perspective Second Edition,” Addison-Wesley Publising Company, 1993.
【非特許文献２】D. L. Wang, and D. Terman, “Image segmentation based on oscillator correlation,” Neural Computation, Vol. 9, No. 4, pp. 805-836, 1997.
【非特許文献３】松山隆司,久野義徳,井宮淳,”コンピュータビジョン：技術評論と将来展望,” pp.138-146, 1998.
【非特許文献４】J. C. Russ, “The Image Processing Handbook,” CRC PRESS, 1999.
【非特許文献５】谷口慶治,“画像処理工学,”共立出版株式会社, 1999.
【非特許文献６】H. Ando, T. Morie, M. Nagata and A. Iwata, “A nonlinear oscillator network for gray-level image segmentation and PWM/PPM circuits for its VLSI implementation,” IEICE Trans. Fundamentals, Vol. E83-A, No. 2, pp. 329-336, 2000.
【非特許文献７】H. Ando, T. Morie, M. Miyake, M. Nagata, and A. Iwata, “Image segmentation/extraction using nonlinear cellular networks and their VLSI implementation using pulse-modulation techniques,” IEICE Trans. Fundamentals, Vol. E85-A, No.2, pp. 381-388, 2002.
【非特許文献８】原田洋明,森本高志,小出哲士,マタウシュハンスユルゲン,“全並列画像分割セルネットワークLSI の設計,”平成１４ 年度電気・情報関連学会中国支部連合大会, pp.591-592, 2002.
【非特許文献９】H. J. Mattausch, T. Gyohten, Y. Soda, and T. Koide, “Compact associative-memory architecture with fully-parallel search capability for the minimum Hamming distance,” IEEE Journal of Solid-State Circuits, Vol37, pp. 218-227, 2002.
【非特許文献１０】H ．Kimura, T. Shibata, “Simple-architecture motion-detection analog V-chip based on quasi-two-dimensional processing,” Extended Abstracts of the 2002 International Conference on Solid State Devices and Materials (SSDM2002), pp ．240-241 ，2002.
【非特許文献１１】T. Morimoto, Y. Harada, T. Koide, and H. J. Mattausch, “Low-complexity, highly-parallel color motion-picture segmentation architecture for compact digital CMOS implementation,” Extended Abstracts of the 2002 International Conference on Solid State Devices and Materials (SSDM2002), pp. 242-243, 2002.
【非特許文献１２】Y. Yano, T. Koide, H. J. Mattausch, “Fully parallel nearest Manhattan-distance search memory with large reference-pattern number,” Extended Abstracts of the 2002 International Conference on Solid State Devices and Materials (SSDM2002),pp. 254-255, 2002.
【非特許文献１３】T. Koide, T. Morimoto, Y. Harada, and H. J. Mattausch, “Digital gray-scale/color image-segmentation architecture for cell-network-based real-time applications,” Proceedings of International Technical Conference on Circuits/Systems, Computers and Communications (ITC-CSCC2002), pp. 670-673, 2002.
【非特許文献１４】Bernd Jaehne, “Digital Image Processing,” pp. 481-499, 2002.
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の動き検出のためのアルゴリズムは、フレーム毎に入力画像からと背景との差分をとることで、入力画像における背景部分を取り除き、残っている部分からオブジェクトの動きを認識することにより、処理が比較的簡略化されている。その反面、従来のアルゴリズムは、同時に複数の動体オブジェクトを判別し、動き検出をすることが容易ではないという問題点を有している（非特許文献１０参照）。
【０００７】
すなわち、特許文献１および特許文献２に記載されているアルゴリズムでは、分割されたオブジェクトに関して「色」「重心位置」「面積」といった特徴量を把握して、その特徴量に基づき異なるフレーム間で同一のオブジェクトを認識している。しかしながら、このようなオブジェクトの特徴量を把握するだけでは、画像内に複数のオブジェクトが存在する場合に、フレーム間で同一のオブジェクトを認識することが困難である。なぜなら、複数のオブジェクトが画像内に存在すると、それらのオブジェクトのうち、上記特徴量が近似するものが同一フレーム内に含まれている可能性があり、それらの特徴量が近似するオブジェクトが同一のオブジェクトとして認識されてしまう可能性があるからである。
【０００８】
本発明は、上記従来の問題点に鑑みなされたものであって、画像内に複数のオブジェクトが存在していても、異なるフレーム間で同一のオブジェクトを認識し得る画像処理装置、画像処理集積化回路、画像処理方法、画像処理プログラム、および記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、上記課題を解決するために、入力画像中に含まれる複数のオブジェクトを、その入力画像のフレーム毎に入力画像から分割する画像分割手段と、分割された各オブジェクトについて、そのオブジェクトの前々フレームにおける位置座標と、前フレームの位置座標との差分から、そのオブジェクトの移動量を示す動きベクトルを算出する動きベクトル算出手段と、各オブジェクトについて、そのオブジェクトの前フレームの位置座標と、上記動きベクトルとに基づき、現フレームにおいて各オブジェクトが存在すると推定される位置である推定位置を算出する推定位置算出手段と、上記推定位置と、前フレームの各オブジェクトに関する推定位置以外の特徴量と、現フレームの各オブジェクトに関する推定位置以外の特徴量とに基づき、現フレームと前フレームとの間で同一のオブジェクトを認識するオブジェクト認識手段とを備えていることを特徴としている。
【００１０】
すなわち、入力画像中に含まれるオブジェクトを、画像分割手段を用いてフレーム毎に入力画像から分割するとともに、分割されたオブジェクトに関して「色」「重心位置」「面積」といった特徴量を算出して、その特徴量に基づきフレーム間で同一のオブジェクトを認識することは、知的情報処理技術の実現において重要である。なお、「オブジェクト」とは、入力画像において、画素単位で互いに同一の範疇に属する領域を意味する。
【００１１】
しかしながら、そのように同一のオブジェクトを認識する従来の画像処理方法においては、画像内に複数のオブジェクトが存在する場合に、フレーム間で同一のオブジェクトを認識することが困難であった。これは、複数のオブジェクトが画像内に存在すると、それらのオブジェクトのうち、上記特徴量が近似するものが同一フレーム内に含まれている可能性があり、それらの特徴量が近似するオブジェクトが同一のオブジェクトとして認識されてしまう可能性があるからである。
【００１２】
そこで、本発明の画像処理装置は、特に、動きベクトル算出手段と、推定位置算出手段と、オブジェクト認識手段とを備えている。すなわち、動きベクトル算出手段によりフレーム間で動きベクトルを算出し、その動きベクトルを用いて推定位置算出手段によりオブジェクトの推定位置を算出することにより、異なるフレーム間でのオブジェクトの移動状態を把握することができる。
【００１３】
さらに、オブジェクト認識手段においては、推定位置に基づき同一のオブジェクトを認識しているので、異なるフレーム間でのオブジェクトの移動状態を考慮して同一オブジェクトを認識することができる。
【００１４】
特に、画像分割手段により分割されたオブジェクトについて、動きベクトル算出手段により動きベクトルを算出し、その動きベクトルを用いてオブジェクト認識手段によりフレーム間で同一であるオブジェクトの検出を行うので、複数のオブジェクトのフレーム間での対応付けが可能となる。そのため、単純にフレーム間の画像の差分情報から動いている物体を検出する方法と違い、本発明では動物体の認識だけでなく、静止物体の認識もできる。さらに、カメラがパーンしたりするような撮影画像全てが動いている場合にも物体を検出することが可能となる。
【００１５】
なお、オブジェクト同士が衝突したりする等の事情により、あるオブジェクトについての動きベクトルが突然変化するというような状況も十分考えうる。この場合、推定位置算出手段により算出された推定位置と、オブジェクトの実際の位置との間に誤差が生じ、オブジェクト認識手段が異なるフレーム間で同一のオブジェクトを正しく認識できない可能性がある。
【００１６】
そこで、オブジェクト認識手段は、推定位置以外の特徴量も考慮して、異なるフレーム間で同一のオブジェクトを認識する。つまり、フレーム間で動きベクトルが突然変化したとしても、あるオブジェクトに関する動きベクトル以外の特徴量はフレーム間で同一であることが多いので、本発明のオブジェクト認識手段によれば、動きベクトルが変化したとしても異なるフレーム間で同一のオブジェクトを認識することができる。
【００１７】
このように、本発明の画像処理装置によれば、画像内に複数のオブジェクトが存在する場合においても、異なるフレーム間で同一のオブジェクトを正しく認識することができる。
【００１８】
さらに、上記オブジェクト認識手段は、現フレームの注目オブジェクトと、前フレームの各オブジェクトとの間で、第１差分値および第２差分値に基づく値である距離指標を算出し、その距離指標が最小となるオブジェクトを同一のオブジェクトとして認識するものであり、上記第１差分値は、現フレームにおける注目オブジェクトの推定位置を示す座標と、前フレームにおける各オブジェクトの実際の位置を示す座標との差分値であり、上記第２差分値は、前フレームの各オブジェクトに関する推定位置以外の特徴量と、現フレームの注目オブジェクトに関する推定位置以外の特徴量との差分値であることが好ましい。なお、距離指標としては、たとえば、マンハッタン距離や、ユークリッド距離を用いることができる。
【００１９】
すなわち、あるオブジェクトに関しては、そのオブジェクトがフレーム間で移動しても、そのオブジェクトの特徴量はそれほど変化しない。つまり、異なるフレーム間においてオブジェクト同士の特徴量の差分値を算出すれば、同一のオブジェクトに関するその差分値は最小になるといえる。
【００２０】
本発明のオブジェクト認識手段は、上記の差分値に基づく値を、距離指標として算出し、その距離指標が最小となるオブジェクトを同一のオブジェクトとして認識するので、適切に同一のオブジェクトを認識することができる。
【００２１】
さらに、上述の距離指標は、注目オブジェクトの推定位置の座標と、前フレームにおける各オブジェクトの実際の位置の座標との差分値である第１差分値を考慮して算出されている。
【００２２】
つまり、注目オブジェクトの動きベクトルが突然変化しない限り、注目オブジェクトの推定位置の座標と、その注目オブジェクトの前フレームにおける実際の位置の座標との差分値は、注目オブジェクトの推定位置座標と、注目オブジェクト以外のオブジェクトの前フレームにおける位置座標との差分値よりも小さくなる。すなわち、フレーム間で上記第１差分値が最小になるオブジェクト同士が、同一のオブジェクトであるといえる。
【００２３】
そして、本発明のオブジェクト認識手段は、上記第１差分値に基づく値である距離指標を算出し、その距離指標が最小になるオブジェクトを同一のオブジェクトとして認識する。したがって、より適切に同一のオブジェクトを認識することができる。
【００２４】
また、第１差分値および第２差分値を算出するためには、位置座標の差分値または特徴量の差分値を算出することが必要になる。このように差分値を算出することは、減算器等を設けるといった比較的簡単な回路構成で実現することができる。したがって、本発明によれば、簡易な回路構成で同一のオブジェクトを認識することが可能となる。
【００２５】
さらに、上記推定位置以外の特徴量は、画素数、幅、高さ、および色情報のうち、少なくとも１つを含むものであってもよい。
【００２６】
すなわち、オブジェクトの特徴量として、画素数、幅、高さ、および色情報は、簡易に算出することができる。つまり、画素数、幅、および高さに関しては、オブジェクトに含まれる画素の数をカウントすることにより容易に算出できるし、色情報に関しても画素値から簡易に算出することができる。
【００２７】
したがって、上記構成によれば、簡易にオブジェクトの特徴量を算出できるので、オブジェクト認識手段による同一オブジェクトの認識処理を簡略化することができる。したがって、より簡易な処理で同一オブジェクトを認識することができる。
【００２８】
また、上記推定位置以外の特徴量は、画素数、幅、高さ、および色情報であり、上記第２差分値は、画素数、幅、高さ、および色情報のそれぞれに関する差分値であり、上記オブジェクト認識手段は、現フレームのオブジェクトｉと、前フレームのオブジェクトｊとの間における距離指標をDij、上記第１差分値をIpij、上記画素数の差分値をIaij、上記幅の差分値をIwij、上記高さの差分値をIhij、上記色情報の差分値をIcijとした場合、
Dij＝αIaij＋β（Iwij＋Ihij）＋γIpij＋εIcij       （マンハッタン距離の場合）
または、
Dij＝√ｋ
ｋ＝αIaij2＋βIwij2＋βIhij2＋γIpij2＋εIcij2      （ユークリッド距離の場合）
（α、β、γ、εは、Iaij，Iwij，Ihij，Ipij，およびIcijのそれぞれの大きさに応じて決定される係数）
と設定して、距離指標Dijを算出することが好ましい。
【００２９】
上記構成によれば、第１差分値、画素数、幅、高さ、および色情報のそれぞれについて、係数α、β、γ、εを重みとして設定し、距離指標Dijを算出することができる。したがって、第１差分値、画素数、幅、高さ、および色情報のうち、いずれを重視するかに応じて重み関数を設定し、距離指標を算出することができる。
【００３０】
たとえば、オブジェクトの画素数を重視して同一オブジェクトを認識したいというニーズがある場合には、係数αを、β、γ、εよりも大きく設定すればよい。これにより、第１差分値、画素数、幅、高さ、および色情報の変化のうち、距離指標の値は、画素数の変化に最も大きな影響をうけることになる。このように重みが設定された距離指標を用いれば、オブジェクトの画素数の差分値を重視した同一オブジェクトの認識が可能となる。
【００３１】
このように、上記構成によれば、ユーザニーズに合わせて、重みα、β、γ、εを設定して同一オブジェクトを認識することができる。
【００３２】
また、上記係数α、β、γ、およびεは、α＝２β＝２γ＝εを満たすように設定されていてもよい。
【００３３】
すなわち、差分値Iaij、Iwij、Ihij、Ipij、Icijのうち、Iwij、Ihijはオブジェクトの「サイズ」を示す指標として共通するものである。また、Ipijに関しては、x座標の差分値、y座標の差分値として２つのパラメータが含まれている。
【００３４】
つまり、オブジェクトのサイズの差分値を示すパラメータ、および座標の差分値を示すパラメータがそれぞれ２つあるのに対し、Iaij、Icijに関してはパラメータが１つしかない。このようにパラメータの数が異なると、オブジェクトの「サイズ」および「位置」に偏ったオブジェクト認識がなされてしまう場合がある。
【００３５】
そこで、上記構成では、α＝２β＝２γ＝εとして設定している。これにより、オブジェクトの特徴量としての「サイズ」、「位置」、「画素数」、および「色情報」について、等しい重み関数が設定されることになる。これにより、特定の特徴量に偏ったオブジェクト認識が行われることを防止し、各特徴量の変化に等しいバランスを設定して同一のオブジェクトを認識することができる。
【００３６】
さらに、上記オブジェクト認識手段は、上記推定位置またはそれ以外の特徴量として、正規化された値を用いることが好ましい。
【００３７】
上記構成によれば、特徴量としての推定位置、またはそれ以外の特徴量として、正規化された値を用いる。したがって、特徴量を用いる演算処理において、特徴量のビット数を削減することができるので、より簡易な処理において同一オブジェクトの認識が可能となる。
【００３８】
正規化の手法としては、現実の値を、その特徴量がとり得る最大値で除算する手法を用いることが可能である。この正規化手法によれば、特徴量を０〜１の値に正規化することができるので、特徴量を用いる演算処理を非常に簡略化することができる。
【００３９】
または、正規化の手法として、特徴量の現実の値を、入力画像を分割した領域の大きさに基づく所定値で除算してもよい。たとえば、１つの領域が１６×１６画素の大きさを有するように、画像を複数の領域に分割する場合には、特徴量を１６にて除算すればよい。このように分割された領域の大きさに基づく正規化によっても、特徴量のビット数は十分削減できるので、簡易な処理において同一のオブジェクトを認識することができる。
【００４０】
さらに、本発明の画像処理集積化回路は、上記構成の画像処理装置を集積回路化したことを特徴としている。これにより、画像処理装置における各手段の処理を並列して高速で行うことができるので、リアルタイムで物体検出が可能なハードウェアを提供することもできる。
【００４１】
また、本発明の画像処理方法は、入力画像中に含まれる複数のオブジェクトを、その入力画像のフレーム毎に入力画像から分割する第１ステップと、分割された各オブジェクトについて、そのオブジェクトの前々フレームにおける位置座標と、前フレームの位置座標との差分から、そのオブジェクトの移動量を示す動きベクトルを算出する第２ステップと、各オブジェクトについて、そのオブジェクトの前フレームの位置座標と、上記動きベクトルとに基づき、現フレームにおいて各オブジェクトが存在すると推定される位置である推定位置を算出する第３ステップと、上記推定位置と、前フレームの各オブジェクトに関する推定位置以外の特徴量と、現フレームの各オブジェクトに関する推定位置以外の特徴量とに基づき、現フレームと前フレームとの間で同一のオブジェクトを認識する第４ステップとを備えていることを特徴としている。
【００４２】
上記構成の画像処理方法においては、第１ステップ、第２ステップ、第３ステップ、および第４ステップのそれぞれにおいて、本発明の画像分割手段、動きベクトル算出手段、推定位置算出手段、およびオブジェクト認識手段と同一の処理が実現されている。したがって、本発明の画像処理方法によれば、本発明の画像処理装置と同様の作用効果を得ることができる。
【００４３】
なお、コンピュータに上記画像処理方法における各ステップを実行させる画像処理プログラムにより、コンピュータを用いて本発明の画像処理方法と同様の作用効果を得ることができる。さらに、上記画像処理プログラムをコンピュータ読取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で上記画像処理プログラムを実行させることができる。
【発明の効果】
【００４４】
本発明の画像処理装置は、動きベクトル算出手段と、推定位置算出手段と、オブジェクト認識手段とを備えている。すなわち、動きベクトル算出手段によりフレーム間で動きベクトルを算出し、その動きベクトルを用いて推定位置算出手段によりオブジェクトの推定位置を算出することにより、異なるフレーム間でのオブジェクトの移動状態を把握することができる。
【００４５】
さらに、オブジェクト認識手段においては、推定位置に基づき同一のオブジェクトを認識しているので、異なるフレーム間でのオブジェクトの移動状態を考慮して同一オブジェクトを認識することができる。
【００４６】
したがって、本発明のオブジェクト認識手段は、画像内に複数のオブジェクトが存在していても、異なるフレーム間で同一のオブジェクトを認識することができる。
【００４７】
さらに、オブジェクト認識手段は、推定位置以外の特徴量も考慮して、異なるフレーム間で同一のオブジェクトを認識する。つまり、フレーム間で動きベクトルが突然変化したとしても、あるオブジェクトに関する動きベクトル以外の特徴量はフレーム間で同一であることが多いので、本発明のオブジェクト認識手段によれば、動きベクトルが変化したとしても異なるフレーム間で同一のオブジェクトを認識することができる。
【００４８】
このように、本発明の画像処理装置によれば、画像内に複数のオブジェクトが存在する場合においても、異なるフレーム間で同一のオブジェクトを正しく認識することができるという効果が奏される。
【００４９】
特に、画像分割手段により分割されたオブジェクトについて、動きベクトル算出手段により動きベクトルを算出し、その動きベクトルを用いてオブジェクト認識手段によりフレーム間で同一であるオブジェクトの検出を行うので、複数のオブジェクトのフレーム間での対応付けが可能となる。そのため、単純にフレーム間の画像の差分情報から動いている物体を検出する方法と違い、本発明では動物体の認識だけでなく、静止物体の認識もできる。さらに、カメラがパーンしたりするような撮影画像全てが動いている場合にも物体を検出することが可能となる。
【発明を実施するための最良の形態】
【００５０】
〔１．画像処理回路の構成〕
本発明の画像処理回路（画像処理装置）１は、図１に示すように、画像分割／特徴量計算部２と、物体検出部３とにより構成されている。さらに、画像分割／特徴量計算部２は、結合重み計算部（画像分割手段）４と、リーダーセル計算部（画像分割手段）５と、画像分割セルネットワーク（画像分割手段）６と、物体情報計算部７とを備えている。また、物体検出部３は、検索情報保存部８と、位置情報計算部（動きベクトル算出手段、推定位置算出手段）９と、最小距離検索連想メモリ（オブジェクト認識手段）１０とを備えている。
【００５１】
画像処理回路１における処理を概説すると、入力画像データが、画像分割／特徴量計算部２の画像分割セルネットワーク６に入力され、画像分割処理が行われる。この画像分割処理において、１つのオブジェクトの画像分割処理が完了すると同時に、対応するオブジェクトの画像の特徴量が計算され、その値は物体検出部３に送られフレーム間でマッチング（詳細は後述する）が取られる。最後にこのマッチング結果と検出オブジェクトの位置情報とから、次フレームの推定位置と動きベクトルが計算されるとともにメモリに記憶される。以下、画像処理回路１を構成するこれらのブロックの機能についての説明を行う。
【００５２】
〔１−１．画像分割／特徴量計算部２の構成〕
画像分割／特徴量計算部２は、上述のように、結合重み計算部４と、リーダーセル計算部５と、画像分割セルネットワーク６と、物体情報計算部７とを備えている。
【００５３】
結合重み計算部４は、入力画像データがグレースケール画像の場合には、その輝度値に基づき、また、入力画像がカラー画像の場合には、各Red，Green，Blue成分の輝度値に基づき、画素間の輝度の近さを表す結合重みを計算するものである。また、リーダーセル計算部５は、後述の画像分割処理を行う時にその処理の起点となるリーダーセルを決定するものである。リーダーセルを決定するためには、注目画素と、その周囲に存在するたとえば８つの画素のそれぞれとの間において、結合重み計算部４を用いて結合重みを計算する。そして、その結合重みの和が、予めユーザが指定したしきい値より大きければ、その注目画素をリーダーセルとして決定する。
【００５４】
画像分割セルネットワーク６は、初期化フェーズ、自己発火フェーズ、引火フェーズ、および鎮火フェーズからなる画像分割処理を行うものである。これらのフェーズにおける処理内容の詳細については後述する。
【００５５】
より具体的には、画像分割セルネットワーク６は、図２に示すように、水平結合重みレジスタＷＲ（Ｈ）と、垂直結合重みレジスタＷＲ（Ｖ）と、画像分割セルＣｉ（ｉは整数）とから構成されている（特許文献３および非特許文献１３参照）。
【００５６】
水平結合重みレジスタＷＲ（Ｈ）および垂直結合重みレジスタＷＲ（Ｖ）は、画像分割セルＣｉの間に配置されるとともに、水平・垂直結合重みレジスタが交互になるように配置されている。また、水平結合重みレジスタＷＲ(Ｈ)は、斜め方向と水平方向の画素に関する結合重みＷijを４つ保持し、垂直結合重みレジスタＷＲ(Ｖ)は斜め方向と垂直方向の画素に関する結合重みＷijを４つ保持している。なお、図２における各結合重みレジスタの中の矢印は、保存されるセル間の結合重みの位置関係を模式的に表している。
【００５７】
また、画像分割セルＣｉは、結合重みレジスタＷＲ(Ｈ)・ＷＲ(Ｖ)の出力に基づき、実際に画像分割処理を実行するものである。
【００５８】
さらに、画像分割セルネットワーク６は、図３に示すように、グローバル抑制部１１を備えている。このグローバル抑制部１１は、隣接する画像分割セルにおけるグローバル抑制子Zi（詳細は後述する）の論理和（OR）をとることにより、画像分割セルの各行毎に新しく発火したセルがあるかどうかを示す信号であるZory信号を出力するものである。画像分割セルネットワーク６内でこのZory信号が立ち上がった範囲には、必ず画像分割されたオブジェクトが１つ存在する。
【００５９】
なお、図４（ａ）に示すように、画像分割セルの各列毎に新しく発火したセルがあるかどうかを示す信号であるZorx信号を出力することにより、画像分割されたオブジェクトが存在するｘ座標とｙ座標の範囲を計算するようにしてもよい。また、図４（ｂ）に、ｉ行目におけるグローバル抑制部１１の詳細な構成を示す。
【００６０】
また、物体情報計算部７は、図５に示すように、min-max計算部７ａと、面積/min-max計算部７ｂと、物体情報保存部７ｃと、特徴量計算部７ｄとにより構成されており、画像分割セルネットワーク６により分割されたオブジェクトの特徴量などの情報を計算する。また、図５に示すように、画像分割／特徴量計算部２には、画像分割／特徴量計算部２内の各ブロックにおける処理を統括的に制御する制御回路１２が設けられている。
【００６１】
min-max計算部７ａは、グローバル抑制部１１により出力されるグローバル抑制信号Zoryを用いて、画像分割されたオブジェクトの縦方向（ｙ座標方向）の大きさを計算する回路である。なお、分割されたオブジェクトの大きさを計算するためには、図４（ａ）に示すように改良されたグローバル抑制部１１により出力されるZorx信号を用いてもよい。
【００６２】
また、min-max計算部７ａは、図６に示すように、レジスタ７ｅ…と、min-max検出部７ｆと、デコーダ７ｇ…とを備えている。
【００６３】
レジスタ７ｅは、Zorx信号として１が出力された列の番号を記憶するものである。また、min-max検出部７ｆは、図７に示すように、レジスタ７ｅに記憶された列の番号のうち、最小のものと最大のものとを１とし、それ以外の部分を０として出力するものである。さらに、デコーダ７ｇは、図８に示すように、min-max検出部７ｆにより出力された「１」の情報を、列の番号の情報に変換するものであり、これによりオブジェクトの横方向（ｘ座標方向）の大きさを計算することができる。
【００６４】
上記の処理により、min-max計算部７ａは、図９のように検出されたオブジェクトiの４つの座標xi,min, xi,max, yi,min, yi,maxのうち、xi,min とxi,max とを求める。また、xi,minとxi,max の情報を用いることで、以降の面積計算処理の計算範囲を絞りこむことができる。なお、min-max計算部７ａの詳細な構成を図１０に示す。
【００６５】
面積/min-max計算部７ｂは、min-max計算部７ａで計算されたxi,min，xi,maxの範囲で、検出されたオブジェクトの面積および残りの座標情報の計算を行う。これらの計算は、画像分割結果の１つのオブジェクトの分割結果の出力と並行して行われる。
【００６６】
具体的に説明すると、面積/min-max計算部７ｂは、図１１に示すように、レジスタ７ｈ…と、カウンタ７ｉ…と、加算器７ｊとを備えている。まず、図１１に示す制御回路１２は、画像分割セルネットワーク６において、xi,maxの位置から１列ずつ分割領域であるかをチェックし、１つのオブジェクトの分割領域であれば１を、そうでなければ０をレジスタ７ｈに記憶する。このとき、制御回路１２は、レジスタ７ｈからの信号をカウンタ７ｉに出力する。このような１つのオブジェクトの分割領域のチェック処理、および「０」または「１」の出力処理を、xi,minの場所まで繰り返す。
【００６７】
これにより、(xi,min, xi,max)間において「０」または「１」の出力処理が終了したとき、カウンタ７ｉには、画像分割セルネットワーク６における行ごとの１つのオブジェクトの画素数が入力されるので、全てのカウンタ７ｉ…の値を加算器７ｊを用いて足すことにより、現在分割されている１つのオブジェクトの面積を画素数ajとして計算することができる。
【００６８】
さらに、面積/min-max計算部７ｂは、オブジェクトの面積と同時に、yi,min, yi,maxの値も求める。具体的に説明すると、yi,min, yi,maxは、面積の計算のためにレジスタ７ｈに記憶した値が１以上の行を検出し、その中で最も上にあるy座標をyi,max 、最も下にあるy座標をyi,minとすることにより、yi,min, yi,max の値を求める。なお、面積/min-max計算部７ｂの詳細な構成を図１２に示す。
【００６９】
物体情報保存部７ｃは、図１３に示すように、レジスタ７ｋ…で構成されており、各レジスタ７ｋには、上述のように計算されたオブジェクトの画素数ai と、xi,min，xi,max， yi,min， yi,maxの４つの座標が保存されている。
【００７０】
特徴量計算部７ｄは、物体情報保存部７ｃに保存された座標データの中から、そのオブジェクトのサイズ(幅wi(t)，高さhi(t))，位置(xi(t),yi(t))および、色情報ci(t)を計算するものである。サイズおよび位置情報の計算方法の詳細は後述するが、計算結果を除算器により０〜１の範囲に正規化するのは、ハードウェアのコストが大きくなる場合がある。
【００７１】
そこで、ビット数を削減する方法をシミュレーションした結果、大きさが16×16画素の領域を基準として入力画像をブロックで分割することで、それぞれ情報のビット数の削減が可能であることがわかった。たとえば、図１４に示すように、入力画像が240×320画素の大きさであれば、縦方向は１５ブロック、横方向は２０ブロックに分割される。このようにビット数を削減する方法を用いることにより、各情報のビット数は表１のように削減することができる。
【００７２】
【表１】
2006072763.tif 000003
【００７３】
なお、検出されたオブジェクトの色情報は、同一物体との比較でも0〜8の範囲でずれていることもあるので、この範囲に対応するビット数を削減する。
【００７４】
また、特徴量計算部７ｄは、図１５に示すように、座標およびサイズを計算する減算器７ｌ…および加算器７ｍ…と、ビット数を削減するシフタ７ｎ…とにより構成されている。また、色情報は、これまでに得られた座標情報を、特徴量計算部７ｄ内の入力メモリ７ｏに転送することで４点の色情報を受け取り、それらを平均することで得られる。なお、特徴量計算部７ｄで計算された値は、物体情報保存部７ｃに記憶される。
【００７５】
このように、画像分割／特徴量計算部２は、画像分割セルネットワーク６と、min-max計算部７ａと、面積/min-max計算部７ｂと、物体情報保存部７ｃと、特徴量計算部７ｄとにより構成されている。画像分割／特徴量計算部２に係る詳細な構成を、図１６に示す。
【００７６】
〔１−２．物体検出部３の構成〕
物体検出部３は、図１７に示すように、検索情報保存部８と、動きベクトル計算部（動きベクトル算出手段）９ａと、推定位置計算部（推定位置算出手段）９ｂと、最小距離検索連想メモリ（非特許文献９および非特許文献１２参照）１０とを備えている。なお、図１に示した位置情報計算部９は、動きベクトル計算部９ａと、推定位置計算部９ｂとにより構成される。
【００７７】
物体検出部３における処理を概説すると、画像分割／特徴量計算部２で計算されたある時刻tにおける画像の特徴量、すなわち画像の面積，サイズ，位置、および色情報が、検索情報保存部８に記憶された後、最小距離検索連想メモリ１０に渡される。
【００７８】
そして、最小距離検索連想メモリ１０でマッチングを取った後に、マッチングしたオブジェクトの情報と、検索情報保存部８の位置情報とが動きベクトル計算部９ａに送られ、動きベクトル計算部９ａにおいてフレーム間におけるオブジェクトの移動量が計算される。
【００７９】
このように計算されたオブジェクトの移動量と、オブジェクトの現在位置から、フレームt+1の時の推定位置が推定位置計算部９ｂで計算される。以下、物体検出部３を構成する各ブロックの機能についての説明を行う。
【００８０】
検索情報保存部８は、現フレームで分割されたオブジェクトの特徴量として、画素数、サイズ、位置および色情報を保存し、マッチング用のデータとして最小距離検索連想メモリ１０にこれらの特徴量を出力するものである。検索情報保存部８の回路構成を図１８に示す。
【００８１】
最小距離検索連想メモリ１０は、保持している前フレームt−1のオブジェクトの特徴量と、検索情報保存部８に記憶している現フレームtのオブジェクトの物体情報とのマッチングを取り、前フレームと現フレームとの間において最も近いオブジェクトを検索するものである。
【００８２】
図１９に、最小距離検索連想メモリ１０の構成を示す。図１９に示すように、最小距離検索連想メモリ１０は、メモリ領域１０ａと、ウィンナ・ルーザ距離増幅を行うウィンナ・ラインアップ増幅器（以下、ＷＬＡ）１０ｂと、ウィンナ・テイクオール回路（以下、ＷＴＡ）１０ｃとで構成される。
【００８３】
さらに、メモリ領域１０ａは、集積化されたユニット比較器ＵＣi,j（ｉ＝１〜Ｒ，ｊ＝１〜Ｗ、添え字ｉ，ｊの範囲は以下同様）を備えるＲ行、Ｗ列の蓄積セルＳＣi,jと、ワード比較に重み付けを行ったワード比較器ＷＣｉとから構成される。
【００８４】
また、メモリ領域１０ａの左辺には、Ｒ行のロウデコーダ１０ｄが接続され、上辺には入力データ（Ｋ×Ｗビット）を入力するワード検索部１０ｅが配置される。また、下辺にはＫ×Ｗカラムのカラムデコーダ１０ｆが接続され、蓄積セルごとに読み出し・書き込みが行われる。なお、Ｋ×Ｗビットの参照ワードは、予め各蓄積セルＳＣi,jに書き込まれ、ワード検索部１０ｅに入力されるＫ×Ｗビットの入力ワードに最も類似する最小距離参照ワードがウィンナとして読み出される。また、最小距離検索連想メモリ１０の詳細については、特許文献４を参照されたい。
【００８５】
また、最小距離検索連想メモリ１０に記憶されている情報は、表２のようになっており、このうち実際に検索に使用される情報は画素数、サイズ、位置情報、色情報である。使用されない情報である動きベクトルは、後述する動きベクトル計算部９ａの計算結果として計算される。
【００８６】
【表２】
2006072763.tif 000004
【００８７】
動きベクトル計算部９ａは、図２０に示すように、減算器を備えるものであり、検索情報保存部８の位置情報（xn(t−1)，yn(t−1)）と、最小距離検索連想メモリ１０とによりマッチングが取られたオブジェクトの位置情報（xn(t)，yn(t)）とから、動きベクトル（mvx(t)，mvy(t)）を求めるものである。
【００８８】
具体的には、動きベクトル計算部９ａは、以下の式に基づき、動きベクトルを求める。
【００８９】
mvx(t)=xn(t)−xn(t−1)
mvy(t)=yn(t)−yn(t−1)
なお、動きベクトル計算部９ａの計算結果は、マッチングが取られた最小距離検索連想メモリ１０の情報に上書きされる。
【００９０】
推定位置計算部９ｂは、図２１に示すように、加算器を備えるものであり、以下の式に示すように、動きベクトル計算部９ａにより計算された動きベクトル（mvx(t)，mvy(t)）と、現フレームの位置情報（xn(t)，yn(t)）を足すことで、次フレームでの推定位置（xn(t+1)，yn(t+1)）を計算するものである。
【００９１】
xn(t+1)=xn(t)+mvx(t)
yn(t+1)=yn(t)+mvy(t)
このように、物体検出部３は、検索情報保存部８と、動きベクトル計算部９ａと、推定位置計算部９ｂと、最小距離検索連想メモリ１０とにより構成されている。物体検出部３に係る詳細な構成を、図２２に示す。
【００９２】
〔２．画像処理アルゴリズム〕
次に、上記構成の画像処理回路１による画像処理アルゴリズム（画像処理方法）について説明する。本実施形態の画像処理アルゴリズムは、図２３に示すように、(1)画像分割，(2)特徴抽出，(3)連想マッチング，(4)動き検出の４つのブロックから成っている。
【００９３】
先ず、画像処理アルゴリズムの流れについて概説する。画像処理アルゴリズムが開始されると（ステップ０、以下ステップを単に「Ｓ」と記載する）、制御回路１２（図５参照）により入力フレームデータが存在するか否かのチェックが行われる（Ｓ１）。
【００９４】
このとき、入力フレームデータが存在しない場合は、画像処理アルゴリズムは終了する。一方、入力フレームデータが存在する場合は、そのフレームに対して画像分割処理が行われる。ここで、ある１領域（１オブジェクト）が画像分割されると、その結果から後述の特徴抽出処理が実行される。以下に、入力フレームデータが存在するか否かを確認するアルゴリズムの記述例を示す。
【００９５】
【数１】
2006072763.tif 000005
【００９６】
特徴抽出処理が実行された後、分割された１つのオブジェクトの情報に基づき連想マッチング処理が実行される。そして、連想マッチング処理と同時に、入力画像に対して次の領域の分割処理が始まる。なお、新しく分割される領域がないときは、Ｓ１の入力フレームデータのチェック処理に戻る。
【００９７】
また、連想マッチング処理は、特徴抽出処理の結果に基づき、フレーム間でオブジェクトごとに特徴量の距離指標（たとえばマンハッタン距離、ユークリッド距離。詳細は後述する）を計算し、最も距離指標が小さいオブジェクトを同一のオブジェクトして認識する。その後、元のオブジェクトおよび検索されたオブジェクトの位置情報から、移動量を計算するとともに、動きベクトルを求めた後、画像分割処理に戻る。また、連想マッチング処理の際に一致するオブジェクトが存在しない場合は、分割されたオブジェクトを新しいオブジェクトとして認識し、画像分割処理に戻る。以下、画像処理アルゴリズムにおける各処理の詳細について、具体的に説明を行う。
【００９８】
〔２−１．画像分割処理のアルゴリズム〕
本実施形態では、セルネットワークに基づく画像分割アルゴリズム（特許文献３参照）をオブジェクトの抽出に用いる。この画像分割アルゴリズムの特徴として、比較的に簡単な処理で画像分割が実現できること、またその処理サイクル数も少なく高速であること、並列処理が可能であることなどを挙げることができる。さらに、この画像分割アルゴリズムは、初期化フェーズ、自己発火フェーズ、引火フェーズ、および鎮火フェーズの４つの段階に分けられる。以下、各フェーズにおける処理の詳細を説明する。
【００９９】
先ず、初期化フェーズ（Ｓ２）においては、発火中のセルが存在するかどうかを決定するための変数ｚ（グローバル抑制子）を０に設定する。ｚ＝１の場合、発火中のセルが存在すること、すなわち１つの領域の画像分割処理が続いていることを表し、ｚ＝０の場合には、発火中のセルが存在しない、すなわち１つの領域の画像分割処理が終わったことを表す。
【０１００】
また、各セルｉには、状態変化の有無を表す変数ｚiを用意するとともに、非発火状態から発火状態へ遷移した場合にのみｚi＝１とし、それ以外はｚi＝０とする。この変数ｚiをもとに、フレームｔにおけるグローバル抑制子ｚ（ｔ）の値を全てのｚiの論理和として、ｚ(t)＝∪∀iｚi（ｔ）と定義する。ここで、∪は論理和（ＯＲ）演算子を表す。
【０１０１】
また、初期化フェーズにおいては、入力画像データとしてグレースケールの画像データが結合重み計算部４（図５等参照）に入力される。グレースケールの画像データとは、画像の輝度値であり、その値は0〜255の範囲に入っている。そして、Ｓ２の初期化フェーズにおいては、この画像データの輝度値に基づき、結合重み計算部４により、画素間の輝度の近さを表す結合重みＷikが計算される。この結合重みＷikは下式で表される。
【０１０２】
Ｗik=Ｉmax／（１＋│Ｉi−Ｉｋ│），ｋ∈N(i)
なお、Ｉi，Ｉｋは画素ｉ，ｋの輝度値であり、Ｉmaxは画素の輝度値の最大値であり、輝度値を８ｂｉｔで表現した場合はＩmax＝２５５となる。
【０１０３】
さらに、Ｓ２における初期化フェーズでは、リーダーセル計算部５（図５等参照）により、リーダーセルが存在するか否かが判断される（Ｓ３）。すなわち、リーダーセル計算部５は、注目画素の近傍の結合重みＷikの和Σｋ∈N(i)Ｗikを計算するとともに、その値がしきい値φｐより大きければリーダーセルが存在すると判断する。
【０１０４】
さらに、Σｋ∈N(i)Ｗikがφｐより大きい場合には、自己発火の可否を表す変数ｐｉを１に設定し、リーダーセルを自己発火可能なセルとして決定する。Σｋ∈N(i)Ｗikがφpに等しい、またはそれより小さい場合（Σｋ∈N(i)Ｗik≦φp）には、ｐi＝０（自己発火不可能）に初期化する。
【０１０５】
また、Ｓ２における初期化フェーズでは、全てのセルについて、そのセルが発火しているかどうかを示す変数ｘi(t)を０に設定する。なお、この変数ｘi(t)は、セルが発火状態にある場合には１に設定される。
【０１０６】
Ｓ３においてリーダーセルが存在すると判断された場合、画像処理アルゴリズムは、実際に画像分割処理を行う自己発火フェーズ（Ｓ４）に移行する。自己発火フェーズにおいては、初期化フェーズで決定したリーダーセルのうちの一つが発火状態とされる。
【０１０７】
さらに、Ｓ４における自己発火フェーズでは、制御回路１２により、発火可能なセルが存在するか否かが判断される（Ｓ５）。
【０１０８】
すなわち、制御回路１２は、非発火状態のセルに隣接する８つのセルの中で発火状態になっているセルと、その非発火状態のセルとの間において結合重みの和Ｓｉ(t)＝Σｋ∈N(i)（Ｗik×xk（t)）を算出し、その結合重みの和を所定のしきい値φZと比較する。そして、結合重みの和が所定のしきい値より大きければ、その非発火状態のセルを、新たに発火可能なセルとして判断し、引火する（Ｓ６）。
【０１０９】
一方、結合重みの和が所定のしきい値より小さければ、発火可能なセルがないと判断し、Ｓ７の鎮火処理を行う。このＳ５〜Ｓ７における処理を、非発火のリーダーセルがなくなるまで行い、リーダーセルがなくなれば画像分割処理を終了させる。
【０１１０】
図２４（ａ）および図２４（ｂ）に、上記の画像分割処理によりグレースケール画像を画像分割した結果を示す。また、図２４（ｃ）および図２４（ｄ）にカラー画像に対して上記画像分割処理により画像分割を行った結果を示す。図２４（ｃ）および図２４（ｄ）に示すように、上記の画像処理アルゴリズムによれば、カラー画像に対しても、精度良く分割することができる。
【０１１１】
また、上記の画像分割アルゴリズムを用いて画像分割処理を行った場合における、画素数と処理時間との関係を図２５に示す。なお、図２５のシミュレーションでは、複数のサンプル画像を入力データとして与え、画素数の平方根（画像の一辺の長さを表す）と画像分割に要する処理時間の最長時間と最短時間を計測した。また、計算式により最悪ケースの処理時間を見積もるために、自然画像では非常に希なケースであるが画像分割領域が多くなる理論上の最悪の場合のケースとして、白黒の格子状の規則正しい画像を想定した場合の予想される画像分割処理時間もグラフに示している。
【０１１２】
以下に、画像分割処理のアルゴリズムの記述例を示す。
【０１１３】
【数２】
2006072763.tif 000006
【０１１４】
〔２−２．特徴抽出処理のアルゴリズム〕
上述の画像分割処理が終了した後、画像処理アルゴリズムは、特徴抽出処理に移行する。特徴抽出処理においては、先ず、画像分割処理により分割されたオブジェクトの特徴量として、min-max計算部７ａ（図５参照）により、時刻ｔにおいて分割されたオブジェクトiの左端の座標xi,min(t)、および右端の座標xi,max(t)が求められる（Ｓ８）。なお、オブジェクトｉと座標xi,min(t)および座標xi,max(t)との関係を、図９に示す。
【０１１５】
Ｓ８の後、面積/min-max計算部７ｂ（図５参照）により、オブジェクトｉの特徴量として、面積ai(t)（画素数），座標yi,min,およびyi,maxの値が求められる（Ｓ９）。なお、図９に示すように、座標yi,minは、オブジェクトｉにおける下端の座標であり、座標yi,maxは、オブジェクトｉにおける上端の座標である。
【０１１６】
さらに、Ｓ９の後、特徴量計算部７ｄ（図５参照）により、オブジェクトｉのサイズ(幅：wi(t)，高さ：hi(t))，位置情報(xi(t)，yi(t))，色情報ci(t)が求められる（Ｓ１０）。
【０１１７】
上述のオブジェクトの特徴のうち、面積ai(t)は画像分割結果の出力時に画素数をカウントすることで求める。サイズおよび位置情報は、各オブジェクトの現フレームtでのx,y座標それぞれの最大および最小値を求め、その値を用いて計算する。
【０１１８】
すなわち、分割されたオブジェクトi の左下の座標を(xi,min(t), yi,min(t )),右上の座標を(xi,max(t),yi,max(t))とすると、サイズ(wi(t ),hi(t))および位置座標(xi(t),yi(t))は、以下の式に基づき算出される。
【０１１９】
wi(t)=xi,max(t)−xi,min(t)
hi(t)=yi,max(t)−yi,min(t)
xi(t)=｛xi,max(t)+xi,min(t)｝／２
yi(t)=｛yi,max(t)+yi,min(t)｝／２
また，色情報は、xi,max(t)，xi,min(t)，yi,max(t)，yi,min(t)における各座標の色情報(R, G, B)を入力メモリから取り込んでおくことにより求められる。
【０１２０】
Ｓ８〜Ｓ１０を踏むことにより求められた特徴量を用いて、後述の連想マッチング処理が行われる。
【０１２１】
以下に、特徴抽出処理のアルゴリズムの記述例を示す。
【０１２２】
【数３】
2006072763.tif 000007
【０１２３】
〔２−３．連想マッチング処理のアルゴリズム〕
連想マッチング処理は、特徴抽出処理で計算された情報を検索情報保存部８（図１７参照）から最小距離検索連想メモリ１０（図１７参照）に書き込み（Ｓ１１）、最小距離検索連想メモリ１０においてオブジェクトの距離指標を計算するとともに、その距離指標が最小のオブジェクトを検出する（Ｓ１２）処理である。
【０１２４】
ここで、オブジェクトiと、オブジェクトjとの間における時刻tの距離指標Dij(t)は、オブジェクトi,jの画素数、サイズ、位置、および色情報の差分の絶対値であるIaij(t)、Isij(t)、Ipij(t)、Icij(t)によって表される。
【０１２５】
つまり、距離指標としてマンハッタン距離を用いるならば、Dij(t)は下式で表される。
【０１２６】
Dij(t)=αIaij＋βIsij＋γIpij＋εIcij
なお、α,β,γ,εはそれぞれ情報に対する重みを表している。
【０１２７】
一方、距離指標としてユークリッド距離を用いるならばDij(t)は下式で表される。
【０１２８】
Dij＝√ｋ
ｋ＝αIaij2＋βIsij2＋γIpij2＋εIcij2
また、ここでは現フレームtの位置情報(xi(t),yi(t))として、図２６に示すように、前のフレームt−1の位置座標(xi(t−1),yi(t−1))にそのときの動きベクトル(mvxi(t−1)，mvyi(t−1))の値を加えた推定位置(xi(t)'，yi(t)')を用いるが、１フレーム目(＝０)に関しては動きベクトルが計算できないので、１フレーム目の位置情報を２フレーム目の位置情報としてそのまま用いる。
【０１２９】
なお、(xi(t)'，yi(t)')を求めるための式を以下に示す。
【０１３０】
xi(t)'＝xi(t−1)＋mvxi(t−1)
yi(t)'＝yi(t−1)＋mvyi(t−1)
これらの結果から距離指標を計算するが、サイズおよび位置情報に関しては、wi(t)，hi(t)，xi，yiというようにそれぞれ２つのパラメータがあるのに対し、画素数および色情報は１つのパラメータしかない。そこで、画素数および色情報を２倍することによって重みの調節を行う。
【０１３１】
つまり、画素数の差の絶対値をIaij(t)、幅，高さのそれぞれに関するサイズ情報の差の絶対値をIwij(t)，Ihij(t)，x座標およびy座標のそれぞれに関する位置情報の差の絶対値をIxij(t)，Iyij(t)，色情報の差の絶対値をIcij(t)とすると、距離指標Ｄijは下式で表される。
【０１３２】
Ｄij＝２Iaij(t)＋（Iwij(t)＋Ihij(t)）＋（Ixij(t)＋Iyij(t)）＋２Icij(t)
また、色情報の差の絶対値Icijは、下式で表される。
【０１３３】
Icij＝max(│Cri-Crj│,│Cgi-Cgj│,│Cbi-Cbj│)
なお、Cr，Cg，Cbのそれぞれは、赤，緑，青の色情報であり、添え字で付されたiまたはjの文字が、オブジェクトiまたはオブジェクトjのいずれの色情報であるのかを示している。
【０１３４】
しかし、各情報の最大値は、表３(ＱＶＧＡサイズの場合)のようになり、計算結果をそのまま使うと、画素数の値がマンハッタン距離に与える影響が大きくなりすぎるため、各情報を0〜1の範囲に正規化することで全体のバランスを取る。
【０１３５】
【表３】
2006072763.tif 000008
【０１３６】
たとえば、計算された値をそれぞれの値の最大値で割ることによって正規化を行うことが可能である。すなわち、オブジェクトi，j間の距離指標として正規化されたマンハッタン距離は下式で表される。そして、最小距離検索連想メモリ１０は、正規化されたマンハッタン距離をフレームのオブジェクトごとに計算して（Ｓ１２）、最もマンハッタン距離が小さいものを同じオブジェクトとして認識する。
【０１３７】
Dij=2×Iaij／217＋(Iwij／29＋Ihij／28)＋(Ixij／29＋Iyij／28)＋2×Icij／28
なお、このように計算結果を除算することにより正規化すると、上述のようにハードウェアのコストが大きくなる場合があるので、表１のように、所定の大きさの領域を基準として入力画像を分割することにより、各情報のビット数を削減してもよい。
【０１３８】
また、最小の距離指標の値が所定値以上である場合、最小距離検索連想メモリ１０は、そのオブジェクトを画像内に新たに登場したオブジェクトとして認識する（Ｓ１３）。
【０１３９】
以下に、連想マッチング処理のアルゴリズムの記述例を示す。
【０１４０】
【数４】
2006072763.tif 000009
【０１４１】
〔２−４．動き検出処理のアルゴリズム〕
動き検出処理においては、先ず、動きベクトル計算部９ａ（図１７参照）により、動きベクトルの計算が行われる（Ｓ１４）。すなわち、検索するオブジェクトのフレームtにおける位置情報を(xn(t),yn(t))、検出されたオブジェクトのフレームt−1における位置情報を(xn(t−1)，yn(t−1))とすると、フレームtにおける動きベクトル(mvx(t)， mvy(t))は、下式で表される。
【０１４２】
mvx(t)=xn(t)−xn(t−1)
mvy(t)=yn(t)−yn(t−1)
次のこの動きベクトルを用いて、物体検出に用いられる次フレームt+1での推定位置（xn(t−1)，yn(t−1)）が、推定位置計算部９ｂ（図１７参照）により計算される。次フレームt+1での推定位置(xn(t+1),yn(t+1))は、下式で表される。
【０１４３】
xn(t+1)=xn(t)+mvx(t)
yn(t+1)=yn(t)+mvy(t)
そして、このように計算された推定位置(xn(t+1),yn(t+1))を、推定位置計算部９ｂから最小距離検索連想メモリ１０に書き込む（Ｓ１６）ことにより、動き検出処理が終了する。
【０１４４】
以下に、動き検出処理のアルゴリズムの記述例を記載する。
【０１４５】
【数５】
2006072763.tif 000010
【０１４６】
〔３．画像処理アルゴリズムのシミュレーションとその結果〕
本発明者らは、上記構成の画像処理回路１を用いて、実際の画像に対して本発明の画像処理アルゴリズムをシミュレーションしたので、その結果を以下に説明する。なお、このシミュレーションは、全ての情報量について表１の値に正規化された値を用いるとともに、Mathworks社のMATLABを用いて行われた。
【０１４７】
〔３−１．連続した静止画像に対する動き検出処理〕
最初に、３個のオブジェクトが左から右に移動する画像（図２７参照）に対して、本発明の画像処理アルゴリズムによる動き検出を行った。なお、実際に入力画像にMorphology処理（非特許文献１４参照）を行った画像を図２８（ａ）〜図２８（ｃ）、図２８（ａ）に示された１フレーム目の画像を画像分割した結果を図２９（ａ）〜図２９（ｃ）に示す。
【０１４８】
また、これらの画像から計算した特徴量の例として、３フレーム目のオブジェクト３に、および２フレーム目のオブジェクトに係る特徴量を計算した結果を表４に示す。
【０１４９】
【表４】
2006072763.tif 000011
【０１５０】
なお、表４におけるラベル(t,i)は、tフレーム目のオブジェクト番号ｉを表しており、面積，幅，高さ，位置，色情報はそれぞれ画像分割された後のオブジェクトから求めた特徴量であり、α＝1/162、β＝γ＝1/16、ε＝1/8により正規化し小数第一位を四捨五入したものである。
【０１５１】
また、表４においては、距離指標としてのマンハッタン距離およびユークリッド距離を併記しており、これらの距離指標は、それぞれのオブジェクトとラベル（３，３）が付されたオブジェクトとの間における距離指標を示している。
【０１５２】
たとえば、オブジェクト（３，３）とオブジェクト（２，３）との間のマンハッタン距離をＤＭとすると、
ＤＭ＝│６−７│＋│２−３│＋│３−３│＋│１３−１２│＋│１２−１１│＋│４−５│＋│０−１│
＝６
となる。
【０１５３】
また、オブジェクト（３，３）とオブジェクト（２，３）との間のユークリッド距離をＤＥとすると、
ＤＥ＝√ｋ
ｋ＝（６−７）２＋（２−３）２＋（３−３）２＋（１３−１２）２＋（１２−１１）２＋（４−５）２＋（０−１）２
となり、ＤＥ＝２として求められる。
【０１５４】
なお、ＤＥを求めるにあたり、小数第一位は四捨五入されている。
【０１５５】
なお、以下に記載する表においても、ラベル、マンハッタン距離およびユークリッド距離は、表４と同様に記載している。
【０１５６】
この表４から、距離指標に関しては、ラベル(２，３)が付されたオブジェクトとの値が最も小さくなっていることがわかる。これはすなわち、ラベル（３，３）のオブジェクトと、ラベル（２，３）のオブジェクトとが同一のものであるとして認識されていることを示しており、２フレーム目の画像と３フレーム目の画像との間において同一のオブジェクトが正しく認識されていることがわかる。
【０１５７】
また、動き検出処理は前フレームで計算した動きベクトルをもとに現フレームの推定位置を計算し、この推定位置と実際の位置の差とに基づき距離指標を計算している。そこで、図３０（ａ）〜図３０（ｅ）に示すように、実際に動きベクトルがオブジェクトの移動中において変化する画像に対して、本発明の画像処理アルゴリズムによる動き検出処理を行った。この処理により、推定位置が変わっても他の特徴量から正しくオブジェクトを認識できるかを検証することができる。
【０１５８】
なお、図３０（ａ）〜図３０（ｅ）は、左側の青いオブジェクト１と、右側の赤いオブジェクト２とが３フレーム目で衝突し（図３０（ｃ）参照）、４フレーム目でオブジェクト１およびオブジェクト２の移動方向が１８０°変化する（図３０（ｄ）参照）という一連の流れを示す画像である。オブジェクト１とオブジェクト２とが衝突した後のフレームにおけるオブジェクトの特徴とその差を表５に示す。
【０１５９】
【表５】
2006072763.tif 000012
【０１６０】
表５より，ラベル（４，１）が付されたオブジェクトとラベル（３，１）が付されたオブジェクトとの間における位置（ｘｉ）に関するマンハッタン距離は５（＝１３−８）となる。このマンハッタン距離は、ラベル（４，１）が付されたオブジェクトとラベル（３，２）が付されたオブジェクトとの間における位置（ｘｉ）に関するマンハッタン距離３（＝１３−１０）より大きくなる。ユークリッド距離についても同様に、ラベル（４，１）が付されたオブジェクトとラベル（３，１）が付されたオブジェクトとの間における位置（ｘｉ）に関するものが、ラベル（４，１）が付されたオブジェクトとラベル（３，２）が付されたオブジェクトとの間における位置（ｘｉ）に関するものよりも大きい。
【０１６１】
しかし、ラベル（４，１）が付されたオブジェクトとラベル（３，２）が付されたオブジェクトとの間における色情報（Ｃｉ）に関するマンハッタン距離は、ラベル（４，１）が付されたオブジェクトとラベル（３，１）が付されたオブジェクトとの間における色情報（Ｃｉ）に関するマンハッタン距離よりも大きい。色情報（Ｃｉ）に関するユークリッド距離についても同様である。
【０１６２】
そのため、全ての特徴量を考慮した距離指標は、ラベル（４，１）が付されたオブジェクトとラベル（３，１）が付されたオブジェクトとの間における距離指標の方が小さくなっている。したがって、本発明の画像処理アルゴリズムによれば、オブジェクトの移動中に動きベクトルが変化しても、同一のオブジェクトが認識できることを検証できた。
【０１６３】
〔３−２．動画像に対する動き検出処理〕
次に実際に撮影した動画から１フレームずつ切り出した画像に対して、本発明の画像処理アルゴリズムを適用した結果について説明する。
【０１６４】
まず複数のオブジェクトがランダムに動いている動画（図３１（ａ）〜図３１（ｋ）参照）に対して動き検出処理を行った。図３２に、１フレーム目の画像（図３１（ａ）参照）を画像分割した結果の画像を示す。
【０１６５】
これらの画像のうち、７フレーム目のオブジェクト５（ラベル（７，５）のオブジェクト、図３１（ｇ）参照）の変化が最も大きいので、このオブジェクトと、６フレーム目のオブジェクトのそれぞれとの間において計算した距離指標を表６に示す。
【０１６６】
【表６】
2006072763.tif 000013
【０１６７】
表６に示すように、ラベル（７，５）が付されたオブジェクトと、ラベル（６，１）〜（６，６）のそれぞれが付されたオブジェクトとの間における距離指標のうち、ラベル（７，５）が付されたオブジェクトとラベル（６，５）が付されたオブジェクトとの間における距離指標が最小である。この結果より、複数のオブジェクトがランダムに動いている動画に対しても、本発明の動き検出処理を行えば、同一のオブジェクトを認識できることを検証した。
【０１６８】
次に、ボールが床に衝突して跳ね返ることにより、動きベクトルが急激に変化する画像（図３３（ａ）〜図３３（ｆ），図３４（ａ）〜図３４（ｆ）)に対して、本発明の画像処理アルゴリズムを適用した。なお、図３３（ａ）に示す画像を画像分割した結果を図３５（ａ）〜図３５（ｄ）に示し、図３４（ａ）に示す画像を画像分割した結果を図３６（ａ）〜図３６（ｄ）に示す。
【０１６９】
また、図３３（ａ）〜図３３（ｆ）の画像を分割した画像に関して距離指標を算出した結果を表７に示し、また、図３４（ａ）〜図３３（ｆ）の画像を分割した画像に関して距離指標を算出した結果を表８に示す。
【０１７０】
【表７】
2006072763.tif 000014
【０１７１】
【表８】
2006072763.tif 000015
【０１７２】
表７に示すとおり、ラベル（４，３）のオブジェクトと、ラベル（３，１）〜ラベル（３，４）のオブジェクトのそれぞれとの間における距離指標のうち、ラベル（４，３）のオブジェクトと、ラベル（３，３）のオブジェクトとの間における距離指標が最も小さい。また、表８に示すとおり、ラベル（５，２）のオブジェクトと、ラベル（４，１）〜ラベル（４，４）のオブジェクトのそれぞれとの間における距離指標のうち、ラベル（５，２）のオブジェクトと、ラベル（４，２）のオブジェクトとの間における距離指標が最も小さい。
【０１７３】
したがって、これらの表７および表８から、本発明の画像処理アルゴリズムによれば、動きベクトルが急激に変化する場合でも正確に同一のオブジェクトを認識できることがわかる。
【０１７４】
さらに、小さなオブジェクトがランダムに動いている動画（図３７（ａ）〜図３７（ｆ）参照)に対しても、本発明の画像処理アルゴリズムを適用した。
【０１７５】
なお、図３７（ａ）の画像を分割した結果を、図３８（ａ）〜図３８（ｄ）に示す。図３８（ａ）からわかるように、図３７（ａ）の画像において真ん中付近に存在するボール（同図中、ハッチングされていないボール）は検出することができなかった。
【０１７６】
図３７（ａ）の画像において検出されたオブジェクトのうち、ラベル（３，１）のオブジェクトと、ラベル（２，１）〜ラベル（２，４）のオブジェクトのそれぞれとの間において、距離指標を算出した結果を表９に示す。
【０１７７】
【表９】
2006072763.tif 000016
【０１７８】
表９に示すとおり、ラベル（３，１）のオブジェクトと、ラベル（２，１）〜ラベル（２，４）のオブジェクトのそれぞれとの間における距離指標のうち、ラベル（３，１）のオブジェクトと、ラベル（２，１）のオブジェクトとの間における距離指標が最も小さい。
【０１７９】
したがって、表９から、複数の小さいオブジェクトがランダムに動いている動画に対しても、本発明の画像処理アルゴリズムを実行すれば、同一のオブジェクトを認識できることがわかる。
【０１８０】
〔３−３．自然画像に対する動き検出処理〕
次に、実際に人物がフレーム中で歩いている画像（図３９（ａ）〜図３９（ｃ）参照）についてのシミュレーション結果を示す。また、図３９（ａ）に示す画像を分割した結果を、図４０（ａ）〜図４０（ｄ）に示す。
【０１８１】
図４０（ａ）〜図４０（ｄ）に示すように、図３９（ａ）に示す画像は、図４０（ａ）に示す壁の画像、図４０（ｂ）に示す床の画像、図４０（ｃ）に示す人物ａの画像、および図４０（ｄ）に示す人物ｂの画像に分割される。
【０１８２】
これら分割後の画像のうち、実際に移動している画像は、図４０（ｃ）に示す人物ａの画像および図４０（ｄ）に示す人物ｂの画像だけであり、床と壁の画像は、人物ａおよび人物ｂが動くことで形が変わっているだけである。図３９（ａ）〜図３９（ｃ）に示す画像に関して、距離指標を算出した結果を表１０に示す。
【０１８３】
【表１０】
2006072763.tif 000017
【０１８４】
表１０に示すとおり、ラベル（３，３）のオブジェクトと、ラベル（２，１）〜ラベル（２，４）のオブジェクトのそれぞれとの間における距離指標のうち、ラベル（３，３）のオブジェクトと、ラベル（２，３）のオブジェクトとの間における距離指標が最も小さい。
【０１８５】
したがって、表１０から、実際に人物がフレーム中で歩いている動画に対しても、本発明の動き検出処理を実行すれば、同一のオブジェクトを認識できることがわかる。
【０１８６】
さらに、同一オブジェクトを認識することが一般的に困難な、歩いている人物（オブジェクト）がフレーム中で別の人物（オブジェクト)と重なる画像（図４１（ａ）〜図４１（ｈ）参照）に対して、本発明の動き検出処理を行った。
【０１８７】
図４１（ａ）の画像を分割すると、図４２（ａ）〜図４２（ｄ）に示すように分割される。また、図４１（ｄ）の画像を分割すると、図４３（ａ）〜図４３（ｃ）に示すように分割される。なお、図４２（ｄ）に示すように、１フレーム目で停止している人物（図４１（ａ）参照）の上半身が分割されないのは、オブジェクトのグラデーションによりリーダーセルがないこと、又は、結合重みが小さいためオブジェクトとして認識できないことが原因として考えられる。
【０１８８】
これらの分割結果に関して、３フレーム目の３番目のオブジェクト、物体数が変化する４フレーム目の３番目のオブジェクト、７フレーム目の３番目のオブジェクトに関する動き検出処理のシミュレーション結果を、表１１、表１２、および表１３に示す。
【０１８９】
【表１１】
2006072763.tif 000018
【０１９０】
【表１２】
2006072763.tif 000019
【０１９１】
【表１３】
2006072763.tif 000020
【０１９２】
この表１１より、ラベル（３，３）のオブジェクトと、ラベル（２，３）のオブジェクトとの間における距離指標が最も小さいことがわかる。また、表１２に関しては、ラベル（４，３）のオブジェクトと、ラベル（３，３）のオブジェクトとの間における距離指標が最も小さい。さらに、表１３においては、ラベル（７，３）のオブジェクトとラベル（６，３）のオブジェクトとの間における距離指標が最も小さい。これらの結果より、図４１（ａ）〜図４１（ｈ）に示したような、移動するオブジェクトが、他のオブジェクトと重なるような画像に対しても、本発明の画像処理アルゴリズムを適用すれば、同一のオブジェクトを認識できることを検証できた。
【０１９３】
さらに、分割が困難な画像の一例である、図４４（ａ）〜図４４（ｆ）に示すミニカーが動いている画像について、本発明の画像処理アルゴリズムを実行した結果について説明する。また、１フレーム目の画像（図４４（ａ）参照）に関して、分割処理を行った結果を図４５（ａ）〜図４５（ｃ）に示す。
【０１９４】
図４５（ａ）〜図４５（ｃ）に示すように、画像分割された後のオブジェクトは、実際の画像のオブジェクトと、その形状が大きく異なっている。図４５（ａ）〜図４５（ｃ）に示す画像に対して動き検出処理を行った結果を表１４に示す。
【０１９５】
【表１４】
2006072763.tif 000021
【０１９６】
表１４より、ラベル（４，２）のオブジェクトと、ラベル（３，２）のオブジェクトとの間における距離指標が最も小さいことがわかる。よって、入力画像に対する画像分割の精度はそれほどよくないが、オブジェクトの特徴量からフレーム間において同一のオブジェクトを正しく認識できていることを検証できた。
【０１９７】
次に、車が走っている道路を撮影した画像（図４６（ａ）〜図４６（ｆ)参照）について、本発明の画像処理アルゴリズムを実行した結果について説明する。また、１フレーム目の画像（図４６（ａ）参照）に関して、分割処理を行った結果を図４７（ａ）および図４７（ｂ）に示す。
【０１９８】
図４７（ａ）および図４７（ｂ）からわかるように、走行中の車の画像は、図４７（ａ）に示す車の屋根の画像と、図４７（ｂ）に示す車のボンネット部分の画像とに分割される。図４７（ａ）および図４７（ｂ）から得られた情報をもとに、本発明の画像処理アルゴリズムを適用した結果を表１５に示す。
【０１９９】
【表１５】
2006072763.tif 000022
【０２００】
表１５より、ラベル（４，１）のオブジェクトと、ラベル（３，１）のオブジェクトとの間における距離指標が最も小さいことがわかる。この結果から、図４６（ａ）〜図４６（ｆ)に示す画像に関しても、本発明の画像処理アルゴリズムによれば、同一のオブジェクトを正しく認識できることを確認できる。
【０２０１】
〔４．補足〕
本発明の画像処理アルゴリズムにおける各処理ステップは、ＣＰＵなどの演算手段が、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶手段に記憶されたプログラムを実行し、キーボードなどの入力手段、ディスプレイなどの出力手段、あるいは、インターフェース回路などの通信手段を制御することにより実現することができる。
【０２０２】
したがって、これらの手段を有するコンピュータが、上記プログラムを記録した記録媒体を読み取り、当該プログラムを実行するだけで、本実施形態の画像処理回路の各種処理を実現することができる。また、上記プログラムをリムーバブルな記録媒体に記録することにより、任意のコンピュータ上で上記の各種機能および各種処理を実現することができる。
【０２０３】
この記録媒体としては、マイクロコンピュータで処理を行うために図示しないメモリ、例えばＲＯＭのようなものがプログラムメディアであっても良いし、また、図示していないが外部記憶装置としてプログラム読取り装置が設けられ、そこに記録媒体を挿入することにより読取り可能なプログラムメディアであっても良い。
【０２０４】
また、何れの場合でも、格納されているプログラムは、マイクロプロセッサがアクセスして実行される構成であることが好ましい。さらに、プログラムを読み出し、読み出されたプログラムは、マイクロコンピュータのプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であることが好ましい。なお、このダウンロード用のプログラムは予め本体装置に格納されているものとする。
【０２０５】
また、上記プログラムメディアとしては、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやＣＤ／ＭＯ／ＭＤ／ＤＶＤ等のディスクのディスク系、ＩＣカード（メモリカードを含む）等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する記録媒体等がある。
【０２０６】
また、インターネットを含む通信ネットワークを接続可能なシステム構成であれば、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する記録媒体であることが好ましい。
【０２０７】
さらに、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであることが好ましい。
【０２０８】
なお、本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。
【産業上の利用可能性】
【０２０９】
本発明の画像処理装置は、画像認識システム、動体検出システム、ディジタルカメラ、ディジタルビデオカメラ、ロボットビジョン、顔認識による認証システム、セキュリティシステム、人工知能システム等における画像分割・抽出のための画像分割・抽出集積回路として適用可能である。
【図面の簡単な説明】
【０２１０】
【図１】本発明の一実施形態に係る画像処理回路の構成を示すブロック図である。
【図２】図１の画像処理回路における画像分割セルネットワークの構成を示す図である。
【図３】図２の画像分割セルネットワークにおけるグローバル抑制部の構成を示す図である。
【図４】（ａ）は、画像分割セルの各列毎にZorx信号を出力する状態を示す図であり、（ｂ）は、図３のグローバル抑制部におけるｉ行目の詳細な構成を示す図である。
【図５】図１の画像処理回路における物体情報計算部の構成を詳細に示すブロック図である。
【図６】図５の物体情報計算部におけるmin-max計算部の構成を示す図である。
【図７】図６のmin-max計算部におけるmin-max検出部の構成を示す図である。
【図８】図６のmin-max計算部におけるデコーダの構成を示す図である。
【図９】図１の画像分割セルネットワークにより分割されたオブジェクトと、特徴量との関係を示す図である。
【図１０】図５の物体情報計算部におけるmin-max計算部の構成を示す図である。
【図１１】図５の物体情報計算部における面積/min-max計算部の構成を示す図である。
【図１２】図５の物体情報計算部における面積/min-max計算部の構成を示す図である。
【図１３】図５の物体情報計算部における物体情報保存部の構成を示す図である。
【図１４】入力画像を16×16画素の領域を基準として分割する状態を示す図である。
【図１５】図５の物体情報計算部における特徴量計算部の構成を示す図である。
【図１６】図１の画像処理回路における画像分割／特徴量計算部に係る詳細な構成を示す図である。
【図１７】図１の画像処理回路における物体検出部の構成を示す図である。
【図１８】図１７の物体検出部における検索情報保存部の構成を示す図である。
【図１９】図１７の物体検出部における最小距離検索連想メモリの構成を示す図である。
【図２０】図１７の物体検出部における動きベクトル計算部の構成を示す図である。
【図２１】図１７の物体検出部における推定位置計算部の構成を示す図である。
【図２２】図１の画像処理回路における物体検出部の構成を示す図である。
【図２３】図１の画像処理回路による画像処理アルゴリズムを示すフローチャートである。
【図２４】（ａ）および（ｂ）は、画像分割処理によりグレースケール画像を画像分割した結果を示す画像であり、（ｃ）および（ｄ）は、カラー画像に対して画像分割を行った結果を示す画像である。
【図２５】画像分割アルゴリズムを用いて画像分割処理を行った場合における、画素数と処理時間との関係を示すグラフである。
【図２６】オブジェクトの前フレームの位置と、現フレームの推定位置との関係を示す図である。
【図２７】（ａ）〜（ｃ）は、本発明の画像処理方法をシミュレーションした３個のオブジェクトが左から右に移動する画像である。
【図２８】（ａ）〜（ｃ）は、図２７の画像に対してMorphology処理を行った画像である。
【図２９】（ａ）〜（ｃ）は、図２８の画像を分割した結果を示す画像である。
【図３０】（ａ）〜（ｅ）は、本発明の画像処理方法をシミュレーションした、動きベクトルがオブジェクトの移動中において変化する画像である。
【図３１】（ａ）〜（ｋ）は、本発明の画像処理方法をシミュレーションした、複数のオブジェクトがランダムに動いている画像である。
【図３２】（ａ）〜（ｆ）は、図３１の画像を分割した結果を示す画像である。
【図３３】（ａ）〜（ｆ）は、ボールが床に衝突して跳ね返ることにより、動きベクトルが急激に変化する画像である。
【図３４】（ａ）〜（ｆ）は、ボールが床に衝突して跳ね返ることにより、動きベクトルが急激に変化する別の画像である。
【図３５】（ａ）〜（ｄ）は、図３３の画像を分割した結果を示す画像である。
【図３６】（ａ）〜（ｄ）は、図３４の画像を分割した結果を示す画像である。
【図３７】（ａ）〜（ｆ）は、小さなオブジェクトがランダムに動いている画像である。
【図３８】図３７の画像を分割した結果を示す画像である。
【図３９】（ａ）〜（ｃ）は、人物がフレーム中で動いている画像である。
【図４０】（ａ）〜（ｄ）は、図３９の画像を分割した結果を示す画像である。
【図４１】（ａ）〜（ｈ）は、歩いている人物がフレーム中で別の人物と重なる画像である。
【図４２】（ａ）〜（ｄ）は、図４１の画像を分割した結果を示す画像である。
【図４３】（ａ）〜（ｃ）は、図４１の画像を分割した結果を示す画像である。
【図４４】（ａ）〜（ｆ）は、ミニカーが動いている画像である。
【図４５】（ａ）〜（ｃ）は、図４４の画像を分割した結果を示す画像である。
【図４６】（ａ）〜（ｆ）は、車が走っている道路を撮影した画像である。
【図４７】（ａ）および（ｂ）は、図４６の画像を分割した結果を示す画像である。
【符号の説明】
【０２１１】
１  画像処理回路（画像処理装置）
４  結合重み計算部（画像分割手段）
５  リーダーセル計算部（画像分割手段）
６  画像分割セルネットワーク（画像分割手段）
９  位置情報計算部（動きベクトル算出手段、推定位置算出手段）
９ａ  動きベクトル計算部（動きベクトル算出手段）
９ｂ  推定位置計算部（推定位置算出手段）
１０  最小距離検索連想メモリ（オブジェクト認識手段）
【図１】
2006072763.tif 000023
【図２】
2006072763.tif 000024
【図３】
2006072763.tif 000025
【図４】
2006072763.tif 000026
【図５】
2006072763.tif 000027
【図６】
2006072763.tif 000028
【図７】
2006072763.tif 000029
【図８】
2006072763.tif 000030
【図９】
2006072763.tif 000031
【図１０】
2006072763.tif 000032
【図１１】
2006072763.tif 000033
【図１２】
2006072763.tif 000034
【図１３】
2006072763.tif 000035
【図１４】
2006072763.tif 000036
【図１５】
2006072763.tif 000037
【図１６】
2006072763.tif 000038
【図１７】
2006072763.tif 000039
【図１８】
2006072763.tif 000040
【図１９】
2006072763.tif 000041
【図２０】
2006072763.tif 000042
【図２１】
2006072763.tif 000043
【図２２】
2006072763.tif 000044
【図２３】
2006072763.tif 000045
【図２４】
2006072763.tif 000046
【図２５】
2006072763.tif 000047
【図２６】
2006072763.tif 000048
【図２７】
2006072763.tif 000049
【図２８】
2006072763.tif 000050
【図２９】
2006072763.tif 000051
【図３０】
2006072763.tif 000052
【図３１】
2006072763.tif 000053
【図３２】
2006072763.tif 000054
【図３３】
2006072763.tif 000055
【図３４】
2006072763.tif 000056
【図３５】
2006072763.tif 000057
【図３６】
2006072763.tif 000058
【図３７】
2006072763.tif 000059
【図３８】
2006072763.tif 000060
【図３９】
2006072763.tif 000061
【図４０】
2006072763.tif 000062
【図４１】
2006072763.tif 000063
【図４２】
2006072763.tif 000064
【図４３】
2006072763.tif 000065
【図４４】
2006072763.tif 000066
【図４５】
2006072763.tif 000067
【図４６】
2006072763.tif 000068
【図４７】
2006072763.tif 000069