(57)【要約】【課題】複数の対象物からなる追跡物体を追跡容易な物体追跡装置を提供する。【解決手段】画像分割ユニット１は、１つのフレームからなる入力画像の各画素のＲＧＢ値、色相および彩度を用いて入力画像を１つのフレームに含まれる複数の対象物の画像に分割し、その分割した複数の分割画像を追跡ユニット２へ出力する処理を各フレームについて実行する。追跡ユニット２は、画像分割ユニット１から受けた複数の分割画像に基づいて、複数の対象物から相互に類似する対象物を抽出し、その抽出した対象物をグループ化するグループ化処理を全ての対処物について実行し、各追跡物体を認識する。【選択図】図１
2010102586.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレーム画像により構成される動画像内の物体を追跡する物体追跡装置であって、
前記動画像を構成する個々のフレームに含まれる画像内の物体の画像特徴に基づいて分割画像領域を生成する画像分割ユニットと、
前記画像分割ユニットによって生成された前記分割画像領域に基づいて物体を追跡する追跡ユニットとを備え、
前記追跡ユニットは、
前記画像分割ユニットによって生成された複数の前記分割画像領域を静止物体を示す複数の静止物体画像領域と移動物体を示す複数の移動物体画像領域とに分類する追跡物体認識部と、
前記追跡物体認識部によって分類された前記移動物体画像領域を所定の類似性に基づいてグループ化するグループ化部とを含む、物体追跡装置。
【請求項２】
前記追跡物体認識部は、前記分割画像領域が属するフレームと前記フレームの前または後のフレームとにおける前記分割画像領域の動きベクトルに基づいて、複数の前記分割画像領域を前記複数の静止物体画像領域と前記複数の移動物体画像領域とに分類する、請求項１に記載の物体追跡装置。
【請求項３】
前記グループ化部は、連続したフレームにおいて、前記グループ化した移動物体画像を一意に特定するグループ情報を生成する、請求項２に記載の物体追跡装置。
【請求項４】
複数のフレーム画像により構成される動画像内の物体を追跡する物体追跡方法であって、
前記動画像を構成する個々のフレームに含まれる画像内の物体の画像特徴に基づいて分割画像領域を生成する第１のステップと、
前記第１のステップにおいて生成された複数の前記分割画像領域を静止物体を示す複数の静止物体画像領域と移動物体を示す複数の移動物体画像領域とに分類する第２のステップと、
前記第２のステップにおいて分類された前記移動物体画像領域を所定の類似性に基づいてグループ化する第３のステップとを備える物体追跡方法。
【請求項５】
前記第２のステップにおいて、複数の前記分割画像領域は、前記分割画像領域が属するフレームと前記フレームの前または後のフレームとにおける前記分割画像領域の動きベクトルに基づいて、前記複数の静止物体画像領域と前記複数の移動物体画像領域とに分類される、請求項４に記載の物体追跡方法。
【請求項６】
前記第３のステップにおいて、前記グループ化された移動物体画像を一意に特定するグループ情報が連続したフレームにおいて生成される、請求項５に記載の物体追跡方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、物体追跡装置および物体追跡方法に関するものである。
【背景技術】
【０００２】
動画像を用いた物体認識は、高度交通システム（ＩＴＳ：Ｉｎｔｅｌｌｉｇｅｎｔ  Ｔｒａｎｓｐｏｒｔ  Ｓｙｓｔｅｍ）における危険予測や監視カメラによる被写体追跡などに応用可能であり、近年、盛んに研究が進められている（非特許文献１）。
【０００３】
画像を用いた物体認識を行なう場合、画像中から物体領域を抽出する前処理が必要になり、背景差分やオプティカルフローをベースとした手法が提案されている。背景差分法は、比較的、簡単に対象領域を抽出できるため、広く用いられているが、背景画像を用意する必要があり、監視カメラ等の環境の変化が少ないアプリケーション以外には、不向きである。
【０００４】
一方、オプティカルフローをベースとした手法は、複数の移動物体を同時に抽出できるが、計算量が多く、照明変化や回転に弱いといった欠点がある。
【０００５】
そこで、画像分割による物体の抽出と、フレーム間のオブジェクトマッチングによる抽出領域の追跡手法が提案されている（非特許文献２，３）。
【０００６】
この手法は、静止物体と移動物体の両方を同時に抽出することができる特徴がある。
【非特許文献１】J. Shin et al., “Optical flow-based real-time object tracking using non-prior training active feature model,” ELSEVIER Real-Time Imaging, Vol. 11, pp. 204-218, USA, June 2005.
【非特許文献２】T. Morimoto et al., “Object tracking in video pictures based on image segmentation and pattern matching,” ISCAS, pp. 3215-3218, 2005.
【非特許文献３】T. Morimoto et al., “Efficient Video-Picture Segmentation Algorithm for Cell-Network-Based Digital CMOS Implementation,” IEICE Transaction on Information & Systems, vol. E87-D, No.2, pp. 500-503, Feb. 2004.
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、非特許文献２，３に記載された物体追跡方法においては、物体領域は、画像分割によって複数の領域に分割され、そのオブジェクト毎に追跡が行われるため、複数のオブジェクトからなる追跡物体を追跡し難いという問題がある。
【０００８】
そこで、この発明は、かかる問題を解決するためになされたものであり、その目的は、複数の対象物からなる追跡物体を追跡容易な物体追跡装置を提供することである。
【０００９】
また、この発明の別の目的は、複数の対象物からなる追跡物体を追跡容易な物体追跡方法を提供することである。
【課題を解決するための手段】
【００１０】
この発明によれば、物体追跡装置は、複数のフレーム画像により構成される動画像内の物体を追跡する物体追跡装置であって、画像分割ユニットと、追跡ユニットとを備える。画像分割ユニットは、動画像を構成する個々のフレームに含まれる画像内の物体の画像特徴に基づいて分割画像領域を生成する。追跡ユニットは、画像分割ユニットによって生成された分割画像領域に基づいて物体を追跡する。そして、追跡ユニットは、追跡物体認識部と、グループ化部とを含む。追跡物体認識部は、画像分割ユニットによって生成された複数の分割画像領域を静止物体を示す複数の静止物体画像領域と移動物体を示す複数の移動物体画像領域とに分類する。グループ化部は、追跡物体認識部によって分類された移動物体画像領域を所定の類似性に基づいてグループ化する。
【００１１】
好ましくは、追跡物体認識部は、分割画像領域が属するフレームとフレームの前または後のフレームとにおける分割画像領域の動きベクトルに基づいて、複数の分割画像領域を複数の静止物体画像領域と複数の移動物体画像領域とに分類する。
【００１２】
好ましくは、グループ化部は、連続したフレームにおいて、グループ化した移動物体画像を一意に特定するグループ情報を生成する。
【００１３】
また、この発明によれば、物体追跡方法は、複数のフレーム画像により構成される動画像内の物体を追跡する物体追跡方法であって、動画像を構成する個々のフレームに含まれる画像内の物体の画像特徴に基づいて分割画像領域を生成する第１のステップと、第１のステップにおいて生成された複数の分割画像領域を静止物体を示す複数の静止物体画像領域と移動物体を示す複数の移動物体画像領域とに分類する第２のステップと、第２のステップにおいて分類された移動物体画像領域を所定の類似性に基づいてグループ化する第３のステップとを備える。
【００１４】
好ましくは、第２のステップにおいて、複数の分割画像領域は、分割画像領域が属するフレームとフレームの前または後のフレームとにおける分割画像領域の動きベクトルに基づいて、複数の静止物体画像領域と複数の移動物体画像領域とに分類される。
【００１５】
好ましくは、第３のステップにおいて、グループ化された移動物体画像を一意に特定するグループ情報が連続したフレームにおいて生成される。
【００１６】
好ましくは、グループ化するときにバウンディングボックスが用いられ、そのバウンディングボックスには、マージンが加えられる。
【発明の効果】
【００１７】
この発明においては、１つのフレームからなる入力画像が１つのフレームに含まれる複数の対象物の画像に分割され、その分割された複数の分割画像に基づいて、複数の対象物のうち、相互に類似する対象物が１つのグループにグループ化され、追跡物体が認識される。つまり、入力画像が１つのフレームに含まれる複数の対象物の画像に分割され、追跡物体が細分化されていたとしても、グループ化された追跡物体が認識される。
【００１８】
したがって、この発明によれば、複数の対象物からなる追跡物体を容易に追跡できる。
【発明を実施するための最良の形態】
【００１９】
本発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰返さない。
【００２０】
図１は、この発明の実施の形態による物体追跡装置の構成を示す概略ブロック図である。図１を参照して、この発明の実施の形態による物体追跡装置１０は、画像分割ユニット１と、追跡ユニット２とを備える。
【００２１】
画像分割ユニット１は、１フレームの入力画像を外部から受け、その受けた入力画像の各画素におけるＲＧＢ値、色相および彩度を用いて、後述する方法によって入力画像を入力画像に含まれる複数の対象物の画像に分割し、その分割した複数の分割画像を追跡ユニット２へ出力する分割処理を各フレームについて実行する。
【００２２】
追跡ユニット２は、各フレームにおける複数の分割画像を画像分割ユニット１から受けると、その受けた複数の分割画像に基づいて、後述する方法によって、各追跡物体を構成する対象物をグループ化し、そのグループ化した対象物を隣接フレーム間でマッチングさせて各追跡物体を追跡する。
【００２３】
画像分割ユニット１は、画素値検出回路１１と、結合重み決定回路１２と、画像分割回路１３とを含む。
【００２４】
画素値検出回路１１は、１フレームの入力画像を受け、その受けた入力画像の各画素のＲ成分、Ｇ成分およびＢ成分を検出し、その検出したＲ成分、Ｇ成分およびＢ成分をＲＧＢ値として結合重み決定回路１２へ出力する。
【００２５】
結合重み決定回路１２は、画素値検出回路１からＲＧＢ値を受け、その受けたＲＧＢ値に基づいて、後述する方法によって、１つのフレームを構成する複数の画素における各画素間の結合重みを決定し、その決定した結合重みを画像分割回路１３へ出力する。
【００２６】
画像分割回路１３は、外部から入力画像を受け、結合重み決定回路１２から結合重みを受ける。そして、画像分割回路１３は、その受けた結合重みを用いて、領域成長型画像分割方法によって、１つのフレームからなる入力画像を各対象物の画像に分割する。この領域成長型画像分割方法は、たとえば、３×３の画素からリーダセルを決定し、その決定したリーダセルの領域から相対的に大きい結合重みを有する周囲の画素の領域へ領域を成長させて行く処理をリーダセルが存在しなくなるまで繰り返して画像を分割する方法である。そして、画像分割回路１３は、その分割した複数の分割画像を追跡ユニット２へ出力する。
【００２７】
なお、この発明の実施の形態においては、オブジェクトとは、対象物、追跡物体を含める広義の物体を意味する。
【００２８】
図２は、図１に示す結合重み決定回路１２の構成を示す概略図である。図２を参照して、結合重み決定回路１２は、Ｄラッチ回路１２１，１２２，１２４，１２６，１２７，１２９と、ＦＩＦＯ回路１２３，１２８と、ＨＳ変換回路１２５と、選択器１３０，１３１と、重み計算ユニット１３２〜１３５とを含む。
【００２９】
Ｄラッチ回路１２１は、画素値検出回路１１からＲＧＢ値を受け、その受けたＲＧＢ値をラッチし、そのラッチしたＲＧＢ値をＤラッチ回路１２２、重み計算ユニット１３３，１３５へ出力する。
【００３０】
Ｄラッチ回路１２２は、Ｄラッチ回路１２１からＲＧＢ値を受け、その受けたＲＧＢ値をラッチし、そのラッチしたＲＧＢ値をＦＩＦＯ回路１２３、重み計算ユニット１３２および選択器１３０，１３１へ出力する。
【００３１】
ＦＩＦＯ回路１２３は、Ｄラッチ回路１２２からＲＧＢ値を受け、その受けたＲＧＢ値を１クロック分、保持し、その後、ＲＧＢ値をＤラッチ回路１２４、重み計算ユニット１３２および選択器１３０，１３１へ出力する。
【００３２】
Ｄラッチ回路１２４は、ＦＩＦＯ回路１２３から受けたＲＧＢ値をラッチし、そのラッチしたＲＧＢ値を重み計算ユニット１３３，１３４へ出力する。
【００３３】
ＨＳ変換回路１２５は、画素値検出回路１１からＲＧＢ値を受け、その受けたＲＧＢ値を、後述する方法によって、色相および彩度に変換する。そして、ＨＳ変換回路１２５は、その変換した色相および彩度をＤラッチ回路１２６へ出力する。
【００３４】
Ｄラッチ回路１２６は、色相および彩度をＨＳ変換回路１２５から受け、その受けた色相および彩度をラッチし、そのラッチした色相および彩度をＤラッチ回路１２７および重み計算ユニット１３３，１３５へ出力する。
【００３５】
Ｄラッチ回路１２７は、色相および彩度をＤラッチ回路１２６から受け、その受けた色相および彩度をラッチし、そのラッチした色相および彩度をＦＩＦＯ回路１２８、重み計算ユニット１３２および選択器１３０，１３１へ出力する。
【００３６】
ＦＩＦＯ回路１２８は、色相および彩度をＤラッチ回路１２７から受け、その受けた色相および彩度を１クロック分、保持し、その後、色相および彩度をＤラッチ回路１２９、重み計算ユニット１３２および選択器１３０，１３１へ出力する。
【００３７】
Ｄラッチ回路１２９は、色相および彩度をＦＩＦＯ回路１２８から受け、その受けた色相および彩度をラッチし、そのラッチした色相および彩度を重み計算ユニット１３３，１３４へ出力する。
【００３８】
選択器１３０は、外部から制御信号ＣＴＬを受け、Ｄラッチ回路１２２およびＦＩＦＯ回路１２３からＲＧＢ値を受け、Ｄラッチ回路１２７およびＦＩＦＯ回路１２８から色相および彩度を受ける。制御信号ＣＴＬは、選択器１３０，１３１の０端子に入力されたＲＧＢ値、色相および彩度を選択するための制御信号ＣＴＬ０と、選択器１３０，１３１の１端子に入力されたＲＧＢ値、色相および彩度を選択するための制御信号ＣＴＬ１とのいずれかからなる。そして、選択器１３０は、制御信号ＣＴＬ０を受けると、ＦＩＦＯ回路１２３から受けたＲＧＢ値と、ＦＩＦＯ回路１２８から受けた色相および彩度とを選択して重み計算ユニット１３４へ出力し、制御信号ＣＴＬ１を受けると、Ｄラッチ回路１２２から受けたＲＧＢ値と、Ｄラッチ回路１２７から受けた色相および彩度とを選択して重み計算ユニット１３４へ出力する。
【００３９】
選択器１３１は、外部から制御信号ＣＴＬを受け、Ｄラッチ回路１２２およびＦＩＦＯ回路１２３からＲＧＢ値を受け、Ｄラッチ回路１２７およびＦＩＦＯ回路１２８から色相および彩度を受ける。そして、選択器１３１は、制御信号ＣＴＬ０を受けると、Ｄラッチ回路１２２から受けたＲＧＢ値と、Ｄラッチ回路１２７から受けた色相および彩度とを選択して重み計算ユニット１３５へ出力し、制御信号ＣＴＬ１を受けると、ＦＩＦＯ回路１２３から受けたＲＧＢ値と、ＦＩＦＯ回路１２８から受けた色相および彩度とを選択して重み計算ユニット１３５へ出力する。
【００４０】
重み計算ユニット１３２は、Ｄラッチ回路１２２およびＦＩＦＯ回路１２３からＲＧＢ値を受け、Ｄラッチ回路１２７およびＦＩＦＯ回路１２８から色相および彩度を受ける。そして、重み計算ユニット１３２は、Ｄラッチ回路１２２から受けたＲＧＢ値とＤラッチ回路１２７から受けた色相および彩度とを１つの画素ＧＥ３に対応するＲＧＢ値、色相および彩度（ＲＧＢ３，ＨＳ３）とし、ＦＩＦＯ回路１２３から受けたＲＧＢ値と、ＦＩＦＯ回路１２８から受けた色相および彩度とを別の１つの画素ＧＥ２に対応するＲＧＢ値、色相および彩度（ＲＧＢ２，ＨＳ２）とする。そうすると、重み計算ユニット１３２は、ＲＧＢ値、色相および彩度（ＲＧＢ３，ＨＳ３）と、ＲＧＢ値、色相および彩度（ＲＧＢ２，ＨＳ２）とに基づいて、後述する方法によって、画素ＧＥ２と画素ＧＥ３との間の結合重みを演算し、その演算した結合重みを画像分割回路１３へ出力する。
【００４１】
重み計算ユニット１３３は、Ｄラッチ回路１２１，１２４からＲＧＢ値を受け、Ｄラッチ回路１２６，１２９から色相および彩度を受ける。そして、重み計算ユニット１３３は、Ｄラッチ回路１２１から受けたＲＧＢ値とＤラッチ回路１２６から受けた色相および彩度とを１つの画素ＧＥ４に対応するＲＧＢ値、色相および彩度（ＲＧＢ４，ＨＳ４）とし、Ｄラッチ回路１２４から受けたＲＧＢ値と、Ｄラッチ回路１２９から受けた色相および彩度とを別の１つの画素ＧＥ１に対応するＲＧＢ値、色相および彩度（ＲＧＢ１，ＨＳ１）とする。そうすると、重み計算ユニット１３３は、ＲＧＢ値、色相および彩度（ＲＧＢ４，ＨＳ４）と、ＲＧＢ値、色相および彩度（ＲＧＢ１，ＨＳ１）とに基づいて、後述する方法によって、画素ＧＥ１と画素ＧＥ４との間の結合重みを演算し、その演算した結合重みを画像分割回路１３へ出力する。
【００４２】
重み計算ユニット１３４は、Ｄラッチ回路１２４からＲＧＢ値を受け、Ｄラッチ回路１２９から色相および彩度を受け、選択器１３０からＲＧＢ値、色相および彩度を受ける。そして、重み計算ユニット１３４は、Ｄラッチ回路１２４から受けたＲＧＢ値とＤラッチ回路１２９から受けた色相および彩度とを１つの画素ＧＥ１に対応するＲＧＢ値、色相および彩度（ＲＧＢ１，ＨＳ１）とし、選択器１３０から受けたＲＧＢ値、色相および彩度を別の１つの画素ＧＥ２に対応するＲＧＢ値、色相および彩度（ＲＧＢ２，ＨＳ２）とする。そうすると、重み計算ユニット１３４は、ＲＧＢ値、色相および彩度（ＲＧＢ１，ＨＳ１）と、ＲＧＢ値、色相および彩度（ＲＧＢ２，ＨＳ２）とに基づいて、後述する方法によって、画素ＧＥ１と画素ＧＥ２との間の結合重みを演算し、その演算した結合重みを画像分割回路１３へ出力する。
【００４３】
重み計算ユニット１３５は、Ｄラッチ回路１２１からＲＧＢ値を受け、Ｄラッチ回路１２６から色相および彩度を受け、選択器１３１からＲＧＢ値、色相および彩度を受ける。そして、重み計算ユニット１３５は、Ｄラッチ回路１２１から受けたＲＧＢ値とＤラッチ回路１２６から受けた色相および彩度とを１つの画素ＧＥ４に対応するＲＧＢ値、色相および彩度（ＲＧＢ４，ＨＳ４）とし、選択器１３１から受けたＲＧＢ値、色相および彩度を別の１つの画素ＧＥ３に対応するＲＧＢ値、色相および彩度（ＲＧＢ３，ＨＳ３）とする。そうすると、重み計算ユニット１３５は、ＲＧＢ値、色相および彩度（ＲＧＢ４，ＨＳ４）と、ＲＧＢ値、色相および彩度（ＲＧＢ３，ＨＳ３）とに基づいて、後述する方法によって、画素ＧＥ３と画素ＧＥ４との間の結合重みを演算し、その演算した結合重みを画像分割回路１３へ出力する。
【００４４】
なお、重み計算ユニット１３４は、選択器１３０から画素ＧＥ３に対応するＲＧＢ値、色相および彩度（ＲＧＢ３，ＨＳ３）を受けるとき、画素ＧＥ１と画素ＧＥ３との間の結合重みを演算し、その演算した結合重みを画像分割回路１３へ出力し、重み計算ユニット１３５は、選択器１３１から画素ＧＥ２に対応するＲＧＢ値、色相および彩度（ＲＧＢ２，ＨＳ２）を受けるとき、画素ＧＥ２と画素ＧＥ４との間の結合重みを演算し、その演算した結合重みを画像分割回路１３へ出力する。
【００４５】
図３は、図２に示す結合重み決定回路１２が結合重みを決定するときの概念図である。また、図４は、図２に示す結合重み決定回路１２が結合重みを決定するときの他の概念図である。
【００４６】
結合重み決定回路１２は、２行２列に配列された画素ＧＥ１〜ＧＥ４における結合重みを１サイクルで決定する。画素ＧＥ１〜ＧＥ４におけるＲＧＢ値ＲＧＢ１〜ＲＧＢ４が結合重み決定回路１２へ順次入力されると、重み計算ユニット１３２は、ＦＩＦＯ回路１２３から画素ＧＥ２のＲＧＢ値ＲＧＢ２を受け、ＦＩＦＯ回路１２８から画素ＧＥ２の色相および彩度ＨＳ２を受け、Ｄラッチ回路１２２から画素ＧＥ３のＲＧＢ値ＲＧＢ３を受け、Ｄラッチ回路１２７から画素ＧＥ３の色相および彩度ＨＳ３を受ける。
【００４７】
また、重み計算ユニット１３３は、Ｄラッチ回路１２４から画素ＧＥ１のＲＧＢ値ＲＧＢ１を受け、Ｄラッチ回路１２９から画素ＧＥ１の色相および彩度ＨＳ１を受け、Ｄラッチ回路１２１から画素ＧＥ４のＲＧＢ値ＲＧＢ４を受け、Ｄラッチ回路１２６から画素ＧＥ４の色相および彩度ＨＳ４を受ける。
【００４８】
さらに、重み計算ユニット１３４は、Ｄラッチ回路１２４から画素ＧＥ１のＲＧＢ値ＲＧＢ１を受け、Ｄラッチ回路１２９から画素ＧＥ１の色相および彩度ＨＳ１を受け、選択器１３０から画素ＧＥ２のＲＧＢ値ＲＧＢ２と、画素ＧＥ２の色相および彩度ＨＳ２とを受ける。
【００４９】
さらに、重み計算ユニット１３５は、Ｄラッチ回路１２１から画素ＧＥ４のＲＧＢ値ＲＧＢ４を受け、Ｄラッチ回路１２６から画素ＧＥ４の色相および彩度ＨＳ４を受け、選択器１３１から画素ＧＥ３のＲＧＢ値ＲＧＢ３と、画素ＧＥ３の色相および彩度ＨＳ３とを受ける。
【００５０】
すなわち、重み計算ユニット１３２〜１３５は、同期して、それぞれ、画素ＧＥ２，ＧＥ３のＲＧＢ値、色相および彩度、画素ＧＥ１，ＧＥ４のＲＧＢ値、色相および彩度、画素ＧＥ１，ＧＥ２のＲＧＢ値、色相および彩度、および画素ＧＥ３，ＧＥ４のＲＧＢ値、色相および彩度を受ける。そして、重み計算ユニット１３２は、画素ＧＥ２と画素ＧＥ３との結合重みを決定して出力し、重み計算ユニット１３３は、画素ＧＥ１と画素ＧＥ４との結合重みを決定して出力し、重み計算ユニット１３４は、画素ＧＥ１と画素ＧＥ２との結合重みを決定して出力し、重み計算ユニット１３５は、画素ＧＥ３と画素ＧＥ４との結合重みを決定して出力する。
【００５１】
つまり、重み計算ユニット１３２〜１３５は、図３に示す４個の結合重みを１サイクルで決定して出力する。
【００５２】
なお、選択器１３０が画素ＧＥ３のＲＧＢ値ＲＧＢ３と色相および彩度ＨＳ３とを選択し、選択器１３１が画素ＧＥ２のＲＧＢ値ＲＧＢ２と色相および彩度ＨＳ２とを選択した場合、重み計算ユニット１３２〜１３５は、図４に示す４個の結合重みを１サイクルで決定して出力する。
【００５３】
このように、結合重み決定回路１２は、２行２列に配列された４個の画素のＲＧＢ値、色相および彩度を用いて、１サイクルで２行２列に配列された４個の画素間における４個の結合重みを決定する。
【００５４】
上述したように、結合重み決定回路３は、各画素のＲＧＢ値、色相および彩度を用いて２つの画素間の結合重みを決定するが、以下、その理由について説明する。
【００５５】
この発明においては、画素間の結合重みを決定するために、ＲＧＢ値のみならず、色相および彩度を用いるために、ＲＧＢ色空間に加え、色相（Ｈ：Ｈｕｅ）、彩度（Ｓ：Ｓａｔｕｒａｔｉｏｎ）および明度（Ｖ：Ｖａｌｕｅ）からなるＨＳＶ色空間を導入する。
【００５６】
ここで、色相（Ｈ）は、Ｒ，Ｇ，Ｂなどの色の種類を表す要素である。また、彩度（Ｓ）は、色の鮮やかさを表す要素であり、無彩色（黒―灰色―白）では、“０”となる。さらに、明度（Ｖ）は、明るさを表す要素である。
【００５７】
図５は、ＨＳＶ色空間の概念図である。図５を参照して、ＨＳＶ色空間は、円錐形状からなる。そして、色相（Ｈ）は、円錐形状の底面における円環ＣＲＣに描かれ、０度〜３６０度の範囲で表される。そして、図５においては、赤を基準（０度）とした色相を表しており、ＲＧＢ色空間における赤（２５５，０，０）、緑（０，２５５，０）および青（０，０，２５５）は、それぞれ、色相０度、色相１２０度および色相２４０度に対応する。
【００５８】
彩度（Ｓ）は、円錐の円形の半径として表され、０〜１の範囲の値を取る。また、明度（Ｖ）は、円錐の頂点からの距離として表され、０〜１の範囲の値を取る。
【００５９】
図５から解るように、無彩色は、色相（Ｈ）および彩度（Ｓ）を持たない。
【００６０】
ＲＧＢ値から色相（Ｈ）への変換には、次式が用いられる。
【００６１】
【数１】
2010102586.tif 000003
【００６２】
なお、式（１）において、ＭＡＸは、Ｒ値、Ｇ値およびＢ値の最大値を表し、ＭＩＮは、Ｒ値、Ｇ値およびＢ値の最小値を表す。
【００６３】
ＭＡＸ＝ＭＩＮであるとき、色相（Ｈ）は、定義されない。これは、Ｒ値、Ｇ値およびＢ値が全て等しいときであり、無彩色を表すため、円錐の中央のグレーの直線の周囲にあるため、その時のＨｕｅ値は、意味を持たないからである。
【００６４】
ＲＧＢ値から彩度（Ｓ）への変換には、次式が用いられる。
【００６５】
【数２】
2010102586.tif 000004
【００６６】
なお、ＭＡＸ＝０であるとき、彩度（Ｓ）は、未定義となる。これは、ＭＡＸ＝０であるときの色は、完全な黒を表すため、色相も彩度も存在しないからである。
【００６７】
ＲＧＢ値から明度（Ｖ）への変換には、次式が用いられる。
【００６８】
【数３】
2010102586.tif 000005
【００６９】
引き続いて、色相（Ｈｕｅ）および彩度（Ｓａｔｕｒａｔｉｏｎ）による画像評価について説明する。図６は、色相および彩度による画像評価に用いた画像を示す図である。また、図７は、色相および彩度による画像評価に用いた他の画像を示す図である。
【００７０】
図６は、コントラストが低い領域を含む画像を示し、図７は、外乱的な反射を含む画像を示す。
【００７１】
図８は、図６に示す領域Ｘの分割結果および図７に示す領域Ｙの分割結果を示す図である。また、図９は、従来の画像分割における問題を説明するための図である。
【００７２】
従来の画像分割においては、２つの画素間の結合重みＷｉｊ；ｋｌは、各画素のＲＧＢ値のみを用いて次の式（４），（５）によって演算される。
【００７３】
【数４】
2010102586.tif 000006
【００７４】
【数５】
2010102586.tif 000007
【００７５】
すなわち、従来の画像分割方法は、隣接画素間のＲＧＢ値の差から結合重みと定義される画素間の類似度を求め、その求めた類似度を指標として領域を成長させていく。結合重みＷｉｊ；ｋｌは、式（４）を用いて赤、緑および青に対して演算された３個の結合重みを式（５）に代入して、赤、緑および青に対する３個の結合重みのうち、最も小さいものを画素間の結合重みＷｉｊ；ｋｌとして決定する。
【００７６】
したがって、図９に示すように、たとえば、（Ｒ，Ｇ，Ｂ）＝（２５０，０，０）と、（Ｒ，Ｇ，Ｂ）＝（１２５，０，０）との結合重みと、（Ｒ，Ｇ，Ｂ）＝（２５０，０，０）と、（Ｒ，Ｇ，Ｂ）＝（１２５，１２５，１２５）との結合重みとは、無彩色と有彩色との関係にありながら、同じ値となり、ＲＧＢ色空間を用いた結合重みでは、画素の色合いを考慮していない。
【００７７】
また、図９の（ａ）は、グラデーション変化を持つ領域を画素単位で示したものと、横軸をｘ軸、縦軸を結合重みに取ったときのグラデーション領域の結合重みの変化をグラフとして表した図である。
【００７８】
グラデーション変化のある領域では、画素間のＲＧＢ値の差が等しいため、結合重みも等しくなっている。仮に、近傍画素の結合重みが領域成長に用いるしきい値φｚ以上であれば、領域は、矢印の方向に広がり続けてしまう。
【００７９】
しかし、図９の（ａ）に示すグラデーションに関する問題に対しては、どこまでを同一領域として扱うかは、アプリケーションに依存する面が強く、しきい値を一意に決定することは難しい。
【００８０】
図６に示すサンプル画像は、コントラストが低く、机と人間の重なりにより境界に陰が生じ、机領域と人物領域との間に明確なエッジが現れず、色が２つの領域間で滑らかに変化する（グラデーション）画像である。そのため、従来のＲＧＢ色空間による結合重みを利用する画像分割法では、机と人物との分割が難しい（図８参照）。
【００８１】
また、図７に示すサンプル画像では、反射が原因でカラーが変化し、ボディー領域の成長が進まずに、複数の領域に分かれたり、未分割領域として残ってしまう（図８参照）。
【００８２】
これらの結果から、画像分割精度を向上させるためには、ＲＧＢ色空間による明度を用いた方法に加えて、黒い、赤い、青いと言った色合いを考慮することが必要である。色合いを考慮すれば、図６に示すサンプル画像であれば、人物は、黒（無彩色）であり、机は、茶色であり、２つの領域の分離が可能である。また、図７に示すサンプル画像であれば、車は、赤色（有彩色）の領域として抽出可能である。
【００８３】
そこで、色相（Ｈｕｅ）および彩度（Ｓａｔｕｒａｔｉｏｎ）による画像評価について説明する。
【００８４】
まず、色相（Ｈｕｅ）による画像評価について説明する。図１０は、図６に示すサンプル画像のＲＧＢ値から式（１）を用いてＨｕｅ値に変換した値（０〜３６０度）を２５６階調に正規化して８ビットグレー画像とした図である。また、図１１は、図７に示すサンプル画像のＲＧＢ値から式（１）を用いてＨｕｅ値に変換した値（０〜３６０度）を２５６階調に正規化して８ビットグレー画像とした図である。
【００８５】
なお、図１０および図１１においては、図６および図７に示す２つのサンプル画像の場合、緑および青といったＨｕｅ値が高い画素値が存在しないため、無彩色を最大値の２５５（白）で表している。
【００８６】
図１０および図１１を参照して、人間と机の境界、および道路と車両の境界がはっきりと区別できていることが解るが、背景や人間の領域にノイズ画素が目立つ。このＨｕｅ画像の画像分割への適用を想定した場合、ノイズ画素による分割精度への影響が予想される。
【００８７】
そこで、ノイズ画素の低減のために、次の方法を採用した。式（１）から解るように、厳密には、ＭＡＸ−ＭＩＮ＝０のときのみ、無彩色として扱われるが、人間は、実際、目視により色を認識する場合、ＭＡＸ−ＭＩＮ＝０を正確に満たしていなくても無彩色として画素を認識する。そのため、ノイズ画素を除去するために、パラメータＤＭＡＸ−ＭＩＮを設定した。
【００８８】
図１０および図１１におけるＤＭＡＸ−ＭＩＮは、ＤＭＡＸ−ＭＩＮ＝ＭＡＸ−ＭＩＮを表し、ＤＭＡＸ−ＭＩＮより誤差の小さい画素を無彩色（白−灰色−黒）と見なすことにする。ＤＭＡＸ−ＭＩＮ値を“０”から“５”づつ増加させていったときの画像への影響について評価した結果が図１０および図１１に示す結果である。
【００８９】
ＤＭＡＸ−ＭＩＮ値を大きくしていくと、無彩色は、取り除かれていき、カラー領域（有彩色領域）とグレー領域（無彩色領域）とをある程度分離できることがわかった。これは、グレー領域とカラー領域との識別におけるロバスト性が向上したからである。また、カラー領域同士も、Ｈｕｅ値の差によって識別できる。
【００９０】
次に、彩度（Ｓａｔｕｒａｔｉｏｎ）による画像評価について説明する。図１２は、図６に示すサンプル画像のＲＧＢ値から式（２）を用いてＳ値に変換した値（０〜１の範囲）を２５６階調に規格化して８ビットグレー画像とした図である。また、図１３は、図７に示すサンプル画像のＲＧＢ値から式（２）を用いてＳ値に変換した値（０〜１の範囲）を２５６階調に規格化して８ビットグレー画像とした図である。
【００９１】
彩度の場合、ＭＡＸ−ＭＩＮ＝０またはＭＡＸ＝０のときのみ、無彩色として扱っているため、道路の領域なども彩度を持っている。
【００９２】
そこで、図５から解るように、彩度（Ｓ）が低い領域は、色相（Ｈ）による色の識別が非常に困難であることに注目し、各画素の彩度（Ｓ）の値を基準として、無彩色領域と有彩色領域とを２値化することを考える。
【００９３】
図１２および図１３は、しきい値としての彩度（Ｓ）を０から０．２まで０．０４刻みで変化させたときの画像への影響を示す。そして、図１２および図１３に示す画像は、しきい値よりも小さい彩度（Ｓ）を持つ画素を白（２５５）、しきい値以上の彩度を持つ画素を黒（０）として２値化した画像である。
【００９４】
図１２および図１３を参照して、彩度（Ｓ）値が０．２よりも小さい画素を無彩色、彩度（Ｓ）値が０．２以上である画素を有彩色として扱うことにより、無彩色領域と有彩色領域との識別に関して良い結果が得られた。他のサンプル画像に対しても評価を行なったが、彩度のしきい値を０．２付近に設定すると、良い結果が得られた。
【００９５】
上述したように、ＨＳＶ色空間について検討した結果、ＲＧＢ色空間では、画像分割が難しかった画像（たとえば、図６に示す人と机の分離、および図７に示す車のボディー部分の抽出）に対して、ＨＳＶ色空間を用いることによって、有彩色領域と、人間の目から見て無彩色に近い色とを分離したり、色合いは同じでも光の当たり具合で明度や彩度に違いが生じる領域を同一領域として分割できることが解った。
【００９６】
しかし、ＨＳＶ色空間は、無彩色領域の画像分割には適していない。それは、図５から解るように、彩度が低くなると、色合いを殆ど識別することができず、Ｈｕｅ値が意味を持たなくなるからである。
【００９７】
そこで、この発明においては、ＲＧＢ値と、ＨＳＶ値との両方の色空間を用いて、画素間の結合重みを決定し、それぞれの色空間が苦手とする色領域をお互いが補うことにしたのである。
【００９８】
そして、結合重み決定回路１２がＲＧＢ値、色相および彩度を用いて結合重みを決定する場合、ＨＳ変換回路１２５は、一般的には、式（１）および式（２）を用いて、ＲＧＢ値を色相（Ｈ）および彩度（Ｓ）に変換する。
【００９９】
しかし、式（１）および式（２）を用いてＲＧＢ値を色相（Ｈ）および彩度（Ｓ）に変換する場合、ＨＳ変換回路１２５を除算器を用いて構成する必要があり、除算器を用いたＨＳ変換回路１２５の実現方法は、演算に複数のサイクルを要するため、１サイクルでの処理の要求を満たすことができない。また、回路面積が大きくなるという問題もある。
【０１００】
そこで、テーブルマッピングによる方法が考えられる。すなわち、ＲＧＢ値を式（１）および式（２）を用いて予め計算したＨ値およびＳ値をメモリに保存しておき、それぞれのＲＧＢ値に対応するアドレスから計算結果を読み出すことで使用時の処理を削減する。
【０１０１】
しかし、Ｒ，Ｇ，Ｂは、それぞれ、８ビットのデータであるため、（（２８）３×９）ビットの大容量のメモリが必要であり、デコーダの回路面積が大きくなるという問題がある。
【０１０２】
そこで、この発明においては、好ましくは、Ｈ（０〜３６０度）およびＳ（０〜１）を複数のビン（領域）に分けることで計算結果をビンの数に限定し、その上でテーブルを参照して色相（Ｈ）および彩度（Ｓ）を求める。この方法によれば、除算器を一切使用せず、回路面積を抑えたＲＧＢ値からＨＳＶ値への変換回路を実現できる。
【０１０３】
図１４は、色相（Ｈｕｅ）のビンの構成図である。図１４を参照して、色相（Ｈｕｅ）のビン構成は、３段構成からなり、３６０度のＨｕｅ値を９０個のビンで構成する。
【０１０４】
Ｈｕｅ値の決定方法について説明する。まず、１段目（最も内側の円）で、注目画素が赤（０１）、緑（１０）、および青（１１）のどのカテゴリに属するかをＭＡＸに基づいて決定する。
【０１０５】
次に、ＭＩＮを決定し、式（１）からＭＡＸの条件に対応した式の分数部分が正か負かを決定する。分数部分が負である場合、“０”となり、分数部分が正である場合、“１”となる（２段目）。
【０１０６】
最後に、１５個のビンのうちのどのビンに対応するかを決定すれば、注目画素が９０個のビンで構成されたＨｕｅ値のどのビンに対応するかが解る（３段目）。
【０１０７】
上述したＨｕｅ値の決定方法においては、２段目までは、Ｒ，Ｇ，Ｂ値の大小関係から容易に決定できる。そこで、３段目の１〜１５のビンの決定方法について説明する。
【０１０８】
式（１）の分数部分を取出し、次の関係式を作成する。
【０１０９】
【数６】
2010102586.tif 000008
【０１１０】
式（６）において、ＭＥＤは、ＭＡＸおよびＭＩＮ以外のＲ，Ｇ，Ｂのいずれかの値、すなわち、中間値を表す。
【０１１１】
式（６）を変形すると、次式が得られる。
【０１１２】
【数７】
2010102586.tif 000009
【０１１３】
そして、式（７）におけるＸの値を１から１４まで変化させたときに生成される１４個の不等式の成立結果（１，０）からビン番号を決定する。
【０１１４】
図１５は、図２に示すＨＳ変換回路１２５に含まれる色相変換回路の構成を示す概略図である。ＨＳ変換回路１２５は、図１５に示す色相変換回路１２５０を含む。図１５を参照して、色相変換回路１２５０は、決定回路１２５１と、データ生成回路１２５２，１２５３と、スイッチ１２５４と、比較回路１２５５〜１２６８と、エンコーダ１２６９とを含む。
【０１１５】
決定回路１２５１は、画素値検出回路１１から各画素のＲＧＢ値を受け、その受けたＲＧＢ値の最大値ＭＡＸ、最小値ＭＩＮおよび中間値ＭＥＤを決定する。そして、決定回路１２５１は、その決定した最大値ＭＡＸをデータ生成回路１２５２へ出力し、中間値ＭＥＤをデータ生成回路１２５３へ出力し、最小値ＭＩＮをデータ生成回路１２５２，１２５３へ出力する。
【０１１６】
データ生成回路１２５２は、決定回路１２５１から最大値ＭＡＸおよび最小値ＭＩＮを受け、その受けた最大値ＭＡＸおよび最小値ＭＩＮに基づいて、Ｘを１から１４まで変化させた１４個のＸ×（ＭＡＸ−ＭＩＮ）を順次演算し、その演算した１４個のＸ×（ＭＡＸ−ＭＩＮ）（Ｘ＝１〜１４）をスイッチ１２５４へ出力する。すなわち、データ生成回路１２５２は、式（７）の右辺のＢを演算し、その演算したＢをスイッチ１２５４へ出力する。
【０１１７】
また、データ生成回路１２５３は、決定回路１２５１から中間値ＭＥＤおよび最小値ＭＩＮを受け、その受けた中間値ＭＥＤおよび最小値ＭＩＮに基づいて、１５×（ＭＥＤ−ＭＩＮ）を演算し、その演算した１５×（ＭＥＤ−ＭＩＮ）をスイッチ１２５４へ出力する。すなわち、データ生成回路１２５３は、式（７）の左辺のＡを演算し、その演算したＡをスイッチ１２５４へ出力する。
【０１１８】
スイッチ１２５４は、１４個のＸ×（ＭＡＸ−ＭＩＮ）（Ｘ＝１〜１４）をデータ生成回路１２５２から受け、１５×（ＭＥＤ−ＭＩＮ）をデータ生成回路１２５３から受ける。そして、スイッチ１２５４は、１×（ＭＡＸ−ＭＩＮ）および１５×（ＭＥＤ−ＭＩＮ）を比較回路１２５５へ出力し、２×（ＭＡＸ−ＭＩＮ）および１５×（ＭＥＤ−ＭＩＮ）を比較回路１２５６へ出力し、以下、同様にして、１４×（ＭＡＸ−ＭＩＮ）および１５×（ＭＥＤ−ＭＩＮ）を比較回路１２６８へ出力する。
【０１１９】
比較回路１２５５は、１×（ＭＡＸ−ＭＩＮ）および１５×（ＭＥＤ−ＭＩＮ）をスイッチ１２５４から受け、１×（ＭＡＸ−ＭＩＮ）を１５×（ＭＥＤ−ＭＩＮ）と比較する。そして、比較回路１２５５は、その比較結果をエンコーダ１２６９へ出力する。より具体的には、比較回路１２５５は、１５×（ＭＥＤ−ＭＩＮ）＜１×（ＭＡＸ−ＭＩＮ）が成立するとき、“１”をエンコーダ１２６９へ出力し、１５×（ＭＥＤ−ＭＩＮ）＜１×（ＭＡＸ−ＭＩＮ）が成立しないとき、“０”をエンコーダ１２６９へ出力する。
【０１２０】
比較回路１２５６は、２×（ＭＡＸ−ＭＩＮ）および１５×（ＭＥＤ−ＭＩＮ）をスイッチ１２５４から受け、２×（ＭＡＸ−ＭＩＮ）を１５×（ＭＥＤ−ＭＩＮ）と比較する。そして、比較回路１２５６は、その比較結果（１または０）をエンコーダ１２６９へ出力する。
【０１２１】
以下、同様にして、比較回路１２６８は、１４×（ＭＡＸ−ＭＩＮ）および１５×（ＭＥＤ−ＭＩＮ）をスイッチ１２５４から受け、１４×（ＭＡＸ−ＭＩＮ）を１５×（ＭＥＤ−ＭＩＮ）と比較する。そして、比較回路１２６８は、その比較結果（１または０）をエンコーダ１２６９へ出力する。
【０１２２】
なお、比較回路１２５５〜１２６８は、平行してＸ×（ＭＡＸ−ＭＩＮ）を１５×（ＭＥＤ−ＭＩＮ）と比較し、その比較結果をエンコーダ１２６９へ出力する。したがって、エンコーダ１２６９は、比較結果を示す１４ビットのデータを比較回路１２５５〜１２６８から受ける。
【０１２３】
エンコーダ１２６９は、１４ビットからなる比較結果を比較回路１２５５〜１２６８から受け、その受けた１４ビットの比較結果に基づいて、ビン番号を決定する。より具体的には、エンコーダ１２６９は、［０１００００００００００００］の比較結果を比較回路１２５５〜１２６８から受けたとき、ビン番号を“２”と決定し、［０００００００００１００００］の比較結果を比較回路１２５５〜１２６８から受けたとき、ビン番号を“１０”と決定する。なお、エンコーダ１２６９は、全てが“０”からなる［００００００００００００００］の比較結果を比較回路１２５５〜１２６８から受けたとき、ビン番号を“１５”と決定する。
【０１２４】
そして、エンコーダ１２６９は、その決定したビン番号をＨｕｅビン番号としてＤラッチ回路１２６へ出力する。
【０１２５】
上述したように、データ生成回路１２５２は、Ｘ×（ＭＡＸ−ＭＩＮ）を演算し、データ生成回路１２５３は、１５×（ＭＥＤ−ＭＩＮ）を演算するので、データ生成回路１２５２，１２５３の各々を加算器とシフト器とを用いた簡単な回路により実現できる。
【０１２６】
次に、ＲＧＢ値から彩度（Ｓ）への変換について説明する。図１６は、彩度（Ｓ）のビンの構成図である。図１６を参照して、０〜０．１の範囲の彩度（Ｓ）は、１のビンに割り当てられ、０．１〜０．１５の範囲の彩度（Ｓ）は、２のビンに割り当てられ、０．１５〜０．１６２５の範囲の彩度（Ｓ）は、３のビンに割り当てられ、０．１６２５〜０．１７５０の範囲の彩度（Ｓ）は、４のビンに割り当てられ、０．１７５０〜０．１８７５の範囲の彩度（Ｓ）は、５のビンに割り当てられ、０．１８７５〜０．２の範囲の彩度（Ｓ）は、６のビンに割り当てられる。また、０．２〜０．２１２５の範囲の彩度（Ｓ）は、７のビンに割り当てられ、０．２１２５〜０．２２５０の範囲の彩度（Ｓ）は、８のビンに割り当てられ、０．２２５０〜０．２３７５の範囲の彩度（Ｓ）は、９のビンに割り当てられ、０．２３７５〜０．２５の範囲の彩度（Ｓ）は、１０のビンに割り当てられ、０．２５〜０．３０の範囲の彩度（Ｓ）は、１１のビンに割り当てられ、０．３〜１．０の範囲の彩度（Ｓ）は、１２のビンに割り当てられる。
【０１２７】
このように、彩度（Ｓ）は、彩度境界である０．２付近にある程、細分されたビンに割り当てられる。
【０１２８】
ＲＧＢ値から彩度（Ｓ）への変換も、ＲＧＢ値から色相（Ｈ）への変換と同様な方法を用いる。彩度（Ｓ）の計算が必要になるのは、２つの画素のうちの一方の画素が無彩色領域に属し、他方の画素が有彩色領域に属する場合である。すなわち、２つの画素が彩度境界（Ｓ＝０．２）を間に挟んだ関係にある場合である。
【０１２９】
そこで、図１６に示すように、彩度境界（Ｓ＝０．２）の付近に限定して細かいビンに分ける。彩度のビンは、次の２つの式（８），（９）の成立結果を元に１２個のビンへ彩度を割り当てる。
【０１３０】
【数８】
2010102586.tif 000010
【０１３１】
【数９】
2010102586.tif 000011
【０１３２】
式（８）および式（９）の分母を払うと、それぞれ、式（１０）および式（１１）が得られる。
【０１３３】
【数１０】
2010102586.tif 000012
【０１３４】
【数１１】
2010102586.tif 000013
【０１３５】
図１７は、図２に示すＨＳ変換回路１２５に含まれる彩度変換回路の構成を示す概略図である。ＨＳ変換回路１２５は、図１７に示す彩度変換回路１２７０を含む。図１７を参照して、彩度変換回路１２７０は、決定回路１２７１と、データ生成回路１２７２〜１２７５と、スイッチ１２７６と、比較回路１２７７〜１２８８と、エンコーダ１２８９とを含む。
【０１３６】
決定回路１２７１は、画素値検出回路１１からＲＧＢ値を受け、その受けたＲＧＢ値の最大値ＭＡＸおよび最小値ＭＩＮを決定する。そして、決定回路１２７１は、その決定した最大値ＭＡＸをデータ生成回路１２７２〜１２７５へ出力し、その決定した最小値ＭＩＮをデータ生成回路１２７４，１２７５へ出力する。
【０１３７】
データ生成回路１２７２は、決定回路１２７１から最大値ＭＡＸを受け、その受けた最大値ＭＡＸを用いて、Ｙを２，３，６と変化させたＹ×ＭＡＸを順次演算し、その演算した３個のＹ×ＭＡＸ（Ｙ＝２，３，６）をスイッチ１２７６へ出力する。すなわち、データ生成回路１２７２は、式（１０）の右辺のＤを演算し、その演算したＤをスイッチ１２７６へ出力する。
【０１３８】
データ生成回路１２７３は、決定回路１２７１から最大値ＭＡＸを受け、その受けた最大値ＭＡＸを用いて、Ｚを１２から２０まで変化させたＺ×ＭＡＸを順次演算し、その演算した９個のＺ×ＭＡＸ（Ｚ＝１２〜２０）をスイッチ１２７６へ出力する。すなわち、データ生成回路１２５３は、式（１１）の右辺のＦを演算し、その演算したＦをスイッチ１２７６へ出力する。
【０１３９】
データ生成回路１２７４は、決定回路１２７１から最大値ＭＡＸおよび最小値ＭＩＮを受け、その受けた最大値ＭＡＸおよび最小値ＭＩＮを用いて２０×（ＭＡＸ−ＭＩＮ）を演算し、その演算した２０×（ＭＡＸ−ＭＩＮ）をスイッチ１２７６へ出力する。すなわち、データ生成回路１２７４は、式（１０）の左辺のＣを演算し、その演算したＣをスイッチ１２７６へ出力する。
【０１４０】
データ生成回路１２７５は、決定回路１２７１から最大値ＭＡＸおよび最小値ＭＩＮを受け、その受けた最大値ＭＡＸおよび最小値ＭＩＮを用いて８０×（ＭＡＸ−ＭＩＮ）を演算し、その演算した８０×（ＭＡＸ−ＭＩＮ）をスイッチ１２７６へ出力する。すなわち、データ生成回路１２７５は、式（１１）の左辺のＥを演算し、その演算したＥをスイッチ１２７６へ出力する。
【０１４１】
スイッチ１２７６は、データ生成回路１２７２から３個のＹ×ＭＡＸ（Ｙ＝２，３，６）を受け、データ生成回路１２７３から９個のＺ×ＭＡＸ（Ｚ＝１２〜２０）を受け、データ生成回路１２７４から２０×（ＭＡＸ−ＭＩＮ）を受け、データ生成回路１２７５から８０×（ＭＡＸ−ＭＩＮ）を受ける。
【０１４２】
そして、スイッチ１２７６は、２×ＭＡＸおよび２０×（ＭＡＸ−ＭＩＮ）を比較回路１２７７へ出力し、３×ＭＡＸおよび２０×（ＭＡＸ−ＭＩＮ）を比較回路１２７８へ出力し、６×ＭＡＸおよび２０×（ＭＡＸ−ＭＩＮ）を比較回路１２７９へ出力する。
【０１４３】
また、スイッチ１２７６は、１２×ＭＡＸおよび８０×（ＭＡＸ−ＭＩＮ）を比較回路１２８０へ出力し、１３×ＭＡＸおよび８０×（ＭＡＸ−ＭＩＮ）を比較回路１２８１へ出力し、以下、同様にして、２０×ＭＡＸおよび８０×（ＭＡＸ−ＭＩＮ）を比較回路１２８８へ出力する。
【０１４４】
比較回路１２７７は、２×ＭＡＸおよび２０×（ＭＡＸ−ＭＩＮ）をスイッチ１２７６から受け、２×ＭＡＸを２０×（ＭＡＸ−ＭＩＮ）と比較し、その比較結果をエンコーダ１２８９へ出力する。より具体的には、比較回路１２７７は、２０×（ＭＡＸ−ＭＩＮ）＜２×ＭＡＸが成立するとき、“１”をエンコーダ１２８９へ出力し、２０×（ＭＡＸ−ＭＩＮ）＜２×ＭＡＸが成立しないとき、“０”をエンコーダ１２８９へ出力する。
【０１４５】
また、比較回路１２７８は、３×ＭＡＸおよび２０×（ＭＡＸ−ＭＩＮ）をスイッチ１２７６から受け、３×ＭＡＸを２０×（ＭＡＸ−ＭＩＮ）と比較し、２０×（ＭＡＸ−ＭＩＮ）＜３×ＭＡＸが成立するとき、“１”をエンコーダ１２８９へ出力し、２０×（ＭＡＸ−ＭＩＮ）＜３×ＭＡＸが成立しないとき、“０”をエンコーダ１２８９へ出力する。
【０１４６】
同様にして、比較回路１２７９は、６×ＭＡＸおよび２０×（ＭＡＸ−ＭＩＮ）をスイッチ１２７６から受け、６×ＭＡＸを２０×（ＭＡＸ−ＭＩＮ）と比較し、２０×（ＭＡＸ−ＭＩＮ）＜６×ＭＡＸが成立するとき、“１”をエンコーダ１２８９へ出力し、２０×（ＭＡＸ−ＭＩＮ）＜６×ＭＡＸが成立しないとき、“０”をエンコーダ１２８９へ出力する。
【０１４７】
比較回路１２８０は、１２×ＭＡＸおよび８０×（ＭＡＸ−ＭＩＮ）をスイッチ１２７６から受け、１２×ＡＭＸを８０×（ＭＡＸ−ＭＩＮ）と比較し、その比較結果をエンコーダ１２８９へ出力する。より具体的には、比較回路１２８０は、８０×（ＭＡＸ−ＭＩＮ）＜１２×ＭＡＸが成立するとき、“１”をエンコーダ１２８９へ出力し、８０×（ＭＡＸ−ＭＩＮ）＜１２×ＭＡＸが成立しないとき、“０”をエンコーダ１２８９へ出力する。
【０１４８】
比較回路１２８１は、１３×ＭＡＸおよび８０×（ＭＡＸ−ＭＩＮ）をスイッチ１２７６から受け、１３×ＡＭＸを８０×（ＭＡＸ−ＭＩＮ）と比較し、８０×（ＭＡＸ−ＭＩＮ）＜１３×ＭＡＸが成立するとき、“１”をエンコーダ１２８９へ出力し、８０×（ＭＡＸ−ＭＩＮ）＜１３×ＭＡＸが成立しないとき、“０”をエンコーダ１２８９へ出力する。
【０１４９】
以下、同様にして、比較回路１２８８は、２０×ＭＡＸおよび８０×（ＭＡＸ−ＭＩＮ）をスイッチ１２７６から受け、２０×ＡＭＸを８０×（ＭＡＸ−ＭＩＮ）と比較し、８０×（ＭＡＸ−ＭＩＮ）＜２０×ＭＡＸが成立するとき、“１”をエンコーダ１２８９へ出力し、８０×（ＭＡＸ−ＭＩＮ）＜２０×ＭＡＸが成立しないとき、“０”をエンコーダ１２８９へ出力する。
【０１５０】
なお、比較回路１２７７〜１２８８は、上述した比較を平行して行ない、その比較結果を平行してエンコーダ１２８９へ出力する。したがって、エンコーダ１２８９は、１２ビットのデータを比較回路１２７７〜１２８８から受ける。
【０１５１】
エンコーダ１２８９は、１２ビットからなる比較結果を比較回路１２７７〜１２８８から受け、その受けた１２ビットの比較結果に基づいて、ビン番号を決定する。より具体的には、エンコーダ１２８９は、［１０００００００００００］の比較結果を比較回路１２７７〜１２８８から受けたとき、ビン番号を“１”と決定し、［００００００１０００００］の比較結果を比較回路１２７７〜１２８８から受けたとき、ビン番号を“７”と決定する。エンコーダ１２８９は、その他の１２ビットの比較結果を受けたときも、同様にしてビン番号を決定する。
【０１５２】
そして、エンコーダ１２８９は、その決定したビン番号をＳビン番号としてＤラッチ回路１２６へ出力する。
【０１５３】
上述したように、データ生成回路１２７２は、Ｙ×ＭＡＸを演算し、データ生成回路１２７３は、Ｚ×ＭＡＸを演算し、データ生成回路１２７４は、２０×（ＭＡＸ−ＭＩＮ）を演算し、データ生成回路１２７５は、８０×（ＭＡＸ−ＭＩＮ）を演算するので、データ生成回路１２７２〜１２７５の各々を加算器とシフト器とを用いた簡単な回路により実現できる。
【０１５４】
結合重みの決定方法について説明する。図１８は、結合重みを決定する方法を説明するための図である。図１８を参照して、外側の円は、色相（Ｈｕｅ）を表しており、また、中心から円周方向へ彩度をとっている。
【０１５５】
カラー領域と、色合いを殆ど識別できない無彩色に近い色とを分離するのにしきい値Ｓｔｈとして０．２付近が適していることが実験的に解ったので、０．２を彩度の境界とする。内側の円は、彩度が０．２である境界を表し、０．２よりも彩度が低い領域は、ほぼ無彩色に近い色であり、０．２よりも彩度が高い領域は、有彩色として扱う。また、図中の×は、画素を表している。
【０１５６】
２つの画素についてそれぞれ彩度Ｓ１，Ｓ２を演算し、その演算した２つの彩度Ｓ１，Ｓ２をしきい値Ｓｔｈ（＝０．２）と比較する。
【０１５７】
そして、２つの彩度Ｓ１，Ｓ２の両方がしきい値Ｓｔｈ以下であるとき、２つの画素は、無彩色領域に属すると判定し（図１８の（ａ）の場合）、ＲＧＢ値のみに基づいて、式（４），（５）を用いて２つの画素間の結合重みを決定する。
【０１５８】
また、２つの彩度Ｓ１，Ｓ２のうち、いずれか一方がしきい値Ｓｔｈ以下であるとき、２つの画素のうち、一方が無彩色領域に属し、他方が有彩色領域に属すると判定し（図１８の（ｂ）の場合）、ＲＧＢ値および彩度（Ｓ）を用いて２つの画素間の結合重みを決定する。
【０１５９】
さらに、２つの彩度Ｓ１，Ｓ２の両方がしきい値Ｓｔｈよりも大きいとき、２つの画素の両方が有彩色領域に属すると判定し（図１８の（ｃ）の場合）、ＲＧＢ値および色相（Ｈ）を用いて２つの画素間の結合重みを決定する。
【０１６０】
このように、この発明においては、実験的に求められたしきい値Ｓｔｈ（＝０．２）を用いて、２つの画素が無彩色領域および有彩色領域のいずれに属するかを決定する。これによって、２つの画素がどの領域に属するかを正確に決定できる。
【０１６１】
また、しきい値Ｓｔｈ（＝０．２）は、人間が目視によって色合いを殆ど識別できない無彩色に近い色と、カラー領域とを分離するために実験的に求められたので、人間の実際の識別に沿って２つの画素がどの領域に属するかを正確に決定できる。
【０１６２】
図１８の（ａ）に示す場合、結合重みをＨＳＶ色空間の色相（Ｈ）を用いて計算しても、無彩色領域では、色相が意味を持たないため、領域の分割精度の向上を期待できない。ＨＳＶ色空間の明度成分（Ｖ）を用いることも可能であるが、シミュレーションによりＲＧＢ値を用いた方が精度が向上するので、図１８の（ａ）に示す領域では、ＲＧＢ値のみを用いて結合重みを決定する。
【０１６３】
また、図１８の（ｂ）に示す場合、図６に示すサンプル画像の人物の領域でリーダセルが見つかり、机の領域に領域が成長しており、無彩色領域からカラー領域へ領域が広がったために生じた分割ミスである。逆に、カラー領域から無彩色領域へ成長する場合もある。サンプル画像のように、人物と机の重なりによって発生する影の影響で色が徐々に変化し、はっきりとしたエッジが領域境界に現れない場合、ＲＧＢ値だけでは、分割は難しい。
【０１６４】
この問題を解決するために、彩度（Ｓ）を用いて実験的に求めたＳ＝０．２の彩度境界をしきい値として、カラー領域（机領域）と無彩色領域（人物領域）との境界を検出することにした。
【０１６５】
そして、２つの画素が無彩色領域と有彩色領域とに属する場合、彩度（Ｓ）を用いて無彩色領域と有彩色領域との境界を決定し、境界面に属する２つの画素間の結合重みを、ＲＧＢ値の計算で求めた結合重みの値よりも小さく設定することで、有彩色領域から無彩色領域へ、または無彩色領域から有彩色領域へ領域の成長を抑制する方向に結合重みを決定する。これによって、画像分割において、有彩色領域から無彩色領域へ、または無彩色領域から有彩色領域への領域の成長が抑制され、コントラストが低い入力画像に対しても、画像を正確に分割できる。
【０１６６】
さらに、図１８の（ｃ）に示す場合、ＲＧＢ値を元に決定した画素間の結合重みでは、光の反射などにより明度および彩度に変化が生じた場合、画素間の各成分の差は大きくなるため、結合重みは小さい値になる。そのため、図７に示すサンプル画像では、同一領域をまとめて抽出することが困難であった。
【０１６７】
そこで、明度および彩度が変化しても、色合いそのものは、さほど変化しないことに注目し、色相（Ｈ）を用いた色相判定を取り入れる。有彩色領域に属する画素同士の結合重みの決定には、まず、２つの画素の色相比較を行ない、色相の差があるしきい値以内であるか否か、つまり、２つの画素が同一色相とみなせる範囲であるか否かの判定を行なう。そして、同一色相であると判定した場合、ＲＧＢ値から決定した結合重みが小さいときは（つまり、反射などの影響でＲＧＢ色空間では差が大きいとき）、領域を助長する方向へ、より大きい結合重みを与える。これにより、類似色相に属する有彩色領域の画素同士は、領域が成長し易くなり、反射などにより明度および彩度が変化する領域を１領域としてまとめて抽出することができる。
【０１６８】
図１８の（ａ），（ｂ），（ｃ）の各場合における具体的な結合重みの決定方法について説明する。
【０１６９】
図１８の（ａ）に示す場合、結合重みは、式（４），（５）によりＲＧＢ値のみを用いて決定されるが、式（４），（５）を用いて結合重みを演算する回路をディジタル回路として実装する場合、除算器は、回路面積が大きく、複数のクロックサイクルを必要とすることから、この発明においては、デコーダを用いてテーブルマッピングによって結合重みを決定する。表１は、ＲＧＢ値のみを用いて結合重みを決定するときの変換テーブルを示す。
【０１７０】
【表１】
2010102586.tif 000014
【０１７１】
表１に示す変換テーブルは、注目画素（ｉ，ｊ）と近傍画素（ｋ，ｌ）との２画素のＲＧＢ値を用いて演算した明度Ｉｉ，ｊと明度Ｉｋ，ｌとの差の絶対値｜Ｉｉ，ｊ−Ｉｋ，ｌ｜と、結合重みとの対応関係を示す。
【０１７２】
したがって、この発明においては、図１８の（ａ）に示す場合、２つの画素（ｉ，ｊ），（ｋ，ｌ）のＲＧＢ値に基づいて、２つの明度Ｉｉ，ｊ，Ｉｋ，ｌを演算し、その演算した２つの明度Ｉｉ，ｊ，Ｉｋ，ｌの差の絶対値｜Ｉｉ，ｊ−Ｉｋ，ｌ｜を演算し、その演算した絶対値｜Ｉｉ，ｊ−Ｉｋ，ｌ｜に対応する結合重みを表１を参照して抽出することにより、２つの画素（ｉ，ｊ），（ｋ，ｌ）の結合重みを決定する。
【０１７３】
次に、図１８の（ｂ）に示す場合、領域が広がるのを抑制するために、ＲＧＢ色空間から表１の変換テーブルを用いて得られた結合重みよりも小さい結合重みを与える。
【０１７４】
この場合、彩度境界（Ｓ＝０．２）をしきい値として無彩色と有彩色との２値に分別したとき、彩度境界付近の画素間の結合重みと、彩度境界から完全に離れた彩度の全く異なる画素間の結合重みとを同様の基準で扱わないように、結合重みを決定する。
【０１７５】
図１９は、反射による画素値への影響を示す図である。また、図２０は、彩度境界を変化させたときの無彩色画素値の変化を示す図である。
【０１７６】
図１９の（ａ）は、入力画像を示し、図１９の（ｂ）は、図１９の（ａ）に示す道路の画像を、彩度境界（Ｓ＝０．２）をしきい値として無彩色（０）と有彩色（１）とに２値化した画像を示し、図１９の（ｃ）は、画像分割の結果を示す。
【０１７７】
図１９の（ｂ）から解るように、画像の道路部分は、実験的に求めた彩度境界（Ｓ＝０．２）を無彩色領域と有彩色領域との分別のしきい値として用いると、画像中央を境に同一領域が有彩色領域と無彩色領域とに分かれて分類されてしまう。その結果、図１９の（ｃ）に示すように、道路は、彩度境界を境に領域の成長が抑制され、分割画像は、ＲＧＢ色空間を用いた場合よりも精度が低下してしまう。
【０１７８】
図２０を参照して、曲線ｋ１は、画像中にカラー領域を含む画像に対する無彩色画素数の変化を示し、曲線ｋ２は、画像中にカラー領域を含まないグレー画像に対する無彩色画素数の変化を示す。
【０１７９】
図２０から解るように、カラー領域を含む画像は、彩度境界が５０〜６０付近（Ｓ＝０．２）を境に無彩色画素数が飽和している。一方、グレー画像の場合、無彩色画素数は、線形的に変化し続ける。
【０１８０】
この結果から、彩度境界を挟む２つの画素間の結合重みを領域が成長しない領域まで急激に下げてしまうと、彩度境界によってうまく無彩色領域と有彩色領域とを分けることができなかった場合、グレー領域の分割精度が低下する。
【０１８１】
そこで、彩度境界に近い画素同士に対しては、結合重みの下げ幅を小さくし、彩度境界から離れるに従って結合重みの下げ幅を大きくする。これによって、グレー領域の分割精度を向上できる。
【０１８２】
図１８の（ｂ）に示す場合における結合重みの変換テーブルを表２に示す。
【０１８３】
【表２】
2010102586.tif 000015
【０１８４】
表２から解るように、絶対値｜Ｉｉ，ｊ−Ｉｋ，ｌ｜が００１ｘ＿ｘｘｘｘ，００００＿１ｘｘｘ，００００＿０１ｘｘ，００００＿００１ｘ，００００＿０００ｘである場合、結合重みは、彩度差｜Ｓｉ，ｊ−Ｓｋ，ｌ｜が大きくなるに従って、ＲＧＢ値のみを用いて決定した結合重み（表１参照）からの下げ幅を大きくして決定される。
【０１８５】
最後に、図１８の（ｃ）に示す場合の具体的な結合重みの決定方法について説明する。カラー画像では、反射などの影響がない場合、ＲＧＢ色空間による結合重みの決定によって精度の高い領域分割結果が得られることが解っている。そのため、反射の影響を受けた画素間の結合重みに対してのみ、ＨＳＶ色空間を用いて結合重みを最適化することが好ましい。
【０１８６】
そこで、Ｒ，Ｇ，Ｂの各成分が乱反射の影響によって連続画素間でどの程度変化するかをサンプル画像を用いて調べた。図２１は、Ｒ，Ｇ，Ｂの各成分の乱反射による影響を示す図である。
【０１８７】
図２１の（ａ）は、評価に用いたサンプル画像を示し、図２１の（ｂ）は、図２１の（ａ）に示す線分Ａ−Ｂ間上の画素のＲ，Ｇ，Ｂ値の変化を示し、図２１の（ｃ）は、図２１の（ａ）に示す線分Ｃ−Ｄ間上の画素のＲ，Ｇ，Ｂ値の変化を示す。すなわち、図２１の（ｂ）は、光の反射の影響を受ける車のボディー領域の画素値の変化を示し、図２１の（ｃ）は、光の反射の影響を受けていない道路領域の画素値の変化を示す。
【０１８８】
図２１を参照して、ボディー領域は、道路領域に比べ、連続画素間で画素値の変化が大きい。そして、光の反射による画素間の変化量は、３０から１００の間に集中していることが反射領域を持つサンプル画像から解った。つまり、画素値の差が非常に小さい領域、または、逆に画素値の差が非常に大きい領域は、光の反射による影響を受けていないと判定することにする。
【０１８９】
そこで、この発明においては、色相（Ｈ）の評価結果を利用した結合重みの最適化を表１に示す０１ｘｘ＿ｘｘｘｘ，００１ｘ＿ｘｘｘｘ，０００１＿ｘｘｘｘに限定することで、ＲＧＢ値によるカラー領域の分割精度を保持しつつ、色相（Ｈ）によって精度を向上させることができる。
【０１９０】
次に、２画素のＨｕｅ値の差を元に、表１の０１ｘｘ＿ｘｘｘｘ，００１ｘ＿ｘｘｘｘ，０００１＿ｘｘｘｘにおける結合重みをどの値まで引き上げるかを検討する。色相（Ｈ）の幅を大きく取り過ぎると、異なる色まで領域が成長してしまう。たとえば、色相の近い赤と橙色の画素値が同一色相として扱われると、２領域を分離することが困難になる。
【０１９１】
逆に、色相（Ｈ）の幅を小さくし過ぎると、ＲＧＢ値から色相（Ｈ）への変換計算には、除算が必要であるため、回路面積が大きくなる。
【０１９２】
そこで、実装面積と分割精度との両方を考慮してシミュレーションした結果、色相（Ｈ）の最小単位を４度に設定した場合、色相の近い色も分割できることが解った。
【０１９３】
図２２は、赤の車のボディーのＨｕｅ値のヒストグラムを示す図である。また、図２３は、青の車のボディーのＨｕｅ値のヒストグラムを示す図である。
【０１９４】
図２２および図２３を参照して、ヒストグラムの山を中心にして±１０度幅に殆どの画素が集中して抽出されている。また、画素間のＨｕｅ値の差は、同一領域（同一色）中では、約１０度以内と非常に変化量が小さい。
【０１９５】
したがって、上述した実験の結果を考慮して、２画素間のＨｕｅ値の差｜Ｈｉｊ−Ｈｋｌ｜に対して、４度以下、５度以上８度以下、およびそれ以外の３つの判定条件を設けて、図１８の（ｃ）に示す場合の結合重みの変換テーブルを表３に示すように決定した。
【０１９６】
【表３】
2010102586.tif 000016
【０１９７】
このように、２つの画素の色相差が４度変化するごとに２つの画素間の結合重みを変化させる。そして、色相差が小さい程、大きな結合重みが与えられる。
【０１９８】
図２４は、図２に示す重み計算ユニット１３２の構成図である。図２４を参照して、重み計算ユニット１３２は、結合重み演算回路１３２０と、色相差計算回路１３３０と、彩度差計算回路１３４０と、結合重み修正回路１３５０，１３６０と、セレクタ信号生成回路１３７０と、セレクタ１３８０とを含む。
【０１９９】
結合重み演算回路１３２０は、Ｄラッチ回路１２２およびＦＩＦＯ回路１２３から受けた２つのＲＧＢ値に基づいて、表１を用いて２つの画素間の結合重みを演算し、その演算した結合重みを結合重み修正回路１３５０，１３６０およびセレクタ１３８０へ出力する。
【０２００】
結合重み演算回路１３２０は、絶対値演算器１３２１，１３２３，１３２５と、エンコーダ１３２２，１３２４，１３２６と、最小値選択回路１３２７とを含む。
【０２０１】
絶対値演算器１３２１は、Ｄラッチ回路１２２およびＦＩＦＯ回路１２３から受けた２つのＲ値ＲＡ，ＲＢに基づいて、明度ＩＡ（Ｒ），ＩＢ（Ｒ）を演算し、その演算した明度ＩＡ（Ｒ），ＩＢ（Ｒ）の差の絶対値｜ＩＡ（Ｒ）−ＩＢ（Ｒ）｜を演算する。そして、絶対値演算器１３２１は、その演算した絶対値｜ＩＡ（Ｒ）−ＩＢ（Ｒ）｜をエンコーダ１３２２へ出力する。
【０２０２】
エンコーダ１３２２は、表１を保持しており、絶対値演算器１３２１から絶対値｜ＩＡ（Ｒ）−ＩＢ（Ｒ）｜を受けると、表１を参照して、絶対値｜ＩＡ（Ｒ）−ＩＢ（Ｒ）｜に対応する結合重みＷＡ，Ｂ（Ｒ）を抽出し、その抽出した結合重みＷＡ，Ｂ（Ｒ）を最小値選択回路１３２７へ出力する。
【０２０３】
絶対値演算器１３２３は、Ｄラッチ回路１２２およびＦＩＦＯ回路１２３から受けた２つのＧ値ＧＡ，ＧＢに基づいて、明度ＩＡ（Ｇ），ＩＢ（Ｇ）を演算し、その演算した明度ＩＡ（Ｇ），ＩＢ（Ｇ）の差の絶対値｜ＩＡ（Ｇ）−ＩＢ（Ｇ）｜を演算する。そして、絶対値演算器１３２３は、その演算した絶対値｜ＩＡ（Ｇ）−ＩＢ（Ｇ）｜をエンコーダ１３２４へ出力する。
【０２０４】
エンコーダ１３２４は、表１を保持しており、絶対値演算器１３２３から絶対値｜ＩＡ（Ｇ）−ＩＢ（Ｇ）｜を受けると、表１を参照して、絶対値｜ＩＡ（Ｇ）−ＩＢ（Ｇ）｜に対応する結合重みＷＡ，Ｂ（Ｇ）を抽出し、その抽出した結合重みＷＡ，Ｂ（Ｇ）を最小値選択回路１３２７へ出力する。
【０２０５】
絶対値演算器１３２５は、Ｄラッチ回路１２２およびＦＩＦＯ回路１２３から受けた２つのＢ値ＢＡ，ＢＢに基づいて、明度ＩＡ（Ｂ），ＩＢ（Ｂ）を演算し、その演算した明度ＩＡ（Ｂ），ＩＢ（Ｂ）の差の絶対値｜ＩＡ（Ｂ）−ＩＢ（Ｂ）｜を演算する。そして、絶対値演算器１３２５は、その演算した絶対値｜ＩＡ（Ｂ）−ＩＢ（Ｂ）｜をエンコーダ１３２６へ出力する。
【０２０６】
エンコーダ１３２６は、表１を保持しており、絶対値演算器１３２５から絶対値｜ＩＡ（Ｂ）−ＩＢ（Ｂ）｜を受けると、表１を参照して、絶対値｜ＩＡ（Ｂ）−ＩＢ（Ｂ）｜に対応する結合重みＷＡ，Ｂ（Ｂ）を抽出し、その抽出した結合重みＷＡ，Ｂ（Ｂ）を最小値選択回路１３２７へ出力する。
【０２０７】
最小値選択回路１３２７は、エンコーダ１３２２，１３２４，１３２６からそれぞれ結合重みＷＡ，Ｂ（Ｒ），ＷＡ，Ｂ（Ｇ），ＷＡ，Ｂ（Ｂ）を受け、その受けた３個の結合重みＷＡ，Ｂ（Ｒ），ＷＡ，Ｂ（Ｇ），ＷＡ，Ｂ（Ｂ）の中から最小の結合重みＷＡ，Ｂを選択する。そして、最小値選択回路１３２７は、その選択した結合重みＷＡ，Ｂを結合重み修正回路１３５０，１３６０およびセレクタ１３８０へ出力する。
【０２０８】
色相差計算回路１３３０は、図１４に示すＨｕｅビン番号の割当図を保持しており、Ｄラッチ回路１２７およびＦＩＦＯ回路１２８からそれぞれＨｕｅビン番号ＡおよびＨｕｅビン番号Ｂを受ける。そして、色相差計算回路１３３０は、図１４に示すＨｕｅビン番号の割当図を参照して、その受けたＨｕｅビン番号ＡおよびＨｕｅビン番号Ｂに対応するＨｕｅ値ＨＡ，ＨＢを検出する。そうすると、色相差計算回路１３３０は、色相差｜ＨＡ−ＨＢ｜を演算し、その演算した色相差｜ＨＡ−ＨＢ｜を結合重み修正回路１３５０へ出力する。
【０２０９】
彩度差計算回路１３４０は、図１６に示すＳビン番号の割当図を保持しており、Ｄラッチ回路１２７およびＦＩＦＯ回路１２８からそれぞれＳビン番号ＡおよびＳビン番号Ｂを受ける。そして、彩度差計算回路１３４０は、図１６に示すＳビン番号の割当図を参照して、その受けたＳビン番号ＡおよびＳビン番号Ｂに対応するＳ値ＳＡ，ＳＢを検出する。この検出されたＳ値ＳＡ，ＳＢは、２５６階調に規格化された値である。そうすると、彩度差計算回路１３４０は、彩度差｜ＳＡ−ＳＢ｜を演算し、その演算した彩度差｜ＳＡ−ＳＢ｜を結合重み修正回路１３６０へ出力する。
【０２１０】
結合重み修正回路１３５０は、表３を保持しており、結合重み演算回路１３２０から結合重みＷＡ，Ｂを受け、色相差計算回路１３３０から色相差｜ＨＡ−ＨＢ｜を受ける。そして、結合重み修正回路１３５０は、表３を参照して、結合重みＷＡ，Ｂに一致する絶対値｜Ｉｉｊ−Ｉｋｌ｜を抽出する。
【０２１１】
その後、結合重み修正回路１３５０は、その抽出した絶対値｜Ｉｉｊ−Ｉｋｌ｜が表３に示す１ｘｘｘ＿ｘｘｘｘ，００００＿１ｘｘｘ，００００＿０１ｘｘ，００００＿００１ｘ，００００＿０００ｘのいずれかである場合、１ｘｘｘ＿ｘｘｘｘ，００００＿１ｘｘｘ，００００＿０１ｘｘ，００００＿００１ｘ，００００＿０００ｘに対応する結合重みＷＡ，Ｂ＿Ｈを表３から抽出し、その抽出した結合重みＷＡ，Ｂ＿Ｈをセレクタ３８０へ出力する。
【０２１２】
また、結合重み修正回路１３５０は、その抽出した絶対値｜Ｉｉｊ−Ｉｋｌ｜が表３に示す０１ｘｘ＿ｘｘｘｘ，００１ｘ＿ｘｘｘｘ，０００１＿ｘｘｘｘのいずれかである場合、色相差｜ＨＡ−ＨＢ｜が○以下であるか否かを判定し、色相差｜ＨＡ−ＨＢ｜が○以下である場合、色相差｜ＨＡ−ＨＢ｜が○以下の場合の結合重みＷＡ，Ｂ＿Ｈ（○）を表３から抽出する。
【０２１３】
より具体的には、結合重み修正回路１３５０は、その抽出した絶対値｜Ｉｉｊ−Ｉｋｌ｜が表３に示す０１ｘｘ＿ｘｘｘｘである場合、色相差｜ＨＡ−ＨＢ｜が“４度”以下であるか否かを判定し、色相差｜ＨＡ−ＨＢ｜が“４度”以下である場合、１６からなる結合重みＷＡ，Ｂ＿Ｈを表３から抽出し、その抽出した結合重みＷＡ，Ｂ＿Ｈ（＝１６）をセレクタ３８０へ出力する。一方、結合重み修正回路３５０は、色相差｜ＨＡ−ＨＢ｜が“４度”以下でない場合、４からなる結合重みＷＡ，Ｂ＿Ｈを表３から抽出し、その抽出した結合重みＷＡ，Ｂ＿Ｈ（＝４）をセレクタ１３８０へ出力する。
【０２１４】
また、結合重み修正回路１３５０は、その抽出した絶対値｜Ｉｉｊ−Ｉｋｌ｜が表３に示す００１ｘ＿ｘｘｘｘである場合、色相差｜ＨＡ−ＨＢ｜が“４度”以下であるか否かを判定し、色相差｜ＨＡ−ＨＢ｜が“４度”以下である場合、３２からなる結合重みＷＡ，Ｂ＿Ｈを表３から抽出し、その抽出した結合重みＷＡ，Ｂ＿Ｈ（＝３２）をセレクタ１３８０へ出力する。一方、結合重み修正回路１３５０は、色相差｜ＨＡ−ＨＢ｜が“４度”以下でない場合、色相差｜ＨＡ−ＨＢ｜が“８度”以下であるか否かをさらに判定し、色相差｜ＨＡ−ＨＢ｜が“８度”以下である場合、１６からなる結合重みＷＡ，Ｂ＿Ｈを表３から抽出し、その抽出した結合重みＷＡ，Ｂ＿Ｈ（＝１６）をセレクタ１３８０へ出力する。一方、結合重み修正回路１３５０は、色相差｜ＨＡ−ＨＢ｜が“８度”以下でない場合、８からなる結合重みＷＡ，Ｂ＿Ｈを表３から抽出し、その抽出した結合重みＷＡ，Ｂ＿Ｈ（＝８）をセレクタ１３８０へ出力する。
【０２１５】
さらに、結合重み修正回路１３５０は、その抽出した絶対値｜Ｉｉｊ−Ｉｋｌ｜が表３に示す０００１＿ｘｘｘｘである場合、色相差｜ＨＡ−ＨＢ｜が“４度”以下であるか否かを判定し、色相差｜ＨＡ−ＨＢ｜が“４度”以下である場合、３２からなる結合重みＷＡ，Ｂ＿Ｈを表３から抽出し、その抽出した結合重みＷＡ，Ｂ＿Ｈ（＝３２）をセレクタ１３８０へ出力する。一方、結合重み修正回路１３５０は、色相差｜ＨＡ−ＨＢ｜が“４度”以下でない場合、１６からなる結合重みＷＡ，Ｂ＿Ｈを表３から抽出し、その抽出した結合重みＷＡ，Ｂ＿Ｈ（＝１６）をセレクタ１３８０へ出力する。
【０２１６】
結合重み修正回路１３６０は、表２を保持しており、結合重み演算回路１３２０から結合重みＷＡ，Ｂを受け、彩度差計算回路１３４０から彩度差｜ＳＡ−ＳＢ｜を受ける。そして、結合重み修正回路１３６０は、表２を参照して、結合重みＷＡ，Ｂに一致する絶対値｜Ｉｉｊ−Ｉｋｌ｜を抽出する。
【０２１７】
また、結合重み修正回路１３６０は、彩度差｜ＳＡ−ＳＢ｜が“６”以下であるか否かを判定し、彩度差｜ＳＡ−ＳＢ｜が“６”以下である場合、結合重みＷＡ，Ｂに一致する絶対値｜Ｉｉｊ−Ｉｋｌ｜と、“ｉｆ≦６”とに対応する結合重みＷＡ，Ｂ＿Ｓを表２から抽出し、その抽出した結合重みＷＡ，Ｂ＿Ｓをセレクタ１３８０へ出力する。
【０２１８】
一方、結合重み修正回路１３６０は、彩度差｜ＳＡ−ＳＢ｜が“６”以下でない場合、彩度差｜ＳＡ−ＳＢ｜が“９”以下であるか否かをさらに判定し、彩度差｜ＳＡ−ＳＢ｜が“９”以下である場合、結合重みＷＡ，Ｂに一致する絶対値｜Ｉｉｊ−Ｉｋｌ｜と、“ｅｌｓｅ  ｉｆ≦９”とに対応する結合重みＷＡ，Ｂ＿Ｓを表２から抽出し、その抽出した結合重みＷＡ，Ｂ＿Ｓをセレクタ１３８０へ出力する。
【０２１９】
一方、結合重み修正回路１３６０は、彩度差｜ＳＡ−ＳＢ｜が“９”以下でない場合、彩度差｜ＳＡ−ＳＢ｜が“１２”以下であるか否かをさらに判定し、彩度差｜ＳＡ−ＳＢ｜が“１２”以下である場合、結合重みＷＡ，Ｂに一致する絶対値｜Ｉｉｊ−Ｉｋｌ｜と、“ｅｌｓｅ  ｉｆ≦１２”とに対応する結合重みＷＡ，Ｂ＿Ｓを表２から抽出し、その抽出した結合重みＷＡ，Ｂ＿Ｓをセレクタ１３８０へ出力する。
【０２２０】
一方、結合重み修正回路１３６０は、彩度差｜ＳＡ−ＳＢ｜が“１２”以下でない場合、結合重みＷＡ，Ｂに一致する絶対値｜Ｉｉｊ−Ｉｋｌ｜と、“ｅｌｓｅ”とに対応する結合重みＷＡ，Ｂ＿Ｓを表２から抽出し、その抽出した結合重みＷＡ，Ｂ＿Ｓをセレクタ１３８０へ出力する。
【０２２１】
セレクタ信号生成回路１３７０は、しきい値Ｓｔｈ（＝０．２）および図１６に示すＳビン番号の割当図を保持しており、Ｄラッチ回路１２７およびＦＩＦＯ回路１２８からそれぞれＳビン番号ＡおよびＳビン番号Ｂを受ける。そして、セレクタ信号生成回路１３７０は、図１６に示すＳビン番号の割当図を参照して、その受けたＳビン番号ＡおよびＳビン番号Ｂに対応するＳ値ＳＡ，ＳＢを検出する。
【０２２２】
そうすると、セレクタ信号生成回路１３７０は、その検出した２つのＳ値ＳＡ，ＳＢをしきい値Ｓｔｈと比較する。そして、セレクタ信号生成回路１３７０は、２つのＳ値ＳＡ，ＳＢの両方がしきい値Ｓｔｈ以下であるとき、結合重み演算回路１３２０から受けた結合重みＷＡ，Ｂを選択するためのセレクタ信号ＳＥＬ＿ＲＧＢを生成し、その生成したセレクタ信号ＳＥＬ＿ＲＧＢをセレクタ１３８０へ出力する。
【０２２３】
また、セレクタ信号生成回路１３７０は、２つのＳ値ＳＡ，ＳＢのいずれか一方がしきい値Ｓｔｈ以下であるとき、結合重み修正回路１３６０から受けた結合重みＷＡ，Ｂ＿Ｓを選択するためのセレクタ信号ＳＥＬ＿Ｓを生成し、その生成したセレクタ信号ＳＥＬ＿Ｓをセレクタ１３８０へ出力する。
【０２２４】
さらに、セレクタ信号生成回路１３７０は、２つのＳ値ＳＡ，ＳＢの両方がしきい値Ｓｔｈよりも大きいとき、結合重み修正回路１３５０から受けた結合重みＷＡ，Ｂ＿Ｈを選択するためのセレクタ信号ＳＥＬ＿Ｈを生成し、その生成したセレクタ信号ＳＥＬ＿Ｈをセレクタ１３８０へ出力する。
【０２２５】
セレクタ１３８０は、結合重み演算回路１３２０から結合重みＷＡ，Ｂを受け、結合重み修正回路１３５０，１３６０からそれぞれ結合重みＷＡ，Ｂ＿Ｈ，ＷＡ，Ｂ＿Ｓを受ける。そして、セレクタ１３８０は、セレクタ信号生成回路１３７０からセレクタ信号ＳＥＬ＿ＲＧＢを受けると、結合重みＷＡ，Ｂを選択し、その選択した結合重みＷＡ，Ｂを結合重みＣＷとして出力する。また、セレクタ１３８０は、セレクタ信号生成回路１３７０からセレクタ信号ＳＥＬ＿Ｓを受けると、結合重みＷＡ，Ｂ＿Ｓを選択し、その選択した結合重みＷＡ，Ｂ＿Ｓを結合重みＣＷとして出力する。さらに、セレクタ１３８０は、セレクタ信号生成回路１３７０からセレクタ信号ＳＥＬ＿Ｈを受けると、結合重みＷＡ，Ｂ＿Ｈを選択し、その選択した結合重みＷＡ，Ｂ＿Ｈを結合重みＣＷとして出力する。
【０２２６】
図２に示す重み計算ユニット１３３は、図２４に示す重み計算ユニット１３２と同じ構成からなり、Ｄラッチ回路１２１，１２４から受けたＲＧＢ値ＲＧＢＡ，ＲＧＢＢと、Ｄラッチ回路１２６，１２９から受けたＨｕｅビン番号Ａ、Ｈｕｅビン番号Ｂ、Ｓビン番号Ａ、およびＳビン番号Ｂに基づいて、重み計算ユニット１３２と同じ方法によって、結合重みＷＡ，Ｂ，ＷＡ，Ｂ＿Ｈ，ＷＡ，Ｂ＿Ｓを演算し、その演算した結合重みＷＡ，Ｂ，ＷＡ，Ｂ＿Ｈ，ＷＡ，Ｂ＿Ｓのいずれかを結合重みＣＷとして選択して出力する。
【０２２７】
また、図２に示す重み計算ユニット１３４は、図２４に示す重み計算ユニット１３２と同じ構成からなり、Ｄラッチ回路１２４から受けたＲＧＢ値ＲＧＢＡと、Ｄラッチ回路１２９から受けたＨｕｅビン番号ＡおよびＳビン番号Ａと、選択器１３０から受けたＲＧＢ値ＲＧＢＢ、Ｈｕｅビン番号ＢおよびＳビン番号Ｂとに基づいて、重み計算ユニット１３２と同じ方法によって、結合重みＷＡ，Ｂ，ＷＡ，Ｂ＿Ｈ，ＷＡ，Ｂ＿Ｓを演算し、その演算した結合重みＷＡ，Ｂ，ＷＡ，Ｂ＿Ｈ，ＷＡ，Ｂ＿Ｓのいずれかを結合重みＣＷとして選択して出力する。
【０２２８】
さらに、図２に示す重み計算ユニット１３５は、図２４に示す重み計算ユニット１３２と同じ構成からなり、Ｄラッチ回路１２１から受けたＲＧＢ値ＲＧＢＡと、Ｄラッチ回路１２６から受けたＨｕｅビン番号ＡおよびＳビン番号Ａと、選択器１３１から受けたＲＧＢ値ＲＧＢＢ、Ｈｕｅビン番号ＢおよびＳビン番号Ｂとに基づいて、重み計算ユニット１３２と同じ方法によって、結合重みＷＡ，Ｂ，ＷＡ，Ｂ＿Ｈ，ＷＡ，Ｂ＿Ｓを演算し、その演算した結合重みＷＡ，Ｂ，ＷＡ，Ｂ＿Ｈ，ＷＡ，Ｂ＿Ｓのいずれかを結合重みＣＷとして選択して出力する。
【０２２９】
画像分割回路１３における画像の分割方法について説明する。図２５は、画像の分割方法を説明するための図である。画像分割回路１３は、領域成長型画像分割方法によって１つのフレームを各対象物の画像に分割する。
【０２３０】
この領域成長型画像分割方法は、ＬＥＧＩＯＮモデル（D. L. Wang, and D. Terman, “Image segmentation based on oscillator correlation,” Neural Computation, Volume 9(4), pp. 805-836(1997).）の振動子ネットワークの各画素に対する振動子の振る舞いを自己発火（Ｓｅｌｆ−Ｅｘｃｉｔａｔｉｏｎ）、自己発火可能（Ｓｅｌｆ−Ｅｘｃｉｔａｂｌｅ）、発火（Ｅｘｃｉｔａｔｉｏｎ）および鎮火（Ｉｎｈｉｂｉｔｉｏｎ）という４つの状態で取り扱うものである。そして、この領域成長型画像分割方法は、初期化、自己発火、発火、および鎮火の４つのステップからなる。
【０２３１】
画像分割回路１３は、図２５の（ａ）に示す３×３の構成からなる入力画像を受ける。そして、画像分割回路１３は、入力画像を構成する９個の画素における画素間の８個の結合重みＣＷ１〜ＣＷ８を結合重み決定回路１２から受け、その受けた８個の結合重みＣＷ１〜ＣＷ８を各画素間に対応付けてメモリに保持する。なお、図２５の（ｂ）においては、（２，２）の画素と周囲の画素との８個の結合重みが図示されている。
【０２３２】
そうすると、画像分割回路１３は、メモリに保持された８個の結合重みＣＷ１〜ＣＷ８を読み出し、その読み出した８個の結合重みＣＷ１〜ＣＷ８の和ＳＵＭ（ＣＷ）を演算する。そして、画像分割回路１３は、その演算した和ＳＵＭ（ＣＷ）がリーダセルを決定するためのしきい値φＰよりも大きいか否かを判定する。なお、この出願においては、ＳＵＭは、数学におけるシグマ記号によって表される和を演算することを意味する。
【０２３３】
画像分割回路１３は、和ＳＵＭ（ＣＷ）がしきい値φＰよりも大きいと判定したとき、結合重みの計算の中心となった画素をリーダセルに設定し、リーダセルフラグｐｉｊ＝１を設定する。一方、画像分割回路３は、和ＳＵＭ（ＣＷ）がしきい値φＰ以下であると判定したとき、結合重みの計算の中心となった画素をリーダセルに設定せず、リーダセルフラグｐｉｊ＝０を設定する。
【０２３４】
画像分割回路１３は、この処理を入力画像の９個の画素の各々を結合重みの計算の中心となる画素に設定して実行し、リーダセルを決定する（図２５の（ｃ）参照）。
【０２３５】
その後、画像分割回路１３は、リーダセルの１つを自己発火させる（発火フラグｘｉｊ＝１）（図２５の（ｄ）参照）。そして、画像分割回路３は、各セル（ｉ，ｊ）に隣接する８個の画素に対応するセル（ｋ，ｌ）∈Ｎｉｊが発火していれば、セル（ｉ，ｊ）とセル（ｋ，ｌ）との間の結合重みの和ＳＵＭ（ｋ，ｌ）∈Ｎｉｊ∧ｘｋｌ＝１Ｗｉｊ；ｋｌを演算し、その演算した和ＳＵＭ（ｋ，ｌ）∈Ｎｉｊ∧ｘｋｌ＝１Ｗｉｊ；ｋｌがしきい値φＺよりも大きく、かつ、まだ、セル（ｉ，ｊ）がどの分割領域にも属していない（ラベルフラグｌｉｊ＝０）場合に、自動的に発火（ｘｉｊ＝１）させる（引火・領域成長）（図２５の（ｅ）参照）。この引火処理によって、領域が広がっていき、図２５の（ｆ）に示すように、新たに発火するセルが存在しなくなると、１領域の分割が終了する。
【０２３６】
その後、画像分割回路１３は、この分割された領域を保存するために、図２５の（ｇ）に示すように、発火しているセルへ分割領域識別のためのラベル番号を書き込み、発火したセルが既に分割されたセルであることを示すラベルフラグをセットし（ｌｉｊ＝１）、鎮火処理（ｘｉｊ＝０，ｐｉｊ＝０）を行なう。
【０２３７】
画像分割回路１３は、鎮火処理が終了すると、再び、次の領域の分割のための自己発火の処理に戻る。そして、画像分割回路１３は、リーダセルが存在しなくなるまで、上述した処理を繰り返し実行し、各領域を分割する。そして、画像分割回路１３は、全てのリーダセルが発火した後、全ての領域にラベル付けを行ない、１フレームの画像の分割を終了する（図２５の（ｈ）参照）。
【０２３８】
図１に示す追跡ユニット２における動作について説明する。図２６は、追跡物体を得るための概念図である。図２６を参照して、画像分割ユニット１は、入力画像（図２６の（ａ）参照）を上述した方法によって複数の分割画像に分割し、その分割した複数の分割画像を追跡ユニット２へ出力する。
【０２３９】
追跡ユニット２は、画像分割ユニット１の画像分割回路１３から複数の分割画像を受け、その受けた複数の分割画像によって表されている複数の分割物体を静止物体と移動物体とに分類する。より具体的には、追跡ユニット２は、ｔ−１（ｔは、２以上の整数）番目のフレームＦ（ｔ−１）を分割して得られた複数の分割画像ＤＧ１（ｔ−１）〜ＤＧｍ（ｔ−１）（ｍは２以上の整数）を画像分割回路１３から受けると、その受けた複数の分割画像ＤＧ１（ｔ−１）〜ＤＧｍ（ｔ−１）によって表される複数の分割物体ＯＪ１（ｔ−１）〜ＯＪｍ（ｔ−１）の特徴量を抽出して記憶する。この場合、追跡ユニット２は、特徴量として、各分割物体ＯＪ１（ｔ−１）〜ＯＪｍ（ｔ−１）の位置、サイズ（幅および高さ）、色（Ｒ，Ｇ，Ｂ）、面積および推定位置を抽出する。
【０２４０】
その後、追跡ユニット２は、ｔ番目のフレームＦ（ｔ）を分割して得られた複数の分割画像ＤＧ１（ｔ）〜ＤＧｍ（ｔ）を画像分割回路１３から受けると、その受けた複数の分割画像ＤＧ１（ｔ）〜ＤＧｍ（ｔ）によって表される複数の分割物体ＯＪ１（ｔ）〜ＯＪｍ（ｔ）の特徴量を抽出して記憶する。
【０２４１】
そうすると、追跡ユニット２は、内蔵した連想メモリによって、分割物体ＯＪ１（ｔ−１）〜ＯＪｍ（ｔ−１）の特徴量と分割物体ＯＪ１（ｔ）〜ＯＪｍ（ｔ）の特徴量とを用いて、分割物体ＯＪ１（ｔ−１）〜ＯＪｍ（ｔ−１）と分割物体ＯＪ１（ｔ）〜ＯＪｍ（ｔ）とのオブジェクトマッチングを行なう。たとえば、追跡ユニット２は、分割物体ＯＪ１（ｔ−１）〜ＯＪｍ（ｔ−１）の特徴量とのマンハッタン距離が最小となる特徴量を有する分割物体ＯＪ１（ｔ）〜ＯＪｍ（ｔ）を検出することによって分割物体ＯＪ１（ｔ−１）〜ＯＪｍ（ｔ−１）と分割物体ＯＪ１（ｔ）〜ＯＪｍ（ｔ）とのオブジェクトマッチングを行なう。
【０２４２】
そして、追跡ユニット２は、オブジェクトマッチングした分割物体ＯＪ１（ｔ−１），ＯＪ１（ｔ）の位置に基づいて、分割物体ＯＪ１（ｔ）の動きベクトルＭＶ１（ｔ）を求める。追跡ユニット２は、分割物体ＯＪ２（ｔ）〜ＯＪｍ（ｔ）の各々についても、動きベクトルＭＶ２（ｔ）〜ＭＶｍ（ｔ）を求める。
【０２４３】
その後、追跡ユニット２は、その求めた動きベクトルＭＶ１（ｔ）〜ＭＶｍ（ｔ）に基づいて、大きさが“１”以上である動きベクトルを有する分割物体を移動物体とし、大きさが“１”よりも小さい動きベクトルを有する分割物体を静止物体として分割物体ＯＪ１（ｔ）〜ＯＪｍ（ｔ）を移動物体と静止物体とに分類する。
【０２４４】
引き続いて、追跡ユニット２は、移動物体が得られると（図２６の（ｂ）参照）、その得られた移動物体を後述する方法によってグループ化し、追跡物体（図２６の（ｃ）参照）を認識する。
【０２４５】
追跡ユニット２は、新たなフレームを分割して得られた複数の分割画像を画像分割ユニット１の画像分割回路１３から受けるごとに、上述した方法によって、追跡物体を認識する。
【０２４６】
図２７は、分割物体の動きベクトルおよび推定位置を求める方法を説明するための図である。図２７を参照して、追跡ユニット２は、複数の分割画像ＤＧ１（ｔ−１）〜ＤＧｍ（ｔ−１）を画像分割回路１３から受けると、その受けた複数の分割画像ＤＧ１（ｔ−１）〜ＤＧｍ（ｔ−１）の各々において、分割物体に内接するボックスＢｉを生成する。ボックスＢｉは、４個の頂点Ａ，Ｂ，Ｃ，Ｄを有し、図２７に示すｘ−ｙ座標系において、頂点Ａは、座標（Ｘｘｍｉｎ，Ｙｙｍｉｎ）を有し、頂点Ｂは、座標（Ｘｘｍｉｎ，Ｙｙｍａｘ）を有し、頂点Ｃは、座標（Ｘｘｍａｘ，Ｙｙｍａｘ）を有し、頂点Ｄは、座標（Ｘｘｍａｘ，Ｙｙｍｉｎ）を有する。
【０２４７】
追跡ユニット２は、ボックスＢｉを生成すると、その生成したボックスＢｉの４個の頂点Ａ，Ｂ，Ｃ，Ｄの座標に基づいて、ボックスＢｉの中心位置を求め、その求めた中心位置を分割物体（＝Ｓｅｇｍｅｎｔ  ｉ）の位置とする。また、追跡ユニット２は、ボックスＢｉの４個の頂点Ａ，Ｂ，Ｃ，Ｄの座標に基づいて、分割物体（＝Ｓｅｇｍｅｎｔ  ｉ）のサイズ（幅および高さ）を求める。さらに、追跡ユニット２は、分割画像ＤＧ１（ｔ−１）〜ＤＧｍ（ｔ−１）の各々において、分割物体（＝Ｓｅｇｍｅｎｔ  ｉ）のＲＧＢ値と面積とを検出する。
【０２４８】
追跡ユニット２は、複数の分割画像ＤＧ１（ｔ）〜ＤＧｍ（ｔ）を画像分割回路１３から受けると、その受けた複数の分割画像ＤＧ１（ｔ）〜ＤＧｍ（ｔ）の各々において、同様にして、分割物体（＝Ｓｅｇｍｅｎｔ  ｉ）の位置、サイズ（幅および高さ）、ＲＧＢ値、および面積を求める。
【０２４９】
その後、追跡ユニット２は、上述したオブジェクトマッチングを行ない、分割画像ＤＧ１（ｔ−１）における分割物体ＯＪ１（ｔ−１）の位置と、分割画像ＤＧ１（ｔ）における分割物体ＯＪ１（ｔ）の位置とに基づいて、分割物体ＯＪ１（ｔ）の動きベクトルＭＶ１（ｔ）を求める。追跡ユニット２は、同様にして、分割物体ＯＪ２（ｔ）〜ＯＪｍ（ｔ）の動きベクトルＭＶ２（ｔ）〜ＭＶｍ（ｔ）を求める。
【０２５０】
そうすると、追跡ユニット２は、その求めた動きベクトルＭＶ１（ｔ）〜ＭＶｍ（ｔ）を分割画像ＤＧ１（ｔ）〜ＤＧｍ（ｔ）における分割物体Ｓｅｇｍｅｎｔ＿１〜Ｓｅｇｍｅｎｔ＿ｍの位置に加算することによって分割物体Ｓｅｇｍｅｎｔ＿１〜Ｓｅｇｍｅｎｔ＿ｍの推定位置を求める。そして、追跡ユニット２は、分割物体（＝Ｓｅｇｍｅｎｔ  ｉ）の位置、サイズ（幅および高さ）、ＲＧＢ値、面積および推定位置を分割物体（＝Ｓｅｇｍｅｎｔ  ｉ）の特徴量として記憶する。
【０２５１】
図２８は、分割物体のグループ化に必要なバウンディングボックスの定義を示す図である。図２８を参照して、追跡ユニット２は、上述した方法によってボックスＢｉを生成すると、その生成したボックスＢｉにマージンｍａｒｇｉｎを加えたボックスをバウンディングボックスＢＢｉとして定義する。
【０２５２】
このバウンディングボックスＢＢｉは、図２８に示すｘ−ｙ座標系において、座標（Ｘｘｍａｘ＋ｍａｒｇｉｎ，Ｙｙｍｉｎ−ｍａｒｇｉｎ）からなる頂点Ｐｍａｘ，ｉと、座標（Ｘｘｍｉｎ−ｍａｒｇｉｎ，Ｙｙｍａｘ＋ｍａｒｇｉｎ）からなる頂点Ｐｍｉｎ，ｉとを有する。
【０２５３】
このように、ボックスＢｉにマージンｍａｒｇｉｎを付加したボックスをバウンディングボックスＢＢｉとするのは、画像分割によって物体の境界部分の領域が本来の物体の境界部分の領域よりも粗くなり、分割物体が本来の大きさよりも縮小されるため、これを補完するためである。
【０２５４】
ボックスＢｉの中心位置は、バウンディングボックスＢＢｉの中心位置と一致するので、分割物体（＝Ｓｅｇｍｅｎｔ  ｉ）の位置は、バウンディングボックスＢＢｉの中心位置と一致する。したがって、動きベクトルＭＶは、バウンディングボックスＢＢｉの中心位置を起点として求められることになる。
【０２５５】
追跡ユニット２は、分割画像ＤＧ１（ｔ）〜ＤＧｍ（ｔ）における分割物体ＯＪ１（ｔ）〜ＯＪｍ（ｔ）のバウンディングボックスＢＢ１〜ＢＢｍを求めると、分割物体ＯＪ１（ｔ）〜ＯＪｍ（ｔ）を移動物体と静止物体とに分類し、移動物体に分類された分割物体のいずれかを注目物体ＳＯＪとして選択するとともに、注目物体ＳＯＪに類似する分割物体を残りの移動物体（移動物体ＭＯＪ１（ｔ）〜ＭＯＪｎ（ｔ）≠ＳＯＪ）から検出する。
【０２５６】
この場合、追跡ユニット２は、注目物体ＳＯＪの動きベクトルに類似する動きベクトルを有し、かつ、注目物体ＳＯＪのバウンディングボックスと交差するバウンディングボックスを有する分割物体を注目物体ＳＯＪに類似する物体として検出する。
【０２５７】
そして、追跡ユニット２は、２つの動きベクトルが類似するか否かを次の方法によって判定する。すなわち、追跡ユニット２は、２つの動きベクトルの差を演算し、その演算した差がしきい値以下であるとき、２つの動きベクトルが類似すると判定し、その演算した差がしきい値よりも大きいとき、２つの動きベクトルが類似しないと判定する。
【０２５８】
図２９は、バウンディングボックスの交差を示す概念図である。図２９を参照して、バウンディングボックスＢＢ１は、頂点ｍａｘ１，ｍｉｎ１を有し、バウンディングボックスＢＢ２は、頂点ｍａｘ２，ｍｉｎ２を有する。
【０２５９】
そして、頂点ｍａｘ１のｘ座標ｍａｘ１＿ｘが頂点ｍｉｎ２のｘ座標ｍｉｎ２＿ｘ以上であり（ｍａｘ１＿ｘ≧ｍｉｎ２＿ｘ）、かつ、頂点ｍｉｎ１のｘ座標ｍｉｎ１＿ｘが頂点ｍａｘ２のｘ座標ｍａｘ２＿ｘ以下であり（ｍｉｎ１＿ｘ≦ｍａｘ２＿ｘ）、かつ、頂点ｍａｘ１のｙ座標ｍａｘ１＿ｙが頂点ｍｉｎ２のｙ座標ｍｉｎ２＿ｙ以上であり（ｍａｘ１＿ｙ≧ｍｉｎ２＿ｙ）、かつ、頂点ｍｉｎ１のｙ座標ｍｉｎ１＿ｙが頂点ｍａｘ２のｙ座標ｍａｘ２＿ｙ以下であるとき（ｍｉｎ１＿ｙ≦ｍａｘ２＿ｙ）、２つのバウンディングボックスＢＢ１，ＢＢ２は、相互に交差する。
【０２６０】
したがって、追跡ユニット２は、ｍａｘ１＿ｘ≧ｍｉｎ２＿ｘ、ｍｉｎ１＿ｘ≦ｍａｘ２＿ｘ、ｍａｘ１＿ｙ≧ｍｉｎ２＿ｙおよびｍｉｎ１＿ｙ≦ｍａｘ２＿ｙの４個の不等式が同時に成立するとき、２つのバウンディングボックスＢＢ１，ＢＢ２が交差すると判定し、ｍａｘ１＿ｘ≧ｍｉｎ２＿ｘ、ｍｉｎ１＿ｘ≦ｍａｘ２＿ｘ、ｍａｘ１＿ｙ≧ｍｉｎ２＿ｙおよびｍｉｎ１＿ｙ≦ｍａｘ２＿ｙの４個の不等式の少なくとも１つが成立しないとき、２つのバウンディングボックスＢＢ１，ＢＢ２が交差しないと判定する。
【０２６１】
追跡ユニット２は、まず、上述した方法によって、注目物体ＳＯＪのバウンディングボックスが注目物体ＳＯＪ以外の他の分割物体のバウンディングボックスと交差するか否かを判定する。そして、追跡ユニット２は、注目物体ＳＯＪのバウンディングボックスが他の分割物体のバウンディングボックスと交差しないと判定したとき、他の分割物体が注目物体ＳＯＪに類似しないと判定する。
【０２６２】
一方、追跡ユニット２は、注目物体ＳＯＪのバウンディングボックスが他の移動物体のバウンディングボックスと交差すると判定したとき、注目物体ＳＯＪの動きベクトルと他の移動物体の動きベクトルとが類似するか否かをさらに判定する。そして、追跡ユニット２は、注目物体ＳＯＪの動きベクトルと他の移動物体の動きベクトルとが類似するとき、他の移動物体が注目物体ＳＯＪに類似すると判定し、注目物体ＳＯＪおよび他の移動物体に同じグループ番号を与えて注目物体ＳＯＪおよび他の移動物体をグループ化する。
【０２６３】
一方、追跡ユニット２は、注目物体ＳＯＪの動きベクトルと他の移動物体の動きベクトルとが類似しないとき、他の移動物体が注目物体ＳＯＪに類似しないと判定する。
【０２６４】
追跡ユニット２は、この処理を注目物体ＳＯＪと、注目物体ＳＯＪ以外の他の移動物体の全てとについて実行し、グループ化を行なう。
【０２６５】
追跡ユニット２は、たとえば、図２６の（ｂ）に示す車の３個の窓および車の天井からなる４個の移動物体を上述した方法によってグループ化し、追跡対象である車（図２６の（ｃ）参照）を認識する。
【０２６６】
図３０は、この発明の実施の形態による物体追跡方法を説明するためのフローチャートである。
【０２６７】
図３０を参照して、物体追跡の動作が開始されると、物体追跡装置１０の画像分割ユニット１は、フレームを読み込み（ステップＳ１）、その読み込んだフレームを上述した方法によって画像分割する（ステップＳ２）。そして、画像分割ユニット１は、その分割した分割画像を追跡ユニット２へ出力する。
【０２６８】
追跡ユニット２は、画像分割ユニット１から分割画像を受け、その受けた分割画像に表された各分割物体の特徴量を抽出し（ステップＳ３）、その抽出した特徴量を記憶する。
【０２６９】
そして、追跡ユニット２は、処理をしているフレームが１番目のフレームか否かを判定し（ステップＳ４）、処理をしているフレームが１番目のフレームであるとき、フレームの読込が有るか否かをさらに判定する（ステップＳ５）。
【０２７０】
ステップＳ５において、フレームの読込が無いと判定されたとき、一連の動作は、終了する。
【０２７１】
一方、ステップＳ５において、フレームの読込が有ると判定されたとき、一連の動作は、ステップＳ２へ戻り、上述したステップＳ２〜ステップＳ５が繰返し実行される。
【０２７２】
一方、ステップＳ４において、処理しているフレームが１番目のフレームでないと判定されたとき、追跡ユニット２は、上述した方法によって、フレーム間における各分割物体のオブジェクトマッチングを行なう（ステップＳ６）。そして、追跡ユニット２は、オブジェクトマッチングされた分割物体の動きベクトルを求め、その求めた動きベクトルを分割物体の位置に加算して分割物体の推定位置を計算する（ステップＳ７）。
【０２７３】
その後、追跡ユニット２は、動きベクトルおよびバウンディングボックスを用いてグループ化を行ない（ステップＳ８）、グループ情報を出力する（ステップＳ９）。
【０２７４】
そして、追跡ユニット２は、フレームの読込が有るか否かを判定する（ステップＳ１０）。ステップＳ１０において、フレームの読込が有ると判定されたとき、一連の動作は、ステップＳ２へ戻り、ステップＳ１０において、フレームの読込が無いと判定されるまで、上述したステップＳ２〜ステップＳ１０が繰返し実行される。
【０２７５】
そして、ステップＳ１０において、フレームの読込が無いと判定されたとき、一連の動作は、終了する。
【０２７６】
図３１は、図３０のステップＳ２の詳細な動作を説明するためのフローチャートである。図３１を参照して、図３０のステップＳ１の後、画素値検出回路１１は、ｎ×ｎ（ｎは、２以上の整数）からなる入力画像の各画素ＧＥｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）のＲＧＢ値ＲＧＢｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）を検出し（ステップＳ２１）、その検出した各画素のＲＧＢ値ＲＧＢｉｊを結合重み決定回路１２へ出力する。
【０２７７】
結合重み決定回路１２は、画素値検出回路１１から各画素ＧＥｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）のＲＧＢ値ＲＧＢｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）を受け、その受けた各画素ＧＥｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）のＲＧＢ値ＲＧＢｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）を上述した方法によって色相Ｈｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）および彩度Ｓｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）に変換し、ＲＧＢ値ＲＧＢｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）、色相Ｈｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）および彩度Ｓｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）に基づいて、各画素間の結合重みＷｉｊ；ｋｌ（１≦ｉ≦ｎ，１≦ｊ≦ｎ，１≦ｋ≦ｎ，１≦ｌ≦ｎ）を決定する（ステップＳ２２）。そして、結合重み決定回路１２は、その決定した各画素間の結合重みＷｉｊ；ｋｌ（１≦ｉ≦ｎ，１≦ｊ≦ｎ，１≦ｋ≦ｎ，１≦ｌ≦ｎ）を画像分割回路１３へ出力する。
【０２７８】
画像分割回路１３は、外部から入力画像を受け、結合重み決定回路１２から各画素間の結合重みＷｉｊ；ｋｌ（１≦ｉ≦ｎ，１≦ｊ≦ｎ，１≦ｋ≦ｎ，１≦ｌ≦ｎ）を受ける。そして、画像分割回路１３は、その受けた各画素間の結合重みＷｉｊ；ｋｌ（１≦ｉ≦ｎ，１≦ｊ≦ｎ，１≦ｋ≦ｎ，１≦ｌ≦ｎ）を用いて１フレームの画像を分割する（ステップＳ２３）。そして、一連の動作は、図３０のステップＳ３へ移行する。
【０２７９】
図３２は、図３１に示すステップＳ２２の詳細な動作を説明するためのフローチャートである。なお、図３２においては、図３に示す画素ＧＥ１を画素ＧＥｉｊとし、画素ＧＥ２を画素ＧＥｋｌとし、画素ＧＥ３を画素ＧＥｉ＋１，ｊとし、画素ＧＥ４を画素ＧＥｋ＋１，ｌとしてステップＳ２の詳細な動作を説明する。
【０２８０】
図３２を参照して、図３１に示すステップＳ２１の後、結合重み決定回路１２は、画素値検出回路１１から複数の画素ＧＥｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）の複数のＲＧＢ値ＲＧＢｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）を順次受ける。そして、結合重み決定回路１２は、ｉ＝１，ｊ＝１，ｋ＝１，ｌ＝１を設定する（ステップＳ２２１）。
【０２８１】
そして、結合重み決定回路１２は、入力画像の複数の画素ＧＥｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）のうち、画素値検出回路１１から順次入力される隣接する２つの画素ＧＥｉｊ，ＧＥｋｌ（１≦ｋ≦ｎ，１≦ｌ≦ｎ）を選択する（ステップＳ２２２）。
【０２８２】
その後、結合重み決定回路１２は、ＨＳ変換回路１２５によって、画素ＧＥｉｊのＲＧＢ値ＲＧＢｉｊを上述した方法によって色相Ｈｉｊおよび彩度Ｓｉｊに変換し（ステップＳ２２３）、画素ＧＥｋｌのＲＧＢ値ＲＧＢｋｌを上述した方法によって色相Ｈｋｌおよび彩度Ｓｋｌに変換する（ステップＳ２２４）。
【０２８３】
そして、結合重み決定回路１２において、４組の隣接画素ＧＥｉｊ，ＧＥｋｌ；ＧＥｉ＋１，ｊ，ＧＥｋｌ；ＧＥｉｊ，ＧＥｋ＋１，ｌ；ＧＥｉ＋１，ｊ，ＧＥｋ＋１，ｌのＲＧＢ値が色相および彩度に変換されたか否かが判定される（ステップＳ２２５）。
【０２８４】
ステップＳ２２５において、４組の隣接画素ＧＥｉｊ，ＧＥｋｌ；ＧＥｉ＋１，ｊ，ＧＥｋｌ；ＧＥｉｊ，ＧＥｋ＋１，ｌ；ＧＥｉ＋１，ｊ，ＧＥｋ＋１，ｌのＲＧＢ値が色相および彩度に変換されていないと判定されたとき、ｉ，ｋのいずれかまたは両方が“１”だけ変化される（ステップＳ２２６）。その後、一連の動作は、ステップＳ２２２へ戻り、ステップＳ２２５において、４組の隣接画素ＧＥｉｊ，ＧＥｋｌ；ＧＥｉ＋１，ｊ，ＧＥｋｌ；ＧＥｉｊ，ＧＥｋ＋１，ｌ；ＧＥｉ＋１，ｊ，ＧＥｋ＋１，ｌのＲＧＢ値が色相および彩度に変換されたと判定されるまで、ステップＳ２２２〜ステップＳ２２６が繰り返し実行される。
【０２８５】
そして、ステップＳ２２５において、４組の隣接画素ＧＥｉｊ，ＧＥｋｌ；ＧＥｉ＋１，ｊ，ＧＥｋｌ；ＧＥｉｊ，ＧＥｋ＋１，ｌ；ＧＥｉ＋１，ｊ，ＧＥｋ＋１，ｌのＲＧＢ値が色相および彩度に変換されたと判定されると、結合重み決定回路１２の４個の重み計算ユニット１３２〜１３５は、平行して隣接画素間の結合重みを決定する（ステップＳ２２７〜ステップＳ２３０）。
【０２８６】
この場合、重み計算ユニット１３２は、画素ＧＥｋｌ，ＧＥｉ＋１，ｊ間の結合重みＷｋ，ｌ；ｉ＋１，ｊを決定し、重み計算ユニット１３３は、画素ＧＥｉｊ，ＧＥｋ＋１，ｌ間の結合重みＷｉｊ；ｋ＋１，ｌを決定し、重み計算ユニット１３４は、画素ＧＥｉｊ，ＧＥｋｌ間の結合重みＷｉｊ；ｋｌを決定し、重み計算ユニット１３５は、画素ＧＥｉ＋１，ｊ，ＧＥｋ＋１，ｌ間の結合重みＷｉ＋１，ｊ；ｋ＋１，ｌを決定する。
【０２８７】
ステップＳ２２７〜ステップＳ２３０の後、結合重み決定回路１２において、ｉ＝ｎ、かつ、ｊ＝ｎであるか否かが判定され（ステップＳ２３１）、ｉ＝ｎ、かつ、ｊ＝ｎでないとき、ｉ，ｊのいずれかまたは両方が“１”だけ変化され（ステップＳ２３２）、ｋ＝１およびｌ＝１が設定される（ステップＳ２３３）。
【０２８８】
その後、一連の動作は、ステップＳ２２２へ戻り、ステップＳ２３１において、ｉ＝ｎ、かつ、ｊ＝ｎであると判定されるまで、ステップＳ２２２〜ステップＳ２３３が繰り返し実行される。
【０２８９】
そして、ステップＳ２３１において、ｉ＝ｎ、かつ、ｊ＝ｎであると判定されると、一連の動作は、図３１のステップＳ２３へ移行する。
【０２９０】
図３３は、図３２に示すステップＳ２２７の詳細な動作を説明するためのフローチャートである。図３３を参照して、図３２のステップＳ２２５の“ＹＥＳ”の後、重み計算ユニット１３２の結合重み演算回路１３２０は、ＦＩＦＯ回路１２３から受けたＲＧＢ値ＲＧＢｋｌと、Ｄラッチ回路１２２から受けたＲＧＢ値ＲＧＢｉ＋１，ｊとに基づいて、上述した方法によって、画素ＧＥｋｌ，ＧＥｉ＋１，ｊ間の結合重みＷｉ＋１，ｊ；ｋｌ＿ＲＧＢを決定し、その決定した結合重みＷｉ＋１，ｊ；ｋｌ＿ＲＧＢを結合重み修正回路１３５０，１３６０およびセレクタ１３８０へ出力する。
【０２９１】
また、色相差計算回路１３３０は、ＦＩＦＯ回路１２８から画素ＧＥｋｌのＨｕｅビン番号Ａを受け、Ｄラッチ回路１２７から画素ＧＥｉ＋１，ｊのＨｕｅビン番号Ｂを受ける。そして、色相差計算回路１３３０は、図１４に示すＨｕｅビン番号の割当図を参照して、Ｈｕｅビン番号Ａに対応する色相Ｈｋｌを抽出し、Ｈｕｅビン番号Ｂに対応する色相Ｈｉ＋１，ｊを抽出する。
【０２９２】
そうすると、色相差計算回路１３３０は、色相Ｈｋｌと色相Ｈｉ＋１，ｊとの色相差｜Ｈｋｌ−Ｈｉ＋１，ｊ｜を演算し、その演算した色相差｜Ｈｋｌ−Ｈｉ＋１，ｊ｜を結合重み修正回路１３５０へ出力する。
【０２９３】
結合重み修正回路１３５０は、色相差計算回路１３３０から色相差｜Ｈｋｌ−Ｈｉ＋１，ｊ｜を受け、結合重み演算回路１３２０から結合重みＷｉ＋１，ｊ；ｋｌ＿ＲＧＢを受ける。そして、結合重み修正回路１３５０は、表３を参照して、結合重みＷｉ＋１，ｊ；ｋｌ＿ＲＧＢおよび色相差｜Ｈｋｌ−Ｈｉ＋１，ｊ｜に基づいて、上述した方法によって結合重みＷｉ＋１，ｊ；ｋｌ＿Ｈを抽出し、その抽出した結合重みＷｉ＋１，ｊ；ｋｌ＿Ｈをセレクタ１３８０へ出力する。
【０２９４】
さらに、彩度差計算回路１３４０は、ＦＩＦＯ回路１２８から画素ＧＥｋｌのＳビン番号Ａを受け、Ｄラッチ回路１２７から画素ＧＥｉ＋１，ｊのＳビン番号Ｂを受ける。
【０２９５】
そして、彩度差計算回路１３４０は、図１６に示すＳビン番号の割当図を参照して、Ｓビン番号Ａに対応する彩度Ｓｋｌを抽出し、Ｓビン番号Ｂに対応する彩度Ｓｉ＋１，ｊを抽出する。
【０２９６】
そうすると、彩度差計算回路１３４０は、彩度Ｓｋｌと彩度Ｓｉ＋１，ｊとの彩度差｜Ｓｋｌ−Ｓｉ＋１，ｊ｜を演算し、その演算した彩度差｜Ｓｋｌ−Ｓｉ＋１，ｊ｜を結合重み修正回路１３６０へ出力する。
【０２９７】
結合重み修正回路１３６０は、彩度差計算回路１３４０から彩度差｜Ｓｋｌ−Ｓｉ＋１，ｊ｜を受け、結合重み演算回路１３２０から結合重みＷｉ＋１，ｊ；ｋｌ＿ＲＧＢを受ける。そして、結合重み修正回路１３６０は、表２を参照して、結合重みＷｉ＋１，ｊ；ｋｌ＿ＲＧＢおよび彩度差｜Ｓｋｌ−Ｓｉ＋１，ｊ｜に基づいて、上述した方法によって結合重みＷｉ＋１，ｊ；ｋｌ＿Ｓを抽出し、その抽出した結合重みＷｉ＋１，ｊ；ｋｌ＿Ｓをセレクタ１３８０へ出力する。
【０２９８】
一方、重み計算ユニット１３２のセレクタ信号生成回路１３７０は、ＦＩＦＯ回路１２８から画素ＧＥｋｌのＳビン番号Ａを受け、Ｄラッチ回路１２７から画素ＧＥｉ＋１，ｊのＳビン番号Ｂを受ける。
【０２９９】
そして、セレクタ信号生成回路１３７０は、図１６に示すＳビン番号の割当図を参照して、Ｓビン番号Ａに対応する彩度Ｓｋｌを抽出し、Ｓビン番号Ｂに対応する彩度Ｓｉ＋１，ｊを抽出する。
【０３００】
そうすると、セレクタ信号生成回路１３７０は、彩度Ｓｉ＋１，ｊがしきい値Ｓｔｈ（＝０．２）以下であり、かつ、彩度Ｓｋｌがしきい値Ｓｔｈ（＝０．２）以下であるか否かを判定する（ステップＳ２２７１）。
【０３０１】
ステップＳ２２７１において、彩度Ｓｉ＋１，ｊがしきい値Ｓｔｈ（＝０．２）以下であり、かつ、彩度Ｓｋｌがしきい値Ｓｔｈ（＝０．２）以下であると判定されたとき、セレクタ信号生成回路１３７０は、セレクタ信号ＳＥＬ＿ＲＧＢを生成し、その生成したセレクタ信号ＳＥＬ＿ＲＧＢをセレクタ１３８０へ出力する。
【０３０２】
セレクタ１３８０は、結合重み演算回路１３２０から結合重みＷｉ＋１，ｊ；ｋｌ＿ＲＧＢを受け、結合重み修正回路１３５０から結合重みＷｉ＋１，ｊ；ｋｌ＿Ｈを受け、結合重み修正回路１３６０から結合重みＷｉ＋１，ｊ；ｋｌ＿Ｓを受ける。そして、セレクタ１３８０は、セレクタ信号生成回路１３７０からセレクタ信号ＳＥＬ＿ＲＧＢを受けると、セレクタ信号ＳＥＬ＿ＲＧＢに応じて、３個の結合重みＷｉ＋１，ｊ；ｋｌ＿ＲＧＢ，Ｗｉ＋１，ｊ；ｋｌ＿Ｈ，Ｗｉ＋１，ｊ；ｋｌ＿Ｓから結合重みＷｉ＋１，ｊ；ｋｌ＿ＲＧＢを選択し、その選択した結合重みＷｉ＋１，ｊ；ｋｌ＿ＲＧＢを結合重みＷｉ＋１，ｊ；ｋｌと決定する。つまり、重み計算ユニット１３２は、ＲＧＢ値ＲＧＢｉ＋１，ｊ，ＲＧＢｋｌによって結合重みＷｉ＋１，ｊ；ｋｌを決定する（ステップＳ２２７２）。そして、重み計算ユニット１３２は、その決定した結合重みＷｉ＋１，ｊ；ｋｌを画像分割回路１３へ出力する。
【０３０３】
一方、ステップＳ２２７１において、彩度Ｓｉ＋１，ｊがしきい値Ｓｔｈ（＝０．２）以下であり、かつ、彩度Ｓｋｌがしきい値Ｓｔｈ（＝０．２）以下でないと判定されたとき、セレクタ信号生成回路１３７０は、彩度Ｓｉ＋１，ｊ，Ｓｋｌの一方のみがしきい値Ｓｔｈ（＝０．２）以下であるか否かをさらに判定する（ステップＳ２２７３）。
【０３０４】
そして、ステップＳ２２７３において、彩度Ｓｉ＋１，ｊ，Ｓｋｌの一方のみがしきい値Ｓｔｈ（＝０．２）以下であると判定されたとき、セレクタ信号生成回路１３７０は、セレクタ信号ＳＥＬ＿Ｓを生成し、その生成したセレクタ信号ＳＥＬ＿Ｓをセレクタ１３８０へ出力する。
【０３０５】
セレクタ１３８０は、セレクタ信号生成回路１３７０からセレクタ信号ＳＥＬ＿Ｓを受けると、セレクタ信号ＳＥＬ＿Ｓに応じて、３個の結合重みＷｉ＋１，ｊ；ｋｌ＿ＲＧＢ，Ｗｉ＋１，ｊ；ｋｌ＿Ｈ，Ｗｉ＋１，ｊ；ｋｌ＿Ｓから結合重みＷｉ＋１，ｊ；ｋｌ＿Ｓを選択し、その選択した結合重みＷｉ＋１，ｊ；ｋｌ＿Ｓを結合重みＷｉ＋１，ｊ；ｋｌと決定する。つまり、重み計算ユニット１３２は、ＲＧＢ値ＲＧＢｉ＋１，ｊ，ＲＧＢｋｌおよび彩度Ｓｉ＋１，ｊ，Ｓｋｌによって結合重みＷｉ＋１，ｊ；ｋｌを決定する（ステップＳ２２７４）。そして、重み計算ユニット１３２は、その決定した結合重みＷｉ＋１，ｊ；ｋｌを画像分割回路１３へ出力する。
【０３０６】
一方、ステップＳ２２７３において、彩度Ｓｉ＋１，ｊ，Ｓｋｌの一方のみがしきい値Ｓｔｈ（＝０．２）以下でないと判定されたとき、セレクタ信号生成回路１３７０は、セレクタ信号ＳＥＬ＿Ｈを生成し、その生成したセレクタ信号ＳＥＬ＿Ｈをセレクタ１３８０へ出力する。
【０３０７】
セレクタ１３８０は、セレクタ信号生成回路１３７０からセレクタ信号ＳＥＬ＿Ｈを受けると、セレクタ信号ＳＥＬ＿Ｈに応じて、３個の結合重みＷｉ＋１，ｊ；ｋｌ＿ＲＧＢ，Ｗｉ＋１，ｊ；ｋｌ＿Ｈ，Ｗｉ＋１，ｊ；ｋｌ＿Ｓから結合重みＷｉ＋１，ｊ；ｋｌ＿Ｈを選択し、その選択した結合重みＷｉ＋１，ｊ；ｋｌ＿Ｈを結合重みＷｉ＋１，ｊ；ｋｌと決定する。つまり、重み計算ユニット１３２は、ＲＧＢ値ＲＧＢｉ＋１，ｊ，ＲＧＢｋｌおよび色相Ｈｉ＋１，ｊ，Ｈｋｌによって結合重みＷｉ＋１，ｊ；ｋｌを決定する（ステップＳ２２７５）。そして、重み計算ユニット１３２は、その決定した結合重みＷｉ＋１，ｊ；ｋｌを画像分割回路１３へ出力する。
【０３０８】
そうすると、ステップＳ２２７２，Ｓ２２７４，Ｓ２２７５のいずれかの後、一連の動作は、図３２のステップＳ２３１へ移行する。
【０３０９】
なお、ステップＳ２２７４は、ＲＧＢ値ＲＧＢｉ＋１，ｊ，ＲＧＢｋｌのみによって結合重みＷｉ＋１，ｊ；ｋｌ＿ＲＧＢを決定するステップと、その決定した結合重みＷｉ＋１，ｊ；ｋｌ＿ＲＧＢを彩度Ｓｉ＋１，ｊ，Ｓｋｌの彩度差｜Ｓｉ＋１，ｊ−Ｓｋｌ｜に応じて小さくするステップとからなる。
【０３１０】
また、ステップＳ２２７５は、ＲＧＢ値ＲＧＢｉ＋１，ｊ，ＲＧＢｋｌのみによって結合重みＷｉ＋１，ｊ；ｋｌ＿ＲＧＢを決定するステップと、その決定した結合重みＷｉ＋１，ｊ；ｋｌ＿ＲＧＢを色相Ｈｉ＋１，ｊ，Ｈｋｌの色相差｜Ｈｉ＋１，ｊ−Ｈｋｌ｜に応じて大きくするステップとからなる。
【０３１１】
さらに、図３２に示すステップＳ２２８〜ステップ２３０の各々における詳細な動作も、図３３に示すステップＳ２２７１〜ステップＳ２２７５によって実行される。
【０３１２】
図３４は、図３１に示すステップＳ２３の詳細な動作を説明するためのフローチャートである。図３４を参照して、図３１に示すステップＳ２２の後、画像分割回路１３は、結合重み決定回路１２から１フレームを構成する複数の画素における各画素間の結合重みを受けるとともに、上述した方法によって、リーダセルを決定する（ステップＳ２３１）。
【０３１３】
そして、画像分割回路１３は、自己発火可能なセルを検出したか否かを判定し（ステップＳ２３２）、自己発火可能なセルを検出したと判定したとき、上述した方法によって自己発火を行なう（ステップＳ２３３）。
【０３１４】
その後、画像分割回路１３は、発火セルが存在するか否かを判定し（ステップＳ２３４）、発火セルが存在するとき、上述した方法によって周囲へ引火（領域成長）を行なう（ステップＳ２３５）。そして、一連の動作は、ステップＳ２３４へ戻り、ステップＳ２３４において、発火セルが存在しなくなるまで、ステップＳ２３４，Ｓ２３５が繰り返し実行される。
【０３１５】
ステップＳ２３４において、発火セルが存在しないと判定されると、画像分割回路１３は、上述した方法によって、引火終了・領域決定を行なうとともに、ラベル付け（鎮火）を行なう（ステップＳ２３６）。その後、一連の動作は、ステップＳ２３２へ戻り、ステップＳ２３２において、自己発火可能なセルが検出されないと判定されるまで、ステップＳ２３２〜ステップＳ２３６が繰り返し実行される。
【０３１６】
そして、ステップＳ２３２において、自己発火可能なセルが検出されないと判定されると、一連の動作は、図３０のステップＳ３へ移行する。
【０３１７】
なお、物体追跡装置１０の画像分割ユニット１は、図３１（図３２〜図３４）に示すフローチャートを繰り返し実行し、各フレームを各対象物の画像に分割する。
【０３１８】
図３５は、図３０のステップＳ８の詳細な動作を説明するためのフローチャートである。図３５を参照して、図３０のステップＳ７の後、追跡ユニット２は、記憶している各オブジェクト（＝対象物）の特徴量に基づいて、全てのオブジェクト間の特徴量の差を計算し（ステップＳ８１）、グループ番号の付いていないオブジェクトを探索する（ステップＳ８２）。
【０３１９】
そして、追跡ユニット２は、グループ番号の付いていないオブジェクトが有るか否かを判定する（ステップＳ８３）。
【０３２０】
ステップＳ８３において、グループ番号の付いていないオブジェクトが有ると判定されたとき、追跡ユニット２は、グループ番号の付いていないオブジェクトの中から注目オブジェクトを決定し（ステップＳ８４）、その決定した注目オブジェクトにグループ番号を付ける（ステップＳ８５）。
【０３２１】
その後、追跡ユニット２は、ステップＳ８１において計算した全てのオブジェクト間の特徴量の差に基づいて、注目オブジェクトの特徴量との差がしきい値以下であるオブジェクトを検出することによって、注目オブジェクトに類似するオブジェクトを検出する。そして、追跡ユニット２は、その検出したオブジェクトに注目オブジェクトと同じグループ番号を付ける（ステップＳ８６）。
【０３２２】
引き続いて、追跡ユニット２は、ステップＳ８６における方法と同じ方法によって、グループ番号を付けられたオブジェクトに類似するオブジェクトを検出し、その検出したオブジェクトに注目オブジェクトと同じグループ番号を付ける（ステップＳ８７）。
【０３２３】
その後、一連の動作は、ステップＳ８３へ戻り、ステップＳ８３において、グループ番号の付いていないオブジェクトが無いと判定されるまで、上述したステップＳ８３〜ステップＳ８７が繰返し実行される。
【０３２４】
そして、ステップＳ８３において、グループ番号の付いていないオブジェクトが無いと判定されると、一連の動作は、図３０のステップＳ９へ移行する。
【０３２５】
図３５に示すフローチャートにおいて、ステップＳ８３の“ＹＥＳ”→ステップＳ８４→ステップＳ８５→ステップＳ８６→ステップＳ８７→ステップＳ８３からなるループが１回目に実行されると、１つの注目オブジェクトに類似する全てのオブジェクトが検出され、その検出された全てのオブジェクトおよび注目オブジェクトが同じグループ番号によってグループ化される。
【０３２６】
そして、ステップＳ８３の“ＹＥＳ”→ステップＳ８４→ステップＳ８５→ステップＳ８６→ステップＳ８７→ステップＳ８３からなるループが２回目に実行されると、１回目と異なる注目オブジェクトに類似する全てのオブジェクトが検出され、その検出された全てのオブジェクトおよび注目オブジェクトが同じグループ番号によってグループ化される。
【０３２７】
したがって、ステップＳ８３において、グループ番号の付いていないオブジェクトが無いと判定されるまで、ステップＳ８３の“ＹＥＳ”→ステップＳ８４→ステップＳ８５→ステップＳ８６→ステップＳ８７→ステップＳ８３からなるループが繰返し実行されると、ステップＳ８３の“ＹＥＳ”→ステップＳ８４→ステップＳ８５→ステップＳ８６→ステップＳ８７→ステップＳ８３からなるループが実行された回数と同じ数のグループ化されたオブジェクト（＝追跡物体）が生成される。
【０３２８】
そして、追跡ユニット２は、図３０のステップＳ９において、各グループ番号が付与されたオブジェクト（＝追跡物体）をグループ情報として出力する。
【０３２９】
上述したように、物体追跡装置１０は、画像分割ユニット１によって、隣接する２つの画素の２つの彩度の両方がしきい値Ｓｔｈ以下であるとき、２つの画素のＲＧＢ値のみによって２つの画素間の結合重みを決定し（ステップＳ２２７２参照）、２つの彩度の一方のみがしきい値Ｓｔｈ以下であるとき、２つの画素のＲＧＢ値および彩度によって２つの画素間の結合重みを決定し（ステップＳ２２７４参照）、２つの画素の２つの彩度の両方がしきい値Ｓｔｈよりも大きいとき、２つのＲＧＢ値および色相によって結合重みを決定し（ステップＳ２２７５参照）、その決定した結合重みを用いて各フレームを分割する。そして、物体追跡装置１０は、画像分割ユニット１によって分割された複数の分割画像中の複数のオブジェクトを追跡ユニット２によってグループ化して追跡物体を認識し、追跡する。
【０３３０】
したがって、１つのフレームに含まれる複数のオブジェクトの画像に１つのフレームを分割しても、追跡物体を容易に認識でき、追跡物体を容易に追跡できる。
【０３３１】
また、物体追跡装置１０は、コントラストの低いカラー画像または光の反射による影響があるカラー画像における画素間の結合重みを正確に決定でき、無彩色領域と有彩色領域とに属するとき画素を有する物体、および有彩色領域に属する画素を有する物体を正確に分割でき、その正確に分割した分割物体に基づいて追跡物体を正確にグループ化できる。その結果、追跡物体を正確に追跡できる。
【０３３２】
追跡物体の別の追跡方法について説明する。この別の追跡方法が用いられる場合、追跡ユニット２は、フレームＦ（ｔ）における分割物体のグループ化において、フレームＦ（ｔ−１）における分割物体のグループ化の結果を用いる。
【０３３３】
図３６は、グループ化における問題点を説明するための図である。図３６を参照して、２台の車両が重なる場合（＝２つの物体が重なる場合）、バウンディングボックスの形状が変形し、動きベクトルに影響を与え、１台の車両および交通標識が静止物体グループとなり、交通標識の一部、１台の車両、および認識不可能な２つの物体が移動物体グループにグループ化される場合がある。
【０３３４】
そこで、このようなグループ化の失敗をなくすために、この発明の実施の形態においては、追跡ユニット２は、好ましくは、前フレームにおけるグループ化の結果を用いて現フレームにおけるグループ化を行なう。
【０３３５】
図３７は、前フレームにおけるグループ化の結果を示す図である。図３７を参照して、前フレームＦ（ｔ−１）においては、交通標識、一方の車両、および他方の車両がそれぞれ１つのグループにグループ化されている。
【０３３６】
図３８は、別の追跡方法において使用されるグループ化の方法を説明するための図である。図３８においては、図３７に示す車両ＣＡＲのフレームＦ（ｔ）におけるグループ化について説明する。
【０３３７】
図３８を参照して、バウンディングボックスＢＢｉ（ｔ）は、フレームＦ（ｔ）において注目している注目オブジェクトＯＪｉ（ｔ）のバウンディングボックスであり、バウンディングボックスＢＢｉ＋１（ｔ）は、フレームＦ（ｔ）において注目オブジェクトＯＪｉ（ｔ）に類似するオブジェクトＯＪｉ＋１（ｔ）のバウンディングボックスである。
【０３３８】
また、バウンディングボックスＢＢｉ（ｔ−１）は、注目オブジェクトＯＪｉ（ｔ）とマッチングしたフレームＦ（ｔ−１）における注目オブジェクトＯＪｉ（ｔ−１）のバウンディングボックスであり、バウンディングボックスＢＢｉ＋１（ｔ−１）は、オブジェクトＯＪｉ＋１（ｔ）とマッチングしたフレームＦ（ｔ−１）におけるオブジェクトＯＪｉ＋１（ｔ−１）のバウンディングボックスである。
【０３３９】
さらに、バウンディングボックスＢＢ（ｔ−１）は、フレームＦ（ｔ−１）においてグループ化された物体（車両ＣＡＲ）のバウンディングボックスの集合体である（図３８の（ａ）参照）。
【０３４０】
追跡ユニット２は、フレームＦ（ｔ）における注目オブジェクトＯＪｉ（ｔ）と、フレームＦ（ｔ−１）におけるオブジェクトＯＪｉ（ｔ−１）とのオブジェクトマッチングを行なうとともに、フレームＦ（ｔ）におけるオブジェクトＯＪｉ＋１（ｔ）と、フレームＦ（ｔ−１）におけるオブジェクトＯＪｉ＋１（ｔ−１）とのオブジェクトマッチングを行なう。
【０３４１】
そして、追跡ユニット２は、そのオブジェクトマッチングしたフレームＦ（ｔ−１），Ｆ（ｔ）の２つのオブジェクトＯＪｉ（ｔ），ＯＪｉ（ｔ−１）およびＯＪｉ＋１（ｔ），ＯＪｉ＋１（ｔ−１）に基づいて、フレームＦ（ｔ−１），Ｆ（ｔ）間の動きベクトルを求める。
【０３４２】
また、追跡ユニット２は、フレームＦ（ｔ−１）におけるオブジェクトＯＪｉ（ｔ−１），ＯＪｉ＋１（ｔ−１）をグループ化した物体（＝車両ＣＡＲ）のバウンディングボックスＢＢ（ｔ−１）を検出する。
【０３４３】
そうすると、追跡ユニット２は、バウンディングボックスＢＢ（ｔ−１）にフレームＦ（ｔ−１），Ｆ（ｔ）間の動きベクトルを加算して、フレームＦ（ｔ）においてグループ化されるべき物体（＝車両ＣＡＲ）のバウンディングボックスＢＢ（ｔ）を求める（図３８の（ｂ）参照）。
【０３４４】
その後、追跡ユニット２は、その求めたバウンディングボックスＢＢ（ｔ）とバウンディングボックスＢＢｉ（ｔ），ＢＢｉ＋１（ｔ）とが重なるか否かを判定する。
【０３４５】
そして、追跡ユニット２は、バウンディングボックスＢＢ（ｔ）とバウンディングボックスＢＢｉ（ｔ），ＢＢｉ＋１（ｔ）とが重なるとき（図３８の（ｃ）参照）、バウンディングボックスＢＢｉ（ｔ），ＢＢｉ＋１（ｔ）が相互に類似するか否かを判定し、バウンディングボックスＢＢｉ（ｔ），ＢＢｉ＋１（ｔ）が相互に類似するとき、オブジェクトＯＪｉ（ｔ），ＯＪｉ＋１（ｔ）に同じグループ番号を付与する。
【０３４６】
図３９は、この発明の実施の形態による他の物体追跡方法を説明するためのフローチャートである。
【０３４７】
図３９を参照して、物体追跡の動作が開始されると、物体追跡装置１０の画像分割ユニット１は、フレームを読み込み（ステップＳ３１）、その読み込んだフレームを上述した方法によって画像分割する（ステップＳ３２）。そして、画像分割ユニット１は、その分割した分割画像を追跡ユニット２へ出力する。
【０３４８】
追跡ユニット２は、画像分割ユニット１から分割画像を受け、その受けた分割画像に表された各分割物体の特徴量を抽出し（ステップＳ３３）、その抽出した特徴量を記憶する。
【０３４９】
そして、追跡ユニット２は、処理をしているフレームが１番目のフレームか否かを判定し（ステップＳ３４）、処理をしているフレームが１番目のフレームであるとき、フレームの読込が有るか否かをさらに判定する（ステップＳ３５）。
【０３５０】
ステップＳ３５において、フレームの読込が無いと判定されたとき、一連の動作は、終了する。
【０３５１】
一方、ステップＳ３５において、フレームの読込が有ると判定されたとき、一連の動作は、ステップＳ３２へ戻り、上述したステップＳ３２〜ステップＳ３５が繰返し実行される。
【０３５２】
一方、ステップＳ３４において、処理しているフレームが１番目のフレームでないと判定されたとき、追跡ユニット２は、上述した方法によって、フレーム間における各分割物体（＝各オブジェクト）のオブジェクトマッチングを行なう（ステップＳ３６）。そして、追跡ユニット２は、オブジェクトがマッチングされた各オブジェクトの動きベクトルを求め、その求めた動きベクトルを用いて各オブジェクトの推定位置を計算する（ステップＳ３７）。
【０３５３】
そして、追跡ユニット２は、フレーム間差分を演算し（ステップＳ３８）、その演算したフレーム間差分に基づいて、移動物体と静止物体とを判別する（ステップＳ３９）。
【０３５４】
その後、追跡ユニット２は、現在処理しているフレームがフレーム（２）であるか否かを判定する（ステップＳ４０）。
【０３５５】
ステップＳ４０において、現在処理しているフレームがフレーム（２）であると判定されたとき、追跡ユニット２は、フレーム（２）の情報を用いてオブジェクトをグループ化する（ステップＳ４１）。
【０３５６】
一方、ステップＳ４０において、現在処理しているフレームがフレーム（２）でないと判定されたとき、追跡ユニット２は、フレーム（ｔ−１）のグループ化結果とフレーム（ｔ）の情報とを用いてオブジェクトをグループ化する（ステップＳ４２）。
【０３５７】
そして、ステップＳ４１またはステップＳ４２の後、追跡ユニット２は、グループ化結果を出力し（ステップＳ４３）、フレームの読込があるか否かを判定する（ステップＳ４４）。
【０３５８】
ステップＳ４４において、フレームの読込があると判定されたとき、一連の動作は、ステップＳ３２へ戻り、ステップＳ４４において、フレームの読込が無いと判定されるまで、上述したステップＳ３２〜ステップＳ４４が繰返し実行される。
【０３５９】
そして、ステップＳ４４において、フレームの読込が無いと判定されると、一連の動作は、終了する。
【０３６０】
なお、図３９に示すステップＳ３２の詳細な動作は、図３１（図３２〜図３４）に示すフローチャートに従って実行される。
【０３６１】
また、図３９に示すステップＳ４１の詳細な動作は、図３５に示すフローチャートに従って実行される。そして、ステップＳ４１において、フレーム（２）の情報を用いてオブジェクトのグループ化が行なわれるのは、未だ、グループ化が行なわれていないため、前フレームにおけるグループ化結果を利用できないからである。
【０３６２】
さらに、図３９に示すフローチャートにおいては、フレーム間差分を演算して移動物体と静止物体とを判別すると説明したが（ステップＳ３８，Ｓ３９）、この発明の実施の形態においては、これに限らず、ステップＳ３８において、動きベクトルを演算し、ステップＳ３９において、その演算した動きベクトルを用いて移動物体と静止物体とを判別してもよい。
【０３６３】
図４０は、図３９に示すステップＳ４２の詳細な動作を説明するためのフローチャートである。
【０３６４】
図４０を参照して、図３９に示すステップＳ４０の“ＮＯ”の後、追跡ユニット２は、移動物体の特徴量を読み込み（ステップＳ４２１）、グループ済みフラグが“１”であるか否かを判定する（ステップＳ４２２）。
【０３６５】
ステップＳ４２２において、グループ済みフラグが“１”でないと判定されたとき、追跡ユニット２は、新しいグループ番号を付ける（ステップＳ４２３）。
【０３６６】
そして、ステップＳ４２２において、グループ済みフラグが“１”であると判定されたとき、またはステップＳ４２３の後、追跡ユニット２は、オブジェクトのグループ番号を更新し、注目オブジェクトの特徴量と他のオブジェクトの特徴量との差を演算する（ステップＳ４２４）。
【０３６７】
その後、追跡ユニット２は、上述した方法によって、注目オブジェクトのバウンディングボックスと、他のオブジェクトのバウンディングボックスとが重なるか否かを判定する（ステップＳ４２５）。
【０３６８】
ステップＳ４２５において、注目オブジェクトのバウンディングボックスと、他のオブジェクトのバウンディングボックスとが重ならないと判定されたとき、一連の動作は、ステップＳ４３１へ移行する。
【０３６９】
一方、ステップＳ４２５において、注目オブジェクトのバウンディングボックスと、他のオブジェクトのバウンディングボックスとが重なると判定されたとき、追跡ユニット２は、上述した方法によって、フレーム（ｔ−１）でマッチングした物体（＝オブジェクト）のグループのバウンディングボックスと、物体（＝注目オブジェクトおよび他のオブジェクト）のバウンディングボックスとが重なるか否かをさらに判定する（ステップＳ４２６）。
【０３７０】
ステップＳ４２６において、フレーム（ｔ−１）でマッチングした物体（＝オブジェクト）のグループのバウンディングボックスと、物体（＝注目オブジェクトおよび他のオブジェクト）のバウンディングボックスとが重なると判定されたとき、追跡ユニット２は、注目オブジェクトのバウンディングボックスと、他のオブジェクトのバウンディングボックスとの高さおよび幅が類似するか否かをさらに判定する（ステップＳ４２７）。この場合、追跡ユニット２は、注目オブジェクトのバウンディングボックスの高さと、他のオブジェクトのバウンディングボックスの高さとの差がしきい値以下であり、かつ、注目オブジェクトのバウンディングボックスの幅と、他のオブジェクトのバウンディングボックスの幅との差がしきい値以下であるとき、注目オブジェクトのバウンディングボックスと、他のオブジェクトのバウンディングボックスとの高さおよび幅が類似すると判定する。また、追跡ユニット２は、注目オブジェクトのバウンディングボックスの高さと、他のオブジェクトのバウンディングボックスの高さとの差がしきい値よりも大きいか、または、注目オブジェクトのバウンディングボックスの幅と、他のオブジェクトのバウンディングボックスの幅との差がしきい値よりも大きいとき、注目オブジェクトのバウンディングボックスと、他のオブジェクトのバウンディングボックスとの高さおよび幅が類似しないと判定する。
【０３７１】
ステップＳ４２７において、注目オブジェクトのバウンディングボックスと、他のオブジェクトのバウンディングボックスとの高さおよび幅が類似すると判定されたとき、追跡ユニット２は、注目オブジェクトの動きベクトルと、他のオブジェクトの動きベクトルとの差を演算し、その演算した動きベクトルの差がしきい値Ｍｖｔｈ２よりも小さいか否かをさらに判定する（ステップＳ４２８）。このしきい値Ｍｖｔｈ２は、たとえば、“１０”である。
【０３７２】
ステップＳ４２８において、動きベクトルの差がしきい値Ｍｖｔｈ２以上であると判定されたとき、一連の動作は、ステップＳ４２４へ戻る。
【０３７３】
一方、ステップＳ４２６において、フレーム（ｔ−１）でマッチングした物体（＝オブジェクト）のグループのバウンディングボックスと、物体（＝注目オブジェクトおよび他のオブジェクト）のバウンディングボックスとが重ならないと判定されたとき、またはステップＳ４２７において、注目オブジェクトのバウンディングボックスと、他のオブジェクトのバウンディングボックスとの高さおよび幅が類似しないと判定されたとき、追跡ユニット２は、注目オブジェクトの動きベクトルと、他のオブジェクトの動きベクトルとの差を演算し、その演算した動きベクトルの差がしきい値Ｍｖｔｈ１よりも小さいか否かをさらに判定する（ステップＳ４２９）。このしきい値Ｍｖｔｈ１は、たとえば、“５”である。
【０３７４】
ステップＳ４２９において、動きベクトルの差がしきい値Ｍｖｔｈ１以上であると判定されたとき、一連の動作は、ステップＳ４３１へ移行する。
【０３７５】
一方、ステップＳ４２８において、動きベクトルの差がしきい値Ｍｖｔｈ２よりも小さいと判定されたとき、またはステップＳ４２９において、動きベクトルの差がしきい値Ｍｖｔｈ１よりも小さいと判定されたとき、追跡ユニット２は、注目オブジェクトおよび他のオブジェクトに同じグループ番号を付け、グループ済みフラグを“１”に設定する（ステップＳ４３０）。しきい値Ｍｖｔｈ２は、しきい値Ｍｖｔｈ１よりも大きい。
【０３７６】
そして、ステップＳ４２５において、注目オブジェクトのバウンディングボックスと、他のオブジェクトのバウンディングボックスとが重ならないと判定されたとき、またはステップＳ４２９において、動きベクトルの差がしきい値Ｍｖｔｈ１以上であると判定されたとき、またはステップＳ４３０の後、追跡ユニット２は、注目オブジェクトと、全ての移動オブジェクトとを比較したか否かを判定する（ステップＳ４３１）。
【０３７７】
ステップＳ４３１において、注目オブジェクトと、全ての移動オブジェクトとを比較していないと判定されたとき、一連の動作は、ステップＳ４２４へ戻る。
【０３７８】
一方、ステップＳ４３１において、注目オブジェクトと、全ての移動オブジェクトとを比較したと判定されたとき、追跡ユニット２は、移動オブジェクトのグループ済みフラグを全て調べたか否かをさらに判定する（ステップＳ４３２）。
【０３７９】
ステップＳ４３２において、移動オブジェクトのグループ済みフラグを全て調べていないと判定されたとき、一連の動作は、ステップＳ４２２へ戻る。
【０３８０】
一方、ステップＳ４３２において、移動オブジェクトのグループ済みフラグを全て調べたと判定されたとき、追跡ユニット２は、グループ化情報を出力する（ステップＳ４３３）。そして、一連の動作は、図３９のステップＳ４３へ移行する。
【０３８１】
なお、ステップＳ４３１において、注目オブジェクトと全ての移動オブジェクトとを比較したと判定されるまで、ステップＳ４２４〜ステップＳ４３１が実行されると、１つの注目オブジェクトと、その注目オブジェクトに類似するオブジェクトとがグループ化される。
【０３８２】
また、ステップＳ４３２において、移動オブジェクトのグループ済みフラグを全て調べたと判定されるまで、ステップＳ４２２〜ステップＳ４３２が実行されると、全ての追跡物体がグループ化される。
【０３８３】
図３９に示すフローチャートは、フレーム（２）において、オブジェクトをグループ化する場合、フレーム（２）における情報も用いてオブジェクトをグループ化し（ステップＳ４１および図３５参照）、フレーム（３）以降において、オブジェクトをグループ化する場合、前フレームにおけるグループ化情報と現フレームの情報とを用いてオブジェクトをグループ化する（ステップＳ４２および図４０参照）。
【０３８４】
したがって、図３９に示すフローチャートに従って物体を追跡することによって、３番目以降のフレームにおけるオブジェクトのグループ化において、前フレームにおけるグループ化情報も用いてオブジェクトをグループ化できるため、図３６において説明したグループ化の失敗を回避できる。その結果、各追跡物体を正確に認識できる。
【０３８５】
図４１は、図３９および図４０に示すフローチャートに従ってオブジェクトをグループ化した結果を示す図である。
【０３８６】
図４１を参照して、入力画像は、フレームｔ、フレームｔ＋１およびフレームｔ＋２からなる（図４１の（ａ）参照）。そして、フレームｔ＋１におけるグループ化は、フレームｔにおけるグループ化情報を用いた行なわれ、フレームｔ＋２におけるグループ化は、フレームｔ＋１におけるグループ化情報と現フレームの情報とを用いて行なわれた（図３９のステップＳ４２および図４０参照）。
【０３８７】
その結果、フレームｔ＋１およびフレームｔ＋２の両方において、グループ化が成功しており、図３６において説明したグループ化の失敗を回避できることが実証された。
【０３８８】
なお、上記においては、画像分割ユニット１は、入力画像の各画素のＲＧＢ値、色相および彩度を用いて各画素間の結合重みを決定し、その決定した結合重みを用いた入力画像を各オブジェクトの画像に分割すると説明したが、この発明の実施の形態においては、これに限らず、画像分割ユニット１は、入力画像の各画素のＲＧＢ値のみを用いて各画素間の結合重みを決定し、その決定した結合重みを用いた入力画像を各オブジェクトの画像に分割してもよく、一般的には、分割方法を問わず、入力画像を各オブジェクトの画像に分割すればよい。
【０３８９】
また、上述した実施の形態１においては、物体追跡装置１０は、ソフトウェアまたはハードウェアによっても実現可能である。物体追跡装置１０がソフトウェアによって実現される場合、上述した画像分割ユニット１（画素値検出回路１、結合重み決定回路１２および画像分割回路１３）および追跡ユニット２の各機能は、典型的には、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）がコンピュータプログラムを実行することによって実現される。そして、このコンピュータプログラムは、携帯端末内のＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）に予め格納されているか、外部からダウンロードされて携帯端末内の不揮発メモリに格納される。
【０３９０】
また、物体追跡装置１０がハードウェアによって実現される場合、上述した画像分割ユニット１（画素値検出回路１、結合重み決定回路１２および画像分割回路１３）および追跡ユニット２の機能は、ＣＰＵ、ＲＡＭ（Ｒａｎｄｕｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭおよび不揮発性メモリ等のハードウェア資源と組み合わせることによって、集積回路であるＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ）によって実現される。そして、画像分割ユニット１（画素値検出回路１、結合重み決定回路１２および画像分割回路１３）および追跡ユニット２の機能は、個別に１チップ化されてもよいし、いくつかのまとまった単位で１チップ化されてもよい。また、集積回路は、ＬＳＩに限るものではなく、専用回路または汎用プロセッサによって実現されてもよい。さらに、集積回路は、ＬＳＩの製作後にプログラムを格納可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、またはＬＳＩ内部の回路セルの接続や設定を再構成することが可能なリコンフィギュラブル・プロセッサが利用されてもよい。さらに、画像分割ユニット１（画素値検出回路１、結合重み決定回路１２および画像分割回路１３）および追跡ユニット２の機能は、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術（バイオ技術、有機化学技術等）が登場すれば、当然、その技術を用いて集積化されてもよい。なお、集積回路は、その集積度の違いによって、ＩＣ、システムＬＳＩ、スーパーＬＳＩおよびウルトラＬＳＩ等と呼称されることもある。
【０３９１】
このように、物体追跡装置１０は、ソフトウェアまたはハードウェアによっても実現可能であるので、この発明の実施の形態においては、上述した画素値検出回路１１は、「画素値検出部」を構成し、結合重み決定回路１２は、「結合重み決定部」を構成し、画像分割回路１３は、「画像分割部」を構成する。
【０３９２】
追跡ユニット２は、追跡物体認識部と、グループ化部とを含む。そして、追跡物体認識部は、画像分割ユニット１によって生成された複数の分割画像領域を静止物体を示す複数の静止物体画像領域と移動物体を示す複数の移動物体画像領域とに分類する。また、グループ化部は、追跡物体認識部によって分類された移動物体画像領域を所定の類似性に基づいてグループ化する。
【０３９３】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【０３９４】
この発明は、複数の対象物からなる追跡物体を追跡容易な物体追跡装置に適用される。また、この発明は、複数の対象物からなる追跡物体を追跡容易な物体追跡方法に適用される。
【図面の簡単な説明】
【０３９５】
【図１】この発明の実施の形態による物体追跡装置の構成を示す概略ブロック図である。
【図２】図１に示す結合重み決定回路の構成を示す概略図である。
【図３】図２に示す結合重み決定回路が結合重みを決定するときの概念図である。
【図４】図２に示す結合重み決定回路が結合重みを決定するときの他の概念図である。
【図５】ＨＳＶ色空間の概念図である。
【図６】色相および彩度による画像評価に用いた画像を示す図である。
【図７】色相および彩度による画像評価に用いた他の画像を示す図である。
【図８】図６に示す領域Ｘの分割結果および図７に示す領域Ｙの分割結果を示す図である。
【図９】従来の画像分割における問題を説明するための図である。
【図１０】図６に示すサンプル画像のＲＧＢ値から式（１）を用いてＨｕｅ値に変換した値（０〜３６０度）を２５６階調に正規化して８ビットグレー画像とした図である。
【図１１】図７に示すサンプル画像のＲＧＢ値から式（１）を用いてＨｕｅ値に変換した値（０〜３６０度）を２５６階調に正規化して８ビットグレー画像とした図である。
【図１２】図６に示すサンプル画像のＲＧＢ値から式（２）を用いてＳ値に変換した値（０〜１の範囲）を２５６階調に規格化して８ビットグレー画像とした図である。
【図１３】図７に示すサンプル画像のＲＧＢ値から式（２）を用いてＳ値に変換した値（０〜１の範囲）を２５６階調に規格化して８ビットグレー画像とした図である。
【図１４】色相（Ｈｕｅ）のビンの構成図である。
【図１５】図２に示すＨＳ変換回路に含まれる色相変換回路の構成を示す概略図である。
【図１６】彩度（Ｓ）のビンの構成図である。
【図１７】図２に示すＨＳ変換回路に含まれる彩度変換回路の構成を示す概略図である。
【図１８】結合重みを決定する方法を説明するための図である。
【図１９】反射による画素値への影響を示す図である。
【図２０】彩度境界を変化させたときの無彩色画素値の変化を示す図である。
【図２１】Ｒ，Ｇ，Ｂの各成分の乱反射による影響を示す図である。
【図２２】赤の車のボディーのＨｕｅ値のヒストグラムを示す図である。
【図２３】青の車のボディーのＨｕｅ値のヒストグラムを示す図である。
【図２４】図２に示す重み計算ユニットの構成図である。
【図２５】画像の分割方法を説明するための図である。
【図２６】追跡物体を得るための概念図である。
【図２７】移動物体の動きベクトルおよび推定位置を求める方法を説明するための図である。
【図２８】分割物体のグループ化に必要なバウンディングボックスの定義を示す図である。
【図２９】バウンディングボックスの交差を示す概念図である。
【図３０】この発明の実施の形態による物体追跡方法を説明するためのフローチャートである。
【図３１】図３０のステップＳ２の詳細な動作を説明するためのフローチャートである。
【図３２】図３１に示すステップＳ２２の詳細な動作を説明するためのフローチャートである。
【図３３】図３２に示すステップＳ２２７の詳細な動作を説明するためのフローチャートである。
【図３４】図３１に示すステップＳ２３の詳細な動作を説明するためのフローチャートである。
【図３５】図３０のステップＳ８の詳細な動作を説明するためのフローチャートである。
【図３６】グループ化における問題点を説明するための図である。
【図３７】前フレームにおけるグループ化の結果を示す図である。
【図３８】別の追跡方法において使用されるグループ化の方法を説明するための図である。
【図３９】この発明の実施の形態による他の物体追跡方法を説明するためのフローチャートである。
【図４０】図３９に示すステップＳ４２の詳細な動作を説明するためのフローチャートである。
【図４１】図３９および図４０に示すフローチャートに従ってオブジェクトをグループ化した結果を示す図である。
【符号の説明】
【０３９６】
１  画像分割ユニット、２  追跡ユニット、１１  画素値検出回路、１２  結合重み決定回路、１３  画像分割回路。
【図１】
2010102586.tif 000017
【図２】
2010102586.tif 000018
【図３】
2010102586.tif 000019
【図４】
2010102586.tif 000020
【図５】
2010102586.tif 000021
【図６】
2010102586.tif 000022
【図７】
2010102586.tif 000023
【図８】
2010102586.tif 000024
【図９】
2010102586.tif 000025
【図１０】
2010102586.tif 000026
【図１１】
2010102586.tif 000027
【図１２】
2010102586.tif 000028
【図１３】
2010102586.tif 000029
【図１４】
2010102586.tif 000030
【図１５】
2010102586.tif 000031
【図１６】
2010102586.tif 000032
【図１７】
2010102586.tif 000033
【図１８】
2010102586.tif 000034
【図１９】
2010102586.tif 000035
【図２０】
2010102586.tif 000036
【図２１】
2010102586.tif 000037
【図２２】
2010102586.tif 000038
【図２３】
2010102586.tif 000039
【図２４】
2010102586.tif 000040
【図２５】
2010102586.tif 000041
【図２６】
2010102586.tif 000042
【図２７】
2010102586.tif 000043
【図２８】
2010102586.tif 000044
【図２９】
2010102586.tif 000045
【図３０】
2010102586.tif 000046
【図３１】
2010102586.tif 000047
【図３２】
2010102586.tif 000048
【図３３】
2010102586.tif 000049
【図３４】
2010102586.tif 000050
【図３５】
2010102586.tif 000051
【図３６】
2010102586.tif 000052
【図３７】
2010102586.tif 000053
【図３８】
2010102586.tif 000054
【図３９】
2010102586.tif 000055
【図４０】
2010102586.tif 000056
【図４１】
2010102586.tif 000057