(57)【要約】画素値検出回路（１）は、入力画像の各画素のＲＧＢ値を検出し、その検出したＲＧＢ値を結合重み決定回路（２）へ出力する。結合重み決定回路（２）は、隣接する２つの画素の両方が無彩色からなるとき、ＲＧＢ値のみによって２つの画素間の結合重みである第１の結合重みを決定し、２つの画素の一方が無彩色からなるとき、ＲＧＢ値および彩度によって結合重みを第１の結合重みよりも小さい第２の結合重みに決定し、２つの画素の両方が有彩色からなるとき、ＲＧＢ値および色相によって結合重みを第１の結合重み以上の第３の結合重みに決定する。画像分割回路（３）は、結合重み決定回路（２）によって決定された結合重みを用いて入力画像を各対象物の画像に分割する。
2010013291.tif 000002
【特許請求の範囲】
【請求項１】
２つの画素の両方が無彩色からなるとき、前記２つの画素のＲＧＢ値を用いて前記２つの画素間の結合重みである第１の結合重みを決定し、前記２つの画素の一方が無彩色からなるとき、前記第１の結合重みよりも小さい第２の結合重みを前記２つの画素間の結合重みとして決定し、前記２つの画素の両方が有彩色からなるとき、前記第１の結合重み以上の第３の結合重みを前記２つの画素間の結合重みとして決定する結合重み決定処理を１つのフレームの各画素間について実行する結合重み決定回路と、
前記結合重み決定回路によって決定された第１から第３の結合重みに基づいて、前記１つのフレームを各対象物の画像に分割する画像分割回路とを備える画像分割装置。
【請求項２】
前記結合重み決定回路は、前記２つの画素のＲＧＢ値に基づいて前記２つの画素の第１および第２の彩度を演算するとともに、その演算した第１および第２の彩度を無彩色と有彩色との境界を示すしきい値と比較して前記２つの画素が前記無彩色および前記有彩色のいずれからなるかを判定し、その判定結果に基づいて前記第１から第３の結合重みのいずれかを前記２つの画素間の結合重みとして決定する、請求の範囲第１項に記載の画像分割装置。
【請求項３】
前記結合重み決定回路は、加算器およびシフト器とを用いて前記２つの画素のＲＧＢ値に基づいて前記２つの画素の第１および第２の彩度を演算する、請求の範囲第２項に記載の画像分割装置。
【請求項４】
前記結合重み決定回路は、前記演算した第１および第２の彩度の両方が前記しきい値以下であるとき、前記２つの画素の両方が前記無彩色からなると判定し、前記第１および第２の彩度の一方が前記しきい値以下であるとき、前記２つの画素の一方が前記無彩色からなり、かつ、前記２つの画素の他方が前記有彩色からなると判定し、前記第１および第２の彩度の両方が前記しきい値よりも大きいとき、前記２つの画素の両方が前記有彩色からなると判定する、請求の範囲第２項に記載の画像分割装置。
【請求項５】
前記結合重み決定回路は、前記２つの画素の両方が前記無彩色からなると判定したとき、前記２つの画素のＲＧＢ値のみを用いて前記第１の結合重みを決定し、前記２つの画素の一方が前記無彩色からなり、かつ、前記２つの画素の他方が前記有彩色からなると判定したとき、前記２つの画素のＲＧＢ値および彩度を用いて前記第２の結合重みを決定し、前記２つの画素の両方が前記有彩色からなると判定したとき、前記２つの画素のＲＧＢ値および色相を用いて前記第３の結合重みを決定する、請求の範囲第３項に記載の画像分割装置。
【請求項６】
前記結合重み決定回路は、前記ＲＧＢ値のみを用いて前記第１の結合重みを演算するとともに、前記２つの画素の一方が前記無彩色からなり、かつ、前記２つの画素の他方が前記有彩色からなると判定したとき、前記演算した第１の結合重みを前記２つの画素の彩度の差である彩度差に応じて小さくすることにより前記第２の結合重みを決定し、前記２つの画素の両方が前記有彩色からなると判定したとき、前記２つの画素の色相の差である色相差に応じて前記第１の結合重みを大きくすることにより前記第３の結合重みを決定する、請求の範囲第５項に記載の画像分割装置。
【請求項７】
前記結合重み決定回路は、前記２つの画素の両方が前記有彩色からなると判定したとき、前記２つの画素のＲＧＢ値に基づいて前記２つの画素の第１および第２の色相を演算するとともに、その演算した第１および第２の色相の差を前記色相差として演算し、その演算した色相差を用いて前記第３の結合重みを決定する、請求の範囲第６項に記載の画像分割装置。
【請求項８】
前記結合重み決定回路は、加算器およびシフト器とを用いて前記２つの画素のＲＧＢ値に基づいて前記２つの画素の第１および第２の色相を演算する、請求の範囲第７項に記載の画像分割装置。
【請求項９】
前記結合重み決定回路は、前記２つの画素の一方が前記無彩色からなり、かつ、前記２つの画素の他方が前記有彩色からなると判定した場合において、前記彩度差が相対的に小さいとき、前記第１の結合重みからの下げ幅を相対的に小さくして前記第２の結合重みを決定し、前記彩度差が相対的に大きいとき、前記第１の結合重みからの下げ幅を相対的に大きくして前記第３の結合重みを決定する、請求の範囲第６項に記載の画像分割装置。
【請求項１０】
前記結合重み決定回路は、前記２つの画素のＲＧＢ値の差と、前記彩度差と、前記第１の結合重みから前記彩度差に応じて小さくした修正結合重みとの対応表を保持しており、前記２つの画素の前記彩度差を演算すると、その演算した彩度差に対応する修正結合重みを前記対応表から抽出し、その抽出した修正結合重みを前記第２の結合重みとして決定する、請求の範囲第９項に記載の画像分割装置。
【請求項１１】
前記結合重み決定回路は、前記２つの画素の両方が前記有彩色からなると判定した場合において、前記２つの画素のＲＧＢ値の差が光の反射の影響を受けていることを示すとき、前記色相差に応じて前記第１の結合重み以上の値を設定して前記第３の結合重みを決定する、請求の範囲第６項に記載の画像分割装置。
【請求項１２】
前記結合重み決定回路は、前記２つの画素のＲＧＢ値の差が光の反射の影響を受けていないことを示すとき、前記第１の結合重みを前記第３の結合重みとして決定する、請求の範囲第１１項に記載の画像分割装置。
【請求項１３】
前記結合重み決定回路は、前記２つの画素のＲＧＢ値の差と、前記色相差と、前記第１の結合重みから前記色相差に応じて大きくした修正結合重みとの対応表を保持しており、前記２つの画素のＲＧＢ値の差が光の反射の影響を受けていることを示すとき、前記２つの画素の前記色相差を演算すると、その演算した色相差に対応する修正結合重みを前記対応表から抽出し、その抽出した修正結合重みを前記第３の結合重みとして決定する、請求の範囲第１１項に記載の画像分割装置。
【請求項１４】
２つの画素のＲＧＢ値を受付ける第１のステップと、
前記受付けられた２つの画素のＲＧＢ値に基づいて、前記２つの画素の第１および第２の色相を演算する第２のステップと、
前記受付けられた２つの画素のＲＧＢ値に基づいて、前記２つの画素の第１および第２の彩度を演算する第３のステップと、
前記第１および第２の彩度の両方が無彩色と無彩色との境界を示すしきい値以下であるか否かを判定する第４のステップと、
前記第４のステップにおいて、前記第１および第２の彩度の両方が前記しきい値以下であると判定されたとき、前記２つの画素のＲＧＢ値のみを用いて前記２つの画素間の結合重みである第１の結合重みを決定する第５のステップと、
前記第４のステップにおいて、前記第１および第２の彩度の一方が前記しきい値以下であると判定されたとき、前記２つの画素のＲＧＢ値と、前記第１および第２の彩度とを用いて前記第１の結合重みよりも小さい第２の結合重みを前記２つの画素間の結合重みとして決定する第６のステップと、
前記第４のステップにおいて、前記第１および第２の彩度の両方が前記しきい値よりも大きいと判定されたとき、前記２つの画素のＲＧＢ値と、前記第１および第２の色相とを用いて前記第１の結合重み以上の第３の結合重みを前記２つの画素間の結合重みとして決定する第７のステップと、
前記第１のステップから前記第７のステップを１つのフレームに含まれる全ての画素間について実行する第８のステップと、
前記第８のステップを実行して決定された第１から第３の結合重みに基づいて、前記１つのフレームを各対象物の画像に分割する第９のステップとを備える画像分割方法。
【請求項１５】
前記第６のステップは、
前記ＲＧＢ値のみを用いて前記第１の結合重みを演算する第１のサブステップと、
前記演算した第１の結合重みを前記２つの画素の彩度の差である彩度差に応じて小さくすることにより前記第２の結合重みを決定する第２のサブステップとを含み、
前記第７のステップは、
前記ＲＧＢ値のみを用いて第１の結合重みを演算する第３のサブステップと、
前記２つの画素が光の反射の影響を受けていることを示すとき、前記演算した第１の結合重みを前記２つの画素の色相の差である色相差に応じて大きくすることにより前記第３の結合重みを決定する第４のサブステップと、
前記２つの画素が光の反射の影響を受けていないことを示すとき、前記演算された第１の結合重みを前記第３の結合重みとして決定する第５のサブステップとを含む、請求の範囲第１４項に記載の画像分割方法。
【請求項１６】
前記第２のサブステップにおいて、前記彩度差が相対的に小さいとき、前記第１の結合重みからの下げ幅を相対的に小さくして前記第２の結合重みを決定し、前記彩度差が相対的に大きいとき、前記第１の結合重みからの下げ幅を相対的に大きくして前記第２の結合重みを決定する、請求の範囲第１５項に記載の画像分割方法。
【請求項１７】
前記光の反射の影響を受けている画素は、前記２つの画素のＲＧＢ値の差が第１の値と前記第１の値よりも大きい第２の値との間で存在する画素である、請求の範囲第１５項に記載の画像分割方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像分割装置および画像分割方法に関するものである。
【背景技術】
【０００２】
従来、彩度と色相差とを用いて入力画像を無彩色領域と有彩色領域とに分割する画像領域分割装置が知られている（特開平６−２５９５４９号公報）。【０００３】
この画像領域分割装置は、画像入力部と、正規化処理部と、彩度検出部と、色相差検出部と、特徴量算出部と、２値化処理部とを備える。画像入力部は、カラー画像を取り込み、その取り込んだ画像から領域分割の対象となる対象画像を生成し、対象画像のＲ（赤）成分、Ｇ（緑）成分およびＢ（青）成分をそれぞれ示すＲ画像、Ｇ画像およびＢ画像を正規化処理部へ出力する。【０００４】
正規化処理部は、画像入力部から出力された３枚のＲ画像、Ｇ画像およびＢ画像を取り込み、対象画像の各画素について、Ｒ，Ｇ，Ｂ成分を明るさで正規化したＸ成分とＹ成分とに変換する。そして、正規化処理部は、対象画像の各画素値がＸ成分であるＸ画像と、対象画像の各画素値がＹ成分であるＹ画像とを生成し、その生成したＸ画像およびＹ画像を彩度検出部および色相差検出部へ出力する。【０００５】
彩度検出部は、正規化処理部から出力されたＸ画像およびＹ画像を取り込み、対象画像の各画素の彩度をＸ成分およびＹ成分から求め、対象画像の各画素の値を、求めた彩度とする彩度画像を特徴量算出部へ出力する。対象画像の画素Ｐｋ（ｋ＝１，２，・・・，Ｎ）の彩度Ｓｋは、ＰｋのＸ成分をｘｋとし、Ｙ成分をｙｋとすると、Ｓｋ＝（ｘｋ２＋ｙｋ２）１／２によって求められる。【０００６】
色相検出部は、正規化処理部から出力されたＸ画像およびＹ画像を取り込み、対象画像の各画素の色相をＸ成分およびＹ成分から求め、有彩色領域の色相θｃとの色相差を算出する。そして、色相検出部は、対象画像の各画素の値を、算出した色相差とする色相差画像を特徴量算出部へ出力する。対象画像Ｐｋの色相θｋは、θｋ＝ｔａｎ−１（ｙｋ／ｘｋ）によって求められる。【０００７】
特徴量算出部は、彩度検出部から彩度画像を受け取り、色相検出部から色相差画像を受け取ると、各画素の彩度と色相差とから特徴量を算出する。たとえば、特徴量算出部は、Ｆｋ＝Ｓｋｃｏｓ（θｋ−θｃ）によって対象画像の画素Ｐｋの特徴量Ｆｋを算出する。そして、特徴量算出部は、対象画像の各画素の値を、算出した特徴量Ｆｋとする特徴量画像を２値化処理部へ出力する。【０００８】
２値化処理部は、特徴量算出部から特徴量画像を受けると、特徴量画像を２値化する。そして、２値化処理部は、２値化により分割された２つの領域のうち、特徴量の小さい方を無彩色領域として出力し、特徴量の大きい方を有彩色領域として出力する。【０００９】
このように、従来の画像領域分割装置は、入力画像の各点における彩度と、入力画像の各点での色相と有彩色領域の色相との色相差とを用いて入力画像を無彩色領域と有彩色領域とに分割するための特徴量を求め、その求めた特徴量を用いて入力画像を無彩色領域と有彩色領域とに分割する。
【発明の開示】
【００１０】
しかし、従来の画像領域分割装置は、入力画像の各画素の彩度と、各画素の色相と有彩色領域の色相との色相差とを用いて画像を分割するため、分割の対象となる対象物が無彩色からなる場合、入力画像を各対象物の画像に正確に分割することが困難であるという問題がある。
【００１１】
そこで、カラー画像からなる入力画像を各対象物の画像に正確に分割可能な画像分割装置を提供することが望まれる。
【００１２】
また、カラー画像からなる入力画像を各対象物の画像に正確に分割可能な画像分割方法を提供することが望まれる。
【００１３】
画像分割装置は、結合重み決定回路と、画像分割装置とを備える。結合重み決定回路は、２つの画素の両方が無彩色からなるとき、２つの画素のＲＧＢ値を用いて２つの画素間の結合重みである第１の結合重みを決定し、２つの画素の一方が無彩色からなるとき、第１の結合重みよりも小さい第２の結合重みを２つの画素間の結合重みとして決定し、２つの画素の両方が有彩色からなるとき、第１の結合重み以上の第３の結合重みを２つの画素間の結合重みとして決定する結合重み決定処理を１つのフレームの各画素間について実行する。画像分割回路は、結合重み決定回路によって決定された第１から第３の結合重みに基づいて、１つのフレームを各対象物の画像に分割する。
【００１４】
結合重み決定回路は、２つの画素のＲＧＢ値に基づいて２つの画素の第１および第２の彩度を演算するとともに、その演算した第１および第２の彩度を無彩色と有彩色との境界を示すしきい値と比較して２つの画素が無彩色および有彩色のいずれからなるかを判定し、その判定結果に基づいて第１から第３の結合重みのいずれかを２つの画素間の結合重みとして決定してもよい。
【００１５】
結合重み決定回路は、加算器およびシフト器とを用いて２つの画素のＲＧＢ値に基づいて２つの画素の第１および第２の彩度を演算してもよい。
【００１６】
結合重み決定回路は、演算した第１および第２の彩度の両方がしきい値以下であるとき、２つの画素の両方が無彩色からなると判定し、第１および第２の彩度の一方がしきい値以下であるとき、２つの画素の一方が無彩色からなり、かつ、２つの画素の他方が有彩色からなると判定し、第１および第２の彩度の両方がしきい値よりも大きいとき、２つの画素の両方が有彩色からなると判定してもよい。
【００１７】
結合重み決定回路は、２つの画素の両方が無彩色からなると判定したとき、２つの画素のＲＧＢ値のみを用いて第１の結合重みを決定し、２つの画素の一方が無彩色からなり、かつ、２つの画素の他方が有彩色からなると判定したとき、２つの画素のＲＧＢ値および彩度を用いて第２の結合重みを決定し、２つの画素の両方が有彩色からなると判定したとき、２つの画素のＲＧＢ値および色相を用いて第３の結合重みを決定してもよい。
【００１８】
結合重み決定回路は、ＲＧＢ値のみを用いて第１の結合重みを演算するとともに、２つの画素の一方が無彩色からなり、かつ、２つの画素の他方が有彩色からなると判定したとき、演算した第１の結合重みを２つの画素の彩度の差である彩度差に応じて小さくすることにより第２の結合重みを決定し、２つの画素の両方が有彩色からなると判定したとき、２つの画素の色相の差である色相差に応じて第１の結合重みを大きくすることにより第３の結合重みを決定してもよい。
【００１９】
結合重み決定回路は、２つの画素の両方が有彩色からなると判定したとき、２つの画素のＲＧＢ値に基づいて２つの画素の第１および第２の色相を演算するとともに、その演算した第１および第２の色相の差を色相差として演算し、その演算した色相差を用いて第３の結合重みを決定してもよい。
【００２０】
結合重み決定回路は、加算器およびシフト器とを用いて２つの画素のＲＧＢ値に基づいて２つの画素の第１および第２の色相を演算してもよい。
【００２１】
結合重み決定回路は、２つの画素の一方が無彩色からなり、かつ、２つの画素の他方が有彩色からなると判定した場合において、彩度差が相対的に小さいとき、第１の結合重みからの下げ幅を相対的に小さくして第２の結合重みを決定し、彩度差が相対的に大きいとき、第１の結合重みからの下げ幅を相対的に大きくして第３の結合重みを決定してもよい。
【００２２】
結合重み決定回路は、２つの画素のＲＧＢ値の差と、彩度差と、第１の結合重みから彩度差に応じて小さくした修正結合重みとの対応表を保持しており、２つの画素の彩度差を演算すると、その演算した彩度差に対応する修正結合重みを対応表から抽出し、その抽出した修正結合重みを第２の結合重みとして決定してもよい。
【００２３】
結合重み決定回路は、２つの画素の両方が有彩色からなると判定した場合において、２つの画素のＲＧＢ値の差が光の反射の影響を受けていることを示すとき、色相差に応じて第１の結合重み以上の値を設定して第３の結合重みを決定してもよい。
【００２４】
結合重み決定回路は、２つの画素のＲＧＢ値の差が光の反射の影響を受けていないことを示すとき、第１の結合重みを第３の結合重みとして決定してもよい。
【００２５】
結合重み決定回路は、２つの画素のＲＧＢ値の差と、色相差と、第１の結合重みから色相差に応じて大きくした修正結合重みとの対応表を保持しており、２つの画素のＲＧＢ値の差が光の反射の影響を受けていることを示すとき、２つの画素の色相差を演算すると、その演算した色相差に対応する修正結合重みを対応表から抽出し、その抽出した修正結合重みを第３の結合重みとして決定してもよい。
【００２６】
また、画像分割方法は、２つの画素のＲＧＢ値を受付ける第１のステップと、受付けられた２つの画素のＲＧＢ値に基づいて、２つの画素の第１および第２の色相を演算する第２のステップと、受付けられた２つの画素のＲＧＢ値に基づいて、２つの画素の第１および第２の彩度を演算する第３のステップと、第１および第２の彩度の両方が無彩色と無彩色との境界を示すしきい値以下であるか否かを判定する第４のステップと、第４のステップにおいて、第１および第２の彩度の両方がしきい値以下であると判定されたとき、２つの画素のＲＧＢ値のみを用いて２つの画素間の結合重みである第１の結合重みを決定する第５のステップと、第４のステップにおいて、第１および第２の彩度の一方がしきい値以下であると判定されたとき、２つの画素のＲＧＢ値と、第１および第２の彩度とを用いて第１の結合重みよりも小さい第２の結合重みを２つの画素間の結合重みとして決定する第６のステップと、第４のステップにおいて、第１および第２の彩度の両方がしきい値よりも大きいと判定されたとき、２つの画素のＲＧＢ値と、第１および第２の色相とを用いて第１の結合重み以上の第３の結合重みを２つの画素間の結合重みとして決定する第７のステップと、第１のステップから第７のステップを１つのフレームに含まれる全ての画素間について実行する第８のステップと、第８のステップを実行して決定された第１から第３の結合重みに基づいて、１つのフレームを各対象物の画像に分割する第９のステップとを備える。
【００２７】
第６のステップは、ＲＧＢ値のみを用いて第１の結合重みを演算する第１のサブステップと、演算した第１の結合重みを２つの画素の彩度の差である彩度差に応じて小さくすることにより第２の結合重みを決定する第２のサブステップとを含んでもよい。第７のステップは、ＲＧＢ値のみを用いて第１の結合重みを演算する第３のサブステップと、２つの画素が光の反射の影響を受けていることを示すとき、演算した第１の結合重みを２つの画素の色相の差である色相差に応じて大きくすることにより第３の結合重みを決定する第４のサブステップと、２つの画素が光の反射の影響を受けていないことを示すとき、演算された第１の結合重みを第３の結合重みとして決定する第５のサブステップとを含んでもよい。
【００２８】
第２のサブステップにおいて、彩度差が相対的に小さいとき、第１の結合重みからの下げ幅を相対的に小さくして第２の結合重みを決定し、彩度差が相対的に大きいとき、第１の結合重みからの下げ幅を相対的に大きくして第２の結合重みを決定してもよい。
【００２９】
光の反射の影響を受けている画素は、２つの画素のＲＧＢ値の差が第１の値と第１の値よりも大きい第２の値との間で存在する画素であってもよい。
【００３０】
２つの画素間の結合重みは、２つの画素の両方が無彩色からなるとき、２つの画素のＲＧＢ値を用いて第１の結合重みに決定され、２つの画素の一方が無彩色からなるとき、第１の結合重みよりも小さい第２の結合重みに決定され、２つの画素の両方が有彩色からなるとき、第１の結合重み以上の第３の結合重みに決定される。そして、その決定された結合重みに基づいて画像分割が行なわれる。その結果、結合重みが第２の結合重みからなる画像では、画像分割において領域成長が抑制され、結合重みが第３の結合重みからなる画像では、画像分割において領域成長が促進される。そして、画像分割において、彩度差のある領域が識別されて抽出され、同一色相を有する領域が同一領域として抽出される。
【００３１】
したがって、カラー画像からなる入力画像を各対象物の画像に正確に分割できる。
【図面の簡単な説明】
【００３２】
【図１】この発明の実施の形態による画像分割装置の構成を示す概略ブロック図である。
【図２】図１に示す結合重み決定回路の構成を示す概略図である。
【図３】図２に示す結合重み決定回路が結合重みを決定するときの概念図である。
【図４】図２に示す結合重み決定回路が結合重みを決定するときの他の概念図である。
【図５】ＨＳＶ色空間の概念図である。
【図６】色相および彩度による画像評価に用いた画像を示す図である。
【図７】色相および彩度による画像評価に用いた他の画像を示す図である。
【図８】図６に示す領域Ｘの分割結果および図７に示す領域Ｙの分割結果を示す図である。
【図９】従来の画像分割における問題を説明するための図である。
【図１０】図６に示すサンプル画像のＲＧＢ値から式（１）を用いてＨｕｅ値に変換した値（０〜３６０度）を２５６階調に正規化して８ビットグレー画像とした図である。
【図１１】図７に示すサンプル画像のＲＧＢ値から式（１）を用いてＨｕｅ値に変換した値（０〜３６０度）を２５６階調に正規化して８ビットグレー画像とした図である。
【図１２】図６に示すサンプル画像のＲＧＢ値から式（２）を用いてＳ値に変換した値（０〜１の範囲）を２５６階調に規格化して８ビットグレー画像とした図である。
【図１３】図７に示すサンプル画像のＲＧＢ値から式（２）を用いてＳ値に変換した値（０〜１の範囲）を２５６階調に規格化して８ビットグレー画像とした図である。
【図１４】色相（Ｈｕｅ）のビンの構成図である。
【図１５】図２に示すＨＳ変換回路に含まれる色相変換回路の構成を示す概略図である。
【図１６】彩度（Ｓ）のビンの構成図である。
【図１７】図２に示すＨＳ変換回路に含まれる彩度変換回路の構成を示す概略図である。
【図１８】結合重みを決定する方法を説明するための図である。
【図１９】反射による画素値への影響を示す図である。
【図２０】彩度境界を変化させたときの無彩色画素値の変化を示す図である。
【図２１】Ｒ，Ｇ，Ｂの各成分の乱反射による影響を示す図である。
【図２２】赤の車のボディーのＨｕｅ値のヒストグラムを示す図である。
【図２３】青の車のボディーのＨｕｅ値のヒストグラムを示す図である。
【図２４】図２に示す重み計算ユニットの構成図である。
【図２５】画像の分割方法を説明するための図である。
【図２６】この発明による画像分割方法を説明するためのフローチャートである。
【図２７】図２６に示すステップＳ２の詳細な動作を説明するためのフローチャートである。
【図２８】図２７に示すステップＳ２７の詳細な動作を説明するためのフローチャートである。
【図２９】図２６に示すステップＳ３の詳細な動作を説明するためのフローチャートである。
【図３０】この発明による画像分割装置を用いた物体追跡装置の構成図である。
【発明を実施するための最良の形態】
【００３３】
本発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰返さない。【００３４】
図１は、この発明の実施の形態による画像分割装置の構成を示す概略ブロック図である。図１を参照して、この発明の実施の形態による画像分割装置１０は、画素値検出回路１と、結合重み決定回路２と、画像分割回路３とを備える。【００３５】
画素値検出回路１は、１フレームの入力画像を受け、その受けた入力画像の各画素のＲ成分、Ｇ成分およびＢ成分を検出し、その検出したＲ成分、Ｇ成分およびＢ成分をＲＧＢ値として結合重み決定回路２へ出力する。【００３６】
結合重み決定回路２は、画素値検出回路１からＲＧＢ値を受け、その受けたＲＧＢ値に基づいて、後述する方法によって、１つのフレームを構成する複数の画素における各画素間の結合重みを決定し、その決定した結合重みを画像分割回路３へ出力する。【００３７】
画像分割回路３は、外部から入力画像を受け、結合重み決定回路２から結合重みを受ける。そして、画像分割回路３は、その受けた結合重みを用いて、領域成長型画像分割方法によって、１つのフレームからなる入力画像を各対象物の画像に分割する。この領域成長型画像分割方法は、たとえば、３×３の画素からリーダセルを決定し、その決定したリーダセルの領域から相対的に大きい結合重みを有する周囲の画素の領域へ領域を成長させて行く処理をリーダセルが存在しなくまで繰り返して画像を分割する方法である。【００３８】
図２は、図１に示す結合重み決定回路２の構成を示す概略図である。図２を参照して、結合重み決定回路２は、Ｄラッチ回路２１，２２，２４，２６，２７，２９と、ＦＩＦＯ回路２３，２８と、ＨＳ変換回路２５と、選択器３０，３１と、重み計算ユニット３２〜３５とを含む。【００３９】
Ｄラッチ回路２１は、画素値検出回路１からＲＧＢ値を受け、その受けたＲＧＢ値をラッチし、そのラッチしたＲＧＢ値をＤラッチ回路２２、重み計算ユニット３３，３５へ出力する。【００４０】
Ｄラッチ回路２２は、Ｄラッチ回路２１からＲＧＢ値を受け、その受けたＲＧＢ値をラッチし、そのラッチしたＲＧＢ値をＦＩＦＯ回路２３、重み計算ユニット３２および選択器３０，３１へ出力する。【００４１】
ＦＩＦＯ回路２３は、Ｄラッチ回路２２からＲＧＢ値を受け、その受けたＲＧＢ値を１クロック分、保持し、その後、ＲＧＢ値をＤラッチ回路２４、重み計算ユニット３２および選択器３０，３１へ出力する。【００４２】
Ｄラッチ回路２４は、ＦＩＦＯ回路２３から受けたＲＧＢ値をラッチし、そのラッチしたＲＧＢ値を重み計算ユニット３３，３４へ出力する。【００４３】
ＨＳ変換回路２５は、画素値検出回路１からＲＧＢ値を受け、その受けたＲＧＢ値を、後述する方法によって、色相および彩度に変換する。そして、ＨＳ変換回路２５は、その変換した色相および彩度をＤラッチ回路２６へ出力する。【００４４】
Ｄラッチ回路２６は、色相および彩度をＨＳ変換回路２５から受け、その受けた色相および彩度をラッチし、そのラッチした色相および彩度をＤラッチ回路２７および重み計算ユニット３３，３５へ出力する。【００４５】
Ｄラッチ回路２７は、色相および彩度をＤラッチ回路２６から受け、その受けた色相および彩度をラッチし、そのラッチした色相および彩度をＦＩＦＯ回路２８、重み計算ユニット３２および選択器３０，３１へ出力する。【００４６】
ＦＩＦＯ回路２８は、色相および彩度をＤラッチ回路２７から受け、その受けた色相および彩度を１クロック分、保持し、その後、色相および彩度をＤラッチ回路２９、重み計算ユニット３２および選択器３０，３１へ出力する。【００４７】
Ｄラッチ回路２９は、色相および彩度をＦＩＦＯ回路２８から受け、その受けた色相および彩度をラッチし、そのラッチした色相および彩度を重み計算ユニット３３，３４へ出力する。【００４８】
選択器３０は、Ｄラッチ回路２２およびＦＩＦＯ回路２３からＲＧＢ値を受け、Ｄラッチ回路２７およびＦＩＦＯ回路２８から色相および彩度を受ける。そして、選択器３０は、ＦＩＦＯ回路２３から受けたＲＧＢ値と、ＦＩＦＯ回路２８から受けた色相および彩度とを選択して重み計算ユニット３４へ出力する。【００４９】
選択器３１は、Ｄラッチ回路２２およびＦＩＦＯ回路２３からＲＧＢ値を受け、Ｄラッチ回路２７およびＦＩＦＯ回路２８から色相および彩度を受ける。そして、選択器３１は、Ｄラッチ回路２２から受けたＲＧＢ値と、Ｄラッチ回路２７から受けた色相および彩度とを選択して重み計算ユニット３５へ出力する。【００５０】
なお、選択器３０がＤラッチ回路２２から受けたＲＧＢ値と、Ｄラッチ回路２７から受けた色相および彩度とを選択して重み計算ユニット３４へ出力する場合、選択器３１は、ＦＩＦＯ回路２３から受けたＲＧＢ値と、ＦＩＦＯ回路２８から受けた色相および彩度とを選択して重み計算ユニット３５へ出力する。【００５１】
重み計算ユニット３２は、Ｄラッチ回路２２およびＦＩＦＯ回路２３からＲＧＢ値を受け、Ｄラッチ回路２７およびＦＩＦＯ回路２８から色相および彩度を受ける。そして、重み計算ユニット３２は、Ｄラッチ回路２２から受けたＲＧＢ値とＤラッチ回路２７から受けた色相および彩度とを１つの画素ＧＥ３に対応するＲＧＢ値、色相および彩度（ＲＧＢ３，ＨＳ３）とし、ＦＩＦＯ回路２３から受けたＲＧＢ値と、ＦＩＦＯ回路２８から受けた色相および彩度とを別の１つの画素ＧＥ２に対応するＲＧＢ値、色相および彩度（ＲＧＢ２，ＨＳ２）とする。そうすると、重み計算ユニット３２は、ＲＧＢ値、色相および彩度（ＲＧＢ３，ＨＳ３）と、ＲＧＢ値、色相および彩度（ＲＧＢ２，ＨＳ２）とに基づいて、後述する方法によって、画素ＧＥ２と画素ＧＥ３との間の結合重みを演算し、その演算した結合重みを画像分割回路３へ出力する。【００５２】
重み計算ユニット３３は、Ｄラッチ回路２１，２４からＲＧＢ値を受け、Ｄラッチ回路２６，２９から色相および彩度を受ける。そして、重み計算ユニット３３は、Ｄラッチ回路２１から受けたＲＧＢ値とＤラッチ回路２６から受けた色相および彩度とを１つの画素ＧＥ４に対応するＲＧＢ値、色相および彩度（ＲＧＢ４，ＨＳ４）とし、Ｄラッチ回路２４から受けたＲＧＢ値と、Ｄラッチ回路２９から受けた色相および彩度とを別の１つの画素ＧＥ１に対応するＲＧＢ値、色相および彩度（ＲＧＢ１，ＨＳ１）とする。そうすると、重み計算ユニット３３は、ＲＧＢ値、色相および彩度（ＲＧＢ４，ＨＳ４）と、ＲＧＢ値、色相および彩度（ＲＧＢ１，ＨＳ１）とに基づいて、後述する方法によって、画素ＧＥ１と画素ＧＥ４との間の結合重みを演算し、その演算した結合重みを画像分割回路３へ出力する。【００５３】
重み計算ユニット３４は、Ｄラッチ回路２４からＲＧＢ値を受け、Ｄラッチ回路２９から色相および彩度を受け、選択器３０からＲＧＢ値、色相および彩度を受ける。そして、重み計算ユニット３４は、Ｄラッチ回路２４から受けたＲＧＢ値とＤラッチ回路２９から受けた色相および彩度とを１つの画素ＧＥ１に対応するＲＧＢ値、色相および彩度（ＲＧＢ１，ＨＳ１）とし、選択器３０から受けたＲＧＢ値、色相および彩度を別の１つの画素ＧＥ２に対応するＲＧＢ値、色相および彩度（ＲＧＢ２，ＨＳ２）とする。そうすると、重み計算ユニット３４は、ＲＧＢ値、色相および彩度（ＲＧＢ１，ＨＳ１）と、ＲＧＢ値、色相および彩度（ＲＧＢ２，ＨＳ２）とに基づいて、後述する方法によって、画素ＧＥ１と画素ＧＥ２との間の結合重みを演算し、その演算した結合重みを画像分割回路３へ出力する。【００５４】
重み計算ユニット３５は、Ｄラッチ回路２１からＲＧＢ値を受け、Ｄラッチ回路２６から色相および彩度を受け、選択器３１からＲＧＢ値、色相および彩度を受ける。そして、重み計算ユニット３５は、Ｄラッチ回路２１から受けたＲＧＢ値とＤラッチ回路２６から受けた色相および彩度とを１つの画素ＧＥ４に対応するＲＧＢ値、色相および彩度（ＲＧＢ４，ＨＳ４）とし、選択器３１から受けたＲＧＢ値、色相および彩度を別の１つの画素ＧＥ３に対応するＲＧＢ値、色相および彩度（ＲＧＢ３，ＨＳ３）とする。そうすると、重み計算ユニット３５は、ＲＧＢ値、色相および彩度（ＲＧＢ４，ＨＳ４）と、ＲＧＢ値、色相および彩度（ＲＧＢ３，ＨＳ３）とに基づいて、後述する方法によって、画素ＧＥ３と画素ＧＥ４との間の結合重みを演算し、その演算した結合重みを画像分割回路３へ出力する。【００５５】
図３は、図２に示す結合重み決定回路２が結合重みを決定するときの概念図である。また、図４は、図２に示す結合重み決定回路２が結合重みを決定するときの他の概念図である。【００５６】
結合重み決定回路２は、２行２列に配列された画素ＧＥ１〜ＧＥ４における結合重みを１サイクルで決定する。画素ＧＥ１〜ＧＥ４におけるＲＧＢ値ＲＧＢ１〜ＲＧＢ４が結合重み決定回路２へ順次入力されると、重み計算ユニット３２は、ＦＩＦＯ回路２３から画素ＧＥ２のＲＧＢ値ＲＧＢ２を受け、ＦＩＦＯ回路２８から画素ＧＥ２の色相および彩度ＨＳ２を受け、Ｄラッチ回路２２から画素ＧＥ３のＲＧＢ値ＲＧＢ３を受け、Ｄラッチ回路２７から画素ＧＥ３の色相および彩度ＨＳ３を受ける。【００５７】
また、重み計算ユニット３３は、Ｄラッチ回路２４から画素ＧＥ１のＲＧＢ値ＲＧＢ１を受け、Ｄラッチ回路２９から画素ＧＥ１の色相および彩度ＨＳ１を受け、Ｄラッチ回路２１から画素ＧＥ４のＲＧＢ値ＲＧＢ４を受け、Ｄラッチ回路２６から画素ＧＥ４の色相および彩度ＨＳ４を受ける。【００５８】
さらに、重み計算ユニット３４は、Ｄラッチ回路２４から画素ＧＥ１のＲＧＢ値ＲＧＢ１を受け、Ｄラッチ回路２９から画素ＧＥ１の色相および彩度ＨＳ１を受け、選択器３０から画素ＧＥ２のＲＧＢ値ＲＧＢ２と、画素ＧＥ２の色相および彩度ＨＳ２とを受ける。【００５９】
さらに、重み計算ユニット３５は、Ｄラッチ回路２１から画素ＧＥ４のＲＧＢ値ＲＧＢ４を受け、Ｄラッチ回路２６から画素ＧＥ４の色相および彩度ＨＳ４を受け、選択器３１から画素ＧＥ３のＲＧＢ値ＲＧＢ３と、画素ＧＥ３の色相および彩度ＨＳ３とを受ける。【００６０】
すなわち、重み計算ユニット３２〜３５は、同期して、それぞれ、画素ＧＥ２，ＧＥ３のＲＧＢ値、色相および彩度、画素ＧＥ１，ＧＥ４のＲＧＢ値、色相および彩度、画素ＧＥ１，ＧＥ２のＲＧＢ値、色相および彩度、および画素ＧＥ３，ＧＥ４のＲＧＢ値、色相および彩度を受ける。そして、重み計算ユニット３２は、画素ＧＥ２と画素ＧＥ３との結合重みを決定して出力し、重み計算ユニット３３は、画素ＧＥ１と画素ＧＥ４との結合重みを決定して出力し、重み計算ユニット３４は、画素ＧＥ１と画素ＧＥ２との結合重みを決定して出力し、重み計算ユニット３５は、画素ＧＥ３と画素ＧＥ４との結合重みを決定して出力する。【００６１】
つまり、重み計算ユニット３２〜３５は、図３に示す４個の結合重みを１サイクルで決定して出力する。【００６２】
なお、選択器３０が画素ＧＥ３のＲＧＢ値ＲＧＢ３と色相および彩度ＨＳ３とを選択し、選択器３１が画素ＧＥ２のＲＧＢ値ＲＧＢ２と色相および彩度ＨＳ２とを選択した場合、重み計算ユニット３２〜３５は、図４に示す４個の結合重みを１サイクルで決定して出力する。【００６３】
このように、結合重み決定回路２は、２行２列に配列された４個の画素のＲＧＢ値、色相および彩度を用いて、１サイクルで２行２列に配列された４個の画素間における４個の結合重みを決定する。【００６４】
上述したように、結合重み決定回路２は、各画素のＲＧＢ値、色相および彩度を用いて２つの画素間の結合重みを決定するが、以下、その理由について説明する。【００６５】
この発明においては、画素間の結合重みを決定するために、ＲＧＢ値のみならず、色相および彩度を用いるために、ＲＧＢ色空間に加え、色相（Ｈ：Ｈｕｅ）、彩度（Ｓ：Ｓａｔｕｒａｔｉｏｎ）および輝度（Ｖ：Ｖａｌｕｅ）からなるＨＳＶ色空間を導入する。【００６６】
ここで、色相（Ｈ）は、Ｒ，Ｇ，Ｂなどの色の種類を表す要素である。また、彩度（Ｓ）は、色の鮮やかさを表す要素であり、無彩色（黒―灰色―白）では、“０”となる。さらに、輝度（Ｖ）は、明るさを表す要素である。【００６７】
図５は、ＨＳＶ色空間の概念図である。図５を参照して、ＨＳＶ色空間は、円錐形状からなる。そして、色相（Ｈ）は、円錐形状の底面における円環ＣＲＣに描かれ、０度〜３６０度の範囲で表される。そして、図５においては、赤を基準（０度）とした色相を表しており、ＲＧＢ色空間における赤（２５５，０，０）、緑（０，２５５，０）および青（０，０，２５５）は、それぞれ、色相０度、色相１２０度および色相２４０度に対応する。【００６８】
彩度（Ｓ）は、円錐の円形の半径として表され、０〜１の範囲の値を取る。また、輝度（Ｖ）は、円錐の頂点からの距離として表され、０〜１の範囲の値を取る。【００６９】
図５から解るように、無彩色は、色相（Ｈ）および彩度（Ｓ）を持たない。【００７０】
ＲＧＢ値から色相（Ｈ）への変換には、次式が用いられる。【００７１】
【数１】
2010013291.tif 000003
【００７２】
なお、式（１）において、ＭＡＸは、Ｒ値、Ｇ値およびＢ値の最大値を表し、ＭＩＮは、Ｒ値、Ｇ値およびＢ値の最小値を表す。【００７３】
ＭＡＸ＝ＭＩＮであるとき、色相（Ｈ）は、定義されない。これは、Ｒ値、Ｇ値およびＢ値が全て等しいときであり、無彩色を表すため、円錐の中央のグレーの直線の周囲にあるため、その時のＨｕｅ値は、意味を持たないからである。【００７４】
ＲＧＢ値から彩度（Ｓ）への変換には、次式が用いられる。【００７５】
【数２】
2010013291.tif 000004
【００７６】
なお、ＭＡＸ＝０であるとき、彩度（Ｓ）は、未定義となる。これは、ＭＡＸ＝０であるときの色は、完全な黒を表すため、色相も彩度も存在しないからである。【００７７】
ＲＧＢ値から輝度（Ｖ）への変換には、次式が用いられる。【００７８】
【数３】
2010013291.tif 000005
【００７９】
引き続いて、色相（Ｈｕｅ）および彩度（Ｓａｔｕｒａｔｉｏｎ）による画像評価について説明する。図６は、色相および彩度による画像評価に用いた画像を示す図である。また、図７は、色相および彩度による画像評価に用いた他の画像を示す図である。【００８０】
図６は、コントラストが低い領域を含む画像を示し、図７は、外乱的な反射を含む画像を示す。【００８１】
図８は、図６に示す領域Ｘの分割結果および図７に示す領域Ｙの分割結果を示す図である。また、図９は、従来の画像分割における問題を説明するための図である。【００８２】
従来の画像分割においては、２つの画素間の結合重みＷｉｊ；ｋｌは、各画素のＲＧＢ値のみを用いて次の式（４），（５）によって演算される。【００８３】
【数４】
2010013291.tif 000006
【００８４】
【数５】
2010013291.tif 000007
【００８５】
すなわち、従来の画像分割方法は、隣接画素間の輝度値の差から結合重みと呼ばれる画素間の類似度を求め、その求めた類似度を指標として領域を成長させていく。結合重みＷｉｊ；ｋｌは、式（４）を用いて赤、緑および青に対して演算された３個の結合重みを式（５）に代入して、赤、緑および青に対する３個の結合重みのうち、最も小さいものを画素間の結合重みＷｉｊ；ｋｌとして決定する。【００８６】
したがって、図９に示すように、たとえば、（Ｒ，Ｇ，Ｂ）＝（２５０，０，０）と、（Ｒ，Ｇ，Ｂ）＝（１２５，０，０）との結合重みと、（Ｒ，Ｇ，Ｂ）＝（２５０，０，０）と、（Ｒ，Ｇ，Ｂ）＝（１２５，１２５，１２５）との結合重みとは、無彩色と有彩色との関係にありながら、同じ値となり、ＲＧＢ色空間を用いた結合重みでは、画素の色合いを考慮していない。【００８７】
また、図９の（ａ）は、グラデーション変化を持つ領域を画素単位で示したものと、横軸をｘ軸、縦軸を結合重みに取ったときのグラデーション領域の結合重みの変化をグラフとして表した図である。【００８８】
グラデーション変化のある領域では、画素間の輝度値の差が等しいため、結合重みも等しくなっている。仮に、近傍画素の結合重みが領域成長に用いるしきい値φｚ以上であれば、領域は、矢印の方向に広がり続けてしまう。【００８９】
しかし、図９の（ａ）に示すグラデーションに関する問題に対しては、どこまでを同一領域として扱うかは、アプリケーションに依存する面が強く、しきい値を一意に決定することは難しい。【００９０】
図６に示すサンプル画像は、コントラストが低く、机と人間の重なりにより境界に陰が生じ、机領域と人物領域との間に明確なエッジが現れず、色が２つの領域間で滑らかに変化する（グラデーション）画像である。そのため、従来のエッジを利用する画像分割法では、机と人物との分割が難しい（図８参照）。【００９１】
また、図７に示すサンプル画像では、反射が原因でカラーが変化し、ボディー領域の成長が進まずに、複数の領域に分かれたり、未分割領域として残ってしまう（図８参照）。【００９２】
これらの結果から、画像分割精度を向上させるためには、ＲＧＢ色空間による輝度を用いた方法に加えて、黒い、赤い、青いと言った色合いを考慮することが必要である。色合いを考慮すれば、図６に示すサンプル画像であれば、人物は、黒であり、机は、茶色であり、２つの領域の分離が可能である。また、図７に示すサンプル画像であれば、車は、赤色の領域として抽出可能である。【００９３】
そこで、色相（Ｈｕｅ）および彩度（Ｓａｔｕｒａｔｉｏｎ）による画像評価について説明する。【００９４】
まず、色相（Ｈｕｅ）による画像評価について説明する。図１０は、図６に示すサンプル画像のＲＧＢ値から式（１）を用いてＨｕｅ値に変換した値（０〜３６０度）を２５６階調に正規化して８ビットグレー画像とした図である。また、図１１は、図７に示すサンプル画像のＲＧＢ値から式（１）を用いてＨｕｅ値に変換した値（０〜３６０度）を２５６階調に正規化して８ビットグレー画像とした図である。【００９５】
なお、図１０および図１１においては、図６および図７に示す２つのサンプル画像の場合、緑および青といったＨｕｅ値が高い画素値が存在しないため、無彩色を最大値の２５５（白）で表している。【００９６】
図１０および図１１を参照して、人間と机の境界、および道路と車両の境界がはっきりと区別できていることが解るが、背景や人間の領域にノイズ画素が目立つ。このＨｕｅ画像の画像分割への適用を想定した場合、ノイズ画素による分割精度への影響が予想される。【００９７】
そこで、ノイズ画素の低減のために、次の方法を採用した。式（１）から解るように、厳密には、ＭＡＸ−ＭＩＮ＝０のときのみ、無彩色として扱われるが、人間は、実際、目視により色を認識する場合、ＭＡＸ−ＭＩＮ＝０を正確に満たしていなくても無彩色として画素を認識する。そのため、ノイズ画素を除去するために、パラメータＤＭＡＸ−ＭＩＮを設定した。【００９８】
図１０および図１１におけるＤＭＡＸ−ＭＩＮは、ＤＭＡＸ−ＭＩＮ＝ＭＡＸ−ＭＩＮを表し、ＤＭＡＸ−ＭＩＮより誤差の小さい画素を無彩色（白−灰色−黒）と見なすことにする。ＤＭＡＸ−ＭＩＮ値を“０”から“５”ずつ増加させていったときの画像への影響について評価した結果が図１０および図１１に示す結果である。【００９９】
ＤＭＡＸ−ＭＩＮ値を大きくしていくと、無彩色は、取り除かれていき、カラー領域（有彩色領域）とグレー領域（無彩色領域）をある程度分離できることがわかった。これは、グレー領域とカラー領域との識別におけるロバスト性が向上したからである。また、カラー領域同士も、Ｈｕｅ値の差によって識別できる。【０１００】
次に、彩度（Ｓａｔｕｒａｔｉｏｎ）による画像評価について説明する。図１２は、図６に示すサンプル画像のＲＧＢ値から式（２）を用いてＳ値に変換した値（０〜１の範囲）を２５６階調に規格化して８ビットグレー画像とした図である。また、図１３は、図７に示すサンプル画像のＲＧＢ値から式（２）を用いてＳ値に変換した値（０〜１の範囲）を２５６階調に規格化して８ビットグレー画像とした図である。【０１０１】
彩度の場合、ＭＡＸ−ＭＩＮ＝０またはＭＡＸ＝０のときのみ、無彩色として扱っているため、道路の領域なども彩度を持っている。【０１０２】
そこで、図５から解るように、彩度（Ｓ）が低い領域は、色相（Ｈ）による色の識別が非常に困難であることに注目し、各画素のＳ値の値をしきい値として、無彩色領域と有彩色領域とを２値化することを考える。【０１０３】
図１２および図１３は、しきい値としての彩度（Ｓ）を０〜５０まで１０刻みで変化させたときの画像への影響を示す。そして、図１２および図１３に示す画像は、しきい値よりも小さい彩度（Ｓ）を持つ画素を白（２５５）、しきい値以上の彩度を持つ画素を黒（０）として２値化した画像である。【０１０４】
図１２および図１３を参照して、彩度（Ｓ）値が５０よりも小さい画素を無彩色、彩度（Ｓ）値が５０以上である画素を有彩色として扱うことにより、無彩色領域と有彩色領域との識別に関して良い結果が得られた。他のサンプル画像に対しても評価を行なったが、彩度のしきい値を５０付近に設定すると、良い結果が得られた。【０１０５】
上述したように、ＨＳＶ色空間について検討した結果、ＲＧＢ色空間では、画像分割が難しかった画像（たとえば、図６に示す人と机の分離、および図７に示す車のボディー部分の抽出）に対して、ＨＳＶ色空間を用いることによって、カラー領域と、人間の目から見て無彩色に近い色とを分離したり、色合いは同じでも光の当たり具合で明度や彩度に違いが生じる領域を同一領域として分割できることが解った。【０１０６】
しかし、ＨＳＶ色空間は、無彩色領域の画像分割には適していない。それは、図５から解るように、彩度が低くなると、色合いを殆ど識別することができず、Ｈｕｅ値が意味を持たなくなるからである。【０１０７】
そこで、この発明においては、ＲＧＢ値と、ＨＳＶ値との両方のカラー空間を用いて、画素間の結合重みを決定し、それぞれの色空間が苦手とする色領域をお互いが補うことにしたのである。【０１０８】
そして、結合重み決定回路２がＲＧＢ値、色相および彩度を用いて結合重みを決定する場合、ＨＳ変換回路２５は、一般的には、式（１）および式（２）を用いて、ＲＧＢ値を色相（Ｈ）および彩度（Ｓ）に変換する。【０１０９】
しかし、式（１）および式（２）を用いてＲＧＢ値を色相（Ｈ）および彩度（Ｓ）に変換する場合、ＨＳ変換回路２５を除算器を用いて構成する必要があり、除算器を用いたＨＳ変換回路２５の実現方法は、演算に複数のサイクルを要するため、１サイクルでの処理の要求を満たすことができない。また、回路面積が大きくなるという問題もある。【０１１０】
そこで、テーブルマッピングによる方法が考えられる。すなわち、ＲＧＢ値を式（１）および式（２）を用いて予め計算したＨ値およびＳ値をメモリに保存しておき、それぞれのＲＧＢ値に対応するアドレスから計算結果を読み出すことで使用時の処理を削減する。【０１１１】
しかし、Ｒ，Ｇ，Ｂは、それぞれ、８ビットのデータであるため、（（２８）３×９）ビットの大容量のメモリが必要であり、デコーダの回路面積が大きくなるという問題がある。【０１１２】
そこで、この発明においては、好ましくは、Ｈ（０〜３６０度）およびＳ（０〜１）を複数のビン（領域）に分けることで計算結果をビンの数に限定し、その上でテーブルを参照して色相（Ｈ）および彩度（Ｓ）を求める。この方法によれば、除算器を一切使用せず、回路面積を抑えたＲＧＢ値からＨＳＶ値への変換回路を実現できる。【０１１３】
図１４は、色相（Ｈｕｅ）のビンの構成図である。図１４を参照して、色相（Ｈｕｅ）のビン構成は、３段構成からなり、３６０度のＨｕｅ値を９０個のビンで構成する。【０１１４】
Ｈｕｅ値の決定方法について説明する。まず、１段目（最も内側の円）で、注目画素が赤（０１）、緑（１０）、および青（１１）のどのカテゴリに属するかをＭＡＸに基づいて決定する。【０１１５】
次に、ＭＩＮを決定し、式（１）からＭＡＸの条件に対応した式の分数部分が正か負かを決定する。分数部分が負である場合、“０”となり、分数部分が正である場合、“１”となる（２段目）。【０１１６】
最後に、１５個のビンのうちのどのビンに対応するかを決定すれば、注目画素が９０個のビンで構成されたＨｕｅ値のどのビンに対応するかが解る（３段目）。【０１１７】
上述したＨｕｅ値の決定方法においては、２段目までは、Ｒ，Ｇ，Ｂ値の大小関係から容易に決定できる。そこで、３段目の１〜１５のビンの決定方法について説明する。【０１１８】
式（１）の分数部分を取出し、次の関係式を作成する。【０１１９】
【数６】
2010013291.tif 000008
【０１２０】
式（６）において、ＭＥＤは、ＭＡＸおよびＭＩＮ以外のＲ，Ｇ，Ｂのいずれかの値、すなわち、中間値を表す。【０１２１】
式（６）を変形すると、次式が得られる。【０１２２】
【数７】
2010013291.tif 000009
【０１２３】
そして、式（７）におけるＸの値を１から１４まで変化させたときに生成される１４個の不等式の成立結果（１，０）からビン番号を決定する。【０１２４】
図１５は、図２に示すＨＳ変換回路２５に含まれる色相変換回路の構成を示す概略図である。ＨＳ変換回路２５は、図１５に示す色相変換回路２５０を含む。図１５を参照して、色相変換回路２５０は、決定回路２５１と、データ生成回路２５２，２５３と、スイッチ２５４と、比較回路２５５〜２６８と、エンコーダ２６９とを含む。【０１２５】
決定回路２５１は、画素値検出回路１から各画素のＲＧＢ値を受け、その受けたＲＧＢ値の最大値ＭＡＸ、最小値ＭＩＮおよび中間値ＭＥＤを決定する。そして、決定回路２５１は、その決定した最大値ＭＡＸをデータ生成回路２５２へ出力し、中間値ＭＥＤをデータ生成回路２５３へ出力し、最小値ＭＩＮをデータ生成回路２５２，２５３へ出力する。【０１２６】
データ生成回路２５２は、決定回路２５１から最大値ＭＡＸおよび最小値ＭＩＮを受け、その受けた最大値ＭＡＸおよび最小値ＭＩＮに基づいて、Ｘを１から１４まで変化させた１４個のＸ×（ＭＡＸ−ＭＩＮ）を順次演算し、その演算した１４個のＸ×（ＭＡＸ−ＭＩＮ）（Ｘ＝１〜１４）をスイッチ２５４へ出力する。すなわち、データ生成回路２５２は、式（７）の右辺のＢを演算し、その演算したＢをスイッチ２５４へ出力する。【０１２７】
また、データ生成回路２５３は、決定回路２５１から中間値ＭＥＤおよび最小値ＭＩＮを受け、その受けた中間値ＭＥＤおよび最小値ＭＩＮに基づいて、１５×（ＭＥＤ−ＭＩＮ）を演算し、その演算した１５×（ＭＥＤ−ＭＩＮ）をスイッチ２５４へ出力する。すなわち、データ生成回路２５３は、式（７）の左辺のＡを演算し、その演算したＡをスイッチ２５４へ出力する。【０１２８】
スイッチ２５４は、１４個のＸ×（ＭＡＸ−ＭＩＮ）（Ｘ＝１〜１４）をデータ生成回路２５２から受け、１５×（ＭＥＤ−ＭＩＮ）をデータ生成回路２５３から受ける。そしてスイッチ２５４は、１×（ＭＡＸ−ＭＩＮ）および１５×（ＭＥＤ−ＭＩＮ）を比較回路２５５へ出力し、２×（ＭＡＸ−ＭＩＮ）および１５×（ＭＥＤ−ＭＩＮ）を比較回路２５６へ出力し、以下、同様にして、１４×（ＭＡＸ−ＭＩＮ）および１５×（ＭＥＤ−ＭＩＮ）を比較回路２６８へ出力する。【０１２９】
比較回路２５５は、１×（ＭＡＸ−ＭＩＮ）および１５×（ＭＥＤ−ＭＩＮ）をスイッチ２５４から受け、１×（ＭＡＸ−ＭＩＮ）を１５×（ＭＥＤ−ＭＩＮ）と比較する。そして、比較回路２５５は、その比較結果をエンコーダ２６９へ出力する。より具体的には、比較回路２５５は、１５×（ＭＥＤ−ＭＩＮ）＜１×（ＭＡＸ−ＭＩＮ）が成立するとき、“１”をエンコーダ２６９へ出力し、１５×（ＭＥＤ−ＭＩＮ）＜１×（ＭＡＸ−ＭＩＮ）が成立しないとき、“０”をエンコーダ２６９へ出力する。【０１３０】
比較回路２５６は、２×（ＭＡＸ−ＭＩＮ）および１５×（ＭＥＤ−ＭＩＮ）をスイッチ２５４から受け、２×（ＭＡＸ−ＭＩＮ）を１５×（ＭＥＤ−ＭＩＮ）と比較する。そして、比較回路２５６は、その比較結果（１または０）をエンコーダ２６９へ出力する。【０１３１】
以下、同様にして、比較回路２６８は、１４×（ＭＡＸ−ＭＩＮ）および１５×（ＭＥＤ−ＭＩＮ）をスイッチ２５４から受け、１４×（ＭＡＸ−ＭＩＮ）を１５×（ＭＥＤ−ＭＩＮ）と比較する。そして、比較回路２６８は、その比較結果（１または０）をエンコーダ２６９へ出力する。【０１３２】
なお、比較回路２５５〜２６８は、平行してＸ×（ＭＡＸ−ＭＩＮ）を１５×（ＭＥＤ−ＭＩＮ）と比較し、その比較結果をエンコーダ２６９へ出力する。したがって、エンコーダ２６９は、比較結果を示す１４ビットのデータを比較回路２５５〜２６８から受ける。【０１３３】
エンコーダ２６９は、１４ビットからなる比較結果を比較回路２５５〜２６８から受け、その受けた１４ビットの比較結果に基づいて、ビン番号を決定する。より具体的には、エンコーダ２６９は、［０１００００００００００００］の比較結果を比較回路２５５〜２６８から受けたとき、ビン番号を“２”と決定し、［０００００００００１００００］の比較結果を比較回路２５５〜２６８から受けたとき、ビン番号を“１０”と決定する。なお、エンコーダ２６９は、全てが“０”からなる［００００００００００００００］の比較結果を比較回路２５５〜２６８から受けたとき、ビン番号を“１５”と決定する。【０１３４】
そして、エンコーダ２６９は、その決定したビン番号をＨｕｅビン番号としてＤラッチ回路２６へ出力する。【０１３５】
上述したように、データ生成回路２５２は、Ｘ×（ＭＡＸ−ＭＩＮ）を演算し、データ生成回路２５３は、１５×（ＭＥＤ−ＭＩＮ）を演算するので、データ生成回路２５２，２５３の各々を加算器とシフト器とを用いた簡単な回路により実現できる。【０１３６】
次に、ＲＧＢ値から彩度（Ｓ）への変換について説明する。図１６は、彩度（Ｓ）のビンの構成図である。図１６を参照して、０〜０．１の範囲の彩度（Ｓ）は、１のビンに割り当てられ、０．１〜０．１５の範囲の彩度（Ｓ）は、２のビンに割り当てられ、０．１５〜０．１６２５の範囲の彩度（Ｓ）は、３のビンに割り当てられ、０．１６２５〜０．１７５０の範囲の彩度（Ｓ）は、４のビンに割り当てられ、０．１７５０〜０．１８７５の範囲の彩度（Ｓ）は、５のビンに割り当てられ、０．１８７５〜０．２の範囲の彩度（Ｓ）は、６のビンに割り当てられる。また、０．２〜０．２１２５の範囲の彩度（Ｓ）は、７のビンに割り当てられ、０．２１２５〜０．２２５０の範囲の彩度（Ｓ）は、８のビンに割り当てられ、０．２２５０〜０．２３７５の範囲の彩度（Ｓ）は、９のビンに割り当てられ、０．２３７５〜０．２５の範囲の彩度（Ｓ）は、１０のビンに割り当てられ、０．２５〜０．３０の範囲の彩度（Ｓ）は、１１のビンに割り当てられ、０．３〜１．０の範囲の彩度（Ｓ）は、１２のビンに割り当てられる。【０１３７】
このように、彩度（Ｓ）は、彩度境界である０．２付近にある程、細分されたビンに割り当てられる。【０１３８】
ＲＧＢ値から彩度（Ｓ）への変換も、ＲＧＢ値から色相（Ｈ）への変換と同様な方法を用いる。彩度（Ｓ）の計算が必要になるのは、２つの画素のうちの一方の画素が無彩色領域に属し、他方の画素が有彩色領域に属する場合である。すなわち、２つの画素が彩度境界（Ｓ＝０．２）を間に挟んだ関係にある場合である。【０１３９】
そこで、図１６に示すように、彩度境界（Ｓ＝０．２）の付近に限定して細かいビンに分ける。彩度のビンは、次の２つの式（８），（９）の成立結果を元に１２個のビンへ彩度を割り当てる。【０１４０】
【数８】
2010013291.tif 000010
【０１４１】
【数９】
2010013291.tif 000011
【０１４２】
式（８）および式（９）の分母を払うと、それぞれ、式（１０）および式（１１）が得られる。【０１４３】
【数１０】
2010013291.tif 000012
【０１４４】
【数１１】
2010013291.tif 000013
【０１４５】
図１７は、図２に示すＨＳ変換回路２５に含まれる彩度変換回路の構成を示す概略図である。ＨＳ変換回路２５は、図１７に示す彩度変換回路２７０を含む。図１７を参照して、彩度変換回路２７０は、決定回路２７１と、データ生成回路２７２〜２７５と、スイッチ２７６と、比較回路２７７〜２８８と、エンコーダ２８９とを含む。【０１４６】
決定回路２７１は、画素値検出回路１からＲＧＢ値を受け、その受けたＲＧＢ値の最大値ＭＡＸおよび最小値ＭＩＮを決定する。そして、決定回路２７１は、その決定した最大値ＭＡＸをデータ生成回路２７２〜２７５へ出力し、その決定した最小値ＭＩＮをデータ生成回路２７４，２７５へ出力する。【０１４７】
データ生成回路２７２は、決定回路２７１から最大値ＭＡＸを受け、その受けた最大値ＭＡＸを用いて、Ｙを２，３，６と変化させたＹ×ＭＡＸを順次演算し、その演算した３個のＹ×ＭＡＸ（Ｙ＝２，３，６）をスイッチ２７６へ出力する。すなわち、データ生成回路２７２は、式（１０）の右辺のＤを演算し、その演算したＤをスイッチ２７６へ出力する。【０１４８】
データ生成回路２７３は、決定回路２７１から最大値ＭＡＸを受け、その受けた最大値ＭＡＸを用いて、Ｚを１２から２０まで変化させたＺ×ＭＡＸを順次演算し、その演算した９個のＺ×ＭＡＸ（Ｚ＝１２〜２０）をスイッチ２７６へ出力する。すなわち、データ生成回路２５３は、式（１１）の右辺のＦを演算し、その演算したＦをスイッチ２７６へ出力する。【０１４９】
データ生成回路２７４は、決定回路２７１から最大値ＭＡＸおよび最小値ＭＩＮを受け、その受けた最大値ＭＡＸおよび最小値ＭＩＮを用いて２０×（ＭＡＸ−ＭＩＮ）を演算し、その演算した２０×（ＭＡＸ−ＭＩＮ）をスイッチ２７６へ出力する。すなわち、データ生成回路２７４は、式（１０）の左辺のＣを演算し、その演算したＣをスイッチ２７６へ出力する。【０１５０】
データ生成回路２７５は、決定回路２７１から最大値ＭＡＸおよび最小値ＭＩＮを受け、その受けた最大値ＭＡＸおよび最小値ＭＩＮを用いて８０×（ＭＡＸ−ＭＩＮ）を演算し、その演算した８０×（ＭＡＸ−ＭＩＮ）をスイッチ２７６へ出力する。すなわち、データ生成回路２７５は、式（１１）の左辺のＥを演算し、その演算したＥをスイッチ２７６へ出力する。【０１５１】
スイッチ２７６は、データ生成回路２７２から３個のＹ×ＭＡＸ（Ｙ＝２，３，６）を受け、データ生成回路２７３から９個のＺ×ＭＡＸ（Ｚ＝１２〜２０）を受け、データ生成回路２７４から２０×（ＭＡＸ−ＭＩＮ）を受け、データ生成回路２７５から８０×（ＭＡＸ−ＭＩＮ）を受ける。【０１５２】
そして、スイッチ２７６は、２×ＭＡＸおよび２０×（ＭＡＸ−ＭＩＮ）を比較回路２７７へ出力し、３×ＭＡＸおよび２０×（ＭＡＸ−ＭＩＮ）を比較回路２７８へ出力し、６×ＭＡＸおよび２０×（ＭＡＸ−ＭＩＮ）を比較回路２７９へ出力する。【０１５３】
また、スイッチ２７６は、１２×ＭＡＸおよび８０×（ＭＡＸ−ＭＩＮ）を比較回路２８０へ出力し、１３×ＭＡＸおよび８０×（ＭＡＸ−ＭＩＮ）を比較回路２８１へ出力し、以下、同様にして、２０×ＭＡＸおよび８０×（ＭＡＸ−ＭＩＮ）を比較回路２８８へ出力する。【０１５４】
比較回路２７７は、２×ＭＡＸおよび２０×（ＭＡＸ−ＭＩＮ）をスイッチ２７６から受け、２×ＭＡＸを２０×（ＭＡＸ−ＭＩＮ）と比較し、その比較結果をエンコーダ２８９へ出力する。より具体的には、比較回路２７７は、２０×（ＭＡＸ−ＭＩＮ）＜２×ＭＡＸが成立するとき、“１”をエンコーダ２８９へ出力し、２０×（ＭＡＸ−ＭＩＮ）＜２×ＭＡＸが成立しないとき、“０”をエンコーダ２８９へ出力する。【０１５５】
また、比較回路２７８は、３×ＭＡＸおよび２０×（ＭＡＸ−ＭＩＮ）をスイッチ２７６から受け、３×ＭＡＸを２０×（ＭＡＸ−ＭＩＮ）と比較し、２０×（ＭＡＸ−ＭＩＮ）＜３×ＭＡＸが成立するとき、“１”をエンコーダ２８９へ出力し、２０×（ＭＡＸ−ＭＩＮ）＜３×ＭＡＸが成立しないとき、“０”をエンコーダ２８９へ出力する。【０１５６】
同様にして、比較回路２７９は、６×ＭＡＸおよび２０×（ＭＡＸ−ＭＩＮ）をスイッチ２７６から受け、６×ＭＡＸを２０×（ＭＡＸ−ＭＩＮ）と比較し、２０×（ＭＡＸ−ＭＩＮ）＜６×ＭＡＸが成立するとき、“１”をエンコーダ２８９へ出力し、２０×（ＭＡＸ−ＭＩＮ）＜６×ＭＡＸが成立しないとき、“０”をエンコーダ２８９へ出力する。【０１５７】
比較回路２８０は、１２×ＭＡＸおよび８０×（ＭＡＸ−ＭＩＮ）をスイッチ２７６から受け、１２×ＡＭＸを８０×（ＭＡＸ−ＭＩＮ）と比較し、その比較結果をエンコーダ２８９へ出力する。より具体的には、比較回路２８０は、８０×（ＭＡＸ−ＭＩＮ）＜１２×ＭＡＸが成立するとき、“１”をエンコーダ２８９へ出力し、８０×（ＭＡＸ−ＭＩＮ）＜１２×ＭＡＸが成立しないとき、“０”をエンコーダ２８９へ出力する。【０１５８】
比較回路２８１は、１３×ＭＡＸおよび８０×（ＭＡＸ−ＭＩＮ）をスイッチ２７６から受け、１３×ＡＭＸを８０×（ＭＡＸ−ＭＩＮ）と比較し、８０×（ＭＡＸ−ＭＩＮ）＜１３×ＭＡＸが成立するとき、“１”をエンコーダ２８９へ出力し、８０×（ＭＡＸ−ＭＩＮ）＜１３×ＭＡＸが成立しないとき、“０”をエンコーダ２８９へ出力する。【０１５９】
以下、同様にして、比較回路２８８は、２０×ＭＡＸおよび８０×（ＭＡＸ−ＭＩＮ）をスイッチ２７６から受け、２０×ＡＭＸを８０×（ＭＡＸ−ＭＩＮ）と比較し、８０×（ＭＡＸ−ＭＩＮ）＜２０×ＭＡＸが成立するとき、“１”をエンコーダ２８９へ出力し、８０×（ＭＡＸ−ＭＩＮ）＜２０×ＭＡＸが成立しないとき、“０”をエンコーダ２８９へ出力する。【０１６０】
なお、比較回路２７７〜２８８は、上述した比較を平行して行ない、その比較結果を平行してエンコーダ２８９へ出力する。したがって、エンコーダ２８９は、１２ビットのデータを比較回路２７７〜２８８から受ける。【０１６１】
エンコーダ２８９は、１２ビットからなる比較結果を比較回路２７７〜２８８から受け、その受けた１２ビットの比較結果に基づいて、ビン番号を決定する。より具体的には、エンコーダ２８９は、［１０００００００００００］の比較結果を比較回路２７７〜２８８から受けたとき、ビン番号を“１”と決定し、［００００００１０００００］の比較結果を比較回路２７７〜２８８から受けたとき、ビン番号を“７”と決定する。エンコーダ２８９は、その他の１２ビットの比較結果を受けたときも、同様にしてビン番号を決定する。【０１６２】
そして、エンコーダ２８９は、その決定したビン番号をＳビン番号としてＤラッチ回路２６へ出力する。【０１６３】
上述したように、データ生成回路２７２は、Ｙ×ＭＡＸを演算し、データ生成回路２７３は、Ｚ×ＭＡＸを演算し、データ生成回路２７４は、２０×（ＭＡＸ−ＭＩＮ）を演算し、データ生成回路２７５は、８０×（ＭＡＸ−ＭＩＮ）を演算するので、データ生成回路２７２〜２７５の各々を加算器とシフト器とを用いた簡単な回路により実現できる。【０１６４】
結合重みの決定方法について説明する。図１８は、結合重みを決定する方法を説明するための図である。図１８を参照して、外側の円は、色相（Ｈｕｅ）を表しており、また、中心から円周方向へ彩度をとっている。【０１６５】
カラー領域と、色合いを殆ど識別できない無彩色に近い色とを分離するのにしきい値Ｓｔｈとして０．２付近が適していることが実験的に解ったので、０．２を彩度の境界とする。内側の円は、彩度が０．２である境界を表し、０．２よりも彩度が低い領域は、ほぼ無彩色に近い色であり、０．２よりも彩度が高い領域は、有彩色として扱う。また、図中の×は、画素を表している。【０１６６】
２つの画素についてそれぞれ彩度Ｓ１，Ｓ２を演算し、その演算した２つの彩度Ｓ１，Ｓ２をしきい値Ｓｔｈ（＝０．２）と比較する。【０１６７】
そして、２つの彩度Ｓ１，Ｓ２の両方がしきい値Ｓｔｈ以下であるとき、２つの画素は、無彩色領域に属すると判定し（図１８の（ａ）の場合）、ＲＧＢ値のみに基づいて、式（４），（５）を用いて２つの画素間の結合重みを決定する。【０１６８】
また、２つの彩度Ｓ１，Ｓ２のうち、いずれか一方がしきい値Ｓｔｈ以下であるとき、２つの画素のうち、一方が無彩色領域に属し、他方が有彩色領域に属すると判定し（図１８の（ｂ）の場合）、ＲＧＢ値および彩度（Ｓ）を用いて２つの画素間の結合重みを決定する。【０１６９】
さらに、２つの彩度Ｓ１，Ｓ２の両方がしきい値Ｓｔｈよりも大きいとき、２つの画素の両方が有彩色領域に属すると判定し（図１８の（ｃ）の場合）、ＲＧＢ値および色相（Ｈ）を用いて２つの画素間の結合重みを決定する。【０１７０】
このように、この発明においては、実験的に求められたしきい値Ｓｔｈ（＝０．２）を用いて、２つの画素が無彩色領域および有彩色領域のいずれに属するかを決定する。これによって、２つの画素がどの領域に属するかを正確に決定できる。【０１７１】
また、しきい値Ｓｔｈ（＝０．２）は、人間が目視によって色合いを殆ど識別できない無彩色に近い色と、カラー領域とを分離するために実験的に求められたので、人間の実際の識別に沿って２つの画素がどの領域に属するかを正確に決定できる。【０１７２】
図１８の（ａ）に示す場合、結合重みをＨＳＶ色空間の色相（Ｈ）を用いて計算しても、無彩色領域では、色相が意味を持たないため、領域の分割精度の向上を期待できない。ＨＳＶ色空間の輝度成分（Ｖ）を用いることも可能であるが、シミュレーションによりＲＧＢ値を用いた方が精度が向上するので、図１８の（ａ）に示す領域では、ＲＧＢ値のみを用いて結合重みを決定する。【０１７３】
また、図１８の（ｂ）に示す場合、図６に示すサンプル画像の人物の領域でリーダセルが見つかり、机の領域に領域が成長しており、無彩色領域からカラー領域へ領域が広がったために生じた分割ミスである。逆に、カラー領域から無彩色領域へ成長する場合もある。サンプル画像のように、人物と机の重なりによって発生する影の影響で色が徐々に変化し、はっきりとしたエッジが領域境界に現れない場合、ＲＧＢ値だけでは、分割は難しい。【０１７４】
この問題を解決するために、彩度（Ｓ）を用いて実験的に求めたＳ＝０．２の彩度境界をしきい値として、カラー領域（机領域）と無彩色領域（人物領域）との境界を検出することにした。【０１７５】
そして、２つの画素が無彩色領域と有彩色領域とに属する場合、彩度（Ｓ）を用いて無彩色領域と有彩色領域との境界を決定し、境界面に属する２つの画素間の結合重みを、ＲＧＢ値の計算で求めた結合重みの値よりも小さく設定することで、有彩色領域から無彩色領域へ、または無彩色領域から有彩色領域へ領域の成長を抑制する方向に結合重みを決定する。これによって、画像分割において、有彩色領域から無彩色領域へ、または無彩色領域から有彩色領域への領域の成長が抑制され、コントラストが低い入力画像に対しても、画像を正確に分割できる。【０１７６】
さらに、図１８の（ｃ）に示す場合、ＲＧＢ値を元に決定した画素間の結合重みでは、光の反射などにより輝度および彩度に変化が生じた場合、画素間の各成分の差は大きくなるため、結合重みは小さい値になる。そのため、図７に示すサンプル画像では、同一領域をまとめて抽出することが困難であった。【０１７７】
そこで、輝度および彩度が変化しても、色合いそのものは、さほど変化しないことに注目し、色相（Ｈ）を用いた色相判定を取り入れる。有彩色領域に属する画素同士の結合重みの決定には、まず、２つの画素の色相比較を行ない、色相の差があるしきい値以内であるか否か、つまり、２つの画素が同一色相とみなせる範囲であるか否かの判定を行なう。そして、同一色相であると判定した場合、ＲＧＢ値から決定した結合重みが小さいときは（つまり、反射などの影響でＲＧＢ色空間では差が大きいとき）、領域を助長する方向へ、より大きい結合重みを与える。これにより、類似色相に属する有彩色領域の画素同士は、領域が成長し易くなり、反射などにより輝度および彩度が変化する領域を１領域としてまとめて抽出することができる。【０１７８】
図１８の（ａ），（ｂ），（ｃ）の各場合における具体的な結合重みの決定方法について説明する。【０１７９】
図１８の（ａ）に示す場合、結合重みは、式（４），（５）によりＲＧＢ値のみを用いて決定されるが、式（４），（５）を用いて結合重みを演算する回路をディジタル回路として実装する場合、除算器は、回路面積が大きく、複数のクロックサイクルを必要とすることから、この発明においては、デコーダを用いてテーブルマッピングによって結合重みを決定する。表１は、ＲＧＢ値のみを用いて結合重みを決定するときの変換テーブルを示す。【０１８０】
【表１】
2010013291.tif 000014
【０１８１】
表１に示す変換テーブルは、注目画素（ｉ，ｊ）と近傍画素（ｋ，ｌ）との２画素のＲＧＢ値を用いて演算した輝度Ｉｉ，ｊと輝度Ｉｋ，ｌとの差の絶対値｜Ｉｉ，ｊ−Ｉｋ，ｌ｜と、結合重みとの対応関係を示す。【０１８２】
したがって、この発明においては、図１８の（ａ）に示す場合、２つの画素（ｉ，ｊ），（ｋ，ｌ）のＲＧＢ値に基づいて、２つの輝度Ｉｉ，ｊ，Ｉｋ，ｌを演算し、その演算した２つの輝度Ｉｉ，ｊ，Ｉｋ，ｌの差の絶対値｜Ｉｉ，ｊ−Ｉｋ，ｌ｜を演算し、その演算した絶対値｜Ｉｉ，ｊ−Ｉｋ，ｌ｜に対応する結合重みを表１を参照して抽出することにより、２つの画素（ｉ，ｊ），（ｋ，ｌ）の結合重みを決定する。【０１８３】
次に、図１８の（ｂ）に示す場合、領域が広がるのを抑制するために、ＲＧＢ色空間から表１の変換テーブルを用いて得られた結合重みよりも小さい結合重みを与える。【０１８４】
この場合、彩度境界（Ｓ＝０．２）をしきい値として無彩色と有彩色との２値に分別したとき、彩度境界付近の画素間の結合重みと、彩度境界から完全に離れた彩度の全く異なる画素間の結合重みとを同様の基準で扱わないように、結合重みを決定する。【０１８５】
図１９は、反射による画素値への影響を示す図である。また、図２０は、彩度境界を変化させたときの無彩色画素値の変化を示す図である。【０１８６】
図１９の（ａ）は、入力画像を示し、図１９の（ｂ）は、図１９の（ａ）に示す道路の画像を、彩度境界（Ｓ＝０．２）をしきい値として無彩色（０）と有彩色（１）とに２値化した画像を示し、図１９の（ｃ）は、画像分割の結果を示す。【０１８７】
図１９の（ｂ）から解るように、画像の道路部分は、実験的に求めた彩度境界（Ｓ＝０．２）を無彩色領域と有彩色領域との分別のしきい値として用いると、画像中央を境に同一領域が有彩色領域と無彩色領域とに分かれて分類されてしまう。その結果、図１９の（ｃ）に示すように、道路は、彩度境界を境に領域の成長が抑制され、分割画像は、ＲＧＢ色空間を用いた場合よりも精度が低下してしまう。【０１８８】
図２０を参照して、曲線ｋ１は、画像中にカラー領域を含む画像に対する無彩色画素数の変化を示し、曲線ｋ２は、画像中にカラー領域を含まないグレー画像に対する無彩色画素数の変化を示す。【０１８９】
図２０から解るように、カラー領域を含む画像は、彩度境界が５０〜６０付近（Ｓ＝０．２）を境に無彩色画素数が飽和している。一方、グレー画像の場合、無彩色画素数は、線形的に変化し続ける。【０１９０】
この結果から、彩度境界を挟む２つの画素間の結合重みを領域が成長しない領域まで急激に下げてしまうと、彩度境界によってうまく無彩色領域と有彩色領域とを分けることができなかった場合、グレー領域の分割精度が低下する。【０１９１】
そこで、彩度境界に近い画素同士に対しては、結合重みの下げ幅を小さくし、彩度境界から離れるに従って結合重みの下げ幅を大きくする。これによって、グレー領域の分割精度を向上できる。【０１９２】
図１８の（ｂ）に示す場合における結合重みの変換テーブルを表２に示す。【０１９３】
【表２】
2010013291.tif 000015
【０１９４】
表２から解るように、絶対値｜Ｉｉ，ｊ−Ｉｋ，ｌ｜が００１ｘ＿ｘｘｘｘ，００００＿１ｘｘｘ，００００＿０１ｘｘ，００００＿００１ｘ，００００＿０００ｘである場合、結合重みは、彩度差｜Ｓｉ，ｊ−Ｓｋ，ｌ｜が大きくなるに従って、ＲＧＢ値のみを用いて決定した結合重み（表１参照）からの下げ幅を大きくして決定される。【０１９５】
最後に、図１８の（ｃ）に示す場合の具体的な結合重みの決定方法について説明する。カラー画像では、反射などの影響がない場合、ＲＧＢ色空間による結合重みの決定によって精度の高い領域分割結果が得られることが解っている。そのため、反射の影響を受けた画素間の結合重みに対してのみ、ＨＳＶ色空間を用いて結合重みを最適化することが好ましい。【０１９６】
そこで、Ｒ，Ｇ，Ｂの各成分が乱反射の影響によって連続画素間でどの程度変化するかをサンプル画像を用いて調べた。図２１は、Ｒ，Ｇ，Ｂの各成分の乱反射による影響を示す図である。【０１９７】
図２１の（ａ）は、評価に用いたサンプル画像を示し、図２１の（ｂ）は、図２１の（ａ）に示す線分Ａ−Ｂ間上の画素のＲ，Ｇ，Ｂ値の変化を示し、図２１の（ｃ）は、図２１の（ａ）に示す線分Ｃ−Ｄ間上の画素のＲ，Ｇ，Ｂ値の変化を示す。すなわち、図２１の（ｂ）は、光の反射の影響を受ける車のボディー領域の画素値の変化を示し、図２１の（ｃ）は、光の反射の影響を受けていない道路領域の画素値の変化を示す。【０１９８】
図２１を参照して、ボディー領域は、道路領域に比べ、連続画素間で画素値の変化が大きい。そして、光の反射による画素間の変化量は、３０から１００の間に集中していることが反射領域を持つサンプル画像から解った。つまり、画素値の差が非常に小さい領域、または、逆に画素値の差が非常に大きい領域は、光の反射による影響を受けていないと判定することにする。【０１９９】
そこで、この発明においては、色相（Ｈ）の評価結果を利用した結合重みの最適化を表１に示す０１ｘｘ＿ｘｘｘｘ，００１ｘ＿ｘｘｘｘ，０００１＿ｘｘｘｘに限定することで、ＲＧＢ値によるカラー領域の分割精度を保持しつつ、色相（Ｈ）によって精度を向上させることができる。【０２００】
次に、２画素のＨｕｅ値の差を元に、表１の０１ｘｘ＿ｘｘｘｘ，００１ｘ＿ｘｘｘｘ，０００１＿ｘｘｘｘにおける結合重みをどの値まで引き上げるかを検討する。色相（Ｈ）の幅を大きく取り過ぎると、異なる色まで領域が成長してしまう。たとえば、色相の近い赤と橙色の画素値が同一色相として扱われると、２領域を分離することが困難になる。【０２０１】
逆に、色相（Ｈ）の幅を小さくし過ぎると、ＲＧＢ値から色相（Ｈ）への変換計算には、除算が必要であるため、回路面積が大きくなる。【０２０２】
そこで、実装面積と分割精度との両方を考慮してシミュレーションした結果、色相（Ｈ）の最小単位を４度に設定した場合、色相の近い色も分割できることが解った。【０２０３】
図２２は、赤の車のボディーのＨｕｅ値のヒストグラムを示す図である。また、図２３は、青の車のボディーのＨｕｅ値のヒストグラムを示す図である。【０２０４】
図２２および図２３を参照して、ヒストグラムの山を中心にして±１０度幅に殆どの画素が集中して抽出されている。また、画素間のＨｕｅ値の差は、同一領域（同一色）中では、約１０度以内と非常に変化量が小さい。【０２０５】
したがって、上述した実験の結果を考慮して、２画素間のＨｕｅ値の差｜Ｈｉｊ−Ｈｋｌ｜に対して、４度以下、５度以上８度以下、およびそれ以外の３つの判定条件を設けて、図１８の（ｃ）に示す場合の結合重みの変換テーブルを表３に示すように決定した。【０２０６】
【表３】
2010013291.tif 000016
【０２０７】
このように、２つの画素の色相差が４度変化するごとに２つの画素間の結合重みを変化させる。そして、色相差が小さい程、大きな結合重みが与えられる。【０２０８】
図２４は、図２に示す重み計算ユニット３２の構成図である。図２４を参照して、重み計算ユニット３２は、結合重み演算回路３２０と、色相差計算回路３３０と、彩度差計算回路３４０と、結合重み修正回路３５０，３６０と、セレクタ信号生成回路３７０と、セレクタ３８０とを含む。【０２０９】
結合重み演算回路３２０は、Ｄラッチ回路２２およびＦＩＦＯ回路２３から受けた２つのＲＧＢ値に基づいて、表１を用いて２つの画素間の結合重みを演算し、その演算した結合重みを結合重み修正回路３５０，３６０およびセレクタ３８０へ出力する。【０２１０】
結合重み演算回路３２０は、絶対値演算器３２１，３２３，３２５と、エンコーダ３２２，３２４，３２６と、最小値選択回路３２７とを含む。【０２１１】
絶対値演算器３２１は、Ｄラッチ回路２２およびＦＩＦＯ回路２３から受けた２つのＲ値ＲＡ，ＲＢに基づいて、輝度ＩＡ（Ｒ），ＩＢ（Ｒ）を演算し、その演算した輝度ＩＡ（Ｒ），ＩＢ（Ｒ）の差の絶対値｜ＩＡ（Ｒ）−ＩＢ（Ｒ）｜を演算する。そして、絶対値演算器３２１は、その演算した絶対値｜ＩＡ（Ｒ）−ＩＢ（Ｒ）｜をエンコーダ３２２へ出力する。【０２１２】
エンコーダ３２２は、表１を保持しており、絶対値演算器３２１から絶対値｜ＩＡ（Ｒ）−ＩＢ（Ｒ）｜を受けると、表１を参照して、絶対値｜ＩＡ（Ｒ）−ＩＢ（Ｒ）｜に対応する結合重みＷＡ，Ｂ（Ｒ）を抽出し、その抽出した結合重みＷＡ，Ｂ（Ｒ）を最小値選択回路３２７へ出力する。【０２１３】
絶対値演算器３２３は、Ｄラッチ回路２２およびＦＩＦＯ回路２３から受けた２つのＧ値ＧＡ，ＧＢに基づいて、輝度ＩＡ（Ｇ），ＩＢ（Ｇ）を演算し、その演算した輝度ＩＡ（Ｇ），ＩＢ（Ｇ）の差の絶対値｜ＩＡ（Ｇ）−ＩＢ（Ｇ）｜を演算する。そして、絶対値演算器３２３は、その演算した絶対値｜ＩＡ（Ｇ）−ＩＢ（Ｇ）｜をエンコーダ３２４へ出力する。【０２１４】
エンコーダ３２４は、表１を保持しており、絶対値演算器３２３から絶対値｜ＩＡ（Ｇ）−ＩＢ（Ｇ）｜を受けると、表１を参照して、絶対値｜ＩＡ（Ｇ）−ＩＢ（Ｇ）｜に対応する結合重みＷＡ，Ｂ（Ｇ）を抽出し、その抽出した結合重みＷＡ，Ｂ（Ｇ）を最小値選択回路３２７へ出力する。【０２１５】
絶対値演算器３２５は、Ｄラッチ回路２２およびＦＩＦＯ回路２３から受けた２つのＢ値ＢＡ，ＢＢに基づいて、輝度ＩＡ（Ｂ），ＩＢ（Ｂ）を演算し、その演算した輝度ＩＡ（Ｂ），ＩＢ（Ｂ）の差の絶対値｜ＩＡ（Ｂ）−ＩＢ（Ｂ）｜を演算する。そして、絶対値演算器３２５は、その演算した絶対値｜ＩＡ（Ｂ）−ＩＢ（Ｂ）｜をエンコーダ３２６へ出力する。【０２１６】
エンコーダ３２６は、表１を保持しており、絶対値演算器３２５から絶対値｜ＩＡ（Ｂ）−ＩＢ（Ｂ）｜を受けると、表１を参照して、絶対値｜ＩＡ（Ｂ）−ＩＢ（Ｂ）｜に対応する結合重みＷＡ，Ｂ（Ｂ）を抽出し、その抽出した結合重みＷＡ，Ｂ（Ｂ）を最小値選択回路３２７へ出力する。【０２１７】
最小値選択回路３２７は、エンコーダ３２２，３２４，３２６からそれぞれ結合重みＷＡ，Ｂ（Ｒ），ＷＡ，Ｂ（Ｇ），ＷＡ，Ｂ（Ｂ）を受け、その受けた３個の結合重みＷＡ，Ｂ（Ｒ），ＷＡ，Ｂ（Ｇ），ＷＡ，Ｂ（Ｂ）の中から最小の結合重みＷＡ，Ｂを選択する。そして、最小値選択回路３２７は、その選択した結合重みＷＡ，Ｂを結合重み修正回路３５０，３６０およびセレクタ３８０へ出力する。【０２１８】
色相差計算回路３３０は、図１４に示すＨｕｅビン番号の割当図を保持しており、Ｄラッチ回路２７およびＦＩＦＯ回路２８からそれぞれＨｕｅビン番号ＡおよびＨｕｅビン番号Ｂを受ける。そして、色相差計算回路３３０は、図１４に示すＨｕｅビン番号の割当図を参照して、その受けたＨｕｅビン番号ＡおよびＨｕｅビン番号Ｂに対応するＨｕｅ値ＨＡ，ＨＢを検出する。そうすると、色相差計算回路３３０は、色相差｜ＨＡ−ＨＢ｜を演算し、その演算した色相差｜ＨＡ−ＨＢ｜を結合重み修正回路３５０へ出力する。【０２１９】
彩度差計算回路３４０は、図１６に示すＳビン番号の割当図を保持しており、Ｄラッチ回路２７およびＦＩＦＯ回路２８からそれぞれＳビン番号ＡおよびＳビン番号Ｂを受ける。そして、彩度差計算回路３４０は、図１６に示すＳビン番号の割当図を参照して、その受けたＳビン番号ＡおよびＳビン番号Ｂに対応するＳ値ＳＡ，ＳＢを検出する。そうすると、彩度差計算回路３４０は、彩度差｜ＳＡ−ＳＢ｜を演算し、その演算した彩度差｜ＳＡ−ＳＢ｜を結合重み修正回路３６０へ出力する。【０２２０】
結合重み修正回路３５０は、表３を保持しており、結合重み演算回路３２０から結合重みＷＡ，Ｂを受け、色相差計算回路３３０から色相差｜ＨＡ−ＨＢ｜を受ける。そして、結合重み修正回路３５０は、表３を参照して、結合重みＷＡ，Ｂに一致する絶対値｜Ｉｉｊ−Ｉｋｌ｜を抽出する。【０２２１】
その後、結合重み修正回路３５０は、その抽出した絶対値｜Ｉｉｊ−Ｉｋｌ｜が表３に示す１ｘｘｘ＿ｘｘｘｘ，００００＿１ｘｘｘ，００００＿０１ｘｘ，００００＿００１ｘ，００００＿０００ｘのいずれかである場合、１ｘｘｘ＿ｘｘｘｘ，００００＿１ｘｘｘ，００００＿０１ｘｘ，００００＿００１ｘ，００００＿０００ｘに対応する結合重みＷＡ，Ｂ＿Ｈを表３から抽出し、その抽出した結合重みＷＡ，Ｂ＿Ｈをセレクタ３８０へ出力する。【０２２２】
また、結合重み修正回路３５０は、その抽出した絶対値｜Ｉｉｊ−Ｉｋｌ｜が表３に示す０１ｘｘ＿ｘｘｘｘである場合、色相差｜ＨＡ−ＨＢ｜が“４”以下であるか否かを判定し、色相差｜ＨＡ−ＨＢ｜が“４”以下である場合、１６からなる結合重みＷＡ，Ｂ＿Ｈを表３から抽出し、その抽出した結合重みＷＡ，Ｂ＿Ｈ（＝１６）をセレクタ３８０へ出力する。一方、結合重み修正回路３５０は、色相差｜ＨＡ−ＨＢ｜が“４”以下でない場合、４からなる結合重みＷＡ，Ｂ＿Ｈを表３から抽出し、その抽出した結合重みＷＡ，Ｂ＿Ｈ（＝４）をセレクタ３８０へ出力する。【０２２３】
さらに、結合重み修正回路３５０は、その抽出した絶対値｜Ｉｉｊ−Ｉｋｌ｜が表３に示す００１ｘ＿ｘｘｘｘである場合、色相差｜ＨＡ−ＨＢ｜が“４”以下であるか否かを判定し、色相差｜ＨＡ−ＨＢ｜が“４”以下である場合、３２からなる結合重みＷＡ，Ｂ＿Ｈを表３から抽出し、その抽出した結合重みＷＡ，Ｂ＿Ｈ（＝３２）をセレクタ３８０へ出力する。一方、結合重み修正回路３５０は、色相差｜ＨＡ−ＨＢ｜が“４”以下でない場合、色相差｜ＨＡ−ＨＢ｜が“８”以下であるか否かをさらに判定し、色相差｜ＨＡ−ＨＢ｜が“８”以下である場合、１６からなる結合重みＷＡ，Ｂ＿Ｈを表３から抽出し、その抽出した結合重みＷＡ，Ｂ＿Ｈ（＝１６）をセレクタ３８０へ出力する。一方、結合重み修正回路３５０は、色相差｜ＨＡ−ＨＢ｜が“８”以下でない場合、８からなる結合重みＷＡ，Ｂ＿Ｈを表３から抽出し、その抽出した結合重みＷＡ，Ｂ＿Ｈ（＝８）をセレクタ３８０へ出力する。【０２２４】
さらに、結合重み修正回路３５０は、その抽出した絶対値｜Ｉｉｊ−Ｉｋｌ｜が表３に示す０００１＿ｘｘｘｘである場合、色相差｜ＨＡ−ＨＢ｜が“４”以下であるか否かを判定し、色相差｜ＨＡ−ＨＢ｜が“４”以下である場合、３２からなる結合重みＷＡ，Ｂ＿Ｈを表３から抽出し、その抽出した結合重みＷＡ，Ｂ＿Ｈ（＝３２）をセレクタ３８０へ出力する。一方、結合重み修正回路３５０は、色相差｜ＨＡ−ＨＢ｜が“４”以下でない場合、１６からなる結合重みＷＡ，Ｂ＿Ｈを表３から抽出し、その抽出した結合重みＷＡ，Ｂ＿Ｈ（＝１６）をセレクタ３８０へ出力する。【０２２５】
結合重み修正回路３６０は、表２を保持しており、結合重み演算回路３２０から結合重みＷＡ，Ｂを受け、彩度差計算回路３４０から彩度差｜ＳＡ−ＳＢ｜を受ける。そして、結合重み修正回路３６０は、表２を参照して、結合重みＷＡ，Ｂに一致する絶対値｜Ｉｉｊ−Ｉｋｌ｜を抽出する。【０２２６】
また、結合重み修正回路３６０は、彩度差｜ＳＡ−ＳＢ｜が“６”以下であるか否かを判定し、彩度差｜ＳＡ−ＳＢ｜が“６”以下である場合、結合重みＷＡ，Ｂに一致する絶対値｜Ｉｉｊ−Ｉｋｌ｜と、“ｉｆ≦６”とに対応する結合重みＷＡ，Ｂ＿Ｓを表２から抽出し、その抽出した結合重みＷＡ，Ｂ＿Ｓをセレクタ３８０へ出力する。【０２２７】
一方、結合重み修正回路３６０は、彩度差｜ＳＡ−ＳＢ｜が“６”以下でない場合、彩度差｜ＳＡ−ＳＢ｜が“９”以下であるか否かをさらに判定し、彩度差｜ＳＡ−ＳＢ｜が“９”以下である場合、結合重みＷＡ，Ｂに一致する絶対値｜Ｉｉｊ−Ｉｋｌ｜と、“ｅｌｓｅ  ｉｆ≦９”とに対応する結合重みＷＡ，Ｂ＿Ｓを表２から抽出し、その抽出した結合重みＷＡ，Ｂ＿Ｓをセレクタ３８０へ出力する。【０２２８】
一方、結合重み修正回路３６０は、彩度差｜ＳＡ−ＳＢ｜が“９”以下でない場合、彩度差｜ＳＡ−ＳＢ｜が“１２”以下であるか否かをさらに判定し、彩度差｜ＳＡ−ＳＢ｜が“１２”以下である場合、結合重みＷＡ，Ｂに一致する絶対値｜Ｉｉｊ−Ｉｋｌ｜と、“ｅｌｓｅ  ｉｆ≦１２”とに対応する結合重みＷＡ，Ｂ＿Ｓを表２から抽出し、その抽出した結合重みＷＡ，Ｂ＿Ｓをセレクタ３８０へ出力する。【０２２９】
一方、結合重み修正回路３６０は、彩度差｜ＳＡ−ＳＢ｜が“１２”以下でない場合、結合重みＷＡ，Ｂに一致する絶対値｜Ｉｉｊ−Ｉｋｌ｜と、“ｅｌｓｅ”とに対応する結合重みＷＡ，Ｂ＿Ｓを表２から抽出し、その抽出した結合重みＷＡ，Ｂ＿Ｓをセレクタ３８０へ出力する。【０２３０】
セレクタ信号生成回路３７０は、しきい値Ｓｔｈ（＝０．２）および図１６に示すＳビン番号の割当図を保持しており、Ｄラッチ回路２７およびＦＩＦＯ回路２８からそれぞれＳビン番号ＡおよびＳビン番号Ｂを受ける。そして、セレクタ信号生成回路３７０は、図１６に示すＳビン番号の割当図を参照して、その受けたＳビン番号ＡおよびＳビン番号Ｂに対応するＳ値ＳＡ，ＳＢを検出する。【０２３１】
そうすると、セレクタ信号生成回路３７０は、その検出した２つのＳ値ＳＡ，ＳＢをしきい値Ｓｔｈと比較する。そして、セレクタ信号生成回路３７０は、２つのＳ値ＳＡ，ＳＢの両方がしきい値Ｓｔｈ以下であるとき、結合重み演算回路３２０から受けた結合重みＷＡ，Ｂを選択するためのセレクタ信号ＳＥＬ＿ＲＧＢを生成し、その生成したセレクタ信号ＳＥＬ＿ＲＧＢをセレクタ３８０へ出力する。【０２３２】
また、セレクタ信号生成回路３７０は、２つのＳ値ＳＡ，ＳＢのいずれか一方がしきい値Ｓｔｈ以下であるとき、結合重み修正回路３６０から受けた結合重みＷＡ，Ｂ＿Ｓを選択するためのセレクタ信号ＳＥＬ＿Ｓを生成し、その生成したセレクタ信号ＳＥＬ＿Ｓをセレクタ３８０へ出力する。【０２３３】
さらに、セレクタ信号生成回路３７０は、２つのＳ値ＳＡ，ＳＢの両方がしきい値Ｓｔｈよりも大きいとき、結合重み修正回路３５０から受けた結合重みＷＡ，Ｂ＿Ｈを選択するためのセレクタ信号ＳＥＬ＿Ｈを生成し、その生成したセレクタ信号ＳＥＬ＿Ｈをセレクタ３８０へ出力する。【０２３４】
セレクタ３８０は、結合重み演算回路３２０から結合重みＷＡ，Ｂを受け、結合重み修正回路３５０，３６０からそれぞれ結合重みＷＡ，Ｂ＿Ｈ，ＷＡ，Ｂ＿Ｓを受ける。そして、セレクタ３８０は、セレクタ信号生成回路３７０からセレクタ信号ＳＥＬ＿ＲＧＢを受けると、結合重みＷＡ，Ｂを選択し、その選択した結合重みＷＡ，Ｂを結合重みＣＷとして出力する。また、セレクタ３８０は、セレクタ信号生成回路３７０からセレクタ信号ＳＥＬ＿Ｓを受けると、結合重みＷＡ，Ｂ＿Ｓを選択し、その選択した結合重みＷＡ，Ｂ＿Ｓを結合重みＣＷとして出力する。さらに、セレクタ３８０は、セレクタ信号生成回路３７０からセレクタ信号ＳＥＬ＿Ｈを受けると、結合重みＷＡ，Ｂ＿Ｈを選択し、その選択した結合重みＷＡ，Ｂ＿Ｈを結合重みＣＷとして出力する。【０２３５】
図２に示す重み計算ユニット３３は、図２４に示す重み計算ユニット３２と同じ構成からなり、Ｄラッチ回路２１，２４から受けたＲＧＢ値ＲＧＢＡ，ＲＧＢＢと、Ｄラッチ回路２６，２９から受けたＨｕｅビン番号Ａ、Ｈｕｅビン番号Ｂ、Ｓビン番号Ａ、およびＳビン番号Ｂに基づいて、重み計算ユニット３２と同じ方法によって、結合重みＷＡ，Ｂ，ＷＡ，Ｂ＿Ｈ，ＷＡ，Ｂ＿Ｓを演算し、その演算した結合重みＷＡ，Ｂ，ＷＡ，Ｂ＿Ｈ，ＷＡ，Ｂ＿Ｓのいずれかを結合重みＣＷとして選択して出力する。【０２３６】
また、図２に示す重み計算ユニット３４は、図２４に示す重み計算ユニット３２と同じ構成からなり、Ｄラッチ回路２４から受けたＲＧＢ値ＲＧＢＡと、Ｄラッチ回路２９から受けたＨｕｅビン番号ＡおよびＳビン番号Ａと、選択器３０から受けたＲＧＢ値ＲＧＢＢ、Ｈｕｅビン番号ＢおよびＳビン番号Ｂとに基づいて、重み計算ユニット３２と同じ方法によって、結合重みＷＡ，Ｂ，ＷＡ，Ｂ＿Ｈ，ＷＡ，Ｂ＿Ｓを演算し、その演算した結合重みＷＡ，Ｂ，ＷＡ，Ｂ＿Ｈ，ＷＡ，Ｂ＿Ｓのいずれかを結合重みＣＷとして選択して出力する。【０２３７】
さらに、図２に示す重み計算ユニット３５は、図２４に示す重み計算ユニット３２と同じ構成からなり、Ｄラッチ回路２１から受けたＲＧＢ値ＲＧＢＡと、Ｄラッチ回路２６から受けたＨｕｅビン番号ＡおよびＳビン番号Ａと、選択器３１から受けたＲＧＢ値ＲＧＢＢ、Ｈｕｅビン番号ＢおよびＳビン番号Ｂとに基づいて、重み計算ユニット３２と同じ方法によって、結合重みＷＡ，Ｂ，ＷＡ，Ｂ＿Ｈ，ＷＡ，Ｂ＿Ｓを演算し、その演算した結合重みＷＡ，Ｂ，ＷＡ，Ｂ＿Ｈ，ＷＡ，Ｂ＿Ｓのいずれかを結合重みＣＷとして選択して出力する。【０２３８】
画像分割回路３における画像の分割方法について説明する。図２５は、画像の分割方法を説明するための図である。画像分割回路３は、領域成長型画像分割方法によって１つのフレームを各対象物の画像に分割する。【０２３９】
この領域成長型画像分割方法は、ＬＥＧＩＯＮモデル（D. L. Wang, and D. Terman, “Image segmentation based on oscillator correlation,” Neural Computation, Volume 9(4), pp. 805-836(1997).）の振動子ネットワークの各画素に対する振動子の振る舞いを自己発火（Ｓｅｌｆ−Ｅｘｃｉｔａｔｉｏｎ）、自己発火可能（Ｓｅｌｆ−Ｅｘｃｉｔａｂｌｅ）、発火（Ｅｘｃｉｔａｔｉｏｎ）および鎮火（Ｉｎｈｉｂｉｔｉｏｎ）という４つの状態で取り扱うものである。そして、この領域成長型画像分割方法は、初期化、自己発火、発火、および鎮火の４つのステップからなる。【０２４０】
画像分割回路３は、図２５の（ａ）に示す３×３の構成からなる入力画像を受ける。そして、画像分割回路３は、入力画像を構成する９個の画素における画素間の８個の結合重みＣＷ１〜ＣＷ８を結合重み決定回路２から受け、その受けた８個の結合重みＣＷ１〜ＣＷ８を各画素間に対応付けてメモリに保持する。なお、図２５の（ｂ）においては、（２，２）の画素と周囲の画素との８個の結合重みが図示されている。【０２４１】
そうすると、画像分割回路３は、メモリに保持された８個の結合重みＣＷ１〜ＣＷ８を読み出し、その読み出した８個の結合重みＣＷ１〜ＣＷ８の和ＳＵＭ（ＣＷ）を演算する。そして、画像分割回路３は、その演算した和ＳＵＭ（ＣＷ）がリーダセルを決定するためのしきい値φＰよりも大きいか否かを判定する。なお、この出願においては、ＳＵＭは、数学におけるシグマ記号によって表される和を演算することを意味する。【０２４２】
画像分割回路３は、和ＳＵＭ（ＣＷ）がしきい値φＰよりも大きいと判定したとき、結合重みの計算の中心となった画素をリーダセルに設定し、リーダセルフラグｐｉｊ＝１を設定する。一方、画像分割回路３は、和ＳＵＭ（ＣＷ）がしきい値φＰ以下であると判定したとき、結合重みの計算の中心となった画素をリーダセルに設定せず、リーダセルフラグｐｉｊ＝０を設定する。【０２４３】
画像分割回路３は、この処理を入力画像の９個の画素の各々を結合重みの計算の中心となる画素に設定して実行し、リーダセルを決定する（図２５の（ｃ）参照）。【０２４４】
その後、画像分割回路３は、リーダセルの１つを自己発火させる（発火フラグｘｉｊ＝１）（図２５の（ｄ）参照）。そして、画像分割回路３は、各セル（ｉ，ｊ）に隣接する８個の画素に対応するセル（ｋ，ｌ）∈Ｎｉｊが発火していれば、セル（ｉ，ｊ）とセル（ｋ，ｌ）との間の結合重みの和ＳＵＭ（ｋ，ｌ）∈Ｎｉｊ∧ｘｋｌ＝１Ｗｉｊ；ｋｌを演算し、その演算した和ＳＵＭ（ｋ，ｌ）∈Ｎｉｊ∧ｘｋｌ＝１Ｗｉｊ；ｋｌがしきい値φＺよりも大きく、かつ、まだ、セル（ｉ，ｊ）がどの分割領域にも属していない（ラベルフラグｌｉｊ＝０）場合に、自動的に発火（ｘｉｊ＝１）させる（引火・領域成長）（図２５の（ｅ）参照）。この引火処理によって、領域が広がっていき、図２５の（ｆ）に示すように、新たに発火するセルが存在しなくなると、１領域の分割が終了する。【０２４５】
その後、画像分割回路３は、この分割された領域を保存するために、図２５の（ｇ）に示すように、発火しているセルへ分割領域識別のためのラベル番号を書き込み、発火したセルが既に分割されたセルであることを示すラベルフラグをセットし（ｌｉｊ＝１）、鎮火処理（ｘｉｊ＝０，ｐｉｊ＝０）を行なう。【０２４６】
画像分割回路３は、鎮火処理が終了すると、再び、次の領域の分割のための自己発火の処理に戻る。そして、画像分割回路３は、リーダセルが存在しなくなるまで、上述した処理を繰り返し実行し、各領域を分割する。そして、画像分割回路３は、全てのリーダセルが発火した後、全ての領域にラベル付けを行ない、１フレームの画像の分割を終了する（図２５の（ｈ）参照）。【０２４７】
図２６は、この発明による画像分割方法を説明するためのフローチャートである。図２６を参照して、一連の動作が開始されると、画素値検出回路１は、ｎ×ｎ（ｎは、２以上の整数）からなる入力画像の各画素ＧＥｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）のＲＧＢ値ＲＧＢｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）を検出し（ステップＳ１）、その検出した各画素のＲＧＢ値ＲＧＢｉｊを結合重み決定回路２へ出力する。【０２４８】
結合重み決定回路２は、画素値検出回路１から各画素ＧＥｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）のＲＧＢ値ＲＧＢｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）を受け、その受けた各画素ＧＥｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）のＲＧＢ値ＲＧＢｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）を上述した方法によって色相Ｈｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）および彩度Ｓｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）に変換し、ＲＧＢ値ＲＧＢｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）、色相Ｈｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）および彩度Ｓｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）に基づいて、各画素間の結合重みＷｉｊ；ｋｌ（１≦ｉ≦ｎ，１≦ｊ≦ｎ，１≦ｋ≦ｎ，１≦ｌ≦ｎ）を決定する（ステップＳ２）。そして、結合重み決定回路２は、その決定した各画素間の結合重みＷｉｊ；ｋｌ（１≦ｉ≦ｎ，１≦ｊ≦ｎ，１≦ｋ≦ｎ，１≦ｌ≦ｎ）を画像分割回路３へ出力する。【０２４９】
画像分割回路３は、外部から入力画像を受け、結合重み決定回路２から各画素間の結合重みＷｉｊ；ｋｌ（１≦ｉ≦ｎ，１≦ｊ≦ｎ，１≦ｋ≦ｎ，１≦ｌ≦ｎ）を受ける。そして、画像分割回路３は、その受けた各画素間の結合重みＷｉｊ；ｋｌ（１≦ｉ≦ｎ，１≦ｊ≦ｎ，１≦ｋ≦ｎ，１≦ｌ≦ｎ）を用いて１フレームの画像を分割する（ステップＳ３）。そして、一連の動作は、終了する。【０２５０】
図２７は、図２６に示すステップＳ２の詳細な動作を説明するためのフローチャートである。なお、図２７においては、図３に示す画素ＧＥ１を画素ＧＥｉｊとし、画素ＧＥ２を画素ＧＥｋｌとし、画素ＧＥ３を画素ＧＥｉ＋１，ｊとし、画素ＧＥ４を画素ＧＥｋ＋１，ｌとしてステップＳ２の詳細な動作を説明する。【０２５１】
図２７を参照して、図２６に示すステップＳ１の後、結合重み決定回路２は、画素値検出回路１から複数の画素ＧＥｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）の複数のＲＧＢ値ＲＧＢｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）を順次受ける。そして、結合重み決定回路２は、ｉ＝１，ｊ＝１，ｋ＝１，ｌ＝１を設定する（ステップＳ２１）。【０２５２】
そして、結合重み決定回路２は、入力画像の複数の画素ＧＥｉｊ（１≦ｉ≦ｎ，１≦ｊ≦ｎ）のうち、画素値検出回路１から順次入力される隣接する２つの画素ＧＥｉｊ，ＧＥｋｌ（１≦ｋ≦ｎ，１≦ｌ≦ｎ）を選択する（ステップＳ２２）。【０２５３】
その後、結合重み決定回路２は、ＨＳ変換回路２５によって、画素ＧＥｉｊのＲＧＢ値ＲＧＢｉｊを上述した方法によって色相Ｈｉｊおよび彩度Ｓｉｊに変換し（ステップＳ２３）、画素ＧＥｋｌのＲＧＢ値ＲＧＢｋｌを上述した方法によって色相Ｈｋｌおよび彩度Ｓｋｌに変換する（ステップＳ２４）。【０２５４】
そして、結合重み決定回路２において、４組の隣接画素ＧＥｉｊ，ＧＥｋｌ；ＧＥｉ＋１，ｊ，ＧＥｋｌ；ＧＥｉｊ，ＧＥｋ＋１，ｌ；ＧＥｉ＋１，ｊ，ＧＥｋ＋１，ｌのＲＧＢ値が色相および彩度に変換されたか否かが判定される（ステップＳ２５）。【０２５５】
ステップＳ２５において、４組の隣接画素ＧＥｉｊ，ＧＥｋｌ；ＧＥｉ＋１，ｊ，ＧＥｋｌ；ＧＥｉｊ，ＧＥｋ＋１，ｌ；ＧＥｉ＋１，ｊ，ＧＥｋ＋１，ｌのＲＧＢ値が色相および彩度に変換されていないと判定されたとき、ｉ，ｋのいずれかまたは両方が“１”だけ変化される（ステップＳ２６）。その後、一連の動作は、ステップＳ２２へ戻り、ステップＳ２５において、４組の隣接画素ＧＥｉｊ，ＧＥｋｌ；ＧＥｉ＋１，ｊ，ＧＥｋｌ；ＧＥｉｊ，ＧＥｋ＋１，ｌ；ＧＥｉ＋１，ｊ，ＧＥｋ＋１，ｌのＲＧＢ値が色相および彩度に変換されたと判定されるまで、ステップＳ２２〜ステップＳ２６が繰り返し実行される。【０２５６】
そして、ステップＳ２５において、４組の隣接画素ＧＥｉｊ，ＧＥｋｌ；ＧＥｉ＋１，ｊ，ＧＥｋｌ；ＧＥｉｊ，ＧＥｋ＋１，ｌ；ＧＥｉ＋１，ｊ，ＧＥｋ＋１，ｌのＲＧＢ値が色相および彩度に変換されたと判定されると、結合重み決定回路２の４個の重み計算ユニット３２〜３５は、平行して隣接画素間の結合重みを決定する（ステップＳ２７〜ステップＳ３０）。【０２５７】
この場合、重み計算ユニット３２は、画素ＧＥｋｌ，ＧＥｉ＋１，ｊ間の結合重みＷｋ，ｌ；ｉ＋１，ｊを決定し、重み計算ユニット３３は、画素ＧＥｉｊ，ＧＥｋ＋１，ｌ間の結合重みＷｉｊ；ｋ＋１，ｌを決定し、重み計算ユニット３４は、画素ＧＥｉｊ，ＧＥｋｌ間の結合重みＷｉｊ；ｋｌを決定し、重み計算ユニット３５は、画素ＧＥｉ＋１，ｊ，ＧＥｋ＋１，ｌ間の結合重みＷｉ＋１，ｊ；ｋ＋１，ｌを決定する。【０２５８】
ステップＳ２７〜ステップＳ３０の後、結合重み決定回路２において、ｉ＝ｎ、かつ、ｊ＝ｎであるか否かが判定され（ステップＳ３１）、ｉ＝ｎ、かつ、ｊ＝ｎでないとき、ｉ，ｊのいずれかまたは両方が“１”だけ変化され（ステップＳ３２）、ｋ＝１およびｌ＝１が設定される（ステップＳ３３）。【０２５９】
その後、一連の動作は、ステップＳ２２へ戻り、ステップＳ３１において、ｉ＝ｎ、かつ、ｊ＝ｎであると判定されるまで、ステップＳ２２〜ステップＳ３３が繰り返し実行される。【０２６０】
そして、ステップＳ３１において、ｉ＝ｎ、かつ、ｊ＝ｎであると判定されると、一連の動作は、図２６のステップＳ３へ移行する。【０２６１】
図２８は、図２７に示すステップＳ２７の詳細な動作を説明するためのフローチャートである。図２８を参照して、図２７のステップＳ２５の“ＹＥＳ”の後、重み計算ユニット３２の結合重み演算回路３２０は、ＦＩＦＯ回路２３から受けたＲＧＢ値ＲＧＢｋｌと、Ｄラッチ回路２２から受けたＲＧＢ値ＲＧＢｉ＋１，ｊとに基づいて、上述した方法によって、画素ＧＥｋｌ，ＧＥｉ＋１，ｊ間の結合重みＷｉ＋１，ｊ；ｋｌ＿ＲＧＢを決定し、その決定した結合重みＷｉ＋１，ｊ；ｋｌ＿ＲＧＢを結合重み修正回路３５０，３６０およびセレクタ３８０へ出力する。【０２６２】
また、色相差計算回路３３０は、ＦＩＦＯ回路２８から画素ＧＥｋｌのＨｕｅビン番号Ａを受け、Ｄラッチ回路２７から画素ＧＥｉ＋１，ｊのＨｕｅビン番号Ｂを受ける。そして、色相差計算回路３３０は、図１４に示すＨｕｅビン番号の割当図を参照して、Ｈｕｅビン番号Ａに対応する色相Ｈｋｌを抽出し、Ｈｕｅビン番号Ｂに対応する色相Ｈｉ＋１，ｊを抽出する。【０２６３】
そうすると、色相差計算回路３３０は、色相Ｈｋｌと色相Ｈｉ＋１，ｊとの色相差｜Ｈｋｌ−Ｈｉ＋１，ｊ｜を演算し、その演算した色相差｜Ｈｋｌ−Ｈｉ＋１，ｊ｜を結合重み修正回路３５０へ出力する。【０２６４】
結合重み修正回路３５０は、色相差計算回路３３０から色相差｜Ｈｋｌ−Ｈｉ＋１，ｊ｜を受け、結合重み演算回路３２０から結合重みＷｉ＋１，ｊ；ｋｌ＿ＲＧＢを受ける。そして、結合重み修正回路３５０は、表３を参照して、結合重みＷｉ＋１，ｊ；ｋｌ＿ＲＧＢおよび色相差｜Ｈｋｌ−Ｈｉ＋１，ｊ｜に基づいて、上述した方法によって結合重みＷｉ＋１，ｊ；ｋｌ＿Ｈを抽出し、その抽出した結合重みＷｉ＋１，ｊ；ｋｌ＿Ｈをセレクタ３８０へ出力する。【０２６５】
さらに、彩度差計算回路３４０は、ＦＩＦＯ回路２８から画素ＧＥｋｌのＳビン番号Ａを受け、Ｄラッチ回路２７から画素ＧＥｉ＋１，ｊのＳビン番号Ｂを受ける。【０２６６】
そして、彩度差計算回路３４０は、図１６に示すＳビン番号の割当図を参照して、Ｓビン番号Ａに対応する彩度Ｓｋｌを抽出し、Ｓビン番号Ｂに対応する彩度Ｓｉ＋１，ｊを抽出する。【０２６７】
そうすると、彩度差計算回路３４０は、彩度Ｓｋｌと彩度Ｓｉ＋１，ｊとの彩度差｜Ｓｋｌ−Ｓｉ＋１，ｊ｜を演算し、その演算した彩度差｜Ｓｋｌ−Ｓｉ＋１，ｊ｜を結合重み修正回路３６０へ出力する。【０２６８】
結合重み修正回路３６０は、彩度差計算回路３４０から彩度差｜Ｓｋｌ−Ｓｉ＋１，ｊ｜を受け、結合重み演算回路３２０から結合重みＷｉ＋１，ｊ；ｋｌ＿ＲＧＢを受ける。そして、結合重み修正回路３６０は、表２を参照して、結合重みＷｉ＋１，ｊ；ｋｌ＿ＲＧＢおよび彩度差｜Ｓｋｌ−Ｓｉ＋１，ｊ｜に基づいて、上述した方法によって結合重みＷｉ＋１，ｊ；ｋｌ＿Ｓを抽出し、その抽出した結合重みＷｉ＋１，ｊ；ｋｌ＿Ｓをセレクタ３８０へ出力する。【０２６９】
一方、重み計算ユニット３２のセレクタ信号生成回路３７０は、ＦＩＦＯ回路２８から画素ＧＥｋｌのＳビン番号Ａを受け、Ｄラッチ回路２７から画素ＧＥｉ＋１，ｊのＳビン番号Ｂを受ける。【０２７０】
そして、セレクタ信号生成回路３７０は、図１６に示すＳビン番号の割当図を参照して、Ｓビン番号Ａに対応する彩度Ｓｋｌを抽出し、Ｓビン番号Ｂに対応する彩度Ｓｉ＋１，ｊを抽出する。【０２７１】
そうすると、セレクタ信号生成回路３７０は、彩度Ｓｉ＋１，ｊがしきい値Ｓｔｈ（＝０．２）以下であり、かつ、彩度Ｓｋｌがしきい値Ｓｔｈ（＝０．２）以下であるか否かを判定する（ステップＳ２７１）。【０２７２】
ステップＳ２７１において、彩度Ｓｉ＋１，ｊがしきい値Ｓｔｈ（＝０．２）以下であり、かつ、彩度Ｓｋｌがしきい値Ｓｔｈ（＝０．２）以下であると判定されたとき、セレクタ信号生成回路３７０は、セレクタ信号ＳＥＬ＿ＲＧＢを生成し、その生成したセレクタ信号ＳＥＬ＿ＲＧＢをセレクタ３８０へ出力する。【０２７３】
セレクタ３８０は、結合重み演算回路３２０から結合重みＷｉ＋１，ｊ；ｋｌ＿ＲＧＢを受け、結合重み修正回路３５０から結合重みＷｉ＋１，ｊ；ｋｌ＿Ｈを受け、結合重み修正回路３６０から結合重みＷｉ＋１，ｊ；ｋｌ＿Ｓを受ける。そして、セレクタ３８０は、セレクタ信号生成回路３７０からセレクタ信号ＳＥＬ＿ＲＧＢを受けると、セレクタ信号ＳＥＬ＿ＲＧＢに応じて、３個の結合重みＷｉ＋１，ｊ；ｋｌ＿ＲＧＢ，Ｗｉ＋１，ｊ；ｋｌ＿Ｈ，Ｗｉ＋１，ｊ；ｋｌ＿Ｓから結合重みＷｉ＋１，ｊ；ｋｌ＿ＲＧＢを選択し、その選択した結合重みＷｉ＋１，ｊ；ｋｌ＿ＲＧＢを結合重みＷｉ＋１，ｊ；ｋｌと決定する。つまり、重み計算ユニット３２は、ＲＧＢ値ＲＧＢｉ＋１，ｊ，ＲＧＢｋｌによって結合重み結合重みＷｉ＋１，ｊ；ｋｌを決定する（ステップＳ２７２）。そして、重み計算ユニット３２は、その決定した結合重みＷｉ＋１，ｊ；ｋｌを画像分割回路３へ出力する。【０２７４】
一方、ステップＳ２７１において、彩度Ｓｉ＋１，ｊがしきい値Ｓｔｈ（＝０．２）以下であり、かつ、彩度Ｓｋｌがしきい値Ｓｔｈ（＝０．２）以下でないと判定されたとき、セレクタ信号生成回路３７０は、彩度Ｓｉ＋１，ｊ，Ｓｋｌの一方のみがしきい値Ｓｔｈ（＝０．２）以下であるか否かをさらに判定する（ステップＳ２７３）。【０２７５】
そして、ステップＳ２７３において、彩度Ｓｉ＋１，ｊ，Ｓｋｌの一方のみがしきい値Ｓｔｈ（＝０．２）以下であると判定されたとき、セレクタ信号生成回路３７０は、セレクタ信号ＳＥＬ＿Ｓを生成し、その生成したセレクタ信号ＳＥＬ＿Ｓをセレクタ３８０へ出力する。【０２７６】
セレクタ３８０は、セレクタ信号生成回路３７０からセレクタ信号ＳＥＬ＿Ｓを受けると、セレクタ信号ＳＥＬ＿Ｓに応じて、３個の結合重みＷｉ＋１，ｊ；ｋｌ＿ＲＧＢ，Ｗｉ＋１，ｊ；ｋｌ＿Ｈ，Ｗｉ＋１，ｊ；ｋｌ＿Ｓから結合重みＷｉ＋１，ｊ；ｋｌ＿Ｓを選択し、その選択した結合重みＷｉ＋１，ｊ；ｋｌ＿Ｓを結合重みＷｉ＋１，ｊ；ｋｌと決定する。つまり、重み計算ユニット３２は、ＲＧＢ値ＲＧＢｉ＋１，ｊ，ＲＧＢｋｌおよび彩度Ｓｉ＋１，ｊ，Ｓｋｌによって結合重み結合重みＷｉ＋１，ｊ；ｋｌを決定する（ステップＳ２７４）。そして、重み計算ユニット３２は、その決定した結合重みＷｉ＋１，ｊ；ｋｌを画像分割回路３へ出力する。【０２７７】
一方、ステップＳ２７３において、彩度Ｓｉ＋１，ｊ，Ｓｋｌの一方のみがしきい値Ｓｔｈ（＝０．２）以下でないと判定されたとき、セレクタ信号生成回路３７０は、セレクタ信号ＳＥＬ＿Ｈを生成し、その生成したセレクタ信号ＳＥＬ＿Ｈをセレクタ３８０へ出力する。【０２７８】
セレクタ３８０は、セレクタ信号生成回路３７０からセレクタ信号ＳＥＬ＿Ｈを受けると、セレクタ信号ＳＥＬ＿Ｈに応じて、３個の結合重みＷｉ＋１，ｊ；ｋｌ＿ＲＧＢ，Ｗｉ＋１，ｊ；ｋｌ＿Ｈ，Ｗｉ＋１，ｊ；ｋｌ＿Ｓから結合重みＷｉ＋１，ｊ；ｋｌ＿Ｈを選択し、その選択した結合重みＷｉ＋１，ｊ；ｋｌ＿Ｈを結合重みＷｉ＋１，ｊ；ｋｌと決定する。つまり、重み計算ユニット３２は、ＲＧＢ値ＲＧＢｉ＋１，ｊ，ＲＧＢｋｌおよび色相Ｈｉ＋１，ｊ，Ｈｋｌによって結合重み結合重みＷｉ＋１，ｊ；ｋｌを決定する（ステップＳ２７５）。そして、重み計算ユニット３２は、その決定した結合重みＷｉ＋１，ｊ；ｋｌを画像分割回路３へ出力する。【０２７９】
そうすると、ステップＳ２７２，Ｓ２７４，Ｓ２７５のいずれかの後、一連の動作は、図２７のステップＳ３１へ移行する。【０２８０】
なお、ステップＳ２７４は、ＲＧＢ値ＲＧＢ値ＲＧＢｉ＋１，ｊ，ＲＧＢｋｌのみによって結合重みＷｉ＋１，ｊ；ｋｌ＿ＲＧＢを決定するステップと、その決定した結合重みＷｉ＋１，ｊ；ｋｌ＿ＲＧＢを彩度Ｓｉ＋１，ｊ，Ｓｋｌの彩度差｜Ｓｉ＋１，ｊ−Ｓｋｌ｜に応じて小さくするステップとからなる。【０２８１】
また、ステップＳ２７５は、ＲＧＢ値ＲＧＢ値ＲＧＢｉ＋１，ｊ，ＲＧＢｋｌのみによって結合重みＷｉ＋１，ｊ；ｋｌ＿ＲＧＢを決定するステップと、その決定した結合重みＷｉ＋１，ｊ；ｋｌ＿ＲＧＢを色相Ｈｉ＋１，ｊ，Ｈｋｌの色相差｜Ｈｉ＋１，ｊ−Ｈｋｌ｜に応じて大きくするステップとからなる。【０２８２】
さらに、図２７に示すステップＳ２８〜ステップ３０の各々における詳細な動作も、図２８に示すステップＳ２７１〜ステップＳ２７５によって実行される。【０２８３】
図２９は、図２６に示すステップＳ３の詳細な動作を説明するためのフローチャートである。図２９を参照して、図２６に示すステップＳ２の後、画像分割回路３は、結合重み決定回路２から１フレームを構成する複数の画素における各画素間の結合重みを受けるとともに、上述した方法によって、リーダセルを決定する（ステップＳ４１）。【０２８４】
そして、画像分割回路３は、自己発火可能なセルを検出したか否かを判定し（ステップＳ４２）、自己発火可能なセルを検出したと判定したとき、上述した方法によって自己発火を行なう（ステップＳ４３）。【０２８５】
その後、画像分割回路３は、発火セルが存在するか否かを判定し（ステップＳ４４）、発火セルが存在するとき、上述した方法によって周囲へ引火（領域成長）を行なう（ステップＳ４５）。そして、一連の動作は、ステップＳ４４へ戻り、ステップＳ４４において、発火セルが存在しなくなるまで、ステップＳ４４，Ｓ４５が繰り返し実行される。【０２８６】
ステップＳ４４において、発火セルが存在しないと判定されると、画像分割回路３は、上述した方法によって、引火終了・領域決定を行なうとともに、ラベル付け（鎮火）を行なう（ステップＳ４６）。その後、一連の動作は、ステップＳ４２へ戻り、ステップＳ４２において、自己発火可能なセルが検出されないと判定されるまで、ステップＳ４２〜ステップＳ４６が繰り返し実行される。【０２８７】
そして、ステップＳ４２において、自己発火可能なセルが検出されないと判定されると、一連の動作は、図２６の“終了”へ移行する。【０２８８】
なお、画像分割装置１０は、図２６（図２７〜図２９）に示すフローチャートを繰り返し実行し、各フレームを各対象物の画像に分割する。【０２８９】
上述したように、この発明においては、隣接する２つの画素の２つの彩度の両方がしきい値Ｓｔｈ以下であるとき、２つの画素のＲＧＢ値のみによって２つの画素間の結合重みを決定し（ステップＳ２７２参照）、２つの彩度の一方のみがしきい値Ｓｔｈ以下であるとき、２つの画素のＲＧＢ値および彩度によって２つの画素間の結合重みを決定し（ステップＳ２７４参照）、２つの画素の２つの彩度の両方がしきい値Ｓｔｈよりも大きいとき、２つのＲＧＢ値および色相によって結合重みを決定する（ステップＳ２７５参照）。【０２９０】
そして、ステップＳ２７４において決定される結合重みは、ステップＳ２７２において決定される結合重みよりも小さく、ステップＳ２７５において決定される結合重みは、ステップＳ２７２において決定される結合重み以上である。【０２９１】
このように、２つの画素の２つの彩度の少なくとも一方の彩度がしきい値Ｓｔｈよりも大きいとき、彩度または色相を用いて２つの画素間の結合重みを決定する。【０２９２】
したがって、コントラストの低いカラー画像または光の反射による影響があるカラー画像における画素間の結合重みを正確に決定できる。【０２９３】
また、２つの画素が無彩色領域と有彩色領域とに属するとき、結合重みが、ＲＧＢ値のみによって決定した結合重みよりも小さく決定されるので（ステップＳ２７４参照）、画像分割において領域成長が抑制され、２つの画素の両方が有彩色領域に属するとき、結合重みが、ＲＧＢ値のみによって決定した結合重み以上に決定されるので（ステップＳ２７５参照）、画像分割において領域成長が促進される。【０２９４】
したがって、コントラストの低いカラー画像または光の反射による影響があるカラー画像を正確に分割できる。【０２９５】
図３０は、この発明による画像分割装置１０を用いた物体追跡装置の構成図である。図３０を参照して、物体追跡装置２０は、画像分割装置１０に追跡回路４を追加したものである。【０２９６】
追跡回路４は、画像分割回路３から分割画像ＤＶＧ１，ＤＶＧ２を順次受け、その受けた分割画像ＤＶＧ１，ＤＶＧ２によって表された物体の特徴量ＣＨ１，ＣＨ２を抽出する。そして、追跡回路４は、その抽出した物体の特徴量ＣＨ１，ＣＨ２を用いて分割画像ＤＶＧ１，ＤＶＧ２間で物体のパターンマッチングを行ない、動きベクトルを検出するとともに、物体の推定位置を求める。【０２９７】
なお、物体の特徴量ＣＨ１，ＣＨ２は、たとえば、物体の高さ、色および面積等からなる。また、パターンマッチングは、マンハッタン距離等を演算し、最小のマンハッタン距離等を求めることにより行なう。【０２９８】
上述したように、画像分割装置１０は、画像を正確に分割できるので、追跡回路４は、正確に分割された画像を用いて物体を正確に追跡できる。【０２９９】
上記においては、ＲＧＢ値から彩度（Ｓ）または色相（Ｈ）への変換は、加算器およびシフト器を用いて行なわれると説明したが、この発明においては、これに限らず、回路面積が問題とならない等の特別な制約がない場合、除算器を用いた回路によってＲＧＢ値を彩度（Ｓ）または色相（Ｈ）へ変換してもよい。【０３００】
また、上記においては、しきい値Ｓｔｈは、０．２に設定されると説明したが、この発明においては、これに限らず、しきい値Ｓｔｈは、０．２以外の値であってもよく、一般的には、画像分割の対象となる入力画像の各物体の色合いに基づいて実験的に決定される。【０３０１】
さらに、上記においては、画像分割は、領域成長型画像分割方法を用いて行なわれると説明したが、この発明においては、これに限らず、画像分割は、“B. Jaehne, “Digital Image Processing 5th revised and extended edition,” Springer-Verlag, pp. 427-440, 2001.”の文献、“J. C. Russ, “The Image Processing Handbook,” CRC PRESS, pp. 371-429, 1999.36”の文献、“T. Braeunl, S. Feyrer, W. Rapf, and M. Reinhardt, “Parallel Image Processing,”Springer-Verlag, 2000.”の文献、および“W. Y. Ma, and B. S. Manjunath, “Edgeflow: a technique for boundary detection and segmentation,” IEEE Transactions on Image Processing, vol. 9 (8), pp. 1375-1388, 2004.”の文献のいずれかに記載された方法を用いて行なわれてもよい。【０３０２】
なお、この発明においては、ＲＧＢ値のみによって決定された結合重みは、「第１の結合重み」を構成し、ＲＧＢ値および彩度（Ｓ）によって決定される結合重みは、第１の結合重みよりも小さい「第２の結合重み」を構成し、ＲＧＢ値および色相（Ｈ）によって決定される結合重みは、第１の結合重み以上である「第３の結合重み」を構成する。【０３０３】
また、表３に示す画素値の差０１ｘｘ＿ｘｘｘｘは、「第１の値」を構成し、画素値の差０００１＿ｘｘｘｘは、第１の値よりも大きい「第２の値」を構成する。【０３０４】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【０３０５】
この発明は、カラー画像からなる入力画像を各対象物の画像に正確に分割可能な画像分割装置に適用される。また、この発明は、カラー画像からなる入力画像を各対象物の画像に正確に分割可能な画像分割方法に適用される。
【図１】
2010013291.tif 000017
【図２】
2010013291.tif 000018
【図３】
2010013291.tif 000019
【図４】
2010013291.tif 000020
【図５】
2010013291.tif 000021
【図６】
2010013291.tif 000022
【図７】
2010013291.tif 000023
【図８】
2010013291.tif 000024
【図９】
2010013291.tif 000025
【図１０】
2010013291.tif 000026
【図１１】
2010013291.tif 000027
【図１２】
2010013291.tif 000028
【図１３】
2010013291.tif 000029
【図１４】
2010013291.tif 000030
【図１５】
2010013291.tif 000031
【図１６】
2010013291.tif 000032
【図１７】
2010013291.tif 000033
【図１８】
2010013291.tif 000034
【図１９】
2010013291.tif 000035
【図２０】
2010013291.tif 000036
【図２１】
2010013291.tif 000037
【図２２】
2010013291.tif 000038
【図２３】
2010013291.tif 000039
【図２４】
2010013291.tif 000040
【図２５】
2010013291.tif 000041
【図２６】
2010013291.tif 000042
【図２７】
2010013291.tif 000043
【図２８】
2010013291.tif 000044
【図２９】
2010013291.tif 000045
【図３０】
2010013291.tif 000046
【手続補正書】
【提出日】平成20年10月7日(2008.10.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
２つの画素の両方が無彩色からなるとき、前記２つの画素のＲＧＢ値を用いて前記２つの画素間の結合重みである第１の結合重みを決定し、前記２つの画素の一方が無彩色からなるとき、前記第１の結合重みよりも小さい第２の結合重みを前記２つの画素間の結合重みとして決定し、前記２つの画素の両方が有彩色からなるとき、前記第１の結合重み以上の第３の結合重みを前記２つの画素間の結合重みとして決定する結合重み決定処理を１つのフレームの各画素間について実行する結合重み決定回路と、
前記結合重み決定回路によって決定された第１から第３の結合重みに基づいて、前記１つのフレームを各対象物の画像に分割する画像分割回路とを備える画像分割装置。
【請求項２】
前記結合重み決定回路は、前記２つの画素のＲＧＢ値に基づいて前記２つの画素の第１および第２の彩度を演算するとともに、その演算した第１および第２の彩度を無彩色と有彩色との境界を示すしきい値と比較して前記２つの画素が前記無彩色および前記有彩色のいずれからなるかを判定し、その判定結果に基づいて前記第１から第３の結合重みのいずれかを前記２つの画素間の結合重みとして決定する、請求項１に記載の画像分割装置。
【請求項３】
前記結合重み決定回路は、加算器およびシフト器とを用いて前記２つの画素のＲＧＢ値に基づいて前記２つの画素の第１および第２の彩度を演算する、請求項２に記載の画像分割装置。
【請求項４】
前記結合重み決定回路は、前記演算した第１および第２の彩度の両方が前記しきい値以下であるとき、前記２つの画素の両方が前記無彩色からなると判定し、前記第１および第２の彩度の一方が前記しきい値以下であるとき、前記２つの画素の一方が前記無彩色からなり、かつ、前記２つの画素の他方が前記有彩色からなると判定し、前記第１および第２の彩度の両方が前記しきい値よりも大きいとき、前記２つの画素の両方が前記有彩色からなると判定する、請求項２に記載の画像分割装置。
【請求項５】
前記結合重み決定回路は、前記２つの画素の両方が前記無彩色からなると判定したとき、前記２つの画素のＲＧＢ値のみを用いて前記第１の結合重みを決定し、前記２つの画素の一方が前記無彩色からなり、かつ、前記２つの画素の他方が前記有彩色からなると判定したとき、前記２つの画素のＲＧＢ値および彩度を用いて前記第２の結合重みを決定し、前記２つの画素の両方が前記有彩色からなると判定したとき、前記２つの画素のＲＧＢ値および色相を用いて前記第３の結合重みを決定する、請求項３に記載の画像分割装置。
【請求項６】
前記結合重み決定回路は、前記ＲＧＢ値のみを用いて前記第１の結合重みを演算するとともに、前記２つの画素の一方が前記無彩色からなり、かつ、前記２つの画素の他方が前記有彩色からなると判定したとき、前記演算した第１の結合重みを前記２つの画素の彩度の差である彩度差に応じて小さくすることにより前記第２の結合重みを決定し、前記２つの画素の両方が前記有彩色からなると判定したとき、前記２つの画素の色相の差である色相差に応じて前記第１の結合重みを大きくすることにより前記第３の結合重みを決定する、請求項５に記載の画像分割装置。
【請求項７】
前記結合重み決定回路は、前記２つの画素の両方が前記有彩色からなると判定したとき、前記２つの画素のＲＧＢ値に基づいて前記２つの画素の第１および第２の色相を演算するとともに、その演算した第１および第２の色相の差を前記色相差として演算し、その演算した色相差を用いて前記第３の結合重みを決定する、請求項６に記載の画像分割装置。
【請求項８】
前記結合重み決定回路は、加算器およびシフト器とを用いて前記２つの画素のＲＧＢ値に基づいて前記２つの画素の第１および第２の色相を演算する、請求項７に記載の画像分割装置。
【請求項９】
前記結合重み決定回路は、前記２つの画素の一方が前記無彩色からなり、かつ、前記２つの画素の他方が前記有彩色からなると判定した場合において、前記彩度差が相対的に小さいとき、前記第１の結合重みからの下げ幅を相対的に小さくして前記第２の結合重みを決定し、前記彩度差が相対的に大きいとき、前記第１の結合重みからの下げ幅を相対的に大きくして前記第２の結合重みを決定する、請求項６に記載の画像分割装置。
【請求項１０】
前記結合重み決定回路は、前記２つの画素のＲＧＢ値を用いて演算した２つの輝度の差と、前記彩度差と、前記第１の結合重みから前記彩度差に応じて小さくした修正結合重みとの対応表を保持しており、前記２つの画素の前記彩度差を演算すると、その演算した彩度差に対応する修正結合重みを前記対応表から抽出し、その抽出した修正結合重みを前記第２の結合重みとして決定する、請求項９に記載の画像分割装置。
【請求項１１】
前記結合重み決定回路は、前記２つの画素の両方が前記有彩色からなると判定した場合において、前記２つの画素のＲＧＢ値を用いて演算した２つの輝度の差が光の反射の影響を受けていることを示すとき、前記色相差に応じて前記第１の結合重み以上の値を設定して前記第３の結合重みを決定する、請求項６に記載の画像分割装置。
【請求項１２】
前記結合重み決定回路は、前記２つの画素のＲＧＢ値を用いて演算した２つの輝度の差が光の反射の影響を受けていないことを示すとき、前記第１の結合重みを前記第３の結合重みとして決定する、請求項１１に記載の画像分割装置。
【請求項１３】
前記結合重み決定回路は、前記２つの画素のＲＧＢ値を用いて演算した２つの輝度の差と、前記色相差と、前記第１の結合重みから前記色相差に応じて大きくした修正結合重みとの対応表を保持しており、前記２つの画素のＲＧＢ値を用いて演算した２つの輝度の差が光の反射の影響を受けていることを示すとき、前記２つの画素の前記色相差を演算すると、その演算した色相差に対応する修正結合重みを前記対応表から抽出し、その抽出した修正結合重みを前記第３の結合重みとして決定する、請求項１１に記載の画像分割装置。
【請求項１４】
２つの画素のＲＧＢ値を受付ける第１のステップと、
前記受付けられた２つの画素のＲＧＢ値に基づいて、前記２つの画素の第１および第２の色相を演算する第２のステップと、
前記受付けられた２つの画素のＲＧＢ値に基づいて、前記２つの画素の第１および第２の彩度を演算する第３のステップと、
前記第１および第２の彩度の両方が無彩色と無彩色との境界を示すしきい値以下であるか否かを判定する第４のステップと、
前記第４のステップにおいて、前記第１および第２の彩度の両方が前記しきい値以下であると判定されたとき、前記２つの画素のＲＧＢ値のみを用いて前記２つの画素間の結合重みである第１の結合重みを決定する第５のステップと、
前記第４のステップにおいて、前記第１および第２の彩度の一方が前記しきい値以下であると判定されたとき、前記２つの画素のＲＧＢ値と、前記第１および第２の彩度とを用いて前記第１の結合重みよりも小さい第２の結合重みを前記２つの画素間の結合重みとして決定する第６のステップと、
前記第４のステップにおいて、前記第１および第２の彩度の両方が前記しきい値よりも大きいと判定されたとき、前記２つの画素のＲＧＢ値と、前記第１および第２の色相とを用いて前記第１の結合重み以上の第３の結合重みを前記２つの画素間の結合重みとして決定する第７のステップと、
前記第１のステップから前記第７のステップを１つのフレームに含まれる全ての画素間について実行する第８のステップと、
前記第８のステップを実行して決定された第１から第３の結合重みに基づいて、前記１つのフレームを各対象物の画像に分割する第９のステップとを備える画像分割方法。
【請求項１５】
前記第６のステップは、
前記ＲＧＢ値のみを用いて前記第１の結合重みを演算する第１のサブステップと、
前記演算した第１の結合重みを前記２つの画素の彩度の差である彩度差に応じて小さくすることにより前記第２の結合重みを決定する第２のサブステップとを含み、
前記第７のステップは、
前記ＲＧＢ値のみを用いて第１の結合重みを演算する第３のサブステップと、
前記２つの画素が光の反射の影響を受けていることを示すとき、前記演算した第１の結合重みを前記２つの画素の色相の差である色相差に応じて大きくすることにより前記第３の結合重みを決定する第４のサブステップと、
前記２つの画素が光の反射の影響を受けていないことを示すとき、前記演算された第１の結合重みを前記第３の結合重みとして決定する第５のサブステップとを含む、請求項１４に記載の画像分割方法。
【請求項１６】
前記第２のサブステップにおいて、前記彩度差が相対的に小さいとき、前記第１の結合重みからの下げ幅を相対的に小さくして前記第２の結合重みを決定し、前記彩度差が相対的に大きいとき、前記第１の結合重みからの下げ幅を相対的に大きくして前記第２の結合重みを決定する、請求項１５に記載の画像分割方法。
【請求項１７】
前記光の反射の影響を受けている画素は、前記２つの画素のＲＧＢ値を用いて演算した２つの輝度の差が第１の値と前記第１の値よりも大きい第２の値との間で存在する画素である、請求項１５に記載の画像分割方法。
【国際調査報告】
2010013291.tif 000047
2010013291.tif 000048