(57)【要約】【課題】明暗のある背景中を移動する中間の明るさを持つ対象物体の２値画像処理が簡単な回路構成で可能な画像検出処理装置及び方法を提供する。【解決手段】本発明の画像検出処理装置は、光電変換を行い光入力に対応した電気信号を出力する光検出器（５）、光検出器から出力される電気信号に関して比較的大きい値及び小さい値の２つの閾値（Ｖ０、Ｖ１）の各々を境にして光検出器からの電気信号を“０”又は“１”の２値化信号に変換する変換器（７）、閾値の一方の値により変換された２値化信号と比較対象信号との論理積演算である第１演算処理、第１演算処理結果と閾値の他方の値により変換された２値化信号との論理積演算である第２演算処理を行う演算手段（１０、１２）を備えた画像検出処理要素（１−１乃至１−６４）の複数個が平面に格子配列される。【選択図】          図２
2004362461.tif 000002
【特許請求の範囲】
【請求項１】
光電変換を行い光入力に対応した電気信号を出力する光検出器と、
上記光検出器から出力される上記電気信号を明、暗の２つの閾値を選択的に用いて上記光検出器からの上記電気信号を“０”又は“１”の２値化信号に変換する変換器と、
上記閾値の一方の値により変換された２値化信号と比較対象信号との論理積演算により得た第１演算結果と、上記第１演算結果と上記閾値の他方の値により変換された２値化信号との論理積演算により得た第２演算結果を画素信号として出力する演算手段と
を備えた画像検出処理要素の複数個が平面上に格子配列されている画像検出処理装置。
【請求項２】
上記比較対象信号が、上記格子配列された自身、左右両隣及び上下両隣の上記画像検出処理要素の直前の上記画素信号の論理和をとった信号である請求項１に記載の画像検出処理装置。
【請求項３】
上記変換器は、上記閾値に対して明暗の一方を“１”として他方を“０”とした上記２値化信号と、上記閾値に対して明暗の他方を“１”として一方を“０”とした上記２値化信号とを選択的に出力する手段を備え、上記演算手段は、自身、左右両隣及び上下両隣の上記画像検出処理要素の直前の保持信号との論理和をとってなる上記比較信号と、自身の上記保持信号とを選択的に出力する選択手段と、当該選択手段の出力する上記保持信号と上記変換器の出力信号との論理積を新たな上記保持信号として保持する保持手段とを備える請求項１に記載の画像検出処理装置。
【請求項４】
上記画像検出処理要素がさらに上記演算手段の上記画素信号を入力として与えられる加算器を備え、上記格子配列された上記複数の画像検出処理要素の上記加算器を順次接続してなる累積加算器と、上記複数の画像検出処理要素の上記加算器の出力を選択的に上記累積加算器に入力せしめる制御回路と、上記光検出器によって検出される画像データに基づき上記累積加算器から出力される処理データが供給される出力部とを更に備えている請求項１乃至３の何れかに記載の画像検出処理装置。
【請求項５】
平面上に格子配列された複数の位置の各々において所定時間間隔で光入力を光電変換して対応した電気信号を出力するステップと、
明、暗２つの閾値を選択するステップと、
選択された上記閾値に基づいて上記電気信号をそれぞれ“０”又は“１”の２値化信号に変換するステップと、
明暗の一方の上記閾値で明暗の他方を“１”として２値化した上記２値化信号と、上記格子配列された自身、左右両隣及び上下両隣の直前の画素信号との論理積をとる第１演算処理ステップと、
上記明暗の他方の上記閾値で上記明暗の一方を“１”として２値化した上記２値化信号と、上記第１演算処理ステップの結果との論理積を上記自身の上記画素信号とする第２演算処理ステップと
を備えた画像検出処理方法。
【請求項６】
上記画素信号を上記格子配列の配列方向に沿って単純に加算するステップと、上記画素信号を上記格子配列の配列方向に沿って選択的に重み付け加算するステップとをさらに備えた請求項５に記載の画像検出処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、各種の制御装置や認識装置、情報入力装置に用いられる画像検出処理装置に関し、より詳細には、背景が対象物体よりも、明るい部分または暗い部分の一方だけの場合だけでなく両方が混在して構成されている場合にも、その中間階調を持つ対象物体を２値画像で検出する画像検出処理装置及びその方法に関する。
【０００２】
【従来の技術】
従来、特許文献１に開示されるような各種の制御機器、認識装置、情報処理装置にもちいられる画像検出処理装置が知られている。この画像検出処理装置は、光電変換を行なう光検出器と光検出器からの信号をデジタル変換する変換器とデジタル信号を入力する加算器とからなる画像検出処理要素の複数個が平面状に配列された画像検出装置であって、複数の画像検出処理要素の加算器を順次接続した累積加算器と、複数の画像検出処理要素のデジタル信号を選択的に累積加算器に入力させる制御回路と、検出器によって検出される画像データに基づき累積加算器から処理データが供給される出力部とを備えている。これにより、重心計算等の画像処理に必要な処理データをデータ転送時に生成可能にして高速処理を可能している。
【０００３】
【特許文献１】
特開平２００１−１９５５６４号公報
【０００４】
【発明が解決しようとする課題】
この特許文献１に開示された画像検出処理装置では、白又は黒の背景中に反対明度の黒又は白の対象物体が移動する場合について説明されている。しかし、明暗のある背景中を移動する中間の明るさを持つ対象物体の画像処理をするには、この特許文献１に開示された画像検出処理装置においては、明暗の多階調を表わす多値データで画像データを表示して処理することが必要になる。このため、明暗のある背景中を移動する中間の明るさを持つ対象物体の画像処理をするには、多値データを処理するため回路が複雑となるという問題点と処理速度が低下するという問題点がある。
【０００５】
すなわち、従来のものでは、対象物体よりも背景全体が明るいまたは暗いの場合でしか物体を捉えることができない。背景が物体よりも明るい部分と暗い部分の両方が混在する場合には、このままでは対応することが不可能である。一般的には、多値画像による複雑な処理ができる回路が必要になり、処理速度が損なわれる。
【０００６】
本願発明は、簡単な回路構成でもって明暗のある背景中を移動する中間の明るさを持つ対象物体の２値画像処理ができ、かつ高速に処理できる画像検出処理装置とその方法を提供することで、上記従来の問題点を解決する。
【０００７】
【課題を解決するための手段】
請求項１に記載の本発明は、光電変換を行い光入力に対応した電気信号を出力する光検出器と、上記光検出器から出力される上記電気信号を明、暗の２つの閾値を選択的に用いて上記光検出器からの上記電気信号を“０”又は“１”の２値化信号に変換する変換器と、上記閾値の一方の値により変換された２値化信号と比較対象信号との論理積演算により得た第１演算結果と、上記第１演算結果と上記閾値の他方の値により変換された２値化信号との論理積演算により得た第２演算結果を画素信号として出力する演算手段とを備えた画像検出処理要素の複数個が平面上に格子配列されている画像検出処理装置を提供する。
【０００８】
請求項１のかかる画像検出処理装置の構成によれば、光検出器からの出力信号を“０”又は“１”の２値化信号に変換するための明暗の閾値として、例えば、比較的大きい（明るい）値及び小さい（暗い）値の２つの閾値を選択的に使用して変換器が光検出器からの電気信号を２値化信号に変換する。従って、光検出器からの出力信号を多階調化のために多値化信号処理を行なう必要がなく、回路は２値化信号処理用のものが使用できて簡潔にできる。さらに、請求項１の構成によれば、第１演算結果を、閾値の一方の値により変換された２値化信号と比較対象信号との論理積演算から得て、そして第１演算結果と閾値の他方の値により変換された２値化信号との論理積演算から得た第２演算結果を画素信号とするという２つの論理積演算により、明暗のある背景中を移動する中間の明るさを持つ対象物体の画像処理を、簡潔な２値化回路の構成により行なうことが可能となる。回路構成が簡潔であるからそれだけ処理速度も高くできる。
【０００９】
請求項２に記載の本発明は、上記比較対象信号が、上記格子配列された自身、左右両隣及び上下両隣の上記画像検出処理要素の直前の上記画素信号の論理和をとった信号である請求項１に記載の画像検出処理装置を提供する。
【００１０】
請求項２のかかる画像検出処理装置の構成によれば、比較対象信号を、直前の画像検出処理による格子配列の自身、左右両隣及び上下両隣の画像検出処理要素の画素信号の論理和とすることにより、明暗のある背景中を移動する中間の明るさの対象物体の画像を背景と区別して抽出処理できる。
【００１１】
請求項３に記載の本発明は、上記変換器は、上記閾値に対して明暗の一方を“１”として他方を“０”とした上記２値化信号と、上記閾値に対して明暗の他方を“１”として一方を“０”とした上記２値化信号とを選択的に出力する手段を備え、上記演算手段は、自身、左右両隣及び上下両隣の上記画像検出処理要素の直前の保持信号との論理和をとってなる上記比較信号と、自身の上記保持信号とを選択的に出力する選択手段と、当該選択手段の出力する上記保持信号と上記変換器の出力信号との論理積を新たな上記保持信号として保持する保持手段とを備える請求項１に記載の画像検出処理装置を提供する。
【００１２】
請求項３のかかる画像検出処理装置によれば、構成が簡易であり、しかもこの構成にて、例えば、暗い方の閾値で明るい方を“１”として２値化した変換器からの２値化信号と、直前に保持手段に保持された比較信号との論理積をとって得た第１演演算結果を保持手段に保持した後、明い方の閾値で暗い方を“１”として２値化した変換器からの２値化信号と、直前に保持手段に保持された第１演演算結果との論理積をとって得た第２演演算結果を画素信号とするという簡潔な処理により、明暗のある背景中を移動する中間の明るさの対象物体の画像を背景と区別して抽出処理が実現できる。
【００１３】
請求項４に記載の本発明は、上記画像検出処理要素がさらに上記第２演算手段の出力を入力として与えられる加算器を備え、上記格子配列された上記複数の画像検出処理要素の上記加算器を順次接続してなる累積加算器と、上記複数の画像検出処理要素の上記加算器の出力を選択的に上記累積加算器に入力せしめる制御回路と、上記光検出器によって検出される画像データに基づき上記累積加算器から出力される処理データが供給される出力部とを更に備えている請求項１乃至３の何れかに記載の画像検出処理装置を提供する。
【００１４】
請求項４のかかる画像検出処理装置の構成によれば、画像検出処理要素がさらに画素信号を加算する加算器をさらに備え、格子配列された複数の画像処理要素の加算器を順次接続した累積加算器をさらに備え、制御回路によりこの累積加算器に選択的に画像検出処理要素の加算器からの出力を入力することで、光検出器が検出した対象物体の画像データの重心位置の計算に必要なデータを出力部から出力できる。従って、明暗のある背景中を移動する中間の明度を持つ対象物体の画像の重心位置を高速に計算することが可能となり、ロボット等の制御機械に応用できる。しかも、これらの構成をワンチップ化することで集積回路化も可能である。
【００１５】
請求項５に記載の本発明は、平面上に格子配列された複数の位置の各々において所定時間間隔で光入力を光電変換して対応した電気信号を出力するステップと、明、暗２つの閾値を選択するステップと、選択された上記閾値に基づいて上記電気信号をそれぞれ“０”又は“１”の２値化信号に変換するステップと、明暗の一方の上記閾値で明暗の他方を“１”として２値化した上記２値化信号と、上記格子配列された自身、左右両隣及び上下両隣の直前の画素信号との論理積をとる第１演算処理ステップと、上記明暗の他方の上記閾値で上記明暗の一方を“１”として２値化した上記２値化信号と、上記第１演算処理ステップの結果との論理積を上記自身の上記画素信号とする第２演算処理ステップとを備えた画像検出処理方法を提供する。
【００１６】
請求項５のかかる画像検出処理方法の構成によれば、平面上に格子配列された複数の位置の各々において所定時間間隔で光入力を光電変換して得られた電気信号を“０”又は“１”の２値化信号に変換するための閾値として、明、暗２つの閾値、例えば、比較的大きい（明るい）値及び小さい（暗い）値の２つのを使用する。そして、各々の閾値に基づいて電気信号を、明るい方を“１”、暗い方を“０”、または暗い方を“１”、明るい方を“０”と各ステップで切り替えつつ２値化信号に変換し、最初のステップでは２値化信号と比較信号と論理積をとり、その結果と次のステップの２値化信号との論理積を取って画素信号とすることにより、中間の明るさを持つ物体を抽出できる。このため、明暗のある背景中を移動する中間の明るさの対象物体を検出するために電気信号を多階調を表わす多値化信号処理を行なう必要がなく、回路として２値化信号用のものが使用できて簡潔になる。このため、明暗のある背景中を移動する中間の明るさを持つ対象物体の画像処理を高速に処理することができる。
【００１７】
請求項６に記載の本発明は、上記画素信号を上記格子配列の配列方向に沿って単純に加算するステップと、上記画素信号を上記格子配列の配列方向に沿って選択的に重み付け加算するステップとをさらに備えた請求項５に記載の画像検出処理方法を提供する。
【００１８】
請求項６のかかる画像検出処理装置の方法によれば、画素信号を格子配列の配列方向に沿って単純に加算するステップと、画素信号を格子配列の配列方向に沿って選択的に重み付け加算するステップとをさらに備えることで、対象物体の画像データの重心位置の計算に必要なデータを得ることができる。従って、明暗のある背景中を移動する中間の明度を持つ対象物体の画像の重心位置を高速に計算することが可能となり、ロボット等の制御機械に応用できる。
【００１９】
【発明の実施の形態】
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。図１は本発明による画像検出処理装置の一つの実施の形態を説明するための概略的な平面図である。
【００２０】
本実施の形態の画像検出処理装置は例えば、ロボットの視覚センサや自動車の衝突防止センサ、安全装置、半導体検査装置等において、入力される画像から、移動対象物体、前方車両、人体、半導体基板上の特定パターン等の対象物体（ターゲット）の２値化画像を抽出し、その位置情報、軌跡情報等を得る処理に用いるものであり、２値化画像データを転送とともに、例えば移動する対象物体（ターゲット）の画像の重心位置の計算に用いられる面積（０次モーメント）、１次モーメントの算出に必要な処理デ−タを前加工して出力するものである。外部の処理プロセッサはこの前加工された処理データを用いて位置情報、軌跡情報等を得ることができ、全体として処理速度の向上が可能となる。
【００２１】
図１において、１−１乃至１−６４は画像検出処理要素であり、８×８個の格子配列（アレイ）構造として平面的に配置されていて、この上に図示しない適当な光学系により明暗のある背景中を移動する中間の明度を持つ対象物体が結像されて、８×８個の画素からなる入力画像を発生できる。なお、この画像検出処理要素の数は用途に応じて適宜選択できる。各画像検出処理要素は、図２と図３を参照して後述するように、光検出器と光検出器からの電気信号を閾値に基づいて“０”と“１”の２値化信号に変換する変換器とを備えていて、明暗のある背景中を移動する中間の明度の対象物体の画像を背景から抽出処理できるようになっている。
【００２２】
各画像検出処理要素は、その上下左右に隣接する４個の画像検出処理要素に対して上記２値化信号をターゲット画像信号として出力する。例えば、画像検出処理要素１−１１は画像検出処理要素１−３、１−１０、１−１２、１−１９に対して、上記２値化信号をターゲット画像信号として出力する。また、画像検出処理要素では、その４個の画像検出処理要素からのターゲット画像信号とそれ自身のターゲット画像信号とに基づいてターゲットを背景から抽出するためのウィンドウ画像信号を生成する。
【００２３】
また、各画像検出処理要素は後述する第１の加算器を含み、各画像検出処理要素の第１の加算器はその右隣の画像検出処理要素の第１の加算器と接続され、例えば、画像検出処理要素１−１１の第１の加算器の出力は画像検出処理要素１−１２の第１の加算器に入力される。このように行毎の画像検出処理要素の第１の加算器は順次接続されて第１の累積加算器を構成している。
【００２４】
各画像検出処理要素に対しては、共通信号としてＣＬＯＣＫ１、ＣＬＯＣＫ２、ＬＯＡＤ、ＳＥＬの各信号が入力される。クロック信号ＣＬＯＣＫ１、信号ＬＯＡＤは初期画像設定用である。なお、クロック信号ＣＬＯＣＫ１は後述のように本実施の形態の中間の明度を持つ移動する対象物体を明暗のある背景から抽出するためにも使用される信号である。例えば、クロック信号ＣＬＯＣＫ１は周波数２０ＭＨｚ〜１００ＭＨｚ程度のクロック信号である。クロック信号ＣＬＯＣＫ２、信号ＳＥＬは画像演算用の信号であり、例えば、クロック信号ＣＬＯＣＫ２は周波数１ＭＨｚ〜１０ＭＨｚ程度のクロック信号である。
【００２５】
２−１乃至２−８は第２の加算器としての直列型加算器で、画像検出処理要素の行ごとに配置され、対応する画像検出処理要素からの出力を一方の入力に受ける。また、各直列型加算器の出力は順次下側に隣接する直列型加算器の他方の入力に接続されて第２の累積加算回路を構成する。本実施の形態では、画像検出処理要素１−１乃至１−８に対して直列型加算器２−１が対応し、画像検出処理要素１−８の出力が直列型加算器２−１の一方の入力に接続される。直列型加算器２−１の出力は、直列型加算器２−２の他方の入力に接続される。直列型加算器２−８の出力が全体の出力信号となっており、光検出器によって検出される画像データに基づく処理データが供給される出力部を構成する。それぞれの直列型加算器の構成の詳細については、後述する。
【００２６】
３は行デコーダ回路で、本実施の形態では、図示しないが４本の行選択信号により、Ｙ０〜Ｙ７までの出力信号を制御する。４は列デコーダ回路で、本実施の形態では、図示しないが４本の列選択信号により、Ｘ０〜Ｘ７までの出力信号を制御するものであり、選択信号の設定は行デコーダ３回路と同様である。これら行デコーダ回路３、列デコーダ回路４は画像検出処理要素のターゲット画像信号を選択的に第１の累積加算器に入力せしめる制御回路を構成する。本実施の形態では画像検出処理要素の選択は、図示しない外部のホストから行デコーダ回路３、列デコーダ４回路に選択パターンをダウンロードすることによって行うこととするが、これに限るものではない。例えば、画像検出処理要素と共にＲＯＭを１チップに集積化し、ＲＯＭに目的の画像演算に応じた選択パターンを記憶させて画像検出処理要素の選択に用いても良いし、外部からの制御信号に応答して選択パターンを発生させるデコーダを設けても良い。
【００２７】
次に、図２を参照して本実施の形態による各画像検出処理要素１−１乃至１−６４の構成の詳細について説明する。５は光検出器としての光電変換部であり、フォトダイオードからなり、入射した光の強さに応じた信号を出力する。６は電圧保持部であり、光検出器５からの電気信号出力の電圧を保持する。７は変換器として電気信号の２値化を行なう変換回路であり、コンパレータからなり、光電変換部５からの入射光に応じた電気信号を電圧保持部６を介して入力し、“０”又は“１”のいずれかの値に変換して２値化する。本実施の形態では、大小の２つの閾値Ｖ１及びＶ０の各々と比較して、閾値より明るいときに“１”の信号を出力し、閾値より暗いときに“０”の信号を出力する。
【００２８】
本実施の形態では、２つの閾値Ｖ０、Ｖ１の内、より小さい方の閾値Ｖ０はより暗い光量に対応し、より大きい方の閾値Ｖ１はより明るい光量に対応している。光電変換部５に入力した光量に応じた電気信号を、閾値Ｖ０を用いて変換回路７により２値化された２値データは、入力画像の中で明度のより明るい部分に着目して２値化してデータであり、閾値Ｖ１を用いて変換回路７により２値化された２値データは入力画像の中で明度のより暗い部分に着目して２値化したデータである。この２つの閾値Ｖ０、Ｖ１によりそれぞれ２値化されたデータは、２値化変換回路７からそれぞれセレクタ９に出力される。この際、２値化変換回路７は、閾値Ｖ１により２値化されたデータはそのまま出力するのではなく、“０”と“１”を反転して出力する。セレクタ９は、セレクタ９の制御信号ＢＷの値に応じて、変換回路７から入力された閾値Ｖ０及びＶ１の各々を使用して２値化されたデータの一方を選択して、出力信号Ｂとして出力することができる。なお、詳しく述べないが、外部信号ＶＲＥＦによって任意の閾値を２値化回路に設定でき、閾値Ｖ０及びＶ１は固定ではなく対象物体と背景に合わせて設定できる。
【００２９】
１０は論理積（ＡＮＤ）回路であり、セレクタ９からの２値化された信号Ｂと後述する５入力論理和（ＯＲ）回路１２からの信号Ｉが共に“１”であるときのみ、“１”の信号を出力するが、それ以外のときは“０”を出力する。この論理積回路１０と５入力論理和回路１２は後述するようにＣＬＯＣＫ１のクロックサイクルに応じて本実施の形態の第１演算処理又は第２演算処理を行う演算手段を構成する。１３はマルチプレクサであり、本実施の形態では、図１の信号ＬＯＡＤが“Ｈ”（又は“１”をいう、以下、同じ）のとき、論理積回路１０からの信号を出力し、“Ｌ”（又は“０”をいう、以下、同じ）のとき、後述する別の論理積回路１１からの信号を出力する。１４はフリップフロップ回路でマルチプレクサ１３の信号を図１のクロック信号ＣＬＯＣＫ１（又はＣＬＫ１という）により取り込んで出力する。
【００３０】
フリップフロップ回路１４の出力は、同じ画像検出処理要素内の５入力論理和回路１２に出力されるとともに左右及び上下に隣接する４個の画像検出処理要素内の５入力論理和回路１２にも出力されており、５入力論理和回路１２からウィンドウ画像信号が出力される。
【００３１】
この５入力論理和回路１２の詳細を図３に示す。図３において、１２ａは５入力論理和回路本体であってウィンドウ画像を生成する元となる２値化画像を生成するため、左右及び上下の４つの隣接する画像検出処理要素のフリップフロップ１４の出力（Ｇ（ｘ、ｙ＋１）、Ｇ（ｘ、ｙ−１）、Ｇ（ｘ＋１、ｙ）、Ｇ（ｘ−１、ｙ））及び自身の画像検出処理要素のフリップフロップ１４からの出力Ｇ（ｘ、ｙ）が入力されている。例えば、画像検出処理要素１−１１では、画像検出処理要素１−３、１−１０、１−１２、１−１９内の各フリップフロップ回路１４の出力と画像検出処理要素１−１１自身のフリップフロップ回路１４の出力が入力となり、どれかひとつ以上が“１”のときに５入力論理和回路本体１２ａの出力が“１”となる。１２ｂはセレクタであり、５入力論理和回路本体１２ａからの出力及び自身の画像検出処理要素のフリップフロップ回路１４からの出力が入力されており、制御信号ＩＮＦの値に応じて、５入力論理和回路１２ａからの出力又は自身の画像検出処理要素のフリップフロップ回路１４からの出力のいずれかを選択して出力する。制御信号ＩＮＦは言い換えれば、ウィンドウ画像を一画素膨らませるか、そのままかを選択するものである。ウィンドウ画像の生成を繰り返し行えば、繰り返し毎にウィンドウ画像を一画素膨らませることができ、対象物の動きが速い場合はウィンドウ画像を広げることで対象物をウィンドウ内に捕らえることができる。
【００３２】
すなわち、制御信号ＩＮＦの値に応じて、比較対象信号としてのウィンドウ画像を生成する直前演算結果で得られた左右及び上下の４つの隣接する画像検出処理要素のフリップフロップ１４回路の出力及び自身の画像検出処理要素のフリップフロップ回路１４の出力の論理和の信号が５入力論理和回路１２から論理積回路１０に入力する。そして、論理積回路１０においてセレクタ９から制御信号ＢＷの値に応じて選ばれた２つの閾値の１つ、Ｖ０、により２値化されたデータと論理積（ＡＮＤ）演算が行なわれる。この論理積演算結果は、マルチプレクサ１３を介してフリップフロップ回路１４にクロック信号ＣＬＫ１により入力される。次に、５入力論理和回路１２の制御信号ＩＮＦの値が変化して、５入力論理和回路１２からは、直前のＣＬＫ１信号により自身の画像検出処理要素のフリップフロップ１４により保持された出力のみがセレクタ１２ｂにより選択されて出力して論理積回路１０に入力する。そして、セレクタ９の制御信号ＢＷの値が変化して、セレクタ９からは前とは異なる方の閾値Ｖ１により２値化されたデータが論理積回路１０に入力して論理積（ＡＮＤ）演算が行なわれる。この論理積演算結果は、マルチプレクサ１３を介してフリップフロップ回路１４にクロック信号ＣＬＫ１により入力される。このように、論理積回路１０は、ＣＬＫ１のクロックサイクルに応じて、５入力論理和回路１２と共に第１演算処理及び第２演算処理を実行する。
【００３３】
次に、図４を図２と図３に併せて参照して、本実施の形態の画像検出処理要素１−１乃至１−６４の動作を詳細に説明する。例えば、今回の画像処理サイクルにおいて、図４（ａ）に示すような入力画像４０が、複数の画像検出処理要素１−１乃至１−６４に入力したと仮定する。図４（ａ）中、左半分４１と右半分４２はそれぞれ異なる明度を持つ背景で、左半分４１が明るくて明度が高く、右半分４２が暗くて明度が低い背景である。この入力画像４０には背景４１、４２中を右から左に移動する中間の明度を持つ対象物体４３の画像が含まれている。入力画像４０の左側に示される図４（ｅ）には、前回の画像処理サイクルにおいて入力された入力画像４０’が示されている。今回の画像処理サイクルの入力画像４０中の点線は、前回の画像処理サイクルの入力画像４０’における移動対象物体４３の位置を示す。前回の画像処理サイクルの入力画像４０’中の大小２つの点線は、小さい点線は今回の画像処理サイクルの入力画像４０における移動対象物体４３の位置を示し、大きい点線は移動対象物体の画像を１画素拡張した後のウィンドウ画像を示す。
【００３４】
図４（ｂ）は図４（ａ）の入力画像４０の明度（明るさ）を縦軸に、Ｘ座標を横軸に示すグラフである。本実施の形態では、閾値入力器８が外部信号ＶＲＥＦに応じて閾値として比較的小さい値Ｖ０と比較的大きい値Ｖ１の２つを２値化回路に設定する。この２つの閾値Ｖ０とＶ１の値の大きさは、入力画像に応じて選択でき、本実施の形態では、入力画像中で中間の明度を持つ対象物体４３を間に挟んだ下限値Ｖ０と上限値Ｖ１が選ばれている。
【００３５】
図４（ｃ）は、閾値Ｖ０を使用して２値化変換回路７が入力画像４０の電気信号を、“０”と“１”に２値化した結果を示す。すなわち、閾値Ｖ０を境にしてこれよりも入力画像４０の明度が低くければ“０”に変換され、高ければ“１”に変換される。図４（ｃ）においては、“０”に変換された部分を「白」、“１”に変換された部分を「黒」で示す。このように閾値Ｖ０を用いて変換回路７により２値化された２値データは、入力画像４０中で明度のより明るい部分に着目して２値化してデータである。この閾値Ｖ０を使用して２値化されたデータは、制御信号ＢＷが“０”の値の時にセレクタ９から選択されて論理積回路１０へ出力される。このため、図４（ｃ）のデータをＢ０と表わす。
【００３６】
図４（ｄ）は、２値化変換回路７が入力画像４０の電気信号を閾値Ｖ１を使用して“０”と“１”に２値化した後、“０”と“１”を反転した結果を示す。すなわち、閾値Ｖ１を境にしてこれよりも入力画像４０の明度が低くければ“０”、高ければ“１”に変換して、その後に“０”と“１”を反転した結果である。図４（ｄ）においては、“０”に変換された部分を「白」、“１”に変換された部分を「黒」で示す。このように閾値Ｖ１を用いて変換回路７により２値化された２値データは、入力画像４０中で明度のより暗い部分に着目して２値化してデータである。閾値Ｖ１を使用して２値化されたデータは、制御信号ＢＷが“１”の値の時にセレクタ９から選択されて論理積回路１０へ出力される。このため、図４（ｄ）のデータをＢ１と表わす。
【００３７】
図４（ｅ）は前述したように前回の画像処理サイクルで入力した画像４０’を示す。図４（ｆ）はこの前回の画像処理サイクルで得られた対象物体４３の画像を背景から抽出した２値画像であり、“１”のデータが「黒」で示され、“０”のデータが「白」で示されている。この図４（ｆ）のデータは、フリップフロップ回路１４に保持されていて、今回の画像処理サイクルにおいてフリップフロップ回路１４から出力されるデータＴ０として表わされる。なお、最初の画像処理サイクルにおいて、図４（ｆ）に示されるような対象物体４３の前回の２値画像がないため、前述したようにＬＯＡＤ信号により対象物体４３に相当する画像データがマルチプレクサ１３に論理積回路１１から直接ロードされ、フリップフロップ回路１４に保持される。
【００３８】
図４（ｇ）は、図４（ｆ）のデータＴ０を５入力論理和回路本体１２ａにより１画素分だけ拡張したデータＩ０であり、制御信号ＩＮＦの値に応じてセレクタ１２ｂから出力される。このデータＩ０は論理積回路１０に入力されて、セレクタ９から論理積回路１０に入力される図４（ｃ）に示される２値化データＢ０と論理積（ＡＮＤ）演算処理される。この論理積（ＡＮＤ）演算処理の結果が、図４（ｈ）に示されている。この図４（ｈ）に示された論理積（ＡＮＤ）演算処理の結果のデータは、フリップフロップ１４に保持され、データＴ１として出力される。
【００３９】
次ぎの操作では、５入力論理和回路１２は、制御信号ＩＮＦがセレクタ１２ｂから自身の画像検出処理要素のフリップフロップ１４からの出力のみを選択して出力する。従って、５入力論理和回路１２からは図４（ｈ）に示されたデータＴ１が出力Ｉとして出力される。論理積回路１０は、このデータＴ１とセレクタ９から出力される閾値Ｖ１で２値化されて反転されたデータＢ１との論理積（ＡＮＤ）演算処理を行なう。
【００４０】
図４（ｉ）は、この論理積（ＡＮＤ）演算処理の結果を示す。この論理積（ＡＮＤ）演算処理の結果はデータＴ２として示され、フリップフロップ１４に保持される。このデータＴ２が今回の画像処理サイクルによって得られた移動する対象物体の画像を背景から抽出した２値画像（“１”が「黒」、“０”が「白」で示されている）である。このデータＴ２に示すように、明暗のある背景中を移動する中間の明度の対象物体の画像４３を抽出することができ、後述の重心位置演算のために使用することができる。
【００４１】
次に、図５のフローチャートを参照して、図４を参照して説明した本実施の形態による中間の明るさを持つ物体を背景から抽出して追跡するための画像処理方法を再び説明する。最初に、上述したように２つの閾値Ｖ０とＶ１が設定される。そして、移動する対象物体を背景から抽出したターゲットの２値画像Ｔと、その膨張画像（比較対象信号）Ｉと、２つの閾値Ｖ０とＶ１の各々で２値化された入力画像Ｂとを初期設定する（ステップ５０１）。ターゲットＴ０の２値画像を初期化する（ステップ５０２）。前述のように、最初はマルチプレクサ１３へのＬＯＡＤ信号が“１”となることによりターゲットの２値画像データＴ０を論理積回路１１からロードしてフリップフロップ回路１４に保持する。次に、露光が行なわれる（ステップ５０３）。そして、低い方の閾値（ＶＲＥＦ）Ｖ０を使用して２値化された入力画像Ｂ０が制御信号ＢＷ＝０によりセレクタ９から選択されて出力される（ステップ５０４）。フリップフロップ回路１４にて保持されているターゲットの２値画像Ｔ０を５入力論理和回路本体１２ａで１画素分だけ拡張して得られた膨張画像Ｉ０を、制御信号ＩＮＦ＝１によりセレクタ１２ｂから選択して比較対象信号として出力する（ステップ５０５）。この比較対象信号としての膨張画像Ｉ０は論理積回路１０において、２値化された入力画像Ｂ０と論理積（ＡＮＤ）演算処理されて、その結果のターゲットの２値化データＴ１がフリップフロップ回路１４に保持される（ステップ５０６）。
【００４２】
もし、対象物体の移動速度が速くて、対象物体の画像が次ぎの画像処理サイクルまでに２画素以上動く場合は、その移動画素数分だけ点線で示されたループを繰り返す。
【００４３】
次に、高い方の閾値（ＶＲＥＦ）Ｖ１を使用して２値化されてその後に反転された入力画像Ｂ１が、制御信号ＢＷ＝１によりセレクタ９で選択されて論理積回路１０へ出力される（ステップ５０７）。そして、５入力論理和回路１２からは、自身の画像検出処理要素のフリップフロップ回路１４からの出力Ｔ１がセレクタ１２ｂの制御信号ＩＮＦ＝０により論理積回路１０へ出力される（ステップ５０８）。そして、論理積回路１０において、２値化された入力画像データＢ１とデータＴ１の論理積（ＡＮＤ）演算処理が行なわれて、ターゲットの２値化画像Ｔ２が得られて、フリップフロップ回路１４に保持される。そして、このターゲットの２値化画像Ｔ２を使用して次ぎの画像処理サイクルが繰り返される。この２値化画像Ｔ２は、中間の明度を持つ移動する対象物体を明暗のある背景から抽出した画像であり、後述するように、対象物体画像の重心演算処理に使用される。
【００４４】
次に図６を参照して、各画像検出処理要素１−１乃至１−６４に含まれる加算器６６を説明する。６０は論理積回路であり、第２図のフリップフロップ回路１４の出力と論理積回路１１の出力が共に“１”であったときに“１”の信号を出力する。論理積回路１１は、制御回路としての行デコーダ３の出力と制御回路としての列デコーダ４の出力が共に“１”であったとき、“１”の信号を出力する。例えば、画像検出処理要素１−１１では、行デコーダ３の出力Ｙ１と列デコーダ４の出力Ｘ２がともに“１”であった場合に“１”の信号を出力する。
【００４５】
６３はマルチプレクサで、この実施例では、図１の信号ＳＥＬが“Ｈ”のとき、論理積回路６０からの信号を出力し、“Ｌ”のときに後述するフリップフロップ回路６４の信号を出力する。フリップフロップ回路６４は、後述する加算回路６５のＣＡＲＲＹ信号を図１のクロック信号ＣＬＯＣＫ２により取り込んで出力する。半加算器からなる加算回路６５は、マルチプレクサ６３の出力と隣接する画像検出処理要素の半加算回路のＳＵＭ信号との算術和を算出し、ＳＵＭ信号とＣＡＲＲＹ信号を出力する。例えば、画像検出処理要素１−１１では、マルチプレクサ６３の出力と画像検出処理要素１−１０における加算回路６５のＳＵＭ信号とが、共に“Ｌ”であればＳＵＭ信号及びＣＡＲＲＹ信号がともに“Ｌ”となり、一方が“Ｌ”で他方が“Ｈ”であればＳＵＭ信号が“Ｈ”、ＣＡＲＲＹ信号が“Ｌ”となり、共に“Ｈ”であればＳＵＭ信号が“Ｌ”、ＣＡＲＲＹ信号が“Ｈ”となる。論理積回路６０、論理積回路１１、マルチプレクサ６３、フリップフロップ６４、加算回路６５から第１の加算器６６が構成されている。前述した通り、行毎の画像検出処理要素の第１の加算器６６は順次接続されて第１の累積加算器を構成している。なお、“Ｈ”＝“１”、“Ｌ”＝“０”とも表す。
【００４６】
次に図７を参照して、直列型加算器２−１乃至２−８の構成の詳細について説明する。図７は直列型加算器の１つ、例えば２−２を示す。７６は全加算器からなる加算回路で、上記画像検出処理要素のＳＵＭ信号と後述するフリップフロップ回路７７と前段の加算回路７６のＳＵＭ信号との算術加算演算を行い、ＳＵＭ信号とＣＡＲＲＹ信号とを出力する。例えば、直列型加算器２−２の場合、画像検出処理要素１−１６の出力と直列型加算器２−１の出力とフリップフロップ回路７７の出力とを入力とし、ＳＵＭ信号は２−３の直列型加算器に出力され、ＣＡＲＲＹ信号はフリップフロップ回路７７に出力される。加算回路７６は３つの入力の状態が、すべて“Ｌ”のときにはＳＵＭ信号及びＣＡＲＲＹ信号がともに“Ｌ”となり、何れか一つだけ“Ｈ”のときにはＳＵＭ信号が“Ｈ”、ＣＡＲＲＹ信号が“Ｌ”となり、二つが“Ｈ”のときにはＳＵＭ信号が“Ｌ”、ＣＡＲＲＹ信号が“Ｈ”となり、全てが“Ｈ”のときにはＳＵＭ信号及びＣＡＲＲＹ信号がともに“Ｈ”となる。７７はフリップフロップ回路であり、加算回路７６のＣＡＲＲＹ信号を上述のクロック信号ＣＬＯＣＫ２により取り込んで出力する。
【００４７】
次に、図８を参照して、前述したように明暗のある背景中を移動する中間の明度を持つ対象物体の２値化画像を背景から抽出した後、対象物体の画像の重心位置を計算する動作を説明する。例えば、背景から抽出された対象物体の２値化画像を図８（ａ）とする。図８（ａ）中の「黒」は対象物体を表わす２値化画像の“１”の画素に該当する。対象物体の画像の重心位置は、画面中の対象物体画像の“１”の値を持つ画素を単純に加算して得られる面積（０次モーメント）と、画素の“１”に画面のＹ軸（縦軸）又はＸ軸（横軸）からの距離（画素の列番号又は行番号から得られる）を重み付けとして掛け合わせて加算して求められるＹ軸及びＸ軸回りの１次モーメントとの値に基づいて計算することができる。
【００４８】
対象物体画像の面積（０次モーメント）は、図８（ａ）の画面の各行ごとに各画像検出処理要素１−１乃至１−６４に含まれる加算器６６による累積加算の値を、直列型加算器２−１乃至２−８で加算すれば、最後の直列加算器２−８からは背景から抽出された対象物体の画面の画素“１”の総和（８）として面積（０次モーメント）が出力される。
【００４９】
対象物体画像の例えばＸ（横）軸回りの１次モーメントは、図８（ｂ）の縦（Ｙ）軸に示される行番号０乃至７をＸ（横）軸からの距離（重み付け、同図では座標加重として示す）として使用する。そして、各画像検出処理要素１−１乃至１−６４に含まれる加算器６６による各行ごとの累積加算の部分和（０、０、１、３、３、１、０、０）を、制御回路としての行デコーダ回路３及び制御回路としての列デコーダ回路４の操作により、直列型加算器２−１乃至２−８のそれぞれに取り出して出力する。そして、部分和にそれぞれの行番号０乃至７を重み付けとして掛ける計算をし、総和を得ることにより、Ｘ軸回りの１次モーメントが計算される（すなわち、０＋０＋２＋９＋１２＋５＋０＋０＝２８）。Ｙ軸回りの１次モーメントも同様にして計算される。これらのデータより、背景から抽出された移動対象物体の画像の重心位置を求めることができる。なお、前述の面積（０次モーメント）と１次モーメントの計算動作は特許文献１に詳述されているものと同じである。
【００５０】
また、１次モーメントの計算動作のより好ましい手法は、図８（ｃ）に示されるように行番号１、３、５及び７に対応する各画像検出処理要素１−１乃至１−６４に含まれる加算器６６による各行ごとの累積加算の部分和（すなわち、図８（ａ）に示す対象物では４）、行番号２、３、６及び７に対応する各画像検出処理要素１−１乃至１−６４に含まれる加算器６６による各行ごとの累積加算の部分和（すなわち、同じく４）、行番号４乃至７に対応する各画像検出処理要素１−１乃至１−６４に含まれる加算器６６による各行ごとの累積加算の部分和（すなわち、同じく４）を求め、これらにそれぞれ１、２、４の重み付け（同図ではビット加重として示す）を掛ける計算をし、総和を得ることにより、Ｘ軸回りの１次モーメントを得るようにすれば、画像検出処理装置からの部分和の出力は３回ですみ、また、１、２、４の重み付けを掛ける計算は、２進数ではシフトに置き換えられるため掛け算が不要で単純であるので、さらに高速な処理が可能となる。
【００５１】
以上のように求められた移動対象物体の画像の重心位置は移動対象物体を追跡して制御するために、他の情報機器及び制御機器に利用される。例えば、図９に示すように、ロボット９０の視覚センサ９１に使用して飛んで来るボール９２をロボット９０の腕９３で正確にキャッチするような応用に、本発明の画像検出処理装置をボール９２の重心位置を計算するためにロボット制御装置９４に利用できる。
【００５２】
【発明の効果】
以上説明したように、本発明の画像検出処理装置又は方法によれば、明暗のある背景中を移動する中間の明るさを持つ対象物体の画像処理を、簡潔な２値化回路の構成により行なうことが可能となる。画像検出処理装置の回路構成が簡潔であるから、それだけ処理速度も高くすることができる。そして、本発明の画像検出処理装置又は方法によれば、簡潔な回路構成で、明暗のある背景中を移動する中間の明るさの対象物体の画像を背景と区別して２値化画像として抽出できて対象物体の検出が容易となり、さらに移動する対象物体の画像の重心位置を高速に計算することが可能となり、ロボット等の制御機械やターゲット追跡制御装置などの広範囲の制御装置や衝突防止装置などの安全装置に応用できる。例えば、ロボットの視覚センサに使用して飛んで来るボールをロボットの腕で正確にキャッチするような場合に利用できる。しかも、これらの構成をワンチップ化して集積回路化にして小型化することも可能である。
【図面の簡単な説明】
【図１】本発明の１つの実施の形態による画像検出処理装置の構成を説明する概略的な平面図。
【図２】図１に示す画像検出処理装置の画像検出処理要素の要部を説明するためのブロック図。
【図３】図２に示す画像検出処理要素の一部を説明するためのブロック図。
【図４】図２に示す本発明の１つの実施の形態の画像検出処理要素の動作を説明するための対象物体の多階調の入力画像と背景から抽出された２値画像の関係を説明する図。
【図５】図４に示す本発明の１つの実施の形態の画像検出処理要素の動作を説明するフローチャート。
【図６】図２の画像検出処理要素の残部の加算器を説明するためのブロック図。
【図７】図１に示す画像検出処理装置の直列型加算器を説明するためのブロック図。
【図８】本発明の１つの実施の形態による画像検出処理装置による対象物体画像の重心位置の計算方法を説明するための図。
【図９】本発明の１つの実施の形態による画像検出処理装置の応用例のロボットの構成を示す図。
【符号の説明】
１−１乃至１−６４  画像検出処理要素
２−１乃至２−８    直列型加算器
３                  行デコーダ回路（制御回路）
４                  列デコーダ回路（制御回路）
５                  光電変換部（光検出器）
６                  電圧保持部
７                  ２値化変換回路（変換器）
８                  閾値入力器
９                  セレクタ
１０                論理積回路（演算手段）
１１                論理積回路
１２                ５入力論理和回路（演算手段）
１３                マルチプレクサ
１４                フリップフロップ回路
６５                加算回路
６６                第１の加算器（第１の累積加算器）
７６                加算回路（第２の加算器、第２の累積加算器）
【図１】
2004362461.tif 000003
【図２】
2004362461.tif 000004
【図３】
2004362461.tif 000005
【図４】
2004362461.tif 000006
【図５】
2004362461.tif 000007
【図６】
2004362461.tif 000008
【図７】
2004362461.tif 000009
【図８】
2004362461.tif 000010
【図９】
2004362461.tif 000011