(57)【要約】【課題】比較的広範囲の領域を映す入力画像データの表示状態を入力画像データから高精度かつ高速に判断して検出できる画像検出処理装置を提供する。【解決手段】本発明の画像検出処理装置は、光電変換を行う光検出器と光検出器からの信号をデジタル信号に変換する変換器とデジタル信号を入力する加算器とからなる画像検出処理要素１−１乃至１−６４が平面上に配列された画像検出処理装置であって、光電変換のしきい値を変えながら、行、列デコーダ回路３、４の制御によって複数の画像検出処理要素の加算器を順次接続した第１の累積加算器に複数の画像検出処理要素のデジタル信号を入力し、判断手段１Ａによって第１の累積加算器に接続された第２の累積加算器からの入力画像データの明度を表わす出力データの分布状態に基づいて入力画像データの表示状態を判断することにより、高精度かつ高速な判断処理を実現する。【選択図】          図７
2004362463.tif 000002
【特許請求の範囲】
【請求項１】
光電変換を行う光検出器と上記光検出器からの信号をデジタル信号に変換する変換器と上記デジタル信号を入力可能とした加算器とからなる画像検出処理要素の複数個が平面上に配列されてなる画像検出処理装置であって、
上記複数の画像検出処理要素の上記加算器を順次接続してなる累積加算器と、
上記複数の画像検出処理要素の上記デジタル信号を選択的に上記累積加算器に入力せしめる制御回路と、
上記光検出器によって検出され上記累積加算器から出力される画像データの明度を表わす出力データの分布状態に基づいて上記画像データの表示状態を判断する判断手段と
を更に備えていることを特徴とする画像検出処理装置。
【請求項２】
上記判断手段が、上記明度を表わす上記出力データの分布状態の分散の度合いを測定し、上記分散の度合いが高い場合に上記画像データが異常状態を表示していると判断する請求項１に記載の画像検出処理装置。
【請求項３】
上記変換器が上記光検出器からの上記信号を複数の閾値の各々に基づいて２値化信号に変換して、上記累積加算器が上記画像データの明度を表わす上記出力データを上記２値化信号の和として出力し、上記判断手段が上記閾値の毎の上記和の差を求めて上記差から上記分布状態を得る請求項１又は２のいずれかに記載の画像検出処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、各種の制御機器や認識装置、安全装置等に用いられる画像検出処理装置に関し、さらに詳しくは、入力された画像データの表示状態、例えば、正常状態又は何らかの異常状態を表示しているか、を自動的に判断することのできる画像検出処理装置に関する。
【０００２】
【従来の技術】
従来より、危険な工作機械等では、光線式安全装置などを設けて作業員の手等が光線を遮ると、光線式安全装置のセンサが反応して危険区域に人体が入ったことを検出して機械の動作を停止するようになっているものがある。しかし、光線式安全装置では、限られた場所、すなわち、線上でしか人体を検出できない。最も広い範囲において、手等の人体が危険区域に入っているかどうかを画像データから高精度かつ高速に自動的に検出することが望まれる。
【０００３】
一方、特許文献１には、平面上に配された複数の画像検出処理要素を含んだ画像検出処理装置が開示されている。この画像検出処理装置に移動する対象物体の画像が入力されると、対象物体の２値画像を背景画像から抽出してその対象物体の画像面積とその重心座標を高速に計算できる。しかし、この特許文献１には、入力画像データが正常状態を表示しているのか又は何らかの異常状態を表示しているのか、例えば、入力画像データから危険区域内に手等の人体の一部が入っている異常状態なのか、どうかを高精度で自動的に判断することは開示されていない。
【０００４】
【特許文献１】
特開２００１−１９５５６４公報
【０００５】
【発明が解決しようとする課題】
従って、比較的広範囲の領域を映す入力画像データの表示状態、例えば、正常状態を表示しているのか又は異常状態を表示しているのか、を入力画像データから高精度に判断して検出することができる画像検出処理装置を提供することを目的としている。
【０００６】
【課題を解決するための手段】
請求項１に記載の本発明によれば、光電変換を行う光検出器と上記光検出器からの信号をデジタル信号に変換する変換器と上記デジタル信号を入力可能とした加算器とからなる画像検出処理要素の複数個が平面上に配列されてなる画像検出処理装置であって、上記複数の画像検出処理要素の上記加算器を順次接続してなる累積加算器と、上記複数の画像検出処理要素の上記デジタル信号を選択的に上記累積加算器に入力せしめる制御回路と、上記光検出器によって検出され上記累積加算器から出力される画像データの明度を表わす出力データの分布状態に基づいて上記画像データの表示状態を判断する判断手段とを更に備えていることを特徴とする画像検出処理装置が提供される。
【０００７】
この請求項１にかかる画像検出処理装置によれば、平面上に配列された複数の画像検出処理要素の光検出器によって検出され累積加算器から出力される画像データの明度を表す出力データの分布状態に基づいて、画像データの表示状態、例えば、正常状態を表示しているのか又は異常状態を表示しているのかを判断することができる。これは、危険区域等の監視領域を映した画像データは、正常状態であれば、画像データに変化がないか若しくはあっても所定の変化しかない場合が多く、画像データの明度を表す出力データの分布状態にも変化がないか若しくはあっても所定の変化しかない場合が多い。しかし、危険区域等の領域に人体の一部、例えば、手、が入り画像データに映されると画像データの明度を表わす出力データの分布状態が変化する。これは、人体の手等の立体的に複雑な物体が危険区域等の監視領域内に入ると、複雑な陰影を発生してその領域を映す画像データの明度を表わす出力データの分布状態が異常な変化をするからである。従って、危険区域の画像データの明度を表す出力データの分布状態に基づいて、危険区域の画像データが正常状態を表示しているのか又は危険区域内に人体の一部、例えば、手等が入っている異常状態を表示しているのかを高精度かつ高速に判断することができる。
【０００８】
請求項２に記載の本発明によれば、上記判断手段が、上記明度を表わす上記出力データの分布状態の分散の度合いを測定し、上記分散の度合いが高い場合に上記画像データが異常状態を表示していると判断する請求項１に記載の画像検出処理装置が提供される。
【０００９】
この請求項２にかかる画像検出処理装置によれば、画像データの明度を表わす出力データの分布状態の分散の度合いを測定し、分散の度合いが高い場合は、画像データは異常状態を表示していると判断することができる。これは、人体の手等の立体的に複雑な物体が危険区域等の監視領域内に入ると、複雑な陰影を発生し、その領域内に金型や加工対象材料（ワーク）だけがある場合と比較して、その領域を映す画像データの明度を表わす出力データの分布状態の分散が大きくなるからである。
【００１０】
請求項３に記載の本発明によれば、上記変換器が上記光検出器からの上記信号を複数の閾値の各々に基づいて２値化信号に変換して、上記累積加算器が上記画像データの明度を表わす上記出力データを上記２値化信号の和として出力し、上記判断手段が上記閾値の毎の上記和の差を求めて、上記和の差から上記分布状態を得る請求項１又は２のいずれかに記載の画像検出処理装置が提供される。
【００１１】
この請求項３にかかる画像検出処理装置によれば、光検出器からのアナログ電気信号をデジタル信号に変換する際に、大きさの異なる複数の閾値を各々使用して“０”又は“１”のいずれかに２値化する。累積加算器がこのように大きさの異なる各々の閾値により２値化されたデータを全画像検出処理要素について加算して和を求め、そして判別手段で上記閾値の毎の和の差を求めれば入力画像データの多階調の明度を２値化デジタル信号の出力データで表すことができる。この結果、画像検出処理装置の回路は２値化デジタル信号のものを使用できて、簡潔にすることができる。
【００１２】
【発明の実施の形態】
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。図１は本発明による画像検出処理装置の一つの実施の形態を説明するための概略的な平面図である。
【００１３】
本実施の形態の画像検出処理装置は、例えば、ロボットの視覚センサや工作機械の安全装置等において使用されて、入力される画像データから、正常状態を表示しているのか若しく危険区域内に人体の手等の一部が入っている異常状態を表示しているのかを高精度で自動的に判断して、ロボットや工作機械の安全装置を自動的に作動させるものである。
【００１４】
図１において、１−１乃至１−６４は画像検出処理要素であり、８×８個の格子配列（アレイ）構造として平面的に配置されていて、この上に図示しない適当な光学系により危険区域等の監視領域内の対象物体が結像されて、８×８個の画素からなる入力画像を発生できる。なお、この画像検出処理要素の数は用途に応じて適宜選択できる。各画像検出処理要素は、図２を参照して後述するように、光検出器と光検出器からのアナログ電気信号を複数の閾値の各々に基づいて“０”と“１”の２値化信号にデジタル変換する変換器とを備えている。
【００１５】
各画像検出処理要素は、その上下左右に隣接する４個の画像検出処理要素に対して上記２値化信号をターゲット画像信号として出力する。例えば、画像検出処理要素１−１１は画像検出処理要素１−３、１−１０、１−１２、１−１９に対して、上記２値化信号をターゲット画像信号として出力する。また、画像検出処理要素では、その４個の画像検出処理要素からのターゲット画像信号とそれ自身のターゲット画像信号とに基づいてターゲットを背景から抽出するためのウインドウ画像信号を生成する。
【００１６】
また、各画像検出処理要素は後述する第１の加算器を含み、各画像検出処理要素の第１の加算器はその右隣の画像検出処理要素の第１の加算器と接続され、例えば、画像検出処理要素１−１１の第１の加算器の出力は画像検出処理要素１−１２の第１の加算器に入力される。このように行毎の画像検出処理要素の第１の加算器は順次接続されて第１の累積加算器を構成している。
【００１７】
各画像検出処理要素に対しては、共通信号としてＣＬＯＣＫ１、ＣＬＯＣＫ２、ＬＯＡＤ、ＳＥＬの各信号が入力される。クロック信号ＣＬＯＣＫ１、信号ＬＯＡＤは初期画像設定用である。例えば、クロック信号ＣＬＯＣＫ１は周波数２０ＭＨｚ〜１００ＭＨｚ程度のクロック信号である。クロック信号ＣＬＯＣＫ２、信号ＳＥＬは画像演算用の信号であり、例えば、クロック信号ＣＬＯＣＫ２は周波数１ＭＨｚ〜１０ＭＨｚ程度のクロック信号である。
【００１８】
２−１乃至２−８は第２の加算器としての直列型加算器で、画像検出処理要素の行ごとに配置され、対応する画像検出処理要素からの出力を一方の入力に受ける。また、各直列型加算器の出力は順次下側に隣接する直列型加算器の他方の入力に接続されて第２の累積加算回路を構成する。本実施の形態では、画像検出処理要素１−１乃至１−８に対して直列型加算器２−１が対応し、画像検出処理要素１−８の出力が直列型加算器２−１の一方の入力に接続される。直列型加算器２−１の出力は、直列型加算器２−２の他方の入力に接続される。直列型加算器２−８の出力が全体の出力信号となっており、光検出器によって検出される画像データに基づく処理データが供給される出力部を構成する。それぞれの直列型加算器の構成の詳細については、後述する。また、直列型加算器２−８は判断手段１Ａに出力信号を出力する。判断手段１Ａはパーソナルコンピュータ等のホストであり、後述する明度分布から画像データの表示状態の判断動作を行う。
【００１９】
３は行デコーダ回路で、本実施の形態では、図示しないが４本の行選択信号により、Ｙ０〜Ｙ７までの出力信号を制御する。４は列デコーダ回路で、本実施の形態では、図示しないが４本の列選択信号により、Ｘ０〜Ｘ７までの出力信号を制御するものであり、選択信号の設定は行デコーダ３回路と同様である。これら行デコーダ回路３、列デコーダ回路４は画像検出処理要素のターゲット画像信号を選択的に第１の累積加算器に入力せしめる制御回路を構成する。本実施の形態では画像検出処理要素の選択は、図示しないホストから行デコーダ回路３、列デコーダ４回路に選択パターンをダウンロードすることによって行うこととするが、これに限るものではない。例えば、画像検出処理要素と共にＲＯＭを１チップに集積化し、ＲＯＭに目的の画像演算に応じた選択パターンを記憶させて画像検出処理要素の選択に用いても良いし、外部からの制御信号に応答して選択パターンを発生させるデコーダを設けても良い。
【００２０】
次に、図２を参照して本実施の形態による各画像検出処理要素１−１乃至１−６４の構成の詳細について説明する。５は光検出器としての光電変換部であり、フォトダイオードからなり、入射した光の強さに応じたアナログ電気信号を出力する。６は電圧保持部であり、光検出器５からのアナログ電気信号出力の電圧を保持する。７は変換器としてアナログ電気信号の２値化を行なう変換回路であり、コンパレータからなり、光電変換部５からの入射光に応じたアナログ電気信号を電圧保持部６を介して入力して、閾値より小さいか又は大きいかに応じて“０”又は“１”のいずれかの値に変換して２値化する。本実施の形態では、閾値入力器８がが外部信号ＶＲＥＦによる制御を受けて２値化変換回路７に任意の閾値を設定する。本実施の形態では、任意の閾値を外部より設定することができ、２値化変換回路７はアナログ電気信号を、例えば、閾値Ｖ１又はＶ０と比較して、閾値より明るいときに“１”の信号を出力し、閾値より暗いときに“０”の信号を出力する。
【００２１】
２値化変換回路７により変換された２値化データは、セレクタ９に供給される。そして、２値化データはセレクタ９において制御信号ＢＷにより閾値より明るいときに“１”の信号を出力し、閾値より暗いときに“０”  の信号を出力するか、或いはこれらとは逆の論理で出力するかが選択されて、出力Ｂとして論理積回路１０に出力される。
【００２２】
図３を参照すると、（ａ）に入力画像４０が示されている。入力画像４０は、明度の高くて明るい部分４１と明度の低くて暗い部分４２と中間の明度の部分４３とを含んでいる。図３の（ｂ）は横軸を（ａ）に示される入力画像４０の中心の一点鎖線上をＸ座標にとり、縦軸を明度、明るさ、の大きさにとって入力画像４０の明度を示す。そして、外部信号ＶＲＥＦにより設定される２つの閾値Ｖ０、Ｖ１が示されている。より小さい方の閾値Ｖ０はより暗い光量に対応し、より大きい方の閾値Ｖ１はより明るい光量に対応している。図３の（ｃ）に（ａ）の入力画像４０を閾値Ｖ０を用いて変換回路７で“０”又は“１”のいずれかに２値化した２値化データを示す。この（ｃ）では、２値化データの“０”に対応する所が「白」で表示され、２値化データの“１”に対応する所が「黒」で表示されている。図３の（ｄ）に（ａ）の入力画像４０を閾値Ｖ１を用いて変換回路７で“０”又は“１”のいずれかに２値化した２値化データを示す。この（ｄ）でも、２値化データの“０”に対応する所が「白」で表示され、２値化データの“１”に対応する所が「黒」で表示されている。
【００２３】
図３の（ｅ）は、（ｃ）と（ｄ）を引算した結果である。この（ｅ）でも、２値化データの“１”に対応する所が「黒」で表示されている。（ｅ）は、入力画像４０で中間の明度の部分４３を２値化データの“１”で表わしたものに相当する。図３の（ｄ）の２値化データの“１”で表わされた部分の和（面積）を求めれば、入力画像４０で最も明度の高い部分４１の面積が得られる。図３の（ｃ）の２値化データの“１”で表わされた部分の和（面積）を求め、図３の（ｄ）の２値化データの“１”で表わされた部分の和（面積）との差を求めれば、図３の（ｅ）の２値化データの“１”で表わされた部分の面積が得られ、従って、入力画像４０で中間の明度の部分４３の面積が得られる。そして、図３の（ｃ）の２値化データを反転したものを出力すれば、すなわち、“１”で表わされた部分の和（面積）を全画素数（全面積）から引けば、入力画像４０で最も明度が低くい部分４２の面積が得られる。このようにして、入力画像４０の明度が異なる３つの部分４１、４２、４３の面積を得ることができる。
【００２４】
後述するようにして、本実施の形態の画像処理検出装置で入力画像４０中の明度が異なる３つの部分４１、４２、４３の面積を求めることができ、後述するようにして、入力画像中で異なる明度を持つ面積の分布の変化に基づいて、入力画像が正常状態を表示しているか若しくは異常状態を表示しているかを高精度かつ高速に判断することかできる。
【００２５】
なお、以上の説明では、入力画像４０を３つの階調の明度を持つ部分に分解したが、それ以上の階調の明度を持つ部分に入力画像４０を分解することは、外部信号ＶＲＥＦが与える閾値の数を増やせば容易にできる。
【００２６】
再び、図２を参照すると、このように複数の閾値、例えば、Ｖ０及びＶ１、の各々を用いて２値化変換回路７により変換された２値化データは、セレクタ９に供給される。そして、２値化データはセレクタ９において制御信号ＢＷにより選択され、出力Ｂとして論理積回路１０に出力される。
【００２７】
論理積（ＡＮＤ）回路１０は、セレクタ９からの２値化された信号Ｂと後述する５入力論理和（ＯＲ）回路１２からの信号Ｉが共に“１”であるときのみ、“１”の信号を出力するが、それ以外のときは“０”を出力する。１３はマルチプレクサであり、本実施の形態では、図１の信号ＬＯＡＤが“Ｈ”（又は“１”をいう、以下、同じ）のとき、論理積回路１０からの信号を出力し、“Ｌ”（又は“０”をいう、以下、同じ）のとき、後述する別の論理積回路１１からの信号を出力する。１４はフリップフロップ回路でマルチプレクサ１３の信号を図１のクロック信号ＣＬＯＣＫ１により取り込んで出力する。
【００２８】
フリップフロップ回路１４の出力は、自身の画像検出処理要素内の５入力論理和回路１２に出力されるとともに左右及び上下に隣接する４個の画像検出処理要素内の５入力論理和回路１２にも出力されており、５入力論理和回路１２からウインドウ画像信号が出力される。このウインドウ画像信号は、移動する対象物体の画像を捕捉して背景画像から抽出するためのものである。本実施の形態において画像中の明度分布を得る場合に、移動する対象物体の画像を背景画像から抽出せずに行なうことも、又は、移動する対象物体の画像を背景画像から抽出して行なうこともできる。もし、移動する対象物体を背景から抽出しない場合は、全ての画像検出処理要素１−１乃至１−６４に対して、信号ＬＯＡＤを“Ｌ”にして、フリップフロップ回路１４にマルチプレクサ１３を介して論理積回路１１から“Ｈ”（又は“１”）の値を取り込んでおけばよい。すると、フリップフロップ回路１４の出力Ｔと５入力論理和回路１２の出力Ｉは全て“Ｈ”（又は“１”）となる。そして、論理積回路１０は、セレクタ９からの出力Ｂそのものを出力することになり、後述するようにして、入力画像中において異なる明度を持つ面積を計算でき、明度分布を得ることができる。一方、移動する対象物体の画像を背景から抽出して処理する場合は、行デコーダ回路３と列デコーダ回路４により移動する対象物体の画像に対応した特定の画像検出処理要素についてのみ、信号ＬＯＡＤを“Ｌ”にして、フリップフロップ回路１４にマルチプレクサ１３を介して論理積回路１１から“Ｈ”（又は“１”）の値を取り込んでおけばよい。すると、対象物体の画像に対応した特定の画像検出処理要素のフリップフロップ回路１４の出力Ｔと５入力論理和回路１２の出力Ｉが“Ｈ”（又は“１”）となり、ウインドウ画像が生成される。
【００２９】
次に図４を参照して、各画像検出処理要素１−１乃至１−６４に含まれる加算器６６を説明する。６０は論理積回路であり、第２図のフリップフロップ回路１４の出力と論理積回路１１の出力が共に“１”であったときに“１”の信号を出力する。論理積回路１１は、制御回路としての行デコーダ３の出力と制御回路としての列デコーダ４の出力が共に“１”であったとき、“１”の信号を出力する。例えば、画像検出処理要素１−１１では、行デコーダ３の出力Ｙ１と列デコーダ４の出力Ｘ２がともに“１”であった場合に“１”の信号を出力する。
【００３０】
６３はマルチプレクサで、この実施例では、図１の信号ＳＥＬが“Ｈ”のとき、論理積回路６０からの信号を出力し、“Ｌ”のときに後述するフリップフロップ回路６４の信号を出力する。フリップフロップ回路６４は、後述する加算回路６５のＣＡＲＲＹ信号を図１のクロック信号ＣＬＯＣＫ２により取り込んで出力する。半加算器からなる加算回路６５は、マルチプレクサ６３の出力と隣接する画像検出処理要素の半加算回路のＳＵＭ信号との算術和を算出し、ＳＵＭ信号とＣＡＲＲＹ信号を出力する。例えば、画像検出処理要素１−１１では、マルチプレクサ６３の出力と画像検出処理要素１−１０における加算回路６５のＳＵＭ信号とが、共に“Ｌ”であればＳＵＭ信号及びＣＡＲＲＹ信号がともに“Ｌ”となり、一方が“Ｌ”で他方が“Ｈ”であればＳＵＭ信号が“Ｈ”、ＣＡＲＲＹ信号が“Ｌ”となり、共に“Ｈ”であればＳＵＭ信号が“Ｌ”、ＣＡＲＲＹ信号が“Ｈ”となる。論理積回路６０、論理積回路１１、マルチプレクサ６３、フリップフロップ６４、加算回路６５から第１の加算器６６が構成されている。前述した通り、行毎の画像検出処理要素の第１の加算器６６は順次接続されて第１の累積加算器を構成している。
【００３１】
次に図５を参照して、直列型加算器２−１乃至２−８の構成の詳細について説明する。図５は直列型加算器の１つ、例えば２−２を示す。１６は全加算器からなる加算回路で、上記画像検出処理要素のＳＵＭ信号と後述するフリップフロップ回路１７と前段の加算回路１６のＳＵＭ信号との算術加算演算を行い、ＳＵＭ信号とＣＡＲＲＹ信号とを出力する。例えば、直列型加算器２−２の場合、画像検出処理要素１−１６の出力と直列型加算器２−１の出力とフリップフロップ回路１７の出力とを入力とし、ＳＵＭ信号は２−３の直列型加算器に出力され、ＣＡＲＲＹ信号はフリップフロップ回路１７に出力される。加算回路１６は３つの入力の状態が、すべて“Ｌ”のときにはＳＵＭ信号及びＣＡＲＲＹ信号がともに“Ｌ”となり、何れか一つだけ“Ｈ”のときにはＳＵＭ信号が“Ｈ”、ＣＡＲＲＹ信号が“Ｌ”となり、二つが“Ｈ”のときにはＳＵＭ信号が“Ｌ”、ＣＡＲＲＹ信号が“Ｈ”となり、全てが“Ｈ”のときにはＳＵＭ信号及びＣＡＲＲＹ信号がともに“Ｈ”となる。１７はフリップフロップ回路であり、加算回路１６のＣＡＲＲＹ信号を上述のクロック信号ＣＬＯＣＫ２により取り込んで出力する。
【００３２】
次に、本実施の形態の画像検出処理装置の一般的な動作を説明する。まず、内部回路の初期化を行うため、行デコーダ３、列デコーダ４をすべて非選択となるように設定し、信号ＳＥＬでマルチプレクサ６３から画素選択信号が出力されるように設定する。この状態でクロック信号ＣＬＯＣＫ２が１クロック以上入力されると各画像検出処理要素内のフリップフロップラッチ回路６４はクリアされる。また、この状態を維持したまま更にクロック信号ＣＬＯＣＫ２を６クロック以上入力すると、各直列加算器内のラッチ回路１７も同様にクリアされる。
【００３３】
次にウインドウ画像信号の設定を行う。ウインドウ画像信号は背景から移動するターゲット（対象物体）の画像を分離するためのものである。信号ＬＯＡＤでマルチプレクサ１３から画素選択信号が出力されるように設定し、行デコーダ３、列デコーダ４の設定することでウインドウ画像の初期設定を行う。行デコーダ３、列デコーダ４がそれぞれすべての出力が選択されるように設定すると、ウインドウ画像の初期値は画面全体となる。本実施の形態においては、前述した通り、移動する対象物体の画像を背景から分離することはせず入力画面全体を選択することも、移動する対象物体の画像を背景から分離して、入力画像の明度分布を測定することができる。前述したように、必要に応じて、行デコーダ３、列デコーダ４の出力を選択して設定して、ウインドウ画像の初期値を入力画面全体又は移動する対象物体に対応した部分とする。
【００３４】
次に画像の取り込みが行われる。適切な結像光学系を用いて対象物体の像を、平面状に配列された画像検出処理要素上に結像させる。結像光学系は、デジタルスチルカメラ等に用いられているようなレンズ光学系のもので良い。それぞれの画像検出処理要素では、まず、光電変換部５において、対象物体の明暗の情報を、結像された画像の光量に応じたアナログ信号に変換する。このアナログ信号は前述した方法により２値化変換回路７によって、“Ｌ”（又は“０”、以下同じ）あるいは“Ｈ”（又は“１”、以下同じ）の値を持つ２値化画像信号に変換される。
【００３５】
２値化画像信号は、論理積回路１０において上記のウインドウ画像信号との論理積演算をおこないターゲット画像信号に変換される。ターゲット画像信号はマルチプレクサ１３を介してフリップフロップ１４に出力され、クロック信号ＣＬＯＣＫ１のタイミングで取り込まれる。フリップフロップ１４に取り込まれたターゲット画像信号は次のクロック信号ＣＬＯＣＫ１のタイミングでのウインドウ信号を生成するために５入力論理和回路１２に入力されると共に、後述の第１の加算器６６（図４）にも入力される。
【００３６】
フリップフロップ１４の出力は、自身の画像検出処理要素内の５入力論理和回路１２に出力されるとともに隣接する４個の画像検出処理要素内の５入力論理和回路１２にも出力されており、５入力論理和回路１２からウインドウ画像信号が出力される。
【００３７】
前述した通り、本実施の形態ではターゲット（対象物体）画像は、移動する物体ではなく、入力画像内において特定の明度を持った部分である。この特定の明度を持った部分は、前述した通り、セレクタ９から“Ｈ”（又は“１”）を持った２値化信号の出力Ｂとして出力される。本実施の形態では、初期化の際に全ての画像検出処理要素のフリップフロップ１４の出力Ｔとして“Ｈ”（又は“１”）がロードされているから、論理積回路１０からはセレクタ９からの２値化信号の出力Ｂがそのままターゲット（対象物体）画像として出力される。
【００３８】
次に、ターゲット（対象物体）画像の画素の総数、すなわち、面積（０次モーメント）を計算する画像演算動作について説明する。まず、それぞれの画像検出処理要素内の論理積回路６０以降の部分と直列加算器の部分とをまとめて、６４入力加算器アレイとしての動作を説明する。フリップフロップ１４から出力されるターゲット画像信号は、論理積回路６０で、論理積回路１１からの画素選択信号が“Ｈ”のときのみマルチプレクサ１３に入力される。ここでは、全ての画像演算回路１−１〜１−６４が選択されている場合について説明する。しかし、移動する対象物体に対応した部分のみにウインドウ画像が設定されている場合も同同様の説明が適用できる。
【００３９】
図６において、（ａ）はターゲット画像（本実施の形態では、前述した通り、論理回路９の出力Ｂで表わされる入力画像中の特定の明度を持った部分をいう）の状態を表わす。ここでは、“Ｈ”（又は“１”で「黒色」で表示する。以下、同じ）の画素の総数が８となっている。まず、信号ＳＥＬを“Ｈ”にして、第１の加算器６６の論理積回路６０の出力がマルチプレクサ６３により選択されるようにする。これにより、各画像検出処理要素の半加算回路６５にはターゲット画像に応じた“Ｈ”もしくは“Ｌ”（又は“０”で「白色」で表示する。以下、同じ）の信号が入力される。
【００４０】
図６においてターゲット画像（ａ）に対応する各画像検出処理要素の加算器と直列形加算器の状態を（ｂ）に示す。図６の（ｂ）において、ＣＡＲＲＹ、ＳＵＭはそれぞれ各加算器のＣＡＲＲＹ信号、ＳＵＭ信号を示してある。画像検出処理要素１−２０に入力される論理積回路６０の出力が“Ｈ”となっており、その加算回路１５のＳＵＭ信号“Ｈ”は後段の画像検出処理要素１−２１〜画像検出処理要素１−２４迄順次出力され、これらの加算回路６５のＳＵＭ信号を“Ｈ”としている。
【００４１】
これを受ける直列型加算器２−３では画像検出処理要素１−２４からのＳＵＭ信号“Ｈ”と前段の直列型加算器２−２の加算回路１６のＳＵＭ信号“Ｌ”とを加算し、ＳＵＭ信号を“Ｈ”、ＣＡＲＲＹ信号を“Ｌ”としている。また、画像検出処理要素１−２７、１−２８、１−２９の論理積回路６０の出力は何れも“Ｈ”となっており、画像検出処理要素１−２８の加算回路６５ではその論理積回路６０の出力“Ｈ”と前段の画像検出処理要素１−２７のＳＵＭ信号“Ｈ”とを加算してＳＵＭ信号を“Ｌ”、ＣＡＲＲＹ信号を“Ｈ”としている。画像検出処理要素１−２９の加算回路１５のＳＵＭ信号“Ｈ”により後段の画像検出処理要素１−３０〜画像検出処理要素１−３２迄順次出力され、これらの加算回路６５のＳＵＭ信号を“Ｈ”としている。
【００４２】
これを受ける直列型加算器２−４では、画像検出処理要素１−３２からのＳＵＭ信号“Ｈ”と前段の直列型加算器２−３の加算回路１６のＳＵＭ信号“Ｈ”とを加算し、ＳＵＭ信号を“Ｌ”ＣＡＲＲＹ信号を“Ｈ”としている。また、画像検出処理要素１−３５、１−３６、１−３７の論理積回路６０の出力は何れも“Ｈ”となっており、画像検出処理要素１−３６の加算回路６５ではその論理積回路６０の出力“Ｈ”と前段の画像検出処理要素１−３５のＳＵＭ信号“Ｈ”とを加算してＳＵＭ信号を“Ｌ”、ＣＡＲＲＹ信号を“Ｈ”としている。画像検出処理要素１−３７の加算回路６５のＳＵＭ信号“Ｈ”により後段の画像検出処理要素１−３０〜画像検出処理要素１−３２迄順次出力され、これらの加算回路６５のＳＵＭ信号を“Ｈ”としている。
【００４３】
これを受ける直列型加算器２−５では、画像検出処理要素１−４０からのＳＵＭ信号“Ｈ”と前段の直列型加算器２−４の加算回路１６のＳＵＭ信号“Ｌ”とを加算し、ＳＵＭ信号を“Ｈ”ＣＡＲＲＹ信号を“Ｌ”としている。また、画像検出処理要素１−４４の加算回路６５ではその論理積回路６０の出力“Ｈ”と前段の画像検出処理要素１−４３のＳＵＭ信号“Ｌ”を加算してＳＵＭ信号を“Ｈ”、ＣＡＲＲＹ信号を“Ｌ”としている。
【００４４】
同様にして画像検出処理要素１−４４の加算回路６５のＳＵＭ信号“Ｈ”は後段の画像検出処理要素１−４５〜画像検出処理要素１−４８迄順次出力されている。これを受ける直列型加算器２−６では画像検出処理要素１−４８からのＳＵＭ信号“Ｈ”と前段の直列型加算器２−５の加算回路１６のＳＵＭ信号“Ｈ”とを加算し、ＳＵＭ信号を“Ｌ”ＣＡＲＲＹ信号を“Ｈ”としている。直列型加算器２−６の加算回路１６のＳＵＭ信号“Ｌ”は、後段の直列型加算器２−７、２−８に順次出力される。このとき、直列型加算器２−８の出力からは、ターゲット画像を構成する画素の総数を２進数で表現した場合の最下位桁の値が出力されており、ターゲット画像（ａ）に対しては、“０”に対応する“Ｌ”レベルの信号が出力される。
【００４５】
この状態で、クロック信号ＣＬＯＣＫ２が入力されるとフリップフロップ回路６４にＣＡＲＲＹ信号が取り込まれる。信号ＳＥＬを“Ｌ”にして、半加算回路６５に、論理積回路６０の出力に代わりフリップフロップ回路６４に格納されたＣＡＲＲＹ信号が入力される。この場合の各画像検出処理要素と直列型加算器の状態を図６の（ｃ）に示す。図６の（ｂ）に示したように画像検出処理要素１−２８、１−３６においてフリップフロップ６４に格納されたＣＡＲＲＹ信号は“Ｈ”であり、画像検出処理要素１−２９〜１−３２、１−３７〜１−４０の加算回路６５はＳＵＭ信号“Ｈ”、ＣＡＲＲＹ信号“Ｌ”としている。
【００４６】
直列型加算器２−４の加算回路１６では前段のＳＵＭ信号“Ｌ”、画像検出処理要素１−３２からのＳＵＭ信号“Ｈ”、フリップフロップ回路１７に格納されたＣＡＲＲＹ信号“Ｈ”を加算して、ＳＵＭ信号を“Ｌ”、ＣＡＲＲＹ信号を“Ｈ”とする。直列型加算器２−５の加算回路１６では前段のＳＵＭ信号“Ｌ”、画像検出処理要素１−４０からのＳＵＭ信号“Ｈ”、フリップフロップ回路１７に格納されたＣＡＲＲＹ信号“Ｌ”を加算して、ＳＵＭ信号を“Ｈ”、ＣＡＲＲＹ信号を“Ｌ”とする。直列型加算器２−６の加算回路１６では前段のＳＵＭ信号“Ｈ”、画像検出処理要素１−４８からのＳＵＭ信号“Ｌ”、フリップフロップ回路１７に格納されたＣＡＲＲＹ信号“Ｈ”を加算して、ＳＵＭ信号を“Ｌ”、ＣＡＲＲＹ信号を“Ｈ”とする。直列型加算器２−７、２−８の加算回路１６ではＳＵＭ信号“Ｌ”、ＣＡＲＲＹ信号“Ｌ”とする。このとき、直列型加算器２−８の出力からは、ターゲット画像を構成する画素の総数を２進数で表現した場合の最下位＋１桁目の値が出力される。ターゲット画像（ａ）に対しては、０に対応する“Ｌ”レベルの信号が出力される。
【００４７】
以下、同様にクロック信号ＣＬＯＣＫ２が入力される毎に各画像検出処理要素と直列型加算器の状態は順次図６の（ｄ）、（ｅ）に示すようになる。クロック信号ＣＬＯＣＫ２が３クロック入力された状態（ｅ）において、直列型加算器２−８の出力から“Ｈ”が出力され、ターゲット画像を構成する画素の総数を２進数で表現した場合の最下位＋３桁目の値が出力され、ＳＥＬ信号“Ｈ”の入力後に直列型加算器２−８から得られた値は“１０００”となり、ターゲット画像（ａ）を構成する画素の総数８に相当する２進数値が得られる。この後クロック信号ＣＬＯＣＫ２が入力されても、何れのフリップフロップ回路にもＣＡＲＲＹ信号は格納されておらず、直列型加算器２−８の出力からは“Ｌ”が出力される。
【００４８】
以上のようにクロック信号ＣＬＯＣＫ２が入力される毎にターゲット画像を構成する画素の総数が下位桁から順次出力される。本実施の形態ではＳＥＬ信号の入力後、クロック信号ＣＬＯＣＫ２を７クロック入力することでターゲット画像（ａ）を構成する画素の総数を７桁の２進数値で得ることができる。このように少ないクロック数（７クロック）にてターゲット画像を構成する画素の総数、すなわち、ターゲット画像の面積（０次モーメント）を求めることができる。
【００４９】
このターゲット画像の面積は、図３で説明した（ｃ）と（ｄ）のいずれかにおける「黒」（すなわち、“１”）の部分の面積に対応している。従って、上述の操作を繰り返して、図３の（ｃ）と（ｄ）の「黒」（すなわち、“１”）の部分の面積を求め、その面積の差（ｃ）−（ｄ）を計算すると、図３の（ｅ）で「黒」（すなわち、“１”）の部分の面積に対応した面積が求められることになる。図３の（ｄ）の「黒」（すなわち、“１”）の部分の面積は、入力画像４０中で最も明度の高い部分４１の面積に相当し、図３の（ｅ）の「黒」（すなわち、“１”）の部分の面積は、入力画像４０中で中間の明度の部分４３の面積に相当し、図３の（ｃ）の「黒」（すなわち、“１”）の部分の面積で全画素数の面積との引算をして得られた差は、入力画像４０中で最も明度の低い部分４２の面積に相当する。図示しないホストにおいて、前述したような差を求める演算を実行して、入力画像の明度分布が得られる。次ぎに、図７を参照して、判断手段１Ａとしての詳しくはその構成を図示しないパーソナルコンピュータ等のホストにより行なわれる、入力画像の明度分布を求める手順の詳細を説明する。
【００５０】
図７は、本発明の１つの実施の形態による入力画像中の画素の明度分布のヒストグラムを獲得する方法を説明するフローチャートである。この実施の形態の画像検出処理装置では、画像検出処理要素が、６４×６４個の格子配列（アレイ）構造として平面的に配置されていて、全画素数は６４ｘ６４の４０９６個である。まず、初期化設定において（ステップ７０１）、露光時間Ｔが設定され、入力画像中の明度の２値化をする際の閾値の下限Ｖ０が設定され、閾値の間隔ＶＤが設定され、ヒストグラムの分割数Ｎが設定され、そして、各閾値毎の面積Ａ［Ｎ＋１］と閾値毎の画素の度数Ｈ［Ｎ］がゼロに初期化される。露光時間Ｔの後に入力画像が取り込まれる（ステップ７０２）。そして、入力画像中で閾値毎の面積（累積度数）Ａ［ｉ］が前述した方法で計算される。入力画像中の閾値毎の面積Ａ［ｉ］は、ｉがヒストグラムの分割数Ｎに達するまで、閾値Ｖの値に閾値間隔ＶＤを加えて、入力画像を閾値に基づいて２値化して行なわれる。全面積Ａ［Ｎ］は全画素数と等しくなる（ステップ７０３）。そして、閾値毎のヒストグラムの度数Ｈ［Ｎ］が計算される。計算は、閾値間隔の隣り合う閾値毎の面積Ａ［ｉ］とＡ［ｉ−１］を引算することにより、その閾値間隔の範囲内にある画素の度数Ｈ［ｉ−１］が得られる。これを、ｉがヒストグラムの分割数Ｎに達するまで行なわれる（ステップ７０４）。そして、得られたヒストグラムが出力されて（ステップ７０５）、次ぎの処理サイクルのために露光ステップ（ステップ７０２）に戻る。次ぎに、図８を参照して、判断手段１Ａとしての詳しくはその構成を図示しないパーソナルコンピュータ等のホストにより行なわれる、入力画像の明度分布の変化から、危険区域等の監視領域を映した入力画像が正常な動作状態を表示しているのか又は危険区域に人の手等の人体の一部が入っている異常状態を表示しているのかを判断する手順の詳細を説明する。
【００５１】
図８は、（ａ）に示す工作機械の危険区域内の監視エリア８０を映した入力画像中に、金型のみがある場合の入力画像の明度分布のヒストグラムの分布状態（ｂ）と、金型と加工対象のワークのみがある場合の入力画像の明度分布のヒストグラムの分布状態（ｃ）と、金型とワークの他に人間の手（異物）が挿入された場合の入力画像の明度分布のヒストグラムの分布状態（ｄ）とを示す。この入力画像の明度分布のヒストグラムの分布状態から、金型とワークの他に人間の手（異物）が挿入された場合、ヒストグラムの分布状態（ｄ）の分散が高くなることが理解される。これは、人の手等の立体的に複雑な物体が危険区域等の監視領域内に入ると、複雑な陰影を発生し、その領域を映す画像データの明度を表わす出力データの分布状態の分散が大きくなるからである。従って、入力画像の明度分布のヒストグラムの分布状態の分散が金型とワークだけがある正常状態よりも高い場合には、入力画像は異常状態を表示していると判断して、工作機械を非常停止して事故の発生を未然に防止することができる。
【００５２】
なお、本発明は上述した実施の形態に限定されることなくさまざまな変形が可能である。例えば、本発明は背景の明度が照明などによりさまざまな場合において、その背景中を移動している人間を追跡することにも適用できる。２値化画像では複雑な明度パターンの背景中を移動する物体を検出することは、背景と移動する物体との区別が困難であるため、事実上不可能である。しかしながら、ある領域内で物体が移動すると、その領域内の明度分布を表わしたヒストグラム（各明度の累積度数）も変化する。従って、領域内の明度分布のヒストグラム（各明度の累積度数）の変化に基づいて、画像内の物体の移動を検出できる。以下に、本発明の画像検出処理装置で異なる明度の背景中を移動する物体を検出する手順を説明する。
【００５３】
まず、本発明の画像検出処理装置に基準画面（又は、１つ前の入力画面）を取り込み、基準画面（又は、１つ前の入力画面）を横（Ｘ）方向のラインに分割し（又は、数ラインの矩形領域に分割し）、各ライン（各矩形領域）毎の明度のヒストグラム（各明度の累積度数）を求めておく。
【００５４】
次に、本発明の画像検出処理装置に入力画像を取り込み、同じく画面を横（Ｘ）方向のラインに分割し（又は、数ラインの矩形領域に分割し）、各ライン（各矩形領域）毎の明度のヒストグラム（各明度の累積度数）を求める。
入力画像から求められた明度のヒストグラム（各明度の累積度数）を、基準画面（又は、１つ前の入力画面）のものと、縦（Ｙ）座標の下の方から順に比較していき、最初に基準画面（又は、１つ前の入力画面）のものと異なる明度のヒストグラム（各明度の累積度数）が得られた場所の縦（Ｙ）座標位置が、移動する物体の下端の縦（Ｙ）座標値である。同様にして、物体の上端の縦（Ｙ）座標値、右（Ｘ）座標値、左（Ｘ）座標値を求めれば、移動する物体の外接矩形領域が求められる。このようにして求められた人間等の移動する物体の外接矩形領域の座標値に基づいて、外部の安全装置又は警報装置を作動せさることができる。
【００５５】
【発明の効果】
以上説明したように、請求項１の本発明によれば、高速に画素面積を計算できる画像検出処理装置を使用して危険区域等の監視領域を映した入力画像データの明度の分布状態を得て、明度分布状態に基づいて、入力画像データの表示状態、例えば、正常状態を表示しているのか又は異常状態を表示しているのかを高精度かつ高速に判断することができる。これは、危険区域等の監視領域からの入力画像データ中に、人体の一部、例えば、手等が入っている場合は人体が入っていない場合と比較して光の反射状態が異なり、従って、入力画像中の明度分布も変化する。この結果、危険区域等の監視領域からの入力画像データの明度を表す出力データの分布状態が変化する。この変化に基づいて、機械の非常停止や又は保護動作をするなどして事故の発生を防止することができる。
【００５６】
請求項２の本発明によれば、画像データの明度を表わす出力データの分布状態の分散の度合いを測定し、分散の度合いが高い場合は、画像データは異常状態を表示していると判断することができる。これは、人体の手等の立体的に複雑な物体が危険区域等の監視領域内に入ると、複雑な陰影を発生し、その領域内に金型や加工対象材料（ワーク）だけがある場合と比較して、その領域を映す画像データの明度を表わす出力データの分布状態の分散が大きくな知見を利用している。
【００５７】
請求項３の本発明によれば、光検出器からのアナログ電気信号をデジタル信号に変換する際に、大きさの異なる複数の閾値を各々使用して“０”又は“１”のいずれかに２値化する。出力部はこのように大きさの異なる各々の閾値により２値化されたデータを全画像検出処理要素について加算して和を求め、そして判別手段はこの和の差を求める。この結果、入力画像データの多階調の明度を２値化デジタル信号の出力データで表すことができる。従って、画像検出処理装置の回路は２値化デジタル信号のものを使用できて、簡潔にすることができる。
【図面の簡単な説明】
【図１】本発明の１つの実施の形態による画像検出処理装置の構成を説明する概略的な平面図。
【図２】図１に示す画像検出処理装置の画像検出処理要素の一部を説明するためのブロック図。
【図３】図２に示す画像検出処理要素を使用して異なる閾値の各々で入力画像データを２値化して入力画像の多階調の明度を得る方法を説明する図。
【図４】図１に示す画像検出処理装置の画像検出処理要素の他部の加算器を説明するためのブロック図。
【図５】図１に示す画像検出処理装置の一部の直列型加算器を説明するためのブロック図。
【図６】図１に示す画像検出処理装置による２進値データに基づいて画素数の和を求める方法を説明するためのブロック図。
【図７】本発明の１つの実施の形態による入力画像が正常状態を表示しているか異常状態を表示しているかを判別するために画像検出処理装置により入力画像の明度部分のヒストグラムを得る方法を説明するフローチャート。
【図８】本発明の１つの実施の形態による入力画像が正常状態を表示しているか異常状態を表示しているかを判別する方法を説明するため、入力画像の監視領域（ａ）中に、金型のみがある場合（ｂ）と、金型とワークがある場合（ｃ）と、金型とワークと手がある場合（ｄ）との明度の分布状態をそれぞれヒストグラムで示す図。
【符号の説明】
１Ａ                判断手段
１−１乃至１−６４  画像検出処理要素
２−１乃至２−８    直列型加算器
３                  行デコーダ回路（制御回路）
４                  列デコーダ回路（制御回路）
５                  光電変換部（光検出器）
６                  電圧保持部
７                  ２値化変換回路（変換器）
８                  閾値入力器
９                  セレクタ
１０                論理積回路
１１                論理積回路
１２                ５入力論理和回路
１３                マルチプレクサ
１４                フリップフロップ回路
１６                加算回路（第２の加算器、第２の累積加算器）
１７                フリップフロップ回路
６５                加算回路
６６                第１の加算器（第１の累積加算器）
【図１】
2004362463.tif 000003
【図２】
2004362463.tif 000004
【図３】
2004362463.tif 000005
【図４】
2004362463.tif 000006
【図５】
2004362463.tif 000007
【図６】
2004362463.tif 000008
【図７】
2004362463.tif 000009
【図８】
2004362463.tif 000010