(57)【特許請求の範囲】
【請求項１】
撮像装置によって所定の視野範囲を逐次撮像し、該視野範囲の一部を処理エリアとして指定し、前記撮像装置によって撮像される画像の指定された該処理エリア内に輝度値の平均処理を施す画像処理方法において、
異なる時刻に撮像された画像を、取得した時刻と関連づけて少なくとも２つ記録し、
記録された前記異なる時刻に撮像された画像と逐次撮像される画像との輝度値の差を比較して画素毎に最大の輝度値を抽出し、抽出された最大の輝度値の画像から所定の値以上の輝度値のエリアを前記処理エリアとして更新することを特徴とする画像処理方法。
【請求項２】
撮像装置によって所定の視野範囲を逐次撮像し、該視野範囲の一部を処理エリアとして指定し、前記撮像装置によって撮像される画像の指定された該処理エリア内に輝度値の平均処理を施す画像処理方法において、
撮像された画像を、取得した時刻と関連づけて蓄積メモリに記録し、
記録された前記異なる時刻に撮像された画像間の中で少なくとも１つの画素毎に最大の輝度値を抽出し、抽出された最大の輝度値の画像から所定の値以上の輝度値のエリアを前記処理エリアとして更新することを特徴とする画像処理方法。
【請求項３】
請求項２記載の画像処理方法において、前記蓄積メモリに所定数の画像を記録し、記録された一番古い画像を新規に撮像された画像に置きかえることを特徴とする画像処理方法。
【請求項４】
撮像装置によって所定の視野範囲を逐次撮像し、該視野範囲の一部を処理エリアとして指定し、前記撮像装置によって撮像される画像の指定された該処理エリア内に輝度値の平均処理を施す画像処理装置において、
異なる時刻に撮像された画像を、取得した時刻と関連づけて少なくとも２つ記録する蓄積メモリと、
記録された前記異なる時刻に撮像された画像と逐次撮像される画像との輝度値の差を比較して画素毎に最大の輝度値を抽出する処理用メモリと、抽出された最大の輝度値の画像を記録する最大値メモリと、前記抽出された最大の輝度値の画像から所定の値以上の輝度値のエリアを前記処理エリアとして更新する処理エリアメモリと、
を有することを特徴とする画像処理装置。
【請求項５】
撮像装置によって所定の視野範囲を逐次撮像し、該視野範囲の一部を処理エリアとして指定し、前記撮像装置によって撮像される画像の指定された該処理エリア内に輝度値の平均処理を施す画像処理装置において、
撮像された画像を、取得した時刻と関連づけて記録する蓄積メモリと、
記録された前記異なる時刻に撮像された画像間の中で少なくとも１つの画素毎に最大の輝度値を抽出する処理用メモリと、抽出された最大の輝度値の画像を記録する最大値メモリと、前記抽出された最大の輝度値の画像から所定の値以上の輝度値のエリアを前記処理エリアとして更新する処理エリアメモリと、を有することを特徴とする画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、所定の物体の輝度変化を判定するための画像処理方法に関わり、特に画像処理エリアの設定方法の改良に関する。
【０００２】
【従来の技術】
図５〜図７によって、従来の画像処理方法について説明する。図５は、従来の画像処理システムの構成を示すブロック図である。
ここで説明する従来例は、所定の判定物体の輝度変化を判定するために、入力画像に所定の処理エリアを設定し、設定された処理エリア内の画素の輝度値の平均を算出し、算出された平均値が所定の値以上であった場合に、判定物体の輝度が警報レベル以上変化したとして警報を出力する画像処理装置である。
本システムは、例えば、溶鉱炉から出て来る溶融した鉄等の金属の流れを、テレビジョンカメラ（以降、 TV カメラと称する）等の撮像装置によって撮影し、溶融金属の色の変化を監視し、温度変化、溶融物の材質の変化等をチェックするために利用する。
【０００３】
図５は、少なくとも、TV カメラ 101 、画像処理装置 102 、警報表示装置 116 、及び、ビデオモニタ 117 で構成される。また、画像処理装置 102 は、少なくとも、映像信号の A/D 変換を行う映像入力 I/F（インターフェース）103 、画像間の演算及び画像の格納を行う画像メモリ 104 、画像解析を行うCPU（ Central Processing Unit：中央演算処理装置） 110 、ワークメモリ 112 、プログラムメモリ 113 、画像の輝度信号の D/A 変換を行い輝度信号を映像信号に変換する画像出力 I/F 114 、データバス 115 、警報出力を行なう出力 I/F 111 で構成される。更に、図５の例では、画像メモリ 104 を、画像入力 I/F 103 で得られた輝度信号の格納を行う入力メモリ 105 、処理エリアの格納を行う処理エリアメモリ 106 及び、画像間の演算に用いる処理用メモリ 109 で構成している。
【０００４】
図５において、TV カメラ 101 は、所定の監視エリアの画像を撮像し、撮像した画像を映像信号に変換して画像処理装置 102 に供給する。映像信号は、例えば、NTSC 方式の映像信号である。
画像処理装置 102 の画像入力 I/F 103 は、TV カメラ 101 の映像信号をデジタルデータに変換し、0 〜 255 の 256 階調の輝度信号に変換し、画像メモリ 104 の入力メモリ 105 に出力する。入力メモリ 105 は、入力された画像を格納する。画像サイズは、例えば、320 × 240 画素である。
【０００５】
CPU 110 は、プログラムメモリ 113 に予め格納されているプログラムに従って、画像メモリ 104 から画像をワークメモリ 112 に読出し、ワークメモリ 112で画像メモリ 104 の画像解析を行う。
画像出力 I/F 114 は、画像メモリ 104 内の処理用メモリ 109 に格納されている画像の輝度信号の D/A 変換を行い、輝度信号を映像信号に変換し、変換して得られた映像信号をビデオモニタ 117 に出力する。画像出力 I/F 114 は、また更に、CPU 110 から送られる情報をビデオモニタ 117 に出力する。ビデオモニタ 117 は、入力された映像信号、及び、情報によって、画像及び情報を表示画面に表示する。
【０００６】
データバス 115 は、画像処理装置 102 内の画像入力 I/F 103 、画像メモリ 104（入力メモリ 105 、処理エリアメモリ 106 、処理用メモリ 109 ）、CPU 110 、出力 I/F 111 、ワークメモリ 112 、プログラムメモリ 113 、及び、画像出力 I/F 114 間を結び、それらの間でデータの転送を行なうために使用する信号線である。
画像処理装置 102 は、読み出された画像の指定されたエリア（処理エリア）に画像処理（画像解析）を施すことによって、予め定められた事象が検出された場合には、出力 I.F 111 を用いて、警報表示モニタ 116 に制御信号を出力し、警報表示モニタ 116 は、入力された制御信号に基づいて警報を出力する。
この予め定められた事象は、プログラムメモリ 113 に予め組み込まれたプログラムよって定まる。
【０００７】
次に、従来の画像処理方法の動作例について、図５〜図７を用いて説明する。図６は、従来の画像処理方法の動作原理を示すフローチャートである。また、図７は、従来の画像処理方法の動作原理を説明するための図である。
図６において、処理エリア設定ステップ 200 では、まず、画像処理前に、オペレータは手動で処理すべきエリアを指定するなどして処理エリア S′（図７参照）の設定を行い、処理エリア画像 305B を作成する。即ち、処理エリアとして設定された画素の輝度値を“ 255 ”に設定し、それ以外の画素の輝度値を“ 0 ”に設定する。
尚、この例では、1 画素単位で処理を行っているが、複数の画素を単位（ 1 ブロック）として、画像処理を施しても良い。
図７の処理エリア画像 305B では、処理エリア S′内の画素の輝度値が“ 255”、それ以外の画素の輝度値が“ 0 ”に設定される。
処理エリアの設定は、例えば、図５に図示しない入出力装置（例えば、キーボード、ポインティングデバイス）を使って、ビデオモニタ 117 に表示された画像及び情報を確認しながら、エリアの指定を行なう。
【０００８】
次に、入力画像取込みステップ 202 では、TV カメラ 101 から入力された映像を入力画像メモリ 105 に格納し、入力画像 301 を得る。
処理エリア内画像抽出ステップ 205 では、処理エリアメモリ 106 に格納されている処理エリア画像 305B と、入力画像取込みステップで得られた入力画像 301 とについて、画素ごとに AND 処理を行い、処理エリア内画像 401B を得る。
【０００９】
ここで、AND 処理とは、該当する画素ごとに輝度値を比較し、低い方の輝度値を選択するものである。例えば、入力画像 301 のある画素の輝度値が“ 0 ”で、該当する処理エリア画像 305B の画素の輝度値が“ 255 ”である場合には、その画素の輝度値を“ 0 ”に決定する。また、例えば、入力画像 301 のある画素の輝度値が“ 0 ”で、該当する処理エリア画像 305B の画素の輝度値が“ 0 ”である場合には、その画素の輝度値を“ 0 ”に決定する。また、例えば、入力画像 301 のある画素の輝度値が“ 128 ”で、該当する処理エリア画像 305B の画素の輝度値が“ 0 ”である場合には、その画素の輝度値を“ 0 ”に決定する。また、例えば、入力画像 301 のある画素の輝度値が“ 128 ”で、該当する処理エリア画像 305B の画素の輝度値が“ 255 ”である場合には、その画素の輝度値を“ 128 ”に決定する。また、例えば、入力画像 301 のある画素の輝度値が“ 210 ”で、該当する処理エリア画像 305B の画素の輝度値が“ 0 ”である場合には、その画素の輝度値を“ 0 ”に決定する。また、例えば、入力画像 301 のある画素の輝度値が“ 210 ”で、該当する処理エリア画像 305B の画素の輝度値が“ 255 ”である場合には、その画素の輝度値を“ 210 ”に決定する。
【００１０】
平均値算出ステップ 206 では、処理エリア内画像抽出ステップ 205 で得られた処理エリア内画像 401B について処理エリア S′内の画素の輝度値の平均を算出する。
レベル判定ステップ 207 では、平均値算出ステップ 206 で得られた輝度値の平均が警報レベル以上か否かの判定を行う。
平均値が所定の値以上であった場合は、警報処理ステップ 208 に分岐し、平均値が所定の値未満であった場合は、入力画像取込みステップ 202 に分岐する。
警報処理ステップ 208 では、出力 I/F 111 を用いて警報表示モニタ 116 に輝度変化があったことを知らせるための警報の出力を行わせる。
【００１１】
【発明が解決しようとする課題】
前述の従来技術には、判定する物体の位置や形状が流体等のように一定でない物体であるときには、図７に示した処理エリア内画像 401B の場合のように、判定物体 A′の大きさが設定した処理エリア S′よりも小さいと、処理エリアと認識したエリアとに誤差が生じ、認識したいエリア外の輝度も抽出してしまうことから平均値の判定が正しく行われないが欠点がある。また、判定物体 A′の大きさが設定エリアよりも大きい場合や設定エリアからはみ出した場合は、判定物体 A′の位置がずれるため、認識したエリアと処理エリアとの間に誤差が生じ、平均値の判定が正しく行われない欠点がある。
本発明の目的は、上記のような欠点を除去し、判定する物体の形状や大きさ、または、位置が変化する場合でも、正確に判定が行えなる画像処理方法を提供することにある。
【００１２】
【課題を解決するための手段】
上記の目的を達成するため、本発明の画像処理方法は、入力画像、蓄積画像の輝度の比較を画素ごとに行うことにより最大値画像を作成し、最大値画像の規定輝度レベル以上の部分に処理エリアを自動作成することにより、判定物体Ａ'の大きさが異なった場合及び、判定物体Ａ'の位置がずれた場合でも平均値の判定が安定して行えるようにしたものである。
即ち、本発明の画像処理方法は、撮像装置によって所定の視野範囲を逐次撮像し、該視野範囲の一部を処理エリアとして指定し、前記撮像装置によって撮像される画像の指定された該処理エリア内に所定の画像処理を施す画像処理システムにおいて、撮像された画像を、取得した時刻と関連づけて画像メモリに記録し、記録された前記異なる時刻に撮像された画像間の中で少なくとも１つの画素毎に最大の輝度値を抽出し、抽出された最大の輝度値の画像から所定の値以上の輝度値のエリアを前記処理エリアとして更新することを特徴とするものである。
また、本発明の画像処理方法は、前記画像メモリに所定数の画像を記録し、記録された一番古い画像を新規に撮像された画像に置きかえることを特徴とするものである。
【００１３】
【発明の実施の形態】
本発明の一実施例の画像処理方法を、図１〜図４によって説明する。図１は、本発明の画像処理システムの一実施例の構成を示すブロック図である。図１の構成は、従来のハードウェア構成の画像メモリ 104 に、更に、最大値メモリ 107 、及び、蓄積メモリ 108 を加えたものである。尚、従来技術で説明した構成要素と同一の機能の構成要素には同一の参照番号を付した。
また、図２は、本発明の画像処理の動作原理の一実施例を示すフローチャートである。図３は、本発明の画像処理方法での処理エリア作成ステップの一実施例の処理動作を説明するための図である。図４は、本発明の画像処理方法の動作原理の一実施例を説明するための図である。
【００１４】
図１は、図５の輝度変化認識用画像処理装置の構成について、画像メモリ 104を画像メモリ 104′に変更し、プログラムメモリ 113 には、図２で説明するフローチャートを CPU 110 に実行させるためのプログラムが格納されている。画像メモリ 104′は、入力メモリ 105 、処理エリアメモリ 106 、画像間の演算に用いる処理用メモリ 109 の他に、最大値メモリ 107 と蓄積メモリ 108 とを加えて構成している。以下、図１に構成を用いて、本発明の一実施例の動作について説明する。
【００１５】
図２において、まず、蓄積画像取込みステップ 201 では、TV カメラ 101 から入力された映像を画像入力 I/F 103 を介して入力画像メモリ 105 に格納し、入力画像メモリ 105 に格納された画像 301（図３）を蓄積画像メモリ 108 にコピーすることにより、蓄積画像 302 と 303 とを得る（図３）。このとき、蓄積画像 302 と 303 は、撮像された時刻、または、時刻と対応付けられる番号または識別記号と関連づけて記憶されている。本実施例では、蓄積メモリ 108 に格納される画像数は 2 である。
【００１６】
入力画像取込みステップ 202 では、TV カメラ 101 の映像を入力画像メモリ 105 に格納し、入力画像 301′を得る。このとき、入力画像 301′は、撮像された時刻、または、時刻と対応付けられる番号または識別記号と関連づけて記憶されている。
最大値画像作成ステップ 203 では、蓄積画像取込みステップ 201 または蓄積画像更新処理ステップ 209（後述）で得られた蓄積画像 302 、303 それぞれと、入力画像 301′との輝度値の比較を画素ごとに行い、いずれか輝度値の高い画素の輝度値を最大値として抽出する。そして、画素ごとの最大輝度値で構成した最大値画像 304 を得る。得られた最大値画像 304 は、最大値メモリ 107 に格納する。
【００１７】
処理エリア作成ステップ 204 では、最大値画像作成ステップ 203 で得られた最大値画像 304 をしきい値処理する。即ち、最大値画像 304 の各画素について、所定のしきい値未満の画素を輝度値 0 、所定のしきい値以上の画素を輝度値 255（ 1 画素の輝度値は、 0 から 255 の 256 階調で表現している）とし、処理エリア画像 305A を得る（図３参照）。
処理エリア画像 305A は、処理エリアメモリ 106 に格納される。
処理エリア内画像抽出ステップ 205′では、入力画像取込みステップ 202 で得られた入力画像 301′と、処理エリア作成ステップ 204 で得られた処理エリア画像 305A とについて、画素ごとに AND 処理（図６の AND 処理と同様の）を行い、処理エリア内画像 401A を得る。
図４の処理エリア内画像 401A において、輝度値が“ 255 ”の画素の領域が処理エリア S であり、輝度値が“ 0 ”の画素の領域が処理エリア S 以外の領域として設定される。
【００１８】
平均値算出ステップ 206 では、処理エリア内画像抽出ステップ 205′で得られた処理エリア内画像 401A について、処理エリア S 内の画素の輝度値の平均を算出する。
レベル判定ステップ 207 とでは、平均値算出ステップ 206 で得られた輝度値の平均が警報レベル以上か否かの判定を行う（図６と同様）。
輝度値の平均が所定の値以上であった場合、警報処理ステップ 208 に分岐し、輝度レベルの平均値が所定の値未満であった場合、蓄積画像更新処理ステップ 209 に分岐する。
警報処理ステップ 208 では、出力 I/F 111 を用いて警報表示モニタ 116 に輝度変化があったことを知らせるための警報の出力を行わせる。
蓄積画像更新ステップ 209 では、蓄積メモリ 108 に格納されている蓄積画像のうち、最も古いデータが格納されているメモリに、入力メモリ 105 に格納されている入力画像 301′をコピー（上書き）する。
【００１９】
最大値画像作成ステップ 203 の一実施例を、図３を用いて詳しく説明する。最大値画像作成ステップ 203 では、入力画像 301′、蓄積画像 302 、及び、蓄積画像 303 の輝度値の比較を画素毎に行う。
例えば、入力画像 301′の画素位置（ x ，y ）での輝度値を P1（ x ，y ）、蓄積画像 302 の画素位置（ x ，y ）での輝度値を P2（ x ，y ）、蓄積画像 303 の画素位置（ x ，y ）での輝度値を P3（ x ，y ）を比較する、そして、
【００２０】
P1（ x ，y ）≧ P2（ x ，y ）≧ P3（ x ，y ）、または、 P1（ x ，y ）≧ P3（ x ，y ）≧ P2（ x ，y ）
であったときには、最大値画像 304 の画素位置（ x ，y ）には、輝度値 P1（ x ，y ）が格納される。
P2（ x ，y ）≧ P1（ x ，y ）≧ P3（ x ，y ）、または、 P2（ x ，y ）≧ P3（ x ，y ）≧ P1（ x ，y ）
であったときには、最大値画像 304 の画素位置（ x ，y ）には、輝度値 P2（ x ，y ）が格納される。
P3（ x ，y ）≧ P1（ x ，y ）≧ P2（ x ，y ）、または、 P3（ x ，y ）≧ P2（ x ，y ）≧ P1（ x ，y ）
であったときには、最大値画像 304 の画素位置（ x ，y ）には、輝度値 P3（ x ，y ）が格納される。
【００２１】
上記の計算を、全ての画素に対して行う。
最大値画像 304 から処理エリア S を算出することにより、判定物体 A に低レベル部分 B があった場合でも、低レベル部分 B に影響を受けずに処理エリア画像 305A を得ることができる。
【００２２】
次に、従来技術で問題のあった判定物体 A′に対する本発明の輝度変化認識画像処理方法と図５〜図７で説明した従来の方法との認識結果の違いについて、図８を用いて説明する。
図８は、本発明の画像処理方法の一実施例を説明するための図である。上述した図１〜図４で説明した本発明の一実施例の方法により、入力画像 301′から処理エリア画像 305A′を作成し、入力画像 301 と処理エリア画像 305A′の AND 処理をする。これにより、処理エリア内画像 401A′を得る。
処理エリア内画像 401A′には、判定物体 A′のみが抽出されているため、安定して平均レベルの判定が行える。
【００２３】
尚、上述の例では、1 画素単位で処理を行っているが、複数の画素を単位（ 1ブロック）としてその輝度値の平均を基に、画像処理を施しても良い。
また、上述の実施例では、監視視野範囲内の画像処理すべき物体の輝度が周囲の背景より明るい場合の例を挙げて説明した。そのため、処理エリアを作成する場合には、比較する画像の中で輝度値が最大の画素の輝度値を抽出し処理エリアの輝度値を“ 255 ”それ以外の輝度値を“ 0 ”として作成し、画像処理には、処理エリアと入力画像との比較を画素毎の AND 処理によって行った。
しかし、監視視野範囲内の画像処理すべき物体の輝度が周囲の背景より暗い場合には、逆に、それぞれの画像の輝度値を反転して処理すれば良い。例えば、“ 0 ”を“ 255 ”、“ 1 ”を“ 254 ”に、“ 2 ”を“ 253 ”、‥‥‥、“ 254 ”を“ 1 ”、“ 255 ”を“ 0 ”に変換してから、上述の処理を行えば良い。
【００２４】
【発明の効果】
以上説明したように、本発明によれば、入力画像と過去の複数の入力画像とから最大値画像を作成し、作成された最大値画像を用いて処理エリアを自動作成することにより、処理エリアと認識したいエリアとの間に誤差が生じず、安定した平均値レベルで判定することができ、判定したい物体の形状、大きさ、位置が変化する場合でも、輝度変化の認識を正確に行なうことができる。
【図面の簡単な説明】
【図１】  本発明の画像処理システムの一実施例の構成を示すブロック図。
【図２】  本発明の画像処理の動作原理の一実施例を示すフローチャート。
【図３】  本発明の画像処理方法での処理エリア作成ステップの一実施例を説明するための図。
【図４】  本発明の画像処理方法の動作原理の一実施例を説明するための図。
【図５】  従来の画像処理システムの構成を示すブロック図。
【図６】  従来の画像処理方法の動作原理を示すフローチャート。
【図７】  従来の画像処理方法の動作原理を説明するための図。
【図８】  本発明の画像処理方法の一実施例を説明するための図。
【符号の説明】
101：TV カメラ、  102：画像処理装置、  103：画像入力 I/F 、  104：画像メモリ、  105：入力メモリ、  106：処理エリアメモリ、  107：最大値メモリ、  108：蓄積メモリ、  109：処理用メモリ、  110：CPU 、  111：出力 I/F 、  112：ワークメモリ、  113：プログラムメモリ、  114：画像出力 I/F 、  115：データバス、  116：警報表示モニタ、  117：ビデオモニタ、  301，301′：入力画像、  302，303：蓄積画像、  304：最大値画像、  305A，305A′，305B：処理エリア画像、  401A，401A′，401B：処理エリア内画像。
【図１】
0004067300.tif 000002
【図２】
0004067300.tif 000003
【図３】
0004067300.tif 000004
【図４】
0004067300.tif 000005
【図５】
0004067300.tif 000006
【図６】
0004067300.tif 000007
【図７】
0004067300.tif 000008
【図８】
0004067300.tif 000009