(57)【特許請求の範囲】
【請求項１】
塵埃や煙の発生する可能性のある空間領域を撮像装置により撮像し、得られた画像の時系列的な変化から、発塵・発煙を自動検出する発塵・発煙の自動検出方法であって、撮像装置により視野を走査して複数回の撮像を行い、得られた複数の画像の重なり合う画像の部分をパターンマッチングにより同一視野に対応する画素同士を対応させる位置ずれ補正を行ってつなぎ合わせた１個の画像を得つつ、前記重なり合う画像の部分がさらに重なり合う状態で前記重なり合う画像の部分毎の時系列的変化を検出して前記１個の画像取得時の時系列的な変化を求めることを特徴とする発塵・発煙の自動検出方法。
【請求項２】
請求項１に記載の発塵・発煙の自動検出方法であって、前記重なり合う画像の部分の時系列的な変化が閾値を超えたとき、その閾値を超えている時間が、過去所定時間Ｔの間に所定時間ｔ以上ある場合に警報を発し、その他の場合には、警報を発せず、発生の記録のみを行うことを特徴とする発塵・発煙の自動検出方法。
【請求項３】
請求項２に記載の発塵・発煙の自動検出方法であって、前記閾値（第１の閾値）とは異なる小さな第２の閾値を有し、前記重なり合う画像の部分の時系列的な変化が第２の閾値を超えたとき警告を発し、警報と警告が発せられたとき、操作入力することにより、前記第１の閾値の値を自動変更することを特徴とする発塵・発煙の自動検出方法。
【請求項４】
請求項３に記載の発塵・発煙の自動検出方法であって、前記重なり合う画像の部分の時系列的な変化をグラフ化して記録し、操作入力により、前記閾値、所定時間Ｔ、所定時間ｔの値を変更可能なようにされていることを特徴とする発塵・発煙の自動検出方法。
【請求項５】
請求項１から請求項４のうちいずれか１項に記載の発塵・発煙の自動検出方法であって、画像の時系列的な変化として、画像中の特定色の強度と別の特定色の強度の比を用いることを特徴とする発塵・発煙の自動検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像装置を用いて発塵・発煙を自動的に検出する方法に関するものである。
【０００２】
【従来の技術】
現在、製鉄工場・化学工場等、発塵・発煙を発生しうる工場をもつ企業において、環境保全の為にこれら工場からの発塵・発煙の状態を監視することは必須な作業となっている。この作業を目視観察により行っている企業がいまだ多い中、発塵・発煙が予想される場所を撮像し、画像処理を用いてこれら発塵・発煙を検出するものも多々報告されている。画像処理による検出方法として、たとえば特開平４−２６３３９４号公報、特開平５−１２４０７号公報、特開平８−３１５１１３号公報に開示されている技術等がある。
【０００３】
特開平４−２６３３９４号公報、特開平５−１２４０７号公報に開示されている技術は、撮像対象を異なる時点において撮像し、時間的に変化した画像情報（画素）をもとに発塵・発煙を検出するものである。また、特開平８−３１５１１３号に開示されている技術は、画素を比較単位とするのではなく、監視領域を複数ブロックに分割し、各ブロック毎に平均輝度を求めるなどマクロ的概念を入れた検出方法である。しかしながらこの方法も、各ブロックごとの平均輝度の時間的変化をもとにして発塵・発煙を検出するものである。これら検出方法は、設置されたＣＣＤカメラが、撮像時間によらず、常に寸分狂わず同じ位置を同じ倍率で撮像することを前提としているものである。
【０００４】
【発明が解決しようとする課題】
しかしながら、これら監視を行うＣＣＤカメラは、高精度の位置決めが可能な雲台により制御されていたり、完全固定設置されていても、発塵・発煙監視用として、一般的に屋外でしかも高所に設置されているため、風や地上振動により微少な撮像ずれを起こしてしまう。
【０００５】
そのため、特開平４−２６３３９４号公報、特開平５−１２４０７号公報に開示されている方法のように、画素ごとに時間的な変化を求め、これにより発塵・発煙を検出する方法においては、時間によって同じ画素が撮像している点が異なるため、安定した検出が困難であるという問題があった。
【０００６】
特開平８−３１５１１３号公報に記載される技術は、ブロック毎の平均に基づいた検出方法を行っているため、特開平４−２６３３９４号公報、特開平５−１２４０７号公報に記載される技術と比較すれば、マクロ的に検出している分だけ画素ずれの影響は緩和される。しかし、画素ずれがあることを前提とする場合には、変化を検出するに際して、ある程度小さな変化は画素ずれの影響として無視するような処理を行わざるを得ない。
【０００７】
一方、検出対象となっている発塵・発煙の発生状態はランダムであり、また、目視でも検出困難な発塵・発煙に関しては非常に薄くしか撮像されない。このため、実際に発塵・発煙を検出するためには、微小な画像の変化を検出する必要がある。よって、特開平８−３１５１１３号公報に記載される技術を使用しても、ランダムな発塵・発煙や目視でも検出困難な発塵・発煙を検出することは困難であるという問題点があった。
【０００８】
本発明は、このような事情に鑑みてなされたもので、監視画像の撮像装置の振動等により監視される画像の位置ずれが発生した場合でも、ランダムな発塵・発煙や目視でも検出困難な発塵・発煙を検出可能な発塵・発煙の自動監視方法を提供することを課題とする。
【０００９】
【課題を解決するための手段】
前記課題を解決するための第１の手段は、塵埃や煙の発生する可能性のある空間領域を撮像装置により撮像し、得られた画像の時系列的な変化から、発塵・発煙を自動検出する方法であって、得られた画像の時系列的な変化を求めるに先立ち、比較される画像のパターンマッチングを行って同一視野に対応する画素同士を対応させる処理を行うことを特徴とする発塵・発煙の自動検出方法である。
【００１０】
本手段においては、時間を置いて撮像した画像同士を比較するに先立ち、比較される画像のパターンマッチングを行って同一視野に対応する画素同士を対応させる処理を行っている。パターンマッチングの手法としては、相互相関を使用する方法等、公知の手法が使用できる。よって、比較される画素同士が同一の視野に正確に対応するので、撮像装置が風や地上振動により撮像ずれを起こしたような場合でも、異なる視野の画素同士を比較してしまって誤判断に陥ることが無くなる。従って、微細な視野における微細な変化を検出することができる。
【００１１】
なお、「画像の時系列的な変化」としては、画素毎の輝度や色の定常値からの変化量、画素毎の輝度や色の時間的な変化率、画像のブロック内の画素の輝度や色の平均値の定常値からの変化量、画像のブロック内の画素の輝度や色の平均値の時間的な変化率等がある。
【００１２】
前記課題を解決するための第２の手段は、前記第１の手段であって、撮像装置により視野を走査して複数回の撮像を行い、得られた複数の画像をつなぎ合せて１個の画像を得て、得られた１個の画像の時系列変化から発塵・発煙を自動検出する方法において、得られた複数の画像をつなぎ合せて１個の画像を得るのに際し、重なり合う画像の部分をパターンマッチングによりつなぎ合わせることを特徴とするものである。
【００１３】
本手段においては、撮像装置により視野を走査して複数回の撮像を行い、その一部が互いに重なり合う複数の画像を得ている。そして、重なり合う画像の部分についてパターンマッチングを行うことにより、複数の画像をつなぎ合せて１個の画像を得ており、それを、過去の画像と比較することにより画像の時系列的な変化を得ている。よって、広い視野を１台のカメラで監視するような場合においても、同じ視野に対応する画素同士を比較することが可能になる。
【００１４】
前記課題を解決するための第３の手段は、前記第１の手段又は第２の手段であって、得られた画像の時系列的な変化が閾値を超えたとき、その閾値を超えている時間が、過去所定時間Ｔの間に所定時間ｔ以上ある場合に警報を発し、その他の場合には、警報を発せず、発生の記録のみを行うことを特徴とするものである。
【００１５】
従来の発塵・発煙の検出方法においては、得られた画像の時系列的な変化が閾値を超えたとき、直ちに発塵・発煙の警報を出していた。しかし、発塵・発煙の中には、極短時間の間だけ単発的に発生するものもあり、このようなものは、記録さえ残しておけば、直ちにアクションをとる必要がない。本手段においては、閾値を超えている時間が、過去所定時間Ｔの間に所定時間ｔ以上ある場合に警報を発している。すなわち、過去Ｔの時間の間に、断続的又は連続的にｔの時間だけ発塵・発煙が検出されたときのみ警報を発し、アクションをとることを促している。よって、不要な警報が発せられることを防ぐことができる。
【００１６】
前記課題を解決するための第４の手段は、前記第１の手段であって、前記閾値（第１の閾値）とは異なる小さな第２の閾値を有し、得られた画像の時系列的な変化が第２の閾値を超えたとき警告を発し、警報と警告が発せられたとき、その適否を入力することにより、前記第１の閾値の値を自動変更することを特徴とするものである。
【００１７】
本手段においては、警告と警報が発せられたのを人間が認識し、その適否を入力する。それにより、警報を発するための閾値が自動変更される。例えば、警報が発せられたときに、問題の無い発塵・発煙量であると判断した場合には、その旨を入力すると第１の閾値が引き上げられる。また、警告が発せられた場合に、本来警報を発するレベルにあると判断した場合には、その旨を入力すると第１の閾値が引き下げられる。
【００１８】
前記課題を解決するための第５の手段は、前記第３の手段又は第４の手段であって、得られた画像の時系列的な変化をグラフ化して記録し、それを観察した人間が、前記閾値、所定時間Ｔ、所定時間ｔの値を変更可能なようにされていることを特徴とするものである。
【００１９】
本手段においては、人間がグラフを観察し、前記閾値、所定時間Ｔ、所定時間ｔの値を変更可能としているので、警報を出すレベルを学習により最適なものとして行くことが可能となる。
【００２０】
前記課題を解決するための第６の手段は、前記第１の手段から第５の手段のいずれかであって、画像の時系列的な変化として、画像中の特定色の強度と別の特定色の強度の比を用いることを特徴とするものである。
【００２１】
一般に、監視される場所から発生する発塵・発煙は、その場所に特有の色を有している。例えば、製鉄所の転炉から発生する発塵は、茶褐色系であることが多い。よって、画像の時系列的な変化として、画像中の特定色の強度と別の特定色の強度の比を用いることにより、従来のように単に輝度の時系列的な変化を用いるよりは、正確に発塵・発煙を検出することができる。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態の例を図を用いて説明する。図１は、本発明の実施の形態の１例である発塵・発煙の自動監視方法を実施するための発塵・発煙の自動監視装置の全体構成を示すブロック図である。図において１は撮像装置、２は電動雲台、３は撮像機器制御装置、４は発塵・発煙検出装置、５は発塵検出装置ＢＵＳ、６は濃淡画像処理ボード、７はカラー画像ボード、８はＣＰＵボード、９はＶＧＡボード、１０はＰＩＯボード、１１はＬＡＮボード、１２はＣＲＴ、１３は状態表示灯、１４はスピーカーである。
【００２３】
撮像装置１は電動雲台２に固定され、発塵・発煙を監視するために、監視領域を望むことができる高所に設置されている。撮像機器制御装置３は、電動雲台２を駆動すると共に、撮像装置１で撮像された画像を発塵・発煙検出装置４に供給する。発塵・発煙検出装置４は、全体制御処理をするＣＰＵボード８と、監視状態をＣＲＴ１２に表示するモニタリング制御をするＶＧＡボード９と、監視結果を外部の機器に通報する為のＬＡＮボード１１と、発塵・発煙検出時の警報を知らせる表示灯１３及びスピーカ１４を制御するＰＩＯボード１０と、本発明の主たる画像処理を行う濃淡画像ボード６と、カラー画像ボード７から構成されている。
【００２４】
なお、この実施の形態において、濃淡画像ボードとカラー画像ボードを分けているのは、後に述べるような位置ずれ補正等の演算容量が大きくなる処理を濃淡画像で行い、発塵・発煙検出等の演算はカラー画像を用いて行なうようにするためである。
【００２５】
撮像機器制御装置３は画像信号を分配して濃淡画像処理ボード６とカラー画像ボード７に供給する。濃淡画像処理ボード６には発塵・発煙検出装置４のＣＰＵとは非同期で動作することのできるＣＰＵと画像処理専用プロセッサが搭載されており、監視周期とは別に常に撮像画像の位置ずれ量計測を高速に行っている。カラー画像ボード７は、監視周期にてカラー画像を入力し濃淡画像処理ボード６からの情報をもとに発塵・発煙検出及び判定を行う。
【００２６】
次に濃淡画像処理ボード６における処理手順に付いて図２を用いて説明する。まず、発塵・発煙検出装置４の起動と共に濃淡画像処理ボードのＣＰＵに起動信号がかかる。起動がかかると、撮像機器制御装置３により分配された画像信号を自ボードに入力する。
【００２７】
続いて、濃淡画像処理ボード６は画像を入力し前回自ボードに入力した濃淡画像との位置ずれ量検出処理を行う。すなわち、入力した画像と前回入力した画像との２次元の相互相関をとり、相互相関値が最大となる位置で画像が一致していると判断する。その後、画像間の比較をして濃淡度が閾値以上変化している部分を検出する。これは濃淡画像からの発塵・発煙候補となる。
【００２８】
次に発塵・発煙検出全体処理を図３を用いて説明する。まず、発塵・発煙検出装置４の監視周期（前記濃淡画像処理の処理周期の所定倍数の周期）にてカラー画像ボード７に撮像装置１からの時刻ｔ＝Ｔにおける画像を入力する。続いて濃淡画像処理ボードより検出された位置ずれ量（時刻ｔ＝Ｔとｔ＝Ｔ−１画像のずれ量）に基づいて位置ずれ補正を行う。
【００２９】
位置ずれ補正までをカラー画像を用いて行なうと膨大な計算が必要となるが、本実施の形態では、位置ずれ補正のための計算は濃淡画像を用いて行い、その結果に基づいてカラー画像の位置ずれを補正しているので、計算量と計算時間が大幅に短縮される。
【００３０】
なお、濃淡画像ボードとカラー画像ボードのデーターの位置合わせは、撮像素子から同じタイミングで読み取った信号を、どちらのボードにも同じタイミングで書き込むようにすれば、通常は位置ずれが起こらないので必要はない。よって、濃淡画像データに基づいて決定された位置ずれ量を、そのままカラー画像情報の位置ずれ量として使用すればよい。しかし、書き込みの方式により両者に位置ずれが起こる可能性のある場合には、カラー画像ボードのＲＢＧ情報を（Ｒ＋Ｇ＋Ｂ）／３として明度情報に変換した上で、濃淡画像ボードのデーターとの相互相関をとる等の周知の方法で位置合わせをすればよい。この場合は、濃淡画像データに基づいて決定された位置ずれ量に、濃淡画像ボードとカラー画像ボード間の位置ずれ量を加えたもので、カラー画像の位置ずれ量を補正する。
【００３１】
位置ずれ補正された画像間において、画素毎に色の変化を計算し、色が閾値以上変化している部分を抽出し発塵・発煙候補抽出を行う。色の変化を計算するには、特定の色と別の特定の色との比又は差を計算するのが一般的である。どの色を計算に使用するかは、予想される発塵・発煙の色に応じて決定される。
【００３２】
この際、濃淡画像処理による発塵・発煙候補抽出の情報を比較し、発塵・発煙候補よりノイズ情報を除去する。すなわち、濃淡画像が閾値以上に変化した部分のうち、明らかに発煙・発塵で無いと考えられるものを除去する。例えば、非常に小さい領域のみにおいて大きな濃淡度の変化があるものは、飛行機のようなものや太陽光を反射する物体であるので、候補領域から除外する。
【００３３】
次に発塵・発煙候補の検出データを過去複数回の結果と共にグラフにプロットする。画像の時系列的な変化をグラフ化する方法としては、以下のような方法が採用できる。
【００３４】
まず、濃淡画像による位置合わせ後の画像間において、各画素の変化量があらかじめ設定しておいた範囲を超えた画素を抽出する。そして、抽出された画像において、近傍画素の隣接によりできたまとまった領域が、あらかじめ設定された面積以上となる領域を抽出する。そして、この領域の面積及び各画素の輝度変化量の平均値をグラフの値としてプロットする。
【００３５】
さらに、前記抽出された領域にあたる部分をカラー画像から抽出し、抽出された部分の色度、色相、彩度の平均値及びＲ、Ｂ、Ｇ信号の平均値をグラフの値としてプロットする。
【００３６】
加えて、これらの値を演算したもので、その場所で発生する発塵・発煙と相関の強い値をグラフの値としてプロットする。この例として、製鉄所関連で発生しやすい赤褐色の発塵を重点的に観察したい場合は、Ｒ／Ｂの値をプロットする。
【００３７】
発塵・発煙検出による警報出力は、このグラフの値が閾値を超えた場合に行うが、後に述べるように、過去のデーターをも考慮して警報出力を行うようにしている。
【００３８】
実際の監視現場において、発塵・発煙発生時の対処方法は、すぐに発生現地にて作業しなければならない場合と、発生した事実はデータとして残すが、現場では直接作業するに至らない状態とがある。但し、これら２つの状態は、単一の閾値で分割できるものではない。本発明によれば、過去のデータから判断のできないグレーゾーンにおいては注意として警報とはランクを分け、目視による人の判断を促す。これを基に、次回同一の状態が起ったときの判定レベルを更新していく学習機能を有している。これにより、閾値設定ミスによる発塵・発煙の見逃し及び多量の虚報発生を無くし安定した自動監視を可能としている。
【００３９】
次に発塵・発煙発生の状態判定方法について図４を用いて説明する。（ａ）は時刻Ｔ０からＴまで発塵・発煙の発生の無い理想的なグラフである。（ｂ）はＴ１からＴにかけて徐々に発塵・発煙が発生してきた可能性がある場合であり、（ｃ）は急激に発塵・発煙が発生した可能性がある場合である。この際判断基準として▲１▼（ｗ１−Ｗ）及び（ｗ２−Ｗ）は従来用いられてきた判断基準であるが、本発明では▲２▼（ｗ２−Ｗ）／（Ｔ２−Ｔ）のような単位時間に対する変化量や▲３▼単位時間の変化量積分値などグラフ形状より判断をしている。
【００４０】
また、（ｄ）は発塵・発煙発生が頻繁に起きているが、当初多量に発生したがその後は少量断続的に発生している状態であり、（ｅ）は断続的に多量の発塵・発煙が発生している状態である。この場合も（ｄ）のように１度多量Ａに発生したが、その後は少量の発生である為、警報出力をすぐに出さずにデータを蓄積するとともに警告（注意出力）をして様子を伺うという処理を可能としている。（ｅ）においては、断続的で個々の発塵・発煙Ａは警報出力に至らないが、単位時間内に複数回の発塵・発煙があるという条件で警報出力となる。
【００４１】
この判断の１例として、時刻Ｔにおいて閾値を越えた場合、Ｔ0までの過去に遡って、閾値を超えている時間がどの程度あるかどうかを判断し、それが所定の時間ｔを超えている場合に警報を発するようにする方法が考えられる。そして、（Ｔ−Ｔ0）とｔの値は、人間がグラフの形状を見て変更できるようにしておくことが好ましい。
【００４２】
図５は本発明による位置補正機能を利用してオートパーンしている撮像装置１での自動監視例を説明した図である。（ａ）においてＷは監視したい領域であり、Ｗｎは撮像装置の１視野の範囲を表わしている。従来Ｗの範囲を監視領域とする場合、撮像装置１を複数台設置してＷの範囲を確保するか電動雲台２及び撮像機器制御装置３により正確な位置決め機構を有する設備により、規定の位置に撮像機器１を移動させ、前述撮像機器１を擬似的に複数台設置している状態を作らなければならなかった。
【００４３】
しかし、本発明における画像の位置補正機能を用いることで、（ｂ）に示す様に，オートパーンしている撮像装置１からの画像Ｇ１→Ｇ２→Ｇ３→Ｇ４→・・・→Ｇ(ｎ−１)→Ｇｎにおいて、まずＧ１とＧ２の画像位置補正より両画像にある同一領域Ａ１により検出処理を行う。次に、Ｇ３とＧ４の画像位置補正より、両画像にある同一領域Ａ３により検出処理を行う。このようにＡｎ−１まで処理を繰り返すことで監視領域Ｗをオートパーンしている撮像装置１で監視を可能としている。なお、オートパーンの速度にもよるが、発塵・発煙検出装置４の能力でＧ２とＧ３に対する処理を行えば、さらに精度のよい監視をすることができる。
【００４４】
図６に、発塵が起こった場合における画像中の特定ブロックの色（ｒｂｇ）信号の平均値の変化を示す図である。図６における横軸はデータ採取回数を示し、この場合２秒間隔でデータを採っているので、横軸の数字を２倍したものが秒数に対応する。縦軸はＲ、Ｂ、Ｇ信号の変化量で相対値である。この塵埃は赤褐色であるので、ｒ信号の強度が高くなり、ｂ信号のレベルが低下している。よって、ｒ信号とｂ信号の比を演算することにより、発塵を検出できることが分かる。
【００４５】
【発明の効果】
以上説明したように、本発明による発塵・発煙の検出方法を用いれば、さまざまな要因による撮像むらを除去することができ、従来、これら撮像むらに隠れてしまって検出出来なかった微少の発塵・発煙を検出することが可能になった。さらに視野毎の位置補正機能を有することでオートパーンしている撮像装置での自動監視ができる。また、学習処理により、発塵・発煙の発生検出を正確に行うことができる。
【図面の簡単な説明】
【図１】本発明を実施するための発塵・発煙検出装置の全体構成を示すブロック図である。
【図２】発塵・発煙検出装置における撮像位置補正処理の１例を示すフロー図である。
【図３】発塵・発煙検出装置における発塵・発煙検出全体処理を示すフロー図である。
【図４】発塵・発煙検出装置における発塵・発煙検出判定方法を示す説明図である。
【図５】発塵・発煙検出装置におけるオートパーン撮像装置での実施の形態を示す説明図である。
【図６】発塵が発生した場合のＲＧＢ信号のレベル変化の例を示す図である。
【符号の説明】
１  撮像装置
２  電動雲台
３  撮像機器制御装置
４  発塵・発煙検出装置
５  発塵検出装置ＢＵＳ
６  濃淡画像処理ボード
７  カラー画像ボード
８  ＣＰＵボード
９  ＶＧＡボード
１０  ＰＩＯボード
１１  ＬＡＮボード
１２  ＣＲＴ
１３  状態表示等
１４  スピーカ
【図１】
0004398563.tif 000002
【図２】
0004398563.tif 000003
【図３】
0004398563.tif 000004
【図４】
0004398563.tif 000005
【図５】
0004398563.tif 000006
【図６】
0004398563.tif 000007