(57)【特許請求の範囲】
【請求項１】
監視対象の水路を撮像して得られたビデオ画像に基づく画像データに対し設定されたブロックサイズで平均値縮小処理を行う手段と、
その平均値縮小処理された画像データに対し、周囲の近傍画素との濃淡値の差が大きい処理対象画素を強調するような所定の空間フィルタ処理を行う空間フィルタ処理手段と、
空間フィルタ処理された画像データに対し設定されたしきい値で２値化するフレーム画像２値化処理手段と、
そのフレーム画像２値化処理手段で２値化された２値画像データ中に存在する検出対象物の数量を計測する画面内検出対象物数計測手段と、
前記空間フィルタ処理された画像データのうち、水平ラインと垂直ラインから選択されたラインの濃淡値データのみを、設定された時間間隔で所定回数分順次蓄積する時空間画像蓄積手段と、
前記時空間画像蓄積手段に蓄積された画像データに対し、設定されたしきい値で２値化する時空間画像２値化処理手段と、
その時空間画像２値化処理手段で２値化された２値画像時空間画像データを用いて、前記選択されたライン上を設定された時間中に通過する検出対象物の数量を計測する通過数計測処理手段と、
前記画面内検出対象物数計測手段と、通過数計測処理手段で計測されたデータに基づいて前記監視領域内の前記検出対象物の流出入度合いを判断し、警報発報条件に達した場合に警報を発する警報処理手段とを備えたことを特徴とする水路流出入物監視装置。
【請求項２】
前記空間フィルタ処理された画像データのうち、検出対象領域から除外する検出外領域を設定する検出外領域設定手段をさらに備え、
その検出外領域設定手段で設定された検出外領域は、前記フレーム画像２値化処理手段および前記時空間画像２値化処理手段による２値化処理の際に少なくとも検出対象物ありとならないようにしたことを特徴とする請求項１に記載の水路流出入物監視装置。
【請求項３】
前記平均値縮小処理手段におけるブロックサイズの設定が、
所定の画像に対して前記画面内検出対象物数計測手段で検出された検出対象物の検出位置から、その処理の元となった平均値縮小処理前の画像データにおける検出位置の座標を求め、
前記平均値縮小処理前の画像データの中で、前記求められた検出位置座標を含む所定サイズの矩形領域内の各画素の濃淡値データを抽出し、
抽出された矩形領域ごとに２値化しきい値を決定するとともに、その決定した２値化しきい値で、前記矩形領域内の画像データを２値化し、
その２値化された画像データに基づいて検出対象物の寸法形状に関する情報を取得し、その取得した寸法形状に基づいて前記ブロックサイズを決定し、設定するようにしたこと特徴とする請求項１に記載の水路流出入物監視装置。
【請求項４】
前記矩形領域の画像データを２値化する際の２値化しきい値の設定が、
抽出された矩形領域内の画像データについて濃淡値ヒストグラムを作成し、
ヒストグラムデータの中で度数が１以上となる濃淡値の最大値より、濃淡値を減少方向に順次選択し、選択された濃淡値以下のデータを用いて歪度を算出し、この歪度が正値から負値に転じる濃淡値に基づいて前記矩形領域の２値化しきい値を決定するようにしたことを特徴とする請求項３に記載の水路流出入物監視装置。
【請求項５】
前記歪度が正値から負値に転じる濃淡値よりも、所定の補正値分だけ高い濃淡値を２値化しきい値とするようにしたことを特徴とする請求項４に記載の水路流出入物監視装置。
【請求項６】
前記空間フィルタ処理手段が、
処理対象画素の濃淡値と、近傍画素の濃淡値との差の絶対値の最大値を求め、その求めた最大値を空間フィルタ処理の結果として出力するものであることを特徴とする請求項１に記載の水路流出入物監視装置。
【請求項７】
前記空間フィルタ処理手段が、
処理対象画素を中心とするｎ×ｎの矩形領域を構成する各画素の濃淡値データの中から、最大濃淡値および最小濃淡値を抽出し、
前記処理対象画素の濃淡値から前記最大濃淡値を引き算することによって得られる値と、前記処理対象画素の濃淡値から前記最小濃淡値を引き算することによって得られる値の和を求め、
求められたこの和の値が０以上の場合はそのままその値を空間フィルタの結果として出力し、この和の値が０未満の場合は０を空間フィルタの結果として出力するようにしたことを特徴とする請求項１に記載の水路流出入物監視装置。
【請求項８】
前記検出外領域設定手段が、
前記平均値縮小処理手段から得られる１枚の画像データ全体を母集合として、その平均値と標準偏差から求められる偏差値得点を画素ごとに求め、この偏差値得点が設定されたしきい値を越えた領域を検出外領域候補１Ａとする手段と、
さきに偏差値得点を求めた画像データの母集合から検出外領域候補１Ａのデータを除いて、再度、画素ごとに偏差値得点を求め、この偏差値得点が設定されたしきい値を越えた領域を検出外領域候補１Ａに加えて検出外処理候補１Ａとする手段と、
上記の再度偏差値得点を求めて検出外領域候補を加える手段を所定の回数繰り返すことによって、検出外領域候補１Ａを求める手段と、検出外領域候補１Ａの各画素について、自身とその近傍画素すべてを検出外領域候補とする処理を所定の回数繰り返すことによって、検出外領域候補Ａを求める手段と、
前記空間フィルタ処理手段から得られる１枚の画像データ全体を母集合として、その平均値と標準偏差から求められる偏差値得点を画素ごとに求め、この偏差値得点が設定されたしきい値を越えた領域を検出外領域候補１Ｂに加えて検出外処理候補１Ｂとする手段と、
上記の再度偏差値得点を求めて検出外領域候補を加える手段を所定の回数繰り返すことによって、検出外領域候補１Ｂを求める手段と、
検出外領域候補１Ｂの各画素について、自身とその近傍画素すべてを検出外領域候補とする処理を所定の回数繰り返すことによって、検出外領域候補Ｂを求める手段と、
検出外領域候補Ｂ、または、検出外領域候補Ａと検出外領域候補Ｂのどちらかに当てはまる領域を検出外領域とするようにしたことを特徴とする請求項２に記載の水路流出入物監視装置。
【請求項９】
前記所定の検出外領域候補のうち、所定のサイズ以下となる領域を検出外領域候補から除去するようにしたことを特徴とする請求項８に記載の水路流出入物監視装置。
【請求項１０】
前記検出外領域を求める処理を、所定時間間隔で所定回数繰り返し、
得られた所定回数の検出外領域のいずれかに当てはまる領域を検出外領域とするようにしたことを特徴とする請求項８に記載の水路流出入物監視装置。
【請求項１１】
前記時空間画像蓄積手段で蓄積するラインを自動的に設定するライン選択手段をさらに設け、
そのライン選択手段が、
前記平均値縮小処理手段によって得られた画像データを用いて、水平ラインの各ラインごとに、その平均濃淡値を算出する手段と、
得られた平均値縮小処理画像の水平ライン平均濃淡値を母集合として、さらにその母集合の平均値および標準偏差を求める手段と、
各水平ライン平均濃淡値と求められた平均値との差の絶対値を求められた標準偏差で割り算することによって得られる偏差データを求める手段と、
同様にして前記平均値縮小処理手段によって得られた画像データを用いて、垂直ラインの偏差データを算出する手段と、
前記空間フィルタ処理手段によって得られた画像データを用いて、水平ラインの各ラインごとに、その平均濃淡値を算出する手段と、
得られた空間フィルタ処理画像の水平ラインの平均濃淡値を母集合として、さらにその平均値および標準偏差を求める手段と、
各水平ライン平均濃淡値と求められた平均値との差を、求められた標準偏差で割り算することによって得られる偏差データを求める手段と、
同様にして、空間フィルタ処理によって得られた画像データを用いて、垂直ラインの偏差データを算出する手段と、
平均値縮小処理画像を用いて求められた水平ラインの偏差データと空間フィルタ処理画像の水平ラインの偏差データのうちどちらかに設定された係数を乗じて、各水平ラインごとにその和を水平ライン評価値とする手段と、
求められた水平ラインの評価値を用い、各水平ラインごとに、自身のラインの評価値とその両側の所定ライン数分の評価値を用いて算出した平均値を平滑化評価値として算出する手段と、
その算出する手段で求めた平滑化評価値が最も小さいものから順に所定数の水平ラインを選択する手段と、
同様にして、所定数の垂直ラインを選択する手段を備えることを特徴とする請求項１に記載の水路流出入物監視装置。
【請求項１２】
前記ライン選択手段において、
水平ラインの平滑化評価値を求める処理を所定時間間隔で所定回数繰り返し、その平均値を求める手段と、
この値の小さいものから順に所定数の水平ラインを選択する手段と、
同様にして、所定数の垂直ラインを選択する手段を備えることを特徴とする請求項１１に記載の水路流出入物監視装置。
【発明の詳細な説明】
【０００１】
【発明が属する技術分野】
本発明は、水路流出入物監視装置に関するもので、より具体的には、水路へ流出入する物体（主に冷却水取水路へ流入するくらげ）を監視するために、監視カメラの映像から画像処理によって対象物を検出し、その流出入度合いを計測するものに関する。
【０００２】
【従来の技術】
水路に多数のくらげが侵入してきた場合には、水路が詰まってしまい取水口等における正常な取水処理等ができなくなる。そこで、従来は、水路を監視カメラで撮像するとともに、その撮像したビデオ信号をモニタに出力する。そして、監視員がそのモニタを監視し、くらげが侵入してきたならば、くらげを除去する作業を行うようにしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記した従来の監視方法では、くらげの発生を遅滞なく検出するためには、常時モニタを監視する必要があるが、実際には、監視員はその他の処理・作業も行わなければならないので、一定の時間毎にモニタを見る程度にとどまる。その結果、くらげの除去作業が遅れるおそれがある。また、モニタを見てわかるのは、その時のくらげの存在数であり、流入してきて増加傾向にあるのか流出して行って減少傾向にあるのかはわからない。さらには、その増減の速度もわからない。その結果、くらげの除去作業を行う必要があるか否かの判断や、行う場合に早急に行う必要があるか否かの判断がしにくい。
【０００４】
そこで、監視カメラで撮像した画像情報に対し、所定の画像処理を行ってくらげ部分を抽出し、画面中のくらげの発生数を計数したり、経過時間に伴うくらげの数の変化の履歴を検出することにより、くらげの除去作業の有無やその緊急性についての正しい判断を行うようにすることが考えられる。そして、一般的な画像処理を利用したものとして、以下の２つが考えられる。
【０００５】
＊＊第１の方法
画像間の差分処理によって移動物体や状態変化を画像変化領域として抽出し、その抽出した変化領域の特徴（大きさ，形，数など）によってくらげか否かを判断し、最終的にくらげと判断したものを計数することにより画像中に存在するくらげ数を求めることができる。
【０００６】
すなわち、監視ＴＶカメラから得られる画像の濃淡値をＡ／Ｄ変換してディジタル画像に変換した画像データと、同様にして得られた１フレーム前の画像データとの差（フレーム間差分）をとる。すると、移動していない背景部分などは、差分をとることにより除去されるため、結局移動するくらげ等が抽出されることになる。
【０００７】
そこで、得られた差分画像の各画素の濃淡値について、設定されたしきい値との比較によって２値化処理することにより、変化領域と非変化領域とを弁別し、変化領域であるくらげ部分を抽出する。最後に、得られた変化領域の持つ特徴（大きさ、形、画素数など）からくらげか否かを判断するようになる。
【０００８】
また、フレーム間差分に替えて、予め背景部分を撮像しておき、背景画像と入力画像との差分画像を求める方法（背景差分）を用いることもできる。
【０００９】
しかしながら、この方法では、背景部分が濃淡画像にしたときに固定されていないと、背景部分もその一部が差分画像として抽出されてしまい、誤検出してしまうおそれがある。特に、本願発明の監視対象領域の背景画像は、海面や水面であるので、常に変化しているため、上記問題が顕著に現れる。
【００１０】
さらに、検出対象物が海面・水面上を浮遊するくらげであるため、その移動速度は一定ではなく、同一場所に停滞することもある。そして、フレーム間差分を求める場合には、２つの画像間の時間に対象物が一定量移動することが前提となるので、対象物であるくらげの移動速度が遅く、２つの画像における対象物の位置が部分的に重なり合うような場合には、その部分の差分値が低く抑えられ、２値化時の形状欠損が生じてしまい、抽出できないおそれある。
【００１１】
＊＊第２の方法
得られた画像そのものを２値化することによって検出対象領域を抽出し、その領域の特徴（大きさ、形、数など）によってその状態を判断する方法を適用することが考えられる。
【００１２】
すなわち、監視ＴＶカメラから得られる画像をＡ／Ｄ変換してディジタル画像に変換し、さらに、得られたディジタル画像の各画素の濃淡値について、設定されたしきい値との比較によって検出対象領域と非検出対象領域に分別する２値化処理を行う。そして、最後に、２値画像により得られた検出対象領域の持つ特徴（大きさ、形、画素数など）から、くらげか否かを判断し、そのくらげの数を計数する。
【００１３】
ところで、この方法で精度の良い判別を行うためには、２値化する際のしきい値の決定が重要である。しかし、本発明の監視対象領域の背景画像が海面・水面であるので、１画面内での濃淡値に大きな勾配やむらが存在する。その結果、一つのしきい値で画面全体を２値化すると、適切に２値化できない領域が生じ、くらげを正しく抽出できないおそれがある。
【００１４】
また、上記のように１画面全体で濃淡値にむらがある場合には、画像の部分部分に応じてしきい値を自動的に設定する方法により適用することが考えられる。しかし、海面・水面のように画像の濃淡値が時間経過とともに変動する場合には、それに応じてしきい値を適切に設定する必要があり、その画像の時間変動に対応するために、得られる画像ごとに画像の部分に応じてしきい値を設定する処理を行うようにしなければならず、処理が膨大となってしまい、監視を目的としたリアルタイム処理には向かない。
【００１５】
また、第１、第２の方法はともに画素単位に２値化を行うために一つの検出対象物がいくつにも分かれて抽出されることがあり、その後の統合処理をうまく行わないと、物体の数の計測が不正確になるという問題を有している。
【００１６】
本発明は、上記した背景に鑑みてなされたもので、その目的とするところは、上記した問題を解決し、監視カメラの画像から水路へ流出入する物体（主にくらげ）の検出およびその流出入度合の計測を簡易な画像処理手法で実現することのできる水路流出入物監視装置を提供するものである。
【００１７】
【課題を解決するための手段】
上記した目的を達成するため、本発明に係る水路流出入物監視装置では、監視対象の水路を撮像して得られたビデオ画像に基づく画像データに対し設定されたブロックサイズで平均値縮小処理を行う手段と、その平均値縮小処理された画像データに対し、周囲の近傍画素との濃淡値の差が大きい処理対象画素を強調するような所定の空間フィルタ処理を行う空間フィルタ処理手段と、空間フィルタ処理された画像データに対し設定されたしきい値で２値化するフレーム画像２値化処理手段と、そのフレーム画像２値化処理手段で２値化された２値画像データ中に存在する検出対象物の数量を計測する画面内検出対象物数計測手段と、前記空間フィルタ処理された画像データのうち、水平ラインと垂直ラインから選択されたラインの濃淡値データのみを、設定された時間間隔で所定回数分順次蓄積する時空間画像蓄積手段と、前記時空間画像蓄積手段に蓄積された画像データに対し、設定されたしきい値で２値化する時空間画像２値化処理手段と、その時空間画像２値化処理手段で２値化された２値画像時空間画像データを用いて、前記選択されたライン上を設定された時間中に通過する検出対象物の数量を計測する通過数計測処理手段と、前記画面内検出対象物数計測手段と、通過数計測処理手段で計測されたデータに基づいて前記監視領域内の前記検出対象物の流出入度合いを判断し、警報発報条件に達した場合に警報を発する警報処理手段とを備えて構成した（請求項１）。
【００１８】
ここで水路とは、冷却水の取水路の他、自然の川や、ある程度幅が狭く水が流れる人工のものを含み、さらには、ダム，池等の比較的幅の広い部分も含むものである。そして、検出対象物は、実施の形態では、くらげを例示しているが、これに限ることはなく、水路を詰まらせるもの、例えばビニール等のごみ等でもよい。
【００１９】
係る構成にすると、所定の空間フィルタ処理を行うことにより、濃淡値の勾配やむらが存在する画像が比較的フラットな画像になるためその後の２値化処理が容易になる。このことは、本発明における背景画像となる水面のように常時濃淡値が変動し、しかも、全体で均一ではなく各部での濃淡値が微妙に異なるような画像データの特徴がある場合においても、検出対象物となるくらげの濃淡値は背景部分よりも大きい（明るい）ために、その境界部分での濃淡値の差は大きくなる。よって、空間フィルタ処理をすることにより、強調されるので、検出対象物が浮かび上がる。よって、しきい値処理により確実に検出対象物と背景部分とを弁別できる。
【００２０】
さらに、空間フィルタ処理の前処理として平均値縮小処理を行うことは、データ量を削減することによる処理負荷の軽減はもちろんのこと、検出対象物が分断される可能性が低くなり、対象物の計数が容易となる。
【００２１】
また、時空間画像処理によって容易に流出入する対象物の計数が行うことが可能となり、画面内対象物数の計数値と併せて利用することにより、対象物の滞留状態などその流出入状態の判別がより正確に求められる。
【００２２】
そして、好ましくは、前記空間フィルタ処理された画像データのうち、検出対象領域から除外する検出外領域を設定する検出外領域設定手段をさらに備え、その検出外領域設定手段で設定された検出外領域は、前記フレーム画像２値化処理手段および前記時空間画像２値化処理手段による２値化処理の際に少なくとも検出対象物ありとならないようにすることである（請求項２）。
【００２３】
つまり、水面の場合には濃淡値が低いため、検出対象物と分離しやすいが、監視領域中に反射物などの濃淡値の高い領域があると、２値化処理した際に検出対象物として抽出されてしまうおそれがある。そこで、予め係る領域を検出外領域として設定しておくことにより、検出外領域の部分は、２値化処理しなかったり、したとしても背景部分と同じ値にするようにする。よって、誤検出の可能性が減少する。
【００２４】
また、請求項１に記載の発明を前提とし、前記平均値縮小処理手段におけるブロックサイズの設定が、所定の画像に対して前記画面内検出対象物数計測手段で検出された検出対象物の検出位置から、その処理の元となった平均値縮小処理前の画像データにおける検出位置の座標を求め、前記平均値縮小処理前の画像データの中で、前記求められた検出位置座標を含む所定サイズの矩形領域内の各画素の濃淡値データを抽出し、抽出された矩形領域ごとに２値化しきい値を決定するとともに、その決定した２値化しきい値で、前記矩形領域内の画像データを２値化し、その２値化された画像データに基づいて検出対象物の寸法形状に関する情報を取得し、その取得した寸法形状に基づいて前記ブロックサイズを決定し、設定するように構成することができる（請求項３）。
【００２５】
請求項１に記載の発明において平均値縮小処理を効果的に行うためには、検出対象物に合ったブロックサイズを選ぶ必要がある。そこで、請求項３のように構成することにより、対象物が検出された際に、このサイズを計測することによって適切なブロックサイズを自動的に選択する。よって、例えばカメラのズーム、パン、チルトによって、対象物の撮像サイズが変化した場合には、その変化後の画像データに基づいて簡単に適切なブロックサイズを設定できるので、常時正確な検出処理が行える。
【００２６】
また、この際、空間フィルタ画像の２値化・ラべリングによる検出位置をもとに、平均値縮小処理前の画像から対象物を含む矩形領域のみを抽出し、領域別のしきい値を用いて２値化することによって、個々の対象物の大きさの計測が行え、この結果から、適切なブロックサイズの選択が可能となる。
【００２７】
そして、請求項３に記載の発明を前提とし、前記矩形領域の画像データを２値化する際の２値化しきい値の設定が、抽出された矩形領域内の画像データについて濃淡値ヒストグラムを作成し、ヒストグラムデータの中で度数が１以上となる濃淡値の最大値より、濃淡値を減少方向に順次選択し、選択された濃淡値以下のデータを用いて歪度を算出し、この歪度が正値から負値に転じる濃淡値に基づいて前記矩形領域の２値化しきい値を決定するようにすると好ましい（請求項４）。その場合に、この濃淡値よりも、所定の補正値分だけ高い濃淡値を２値化しきい値とするようにするとより好ましい（請求項５）。
【００２８】
請求項３に記載の発明において矩形領域を２値化する際に、画面全体では濃淡値に大きなむらがあっても、矩形領域個々では、対象物を除いた背景部分は比較的フラットな濃淡値を持つという特徴を利用することによって対象物を抽出するための２値化しきい値を求める。濃淡値ヒストグラムを求めると、濃淡値の低い領域に山が一つ現れ（主として背景部分の濃淡値）、濃淡値の高い領域（主として対象物の濃淡値）では平坦となり山が現れないことが多い。よって、２値化しきい値設定の代表的な手法である「判別分析法」では正確にしきい値を設定することが困難であったが、本発明では、歪度の概念を用いることにより、２値化しきい値の基準値の選択が可能となる。そして、背景部分に対する対象物の相対面積が小さい場合にも、背景部分の濃淡値ヒストグラムの歪度に着目することによって、正確にしきい値を設定できる。
【００２９】
一方、請求項１に記載の発明を前提とし、前記空間フィルタ処理手段の具体例としては、例えば、処理対象画素の濃淡値と、近傍画素の濃淡値との差の絶対値の最大値を求め、その求めた最大値を空間フィルタ処理の結果として出力するように構成することができる（請求項６）。また、処理対象画素を中心とするｎ×ｎの矩形領域を構成する各画素の濃淡値データの中から、最大濃淡値および最小濃淡値を抽出し、前記処理対象画素の濃淡値から前記最大濃淡値を引き算することによって得られる値と、前記処理対象画素の濃淡値から前記最小濃淡値を引き算することによって得られる値の和を求め、求められたこの和の値が０以上の場合はそのままその値を空間フィルタの結果として出力し、この和の値が０未満の場合は０を空間フィルタの結果として出力するようにしてもよい（請求項７）。
【００３０】
特に、請求項７のように構成すると、空間フィルタ処理において、背景の濃淡値よりも高い濃淡値を持つ対象物を検出するのに有効な処理となる。この手法では、検出対象物と背景とのコントラストは保たれたまま、背景部分の出力値を低くおさえられるため、２値化時の背景部分の過剰検出をより低く抑えることができる。
【００３１】
また、請求項２に記載の発明を前提とし、前記検出外領域設定手段が、前記平均値縮小処理手段から得られる１枚の画像データ全体を母集合として、その平均値と標準偏差から求められる偏差値得点を画素ごとに求め、この偏差値得点が設定されたしきい値を越えた領域を検出外領域候補１Ａとする手段と、さきに偏差値得点を求めた画像データの母集合から検出外領域候補１Ａのデータを除いて、再度、画素ごとに偏差値得点を求め、この偏差値得点が設定されたしきい値を越えた領域を検出外領域候補１Ａに加えて検出外処理候補１Ａとする手段と、上記の再度偏差値得点を求めて検出外領域候補を加える手段を所定の回数繰り返すことによって、検出外領域候補１Ａを求める手段と、検出外領域候補１Ａの各画素について、自身とその近傍画素すべてを検出外領域候補とする処理（膨脹処理）を所定の回数繰り返すことによって検出外領域候補Ａを求める手段と、前記空間フィルタ処理手段から得られる１枚の画像データ全体を母集合として、その平均値と標準偏差から求められる偏差値得点を画素ごとに求め、この偏差値得点が設定されたしきい値を越えた領域を検出外領域候補１Ｂに加えて検出外処理候補１Ｂとする手段と、上記の再度偏差値得点を求めて検出外領域候補を加える手段を所定の回数繰り返すことによって、検出外領域候補１Ｂを求める手段と、検出外領域候補１Ｂの各画素について、自身とその近傍画素すべてを検出外領域候補とする処理を所定の回数繰り返すことによって検出外領域候補Ｂを求める手段と、検出外領域候補Ｂ、または、検出外領域候補Ａと検出外領域候補Ｂのどちらかに当てはまる領域を検出外領域とするように構成することである（請求項８）。
【００３２】
この様に構成すると、検出外領域設定手段において、画像の濃淡状態を表わす平均値縮小処理画像と周辺画素との濃淡差を表わす空間フィルタ画像を併用することによって、画像内で誤動作につながりやすい領域を除き、比較的フラットな濃淡を持つ領域のみを処理対象とするため、安定した検出動作が可能となる。この際、各画素ごとにその濃淡値そのものを使用するのではなく、画像内での相対値を表わす偏差値得点を用いて評価することによって、除去判断をするためのしきい値の設定が容易となる利点がある。また、しきい値設定，除去処理の繰り返しおよび膨脹処理の繰り返しの手段を設けることによって、検出外領域設定処理の強弱が自由に選択できる。
【００３３】
その場合に、好ましくは、前記所定の検出外領域候補のうち、所定のサイズ以下となる領域を検出外領域候補から除去するようにすることである（請求項９）。係る構成にすると、検出外候補を求める際に、その大きさを調べ、検出対象物らしい大きさの領域を候補から除くことにより、検出対象物が画像内に存在する際に検出外領域設定を行う場合に、検出対象物の存在する領域を不必要に検出外領域としてしまうことを軽減することができる。つまり、この構成をとることにより、画像データ中にくらげなどの検出対象物が存在していても、そのくらげの部分は、検出外候補から除外されるので、くらげ等の検出対象物の存在の有無などに関係なく、任意のタイミングで、検出外領域候補の設定処理が行える。
【００３４】
また、請求項８に記載の発明を前提とし、前記検出外領域を求める処理を、所定時間間隔で所定回数繰り返し、得られた所定回数の検出外領域のいずれかに当てはまる領域を検出外領域とするようにしてもよい（請求項１０）。係る構成にすると、上記した検出外領域を求める処理を所定時間間隔で複数回繰り返し、その領域をすべて検出外領域とすることによって、濃淡値に時間的変動があり不安定な領域を検出画像外領域とすることが可能になり、誤検出のさらなる軽減につながる。
【００３５】
さらにまた、請求項１に記載の発明を前提とし、前記時空間画像蓄積手段で蓄積するラインを自動的に設定するライン選択手段をさらに設け、そのライン選択手段が、前記平均値縮小処理手段によって得られた画像データを用いて、水平ラインの各ラインごとに、その平均濃淡値を算出する手段と、得られた平均値縮小処理画像の水平ライン平均濃淡値を母集合として、さらにその母集合の平均値および標準偏差を求める手段と、各水平ライン平均濃淡値と求められた平均値との差の絶対値を求められた標準偏差で割り算することによって得られる偏差データを求める手段と、前記平均値縮小処理手段によって得られた画像データを用いて、同様にして垂直ラインの偏差データを算出する手段と、前記空間フィルタ処理手段によって得られた画像データを用いて、水平ラインの各ラインごとに、その平均濃淡値を算出する手段と、得られた空間フィルタ処理画像の水平ラインの平均濃淡値を母集合として、さらにその平均値および標準偏差を求める手段と、各水平ライン平均濃淡値と求められた平均値との差を、求められた標準偏差で割り算することによって得られる偏差データを求める手段と、同様にして、空間フィルタ処理によって得られた画像データを用いて、垂直ラインの偏差データを算出する手段と、平均値縮小処理画像を用いて求められた水平ラインの偏差データと空間フィルタ処理画像の水平ラインの偏差データのうちどちらかに設定された係数を乗じて、各水平ラインごとにその和を水平ライン評価値とする手段と、求められた水平ラインの評価値を用い、各水平ラインごとに、自身のラインの評価値とその両側の所定ライン数分の評価値を用いて算出した平均値を平滑化評価値として算出する手段と、その算出する手段で求めた平滑化評価値が最も小さいものから順に所定数の水平ラインを選択する手段と、同様にして、所定数の垂直ラインを選択する手段を備えて構成するとよい（請求項１１）。係る構成は、請求項１に記載の発明における時空間画像蓄積部において、検出に有利なラインを自動的に選択するものである。すなわち、平均値縮小処理画像データおよび空間フィルタ処理画像の各ラインの濃淡値平均値を用いた評価値を用いることによって、画像内での中間的な濃淡値をもち、しかも、むらの少ないラインを選択することが可能となる。よって、係るラインを選択し、時空間画像を蓄積することにより、安定した検出に役立つ。
【００３６】
その場合に、水平ラインの平滑化評価値を求める処理を所定時間間隔で所定回数繰り返し、その平均値を求める手段と、この値の小さいものから順に所定数の水平ラインを選択する手段と、同様にして、所定数の垂直ラインを選択する手段を備えるようにするとなおよい（請求項１２）。この様に構成すると、請求項１１に規定するラインごとの評価値を求める処理を所定時間間隔で複数回繰り返し、その平均値を用いることによって、時間的に変動のある画像を考慮してラインを選択することが可能である。
【００３７】
【発明の実施の形態】
図１は、本発明に係る水路流出入物監視装置の第１の実施の形態を示している。同図に示すように、まず、監視ＴＶカメラ１から得られる濃淡画像をＡ／Ｄ変換部２に与え、そこにおいてＡ／Ｄ変換してディジタル画像に変換させる。そしてこのディジタル画像を次段のフレーム積算・平均化部３に与える。
【００３８】
フレーム積算・平均化部３では、順次連続して入力されてくるｎ枚の画像データに対し、同一座標の各画素の濃淡値を積算するとともにその平均値を求め、その求めた平均濃淡値をその後の画像処理の基準となる画像データの画素の濃淡値とする。これにより、信号中のノイズ成分や水面の波による画像の細かいむらは同一の座標上に存在し続けることが少ないので、その影響が軽減される。これにより、ノイズなどの誤判別の要因となる雑音成分を除去することができる。
【００３９】
また、フレーム積算・平均化部３の後段には、平均値縮小処理部４が接続され、積算・平均化された画像データに対し、ブロックサイズ設定部５で設定されたブロックサイズで平均値縮小処理を行う。この平均値縮小処理は、原画像を設定部５で設定されたＮ×Ｍ（Ｎ＝Ｍでも可）のブロックサイズで分割し、さらに分割されたブロック内に存在する画素の濃淡値の平均値を求める。そして、その求めた平均濃淡値をそのブロックの代表値とするようになっている。
【００４０】
係る処理をすることにより、例えばブロックサイズをＮ×Ｎ（Ｎ＝Ｍ）とすると、データ数は１／Ｎ２に圧縮することができる。このように圧縮することにより、画像をぼかし、例えば各くらげの細かい寸法・形状や濃度の差が現れにくくするとともに、処理対象のデータ数を縮小することにより、短時間でより正確な判断を行えるようにしている。
【００４１】
なお、分割する際のブロックサイズは、上記のようにブロックサイズ設定部５からの制御信号に基づいて設定されるが、この設定は、検出処理において毎回更新を行うものではなく、手動設定または自動設定で定期・不定期に行うようになっている。なおまた、自動設定の具体的な構成については後述する。そして、具体的なサイズとしては、くらげの平面形状がほぼ円形であることから、Ｎ＝Ｍとするのが好ましく、しかもＮ個の画素の長さと、くらげの半径とが同じになるように設定するのが好ましい。そして、本例では、８×８でブロック化するようにした。
【００４２】
さらに、平均値縮小処理部４で生成された画像データを、空間フィルタ処理部６に与え、そこにおいて所定の空間フィルタ処理を行い、検出対象物のくらげの部分が浮き出るようにする。そして、この空間フィルタの具体的な処理方法として、例えば処理対象画素を中心とするｎ×ｎの局所領域の中の各濃淡データと処理対象画素の濃淡値との差の絶対値を求め、求められた（ｎ×ｎ−１）個の差の絶対値の中から、最大値を選択して、空間フィルタ処理の結果として出力することができる。
【００４３】
一例を示すと、ｎ＝３とすると、図２（Ａ）に示すように、局所領域を構成する画素は、▲１▼〜▲９▼の９個となり、そのうち中央の▲５▼の画素が処理対象画素となる。そこで、｜▲１▼−▲５▼｜，｜▲２▼−▲５▼｜，｜▲３▼−▲５▼｜，…，｜▲８▼−▲５▼｜，｜▲９▼−▲５▼｜を求め、計８個の演算結果の中からもっとも大きい値をその処理対象画素▲５▼の代表値とする。なお、上記した絶対値演算の式中丸数字は、各画素の濃淡値を意味する。
【００４４】
係る構成にすると、周囲の画素との濃度差が大きい場合には代表値が高くなり、処理対象画素▲５▼を含む９個の画素の濃淡値がほぼ同じ場合には、代表値が小さくなる。つまり、上記したように、ここでの処理対象画素は、前段で縮小化処理がされており、くらげの半径と同程度の大きさとなっている。従って、処理対象画素にくらげが存在している場合には、同図（Ｂ）中ハッチングで示すように、４画素分に存在することになる。従って、図示の例では、ハッチングをしていない５個の画素との間の濃度差が大きくなる。一方、くらげがいない部分では、局所領域は海面或いは水面となっているので、各画素間での濃度差はいずれも小さくなる。よって、少なくとも処理対象画素にくらげが存在する場合には、その処理対象画素の代表値が大きくなる。
【００４５】
そして、係る方法により空間フィルタリングした場合の処理結果の一例を示すと図３のようになる。そして、図中濃淡値（上記で言う「代表値」）が高くなっているところが、くらげが存在している候補地である。
【００４６】
また、別の空間フィルタリング方法としては、検出対象のくらげの濃淡値が、背景となる水面の濃淡値よりも高い（明るい）ことに着目し、背景の水面よりも濃淡値の高い画素を抽出することを目的としている。
【００４７】
すなわち、処理対象画素を中心とするｎ×ｎの矩形領域に存在する各画素の濃淡値データの中から、最大濃淡値および最小濃淡値を抽出する。そして、処理対象画素の濃淡値から、最大濃淡値と最小濃淡値をそれぞれ減算し、求められた２つの減算値を加算する。そして、求めた加算値が、正の場合にはその値をフィルタ出力値とし、また負の場合には０をフィルタ出力値とする。
【００４８】
画像データに対する具体的な処理は次式により求めることができる。
【００４９】
【数１】
0003797499.tif 000002
そして、３×３の局所領域とした場合の処理例を示すと、処理対象画素に検出対象物がある場合には、図４に示すように、処理対象画素の濃淡値が最大濃淡値となるので、その差は「０」となり、最小濃淡値との差も大きな正の値となる。よって、最終的な加算結果は、最小濃淡値との差と等しくなり、大きな正の値となる。
【００５０】
なお、上記したように、本実施の形態では、くらげの場合には、４画素分を占めるが、少なくとも処理対象画素にくらげの部分がかかっている場合には、上記の通りとなる。
【００５１】
また、処理対象領域に検出対象物のくらげがいない（もちろん処理対象画素にもいない）場合には、各画素の差が少ないために、処理対象画素の濃淡値と最大濃淡値および最小濃淡値との差が小さくなる。加えて処理対象画素が最大濃淡値でない場合は、処理対象画素から最大濃淡値を引いた値は負になるため、この分だけ最終的な加算結果が低く抑えられることになる。さらに、図５の例のように、処理対象画素の濃淡値が最大濃淡値よりも最小濃淡値に近い場合は、加算結果が負となり、フィルタ出力は０となる。
【００５２】
そして、図３を求めた際に使用したのと同一の平均値縮小処理画像に対し、上記の方法を実行して得られた部分領域の一例を示すと、図６のようになった。図３と図６を比較すると明らかなように、くらげが存在する部分がより急峻となるとともに、背景部分の値はより低く抑えられるため、くらげを検出しやすくなる。
【００５３】
また、平均値縮小処理部４の出力は、上記のように空間フィルタ処理部６に与えられるのと並列して検出外領域設定部７にも与えられる。この検出外領域設定部７では、画面内の極端に明るい部分，暗い部分、また濃淡にむらがある部分，水面と壁などの境界部分など、誤動作につながりやすい部分を検出対象領域から除く処理を行うようになっている。つまり、検出外領域に関する情報（座標データ等）を出力するようになる。そして、この処理は、検出処理において毎回更新を行うものではなく、手動設定および自動設定で定期・不定期に行うようになっている。なお、自動設定を行うための具体的な装置構成については、後述する。
【００５４】
そして、空間フィルタ処理部６と検出外領域設定部７の出力が、それぞれフレーム画像２値化部８に与えられる。このフレーム画像２値化部８では、空間フィルタ処理部６から得られた画像データのうち検出外領域設定部７で設定された検出外領域を除いたデータに対し、設定されたしきい値で２値化（例えば、検出対象画素（くらげに対応する明るい画素）を１，非検出画素を０）する。本例では、前処理として空間フィルタ処理を施しているので、検出対象のくらげ部分の濃淡値は高くなり、背景の水面の濃淡値は小さく（暗く）なるようにし、両者の濃淡値の差が大きくなるようにしたため、２値化しきい値を比較的ラフに設定しても、くらげ部分を確実に抽出することができる。そして、図６に示す空間フィルタ処理結果の濃淡画像データに対して２値化処理した結果、図７に示すようになる。なお、図中白抜き部分がくらげが存在する候補部分である。
【００５５】
さらに、上記したフレーム画像２値化部８の出力を画面内検出対象物数計測部９に与え、その画面内検出対象物数計測部９にて、１フレームの２値画像内の検出対象物（くらげ）の数量を計測する。そして、本例では、一つの検出対象物が複数の画素で検出される場合があるので、ラべリング部９ａで所定のラベリング処理を実行し、複数の画素が連結しているものをひとかたまりとして識別する。また、この際、ラベリングして生成された各かたまりを、検出対象物の形、大きさの基準値或いはモデルパターンと比較し、検出対象物らしくないものは、除外するようにしてもよい。そして、ラベリング部９ａでラベリングされた画像データを画面内検出数計測部９ｂに与え、画像内に存在する検出対象物（白画素のかたまり）の数を求める。
【００５６】
これにより、撮像した監視領域中に検出対象物たるくらげが何匹いるかを容易に求めることができる。そして、例えばその計数値が一定のしきい値を越えた場合に警報出力をするようにすることができる。
【００５７】
但し、本例では、より正確な判断を行うため、その算出結果を画像内検出数時間推移グラフ作成部１０に与えるようにしている。この推移グラフ作成部１０は、画像内検出数計測部９ｂから得られる画像内検出数を所定時間間隔で順次求めて時間軸上に並べることにより、画像内検出数時間推移グラフを作成するようになっている。そして、係るグラフを図示省略の出力装置に出力することで、増加傾向にあるか減少傾向にあるか、さらには、その増減率の大小を容易に理解することができ、くらげの除去作業の必要性及び緊急性を迅速に判断することができる。
【００５８】
上記した各処理部は、ある時刻の時に撮像して得られた１フレームの画像全体を用いて抽出処理を行うためのものである。ところで本例では、係る１フレーム単位での処理と並列して、時間経過に伴うある領域の画像データに基づいて、検出対象物であるくらげの流出入状態を認識できるようにしている。つまり単位時間当たりの流出入量が一定の場合には、画像内検出数時間推移グラフ作成部１０ラフは、時間変化に伴うくらげの存在量が一定となる。また、くらげが監視領域内で停滞し、流出入量が０の場合でも、上記グラフ作成部１０で作成されたグラフは、上記と同様に時間変化に伴う存在量が一定となる。つまり、それら各種の状態を弁別することはできない。
【００５９】
そして、流出入量が多い場合には、その監視領域の下流側に大量のくらげが流れ込んでいき、詰まるおそれが高いため、緊急にくらげの除去処理を行う必要があるが、流出入量が少ないか０の場合には、緊急に除去処理を行う必要がなかったり、除去処理自体をしなくても良い場合もある。
【００６０】
しかしながら、上記のように各状態を弁別できないので、従来のモニタを監視する方法や、一般に行われる画像処理のものに比べると遥かに優れた監視を行うことができるものの、より正確な判定を行うことには限界がある。そこで本例では、上記したように、時間経過に伴うある領域の画像データに基づいて、検出対象物であるくらげの流出入状態を認識するための処理部を設け、より正確な判定を行うことができるようにした。そして、係る処理部の具体的な構成は以下のようになっている。
【００６１】
まず、空間フィルタ処理部６の出力画像が、１フレームずつ時空間画像蓄積部１２に与えられる。そして、時空間画像蓄積部１２では、空間フィルタ処理部６から得られた画像データのうち、時空間画像ライン選択部１１で選択された所定の水平およびまたは垂直ラインについて、ラインごとに設定された時間間隔で設定された回数分、時間経過に従って並べて蓄積するようになっている。
【００６２】
すなわち、空間フィルタ処理部６から、図８（Ａ）のように、ある時間間隔でｔ１，ｔ２，ｔ３，……というように画像データが送られてきたとすると、時空間画像ライン選択部１１で選択されたラインＬに属する画像データ部分のみが抽出され、同図（Ｂ）に示すように、時間順つまりｔ１，ｔ２，ｔ３，…というように蓄積部１８内に格納されるようになっている。
【００６３】
そして、図示の例では垂直ラインを１つ示したが、複数のラインが選択された場合には、各ライン毎に同図（Ｂ）に示すような画像が蓄積される。そして、画像を抽出するタイミングは、空間フィルタ処理部６から出力される１フレーム毎に行ってもよく、適宜な間隔でサンプリングしても良い。そして、抽出するラインが複数存在する場合には、すべてのラインを同じタイミングで抽出しても良いが、一部或いは全部を異なるタイミングで抽出しても良い。
【００６４】
なお、抽出するラインＬの幅は、縮小化された画像における１画素分でもよく、或いは複数画素分でも良い。なおまた、この時空間画像ライン選択は、検出処理ごとに毎回行うものではなく、手動設定および自動設定で定期／不定期に行うようになっている。そして、自動設定するための具体的な構成については、後述する。
【００６５】
一定時間経過後に時空間画像蓄積部１２に格納された画像データの一例を示すと、ラインＬをあるタイミングでくらげが通過すると、図９のように、その通過時刻・通過場所に相当する位置にくらげＫ１，Ｋ２が出現する。そして、くらげがゆっくりと通過すると、符号Ｋ２で示すように、細長なパターンとして出現する。よって、その形状を見ることにより、移動速度等を検出することができるとともに、ラインを通過したくらげの数を正確に計数できる。
【００６６】
係るライン通過数の計数処理を行うため、時空間画像蓄積部１２に蓄積された画像データを、次段の時空間画像２値化部１３に与え、そこにおいて与えられた画像データのうち検出外域設定部７で設定された検出外領域を除いたデータに対し、設定されたしきい値で２値化する。
【００６７】
これにより、検出対象物のくらげとそれ以外の背景部分とが分離された２値画像が生成される。そして、その２値画像が通過数計測処理部１４に与えられ、そこにおいてラべリングすることにより、複数の画素が連結しているものはひとかたまりとして識別し、選択されたライン上を設定された時間内に通過する検出対象物の物量を計測する。このラベリング処理及び計数処理は、上記した画面内検出対象物数計測部９のものと同様のアルゴリズムで処理できる。
【００６８】
そして、通過数計測処理部１４で求められた各ライン上を通過した検出対象物（くらげ）の通過数を、通過数時間推移グラフ作成部１５に送り、上記した画面内検出数時間推移グラフ作成部１０と同様に、くらげのライン上の通過数を所定時間間隔で順次求めて時間軸上に並べることにより通過数時間推移グラフを作成する。
【００６９】
さらに本例では、両グラフ作成部１０，１５の出力を警報処理部１６に与えるようになっている。警報処理部１６では、与えられた２つのグラフを用い、その値や傾き等により、検出対象物の流入度合いを設定された複数段階に区別して判別し、警報を発報するようになっている。
【００７０】
また、時空間画像２値化部１３で生成された２値画像に対し、あるライン上を走査すると、図１０に示すように、くらげの部分がＨになる（或いはその逆）パルス列信号が得られる。従って、くらげが多数頻繁に発生すると、パルスの出現数も多くなる。そして、１つのパルスが１つのくらげに相当する。つまり、パルス幅が大きいほど移動速度は遅く停滞しているものといえる。よって、係るパルス列の立ち上がり（或いは立ち下がり）をカウントすることによっても、通過数が求められる。
【００７１】
図１１は、上記した実施の形態におけるブロックサイズ設定部５において、自動的にサイズを設定するようにした装置の一例を示している。すなわち、このブロックサイズ設定部５は、図１１に示すフローチャートを実施する機能を有している。
【００７２】
具体的には、まず、画像内検出数計測部９ｂより、そこで検出した対象物（くらげ）の数を取得する（ＳＴ０）。そして、取得したくらげの数が一定値以上の場合には、ステップ２以降に進みブロックサイズ設定処理に移行する。また、取得したくらげの数が一定値以上でない場合には、正確なサイズだしができないため、ステップ０に戻り次の検出結果の取得を待つ（ＳＴ１）。
【００７３】
一方、ステップ１の分岐判断で、Ｙｅｓになった場合にはブロック設定処理に移行するが、本例では、平均値縮小処理をしてぼかす前の詳細な画像データ中に存在するくらげ部分を抽出し、そのくらげの大きさを求めるとともに、画像中に存在する各くらげの大きさの平均値を求め、その平均値に基づいてブロックサイズを決定するようにしている。
【００７４】
具体的には、平均値縮小処理する前の画像データ中のくらげの存在位置を求めるべく検出位置座標算出処理を行う（ＳＴ２）。すなわち、画面内検出対象物数計測部９で検出したくらげの存在位置（座標）は、平均値縮小処理後の画像データに基づいて（実際には、さらに各種の画像処理を行っている）行っているため、わかっている存在位置は、縮小処理したぼかした画像データ中の座標値である。そこで、画面内検出対象物数計測部９で検出した、そのぼかした画像（平均値縮小処理後の画像）におけるくらげの存在する位置（座標値）を座標変換し、平均値縮小処理前の画像の座標値を求めるようにしている。
【００７５】
なお、縮小処理後の１画素（１つの座標値）は、縮小処理前のＮ×Ｍ画素分に対応するため、厳密に言うと、「１対多」対応となっており、縮小処理後のある画素を変換して得られる縮小処理前の座標値候補は、Ｎ×Ｍ個あり、正確に特定できない。しかし、本例では、縮小前の画像データ中のおおよその存在位置がわかればよいので、例えばＮ×Ｍ画素分の中央の画素の座標値，或いは、左上の画素の座標値等というように便宜的にＮ×Ｍ画素のブロックの代表座標を決め、係る座標に変換するようにする。
【００７６】
次に、縮小前の画像データとして、フレーム積算・平均化処理部４の出力画像データを取得し、その画像データに対し、上記ステップ２で求めた複数の座標をそれぞれ中心とする矩形領域を設定する。一例を示すと、図１２のように、検出対象物Ｋの周囲を囲むようにして矩形領域Ｒが設定される。なお、この矩形領域Ｒは、予想されるくらげの最大径よりもさらに一回り以上大きくし、矩形領域Ｒ内に検出対象物であるくらげＫが確実に存在するようにしている。そして、その矩形領域Ｒで囲まれた領域をそれぞれ抽出する（ＳＴ３）。
【００７７】
そして、ステップ３の処理で抽出された、各領域の画像データに対し、くらげＫと背景部分とを分離するためのしきい値を求める（ＳＴ４）。このように、本例では、くらげの近傍の水面（背景）を含む小さな領域に基づいてしきい値を設定するため、その背景部分の濃淡の差は少なく、精度の良いしきい値を決定することができる。
【００７８】
そして、本例では、このしきい値決定を、図１３に示すフローチャートに従って処理するようにしている。つまり、まず、抽出された複数の矩形領域データについてそれぞれ濃淡値ヒストグラムを作成する（ＳＴ４ａ）。これにより、例えば図１４中黒丸で示すようなヒストグラムが得られる。なお、図中濃淡値の低い（横軸の左側）部分が、背景（水面）部分であり、濃淡値の高い（横軸の右側）部分が、くらげ部分である。
【００７９】
そして、図から明らかなように、背景部分は比較的濃淡値の差が少ないため、ある濃淡値の度数が大きくなり、１つの山が形成される。しかし、くらげの場合には、全体的に濃淡値が高いものの、各部で微妙に濃淡値が異なるので、各濃淡値の度数は少なく、全体的に均一に存在して平坦となり、背景部分のような山が現れないことが多い。従って、従来しきい値の決定法として一般的に用いられている判別分析法を用いると、精度の良いしきい値を求めることが困難となる。
【００８０】
そこで、本例では、歪度の概念を利用し、歪みが少ない部分を背景部分とし、しきい値を決定するようにした。つまり、ステップ１で生成した矩形領域内の濃淡値ヒストグラムの中で度数が１以上となる濃淡値の最大値より濃淡値を減少方向に順次選択し、選択された濃淡値以上のデータを除いた残りのヒストグラムを用いて歪度を算出する。そして、その歪度が正から負に転じる濃淡値を検出する（ＳＴ４ｂ）。
【００８１】
つまり、残ったヒストグラムの平均値を基準として左右両側の図形を見たときに、どちら側に歪んでいるかの度合いを示すもので、当初は、くらげの部分が存在しているので、濃淡値が高い方が多く存在しており歪度は正になる。そして、徐々に濃淡値を減少させると、くらげの存在率が少なくなるので、歪度も減少していく。そして、くらげの部分がなくなり、背景部分のみになると、歪度が０に近づき、さらに濃淡値を減少させると、背景部分の濃淡値のうち低い方が多く存在することになるので、歪度は負になる。
【００８２】
背景部分を構成する各画素の濃淡値は、ある濃淡値を中心として例えば正規部分のように両側に分布する（実際には正規部分にはならないが、山状にはなる）。従って、背景部分のみが過不足なく残ったヒストグラムの場合には、その平均値を基準にその両側が近くなるので、歪度が０に近づく。換言すると、歪度が正から負に変わる濃淡値が、背景部分が過不足なく残る点といえる。
【００８３】
そして、求めた濃淡値に基づいて、しきい値を決定する（ＳＴ４ｃ）。つまり、図１４に示すように、ステップ４ｂで求めた濃淡値に補正値を加算して得られた濃淡値をその矩形領域の２値化しきい値とする。すなわち、本発明者の経験によると、背景部分の濃淡値のヒストグラムは、実際には正規分布にならないため、ステップ４ｂで求めた値が背景部分のみを過不足なく抽出したものにはならず、背景部分の濃淡値の高い部分が除かれた状態になる。さらに、２つの状態を弁別するためのしきい値は、一方の状態の境界ラインにするのではなく、そこから一定のマージンをとるようにすることが精度よく弁別するためによく行われる。上記した各理由に基づいて、補正値を加算するようにした。
【００８４】
このようにして求めた２値化しきい値に基づいて、ステップ３で抽出した各領域に対して２値化処理を行う（ＳＴ６）。すると、精度良くくらげの部分と背景部分とを弁別でき、くらげ部分が白画素となる。
【００８５】
次いで、ステップ６で求めた各矩形領域内の２値画像に基づいて、その白画素の面積値の平均値および外接四角形の垂直径、水平径の平均値から、検出対象物であるくらげの平均垂直径および平均水平径を画素数で算出する（ＳＴ７）。その算出方法の一例を示すと、次式に基づいて求めることができる。
【００８６】
【数２】
0003797499.tif 000003
そして、上記処理により求められた各領域のくらげの大きさに関する情報に基づいて、ブロックサイズを決定する（ＳＴ８）。具体的には、ステップ７で求めた平均垂直径、水平径の１／２程度に設定する。さらに、平均垂直径と水平径が異なる場合には、各値を１／２して、ブロックサイズをＮ×Ｍ（ＮとＭは異なる値）としても良く、或いは大きい方の値をとった正方形（Ｎ＝Ｍ）とするなどの他最終的な決定法は任意である。
【００８７】
図１５は、上記した実施の形態における検出外領域設定部７において、自動的に検出外領域を設定するようにした装置の一例を示している。同図に示すように、入力側に第１，第２偏差値得点データメモリ２１，２５を備えている。平均値縮小処理部４から得られる１枚の画像データ全体を第１偏差値得点データメモリ２１に格納し、空間フィルタ処理部６から送られる空間フィルタ処理画像を第２偏差値得点データメモリ２５に格納するようにしている。そして、両データメモリ２１，２５に格納されたデータに基づいて、検出外領域を決定するようにしている。
【００８８】
すなわち、第１偏差値得点データメモリ２１に格納されたデータを第１偏差値得点算出部２２にて読み出し、そこにおいて、第１偏差値得点データメモリ２１に格納されたデータを母集合として、画像データを構成する各画素に対し次式によって偏差値得点を算出する。
【００８９】
【数３】
0003797499.tif 000004
また、第１偏差値得点算出部２２の出力（各画素の偏差値得点）は、次段の検出外領域候補１Ａ設定部２３に与えられる。この検出外領域候補１Ａ設定部２３では、各画素の偏差値得点のうち、一定の基準以上のものを抽出し、検出外領域候補１Ａとする。すなわち、くらげが存在しない平常時に撮像した画像データに基づいて上記処理を行うと、本来であれば、背景部分は全体的に暗くその濃淡値の差も少ないため、偏差値得点は小さい値をとるが、例えば、反射物その他明るい物体が監視領域中に存在すると、その部分の偏差値得点は大きくなる。そして、そのように明るい物体は、実際の監視の際にくらげ等と誤認識するおそれがあるので、偏差値得点の高い画素部分は検出外領域候補１Ａとして抽出し、実際の監視領域から外すための候補データとする。
【００９０】
さらに、検出外領域候補１Ａ設定部２３の後段には検出外領域候補Ａ設定部２４を接続し、上記抽出した検出外領域候補１Ａに基づいて、膨張処理を所定回数行い、検出外領域Ａを設定する。つまり、検出外領域候補１Ａは、画素単位であるため、その範囲を広げて実効性を高めるようにしている。
【００９１】
そして、上記各設定部２３，２４の具体的な処理機能は、図１６に示すようになっている。つまり、第１偏差値得点算出部２２にて求められた全画素に対する偏差値得点を取得し、設定されたしきい値を越えた領域をすべて抽出する。そして、抽出した領域を、検出外領域候補１Ａ（初期データは空白）としてバッファに追加格納するとともに、該当する領域の第１偏差値得点データメモリ２１内のデータを除去する。そして、係る処理を予め決めた所定回数繰り返し、各回で抽出されたすべての領域を検出外領域候補１Ａとし、検出外領域候補Ａ設定部２４に出力するようになる。
【００９２】
なお、２回目以降の抽出処理は、前回までの処理でしきい値以上の領域として抽出されたデータは、偏差値得点データメモリから除去されているので、残ったデータに基づいて再度第１偏差値得点算出部２２を実行させて残った各画素に対して偏差値得点を求め、それに基づいて抽出処理を行う。
【００９３】
一方、検出外領域候補Ａ設定部２４では、求めた検出外領域候補１Ａの各画素について膨張処理を行い、その画素自身とそれに接する周囲の８個の画素すべてを検出外領域候補Ａとして設定する。以上の膨脹処理を用いて所定回数繰り返した結果を、検出外領域候補Ａとして出力する。
【００９４】
一方、図１５を見ると明らかなように、第２偏差値得点データメモリ２５の出力が第２偏差値得点算出部２６に与えられ、そこにおいて空間フィルタ処理画像を構成する各画素の偏差値得点を求める。そして、その算出部２の出力側には検出外領域候補１Ｂ設定部２７及び検出外領域候補Ｂ設定部２８が接続されている。そして、各検出外領域候補１Ｂ設定部２７及び検出外領域候補Ｂ設定部２８は、図１７に示すようになっている。つまり、処理対象の画像データが、平均値縮小処理画像から空間フィルタ処理画像に替わっただけで、具体的な処理は上記したのと同様の処理を各部１６〜２８で実行し、最終的に空間フィルタ処理画像に基づく検出外領域候補Ｂを求め、出力するようになっている。
【００９５】
さらに、上記した検出外領域候補Ａ設定部２４と検出外領域候補Ｂ設定部２８の出力が、検知外領域設定部２９に接続されている。この設定部２９は、図１８に示すような構造を採っており、２つの入力の論理和をとり、検出外領域候補Ａと検出外領域候補Ｂのどちらかに当てはまる領域を設定する機能を有する。そして、係る機能により設定された領域と、検出外領域候補Ｂのいずれかを選択部により択一的に選択し、選択した領域を検出外領域と設定する。そしてその設定した領域についての情報（座標値）を、図１に示す両２値化部８，１３にそれぞれ出力するようになっている。
【００９６】
そして、上記した検出外領域を求める処理は、くらげなどが存在しないか、仮に存在してもその量が少ないときに行うのが正確に求められて良い。従って、例えば画面内検出対象物数計測部９により求められた検出数が所定の値以下の時に動作するようにしても良い。また、そのように状態に関係なく、所定時間間隔で繰り返し、得られた複数の検出外領域のいずれかに当てはまる領域を検出外領域とするようにしてもよい。
【００９７】
図１９は、本発明の変形例を示している。本例では、上記した検出外領域設定部７を改良したもので、所定サイズ以下の検出外領域候補を除去する機能を加えるものである。すなわち、同図（Ａ）に示すように、第１所定サイズ以下除去部３０では、検出外領域候補１Ａを算出したあとに、検出外領域候補１Ａについてその連結性を調べ（ラべリング）、設定された連結個数以下となる領域を検出外領域候補１Ａから除外するようになっている。図示の例では、一回の処理ごとに行うようにしているが、「処理回数？」の分岐判断の後、すなわち、最終的に次段の検出外領域Ａ設定部２４に出力する前に行うようにしてももちろん良い。さらに、同図（Ｂ）に示すように、検出外領域候補１Ｂ設定部２７側にも同様の機能を持った第２所定サイズ以下除去部３１を接続し、検出外領域候補１Ｂから所定サイズ以下の検出外候補を除去するようになっている。
【００９８】
さらにまた、図２０に示すように、上記した各所定サイズ以下除去部３０，３１を、検出外領域候補Ａ設定部２４および検出外領域候補Ｂ設定部２８に接続し、各候補Ａ，Ｂを算出したあとに、上記と同様の除去処理を行うようにしてももちろん良い。
【００９９】
図２１は、上記した実施の形態における時空間画像ライン選択部１１において、自動的にラインを設定するようにした装置の一例を示している。
【０１００】
すなわち、図示するように、まず、平均値縮小処理画像水平ライン平均濃淡値算出部４１において、平均値縮小処理部４からの画像データを用いて、水平ラインの各ラインごとに平均濃淡値を算出する。また、平均値縮小処理画像水平ライン平均濃淡値の平均値・標準偏差算出部４２では、上記の算出部４１で算出された水平ライン濃淡平均値を母集合として、さらにその平均値および標準偏差を求める。そして、平均値縮小処理画像水平ライン偏差データ算出部４３では、各算出部４１，４２で求めた値を下記式に代入することによって偏差データを求めるようになっている。
【０１０１】
【数４】
0003797499.tif 000005
また、同様に平均値縮小処理画像垂直ライン平均濃淡値算出部４４において、平均値縮小処理部４からの画像データを用いて、垂直ラインの各ラインごとに平均濃淡値を算出し、平均値縮小処理画像垂直ライン平均濃淡値の平均値・標準偏差算出部４５にて、上記の算出部４４で算出された水平ライン濃淡平均値を母集合として、さらにその平均値および標準偏差を求める。そして、平均値縮小処理画像垂直ライン偏差データ算出部４６では、各算出部４４，４５で求めた値を下記式に代入することにより偏差データを求めるようになっている。
【０１０２】
【数５】
0003797499.tif 000006
さらに、空間フィルタ処理部６からの画像データを用いて、空間フィルタ処理画像水平ライン平均濃淡値算出部４７，空間フィルタ処理画像水平ライン平均濃淡値の平均値・標準偏差算出部４８，空間フィルタ処理画像水平ライン偏差データ算出部４９により各値を算出し、最終的に、次式により、空間フィルタに基づく水平ラインの偏差データを求める。
【０１０３】
【数６】
0003797499.tif 000007
さらにまた、空間フィルタ処理画像垂直ライン平均濃淡値算出部５０，空間フィルタ処理画像垂直ライン平均濃淡値の平均値・標準偏差算出部５１，空間フィルタ処理画像垂直ライン偏差データ算出部５２により各値を算出し、最終的に、次式により、空間フィルタに基づく垂直ラインの偏差データを求める。
【０１０４】
【数７】
0003797499.tif 000008
そして、両水平ライン偏差データ算出部４３，４９の出力を水平ライン評価値算出部５３に与える。また、両垂直ライン偏差データ算出部４６，５２の出力を垂直ライン評価値算出部５４に与える。そして、それら各部において、次式により、平均値縮小処理画像の水平（垂直）ライン偏差データと空間フィルタ処理画像の水平（垂直）ライン偏差データを用いて水平（垂直）ライン評価値を求める。
【０１０５】
【数８】
0003797499.tif 000009
さらに、水平，垂直ライン平滑化評価値算出部５５，５６では、上記のようにして求められた水平，垂直ライン評価値をそれぞれ用い、各水平ラインごと或いは各垂直ラインごとに、自身のラインの評価値とその両側から設定されたライン数分の評価値を用いてその平均値を平滑化評価値として算出する。そして、水平，垂直ライン選択部５７，５８で、この平滑化評価値がもっとも小さいものから順に、設定された数の水平ライン及び垂直ラインを選択するようになっている。
【０１０６】
そして、このラインの選択処理は、ある時期の１回の処理に基づいて行っても良いが、それに限ることはなく、所定時間間隔で複数回繰り返し、その平均値を用いてライン選択を行っても良い。
【０１０７】
【発明の効果】
以上のように本発明に係る水路流出入物監視装置では、空間フィルタ処理を行うことにより、濃淡値の勾配やむらが存在する画像が比較的フラットな画像になるためその後の２値化処理が容易に行うことができる。しかも、その前処理として平均値縮小処理を行うため、処理対象のデータ量を削減することができ、処理負荷が軽減されて、リアルタイムでの処理が可能となるばかりでなく、ブロックサイズを適宜に設定することにより、対象物が分断される可能性が低くなり、検出対象物の計数が容易かつ正確に行える。
【０１０８】
しかも、時空間画像処理を平行に行うことにより、あるライン上を通過する検出対象物の数を求めることができる。その結果、画面内対象物数の計数値と併せて利用することにより、対象物の滞留状態などその流出入状態の判別がより正確になる。
【０１０９】
その結果、監視カメラの画像から水路へ流出入する物体（主にくらげ）の検出およびその流出入度合の計測を簡易な画像処理手法で実現することができる。
【図面の簡単な説明】
【図１】本発明に係る水路流出入物監視装置の好適な一実施の形態を示すブロック図である。
【図２】空間フィルタの機能を説明する図である。
【図３】空間フィルタの処理結果の一例を示す図である。
【図４】空間フィルタの機能を説明する図である。
【図５】空間フィルタの機能を説明する図である。
【図６】空間フィルタの処理結果の一例を示す図である。
【図７】フレーム画像２値化処理結果の一例を示す図である。
【図８】時空間画像蓄積部の機能を説明する図である。
【図９】時空間画像蓄積部の機能を説明する図である。
【図１０】時空間画像蓄積部の機能を説明する図である。
【図１１】ブロックサイズ設定部の機能を説明するフローチャートの一部である。
【図１２】ブロックサイズ設定部での処理途中で設定される矩形領域を示す図である。
【図１３】ブロックサイズ設定部の機能を説明するフローチャートの一部である。
【図１４】ブロックサイズ設定部におけるしきい値決定処理を説明する図である。
【図１５】検出外領域設定部の内部構造を示すブロック図である。
【図１６】検出外領域設定部のさらに詳細な内部構造を示すブロック図である。
【図１７】検出外領域設定部のさらに詳細な内部構造を示すブロック図である。
【図１８】検出外領域設定部のさらに詳細な内部構造を示すブロック図である。
【図１９】検出外領域設定部の変形例を示す要部ブロック図である。
【図２０】検出外領域設定部のさらに他の変形例を示す要部ブロック図である。
【図２１】時空間画像ライン選択部の内部構成を示す図である。
【符号の説明】
４  平均値縮小処理部
５  ブロックサイズ設定部
６  空間フィルタ処理部
７  検出外領域設定部
８  フレーム画像２値化処理部
９  画面内検出対象物数計測部
１１  時空間画像ライン選択部
１２  時空間画像蓄積部
１３  時空間画像２値化処理部
１４  通過数計測処理部
１６  警報処理部
２１  第１偏差値得点算出データ記憶部
２２  第１偏差値得点算出部
２３  検出外領域候補１Ａ設定部
２４  検出外領域候補Ａ設定部
２５  第２偏差値得点算出データ記憶部
２６  第２偏差値得点算出部
２７  検出外領域候補１Ｂ設定部
２８  検出外領域候補Ｂ設定部
２９  検出外領域設定部
３０  第１所定サイズ以下除去部
３１  第２所定サイズ以下除去部
４１  平均値縮小処理画像水平ライン平均濃淡値算出部
４２  平均値縮小処理画像水平ライン平均濃淡値の平均値・標準偏差算出部
４３  平均値縮小処理画像水平ライン偏差データ算出部
４４  平均値縮小処理画像垂直ライン平均濃淡値算出部
４５  平均値縮小処理画像垂直ライン平均濃淡値の平均値・標準偏差算出部
４６  平均値縮小処理画像垂直ライン偏差データ算出部
４７  空間フィルタ処理画像水平ライン平均濃淡値算出部
４８  空間フィルタ処理画像水平ライン平均濃淡値の平均値・標準偏差算出部
４９  空間フィルタ処理画像水平ライン偏差データ算出部
５０  空間フィルタ処理画像垂直ライン平均濃淡値算出部
５１  空間フィルタ処理画像垂直ライン平均濃淡値の平均値・標準偏差算出部
５２  空間フィルタ処理画像垂直ライン偏差データ算出部
５３  水平ライン評価値算出部
５４  垂直ライン評価値算出部
５５  水平ライン平滑化評価値算出部
５６  垂直ライン平滑化評価値算出部
５７  水平ライン選択部
５８  垂直ライン選択部
【図１】
0003797499.tif 000010
【図２】
0003797499.tif 000011
【図３】
0003797499.tif 000012
【図４】
0003797499.tif 000013
【図５】
0003797499.tif 000014
【図６】
0003797499.tif 000015
【図７】
0003797499.tif 000016
【図８】
0003797499.tif 000017
【図９】
0003797499.tif 000018
【図１０】
0003797499.tif 000019
【図１１】
0003797499.tif 000020
【図１２】
0003797499.tif 000021
【図１３】
0003797499.tif 000022
【図１４】
0003797499.tif 000023
【図１５】
0003797499.tif 000024
【図１６】
0003797499.tif 000025
【図１７】
0003797499.tif 000026
【図１８】
0003797499.tif 000027
【図１９】
0003797499.tif 000028
【図２０】
0003797499.tif 000029
【図２１】
0003797499.tif 000030