(57)【特許請求の範囲】
【請求項１】
監視対象の水路を撮像して得られたビデオ画像に基づく画像データに対し設定されたブロ
ックサイズに分割し、そのブロック内画素濃淡値の平均値からなる縮小画像を算出する第
１平均値縮小処理手段と、
その平均値縮小処理された画像データに対し、周囲の近傍画素との濃淡値の差が大きい
処理対象画素を強調するような所定の空間フィルタ処理を行う第１空間フィルタ処理手段
と、
その第１空間フィルタ処理手段から出力される画像データに対し、設定されたしきい値
で２値化し、検出領域と非検出領域に区別する第１画像２値化処理手段と、
その第１画像２値化処理手段による２値画像を用いて、画像内に存在する対象物候補を
検出しその数量を計測する対象物候補検出処理手段とを備え、
さらに、前記監視対象の水路を撮像して得られたビデオ画像を、前記第１平均値縮小処
理手段におけるブロックサイズとは別に設定可能なブロックサイズに分割し、そのブロッ
ク内画素濃淡値の平均値からなる縮小画像を算出する第２平均値縮小処理手段と、
その第２平均値縮小処理手段で生成された画像データに対し、周囲の近傍画素との濃淡
値の差が大きい処理対象画素を強調するような所定の空間フィルタ処理を行う第２空間フ
ィルタ処理手段と、
第２空間フィルタ処理手段で生成された画像データに対し前記第１画像２値化処理手段
における２値化しきい値とは別に設定可能なしきい値で２値化する第２画像２値化処理手
段と、
その第２画像２値化処理手段による２値画像と、前記第１画像２値化処理手段による２
値画像を比較し、第２画像２値化処理手段による２値画像から不要な検出領域を取り除く
ことによって形状計測用の２値画像を算出する形状計測用２値画像算出処理手段と、
この形状計測用２値画像の中の検出領域の各かたまりに対し、その形状特徴を示す形状
情報を算出する形状情報算出処理手段とを備え、
前記対象物候補検出処理手段による対象物候補に関する情報と前記形状情報算出処理手
段による形状情報に基づいて前記監視対象の水路の状態を判定し、その判定結果が所定の
場合に警報を発するようにしたことを特徴とする水路流出入物監視装置。
【請求項２】
前記形状情報算出処理手段は、
連結しあう複数の検出画素からなる検出領域ごとに、
検出領域の画素数LS、検出領域のＸ軸方向の画素幅Lx、検出領域のＹ軸方向の画素幅Lyを求めるとともに、Lx2 ／LS及びLy2 ／LSを算出し、このうち大きな値を持つ方を選択して検出領域の細長さを示す形状情報とすることを特徴とする請求項１に記載の水路流出入物監視装置。
【請求項３】
前記形状情報算出処理手段は、
連結しあう複数の検出画素からなる検出領域ごとに、
検出領域の画素数LS、検出領域のＸ軸方向の画素幅Lx、検出領域のＹ軸方向の画素幅Lyを求めるとともに、（Lx4 ＋Ly4 ）1/2 ／LSを算出し、得られた値を検出領域の細長さを示す形状情報とすることを特徴とする請求項１に記載の水路流出入物監視装置。
【請求項４】
監視対象の水路を撮像して得られたビデオ画像に基づく画像データに対し設定されたブロックサイズに分割し、そのブロック内画素濃淡値の平均値からなる縮小画像を算出する第１平均値縮小処理手段と、
その平均値縮小処理された画像データに対し、周囲の近傍画素との濃淡値の差が大きい処理対象画素を強調するような所定の空間フィルタ処理を行う第１空間フィルタ処理手段と、
その第１空間フィルタ処理手段から出力される画像データに対し、設定されたしきい値で２値化し、検出領域と非検出領域に区別する第１画像２値化処理手段と、
その第１画像２値化処理手段による２値画像を用いて、画像内に存在する対象物候補を検出しその数量を計測する対象物候補検出処理手段とを備え、
さらに、前記対象物候補検出処理手段の検出結果を用いて、その処理の元となったビデオ画像データ中の前記対象物候補の存在領域を含む矩形領域を抽出するための検出位置座標を求める抽出矩形領域座標算出処理手段と、
前記ビデオ画像データの中から、求められた複数の検出位置座標をそれぞれ中心とする所定サイズの矩形領域の濃淡値データを抽出する矩形領域データ抽出処理手段と、
その矩形領域データ抽出処理手段により抽出された個々の矩形領域の濃淡値データについて、それぞれ濃淡値ヒストグラムを作成し、この分散値及び歪度を求める矩形領域内濃淡値分散値・歪度算出処理手段とを備え、
前記対象物候補検出処理手段による対象物候補に関する情報と、前記矩形領域内濃淡値分散値・歪度算出処理手段による分散値と歪度に基づいて前記監視対象の水路の状態を判定し、その判定結果が所定の場合に警報を発するようにしたことを特徴とする水路流出入物監視装置。
【請求項５】
監視対象の水路を撮像して得られたビデオ画像に基づく画像データに対し設定されたブロックサイズに分割し、そのブロック内画素濃淡値の平均値からなる縮小画像を算出する第１平均値縮小処理手段と、
その平均値縮小処理された画像データに対し、周囲の近傍画素との濃淡値の差が大きい処理対象画素を強調するような所定の空間フィルタ処理を行う第１空間フィルタ処理手段と、
その第１空間フィルタ処理手段から出力される画像データに対し、設定されたしきい値で２値化し、検出領域と非検出領域に区別する第１画像２値化処理手段と、
その第１画像２値化処理手段による２値画像を用いて、画像内に存在する対象物候補を検出しその数量を計測する対象物候補検出処理手段とを備え、
さらに、前記第１画像２値化処理手段で生成された２値画像における検出領域について、自身とそれに接する８個の画素すべてを領域に取り込む膨張処理を所定回数繰り返す検出領域膨張処理手段と、
前記検出領域膨張処理手段により求められた膨張検出領域を、連結しあう複数の画素からなる領域に分け、この各々の領域に対し、面積とこの中に存在する対象物候補検出数を算出する膨張検出領域面積・領域内候補検出数算出処理手段と、
得られた前記膨張検出領域面積及び膨張領域内候補検出数を用いて対象物候補の検出位置集中性を示す検出位置集中性情報を算出する検出位置集中性情報算出処理手段を備え、
前記対象物候補検出処理手段による対象物候補に関する情報と、検出位置集中性情報算出処理手段による検出位置集中性情報に基づいて前記監視対象の水路の状態を判定し、その判定結果が所定の場合に警報を発するようにしたことを特徴とする水路流出入物監視装置。
【請求項６】
監視対象の水路を撮像して得られたビデオ画像に基づく画像データに対し設定されたブロックサイズに分割し、そのブロック内画素濃淡値の平均値からなる縮小画像を算出する第１平均値縮小処理手段と、
その平均値縮小処理された画像データに対し、周囲の近傍画素との濃淡値の差が大きい処理対象画素を強調するような所定の空間フィルタ処理を行う第１空間フィルタ処理手段と、
その第１空間フィルタ処理手段から出力される画像データに対し、設定されたしきい値で２値化し、検出領域と非検出領域に区別する第１画像２値化処理手段と、
その第１画像２値化処理手段による２値画像を用いて、画像内に存在する対象物候補を検出しその数量を計測する対象物候補検出処理手段とを備え、
さらに、以下に示す第１〜第３の機能を備え、前記対象物候補検出処理手段による対象物候補に関する情報と、第１〜第３の機能により求められた情報に基づいて前記監視対象の水路の状態を判定し、その判定結果が所定の場合に警報を発するようにしたことを特徴とする水路流出入物監視装置。
第１の機能は、
前記監視対象の水路を撮像して得られたビデオ画像を、前記第１平均値縮小処理手段におけるブロックサイズとは別に設定可能なブロックサイズに分割し、そのブロック内画素濃淡値の平均値からなる縮小画像を算出する第２平均値縮小処理手段と、
その第２平均値縮小処理手段で生成された画像データに対し、周囲の近傍画素との濃淡値の差が大きい処理対象画素を強調するような所定の空間フィルタ処理を行う第２空間フィルタ処理手段と、
第２空間フィルタ処理手段で生成された画像データに対し前記第１画像２値化処理手段における２値化しきい値とは別に設定可能なしきい値で２値化する第２画像２値化処理手段と、
その第２画像２値化処理手段による２値画像と、前記第１画像２値化処理手段による２値画像を比較し、第２画像２値化処理手段による２値画像から不要な検出領域を取り除くことによって形状計測用の２値画像を算出する形状計測用２値画像算出処理手段と、
この形状計測用２値画像の中の検出領域の各かたまりに対し、その形状特徴を示す形状情報を算出する形状情報算出処理手段とを有する。
第２の機能は、
前記対象物候補検出処理手段の検出結果を用いて、その処理の元となったビデオ画像データ中の前記対象物候補の存在領域を含む矩形領域を抽出するための検出位置座標を求める抽出矩形領域座標算出処理手段と、
前記ビデオ画像データの中から、求められた複数の検出位置座標をそれぞれ中心とする所定サイズの矩形領域の濃淡値データを抽出する矩形領域データ抽出処理手段と、
その矩形領域データ抽出処理手段により抽出された個々の矩形領域の濃淡値データについて、それぞれ濃淡値ヒストグラムを作成し、この分散値及び歪度を求める矩形領域内濃淡値分散値・歪度算出処理手段とを有する。
第３の機能は、
前記第１画像２値化処理手段で生成された２値画像における検出領域について、自身とそれに接する８個の画素すべてを領域に取り込む膨張処理を所定回数繰り返す検出領域膨張処理手段と、
前記検出領域膨張処理手段により求められた膨張検出領域を、連結しあう複数の画素からなる領域に分け、この各々の領域に対し、面積とこの中に存在する対象物候補検出数を算出する膨張検出領域面積・領域内候補検出数算出処理手段と、
得られた前記膨張検出領域面積及び膨張領域内候補検出数を用いて対象物候補の検出位置集中性を示す検出位置集中性情報を算出する検出位置集中性情報算出処理手段を有している。
【発明の詳細な説明】
【０００１】
【発明が属する技術分野】
本発明は、水路流出入物監視装置に関するもので、より具体的には、水路へ流出入する物体（主に冷却水取水路へ流入するくらげ）を監視するために、監視カメラの映像から画像処理によって対象物を検出し、その流出入度合を計測するものに関する。
【０００２】
【発明の背景】
水路に多数のくらげが侵入してきた場合には、水路が詰まってしまい取水口等における正常な取水処理等ができなくなる。そこで、従来は、水路を監視カメラで撮像するとともに、その撮像したビデオ信号をモニタに出力する。そして、監視員がそのモニタを監視し、くらげが侵入してきたならば、くらげを除去する作業を行うようにしている。
【０００３】
しかしながら、上記した従来の監視方法では、くらげの発生を遅滞なく検出するためには、常時モニタを監視する必要があるが、実際には、監視員はその他の処理・作業も行わなければならないので、一定の時間ごとにモニタを見る程度にとどまる。その結果、くらげの除去作業が遅れるおそれがある。また、モニタを見てわかるのは、その時のくらげの存在数であり、その数量が増加傾向にあるのか減少傾向にあるのかはわからない。さらには、その増減の速度もわからない。その結果、くらげの除去作業を行う必要があるか否かの判断や、行う場合に早急に行う必要があるか否かの判断がしにくい。
【０００４】
そこで、監視カメラで撮像した画像情報に対し、所定の画像処理を行ってくらげ部分を抽出し、画面中のくらげの発生数を計数したり、経過時間に伴うくらげの数の変化の履歴を検出することにより、くらげの除去作業の有無やその緊急性についての正しい判断を行うようにすることが考えられる。そして、一般的な画像処理を利用したものとして、以下の２つが考えられる。
【０００５】
＊＊第１の方法
画像間の差分処理によって移動物体や状態変化を画像変化領域として抽出し、その抽出した変化領域の特徴（大きさ，形，数など）によってくらげか否かを判断し、最終的にくらげと判断したものを計数することにより画像中に存在するくらげ数を求めることができる。
【０００６】
すなわち、監視ＴＶカメラから得られる画像の濃淡値をＡ／Ｄ変換してディジタル画像に変換した画像データと、同様にして得られた数フレーム前の画像データとの差（フレーム間差分）をとる。すると、移動していない背景部分などは、差分をとることにより除去されるため、結局移動するくらげ等が抽出されることになる。
【０００７】
そこで、得られた差分画像の各画素の濃淡値について、設定されたしきい値との比較によって２値化処理することにより、変化領域と非変化領域とを弁別し、変化領域であるくらげ部分を抽出する。最後に、得られた変化領域の持つ特徴（大きさ、形、画素数など）からくらげか否かを判断するようになる。
【０００８】
また、フレーム間差分に替えて、予め背景部分を撮像しておき、背景画像と入力画像との差分画像を求める方法（背景差分）を用いることもできる。
【０００９】
しかしながら、この方法では、背景部分が濃淡画像にした時に固定されていないと、背景部分もその一部が差分画像として抽出されてしまい、誤検出してしまうおそれがある。特に、本願発明の監視対象領域の背景画像は、海面や水面であるので、常に変化しているため、上記問題が顕著に現れる。
【００１０】
さらに、検出対象物が海面・水面上を浮遊するくらげであるため、その移動速度は一定ではなく、同一場所に停滞することもある。そして、フレーム間差分を求める場合には、２つの画像間の時間に対象物が一定量移動することが前提となるので、対象物であるくらげの移動速度が遅く、２つの画像における対象物の位置が部分的に重なり合うような場合には、その部分の差分値が低く抑えられ、２値化時の形状欠損が生じてしまい、抽出できないおそれがある。
【００１１】
＊＊第２の方法
得られた画像そのものを２値化することによって検出対象領域を抽出し、その領域の特徴（大きさ、形、数など）によってその状態を判断する方法を適用することが考えられる。
【００１２】
すなわち、監視ＴＶカメラから得られる画像をＡ／Ｄ変換してディジタル画像に変換し、さらに、得られたディジタル画像の各画素の濃淡値について、設定されたしきい値との比較によって検出対象領域と非検出対象領域に分別する２値化処理を行う。そして、最後に、２値画像により得られた検出対象領域の持つ特徴（大きさ、形、画素数など）から、くらげか否かを判断し、そのくらげの数を計数する。
【００１３】
ところで、この方法で精度の良い判別を行うためには、２値化する際のしきい値の決定が重要である。しかし、本発明の監視対象領域の背景画像が海面・水面であるので、１画面内での濃淡値に大きな勾配やむらが存在する。その結果、一つのしきい値で画面全体を２値化すると、適切に２値化できない領域が生じ、くらげを正しく抽出できないおそれがある。
【００１４】
また、上記のように１画面全体で濃淡値にむらがある場合には、画像の部分部分に応じてしきい値を自動的に設定する方法により適用することが考えられる。しかし、海面・水面のように画像の濃淡値が時間経過とともに変動する場合には、それに応じてしきい値を適切に設定する必要があり、その画像の時間変動に対応するために、得られる画像ごとに画像の部分に応じてしきい値を設定する処理を行うようにしなければならず、処理が膨大となってしまい、監視を目的としたリアルタイム処理には向かない。
【００１５】
また、第１、第２の方法はともに画素単位に２値化を行うために一つの検出対象物がいくつにも分かれて抽出されることがあり、その後の統合処理をうまく行わないと、物体の数の計測が不正確になるという問題を有している。
【００１６】
そこで、上記した問題点を解決するため、本出願人は先に、特願平８−２２４６７７号にて、水路へ流出入するくらげの検出・流出入度合の計測を簡易な画像処理手法で実現することのできる水路流出入物監視装置を提案した。係る先願発明について簡単に説明すると、図１のようなブロック構成からなる。なお、この図示したブロック図は、先願の明細書に添付した図面と同一ではないが、本発明と対比する上で便宜上異ならせているが、実質的には同じである。
【００１７】
同図に示すように、監視ＴＶカメラ１から得られる濃淡映像（濃淡画像データ）はＡ／Ｄ変換部２によってディジタル画像に変換される。次に、フレーム積算・平均化処理部３で、その後の処理で対象物の検出に障害となる信号中のノイズ成分や水面の波による画像の細かいむらを軽減するために、時間軸方向で平均化を行う。つまり順次入力される画像を用いて同座標の濃淡値を積算・平均化する。
【００１８】
このフレーム積算・平均化処理部３から得られる画像データを、平均値縮小処理部４において、所定のブロックサイズで平均値縮小処理を行う。平均値縮小処理は、画像を所定のブロックサイズで分割し、そのブロック内画素濃淡値の平均値をもってそのブロックの代表値とするもので、ブロックサイズをＮ×Ｎとすると、この処理でデータ数は１／Ｎ2 に圧縮される。
【００１９】
続いて、平均値縮小処理部４から得られた画像データを、空間フィルタ処理部５において空間フィルタ処理を行う。つまり、周囲の近傍画素との濃淡値の差が大きい画素を強調する。よって、くらげの部分が浮き上がる。
【００２０】
画像２値化処理部６では、空間フィルタ処理部５から得られた画像データのうち予め設定された検出外領域を除いたデータを設定されたしきい値で２値化（例：検出画素を１、非検出画素を０）することによって、画像を検出領域と非検出領域に区別する。
【００２１】
対象物検出処理部７では、画像２値化処理部６から得られる画像２値データを用いて、画像内の検出物の数量を計測する。すなわち、平均値縮小処理部４におけるブロックの大きさを、くらげの大きさとほぼ等しくしておくと、検出画素の数とくらげの数がほぼ一致するので、上記のように単純に検出画素の数を計数するだけでくらげの数を計測できる。そして、警報処理部８では、対象物検出処理部７による検出数の値やその時間変化により、検出物の流入度合を判別しそれに応じた警報を発するようにしている。
【００２２】
上記した先願の発明では、背景となる水面よりも濃淡値の高い部分を対象物として抽出し、その数を計測することにより流入度合を判別するようにしている。従って、比較的簡易な画像処理のアルゴリズムで流入物（くらげ）を検出することが可能となり、自動的に監視を行うという初期の目的を達成できた。しかし、上記した先願の発明では、濃淡画像として撮像した場合に比較的白く写る魚や波も検出画素として抽出されるおそれがあり、しかも、先願発明の画像処理アルゴリズムでは、くらげ／魚／波というようなはっきりした区別を行って検出していないために、魚などがあってもくらげとみなして計数するおそれがある。すると例えば、検出対象物がくらげであり、検出されたものの中に魚や波を検出したものが含まれている場合には検出精度が低下し、その量が多量の場合は誤警報につながる。
【００２３】
本発明は、上記した背景に鑑みてなされたもので、その目的とするところは、上記した問題を解決し、監視カメラの画像から水路へ流出入する物体（主にくらげ）の検出及びその流出入度合の計測を簡易な画像処理手法で実現でき、しかも、検出対象の物体と濃度の近い非検出対象物とを精度よく弁別することのできる水路流出入物監視装置を提供するものである。
【００２４】
【課題を解決するための手段】
上記した目的を達成するため、本発明に係る水路流出入物監視装置では、監視対象の水路を撮像して得られたビデオ画像に基づく画像データに対し設定されたブロックサイズに分割し、そのブロック内画素濃淡値の平均値からなる縮小画像を算出する第１平均値縮小処理手段と、その平均値縮小処理された画像データに対し、周囲の近傍画素との濃淡値の差が大きい処理対象画素を強調するような所定の空間フィルタ処理を行う第１空間フィルタ処理手段と、その第１空間フィルタ処理手段から出力される画像データに対し、設定されたしきい値で２値化し、検出領域と非検出領域に区別する第１画像２値化処理手段と、その第１画像２値化処理手段による２値画像を用いて、画像内に存在する対象物候補を検出しその数量を計測する対象物候補検出処理手段とを備えたことを前提とし、この前提条件は各発明で共通する。
【００２５】
そして、第１の発明としては、上記前提条件にさらに前記監視対象の水路を撮像して得られたビデオ画像を、前記第１平均値縮小処理手段におけるブロックサイズとは別に設定可能なブロックサイズに分割し、そのブロック内画素濃淡値の平均値からなる縮小画像を算出する第２平均値縮小処理手段と、その第２平均値縮小処理手段で生成された画像データに対し、周囲の近傍画素との濃淡値の差が大きい処理対象画素を強調するような所定の空間フィルタ処理を行う第２空間フィルタ処理手段と、第２空間フィルタ処理手段で生成された画像データに対し前記第１画像２値化処理手段における２値化しきい値とは別に設定可能なしきい値で２値化する第２画像２値化処理手段と、その第２画像２値化処理手段による２値画像と、前記第１画像２値化処理手段による２値画像を比較し、第２画像２値化処理手段による２値画像から不要な検出領域を取り除くことによって形状計測用の２値画像を算出する形状計測用２値画像算出処理手段と、この形状計測用２値画像の中の検出領域の各かたまりに対し、その形状特徴を示す形状情報を算出する形状情報算出処理手段とを備え、前記対象物候補検出処理手段による対象物候補に関する情報と前記形状情報算出処理手段による形状情報に基づいて前記監視対象の水路の状態を判定し、その判定結果が所定の場合に警報を発するようにした（請求項１）。
【００２６】
ここで、前記形状情報算出処理手段における具体的な処理としては、各種の方法を用いることができるが、一例として連結しあう複数の検出画素からなる検出領域ごとに、検出領域の画素数LS、検出領域のＸ軸方向の画素幅Lx、検出領域のＹ軸方向の画素幅Lyを求めるとともに、Lx2 ／LS及びLy2 ／LSを算出し、このうち大きな値を持つ方を選択して検出領域の細長さを示す形状情報とすることができる（請求項２）。また、別のアルゴリズムとしては、連結しあう複数の検出画素からなる検出領域ごとに、検出領域の画素数LS、検出領域のＸ軸方向の画素幅Lx、検出領域のＹ軸方向の画素幅Lyを求めるとともに、（Lx4 ＋Ly4 ）1/2 ／LSを算出し、得られた値を検出領域の細長さを示す形状情報としてもよい（請求項３）。
【００２７】
また、第２の発明としては、上記した前提の構成にさらに前記対象物候補検出処理手段の検出結果を用いて、その処理の元となったビデオ画像データ中の前記対象物候補の存在領域を含む矩形領域を抽出するための検出位置座標を求める抽出矩形領域座標算出処理手段と、前記ビデオ画像データの中から、求められた複数の検出位置座標をそれぞれ中心とする所定サイズの矩形領域の濃淡値データを抽出する矩形領域データ抽出処理手段と、その矩形領域データ抽出処理手段により抽出された個々の矩形領域の濃淡値データについて、それぞれ濃淡値ヒストグラムを作成し、この分散値及び歪度を求める矩形領域内濃淡値分散値・歪度算出処理手段とを備え、前記対象物候補検出処理手段による対象物候補に関する情報と、前記矩形領域内濃淡値分散値・歪度算出処理手段による分散値と歪度に基づいて前記監視対象の水路の状態を判定し、その判定結果が所定の場合に警報を発するように構成した（請求項４）。
【００２８】
さらに第３の発明としては、上記した前提の構成にさらに、前記第１画像２値化処理手段で生成された２値画像における検出領域について、自身とそれに接する８個の画素すべてを領域に取り込む膨張処理を所定回数繰り返す検出領域膨張処理手段と、前記検出領域膨張処理手段により求められた膨張検出領域を、連結しあう複数の画素からなる領域に分け、この各々の領域に対し、面積とこの中に存在する対象物候補検出数を算出する膨張検出領域面積・領域内候補検出数算出処理手段と、得られた前記膨張検出領域面積及び膨張領域内候補検出数を用いて対象物候補の検出位置集中性を示す検出位置集中性情報を算出する検出位置集中性情報算出処理手段を備え、前記対象物候補検出処理手段による対象物候補に関する情報と、検出位置集中性情報算出処理手段による検出位置集中性情報に基づいて前記監視対象の水路の状態を判定し、その判定結果が所定の場合に警報を発するように構成した（請求項５）。
【００２９】
さらに第４の発明としては、請求項６に規定するように上記した第１〜第３の発明の要部となる機能を備え、それらを総合的に判断するように構成することであり、係る構成にするとより精度よく判定できる。
【００３０】
ここで水路とは、冷却水の取水路の他、自然の川や、ある程度幅が狭く水が流れる人工のものを含み、さらには、ダム，池等の比較的幅の広い部分も含むものである。そして、検出対象物は、実施の形態では、くらげを例示しているが、これに限ることはなく、水路を詰まらせるもの（例えばビニール等のごみ）等でもよい。
【００３１】
係る構成にすると、前提条件の構成をとることにより所定の空間フィルタ処理を行うことにより、濃淡値の勾配やむらが存在する画像が比較的フラットな画像になるためその後の２値化処理が容易になる。このことは、本発明における背景画像となる水面のように常時濃淡値が変動し、しかも、全体で均一ではなく各部での濃淡値が微妙に異なるような画像データの特徴がある場合においても、検出対象物となるくらげの濃淡値は背景部分よりも大きい（明るい）ために、その境界部分での濃淡値の差は大きくなる。よって、空間フィルタ処理をすることにより、強調されるので、検出対象物が浮かび上がる。よって、しきい値処理により確実に検出対象物と背景部分とを弁別できる。
【００３２】
さらに、空間フィルタ処理の前処理として平均値縮小処理を行うことは、データ量を削減することによる処理負荷の軽減はもちろんのこと、検出対象物が分断される可能性が低くなり、対象物の計数が容易となる。
【００３３】
そして、この前提条件の構成では、検出対象物と同様の濃度（濃淡値）があるものは精度よく抽出することができるが、形状などの条件は加味していないので、非検出対象物も含まれているおそれがある。そこで、各請求項で規定するような要件を付加することにより、非検出対象物を除去し確実に検出対象物を抽出することにより、精度のよい水路の状態の判定を行うことができる。
【００３４】
すなわち、請求項１に記載の第１の発明では、対象物の検出にあたって、形状情報を加えることによって検出数補正や検出した画像のシーン種別識別を行うため、より正確に警報を発報できるようになる。本方式によると、例えば、くらげのみを検出したいという場合には、請求項２及び請求項３の方法による検出物の「細長さ」を示す形状特徴値を用いることにより、くらげより細長く撮像される魚類や波模様による誤検出を軽減することが可能となる。
【００３５】
その際の形状計測用の２値画像算出処理は、検出基本処理とほぼ同様の簡易な処理で実現でき、かつ基本処理の流れを大きく乱すことなく追加できるため、処理負荷をあまり増大させないという利点がある。
【００３６】
請求項２のように構成すると、第１の発明の形状情報算出にあたって、形状の「細長さ」を評価する場合に、その特徴値を簡易な方法で算出できる。また、請求項３のように構成すると前記形状情報算出にあたって、形状の「細長さ」を評価する際に、より正確な「細長さ」を求めることができる。
【００３７】
請求項４に記載の第２の発明では、対象物の検出にあたって、前提条件の構成により検出された部分の矩形領域内の濃淡値分散値・歪度を加えることによって、検出数の補正や検出した画像のシーン種別識別を行うためより正確に警報を発報できるようになる。
【００３８】
本処理では、検出数補正・シーン種別識別処理を行う際の濃淡値度数分布特徴を抽出する際に、基本処理で検出した部分を中心とした矩形領域を対象とするため、検出物の特徴を見いだしやすい。そして、第１の発明と同様、基本処理の流れを大きく乱すことなく追加できるため、処理負荷をあまり増大させないという利点がある。
【００３９】
請求項５に記載の第３の発明では、対象物の検出にあたって、前提条件の構成により検出位置の集中性による評価値を加えることによって、検出した画像のシーン種別識別を行うためより正確に警報を発報できるようになる。本方式によると、例えば、取水の流れに身を任せ監視範囲内の水面にほぼまんべんなく流入するくらげを検出対象とした場合には、部分的に偏って検出される波模様や隊列をなして遊泳する魚類による誤検出の軽減を図ることができる。
【００４０】
本処理では、検出領域の膨張処理という非常に簡易な処理を利用して検出位置の部分的な偏りとその集中性を評価できるという特徴を有している。そして、第１、第２の発明と同様、基本処理の流れを大きく乱すことなく追加できるため、処理負荷をあまり増大させないという利点がある。
【００４１】
【発明の実施の形態】
図２は、本発明に係る水路流出入物監視装置の第１の実施の形態を示している。同図に示すように、まず、監視ＴＶカメラ１から得られる濃淡画像をＡ／Ｄ変換部２に与え、そこにおいてＡ／Ｄ変換してディジタル画像に変換させる。そしてこのディジタル画像を次段のフレーム積算・平均化処理部３に与える。
【００４２】
フレーム積算・平均化処理部３では、順次連続して入力されてくるｎ枚の画像データに対し、同一座標の各画素の濃淡値を積算するとともにその平均値を求め、その求めた平均濃淡値をその後の画像処理の基準となる画像データの画素の濃淡値とする。これにより、信号中のノイズ成分や水面の波による画像の細かいむらは同一の座標上に存在し続けることが少ないので、その影響が軽減される。これにより、ノイズなどの誤判別の要因となる雑音成分を除去することができる。
【００４３】
また、フレーム積算・平均化処理部３の後段には、第１平均値縮小処理部４が接続され、積算・平均化された画像データに対し、設定されたブロックサイズで平均値縮小処理を行う。この平均値縮小処理は、まず、予め設定されたＮ×Ｍ（Ｎ＝Ｍでも可）のブロックサイズで分割し、さらに分割されたブロック内に存在する画素の濃淡値の平均値を求める。そして、その求めた平均濃淡値をそのブロックの代表値とするようになっている。
【００４４】
係る処理をすることにより、例えばブロックサイズをＮ×Ｎ（Ｎ＝Ｍ）とすると、データ数は１／Ｎ2 に圧縮することができる。このように圧縮することにより、画像をぼかし、例えば各くらげの細かい寸法・形状や濃度の差が現れにくくするとともに、処理対象のデータ数を縮小することにより、短時間でより正確な判断を行えるようにしている。
【００４５】
そして、具体的なサイズとしては、くらげの平面形状がほぼ円形であることから、Ｎ＝Ｍとするのが好ましく、しかもＮ個の画素の長さと、くらげの半径とが同じになるように設定するのが好ましい。そして、本例では、８×８でブロック化するようにした。
【００４６】
なお、分割する際のブロックサイズは、上記のように予め固定していてもよいし、或いは、別途ブロックサイズ設定部を設け、そのブロックサイズ設定部からの制御信号に基づいて設定するようにしてもよい。そして、係る設定は、検出処理において毎回更新を行うものではなく、手動設定または自動設定で定期・不定期に行うようにしてもよい。
【００４７】
さらに、第１平均値縮小処理部４で生成された画像データを、第１空間フィルタ処理部５に与え、そこにおいて所定の空間フィルタ処理を行い、検出対象物のくらげの部分が浮き出るようにする。そして、この第１空間フィルタの具体的な処理方法として、例えば処理対象画素を中心とするｎ×ｎの局所領域の中の各濃淡データと処理対象画素の濃淡値との差の絶対値を求め、求められた（ｎ×ｎ−１）個の差の絶対値の中から、最大値を選択して、第１空間フィルタ処理の結果として出力することができる。
【００４８】
一例を示すと、ｎ＝３とすると、図３（Ａ）に示すように、局所領域を構成する画素は、▲１▼〜▲９▼の９個となり、そのうち中央の▲５▼の画素が処理対象画素となる。そこで、｜▲１▼−▲５▼｜，｜▲２▼−▲５▼｜，｜▲３▼−▲５▼｜，…，｜▲８▼−▲５▼｜，｜▲９▼−▲５▼｜を求め、計８個の演算結果の中からもっとも大きい値をその処理対象画素▲５▼の代表値とする。なお、上記した絶対値演算の式中丸数字は、各画素の濃淡値を意味する。
【００４９】
係る構成にすると、周囲の画素との濃度差が大きい場合には代表値が高くなり、処理対象画素▲５▼を含む９個の画素の濃淡値がほぼ同じ場合には、代表値が小さくなる。つまり、上記したように、ここでの処理対象画素は、前段で縮小化処理がされており、くらげの半径と同程度の大きさとなっている。従って、処理対象画素にくらげが存在している場合には、同図（Ｂ）中ハッチングで示すように、４画素分に存在することになる。従って、図示の例では、ハッチングをしていない５個の画素との間の濃度差が大きくなる。一方、くらげがいない部分では、局所領域は海面或いは水面となっているので、各画素間での濃度差はいずれも小さくなる。よって、少なくとも処理対象画素にくらげが存在する場合には、その処理対象画素の代表値が大きくなる。
【００５０】
そして、係る方法により空間フィルタリングした場合の処理結果の一例を示すと図４のようになる。そして、図中濃淡値（上記で言う「代表値」）が高くなっているところが、くらげが存在している候補地である。
【００５１】
また、別の空間フィルタリング方法としては、検出対象のくらげの濃淡値が、背景となる水面の濃淡値よりも高い（明るい）ことに着目し、背景の水面よりも濃淡値の高い画素を抽出することを目的としている。
【００５２】
すなわち、処理対象画素を中心とするｎ×ｎの矩形領域に存在する各画素の濃淡値データの中から、最大濃淡値及び最小濃淡値を抽出する。そして、処理対象画素の濃淡値から、最大濃淡値と最小濃淡値をそれぞれ減算し、求められた２つの減算値を加算する。そして、求めた加算値が、正の場合にはその値をフィルタ出力値とし、また負の場合には０をフィルタ出力値とする。
【００５３】
画像データに対する具体的な処理は次式により求めることができる。
【００５４】
【数１】
0003862378.tif 000002
そして、３×３の局所領域とした場合の処理例を示すと、処理対象画素に検出対象物がある場合には、図５に示すように、処理対象画素の濃淡値が最大濃淡値となるので、その差は「０」となり、最小濃淡値との差も大きな正の値となる。よって、最終的な加算結果は、最小濃淡値との差と等しくなり、大きな正の値となる。
【００５５】
なお、上記したように、本実施の形態では、くらげの場合には、４画素分を占めるが、少なくとも処理対象画素にくらげの部分がかかっている場合には、上記の通りとなる。
【００５６】
また、処理対象領域に検出対象物のくらげがいない（もちろん処理対象画素にもいない）場合には、各画素の差が少ないために、処理対象画素の濃淡値と最大濃淡値及び最小濃淡値との差が小さくなる。加えて処理対象画素が最大濃淡値でない場合は、処理対象画素から最大濃淡値を引いた値は負になるため、この分だけ最終的な加算結果が低く抑えられることになる。さらに、図６の例のように、処理対象画素の濃淡値が最大濃淡値よりも最小濃淡値に近い場合は、加算結果が負となり、フィルタ出力は０となる。
【００５７】
そして、図４を求めた際に使用したのと同一の平均値縮小処理画像に対し、上記の方法を実行して得られた部分領域の一例を示すと、図７のようになった。図４と図７を比較すると明らかなように、くらげが存在する部分がより急峻となるとともに、背景部分の値はより低く抑えられるため、くらげを検出しやすくなる。
【００５８】
そして、第１空間フィルタ処理部５の出力が、第１画像２値化処理部６に与えられる。この第１画像２値化処理部６では、第１空間フィルタ処理部５から得られた画像データのうち予め設定された検出外領域を除いたデータに対し、設定されたしきい値で２値化（例えば、検出対象画素（くらげに対応する明るい画素）を１，非検出画素を０）する。本例では、前処理として空間フィルタ処理を施しているので、検出対象のくらげ部分の濃淡値は高くなり、背景の水面の濃淡値は小さく（暗く）なるようにし、両者の濃淡値の差が大きくなるようにしたため、２値化しきい値を比較的ラフに設定しても、くらげ部分を確実に抽出することができる。そして、図７に示す空間フィルタ処理結果の濃淡画像データに対して２値化処理した結果、図８に示すようになる。なお、図中白抜き部分がくらげが存在する候補部分である。
【００５９】
なお、上記した検出外領域は、画面内の極端に明るい部分，暗い部分、また濃淡にむらがある部分，水面と壁などの境界部分など、誤動作につながりやすい部分を判断対象から除くためにあらかじめ設定するようにしている。つまり、検出外領域に関する情報（座標データ等）に基づいて指定される。そして、係る検出外領域の設定は、例えばモニタを見ながら直接検出外領域を指示してもよく、或いは濃淡画像（くらげがいない画像）から極端に明るいところや、濃度が変化しない領域などの所定の条件を満たす領域を抽出し、それから自動的に設定するようにしてもよい。そして、係る検出外領域を設定する機能を付加するとよいが、本発明では必ずしも設けなくてもよい。
【００６０】
さらに、上記した第１画像２値化処理部６の出力を対象物候補検出処理部７に与え、その対象物候補検出処理部７にて、１フレームの２値画像内の検出対象物（くらげ）の数量を計測する。そして、本例では、一つの検出対象物が複数の画素で検出される場合があるので、ラベリング処理を実行し、複数の画素が連結しているものをひとかたまりの領域として識別する。そしてこの領域の個数を計数するようにしている。
【００６１】
これにより、撮像した監視領域中に検出対象物たるくらげの候補が何匹いるかを容易に求めることができる。
【００６２】
上記した符号１から７で示す処理部を実行して抽出した領域は、濃淡に基づいてくらげらしいと推定できる画素部分（対象物候補）である。しかし、対象物候補を単に見つけるという目的で、対象物が１〜４ブロック程度で検出されるようにブロックサイズを設定している。従って、係る条件に該当するものとしては、例えば波や魚などの可能性もある。そこで、本実施の形態では、上記した処理装置に加え、さらに以下の機能を付加することにより、検出物の形状特徴を算出し、この特徴からそれがどのような検出物なのかを識別するようにしている。
【００６３】
すなわち、図２に示すように、フレーム積算・平均化処理部３の出力を、第１平均値縮小処理部４と並列的に第２平均値縮小処理部８にも与え、そこにおいて与えられたフレーム積算・平均化画像を第１平均値縮小処理部４におけるブロックサイズとは異なるブロックサイズを用いて平均値縮小処理を行う。この際のブロックサイズは、検出物の形状特徴を見いだすのに必要十分な解像度を保てるように設定する必要があり、第１平均値縮小処理部４のブロックサイズ以下のブロックサイズを選択することが好ましい。
【００６４】
この第２平均値縮小処理部８の出力は、第２空間フィルタ処理部９に与えられる。この第２空間フィルタ処理部９は第１空間フィルタ処理と同処理でもかまわないが、検出物の輪郭をより正確に得るためには次式のような別の処理が有効となる。
【００６５】
【数２】
0003862378.tif 000003
そして、本処理と第１空間フィルタ処理との違いを示すと、図９のようになる。すなわち、図から明らかなように、第１空間フィルタ処理では、同図（Ａ）に示すように、処理対象の画素濃度が近傍８画素と比べてもっとも明るい場合にはそのフィルタ出力値が大きくなるが、検出対象物を構成する画素であってもその周囲の近傍８画素に処理対象の画素濃度より明るい画素が存在する場合には、フィルタ出力値は０または小さい値になるようにし、これにより、１つの検出対象物を構成する画素は、そのうちの１つが抽出されやすくしている。これに対し、第２空間フィルタ処理では、周囲の８近傍に明るい画素が存在していたとしても、処理対象の画素の濃度も比較的明るい場合にはフィルタ出力値は大きくなるようにし（最大濃淡値で減算する減点処理を行わない）、これにより、検出対象を構成する可能性のある画素、すなわち、濃度の明るい画素はできるだけ抽出されるようにしている。よって、図示の例のように処理対象がその濃度が比較的明るいが、その隣に最大濃淡値がある場合には、第１空間フィルタ処理ではフィルタ出力値が０になるが、第２空間フィルタ処理では、フィルタ出力値が３０となり、比較的大きな値となる。なお、図示の濃淡値の場合には０になったが、具体的な濃淡値が異なれば、必ずしも０になるとは限らない。
【００６６】
第２空間処理フィルタ処理部９の出力は、第２画像２値化処理部１０に与えられる。この第２画像２値化処理部１０では、第２空間フィルタ処理された画像データに対し第１画像２値化処理部６における２値化しきい値とは異なるしきい値で２値化処理を行う。検出物の形状特徴を得るためには、輪郭部分までを検出できるように２値化しきい値を第１画像２値化処理における２値化しきい値より低めに設定することが好ましい。
【００６７】
今述べたように、第２空間フィルタ処理及び第２画像２値化処理では、検出物の形状特徴を得るために第１の空間フィルタ処理と画像２値化処理より多くの画素を検出領域とするような処理にしてある。そのため、水面の細かいむらや画像のノイズ成分など対象物の検出にとって不要な部分を検出画素として含みやすい。
【００６８】
そこで、第１画像２値化処理部６と第２画像２値化処理部１０でそれぞれ生成された２値画像を形状計測用２値画像算出処理部１１に与え、そこにおいて、より正確に検出物のみを検出している第１画像２値化処理による２値画像（以下、必要に応じて「第１の２値画像」と称することがある）と第２画像２値化処理による２値画像（以下、必要に応じて「第２の２値画像」と称することがある）を比較することにより、不要部分を取り除くようにしている。
【００６９】
具体的には、第１と第２の２値画像では画像サイズが異なることがあるため（第１と第２の平均値縮小処理におけるブロックサイズが異なるため）、次のような処理方法をとることができる。
【００７０】
まず、第２の２値画像を、ラベリング処理等によって連結しあう検出画素を一つのかたまりの領域として複数の検出領域に区分けする。次に、比較処理のために、第１の２値画像と第２の２値画像を同サイズにしておく。例えば、縮小処理前の画像サイズになるように相似拡大処理を行う。そして、第２の２値画像における各々の検出領域について、第１の２値画像の検出画素を含むか否かを調べ、含まない検出領域には検出物は存在しないと判断して第２の２値画像における検出領域から取り除く。これらの処理によって新たに作成される２値画像を形状計測用２値画像として形状情報算出処理部１２に出力する（図１０参照）。
【００７１】
形状情報算出処理部１２では、与えられた形状計測用２値画像における検出領域各々に対し、その形状特徴を示す形状情報を算出する。具体的な形状情報の算出手法としては、各種の方法があるが、細長いものを見つけるようにしている。
すなわち、本形態における検出対象は、くらげであり、その平面形状は円形に近いので、抽出される領域は、正方形或いはそれに近い形状となる。よって、ラベリングして一つの領域が、細長い場合には、波や魚などの非検出対象物と推定できる。よって、上記のように細長いものを見つけ、それを排除するようにしている。
【００７２】
そして、係る細長いものを見つけるための具体的な処理としては、例えば検出領域の「細長さ」を示す形状特徴値を算出し、その形状特徴値が一定のしきい値以上の場合には細長いものと判断するようにしている。そして、係る形状特徴値の算出アルゴリズムとしては、以下の▲１▼から▲３▼の処理を行う。
▲１▼形状計測用２値画像に対してラベリング処理し、連結しあう複数の検出画素からなる検出領域を抽出する。
▲２▼各検出領域に対し、その検出領域に属する画素数LSと、検出領域のＸ軸方向の画素幅Lx並びに検出領域のＹ軸方向の画素幅Lyを特徴量として抽出（算出）する。
▲３▼これら抽出した特徴量を用い、Lx2 ／LS及びLy2 ／LSを算出し、このうち大きな値を持つ方を選択して検出領域の細長さを示す形状特徴値とする。上記したLS、Lx、Lyはラベリング処理時に容易に算出することが可能であるため、この形状特徴値は簡易な処理で検出物の「細長さ」を表現できる有用な特徴値である。
【００７３】
また、上記▲３▼の処理に変えて、▲３▼′を行うようにしてもよい。
▲３▼′上記した▲２▼までの処理で求めた特徴量を用い、（Lx4 ＋Ly4 ）1/2 ／LSを算出しこれを検出領域の細長さを示す形状特徴値とする。この▲３▼′の方式を用いると、より正確に細長さを求めることができる。
【００７４】
上記した処理の具体例を図１１に従って説明する。▲１▼の処理をすることにより、同図（Ａ），（Ｂ）のような領域が検出されたとする。ついで▲２▼の処理をすることにより、各図の下側に列挙したように、３つの特徴量LS，Lx，Lyが求められる。
【００７５】
そして、▲３▼の処理をした場合には、同図（Ａ）のものでは、
Lx2 ／LS＝３
Ly2 ／LS＝１／３
より形状特徴値は大きい値（３）となる。
【００７６】
同様に、同図（Ｂ）のものでは、
Lx2 ／LS＝３
Ly2 ／LS＝３
より形状特徴値は大きい値（３）となる。
【００７７】
一方、▲３▼′の処理をした場合には、同図（Ａ）のものでは、形状特徴値は３であるが、同図（Ｂ）のものでは、形状特徴値は４．２となる。
【００７８】
図の中で、実際には検出領域Ｂは検出領域Ａに対し２1/2 倍の長さとなっているが、▲３▼の処理では、検出領域Ａと検出領域Ｂは同じ形状特徴値を示してしまう。それに対し、▲３▼′では検出領域Ｂが検出領域Ａの２1/2 倍の形状特徴値を示し、より正確に「細長さ」を表現することができていることがわかる。これにより、大まかな形状特徴値を簡単な処理で算出する場合には、▲３▼の処理でも十分であるが、より正確に算出する必要がある場合には▲３▼′による方式を用いると良いといえる。
【００７９】
そして、形状情報算出処理部１２は、予め設定された上記いずれかの方法により、ラベリングした各領域ごとに形状特徴値を算出して形状情報を抽出し、それを関連づけて次段の検出数補正・シーン種別識別処理部１３に与えるようになっている。なお、出力する形状情報としては、形状特徴値そのものでもよく、それに基づいてしきい値処理などして細長い物体であるか否かの判定結果でもよく、形状に関する情報であればよい。
【００８０】
この検出数補正・シーン種別識別処理部１３には、対象物候補検出処理部７から出力される対象物候補データも与えられる。そして、与えられた対象物候補に関する情報に、形状情報算出処理部による形状情報を加えることによって検出数の補正と画像のシーン種別識別を行うようにしている。この検出数補正・シーン種別識別処理部１３では、最終的に撮像した画像（シーン）は、一定数以上のくらげが存在するか否かの判別を行い、さらに本形態では、一定数以上のくらげが存在しているらしいが確定はできない場合には、あえてどちらかに決定するのではなく、未確定（くらげ候補シーン）と判定するようにしている。
【００８１】
具体的な検出数の補正処理としては、例えば形状情報が設定した条件に当てはまるものを非対象物と判断して対象物候補から除いて計数を行ったり、また逆に形状情報が設定した条件に当てはまるものを対象物と判断してこの検出物を計数する方法等がとれる。いづれにしても、形状情報を加えることによってより正確に対象物の計数を行うことが可能となる。一例を示すと、くらげのみを検出したいという場合には、検出領域の「細長さ」を示す形状特徴値を用い、魚や波模様による検出領域の形状はくらげを捉えた検出領域の形状より細長いことが多いという特徴を利用し、一定以上の「細長さ」を示す検出物は対象物候補から除くようにする。そして、残った対象物候補の数を計数することにより、検出物（くらげ）の数を推定するようにしている。
【００８２】
また、シーン種別の識別は、くらげ検出シーン、くらげ候補シーン、非くらげシーン（魚類検出シーン、波検出シーンなど）といった処理画像が示すシーン種別を識別する処理である。ここで、「くらげ候補」とは、くらげと疑わしいがくらげと断定はできないようなシーンであり、シーン種別識別ではこのようなあいまいなカテゴリを設けることによって監視業務の実態に合わせて柔軟に警報を発報することも可能となる。なお、非くらげシーンと識別された場合には、検出数自体意味をなさなくなるため当該検出数を０に補正することも可能である。
【００８３】
そして、具体的な識別方法としては、画像内の全ての検出物の形状特徴値を平均化し、これをしきい値処理する方法や、個々の検出物の形状特徴値自体をしきい値処理し、しきい値を超えた検出物が検出物全数の中で占める割合からシーンの識別を行うような処理があげられる。
【００８４】
さらに、検出数補正・シーン種別識別処理部１３の後段には、警報処理部１４が接続されている。この警報処理部１４では、検出数補正・シーン種別識別部１３による検出物の計数値及びシーン種別情報を用いて警報処理を行うようにしている。
【００８５】
具体的な一例を示すと、くらげが検出対象である場合に、例えば種別情報が「非くらげ」である場合には警報を発報させない。種別情報が「くらげ」の場合は、検出数を複数レベルのしきい値を用いてしきい値処理することによって、複数レベルの警報（例えば注意報、警報など）を発報させる。種別が「くらげ候補」の場合には、「くらげ」の場合と同様の処理でもかまわないが、その中には非くらげも含まれる場合にはしきい値を多少高めにして誤報を軽減したり、また、警報発報時に「くらげと疑わしい」というようなやわらかな表現を用いて「くらげ」と区別することも可能となる。このように、多種多様な監視環境、監視業務の方法に応じて柔軟に対応して警報を発報することが可能となる。
【００８６】
図１２は、本発明の第２の実施の形態を示している。監視ＴＶカメラ１で撮像した濃淡画像データに対して所定の画像処理をして、検出対象物らしい候補を抽出する対象物候補検出処理部７までの処理は上記した第１の実施の形態と同様であるので、その詳細な説明を省略する。
【００８７】
本形態では、対象物候補検出処理部７の出力を、抽出矩形領域座標算出処理部２０と、検出数補正・シーン種別識別処理部２３にそれぞれ与えるようにしている。抽出矩形領域座標算出処理部２０は、フレーム積算・平均化画像データから検出物を取り囲むような矩形領域の濃淡値データを抽出するために、検出物のおおよその存在位置を求めることを目的とした処理である。この時、対象物候補検出処理部において単純に算出される検出領域の座標は平均値縮小処理後の画像データに基づいているため、縮小処理前の画像における検出物の存在位置を示す座標に変換する必要がある。
【００８８】
そして、具体的な処理としては、以下のようになっている。まず、対象物候補検出処理部７に渡された第１の２値画像を、縮小処理前の画像サイズになるように相似拡大を行う。そして、対象物候補検出処理部７にて検出された検出領域に外接する四角形を取った時の中心点の座標値を求め、これを抽出矩形領域の中心座標とする。そして、その中心座標を矩形領域データ抽出処理部２１に与えるようになっている。
【００８９】
この矩形領域データ抽出処理部２１では、図１３に示すように、フレーム積算・平均化処理部３にて生成されたフレーム積算・平均化画像データ２７に対し、抽出矩形領域座標算出処理部２０により求められた座標を中心とする矩形領域２８（図中白枠）を設定する。ここで設定する矩形領域は単純な正方領域でもかまわないが、得られた中心座標を中心として左右にLE- X 画素ずつの幅、上下にLE- Y 画素ずつの幅を持つ矩形枠内の濃淡値データを抽出するような方法がある。この場合、LE- X 及びLE- Y の選択によって自由に矩形領域のサイズを設定することができるが、検出対象物の外径の２〜５倍程度のサイズが適当である。そして、そのようにして設定したすべての矩形領域に対し、それぞれの矩形領域内に存在する画素の濃淡値データを抽出し、次段の矩形領域内濃淡値分散値・歪度算出処理部２２に送る。
【００９０】
矩形領域内濃淡値分散値・歪度算出処理部２２では、抽出された複数の矩形領域についてそれぞれ濃淡値ヒストグラムを作成し、この分散値と歪度を求め、求めた分散値及び歪度を次段の検出数補正・シーン種別識別処理部２３に送るようになっている。ここで、分散値はデータ分布の散らばりの尺度、歪度は分布の非対称性を示す尺度であり、統計処理で一般的に利用されている分布の尺度であり、係る統計処理で一般に用いられる公知の手法を用いて算出すればよいので、ここでは具体的な計算方法の説明は省略する。
【００９１】
検出数補正・シーン種別識別処理部２３では、対象物候補検出処理部７により求められた対象物候補に関する情報に、矩形領域内濃淡値分散値・歪度算出処理部による分散値・歪度を加えることによって検出物の数量の補正及び画像のシーン種別識別を行うようにしている。
【００９２】
具体的な検出数の補正にあたっては、分散値・歪度が設定した条件に当てはまるものを非対象物と判断して対象物候補から除いて計数を行ったり、また逆に分散値・歪度が設定した条件に当てはまるものを対象物と判断してこの検出物の数を計数する方法がある。いずれにしても、分散値・歪度を加えることによってより正確に対象物の計数を行うことが可能となる。
【００９３】
例えば、波による検出を除去して計数精度を高めたい場合には、予めくらげ検出シーンと波検出シーンの映像を用意し、それぞれの分散値・歪度の特徴の違いを調べておく。一例を示すと、くらげを検出した矩形領域と波を検出した矩形領域とでは図１４の分散値対歪度相関図に示すように、その分布位置が異なることが多いため、予め監視領域において撮像した画像データに基づいて係る相関図を作成しておき、図中実線で示すような分離する境界を設定しておき、係る境界のデータを登録しておく。なお、本形態では、係る境界の設定は、人間が見て決めるようにしている。そして、実際の監視時には、検出された各対象物候補の歪度と分散値を取得し、それが対象物候補から除去する領域内に分布するものを除去する。これにより、残った対象物候補は、検出対象物（くらげ）の可能性が高くなる。
【００９４】
また、種別識別においても、この分散値対歪度相関散布図を用いてくらげ検出シーン、くらげ候補シーン、非くらげシーン（波検出シーンなど）といった処理画像が示すシーン種別の識別を行うことができる。そして識別結果に基づき、非くらげシーンと識別された場合に検出数を０に補正することも可能である。
【００９５】
識別方法の具体例の一つとしては、図１５に示すように、各シーンを弁別する領域（先の除去領域とは別に設定可能）を予め設定しておき、個々の検出物について分散値・歪度がこの中に存在する検出物の数が検出物全数の中で占める割合を用いて識別することができる。また、別の方法としては、処理画像内における検出物全体の分散値・歪度の平均値を算出し、この平均値が分散値対歪度相関図内のどの領域（例えば、くらげ検出シーン、くらげ候補シーン、非くらげシーンの３領域に分割）に当てはまるかを見てシーン種別識別を行うようにしてもよく、その他各種の方法を実施できる。
【００９６】
そして、本形態でも、検出数補正・シーン種別識別処理部２８の出力に基づいて警報処理部１４を動作させるようにしている。そして、その出力に対する警報処理部１４の処理は、第１の実施の形態と同様に行えるので、その説明を省略する。
【００９７】
図１６は、本発明の第３の実施の形態を示している。本実施の形態でも対象物候補を検出するための各処理部１〜７は、上記した各実施の形態と同様のものを用いることができる。そして、本形態では、第１画像２値化処理部６の出力を、対象物候補検出処理部７とともに、検出領域膨脹処理部３０にも与えるようにしている。
【００９８】
この検出領域膨張処理部３０では、第１画像２値化処理部６により生成された第１の２値画像内に存在する検出領域内の代表画素を規定の方法に基づいて選択し、これを自身とそれに接する８個の画素すべてを領域に取り込む膨張処理を所定回数繰り返すことによって膨張検出領域を算出する。
【００９９】
すなわち、図１７に示すように、検出領域が１個の画素３５で形成されている場合には、その画素が代表画素になり、複数（図示の例では２個）の画素３５で構成されている場合には、その中の１つの画素を代表画素（黒枠で囲む）と決定する。ここで、検出領域内の代表画素の選択については、どのような方式をとってもかまわないが、図の例では、画像を左上から右下にスキャンした際に、最初に見つかる検出領域内の画素を選択するようにしてある。
【０１００】
そして、図示する代表画素を中心に膨張処理を２回かけると、図中グレーの塗りつぶしで示すような領域（以下、膨張検出領域とする）となる。この時、同図（Ａ）に示すように２つの検出領域が近い場合には、図中ハッチングで示すように、重なり合った膨張領域が生じるのに対し、同図（Ｂ）に示すように、２つの検出領域が比較的離れている場合には、２回の膨張処理では重なり合わない。よって、検出領域の密度が高いほど、膨張領域の重なる面積が大きくなる。
【０１０１】
上記のようにして膨張処理した結果を、次段の膨張検出領域面積・領域内検出数算出処理部３１に与え、ここにおいて得られた膨張検出領域をラベリング処理等により連結しあう画素からなる領域に分け、この各々の領域に対し、面積（画素数）とこの中に存在する検出数（膨張領域内に存在する代表画素の数）を算出する。そして、検出領域各々について、自身が存在する膨張検出領域の面積と検出数を集中性評価用の特徴量として割り付け、次段の検出位置集中性情報算出処理部３２に送る。
【０１０２】
検出位置集中性情報算出処理部３２では、検出領域が持つ膨張検出領域面積と膨張領域内検出数を用いて検出位置の集中性を示す検出位置集中性情報として、以下に示す２種の値を算出するようになっている。そして、求めた２つの値を検出数補正・シーン種別識別処理部３３に与えるようになっている。
【０１０３】
＊＊集中性評価値
通常、単純に画像内の検出密度を評価するために「検出数／画像の処理対象領域の面積」を用いることが多いが、例えば画像内の一部分に偏って集中している場合にその集中性を評価することができない。そこで本形態では、このような問題を解決するために、膨張処理を利用することによって検出があがった周辺領域を抽出し、この面積を分母として検出密度を算出するようにしている。すなわち、次式に示す検出密度値を検出領域各々について算出する。
【０１０４】
【数３】
0003862378.tif 000004
そして、検出密度値の画像内の平均値を集中性評価値とするようにしている。この検出密度値は、膨張領域が重なり合う面積が大きくなる（代表画素間の距離が接近しているものが多い）程高い値を示す。
【０１０５】
＊＊膨張検出領域面積率
上記の集中性評価値は、画像内の一部分に偏って集中して検出があがっている場合においてもその集中性を表現することができるが、この値のみで部分的に偏っているという特徴を表現することはできない。そこで、この点を考慮し、次式に示す膨張検出領域面積率を検出位置集中性情報の一つに加えるようにしてある。
【０１０６】
【数４】
0003862378.tif 000005
ここで、画像の処理対象領域とは、画像の中で検出処理の対象領域（検出外領域を除いた領域）を示している。
【０１０７】
この膨張検出領域面積率は、対象物候補が検出された領域が処理対象領域の中でどの程度占めているかを示す値であり、検出領域が画像内で部分的に偏っているのか、或いはまんべんなく分布しているのかといった、検出位置のおおよその分散状況（偏り）を示す値になる。
【０１０８】
検出数補正・シーン種別識別処理部３３では、対象物候補検出処理部７により求めた対象物候補に関する情報に、上記検出位置集中性情報算出処理部３２による検出位置集中性情報を加えることによって、検出数の補正及び画像のシーン種別識別を行う。
【０１０９】
具体的な検出数の補正については、上記した２つの実施の形態のように対象物候補数から個別に除去する処理は行わないが、後述するシーン識別結果に基づき、例えば非くらげと識別された場合には検出数を０に補正するような処理を行うことができる。
【０１１０】
種別識別の具体的な方法は、例えば以下のようにすることができる。魚などの場合には、図１８に示すように、検出領域は部分的に偏って存在するため、その膨張領域も重なる部分が増え、検出数の割には検出領域の膨張領域の総面積はあまり増えない（集中性評価値は大きくなる）。一方、くらげの場合には、図１９に示すように、比較的散らばって全体的に検出されるので、検出領域の膨張領域が重なる面積が少なくなり、効果的に膨張するので、ひとまとまりの膨張領域の総面積に占める検出数は少なくなる（集中性評価値は小さくなる）。但し、多量のくらげが存在した場合には、結果として隣接するくらげ間の距離が短くなり、膨張領域の重なりの面積が増し、集中性評価値も上昇する。しかしその場合であっても、くらげは全体的に存在することから、膨張領域以外の領域が小さくなるので、膨張検出領域面積率も同時に増加する。また、魚などは偏って存在することから、たとえ集中性評価値が高く、多量の魚などが存在しても膨張検出領域面積率はあまり大きくならない。
【０１１１】
このことから、おおよそ以下のようなことがいえる。
▲１▼膨張検出領域面積率が小さければ、非くらげの可能性が高いか、くらげであってもその量は少量である。
▲２▼集中性評価値が高く、膨張検出領域面積率が小または中であると、非くらげの可能性が高い。
▲３▼集中性評価値が低く、膨張検出領域面積が中くらいあると、くらげの可能性が高い。
▲４▼集中性評価値が高く、膨張検出領域面積が大きいと、くらげの可能性が高い。
【０１１２】
従って、上記したようなルール等に基づいて与えられた集中性評価値・膨張検出領域面積率についてどのようなシーン・領域に属するかを推論処理して求めるようにしてもよい。
【０１１３】
また、実際に撮像して得られた画像を用い、２つの評価値を求め、それを関連づけて示すと、図２０のようになる。図は横軸に集中性評価値、縦軸に膨張検出領域面積率をとった相関図の例であり、画像内にほぼまんべんなく検出されたくらげの場合と、波模様や魚類によって部分的に偏って検出された例をプロットしてある。なお、図中黒丸が少量のくらげを検出したシーンのもので、四角が多量のくらげを検出したシーンのもので、三角が波を検出したシーンで、×は魚類を検出したシーンのものである。
【０１１４】
図の例のように、検出位置の集中性によって相関図は異なった特徴を示す。このように、検出物の違いによる集中性評価値対膨張検出領域面積率の相関性の違いを予め調べておき、相関図上で識別のための領域区分を設定しておく。そして、得られた値がどこの領域に入るかを調べることによって種別を決定するようにしてもよい。なお、係る種別の判定は、画像全体でまとめて行うようにしてもよく、膨張領域に対してラベリングを行い、各まとまりごとに集中性評価値を求め（膨張検出領域面積率は画面全体）、そのまとまり単位でそれに属する検出領域に対する種別の判定を行うようにしてもよい。
【０１１５】
そして、警報処理部１４は、検出数補正・シーン種別識別処理部３３から与えられる検出数及びシーン種別情報を用いて適宜な警報処理を行うようにしている。なお、具体的な処理は上記した各実施の形態と同様のものを用いることができる。
【０１１６】
図２１は、本発明の第４の実施の形態を示している。同図に示すように、本実施の形態は、上記した第１から第３の実施の形態の要部を組み合わせたものであり、各処理部の機能は、基本的に各実施の形態と同様であるので、同一符号を付しその詳細な説明を省略する。
【０１１７】
すなわち、本形態の検出数補正・シーン種別識別処理部３５では、対象物候補検出処理部７にて検出された対象物候補に関する情報に、形状情報算出処理部１２（第１の実施の形態の機能）から出力される形状情報、矩形領域内濃淡値分散値・歪度算出処理部２２（第２の実施の形態の機能）から出力される分散値・歪度、及び検出位置集中性情報算出処理部３２から出力される検出位置集中性情報を加え、総合的に判断することによって検出数の補正とシーン種別識別を行うようにしている。
【０１１８】
検出数の補正については、第１，第２の実施の形態でそれぞれ示した形状情報と分散値・歪度による検出除去や、シーン種別識別結果に基づいて、検出数を０に補正するような処理を行えば良い。すなわち、対象物候補検出処理部７で検出された対象物候補が、くらげ以外の非検出物の場合にその対象物候補から除くというように個別の処理を行ったり、第３の実施の形態のように画面全体或いはひとまとまりの膨張領域に属する対象物候補ごとに検出数の補正を行うようにしてもよい。そして、実際に対象物候補から除く場合には、上記３つの条件のうちいずれか一つでも非くらげと判定された場合に除去したり、２つ或いは全部が非くらげと判定されて初めて除去するようにしたりすることができる。さらには、「くらげ候補」と「非くらげ」の情報を加味して行うようにすることができる。一例を示すと、例えば１つでも非くらげと判定された場合には、そのまま除去対象にし、くらげ候補と判定されたのが複数存在する場合には非くらげと判定して除去対象としたりすることができる。また、別の方法としては、原則として非くらげと判定されたのが複数存在する場合に初めて除去するようにし、非くらげと判定されたのが１つであっても、別にくらげ候補と判定されたものがある場合にはそのくらげ候補は非くらげのおそれが高いと判断して除去対象にするなど、各種の方法をとることができる。さらには、上記３つの情報に対し、重み付けを行ってもよい。
【０１１９】
また、画像のシーン種別識別については、形状情報、分散値・歪度及び検出位置集中性情報を用いて総合的に行う。すなわち、一例を示すと上記した各実施の形態では、いずれも二次元座標上で領域を分けたが、多次元座標上で各シーンの領域を設定することにより対応できる。
【０１２０】
さらに、本実施の形態では、上記した各実施の形態で説明した各々の種別識別のための条件設定を複合的に用いて識別条件を設定すれば、それぞれ単独の処理では識別しきれなかったシーンに対してより正確に識別を行うことが可能となる。
【０１２１】
なお、警報処理部１４では、検出数補正・シーン種別識別処理手段による検出数とシーン種別情報を用いて警報処理を行うようにしている。なお、具体的な処理は上記した各実施の形態と同様のものを用いることができる。
【０１２２】
【発明の効果】
以上のように本発明に係る水路流出入物監視装置では、空間フィルタ処理を行うことにより、濃淡値の勾配やむらが存在する画像が比較的フラットな画像になるためその後の２値化処理が容易に行うことができる。しかも、その前処理として平均値縮小処理を行うため、処理対象のデータ量を削減することができ、処理負荷が軽減されて、リアルタイムでの処理が可能となるばかりでなく、ブロックサイズを適宜に設定することにより、対象物が分断される可能性が低くなり、検出対象物候補の計数が容易かつ正確に行える。
【０１２３】
このように、前提条件の構成をとることにより、対象物を確実に抽出することができる。そして、そのようにして抽出した中には、非検出対象物も含まれる。しかし、本発明では、前提条件に加えて各請求項で規定するような処理手段を設けたことにより、検出対象物を精度よく抽出でき、監視カメラの画像から水路へ流出入する物体（主にくらげ）の検出及びその流出入度合の計測を簡易な画像処理手法で実現でき、しかも、検出対象の物体と濃度の近い非検出対象物とを精度よく弁別することができる。
【図面の簡単な説明】
【図１】本発明をする過程で創案した先発明の水路流出入物監視装置を示すブロック図である。
【図２】本発明に係る水路流出入物監視装置の第１の実施の形態を示すブロック図である。
【図３】空間フィルタの機能を説明する図である。
【図４】空間フィルタの処理結果の一例を示す図である。
【図５】空間フィルタの機能を説明する図である。
【図６】空間フィルタの機能を説明する図である。
【図７】空間フィルタの処理結果の一例を示す図である。
【図８】フレーム画像２値化処理結果の一例を示す図である。
【図９】第１，第２空間フィルタの機能を説明する図である。
【図１０】形状計測用２値画像算出処理部の機能を説明する図である。
【図１１】形状情報算出処理部の機能を説明する図である。
【図１２】本発明に係る水路流出入物監視装置の第２の実施の形態を示すブロック図である。
【図１３】矩形領域の抽出例を示す図である。
【図１４】分散と歪度の関係を示す図である。
【図１５】シーン種別識別処理部の内部構造を示すブロック図である。
【図１６】本発明に係る水路流出入物監視装置の第３の実施の形態を示すブロック図である。
【図１７】検出領域膨張処理部の機能を説明する図である。
【図１８】検出領域膨張処理部により膨張処理した結果を示す図である。
【図１９】検出領域膨張処理部により膨張処理した結果を示す図である。
【図２０】集中性評価値と膨張検出領域面積率の相関を示す図である。
【図２１】本発明に係る水路流出入物監視装置の第４の実施の形態を示すブロック図である。
【符号の説明】
１  カメラ
２  Ａ／Ｄ変換部
３  フレーム積算・平均化処理部
４  第１平均値縮小処理部
５  第１空間フィルタ処理部
６  第１画像２値化処理部
７  対象物候補検出処理部
８  第２平均値縮小処理部
９  第２空間フィルタ処理部
１０  第２画像２値化処理部
１１  形状計測用２値画像算出処理部
１２  形状情報算出処理部
１３，２３，３３，３５  検出数補正・シーン種別識別処理部
１４  警報処理部
２０  抽出矩形領域座標算出処理部
２１  矩形領域データ抽出処理部
２２  矩形領域内輝度値分散値・歪度算出処理部
３０  検出領域膨張処理部
３１  膨張検出領域面積・領域内検出数算出処理部
３２  検出位置集中性情報算出処理部
【図１】
0003862378.tif 000006
【図２】
0003862378.tif 000007
【図３】
0003862378.tif 000008
【図４】
0003862378.tif 000009
【図５】
0003862378.tif 000010
【図６】
0003862378.tif 000011
【図７】
0003862378.tif 000012
【図８】
0003862378.tif 000013
【図９】
0003862378.tif 000014
【図１０】
0003862378.tif 000015
【図１１】
0003862378.tif 000016
【図１２】
0003862378.tif 000017
【図１３】
0003862378.tif 000018
【図１４】
0003862378.tif 000019
【図１５】
0003862378.tif 000020
【図１６】
0003862378.tif 000021
【図１７】
0003862378.tif 000022
【図１８】
0003862378.tif 000023
【図１９】
0003862378.tif 000024
【図２０】
0003862378.tif 000025
【図２１】
0003862378.tif 000026