(57)【要約】【課題】監視対象にある水路の流水異常を経済的に有利な構成で効率よく検知し報知することができる流水監視システムを提供する。【解決手段】画像処理部１３は、カメラ１１で撮影した流水（Ｗｂ）部分の映像から水の揺らぎを捉え量子化して水路１における流水（Ｗｂ）の流水量を示す流水量データを生成する流水画像処理部１５と、流水画像処理部１５で得た流水量データを判定対象データとして設定パラメータをもとに上記水路１の流水量が設定範囲内の正常状態にあるか否かを判定する判定処理部１６とを具備する。【選択図】    図１
2012043135.tif 000002
【特許請求の範囲】
【請求項１】
水路の流水部分の画像を撮影する単眼カメラと、
前記単眼カメラで撮影した流水部分の画像から水の揺らぎを捉え量子化する画像処理手段と、
前記画像処理手段で得た値を判定対象データとして前記水路の流水量が正常状態にあるか否かを判定する判定処理手段と
を具備したことを特徴とする流水監視システム。
【請求項２】
前記カメラは、複数の水路について、各水路の流水部分を同時に撮影し、前記画像処理手段は、前記各水路の流水毎に水の揺らぎを量子化することを特徴とする請求項１に記載の流水監視システム。
【請求項３】
前記カメラは、前記水路の放水口における落差部の流水部分を撮影することを特徴とする請求項１または２に記載の流水監視システム。
【請求項４】
前記カメラの動作に連動して前記水路の流水部分を照明する照明手段をさらに具備したことを特徴とする請求項１乃至３のいずれか１項に記載の流水監視システム。
【請求項５】
前記画像処理手段は、前記カメラで撮影した時系列の複数フレームの処理対象画像から輝度変動画素を抽出し、前記輝度変動画素から水の揺らぎ捉える処理手段を具備したことを特徴とする請求項１に記載の流水監視システム。
【請求項６】
前記画像処理手段は、
前記カメラで撮影した画像を順次入力し、前記入力した一定期間内の複数の画像を対象に、流水部分の画像を処理対象画像として抽出し、抽出した処理対象画像について、設定した最低閾値上限値をもとに、輝度変動に伴い変動する画素単位の自動閾値を算出するとともに、前記一定期間内の複数の処理対象画像の対応する画素に対する輝度分散情報を算出する自動閾値算出処理部と、
前記自動閾値算出処理部で算出した輝度分散情報を一定のサンプリング周期で抽出し、抽出した設定時間単位の複数の輝度分散情報について画素あたりの平均輝度分散と輝度分散の標準偏差を算出する変動情報算出処理部と、
前記最低閾値上限値と前記変動情報算出部で算出した平均輝度分散および輝度分散の標準偏差をもとに、前記処理対象画像の各画素について当該画素が、安定画素、変動画素、過変動画素のいずれであるかを判定し、判定した前記安定画素、変動画素、過変動画素について、処理対象画像における各画素の占有率を算出する画素判定処理部と、
を具備し、
前記判定処理手段は、
前記画素判定処理部で算出した前記過変動画素の占有率を判定対象データとして前記水路の流水量が設定された許容範囲内の正常な流水量状態にあるか否かを判定する流水量判定処理部を具備したことを特徴とする請求項１に記載の流水監視システム。
【請求項７】
前記画素判定処理部は、前記平均輝度分散を平均閾値μＢＴｉ、前記輝度分散の標準偏差を標準偏差σＢＴｉとし、μＢＴｉの判定閾値を前記最低閾値上限値、σＢＴｉの判定閾値を前記最低閾値上限値×１／２として、μＢＴｉとσＢＴｉがともに判定閾値未満であるとき、安定画素と判定し、σＢＴｉが判定閾値以上であるとき変動画素と判定し、μＢＴｉ以上で、かつσＢＴｉ未満であるとき変動が継続している過変動画素と判定することを特徴とする請求項６に記載の流水監視システム。
【請求項８】
水路の水面を斜め上方から撮影する単眼カメラと、
前記カメラで撮影したフレーム単位の画像から水面の揺らぎを捉え量子化する処理手段と、
前記量子化された値をもとに前記カメラで撮影した画像のフレーム上における水平方向に連なる揺らぎの最上位の位置座標を特定する画像処理手段と、
前記画像処理手段で特定した揺らぎの最上位の位置座標と前記フレーム上における垂直方向の設定位置座標との差分をもとに前記水路の流水量を判定する判定手段と、
を具備したことを特徴とする流水監視システム。
【請求項９】
水路の水面を斜め上方から撮影する単眼カメラと、
前記カメラで撮影したフレーム単位の画像から水面の揺らぎを捉え量子化する処理手段と、
前記量子化された値をもとに前記カメラで撮影した画像のフレーム上の垂直方向の設定位置における水平方向に連なる揺らぎの幅の位置座標を特定する画像処理手段と、
前記画像処理手段で特定した揺らぎの幅の位置座標と前記フレーム上の前記設定位置における水平方向の設定幅の位置座標との差分をもとに前記水路の流水量を判定する判定手段と、
を具備したことを特徴とする流水監視システム。
【請求項１０】
単眼カメラで撮影した水路の画像をもとに前記水路の流水量を監視する流水監視システムとしてコンピュータを機能させるための流水監視プログラムであって、
前記カメラで撮影した水路の流水部分の画像から水の揺らぎを捉え量子化する画像処理機能と、
前記画像処理機能で得た値を判定対象データとして前記水路の流水量が正常状態にあるか否かを判定する判定処理機能と
をコンピュータに実現させることを特徴とした流水監視プログラム。
【請求項１１】
前記画像処理機能は、
前記カメラで撮影した画像を順次入力し、前記入力した一定期間内の複数の画像を対象に、流水部分の画像を処理対象画像として抽出し、抽出した処理対象画像について、設定した最低閾値上限値をもとに、輝度変動に伴い変動する画素単位の自動閾値を算出するとともに、前記一定期間内の複数の処理対象画像の対応する画素に対する輝度分散情報を算出する自動閾値算出処理機能と、
前記自動閾値算出処理機能が算出した輝度分散情報を一定のサンプリング周期で抽出し、抽出した設定時間単位の複数の輝度分散情報について画素あたりの平均輝度分散と輝度分散の標準偏差を算出する変動情報算出処理機能と、
前記最低閾値上限値と前記変動情報算出処理機能が算出した平均輝度分散および輝度分散の標準偏差をもとに、前記処理対象画像の各画素について当該画素が、安定画素、変動画素、過変動画素のいずれであるかを判定し、判定した前記安定画素、変動画素、過変動画素について、処理対象画像における各画素の占有率を算出する画素判定処理機能とを備え、
前記判定処理機能は、
前記画素判定機能が算出した過変動画素の占有率を判定対象データとして前記水路の流水量が設定された許容範囲内の正常な流水量状態にあるか否かを判定する流水量判定処理機能を備えたことを特徴とする請求項９に記載の流水監視プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単眼カメラ（１つのカメラ）で撮影した水路の流水部分の時系列の画像をもとに水路の流水量を判定する流水監視システムおよび流水監視プログラムに関する。
【背景技術】
【０００２】
水路の流水状態を監視する監視手段として、従来では、監視員の直視若しくはモニタ画面による目視観察、若しくは、水流計、水圧計、流量計などの計測機器類を用いた自動計測による監視が実施されてきた。監視員による目視観察は、常時、監視員を配備しておかなければならず、人的負担が大きいとともに、流水量の異常を看過する虞があり、信頼にも問題がある。また、自動計測による監視は計測機器を水路内に装備する必要があり、設備の設置並びに保守点検作業に多くの時間と労力を要するとともに、経済性の面でも問題があった。さらに監視の対象となる水路が複数存在する施設や設備（例えば工業用冷却放水設備や人工落差水路等）においては、水路毎に上記した計測機器を設けなければならず、より問題が顕著であった。
【０００３】
監視員のモニタ画面による水路監視技術として、従来では、監視カメラを用いて河川の流れ幅、流速、水位等を監視し、河川における土石流の発生を検知・予測する土石流発生予知装置が存在した。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−２０８０７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したように、従来では、水路の流水状態を監視する設備において、監視対象となる水路内に計測機器を装備する必要があることから、設備の設置並びに保守点検作業に多くの時間と労力を要するとともに、経済性の面でも問題があった。さらに、監視対象となる水路が複数存在する場合は、各水路について水路毎に計測機器を装備する必要があることから、上記問題がより顕著であった。
【０００６】
本発明の実施形態は、監視対象にある水路の流水異常を経済的に有利な構成で効率よく検知し報知することのできる流水監視システムおよび流水監視プログラムを提供することを目的とする。
【０００７】
また、監視対象にある複数の水路に対して、単眼カメラ（一つの撮像カメラ）を用いた簡単なシステム構成で各水路の流水異常を水路別に効率よく検知し報知することのできる流水監視システムおよび流水監視プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の実施形態は、水路の流水部分の画像を撮影する単眼カメラと、前記単眼カメラで撮影した流水部分の画像から水の揺らぎを捉え量子化する画像処理手段と、前記画像処理手段で得た値を判定対象データとして設定パラメータをもとに前記水路の流水量が正常状態にあるか否かを判定する判定処理手段と、を具備した流水監視システムを提供する。
【０００９】
また、水路の水面を斜め上方から撮影する単眼カメラと、前記カメラで撮影したフレーム単位の画像から水面の揺らぎを捉え量子化する処理手段と、前記量子化された値をもとに前記カメラで撮影した画像のフレーム上における水平方向に連なる揺らぎの最上位の位置座標を特定する画像処理手段と、前記画像処理手段で特定した揺らぎの最上位の位置座標と前記フレーム上における垂直方向の設定位置座標との差分をもとに前記水路の流水量を判定する判定手段と、を具備した流水監視システムを提供する。
【００１０】
また、水路の水面を斜め上方から撮影する単眼カメラと、前記カメラで撮影したフレーム単位の画像から水面の揺らぎを捉え量子化する処理手段と、前記量子化された値をもとに前記カメラで撮影した画像のフレーム上の垂直方向の設定位置における水平方向に連なる揺らぎの幅の位置座標を特定する画像処理手段と、前記画像処理手段で特定した揺らぎの幅の位置座標と前記フレーム上の前記設定位置における水平方向の設定幅の位置座標との差分をもとに前記水路の流水量を判定する判定手段と、を具備した流水監視システムを提供する。
【００１１】
また、単眼カメラで撮影した水路の画像をもとに前記水路の流水量を監視する流水監視システムとしてコンピュータを機能させるための流水監視プログラムであって、前記カメラで撮影した水路の流水部分の画像から水の揺らぎを捉え量子化する画像処理機能と、前記画像処理機能で得た値を判定対象データとして前記水路の流水量を判定する判定処理機能とをコンピュータに実現させる流水監視プログラムを提供する。
【発明の効果】
【００１２】
本発明の実施形態によれば、監視対象にある水路の流水異常を経済的に有利な構成で効率よく検知し報知することができる。また、監視対象にある複数の水路に対して、単眼カメラ（一つの撮像カメラ）を用いた簡単なシステム構成で各水路の流水異常を水路別に効率よく検知し報知することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る流水監視システムの構成を示すブロック図。
【図２】上記実施形態における監視対象と監視対象を撮像するカメラの配置例を示す図。
【図３】上記図２に示す監視対象とカメラの配置例を示す側面図。
【図４】上記実施形態においてカメラで撮影した画像中の監視対象領域区分の一例を示す図。
【図５】上記実施形態に係る流水監視システムの処理手順を示すフローチャート。
【図６】上記実施形態の流水監視システムにおける増減パラメータを説明するための図。
【図７】上記実施形態の流水監視システムにおける超過判定処理を説明するための図。
【図８】本発明の他の実施形態１における監視対象と監視対象を撮像するカメラの配置例を示す図。
【図９】上記図８に示す実施形態における画像処理（流水量判定処理）を説明するための映像フレームを示す図。
【図１０】本発明の他の実施形態２における監視対象と監視対象を撮像するカメラの配置例（ａ）と画像処理（流水量判定処理）を説明するための映像フレーム（ｂ）を示す図。
【図１１】上記図１に示す画像処理部のより具現化した構成要素を示すブロック図。
【図１２】上記図１１に示す画像処理部の構成を示すブロック図。
【図１３】上記図１１に示す画像処理部において水の揺らぎの度合いを混雑度として検知する場合の混雑検知判定処理における画素の変動状態判定条件を説明するための図。
【図１４】上記混雑検知判定処理における安定画素、変動画素、過変動画素の閾値変動を示す図。
【図１５】上記混雑検知判定処理におけるブロック単位の判定処理動作を説明するための図。
【図１６】上記混雑検知判定処理におけるブロック単位の安定画素、変動画素、過変動画素（揺らぎ検知画素）の占有率算出動作を説明するための図。
【図１７】上記混雑検知判定処理におけるブロック単位の最終判定処理動作を説明するための図。
【図１８】上記混雑検知判定処理におけるブロック単位の最終判定処理動作を説明するための図。
【図１９】上記混雑検知判定処理におけるブロック単位の最終判定処理動作を説明するための図。
【図２０】上記混雑検知判定処理における流動、混雑状態の確定、解除と、ログ（流動／混雑）および画像の保存処理動作を説明するためのタイムチャート。
【発明を実施するための形態】
【００１４】
本発明の実施形態に係る流水監視システムは、水路の流水部分を単眼カメラで撮影し、この画像から流水部分の変動画素（変動画素集合）を認識し、この変動画素を上記流水部分の水の揺らぎとして捉える。この水の揺らぎを量子化し、上記流水部分の画像における水の揺らぎの量（揺らぎの度合い）が設定された範囲内にあるか否かにより上記水路の流水量状態が正常な流水量状態にあるか否かを判定する。具体例を挙げると、工業用水路の複数の放水路から放水される流水（例えば複数の放水口の落差部分を流れる水）を一台のカメラ（単眼カメラ）で同時に撮影し、放水単位に切り出して、切り出した画像毎に、同画像における水の揺らぎの度合いを認識し量子化して、各放水路の流水量を同時に監視する（図１乃至図７参照）。上記した水の揺らぎの度合いを認識し量子化する画像処理の具体例として、この実施形態では、水の揺らぎの度合いを混雑率として算出し、［混雑率の増加＝流水量の増加（揺らぎの度合いが大きい）］、［混雑率の減少＝流水量の減少（揺らぎの度合いが小さい）］と認識することで、本出願人が確立した画像処理による混雑検知技術を水路における流水量の監視技術に援用している（図１１乃至図２０参照）。
【００１５】
また、他の実施形態として、河川を含む水路を対象に、同水路を、固定した単眼カメラで、例えば斜め上方から鳥瞰撮影し、撮影した画像から同水路の水面の揺らぎ（例えば表面張力波）を検出し、フレーム単位の画面上における水平方向に連なる水面の揺らぎ（表面張力波）の垂直方向の最上位の位置座標、または上記画面上の一定水平位置における同方向に連なる水面の揺らぎの幅の位置座標を求めて、求めた位置座標と上記画面上に設定した位置座標との差分により上記水路の流水量を推定し、上記水路の流水量を監視する（図８乃至図１０参照）。
【００１６】
上記した実施形態の流水量監視機構は、それぞれ単眼カメラで撮影した画像から水の揺らぎの度合いを認識し量子化する画像処理技術により実現される。従って、水路の流水部分に直接センサを設けることなく、監視対象にある水路の流水異常を経済的に有利な構成で効率よく検知し報知することができる。また、監視対象にある複数の水路に対して、単眼カメラ（一つの撮像カメラ）を用いた簡単なシステム構成で各水路の流水異常を水路別に効率よく検知し報知することができる。
【００１７】
以下図面を参照して本発明の実施形態に係る流水監視システムを説明する。
【００１８】
この実施形態に係る流水監視システムは、図１に示すように、水路１における流水（Ｗｂ）部分の画像を撮影する単眼カメラ（一つのカメラ）１１と、このカメラ１１で撮影した流水（Ｗｂ）部分の画像をキャプチャするキャプチャ部１２と、このキャプチャ部１２でキャプチャした流水（Ｗｂ）部分の画像から水の揺らぎを捉え、この揺らぎの情報をもとに上記水路１の流水量を判定する画像処理部１３と、画像処理部１３の判定結果の情報を出力する出力手段１４とを具備して構成される。
【００１９】
カメラ１１は、監視対象となる水路１の画像を一定の位置および画角で撮影する。この実施形態では、図２乃至図４に示すように、工業用の複数の放水路（例えば冷却用放水路）を監視対象水路として上記複数の放水路が１フレームの映像に収まるように予め設定された位置に固定され、上記複数の放水路を撮影した画像をフレーム単位の映像として出力する。図２は監視対象となる水路１の構成と同水路１に対するカメラ１１の位置関係とを示す、水路を斜め上方からみたカメラ配置図、図３は図２に示す配置構成を側方からみたカメラ配置図、図４はカメラ１１で撮影した水路１の切り出し画像を示す図である。
【００２０】
図２および図３に示す構成では、カメラ１１が撮影する流水（Ｗｂ）部分について、カメラ１１に入射される水の揺らぎ（乱反射）をより際立たせるため、監視対象となる水路１に並設された複数本（ｎ本）の放水口１ｄ，１ｄ，…，１ｄにおける落差部分１ｈ，１ｈ，…，１ｈを照明灯２により照明している。この照明灯２は、画像処理部１３の処理動作に同期して点灯駆動される。なお、ここでは、水路１を流れる放水用の流水（Ｗａ）をｍ本の流水路の放水口１ｄ，１ｄ，…，１ｄに配分し、ｍ本の流水路の放水口１ｄ，１ｄ，…，１ｄから落差部分１ｈ，１ｈ，…，１ｈに流水（Ｗｂ）を均等に放水して、被冷却部材（Ｂ）の表面を均一に冷却する工程を例に示している。
【００２１】
図４に示す切り出し画像は、カメラ１１が撮影したフレーム単位の画像に含まれる、ｍ本の流水路の放水口１ｄ，１ｄ，…，１ｄの落差部分１ｈ，１ｈ，…，１ｈにおける各流水（Ｗｂ）から、１つの放水口１ｄを切り出し単位に、流水（Ｗｂ）部分の画像を、切り出し画像ｐ１，ｐ２，…，ｐｎとして切り出している。上記画像処理部１３は、この切り出し画像ｐ１，ｐ２，…，ｐｎのそれぞれについて、切り出し画像を処理単位に、流水（Ｗｂ）の流水量判定処理を実施する。
【００２２】
上記画像処理部１３は、上記カメラ１１で撮影した流水（Ｗｂ）部分の映像から水の揺らぎを捉え量子化して水路１における流水（Ｗｂ）の流水量を示す流水量データを生成する流水画像処理部１５と、この流水画像処理部１５で得た流水量データを判定対象データとして設定パラメータをもとに上記水路１の流水量が設定範囲内の正常状態にあるか否かを判定する判定処理部１６とを具備して構成される。
【００２３】
流水画像処理部１５は、キャプチャ部１２がキャプチャした最新のフレーム単位の画像を現在の処理対象画像（映像フレーム）としてバッファする画像バッファ１５ａと、上記流水（Ｗｂ）部分の映像フレームから水の揺らぎを捉え量子化して水路１における流水（Ｗｂ）の流水量を示す流水量データを算出する流水量導出処理部１５ｂと、流水量導出処理部１５ｂが算出した流水量データを判定処理部１６の判定対象データとしてバッファする流水量バッファ１５ｃとを具備して構成される。
【００２４】
この実施形態では、上記流水量導出処理部１５ｂを、上述した混雑検知技術による混雑率導出部により実現しており、以降、「流水量導出処理部」を「混雑率導出部」と呼称し、「流水量バッファ」を「混雑率バッファ」と呼称する。
【００２５】
この混雑率導出部１５ｂによる混雑率導出処理では、上述したように、水の揺らぎの度合いを混雑率として算出し、［混雑率の増加＝流水量の増加（揺らぎの度合いが大きい）］、［混雑率の減少＝流水量の減少（揺らぎの度合いが小さい）］と認識する。この混雑率導出部１５ｂのより具体的な構成並びに動作については図１１乃至図２０を参照して後述する。
【００２６】
判定処理部１６は、流水画像処理部１５の混雑率バッファ１５ｃに貯えられた混雑率を判定対象データとして後述する設定パラメータをもとに混雑率の超過有無を判定する流水量増減判定部１６ａと、この流水量増減判定部１６ａの判定結果情報（異常／正常）を保持する判定結果バッファ１６ｂと、この判定結果バッファ１６ｂの判定結果情報が異常を示したとき水路１の流水量が異常状態に陥ったことを外部に報知すべく出力手段１４を制御する判定出力処理部１６ｃとを具備して構成される。なお、ここでは出力手段として表示部１４のみを開示しているが、外部のアラーム報知機器や無線通信機器等であっても、あるいはこれらの機器を含んだ構成であってもよい。
【００２７】
流水量増減判定部１６ａは、図７に示すように、平均値設定パラメータ（Ｐａ）に従うフレーム数および時系列範囲の複数フレームの混雑率（Ｒc0，Ｒc1，Ｒc2，…,Ｒcn）を処理対象とした平均混雑率（Ｒc_0，Ｒc_1，Ｒc_2,…,Ｒc_n）の算出処理機能と、比較対象パラメータ（Ｐｂ）に従うフレーム数および時系列範囲の複数フレームを対象とした比較対象混雑率（ＲcPast）の算出処理機能と、現在（最新）の平均混雑率（Ｒc_n）と比較対象混雑率（ＲcPast）との差分機能と、図６に示すように、差分処理結果の値が増減パラメータとして予め設定された閾値（Ｔh1，Ｔh2）の範囲内にあるか否かを判定する処理機能とを具備する。
【００２８】
流水量増減判定部１６ａは、流水画像処理部１５の混雑率バッファ１５ｃに貯えられた流水量データを現在の混雑率として、過去に遡る時系列の一定量の混雑率（Ｒc0，Ｒc1，Ｒc2，…Ｒcn）を貯えるバッファメモリ領域（Ｂａ）と、このバッファメモリ領域（Ｂａ）に貯えられた現在および過去の混雑率から、平均値設定パラメータ（Ｐａ）に従うフレーム数および時系列範囲の複数の混雑率をもとに平均混雑率（Ｒ_cn）を算出する算出処理手段、および算出した平均混雑率（Ｒ_cn）を保持するバッファメモリ領域（Ｂｂ）と、比較対象パラメータ（Ｐｂ）に従うフレーム数および時系列範囲の複数の平均混雑率（例：Ｒc_0，Ｒc_1，Ｒc_2）をもとに過去の複数の平均混雑率の平均値を算出する算出処理手段、およびこの算出値を比較対象混雑率（ＲcPast）として保持する比較対象混雑率の算出処理手段およびバッファメモリ領域（Ｂｃ）と、現在の平均混雑率（Ｒc_n）と比較対象混雑率（ＲcPast）との差分をとり、その値が図６に示す、増減パラメータとして予め設定された閾値Ｔh1，Ｔh2の範囲内にあるか或いは上記範囲を超過（逸脱）したか否かを判定し、上記水路１の流水量が設定範囲内の正常状態にあるか設定範囲を超えた異常状態にあるかを示す判定結果情報を出力する処理手段とを具備する。
【００２９】
上記構成による流水監視システムの処理手順を図５に示すフローチャートを参照して説明する。
【００３０】
カメラ１１は、監視対象となる水路１の画像を一定の位置および画角で撮影し、水路１の流水（Ｗｂ）部分における水の揺らぎを光の乱反射による輝度の変動を伴う画像として捉える。ここでは、ｍ本の流水路の放水口１ｄ，１ｄ，…，１ｄの落差部分１ｈ，１ｈ，…，１ｈにおける流水（Ｗｂ）部分の画像をフレーム単位で撮影する。
【００３１】
このカメラ１１で撮影した画像はフレーム単位でキャプチャ部１２にキャプチャされ画像処理部１３の画像バッファ１５ａに貯えられる。
【００３２】
混雑率導出部１５ｂは画像バッファ１５ａに貯えられた画像から上記流水（Ｗｂ）部分の画像を一つずつ切り出し画像ｐｉ（i=1,2,…,n）として切り出し、当該流水（Ｗｂ）部分の映像から水の揺らぎを捉え量子化して、水の揺らぎの度合いを混雑率として算出し、この算出値（混雑率）を混雑率バッファ１５ｃに貯える（ステップＳ１）。
【００３３】
流水量増減判定部１６ａは、画像バッファ１５ａの映像フレームが更新される都度、混雑率バッファ１５ｃから現在フレームの混雑率（Ｒcn）を読み込み、当該混雑率（Ｒcn）を含んだ現在の平均混雑率（Ｒc_n）を算出するとともに、比較対象混雑率（ＲcPast）を更新し、更新した比較対象混雑率（ＲcPast）と現在の平均混雑率（Ｒ_cn）との差分をとり（ステップＳ３）、差分が生じたとき（ステップＳ３ Yes）、その値が増減パラメータ（Ｔh1，Ｔh2）の範囲内にあるか否かを判定し、その判定結果情報を判定結果バッファ１６ｂに貯える（ステップＳ４）。
【００３４】
流水量増減判定部１６ａは、上記した処理（ステップＳ２〜Ｓ４）を上記ｍ本の流水路の放水口１ｄ，１ｄ，…，１ｄの切り出し画像ｐ１，ｐ２，…，ｐｎのそれぞれについて、順次、繰り返し実行する。
【００３５】
判定出力処理部１６ｃは判定結果バッファ１６ｂの判定結果情報が異常を示したとき水路１の流水量が異常状態に陥ったことを外部に報知すべく表示部１４を含む所定の出力手段（例えばアラーム報知機器、無線通信機器等）を起動制御する。また、定常状態においても上記ｍ本の流水路の放水口１ｄ，１ｄ，…，１ｄについて、放水口毎に流水量の正常／異常を表示部１４の表示画面に表示する（ステップＳ５）。
【００３６】
上記したように、単眼カメラ１１で撮影した画像から水の揺らぎの度合いを認識し量子化して流水量の異常を判定する画像処理機構が実現でき、これによって、水路の流水部分に直接センサを設けることなく、監視対象にある水路の流水異常を経済的に有利な構成で効率よく検知し報知することができるとともに、監視対象にある複数の水路に対して、一つの撮像カメラを用いた簡単なシステム構成で各水路の流水異常を水路別に効率よく検知し報知することができる。
【００３７】
上記した実施形態は、、単眼カメラ１１で撮影した画像から水の揺らぎの度合いを認識し量子化して流水量の異常を判定する画像処理であった。
【００３８】
上記したフレーム映像から水の揺らぎを認識し量子化して流水量の異常を判定する画像処理技術を適用した本発明の他の実施形態（実施例１、２）を図８乃至図１０を参照して以下に示す。なお、ここでは、システム全体の構成要素について図１を援用する。
【００３９】
図８は上記実施例１に係るカメラ１１の撮影対象を示したもので、ここでは水路（Ｃ）を路肩（Ｂｋ）の一部を含んで斜め上方から撮影する。図９は上記カメラ１１で撮影した映像フレームを示したもので、この映像フレーム１４ａには、水路（Ｃ）の路肩（Ｂｋ）と水路（Ｃ）を流れる流水が撮像される。ここではカメラ１１に照明灯２を併設し、水路（Ｃ）の水面を照明している。
【００４０】
画像処理部１３は、カメラ１１で撮影した映像フレーム１４ａから水平方向の幅を規定した一定幅の矩形の領域を切り出し、当該切り出した領域の画像を処理対象画像として水面の揺らぎを捉え量子化する。量子化された値をもとに図９に示す映像フレーム１４ａ上の水平方向に連なる揺らぎの最上位の位置座標（Ｗ）を特定する。この揺らぎの最上位の位置座標（Ｗ）は水路（Ｃ）の流水量に応じ上記映像フレーム１４ａ上で変化する（ＷH−ＷL）。この揺らぎの最上位の位置座標（Ｗ）が上記映像フレーム１４ａ上で予め設定した垂直方向の上限流水量を定める位置座標（ＤＬ）と下限流水量を定める位置座標（ＤＲ）と間にあるか否かを差分処理により判定する。位置座標（Ｗ）が位置座標（ＤＲ）を超えたとき、警報を発する。
【００４１】
図１０（ａ）は上記実施例２に係るカメラ１１の撮影対象を示したもので、ここでは撮影対象である水路（Ｃ）が路側に傾斜面を有し、路肩（Ｂｋ）に対して路底が幅狭な水路構造となっている。この水路（Ｃ）を路肩（Ｂｋ）の一部を含んで斜め上方から撮影する。図１０（ｂ）は上記カメラ１１で撮影した映像フレームを示したもので、この映像フレーム１４ｂには、水路（Ｃ）の路肩（Ｂｋ）および一部の路側面のと水路（Ｃ）を流れる流水が撮像される。
【００４２】
画像処理部１３は、カメラ１１で撮影した映像フレーム１４ｂから水面の揺らぎを捉え量子化する。量子化された値をもとに図１０（ｂ）に示す映像フレーム１４ｂ上の設定した垂直位置座標と交差する水平方向に連なる揺らぎの幅の位置座標（Ｗ＝両端の位置座標）を取得する。この揺らぎの幅の位置座標（Ｗ）は水路（Ｃ）の流水量に応じ上記映像フレーム１４ａ上で変化する。この揺らぎの幅の位置座標（Ｗ）が上記映像フレーム１４ａ上で予め設定した垂直方向の上限流水量を定める位置座標（ＤＬ）と下限流水量を定める位置座標（ＤＲ）と間にあるか否かを差分処理により判定する。位置座標（Ｗ）が位置座標（ＤＲ）を超えたとき、アラーム報知等による警報の発令処理を実施する。
【００４３】
上記した他の実施例１，２による流水監視システムは、工業用水路に限らず、例えば灌漑用水路、一般河川等の水路に幅広く適用可能である。
【００４４】
ここで、上記した実施形態に係る、雑検知技術を用いた混雑率導出部１５ｂのより具現化した構成並びに動作について図１１乃至図２０を参照して説明する。
【００４５】
混雑率導出部１５ｂは、カメラ１１で撮影した画像を順次入力し、前記入力した一定期間内の複数の画像を対象に、流水部分の画像を処理対象画像として抽出し、抽出した処理対象画像について、設定した最低閾値上限値をもとに、輝度変動に伴い変動する画素単位の自動閾値を算出するとともに、上記一定期間内の複数の処理対象画像の対応する画素に対する輝度分散情報を算出する自動閾値算出処理部と、上記自動閾値算出処理部で算出した輝度分散情報を一定のサンプリング周期で抽出し、抽出した設定時間単位の複数の輝度分散情報について画素あたりの平均輝度分散と輝度分散の標準偏差を算出する変動情報算出部と、上記最低閾値上限値と前記変動情報算出部で算出した平均輝度分散および輝度分散の標準偏差をもとに、上記処理対象画像の各画素について当該画素が、安定画素、変動画素、過変動画素のいずれであるかを判定し、過変動画素の占有率を処理対象画像における混雑率（＝水の揺らぎの度合い）として算出する画素判定部とを具備して構成される。
【００４６】
単眼カメラ（一つのカメラ）で撮影した時系列の複数の画像から変化画素を含む矩形の領域を抽出する領域抽出処理機能を有する画像処理装置において、本出願人は、入力した一定期間内の複数の画素を対象に、画素あたりの輝度平均値と標準偏差を算出し、算出した画素毎の標準偏差を、変化画素を抽出するための対応する画素の閾値（輝度変動に伴い変動する画素単位の自動閾値）に設定することにより、動物体の追跡性能を改善した画像処理技術を実現した（特開２００８−２５０８９２参照）。この自動閾値の算出処理機能を備えた画像処理技術を応用して、現在画像と過去画像から停止物を検知し、停止物と動物体を区別して画面上に表示することを可能にした停止物検知処理機能を実現した（特願２００９−０４６８８５）。さらに、この停止物検知処理機能の延長技術として上記自動閾値算出処理機能を備えた画像処理技術を応用して、動物体の混雑度（例えば公共利用施設等における人物の混雑度）を検知し、混雑状態にあることを外部装置に対し通知することが可能な混雑検知判定機能の開発を試みた。上記停止物検知処理機能では、動きの多い画像の画素は輝度値のバラツキ（分散）が大きく、動きのない画像の画素は輝度値のバラツキが小さく低輝度の狭い輝度範囲内に安定して収まっていることに着目し、入力した一定期間内の複数の画像を対象に、画素あたりの輝度分散値と標準偏差を算出し、この輝度分散値または標準偏差を閾値に利用して、輝度値の分散が大きいところの画素は棄て、低輝度の狭い輝度範囲内に安定して収まっている画素のみを背景画素と見做し抽出して画素集合による背景画像を作成している。
【００４７】
本発明の実施形態に係る画像処理装置は、上記輝度変動に伴い変動する画素単位の自動閾値を参照値として、入力映像の輝度の変動状況を調査し、流動状態（変動状態）、混雑状態（雑踏状態）、安定状態（不動状態）の３状態を検知する混雑検知判定機能を有する。上記流動状態は、変動画素（一過性の動きを伴う画素）の閾値変動（閾値平均の変動が大きい状態）を監視することにより検出可能である。上記混雑状態（雑踏状態）は過変動画素（継続的に変動している画素＝揺らぎを伴う画素）の閾値変動（閾値平均が高く安定している状態）を監視することにより検出可能である。上記安定状態（定常状態）は安定画素（不変動画素）の閾値変動（閾値平均が低く安定している状態）を監視することにより検出可能である。
【００４８】
以下図面を参照して本発明の実施形態を説明する。なお、この実施形態では、カメラ（単眼カメラ）から取り込んだ１フレーム（１画面）分の画像データを、単に画像若しくは画面上の画像若しくは一画面分の画像と称している。
【００４９】
本発明の実施形態に係る画像処理装置は、図１１に示すように、カメラ１１と、キャプチャ部１２と、画像処理部１３と、表示部１４とを具備して構成される。
【００５０】
カメラ１１は、レンズユニットとレンズユニットの結像位置に設けられた撮像素子（例えばＣＣＤ固体撮像素子、若しくはＣＭＯＳイメージセンサ）とを具備して、屋外若しくは屋内の動きを伴う被写体（動物体）を対象に、撮像した一画面分の画像を所定の画素単位（例えば１フレーム３２０×２４０画素＝ＱＶＧＡ）で出力する。
【００５１】
キャプチャ部１２は、カメラ１１が撮像したフレーム単位の画像を画像処理部１３の処理対象画像（入力画像）として取り込み、後述する画像バッファに保持する処理機能をもつ。
【００５２】
画像処理部１３は、変動画素抽出処理機能部１３Ａと、混雑検知処理機能部１３Ｂと、判定処理機能部１３Ｃとを具備して構成される。変動画素抽出処理機能部１３Ａは、入力した一定期間内の複数の画像（上記図７に示した平均値設定パラメータ（Ｐａ）により設定されたフレーム数および時系列範囲に従う映像フレーム）を対象に、マスク領域を除く処理対象画像について、輝度変動に伴い変動する画素単位の自動閾値を算出するとともに、前記一定期間内の複数の処理対象画像の対応する画素に対する輝度分散情報を算出し、算出した輝度分散情報を一定のサンプリング周期で抽出し、抽出した設定時間単位の複数の輝度分散情報について画素あたりの平均輝度分散と輝度分散の標準偏差を算出する処理機能を実現している。
【００５３】
本自動閾値の算出に当っては、最低閾値上下限値をパラメータで与える。最低閾値とは、自動閾値算出の過程で、画素単位に求めた輝度値の分散または標準偏差の画面全体の平均値および分散又は標準偏差から求めるもので、各画素にて設定する閾値の下限値として与える値である。最低閾値上下限値とは、求めた最低閾値の上下限値とするパラメータであり、最低閾値下限値はノイズの過剰検知を抑制するために設定し、最低閾値上限値は、確実に輝度の差として捉えるべき偏差を規定するために設定する。このパラメータとして与える最低閾値上限値を安定画素、流動画素、混雑画素の判定値閾値として利用する。
【００５４】
混雑検知処理機能部１３Ｂは、変動画素抽出処理機能部１３Ａが算出した輝度分散情報を一定のサンプリング周期で抽出し、抽出した設定時間単位の複数の輝度分散情報について画素あたりの平均輝度分散と輝度分散の標準偏差を算出して、この平均輝度分散および輝度分散の標準偏差と、上記変動画素抽出処理機能部１３Ａの算出で利用する閾値（最低閾値上限値）をもとに、前記処理対象画像の各画素について当該画素が、安定画素、変動画素、過変動画素のいずれであるかを判定する処理機能と、判定した安定画素、変動画素、過変動画素について上記処理対象画像における各画素の占有率を算出し、算出した過変動画素の占有率をもとに、設定された混雑率を超える混雑状態を判定する処理機能を実現している。判定処理機能部１３Ｃは、上記図１に示した判定処理部１６の処理機能を実現している。
【００５５】
表示部１４は、判定処理機能部１３Ｃが判定した混雑状態を表示する。例えば混雑状態を提示した描画情報を、対応する混雑ログとともに採取して保存した撮影画像とともに表示する。また、画素毎の混雑判定結果（安定／流動／混雑）、ブロック単位の混雑判定結果（安定／流動／混雑）、流動検知状態、混雑検知状態、流動ブロック占有率、混雑ブロック占有率、画素毎の閾値、閾値平均、閾値標準偏差、ブロック単位の流動／混雑画素数、処理対象画素数、画面全体の処理対象画素数、流動／混雑画素数、各画素の安定／変動／過変動状態画像、各ブロックの安定／流動／混雑状態画像等の詳細情報をユーザに提示可能にしている。
【００５６】
上記した画像処理部１３における各機能部の構成を図１２に示している。なお、この図１２に示す実施形態では、上記処理対象画像における画素単位の混雑判定処理機能に加えて上記処理対象画像を複数のブロックに分割した分割領域単位の混雑判定処理機能を備えた機能構成を例示している。
【００５７】
画像処理部１３は、変動画素抽出処理機能部１３Ａを構成する画像バッファメモリ１３０ａおよび自動閾値算出処理部１３１と、混雑検知処理機能部１３Ｂを構成する変動情報算出部１３２、混雑画素抽出部１３３、混雑ブロック算出部１３４および混雑率導出部１３５と、混雑判定データメモリ１３０ｂとを具備して構成される。
【００５８】
画像バッファメモリ１３０ａは、キャプチャ部１２が一定のタイミングで取り込んだフレーム単位の画像を入力画像として時系列に複数フレーム分貯える。この画像バッファメモリ１３０ａ上に貯えられた入力画像に対して混雑検知処理を必要としないマスク領域が設定され、マスク領域の画像を除いた処理対象画像領域の各画素が混雑検知の処理対象画素となる。また、この画像バッファメモリ１３０ａには、外部入力パラメータの入力画像選択指定により、原画像（空間微分画像）またはエッジ画像（輪郭画像）が入力画像として貯えられ、自動閾値算出処理部１３１にて原画像用の自動閾値またはエッジ画像用の自動閾値が算出される。
【００５９】
自動閾値算出処理部１３１は、画像バッファメモリ１３０ａに貯えられた一定期間内の複数の画像（原画像またはエッジ画像）を対象に、マスク領域を除く処理対象画像について、輝度変動に伴い変動する画素単位の自動閾値（低輝度の安定画素を抽出するための最低閾値算出を含む）を算出する自動閾値算出部と、上記一定期間内の複数の処理対象画像の対応する画素に対する輝度分散情報を算出し、算出した輝度分散情報を一定のサンプリング周期で抽出し、抽出した設定時間単位の複数の輝度分散情報について画素あたりの平均輝度分散と輝度分散の標準偏差を算出する変動画素算出部を具備して構成される。
【００６０】
この自動閾値算出処理部１３１における自動閾値算出部は、本願の発明者により提案された特開２００８−２５０８９２号に記載の自動閾値設定技術により実現されたもので、この自動閾値設定技術では、入力した一定期間内の複数の画素を対象に、画素あたりの輝度平均値と標準偏差を算出し、算出した画素毎の標準偏差を、変化画素を抽出するための対応する画素の閾値に設定している。この自動閾値の算出の過程において、画像上のノイズの影響を排除するために、画素単位に求めた輝度値の分散または標準偏差の画面全体の平均値および分散又は標準偏差から求めるもので、各画素にて設定する閾値の下限値として与えることを特徴とする。最低閾値上下限値とは、この求めた最低閾値の上下限値とするパラメータであり、最低閾値下限値はノイズの過剰検知を抑制するために設定し、最低閾値上限値は、確実に輝度の差として捉えるべき偏差を規定するために設定する。
【００６１】
この特開２００８−２５０８９２に記載の自動閾値設定技術により設定された自動閾値は、輝度の変動の大きい画素において高い閾値を自動的に設定し、変動の小さい画素＝背景と思われる画素においては、低く安定した閾値を設定する。
【００６２】
この発明の実施形態においては、上記特開２００８−２５０８９２に記載した最低閾値上限値を混雑検知に参照情報として利用する閾値（ＦＴｈ）としている。
【００６３】
なお、この自動閾値算出処理部１３１には、図示しないが、自動閾値算出処理用バッファが設けられ、この自動閾値算出処理用バッファには、自動閾値の算出処理に供される演算途中の各種データ、内部パラメータ等を貯える領域、外部入力パラメータを貯える領域等が設けられる。外部入力パラメータとして一例を挙げると、差分処理の画像タイプ（例えば、１；原画像、２；エッジ画像）、自動閾値を計算するための参照フレーム数（例えば、参照フレーム数（ｎ）＝１２）、自動閾値の変動範囲を設定するための原画像用の最低閾値上下限値、エッジ画像用の最低閾値上下限値等の各種パラメータ値が設定される。
【００６４】
自動閾値算出処理部１３１における変動画素算出部は、画像バッファメモリ１３０ａをリード（Ｒ）アクセスし、画像バッファメモリ１３０ａに貯えられた上記一定期間内の複数の処理対象画像の対応する画素に対する輝度分散情報（輝度分散値ＢＴｉ）を算出し、自動閾値算出処理部１３１の内部に設けたデータバッファに貯える。
【００６５】
変動情報算出部１３２は、変動画素抽出部１３１の内部データバッファに貯えられた輝度分散情報（輝度分散値ＢＴｉ）を、外部入力パラメータにより設定されたフレーム間隔とフレーム数に従う一定のサンプリング周期でリード（Ｒ）し（抽出し）、抽出した設定時間単位の複数の輝度分散情報（輝度分散値ＢＴｉ）について画素あたりの平均輝度分散と輝度分散の標準偏差を算出する。この平均輝度分散の値を画素単位の平均閾値（μＢＴｉ）とし、輝度分散の標準偏差の値を標準偏差（σＢＴｉ）として、混雑判定データメモリ１３０ｂの画像変動情報データ領域ｂ１にライト（Ｗ）し記憶する処理機能を有する。
【００６６】
混雑画素抽出部１３３は、変動画素抽出部１３１から入力した閾値（ＦＴｈ）について、混雑判定データメモリ１３０ｂの画像変動情報データ領域ｂ１から、各画素の平均閾値（μＢＴｉ）と標準偏差（σＢＴｉ）をリード（Ｒ）し、閾値（ＦＴｈ）を参照値として、平均閾値（μＢＴｉ）と標準偏差（σＢＴｉ）を判定閾値とし、上記画素が、安定画素、変動画素、過変動画素のいずれであるかを判定し、判定結果のデータ（混雑判定データ）を混雑判定データメモリ１３０ｂの混雑判定データ領域ｂ２にライト（Ｗ）し格納する処理機能を有する。
【００６７】
混雑ブロック算出部１３４は、混雑判定データメモリ１３０ｂの混雑判定データ領域ｂ２に貯えられた混雑判定データをリード（Ｒ）し、混雑画素抽出部１３３で判定した安定画素、変動画素、過変動画素について、画像を複数の画素単位でブロック分割した画像領域毎に、安定画素の占有率、変動画素の占有率、過変動画素の占有率を算出し、算出したブロック単位の各占有率のデータ（混雑判定データ）を混雑判定データメモリ１３０ｂの混雑判定データ領域ｂ３にライト（Ｗ）し格納する処理機能を有する。
【００６８】
混雑率導出部１３５は、混雑判定データメモリ１３０ｂの混雑判定データ領域ｂ３に貯えられた混雑判定データをリード（Ｒ）アクセスし、混雑ブロック算出部１３４で算出した安定画素および変動画素の占有率と過変動画素の占有率をもとに、設定された混雑率を超える混雑状態を判定して、表示部１４に表示する処理機能を有する。この混雑率導出部１３５に示したバッファ（ＢＵＦ）１３５ｃは図１に示した混雑率バッファ１５ｃに相当する。
【００６９】
判定処理部１３６は、上記図１に示した判定処理部１６の処理機能を実現している。この判定処理部１３６に示したバッファ（ＢＵＦ）１３６ｂは上記図１に示した判定結果バッファ１６ｂに相当する。
【００７０】
なお、混雑判定データメモリ１３０ｂには、上記したデータ領域ｂ１〜ｂ３の他に、混雑検知判定画像データ、マスク画像データ等を貯える画像データ格納領域や、混雑検知処理の実行フラグ（例えば、流動検知処理実行フラグ、混雑検知処理実行フラグ等）を貯えるフラグ格納領域や、演算パラメータ（例えば、原画像／エッジ画像設定パラメータ、混雑判定フレーム間隔設定パラメータ、流動判定パラメータ、混雑判定パラメータ等）を貯えるパラメータ格納領域や、演算処理カウンタ（例えば、混雑検知処理カウンタ、処理フレーム間隔判定用カウンタ等）として用いられるカウンタ領域や、その他、混雑検知判定処理に供される演算処理用のバッファ、ポインタ等を貯える、混雑検知判定処理用の作業領域などが設けられる。
【００７１】
本発明の実施形態に係る画像処理装置は、入力映像の状態によって輝度の変動状況を調査し、流動状態（変動状態）、混雑状態（雑踏状態）、安定状態（不動状態）の３状態を検知することによって混雑検知を行う混雑検知判定機能を実現している。
【００７２】
（１）．画素単位の混雑判定処理動作
画像処理部１３に設けられた変動画素抽出処理機能部１３Ａの構成要素である変動画素抽出部１３１は、画像バッファメモリ１３０ａに貯えられた一定期間内の複数の画像（原画像またはエッジ画像）を対象に、マスク領域を除く処理対象画像について、輝度変動に伴い変動する画素単位の輝度分散情報（輝度分散値ＢＴｉ）を算出し内部データバッファに貯える。
【００７３】
混雑検知処理機能部１３Ｂの構成要素である変動情報算出部１３２は、変動画素抽出部１３１の内部データバッファに貯えられた輝度分散情報（輝度分散値ＢＴｉ）を、外部入力パラメータにより設定されたフレーム間隔とフレーム数に従う一定のサンプリング周期で抽出し、抽出した設定時間単位の複数の輝度分散情報（輝度分散値ＢＴｉ）について画素あたりの平均輝度分散と輝度分散の標準偏差を算出し、算出した平均輝度分散の値を画素単位の平均閾値（μＢＴｉ）とし、輝度分散の標準偏差の値を標準偏差（σＢＴｉ）として、混雑判定データメモリ１３０ｂの画像変動情報データ領域ｂ１にライト（Ｗ）する。
【００７４】
混雑検知処理機能部１３Ｂの構成要素である混雑画素抽出部１３３は、変動画素抽出部１３１から閾値（ＦＴｈ）を入力し、混雑判定データメモリ１３０ｂの画像変動情報データ領域ｂ１から、対応する画素の平均閾値（μＢＴｉ）と標準偏差（σＢＴｉ）をリード（Ｒ）し、閾値（ＦＴｈ）を参照値として、平均閾値（μＢＴｉ）と標準偏差（σＢＴｉ）を判定閾値とし、上記画素が、安定画素、変動画素、過変動画素のいずれであるかを判定し、判定結果のデータ（混雑判定データ）を混雑判定データメモリ１３０ｂの混雑判定データ領域ｂ２にライト（Ｗ）する。
【００７５】
この安定／変動／過変動の画素状態の判定で想定している閾値変動を図１３および図１４に示す。ここでは、平均閾値（μＢＴｉ）の判定閾値を閾値（ＦＴｈ）＝最低閾値上限値とし、標準偏差（σＢＴｉ）の判定閾値を最低閾値上限値×１／２としている。
【００７６】
図１３（ａ）（ｂ）に示すように、μＢＴｉとσＢＴｉがともに判定閾値未満であるとき「安定画素」と判定し、σＢＴｉが判定閾値以上であるとき「変動画素」と判定し、μＢＴｉが判定閾値以上で、かつσＢＴｉが判定閾値未満であるとき継続して変動する「過変動画素」と判定する。
【００７７】
この安定画素、変動画素、過変動画素の閾値変動状態を図１４（ａ）（ｂ）（ｃ）に例示している。安定画素の閾値は図１３（ｂ）および図１４（ａ）に示すように、平均閾値が低く、標準偏差も小さい閾値変動特性をもつ。変動画素の閾値は図１３（ｂ）および図１４（ｂ）に示すように、閾値が大きく変動し標準偏差が大きい閾値変動特性をもつ。動きを伴う画素が継続して変動している過変動画素の閾値は図１３（ｂ）および図１４（ｃ）に示すように、平均閾値が高い閾値変動特性をもつ。
【００７８】
混雑率導出部１３５は、混雑判定データメモリ１３０ｂの混雑判定データ領域ｂ３に貯えられた混雑判定データをリード（Ｒ）し、混雑ブロック算出部１３４で算出した安定画素および変動画素の占有率と過変動画素の占有率をもとに、設定された混雑率を超える混雑状態を判定して、表示部１４に表示する。
【００７９】
このように、入力画像（原画像／エッジ画像）の閾値算出処理タイミングに同期して、各画素で求めた閾値の時間サンプリング（取得周期は、閾値算出フレーム数×閾値算出ブロックサイズの自動周期で、評価するサンプル数は外部パラメータとする）に対する平均閾値（μＢＴｉ）、標準偏差（σＢＴｉ）を求め、この情報と閾値（ＦＴｈ）を利用して画素単位の安定／変動／過変動画素の状態を判定し、処理対象画像における過変動画素の割合（占有率）から混雑度を判定することにより、信頼性の高い混雑判定率を検出することができる。なお、原画像（輝度）による閾値を利用すると、明るさの変動程度の靄や霧、煙の検知まで可能となり、エッジ画像（輪郭）による閾値を利用すると、各種動物体の変動を捉えることが可能となる。
【００８０】
（２）．ブロック単位の混雑判定処理動作
判定処理機能部１３Ｃの構成要素である混雑ブロック算出部１３４は、混雑判定データメモリ１３０ｂの混雑判定データ領域ｂ２に貯えられた混雑判定データをリード（Ｒ）し、混雑画素抽出部１３３で判定した安定画素、変動画素、過変動画素について、画像を複数の画素単位でブロック分割した画像領域毎に、安定画素の占有率、変動画素の占有率、過変動画素の占有率を算出し、算出したブロック単位の各占有率のデータ（混雑判定データ）を混雑判定データメモリ１３０ｂの混雑判定データ領域ｂ３にライト（Ｗ）する。
【００８１】
このブロック単位の処理では、混雑検知判定のために、処理対象画像を複数のブロックに分割する。ここでは、一例として、図１５に示すように、ＱＶＧＡの１フレーム（３２０×２４０画素）を、８画素×８画素を１ブロックとして、３０×４０ブロック（１２００ブロック）に分割し、分割したブロック内（マスク画素を除く）の安定／変動／過変動画素、処理対象画素の数を管理する。このデータにより、ブロック単位での各種判定を可能とする。すなわち、指定したブロックの面積を分母とし、そのブロックの中で発生している変動画素、過変動画素の数を使用して占有率および混雑度を判定する。このブロック判定処理における占有率の算出手段を図１６に示している。ここでは、安定画素占有率を［Σ安定画素／Σ（処理画素数（マスク領域除く））］、変動画素占有率を［Σ変動画素／Σ（処理画素数（マスク領域除く））］、過変動画素占有率を［Σ過変動画素／Σ（処理画素数（マスク領域除く））］で求め、安定画素占有率、変動画素占有率、過変動画素占有率の一番高い状態をそのブロックの状態とする。
【００８２】
混雑率導出部１３５は、混雑判定データメモリ１３０ｂの混雑判定データ領域ｂ３に貯えられた混雑判定データをリード（Ｒ）し、混雑ブロック算出部１３４で算出した安定画素および変動画素の占有率と過変動画素の占有率をもとに、設定された混雑率を超える混雑状態を判定して、表示部１４に表示する。
【００８３】
ここでは、上記したブロック単位の結果をもとに、画面表示と最終判定を行う。「流動判定率」、「混雑判定率」は、処理対象ブロックに対する流動ブロック、混雑ブロックの占める割合を示すもので、混雑検知用の外部入力パラメータ（１〜１０の設定で、１０％〜１００％を意味する）とする。「流動」の判定式を図１７に示し、「混雑」の判定式を図１８に示している。このパラメータにより、２段階の変化（流動＜混雑の優先順位とする）を判定可能とする。この「流動」判定パラメータ、「混雑」判定パラメータの指定可能範囲を図１９に例示している。
【００８４】
また、フレーム単位の状態によって、時間的な連続性を考慮（確定時間、解除時間）し、流動／混雑の確定／解除判定を実施している。この流動／混雑状態の確定／解除とログおよび画像保存の処理タイミングを図２０に示している。
【００８５】
ここでは、流動／混雑と確定した時点の画像とログを保存する。流動／混雑の感度設定は、入力映像と処理結果に依存するため、調整が難航になることが予想されるため、デフォルト設定（設定５：５０％）に対して、流動／混雑確定時のログとそのときの画像、及びその画像に流動判定率／混雑判定率を描画し保存するものとする。ここでは１フレーム分の画像保存とするが、複数フレームの画像保存であってもよい。なお、流動／混雑ログは、定周期保存を可能とし、前回保存と新規保存の間に発生した最大流動判定率／混雑判定率とその時の画像をログとして保存するものとする。また、流動、混雑のそれぞれのログの保存可否設定を可能とする。
【００８６】
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。また上記実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどの記憶媒体に格納して頒布することもできる。
【符号の説明】
【００８７】
１…水路、１ｄ…放水口、１ｈ…落差部、２…照明灯、１１…カメラ（単眼カメラ）、１２…キャプチャ部、１３…画像処理部、１４…出力手段（表示部）、１３Ａ…変動画素抽出処理機能部、１３Ｂ…混雑検知処理機能部、１３Ｃ…判定処理機能部、１５…流水画像処理部、１５ａ…画像バッファ、１５ｂ…流水量導出処理部（混雑率導出部）、１５ｃ…流水量バッファ（混雑率バッファ）、１６…判定処理部、１６ａ…流水量増減判定部、１６ｂ…判定結果バッファ、１６ｃ…判定出力処理部、１３０ａ…画像バッファメモリ、１３０ｂ…混雑判定データメモリ、ｂ１…画像変動情報データ領域、ｂ２…混雑判定データ領域、ｂ３…混雑判定データ領域、１３１…変動画素抽出部、１３２…変動情報算出部、１３３…混雑画素抽出部、１３４…混雑ブロック算出部、１３５…混雑判定処理部、ＦＴｈ…閾値（最低閾値上限値）、μＢＴｉ…平均閾値（平均輝度分散）、σＢＴｉ…標準偏差（輝度分散の標準偏差）、ｐ１，ｐ２，…，ｐｎ…切り出し画像、Ｗｂ…流水、Ｐａ…平均値設定パラメータ、Ｐｂ…比較対象パラメータ。
【図１】
2012043135.tif 000003
【図２】
2012043135.tif 000004
【図３】
2012043135.tif 000005
【図４】
2012043135.tif 000006
【図５】
2012043135.tif 000007
【図６】
2012043135.tif 000008
【図７】
2012043135.tif 000009
【図８】
2012043135.tif 000010
【図９】
2012043135.tif 000011
【図１０】
2012043135.tif 000012
【図１１】
2012043135.tif 000013
【図１２】
2012043135.tif 000014
【図１３】
2012043135.tif 000015
【図１４】
2012043135.tif 000016
【図１５】
2012043135.tif 000017
【図１６】
2012043135.tif 000018
【図１７】
2012043135.tif 000019
【図１８】
2012043135.tif 000020
【図１９】
2012043135.tif 000021
【図２０】
2012043135.tif 000022