環境エネルギー

画像解析処理による自動水流監視システム
Water Flow Monitoring System Using Image Analysis

髙野

＊瑠衣

Rui Takano

吉谷崇史

迫田

Takashi Yoshitani

隆享

Takayuki Sakoda

貯水施設の運用に関するトンネルや河川の水流変化を自動で監視する手段として、ITV ※1監視カメラの映像を取込み、複数の画像解析アルゴリズムを最適な組み合わせで処理する仕組みにより、様々な水流の変化（流入や越流、放流等）を精度よく検知し、自動的に通知することを可能にする自動水流監視システムを開発した。本稿ではそのシステムの概要を紹介する。

We have developed an automatic surveillance system that detects water flow changes (inflow, overflow, discharge, etc.)
through an optimal combination of multiple analyses images. This paper introduces the outline of the system.
キーワード：水流変化、画像解析処理、画像処理アルゴリズム、自動水流監視システム

1.

緒言

これをうけ、設置環境による影響を受けずに、水流の変現在、工場でのライン生産のロボット化や、空港の出国化を自動で検知するため、複数の画像解析アルゴリズム処ゲートの自動化等、様々な施設での自動化が進められてい理を行う装置を利用した自動水流監視システムを開発した。

る。しかし貯水施設の運用においては、貯水施設に関連するトンネルや貯水槽への雨水の流入、河川の氾濫等を設置した監視カメラの映像を常時、目視で確認することで監視を行っている。確実な監視、作業効率の改善などを行うため、自動水流監視システムの導入を進める必要がある

2.

自動水流監視システム

図2に画像解析処理装置を導入した水流監視システムを示す。
本装置を導入することで、従来目視で行っていた水流の（図1）。

監視を、映像から自動で検知し通知を行う。システム利用者は通知が届いてから、映像を確認すればよいため、人員の削減や、効率改善を行うことが可能となる。
ITV 監視カメラから映像を画像解析処理装置に取込み、画像解析処理をしたうえで、水流の検知を行う。水流が検知された場合、監視センターや携帯等に通知を送信し、自動で検知から通知までを行う。

図1

従来の監視方法

しかし、自動水流監視システムを導入するにあたり、貯水施設に関連するトンネルや河川では膨大な水量の流入があることや、屋外の場合もあることから、センサの設置が困難という問題がある。そこで、従来より監視に用いているカメラの映像に着目した。
監視カメラの映像を使用する場合、カメラを屋外や流入渠施設などに設置するため、昼夜や天気の変化、靄や街灯などの影響によって、画像の輝度が大きく変化し、適切に処理できないという問題がある。

78

画像解析処理による自動水流監視システム

図2

画像解析処理による水流監視システム

2－1

画像解析処理装置

写真1に示す、画像解析処理装置はカメラからの入力映て、水位などを監視することができる。エッジの検出例を
写真2に示す。

像を画像解析し水流の様々な変化を検知し通知する装置である。

写真1

3.

写真2

画像解析処理装置

画像解析処理エッジ検出例（2）背景差分法

本システムの画像解析処理のフローを図3に示す。本装背景差分法は移動物体の検出方法のひとつで、入力画像

置の特徴は、様々な状況下の映像に対応するために、1枚と背景画像の輝度の差分をとる画像解析アルゴリズムであの画像に複数の画像解析アルゴリズム処理を組み合わせてる。またノイズ除去を加えることで細かいノイズを取り除処理を行うことである。

くことができる。

さらに検知精度を向上させるために、条件分岐と回数分背景画像に任意の時間遡った画像を使用し、現在の画像岐の動作条件をフローに含むことで、未検知や誤検知などと比較した時、その変化量が大きい場合、時間的な変化がを防ぐ。

あったと捉えることが可能で、水が流れてきた際の水面の反射や、色の変化を捉えることが可能である。
背景差分の例を図4に示す。用意した画像同士の差分を

図3

3－1

画像解析処理フロー

画像処理アルゴリズム

画像解析に使用するアルゴリズムは一般的な画像処理アルゴリズムを使用する。使用した画像解析アルゴリズムを以下に示す。
（1）Canny エッジ検出法
Canny エッジ検出法とは、画像のエッジ（輪郭）部分を検出するアルゴリズムである。またハフ変換処理で直線を検出し、直線が指定の部分に存在するかを処理結果とし

図4 背景差分検出例
左上：背景画像 右上：比較画像 下：差分画像

2020 年 1 月・S E I テクニカルレビュー・第 196 号     79

みると、画像同士の異なる部分のみを検出できているのが確認できる。

（5）輝度比較法
輝度比較とは1枚の画像から任意で2か所の範囲を選択（3）AKAZE 法（特徴点抽出）し、その箇所同士の輝度（諧調値）を比較する画像処理ア

特徴点抽出とは、画像の輝度勾配等を用いて画像の特徴ルゴリズムである。RGB もしくは Gray の諧調値を選択し、点を抽出する画像処理アルゴリズムである。特徴点を抽出す物体の吸収率によって違いが生じるため、違う物質同士のるいくつかのアルゴリズムの中で、ロバスト性に長けた、輝度の差を得ることで水流の変化を検出することが可能でAKAZE 法を利用した。写真3に特徴点の抽出例を示す。

ある。

抽出した特徴点の数を求め、数の多さの変化で水流の変化を検知する。

輝度比較アルゴリズム処理の特徴として、1枚の画像で処理を行うことができるので、昼夜の輝度差の影響を受けづらいことが挙げられる。
（6）ヒストグラム比較法
ヒストグラム比較とは、1枚の画像から任意の2か所選択し、その箇所同士のヒストグラムを比較する画像処理アルゴリズムである。それぞれのヒストグラムから諧調値の高いところをエリアで判別し、同一区間もしくは異なる区間にヒストグラムが集中しているかを結果として出力する。
1枚の画像から情報を得るため、時間で変化が起こりやすい屋外等でも影響を受けない。
次の図5に示すように、ヒストグラムの集中する領域が選択箇所によって異なるため、水流の変化を検出することが可能である。

写真3

特徴点抽出例（4）AKAZE 法（特徴点マッチング）（3）とアルゴリズムの処理内容（特徴点抽出法）については同様のものではあるが、特徴点マッチング法とは、2枚の画像の特徴点からハミング距離※2を計算し、その値から同じ特徴点を見つけ出す画像解析アルゴリズムである。写真4に特徴点マッチング例を示す。
これにより、比較画像に任意の時間遡った画像を使用し、その間に変化した変化量を得ることができる。

図5 ヒストグラム比較例
グラフ左：側面部分 右：流入部分

AKAZE 法の特徴として、物質の移動等に強いことが挙げられ、カメラの揺れによる誤検知を防ぐことが可能である。
3－2

条件分岐

前述のアルゴリズムを組み合わせる際に、アルゴリズムそれぞれに次のアルゴリズム処理に進むための必要条件、十分条件を与える。条件分岐を与えることにより、捉えたい水流変化によって、アルゴリズムの優先度を設定できるため、様々なパターンの水流の変化を検出することが可能である。
図6に示すように、アルゴリズム1、2は必要条件、アル写真4 特徴点マッチング例
左：元画像 右：数日後の画像

80

画像解析処理による自動水流監視システム

ゴリズム3、4は十分条件と設定した場合、アルゴリズム1の結果が検出条件を満たさないとき、アルゴリズム2～4で処理することなく、画像の処理を終了し、次の画像の処理

図7に回数条件のフロー図を示す。連続検出があることを開始する。反対にアルゴリズム1が条件を満たした場合、が検知の条件であり、連続して検出しなかった場合、カウアルゴリズム2の処理へと移行する。アルゴリズム2はアルントが0となり、検知とはならない。

ゴリズム1と同様の必要条件が与えられているため、条件を満たさない場合は次の画像処理へと移り、検出条件を満たした場合のみアルゴリズム3の処理へと移行する。他方

4.

出力と通知

で、アルゴリズム3と4は十分条件を与えられており、どちアルゴリズム解析結果が検出であり、さらに条件分岐とらかの処理結果が条件を満たした場合のみ検出となる。

回数条件を満足した場合、検知とみなして通知動作を行う。
図8に示すように中央監視装置等で検知結果、検知情報を受信することにより、監視センターにて検知が確認できる。

図6

3－3

図8

条件分岐フロー図

回数条件

監視センターへの検知通知

また、図9に示すように、予め指定した携帯に電子メー検知には前述の条件分岐と合わせて検出回数の条件も満たす必要がある。前述のアルゴリズム条件で任意の設定回ルで、画像等の情報を載せて、流入の検知を通知することも可能である。

数、連続で検出となった場合のみ検知と出力される。
回数条件を設けることにより、ノイズの発生や機械の誤動作による突発的な値の変化時などに、誤検知を防ぐことができる。

図9 メールでの検知通知

5.

実際の動作例本システムを実際の動画を利用して、動作をさせた例を
図7

回数条件フロー図

以下に示す。

2020 年 1 月・S E I テクニカルレビュー・第 196 号     81

屋外で大量の流入があった場合を例に挙げる。流入がなの流入がない場合は、2つの選択範囲のそれぞれのヒストかった流入渠に流入が生じた場合、画像の変化として大きグラムに大きい差はないが、水が流れた場合、図5に示す

く3点あげられる。一つ目は図10中の①に示す流入によるように、ヒストグラムの分布が大きく異なる。ヒストグラ

水しぶきの発生、二つ目は同図中の②の水が流れることにムの分布の比較によって、流入を検出可能である。ただし

よる底面の色の変化、三つ目は同じく③に示す、流入によ

今回の図10の実例のように流入してきた水が透明の場合、る水面の反射である。

ヒストグラムの差が出にくい。図11の②に流入時の選択範囲について輝度値の差の推移を示す。
5－3

水面の反射の検出

水面の反射の検出には3－1の（2）で紹介した背景差分法を使用し、水しぶきの反射の輝度変化を検出する。
また、ノイズ除去を加えることで、細かいノイズを無視することができる。一方、ノイズに強いが、カメラの移動などによって画像が変化してしまった場合、水流の変化を誤検出してしまうという欠点もある。
図11中の③に流入時の背景差分法を用いた場合の画像変化量を示す。

図10

実際に流入渠で撮影した画像
図11

5－1

監視システムを実際に動作させた時の値の推移

水しぶきの検出水しぶきの検出には、3－1の（4）で紹介した特徴点マッチングを使用する。水しぶきが発生することで、特徴点に変化があるため、その変化量を検出する。

5－4

条件分岐による精度の向上

次に条件分岐の例を示す。条件分岐を、図11から、①の特徴点マッチングを使用した場合、微小な画面の移動な閾値を100、②の閾値を300、③の閾値を200と設定したどの変化に強く、カメラの揺れにも強い。またカメラの移場合。①の水しぶきの検出はおおよそ100秒の時に一度値動など、完全に画像が変化した場合、特徴点の変化が過度が大きくなり、閾値を超える。②色の比較については、値になり、出力値が0になるため、完全に移動した際の誤検が150秒のところで上がり始め、緩やかに上昇し250秒付知をしない。図11中の①に流入時の特徴点マッチング法を近で閾値を超える。③水面の反射の検出は40秒と100秒の用いた場合の画像変化量を示す。

時に閾値を超える。ここでアルゴリズムには、それぞれ必5－2

要条件か十分条件かの条件を設定する。①水しぶきの検出

色の変化の検出

色の変化の検出には3－1の（6）のヒストグラムの比較を使用する。ヒストグラムを使用することで、一枚の画像で流入の検出が可能になり、昼夜の天気の変化による影響を受けにくい。
流入部の底面と直接水の流入しない場所を比較する。水

82

画像解析処理による自動水流監視システム

は必要条件、②色比較と③水面の反射の検出は十分条件とする。
設定したアルゴリズムの条件分岐フロー図を図12に示す。

執

図12

筆者 ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー

髙野瑠 衣＊ ：日新電機㈱吉谷崇史：日新電機㈱

グループ長

迫田隆享

：日新電機㈱部長

監視システムを実際に動作させた時の条件分岐
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
＊主執筆者

5－5

回数条件による精度の向上

回数条件を検出結果に対して設定する。
水流の変化が3回連続で、検出された場合のみ、水流の変化を検知する。図11にみられるようにアルゴリズムの解
析処理結果は値が細かく上下に変化がみられる。連続回数検出条件を設け、突発的に値が上昇することによる誤検知を防ぐ。
5－6

本設定における検出結果

図11より経過時間が約130秒の時、①の水しぶきの検出が閾値を超え、また③の水面の反射も閾値を超える。図12
から十分条件である③が検出しているため、②の色比較が閾値を超えていなくても、水流が変化したと検出できる。

6.

結言

様々な画像処理アルゴリズムを組み合わせて、処理を行うことにより、貯水施設の運用に関連するトンネルや河川の水流変化を精度よく検知することを可能にした。
従来の課題であった、天気や昼夜の輝度差による影響や靄や街灯等の影響を解決した。
これからの展望として、水流以外の画像変化にも対応した、新たな応用分野の開拓に取り組む所存である。

用 語 集 ーーーーーーーーーーーーーーーーーーーーーーーーーーーー※1

ITV

工業用テレビ（Industrial television）監視カメラのこと。
※2

ハミング距離等しい文字数を持つ2つの文字列の中で対応する位置にある異なった文字の個数。

2020 年 1 月・S E I テクニカルレビュー・第 196 号     83