(57)【特許請求の範囲】
【請求項１】
崩落を検知する崩落検知システムであって、
検知対象の監視映像を撮影する撮影部と、
異なる二つの移動方向に対して強く応答する二つの時空間ガボールフィルタを用いて、前記二つの移動方向毎に動きエネルギーを最大とする速度を、前記撮影部により撮影された映像内の各画素の二次元速度の当該方向への正射影成分とみなして二次元速度を算出する算出部と、
前記二つの移動方向毎の動きエネルギーの最大値が所定の閾値以上であり、且つ、前記二次元速度が所定の範囲内にある場合、当該画素の箇所にて崩落が発生したと判定する判定部と、
を備えたことを特徴とする崩落検知システム。
【請求項２】
前記時空間ガボールフィルタにより検知される二つの移動方向成分が互いに直交関係にあることを特徴とする請求項１記載の崩落検知システム。
【請求項３】
前記時空間ガボールフィルタにより検知される移動方向の組を複数備え、
前記算出部は、各移動方向の動きエネルギーが所定の閾値を超える前記時空間ガボールフィルタの組から算出される前記二次元速度の平均値をもって当該画素の前記二次元速度とすることを特徴とする請求項１又は２記載の崩落検知システム。
【請求項４】
更に、前記撮影部により撮影された映像から得られるフレーム間差分値を元の画像に重ね合わせて崩落領域を強調する強調処理部を備えたことを特徴とする請求項１から請求項３のいずれか一項に記載の崩落検知システム。
【請求項５】
前記判定部は、空間的に孤立している画素を排除するモルフォロジー処理を実施し、そのモルフォロジー処理画像を用いて崩落が発生したか否かを判定することを特徴とする請求項１から請求項４のいずれか一項に記載の崩落検知システム。
【請求項６】
崩落を検知する崩落検知方法であって、
検知対象の監視映像を撮影する撮影ステップと、
異なる二つの移動方向に対して強く応答する二つの時空間ガボールフィルタを用いて、前記二つの移動方向毎に動きエネルギーを最大とする速度を、前記撮影ステップで撮影された映像内の各画素の二次元速度の当該方向への正射影成分とみなして二次元速度を算出する算出ステップと、
前記二つの移動方向毎の動きエネルギーの最大値が所定の閾値以上であり、且つ、前記二次元速度が所定の範囲内にある場合、当該画素の箇所にて崩落が発生したと判定する判定ステップと、
を備えたことを特徴とする崩落検知方法。
【請求項７】
前記時空間ガボールフィルタにより検知される二つの移動方向成分が互いに直交関係にあることを特徴とする請求項６記載の崩落検知方法。
【請求項８】
前記時空間ガボールフィルタにより検知される移動方向の組を複数備え、
前記算出ステップでは、各移動方向の動きエネルギーが所定の閾値を超える前記時空間ガボールフィルタの組から算出される前記二次元速度の平均値をもって当該画素の前記二次元速度とすることを特徴とする請求項６又は７記載の崩落検知方法。
【請求項９】
更に、前記撮影ステップで撮影された映像から得られるフレーム間差分値を元の画像に重ね合わせて崩落領域を強調する強調処理ステップを備えたことを特徴とする請求項６から請求項８のいずれか一項に記載の崩落検知方法。
【請求項１０】
前記判定ステップでは、空間的に孤立している画素を排除するモルフォロジー処理を実施し、そのモルフォロジー処理画像を用いて崩落が発生したか否かを判定することを特徴とする請求項６から請求項９のいずれか一項に記載の崩落検知方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、崖崩れなどの崩落を映像により検知する崩落検知システム及び崩落検知方法に関し、特に、大規模崩落の前兆となる小石の落下などの微小な崩落現象を検知する崩落検知システム及び崩落検知方法に関する。
【背景技術】
【０００２】
一般に、崖崩れなどの監視においては、ワイヤセンサを用いて大きな岩の崩落等を検知している。災害現場における復旧工事など土砂災害危険箇所の作業においては、大規模な崩落の前兆となる小石の落下などの小さな崩落（以下、「小崩落」と記す）を発見することにより、未然に危険を回避することも重要である。通常、監視員を配置し、危険箇所の目視の監視を行うが、人間では広い範囲をカバーするのは困難であり、人間をサポートする手段として、機械による監視が望まれている。
【０００３】
土砂災害に特化した映像監視の先行事例は多くないが、小石の落下を移動物体とみなすと、人物や車両の監視の分野では、様々な移動物体検知技術が検討されている。しかしながら、監視映像において、小崩落が監視対象領域に比して非常に小さいこと、背景となる斜面と同系色であることから、通常の移動物体検知手法では、小崩落をノイズなどと識別することが困難という課題があった。この課題を解決する手法として、監視映像の各フレームを時系列的に並べた時空間上で、ノイズは孤立点になるのに対して、崩落は連続的な軌跡を形成することに着目し、ノイズとの識別性能を向上させることを特徴とした時空間ガボールフィルタを用いる手法がある（非特許文献１）。
【０００４】
時空間ガボールフィルタは、ガウス関数を窓関数として正弦波を局在化した三次元ガボール関数によるたたみ込み演算により、入力画像の局所的な時空間周波数情報を得るものである。通常、複数の種類の時空間ガボールフィルタを用意し、フィルタセットを構成する。用意した全ての時空間ガボールフィルタで動きエネルギーを算出することで、様々な軌跡を生じる動きに対して応答を得ることが可能となる。具体的には、時空間ガボールフィルタには、対応するパラメータが物体の移動方向・速度と一致する場合に強く応答する性質があることを踏まえ、小崩落として想定される速度、移動方向等に対するガボールフィルタの応答（動きエネルギー）が予め定めた閾値を超えたときに小崩落が発生したと判断する。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】岡本健  他 “時空間ガボールフィルタによる土砂災害前兆現象検知”電子情報通信学会技術研究報告. PRMU, パターン認識・メディア理解  Vol. 108, No. 327,  pp.139-144, 2008.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、映像監視においては、検知対象と映像に含まれるノイズとの識別に加えて、虫の飛翔などの崩落現象以外の変化（外乱現象）との識別も必要である。小崩落は斜面の上から下に向かって生じる現象であり、その方向は事前に想定できることから、斜面の上下方向の移動に強く応答する時空間ガボールフィルタを用いて、時空間ガボールフィルタの物体の移動方向に対する応答特性を利用すれば、一定レベルの小崩落と外乱現象の識別は可能である。
【０００７】
しかしながら、時空間ガボールフィルタの応答は、検知対象の移動方向（時空間的な特徴）に加えて、検知対象の形状や背景とのコントラスト（輝度差）などの空間的な特徴にも影響を受ける。小崩落は、コントラストが低い順方向運動とみなせるが、例えば、背景とのコントラストの高い鳥が時空間ガボールフィルタの方向に直交運動を行う場合、両者の識別は原理的に困難である。即ち、移動方向・速度の時空間ガボールフィルタの応答特性に基づく手法では、必ずしも外乱現象と小崩落の識別ができなかった。
【０００８】
本発明は、上述した従来の技術に鑑み、検知対象である崩落を外乱現象と識別して正確に検知することのできる崩落検知システム及び崩落検知方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、第１の態様に係る発明は、崩落を検知する崩落検知システムであって、検知対象の監視映像を撮影する撮影部と、異なる二つの移動方向に対して強く応答する二つの時空間ガボールフィルタを用いて、前記二つの移動方向毎に動きエネルギーを最大とする速度を、前記撮影部により撮影された映像内の各画素の二次元速度の当該方向への正射影成分とみなして二次元速度を算出する算出部と、前記二つの移動方向毎の動きエネルギーの最大値が所定の閾値以上であり、且つ、前記二次元速度が所定の範囲内にある場合、当該画素の箇所にて崩落が発生したと判定する判定部とを備えたことを要旨とする。
【００１０】
第２の態様に係る発明は、第１の態様に係る発明において、前記時空間ガボールフィルタにより検知される二つの移動方向成分が互いに直交関係にあることを要旨とする。
【００１１】
第３の態様に係る発明は、第１又は第２の態様に係る発明において、前記時空間ガボールフィルタにより検知される移動方向の組を複数備え、前記算出部が、各移動方向の動きエネルギーが所定の閾値を超える前記時空間ガボールフィルタの組から算出される前記二次元速度の平均値をもって当該画素の前記二次元速度とすることを要旨とする。
【００１２】
第４の態様に係る発明は、第１から第３のいずれかの態様に係る発明において、更に、前記撮影部により撮影された映像から得られるフレーム間差分値を元の画像に重ね合わせて崩落領域を強調する強調処理部を備えたことを要旨とする。
【００１３】
第５の態様に係る発明は、第１から第４のいずれかの態様に係る発明において、前記判定部が、空間的に孤立している画素を排除するモルフォロジー処理を実施し、そのモルフォロジー処理画像を用いて崩落が発生したか否かを判定することを要旨とする。
【００１４】
また、上記目的を達成するため、第６の態様に係る発明は、崩落を検知する崩落検知方法であって、検知対象の監視映像を撮影する撮影ステップと、異なる二つの移動方向に対して強く応答する二つの時空間ガボールフィルタを用いて、前記二つの移動方向毎に動きエネルギーを最大とする速度を、前記撮影ステップで撮影された映像内の各画素の二次元速度の当該方向への正射影成分とみなして二次元速度を算出する算出ステップと、前記二つの移動方向毎の動きエネルギーの最大値が所定の閾値以上であり、且つ、前記二次元速度が所定の範囲内にある場合、当該画素の箇所にて崩落が発生したと判定する判定ステップとを備えたことを要旨とする。
【００１５】
第７の態様に係る発明は、第６の態様に係る発明において、前記時空間ガボールフィルタにより検知される二つの移動方向成分が互いに直交関係にあることを要旨とする。
【００１６】
第８の態様に係る発明は、第６又は第７の態様に係る発明において、前記時空間ガボールフィルタにより検知される移動方向の組を複数備え、前記算出ステップで、各移動方向の動きエネルギーが所定の閾値を超える前記時空間ガボールフィルタの組から算出される前記二次元速度の平均値をもって当該画素の前記二次元速度とすることを要旨とする。
【００１７】
第９の態様に係る発明は、第６から第８のいずれかの態様に係る発明において、更に、前記撮影ステップで撮影された映像から得られるフレーム間差分値を元の画像に重ね合わせて崩落領域を強調する強調処理ステップを備えたことを要旨とする。
【００１８】
第１０の態様に係る発明は、第６から第９のいずれかの態様に係る発明において、前記判定ステップで、空間的に孤立している画素を排除するモルフォロジー処理を実施し、そのモルフォロジー処理画像を用いて崩落が発生したか否かを判定することを要旨とする。
【発明の効果】
【００１９】
本発明によれば、検知対象である崩落を外乱現象と識別して正確に検知することのできる崩落検知システム及び崩落検知方法を提供することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施の形態における崩落検知システムの構成図である。
【図２】本発明の第１の実施の形態における崩落検知システムの動作を示すフローチャートである。
【図３】本発明の第１の実施の形態における速度ベクトル（ｖ）の説明図である。
【図４】本発明の第１の実施の形態における判定処理の一例を示すフローチャートである。
【図５】本発明の第１の実施の形態における速度ベクトル（ｖ）による識別の説明図である。
【図６】本発明の第２の実施の形態におけるフィルタペアの説明図である。
【図７】本発明の第２の実施の形態における崩落検知システムの動作を示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００２２】
（第１の実施の形態）
まず、本発明の概要を説明する。すなわち、本発明では、異なる二つの移動方向に対して強く応答する二つの時空間ガボールフィルタのセットを用い、この二つの移動方向毎に動きエネルギーを最大とする速度を、画面上の二次元速度の当該方向への正射影成分とみなして二次元速度を算出する。これにより、監視画面の各画素の速度である二次元ベクトル量（以下、「速度ベクトル」や「二次元速度」と記す）を求めることを特徴とする。そして、時空間ガボールフィルタに対する応答（動きエネルギー）が所定の閾値以上あり、且つ、速度ベクトルが小崩落として想定される範囲内にあるか否かを判定する。このようにすれば、時空間ガボールフィルタのセットにより検知された画面上の移動物体が小崩落であるかその他の外乱現象であるかを識別することが可能となる。
【００２３】
図１は、本発明の実施の形態における崩落検知システム１０の構成図である。この崩落検知システム１０は、崖崩れなどの崩落を映像により検知するシステムであって、機能的には、撮影部１１と、三次元データ作成部１２と、算出部１３と、判定部１４と、出力部１５と、記憶部１５とを備えている。撮影部１１は、検知対象の監視映像を撮影する。三次元データ作成部１２は、撮影部１１により撮影された映像を用いて二次元の画像×時間の三次元データを作成する。算出部１３は、異なる二つの移動方向に対して強く応答する二つの時空間ガボールフィルタを用いて、二つの移動方向毎に動きエネルギーを最大とする速度を、三次元データ作成部１２により作成された三次元データ（撮影部１１により撮影された映像）内の各画素の二次元速度の当該方向への正射影成分とみなして二次元速度を算出する。判定部１４は、二つの移動方向毎の動きエネルギーの最大値が所定の閾値以上であり、且つ、二次元速度が所定の範囲内にある場合、当該画素の箇所にて崩落が発生したと判定する。出力部１５は、判定部１４の判定結果を液晶ディスプレイ等に出力する。記憶部１６は、判定部１４の判定処理に用いられる各種パラメータ（動きエネルギーや速度ベクトル等）を記憶している。
【００２４】
図２は、本発明の実施の形態における崩落検知システム１０の動作を示すフローチャートである。以下、図２を用いて崩落検知システム１０の構成を動作とともに説明する。
【００２５】
まず、監視映像は、二次元の画像×時間の三次元データに変換され、その三次元データの時空間的な特徴抽出処理として時空間ガボールフィルタ処理が施される（ステップＳ１→Ｓ２→Ｓ３、Ｓ５）。時空間ガボールフィルタにより異なる二つの方向の速度成分を算出し（ステップＳ４、Ｓ６）、これをベクトル加算して二次元の速度ベクトルとして各画素の画面上の動きを捉え（ステップＳ７）、その結果を用いて小崩落の判定処理を実施する（ステップＳ８）。
【００２６】
時空間ガボールフィルタ処理は、入力画像の動きの特徴を捉える特徴抽出処理であり、具体的には、入力画像（Ｉ）と線形フィルタ（ｇφ）で畳み込み演算（＊で表す）を施し、反応強度（ｒφ）から動きエネルギー（Ｅ）を得るものである。
【数１】
0005222909.tif 000002
【００２７】
なお、線形フィルタ（ｇφ）は以下の式で表される。
【数２】
0005222909.tif 000003
【００２８】
ここで、γは空間スケールの大きさ、σは空間平面に掛かるガウス関数の標準偏差、ｖは空間平面に掛かるガウス関数の中心位置を表す速度、λは空間的周期（１/λは空間周波数）、φは位相の補正、μtは時間方向に掛かるガウス関数の平均値、τは時間方向に掛かるガウス関数の標準偏差、θはフィルタの空間的方向を表す。θは崩落の方向に対応し、ｖは崩落の速度と対応する。反対方向に移動する場合、速度ｖは負の値となる。線形フィルタは、方向（θ）と速度（ｖ）と周期（λ）のパラメータで構成されている。例えば、4×4pixel程度の下向きにフレーム毎に３ピクセル程度移動する崩落の検知を目的とする場合には、θ=0°（下向き）、v =3pixel/frame、λ=8pixelのような設定が適当である。無論、これ以外の値をパラメータとすることも可能であり、パラメータを変化させることで検知特性を変えることができる。
【００２９】
異なる二つの方向の速度成分を求めるとは、二方向（θ1、θ2）に対して、各方向でそれぞれ動きエネルギー（Ｅ1、Ｅ2）を最大とする速度（ｖ1、ｖ2）を求めることである。図３は、二つの方向でそれぞれ求まった速度（ｖ1、ｖ2）と二次元の速度ベクトル（ｖ）の関係を表したものである。この図に示すように、速度（ｖ1、ｖ2）は、速度ベクトル（ｖ）を各方向（θ1、θ2）に対して正射影した値となる。二つの方向の単位ベクトルをｅ1、ｅ2と置くと、二次元速度ベクトルは以下のように求まる。
【００３０】
v＝((v 1- v 2cos（Δθ))e 1＋(v 2- v 1cos（Δθ)) e2) / (1- cos2(Δθ))
ただし、Δθ=θ1 - θ2
なお、二次元の速度ベクトルは、任意の異なる二つの移動方向の速度成分が求まれば算出可能である。二つの移動方向が互いに直交関係にあれば、速度ベクトル（ｖ）は以下の式に簡略化することができる。
【００３１】
v＝v 1e 1＋v 2e2
図４は、判定部１４の判定処理の一例を示すフローチャートである。まず、動きエネルギー（Ｅ1、Ｅ2）が予め定められた閾値を超えるか否かをもって、当該箇所に移動物体があるか否かを判定する（ステップＳ１１→Ｓ１２）。すなわち、動きエネルギー（Ｅ1、Ｅ2）が予め定められた閾値を超える場合は移動物体があると判定し、一方、動きエネルギー（Ｅ1、Ｅ2）が予め定められた閾値を超えない場合は移動物体がないと判定する（ステップＳ１３）。次いで、速度ベクトル（ｖ）が予め想定される範囲内にあるか否かをもって、検知対象である小崩落であるか否かを判定する（ステップＳ１４）。すなわち、速度ベクトル（ｖ）が予め想定される範囲内にある場合は小崩落であると判定し（ステップＳ１６）、一方、速度ベクトル（ｖ）が予め想定される範囲内にない場合は虫の飛翔などの外乱現象であると判定する（ステップＳ１５）。
【００３２】
図５は、速度ベクトル（ｖ）による識別を説明するための図である。この図に示すように、監視対象斜面２１と監視条件（撮影条件）が決まれば、その中で崩落として想定される速度ベクトルは一定の範囲２２に限定される。そこで、判定部１４は、動きエネルギー（Ｅ1、Ｅ2）により移動物体と認識された場所において、想定される範囲２２内に速度ベクトル（ｖ）が存在する場合、その移動物体は小崩落であると判定する。一方、想定される範囲２２外に速度ベクトル（ｖ´）が存在する場合、その移動物体は虫の飛翔などの外乱現象であると判定する。
【００３３】
以上のように、本発明の第１の実施の形態における崩落検知システム１０によれば、検知対象である崩落を外乱現象と識別して正確に検知することができる。すなわち、崖崩れや地すべり等をその前兆現象段階から虫の飛翔のような外乱現象と識別して自動検知できるようになるため、災害復旧活動現場その他、土砂災害危険箇所における作業の安全確保（災害の未然の防止）が容易になる。これらの自動検知システムでは誤報が問題となるが、本発明は外乱現象との識別における課題を解決するものであり、実用性の向上に寄与するものである。防災システムの一機能として、崩落発生の判定結果から監視センタや防災責任者へアラームやメール配信等の警報を自動発信する機能と組み合わせることで土砂災害監視における早期発見が可能になる。
【００３４】
なお、判定部１４は、空間的に孤立している画素を排除するモルフォロジー処理を実施し、そのモルフォロジー処理画像を用いて崩落が発生したか否かを判定してもよい。時空間ガボールフィルタ処理（動きエネルギー（Ｅ1、Ｅ2））において、必ずしもノイズを完全に除去できるわけではないが、非特許文献１に開示されている通り、時空間ガボールフィルタ処理はノイズとの識別性能に優れており、一般的な孤立点除去手法であるモルフォロジー処理を組み合わせることで、さらに精度を向上させることも可能である。
【００３５】
また、ここでは監視映像をそのまま利用することとしているが、本発明はこれに限定されるものではない。すなわち、撮影部１１により撮影された映像から得られるフレーム間差分値を元の画像に重ね合わせて崩落領域を強調する強調処理部を備えてもよい。具体的に説明すると、下記の式のように、各画素値の時間差分絶対値を取り、元画像に足し合わせることで、崩落に伴う僅かな変化を強調することができる。
【数３】
0005222909.tif 000004
【００３６】
ここで、Ｉ´ｔは強調後の時刻ｔのフレームの画素値、Ｉｔは時刻ｔのフレームの画素値、Ｉｔ-１は時刻ｔ-１のフレームの画素値、αは強調の程度を示す係数、ｎは指数である。ノイズによる変化も強調されるため、過度にノイズが多い監視映像には適さないが、時空間ガボールフィルタはノイズとの識別性能が優れているため、コントラストが小さい映像で感度を上げるには有効である。
【００３７】
（第２の実施の形態）
第２の実施の形態では、速度ベクトル（ｖ）を算出するに際して、時空間ガボールフィルタのパラメータの組（θ1、θ2）を複数の方向の組み合わせで並列実施し、その結果の平均値に置き換える。すなわち、時空間ガボールフィルタにより検知される移動方向の組を複数備え、算出部１３は、各移動方向の動きエネルギーが所定の閾値を超える時空間ガボールフィルタの組から算出される二次元速度の平均値をもって当該画素の二次元速度とする。
【００３８】
図６は、直交するパラメータ（θ1、θ2）を２２．５°毎にずらした４組のフィルタ（以下「フィルタペア」と呼ぶ）を用いた場合を示し、図７は、この場合の崩落検知システム１０の動作を示している。無論、フィルタペアの数は４組に限定されるものではない。本実施の形態は、基本的には、複数フィルタペアで求められた速度ベクトルを統合する平均処理（Ｓ３１）が前記第１の実施の形態に加わるものである。ただし、この平均処理では動きエネルギー閾値による識別を行い、有効な速度ベクトルのみで平均処理を行う点（動きエネルギー閾値処理を行うプロセス）が単純な平均処理と異なる。動きエネルギー閾値は、記憶部１６に予め記憶されている。判定部１４は、平均処理する行程で動きエネルギーが閾値を超えるフィルタペアが存在しない場合、当該箇所には移動物体がないと判定する（ステップＳ３２）。
【００３９】
崩落物、あるいは外乱現象の形状その他空間的な特徴によっては、時空間ガボールフィルタへの応答に方向依存性がある。複数のフィルタペアを用いて平均化することにより、これらの依存性の影響を軽減することが可能となる。また、時空間ガボールフィルタによる各方向の速度（ｖ1、ｖ2）算出においては、実用上、離散的な代表値の計算から求めることとなり、丸め誤差等を避けることは困難であるが、この平均化処理により丸め誤差等の影響を低減することも可能となる。他方、必要以上にフィルタを用意することは、計算コスト等の観点からは不利となる。しかしながら、計算機の能力に応じてフィルタペアを増やすことで、より精度の良い速度ベクトルの算出、延いては、小崩落と外乱現象の識別精度の向上が可能となる。
【００４０】
以上のように、本発明の第２の実施の形態における崩落検知システム１０によれば、複数フィルタペアで求められた速度ベクトルを統合する平均処理を行うようにしているので、より精度良く検知対象である崩落を外乱現象と識別することができる。
【００４１】
なお、本発明は、土砂災害前兆現象と同様の背景環境と同系色の微小体の移動検知全般に対しても有効である。例えば、照明が利用できない低コントラスト環境での生物の監視などへの適用も可能である。
【符号の説明】
【００４２】
１０…崩落検知システム
１１…撮影部
１２…三次元データ作成部
１３…算出部
１４…判定部
１５…出力部
１６…記憶部
【図１】
0005222909.tif 000005
【図２】
0005222909.tif 000006
【図３】
0005222909.tif 000007
【図４】
0005222909.tif 000008
【図５】
0005222909.tif 000009
【図６】
0005222909.tif 000010
【図７】
0005222909.tif 000011