(57)【要約】地形の変状を撮像した背景画像の画素値を用いて算出したヒストグラムと、地形の変状を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、入力画像と類似する背景画像を選択し、選択した背景画像の画素値と入力画像の画素値との差分に基づいて差分スコアを算出する、差分スコア算出部２と、背景画像に設定した画素同士の画素値の大小関係と、入力画像に設定した画素同士の画素値の大小関係とを比べ、入力画像の大小関係が背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する、反転スコア算出部３と、差分スコアと反転スコアとを統合して、地形が変状したか否かを表す変状スコアを算出する、変状スコア算出部４と、を有する変状検出装置１である。
2020095644.tif 000002
【特許請求の範囲】
【請求項１】
あらかじめ地形を撮像した複数の背景画像それぞれにおいて、前記背景画像の画素値を用いて算出したヒストグラムと、前記地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、前記入力画像と類似する前記背景画像を選択し、選択した前記背景画像の画素値と前記入力画像の画素値との差分に基づいて差分スコアを算出する、差分スコア算出手段と、
前記背景画像に設定した画素同士の画素値の大小関係と、前記入力画像に設定した前記画素同士の画素値の大小関係とを比べ、前記入力画像の大小関係が前記背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する、反転スコア算出手段と、
前記差分スコアと前記反転スコアとを統合して、前記地形が変状したか否かを表す変状スコアを算出する、変状スコア算出手段と、
を有することを特徴とする変状検出装置。
【請求項２】
請求項１に記載の変状検出装置であって、
前記入力画像を入力し、予測モデルを用いて、前記地形が変状したか否かを表す予測スコアを出力する、予測スコア出力手段と、を有し、
前記変状スコア算出手段は、前記差分スコアと前記反転スコアと前記予測スコアとを用いて、前記変状スコアを算出する
ことを特徴とする変状検出装置。
【請求項３】
請求項２に記載の変状検出装置であって、
前記地形の変状が撮像されている前記背景画像、又は前記地形に変状がない前記背景画像、又はそれら両方を入力とし学習をし、前記入力画像に対して、前記地形が変状しているか否かを予測する前記予測モデルを生成する、学習部を更に有する
ことを特徴とする変状検出装置。
【請求項４】
請求項２又は３に記載の変状検出装置であって、
前記変状スコア算出手段は、前記差分スコア、前記反転スコア、前記予測スコアそれぞれに重み係数を乗算し、乗算した値を加算して変状スコアを算出する
ことを特徴とする変状検出装置。
【請求項５】
請求項１から４のいずれか一つに記載の変状検出装置であって、
前記地形を撮像する撮像装置が振動している場合、前記振動をしている時間に撮像した前記背景画像又は前記入力画像を除外する処理をする、前処理手段
を有することを特徴とする変状検出装置。
【請求項６】
請求項５に記載の変状検出装置であって、
前記前処理手段は、前記地形を撮像した前記背景画像又は前記入力画像に、前記地形の変状と別に遮蔽物を検出した場合、前記遮蔽物がある時間に撮像した前記背景画像又は前記入力画像を除外する処理をする手段を更に有する、
ことを特徴とする変状検出装置。
【請求項７】
請求項２から４のいずれか一つに記載の変状検出装置であって、
前記差分スコア、又は前記反転スコア、又は前記予測スコア、又は前記変状スコア、又は前記地形の変状を表した変状画像、又はそれらのうち二つ以上を、出力装置に出力するための出力情報を生成する、出力情報生成手段
を有することを特徴とする変状検出装置。
【請求項８】
（ａ）あらかじめ地形を撮像した複数の背景画像それぞれにおいて、前記背景画像の画素値を用いて算出したヒストグラムと、前記地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、前記入力画像と類似する前記背景画像を選択し、選択した前記背景画像の画素値と前記入力画像の画素値との差分に基づいて差分スコアを算出し、
（ｂ）前記背景画像に設定した画素同士の画素値の大小関係と、前記入力画像に設定した前記画素同士の画素値の大小関係とを比べ、前記入力画像の大小関係が前記背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出し、
（ｃ）前記差分スコアと前記反転スコアとを統合して、前記地形が変状したか否かを表す変状スコアを算出する
ことを特徴とする変状検出方法。
【請求項９】
請求項８に記載の変状検出方法であって、
（ｄ）前記地形が変状しているか否かを予測する予測モデルに、前記入力画像を入力し、前記地形が変状したか否かを表す予測スコアを出力し、
前記（ｃ）のステップにおいて、前記差分スコアと前記反転スコアと前記予測スコアとを統合して、前記変状スコアを算出する
ことを特徴とする変状検出方法。
【請求項１０】
請求項９に記載の変状検出方法であって、
（ｇ）前記地形の変状が撮像されている前記背景画像、又は前記地形に変状がない前記背景画像、又はそれら両方を入力とし学習をし、前記入力画像に対して、前記地形が変状しているか否かを予測する前記予測モデルを生成する
ことを特徴とする変状検出方法。
【請求項１１】
請求項９又は１０に記載の変状検出方法であって、
前記（ｃ）において、前記差分スコア、前記反転スコア、前記予測スコアそれぞれに重み係数を乗算し、乗算した値を加算して変状スコアを算出する
ことを特徴とする変状検出方法。
【請求項１２】
請求項８から１１のいずれか一つに記載の変状検出方法であって、
（ｅ）前記地形を撮像する撮像装置が振動している場合、前記振動をしている時間に撮像した前記背景画像又は前記入力画像を除外する処理をする
ことを特徴とする変状検出方法。
【請求項１３】
請求項１２のいずれか一つに記載の変状検出方法であって、
前記（ｅ）において、前記地形を撮像した前記背景画像又は前記入力画像に、前記地形の変状と別に遮蔽物を検出した場合、前記遮蔽物がある時間に撮像した前記背景画像又は前記入力画像を除外する
ことを特徴とする変状検出方法。
【請求項１４】
請求項９から１１のいずれか一つに記載の変状検出方法であって、
（ｆ）前記差分スコア、又は前記反転スコア、又は前記予測スコア、又は前記変状スコア、又は前記地形の変状を表した変状画像、又はそれらのうち二つ以上を、出力装置に出力するための出力情報を生成する
ことを特徴とする変状検出方法。
【請求項１５】
コンピュータに、
（ａ）あらかじめ地形を撮像した複数の背景画像それぞれにおいて、前記背景画像の画素値を用いて算出したヒストグラムと、前記地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、前記入力画像と類似する前記背景画像を選択し、選択した前記背景画像の画素値と前記入力画像の画素値との差分に基づいて差分スコアを算出する、ステップと、
（ｂ）前記背景画像に設定した画素同士の画素値の大小関係と、前記入力画像に設定した前記画素同士の画素値の大小関係とを比べ、前記入力画像の大小関係が前記背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する、ステップと、
（ｃ）前記差分スコアと前記反転スコアとを統合して、前記地形が変状したか否かを表す変状スコアを算出する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
【請求項１６】
請求項１５に記載のコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
（ｄ）前記地形が変状しているか否かを予測する予測モデルに、前記入力画像を入力し、前記地形が変状したか否かを表す予測スコアを出力する、ステップを実行させ、
前記（ｃ）のステップにおいて、前記差分スコアと前記反転スコアと前記予測スコアとを統合して、前記変状スコアを算出する
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１７】
請求項１６に記載のコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
（ｇ）前記地形の変状が撮像されている前記背景画像、又は前記地形に変状がない前記背景画像、又はそれら両方を入力とし学習をし、前記入力画像に対して、前記地形が変状しているか否かを予測する前記予測モデルを生成する、ステップを実行させる
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１８】
請求項１６又は１７に記載のコンピュータ読み取り可能な記録媒体であって、
前記（ｃ）のステップにおいて、前記差分スコア、前記反転スコア、前記予測スコアそれぞれに重み係数を乗算し、乗算した値を加算して変状スコアを算出する
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１９】
付記１５から１８のいずれか一つに記載のコンピュータ読み取り可能な記録媒体であって、
（ｅ）前記地形を撮像する撮像装置が振動している場合、前記振動をしている時間に撮像した前記背景画像又は前記入力画像を除外する処理をする、ステップ
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
【請求項２０】
請求項１９に記載のプログラムであって、
前記（ｅ）のステップにおいて、前記地形を撮像した前記背景画像又は前記入力画像に、前記地形の変状と別に遮蔽物を検出した場合、前記遮蔽物がある時間に撮像した前記背景画像又は前記入力画像を除外する処理を更に有する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項２１】
請求項１６から１８のいずれか一つに記載のプログラムであって、
（ｆ）前記差分スコア、又は前記反転スコア、又は前記予測スコア、又は前記変状スコア、又は前記地形の変状を表した変状画像、又はそれらのうち二つ以上を、出力装置に出力するための出力情報を生成する、ステップ
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、変状を検出する変状検出装置、変状検出方法に関し、更には、これらを実現するためのプログラムを記録したしているコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
近年、自然災害に対する警戒システムの一環として、監視カメラが撮像した地形の画像を用いて、自然災害の前兆となる、地形の変状を検出する技術が提案されている。例えば、画像解析処理を用いて、土石流などの地形の変状を検出する技術が提案されている。【０００３】
関連する技術として、非特許文献１には、画像解析処理としてフレーム間輝度差分方式、オプティカルフロー方式、動画パターン検出方式を用いた土石流検出システムが開示されている。また、関連する技術して、非特許文献２には、動画パターン検出方式を用いた土石流検出システムが開示されている。【０００４】
ここで、フレーム間輝度差分方式とは、現在の画像（ｎフレーム目の画像）と、現在より以前の画像（ｎ−１フレーム目の画像）とを用いて、同じ位置の画素の輝度の差分を算出し、差分が閾値以上となる領域を検出する方式である。また、オプティカルフロー方式とは、複数の連続した画像（動画像）を用いて、物体の動きをベクトルで表す方式である。更に、動画パターン方式とは、画像の各ピクセルの変化をグループ化し一つの物体として認識し、その移動量と方向から、物体が移動したか否かを判断する方式である。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】本田健、外３名、「映像解析手法を用いた土石流検知システムの現地実証試験」砂防学会研究発表会概要集、２００６年５月２２日、ｐ．３８８-３８９
【非特許文献２】木下篤彦、外５名、「監視カメラの画像判読技術を用いた土石流の監視に関する検討」砂防学会研究発表会概要集、２０１１年５月１８日、ｐ．５３４-５３５
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１には、上述したフレーム間輝度差分方式、又はオプティカルフロー方式、又は動画パターン検出方式を採用した土石流検出システムを用いて、土石流による地形の変状を検出する場合、誤検出が多いことが開示されている。【０００７】
また、非特許文献２には、フレーム間輝度差分方式、オプティカルフロー方式より誤検出が少ない動画パターン方式を採用した土石流検出システムを用いているが、実際の運用において土石流を検出するためには、更に精度を向上させる必要があることが開示されている。【０００８】
更に、非特許文献１、２には、土石流に特化した画像解析処理について開示がされているが、崩落、落石、地滑り、陥没などにより発生する地形の変状を検出することについては、なんら開示がされていない。【０００９】
本発明の目的の一例は、画像に撮像された地形の変状を精度よく検出する変状検出装置、変状検出方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明の一側面における変状検出装置は、
あらかじめ地形を撮像した複数の背景画像それぞれにおいて、前記背景画像の画素値を用いて算出したヒストグラムと、前記地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、前記入力画像と類似する前記背景画像を選択し、選択した前記背景画像の画素値と前記入力画像の画素値との差分に基づいて差分スコアを算出する、差分スコア算出部と、
前記背景画像に設定した画素同士の画素値の大小関係と、前記入力画像に設定した前記画素同士の画素値の大小関係とを比べ、前記入力画像の大小関係が前記背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する、反転スコア算出部と、 
前記差分スコアと前記反転スコアとを統合して、前記地形が変状したか否かを表す変状スコアを算出する、変状スコア算出部と、
を有することを特徴とする。【００１１】
また、上記目的を達成するため、本発明の一側面における変状検出方法は、
（ａ）あらかじめ地形を撮像した複数の背景画像それぞれにおいて、前記背景画像の画素値を用いて算出したヒストグラムと、前記地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、前記入力画像と類似する前記背景画像を選択し、選択した前記背景画像の画素値と前記入力画像の画素値との差分に基づいて差分スコアを算出する、ステップと、
（ｂ）前記背景画像に設定した画素同士の画素値の大小関係と、前記入力画像に設定した前記画素同士の画素値の大小関係とを比べ、前記入力画像の大小関係が前記背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する、ステップと、
（ｃ）前記差分スコアと前記反転スコアとを統合して、前記地形が変状したか否かを表す変状スコアを算出する、ステップと、
を有することを特徴とする。【００１２】
更に、上記目的を達成するため、本発明の一側面におけるプログラムをコンピュータ読み取り可能な記録媒体は、
コンピュータに、
（ａ）あらかじめ地形を撮像した複数の背景画像それぞれにおいて、前記背景画像の画素値を用いて算出したヒストグラムと、前記地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、前記入力画像と類似する前記背景画像を選択し、選択した前記背景画像の画素値と前記入力画像の画素値との差分に基づいて差分スコアを算出する、ステップと、
（ｂ）前記背景画像に設定した画素同士の画素値の大小関係と、前記入力画像に設定した前記画素同士の画素値の大小関係とを比べ、前記入力画像の大小関係が前記背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する、ステップと、
（ｃ）前記差分スコアと前記反転スコアとを統合して、前記地形が変状したか否かを表す変状スコアを算出する、ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。
【発明の効果】
【００１３】
以上のように本発明によれば、画像に撮像された地形の変状を精度よく検出することができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、変状検出装置の一例を示す図である。
【図２】図２は、変状検出装置を有するシステムの一例を示す図である。
【図３】図３は、差分スコア算出部の準備フェーズを説明するための図である。
【図４】図４は、差分スコア算出部の解析フェーズの説明をするための図である。
【図５】図５は、リーチを算出する場合に設定する方向と距離とを示す図である。
【図６】図６は、起点の設定について説明をするための図である。
【図７】図７は、反転スコアモデルのデータ構造の一例を示す図である。
【図８】図８は、反転スコア算出部の解析フェーズの説明をするための図である。
【図９】図９は、予測スコア出力部と学習部との説明をするための図である。
【図１０】図１０は、変状検出装置の動作の一例を示すフロー図である。
【図１１】図１１は、差分スコア算出部の動作の一例を示すフロー図である。
【図１２】図１２は、反転スコア算出部の動作の一例を示すフロー図である。
【図１３】図１３は、変状検出装置を実現するコンピュータの一例を示す図である。
【発明を実施するための形態】
【００１５】
（実施の形態）
以下、本発明の実施の形態について、図１から図１３を参照しながら説明する。
【００１６】
［装置構成］
最初に、図１を用いて、本実施の形態における変状検出装置１の構成について説明する。図１は、変状検出装置の一例を示す図である。
【００１７】
図１に示す変状検出装置１は、画像解析処理を用いて、画像に撮像された地形の変状を検出する精度を向上させる装置である。また、図１に示すように、変状検出装置１は、差分スコア算出部２と、反転スコア算出部３と、変状スコア算出部４とを有する。
【００１８】
このうち、差分スコア算出部２は、あらかじめ地形を撮像した複数の背景画像それぞれにおいて、背景画像の画素値を用いて算出したヒストグラムと、地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、入力画像と類似する背景画像を選択し、選択した背景画像の画素値と入力画像の画素値との差分に基づいて差分スコアを算出する。
【００１９】
反転スコア算出部３は、背景画像に設定した画素同士の画素値の大小関係と、入力画像に設定した画素同士の画素値の大小関係とを比べ、入力画像の大小関係が背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する。
【００２０】
変状スコア算出部４は、差分スコアと反転スコアとを統合して、地形が変状したか否かを表す変状スコアを算出する。
【００２１】
このように、本実施の形態においては、異なる画像解析処理を組み合わせて、画像解析処理ごとにスコアを算出し、算出したスコアに基づいて地形の変状を検出する。そのため、画像解析処理を用いて、自然災害の前兆となる、画像に撮像された地形の変状を精度よく検出することができる。その結果、誤検出を低減することができる。
【００２２】
また、本実施の形態においては、土石流だけでなく、崩落、落石、地滑り、陥没などの自然災害による地形の変状も、画像に撮像された地形の変状から検出できる。
【００２３】
なお、画像解析処理の組み合わせは、利用シーンに合わせて選択することが望ましい。その理由は、苦手分野を補完し合うような画像解析処理を組み合わせることで、地形の変状を更に精度よく検出できるからである。
【００２４】
［システム構成］
続いて、図２を用いて、本実施の形態における変状検出装置１の構成をより具体的に説明する。図２は、変状検出装置を有するシステムの一例を示す図である。
【００２５】
図２に示すように、本実施の形態における変状検出装置１を有するシステム２０は、変状検出装置１に加えて、撮像装置２１と、出力装置２２とを有する。また、変状検出装置１は、ネットワークなどに接続されている。更に、変状検出装置１は、図１に示した差分スコア算出部２、反転スコア算出部３、変状スコア算出部４に加えて、前処理部２３、予測スコア出力部２４、情報取得部２５、出力情報生成部２６などを有する。
【００２６】
撮像装置２１は、ネットワークを介して変状検出装置１と接続され、撮像対象の地形を含む画像を撮像し、撮像した画像に対応する情報を変状検出装置１に送信する。具体的には、撮像装置２１は、所定周期において、撮像対象の地形の画像を含む静止画像又は動画像などを、有線又は無線などの通信を用いて、変状検出装置１へ送信する。なお、異なる場所に複数の撮像装置２１を用意し、複数の異なる撮像対象の地形の画像に対して巡回監視をしてもよい。また、撮像装置２１は、例えば、ビデオレコーダなどでもよい。その場合、ビデオレコーダなどが撮像した、録画映像（静止画像又は動画像）を、変状検出装置１に送信してもよい。
【００２７】
出力装置２２は、出力情報生成部２６から出力される出力情報を、ネットワークを介して取得し、その出力情報に基づいて生成した画像（静止画像又は動画像）及び音声などを出力する。出力装置２２は、例えば、液晶、有機ＥＬ（Electro Luminescence）、ＣＲＴ（Cathode Ray Tube）を用いた画像表示装置、更にはスピーカなどの音声出力装置などを有している。なお、出力装置２２は、プリンタなどの印刷装置でもよい。
【００２８】
前処理部２３は、入力画像に対して、（１）撮像装置２１の振動を検出する処理、（２）画像に撮像された遮蔽物を検出する処理、（３）撮像した画像の撮像範囲のずれを補正する処理などを実行する。（１）（２）（３）の処理について具体的に説明する。
【００２９】
（１）の処理において、前処理部２３は、例えば、パン、チルト、ズームなどの制御、地震、風などの影響により、撮像装置２１自身が振動しているか否かを検出する。具体的には、撮像装置２１の振動検出には、オプティカルフロー方式により算出したフローベクトル群を用いて、画像上での移動方向によるヒストグラムを作成し、ある方向の割合があらかじめ設定された閾値を超えた場合、撮像装置２１が振動していると判定する。
【００３０】
オプティカルフロー方式については、例えば、文献「Bruce D. Lucas, and Takeo Kanade, “An iterative image registration technique with an application to stereo vision” IJCAI'81 Proceedings of the 7th international joint conference on Artificial intelligence - Volume 2 Pages 674-679, Vancouver, BC, Canada - August 24 - 28, 1981.」などに記載されている。
【００３１】
続いて、（１）の処理において、前処理部２３は、地形を撮像する撮像装置２１が振動している場合、振動をしている時間に撮像した画像（背景画像又は入力画像）を除外する。このように、誤検出の原因となる画像を除外することにより、誤検出を低減できる。
【００３２】
（２）の処理において、前処理部２３は、まず、地形を撮像した画像（背景画像又は入力画像）から、地形の変状と別の遮蔽物が撮像された画像を検出する。遮蔽物とは、例えば、霧、煙などである。続いて、（２）の処理において、前処理部２３は、地形を撮像した画像に、地形の変状と別に遮蔽物が撮像された画像を検出した場合、遮蔽物が撮像された時間に撮像した画像を除外する。このように、誤検出の原因となる画像を除外することにより、誤検出を低減できる。
【００３３】
遮蔽物の検出は、局所的な特徴を用いて、遮蔽物が撮像されているか否かを判定する。例えば、霧、煙がかかった場合、画像に撮像された霧、煙に相当する遮蔽領域には、（ａ）コントラストの低下、（ｂ）ぼけの発生（高周波成分の消滅など）、（ｃ）彩度の低下などが発生する。
【００３４】
そこで、（２）の処理において、前処理部２３は、まず、撮像した画像を、複数の局所領域に分解し、それぞれの局所領域に対して、（ａ）（ｂ）（ｃ）に対応する特徴を表す指標値を算出する。例えば、（ａ）の指標値としてはコントラストレベル（単位：輝度値）を算出し、（ｂ）の指標値としては高周波成分数（単位：画素数）を算出し、（ｃ）の指標としては彩度（単位：輝度値）を算出する。
【００３５】
（ａ）コントラストレベルを表す指標値は、局所領域内の最大輝度値（最も明るい場所）と最小輝度値（最も暗い場所）との差とする。（ｂ）ぼけの発生を表す指標値は、局所領域に対してエッジ抽出処理を実行し、近傍の画素と比べて輝度の差が大きい画素を検出し、その検出した画素の数を高周波成分に対応する指標値とする。（ｃ）彩度を表す指標値は、色成分ＲＧＢ値のうち、最も値の大きい成分と、最も値の小さい成分との差とする。なお、差が小さいほど彩度は低くなる。
【００３６】
続いて、局所領域ごとに指標値を算出した後、前処理部２３は、算出した指標値と、あらかじめ設定した判定条件とを比較し、判定条件に合致する領域が検出された場合、検出された領域を遮蔽領域であると判定する。判定条件は、（ａ）（ｂ）（ｃ）の指標値を用いる場合、コントラストレベルに対する閾値、局所領域内の高周波成分に対応する画素数に対する閾値、彩度に対する閾値を有する。これらの閾値は、例えば、実験、シミュレーションなどにより決定する。
【００３７】
（３）の処理において、前処理部２３は、撮像装置２１を用いて撮像した入力画像が、基準位置画像（プリセット画像）からどれくらいずれているのか、ずれ量（距離と方向）を推定する。入力画像とプリセット画像とのずれは、例えば、パン、チルト、ズームなどの制御、レンズの屈折などの影響により発生する。また、ずれ量の推定は、例えば、増分符号によるテンプレートマッチング処理を用いて、入力画像とプリセット画像とのずれ量を推定する。
【００３８】
具体的には、前処理部２３は、まず、基準となるプリセット画像の増分符号を算出する。続いて、前処理部２３は、プリセット画像のランダムな位置に、大きさの異なる複数の領域を設定し、設定した領域それぞれを、位置ずれ量を推定するためのテンプレート領域とする。また、前処理部２３は、入力画像を取得した後、入力画像の増分符号を算出する。
【００３９】
続いて、前処理部２３は、テンプレート領域の増分符号と入力画像の増分符号とを用いて、増分符号の相違度が最も小さい、入力画像におけるテンプレート領域と同じ大きさの領域を検出する。その後、前処理部２３は、テンプレート領域と検出した領域との座標位置の差を算出してずれ量とする。
【００４０】
続いて、前処理部２３は、全てのテンプレート領域に対して、上述したようにずれ量を算出した後、全てのずれ量のなかから中央値となるずれ量を選択し、プリセット画像と入力画像とのずれ量とする。そして、前処理部２３は、推定したずれ量を用いて、入力画像のずれを補正する。
【００４１】
なお、増分符号については、例えば、文献「村瀬一郎，金子俊一，五十嵐悟，“増分符号相関法による画像照合*―光沢物体および不良照明条件に対するロバスト画像処理―” 精密工学会誌Vo1.66,No.2,2000, Pages 261-265, 1999-05-21」などに記載されている。
【００４２】
なお、（１）（２）（３）に示す処理を実行する順番は限定されない。また、前処理として、（１）、又は（２）、又は（３）、又は（１）（２）（３）のうち二つ以上を組み合わせて処理をしてもよい。
【００４３】
差分スコア算出部２の準備フェーズ（学習フェーズ）について、図３を用いて具体的に説明する。図３は、差分スコア算出部の準備フェーズを説明するための図である。
【００４４】
差分スコア算出部２は、準備フェーズにおいて、まず、図３に示すような複数の背景画像３１、３２、３３、３４を取得する。続いて、差分スコア算出部２は、取得した背景画像３１から３４それぞれについて、画素と当該画素ごとの画素値とを関連付けて、背景画像ヒストグラム集合３５を算出する。画素値は、例えば、画素ごとの輝度又は明度などを表す値である。
【００４５】
背景画像ヒストグラム集合３５は、背景画像３１から３４と、背景画像３１から３４を識別する「背景画像ＩＤ」と、背景画像３１から３４それぞれについて、画像内の同じ画素値の画素数を表す「画素値ごとの画素数」とが関連付けられ、差分スコアモデルとして、不図示の記憶部に記憶されている。「背景画像ＩＤ」には、例えば、背景画像３１から３４を識別するための識別子「１」「２」「３」「４」が記憶されている。「画素値ごとの画素数」には、例えば、「背景画像ＩＤ」が「１」の場合、背景画像３１内の同じ画素値の画素数を表す「ｂｒ１−１」「ｂｒ１−２」「ｂｒ１−３」「ｂｒ１−４」……「ｂｒ１−Ｎ」が記憶されている。画素値は、例えば、２５６段階で表し、０から２５５などとする。
【００４６】
次に、差分スコア算出部２の解析フェーズについて、図４を用いて具体的に説明する。図４は、差分スコア算出部の解析フェーズの説明をするための図である。
【００４７】
差分スコア算出部２は、解析フェーズにおいて、まず、図４に示すような入力画像４１を取得する。続いて、差分スコア算出部２は、入力画像４１の全ての画素ごとに、画素ごとの画素値に基づいて、図４に示すような画素値ヒストグラム４２を算出する。差分スコア算出部２は、例えば、入力画像４１内の同じ画素値の画素数を表す「ｂｒｉ−１」「ｂｒｉ−２」「ｂｒｉ−３」「ｂｒｉ−４」……「ｂｒｉ−Ｎ」を算出する。続いて、差分スコア算出部２は、背景画像ヒストグラム集合３５を取得する。
【００４８】
差分スコア算出部２は、背景画像ヒストグラム集合３５と画素値ヒストグラム４２とを用いて、背景画像ヒストグラム集合３５のなかから、画素値ヒストグラム４２に類似する背景画像ヒストグラム４３を選択する。その後、差分スコア算出部２は、背景画像ヒストグラム４３に対応する背景画像３２を選択する。
【００４９】
続いて、差分スコア算出部２は、選択した背景画像３２の画素と、入力画像４１の同じ位置にある画素とを用いて、画素値の差分を算出する。そして、差分スコア算出部２は、算出した差分と閾値Ｔｈ１とを比較し、差分が閾値Ｔｈ１以上である場合、その画素に前景を表す情報を関連付ける。また、差分スコア算出部２は、差分が閾値Ｔｈ１未満である場合、その画素には背景を表す情報（前景を表す情報以外の情報）を関連付ける。例えば、図４に示す画像４４のように画像を二値化する場合、背景（黒色）を表す情報を「０」とし、前景（白色）を示す情報を「２５５」とする。
【００５０】
続いて、差分スコア算出部２は、図４に示すように、画素ごとに差分スコアＳｃを算出し、画素と差分スコアＳｃ（「Ｓｃ−１」「Ｓｃ−２」「Ｓｃ−３」「Ｓｃ−４」……「Ｓｃ−Ｎ」）とを関連付け、差分スコア情報４５（差分スコアモデル）を生成し、不図示の記憶部に記憶する。ただし、差分スコアＳｃの算出は、上述した方法に限定されるものではない。なお、記憶部は、変状検出装置１内に設けてもよいし、変状検出装置１の外部に設けてもよい。
【００５１】
なお、上述したヒストグラムの算出においては、画素ごとに算出したが、あらかじめ設定した大きさの領域（複数の画素を有する領域）を背景画像それぞれの同じ位置に複数設定し、領域ごとにヒストグラムを算出してもよい。その場合、差分スコアは、領域ごとに算出される。
【００５２】
反転スコア算出部３の準備フェーズ（学習フェーズ）について具体的に説明する。反転スコア算出部３は、まず、複数の背景画像３１から３４を取得する。続いて、反転スコア算出部３は、背景画像３１から３４を用いてリーチを算出する。リーチは、起点ｐとなる画素と、起点ｐに対してあらかじめ設定された一つ以上の方向ごとに決定される終点ｑの画素とにより表される。すなわち、リーチは、画素値の差が画素値閾値（閾値Ｔｈ２）より大きい、又は小さい確率が、背景画像全体において確率閾値（閾値Ｔｈ３）以上となる点対を算出したものであり、起点ｐとなる画素と、起点ｐに対してあらかじめ設定された一つ以上の方向ごとに決定される終点ｑの画素とにより表される。
【００５３】
リーチの算出について説明する。図５は、リーチを算出する場合に設定する方向と距離とを示す図である。図５の例では、起点ｐを起点として、８方向（矢印）にｋ１、ｋ２、ｋ３、ｋ４、ｋ５、ｋ６、ｋ７、ｋ８が設定されている。また、図５に示した方向ｋ１からｋ８上の画素に対して設定した符号ｄ１、ｄ２、ｄ３、ｄ４、ｄ５、ｄ６、ｄ７は、起点ｐからの距離（画素の数）を示している。
【００５４】
リーチを算出する場合、反転スコア算出部３は、背景画像３１から３４それぞれの同じ位置に、所定順に、起点ｐを設定する。図６は、起点の設定について説明をするための図である。例えば、背景画像３１から３４それぞれが、図６に示すように、座標（０，０）から（ｍ，ｎ）に対応するＮ個の画素を有している場合、所定順に、Ｎ個の画素それぞれに起点ｐを設定する。言い換えれば、背景画像３１から３４それぞれの同じ位置の画素に、所定順に起点ｐを設定していく。
【００５５】
また、反転スコア算出部３は、起点ｐを設定するたびに、現在設定されている起点ｐに対する終点ｑを、方向ｋ１からｋ８それぞれについて決定する。
【００５６】
終点ｑを算出する場合、反転スコア算出部３は、まず、終点ｑの候補として、起点ｐに近い画素を選択する。画素の選択は、例えば、方向ｋ１からｋ８を所定順に選択し、選択した方向（図５に示す矢印）上の画素において、起点ｐに距離が近い画素から順に選択する。図５の例であれば、方向ｋ１が選択された場合、方向ｋ１上の距離ｄ１に対応する画素から順に、終点ｑの候補を選択する。
【００５７】
続いて、反転スコア算出部３は、背景画像３１から３４それぞれの選択された終点ｑの候補に対応する画素値を取得する。画素値は、例えば、画素ごとの輝度又は明度などを表す値である。そして、反転スコア算出部３は、背景画像３１から３４それぞれについて、現在設定されている起点ｐの画素値と、当該起点ｐに対応する終点ｑの候補の画素値との大小関係を算出する。
【００５８】
例えば、起点ｐを起点とする方向ｋ１上の距離ｄ１に対応する画素が終点ｑの候補として選択された場合、反転スコア算出部３は、数１に示すような、起点ｐの画素値と、起点ｐに対応する終点ｑの候補の画素値との大小関係を表す大小関係情報を生成する。
【００５９】
（数１）
ｐｖ１＞ｑｖ１＋Ｔｈ２
ｐｖ２＞ｑｖ２＋Ｔｈ２
ｐｖ３＋Ｔｈ２＜ｑｖ３
ｐｖ４＞ｑｖ４＋Ｔｈ２
ｐｖ１：背景画像３１の現在設定されている起点ｐの画素値
ｐｖ２：背景画像３２の現在設定されている起点ｐの画素値
ｐｖ３：背景画像３３の現在設定されている起点ｐの画素値
ｐｖ４：背景画像３４の現在設定されている起点ｐの画素値
ｑｖ１：背景画像３１の方向ｋ１、距離ｄ１に対応する終点ｑの候補となる画素値
ｑｖ２：背景画像３２の方向ｋ１、距離ｄ１に対応する終点ｑの候補となる画素値
ｑｖ３：背景画像３３の方向ｋ１、距離ｄ１に対応する終点ｑの候補となる画素値
ｑｖ４：背景画像３４の方向ｋ１、距離ｄ１に対応する終点ｑの候補となる画素値
Ｔｈ２：閾値
【００６０】
続いて、反転スコア算出部３は、終点ｑを決定するために、数２を用いて、確率Ｐｒを算出する。
【００６１】
（数２）
Ｐｒ＝ＭＲｎ／ＢＩｎ
Ｐｒ  ：現在設定されている起点ｐと終点ｑの候補の確率
ＭＲｎ：起点ｐの画素値が終点ｑの候補の画素値より大きい又は小さい背景画像の数
ＢＩｎ：背景画像の全数
【００６２】
数１の例では、背景画像３１から３４における、現在設定されている起点ｐの画素値と終点ｑ候補の画素値との大小関係は、ｐｖ１＞ｑｖ１＋Ｔｈ２、ｐｖ２＞ｑｖ２＋Ｔｈ２、ｐｖ３＋Ｔｈ２＜ｑｖ３、ｐｖ４＞ｑｖ４＋Ｔｈ２になっているので、起点ｐの画素値が終点ｑの候補の画素値＋閾値Ｔｈ２より大きい背景画像の数ＭＲｎ＝３となる。また、終点ｑの画素値が起点ｐの候補の画素値より＋閾値Ｔｈ２大きい背景画像の数ＭＲｎ＝１となる。また、背景画像３１から３４の全数は４個なので、ＢＩｎ＝４となる。従って、背景画像３１から３４における、現在設定されている起点ｐの画素値と終点ｑの候補の画素値とから算出される確率Ｐｒは３／４と１／４となる。しかし、確率Ｐｒは、ｐ＞ｑ＋Ｔｈ２、ｐ＋Ｔｈ２＜ｑそれぞれの確率のうち、大きい値の方を採用するため、３／４となる。
【００６３】
続いて、反転スコア算出部３は、算出した確率Ｐｒと閾値Ｔｈ３とを比較する。算出した確率Ｐｒが閾値Ｔｈ３以上である場合、反転スコア算出部３は、その終点ｑの候補を終点ｑに決定する。なお、閾値Ｔｈ３は、実験、シミュレーションなどにより決定する。
【００６４】
図７は、反転スコアモデルのデータ構造の一例を示す図である。図７に示すように、現在設定されている起点ｐの座標を表す情報（「起点ｐ（座標）」）と、現在選択されている方向（「方向」）と、現在選択されている距離（「終点ｑ（距離）」）と、現在設定されている起点ｐの画素値と終点ｑの画素値との大小関係を表す情報（「大小関係情報」：ｐ＞ｑ又はｐ＜ｑ）とを関連付けて、不図示の記憶部の反転スコアモデル７１に記憶する。
【００６５】
このように、反転スコア算出部３は、起点ｐに対する方向ごとに、上述した処理を実行して、起点ｐに対する方向ごとの終点ｑを決定し、起点ｐと終点ｑとの大小関係情報を方向ごとに算出して、記憶部の反転スコアモデル７１に記憶する。
【００６６】
統計的リーチ特徴法については、例えば、文献「岩田 健司，佐藤 雄隆，尾崎 竜史，坂上 勝彦，“統計的リーチ特徴法に基づくロバスト背景差分” 電子情報通信学会論文誌. D, 情報・システム = The IEICE transactions on information and systems (Japanese edition) 92(8), 1251-1259, 2009-08-01」などに記載されている。
【００６７】
次に、反転スコア算出部３の解析フェーズについて、図８を用いて具体的に説明する。図８は、反転スコア算出部の解析フェーズの説明をするための図である。
【００６８】
反転スコア算出部３は、解析フェーズにおいて、まず、図８に示すような入力画像４１を取得する。また、反転スコア算出部３は、反転スコアモデル７１を取得する。続いて、反転スコア算出部３は、入力画像４１と取得した反転スコアモデル７１とを比較して、大小関係が異なる画素を検出する。
【００６９】
具体的には、反転スコア算出部３は、反転スコアモデル７１の起点ｐの座標と、起点ｐの座標に対応する方向ごとの終点ｑの座標を用いて、入力画像４１における起点ｐと終点ｑそれぞれと同じ位置の画素を検出する。続いて、反転スコア算出部３は、入力画像４１における起点ｐと終点ｑそれぞれとに対応する画素の画素値を取得し、取得した画素値の差が閾値Ｔｈ４以上である場合、取得した画素値に基づいて、入力画像４１における、起点ｐと終点ｑそれぞれとの大小関係を算出する。
【００７０】
続いて、反転スコア算出部３は、方向ごとに、算出した入力画像４１の大小関係と、反転スコアモデル７１の大小関係とを比較し、あらかじめ設定した閾値Ｔｈ５以上、方向ごとの大小関係が一致している場合、その画素に背景を表す情報を設定する。また、反転スコア算出部３は、閾値Ｔｈ５未満しか、大小関係が一致していない場合、その画素に前景を表す情報を設定する。
【００７１】
例えば、入力画像４１の対象画素において、起点ｐと方向ｋ１からｋ８それぞれに対応する終点ｑの大小関係が、起点ｐと方向ｋ１、ｋ２、ｋ３、ｋ４、ｋ６、ｋ７の終点ｑにおいて、大小関係が反転スコアモデル７１と同じである場合、大小関係が一致する数は６個となる。そして、一致する数が閾値Ｔｈ５以上である場合、対象の画素を背景に設定する。例えば、図８の画像８１に示すように画像を二値化した場合、背景（黒色）を表す情報を「０」とし、前景（白色）を示す情報を「２５５」とする。
【００７２】
続いて、反転スコア算出部３は、図８に示すように、画素ごとに反転スコアＳｒを算出し、画素と反転スコアＳｒ（「Ｓｒ−１」「Ｓｒ−２」「Ｓｒ−３」「Ｓｒ−４」……「Ｓｒ−Ｎ」）とを関連付け、反転スコア情報８２（反転スコアモデル）を生成し、記憶部に記憶する。ただし、反転スコアの算出は、上述した方法に限定されるものではない。例えば、ガウシアンフィルタなどの平滑化フィルタを適用してもよい。なお、記憶部は、変状検出装置１内に設けてもよいし、変状検出装置１の外部に設けてもよい。
【００７３】
予測スコアを出力するための準備フェーズ（学習フェーズ）と解析フェーズとについて、図９を用いて具体的に説明する。図９は、予測スコア出力部と学習部との説明をするための図である。
【００７４】
学習部９１は、準備フェーズにおいて、地形の変状が撮像されている背景画像、又は地形に変状がない背景画像、又はそれら両方を入力して学習をし、入力画像に対して、地形が変状しているか否かを予測する予測モデルを生成させる。
【００７５】
具体的には、学習部９１は、準備フェーズにおいて、まず、撮像した土石流、崩落、落石、地滑り、陥没などの事象を撮像した複数の背景画像を正解学習データとして、学習部９１へ入力し、機械学習をさせて、予測モデルを生成する。又は、学習部９１は、準備フェーズにおいて、事象が発生していない複数の背景画像を不正解学習データとして、学習部９１へ入力し、機械学習をさせて、予測モデルを生成する。又は、学習部９１は、上述した正解学習データと不正解学習データとを学習部９１へ入力し、機械学習をさせて、予測モデルを生成する。なお、学習部９１は、例えば、分類、回帰、クラスタリングなどの手法を用いて機械学習をして、予測モデルを生成する。
【００７６】
予測スコア出力部２４は、解析フェーズにおいて、入力画像と、予測モデルとを用いて、地形が変状したか否かを表す予測スコアを出力する。具体的には、予測スコア出力部２４は、入力画像を取得し、取得した入力画像の画素又は領域ごとに、学習部９１の予測モデルを用いて、事象発生の有無を表す予測スコアを出力する。また、予測スコアは、例えば、画素ごとに０から２５５の範囲の整数値などとする。
【００７７】
なお、予測スコア出力部２４は、ルールベースの予測モデルを用いて、予測スコアを算出してもよい。
【００７８】
変状スコア算出部４は、差分スコアＳｃと反転スコアＳｒとを統合して、地形が変状したか否かを表す変状スコアＳｔを算出する。又は、変状スコア算出部４は、差分スコアＳｃと反転スコアＳｒと予測スコアＳｐとを統合して、変状スコアＳｔを算出する。
【００７９】
具体的には、変状スコア算出部４は、数３に示すように、画素ごとに、差分スコアＳｃ、反転スコアＳｒ、予測スコアＳｐそれぞれに重み係数ｗ１、ｗ２、ｗ３を乗算し、乗算した値を加算して変状スコアＳｔを算出する。
【００８０】
（数３）
Ｓｔ＝（Ｓｃ×ｗ１）＋（Ｓｒ×ｗ２）＋（Ｓｐ×ｗ３）
Ｓｔ：画素ごとの変状スコア
Ｓｃ：画素ごとの差分スコア
ｗ１：差分スコアに対する重み係数
Ｓｒ：画素ごとの反転スコア
ｗ２：反転スコアに対する重み係数
Ｓｐ：画素ごとの予測スコア
ｗ３：予測スコアに対する重み係数
【００８１】
重み係数ｗ１、ｗ２、ｗ３は、気象情報、観測情報に応じて、上述したスコアそれぞれを補正する係数である。なお、重み係数ｗ１、ｗ２、ｗ３は、例えば、０．０から１．０の間の実数で示され、重み係数ｗ１、ｗ２、ｗ３の合計は１．０になるようにする（正規化）。
【００８２】
情報取得部２５は、気象情報、観測情報などの情報を、直接又はネットワークを介して取得する。具体的には、情報取得部２５は、天候、温度、湿度、雨量、積雪、河川水位、土砂、台風、噴火、降灰、波浪、潮位、津波などの情報を取得し、変状スコア算出部４へ送信する。
【００８３】
出力情報生成部２６は、差分スコア、又は反転スコア、又は予測スコア、又は変状スコア、又は地形の変状を表した変状画像、又はそれらのうち二つ以上を、出力装置２２へ出力するための出力情報を生成し、生成した出力情報を出力装置２２へ送信する。
【００８４】
［装置動作］
次に、本発明の実施の形態における変状検出装置１の動作について、図１０を用いて説明する。図１０は、変状検出装置の動作の一例を示すフロー図である。以下の説明においては、適宜図２から図９を参照する。また、本実施の形態では、変状検出装置１を動作させることによって、変状検出方法が実施される。よって、本実施の形態における変状検出方法の説明は、以下の変状検出装置１の動作説明に代える。
【００８５】
図１０に示すように、最初に、変状検出装置１は、撮像装置２１から入力画像を取得する（ステップＡ１）。具体的には、変状検出装置１は、ネットワークを介して撮像装置２１から、撮像した対象の地形の画像を含む入力画像（静止画像又は動画像など）を、有線又は無線などの通信を用いて取得する。
【００８６】
続いて、前処理部２３は、取得した入力画像に対して、（１）撮像装置２１の振動を検出する処理、（２）画像に撮像された遮蔽物を検出する処理、（３）撮像した画像の撮像範囲のずれを補正する処理などの前処理を実行する（ステップＡ２）。
【００８７】
ステップＡ２の（１）の処理において、前処理部２３は、撮像装置２１自身が振動しているか否かを検出する。続いて、前処理部２３は、撮像装置２１が振動している場合、振動をしている時間に撮像した画像（背景画像又は入力画像）を除外する。
【００８８】
ステップＡ２の（２）の処理において、前処理部２３は、地形を撮像した画像（背景画像又は入力画像）から、地形の画像を遮蔽する遮蔽物が撮像された画像を検出する。続いて、地形を撮像した画像に、地形の変状と別に遮蔽物が撮像された画像を検出した場合、遮蔽物がある時間に撮像した画像を除外する。
【００８９】
ステップＡ２の（３）の処理において、前処理部２３は、撮像装置２１を用いて撮像した入力画像が、基準位置画像（プリセット画像）からどれくらいずれているのか、ずれ量（距離と方向）を推定する。続いて、前処理部２３は、テンプレート領域の増分符号と入力画像の増分符号とを用いて、増分符号の相違度が最も小さい、入力画像におけるテンプレート領域と同じ大きさの領域を検出する。その後、前処理部２３は、テンプレート領域と検出した領域との座標位置の差を算出してずれ量とする。続いて、前処理部２３は、全てのテンプレート領域に対して、上述したようにずれ量を算出した後、全てのずれ量のなかから中央値となるずれ量を選択し、プリセット画像と入力画像とのずれ量とする。そして、前処理部２３は、推定したずれ量を用いて、入力画像のずれを補正する。
【００９０】
なお、ステップＡ２において、（１）（２）（３）の処理を実行する順番は限定されない。また、前処理として、（１）、又は（２）、又は（３）、又は（１）（２）（３）のうち二つ以上を組み合わせて処理をしてもよい。
【００９１】
続いて、差分スコア算出部２は、あらかじめ地形を撮像した複数の背景画像それぞれにおいて、背景画像の画素値を用いて算出したヒストグラムと、地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、入力画像と類似する背景画像を選択し、選択した背景画像の画素値と入力画像の画素値との差分に基づいて差分スコアを算出する（ステップＡ３）。
【００９２】
ステップＡ３について具体的に説明する。図１１は、差分スコア算出部の動作の一例を示すフロー図である。
【００９３】
ステップＢ１において、差分スコア算出部２は、図４に示すような入力画像４１を取得する。ステップＢ２において、差分スコア算出部２は、入力画像４１の画素値ヒストグラム４２を算出する。
【００９４】
ステップＢ３において、差分スコア算出部２は、背景画像ヒストグラム集合３５を取得する。ステップＢ４において、差分スコア算出部２は、背景画像ヒストグラム集合３５と画素値ヒストグラム４２とを用いて、画素値ヒストグラム４２に類似する背景画像ヒストグラム４３を背景画像ヒストグラム集合３５から選択する。
【００９５】
ステップＢ５において、差分スコア算出部２は、選択した背景画像３２の画素と、同じ位置にある入力画像４１の画素とを用いて、画素値の差分を算出し、ステップＢ６において、算出した差分と閾値Ｔｈ１とを比較する。ステップＢ７において、差分が閾値Ｔｈ１以上である場合（ステップＢ６：Ｙｅｓ）、差分スコア算出部２は、対象画素に前景を表す情報を関連付ける。また、ステップＢ８において、差分が閾値Ｔｈ１未満である場合（ステップＢ６：Ｎｏ）、差分スコア算出部２は、対象画素には背景を表す情報（前景を表す情報以外の情報）を関連付ける。例えば、図４に示す画像４４のように画像を二値化する場合、背景（黒色）を表す情報を「０」とし、前景（白色）を示す情報を「２５５」とする。
【００９６】
ステップＢ９において、差分スコア算出部２は、全ての画素に対して、前景又は背景を表す情報を関連付けた場合（ステップＢ９：Ｙｅｓ）、ステップＢ１１の処理に移行する。また、全ての画素に対して、前景又は背景を表す情報を関連付けられていない場合（ステップＢ９：Ｎｏ）、ステップＢ１０の処理に移行し、ステップＢ１０において次の画素を設定する。
【００９７】
ステップＢ１１において、差分スコア算出部２は、図４に示すように、画素ごとに差分スコアＳｃを算出し、画素と差分スコアＳｃ（「Ｓｃ−１」「Ｓｃ−２」「Ｓｃ−３」「Ｓｃ−４」……「Ｓｃ−Ｎ」）とを関連付け、差分スコア情報４５を生成し、不図示の記憶部に記憶する。
【００９８】
続いて、反転スコア算出部３は、背景画像に設定した画素同士の画素値の大小関係と、入力画像に設定した画素同士の画素値の大小関係とを比べ、入力画像の大小関係が背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する（ステップＡ４）。
【００９９】
ステップＡ４について具体的に説明する。図１２は、反転スコア算出部の動作の一例を示すフロー図である。
【０１００】
ステップＣ１において、反転スコア算出部３は、図８に示すような入力画像４１を取得する。ステップＣ２において、反転スコア算出部３は、上述した反転スコアモデル７１を取得する。
【０１０１】
ステップＣ３において、反転スコア算出部３は、反転スコアモデル７１の起点ｐの座標と、起点ｐの座標に対応する方向ごとの終点ｑの座標を用いて、入力画像４１における起点ｐと終点ｑと同じ位置の画素を検出する。
【０１０２】
ステップＣ４において、反転スコア算出部３は、入力画像４１における起点ｐと終点ｑそれぞれとに対応する画素の画素値を取得し、取得した画素値に基づいて、入力画像４１における、起点ｐと終点ｑそれぞれとの大小関係を算出する。
【０１０３】
ステップＣ５において、反転スコア算出部３は、方向ごとに、算出した入力画像４１の大小関係と、反転スコアモデル７１の大小関係とを比較する。ステップＣ６において、あらかじめ設定した閾値Ｔｈ５以上、方向ごとの大小関係が一致している場合（ステップＣ５：Ｙｅｓ）、反転スコア算出部３は、対象画素に背景を表す情報を設定する。ステップＣ７において、閾値Ｔｈ５未満しか、大小関係が一致していない場合（ステップＣ５：Ｎｏ）、反転スコア算出部３は、対象画素に前景を表す情報を設定する。
【０１０４】
ステップＣ８において、反転スコア算出部３は、全ての画素に対して、前景又は背景を表す情報を設定した場合（ステップＣ８：Ｙｅｓ）、ステップＣ１０の処理に移行する。また、全ての画素に対して、前景又は背景を表す情報を関連付けられていない場合（ステップＣ８：Ｎｏ）、ステップＣ９の処理に移行して、次の画素を設定し、ステップＣ５の処理に移行する。
【０１０５】
ステップＣ１０において、反転スコア算出部３は、図８に示すように、画素ごとに反転スコアＳｒを算出し、画素と反転スコアＳｒ（「Ｓｒ−１」「Ｓｒ−２」「Ｓｒ−３」「Ｓｒ−４」……「Ｓｒ−Ｎ」）とを関連付け、反転スコア情報８２を生成し、記憶部に記憶する。
【０１０６】
続いて、予測スコア出力部２４は、入力画像と、予測モデルとを用いて、地形が変状したか否かを表す予測スコアを出力する。（ステップＡ５）。具体的には、予測スコア出力部２４は、入力画像を取得し、取得した入力画像の画素ごとに、学習部９１の予測モデルを用いて、事象発生の有無を表す予測スコアを出力する。
【０１０７】
なお、上述したステップＡ３、Ａ４、Ａ５の処理をする順序は、上述した順序に限定されるものではない。また、ステップＡ３、Ａ４、Ａ５の処理は、全ての処理を用いる必要はなく、二つの処理を組み合わせただけでもよい。
【０１０８】
変状スコア算出部４は、気象情報、観測情報などの情報を、直接又はネットワークを介して取得する。（ステップＡ６）。
【０１０９】
変状スコア算出部４は、差分スコアＳｃ、反転スコアＳｒ、予測スコアＳｐのうち二つ以上を組み合わせて統合し、変状スコアＳｔを算出する（ステップＡ７）。具体的には、すべてを統合する場合、変状スコア算出部４は、数３に示すように、画素ごとに、差分スコアＳｃ、反転スコアＳｒ、予測スコアＳｐそれぞれに重み係数ｗ１、ｗ２、ｗ３を乗算し、乗算した値を加算して変状スコアＳｔを算出する。重み係数ｗ１、ｗ２、ｗ３は、気象情報、観測情報に応じて、上述したスコアそれぞれを補正する。
【０１１０】
出力情報生成部２６は、差分スコア、又は反転スコア、又は予測スコア、又は変状スコア、又は地形の変状を表した変状画像、又はそれらのうち二つ以上を、出力装置２２へ出力するための出力情報を生成する（ステップＡ８）。出力情報生成部２６は、生成した出力情報を出力装置２２へ送信する（ステップＡ９）。
【０１１１】
［本実施の形態の効果］
以上のように本実施の形態によれば、異なる画像解析処理を組み合わせて、画像解析処理ごとにスコアを算出し、算出したスコアに基づいて地形の変状を検出する。そのため、画像解析処理を用いて、自然災害の前兆となる、画像に撮像された地形の変状を精度よく検出することができる。その結果、誤検出を低減することができる。
【０１１２】
また、本実施の形態においては、土石流だけでなく、崩落、落石、地滑り、陥没などの自然災害による地形の変状も、画像に撮像された地形の変状から検出できる。
【０１１３】
なお、画像解析処理の組み合わせは、利用シーンに合わせて選択することが望ましい。その理由は、苦手分野を補完し合うような画像解析処理を組み合わせることで、地形の変状を更に精度よく検出できるからである。
【０１１４】
更に、工事安全管理においては、工事箇所の地形変状（小崩落、落石など）を検出できるので、工事管理者に通報し、工事停止などの退避処置を行うことで、斜面変状に続いて起こる崩壊による二次災害を未然に防止できる。
【０１１５】
渓流土砂供給監視においては、渓流へ不安定土砂が供給されたことを検出できるので、下流住民の避難や道路通行止めなどの処置を行うことで、土石流による被害を未然に防止できる。
【０１１６】
地滑り頭部監視においては、地滑り頭部の変状（滑落領域の拡大など）を検出できるので、下流住民の避難や道路通行止めなどの処置を行うことで、地滑りによる被害を未然に防止できる。
【０１１７】
線路上監視において、線路上への落石や崩壊を自動的に検出できるので、鉄道管理者に通報し、運航停止などの処置を行うことで、脱線などの事故を未然に防止できる。
【０１１８】
道路上監視において、道路上への落石や崩壊、陥没などを自動的に検出できるので、道路管理者に通報し、通行止めなどの処置を行うことで、衝突、転落などの事故を未然に防止できる。
【０１１９】
［プログラム］
本発明の実施の形態におけるプログラムは、コンピュータに、図１０に示すステップＡ１からＡ９、図１１に示すステップＢ１からＢ１１、図１２に示すステップＣ１からＣ１０を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における変状検出装置と変状検出方法とを実現することができる。この場合、コンピュータのプロセッサは、前処理部２３、差分スコア算出部２、反転スコア算出部３、予測スコア出力部２４、変状スコア算出部４、情報取得部２５、出力情報生成部２６として機能し、処理を行なう。
【０１２０】
また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、前処理部２３、差分スコア算出部２、反転スコア算出部３、予測スコア出力部２４、変状スコア算出部４、情報取得部２５、出力情報生成部２６のいずれかとして機能してもよい。
【０１２１】
［物理構成］
ここで、実施の形態におけるプログラムを実行することによって、変状検出装置１を実現するコンピュータについて図１３を用いて説明する。図１３は、変状検出装置を実現するコンピュータの一例を示すブロック図である。
【０１２２】
図１３に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていてもよい。
【０１２３】
ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであってもよい。
【０１２４】
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置があげられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
【０１２５】
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
【０１２６】
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体があげられる。
【０１２７】
なお、本実施の形態における変状検出装置１は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、変状検出装置１は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
【０１２８】
［付記］
以上の実施の形態に関し、更に以下の付記を開示する。上述した実施の形態の一部又は全部は、以下に記載する（付記１）から（付記２１）により表現することができるが、以下の記載に限定されるものではない。
【０１２９】
（付記１）
あらかじめ地形を撮像した複数の背景画像それぞれにおいて、前記背景画像の画素値を用いて算出したヒストグラムと、前記地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、前記入力画像と類似する前記背景画像を選択し、選択した前記背景画像の画素値と前記入力画像の画素値との差分に基づいて差分スコアを算出する、差分スコア算出部と、
前記背景画像に設定した画素同士の画素値の大小関係と、前記入力画像に設定した前記画素同士の画素値の大小関係とを比べ、前記入力画像の大小関係が前記背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する、反転スコア算出部と、 
前記差分スコアと前記反転スコアとを統合して、前記地形が変状したか否かを表す変状スコアを算出する、変状スコア算出部と、
を有することを特徴とする変状検出装置。
【０１３０】
（付記２）
付記１に記載の変状検出装置であって、
前記入力画像を入力し、予測モデルを用いて、前記地形が変状したか否かを表す予測スコアを出力する、予測スコア出力部を有し、
前記変状スコア算出部は、前記差分スコアと前記反転スコアと前記予測スコアとを用いて、前記変状スコアを算出する
ことを特徴とする変状検出装置。
【０１３１】
（付記３）
付記２に記載の変状検出装置であって、
前記地形の変状が撮像されている前記背景画像、又は前記地形に変状がない前記背景画像、又はそれら両方を入力とし学習をし、前記入力画像に対して、前記地形が変状しているか否かを予測する前記予測モデルを生成する、学習部を更に有する
ことを特徴とする変状検出装置。
【０１３２】
（付記４）
付記２又は３に記載の変状検出装置であって、
前記変状スコア算出部は、前記差分スコア、前記反転スコア、前記予測スコアそれぞれに重み係数を乗算し、乗算した値を加算して変状スコアを算出する
ことを特徴とする変状検出装置。
【０１３３】
（付記５）
付記１から４のいずれか一つに記載の変状検出装置であって、
前記地形を撮像する撮像装置が振動している場合、前記振動をしている時間に撮像した前記背景画像又は前記入力画像を除外する処理をする、前処理部
を有することを特徴とする変状検出装置。
【０１３４】
（付記６）
付記５に記載の変状検出装置であって、
前記前処理部は、前記地形を撮像した前記背景画像又は前記入力画像に、前記地形の変状と別に遮蔽物を検出した場合、前記遮蔽物がある時間に撮像した前記背景画像又は前記入力画像を除外する処理をする手段を更に有する、
ことを特徴とする変状検出装置。
【０１３５】
（付記７）
付記２から４のいずれか一つに記載の変状検出装置であって、
前記差分スコア、又は前記反転スコア、又は前記予測スコア、又は前記変状スコア、又は前記地形の変状を表した変状画像、又はそれらのうち二つ以上を、出力装置に出力するための出力情報を生成する、出力情報生成部
を有することを特徴とする変状検出装置。
【０１３６】
（付記８）
（ａ）あらかじめ地形を撮像した複数の背景画像それぞれにおいて、前記背景画像の画素値を用いて算出したヒストグラムと、前記地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、前記入力画像と類似する前記背景画像を選択し、選択した前記背景画像の画素値と前記入力画像の画素値との差分に基づいて差分スコアを算出する、ステップと、
（ｂ）前記背景画像に設定した画素同士の画素値の大小関係と、前記入力画像に設定した前記画素同士の画素値の大小関係とを比べ、前記入力画像の大小関係が前記背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する、ステップと、
（ｃ）前記差分スコアと前記反転スコアとを統合して、前記地形が変状したか否かを表す変状スコアを算出する、ステップと、
を有することを特徴とする変状検出方法。
【０１３７】
（付記９）
付記８に記載の変状検出方法であって、
（ｄ）前記地形が変状しているか否かを予測する予測モデルに、前記入力画像を入力し、前記地形が変状したか否かを表す予測スコアを出力する、ステップを有し、
前記（ｃ）のステップにおいて、前記差分スコアと前記反転スコアと前記予測スコアとを統合して、前記変状スコアを算出する
ことを特徴とする変状検出方法。
【０１３８】
（付記１０）
付記９に記載の変状検出方法であって、
（ｇ）前記地形の変状が撮像されている前記背景画像、又は前記地形に変状がない前記背景画像、又はそれら両方を入力とし学習をし、前記入力画像に対して、前記地形が変状しているか否かを予測する前記予測モデルを生成する、ステップを有する
ことを特徴とする変状検出方法。
【０１３９】
（付記１１）
付記９又は１０に記載の変状検出方法であって、
前記（ｃ）のステップにおいて、前記差分スコア、前記反転スコア、前記予測スコアそれぞれに重み係数を乗算し、乗算した値を加算して変状スコアを算出する
ことを特徴とする変状検出方法。
【０１４０】
（付記１２）
付記８から１１のいずれか一つに記載の変状検出方法であって、
（ｅ）前記地形を撮像する撮像装置が振動している場合、前記振動をしている時間に撮像した前記背景画像又は前記入力画像を除外する処理をする、ステップ
を有することを特徴とする変状検出方法。
【０１４１】
（付記１３）
付記１２のいずれか一つに記載の変状検出方法であって、
前記（ｅ）のステップにおいて、前記地形を撮像した前記背景画像又は前記入力画像に、前記地形の変状と別に遮蔽物を検出した場合、前記遮蔽物がある時間に撮像した前記背景画像又は前記入力画像を除外する処理を更に有する、
ことを特徴とする変状検出方法。
【０１４２】
（付記１４）
付記９から１１のいずれか一つに記載の変状検出方法であって、
（ｆ）前記差分スコア、又は前記反転スコア、又は前記予測スコア、又は前記変状スコア、又は前記地形の変状を表した変状画像、又はそれらのうち二つ以上を、出力装置に出力するための出力情報を生成する、ステップ
を有することを特徴とする変状検出方法。
【０１４３】
（付記１５）
コンピュータに、
（ａ）あらかじめ地形を撮像した複数の背景画像それぞれにおいて、前記背景画像の画素値を用いて算出したヒストグラムと、前記地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、前記入力画像と類似する前記背景画像を選択し、選択した前記背景画像の画素値と前記入力画像の画素値との差分に基づいて差分スコアを算出する、ステップと、
（ｂ）前記背景画像に設定した画素同士の画素値の大小関係と、前記入力画像に設定した前記画素同士の画素値の大小関係とを比べ、前記入力画像の大小関係が前記背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する、ステップと、
（ｃ）前記差分スコアと前記反転スコアとを統合して、前記地形が変状したか否かを表す変状スコアを算出する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
【０１４４】
（付記１６）
付記１５に記載のコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
（ｄ）前記地形が変状しているか否かを予測する予測モデルに、前記入力画像を入力し、前記地形が変状したか否かを表す予測スコアを出力する、ステップを実行させ、
前記（ｃ）のステップにおいて、前記差分スコアと前記反転スコアと前記予測スコアとを統合して、前記変状スコアを算出する
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【０１４５】
（付記１７）
付記１６に記載のコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
（ｇ）前記地形の変状が撮像されている前記背景画像、又は前記地形に変状がない前記背景画像、又はそれら両方を入力とし学習をし、前記入力画像に対して、前記地形が変状しているか否かを予測する前記予測モデルを生成する、ステップを実行させる
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【０１４６】
（付記１８）
付記１６又は１７に記載のコンピュータ読み取り可能な記録媒体であって、
前記（ｃ）のステップにおいて、前記差分スコア、前記反転スコア、前記予測スコアそれぞれに重み係数を乗算し、乗算した値を加算して変状スコアを算出する
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【０１４７】
（付記１９）
付記１５から１８のいずれか一つに記載のコンピュータ読み取り可能な記録媒体であって、
（ｅ）前記地形を撮像する撮像装置が振動している場合、前記振動をしている時間に撮像した前記背景画像又は前記入力画像を除外する処理をする、ステップ
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
【０１４８】
（付記２０）
付記１９に記載のプログラムであって、
前記（ｅ）のステップにおいて、前記地形を撮像した前記背景画像又は前記入力画像に、前記地形の変状と別に遮蔽物を検出した場合、前記遮蔽物がある時間に撮像した前記背景画像又は前記入力画像を除外する処理を更に有する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【０１４９】
（付記２１）
付記１６から１８のいずれか一つに記載のプログラムであって、
（ｆ）前記差分スコア、又は前記反転スコア、又は前記予測スコア、又は前記変状スコア、又は前記地形の変状を表した変状画像、又はそれらのうち二つ以上を、出力装置に出力するための出力情報を生成する、ステップ
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
【０１５０】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１５１】
この出願は、２０１８年１１月９日に出願された日本出願特願２０１８−２１１７７４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０１５２】
以上のように本発明によれば、画像に撮像された地形の変状を精度よく検出することができる。本発明は、地形の変状を監視する分野において有用である。
【符号の説明】
【０１５３】
１  変状検出装置
２  差分スコア算出部
３  反転スコア算出部
４  変状スコア算出部
２０  システム
２１  撮像装置
２２  出力装置
２３  前処理部
２４  予測スコア出力部
２５  情報取得部
２６  出力情報生成部
３１、３２、３３、３４  背景画像
３５  背景画像ヒストグラム集合
４１  入力画像
４２  画素値ヒストグラム
４３  背景画像ヒストグラム
４４  図４の画像
４５  差分スコア情報
７１  反転スコアモデル
８１  図８の画像
８２  反転スコア情報
９１  学習部
１１０  コンピュータ
１１１  ＣＰＵ
１１２  メインメモリ
１１３  記憶装置
１１４  入力インターフェイス
１１５  表示コントローラ
１１６  データリーダ／ライタ
１１７  通信インターフェイス
１１８  入力機器
１１９  ディスプレイ装置
１２０  記録媒体
１２１  バス
【図１】
2020095644.tif 000003
【図２】
2020095644.tif 000004
【図３】
2020095644.tif 000005
【図４】
2020095644.tif 000006
【図５】
2020095644.tif 000007
【図６】
2020095644.tif 000008
【図７】
2020095644.tif 000009
【図８】
2020095644.tif 000010
【図９】
2020095644.tif 000011
【図１０】
2020095644.tif 000012
【図１１】
2020095644.tif 000013
【図１２】
2020095644.tif 000014
【図１３】
2020095644.tif 000015
【手続補正書】
【提出日】令和3年4月28日(2021.4.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
あらかじめ地形を撮像した複数の背景画像それぞれにおいて、前記背景画像の画素値を用いて算出したヒストグラムと、前記地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、前記入力画像と類似する前記背景画像を選択し、選択した前記背景画像の画素値と前記入力画像の画素値との差分に基づいて差分スコアを算出する、差分スコア算出手段と、
前記背景画像に設定した画素同士の画素値の大小関係と、前記入力画像に設定した前記画素同士の画素値の大小関係とを比べ、前記入力画像の大小関係が前記背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する、反転スコア算出手段と、
前記差分スコアと前記反転スコアとを統合して、前記地形が変状したか否かを表す変状スコアを算出する、変状スコア算出手段と、
を有することを特徴とする変状検出装置。
【請求項２】
請求項１に記載の変状検出装置であって、
前記入力画像を入力し、予測モデルを用いて、前記地形が変状したか否かを表す予測スコアを出力する、予測スコア出力手段と、を有し、
前記変状スコア算出手段は、前記差分スコアと前記反転スコアと前記予測スコアとを用いて、前記変状スコアを算出する
ことを特徴とする変状検出装置。
【請求項３】
請求項２に記載の変状検出装置であって、
前記地形の変状が撮像されている前記背景画像、又は前記地形に変状がない前記背景画像、又はそれら両方を入力とし学習をし、前記入力画像に対して、前記地形が変状しているか否かを予測する前記予測モデルを生成する、学習部を更に有する
ことを特徴とする変状検出装置。
【請求項４】
請求項２又は３に記載の変状検出装置であって、
前記変状スコア算出手段は、前記差分スコア、前記反転スコア、前記予測スコアそれぞれに重み係数を乗算し、乗算した値を加算して変状スコアを算出する
ことを特徴とする変状検出装置。
【請求項５】
請求項１から４のいずれか一つに記載の変状検出装置であって、
前記地形を撮像する撮像装置が振動している場合、前記振動をしている時間に撮像した前記背景画像又は前記入力画像を除外する処理をする、前処理手段
を有することを特徴とする変状検出装置。
【請求項６】
請求項５に記載の変状検出装置であって、
前記前処理手段は、前記地形を撮像した前記背景画像又は前記入力画像に、前記地形の変状と別に遮蔽物を検出した場合、前記遮蔽物がある時間に撮像した前記背景画像又は前記入力画像を除外する処理をする手段を更に有する、
ことを特徴とする変状検出装置。
【請求項７】
請求項２から４のいずれか一つに記載の変状検出装置であって、
前記差分スコア、又は前記反転スコア、又は前記予測スコア、又は前記変状スコア、又は前記地形の変状を表した変状画像、又はそれらのうち二つ以上を、出力装置に出力するための出力情報を生成する、出力情報生成手段
を有することを特徴とする変状検出装置。
【請求項８】
（ａ）あらかじめ地形を撮像した複数の背景画像それぞれにおいて、前記背景画像の画素値を用いて算出したヒストグラムと、前記地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、前記入力画像と類似する前記背景画像を選択し、選択した前記背景画像の画素値と前記入力画像の画素値との差分に基づいて差分スコアを算出し、
（ｂ）前記背景画像に設定した画素同士の画素値の大小関係と、前記入力画像に設定した前記画素同士の画素値の大小関係とを比べ、前記入力画像の大小関係が前記背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出し、
（ｃ）前記差分スコアと前記反転スコアとを統合して、前記地形が変状したか否かを表す変状スコアを算出する
ことを特徴とする変状検出方法。
【請求項９】
請求項８に記載の変状検出方法であって、
（ｄ）前記地形が変状しているか否かを予測する予測モデルに、前記入力画像を入力し、前記地形が変状したか否かを表す予測スコアを出力し、
前記（ｃ）のステップにおいて、前記差分スコアと前記反転スコアと前記予測スコアとを統合して、前記変状スコアを算出する
ことを特徴とする変状検出方法。
【請求項１０】
コンピュータに、
（ａ）あらかじめ地形を撮像した複数の背景画像それぞれにおいて、前記背景画像の画素値を用いて算出したヒストグラムと、前記地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、前記入力画像と類似する前記背景画像を選択し、選択した前記背景画像の画素値と前記入力画像の画素値との差分に基づいて差分スコアを算出する、ステップと、
（ｂ）前記背景画像に設定した画素同士の画素値の大小関係と、前記入力画像に設定した前記画素同士の画素値の大小関係とを比べ、前記入力画像の大小関係が前記背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する、ステップと、
（ｃ）前記差分スコアと前記反転スコアとを統合して、前記地形が変状したか否かを表す変状スコアを算出する、ステップと、
を実行させるプログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、変状を検出する変状検出装置、変状検出方法に関し、更には、これらを実現するためのプログラムに関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明の目的の一例は、画像に撮像された地形の変状を精度よく検出する変状検出装置、変状検出方法、及びプログラムを提供することにある。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
（ａ）あらかじめ地形を撮像した複数の背景画像それぞれにおいて、前記背景画像の画素値を用いて算出したヒストグラムと、前記地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、前記入力画像と類似する前記背景画像を選択し、選択した前記背景画像の画素値と前記入力画像の画素値との差分に基づいて差分スコアを算出する、ステップと、
（ｂ）前記背景画像に設定した画素同士の画素値の大小関係と、前記入力画像に設定した前記画素同士の画素値の大小関係とを比べ、前記入力画像の大小関係が前記背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する、ステップと、
（ｃ）前記差分スコアと前記反転スコアとを統合して、前記地形が変状したか否かを表す変状スコアを算出する、ステップと、
を実行させることを特徴とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１４３
【補正方法】変更
【補正の内容】
【０１４３】
（付記１５）
コンピュータに、
（ａ）あらかじめ地形を撮像した複数の背景画像それぞれにおいて、前記背景画像の画素値を用いて算出したヒストグラムと、前記地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、前記入力画像と類似する前記背景画像を選択し、選択した前記背景画像の画素値と前記入力画像の画素値との差分に基づいて差分スコアを算出する、ステップと、
（ｂ）前記背景画像に設定した画素同士の画素値の大小関係と、前記入力画像に設定した前記画素同士の画素値の大小関係とを比べ、前記入力画像の大小関係が前記背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する、ステップと、
（ｃ）前記差分スコアと前記反転スコアとを統合して、前記地形が変状したか否かを表す変状スコアを算出する、ステップと、
を実行させる命令を含むプログラム。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１４４
【補正方法】変更
【補正の内容】
【０１４４】
（付記１６）
付記１５に記載のプログラムであって、
前記コンピュータに、
（ｄ）前記地形が変状しているか否かを予測する予測モデルに、前記入力画像を入力し、前記地形が変状したか否かを表す予測スコアを出力する、ステップを実行させ、
前記（ｃ）のステップにおいて、前記差分スコアと前記反転スコアと前記予測スコアとを統合して、前記変状スコアを算出する
ことを特徴とするプログラム。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１４５
【補正方法】変更
【補正の内容】
【０１４５】
（付記１７）
付記１６に記載のプログラムであって、
前記コンピュータに、
（ｇ）前記地形の変状が撮像されている前記背景画像、又は前記地形に変状がない前記背景画像、又はそれら両方を入力とし学習をし、前記入力画像に対して、前記地形が変状しているか否かを予測する前記予測モデルを生成する、ステップを実行させる
ことを特徴とするプログラム。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１４６
【補正方法】変更
【補正の内容】
【０１４６】
（付記１８）
付記１６又は１７に記載のプログラムであって、
前記（ｃ）のステップにおいて、前記差分スコア、前記反転スコア、前記予測スコアそれぞれに重み係数を乗算し、乗算した値を加算して変状スコアを算出する
ことを特徴とするプログラム。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１４７
【補正方法】変更
【補正の内容】
【０１４７】
（付記１９）
付記１５から１８のいずれか一つに記載のプログラムであって、
（ｅ）前記地形を撮像する撮像装置が振動している場合、前記振動をしている時間に撮像した前記背景画像又は前記入力画像を除外する処理をする、ステップ
を実行させる命令を含むプログラム。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１４８
【補正方法】変更
【補正の内容】
【０１４８】
（付記２０）
付記１９に記載のプログラムであって、
前記（ｅ）のステップにおいて、前記地形を撮像した前記背景画像又は前記入力画像に、前記地形の変状と別に遮蔽物を検出した場合、前記遮蔽物がある時間に撮像した前記背景画像又は前記入力画像を除外する処理を更に有する、
ことを特徴とするプログラム。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１４９
【補正方法】変更
【補正の内容】
【０１４９】
（付記２１）
付記１６から１８のいずれか一つに記載のプログラムであって、
（ｆ）前記差分スコア、又は前記反転スコア、又は前記予測スコア、又は前記変状スコア、又は前記地形の変状を表した変状画像、又はそれらのうち二つ以上を、出力装置に出力するための出力情報を生成する、ステップ
を実行させる命令を含むプログラム。
【国際調査報告】
2020095644.tif 000016
2020095644.tif 000017