(57)【要約】【課題】水面の領域を精度よく特定する。【解決手段】水面判定装置１４は、水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素のエッジ強度を表す第１のエッジ画像を取得する。また、水面判定装置１４は、映像のうちの特定のフレーム画像の各画素のエッジ強度を表す第２のエッジ画像を取得する。また、水面判定装置１４は、第１のエッジ画像の各画素のエッジ強度と第２のエッジ画像の各画素のエッジ強度との差分に応じて、水面が映る領域を判定する。【選択図】図１
2019078555.tif 000002
【特許請求の範囲】
【請求項１】
水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素のエッジ強度を表す第１のエッジ画像を取得し、
前記映像のうちの特定のフレーム画像の各画素のエッジ強度を表す第２のエッジ画像を取得し、
前記第１のエッジ画像の各画素のエッジ強度と前記第２のエッジ画像の各画素のエッジ強度との差分が予め定めた閾値以上の領域を、前記水面が映る領域であると判定する、
処理をコンピュータに実行させるための水面判定プログラム。
【請求項２】
水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素の明度と前記映像のうちの特定のフレーム画像の各画素の明度との差分が予め定めた閾値以上の領域を、前記水面が映る領域であると判定する、
処理をコンピュータに実行させるための水面判定プログラム。
【請求項３】
前記映像の前記フレーム画像の垂直方向の下方には、川の水面が映っており、
前記平均画像と前記特定のフレーム画像との前記差分を表す差分ヒストグラムであって、前記フレーム画像の前記垂直方向の各位置に対応する水平方向の各画素の前記差分の総和を表す前記差分ヒストグラムを生成し、
前記差分ヒストグラムのピークに対応する前記垂直方向の位置を前記水面の喫水線の候補とし、前記水面の喫水線の候補毎に、前記ピークにおける前記差分ヒストグラムの傾きに応じたスコアを算出し、前記スコアに基づいて、前記水面の喫水線を判定する、
請求項１又は請求項２に記載の水面判定プログラム。
【請求項４】
水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素のエッジ強度を表す第１のエッジ画像を取得し、
前記映像のうちの特定のフレーム画像の各画素のエッジ強度を表す第２のエッジ画像を取得し、
前記第１のエッジ画像の各画素のエッジ強度と前記第２のエッジ画像の各画素のエッジ強度との差分が予め定めた閾値以上の領域を、前記水面が映る領域であると判定する、
処理をコンピュータに実行させる水面判定方法。
【請求項５】
水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素の明度と前記映像のうちの特定のフレーム画像の各画素の明度との差分が予め定めた閾値以上の領域を、前記水面が映る領域であると判定する、
処理をコンピュータに実行させる水面判定方法。
【請求項６】
水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素のエッジ強度を表す第１のエッジ画像を取得し、前記映像のうちの特定のフレーム画像の各画素のエッジ強度を表す第２のエッジ画像を取得するエッジ取得部と、
前記第１のエッジ画像の各画素のエッジ強度と前記第２のエッジ画像の各画素のエッジ強度との差分が予め定めた閾値以上の領域を、前記水面が映る領域であると判定する水面判定部と、
を備える水面判定装置。
【請求項７】
水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素の明度と前記映像のうちの特定のフレーム画像の各画素の明度との差分が予め定めた閾値以上の領域を、前記水面が映る領域であると判定する水面判定部、
を備える水面判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
開示の技術は、水面判定プログラム、水面判定方法、及び水面判定装置に関する。
【背景技術】
【０００２】
河川等を被写体とする映像信号のみから流水領域を検出する流水領域検出システムが知られている。この流水領域検出システムは、まず、固定カメラを用いて撮影された流水領域及び非流水領域が含まれる映像を複数フレームにわたって加算する。これにより、動いている流水部がぼやけた、あるいは滑らかとなった画像が得られる。つまり、流水領域のエッジ成分（高周波成分）が抑圧される。そして、流水領域検出システムは、加算された映像のエッジ成分を強調させる。そして、流水領域検出システムは、生成された映像における各画素をエッジ画素か否かに分類し、得られる二値画像をもとに流水領域及び非流水領域を判別する。具体的には、エッジ成分を多く含む領域を非流水領域に対応する陸部、それ以外を流水領域に対応する流水部と判別する。これにより、水中にいかなる物体をも設置することなく、河川等を被写体とする映像信号のみから流水領域を検出できる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７‐２５６２５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、河川等の映像に含まれるフレーム画像を複数フレームにわたって加算したとしても、例えば、流水領域とは異なる非流水領域に平坦な領域が含まれている場合には、流水領域が誤検出されてしまう場合がある。例えば、陸部に凹凸のない滑らかな堤防が存在する場合には、堤防の領域ではエッジ成分が強調されないため、堤防が流水領域として検出されてしまう場合がある。
【０００５】
一つの側面では、開示の技術は、水面の領域を精度よく特定することが目的である。
【課題を解決するための手段】
【０００６】
開示の技術は、一つの実施態様では、水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素のエッジ強度を表す第１のエッジ画像を取得する。また、前記映像のうちの特定のフレーム画像の各画素のエッジ強度を表す第２のエッジ画像を取得する。また、前記第１のエッジ画像の各画素のエッジ強度と前記第２のエッジ画像の各画素のエッジ強度との差分が予め定めた閾値以上の領域を、前記水面が映る領域であると判定する。
【０００７】
開示の技術は、一つの実施態様では、水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素の明度と前記映像のうちの特定のフレーム画像の各画素の明度との差分を取得する。そして、平均画像の各画素の明度と前記映像のうちの特定のフレーム画像の各画素の明度との差分が予め定めた閾値以上の領域を、前記水面が映る領域であると判定する。
【発明の効果】
【０００８】
一つの側面として、水面の領域を精度よく特定することができる、という効果を有する。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係る水面判定システムの概略ブロック図である。
【図２】川が映る映像の一例を示す図である。
【図３】画像記憶部に格納されるテーブルの一例を示す図である。
【図４】平均画像と特定のフレーム画像との関係を説明するための説明図である。
【図５】エッジ画像と水面の領域を表す喫水線とを説明するための説明図である。
【図６】喫水線の候補の特定を説明するための説明図である。
【図７】差分ヒストグラムを説明するための説明図である。
【図８】喫水線の判定を説明するための説明図である。
【図９】第１の実施形態に係る水面判定装置として機能するコンピュータの概略構成を示すブロック図である。
【図１０】第１の実施形態の水面判定処理ルーチンの一例を示すフローチャートである。
【図１１】第２の実施形態に係る水面判定システムの概略ブロック図である。
【図１２】第２の実施形態に係る水面判定装置として機能するコンピュータの概略構成を示すブロック図である。
【図１３】第２の実施形態の水面判定処理ルーチンの一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。
【００１１】
＜第１の実施形態＞
【００１２】
図１に示すように、第１の実施形態に係る水面判定システム１０は、カメラ１２と、水面判定装置１４と、出力装置３０とを備えている。
【００１３】
カメラ１２は、水面を表す映像として、川の映像を撮像する。本実施形態では、例えば、図２に示されるように、川の映像のフレーム画像Ｉの垂直方向の下方には、川の水面Ｗが映っている。また、本実施形態の川の映像には、川の水面Ｗとは異なる領域（例えば、堤防部Ｔの領域、草むらＧの領域、及び建物Ｂの領域）が映っているものとする。
【００１４】
水面判定装置１４は、図１に示されるように、画像記憶部１６と、平均画像取得部１８と、明度変換部２０と、エッジ取得部２２と、ヒストグラム取得部２３と、喫水線候補取得部２４と、差分取得部２５と、スコア取得部２６と、水面判定部２８とを備えている。
【００１５】
画像記憶部１６には、カメラ１２によって撮像された映像のうちの複数のフレーム画像が格納される。複数のフレーム画像は、例えば、図３に示されるように、テーブルの形式で格納される。図３に示すテーブルには、識別情報を表す番号と、時刻と、時刻に対応するフレーム画像とが対応付けられて格納される。図３に示されるテーブルでは、例えば、番号１に対応するデータとして、時刻ｔ１に取得されたフレーム画像Ｉ１が格納される。
【００１６】
平均画像取得部１８は、画像記憶部１６に格納された所定の時間区間の複数のフレーム画像を取得する。そして、平均画像取得部１８は、所定の時間区間の複数のフレーム画像を平均し、平均画像を取得する。例えば、平均画像取得部１８は、数十〜数百のフレーム画像の各々において対応する画素の画素値を加算平均した平均画像を取得する。また、映像内のフレーム画像は、例えば、１秒当たり３０フレームである。
【００１７】
明度変換部２０は、平均画像取得部１８によって取得された平均画像を明度変換し、平均画像に対応する明度画像を示す平均明度画像を取得する。また、明度変換部２０は、平均画像取得部１８によって平均画像を取得する際に用いられた特定のフレーム画像を明度変換し、特定のフレーム画像に対応する明度画像を示す特定明度画像を取得する。明度画像はグレースケール画像であり、既存の手法によって取得することができる。
【００１８】
例えば、平均画像取得部１８は、平均画像を取得する際に、図４に示される複数のフレーム画像Ｉ’ａを平均し平均画像を取得する。また、本実施形態において、平均画像を取得する際に用いられる特定のフレーム画像とは、例えば、図４に示されるように、平均画像の取得に用いられた複数のフレーム画像Ｉ’ａのうちのいずれかのフレーム画像Ｉｔをいう。なお、特定のフレーム画像Ｉｔは、複数のフレーム画像Ｉ’ａのいずれかのフレーム画像である場合に限定されない。複数のフレーム画像Ｉ’ａ及び特定のフレーム画像Ｉｔのそれぞれが、水面の水位が変わらない程度の時間区間から取得されたものであればよい。例えば、複数のフレーム画像Ｉ’ａの直前又は直後のフレーム画像を特定のフレーム画像Ｉｔとして取得してもよい。
【００１９】
エッジ取得部２２は、明度変換部２０によって取得された平均明度画像に基づいて、平均明度画像の各画素のエッジ強度を表す第１のエッジ画像を取得する。また、エッジ取得部２２は、明度変換部２０によって取得された特定明度画像に基づいて、特定明度画像の各画素のエッジ強度を表す第２のエッジ画像を取得する。エッジ取得部２２は、例えば、明度画像に対し空間フィルタを適用して、エッジ画像を取得する。なお、本実施形態におけるエッジ強度とは、画像内に含まれるエッジの度合いを表し、縦のエッジ強度とは画像内における縦方向のエッジの度合いを表し、横のエッジ強度とは画像内における横方向のエッジの度合いを表す。また、本実施形態のエッジ強度には、画像内のエッジが２値化された場合の値（例えば、１又は０の値）も含むものとする。
【００２０】
図５に、エッジ画像と水面の領域を表す喫水線とを説明するための説明図を示す。図５には、水面の領域Ｗと堤防Ｔと草むらＧと川の奥に映る建物Ｂとが映る平均画像Ｉａが示されている。エッジ取得部２２によって、この平均画像Ｉａに対するエッジ画像ＩＥが得られたとする。なお、図５に示されるエッジ画像ＩＥは、平均画像Ｉａから抽出されるエッジを２値化することによって得られる画像である。エッジ画像ＩＥ内の白画素は、エッジの度合いが所定の閾値以上である画素を表す。ここで、画像ＩＥの垂直方向の各位置に対する水平方向の白画素の頻度を表すヒストグラムＨに基づき、水面の境界を表す喫水線の位置を判定する場合を考える。この場合には、例えば、白画素の頻度が低い領域、すなわちエッジ強度の低い領域が水面であると判定することが考えられる。しかし、図５に示される平均画像Ｉａに映る堤防Ｔの領域は平坦であるためエッジ強度は低い。このため、検出結果Ｒに示されるように、堤防Ｔの上端ｔｕが喫水線として検出されてしまう。
【００２１】
平均画像では、各時刻のフレーム画像が平均化されるため、水面の領域に波が存在する場合であっても水面が映る領域においてエッジ強度は小さくなる。一方、各時刻のフレーム画像の各々では、水面の領域において波が存在するため、エッジ強度は大きい。
【００２２】
そこで、本実施形態では、平均画像から得られるエッジ強度と特定のフレーム画像から得られるエッジ強度との差分に基づいて、水面が映る領域を判定する。具体的には、平均画像のエッジ強度と特定のフレーム画像のエッジ強度との差分が大きい領域を、水面が映る領域であると判定する。これにより、水面が映る領域を精度よく特定することができる。以下、具体的に説明する。
【００２３】
ヒストグラム取得部２３は、エッジ取得部２２によって得られる第１のエッジ画像に基づいて、第１のエッジ画像の垂直方向の各位置に対する、その垂直方向の位置に対応する水平方向の各画素のエッジ強度の総和を表すエッジ強度ヒストグラムを生成する。また、ヒストグラム取得部２３は、エッジ取得部２２によって得られる第２のエッジ画像に基づいて、第２のエッジ画像の垂直方向の各位置に対する、その垂直方向の位置に対応する水平方向の各画素のエッジ強度の総和を表すエッジ強度ヒストグラムを生成する。
【００２４】
具体的には、図６に示されるように、エッジ画像ＩＥの垂直方向をｙ方向とし水平方向をｘ方向とする。そして、ヒストグラム取得部２３は、エッジ画像ＩＥのｙ方向のｙ座標を横軸とし、エッジ画像ＩＥのｙ座標における全てのｘ座標のエッジ強度の総和を縦軸とするエッジ強度ヒストグラムＨＥを生成する。具体的には、エッジ画像の各ｙ座標について、そのｙ座標においてエッジ画像をｘ軸方向に走査してエッジ強度が計数される。
【００２５】
なお、図６に示される例では、川の映像内における堤防の上端ｔｕの位置が予め設定され、フレーム画像における堤防の上端ｔｕよりも上側の領域については、エッジ強度ヒストグラムＨＥの各値を生成しないように設定した場合の例である。そのため、エッジ強度ヒストグラムＨＥの堤防の上端ｔｕより左側の値は０となっている。また、図６に示されるエッジ画像は、平均画像から縦のエッジのエッジ強度と横のエッジのエッジ強度との両方を表すエッジ画像である。
【００２６】
喫水線候補取得部２４は、ヒストグラム取得部２３によって取得された第１のエッジ画像のエッジ強度ヒストグラムのうちのピークのｙ座標を求める。例えば、喫水線候補取得部２４は、第１のエッジ画像から得られるエッジ強度ヒストグラムの値が予め設定された閾値以上であって、かつ前後の値との間の差分が所定値以上である箇所をピークとして検出する。そして、喫水線候補取得部２４は、求められたピークのｙ座標を通るｘ軸に並行な線分を喫水線候補として設定する。
【００２７】
例えば、図６に示されるように、エッジ強度ヒストグラムＨＥの各ピークＰ１，Ｐ２，Ｐ３に対応するｙ座標ｙ１，ｙ２，ｙ３に対して、フレーム画像Ｉ内の喫水線候補ｙ１，ｙ２，ｙ３が設定される。
【００２８】
差分取得部２５は、ヒストグラム取得部２３によって取得された第１のエッジ画像のエッジ強度ヒストグラムと第２のエッジ画像のエッジ強度ヒストグラムとに基づいて、第１のエッジ画像と第２のエッジ画像との差分を表す差分ヒストグラムを取得する。本実施形態で用いる差分ヒストグラムは、平均画像のエッジ強度と特定のフレーム画像のエッジ強度との差分を表すヒストグラムである。また、差分ヒストグラムは、フレーム画像の垂直方向の各位置に対する、その垂直方向の位置に対応する水平方向の各画素の差分の総和を表すヒストグラムである。
【００２９】
まず、差分取得部２５は、図７に示されるように、第１のエッジ画像Ｅａのエッジ強度ヒストグラムＨａ（ｙ）を算出する。次に、差分取得部２５は、第２のエッジ画像Ｅｆのエッジ強度ヒストグラムＨｆ（ｙ）を算出する。なお、図７に示される第１のエッジ画像Ｅａ及び第２のエッジ画像Ｅｆは、縦のエッジが抽出されたエッジ画像である。また、図７に示されるように、第２のエッジ画像Ｅｆと第１のエッジ画像Ｅａとの間の差分を表すエッジ画像Ｅｄは、水面の領域でエッジ強度の差分が大きいことがわかる。
【００３０】
そして、差分取得部２５は、エッジ強度ヒストグラムＨａ（ｙ）とエッジ強度ヒストグラムＨｆ（ｙ）との差分を表す差分ヒストグラムＨｄ（ｙ）を算出する。図７に示されるように、差分ヒストグラムＨｄ（ｙ）において、水面が映る領域は差分が大きくなり、水面が映る領域以外は差分が小さいことがわかる。
【００３１】
また、差分取得部２５は、以下の式（１）に従って、差分ヒストグラムＨｄ（ｙ）を正規化し、正規化された差分ヒストグラムを表す正規化差分ヒストグラムＨｎ（ｙ）を取得する。式（１）に従った正規化処理では、エッジ強度ヒストグラムＨａ（ｙ）を用いて正規化が行われる。このため、例えば、差分ヒストグラムＨｄ（ｙ）における差分の値が同じ値であっても、平均画像から得られたエッジ強度ヒストグラムＨａ（ｙ）の値が大きいほど、差分の値が小さくなる。
【００３２】
Ｈｎ（ｙ）＝Ｈｄ（ｙ）／（Ｈａ（ｙ）＋１）                    （１）
【００３３】
スコア取得部２６は、差分取得部２５によって得られた正規化差分ヒストグラムのピークに対応する垂直方向の位置を水面の喫水線の候補として設定する。また、スコア取得部２６は、図７に示されるように、水面の喫水線の候補毎に、ピークにおける正規化差分ヒストグラムの傾きに応じたスコアを算出する。
【００３４】
具体的には、スコア取得部２６は、喫水線候補取得部２４によって設定された各喫水線候補に対応するｙ座標において、そのｙ座標における正規化差分ヒストグラムＨｎ（ｙ）の値の微分値を算出する。喫水線候補の各ｙ座標をｙｉ（ｉ＝１，...，Ｎ）とした場合、スコア取得部２６は、以下の式（２）に従って、各喫水線候補ｉについての微分値Ｆｉを計算する。なお、Ｎは喫水線候補の数を表す。なお、本実施形態では、川がフレーム画像の手前に映っていることを仮定するため、微分値Ｆｉ＜０の場合にはＦｉ＝０とする。
【００３５】
Ｆｉ＝ｄＨｎ（ｙｉ）／ｄｙ                    （２）
【００３６】
次に、スコア取得部２６は、各喫水線候補の各々について算出された微分値の各々に基づいて、喫水線候補取得部２４によって設定された各喫水線候補ｉのスコアＳｉを算出する。喫水線候補ｉ(ｉ＝１，…，Ｎ）のスコアＳｉは、例えば、以下の式（３）によって表される。
【００３７】
【数２】
2019078555.tif 000003
（３）
【００３８】
水面判定部２８は、スコア取得部２６によって算出された、各喫水線候補のスコアの各々に基づいて、スコアが最も大きい喫水線候補を、水面の喫水線であると判定する。例えば、水面判定部２８は、図８に示されるように、喫水線の候補Ｆ１のスコアＳ１と喫水線の候補Ｆ２のスコアＳ２とが算出された場合、この２つを大きい順に順位付けする。そして、水面判定部２８は、１位である喫水線の候補Ｆ２を喫水線であると判定し、対応するｙ座標に応じて画像上の喫水線を特定する。
【００３９】
出力装置３０には、水面判定部２８によって判定された喫水線が重畳された画像が出力される。出力装置３０は、例えば、ディスプレイ等によって実現される。
【００４０】
水面判定装置１４は、例えば、図９に示すコンピュータ５０で実現することができる。コンピュータ５０はＣＰＵ５１、一時記憶領域としてのメモリ５２、及び不揮発性の記憶部５３を備える。また、コンピュータ５０は、カメラ１２、出力装置３０等の入出力装置が接続される入出力interface（Ｉ／Ｆ）５４、及び記録媒体５９に対するデータの読み込み及び書き込みを制御するread/write（Ｒ／Ｗ）部５５を備える。また、コンピュータ５０は、インターネット等のネットワークに接続されるネットワークＩ／Ｆ５６を備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力Ｉ／Ｆ５４、Ｒ／Ｗ部５５、及びネットワークＩ／Ｆ５６は、バス５７を介して互いに接続される。
【００４１】
記憶部５３は、Hard Disk Drive（ＨＤＤ）、Solid State Drive（ＳＳＤ）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０を水面判定装置１４として機能させるための水面判定プログラム６０が記憶されている。水面判定プログラム６０は、平均画像取得プロセス６１と、明度変換プロセス６２と、エッジ取得プロセス６３と、ヒストグラム取得プロセス６４と、喫水線候補取得プロセス６５と、差分取得プロセス６６とを有する。また、水面判定プログラム６０は、スコア取得プロセス６７と、水面判定プロセス６８とを有する。画像記憶領域６９には、画像記憶部１６を構成する情報が記憶される。
【００４２】
ＣＰＵ５１は、水面判定プログラム６０を記憶部５３から読み出してメモリ５２に展開し、水面判定プログラム６０が有するプロセスを順次実行する。ＣＰＵ５１は、平均画像取得プロセス６１を実行することで、図１に示す平均画像取得部１８として動作する。また、ＣＰＵ５１は、明度変換プロセス６２を実行することで、図１に示す明度変換部２０として動作する。また、ＣＰＵ５１は、エッジ取得プロセス６３を実行することで、図１に示すエッジ取得部２２として動作する。また、ＣＰＵ５１は、ヒストグラム取得プロセス６４を実行することで、図１に示すヒストグラム取得部２３として動作する。また、ＣＰＵ５１は、喫水線候補取得プロセス６５を実行することで、図１に示す喫水線候補取得部２４として動作する。また、ＣＰＵ５１は、差分取得プロセス６６を実行することで、図１に示す差分取得部２５として動作する。また、ＣＰＵ５１は、スコア取得プロセス６７を実行することで、図１に示すスコア取得部２６として動作する。また、ＣＰＵ５１は、水面判定プロセス６８を実行することで、図１に示す水面判定部２８として動作する。また、ＣＰＵ５１は、画像記憶領域６９から情報を読み出して、画像記憶部１６をメモリ５２に展開する。これにより、水面判定プログラム６０を実行したコンピュータ５０が、水面判定装置１４として機能することになる。ソフトウェアである水面判定プログラム６０を実行するＣＰＵ５１はハードウェアである。
【００４３】
なお、水面判定プログラム６０により実現される機能は、例えば半導体集積回路、より詳しくはApplication Specific Integrated Circuit（ＡＳＩＣ）等で実現することも可能である。
【００４４】
次に、第１の実施形態に係る水面判定装置１４の作用について説明する。水面判定装置１４は、川の映像の各フレーム画像が画像記憶部１６に格納され始めると、図１０に示す水面判定処理ルーチンを実行する。
【００４５】
ステップＳ１００において、平均画像取得部１８は、画像記憶部１６に格納された所定の時間区間の複数のフレーム画像を取得する。
【００４６】
ステップＳ１０２において、平均画像取得部１８は、上記ステップＳ１００で取得された複数のフレーム画像を平均し、平均画像を取得する。
【００４７】
ステップＳ１０４において、明度変換部２０は、上記ステップＳ１０２で取得された平均画像を明度変換し、平均画像に対応する明度画像を示す平均明度画像を取得する。また、明度変換部２０は、上記ステップＳ１０２で平均画像を取得する際に用いられた特定のフレーム画像を明度変換し、特定のフレーム画像に対応する明度画像を示す特定明度画像を取得する。
【００４８】
ステップＳ１０６において、エッジ取得部２２は、上記ステップＳ１０４で取得された平均明度画像に対し空間フィルタを適用して、平均明度画像のエッジ強度を表す第１のエッジ画像を取得する。また、エッジ取得部２２は、上記ステップＳ１０４で取得された特定明度画像に対し空間フィルタを適用して、特定明度画像のエッジ強度を表す第２のエッジ画像を取得する。
【００４９】
ステップＳ１０８において、ヒストグラム取得部２３は、上記ステップＳ１０６で取得された第１のエッジ画像に基づいて、第１のエッジ画像のエッジ強度ヒストグラムを生成する。また、ヒストグラム取得部２３は、上記ステップＳ１０６で取得された第２のエッジ画像に基づいて、第２のエッジ画像のエッジ強度ヒストグラムを生成する。
【００５０】
ステップＳ１１０において、喫水線候補取得部２４は、上記ステップＳ１０８で取得された第１のエッジ画像のエッジ強度ヒストグラムのうちのピークのｙ座標を求め、求められたピークのｙ座標を通るｘ軸に並行な線分を喫水線候補として設定する。
【００５１】
ステップＳ１１２において、差分取得部２５は、上記ステップＳ１０８で取得された、第１のエッジ画像のエッジ強度ヒストグラムと第２のエッジ画像のエッジ強度ヒストグラムとに基づいて、差分ヒストグラムを取得する。そして、差分取得部２５は、上記式（１）に従って、差分ヒストグラムを正規化し、正規化差分ヒストグラムを取得する。
【００５２】
ステップＳ１１４において、スコア取得部２６は、水面の喫水線の候補毎に、ピークにおける正規化差分ヒストグラムの傾きとして、上記式（２）に従って各喫水線の候補の微分値Ｆｉを計算する。そして、スコア取得部２６は、喫水線の候補毎に、上記式（３）に従ってスコアＳｉを算出する。
【００５３】
ステップＳ１１６において、水面判定部２８は、上記ステップＳ１１４で算出された、各喫水線候補のスコアの各々に基づいて、スコアが最も大きい喫水線候補を、水面の喫水線であると判定する。
【００５４】
以上説明したように、第１の実施形態に係る水面判定装置１４は、水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素のエッジ強度を表す第１のエッジ画像を取得する。また、水面判定装置１４は、映像のうちの特定のフレーム画像の各画素のエッジ強度を表す第２のエッジ画像を取得する。そして、水面判定装置１４は、第１のエッジ画像の各画素のエッジ強度と第２のエッジ画像の各画素のエッジ強度との差分に応じて、水面が映る領域を判定する。これにより、水面の領域を精度よく特定することができる。
【００５５】
なお、川の映像に映る堤防部等は時間の経過に応じて変化するものではないため、堤防部に凹凸が存在しない場合であっても、１フレーム画像のエッジ強度と平均画像のエッジ強度との差分は小さくなる。そのため、本実施形態のように、平均画像のエッジ強度と特定のフレーム画像のエッジ強度との差分が大きい領域を水面が映る領域であると判定することで、堤防部に凹凸が存在しない場合であっても水面の領域を精度よく特定することができる。
【００５６】
＜第２の実施形態＞
【００５７】
次に、第２の実施形態について説明する。第２の実施形態では、画像のエッジ強度に替えて、画像の明度を用いる点が第１の実施形態と異なる。なお、第１の実施形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００５８】
第２の実施形態では、平均画像の各画素の明度と特定のフレーム画像の各画素の明度とに基づいて、平均画像の明度と特定のフレーム画像の明度との差分が大きい領域を、水面が映る領域であると判定する。
【００５９】
図１１に示すように、第２の実施形態に係る水面判定システム２１０は、カメラ１２と、水面判定装置２１４と、出力装置３０とを備えている。
【００６０】
水面判定装置２１４は、図１１に示されるように、画像記憶部１６と、平均画像取得部１８と、明度変換部２０と、ヒストグラム取得部２２３と、喫水線候補取得部２４と、差分取得部２５と、スコア取得部２６と、水面判定部２８とを備えている。
【００６１】
ヒストグラム取得部２２３は、明度変換部２０によって得られる平均明度画像に基づいて、平均明度画像の垂直方向の各位置に対する、その垂直方向の位置に対応する水平方向の各画素の明度の総和を表す明度強度ヒストグラムを生成する。平均明度画像の明度強度ヒストグラムは、平均明度画像の各領域の明度を表す。また、ヒストグラム取得部２２３は、明度変換部２０によって得られる特定明度画像に基づいて、特定明度画像の垂直方向の各位置に対する、その垂直方向の位置に対応する水平方向の各画素の明度の総和を表す明度強度ヒストグラムを生成する。特定明度画像の明度強度ヒストグラムは、特定明度画像の各領域の明度を表す。
【００６２】
第２の実施形態の水面判定装置１４は、例えば、図１２に示すコンピュータ５０で実現することができる。コンピュータ５０の記憶部５３は、ＨＤＤ、ＳＳＤ、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０を水面判定装置２１４として機能させるための水面判定プログラム２６０が記憶されている。水面判定プログラム２６０は、平均画像取得プロセス６１と、明度変換プロセス６２と、ヒストグラム取得プロセス２６４と、喫水線候補取得プロセス６５と、差分取得プロセス６６と、スコア取得プロセス６７と、水面判定プロセス６８とを有する。画像記憶領域６９には、画像記憶部１６を構成する情報が記憶される。
【００６３】
ＣＰＵ５１は、水面判定プログラム２６０を記憶部５３から読み出してメモリ５２に展開し、水面判定プログラム２６０が有するプロセスを順次実行する。ＣＰＵ５１は、ヒストグラム取得プロセス２６４を実行することで、図１１に示すヒストグラム取得部２２３として動作する。これにより、水面判定プログラム２６０を実行したコンピュータ５０が、水面判定装置２１４として機能することになる。ソフトウェアである水面判定プログラム２６０を実行するＣＰＵ５１はハードウェアである。
【００６４】
なお、水面判定プログラム２６０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。
【００６５】
次に、第２の実施形態に係る水面判定装置２１４の作用について説明する。水面判定装置２１４は、川の映像の各フレーム画像が画像記憶部１６に格納され始めると、図１３に示す水面判定処理ルーチンを実行する。
【００６６】
ステップＳ１００〜ステップＳ１０４、及びステップＳ１１０〜ステップＳ１１６までは、上記第１の実施形態と同様に実行される。
【００６７】
ステップＳ２０８において、ヒストグラム取得部２２３は、ステップＳ１０４で得られる平均明度画像に基づいて、平均明度画像の明度強度ヒストグラムを生成する。また、ヒストグラム取得部２２３は、ステップＳ１０４で得られる特定明度画像に基づいて、特定明度画像の明度強度ヒストグラムを生成する。
【００６８】
以上説明したように、第２の実施形態に係る水面判定装置２１４は、水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像を取得する。そして、平均画像の各画素の明度と映像のうちの特定のフレーム画像の各画素の明度との差分に応じて、水面が映る領域を判定する。これにより、水面の領域を精度よく特定することができる。また、エッジを抽出することなく水面の領域を特定することができるため、簡易な処理により水面の領域を特定することができる。
【００６９】
なお、上記では、各プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ等の記録媒体に記録された形態で提供することも可能である。
【００７０】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【００７１】
次に、各実施形態の変形例を説明する。
【００７２】
上記各実施形態では、水面が映る領域の境界を表す喫水線を判定する場合を例に説明したが、これに限定されるものではない。例えば、水面が映る領域を判定してもよい。この場合には、例えば第１の実施形態では、平均画像のエッジ強度と特定のフレーム画像のエッジ強度との差分を画像内の領域毎に算出する。そして、算出された差分が予め定めた閾値以上の領域を、水面が映る領域であると判定する。また、第２の実施形態では、平均画像の明度と特定のフレーム画像の明度との差分を画像の領域毎に算出する。そして、算出された差分が予め定めた閾値以上の領域を、水面が映る領域であると判定する。
【００７３】
また、上記第１の実施形態では、図６に示される例においては、縦のエッジと横のエッジとの両方が抽出される場合を例に説明し、図７に示される例では、縦のエッジが抽出される場合を例に説明したがこれに限定されるものではない。エッジ強度としては、どのような方向のエッジを用いてもよい。また、エッジ画像としては２値化された画像を用いるようにしてもよい。
【００７４】
また、上記各実施形態では、特定のフレーム画像が１フレームである場合を例に説明したがこれに限定されるものではなく、複数のフレーム画像を特定のフレーム画像として用いても良い。複数のフレーム画像を特定のフレーム画像として用いる場合には、例えば、複数のフレーム画像を平均することによって得られる画像を特定のフレーム画像として用いることができる。なお、特定のフレーム画像の数は、平均画像に用いる複数のフレーム画像よりも十分少ない数である。
【００７５】
以上の各実施形態に関し、更に以下の付記を開示する。
【００７６】
（付記１）
水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素のエッジ強度を表す第１のエッジ画像を取得し、
前記映像のうちの特定のフレーム画像の各画素のエッジ強度を表す第２のエッジ画像を取得し、
前記第１のエッジ画像の各画素のエッジ強度と前記第２のエッジ画像の各画素のエッジ強度との差分が予め定めた閾値以上の領域を、前記水面が映る領域であると判定する、
処理をコンピュータに実行させるための水面判定プログラム。
【００７７】
（付記２）
水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素の明度と前記映像のうちの特定のフレーム画像の各画素の明度との差分が予め定めた閾値以上の領域を、前記水面が映る領域であると判定する、
処理をコンピュータに実行させるための水面判定プログラム。
【００７８】
（付記３）
前記映像の前記フレーム画像の垂直方向の下方には、川の水面が映っており、
前記平均画像と前記特定のフレーム画像との前記差分を表す差分ヒストグラムであって、前記フレーム画像の前記垂直方向の各位置に対応する水平方向の各画素の前記差分の総和を表す前記差分ヒストグラムを生成し、
前記差分ヒストグラムのピークに対応する前記垂直方向の位置を前記水面の喫水線の候補とし、前記水面の喫水線の候補毎に、前記ピークにおける前記差分ヒストグラムの傾きに応じたスコアを算出し、前記スコアに基づいて、前記水面の喫水線を判定する、
請求項１又は請求項２に記載の水面判定プログラム。
【００７９】
（付記４）
水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素のエッジ強度を表す第１のエッジ画像を取得し、
前記映像のうちの特定のフレーム画像の各画素のエッジ強度を表す第２のエッジ画像を取得し、
前記第１のエッジ画像の各画素のエッジ強度と前記第２のエッジ画像の各画素のエッジ強度との差分が予め定めた閾値以上の領域を、前記水面が映る領域であると判定する、
処理をコンピュータに実行させる水面判定方法。
【００８０】
（付記５）
水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素の明度と前記映像のうちの特定のフレーム画像の各画素の明度との差分が予め定めた閾値以上の領域を、前記水面が映る領域であると判定する、
処理をコンピュータに実行させる水面判定方法。
【００８１】
（付記６）
前記映像の前記フレーム画像の垂直方向の下方には、川の水面が映っており、
前記平均画像と前記特定のフレーム画像との前記差分を表す差分ヒストグラムであって、前記フレーム画像の前記垂直方向の各位置に対応する水平方向の各画素の前記差分の総和を表す前記差分ヒストグラムを生成し、
前記差分ヒストグラムのピークに対応する前記垂直方向の位置を前記水面の喫水線の候補とし、前記水面の喫水線の候補毎に、前記ピークにおける前記差分ヒストグラムの傾きに応じたスコアを算出し、前記スコアに基づいて、前記水面の喫水線を判定する、
請求項１又は請求項２に記載の水面判定方法。
【００８２】
（付記７）
水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素のエッジ強度を表す第１のエッジ画像を取得し、前記映像のうちの特定のフレーム画像の各画素のエッジ強度を表す第２のエッジ画像を取得するエッジ取得部と、
前記第１のエッジ画像の各画素のエッジ強度と前記第２のエッジ画像の各画素のエッジ強度との差分が予め定めた閾値以上の領域を、前記水面が映る領域であると判定する水面判定部と、
を備える水面判定装置。
【００８３】
（付記８）
水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素の明度と前記映像のうちの特定のフレーム画像の各画素の明度との差分が予め定めた閾値以上の領域を、前記水面が映る領域であると判定する水面判定部、
を備える水面判定装置。
【００８４】
（付記９）
前記映像の前記フレーム画像の垂直方向の下方には、川の水面が映っており、
前記平均画像と前記特定のフレーム画像との前記差分を表す差分ヒストグラムであって、前記フレーム画像の前記垂直方向の各位置に対応する水平方向の各画素の前記差分の総和を表す前記差分ヒストグラムを生成する差分取得部と、
前記差分ヒストグラムのピークに対応する前記垂直方向の位置を前記水面の喫水線の候補とし、前記水面の喫水線の候補毎に、前記ピークにおける前記差分ヒストグラムの傾きに応じたスコアを算出するスコア取得部とを更に備え、
前記水面判定部は、前記スコアに基づいて、前記水面の喫水線を判定する、
請求項１又は請求項２に記載の水面判定装置。
【００８５】
（付記１０）
水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素のエッジ強度を表す第１のエッジ画像を取得し、
前記映像のうちの特定のフレーム画像の各画素のエッジ強度を表す第２のエッジ画像を取得し、
前記第１のエッジ画像の各画素のエッジ強度と前記第２のエッジ画像の各画素のエッジ強度との差分が予め定めた閾値以上の領域を、前記水面が映る領域であると判定する、
処理をコンピュータに実行させるための水面判定プログラムを記憶した記憶媒体。
【００８６】
（付記１１）
水面を表す映像のうちの複数のフレーム画像の各々において対応する画素の画素値を平均することにより得られる平均画像の各画素の明度と前記映像のうちの特定のフレーム画像の各画素の明度との差分が予め定めた閾値以上の領域を、前記水面が映る領域であると判定する、
処理をコンピュータに実行させるための水面判定プログラムを記憶した記憶媒体。
【符号の説明】
【００８７】
１０，２１０  水面判定システム
１２   カメラ
１４，２１４  水面判定装置
１６   画像記憶部
１８   平均画像取得部
２０   明度変換部
２２   エッジ取得部
２３，２２３  ヒストグラム取得部
２４   喫水線候補取得部
２５   差分取得部
２６   スコア取得部
２８   水面判定部
３０   出力装置
５０   コンピュータ
５１   ＣＰＵ
５３   記憶部
５９   記録媒体
６０，２６０  水面判定プログラム
６１   平均画像取得プロセス
６２   明度変換プロセス
６３   エッジ取得プロセス
６４，２６４  ヒストグラム取得プロセス
６５   喫水線候補取得プロセス
６６   差分取得プロセス
６７   スコア取得プロセス
６８   水面判定プロセス
【図１】
2019078555.tif 000004
【図２】
2019078555.tif 000005
【図３】
2019078555.tif 000006
【図４】
2019078555.tif 000007
【図５】
2019078555.tif 000008
【図６】
2019078555.tif 000009
【図７】
2019078555.tif 000010
【図８】
2019078555.tif 000011
【図９】
2019078555.tif 000012
【図１０】
2019078555.tif 000013
【図１１】
2019078555.tif 000014
【図１２】
2019078555.tif 000015
【図１３】
2019078555.tif 000016