(57)【要約】【課題】天候観測カメラで撮影された映像を用いて簡易かつ正確に天候の変化を検出する天候変化検出装置、天候変化検出方法及び天候変化検出プログラムを提供することを課題とする。【解決手段】色彩値と観測対象の動きと観測対象のテクスチャといった複数の検出結果を統合して天候変化を検出する。【選択図】図１
2010128711.tif 000002
【特許請求の範囲】
【請求項１】
天候観測カメラで撮影された現在映像を入力する入力手段と、
前記現在映像を時系列な複数の画像フレームとして記憶する記憶手段と、
前記記憶手段から前記画像フレームを読み出して、当該画像フレームにおける各画素のＲＧＢカラー情報をＨＳＶカラーモデルに変換し、当該ＨＳＶカラーモデルを構成している色相成分、彩度成分、明度成分を複合的に用いて天候が悪化するに従って次第に高く又は低くなるような色彩値を検出する色彩値検出手段と、
前記記憶手段から時間的に連続する２枚の前記画像フレームを読み出して、観測対象の領域に位置している各画素の時間的な輝度変動量を計算し、当該各画素の近傍に位置する複数の画素の前記輝度変動量を用いて高速フーリエ変換した後に逆フーリエ変換を施して各画素における低空間周波数成分での時間変動成分を求め、当該時間変動成分を適用した輝度変動条件と前記観測対象における速度の滑らかさ条件とを拘束条件として、オプティカルフロー法を用いて計算された速度ベクトルを前記観測対象の動きとして検出する動き検出手段と、
検出された前記速度ベクトルを用いて、少なくとも発散度及び渦度に関する前記観測対象のテクスチャを検出するテクスチャ検出手段と、
前記複数の画像フレームを用いて検出された前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとを時系列に表示する表示手段と、
を有することを特徴とする天候変化検出装置。
【請求項２】
前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとを用いて天候が悪化するに従って次第に高くなるような統合値を計算し、当該統合値が所定の閾値以上の場合に悪天候であると判定する判定手段と、
を更に有することを特徴とする請求項１に記載の天候変化検出装置。
【請求項３】
前記天候観測カメラで過去に撮影された複数の過去映像を蓄積しておく蓄積手段と、
前記蓄積手段から前記複数の過去映像を読み出して、前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとに関する特徴量を各過去映像についてそれぞれ検出し、前記現在映像から検出された前記特徴量との類似度が所定の閾値以上である場合には、当該閾値以上の前記過去映像を用いて検出される前記特徴量を将来の天候とし、当該所定の閾値以上でない場合には、前記現在映像から検出された前記特徴量に対して自己回帰モデルを適用して繰り返し計算された特徴量を将来の天候として予測する予測手段と、
を更に有することを特徴とする請求項１又は２に記載の天候変化検出装置。
【請求項４】
コンピュータにより、
天候観測カメラで撮影された現在映像を入力するステップと、
前記現在映像を時系列な複数の画像フレームとして記憶手段に記憶するステップと、
前記記憶手段から前記画像フレームを読み出して、当該画像フレームにおける各画素のＲＧＢカラー情報をＨＳＶカラーモデルに変換し、当該ＨＳＶカラーモデルを構成している色相成分、彩度成分、明度成分を複合的に用いて天候が悪化するに従って次第に高く又は低くなるような色彩値を検出するステップと、
前記記憶手段から時間的に連続する２枚の前記画像フレームを読み出して、観測対象の領域に位置している各画素の時間的な輝度変動量を計算し、当該各画素の近傍に位置する複数の画素の前記輝度変動量を用いて高速フーリエ変換した後に逆フーリエ変換を施して各画素における低空間周波数成分での時間変動成分を求め、当該時間変動成分を適用した輝度変動条件と前記観測対象における速度の滑らかさ条件とを拘束条件として、オプティカルフロー法を用いて計算された速度ベクトルを前記観測対象の動きとして検出するステップと、
検出された前記速度ベクトルを用いて、少なくとも発散度及び渦度に関する前記観測対象のテクスチャを検出するステップと、
前記複数の画像フレームを用いて検出された前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとを時系列に表示するステップと、
を有することを特徴とする天候変化検出方法。
【請求項５】
前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとを用いて天候が悪化するに従って次第に高くなるような統合値を計算し、当該統合値が所定の閾値以上の場合に悪天候であると判定するステップと、
を更に有することを特徴とする請求項４に記載の天候変化検出方法。
【請求項６】
前記天候観測カメラで過去に撮影された複数の過去映像を蓄積手段に蓄積しておくステップと、
前記蓄積手段から前記複数の過去映像を読み出して、前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとに関する特徴量を各過去映像についてそれぞれ検出し、前記現在映像から検出された前記特徴量との類似度が所定の閾値以上である場合には、当該閾値以上の前記過去映像を用いて検出される前記特徴量を将来の天候とし、当該所定の閾値以上でない場合には、前記現在映像から検出された前記特徴量に対して自己回帰モデルを適用して繰り返し計算された特徴量を将来の天候として予測するステップと、
を更に有することを特徴とする請求項４又は５に記載の天候変化検出方法。
【請求項７】
請求項４乃至６のいずれか１項に記載の天候変化検出方法における各ステップをコンピュータによって実行させることを特徴とする天候変化検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、天候の変化を検出する天候変化検出装置、天候変化検出方法及び天候変化検出プログラムの技術に関する。
【背景技術】
【０００２】
現在、将来の天候を予測したり現在の天候状況を検出する方法としては、気象レーダ観測を用いる技術が一般的である。このような気象レーダ観測は、雨雲等の天候状態を日本全土や世界的規模の広範囲で把握できるため、気象庁等で用いられている（非特許文献１参照）。
【非特許文献１】“天気予報のできるまで”、［online］、［平成20年11月18日検索］、インターネット＜URL : http://contest.thinkquest.jp/tqj2001/40457/weather/weather_yohou_other.html＞
【非特許文献２】J.L. Barron、他２名、「Performance of Optical Flow Techniques」、IJCV、1994、vol.12、no.1、p.43-77
【非特許文献３】中川  徹、外１名、「最小二乗法による実験データ解析」、東京大学出版会、1995、p.168-169
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、気象衛星や気象観測船等の多地点で採取された膨大な観測データを特定の集中装置に伝送し、この観測データを均一にコンピュータで計算して現在の天候状態を検出したり将来の天候を予測するため、気象データを観測してから配信するまでに時間を要するという問題がある。
【０００４】
また、気象レーダ観測における空間分解能は約２．５ｋｍであるため、それよりも小さい対流セルからなる雷雲等を把握できないという問題もある。
【０００５】
本発明は、上記を鑑みてなされたものであり、数秒単位かつ数百メートル単位で観測できる映像の利点を活かして、天候観測カメラで撮影された映像を用いて簡易かつ正確に天候の変化を検出する天候変化検出装置、天候変化検出方法及び天候変化検出プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
第１の請求項に係る発明は、天候観測カメラで撮影された現在映像を入力する入力手段と、前記現在映像を時系列な複数の画像フレームとして記憶する記憶手段と、前記記憶手段から前記画像フレームを読み出して、当該画像フレームにおける各画素のＲＧＢカラー情報をＨＳＶカラーモデルに変換し、当該ＨＳＶカラーモデルを構成している色相成分、彩度成分、明度成分を複合的に用いて天候が悪化するに従って次第に高く又は低くなるような色彩値を検出する色彩値検出手段と、前記記憶手段から時間的に連続する２枚の前記画像フレームを読み出して、観測対象の領域に位置している各画素の時間的な輝度変動量を計算し、当該各画素の近傍に位置する複数の画素の前記輝度変動量を用いて高速フーリエ変換した後に逆フーリエ変換を施して各画素における低空間周波数成分での時間変動成分を求め、当該時間変動成分を適用した輝度変動条件と前記観測対象における速度の滑らかさ条件とを拘束条件として、オプティカルフロー法を用いて計算された速度ベクトルを前記観測対象の動きとして検出する動き検出手段と、検出された前記速度ベクトルを用いて、少なくとも発散度及び渦度に関する前記観測対象のテクスチャを検出するテクスチャ検出手段と、前記複数の画像フレームを用いて検出された前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとを時系列に表示する表示手段と、を有することを要旨とする。
【０００７】
第２の請求項に係る発明は、前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとを用いて天候が悪化するに従って次第に高くなるような統合値を計算し、当該統合値が所定の閾値以上の場合に悪天候であると判定する判定手段と、を更に有することを要旨とする。
【０００８】
第３の請求項に係る発明は、前記天候観測カメラで過去に撮影された複数の過去映像を蓄積しておく蓄積手段と、前記蓄積手段から前記複数の過去映像を読み出して、前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとに関する特徴量を各過去映像についてそれぞれ検出し、前記現在映像から検出された前記特徴量との類似度が所定の閾値以上である場合には、当該閾値以上の前記過去映像を用いて検出される前記特徴量を将来の天候とし、当該所定の閾値以上でない場合には、前記現在映像から検出された前記特徴量に対して自己回帰モデルを適用して繰り返し計算された特徴量を将来の天候として予測する予測手段と、を更に有することを要旨とする。
【０００９】
第４の請求項に係る発明は、コンピュータにより、天候観測カメラで撮影された現在映像を入力するステップと、前記現在映像を時系列な複数の画像フレームとして記憶手段に記憶するステップと、前記記憶手段から前記画像フレームを読み出して、当該画像フレームにおける各画素のＲＧＢカラー情報をＨＳＶカラーモデルに変換し、当該ＨＳＶカラーモデルを構成している色相成分、彩度成分、明度成分を複合的に用いて天候が悪化するに従って次第に高く又は低くなるような色彩値を検出するステップと、前記記憶手段から時間的に連続する２枚の前記画像フレームを読み出して、観測対象の領域に位置している各画素の時間的な輝度変動量を計算し、当該各画素の近傍に位置する複数の画素の前記輝度変動量を用いて高速フーリエ変換した後に逆フーリエ変換を施して各画素における低空間周波数成分での時間変動成分を求め、当該時間変動成分を適用した輝度変動条件と前記観測対象における速度の滑らかさ条件とを拘束条件として、オプティカルフロー法を用いて計算された速度ベクトルを前記観測対象の動きとして検出するステップと、検出された前記速度ベクトルを用いて、少なくとも発散度及び渦度に関する前記観測対象のテクスチャを検出するステップと、前記複数の画像フレームを用いて検出された前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとを時系列に表示するステップと、を有することを要旨とする。
【００１０】
第５の請求項に係る発明は、前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとを用いて天候が悪化するに従って次第に高くなるような統合値を計算し、当該統合値が所定の閾値以上の場合に悪天候であると判定するステップと、を更に有することを要旨とする。
【００１１】
第６の請求項に係る発明は、前記天候観測カメラで過去に撮影された複数の過去映像を蓄積手段に蓄積しておくステップと、前記蓄積手段から前記複数の過去映像を読み出して、前記色彩値と前記観測対象の動きと前記観測対象のテクスチャとに関する特徴量を各過去映像についてそれぞれ検出し、前記現在映像から検出された前記特徴量との類似度が所定の閾値以上である場合には、当該閾値以上の前記過去映像を用いて検出される前記特徴量を将来の天候とし、当該所定の閾値以上でない場合には、前記現在映像から検出された前記特徴量に対して自己回帰モデルを適用して繰り返し計算された特徴量を将来の天候として予測するステップと、を更に有することを要旨とする。
【００１２】
第７の請求項に係る発明は、請求項４乃至６のいずれか１項に記載の天候変化検出方法における各ステップをコンピュータによって実行させることを要旨とする。
【発明の効果】
【００１３】
本発明によれば、天候観測カメラで撮影された映像を用いて簡易かつ正確に天候の変化を検出する天候変化検出装置、天候変化検出方法及び天候変化検出プログラムを提供することができる。
【発明を実施するための最良の形態】
【００１４】
図１は、本実施の形態に係る天候変化検出装置の機能構成を示す機能構成図である。この天候変化検出装置１００は、入力部１１と、色彩値検出部１２と、動き検出部１３と、テクスチャ検出部１４と、判定部１５と、予測部１６と、表示部１７と、記憶部３１と、蓄積部３２とを備えた構成である。
【００１５】
入力部１１は、天候観測カメラ２００で現在撮影された現在映像や、過去に撮影された複数の過去映像の入力を受け付ける機能を備えている。例えば、図２に示すような晴天から悪天候へ変化する映像が入力される。図２（ａ）の左側に示す画像には青空に白い雲が漂っている様子が撮影されているが、１時間経過後の右側の画像では、天候が急変して厚い雲により青空が見えなくなっている。また、図２（ｂ）や（ｃ）にあっては、悪天候の変化として景観が次第に暗くなり、雲のテクスチャも複雑に変化している。景観が暗くなり雲が灰色に変化するのは、地上を照らしていた太陽光が発達した雲により遮断もしくは乱反射されるためである。本実施の形態では、このような画像上の視覚的な変化、すなわち、輝度変動（濃淡変動）を用いて悪天候を検知することを目的としている。
【００１６】
記憶部３１は、入力部１１で受け付けた後に入力された現在映像を時系列な複数の画像フレームとして記憶する機能を備えている。記憶される現在映像とは、現在継続的に撮影されている映像である。一方、蓄積部３２は、入力部１１で受け付けた後に入力された複数の過去映像を蓄積しておく機能を備えている。蓄積される複数の過去映像とは、春夏秋冬や梅雨等の季節単位、年・日・時間単位、午前・午後単位等のさまざまな単位を基準に撮影された映像である。なお、このような記憶部３１、蓄積部３２としては、例えばメモリ、ハードディスク等の記憶装置を用いることが一般的であり、天候変化検出装置１００の内部のみならず、インターネットや電話回線等の通信ネットワークを介して電気的に接続可能な外部の記憶装置を用いることも可能である。
【００１７】
色彩値検出部１２は、記憶部３１から画像フレームを読み出して、この画像フレームにおける各画素のＲＧＢカラー情報をＨＳＶカラーモデルに変換し、変換後のＨＳＶカラーモデルを構成している色相成分（Ｈ：Ｈｕｅ）、彩度成分（Ｓ：Ｓａｔｕｒａｔｉｏｎ・Ｃｈｒｏｍａ）、明度成分（Ｖ：Ｂｒｉｇｈｔｎｅｓｓ・Ｌｉｇｈｔｎｅｓｓ・Ｖａｌｕｅ）を複合的に用いて天候が悪化するに従って次第に高く又は低くなるような色彩値を検出する機能を備えている。以下、色彩値に関する具体的な計算方法について説明する。
【００１８】
Ｒ、Ｇ、Ｂが０を最小値、２５５を最大値とする０〜２５５の範囲（２５６階調の範囲）にあり、（Ｒ，Ｇ，Ｂ）で定義された色が与えられたとすると、この（Ｒ，Ｇ，Ｂ）に対応する（Ｈ，Ｓ，Ｖ）カラーは式（１）〜式（３）に基づいて決定することができる。なお、ＭＡＸを（Ｒ，Ｇ，Ｂ）値の最大値と等しく、ＭＩＮを（Ｒ，Ｇ，Ｂ）値の最小値とする。
【数１】
2010128711.tif 000003
【数２】
2010128711.tif 000004
【数３】
2010128711.tif 000005
【００１９】
この計算結果から、図３に示すように、Ｈについては、赤色が０°（３６０°）、黄色が６０°、緑色が１２０°、水色が１８０°、青色が２４０°、紫色が３００°といった０°〜３６０°まで変化する色相角度（Ｈｕｅ  ａｎｇｌｅ）で表現されることになる。また、Ｓについては、薄（無彩色）い側が０、濃い（有色色）い側が１といった０〜１の実数値で表現され、Ｖについては、弱い側が０、強い側が１といった０〜１の実数値で表現されることになる。
【００２０】
そして、天候が悪化する場合には画像フレームに撮影されている景観が次第に暗くなっていくので、ＳとＨは１付近から０付近に近づいていく。そこで、式（１）〜式（３）により決定されたＨ、Ｓ、Ｖの値を複合的に用いて、悪天候になるに従って次第に値が大きくなるように導出させる式（４）を用いて色彩値Ｃｉ、ｊを検出する。なお、式（４）のＨについては、２４０°を基準として相対的な変化を検出するようにしている。また、ｅｘｐは指数関数である。πは、ＨＳＶを用いて計算された値を全体的に調整する調整係数であって、例えば１．０を用いることができる。
【数４】
2010128711.tif 000006
【００２１】
記憶部３１に記憶されている全ての画像フレームについて色彩値をそれぞれ計算し、全ての計算結果を表示部１７で時系列に表示することにより、時間軸に沿って色彩値が次第に低くなる場合には天候が回復傾向にあり、一方、色彩値が次第に高くなる場合には天候が悪化している傾向にあるとの検出結果を得ることが可能となる。また、色彩値Ｃｉ、ｊが特定のノイズ値よりも小さい場合には利用しないとすることで、細かいノイズからの影響を緩和することが可能となる。
【００２２】
従来、ＲＧＢカラー情報をＨＳＶカラーモデルに変換した場合、Ｈ、Ｓ、Ｖをそれぞれ独立に用いて画像処理を行う技術が殆どであり、例えばＨのみを用いた場合には、悪天候であっても一部晴れ間が雲の間に生じたときには青色成分のみの影響を受けてしまい正確な天候を検出することができなかった。しかしながら、本実施の形態によれば、式（４）に示すようにＨＳＶを複合的に用いているので、より高い精度で色彩情報を得ることが可能となる。
【００２３】
なお、色相成分、彩度成分、明度成分を用いて色彩値を計算する方法について説明したが、ＲＧＢカラー情報を用い、式（４）と同様な計算結果が得られる式を用いて色彩値を計算した場合であっても同じ効果を得ることが可能である。以下では、Ｒ、Ｇ、Ｂの計算方法について付言しておく。式（１）〜式（３）に基づいて決定された（Ｈ，Ｓ，Ｖ）カラーを用いて（Ｒ，Ｇ，Ｂ）カラーを計算する。Ｈ÷６０の整数部をｉ、小数部をｆとし、得られたＨ、Ｓ、Ｖを式（５）に代入してｐ１〜ｐ３を計算する。
【数５】
2010128711.tif 000007
【００２４】
そして、式（６）を用いてＲ、Ｇ、Ｂを計算することができる。ｉの値に応じて異なる変数を用いてＲＧＢを検出することが可能となる。
【数６】
2010128711.tif 000008
【００２５】
動き検出部１３は、記憶部３１から時間的に連続する２枚の画像フレームを読み出して、雲や樹木等の観測対象の領域に位置している各画素の時間的な輝度変動量を計算し、各画素の近傍に位置する複数の画素の輝度変動量を用いて高速フーリエ変換した後に逆フーリエ変換を施して各画素における低空間周波数成分での時間変動成分を求め、求めた時間変動成分を適用した輝度変動条件と前記観測対象における速度の滑らかさ条件とを拘束条件として、オプティカルフロー法を用いて計算された速度ベクトルを観測対象の動きとして検出する機能を備えている。以下、観測対象の動きに関する具体的な計算方法について説明する。
【００２６】
オプティカルフローとは撮影された観測対象の見かけの速度ベクトルのことを意味している（非特許文献２参照）。図４に示すように、時刻ｔにおいて座標（ｘ，ｙ）にある輝度（濃淡）Ｉが、δｔ時間経過した後に座標（ｘ＋δｘ，ｙ＋δｙ）に移動したとき、後者について（ｘ，ｙ，ｔ）のまわりでテイラー展開すると式（７）を得ることができる。
【数７】
2010128711.tif 000009
【００２７】
そして、式（７）に示す右辺の第２項〜第４項をδｔで割った値が２枚の画像フレーム間の輝度変動量に相当するため、この輝度変動量をαＩとして式（８）を導出する。なお、従来におけるオプティカルフローを用いる技術は、この輝度変動量αＩを０（ゼロ）とする技術が殆どであったが、本実施の形態によれば、輝度変動量を所定値（例えばα＝０．１）を与えているため、雲や雷が突発的に出現した場合であっても適切に観測対象の動きを把握することが可能となる。
【数８】
2010128711.tif 000010
【００２８】
ここで、δｔの極限としてδｔ→０とすると式（９）を得ることができる。
【数９】
2010128711.tif 000011
【００２９】
式（９）がオプティカルフローを計算する基本式であり、式（１０）に示すようにｄｘ／ｄｔとｄｙ／ｄｔとを計算することにより、速度ベクトルｄを求めることができる。
【数１０】
2010128711.tif 000012
【００３０】
ここで、この基本式を計算するには拘束条件を与える必要があるが、本実施の形態では、輝度変動条件と観測対象の動きの滑らかさ条件とを拘束条件としている。
【００３１】
最初に、輝度変動条件について説明する。式（９）に示す（∂ｘ／∂ｔ）をＩｘ、（∂ｙ／∂ｔ）をＩｙ、（∂Ｉ／∂ｔ）をＩｔとし、式（９）を用いて誤差ｅｒｒを式（１１）のように定義する。
【数１１】
2010128711.tif 000013
【００３２】
差分法に基づいて（ｉ、ｊ）格子上で式（１１）の各変数を離散化すると、画素（ｉ、ｊ）における誤差ｅｒｒｉ，ｊは式（１２）で表現することができる。なお、ｎは時間方向の分割数である。
【数１２】
2010128711.tif 000014
【００３３】
ここで、式（１２）で示す（Ｉｉ，ｊｎ−Ｉｉ，ｊｎ−１）に対して、換言すれば、時刻ｔ（ｎに対応）と時刻ｔ−１（ｎ−１に対応）との２枚の画像フレーム間における画素（ｉ，ｊ）の輝度変動量に対して、その画素の近傍に位置する領域Ωの輝度変動量を用いて高速フーリエ変換ＦＦＴを施して空間周波数を求め、更に逆フーリエ変換を施して、画素（ｉ，ｊ）における低空間周波数成分での時間変動成分Ｆｉ，ｊを計算する。具体的には、式（１３）に示すように、ガウス関数と時間差分との畳み込み積分を行って、低空間周波数成分での時間変動成分Ｆｉ，ｊを求める。
【数１３】
2010128711.tif 000015
【００３４】
そして、式（１２）について観測対象の領域をΩとした式（１４）と式（１３）とが輝度変動条件となる。
【数１４】
2010128711.tif 000016
【００３５】
次に、観測対象の動きの滑らかさ条件について説明する。この滑らかさ条件については、観測対象である雲等の動きは微小であり、その速度成分の空間的な変化が滑らかであると仮定して、式（１５）に示すように速度ベクトルの変数ｕ，ｖの１次微分を用いる。
【数１５】
2010128711.tif 000017
【００３６】
最終的には、式（１４）に示す輝度変動条件と式（１５）に示す観測対象の動きの滑らか条件とから得られた拘束条件（式（１６））を用いて、３つの未知数（ｕ，ｖ，α）を最小二乗法を用いて推定する。なお、λは滑らかさ条件に対する調整量である。
【数１６】
2010128711.tif 000018
【００３７】
この最小二乗法の解法については、それら３つの未知数で式（１６）をそれぞれ偏微分した３つの線形連立方程式を計算することで求めることが可能となる。なお、最小二乗法に関する具体的な計算方法については非特許文献３に記載された方法を用いることが可能であることを付言しておく。
【００３８】
本実施の形態によれば、オプティカルフロー法を用いて観測対象の動きを計算するに際し、輝度変動や低空間周波数成分での時間変動成分を考慮しているため、緩やかに変化する雲であっても確実に検出することが可能となる。
【００３９】
テクスチャ検出部１４は、動き検出部１３で検出された速度ベクトルを用いて、少なくとも発散度及び渦度に関する観測対象のテクスチャを検出する機能を備えている。発散度ｄｉｖや渦度ｃｕｒｌについては式（１７）や式（１８）を用いて計算することができる。
【数１７】
2010128711.tif 000019
【数１８】
2010128711.tif 000020
【００４０】
なお、これら２つの式に基づいて計算機上で実際に計算処理させる場合には、式（１９）や式（２０）に示すように、有限差分法に従って離散化近似させて計算することにより発散度及び渦度の計算が可能となる。
【数１９】
2010128711.tif 000021
【数２０】
2010128711.tif 000022
【００４１】
判定部１５は、色彩値検出部１２と動き検出部１３とテクスチャ検出部１４とでそれぞれ検出された色彩値と観測対象の動きと観測対象のテクスチャとを用いて天候が悪化するに従って次第に高くなるような統合値を計算し、この統合値が所定の閾値以上の場合に悪天候であると判定する機能を備えている。具体的には、現在映像から上記３種類の値が検出されるが、天候状況をより容易に把握するために、式（２１）に示すように各値を複合的に用いて統合値Ｔを算出する。この式（２１）は、悪天候になるに従って次第に値が高くなるようになっている。
【数２１】
2010128711.tif 000023
【００４２】
そして、悪天候である基準をｔｈとしておき、統合値Ｔが基準ｔｈ以上の場合には悪天候と判断する。
【００４３】
予測部１６は、蓄積部３２から複数の過去映像を読み出して、色彩値と観測対象の動きと観測対象のテクスチャとに関する特徴量を各過去映像についてそれぞれ検出し、現在映像から検出されている特徴量（色彩値と観測対象の動きと観測対象のテクスチャ）との類似度が所定の閾値以上である場合には、この閾値以上に該当する過去映像を用いて別途計算される特徴量を将来の天候とし、この所定の閾値以上でない場合には、現在映像から検出された特徴量に対して自己回帰（ＡＲ）モデルを適用して繰り返し計算された特徴量を将来の天候として予測する機能を備えている。
【００４４】
具体的には、まず、前述した色彩値検出部１２と動き検出部１３とテクスチャ検出部１４での処理と同様に、各過去映像に対する特徴量をそれぞれ計算する。そして、現在映像の特徴量を用いて各過去映像に対する類似性をそれぞれ比較し、事前に規定されている閾値以上の場合には該当する過去映像に近い天候状態になると仮定し、現在以降の時刻における天候については、その過去映像を用いて予測する。
【００４５】
一方、その閾値以上でない場合には、過去のいずれの天候状態も参考にならないため、現在撮影された現在映像から検出された特徴量や、式（２１）で計算された統合値に対してＡＲモデルを適用し、前述の最小二乗法を用いて３つの未知数を推定することを繰り返して、現在以降の時刻における天候を予測する。
【００４６】
表示部１７は、図５に示すように、記憶部３１に記憶された複数の画像フレームを用いて検出された色彩値と観測対象の動きと観測対象のテクスチャと、判定部１５で計算された統合値及び判定結果と、予測部１６で予測された予測結果とを時系列に表示する機能を備えている。
【００４７】
続いて、本実施の形態に係る天候変化検出装置の処理フローについて説明する。図６は、本実施の形態に係る天候変化検出装置の処理フローを示すフロー図である。なお、蓄積部３２には予め過去映像が蓄積されているものとする。最初に、入力部１１が、天候観測カメラ２００で現在撮影された現在映像の入力を受け付ける（ステップＳ１０１）。
【００４８】
次に、記憶部３１が、受け付けて入力された現在映像を時系列な複数の画像フレームとして記憶する（ステップＳ１０２）。
【００４９】
その後、色彩値検出部１２が、画像フレームにおける各画素のＲＧＢカラー情報から変換された色相成分、彩度成分、明度成分を複合的に用いて、天候が悪化するに従って次第に高くなるような色彩値を検出する（ステップＳ１０３）。
【００５０】
続いて、動き検出部１３が、時間的に連続する２枚の画像フレームを用いて、観測対象の領域に位置している各画素の時間的な輝度変動量を計算し、各画素の近傍に位置する複数の画素の輝度変動量を用いて高速フーリエ変換した後に逆フーリエ変換を施して各画素における低空間周波数成分での時間変動成分を求め、求めた時間変動成分を適用した輝度変動条件と前記観測対象における速度の滑らかさ条件とを拘束条件として、オプティカルフロー法を用いて計算された速度ベクトルを観測対象の動きとして検出する（ステップＳ１０４）。
【００５１】
そして、テクスチャ検出部１４が、動き検出部１３で検出された速度ベクトルを用いて、発散度及び渦度に関する観測対象のテクスチャを検出する（ステップＳ１０５）。
【００５２】
その後、判定部１５が、検出された色彩値と観測対象の動きと観測対象のテクスチャとを用いて天候が悪化するに従って次第に高くなるような統合値を計算し、この統合値が所定の閾値以上の場合に悪天候であると判定する（ステップＳ１０６）。
【００５３】
そして、予測部１６が、色彩値と観測対象の動きと観測対象のテクスチャとに関する特徴量を各過去映像についてそれぞれ検出し、現在映像から検出されている特徴量との類似度が所定の閾値以上である場合には、この閾値以上に該当する過去映像を用いて検出される特徴量を将来の天候とし、この所定の閾値以上でない場合には、現在映像から検出された特徴量に対して自己回帰モデルを適用して繰り返し計算された特徴量を将来の天候として予測する（ステップＳ１０７）。
【００５４】
最後に、表示部１７が、検出された色彩値と観測対象の動きと観測対象のテクスチャと、統合値及び判定結果と、予測結果とを時系列に表示する（ステップＳ１０８）。
【００５５】
本実施の形態によれば、映像から得られた色相成分、彩度成分、明度成分を複合的に用いて色彩を検出しているので、悪天候の状況変化を適切に把握することが可能となる。また、低空間周波数成分の時間変化成分を用いて動きを検出しているので、雲のようにテクスチャが不明瞭な低空間周波数成分に富んだ対象を含む画像からでも安定してその動きを検出することができる。さらに、色彩値と観測対象の動きと観測対象のテクスチャといった複数の検出結果を統合した統合値を用いているので、誤検出を最小化することができる。
【００５６】
最後に、各実施の形態で説明した天候変化検出装置は、コンピュータで構成され、各機能ブロックの各処理はプログラムで実行されるようになっている。また、各実施の形態で説明した天候変化検出装置の各処理動作をプログラムとして例えばコンパクトディスクやフロッピー（登録商標）ディスク等の記録媒体に記録して、この記録媒体をコンピュータに組み込んだり、若しくは記録媒体に記録されたプログラムを、任意の通信回線を介してコンピュータにダウンロードしたり、又は記録媒体からインストールし、該プログラムでコンピュータを動作させることにより、上述した各処理動作を天候変化検出装置として機能させることができるのは勿論である。
【００５７】
なお、本実施の形態で説明した天候変化検出装置は、天候変化を知るための画像処理分野、気象分野、河川分野、これら分野について監視業務を主とする分野、映像配信に関わる通信分野において応用可能であることを付言しておく。
【図面の簡単な説明】
【００５８】
【図１】本実施の形態に係る天候変化検出装置の機能構成を示す機能構成図である。
【図２】天候カメラで撮影された現在映像の一例を示す図である。
【図３】ＨＳＶ色彩空間を示す図である。
【図４】微少時間の明るさの移動を示す図である。
【図５】表示結果を示す図である。
【図６】本実施の形態に係る天候変化検出装置の処理フローを示すフロー図である。
【符号の説明】
【００５９】
１１…入力部
１２…色彩値検出部
１３…動き検出部
１４…テクスチャ検出部
１５…判定部
１６…予測部
１７…表示部
３１…記憶部
３２…蓄積部
１００…天候変化検出装置
２００…天候観測カメラ
Ｓ１０１〜Ｓ１０８…ステップ
【図１】
2010128711.tif 000024
【図２】
2010128711.tif 000025
【図３】
2010128711.tif 000026
【図４】
2010128711.tif 000027
【図５】
2010128711.tif 000028
【図６】
2010128711.tif 000029