(57)【特許請求の範囲】
【請求項１】
空を撮影した画像を入力する画像入力手段と、
空からの音を入力する音入力手段と、
前記画像と前記音のデータとを蓄積するデータ蓄積手段と、
前記画像を補正する画像補正手段と、
前記画像と前記音のデータとにより雷雲の状態を判定する総合判定手段と
を備え、
前記総合判定手段は、
前記画像の隣接する２画素間の輝度差である勾配値を計算し、
前記画像の隣接する４画素の輝度の平均を計算し、
前記画像の隣接する９画素の輝度の平均を計算し、
前記勾配値と前記４画素の輝度の平均を用いた画像と、前記勾配値と前記９画素の輝度の平均を用いた画像とを生成し、当該画像同士を比較する
ことを特徴とする雷雲状態判定装置。
【請求項２】
前記総合判定手段は、
予め定められた輝度以上の輝度を有する前記画像の部分に対応する方向に雷雲が生じていると判定することを特徴とする請求項１記載の雷雲状態判定装置。
【請求項３】
前記総合判定手段は、
予め定められた輝度以上の輝度を有する部分を有する画像が撮影された時刻と予め定められたレベル以上のレベルの音が生じた時刻との時間差に基づいて雷雲までの距離を求めることを特徴とする請求項１または２記載の雷雲状態判定装置。
【請求項４】
前記総合判定手段は、
前記画像の画素の輝度と面積とを総合して複数段階評価することを特徴とする請求項１ないし３のいずれかに記載の雷雲状態判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、気象分野、防災分野、マルチメディア分野、符号化分野、通信分野、特に、実環境におけるモニタリングや画像センシングなどに関係する産業分野に利用可能な雷雲状態判定装置およびその動作方法に関するものである。
【背景技術】
【０００２】
異常気象が頻発している昨今において、観測網が年々強化されてきている。その中でゲリラ雷雨に代表されるような局地に大雨と落雷をもたらす気象現象が都市部において急増している。現在、アメダス網や気象レーダがなされているが、現象自体の空間スケールが小さく観測点がほとんど得られない問題がある。これに加えて、急峻な発達と非定常な性質をもっていることから発生の予測が困難である問題が知られている。そのため、これまでにない観測方法が求められていた。
【０００３】
カメラ画像を用いる方法も考えられるが現状、目視によっていることが多い。これについては、雷の閃光時間とビデオレートの関係に課題があることが考えられる。閃光時間は数ｍｓから数十ｍｓ程度があるため、ビデオレートの３３ｍＳでサンプリングできるのはその一端である場合がある。連続的な放電がある場合は数倍程度、上空で発光している時間が延びる。一方、カメラはサンプリング時間以外に、露出時間が設定されている。その露出時間にもよるが、対象が一定の発光の強さをもっていても撮影すると、明暗のあるパターンとなる。あるいは、画像全体が最大輝度で飽和してしまうことや、逆に、最小輝度に落ちて暗くなることもある。また、一定方向を向いたカメラでは発光の位置がわからないことがある。
【０００４】
また、落雷については観測者に届く、光と音の間には、観測者と雷雲の位置との距離の違いにより一定のずれが生じることが知られている。このずれは観測者から雷雲との距離を測る上で重要な情報をもたらす。しかし、これまでは画像と音を併用した雷雲のセンシングは目視によっていた。
【０００５】
また、従来においては、カメラの露出時間やサンプリング時間と発光対象の関係が不明瞭であった。また、従来においては、一定方向の撮影や、音情報と画像情報を併用した雷雲検出はなかった。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】ディジタル画像処理編集委員会  監修、“ディジタル画像処理”、（財）画像情報教育振興協会
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、カメラにより雷雲の位置と方向を特定することができる雷雲状態判定装置およびその動作方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、第１の本発明は、空を撮影した画像を入力する画像入力手段と、空からの音を入力する音入力手段と、前記画像と前記音のデータとを蓄積するデータ蓄積手段と、前記画像を補正する画像補正手段と、前記画像と前記音のデータとにより雷雲の状態を判定する総合判定手段とを備え、前記総合判定手段は、前記画像の隣接する２画素間の輝度差である勾配値を計算し、前記画像の隣接する４画素の輝度の平均を計算し、前記画像の隣接する９画素の輝度の平均を計算し、前記勾配値と前記４画素の輝度の平均を用いた画像と、前記勾配値と前記９画素の輝度の平均を用いた画像とを生成し、当該画像同士を比較することを特徴とする雷雲状態判定装置をもって解決手段とする。
【発明の効果】
【００１０】
本発明によれば、カメラにより雷雲の位置と方向を特定することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施の形態に係る雷雲状態判定装置の構成図である。
【図２】カメラの露出時間、サンプリング時間、閃光を伴った時系列画像、音の強度の時系列データの例を示す図である。
【図３】画像から閃光の特徴を検出する方法について説明するための図である。
【図４】閃光の画像の特徴について示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について図面を参照して説明する。
【００１３】
図１は、本実施の形態に係る雷雲状態判定装置の構成図である。
【００１４】
雷雲状態判定装置は、空を撮影した画像を入力する画像入力手段１００と、空からの音を入力する音入力手段１１０と、画像と音のデータとを蓄積するデータ蓄積手段１２０と、画像を補正する画像補正手段１３０と、画像と音のデータとにより雷雲の状態を判定する総合判定手段１４０と、判定結果を表示する表示手段１５０とを備える。
【００１５】
画像は、カメラで空を撮影したものである。画像補正手段１３０は、カメラのシャッタ速度、露出時間に基づき、雷雲の特徴が顕著になるように画像を補正する。
【００１６】
雷雲は、落雷や放電を伴い、閃光を発することがあり、総合判定手段１４０は、落雷や放電のそれぞれの特徴についても総合判定する。
【００１７】
総合判定手段１４０は、予め定められた輝度以上の輝度を有する画像の部分に対応する方向に雷雲が生じていると判定する。
【００１８】
総合判定手段１４０は、予め定められた輝度以上の輝度を有する部分を有する画像が撮影された時刻と予め定められたレベル以上のレベルの音が生じた時刻との時間差に基づいて雷雲までの距離を求める。
【００１９】
総合判定手段１４０は、画像の画素の輝度と面積とを総合して複数段階評価する。
【００２０】
総合判定手段１４０は、画像の隣接する２画素間の輝度差である勾配値を計算し、画像の隣接する４画素の輝度の平均を計算し、画像の隣接する９画素の輝度の平均を計算し、勾配値と４画素の輝度の平均を用いた画像と、勾配値と９画素の輝度の平均を用いた画像とを生成し、当該画像同士を比較する。
【００２１】
図２は、雷雲状態判定装置が解決すべき課題を示すものであり、カメラの撮影タイミングの間隔つまりサンプリング時間２００、カメラの露出時間２１０、閃光を伴った時系列画像２２０、２３０、音の強度の時系列データ２４０の例を示す図である。
【００２２】
サンプリング時間２００は、一般のカメラの場合、最大で３３ｍｓ（ミリ秒）である。露出時間２１０は、人為的に調整される。従って、露出時間２１０の調整以外で、閃光をうまく捉えることは困難である。露出時間２１０が長いと、暗い環境での撮影には有利であるが、閃光を撮影すると、画像の輝度が飽和してしまう問題が生じる。逆に、露出時間２１０短いと、対象の一部の状態しかわからない。
【００２３】
画像は、放電や落雷があったときは、サンプリング時間２００ごとに、符号２２０や符号２３０のように得られる。符号２２０は、サンプリングの関係で、閃光は１枚の画像のみで観測されてしまった例である。符号２３０は、画像全面にわたって、輝度が最大値に達して飽和状態になってしまった例である。符号２２０や符号２３０の例から、連続した画像を用いた動き推定を常に行えないことがわかる。従って、このような不完全な画像を扱える画像処理技術が必要となる。
【００２４】
一方、音つまり雷鳴音は、閃光に続き、常に観測者に届く。音の強度の時系列データ２４０においては、雷鳴音の到着がピークとして現れる。
【００２５】
総合判定手段１４０は、予め定められた輝度以上の輝度を有する部分を有する画像が撮影された時刻（閃光が観測された時刻）と予め定められたレベル以上のレベルの音が生じた時刻（音のピーク）との時間差に基づいて雷雲までの距離を求める。
【００２６】
図３は、画像から閃光の特徴を検出する方法について説明するための図である。
【００２７】
画像を撮影するカメラは、例えば、３６０度上空を同時に映し出す全方位カメラである。符号３００は、３６０度上空に向かう方向つまり撮影方向を示している。
【００２８】
画像３２０には、複数の雷雲３１０が画像化されている。ここでは、幾つかの雷雲から放電３３０がある。このカメラを使用すれば、画像の輝度のしきい値（例えば、２００）以上の部分が一定面積以上（例えば、４０％以上）あれば、画像の中央から見て当該部分のある方向に閃光が生じていると判定つまり閃光の生じている方向を検出できる。
【００２９】
なお、背景の余分な光との区別をするために、1枚あるいは数枚のみがしきい値以上になった画像を選択する。
【００３０】
閃光が生じている位置までの距離は、前述のように、光と音のずれから検出できる。なお、音のデータの取得には、指向性マイク３４０を各方向に向けて用いる。
【００３１】
また、上記のように総合判定手段１４０は、画像の画素の輝度と面積とを総合して複数段階評価する。
【００３２】
つまり、輝度が一定値以上である部分の面積が一定値以上の画像について、さらに、例えば、５段階にレベルわけする。レベルが高くつまり輝度と面積が大きいほど、雷雲が大きな勢力をもっていることがわかる。
【００３３】
また、全方位カメラで撮影した画像では、中心付近が地上、それ以外は空なので、落雷が生じたときは、画像の中心付近３５０に向かって高輝度の領域３６０が生じる。よって、そのような画像が検出されたら、落雷が生じていると判定できる。なお、このような画像の検出は、パターンマッチングなどにより行うことができる。
【００３４】
図４は、閃光の画像の特徴について示す図である。
【００３５】
閃光の画像では、カメラの露出時間により、閃光の輪郭がぼやける特徴がある。
【００３６】
画像補正手段１３０は、画像全体でぼやけの程度を解析し、ぼやけを解消するように画像を補正する。露出時間が一定ならば、ぼやけが少ないほど、閃光の広がりが少なくなる。
【００３７】
画像補正手段１３０は、まず、画像の隣接する２画素間の輝度差である勾配値を計算する。例えば、輝度１０、２の場合、勾配値は、１０−２＝８となる。なお、勾配値にはしきい値１０，５を設ける。また、勾配値の幅を３つのレベルに分ける。
【００３８】
ぼやけがおおい画像では、勾配値がひろい範囲で低くなり、これによりぼやけを検出できる。こうした検出の原理は、以下の文献にも記載されている。
【００３９】
「OpenCV-1.0 リファレンス マニュアル（日本語訳）」、［ｏｎｌｉｎｅ］、［平成２２年６月１１日検索］、インターネット＜ＵＲＬ：http://opencv.jp/opencv-1.0.0/document/＞
【００４０】
また、画像補正手段１３０は、画像の隣接する４画素の輝度の平均を計算する。また、画像の隣接する９画素の輝度の平均を計算する。また、平均どうしを比較する。９画素の輝度の平均の方が小さいときは、広い範囲で輝度の勾配が緩やかであることがわかる。４画素の輝度の平均の方が小さいときはその逆である。
【００４１】
画像補正手段１３０は、また、勾配値と４画素の輝度の平均を用いた画像と、勾配値と９画素の輝度の平均を用いた画像とを生成し、当該画像同士を比較する。
【００４２】
以上のように、本実施の形態に係る雷雲状態判定装置によれば、カメラにより雷雲の位置と方向を特定することができる。
【００４３】
なお、本実施の形態に係る雷雲状態判定装置の動作方法を雷雲状態判定装置に実行させるためのコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に記録でき、また、インターネットなどの通信網を介して伝送させて、広く流通させることができる。
【符号の説明】
【００４４】
１００  画像入力手段
１１０  音入力手段
１２０  データ蓄積手段
１３０  画像補正手段
１４０  総合判定手段
１５０  表示手段
【図１】
0005118172.tif 000002
【図２】
0005118172.tif 000003
【図３】
0005118172.tif 000004
【図４】
0005118172.tif 000005