(57)【要約】【目的】  風力発電装置において、広域を効率的に探査してバードストライクを効率的に減らす飛来物衝突回避システムを提供する。【構成】  複数のブレードを備えた風力発電装置と、その風力発電装置の周囲の飛来物を検知可能な障害物探査装置と、  回転停止ポジションを含めたブレードの角度変更を制御するブレード角度制御手段とを備える。  前記障害物探査装置は、風力発電装置の周囲の映像を異なる角度から複数種類を連続的に撮影可能であるように配置された撮像装置と、  その撮像装置による撮像データを解析する撮像データ解析装置とを備える。  解析結果が前記風力発電装置のブレードに向かって飛来する飛来物が存在するという場合には、当該飛来物を追跡撮影させる撮影制御信号を前記撮像装置へ出力する。  前記飛来物が風力発電装置に近づいてくると判断した場合には、前記ブレード角度制御手段がブレードを回転停止ポジションに変更する制御信号を出力する。【選択図】    図１
2010039561.tif 000002
【特許請求の範囲】
【請求項１】
所定の空間領域を連続撮影する一のカメラおよびその一のカメラとは異なる方向から当該所定の空間領域を前記一のカメラと同期させて連続撮影する他のカメラを備えた撮影手段と、
その撮影手段におけるそれぞれのカメラが取得した画像データの群から背景画像データを作成する背景画像データ作成手段と、
作成された背景画像データを前記画像データの群における各画像データから減じることによって差分画像データの群を作成する差分画像データ作成手段と、
作成された差分画像データの群の各差分画像データ中から最大輝度の部位を抽出する最大輝度抽出手段と、
前記複数のカメラによる各差分画像データを時系列にて同期させて前記の最大輝度抽出手段が抽出した最大輝度の部位の三次元データを作成するステレオマッチング手段と、
そのマッチング手段がマッチングさせた最大輝度の部位を時系列にて処理することによって最大輝度の部位の速度ベクトルを算出する速度ベクトル算出手段と、
を備えた三次元監視システム。
【請求項２】
前記所定の空間領域の近傍に風力発電装置が備えられており、
算出された速度ベクトルが予め定められた危険ベクトルに該当するか否かを判断する危険判断手段を備え、
その危険判断手段は、当該速度ベクトルが所定以上の速度で前記風力発電装置に向かうか否かを判断するとともに、
危険と判断した場合には、当該風力発電装置の制御装置に対する危険信号を送信することとした請求項１に記載の三次元監視システム。
【請求項３】
所定の空間領域を連続撮影する一のカメラおよびその一のカメラとは異なる方向から当該所定の空間領域を前記一のカメラと同期させて連続撮影する他のカメラを備えた撮影手順と、
その撮影手順によってそれぞれのカメラが取得した画像データの群から背景画像データを作成する背景画像データ作成手順と、
その背景画像データ作成手順にて作成された背景画像データを前記画像データの群における各画像データから減じることによって差分画像データの群を作成する差分画像データ作成手順と、
その差分画像データ作成手順にて作成された差分画像データの群の各差分画像データ中から最大輝度の部位を抽出する最大輝度抽出手順と、
前記複数のカメラによる各差分画像データを時系列にて同期させて前記の最大輝度抽出手順にて抽出した最大輝度の部位の三次元データを作成するステレオマッチング手順と、
そのマッチング手順にてマッチングさせた最大輝度の部位を時系列にて処理することによって最大輝度の部位の速度ベクトルを算出する速度ベクトル算出手順と、
をコンピュータに実行させることとしたコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、屋外の三次元の空間（たとえば風力発電装置が設置された空間）を監視するためのシステム、その監視のためのコンピュータプログラムに関する。
【背景技術】
【０００２】
風力発電装置に対するバードストライクを回避するための技術は、鳥などの飛来物を検知する技術、および検知した情報に基づいて風力発電のプロペラを減速または停止させる技術を組み合わせたものが一般的である。
【０００３】
上記の技術としては、たとえば特許文献１に記載された技術がある。
複数（たいてい２台）のカメラで飛来物を含む画像データを取得し、同期させた複数の画像データ中において一致する粒子や画素を抽出する（ＰＴＶのステレオペアマッチング）。一致した粒子や画素について、三次元における速度の情報に変換し、風力発電装置に近づいているか否か、等を判断して、風力発電装置の制御に用いる。
【０００４】
【特許文献１】特開２００７−１１５２３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
さて、特許文献１に開示された技術をバードストライクの回避に用いるには、以下のような問題があった。
カメラで飛来物を撮影する場合、毎秒３０フレーム程度が適正であることが経験的に把握されている。すると、３０分の１秒ごとにステレオペアマッチングの演算が必要となる。これは演算装置に大きな負担が掛かり、演算が間に合わないために飛来物のリアルタイム追跡が事実上実行できない場合が生じてしまう。
【０００６】
演算を間に合わせるために撮影のフレーム数を落としてしまっては、飛来物の見落としや風力発電装置の制御への遅れという問題が出てしまう。
前記の演算処理に極めて高性能なコンピュータを用いるという解決策では、コストが膨大に掛かってしまう。
【０００７】
本願発明が解決しようとする課題は、演算処理の複雑さを回避し、飛来物のリアルタイム追跡を可能とする技術を提供することにある。
【課題を解決するための手段】
【０００８】
ＰＴＶ処理に代わるリアルタイム追跡の演算手法として、最大輝度を抽出する手法を見出した。
【０００９】
（請求項１）
請求項１に記載の発明は、  所定の空間領域を連続撮影する一のカメラおよびその一のカメラとは異なる方向から当該所定の空間領域を前記一のカメラと同期させて連続撮影する他のカメラを備えた撮影手段と、  その撮影手段におけるそれぞれのカメラが取得した画像データの群から背景画像データを作成する背景画像データ作成手段と、  作成された背景画像データを前記画像データの群における各画像データから減じることによって差分画像データの群を作成する差分画像データ作成手段と、  作成された差分画像データの群の各差分画像データ中から最大輝度の部位を抽出する最大輝度抽出手段と、  前記複数のカメラによる各差分画像データを時系列にて同期させて前記の最大輝度抽出手段が抽出した最大輝度の部位の三次元データを作成するステレオマッチング手段と、  そのマッチング手段がマッチングさせた最大輝度の部位を時系列にて処理することによって最大輝度の部位の速度ベクトルを算出する速度ベクトル算出手段と、を備えた三次元監視システムに係る。
【００１０】
（作用）
一のカメラと他のカメラとを同期させて、所定の空間領域を連続撮影する。それぞれのカメラが取得した画像データの群から、背景画像データ作成手段が背景画像データを作成する。次に、作成された背景画像データを前記画像データの群における各画像データから減じることによって差分画像データの群を、差分画像データ作成手段が作成する。作成された差分画像データの群の各差分画像データ中から、最大輝度抽出手段が最大輝度の部位を抽出する。
次にステレオマッチング手段が、前記複数のカメラによる各差分画像データを時系列にて同期させて前記の最大輝度抽出手段が抽出した最大輝度の部位の三次元データを作成する。そのマッチング手段がマッチングさせた最大輝度の部位を速度ベクトル算出手段が時系列にて処理することによって、最大輝度の部位の速度ベクトルを算出する。
算出された速度ベクトルが所定空間領域において危険な速度ベクトルか否かは、別途手段によって判断し、しかるべき処理を実行する
【００１１】
（請求項２）
請求項２に記載の発明は、請求項１に記載の三次元監視システムを限定したものである。
すなわち、前記所定の空間領域は、その近傍に風力発電装置が備えられており、  算出された速度ベクトルが予め定められた危険ベクトルに該当するか否かを判断する危険判断手段を備え、  その危険判断手段は、当該速度ベクトルが所定以上の速度で前記風力発電装置に向かうか否かを判断するとともに、  危険と判断した場合には、当該風力発電装置の制御装置に対する危険信号を送信することとしたものである。
【００１２】
（作用）
請求項１に記載の三次元監視システムを、風力発電装置の監視システムとしたのが請求項２である。
算出された速度ベクトルが予め定められた危険ベクトルに該当するか否かを危険判断手段が判断する。その危険判断手段は、当該速度ベクトルが所定以上の速度で前記風力発電装置に向かうか否かを判断する。危険と判断した場合には、当該風力発電装置の制御装置に対する危険信号を送信する。
【００１３】
（請求項３）
請求項３に記載の発明は、コンピュータプログラムに係る。
すなわち、  所定の空間領域を連続撮影する一のカメラおよびその一のカメラとは異なる方向から当該所定の空間領域を前記一のカメラと同期させて連続撮影する他のカメラを備えた撮影手順と、  その撮影手順によってそれぞれのカメラが取得した画像データの群から背景画像データを作成する背景画像データ作成手順と、  その背景画像データ作成手順にて作成された背景画像データを前記画像データの群における各画像データから減じることによって差分画像データの群を作成する差分画像データ作成手順と、  その差分画像データ作成手順にて作成された差分画像データの群の各差分画像データ中から最大輝度の部位を抽出する最大輝度抽出手順と、  前記複数のカメラによる各差分画像データを時系列にて同期させて前記の最大輝度抽出手順にて抽出した最大輝度の部位の三次元データを作成するステレオマッチング手順と、  そのマッチング手順にてマッチングさせた最大輝度の部位を時系列にて処理することによって最大輝度の部位の速度ベクトルを算出する速度ベクトル算出手順と、をコンピュータに実行させることとしたコンピュータプログラムである。
【００１４】
請求項３に係るコンピュータプログラムを、チップ化して風力発電装置の制御装置とすることもできる。
また、記録媒体へ記憶させて提供することもできる。ここで、「記録媒体」とは、それ自身では空間を占有し得ないプログラムを担持することができる媒体であり、例えば、フレキシブルディスク、ハードディスク、ＣＤ−Ｒ、ＭＯ（光磁気ディスク）、ＤＶＤ−Ｒなどである。
【発明の効果】
【００１５】
請求項１から請求項２に記載の発明によれば、演算処理の複雑さを回避し、飛来物のリアルタイム追跡を可能とする三次元監視システムを提供することができた
また、請求３に記載の発明によれば、演算処理の複雑さを回避し、飛来物のリアルタイム追跡を可能とする三次元監視システム用のコンピュータプログラムを提供することができた。
【発明を実施するための最良の形態】
【００１６】
本願発明の実施の形態について、図面を参照させながら説明する。
ここで使用する図面は、図１から図１０である。図１は第一の実施形態を示す概念図であり、図２はハードウェア構成図である。図３から図５は、画像処理手順を示す概念図である。図６から図８は、実際の撮影現場の写真とその写真への補助線などを記入した図である。図９は風力発電装置の制御フローチャートであり、図１０は風速と発電量とを示すグラフである。
【００１７】
（図１）
図１に示すのは、１基の風力発電装置１２と、その風力発電装置１２に対する三次元監視システムの概要を示す。風力発電装置１２は、地上に立設させたタワー、そのタワーに固定されたナセル、およびそのナセルに対してハブを介して回転自在に固定された複数のブレードを備えている。また、三次元監視システムは、二台のカメラＡ，Ｂ（２１，２２）を備え、そのカメラＡ，Ｂによって連続撮影された画像を解析する解析システムを備えている。
【００１８】
なお、三次元監視システムは、Ｃ−ＭＯＳセンサを用いたカメラを、風力発電装置が配置されている間などに配置されて、二台で一組の撮影領域を多数備えている。すなわち、ウィンドファームの周囲全般をカバーできる撮影領域を、多数のカメラにて達成している。
【００１９】
カメラＡ，Ｂについて、Ｃ−ＭＯＳセンサを用いているのは、ＣＣＤ素子よりも露光時間の制御が容易であり、飛行速度の速い鳥類の画像を捉えるのに適しており、また曇天などにおいても撮影が容易でレーザ光の照射などの設備が不要となるからである。
【００２０】
カメラＡ，Ｂが撮影した撮像データは、以下のような三次元監視システムにて処理される。すなわち、カメラＡ，Ｂの撮影した撮像データは光ケーブルを介して画像処理装置（コンピュータ）が受信する。そして、撮像データ解析手段によって解析し、必要に応じて風力発電装置の制御を司る風力発電制御装置や、飛来物９０への警告を出力する警告装置への制御信号を発信する。
なお、鳥の姿や動きに関する過去の映像データは蓄積データとして蓄積しており、必要に応じて比較などに用いる。さらに、解析結果は、新たに蓄積する。
【００２１】
（図２）
図２は、画像処理装置におけるデータ処理手順を、ハードウェア構成とともに示している。
まず、それぞれのカメラＡ，Ｂが所定領域を異なる角度にて撮影する。撮影は、１／３０秒ごとといった連続撮影であり、それぞれのカメラＡ，Ｂが連続撮影の画像を撮影する。画像解析によって、飛来物を発見し、その飛来物が風力発電装置（またはそのブレード）に接近するような動きをしていると解析できた場合には、衝突可能性のある風力発電装置に対して回転停止ポジションに変更する旨の制御信号を出力するのである。
【００２２】
更に詳しく説明する。
それぞれのカメラＡ，Ｂにおいて、所定空間の空間領域画像データを取得する。次に、複数の空間領域画像データを用いて、背景画像データ作成手段が背景画像データを作成する。
続いて、その背景画像データを用いて、前記の各空間領域画像データから背景画像データを減ずることによって、差分画像データ作成手段が差分画像データの群を作成する。そして、最大輝度抽出手段によって、差分画像データの群のそれぞれに対して最大輝度の部位を抽出し、その最大輝度の部位を連続させる。以上によって、連続する複数の画像データから動いている部位を抽出することが出来る。
【００２３】
動いている部位のデータ（最大輝度の部位データ）は、それぞれのカメラにおいては二次元の動きであるため、三次元中においてどの方向に向かうかは不明である。そこで、カメラＡ，Ｂそれぞれの最大輝度の部位データをステレオマッチング手段によって同期させる。すると、時系列処理用のデータを得ることができ、それを用いて速度ベクトル算出手段が、速度ベクトルを算出する。
算出された速度ベクトルは、風力発電装置に接近するおそれのあるベクトルであるか否かを危険判断手段が判断し、風力発電装置に接近するおそれのあるベクトルであると判断した場合には、衝突可能性のある風力発電装置に対して回転停止ポジションに変更する旨の制御信号を出力する。
【００２４】
（図３）
図３では、カメラＡが３０分の１秒ごとに撮影した二枚の撮影画像（５１１，５１２）から、背景画像データ（５０１）を作成する手順を概念的に示している。それぞれには、静止している風力発電装置１２と、移動しているらしい粒子９１ａ、９１ｂとが映っている。しかし、背景画像データからは、移動しているらしい粒子９１ａ、９１ｂが削除される。
【００２５】
（図４）
図４では、図３の手順にて作成された背景画像データ（５０１）と、前記の撮影画像（５１１，５１２）とを用いて、差分画像データ（５９１，５９２）を作成する手順を概念的に示している。
差分画像データ（５９１，５９２）には、最大輝度の点９１ａ，９１ｂが映っている。画像粒子の輝度の引き算を実行することで、動いている粒子のみを抽出するのである（木の枝が微風に揺らぐ程度の動きも抽出されるが，抽出エリアを適切に設定することにより所望の動いている粒子ではないと判断することが可能である。
【００２６】
（図５）
図５では、動いている点についてのデータからステレオマッチング手段によって三次元の速度ベクトルに加工するまでを示している。
図４の手順にて作成された多数の差分画像データ（５９１，５９２，・・・）をいったん記憶装置（ランダムアクセスメモリ）に格納し、それらを呼び出して重ね合わせることによって最大輝度の部位データから二次元の速度ベクトルを作成する。
カメラＢから得られたデータについても同様の手順にて二次元の速度ベクトルを作成し、それぞれのデータを、ステレオマッチング手段が撮影時刻データなどを用いることによって同期させ、三次元の速度ベクトルを作成する。
【００２７】
以上のような手順では、画像の三次元解析を実行する場合に比べて演算処理の負担が小さく、演算能力がそれほど高くないコンピュータでもリアルタイム処理が可能である。
また、カメラＡ，Ｂによる自動追尾は不要である。
【００２８】
（図６）
図６は、実際の撮影現場（試験場）の航空写真と、カメラの位置などを示した合成図である。比較のため６０メートル四方が画像中に示してある。
【００２９】
（図７）
図７は、図６に示した画像を別方向から写したものである。この二台のカメラＡ，Ｂによる三次元の計測可能な空間である六面体について、補助線を入れるとともに、１００メートルという大きさを画像中に示している。
【００３０】
（図８）
図８は、カメラＡ，Ｂそれぞれによる最大輝度の部位を、背景画像データと組み合わせたものである。
カメラＡにおいては、雑音とおぼしき最大輝度の部位も存在するが、軌跡を描く二次元座標も検出されており、これは飛んでいる鳥である、と推測できる。
カメラＢでは、上空にのみ最大輝度の部位が点在している。
なお、図６から図８に示した例では、図８にて明らかなように、地面が画像データの半分ほどをしめている。これは、実験の都合でカメラ角度を水平としたためである。したがって、カメラ角度を上方に向ければ、図７に示した計測可能空間の大きさは、拡大可能である。
【００３１】
図示は省略するが、飛来物の予想到達時間を算出する到達時間算出手段を備えている。そして、ブレード角度制御手段は、その予想到達時間に達する前にブレードの角度を回転停止ポジションに変更するように制御することとしている。飛来物の接近を検知して回転停止と判断した場合に、ブレード角度制御手段がブレード角度を変更してブレードの回転を停止するために必要な時間（たとえば３秒前後）を確保する。
【００３２】
（図９）
図９を用いて、風力発電装置の制御について、更に詳しく説明する。
風力発電装置が、風を受けてブレードが回転することによって発電する。算出された前記の三次元の速度ベクトルから前記の危険判断手段が飛来物を検知しなければ、運転を継続する。
ここで、危険判断手段が飛来物を検知したとする。すると、飛来物を連続的に探査することにより、飛来物に関するデータを所定時間記憶したり、直前のデータと比較演算したりする。そして、飛来物が接近してきた場合には、飛行速度Ｖやその距離Ｘから飛来物の到達予測時間を算出し、ブレード角度制御手段がブレードを回転停止ポジション（フェザリング）に変更するように制御する。そして、飛来物の到達予測時間前にブレードの回転を停止させる。
なお、以上のような制御プログラムは、ブレードの制御装置に組み込まれ、前記の危険判断手段からの出力信号によってフェザリングを開始する。
【００３３】
停止しているブレードであれば、飛来する鳥が視認しやすいため、自ら回避する可能性が高まる。また、ブレードはハブから放射状に３枚程度固定された細身の形状をなすものが多いので、飛来物が鳥以外の単なる物体である場合でも、ブレードに衝突する確率を低めることができる。  接近したか否かを判断するので、飛来物を一旦検知したが接近しないと判断されれば、衝突の可能性が少なく、発電を無駄に停止させずに済む。
【００３４】
本実施形態における風力発電装置には、警告装置をも含むこととしてもよい。回転停止ポジションへの変更制御を出力せずに警告装置による警告の出力を優先し、警告出力によってもなお飛来物が接近した場合に回転停止ポジションへの変更制御を出力する、といった制御とすることも可能である。
また、風力発電装置の設置場所、警告装置の性能向上などの条件によっては、回転停止ポジションへの変更制御は行わずに、警告装置への出力制御のみで、本実施形態とすることも可能である。
【００３５】
（図１０）
図１０は、風速と発電量との関係を示したものである。定格風速にて運転できるようにブレードを調整し、所定以上の風速（カットアウト風速）になったら、フェザリングによって発電を停止する。本実施形態では、飛来物が接近してきた場合にもフェザリングへの変更を実行する。
【００３６】
以上説明したように、本実施形態によれば、安価で正確な三次元監視システムの提供が可能である。前記してきた実施形態では風力発電装置の飛来物回避のための三次元監視システムとして説明してきたが、航空機の安全運航、防犯システムにおける三次元監視などにも応用可能である。
【産業上の利用可能性】
【００３７】
本願発明は、三次元監視システムの製造業、三次元監視ソフトウェアの開発業などにおいて利用可能性がある。より具体的には、たとえば、風力発電装置および飛来物衝突回避装置の製造業、風力発電装置または飛来物衝突回避装置の保守メンテナンス業、飛来物衝突回避システムのためのソフトウェア開発業などにおいて、利用可能性がある。
【図面の簡単な説明】
【００３８】
【図１】第一の実施形態を示す概念図である。
【図２】ハードウェア構成図である。
【図３】画像処理手順を示す概念図であり、背景画像データの作成を示す。
【図４】画像処理手順を示す概念図であり、差分画像データの作成を示す。
【図５】画像処理手順を示す概念図であり、最大輝度の部位データの抽出からステレオマッチングまでを示す。
【図６】実際の撮影現場の航空写真とその写真への補助線などを記入した平面図である。
【図７】実際の撮影現場の写真とその写真への補助線などを記入した図である。
【図８】実際の撮影現場の写真とその写真への検出データを記入した図である。
【図９】制御プロセスを示すフローチャートである。
【図１０】風速と発電量とを示すグラフである。
【符号の説明】
【００３９】
１２  風力発電装置
２１，２２  カメラ（Ｃ−ＭＯＳセンサ）
５１１，５１２  撮影画像
５０１  背景画像データ
５９１，５９２  差分画像データ
９０  飛来物
９１ａ，９１ｂ  画像粒子
【図１】
2010039561.tif 000003
【図２】
2010039561.tif 000004
【図３】
2010039561.tif 000005
【図４】
2010039561.tif 000006
【図５】
2010039561.tif 000007
【図６】
2010039561.tif 000008
【図７】
2010039561.tif 000009
【図８】
2010039561.tif 000010
【図９】
2010039561.tif 000011
【図１０】
2010039561.tif 000012