(57)【特許請求の範囲】
【請求項１】
可視光波長帯の光を撮像して可視光撮像画像を生成する可視光撮像装置により、前記可視光撮像画像の入力を受け付ける可視光画像データ入力処理部と、赤外光波長帯の光を撮像して赤外光撮像画像を生成する赤外光撮像装置により、前記赤外光撮像画像の入力を受け付ける赤外光画像データ入力処理部と、 検知対象の動体の画像の候補である可視光動体候補画像を、前記可視光撮像画像から抽出する可視光動体候補画像抽出部と、前記可視光動体候補画像の輝度勾配ヒストグラムに基づいて、前記可視光撮像画像内に検知対象の動体の候補である検知対象動体候補を検知したか否かを一次的に判定する可視光動体候補判定部と、前記可視光動体候補判定部により一次的に判定された前記検知対象動体候補の位置を、前記可視光撮像装置を基準に示す座標である可視光カメラ座標を推定する可視光動体座標抽出部と、前記可視光カメラ座標に対応する位置を前記赤外光撮像装置を基準に示す座標である赤外光カメラ座標を推定し、前記赤外光カメラ座標に前記検知対象動体候補を推定的に配置した赤外光推定画像を生成し出力する赤外光動体座標推定部と、前記赤外光画像データ入力処理部により受け付けられた前記赤外光撮像画像の輝度分布と、前記赤外光動体座標推定部により出力された前記赤外光推定画像の輝度分布との間の類似度に基づいて、前記検知対象動体候補が前記検知対象の動体であるか否かを判断する赤外光動体候補推定部とを備えた動体検知装置。 
【請求項２】
前記可視光動体候補画像抽出部は、前記可視光撮像画像で動いている物体の輪郭線を抽出することにより、前記可視光動体候補画像を前記可視光撮像画像から抽出する請求項１に記載の動体検知装置。 
【請求項３】
前記赤外光動体候補推定部により、前記検知対象動体候補が前記検知対象の動体であると判断された場合に、前記可視光撮像画像内に前記検知対象動体が写っていることを通知する通知部を備えた請求項１または２に記載の動体検知装置。
【請求項４】
検知対象の動体の画像の候補である赤外光動体候補画像を、前記赤外光撮像画像から抽出する赤外光動体候補画像抽出部と、前記赤外光動体候補画像の輝度勾配ヒストグラムに基づいて、前記赤外光撮像画像内に前記検知対象動体候補を検知したか否かを判定する赤外光動体候補判定部とを備えた請求項１に記載の動体検知装置。 
【請求項５】
前記赤外光動体候補推定部または前記赤外光動体候補判定部により、前記検知対象動体候補が前記検知対象動体であると判断された場合に、前記可視光撮像画像内または前記赤外光撮像画像内に前記検知対象動体が写っていることを通知する通知部を備えた請求項４に記載の動体検知装置。 
【請求項６】
可視光波長帯の光を撮像して可視光撮像画像を生成する可視光撮像装置により、前記可視光撮像画像の入力を受け付ける可視光画像データ入力処理ステップと、 赤外光波長帯の光を撮像して赤外光撮像画像を生成する赤外光撮像装置により、前記赤外光撮像画像の入力を受け付ける赤外光画像データ入力処理ステップと、 検知対象の動体の画像の候補である可視光動体候補画像を、前記可視光撮像画像から抽出する可視光動体候補画像抽出ステップと、 前記可視光動体候補画像の輝度勾配ヒストグラムに基づいて、前記可視光撮像画像内に検知対象の動体の候補である検知対象動体候補を検知したか否かを一次的に判定する可視光動体候補判定ステップと、 前記可視光動体候補判定ステップで一次的に判定された前記検知対象動体候補の位置を、前記可視光撮像装置を基準に示す座標である可視光カメラ座標を推定する可視光動体座標抽出ステップと、前記可視光カメラ座標に対応する位置を前記赤外光撮像装置を基準に示す座標である赤外光カメラ座標を推定し、前記赤外光カメラ座標に前記検知対象動体候補を推定的に配置した赤外光推定画像を生成し出力する赤外光動体座標推定ステップと、 前記赤外光画像データ入力処理ステップにより受け付けられた前記赤外光撮像画像の輝度分布と、前記赤外光動体座標推定ステップにより出力された前記赤外光推定画像の輝度分布との間の類似度に基づいて、前記検知対象動体候補が前記検知対象の動体であるか否かを判断する赤外光動体候補推定ステップとを含む動体検知方法。
【請求項７】
可視光波長帯の光を撮像して可視光撮像画像を生成する可視光撮像装置により、前記可視光撮像画像の入力を受け付ける可視光画像データ入力処理ステップと、 赤外光波長帯の光を撮像して赤外光撮像画像を生成する赤外光撮像装置により、前記赤外光撮像画像の入力を受け付ける赤外光画像データ入力処理ステップと、 検知対象の動体の画像の候補である可視光動体候補画像を、前記可視光撮像画像から抽出する可視光動体候補画像抽出ステップと、 前記可視光動体候補画像の輝度勾配ヒストグラムに基づいて、前記可視光撮像画像内に検知対象の動体の候補である検知対象動体候補を検知したか否かを一次的に判定する可視光動体候補判定ステップと、 前記可視光動体候補判定ステップで一次的に判定された前記検知対象動体候補の位置を、前記可視光撮像装置を基準に示す座標である可視光カメラ座標を推定する可視光動体座標抽出ステップと、 前記可視光カメラ座標に対応する位置を前記赤外光撮像装置を基準に示す座標である赤外光カメラ座標を推定し、前記赤外光カメラ座標に前記検知対象動体候補を推定的に配置した赤外光推定画像を生成し出力する赤外光動体座標推定ステップと、 前記赤外光画像データ入力処理ステップにより受け付けられた前記赤外光撮像画像の輝度分布と、前記赤外光動体座標推定ステップにより出力された前記赤外光推定画像の輝度分布との間の類似度に基づいて、前記検知対象動体候補が前記検知対象の動体であるか否かを判断する赤外光動体候補推定ステップとをコンピュータに行わす動体検知プログラム。 
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動体検知装置等に関し、例えば、可視光カメラおよび赤外光カメラにより撮像された画像を用いて、鳥等の動体を検知するものに関する。
【背景技術】
【０００２】
近年、鳥が、空港で航空機に衝突したり、風力発電設備で風車に衝突したりすること（鳥衝突、バードストライク）が、社会的に問題になっている。
【０００３】
バードストライクを防止するための解決方法として、たとえば、レーダーを用いて鳥を検知する技術が一般的に広く知られている（たとえば、特許文献１）。これにより、広範囲にわたって鳥を検出することができる。そして、鳥が存在する付近で空砲の音等で鳥を追い払う対策等を行うことができる。
【０００４】
しかしながら、レーダーを用いて鳥を検知する技術では、ＲＣＳ（Radar cross-section：レーダー反射断面積）を基準に物体のサイズを推定することしかできなかった。つまり、レーダーを用いて鳥を検知する技術では、鳥と同等のサイズの物体が鳥であるか否かを識別することができなかった。さらに、レーダーを用いて鳥を検知する技術では、鳥検知装置が大型になり、電波使用許可が必要になるため、鳥検出装置を容易に設置することができないという問題があった。
【０００５】
バードストライクを防止するための解決方法として、他には、たとえば、単眼の可視光カメラ（ＥＯカメラとも呼ばれる。）を用いて、需要施設近辺であって低空域を対象に、鳥を検知する技術が知られている。この場合、レーダーを用いて鳥を検知する技術と比較して、鳥検知装置は小型になるため、比較的設置しやすい。また、目視で検知結果を確認することができる。
【０００６】
また、例えば、特許文献２〜４にも、本発明の関連する技術が、開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−２０３８７３号公報
【特許文献２】国際公開第２０１４／１５７０５８号
【特許文献３】特開２０１３−２４７４９２号公報
【特許文献４】特開２００１−３５７３８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、単眼の可視光カメラを用いて鳥を検知する技術では、鳥に似た形状の移動体やランダムな形状の物体（海面の太陽光反射や樹木の揺らぎ等）に対しては、誤検知するという問題があった。すなわち、単眼の可視光カメラを用いて鳥を検知する技術では、可視光波長域の画像を用いた形状認識の機能しかない。このため、可視光波長域において、画像の見かけ上の多様な誤検知要因を排除することに限界があり、一定の誤検知が残ってしまっていた。
【０００９】
本発明は、このような事情を鑑みてなされたものであり、本発明の目的は、たとえば鳥に似た形状の移動体やランダムな形状の物体を要因とする誤検知を抑制し、正確に検知対象の動体を検知することができる動体検知装置等を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の動体検知装置は、可視光波長帯の光を撮像して可視光撮像画像を生成する可視光撮像装置により、前記可視光撮像画像の入力を受け付ける可視光画像データ入力処理部と、赤外光波長帯の光を撮像して赤外光撮像画像を生成する赤外光撮像装置により、前記赤外光撮像画像の入力を受け付ける赤外光画像データ入力処理部と、検知対象の動体の画像の候補である可視光動体候補画像を、前記可視光撮像画像から抽出する可視光動体候補画像抽出部と、前記可視光動体候補画像の輝度勾配ヒストグラムに基づいて、前記可視光画像内に検知対象の動体の候補である検知対象動体候補を検知したか否かを一次的に判定する可視光動体候補判定部と、前記可視光動体候補判定部により一次的に判定された前記検知対象動体候補の位置を、前記可視光撮像装置を基準に示す座標である可視光カメラ座標を推定する可視光鳥座標抽出部と、前記可視光カメラ座標に対応する位置を前記赤外光撮像装置を基準に示す座標である赤外光カメラ座標を推定し、前記赤外光カメラ座標に前記検知対象動体候補を推定的に配置した赤外光推定画像を生成し出力する赤外光動体座標推定部と、前記赤外光画像データ入力処理部により受け付けられた前記赤外光撮像画像の輝度分布と、前記赤外光動体座標推定部により出力された前記赤外光推定画像の輝度分布との間の類似度に基づいて、前記検知対象動体候補が前記検知対象の動体であるか否かを判断する赤外光動体候補推定部とを備えている。
【００１１】
本発明の動体検知方法は、可視光波長帯の光を撮像して可視光撮像画像を生成する可視光撮像装置により、前記可視光撮像画像の入力を受け付ける可視光画像データ入力処理ステップと、赤外光波長帯の光を撮像して赤外光撮像画像を生成する赤外光撮像装置により、前記赤外光撮像画像の入力を受け付ける赤外光画像データ入力処理ステップと、検知対象の動体の画像の候補である可視光動体候補画像を、前記可視光撮像画像から抽出する可視光動体候補画像抽出ステップと、前記可視光動体候補画像の輝度勾配ヒストグラムに基づいて、前記可視光画像内に検知対象の動体の候補である検知対象動体候補を検知したか否かを一次的に判定する可視光動体候補判定ステップと、前記可視光動体候補判定ステップで一次的に判定された前記検知対象動体候補の位置を、前記可視光撮像装置を基準に示す座標である可視光カメラ座標を推定する可視光鳥座標抽出ステップと、前記可視光カメラ座標に対応する位置を前記赤外光撮像装置を基準に示す座標である赤外光カメラ座標を推定し、前記赤外光カメラ座標に前記検知対象動体候補を推定的に配置した赤外光推定画像を生成し出力する赤外光動体座標推定ステップと、前記赤外光画像データ入力処理ステップにより受け付けられた前記赤外光撮像画像の輝度分布と、前記赤外光動体座標推定ステップにより出力された前記赤外光推定画像の輝度分布との間の類似度に基づいて、前記検知対象動体候補が前記検知対象の動体であるか否かを判断する赤外光動体候補推定ステップとを含んでいる。
【００１２】
本発明の動体検知プログラムは、可視光波長帯の光を撮像して可視光撮像画像を生成する可視光撮像装置により、前記可視光撮像画像の入力を受け付ける可視光画像データ入力処理ステップと、赤外光波長帯の光を撮像して赤外光撮像画像を生成する赤外光撮像装置により、前記赤外光撮像画像の入力を受け付ける赤外光画像データ入力処理ステップと、検知対象の動体の画像の候補である可視光動体候補画像を、前記可視光撮像画像から抽出する可視光動体候補画像抽出ステップと、前記可視光動体候補画像の輝度勾配ヒストグラムに基づいて、前記可視光画像内に検知対象の動体の候補である検知対象動体候補を検知したか否かを一次的に判定する可視光動体候補判定ステップと、前記可視光動体候補判定ステップで一次的に判定された前記検知対象動体候補の位置を、前記可視光撮像装置を基準に示す座標である可視光カメラ座標を推定する可視光鳥座標抽出ステップと、前記可視光カメラ座標に対応する位置を前記赤外光撮像装置を基準に示す座標である赤外光カメラ座標を推定し、前記赤外光カメラ座標に前記検知対象動体候補を推定的に配置した赤外光推定画像を生成し出力する赤外光動体座標推定ステップと、前記赤外光画像データ入力処理ステップにより受け付けられた前記赤外光撮像画像の輝度分布と、前記赤外光動体座標推定ステップにより出力された前記赤外光推定画像の輝度分布との間の類似度に基づいて、前記検知対象動体候補が前記検知対象の動体であるか否かを判断する赤外光動体候補推定ステップとをコンピュータにて実施する。
【発明の効果】
【００１３】
本発明にかかる動体検知装置等によれば、可視光撮像画像および赤外光撮像画像を同時に利用することにより、たとえば鳥に似た形状の移動体やランダムな形状の物体を要因とする誤検知を抑制し、正確に検知対象の動体を検知することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態における鳥検知装置の構成を示すブロック図である。
【図２】本発明の実施の形態における鳥検知装置の動作フローを示す図である。
【図３】赤外光鳥候補画像を取得する方法を説明するための図である。
【図４】本発明の実施の形態における鳥検知装置の動作フローを示す図である。図である。
【発明を実施するための形態】
【００１５】
＜実施の形態＞
本発明の実施の形態における鳥検知装置１００の構成について説明する。
【００１６】
図１は、鳥検知装置１００の構成を示すブロック図である。鳥検知装置１００は、本発明の動体検知装置に対応する。
【００１７】
鳥検知装置１００は、可視光撮像装置（ＥＯ（Electric Optical）撮像装置）２００および赤外光撮像装置（ＩＲ（Infrared）撮像装置）３００に接続されている。ＥＯ撮像装置２００は、本発明の可視光撮像装置に対応する。ＩＲ撮像装置３００は、本発明の赤外光撮像装置に対応する。
【００１８】
ＥＯ撮像装置２００は、可視光波長帯の光を撮像して可視光撮像画像（ＥＯ撮像画像）を生成する。ＥＯ撮像装置２００は、固定台に設置されている。ＥＯ撮像装置２００は、一定の方位を定点監視するか、または旋回により全周または一定範囲を旋回監視することにより、ＥＯ撮像画像を撮影する。また、ＥＯ撮像装置２００は、撮影したＥＯ撮像画像を有線または無線により、鳥検知装置１００へ伝送する機能を持つ。
【００１９】
ＩＲ撮像装置３００は、赤外光波長帯の光を撮像して赤外光撮像画像（ＩＲ撮像画像）を生成する。ＩＲ撮像装置３００は固定台に設置されている。ＩＲ撮像装置３００は、一定の方位を定点監視するか、または旋回により全周または一定範囲を旋回監視することにより、ＩＲ撮像画像を撮影する。また、ＩＲ撮像装置３００は、撮影したＩＲ撮像画像を有線または無線により、鳥検知装置１００へ伝送する機能を持つ。
【００２０】
図１に示されるように、鳥検知装置１００は、ＥＯ画像データ入力処理部１１０と、ＩＲ画像データ入力処理部１３０と、昼間鳥検知処理部１５０と、夜間鳥検知処理部１７０と、アラーム通知部１９０とを備えている。ＥＯ画像データ入力処理部１１０は、本発明の可視光画像データ入力処理部に対応する。ＩＲ画像データ入力処理部１３０は、本発明の赤外光画像データ入力処理部に対応する。
【００２１】
図１に示されるように、ＥＯ画像データ入力処理部１１０は、ＥＯ撮像装置２００および昼間鳥検知処理部１５０に接続されている。ＥＯ画像データ入力処理部１１０は、ＥＯ撮像装置２００から、ＥＯ撮像画像を受け付ける。具体的には、ＥＯ画像データ入力処理部１１０は、ＥＯ撮像装置２００から伝送されたＥＯ撮像画像を受信し、内部の一時記録用メモリ（不図示）でファーストイン・ファーストアウト方式により常時３フレーム分の画像データを記録する。また、ＥＯ画像データ入力処理部１１０で一時保管されたＥＯ撮像画像は、ローリング・シャッタ現象や旋回台の動作誤差に起因する映像の乱れを補正した後、昼間鳥検知処理部１５０のＥＯ鳥候補画像抽出部１５１へ出力される。
【００２２】
図１に示されるように、ＩＲ画像データ入力処理部１３０は、ＩＲ撮像装置３００および夜間鳥検知処理部１７０に接続されている。ＩＲ画像データ入力処理部１３０は、ＩＲ撮像装置３００から、ＩＲ撮像画像を受け付ける。具体的には、ＩＲ画像データ入力処理部１３０は、ＩＲ撮像装置３００から伝送されたＩＲ撮像画像を受信し、内部の一時記録用メモリでファーストイン・ファーストアウト方式により常時３フレーム分の画像データを記録する。ＩＲ画像データ入力処理部１３０で一時保管された画像は、ローリング・シャッタ現象や旋回台の動作誤差に起因する映像の乱れを補正した後、昼間では、昼間鳥検知処理部１５０のＩＲ鳥座標推定部１５６へ出力される。
【００２３】
昼間鳥検知処理部１５０の構成について説明する。図１に示されるように、昼間鳥検知処理部１５０は、ＥＯ画像データ入力処理部１１０およびアラーム通知部１９０に接続されている。
【００２４】
昼間鳥検知処理部１５０は、ＥＯ鳥候補画像抽出部１５１と、ＥＯ動体（鳥候補）情報記憶部１５２と、ＥＯ鳥候補判定部１５３と、ＥＯ鳥判別ライブラリ１５４と、ＥＯ鳥座標抽出部１５５と、ＩＲ鳥座標推定部１５６と、カメラ座標変換行列／視差上限情報記憶部１５７と、ＩＲ鳥候補推定部１５８と、ＩＲ鳥輝度分布ライブラリ１５９とを備えている。
【００２５】
図１に示されるように、ＥＯ鳥候補画像抽出部１５１は、ＥＯ画像データ入力処理部１１０、ＥＯ動体（鳥候補）情報記憶部１５２およびＥＯ鳥候補判定部１５３に接続されている。ＥＯ鳥候補画像抽出部１５１は、鳥の画像の候補である鳥候補画像を、可視光鳥候補画像（ＥＯ鳥候補画像）として、ＥＯ撮像画像から抽出する。すなわち、ＥＯ鳥候補画像抽出部１５１は、ＥＯ画像データ入力処理部１１０からＥＯ撮像画像を受け取った後、連続した３フレームの画像の差分情報から動いている物体の輪郭線を抽出することにより、ＥＯ鳥候補画像を抽出する。なお、可視光鳥候補画像は、本発明の可視光動体候補画像に対応する。また、ＥＯ鳥候補画像抽出部１５１は、この可視光鳥候補画像に含まれる動体の撮影時刻、カメラからの相対方位、画像上での物体全体の座標との輝度情報、及び輝度勾配のヒストグラム（ＨＯＧ：Histogram of Oriented Gradients）特徴量をひとまとめにして、ＥＯ動体情報（可視光動体情報）として、ＥＯ動体（鳥候補）情報記憶部１５２内に記録する。ＥＯ鳥候補画像抽出部１５１は、本発明の可視光動体候補画像抽出部に対応する。
【００２６】
図１に示されるように、ＥＯ動体（鳥候補）情報記憶部１５２は、ＥＯ鳥候補画像抽出部１５１に接続される。ＥＯ動体（鳥候補）情報記憶部１５２には、ＥＯ鳥候補画像抽出部１５１により抽出されたＥＯ鳥候補画像およびＥＯ動体情報が、ＥＯ鳥候補画像抽出部１５１によって記録される。
【００２７】
図１に示されるように、ＥＯ鳥候補判定部１５３は、ＥＯ鳥候補画像抽出部１５１、ＥＯ鳥判別ライブラリ１５４およびＥＯ鳥座標抽出部１５５に接続されている。ＥＯ鳥候補判定部１５３は、ＥＯ鳥候補画像の輝度勾配ヒストグラム（ＨＯＧ特徴量）に基づいて、可視光画像内に検知対象の動体の候補である検知対象動体候補（ここでは、鳥とする。）を検知したか否かを一次的に判定する。すなわち、ＥＯ鳥候補判定部１５３は、ＥＯ動体情報に含まれる輝度勾配ヒストグラム（ＨＯＧ特徴量）に基づいて、可視光画像内に検知対象の動体の候補である検知対象動体候補（ここでは、鳥とする。）を検知したか否かを一次的に判定する。具体的には、ＥＯ鳥候補判定部１５３は、ＥＯ動体情報の輝度勾配ヒストグラム（ＨＯＧ特徴量）をもとに、サポートベクターマシン（ＳＶＭ：Support Vector Machine）やニューラルネットワーク等の原理に基づく二値判別器により、ＥＯ鳥判別ライブラリ１５４内のデータを用いて、当該動体が鳥（検知対象動体候補）か否かの判定を行う。ＥＯ鳥候補判定部１５３は、本発明の可視光動体候補判定部に対応する。
【００２８】
図１に示されるように、ＥＯ鳥判別ライブラリ１５４は、ＥＯ鳥候補判定部１５３に接続されている。ＥＯ鳥判別ライブラリ１５４は、ＥＯ鳥候補判定部１５３の二値判別器の判別基準を生成するためのデータベースである。ＳＶＭを採用する場合、ＥＯ鳥判別ライブラリ１５４は、鳥の画像情報、及び比較対象用の鳥以外の画像情報により構成される。
【００２９】
図１に示されるように、ＥＯ鳥座標抽出部１５５は、ＥＯ鳥候補判定部１５３、ＩＲ鳥座標推定部１５６および夜間鳥検知処理部１７０に接続されている。ＥＯ鳥座標抽出部１５５は、ＥＯカメラ座標（可視光カメラ座標）を抽出する。ＥＯカメラ座標とは、ＥＯ鳥候補判定部１５３により一次的に判定された鳥（検知対象動体候補）の位置を、ＥＯ撮像装置２００を基準に示す座標である。ＥＯ鳥座標抽出部１５５は、本発明の可視光動体座標抽出部に対応する。
【００３０】
図１に示されるように、ＩＲ鳥座標推定部１５６は、ＥＯ鳥座標抽出部１５５、カメラ座標変換行列／視差上限情報記憶部１５７、ＩＲ鳥候補推定部１５８および夜間鳥検知処理部１７０に接続されている。ＩＲ鳥座標推定部１５６は、ＩＲカメラ座標（赤外光カメラ座標）を推定する。このとき、ＩＲ鳥座標推定部１５６は、カメラ座標変換行列／視差上限情報記憶部１５７に記憶されている情報を用いて、ＩＲカメラ座標を推定する。ＩＲカメラ座標とは、ＥＯカメラ座標に対応する位置を、ＩＲ撮像装置３００を基準に示す座標である。また、ＩＲ鳥座標推定部１５６は、ＩＲカメラ座標に対応するＩＲ画像データを生成し出力する。すなわち、ＩＲ鳥座標推定部１５６は、ＩＲカメラ座標に鳥候補（検知対象動体候補）を推定的に配置した赤外光推定画像（ＩＲ推定画像）を生成し出力する。ＩＲ鳥座標推定部１５６は、本発明の赤外光動体座標推定部に対応する。
【００３１】
ＩＲ鳥座標推定部１５６によるＩＲカメラ座標の推定では、ＥＯ撮像装置２００とＩＲ撮像装置３００との間のカメラ座標変換行列と、視差上限の設定値の情報が使われる。これらの情報は、カメラ座標変換行列／視差上限情報記憶部１５７に記憶されている。カメラ座標変換行列は、あらかじめＥＯ撮像装置２００とＩＲ撮像装置３００の光学特性と位置関係から算出される。視差上限は、検出候補の鳥（鳥候補、検知対象動体候補）の大きさと、ＥＯ撮像装置２００およびＩＲ撮像装置３００の光学特性とから算出される。
【００３２】
図１に示されるように、カメラ座標変換行列／視差上限情報記憶部１５７は、ＩＲ鳥座標推定部１５６に接続されている。カメラ座標変換行列／視差上限情報記憶部１５７には、ＥＯ撮像装置２００とＩＲ撮像装置３００との間のカメラ座標変換行列と、視差上限の設定値の情報が、記憶されている。
【００３３】
図１に示されるように、ＩＲ鳥候補推定部１５８は、ＩＲ鳥座標推定部１５６、ＩＲ鳥輝度分布ライブラリ１５９、ＩＲ鳥判別ライブラリ１７４およびアラーム通知部１９０に接続されている。ＩＲ鳥候補推定部１５８は、赤外光画像データ入力処理部１３０により受け付けられたＩＲ撮像画像の輝度分布と、赤外光鳥座標推定部１５６により出力されたＩＲ推定画像の輝度分布との間の類似度に基づいて、鳥候補（検知対象動体候補）が鳥（検知対象の動体）であるか否かを二次的に二値判別する。この二値判別では、ＩＲ鳥候補推定部１５８は、ＩＲ鳥輝度分布ライブラリ１５９に記憶されているデータを用いる。ＩＲ鳥候補推定部１５８は、鳥（検知対象の動体）として二次的に判定された当該動体を、最終的に鳥（検知対象の動体）としてアラーム通知部１９０へ出力する。ＩＲ鳥候補推定部１５８は、本発明の赤外光動体候補推定部に対応する。
【００３４】
図１に示されるように、ＩＲ鳥輝度分布ライブラリ１５９は、ＩＲ鳥候補推定部１５８に接続されている。ＩＲ鳥輝度分布ライブラリ１５９には、二値判別の判別基準を生成するためのデータが、記憶されている。ＩＲ鳥候補推定部１５８は、赤外光画像データ入力処理部１３０により受け付けられたＩＲ撮像画像の輝度分布と、赤外光鳥座標推定部１５６により出力されたＩＲ推定画像の輝度分布との間の類似度の計算を、ＩＲ鳥輝度分布ライブラリ１５９内のデータを用いて行い、鳥候補（検知対象動体候補）が鳥（検知対象の動体）であるか否かを二次的に二値判別する。ＩＲ鳥輝度分布ライブラリ１５９内のデータは、鳥の輝度分布情報により構成される。すなわち、予め収集指定しておいたＩＲ鳥画像（この鳥ＩＲ画像は、たとえば手作業で予め集めておいたデータである。ただし、鳥の形状識別処理に必要なデータ数よりはるかに少ない数でよい。）の輝度分布が蓄積されている。
【００３５】
以上、昼間鳥検知処理部１５０の構成について説明した。
【００３６】
夜間鳥検知処理部１７０の構成について、説明する。図１に示されるように、夜間鳥検知処理部１７０は、ＩＲ画像データ入力処理部１３０およびアラーム通知部１９０に接続されている。夜間鳥検知処理部１７０は、ＩＲ鳥候補画像抽出部１７１と、ＩＲ動体（鳥候補）情報記憶部１７２と、ＩＲ鳥候補判定部１７３と、ＩＲ鳥判別ライブラリ１７４とを備えている。
【００３７】
図１に示されるように、ＩＲ鳥候補画像抽出部１７１は、ＩＲ画像データ入力処理部１３０、ＩＲ動体（鳥候補）情報記憶部１７２およびＩＲ鳥候補判定部１７３に接続されている。ＩＲ鳥候補画像抽出部１７１は、ＩＲ画像データ入力処理部１３０から赤外光撮像画像（ＩＲ撮像画像）を受け取った後、連続した３フレームの画像の差分情報から動いている物体の輪郭線を抽出することにより、赤外光鳥候補画像（ＩＲ鳥候補画像）を抽出する。なお、赤外光鳥候補画像は、本発明の赤外光動体候補画像に対応する。また、ＩＲ鳥候補画像抽出部１７１は、この赤外光鳥候補画像に含まれる鳥（動体）の撮影時刻、カメラからの相対方位、画像上での物体全体の座標との輝度情報、及び輝度勾配のヒストグラム（ＨＯＧ）特徴量をひとまとめにして、赤外光動体情報（ＩＲ動体情報）としてＩＲ動体（鳥候補）情報記憶部１７２内に記録する。ＩＲ鳥候補画像抽出部１７１は、本発明の赤外光動体候補画像抽出部に対応する。
【００３８】
図１に示されるように、ＩＲ動体（鳥候補）情報記憶部１７２は、ＩＲ鳥候補画像抽出部１７１に接続される。ＩＲ動体（鳥候補）情報記憶部１７２には、ＩＲ鳥候補画像抽出部１７１により抽出されたＩＲ鳥候補画像およびＩＲ動体情報が、ＩＲ鳥候補画像抽出部１７１によって記録される。
【００３９】
図１に示されるように、ＩＲ鳥候補判定部１７３は、ＩＲ鳥候補画像抽出部１７１、ＩＲ鳥判別ライブラリ１７４およびアラーム通知部１９０に接続されている。ＩＲ鳥候補判定部１７３は、ＩＲ鳥候補画像の輝度勾配ヒストグラム（ＨＯＧ特徴量）に基づいて、赤外光画像内に検知対象の動体の候補である検知対象動体候補（ここでは、鳥とする。）を検知したか否かを判定する。すなわち、ＩＲ鳥候補判定部１７３は、ＩＲ動体情報に含まれる輝度勾配ヒストグラム（ＨＯＧ特徴量）に基づいて、赤外光画像内に検知対象の動体の候補である検知対象動体候補（ここでは、鳥とする。）を検知したか否かを判定する。具体的には、ＩＲ鳥候補判定部１７３は、ＩＲ動体情報の輝度勾配ヒストグラム（ＨＯＧ特徴量）をもとに、サポートベクターマシン（ＳＶＭ）やニューラルネットワーク等の原理に基づく二値判別器により、ＩＲ鳥判別ライブラリ１７４内のデータを用いて、当該動体が鳥（検知対象動体候補）か否かの判定を行う。ＩＲ鳥候補判定部１７３は、本発明の赤外光動体候補判定部に対応する。
【００４０】
図１に示されるように、ＩＲ鳥判別ライブラリ１７４は、ＩＲ鳥候補判定部１７３に接続されている。ＩＲ鳥判別ライブラリ１７４はＩＲ鳥候補判定部１７３の二値判別器の判別基準を生成するためのデータベースである。ＳＶＭを採用する場合、ＩＲ鳥判別ライブラリ１７４は、鳥の画像情報、及び比較対象用の鳥以外の画像情報により構成される。このＩＲの鳥の画像情報は、昼間の鳥検知処理の結果が用いられ、ＩＲ鳥判別ライブラリ１７４に蓄積されていく。
【００４１】
以上、夜間鳥検知処理部１７０の構成について、説明した。
【００４２】
図１に示されるように、アラーム通知部１９０は、ＩＲ鳥候補推定部１５８およびＩＲ鳥候補判定部１７３に接続されている。昼間の鳥検知処理において、アラーム通知部１９０は、ＩＲ鳥候補推定部１５６により、検知動体候補が鳥（検知対象の動体）であると判断された場合に、ＥＯ撮像画像内に鳥（検知対象動体）が写っていることを通知する。夜間の鳥検知処理において、ＩＲ鳥候補判定部１７３により、鳥候補（検知対象動体候補）が鳥（検知対象動体）であると判断された場合に、ＩＲ撮像画像内に鳥（検知対象動体）が写っていることを通知する。アラーム通知部１９０は、本発明の通知部である。
【００４３】
以上、鳥検知装置１００の構成について説明した。
【００４４】
次に、鳥検知装置１００の動作について説明する。ここでは、鳥検知装置１００の動作（鳥検知処理）を昼間と夜間とで分けて説明する。
【００４５】
まず、鳥検知装置１００の昼間の鳥検知処理について、図２を用いて説明する。図２は、鳥検知装置１００の動作フローを示す図であって、昼間の鳥検知処理を説明するための図である。
【００４６】
図２に示されるように、ＥＯ画像データ入力処理部１１０は、ＥＯ撮像装置２００から、ＥＯ撮影画像を周期毎に取得する（ステップ（ＳＴＥＰ、以下、Ｓと称する。）０１）。このとき、ＥＯ撮像装置２００は、撮像したＥＯ撮像画像を、たとえば毎秒５０フレームの周期で、ＥＯ画像データ入力処理部１１０へ継続的に出力している。
【００４７】
次に、図２に示されるように、ＥＯ鳥候補画像抽出部１５１は、差分画像による鳥候補動体の抽出と、ＥＯ動体情報を取得する（Ｓ０２）。
【００４８】
より詳細には、ＥＯ鳥候補画像抽出部１５１は、鳥の画像の候補である鳥候補画像を、可視光鳥候補画像（ＥＯ鳥候補画像）として、ＥＯ撮像画像から抽出する。すなわち、ＥＯ鳥候補画像抽出部１５１は、ＥＯ画像データ入力処理部１１０から可視光撮像画像を受け取った後、連続した３フレームの画像の差分情報から動いている物体の輪郭線を抽出することにより、ＥＯ鳥候補画像を抽出する。
【００４９】
より具体的には、ＥＯ鳥候補画像抽出部１５１は、ＥＯ撮像装置２００から入力されたＥＯ撮像画像をもとに、連続した、または時系列的に一定間隔に抜き出した３枚の画像（それぞれフレームｎ−１，ｎ，ｎ+１とする）を輝度で２値化する。その上で、ＥＯ鳥候補画像抽出部１５１は、それぞれ差分画像ｍ＝ｎ−（ｎ−１）、ｍ+１＝（ｎ＋１）−ｎを生成する。さらに、ＥＯ鳥候補画像抽出部１５１は、ｍとｍ＋１の積画像Ｄ＝ｍ*（ｍ＋１）を生成することにより、３枚の元画像からＥＯ鳥候補画像を抽出する。
【００５０】
また、ＥＯ鳥候補画像抽出部１５１は、このＥＯ鳥候補画像に含まれる鳥候補（動体候補）の撮影時刻、カメラからの相対方位、画像上での物体全体の座標との輝度情報、及び輝度勾配のヒストグラム（ＨＯＧ）特徴量をひとまとめにして、ＥＯ動体情報（可視光動体情報）として、ＥＯ動体（鳥候補）情報記憶部１５２内に記録する。
【００５１】
より具体的には、Ｄ上で抽出された鳥候補（動体候補）の画像（ＥＯ鳥候補画像）については、ＥＯ鳥候補画像抽出部１５１は、それぞれＤ上での重心位置と形状、及び大きさを予め設定した基準値に正規化した上でＨＯＧ特徴量を計算する。そして、ＥＯ鳥候補画像抽出部１５１は、撮影時刻、撮像時刻でのＥＯ撮像装置２００の光学軸方位を合わせて、ＥＯ動体情報として、ＥＯ動体（鳥候補）情報記憶部１５２に記録する。
【００５２】
次に、図２に示されるように、ＥＯ鳥候補判定部１５３は、可視光画像内に検知対象の動体の候補である検知対象動体候補（鳥）を検知したか否かを一次的に判定する（Ｓ０３）。
【００５３】
すなわち、ＥＯ鳥候補判定部１５３は、各ＥＯ動体情報に対し、ＥＯ鳥判別ライブラリ１５４のデータベースから生成された閾値を基準とする２値判別処理を適用することで、当該ＥＯ動体情報が鳥か否かの一次判定を行う。より具体的には、ＥＯ鳥候補判定部１５３は、ＥＯ鳥候補画像の輝度勾配ヒストグラム（ＨＯＧ特徴量）に基づいて、可視光画像内に検知対象の動体の候補である検知対象動体候補（ここでは、鳥とする。）を検知したか否かを一次的に判定する。すなわち、ＥＯ鳥候補判定部１５３は、ＥＯ動体情報に含まれる輝度勾配ヒストグラム（ＨＯＧ特徴量）に基づいて、ＥＯ撮像画像内に検知対象の動体の候補である鳥候補（検知対象動体候補）を検知したか否かを一次的に判定する。
【００５４】
ＥＯ鳥候補判定部１５３が可視光画像内に鳥候補（検知対象動体候補）を検知したと一次的に判定した場合（Ｓ０３、ＹＥＳ）、ＥＯ動体情報はＳ０６以下の二次判定へ廻される。
【００５５】
一方、ＥＯ鳥候補判定部１５３がＥＯ撮像画像内に検知対象の動体の候補である鳥候補（検知対象動体候補）を検知しないと一次的に判定した場合（Ｓ０３、ＮＯ）、ＥＯ動体情報は削除される（Ｓ０５）。
【００５６】
ここで、二次判定のために、ＩＲ撮像装置３００で取得したＩＲ撮像画像から、鳥の画像の候補である鳥候補画像を、赤外光鳥候補画像（ＩＲ鳥候補画像）として、取得する必要がある。
【００５７】
まず、ＥＯ鳥座標抽出部１５５が、ＥＯ撮像装置２００から入力したＥＯ撮像画像における、当該ＥＯ動体のＥＯカメラ座標を取得する。ＥＯカメラ座標とは、前述の通り、ＥＯ鳥候補判定部１５３により一次的に判定された鳥候補（検知対象動体候補）の位置を、ＥＯ撮像装置２００を基準に示す座標である。
【００５８】
Ｓ０６の処理では、ＩＲ鳥座標推定部１５６は、ＥＯカメラ座標（ＥＯ鳥座標とも呼ばれる。）と対応するＩＲカメラ座標（ＩＲ鳥座標とも呼ばれる。）を推定する（Ｓ０６）。つまり、ＩＲ鳥座標推定部１５６は、ＥＯカメラ座標に対し、ＩＲ撮像装置２００の撮影したＥＯ撮像画像中の対応するＩＲカメラ座標を算出する。具体的には、ＩＲ鳥座標推定部１５６は、カメラ座標変換行列／視差上限情報記憶部１５７に記憶されている情報を用いて、ＩＲカメラ座標（赤外光カメラ座標）を推定する。
【００５９】
そのために、ＩＲカメラ座標は、以下の２つの拘束を受けることを利用する。
は、鳥候補位置のエピポーラ拘束（同じ対象物を写す２台のカメラの位置関係から、対象物の画像中の位置が直線上に限定されること）である。２つ目は、エピポーラ線（補助線）上の視差値上限は鳥の体長から絞られることである。
【００６０】
以上の拘束条件の範囲内で、ＩＲ鳥座標推定部１５６は、輝度値のリングフィルタ結果及び時系列フィルタ結果を、ＩＲ鳥候補画像（ＩＲ撮像画像における鳥候補の画像）として推定する。
【００６１】
図３は、ＩＲ鳥候補画像を取得する方法を説明するための図である。図３には、同じ鳥候補（検知対象動体）を撮像したＥＯ撮像画像およびＩＲ撮像画像を示される。
【００６２】
図３に示されるように、鳥検知装置１００は、まずＥＯ鳥検知をする（図３の（１））。すなわち、ＥＯ鳥候補画像抽出部１５１は、鳥の画像の候補である鳥候補画像を、可視光鳥候補画像（ＥＯ鳥候補画像）として、可視光撮像画像から抽出する。
【００６３】
次に、図３に示されるように、ＩＲ鳥座標推定部１５６は、ＥＯ撮像画像およびＩＲ撮像画像を並列に並べた状態で、エピポーラ線を算出する（図３の（２））。
【００６４】
次に、図３に示されるように、ＩＲ鳥座標推定部１５６は、視差最大範囲の制限を行う（図３の（３））。すなわち、ＩＲ鳥座標推定部１５６は、エピポーラ線上の視差値上限を鳥の体長から絞る処理を行う。
【００６５】
そして、図３に示されるように、ＩＲ鳥座標推定部１５６は、２本のエピポーラ線間で輝度のピーク値を算出することにより、ＩＲ鳥候補画像を取得する。
【００６６】
ところで、２台のカメラ（ＥＯ撮像装置２００、ＩＲ撮像装置３００）が独立にパンチルト旋回動作を行う場合、視軸が異なるため、エピポーラ拘束計算におけるカメラ座標系の位置関係を計算するために、回転行列演算が必要となる。
【００６７】
しかし、図３に示すように、ＥＯ撮像装置２００とＩＲ撮像装置３００の視軸を並行に揃える制限を加えることで、この回転行列演算を省略し、エピポーラ拘束計算の計算コストを軽減することができる。
【００６８】
次に、図２に戻って、ＩＲ鳥候補推定部１５８は、ＩＲ鳥類似度分布情報によるフィルタリングを行う（Ｓ０７）。より具体的には、ＩＲ鳥候補推定部１５８は、検知対象の動体についてのＥＯ撮像画像による鳥候補の一次判定結果を、ＩＲ撮像画像における鳥候補の輝度分布と、実際の鳥の輝度分布との類似度計算によりフィルタリングすることで誤検知を低減する。つまり、ＩＲ鳥候補推定部１５８は、赤外光画像データ入力処理部１３０により受け付けられたＩＲ撮像画像の輝度分布と、赤外光鳥座標推定部１５６により出力されたＩＲ推定画像の輝度分布との間の類似度を計算することによりフィルタリングを行い、誤検知を低減する。
【００６９】
この輝度分布の類似度計算においては、あらかじめ、収集指定しておいたＩＲ鳥画像（この鳥ＩＲ画像は、たとえば手作業で予め集めておいたデータである。ただし、鳥の形状識別処理に必要なデータ数よりはるかに少ない数でよい。）の輝度分布を蓄積しておいたデータベース（ＩＲ鳥輝度分布ライブラリ１５９）を参照する。一般に、鳥は４０℃〜４２℃の一定の体温分布を持つ。このため、ＩＲ撮像装置３００における撮像設定（シャッタスピード・ブライトネス・コントラスト）を固定したとき、一定的な輝度分布の傾向が得られる。
【００７０】
次に、ＩＲ鳥候補推定部１５８は、Ｓ０７のフィルタリング処理を経て、赤外光画像データ入力処理部１３０により受け付けられたＩＲ撮像画像の輝度分布と、赤外光鳥座標推定部１５６により出力されたＩＲ推定画像の輝度分布との間の類似度に基づいて、検知対象動体候補が鳥（検知対象の動体）であるか否かを二次的に二値判別する（Ｓ０８）。
【００７１】
鳥候補（検知対象動体候補）が鳥（検知対象の動体）であると、ＩＲ鳥候補推定部１５８により判別された場合（Ｓ０８、ＹＥＳ）、ＩＲ鳥候補推定部１５８は、鳥（検知対象の動体）として二次的に判定された当該動体を、最終的に鳥（検知対象の動体）としてアラーム通知部１９０へ出力する。そして、アラーム通知部１９０は、可視光画像内に鳥（検知対象動体）が写っていることを通知する（Ｓ１０）。さらに、ＩＲ鳥候補推定部１５８は、ＩＲ鳥輝度分布ライブラリ１５９に、ＩＲ鳥候補画像を追加し、更新する。
【００７２】
一方、鳥候補（検知対象動体候補）が鳥（検知対象の動体）でないと、ＩＲ鳥候補推定部１５８により判別された場合（Ｓ０８、ＮＯ）、ＥＯ動体情報は削除される（Ｓ０９）。
【００７３】
以上、鳥検知装置１００の昼間の鳥検知処理について、説明した。
【００７４】
次に、夜間の鳥検知処理について、図４を用いて説明する。図４は、鳥検知装置１００の動作フローを示す図であって、夜間の鳥検知処理を説明するための図である。
【００７５】
夜間の鳥検知を行うためには、ＩＲ撮像画像に対して、ＥＯ撮像画像を用いた昼間鳥検知処理の一次判定までを応用する。
【００７６】
ＥＯ撮像画像向けの鳥検知処理においては、ＥＯ鳥候補判定部１５３における形状識別処理にＥＯ鳥判別ライブラリ１５４を用いた二値判別を行った。しかし、既存のＥＯ鳥判別ライブラリ１５４は、輝度情報と勾配がＩＲ撮像画像と異なるため、ＩＲ撮像画像における鳥検知処理に利用できない。また、一般に精度良く形状識別を行うためには、大量の鳥画像情報を用意する必要がある。
【００７７】
そこで、昼間にＥＯ撮影画像における鳥検知と共に得られたＩＲ鳥候補画像を、夜間鳥検知処理のためのＩＲ鳥判別ライブラリ１７４に蓄積することで、ＩＲ鳥候補判定部１７３の自動的学習による効率化と、識別精度の向上を実現する。
【００７８】
以上の点を踏まえ、夜間の鳥検知処理の動作を、図４に従って説明する。
【００７９】
図４に示されるように、ＩＲ画像データ入力処理部１１０は、ＥＯ撮像装置２００から、ＥＯ撮影画像（可視光撮像画像）を周期毎に取得する（ステップ（Ｓ２１）。このとき、ＩＲ撮像装置３００は、撮像したＩＲ撮像画像（赤外光撮像画像）を、たとえば毎秒５０フレームの周期で、ＩＲ画像データ入力処理部１７０へ継続的に出力している。
【００８０】
次に、図４に示されるように、ＩＲ鳥候補画像抽出部１７１は、差分画像による鳥候補動体の抽出と、ＩＲ動体情報を取得する（Ｓ２２）。
【００８１】
すなわち、ＩＲ鳥候補画像抽出部１７１は、ＩＲ画像データ入力処理部１３０から赤外光撮像画像を受け取った後、連続した３フレームの画像の差分情報から動いている物体の輪郭線を抽出することにより、赤外光鳥候補画像（ＩＲ鳥候補画像）を抽出する。
【００８２】
より具体的には、ＩＲ鳥候補画像抽出部１７１は、ＥＯ鳥候補画像抽出部１５１と同様に、ＩＲ撮像装置３００から入力されたＩＲ撮像画像をもとに、連続した、または時系列的に一定間隔に抜き出した３枚の画像（それぞれフレームｎ−１，ｎ，ｎ+１とする）を輝度で２値化する。その上で、ＩＲ鳥候補画像抽出部１７１は、それぞれ差分画像ｍ＝ｎ−（ｎ−１）、ｍ+１＝（ｎ＋１）−ｎを生成する。さらに、ＩＲ鳥候補画像抽出部１７１は、ｍとｍ＋１の積画像Ｄ＝ｍ*（ｍ＋１）を生成することにより、３枚の元画像からＩＲ鳥候補画像を抽出する。
【００８３】
また、ＩＲ鳥候補画像抽出部１７１は、このＩＲ鳥候補画像に含まれる鳥候補（動体候補）の撮影時刻、カメラからの相対方位、画像上での物体全体の座標との輝度情報、及び輝度勾配のヒストグラム（ＨＯＧ）特徴量をひとまとめにして、赤外光動体情報（ＩＲ動体情報）としてＩＲ動体（鳥候補）情報記憶部１７２内に記録する。
【００８４】
Ｄ上で抽出された動体については、ＩＲ鳥候補画像抽出部１７１は、それぞれＤ上での重心位置と形状、及び大きさを予め設定した基準値に正規化した上でＨＯＧ特徴量を計算する。そして、ＩＲ鳥候補画像抽出部１７１は、撮影時刻、撮像時刻でのＩＲ撮像装置３００の光学軸方位を合わせて、ＩＲ動体情報として、ＩＲ動体（鳥候補）情報記憶部１７２に記録する。
【００８５】
次に、図４に示されるように、ＩＲ鳥候補判定部１７３は、赤外光画像内に検知対象の動体の候補である鳥候補（検知対象動体候補）を検知したか否かを一次的に判定する（Ｓ２３）。
【００８６】
すなわち、ＩＲ鳥候補判定部１７３は、各ＩＲ動体情報に対し、ＩＲ鳥判別ライブラリ１７４のデータベースから生成された閾値を基準とする２値判別処理を適用することで、当該ＩＲ動体情報が鳥か否かの一次判定を行う。より具体的には、ＩＲ鳥候補判定部１７３は、ＩＲ鳥候補画像の輝度勾配ヒストグラム（ＨＯＧ特徴量）に基づいて、ＩＲ撮像画像内に検知対象の動体の候補である検知対象動体候補（ここでは、鳥とする。）を検知したか否かを一次的に判定する。すなわち、ＩＲ鳥候補判定部１７３は、ＩＲ動体情報に含まれる輝度勾配ヒストグラム（ＨＯＧ特徴量）に基づいて、ＩＲ撮像画像内に検知対象の動体の候補である鳥候補（検知対象動体候補）を検知したか否かを一次的に判定する。
【００８７】
ＩＲ鳥候補判定部１７３が赤外光画像内に検知対象の動体の候補である鳥候補（検知対象動体候補）を検知したと判定した場合（Ｓ２３、ＹＥＳ）、ＩＲ鳥候補判定部１７３は、鳥（検知対象の動体）として判定された当該動体を、最終的に鳥（検知対象の動体）としてアラーム通知部１９０へ出力する。そして、アラーム通知部１９０は、ＩＲ撮像画像内に鳥（検知対象動体）が写っていることを通知する（Ｓ２５）。
【００８８】
一方、ＩＲ鳥候補判定部１７３が赤外光画像内に検知対象の動体の候補である鳥候補（検知対象動体候補）を検知しないと判定した場合（Ｓ２３、ＮＯ）、ＩＲ動体情報は削除される（Ｓ２４）。
【００８９】
なお、ＩＲ鳥判別ライブラリ１７４のデータベースには、昼間の鳥検知処理において取得したＩＲ鳥候補画像を逐次蓄積し、データベースを自動で更新する。
【００９０】
以上、鳥検知装置１００の夜間の鳥検知処理について、説明した。
【００９１】
＜実施の形態の変形例＞
次に、鳥検知装置１００の変形例を説明する。
【００９２】
鳥検知装置１００の変形例では、ＩＲ撮像装置２００の設置数を複数個としている。これに対応して、ＩＲ画像データ処理部１３０および夜間鳥検知処理部１７０も複数個とする。このとき、複数のＩＲ撮像装置２００には、異なる波長帯（近赤外、中赤外、遠赤外）に対応させてもよい。これら複数のＩＲ撮像装置２００は、各ＩＲ画像データ入力処理部１３０に接続される。
【００９３】
この場合、各ＩＲ撮像装置２００により出力されるＩＲ撮像画像の情報の全ては、鳥検知装置１００の各ＩＲ画像データ入力処理部１３０へ並行して出力される。このとき、ユーザの操作によりどのＩＲ撮像装置３００からの入力を処理するかを選択できる。
【００９４】
または、図２の処理Ｓ０６、Ｓ０７において、任意の組合せでＩＲ鳥輝度分布情報によるフィルタリングを実施することで、鳥候補の判別精度を高めることが出来る。
【００９５】
以上、鳥検知装置１００の変形例を説明した。
【００９６】
なお、図２の処理Ｓ１０、図４の処理Ｓ２５は、アラーム通知ではなく、ディスプレイ等へ撮像装置の光軸方向角度に対する鳥の出現頻度を表示する構成とすることもできる。
【００９７】
また、内臓プログラムは、外部記憶装置、ＷＷＷ等によりネットワーク接続された外部情報、またはゲートアレイ等のハードウェアで置き換えても良い。
【００９８】
さらに、検知および判別の対象は、鳥に限定されるものでは無く、動物、人間、その他標準的な外形と温度分布を規定できる物体であれば、本装置の検知目標（検知対象）とすることが出来る。
【００９９】
以上の通り、本発明の実施の形態における鳥検知装置１００（動体検知装置）は、ＥＯ画像データ入力処理部１１０（可視光画像データ入力処理部）と、ＩＲ画像データ入力処理部１３０（赤外光画像データ入力処理部）と、ＥＯ鳥候補画像抽出部１５１（可視光動体候補画像抽出部）と、ＥＯ鳥候補判定部１５３（可視光動体候補判定部）と、ＥＯ鳥座標抽出部１５５（可視光鳥座標抽出部）と、ＩＲ鳥座標推定部１５６（赤外光動体座標推定部）と、ＩＲ鳥候補推定部１５８（赤外光動体候補推定部）とを備えている。
【０１００】
ＥＯ画像データ入力処理部１１０は、可視光波長帯の光を撮像してＥＯ撮像画像（可視光撮像画像）を生成するＥＯ撮像装置２００（可視光撮像装置）により、ＥＯ撮像画像の入力を受け付ける。
【０１０１】
ＩＲ画像データ入力処理部１３０は、赤外光波長帯の光を撮像してＩＲ撮像画像（赤外光撮像画像）を生成するＩＲ撮像装置３００（赤外光撮像装置）により、ＩＲ撮像画像の入力を受け付ける。
【０１０２】
ＥＯ鳥候補画像抽出部１５１は、検知対象の鳥（動体）の画像の候補であるＥＯ鳥候補画像（可視光動体候補画像）を、ＥＯ撮像画像から抽出する。
【０１０３】
ＥＯ鳥候補判定部１５３は、ＥＯ鳥候補画像の輝度勾配ヒストグラムに基づいて、ＥＯ撮像画像内に検知対象の動体の候補である鳥（検知対象動体候補）を検知したか否かを一次的に判定する。
【０１０４】
ＥＯ鳥座標抽出部１５５は、ＥＯ鳥候補判定部１５３により一次的に判定された鳥（検知対象動体候補）の位置を、ＥＯ撮像装置２００を基準に示す座標であるＥＯカメラ座標（可視光カメラ座標）を推定する。
【０１０５】
ＩＲ鳥座標推定部１５６は、ＩＲカメラ座標（赤外光カメラ座標）を推定し、ＩＲカメラ座標に鳥（検知対象動体候補）を推定的に配置したＩＲ推定画像（赤外光推定画像）を生成し出力する。なお、ＩＲカメラ座標はＥＯカメラ座標に対応する位置を、ＩＲ撮像装置３００を基準に示す座標である。
【０１０６】
ＩＲ鳥候補推定部１５８は、ＩＲ画像データ入力処理部１３０により受け付けられたＩＲ撮像画像の輝度分布と、ＩＲ鳥座標推定部１５６により出力されたＩＲ推定画像の輝度分布との間の類似度に基づいて、鳥候補（検知対象動体候補）が検知対象の鳥（動体）であるか否かを判断する。
【０１０７】
このように、可視光波長帯の光をＥＯ撮像装置２００により撮像したＥＯ撮像画像を、ＩＲ撮像装置３００基準に座標変換したＩＲ推定画像の輝度分布と、赤外光波長帯の光を撮像したＩＲ撮像画像の輝度分布との類似度に基づいて、鳥を検出している。すなわち、鳥検知装置１００では、赤外光波長帯の光特性として、温度の情報を取得し、鳥と非鳥（鳥以外）の温度分布の相違情報が反映されたＩＲ推定画像を利用して、鳥を検知している。
【０１０８】
これにより、鳥に似た形状の移動体やランダムな形状の物体（太陽光の反射や樹木の揺らぎ等）を要因とする背景画像をフィルタリングすることができる。この結果、本発明の実施の形態における鳥検知装置１００によれば、可視光撮像画像および赤外光撮像画像を同時に利用することにより、鳥に似た形状の移動体やランダムな形状の物体（太陽光の反射や樹木の揺らぎ等）を要因とする誤検知を抑制し、正確に検知対象の動体を検知することができる。
【０１０９】
単眼の可視光カメラを用いて鳥を検知する技術（背景技術）では、取得画像から検出目標画像を形状比較により抽出する画像処理では、樹木の揺らぎや白波、海面の太陽光反射等の多様な背景が、見かけ上の鳥の形状に近しくなる場合を除去することに限界があり、誤検知が発生してしまう場合が有る、という問題があった。一方、本発明では、このような背景物体の赤外光波長域における特性、すなわち温度の情報を取得し、鳥と非鳥の温度分布の違いの情報が反映されたＩＲ画像を利用する。このため、本発明の鳥検知装置１００は上記のような背景画像をフィルタリングすることが可能となり、単眼の可視光カメラを用いて鳥を検知する技術と比較してより高精度な鳥検知が可能である。
【０１１０】
本発明の実施の形態における鳥検知装置１００では、ＥＯ鳥候補画像抽出部１５１は、ＥＯ撮像画像で動いている物体の輪郭線を抽出することにより、ＥＯ鳥候補画像をＥＯ撮像画像から抽出する。これにより、ＥＯ鳥候補画像を簡単に特定でき、ＥＯ撮像画像から抽出することができる。
【０１１１】
また、本発明の実施の形態における鳥検知装置１００は、アラーム通知部１９０（通知部）を備えている。アラーム通知部１９０は、ＩＲ鳥候補推定部１５６により、検知動体候補が検知対象の鳥（動体）であると判断された場合に、ＥＯ画像内に鳥（検知対象動体）が写っていることを通知する。これにより、鳥通知装置１００の利用者に対して、鳥の存在を伝えることができる。
【０１１２】
また、本発明の実施の形態における鳥検知装置１００は、ＩＲ鳥候補画像抽出部１７１（赤外光動体候補画像抽出部）と、ＩＲ鳥候補判定部１７３（赤外光動体候補判定部）とを備えている。ＩＲ鳥候補画像抽出部１７１は、検知対象の鳥（動体）の画像の候補であるＩＲ鳥候補画像（赤外光動体候補画像）を、ＩＲ撮像画像から抽出する。ＩＲ鳥候補判定部１７３は、ＩＲ鳥候補画像の輝度勾配ヒストグラムに基づいて、ＩＲ撮像画像内に鳥（検知対象動体候補）を検知したか否かを判定する。これにより、夜間であっても、鳥を検知することができる。
【０１１３】
単眼の可視光カメラを用いて鳥を検知する技術（背景技術）では、ＥＯ撮像装置を用いるため、夜間に鳥検知を行うことができなかった。一般的な対策として、ＩＲ撮像装置を導入し、夜間に鳥を撮像することが考えられる。しかし、鳥の形状識別処理の機械学習を行うためには、大量のＩＲ鳥画像を用意する必要があった。これに対して、本発明の鳥検知装置１００では、昼間の鳥検知処理によって検知した鳥と対応するＩＲ鳥画像を蓄積し、夜間の鳥形状識別処理の機械学習に適用することで、大量のIR鳥画像を用意しなければならない問題を解決し、機械学習の自動化・効率化、および形状識別の高精度化が可能である。
【０１１４】
また、本発明の実施の形態における鳥検知装置１００は、アラーム通知部１９０（通知部）を備えている。アラーム通知部１９０は、ＩＲ鳥候補推定部１５６（赤外光動体候補推定部）またはＩＲ鳥候補判定部１７３（赤外光動体候補判定部）により、前記検知対象動体候補が鳥（検知対象動体）であると判断された場合に、ＥＯ撮像画像内またはＩＲ撮像画像内に鳥（検知対象動体）が写っていることを通知する。これにより、昼夜問わず、鳥通知装置１００の利用者に対して、鳥の存在を伝えることができる。
【産業上の利用可能性】
【０１１５】
本発明は、たとえば、画像データから特定の目標を抽出し、それが予めユーザが設定した対象かそうでないかを判定する機能を利用する装置、空港、風力発電設備（風車）でのバードストライク防止装置、異物（ＦＯＤ）検知装置や、農場での鳥獣食害防止装置、監視カメラ映像中の人間検知装置、警戒区域に侵入者が侵入した際の警報装置、および上記の装置の機能を昼夜間で実施することが必要な装置等に、適用することができる。
【０１１６】
以上、実施の形態をもとに本発明を説明した。実施の形態は例示であり、本発明の主旨から逸脱しない限り、上述各実施の形態に対して、さまざまな変更、増減、組合せを加えてもよい。これらの変更、増減、組合せが加えられた変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【０１１７】
１００    鳥検知装置
１１０    ＥＯ画像データ入力処理部
１３０    ＩＲ画像データ入力処理部
１５０    昼間鳥検知処理部
１５１    ＥＯ鳥候補画像抽出部
１５２    ＥＯ動体（鳥候補）情報記憶部
１５３    ＥＯ鳥候補判定部
１５４    ＥＯ鳥判別ライブラリ
１５５    ＥＯ鳥座標抽出部
１５６    ＩＲ鳥座標推定部
１５７    カメラ座標変換行列／視差上限情報記憶部
１５８    ＩＲ鳥候補推定部
１５９    ＩＲ鳥輝度分布ライブラリ
１７０    夜間鳥検知処理部
１７１    ＩＲ鳥候補画像抽出部
１７２    ＩＲ動体（鳥候補）情報記憶部
１７３    ＩＲ鳥候補判定部
１７４    ＩＲ鳥判別ライブラリ
１９０    アラーム通知部
２００    ＥＯ撮像装置
３００    ＩＲ撮像装置
【図１】
0006500428.tif 000002
【図２】
0006500428.tif 000003
【図３】
0006500428.tif 000004
【図４】
0006500428.tif 000005