(57)【要約】【課題】  大規模な野外フィールドにおける撮影画像の処理において、合理的な画像処理をすることによって、的確に飛翔体を抽出可能とする技術を提供する。【解決手段】  複数のカメラが撮影した時系列画像データを重ね合わせて合成画像データを作成する合成画像作成手段と、  その合成画像作成手段にて作成された合成画像データの画素を二値化するための閾値を入力する二値化閾値入力手段と、  その二値化閾値入力手段にて入力された閾値を用いて二値化画像データを作成する二値化画像作成手段と、  その二値化画像作成手段にて作成された二値化画像データが使用可能かどうか確認するための二値化画像確認手段と、  その二値化画像確認手段にて使用可能と判断された二値化画像データおよび前記の時系列画像データを掛合せて掛合せ画像データを作成する掛合せ画像作成手段と、を備えた移動体画像処理装置とする。【選択図】  図１
2011209806.tif 000002
【特許請求の範囲】
【請求項１】
複数台のカメラにて所定空間をステレオ撮影して時系列に連続する画像データから移動体を検出するための移動体画像処理装置であって、
前記複数のカメラが撮影した時系列画像データを重ね合わせて合成画像データを作成する合成画像作成手段と、
その合成画像作成手段にて作成された合成画像データの画素を二値化するための閾値を入力する二値化閾値入力手段と、
その二値化閾値入力手段にて入力された閾値を用いて二値化画像データを作成する二値化画像作成手段と、
その二値化画像作成手段にて作成された二値化画像データが使用可能かどうか確認するための二値化画像確認手段と、
その二値化画像確認手段にて使用可能と判断された二値化画像データおよび前記の時系列画像データを掛合せて掛合せ画像データを作成する掛合せ画像作成手段と、
を備えた移動体画像処理装置。
【請求項２】
前記の二値化画像確認手段において使用不能と判断された場合に、二値化閾値入力手段において閾値を再入力することとした請求項１に記載の移動体画像処理装置。
【請求項３】
前記の掛合せ画像作成手段が作成した掛合せ画像データを用いてＰＩＶ処理を実行し、移動体の移動軌跡画像を作成するＰＩＶ追跡処理手段を備えた請求項１または請求項２のいずれかに記載の移動体画像処理装置。
【請求項４】
前記の移動体軌跡抽出手段が抽出した移動体の軌跡を３Ｄ表示する移動体軌跡出力手段を備えた請求項１から請求項３のいずれかに記載の移動体画像処理装置。
【請求項５】
複数台のカメラにて所定空間をステレオ撮影して時系列に連続する画像データから移動体を検出するためのコンピュータプログラムであって、
そのプログラムは、  前記複数のカメラが撮影した時系列画像データを重ね合わせて合成画像を作成する合成画像作成手順と、
その軌跡画像作成手順にて作成された合成画像の画素を二値化するための閾値を入力する二値化閾値入力手順と、
その二値化閾値入力手順にて入力された閾値を用いて二値化画像データを作成する二値化画像作成手順と、
その二値化画像作成手順にて作成された二値化画像データが使用可能かどうか確認するための二値化画像確認手順と、
その二値化画像確認手順にて使用可能と判断された二値化画像データおよび前記の時系列画像データを掛合せて掛合せ画像データを作成する掛合せ画像作成手順と、
をコンピュータに実行させることとしたコンピュータプログラム。
【請求項６】
前記の掛合せ画像作成手順にて作成された掛合せ画像データを用いてＰＩＶ処理を実行し、移動体の移動軌跡画像を作成するＰＩＶ追跡処理手順をコンピュータに実行させることとした請求項５に記載のコンピュータプログラム。
【請求項７】
前記の移動体軌跡抽出手順にて抽出された移動体の軌跡を３Ｄ表示する移動体軌跡出力手順をコンピュータに実行させることとした請求項５または請求項６のいずれかに記載のコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の空間領域における移動体を撮影する際の画像データ処理装置および画像データを処理するためのコンピュータプログラムに関する。
【背景技術】
【０００２】
従来、所定の空間領域における移動体を撮影し、その移動体の動きを解析するためには、ＰＴＶ処理を実行するのが一般的であった。
また、そのＰＴＶ処理をするためには、画像データにおける移動体の背景が障害となるので、障害となる背景を消すために、時間差分法という処理を実行するのが一般的であった。
時間差分法とは、時間的に連続する二枚の画像データから、輝度に差分が存在する画素を抽出するのである。移動体を捉えた画素は、時間的に次の画像データにおいては異なる画素に移動しているため、差分がゼロとはならない。しかし、二枚の画像データにおいて輝度が同じ画素については、差分の結果、輝度がゼロになる。これによって、移動体とは無関係な背景の画像データを消すことができるのである。
なお、時間差分法を用いた画像処理技術については、たとえば特許文献１に開示されている。
【０００３】
ところで、環境アセスメントの一環として、所定の空間領域（たとえば建造物を建造する予定地）に対する鳥などの飛来物を検知し、その検知した情報を分析するといったことが行われている。  その飛来物の検知には、複数（たいてい２台）のカメラで飛来物を含む画像データを取得し、同期させた複数の画像データ中において一致する粒子や画素を抽出する（たとえば、ＰＴＶのステレオペアマッチング）、という手法が採用されている。すなわち、一致した粒子や画素について、三次元における速度や位置の情報に変換し、飛来物の軌跡を三次元データとして求める。
このような飛来物の検知方法を応用することによって、たとえば風力発電装置に飛来物が近づいているか否かを判断して、風力発電装置の減速または停止の制御に用いることができる。また、野鳥の飛行観察や行動調査にも、同様に三次元の飛行軌跡を求める手段が用いられている。
【０００４】
所定の空間領域に対する飛来物調査においては、対象となる空間を撮影するためのステレオ撮影実行のために設置される２台のカメラの距離は、５０メートル以上である場合が多い。風力発電装置が複数設置されることを予定しているウィンドファームなどの場合には、数キロメートルに達する場合もある。
【０００５】
特許文献２は、移動物体の三次元軌跡を計測する技術であり、球技スポーツにおけるボールのように高速で移動する物体の移動軌跡を解析するための技術である。  これは、複数（たいてい２台）のカメラによって飛翔体を含む画像データを取得し、同期させた複数の画像データ中において一致する粒子や画素を抽出する（ＰＴＶステレオペアマッチング法）。一致した粒子や画素について、三次元における速度の情報に変換し、三次元の軌跡を求めるものである。
ＰＴＶステレオペアマッチング法の技術は、鳥などの飛翔体の軌跡を解析するために利用することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１５７４９２号公報
【特許文献２】特開２００７−１１５２３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
さて、ＰＴＶステレオペアマッチング法を用いて鳥などの飛翔体の軌跡を解析するため、カメラで撮影して画像データを時系列に取得するのであるが、飛翔体の背景が空ではなくて山や木々である場合、以下のような問題がある。
すなわち、飛翔体の背景が単純な色ではなかったり、木々の枝葉が風で動いたりした画像データに対してＰＴＶステレオペアマッチング法を用いると、飛翔体の自動抽出や自動追尾を失敗することがある。  画像が変化した場合にはそれを移動体（飛翔体）として演算処理を実行するため、飛翔体以外にも背景画像が動いている場合、それがノイズであると判断せずに多くの演算処理を実行してしまうからである。
【０００８】
また、ＰＴＶ処理は、ハードウェア負荷が大きいため、処理すべきデータを絞り込むことができれば、処理の高速化や、画像データの細密化などにつなげることができる。
【０００９】
本発明が解決しようとする課題は、多数の画像データの中から移動体だけを抽出して時系列に軌跡を解析するための画像処理技術を提供することを目的とする。
第一の発明の目的は、多数の画像データの中から移動体だけを抽出して時系列に軌跡を解析するための画像処理装置を提供することである。
第二の発明の目的は、多数の画像データの中から移動体だけを抽出して時系列に軌跡を解析するためのコンピュータプログラムを提供することである。
【課題を解決するための手段】
【００１０】
（第一の発明）
本願における第一の発明は、  複数台のカメラにて所定空間をステレオ撮影して時系列に連続する画像データから移動体を検出するための移動体画像処理装置に係る。
その装置は、前記複数のカメラが撮影した時系列画像データを重ね合わせて合成画像データを作成する合成画像作成手段と、  その合成画像作成手段にて作成された合成画像データの画素を二値化するための閾値を入力する二値化閾値入力手段と、  その二値化閾値入力手段にて入力された閾値を用いて二値化画像データを作成する二値化画像作成手段と、  その二値化画像作成手段にて作成された二値化画像データが使用可能かどうか確認するための二値化画像確認手段と、  その二値化画像確認手段にて使用可能と判断された二値化画像データおよび前記の時系列画像データを掛合せて掛合せ画像データを作成する掛合せ画像作成手段と、  を備えた移動体画像処理装置である。
【００１１】
（用語説明）
「移動体」とは、所定空間を移動する鳥、生物、その他の測定対象である。
「二値化閾値」とは、画像データを白黒二階調とするために、どの明るさを白とし、それ以下の明るさを黒とするかを決定する値である。
「二値化画像確認手段」は、たとえば、二値化画像を出力させて観察者が確認して良否を判断し、良いという場合に、「良い」という判断結果を観察者からの入力情報として受信し、掛け合わせ画像作成手段へ当該二値化画像データを送る手段である。
【００１２】
（作用）
複数台のカメラにて、所定空間をステレオ撮影する。その複数のカメラが撮影した時系列画像データから合成画像作成手段が合成画像データを作成する。合成画像データは、例えば差分法を用いて時系列画像データを画像処理した後、これらの画像処理した後の画像を合成することにより作成することができる。すると、その合成画像データにおいては、移動している画素は濃くなり、動きのない画素は薄くなる。
その合成画像データに対して、二値化閾値入力手段がその画素を二値化するための閾値を入力する。  その閾値を用いて、二値化画像作成手段が二値化画像データを作成する。  その二値化画像作成手段にて作成された二値化画像データが使用可能かどうか、二値化画像確認手段にて確認する。閾値が適切であれば、動きのある画素のみを取り出すことができる。
使用可能と判断された二値化画像データおよび前記の時系列画像データを掛合せ画像作成手段が掛合せ、掛合せ画像データを作成する。この掛合せ画像データには、動きのある領域とその領域を動く移動体とが表れている。
【００１３】
（第一の発明のバリエーション１）
第一の発明は、前記の二値化画像確認手段において使用不能と判断された場合に、二値化閾値入力手段において閾値を再入力することとしてもよい。
なお、前記の掛合せ画像データから移動体の軌跡を抽出できなかった場合にも、二値化閾値入力手段において閾値を再入力することとしてもよい。
【００１４】
（第一の発明のバリエーション２）
第一の発明は、前記の掛合せ画像作成手段が作成した掛合せ画像データを用いてＰＩＶ処理を実行し、移動体の移動軌跡画像を作成するＰＩＶ追跡処理手段を備えることとしてもよい。
掛合せ画像データでは、移動体以外の雑音が消去されているので、ＰＩＶ処理を実行しても、エラーがでにくい。
【００１５】
（第一の発明のバリエーション３）
第一の発明は、前記の移動体軌跡抽出手段が抽出した移動体の軌跡を３Ｄ表示する移動体軌跡出力手段を備えることとしてもよい。
複数のカメラにて所定空間を撮影しているので、ステレオ撮影となっており、三次元の軌跡データとすることができるからである。
【００１６】
（第二の発明）
本願の第二の発明は、複数台のカメラにて所定空間をステレオ撮影して時系列に連続する画像データから移動体を検出するためのコンピュータプログラムに係る。
そのプログラムは、  前記複数のカメラが撮影した時系列画像データを重ね合わせて合成画像を作成する合成画像作成手順と、  その軌跡画像作成手順にて作成された合成画像の画素を二値化するための閾値を入力する二値化閾値入力手順と、  その二値化閾値入力手順にて入力された閾値を用いて二値化画像データを作成する二値化画像作成手順と、  その二値化画像作成手順にて作成された二値化画像データが使用可能かどうか確認するための二値化画像確認手順と、  その二値化画像確認手順にて使用可能と判断された二値化画像データおよび前記の時系列画像データを掛合せて掛合せ画像データを作成する掛合せ画像作成手順と、
をコンピュータに実行させることとしたコンピュータプログラムである。
【００１７】
（第二の発明のバリエーション１）
本願の第二の発明は、  前記の掛合せ画像作成手順にて作成された掛合せ画像データを用いてＰＩＶ処理を実行し、移動体の移動軌跡画像を作成するＰＩＶ追跡処理手順をコンピュータに実行させることとしてもよい。
【００１８】
（第二の発明のバリエーション２）
本願の第二の発明は、前記の移動体軌跡抽出手順にて抽出された移動体の軌跡を３Ｄ表示する移動体軌跡出力手順をコンピュータに実行させることとしてもよい。
【００１９】
第二の発明は、記録媒体（たとえば、ハードディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒなど）に格納して提供することもできる。また、通信回線を介して送信することもできる。
【発明の効果】
【００２０】
請求項１から請求項４に記載の発明によれば、多数の画像データの中から移動体だけを抽出して時系列に軌跡を解析するための画像処理装置を提供することができた。
また、請求項６および請求項７に記載の発明によれば、多数の画像データの中から移動体だけを抽出して時系列に軌跡を解析するためのコンピュータプログラムを提供することができた。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態に係る移動体画像処理装置を示すブロック図である。
【図２】カメラの配置例を示す概念図である。
【図３】取得した画像について加工するデータの種類を示すための概念図である。
【図４】画像データの加工手順を示す概念図である。
【発明を実施するための形態】
【００２２】
以下、本願発明を実施形態に基づいて更に詳しく説明する。
本実施形態では、左右のカメラ（撮影手段）にてステレオ撮影して時系列に連続する左右の画像データに写った移動体を検出して移動軌跡を解析するための移動体画像処理装置を用いて、図1に示すような処理手順にて画像を処理する。
なお、図２に示すように、カメラは左右の２台に限らず、３台以上で所定の撮影対象空間を撮影することとしても良い。
【００２３】
まず、左カメラが撮影する所定空間に対して軌跡画像を、右カメラが撮影する所定空間に対して軌跡画像を、それぞれ取得とする。  そして、取得した時系列画像データ（時刻１〜Ｎ）から、合成画像作成手段が合成画像データを作成する。  図３に示す（ａ），（ｂ），（ｃ）が時系列画像データであり、（ｄ）が合成画像データである。
【００２４】
合成画像データは、時系列画像データを例えば差分法を用いて画像処理した後の画像を合成することにより作成することができ、その合成画像データにおいては、移動している画素は濃くなり、動きのない画素は薄くなる。  たとえば、鳥などの移動体が移動した領域は濃くなり、木の枝が揺れている、といった場合もその領域も濃くなる。
【００２５】
その合成画像データに対して、二値化閾値入力手段がその画素を二値化するための閾値を入力する。  その閾値を用いて、二値化画像作成手段が二値化画像データを作成する。  その二値化画像作成手段にて作成された二値化画像データが使用可能かどうか、二値化画像確認手段にて確認する。二値化画像を画面に出力させ、観察者が二値化画像を確認する。  その結果、観察者は、二値化画像の良否を判断し、使用可能という場合に、「使用可能」という判断結果を観察者からの入力情報として受信し、次のステップに進む。
【００２６】
閾値が適切であれば、所定の動きのある画素の領域（鳥が動いていた領域や木の枝が揺れている領域）のみを取り出すことができる。  たとえば、図３（ｅ）に示すような画像が得られる。
この後、処理の対象とする領域（鳥が動いていた領域）のみを選択して、図４（ｅ−１）のような画像を得る。この得られた画像データ（ｅ−１）と前記の時系列画像データ（ａ，ｂ，ｃ）をそれぞれ掛合せ、掛合せ画像作成手段が掛合せ画像データ（ｆ，ｇ，ｈ）を作成する。この掛合せ画像データには、取り出した領域とその領域を動く移動体とが表れている。
掛合せ画像データ（ｆ，ｇ，ｈ）をＰＩＶ処理することとすれば、ベクトル表示が可能である一方、通常のＰＩＶ処理では避けられなかった雑音（木の枝が揺れている、といった領域についてもＰＩＶ処理が実行されてしまう事態）を回避することができる。  図１においては、ＰＩＶ追跡処理手段として示している。
【００２７】
前述の「二値化閾値」とは、画像データを白黒二階調とするために、どの明るさを白とし、それ以下の明るさを黒とするかを決定する値である。
使用可能と判断された二値化画像データを用いて、所望する移動体の軌跡を抽出する。たとえば、鳥の飛翔軌跡のみならず、航空機や木々の枝葉など、動きのある画像は軌跡画像として作成されるが、所望する移動体が鳥などの飛翔体である場合には、航空機や木々の枝葉などは、軌跡の種類などから削除する。これにより、図３（ｅ）から図４（ｅ−１）のような画像を作成する。
【００２８】
ＰＩＶ追跡処理手段が処理した時系列のデータ用いて、三次元軌跡に変換し、三次元表示として出力するのが、移動体軌跡出力手段である。
なお、ＰＩＶ追跡処理手段や移動体軌跡出力手段を確認後にも、二値化閾値入力手段において閾値を再入力することとしてもよい。
【００２９】
二値化画像において、直線（太い線の場合もある）にて示された領域などは、航空機の軌跡やベクトルであろうと推測でき、非直線的で不規則な動きは鳥であろうと推測できる。
直線や、所定以上の長さの領域は、撮影対象が鳥である場合には不適切であるため、ソフトウェア処理によって削除することとしても良い。
【００３０】
前述の実施形態では、移動体を鳥として説明したが、移動体は鳥に限られない。  川の流れ、煙の動きなどが被写体である場合、流れが停滞している箇所の解析、無風状態が継続した場合の煙などを解析することも可能である。
【産業上の利用可能性】
【００３１】
本願発明は、広域を撮影する必要がある環境アセスメント調査業、風力発電装置の製造業、航空関係の整備事業、環境影響評価における鳥類や生物の調査事業などにおいて、利用可能性を有する。
【図１】
2011209806.tif 000003
【図２】
2011209806.tif 000004
【図３】
2011209806.tif 000005
【図４】
2011209806.tif 000006