(57)【特許請求の範囲】
【請求項１】
現場の空間領域をステレオ撮影して撮影画像データを得た際の撮影条件データを用いて、前記撮影画像データに必要な校正用データを取得するための装置であって、
前記現場の空間領域に対して異なる方向から撮影する２台のカメラに関する撮影条件データを入力する現場撮影条件データ入力手段と、
その撮影条件データを用いて縮尺したステレオ撮影を実行するための縮尺モデル用データを演算する縮尺演算手段と、
その縮尺モデル用データを用いて離間させて設置した２台のカメラによって校正用サンプルをステレオ撮影する縮尺モデル撮影手段と、
その縮尺モデル撮影手段によって撮影した校正用サンプルを用いて校正用データを演算する校正用データ演算手段と、
を備え、
前記現場の空間領域は、前記２台のカメラの離間距離が６００メートルとなる空間とし、
前記２台のカメラは、Ｃ−ＭＯＳセンサを用いたカメラであって、撮影制御装置を用いて前記現場の空間領域を同時に撮影し、
前記撮影条件データにおけるカメラの位置データおよび撮影方向の方位データは、それぞれのカメラに備えられたＧＰＳ装置が取得し、
前記縮尺モデル撮影手段は、１０〜４０メートルを離間させた２台のカメラによるステレオ撮影とした校正用データ取得装置。
【請求項２】
前記校正用データおよび前記縮尺モデル用データを用いて、前記撮影画像データを三次元解析する三次元解析手段を備え、
その三次元解析手段には、ＰＴＶ解析アルゴリズムを含むこととした請求項１記載の校正用データ取得装置。
【請求項３】
前記縮尺モデル撮影手段が撮影する校正用サンプルは、サンプル点ごとに識別色を変え
て発光させることとした
請求項１または請求項２のいずれかに記載の校正用データ取得装置。
【請求項４】
現場の空間領域をステレオ撮影して撮影画像データを得た際の撮影条件データを用いて、前記撮影画像データに必要な校正用データを取得するためのコンピュータプログラムであって、
そのプログラムは、前記現場の空間領域に対して異なる方向から６００メートルを離間させて撮影する２台のＣ−ＭＯＳセンサを用いたカメラに関する撮影条件データを入力する現場撮影条件データ入力手順と、
その撮影条件データを用いて縮尺したステレオ撮影を実行するための縮尺モデル用データを演算する縮尺演算手順と、
その縮尺モデル用データを用いて１０〜４０メートルを離間させて設置した２台のカメラによって校正用サンプルをステレオ撮影する縮尺モデル撮影手順と、
その縮尺モデル撮影手順によって撮影した校正用サンプルを用いて校正用データを演算する校正用データ演算手順と、をコンピュータに実行させることとし、
前記撮影条件データにおけるカメラの位置データおよび撮影方向の方位データは、それぞれのカメラに備えられたＧＰＳ装置が取得することとしたコンピュータプログラム。
【請求項５】
前記校正用データおよび前記縮尺モデル用データを用いて、前記撮影画像データを三次元解析する三次元解析手順を備えた請求項４記載のコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の空間領域をステレオ撮影するための複数のカメラを現場に設置する際の校正用データ取得装置および校正用データを取得するためのコンピュータプログラムに関する。
【背景技術】
【０００２】
従来、所定の空間領域を高い計測精度にてステレオ撮影するため２台のカメラの位置を設定し、設定後において高精度に校正（キャリブレーション）を実行する必要がある。
【０００３】
高精度な校正としては、例えば「８点キャリブレーション」という手法が採用されている。  この８点キャリブレーションとは、撮影空間上に、測定で正確に設定したモデルとなる直方体(立方体)の８個の頂点を光らせ、それを受光（撮影）してステレオ撮影の位置合わせをする。  例えば、前記立方体における８個の頂点の座標をコンピュータに入力する。あるいは、２台のカメラで前記立方体を撮影して２台のカメラ画像を取得した後に、立方体の各頂点の座標と２台のカメラ画像の座標を対応させて校正することになる。
校正（キャリブレーション）を高精度にかつ効率よく実行するために、特許文献１〜特許文献３に示されているような技術が開示されている。
【０００４】
ところで、環境アセスメントの一環として、所定の空間領域（たとえば建造物を建造する予定地）に対する鳥などの飛来物を検知し、その検知した情報を分析するといったことが行われている。  その飛来物の検知には、複数（たいてい２台）のカメラで飛来物を含む画像データを取得し、同期させた複数の画像データ中において一致する粒子や画素を抽出する（たとえば、ＰＴＶのステレオペアマッチング）、という手法が採用されている。すなわち、一致した粒子や画素について、三次元における速度や位置の情報に変換し、飛来物の軌跡を三次元データとして求める。
このような飛来物の検知方法を応用することによって、たとえば野鳥の飛行観察や行動調査にも、三次元の飛行軌跡を求めることができる。
【０００５】
所定の空間領域に対する飛来物調査においては、対象となる空間を撮影するためのステレオ撮影実行のために設置される２台のカメラの距離は、５０メートル以上である場合が多い。風力発電装置が複数設置することを予定しているウィンドファームなどの場合には、数キロメートルに達する場合もある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平８−１４８２８号公報
【特許文献２】特開平１０−１２２８１９号公報
【特許文献３】特開２００７−６４８３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
さて、ステレオ撮影を実行する対象となる空間領域が広大なものである場合は、校正（キャリブレーション）の作業が大がかりとなり、面倒である。  すなわち、被写体となる空間領域における誤差を小さくするためには、校正のために仮想する立方体（キャリブレータ）をできる限り大きくする必要があり、８個の頂点座標の設定が大がかりとなってしまうのである。
頂点座標を物理的な構造体で設置するのは、立方体が大きくなるほど困難であり、その構造体の移動や保管も困難である。
【０００８】
更なる問題として、ステレオ撮影用の２台のカメラを設置する場所に関する制限が、現場には存在する。すなわち、撮影対象となる空間領域をステレオ撮影するためにカメラを設置する理想的な場所を選択し、且つ校正用の立方体を設置することは、多くの場合に困難である、ということである。
【０００９】
更に具体的に説明する。
適宜の距離を離して２台のカメラを設置する場所は、撮影対象となる空間領域を被写体としなければならないので、航空写真などを用いて事前に検討することも多い。しかし、現場にたどり着いてみると、被写体となる空間領域を遮る植物や建造物が存在したり、足場が悪くてカメラの固定が困難、といった場合が想定以上に多いということが判明した。
カメラの設置だけでも困難であるのに、校正用の立方体を現場にて設置するのは、これまた困難であることは述べるまでもない。
【００１０】
本発明は、上記課題に鑑み、広い撮影領域におけるステレオ撮影に必要な校正用データを簡易に取得可能な技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
（第一の発明）
本願における第一の発明は、現場の空間領域(50)をステレオ撮影して撮影画像データを得た際の撮影条件データを用いて、前記撮影画像データに必要な校正用データを取得するための装置(10)に係る。
すなわち、前記現場の空間領域(50)に対して異なる方向から撮影する２台のカメラに関する撮影条件データを入力する現場撮影条件データ入力手段と、  その撮影条件データを用いて縮尺したステレオ撮影を実行するための縮尺モデル用データを演算する縮尺演算手段と、  その縮尺モデル用データを用いて離間させて設置した２台のカメラによって校正用サンプルをステレオ撮影する縮尺モデル撮影手段と、  その縮尺モデル撮影手段によって撮影した校正用サンプルを用いて校正用データを演算する校正用データ演算手段と、を備えた校正用データ取得装置である。
前記現場の空間領域(50)は、前記２台のカメラの離間距離が６００メートルとなる空間とし、  前記２台のカメラは、Ｃ−ＭＯＳセンサを用いたカメラであって、撮影制御装置を用いて前記現場の空間領域(50)を同時に撮影し、  前記撮影条件データにおけるカメラの位置データおよび撮影方向の方位データは、それぞれのカメラに備えられたＧＰＳ装置が取得し、  前記縮尺モデル撮影手段は、１０〜４０メートルを離間させた２台のカメラによるステレオ撮影とする。
【００１２】
「撮影条件データ」とは、カメラの位置データ、カメラの高度データ、カメラの仰角、カメラレンズの光学データ、撮影方向の方位データを含む。  「カメラの位置データ」は、たとえば、カメラに搭載されたＧＰＳ装置（「ＧＰＳ」とは、全地球測位システム＝グローバル・ポジショニング・システム (Global Positioning System)）によって取得する。  「カメラの高度データ」は、たとえば、カメラに搭載された高度計によって取得する。  「カメラレンズの光学データ」には、少なくとも画角を含む。  「撮影方向の方位データ」は、たとえば、カメラに搭載された方位磁針（コンパス）によって計測した、撮影時にカメラレンズの中心線が向いている方位（たとえば真北を０度として時計回りに３６０度のいずれか）である。  「撮影方向の方位データ」は、ＧＰＳによって計測しても良い。
【００１３】
「縮尺モデル用データ」とは、現場のステレオ撮影を行った２台のカメラの離間させた距離を、縮尺モデルとするのに適した値である。たとえば、現場のステレオ撮影を行った２台のカメラの離間させた距離が６００メートルである場合に、校正用サンプルをステレオ撮影するための２台のカメラを離間させる距離を２０メートルとする場合には、「１／３０」となる。
【００１４】
（作用）
まず、２台のカメラを離間させ、その２台のカメラによって現場の空間領域(50)を異なる方向から撮影することにより、ステレオ撮影して撮影画像データを得る。この際に、当該カメラにおける撮影条件データを取得しておく。
その撮影条件は、校正用データ取得装置における現場撮影条件データ入力手段に入力される。  その撮影条件データを用いて、縮尺したステレオ撮影を実行するための縮尺モデル用データを縮尺演算手段が演算する。
その縮尺モデル用データを用いて、縮尺モデル撮影手段における離間させて設置した２台のカメラによって、校正用サンプルをステレオ撮影する。
その縮尺モデル撮影手段によって撮影した校正用サンプルを用いて、校正用データ演算手段が校正用データを演算する。その演算された校正用データと前述の縮尺モデル用データとを用いれば、現場の空間領域(50)を撮影した撮影画像データを校正することができる。
【００１５】
（第一の発明のバリエーション１）
第一の発明は、以下のように形成することができる。
すなわち、  前記校正用データおよび前記縮尺モデル用データを用いて、前記撮影画像データを三次元解析する三次元解析手段を備え、
その三次元解析手段には、ＰＴＶ解析アルゴリズムを含むこととしてもよい。
【００１６】
（作用）
三次元解析手段までを備えているので、現場の空間領域(50)を撮影した撮影画像データを校正し、更に三次元解析までを実行できる。
【００１７】
（第一の発明のバリエーション２）
第一の発明は、更に以下のように形成することもできる。
すなわち、  前記縮尺モデル撮影手段が撮影する校正用サンプルは、サンプル点ごとに識別色を変えて発光させることとしてもよい。
【００１８】
（第二の発明）
本願の第二の発明は、現場の空間領域をステレオ撮影して撮影画像データを得た際の撮影条件データを用いて、前記撮影画像データに必要な校正用データを取得するためのコンピュータプログラムに係る。
そのプログラムは、前記現場の空間領域に対して異なる方向から６００メートルを離間させて撮影する２台のＣ−ＭＯＳセンサを用いたカメラに関する撮影条件データを入力する現場撮影条件データ入力手順と、  その撮影条件データを用いて縮尺したステレオ撮影を実行するための縮尺モデル用データを演算する縮尺演算手順と、  その縮尺モデル用データを用いて１０〜４０メートルを離間させて設置した２台のカメラによって校正用サンプルをステレオ撮影する縮尺モデル撮影手順と、  その縮尺モデル撮影手順によって撮影した校正用サンプルを用いて校正用データを演算する校正用データ演算手順と、をコンピュータに実行させることとし、
前記撮影条件データにおけるカメラの位置データおよび撮影方向の方位データは、それぞれのカメラに備えられたＧＰＳ装置が取得することとしたコンピュータプログラムである。
【００１９】
（第二の発明のバリエーション）
第二の発明は、前記校正用データおよび前記縮尺モデル用データを用いて、前記撮影画像データを三次元解析する三次元解析手順を備えたコンピュータプログラムとすることもできる。
【００２０】
第二の発明は、記録媒体（たとえば、ハードディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒなど）に格納して提供することもできる。また、通信回線を介して送信することもできる。
【発明の効果】
【００２１】
請求項１から請求項３に記載の発明によれば、広い撮影領域におけるステレオ撮影に必要な校正用データを簡易に取得可能な校正用データ取得装置を提供することができた。
また、請求項４および請求項５に記載の発明によれば、広い撮影領域におけるステレオ撮影に必要な校正用データを簡易に取得可能なコンピュータプログラムを提供することができた。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態に係るハードウェア構成図である。
【図２】本発明の実施形態の校正用データ取得装置を示す概念図である。
【図３】キャリブレーションを実行するための基準モデルのバリエーションを示す概略説明図である。
【発明を実施するための形態】
【００２３】
以下、本願発明を実施形態に基づいて更に詳しく説明する。
図２に示すように、２台のカメラ１１を用いて、所定の空間領域５０をステレオ撮影する。図２中のカメラ１１のうち、左側に位置するものを左カメラ１１Ｌ、右側に位置するものを右カメラ１１Ｒとする。カメラ１１Ｌ，１１Ｒは、Ｃ−ＭＯＳセンサを用いたカメラである。  Ｃ−ＭＯＳセンサを備えた左側、右側のカメラ１１Ｌ，１１Ｒを用いているのは、ＣＣＤ素子よりも露光時間の制御が容易であり、飛行速度の速い鳥類の画像を捉えるのに適しており、また曇天などにおいても撮影が容易でレーザ光の照射などの設備が不要となるからである。
【００２４】
所定の空間領域５０は、たとえば、構造体の建設予定地における環境アセスメントの一環として、当該建設予定地に保護すべき野鳥が生活していないか、といった調査が必要な領域である。
図２（Ａ）において、２台のカメラ１１Ｌ，１１Ｒが図１の一点鎖線で示されているように、平面で三角形状になるように配置される。しかも、２台のカメラ１１Ｌ，１１Ｒのレンズの向き１２Ｌ，１２Ｒ（撮影方向）は上記の三角形の線上にほぼ位置している。
【００２５】
前記のそれぞれのカメラ１１Ｌ，１１Ｒには、ＧＰＳ装置、高度計、および方位磁針が備えられており、撮影データを取得した際にはその撮影データに付随して記録されるようになっている。
また、それぞれのカメラ１１Ｌ，１１Ｒは、同時に撮影する必要があるため、撮影制御装置１５を介して撮影する。  その撮影制御装置１５においては、それぞれのカメラ１１Ｌ，１１ＲにおけるＧＰＳ装置による位置データによって、両カメラの距離を算出する。この距離を「ＬＡ」とする。具体的には６００メートルとして、後に用いる。
【００２６】
図２（Ａ）に示す左側のカメラ１１Ｌの撮影方向１２Ｌ（レンズの向き）は、２台のカメラ１１Ｌ，１１Ｒを結ぶライン１３に水平な方向に直交する左側方位基準線１４Ｌに対して右側に撮影角度θＬをなしている。また、図１の右側のカメラ１１Ｒの撮影方向１２Ｒ（レンズの向き）は、前記ライン１３に水平な方向に直交する右側方位基準線１４Ｒに対して左側に撮影角度θＲをなしている。左側方位基準線１４Ｌと右側方位基準線１４Ｒは互いに平行である。
カメラの位置データ、カメラの高度データ、カメラの仰角、カメラレンズの光学データ、撮影方向の方位データを含む撮影条件データについては、撮影画像データとともに画像記録装置１６に記録される。
【００２７】
前述したように、図２（Ａ）にて説明した現場での撮影手段によって、撮影条件データと現場での撮影画像データとを得る。続いて、図１に基づいて説明する。
撮影条件データは、現場撮影条件データ入力手段に入力され、縮尺演算手段によって縮尺モデル用データを演算する。具体的には、縮尺モデルによる撮影が可能な実験設備に関するデータ、特に縮尺モデル撮影手段によるステレオ撮影に用いる２台のカメラの離間距離データとの関係で、縮尺を演算する。この実施形態における縮尺モデル撮影手段では、１０〜４０メートルを離間させた２台のカメラによるステレオ撮影が可能であるので、縮尺モデル用データを「１／３０」とした。すなわち、本実施形態における縮尺モデル撮影手段においては、２台のカメラを２０メートル離間させてステレオ撮影をすることした。
【００２８】
図１における縮尺モデル撮影手段とは、図２（Ｂ）に示される校正用データを取得するための手段である。
前述した縮尺モデル用データによれば、図２（Ｂ）におけるＬＢ＝２０メートルとなる。また、そのほかの条件は、撮影条件データを用いてセッティングする。  この離間距離にて設定された２台のカメラ１１Ｌ，１１Ｒによって、撮影空間上に正確に設定した基準モデル２０となる例えば直方体(立方体)の８個の頂点のサンプル点２１Ａ，２１Ｂ，・・・２１Ｈを撮影し、校正用の撮影データを取得するのである。
換言すれば、２０メートルを離間させた２台のカメラによるステレオ撮影が可能な撮影場所を確保できれば、キャリブレーションを実行して校正用データを得ることができることとなる。
【００２９】
なお、縮尺モデル撮影手段に用いる２台のカメラは、現場での撮影手段に用いたものと同一であることが望ましい。しかし、同一のものを用いることができない場合には、撮影条件データを用いて、補正値を算出し、同一条件を擬似的に設定する。
【００３０】
前記立方体における８個の頂点であるサンプル点２１Ａ〜２１Ｈの空間座標(Ｘ軸、Ｙ軸、Ｚ軸)をコンピュータに入力する。あるいは、２台のカメラ１１Ｌ，１１Ｒで前記立方体における８個の頂点のサンプル点２１Ａ〜２１Ｈを撮影して２台のカメラ画像を取得した後に、立方体の各頂点であるサンプル点２１Ａ〜２１Ｈの空間座標と２台のカメラ画像の座標を対応させることになる。
２台のカメラ１１Ｌ，１１Ｒは撮影制御装置１５にて撮影のタイミングを制御され、２台のカメラ１１Ｌ，１１Ｒで撮影した画像は、画像記録装置１６に記録される。その画像記録装置１６には上記の校正を実行するための演算装置（校正用データ演算手段）１７が備えられている。
【００３１】
基準モデル２０となる直方体(立方体)の８個の頂点のサンプル点２１Ａ〜２１Ｈを設置する必要がある。
なお、図２において、サンプル点２１Ａと２１Ｅは地上のポイント２２Ａから上空に向けた垂直線上に位置し、サンプル点２１Ｂと２１Ｆは地上のポイント２２Ｂから上空に向けた垂直線上に位置し、サンプル点２１Ｃと２１Ｇは地上のポイント２２Ｃから上空に向けた垂直線上に位置し、サンプル点２１Ｄと２１Ｈは地上のポイント２２Ｄから上空に向けた垂直線上に位置する。
【００３２】
サンプル２０における各寸法は予め把握できており、立方体における各頂点８個のサンプル点２１Ａ〜２１Ｈによる空間座標のカメラ画像を取得し、画像記録装置１６に記録する。その後、演算装置１７が立方体における各頂点のサンプル点２１Ａ〜２１Ｈの空間座標と２台のカメラ画像の座標を対応させ、校正用データを得ることができる。
ここで得た校正データを用いて、図１に示すように、現場の撮影画像データを撮影データ解析手段によって解析し、解析画像出力手段によって解析した画像データを出力する。
【００３３】
上記の実施形態では、縮尺モデル用データを「１／３０」としているので、現場の撮影画像データに対するキャリブレーションでは３０倍をして校正用データを用いる。
なお、縮尺モデル用データを「１／２０」、「１／１０」というようにしていけば、縮尺モデル撮影手段に基づいて取得する校正用データの誤差は小さくなるが、縮尺モデル撮影手段を設置する領域が広くなってしまう。
【００３４】
図３は、基準モデル２０を地上に構造物として設置するのではなく、所望する空間座標を移動および停止可能な被写体３０を用いた場合を示す。その被写体３０は、たとえば、ＧＰＳ機能を備えたラジコンヘリコプタや気球３４Ａ，３４Ｂ，・・・３４Ｈを用い、基準モデル２０となる例えば直方体(立方体)の８個の頂点のサンプル点２１Ａ〜２１Ｈへ移動して配置し、各サンプル点２１Ａ〜２１Ｈに停止した被写体３０を二台のカメラ１１Ｌ，１１Ｒで撮影するのである。
【００３５】
なお、ここで用いるラジコンヘリコプタや気球には、例えば、赤、青、黄、緑のように識別色を変えて発光可能なＬＥＤを搭載する。そして、ラジコンヘリコプタが各サンプル点２１Ａ〜２１Ｈで停止する毎に異なる識別色を発光表示させる。そして、その表示された識別色とサンプル点２１Ａ〜２１Ｈの位置を確認しながら、ラジコンヘリコプタ３１を２台のカメラ１１Ｌ，１１Ｒで撮影することができる。これにより、人為的な間違いを少なくすることができる。
【００３６】
また、例えば、前記のＬＥＤとしては、いくつかの異なるトリガ信号を発生できるようにすると良い。ラジコンヘリコプタが各サンプル点２１Ａ〜２１Ｈで停止する毎に異なるトリガ信号を発生することで、そのトリガ信号によりラジコンヘリコプタを２台のカメラ１１Ｌ，１１Ｒで撮影するタイミングが整った旨の指令を出すことができる。この時の空間座標はリモコン装置の中に機能されていることによって把握確認できる。
各サンプル点２１Ａ〜２１Ｈでの停止と、次のサンプル点への移動動作を一筆書きのように行えば、校正点での撮影を効率よく実行できる。
【００３７】
前述のＬＥＤは、異なる３種類の発光色を用意しておき、ひとつを点灯させるパターンにて３種類、３つのうちの２つを組み合わせて点灯させるパターンで３種類、３つ全部を点灯させるパターンで１種類を確保することができる。たとえば、最も遠い２点で３つ全部を点灯させるパターンを採用すれば、８つのサンプル点にて撮影データを取得できる。
【産業上の利用可能性】
【００３８】
本願発明は、広域をステレオ撮影する必要がある環境アセスメント調査業、風力発電装置の製造業、航空関係の整備事業、環境影響評価における鳥類調査事業などにおいて、利用可能性を有する。
【符号の説明】
【００３９】
１０    校正用データ取得装置
１１    カメラ（撮影手段）
１１Ｌ  左カメラ              １１Ｒ  右カメラ
１２Ｌ  カメラ１１Ｌのレンズの向き（撮影方向）
１２Ｒ  カメラ１１Ｒのレンズの向き（撮影方向）
１３  カメラ１１Ｌ，１１Ｒを結ぶライン
１４Ｌ  左側方位基準線        １４Ｒ  右側方位基準線
１５  撮影制御装置            １６  画像記録装置
１７  演算装置（校正用データ演算手段）
２０  基準モデル              ２１Ａ〜２１Ｈ  サンプル点
２２Ａ〜２２Ｄ  ポイント
３０  被写体
３４Ａ〜３４Ｈ  気球          ３６Ａ〜３６Ｈ  識別色（気球の）
５０  空間領域
Ｌ  実際の現場の距離
θＬ  左側のカメラ１１Ｌの撮影方向の撮影角度
θＲ  右側のカメラ１１Ｒの撮影方向の撮影角度
【図１】
0005527710.tif 000002
【図２】
0005527710.tif 000003
【図３】
0005527710.tif 000004