(57)【要約】【課題】ステレオ撮影を行うための複数の撮像手段に纏わるカメラパラメータ（特に、外部パラメータ）を簡易に較正することができるようにする。【解決手段】撮像対象の実空間領域内に被写飛行体を航行させ、ステレオカメラを構成する複数の撮像手段それぞれによって被写飛行体を撮影し（Ｓ１）、複数の撮像手段のうちの一の撮像手段によって撮影された画像から被写飛行体に係る特徴点を抽出すると共に、複数の撮像手段のうちの他の撮像手段によって撮影された画像から前記特徴点に対応する特徴点を抽出し（Ｓ２，Ｓ３）、これら特徴点の画像上の位置に基づいてカメラパラメータを較正する（Ｓ４）ようにした。【選択図】図１
2020139927.tif 000002
【特許請求の範囲】
【請求項１】
撮像対象の実空間領域内に被写飛行体を航行させ、ステレオカメラを構成する複数の撮像手段それぞれによって前記被写飛行体を撮影し、前記複数の撮像手段のうちの一の撮像手段によって撮影された画像から前記被写飛行体に係る特徴点を抽出すると共に、前記複数の撮像手段のうちの他の撮像手段によって撮影された画像から前記特徴点に対応する特徴点を抽出し、これら特徴点の画像上の位置に基づいてカメラパラメータを較正することを特徴とするカメラパラメータの較正方法。
【請求項２】
前記被写飛行体が小型無人航空機であることを特徴とする請求項１記載のカメラパラメータの較正方法。
【請求項３】
撮像対象の実空間領域内を飛行する飛来物を、ステレオカメラを構成する複数の撮像手段それぞれによって撮影し、前記複数の撮像手段のうちの一の撮像手段によって撮影された画像から前記飛来物に係る特徴点を抽出すると共に、前記複数の撮像手段のうちの他の撮像手段によって撮影された画像から前記特徴点に対応する特徴点を抽出し、これら特徴点の画像上の位置に基づいてカメラパラメータを較正することを特徴とするカメラパラメータの較正方法。
【請求項４】
前記飛来物が鳥類であることを特徴とする請求項３記載のカメラパラメータの較正方法。
【請求項５】
ステレオカメラを構成する複数の撮像手段それぞれによって撮像対象の実空間領域内を航行する被写飛行体を撮影して前記複数の撮像手段のうちの一の撮像手段によって撮影された画像から前記被写飛行体に係る特徴点を抽出すると共に、前記複数の撮像手段のうちの他の撮像手段によって撮影された画像から前記特徴点に対応する特徴点を抽出する手段と、前記特徴点の画像上の位置に基づいてカメラパラメータを較正する手段とを有することを特徴とするカメラパラメータの較正装置。
【請求項６】
前記被写飛行体が小型無人航空機であることを特徴とする請求項５記載のカメラパラメータの較正装置。
【請求項７】
ステレオカメラを構成する複数の撮像手段それぞれによって撮像対象の実空間領域内を飛行する飛来物を撮影して前記複数の撮像手段のうちの一の撮像手段によって撮影された画像から前記飛来物に係る特徴点を抽出すると共に、前記複数の撮像手段のうちの他の撮像手段によって撮影された画像から前記特徴点に対応する特徴点を抽出する手段と、前記特徴点の画像上の位置に基づいてカメラパラメータを較正する手段とを有することを特徴とするカメラパラメータの較正装置。
【請求項８】
前記飛来物が鳥類であることを特徴とする請求項７記載のカメラパラメータの較正装置。
【請求項９】
ステレオカメラを構成する複数の撮像手段それぞれによって撮像対象の実空間領域内を航行する被写飛行体を撮影して前記複数の撮像手段のうちの一の撮像手段によって撮影された画像から前記被写飛行体に係る特徴点を抽出する処理と、前記複数の撮像手段のうちの他の撮像手段によって撮影された画像から前記特徴点に対応する特徴点を抽出する処理と、前記特徴点の画像上の位置に基づいてカメラパラメータを較正する処理とをコンピュータに行わせることを特徴とするカメラパラメータの較正プログラム。
【請求項１０】
前記被写飛行体が小型無人航空機であることを特徴とする請求項９記載のカメラパラメータの較正プログラム。
【請求項１１】
ステレオカメラを構成する複数の撮像手段それぞれによって撮像対象の実空間領域内を飛行する飛来物を撮影して前記複数の撮像手段のうちの一の撮像手段によって撮影された画像から前記飛来物に係る特徴点を抽出する処理と、前記複数の撮像手段のうちの他の撮像手段によって撮影された画像から前記特徴点に対応する特徴点を抽出する処理と、前記特徴点の画像上の位置に基づいてカメラパラメータを較正する処理とをコンピュータに行わせることを特徴とするカメラパラメータの較正プログラム。
【請求項１２】
前記飛来物が鳥類であることを特徴とする請求項１１記載のカメラパラメータの較正プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラパラメータの較正方法、較正装置、及び較正プログラムに関する。さらに詳述すると、本発明は、ステレオ撮影に用いられる複数の撮像手段の設置に纏わるパラメータを較正するための技術に関する。
【背景技術】
【０００２】
相互に離間して設置される複数のカメラで同一の被写体を撮影することによって前記被写体の三次元実空間における位置を計算する仕組みはステレオカメラとして知られている。
【０００３】
相互に離間して設置される複数のカメラを用いて撮影した映像から移動する物体の運動軌跡を三次元で取得する従来の移動物体計測装置として、空間上の異なる位置に設置され、空間上を移動する物体である移動物体を撮影し、前記移動物体を捉えている時間が重なる２以上のカメラが撮影した２以上の映像情報であり、前記移動物体の移動軌跡が残された画像を複数有する２以上の映像画像を格納している映像情報格納部と、前記２以上のカメラに関する情報である２以上のカメラパラメータを格納しているカメラパラメータ格納部と、前記映像情報格納部が格納している２以上の映像画像が有する各画像から、移動物体の移動軌跡を示す移動軌跡情報を、前記２以上の映像画像ごとに取得する移動軌跡情報取得部と、前記移動軌跡情報取得部が取得した前記２以上の映像画像ごとの移動軌跡情報と、前記カメラパラメータ格納部に格納されている２以上のカメラパラメータに基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する三次元軌跡情報取得部と、前記三次元軌跡情報を出力する三次元軌跡情報出力部を具備するものがある（特許文献１）。
【０００４】
特許文献１の移動物体計測装置では、実空間における移動物体の三次元軌跡を正確に計算するために、ステレオカメラとしてのカメラパラメータが精確に特定されている必要がある。カメラパラメータを特定することはカメラパラメータの「較正」や「キャリブレーション」と呼ばれる。
【０００５】
ステレオカメラに関するカメラパラメータは内部パラメータと外部パラメータとに分けられる。内部パラメータは各カメラの焦点距離，画像中心位置，及びレンズ歪みである。外部パラメータは各カメラ間の相対的な位置及び姿勢である。
【０００６】
外部パラメータを較正／キャリブレーションする従来の方法として、複数のカメラのそれぞれによって同時に撮影された画像それぞれから相互に対応する特徴点を抽出し、これら特徴点の画像上における位置を用いて外部パラメータを計算する方法が知られている（例えば、非特許文献１乃至３）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−１１５２３６号公報
【非特許文献】
【０００８】
【非特許文献１】Ｒｉｃｈａｒｄ  Ｈａｒｔｌｅｙ・Ａｎｄｒｅｗ  Ｚｉｓｓｅｒｍａｎ「Ｍｕｌｔｉｐｌｅ  Ｖｉｅｗ  Ｇｅｏｍｅｔｒｙ  ｉｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ」，Ｃａｍｂｒｉｄｇｅ  ｕｎｉｖｅｒｓｉｔｙ  ｐｒｅｓｓ，２００３年
【非特許文献２】Ｒｉｃｈａｒｄ  Ｈａｒｔｌｅｙ・Ａｎｄｒｅｗ  Ｚｉｓｓｅｒｍａｎ「Ｍｕｌｔｉｐｌｅ  Ｖｉｅｗ  Ｇｅｏｍｅｔｒｙ  ｉｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ／  Ｓｅｃｏｎｄ  Ｅｄｉｔｉｏｎ」，Ｃａｍｂｒｉｄｇｅ  ｕｎｉｖｅｒｓｉｔｙ  ｐｒｅｓｓ，２００３年
【非特許文献３】井口征士・佐藤宏介「三次元画像計測」，株式会社昭晃堂，１９９０年
【発明の概要】
【発明が解決しようとする課題】
【０００９】
例えば環境アセスメントの一環として行われる、種々の構造物を建造する予定の実空間領域に対する鳥などの飛来物を検知して分析する際に、相互に離間して設置される複数の撮像手段で飛来物を含む画像データを取得して複数の画像データ中において一致する特徴点を抽出してマッチングさせることによって三次元実空間における情報を取得し、飛来物の飛行軌跡を三次元データとして求める場合がある。しかしながら、構造物を建造する予定の実空間を撮影する場合には撮像対象となる実空間領域は構造物が未だ無い状態の空(そら)であり、画像の多くの部分を単調な背景（具体的には、空）が占める場合には特徴点を抽出することができないという問題がある。
【００１０】
そこで、本発明は、ステレオ撮影を行うための複数の撮像手段に纏わるカメラパラメータ（特に、外部パラメータ）を簡易に較正することができるカメラパラメータの較正方法、較正装置、及び較正プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
かかる目的を達成するため、本発明のカメラパラメータの較正方法は、撮像対象の実空間領域内に被写飛行体を航行させ、ステレオカメラを構成する複数の撮像手段それぞれによって被写飛行体を撮影し、前記複数の撮像手段のうちの一の撮像手段によって撮影された画像から被写飛行体に係る特徴点を抽出すると共に、前記複数の撮像手段のうちの他の撮像手段によって撮影された画像から前記特徴点に対応する特徴点を抽出し、これら特徴点の画像上の位置に基づいてカメラパラメータを較正するようにしている。
【００１２】
本発明のカメラパラメータの較正方法は、或いは、撮像対象の実空間領域内を飛行する飛来物を、ステレオカメラを構成する複数の撮像手段それぞれによって撮影し、前記複数の撮像手段のうちの一の撮像手段によって撮影された画像から飛来物に係る特徴点を抽出すると共に、前記複数の撮像手段のうちの他の撮像手段によって撮影された画像から前記特徴点に対応する特徴点を抽出し、これら特徴点の画像上の位置に基づいてカメラパラメータを較正するようにしても良い。
【００１３】
また、本発明のカメラパラメータの較正装置は、ステレオカメラを構成する複数の撮像手段それぞれによって撮像対象の実空間領域内を航行する被写飛行体を撮影して前記複数の撮像手段のうちの一の撮像手段によって撮影された画像から被写飛行体に係る特徴点を抽出すると共に、前記複数の撮像手段のうちの他の撮像手段によって撮影された画像から前記特徴点に対応する特徴点を抽出する手段と、特徴点の画像上の位置に基づいてカメラパラメータを較正する手段とを有するようにしている。
【００１４】
本発明のカメラパラメータの較正装置は、或いは、ステレオカメラを構成する複数の撮像手段それぞれによって撮像対象の実空間領域内を飛行する飛来物を撮影して前記複数の撮像手段のうちの一の撮像手段によって撮影された画像から飛来物に係る特徴点を抽出すると共に、前記複数の撮像手段のうちの他の撮像手段によって撮影された画像から前記特徴点に対応する特徴点を抽出する手段と、特徴点の画像上の位置に基づいてカメラパラメータを較正する手段とを有するようにしても良い。
【００１５】
また、本発明のカメラパラメータの較正プログラムは、ステレオカメラを構成する複数の撮像手段それぞれによって撮像対象の実空間領域内を航行する被写飛行体を撮影して前記複数の撮像手段のうちの一の撮像手段によって撮影された画像から被写飛行体に係る特徴点を抽出する処理と、前記複数の撮像手段のうちの他の撮像手段によって撮影された画像から前記特徴点に対応する特徴点を抽出する処理と、特徴点の画像上の位置に基づいてカメラパラメータを較正する処理とをコンピュータに行わせるようにしている。
【００１６】
本発明のカメラパラメータの較正プログラムは、或いは、ステレオカメラを構成する複数の撮像手段それぞれによって撮像対象の実空間領域内を飛行する飛来物を撮影して前記複数の撮像手段のうちの一の撮像手段によって撮影された画像から飛来物に係る特徴点を抽出する処理と、前記複数の撮像手段のうちの他の撮像手段によって撮影された画像から前記特徴点に対応する特徴点を抽出する処理と、特徴点の画像上の位置に基づいてカメラパラメータを較正する処理とをコンピュータに行わせるようにしている。
【００１７】
したがって、これらのカメラパラメータの較正方法，カメラパラメータの較正装置，カメラパラメータの較正プログラムによると、撮像対象の実空間領域内を航行する被写飛行体や撮像対象の実空間領域内を飛行する飛来物に係る特徴点が用いられてカメラパラメータが較正されるようにしているので、ステレオ撮影を行うための複数の撮像手段に纏わるパラメータが簡易に較正され得る。
【００１８】
本発明のカメラパラメータの較正方法、較正装置、及び較正プログラムは、前記被写飛行体が小型無人航空機であるようにしても良い。この場合には、撮像手段によって撮影されて取得される画像内を隈無く航行させることにより、特徴点が画像内に偏り無く広く分布するように創出される。
【００１９】
本発明のカメラパラメータの較正方法、較正装置、及び較正プログラムは、前記飛来物が鳥類であるようにしても良い。この場合には、画像の多くの部分を単調な背景（具体的には例えば、空）が占める場合であっても、手間を掛けることなく特徴点が創出される。
【発明の効果】
【００２０】
本発明のカメラパラメータの較正方法，カメラパラメータの較正装置，カメラパラメータの較正プログラムによれば、ステレオ撮影を行うための複数の撮像手段に纏わるパラメータを簡易に較正することができるので、カメラパラメータを較正する技術としての有用性や汎用性の向上を図ることが可能になる。
【００２１】
本発明のカメラパラメータの較正方法，カメラパラメータの較正装置，カメラパラメータの較正プログラムは、被写飛行体として小型無人航空機を利用するようにした場合には、画像内に偏り無く広く分布するように特徴点を創出することができるので、カメラパラメータの較正精度を向上させることが可能になる。
【００２２】
本発明のカメラパラメータの較正方法，カメラパラメータの較正装置，カメラパラメータの較正プログラムは、飛来物として鳥類を利用するようにした場合には、手間を掛けることなく特徴点を創出することができるので、カメラパラメータを較正する技術としての有用性や汎用性の向上を図ることが可能になる。
【図面の簡単な説明】
【００２３】
【図１】本発明に係るカメラパラメータの較正方法の実施形態の一例を説明するフローチャートである。
【図２】実施形態のカメラパラメータの較正方法をカメラパラメータの較正プログラムを用いて実施する場合の当該プログラムによって実現されるカメラパラメータの較正装置の機能ブロック図である。
【発明を実施するための形態】
【００２４】
以下、本発明の構成を図面に示す実施の形態の一例に基づいて詳細に説明する。
【００２５】
図１及び図２に、本発明に係るカメラパラメータの較正方法，カメラパラメータの較正装置，及びカメラパラメータの較正プログラムの実施形態の一例を示す。
【００２６】
下記に挙げる実施形態では、鳥類などの飛来物の飛行軌跡を三次元化して捉える際に主に空を撮像対象の実空間領域としてステレオ撮影を行うために用いられるステレオカメラを構成する複数台の撮像手段（具体的には例えば、二台のカメラ）のカメラパラメータの外部パラメータを較正／キャリブレーションする場合を例に挙げて説明する。
【００２７】
ステレオカメラに関するカメラパラメータの外部パラメータは各撮像手段間の相対的な位置及び姿勢である。なお、各撮像手段間の相対的な位置に関するパラメータは、カメラ行列における、カメラ位置を記述する三次元の平行移動ベクトルであり、「変換ｔ」や「並進ｔ」とも呼ばれる。また、各撮像手段間の相対的な姿勢に関するパラメータは、カメラ行列における、カメラの向きを表す回転変換行列であり、「回転Ｒ」とも呼ばれる。
【００２８】
撮像手段の位置は、通常、撮像手段のレンズの中心位置であり、例えば、緯度，経度，及び高度の隔たりによって表されたり、相互に直交する三軸から成る三軸直交座標系（尚、任意の点が原点に設定されるようにして良い）における三次元空間座標（ｘ，ｙ，ｚ）の隔たりによって表されたりする。
【００２９】
撮像手段の姿勢は、例えば、相互に直交する、撮像平面の水平方向に沿うＸc軸，撮像平面の垂直方向に沿うＹc軸，及び光軸方向に沿うＺc軸の三軸から成る三軸直交座標系（尚、任意の点が原点に設定されるようにして良い）が定義された上で、Ｘc軸を回転軸とするピッチ（ピッチ角），Ｙc軸を回転軸とするヨー（ヨー角），及びＺc軸を回転軸とするロール（ロール角）の三つの回転によって表される。
【００３０】
そして、カメラパラメータの外部パラメータの較正として、最大で、各撮像手段間の相対位置に関する三つのパラメータ及び相対姿勢に関する三つのパラメータの合計六つのパラメータが計算される。ただし、これら六つのパラメータのうち既知のものは較正の対象から除外されるようにしても良い。
【００３１】
複数台の撮像手段は、各々の光軸が互いに重なることがなく、それぞれが撮影した複数の画像において視差が生じ得るように相互に離間して設置される。
【００３２】
複数台の撮像手段相互の離間距離は、特定の値に限定されるものではなく、例えば撮像対象の実空間領域の大きさや現地における撮像手段の設置可能な場所が考慮されるなどした上で適当な値に適宜設定される。
【００３３】
複数台の撮像手段は、同一の実空間を異なる方向から撮影してステレオ撮影を行うように、各々の撮像空間（別言すると、視野）の少なくとも一部が重複するように（言い換えると、同一の被写体を撮影し得るように）相対的な位置関係や姿勢関係が調整されて配置され設置される。撮像手段のそれぞれは、各々の撮像空間の少なくとも一部が重複する状態で設置されれば、設置位置や姿勢は任意であって良い。
【００３４】
撮像手段として、モノクロームカメラやカラーカメラが用いられるようにしても良く、或いは、赤外線カメラが用いられるようにしても良く、種々のカメラが用いられ得る。撮像手段の撮像素子やレンズなどは、特定の種類や特性に限定されるものではなく、例えば撮像対象の実空間や物体の特質が考慮されるなどした上で、適当な仕様のものが適宜選択される。
【００３５】
撮像手段は、例えば、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ の略）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ の略）イメージセンサなどの撮像素子を備え、撮影を行って撮像信号を出力する機能を備えるものとして構成される。撮像手段としては、具体的にはデジタルビデオカメラが用いられ得る。
【００３６】
各撮像手段については、必要に応じ、内部パラメータ（具体的には、各撮像手段の焦点距離，画像中心位置，及びレンズ歪み）が予め較正されるようにしても良い。
【００３７】
そして、本実施形態のカメラパラメータの較正方法は、撮像対象の実空間領域内に被写飛行体を航行させ、ステレオカメラを構成する複数の撮像手段（１９Ａ，１９Ｂ）それぞれによって被写飛行体を撮影し（Ｓ１）、複数の撮像手段（１９Ａ，１９Ｂ）のうちの一の撮像手段（１９Ａ）によって撮影された画像から被写飛行体に係る特徴点を抽出すると共に、複数の撮像手段（１９Ａ，１９Ｂ）のうちの他の撮像手段（１９Ｂ）によって撮影された画像から前記特徴点に対応する特徴点を抽出し（Ｓ２，Ｓ３）、これら特徴点の画像上の位置に基づいてカメラパラメータを較正する（Ｓ４）ようにしている（図１参照）。
【００３８】
また、本実施形態のカメラパラメータの較正装置１０は、ステレオカメラを構成する複数の撮像手段（１９Ａ，１９Ｂ）それぞれによって撮像対象の実空間領域内を航行する被写飛行体を撮影して複数の撮像手段（１９Ａ，１９Ｂ）のうちの一の撮像手段（１９Ａ）によって撮影された画像から被写飛行体に係る特徴点を抽出すると共に、複数の撮像手段（１９Ａ，１９Ｂ）のうちの他の撮像手段（１９Ｂ）によって撮影された画像から前記特徴点に対応する特徴点を抽出する手段としての特徴点抽出部１１ｂと、特徴点の画像上の位置に基づいてカメラパラメータを較正する手段としての較正部１１ｃとを有する。
【００３９】
本発明に係るカメラパラメータの較正方法は本発明に係るカメラパラメータの較正装置によっても実施され得ると共に、本発明に係るカメラパラメータの較正方法及びカメラパラメータの較正装置はカメラパラメータの較正プログラムがコンピュータ上で実行されることによっても実施・実現され得る。本明細書では、カメラパラメータの較正プログラムがコンピュータ上で実行されることによってカメラパラメータの較正方法が実施されると共にカメラパラメータの較正装置が実現される場合を説明する。
【００４０】
本実施形態のカメラパラメータの較正プログラム１７を実行するためのコンピュータ１０（本実施形態では、カメラパラメータの較正装置１０でもある）の全体構成を図２に示す。
【００４１】
このコンピュータ１０（カメラパラメータの較正装置１０）は制御部１１，記憶部１２，入力部１３，表示部１４，及びメモリ１５を備え、これらが相互にバス等の信号回線によって接続されている。
【００４２】
制御部１１は、記憶部１２に記憶されているカメラパラメータの較正プログラム１７に従ってコンピュータ１０全体の制御並びにカメラパラメータの較正に係る演算を行うものであり、例えばＣＰＵ（中央演算処理装置）である。
【００４３】
記憶部１２は、少なくともデータやプログラムを記憶可能な装置であり、例えばハードディスクである。
【００４４】
入力部１３は、少なくとも作業者の命令や種々の情報を制御部１１に与えるためのインターフェイス（即ち、情報入力の仕組み）であり、例えばキーボードやマウスである。なお、例えばキーボードとマウスとの両方のように複数種類のインターフェイスを入力部１３として有するようにしても良い。
【００４５】
表示部１４は、制御部１１の制御によって文字や図形或いは画像等の描画・表示を行うものであり、例えばディスプレイである。
【００４６】
メモリ１５は、制御部１１が種々の制御や演算を実行する際の作業領域であるメモリ空間となるものであり、例えばＲＡＭ（Ｒandom Ａccess Ｍemory の略）である。
【００４７】
また、コンピュータ１０に、必要に応じ、当該コンピュータ１０との間でデータや制御指令等の信号の送受信（即ち、出入力）が可能であるように、バスや広域ネットワーク回線等の信号回線により、データサーバ２０が接続されるようにしても良い。また、コンピュータ１０は、必要に応じ、インターネットなどのネットワークを介してクラウドサーバ（図示していない）にアクセス可能であるようにしても良い。
【００４８】
ステレオ撮影では、複数台の撮像手段それぞれが撮影を行うことによって取得される撮像手段毎の画像群について、同一の被写体が同時に撮影された画像が用いられる。
【００４９】
同一の被写体が同時に撮影された画像として対応づけるための撮影タイミングの同期は、具体的には例えば、複数台の撮像手段各々の撮像空間が重複している実空間領域（別言すると、共通視野）において例えば懐中電灯などの光を点灯させたり消灯させたりすることによって撮像手段それぞれの画像の撮影タイミングの同期が図られるようにしても良く、或いは、各撮像手段によって撮影が行われて取得される画像データがデータサーバ２０に記録される際の時刻に基づいて撮像手段それぞれの画像の取得タイミングとして撮影タイミングの同期が図られるようにしても良く、更に或いは、専用の機器や装置によって撮像手段それぞれの画像の撮影や取得のタイミングの同期が図られるようにしても良い。
【００５０】
そして、コンピュータ１０（以下、「カメラパラメータの較正装置１０」と表記する）の制御部１１には、カメラパラメータの較正プログラム１７が実行されることにより、ステレオカメラを構成する複数の撮像手段（１９Ａ，１９Ｂ）それぞれによって撮像対象の実空間領域内を航行する被写飛行体を撮影して複数の撮像手段（１９Ａ，１９Ｂ）のうちの一の撮像手段（１９Ａ）によって撮影された画像から被写飛行体に係る特徴点を抽出する処理と、複数の撮像手段（１９Ａ，１９Ｂ）のうちの他の撮像手段（１９Ｂ）によって撮影された画像から前記特徴点に対応する特徴点を抽出する処理とを行う特徴点抽出部１１ｂと、特徴点の画像上の位置に基づいてカメラパラメータを較正する処理を行う較正部１１ｃとが構成される。
【００５１】
カメラパラメータの較正方法が実施される際の手順として、まず、複数台の撮像手段によって同一の被写飛行体の同時撮影が行われる（Ｓ１）。
【００５２】
本実施形態では、複数台の撮像手段として、ステレオ撮影を行うためのステレオカメラを構成する第一の撮像手段１９Ａと第二の撮像手段１９Ｂとの二台の撮像手段が用いられる場合を例として説明する。
【００５３】
被写飛行体は、カメラパラメータを較正する際の、画像における特徴点として利用するために撮像対象の実空間領域内を航行／飛行する物体である。
【００５４】
本実施形態では、被写飛行体として、小型無人航空機（ＵＡＶ：Ｕnmanned Ａerial Ｖehicle の略；「ドローン」とも呼ばれる）が用いられる。
【００５５】
すなわち、本実施形態では、第一の撮像手段１９Ａと第二の撮像手段１９Ｂとの二台の撮像手段が設置された状態で、撮像対象の実空間領域内であって前記二台の撮像手段１９Ａ，１９Ｂ各々の撮像空間が重複している実空間領域内に小型無人航空機を航行させ、当該小型無人航空機の撮影が行われる。
【００５６】
被写飛行体は、画像における特徴点を創出するために航行させられるものであり、被写飛行体を撮影した場合の主要な背景として想定される空(そら)と区別され易い色彩であるようにされたり、被写飛行体を撮影した場合の主要な背景として想定される空に対する特徴点として抽出され易い構造が追加的に取り付けられたりするようにしても良い。具体的には例えば、被写飛行体のうちの当該被写飛行体が撮影された際に外観上認識され易い箇所にＬＥＤライトが取り付けられるようにしても良い。
【００５７】
そして、第一の撮像手段１９Ａによる撮影によって取得されて出力される撮像信号がデータファイルに蓄積され記録されて撮像データベース２１Ａとしてデータサーバ２０に格納（別言すると、保存）されると共に、第二の撮像手段１９Ｂによる撮影によって取得されて出力される撮像信号がデータファイルに蓄積され記録されて撮像データベース２１Ｂとしてデータサーバ２０に格納／保存される。なお、撮像データベース２１Ａ，２１Ｂは、記憶部１２に格納／保存されるようにしても良い。また、撮像データベース２１Ａに記録される撮像信号と撮像データベース２１Ｂに記録される撮像信号とに対し、同一の被写体が同時に撮影されて得られた撮像信号同士として対応づけられ得る工夫／措置が施されている。
【００５８】
第一の撮像手段１９Ａ及び第二の撮像手段１９Ｂとデータサーバ２０若しくはカメラパラメータの較正装置１０とは、有線回線，無線回線，または有線と無線との混在回線により、信号の送受信（即ち、出入力）が可能であるように接続される。
【００５９】
次に、Ｓ１の処理によって撮影されて取得される撮像データが用いられて画像の生成が行われる（Ｓ２）。
【００６０】
具体的には、制御部１１の画像生成部１１ａにより、Ｓ１の処理においてデータサーバ２０に格納／保存される撮像データベース２１Ａ，２１Ｂに記録されている撮像信号のそれぞれが読み込まれ、映像信号のそれぞれに対応する画像（具体的には、デジタル画像）が生成される。
【００６１】
撮像データベース２１Ａに記録されている撮像信号が用いられて生成される画像のことを「第一の画像」と呼び、撮像データベース２１Ｂに記録されている撮像信号が用いられて生成される画像のことを「第二の画像」と呼ぶ。なお、第一の画像と第二の画像とのどちらも小型無人航空機の像が含まれている画像である。また、第一の画像としての画像群を構成する各画像と第二の画像としての画像群を構成する各画像とは、それぞれ、同一の被写体が同時に撮影された画像同士として対応づけられる。
【００６２】
第一の画像及び第二の画像は、撮像手段として例えばデジタルビデオカメラが用いられて動画として撮影されて得られる動画像に対してフレーム切り出しが行われて取得される個々のフレーム画像が用いられるようにしても良く、或いは、撮像手段として例えばデジタルスチルカメラが用いられて静止画として撮影されて取得される個々の静止画像が用いられるようにしても良い。
【００６３】
第一の画像や第二の画像を構成する各画素の位置は、例えば、撮像平面の水平方向（別言すると、行方向）に沿うＵ軸と撮像平面の垂直方向（別言すると、列方向）に沿うＶ軸とから成る二軸直交座標系における二次元平面の画像座標（ｕ，ｖ）によって表される。
【００６４】
必要に応じ、各画像に対する前処理として、歪み補正が行われるようにしたり、ノイズ除去などのフィルタ処理が行われるようにしたりしても良い。
【００６５】
そして、画像生成部１１ａにより、第一の画像のデータと当該の第一の画像と同時に撮影された第二の画像のデータとが組み合わせられてメモリ１５に記憶させられる。なお、画像のデータとしては、具体的には、画像を構成する画素毎の画像座標（ｕ，ｖ）と画素値との組み合わせを少なくとも含むデータが想定される。
【００６６】
次に、Ｓ２の処理によって生成される画像から被写飛行体に係る特徴点が前記画像の特徴点として抽出される（Ｓ３）。
【００６７】
具体的には、制御部１１の特徴点抽出部１１ｂにより、まず、Ｓ２の処理においてメモリ１５に記憶される第一の画像のデータが読み込まれ、第一の画像における特徴点として第一の特徴点が抽出される。第一の特徴点は少なくとも一つ抽出される。
【００６８】
画像における被写飛行体に係る特徴点を抽出する仕法は、特定の手法に限定されるものではなく、例えば画像の特質が考慮されるなどした上で従来若しくは新規の手法の中から適当な技法・アルゴリズムが適宜選択される。なお、特徴点は、当該の画像上の特徴となる点であって画素に関する特徴量が所定の要件を満たす点であり、あくまで一例として挙げると例えば輝度値の微分が所定値以上になるエッジの頂点である。
【００６９】
画像における特徴点を抽出する手法として、具体的には例えば、あくまで例として挙げると、Ｈａｒｒｉｓコーナー検出アルゴリズムやスケール不変特徴量変換（「ＳＩＦＴ」とも呼ばれる）を利用する方法（Ｊａｎ  Ｅｒｉｋ  Ｓｏｌｅｍ著・相川愛三訳「実践  コンピュータビジョン」，株式会社オライリー・ジャパン，株式会社オーム社，２０１３年）が用いられ得る。
【００７０】
被写飛行体に係る特徴点は、自動処理で抽出されるようにしても良く、或いは、マニュアル操作で抽出されるようにしても良く、更に或いは、自動処理とマニュアル操作とが組み合わせられて抽出されるようにしても良い。
【００７１】
被写飛行体に係る特徴点が自動処理で抽出される場合には、例えば、被写飛行体の飛行軌跡が画像処理によって自動認識されることによって第一の画像における被写飛行体が検出された上で、当該被写飛行体に係る特徴点が自動抽出されるようにしても良い。
【００７２】
一方、被写飛行体に係る特徴点がマニュアル操作で抽出される場合には、例えば、撮影によって取得された第一の画像が表示部１４に表示された上で当該表示部１４に表示されている第一の画像における被写飛行体が目視によって特定されると共に当該の第一の画像に対して入力部１３を介して被写飛行体に係る特徴点が直接指定される（具体的には例えば、ディスプレイに表示された第一の画像における被写飛行体の特定箇所がマウスでクリックされる）ようにしても良い。
【００７３】
また、被写飛行体に係る特徴点が自動処理とマニュアル操作とが組み合わせられて抽出される場合には、例えば、被写飛行体の飛行軌跡が画像処理によって自動認識されることによって第一の画像における被写飛行体が検出された上で当該被写飛行体が検出された第一の画像が表示部１４に表示されて当該の第一の画像に対して入力部１３を介して被写飛行体に係る特徴点が直接指定される（具体的には例えば、ディスプレイに表示された画像における被写飛行体の特定箇所がマウスでクリックされる）ようにしても良い。
【００７４】
特徴点抽出部１１ｂにより、続いて、Ｓ２の処理においてメモリ１５に記憶される、上記第一の画像と同時に撮影された画像同士として組み合わせられている第二の画像のデータが読み込まれ、第二の画像における特徴点として第二の特徴点が抽出される。第二の特徴点は、第一の特徴点に対応して少なくとも一つ抽出され、第一の特徴点が複数である場合には複数の第一の特徴点のそれぞれに対応して複数抽出される。
【００７５】
第二の特徴点は、第二の画像における、当該の第二の画像と同時に撮影された第一の画像における第一の特徴点に対応する点として抽出され、対応する第一の画像における第一の特徴点と組み合わせられて次のＳ４の処理において用いられる。
【００７６】
第二の特徴点は、第二の画像における特徴点として独立して抽出されるようにしても良く、或いは、第一の画像における第一の特徴点に対応することを前提として（即ち、もとより第一の特徴点の対応点として）抽出されるようにしても良い。
【００７７】
第二の特徴点が第二の画像における特徴点として独立して抽出される場合には、例えば、第一の画像における第一の特徴点の抽出と同様の仕法によって抽出される。
【００７８】
ここで、Ｓ１の処理では被写飛行体が撮影されているので、例えば画像処理によって被写飛行体の飛行軌跡が自動認識されることによって第二の画像における被写飛行体が検出された上で当該被写飛行体に係る特徴点が抽出されることにより、第二の画像における特徴点も被写飛行体に纏わる点であって第一の画像における特徴点に対応する点である（言い換えると、第一の画像における特徴点と対応可能がある）として抽出されるようにしても良い。
【００７９】
あるいは、表示部１４に表示されている第二の画像における被写飛行体が目視によって特定されることによって第二の画像における被写飛行体が検出された上で当該被写飛行体に係る特徴点が抽出されることにより、第二の画像における特徴点も被写飛行体に纏わる点であって第一の画像における特徴点に対応する点である（言い換えると、第一の画像における特徴点と対応可能がある）として抽出されるようにしても良い。
【００８０】
一方、第二の特徴点が第一の画像における第一の特徴点に対応することを前提として（即ち、もとより第一の特徴点の対応点として）抽出される場合には、例えば、第一の特徴点の特徴量から所定の範囲内にある特徴量を有する、第二の画像上の特徴となる点が探索されて抽出されるようにしても良い。
【００８１】
一方の画像における特徴点に対応する特徴点を他方の画像から探索して抽出する（ここでは具体的には、第一の画像における第一の特徴点に対応する第二の特徴点を第二の画像から探索して抽出する）仕法、言い換えると、画像間の対応点を探索して抽出する仕法は、特定の手法に限定されるものではなく、例えば画像の特質が考慮されるなどした上で従来若しくは新規の手法の中から適当な技法・アルゴリズムが適宜選択される。
【００８２】
画像間の対応点を探索して抽出する手法として、具体的には例えば、あくまで一例として挙げると、正規化相互相関を利用する方法（Ｊａｎ  Ｅｒｉｋ  Ｓｏｌｅｍ著・相川愛  訳「実践  コンピュータビジョン」，株式会社オライリー・ジャパン，株式会社オーム社，２０１３年）が用いられ得る。
【００８３】
ここで、ステレオカメラを構成するものとしての第一の撮像手段１９Ａと第二の撮像手段１９Ｂとの間の相対的な位置や相対的な姿勢を特定するためには、特定対象の相対位置や相対姿勢の自由度との関係で少なくとも必要とされる特徴点の個数が決まる。
【００８４】
したがって、特定対象とされている相対位置や相対姿勢に関する項目の個数に応じて必要とされる特徴点が抽出され取得され得るように、Ｓ１の処理において、撮像手段１９Ａ，１９Ｂ各々の撮像空間が重複している実空間領域内（別言すると、共通視野内）を被写飛行体が移動しながら航行して第一の画像と第二の画像とのそれぞれから特徴点が抽出されるようにする。
【００８５】
さらに言えば、特徴点は、精確に較正を行うという観点からは、多い方が好ましく、また、撮像手段によって撮影されて取得される画像の中央部分から隅部分まで偏り無く広く分布していることが好ましい。
【００８６】
この点において、被写飛行体として小型無人航空機が用いられる場合には、航行経路を予め指定することにより、各撮像手段によって撮影されて取得される画像内を隈無く航行させ、特徴点を画像内（言い換えると、共通視野内）に偏り無く広く分布させて創出することが可能になる。なお、同時に撮影された第一の画像と第二の画像との組み合わせ毎に例えば一つ（別言すると、一組）の特徴点が抽出され、複数時点の第一の画像と第二の画像との組み合わせのそれぞれから抽出される複数の特徴点が複数の撮像手段の共通視野内に偏り無く広く分布するようにすれば良い。
【００８７】
必要に応じ、内部パラメータ（具体的には、撮像手段毎の焦点距離，画像中心位置，及び歪みパラメータ）が用いられて、第一の特徴点の第一の画像上での座標位置が補正されたり、第二の特徴点の第二の画像上での座標位置が補正されたりするようにしても良い。
【００８８】
そして、特徴点抽出部１１ｂにより、第一の画像から抽出される第一の特徴点の画像座標位置と、当該第一の特徴点に対応する特徴点として第二の画像から抽出される第二の特徴点の画像座標位置との組み合わせデータが、メモリ１５に記憶させられる。
【００８９】
なお、第一の特徴点と当該第一の特徴点に対応する特徴点としての第二の特徴点との組み合わせは、必要に応じて複数組が抽出されてメモリ１５に記憶させられる。
【００９０】
また、Ｓ３の処理において抽出される特徴点としては少なくとも被写飛行体に係る特徴点が含まれれば良く、例えば立木などの自然物や建物などの人工物を含む種々の定着物に係る特徴点がＳ３の処理において抽出されても良い。
【００９１】
次に、Ｓ３の処理によって抽出される特徴点の画像座標位置の組み合わせが用いられて外部パラメータの較正が行われる（Ｓ４）。
【００９２】
具体的には、制御部１１の較正部１１ｃにより、Ｓ３の処理においてメモリ１５に記憶される第一の画像における第一の特徴点の画像座標位置と第二の画像における第二の特徴点の画像座標位置との組み合わせ（尚、必要に応じて複数組である）が読み込まれる。
【００９３】
そして、較正部１１ｃにより、カメラの外部パラメータとしての、第一の撮像手段１９Ａと第二の撮像手段１９Ｂとの間の相対的な位置に関するパラメータ（即ち、カメラ行列における、カメラ位置を記述する三次元の平行移動ベクトル；変換ｔ／並進ｔ）及び第一の撮像手段１９Ａと第二の撮像手段１９Ｂとの間の相対的な姿勢に関するパラメータ（即ち、カメラ行列における、カメラの向きを表す回転変換行列；回転Ｒ）の較正が行われる。
【００９４】
カメラの外部パラメータを較正する仕法、ここでは具体的には、第一の特徴点の画像座標位置及び第二の特徴点の画像座標位置に基づいて例えば第一の撮像手段１９Ａの設置位置（カメラ位置）や撮像姿勢（カメラ姿勢）を基準として第二の撮像手段１９Ｂの設置位置（即ち、各撮像手段間の相対的な位置）や撮像姿勢（即ち、各撮像手段間の相対的な姿勢）を特定／較正する仕法は、特定の手法に限定されるものではなく、従来若しくは新規の手法の中から適当な技法・アルゴリズムが適宜選択される（例えば、井口征士・佐藤宏介「三次元画像計測」，株式会社昭晃堂，１９９０年、Ｒｉｃｈａｒｄ  Ｈａｒｔｌｅｙ・Ａｎｄｒｅｗ  Ｚｉｓｓｅｒｍａｎ「Ｍｕｌｔｉｐｌｅ  Ｖｉｅｗ  Ｇｅｏｍｅｔｒｙ  ｉｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ」及び「Ｍｕｌｔｉｐｌｅ  Ｖｉｅｗ  Ｇｅｏｍｅｔｒｙ  ｉｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ／  Ｓｅｃｏｎｄ  Ｅｄｉｔｉｏｎ」，Ｃａｍｂｒｉｄｇｅ  ｕｎｉｖｅｒｓｉｔｙ  ｐｒｅｓｓ，２００３年）。
【００９５】
なお、上記の処理によって較正されたステレオカメラは、例えば、第一の撮像手段１９Ａと第二の撮像手段１９Ｂとのそれぞれによって同一の被写体が同時に撮影されて取得された画像を用いて画像中に撮像された同一の被写体に纏わる点の二次元の画像座標位置から三角測量の原理によって三次元実空間における座標値を計算するための画像データを取得する仕組みとして利用される。
【００９６】
以上のように構成されたカメラパラメータの較正方法，カメラパラメータの較正装置，カメラパラメータの較正プログラムによれば、撮像対象の実空間領域内を航行する被写飛行体に係る特徴点が用いられてカメラパラメータが較正されるようにしているので、ステレオ撮影を行うための複数の撮像手段に纏わるパラメータを簡易に較正することができる。このため、カメラパラメータを較正する技術としての有用性や汎用性の向上を図ることが可能になる。
【００９７】
なお、上述の実施形態は本発明を実施する際の好適な形態の一例ではあるものの本発明の実施の形態が上述のものに限定されるものではなく、本発明の要旨を逸脱しない範囲において本発明は種々変形実施可能である。
【００９８】
例えば、上述の実施形態では二台の撮像手段１９Ａ，１９Ｂが用いられる場合を例として説明したが、撮像手段が三台以上用いられるようにしても良い。撮像手段が三台以上用いられる場合は、はじめに一対の撮像手段の間での較正が行われ、続いて前記一対のうちの一方の撮像手段と他の撮像手段との間での較正が行われることにより、三台以上の撮像手段について順次較正が行われるようにすれば良い。
【００９９】
また、上述の実施形態では被写飛行体として小型無人航空機を航行させるようにしているが、本発明における被写飛行体は、小型無人航空機に限定されるものではなく、一般的なラジオコントロールの飛行機やヘリコプターなどであっても良い。
【０１００】
さらに言えば、上述の実施形態では人為的に被写飛行体としての小型無人航空機を航行させるようにしているが、場合によっては、撮像対象の実空間領域内へと自然の状態として（別言すると、無作為的に）飛来して当該領域内を飛行する飛来物を撮影して当該飛来物に係る特徴点が抽出されるようにしても良い。この場合には、例えば、種々の構造物を建造する予定の実空間領域に対する鳥などの飛来物を検知して分析する際に、構造物を建造する予定の実空間を撮影する場合には撮像対象となる実空間領域は構造物が未だ無い状態の空(そら)であり、画像の多くの部分を単調な背景（具体的には、空）が占める場合には特徴点を抽出することができないという問題があるところ、分析対象の飛来物自体を特徴点を創出するための撮像対象として利用することによって手間を掛けることなく特徴点の抽出を行うことを可能にするという利点を発揮する。なお、人為的ではなく自然の状態として（別言すると、無作為的に）撮像対象の実空間領域内を飛行する飛来物としては具体的には例えば撮像対象の実空間領域内を飛翔する鳥類が挙げられる。
【０１０１】
鳥類を含む飛来物を特徴点の抽出の対象とした場合の飛来物に係る特徴点の抽出は、所定の画像処理を含む自動処理によって行われるようにしても良く、或いは、マニュアル操作によって行われるようにしても良く、更に或いは、自動処理とマニュアル操作とが組み合わされて行われるようにしても良い。例えば、鳥などの飛来物の飛行軌跡が画像処理によって自動認識されることによって画像における飛来物が検出された上で、当該飛来物に係る特徴点が自動抽出されるようにしても良く、或いは、撮影によって取得された画像が表示部１４に表示されると共に当該表示部１４に表示されている画像における鳥類などの飛来物が目視によって特定された上で当該の画像に対して入力部１３を介して（即ち、マニュアル操作で）飛来物に係る特徴点が直接指定される（具体的には例えば、ディスプレイに表示された画像における飛来物の特定箇所がマウスでクリックされる）ようにしても良く、更に或いは、鳥などの飛来物の飛行軌跡が画像処理によって自動認識されることによって画像における飛来物が検出された上で当該の飛来物が検出された画像が表示部１４に表示されて当該の画像に対して入力部１３を介して（即ち、マニュアル操作で）飛来物に係る特徴点が直接指定される（具体的には例えば、ディスプレイに表示された画像における飛来物の特定箇所がマウスでクリックされる）ようにしても良い。
【０１０２】
上記も踏まえ、本発明は、被写飛行体に係る特徴点，飛来物に係る特徴点，及び定着物に係る特徴点のうちの一種類のみの特徴点が抽出されるようにしても良く、或いは、被写飛行体に係る特徴点，飛来物に係る特徴点，及び定着物に係る特徴点のうちの少なくとも二種類の特徴点が抽出されるようにしても良い。
【符号の説明】
【０１０３】
１０    コンピュータ／カメラパラメータの較正装置
１１    制御部
１１ａ  画像生成部
１１ｃ  較正部
１１ｂ  特徴点抽出部
１２    記憶部
１３    入力部
１４    表示部
１５    メモリ
１７    カメラパラメータの較正プログラム
１９Ａ  第一の撮像手段
１９Ｂ  第二の撮像手段
２０    データサーバ
２１Ａ  撮像データベース（第一の撮像手段用）
２１Ｂ  撮像データベース（第二の撮像手段用）
【図１】
2020139927.tif 000003
【図２】
2020139927.tif 000004