(57)【要約】【課題】低コストで高解像度のステレオペア画像を取得して三次元計測する。【解決手段】三次元計測装置３００は小型自律飛行機による空撮画像からステレオペア画像を生成して三次元計測する。小型自律飛行機には低コストで低空飛行可、つまり、低コストで高解像度の空撮画像が得られるメリットがある反面、周回時の機体バンクが大きいというデメリットがある。そこで、画像投影部３３０は空撮画像から機体のバンクの影響を除去する。具体的には、画像投影部３３０は空撮画像を世界座標平面に投影して空撮画像を中心投影画像から中心鉛直画像に変換する。こうして、画像投影部３３０はレベルフライト状態で真上から撮像したような空撮画像を得る。縦視差除去部３４０は画像投影部３３０が得た空撮画像のペアから縦視差を除去してステレオペア画像を生成し、三次元計測部３５０はステレオ視により三次元計測を行う。【選択図】図５
2008186145.tif 000002
【特許請求の範囲】
【請求項１】
特定地域上空を複数回飛行する機体から撮像された複数の空撮画像と各撮像時の機体の位置情報と各撮像時の機体の姿勢情報とを入力する入力部と、
前記入力部が入力した各撮像時の機体の位置情報に基づいて前記入力部が入力した複数の空撮画像それぞれの撮像範囲をＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を用いて推定し、推定した撮像範囲が所定の範囲以上重複する空撮画像の組み合わせを選択する空撮画像選択部と、
前記入力部が入力した各撮像時の機体の姿勢情報に基づいて前記空撮画像選択部が選択した組み合わせの各空撮画像をＣＰＵを用いて世界座標系に投影する画像投影部と、
前記画像投影部が投影した各空撮画像に基づいてＣＰＵを用いて特定地域に関する空撮画像処理を行う空撮画像処理部と
を備えたことを特徴とする空撮画像処理装置。
【請求項２】
前記空撮画像処理部は、
前記画像投影部が投影した空撮画像間の重複画像を利用してステレオ視により特定地域の三次元計測を行う三次元計測部と、
前記画像投影部が投影した空撮画像間の重複画像を利用して複数の空撮画像から成る特定地域のモザイク画像を生成するモザイク画像生成部と
の少なくともいずれかを備えたことを特徴とする請求項１記載の空撮画像処理装置。
【請求項３】
前記画像投影部は世界座標系への投影処理において各空撮画像を中心鉛直画像に変換することを特徴とする請求項１〜請求項２いずれかに記載の空撮画像処理装置。
【請求項４】
前記画像投影部は世界座標系への投影処理において前記入力部が入力した各撮像時の機体の姿勢情報に基づいて以下の式により各空撮画像を撮像時の姿勢分補正することを特徴とする請求項１〜請求項２いずれかに記載の空撮画像処理装置。
【数１】
2008186145.tif 000008
【請求項５】
入力部が特定地域上空を複数回飛行する機体から撮像された複数の空撮画像と各撮像時の機体の位置情報と各撮像時の機体の姿勢情報とを入力する入力処理を行い、
空撮画像選択部が前記入力部の入力した各撮像時の機体の位置情報に基づいて前記入力部の入力した複数の空撮画像それぞれの撮像範囲をＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を用いて推定し、推定した撮像範囲が所定の範囲以上重複する空撮画像の組み合わせを選択する空撮画像選択処理を行い、
画像投影部が前記入力部の入力した各撮像時の機体の姿勢情報に基づいて前記空撮画像選択部の選択した組み合わせの各空撮画像をＣＰＵを用いて世界座標系に投影する画像投影処理を行い、
空撮画像投影処理部が前記画像投影部の投影した各空撮画像に基づいてＣＰＵを用いて特定地域に関する空撮画像処理を行う
ことを特徴とする空撮画像処理方法。
【請求項６】
撮像装置と測位装置と姿勢検出装置とを備えた自律飛行機と、
請求項１〜請求項４いずれかに記載の空撮画像処理装置と
を有する空撮画像処理システムであり、
特定地域上空を複数周回飛行する自律飛行機において前記撮像装置は特定地域上空から特定地域の空撮画像を撮像し、前記測位装置は前記撮像装置が空撮画像を撮像時の機体の位置を測位し、前記姿勢検出装置は前記撮像装置が空撮画像を撮像時の機体の姿勢角を計測し、
前記空撮画像処理装置の前記入力部は前記自律飛行機において前記撮像装置が撮像した空撮画像を入力し、前記自律飛行機において前記測位装置が測位した位置を各撮像時の機体の位置情報として入力し、前記自律飛行機において前記姿勢検出装置が計測した姿勢角を各撮像時の機体の姿勢情報として入力する
ことを特徴とする空撮画像処理システム。
【請求項７】
特定地域上空を複数周回飛行する自律飛行機において、
撮像装置が特定地域上空から特定地域の空撮画像を撮像し、
測位装置が前記撮像装置による空撮画像の撮像時の機体の位置を測位し、
姿勢検出装置が前記撮像装置による空撮画像の撮像時の機体の姿勢角を計測し、
空撮画像処理装置において、
入力部が前記撮像装置により撮像された空撮画像を入力し、前記測位装置により測位された位置を各撮像時の機体の位置情報として入力し、前記姿勢検出装置により計測された姿勢角を各撮像時の機体の姿勢情報として入力し、
空撮画像選択部が前記入力部の入力した各撮像時の機体の位置情報に基づいて前記入力部の入力した複数の空撮画像それぞれの撮像範囲をＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を用いて推定し、推定した撮像範囲が所定の範囲以上重複する空撮画像の組み合わせを選択し、
画像投影部が前記入力部の入力した各撮像時の機体の姿勢情報に基づいて前記空撮画像選択部の選択した組み合わせの各空撮画像をＣＰＵを用いて世界座標系に投影し、
空撮画像投影処理部が前記画像投影部の投影した各空撮画像に基づいてＣＰＵを用いて特定地域に関する空撮画像処理を行う
ことを特徴とする空撮画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、空撮画像を用いて、例えば、建築物の高さや道路上に体積した土砂形状等の三次元計測や、モザイク画像の生成を行う空撮画像処理装置、空撮画像処理システムおよび空撮画像処理方法に関するものである。
【背景技術】
【０００２】
高い高度を飛行する航空機や人工衛星による航空測量は広範囲の情報を一度に取得することが可能である。そして、航空測量の際に撮像した空撮画像を用いることにより、複数枚の空撮画像を合成して広範囲な地表域を覆うモザイク画像や三次元計測に用いるステレオペア画像を生成することできる。このため、航空測量には、モザイク画像やステレオペア画像を用いて、土木施工時や災害時の土砂量を計測したり、地理情報システム（ＧＩＳ：Ｇｅｏｇｒａｐｈｉｃａｌ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｓｙｓｔｅｍ）を構築したりするなど、多くの需要がある。また、都市防災管理に用いられることが多い地理情報システムとして、時空間対応の地理情報システム（Ｓｐａｔｉａｌ  Ｔｅｍｐｏｒａｌ  ＧＩＳ）がある。
しかし、航空機や人工衛星を利用する場合、モザイク画像やステレオペア画像を生成するために必要な空撮画像を得るのに多大な運用コスト（費用や時間）がかかる。また、航空機や人工衛星の飛行高度は高いため、高解像度のカメラを用いたとしても十分な空撮画像解像度を得るのが困難であり、特に、ステレオペア画像による三次元計測を行うには不十分な解像度であった。
【０００３】
そこで、運用コストの削減や高解像度の画像の取得といった要求に応えるため、燃料費やメンテナンスコストが低く且つ低高度で飛行可能な小型ヘリコプターや軽飛行機、更にはこれらの機体に慣性センサや計算機を搭載して自律化したＵＡＶ（Ｕｎｍａｎｎｅｄ  Ａｅｒｉａｌ  Ｖｅｈｉｃｌｅ）などの小型の飛行体（以下、小型飛行機とする）に汎用の高解像度デジタルカメラを搭載して空撮画像を得る手法が期待されている。ここで、低高度で飛行可能とは、例えば、ラジコン（登録商標）飛行機や小型ＵＡＶ等の無人機は空港周辺を除き、航空法の制限を受けないため、高度１５０ｍ以下で飛行が可能であるということに基づいている。
しかし、小型飛行機はバンク角（機体の傾き）が大きいため、小型飛行機から撮影した場合、歪みの大きい空撮画像しか得られない。さらに、小型飛行機は対地高度が低いため、空撮画像に写る撮像範囲が狭く、空撮画像間のオーバーラップが少ない。また、小型飛行機は積載量が少ないという事情により搭載センサ（測位装置、姿勢検出装置など）の精度が悪い。
このため、複数枚の空撮画像をオーバーラップさせた画像であるモザイク画像やステレオペア画像を小型飛行機からの撮影により得ることは困難である。
【０００４】
また、特許文献１は動画像を用いたステレオペア画像の生成について記載し、特許文献２では動画を用いたモザイク画像の生成について記載し、特許文献３は地上基準点を利用したオルソ画像の生成について記載している。
【特許文献１】特開２００４−１２７３２２号公報
【特許文献２】特開平９−２９８６８６号公報
【特許文献３】特開２０００−３２１０５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１や特許文献２のように動画像を用いた場合、短い時間間隔で撮像されたオーバーラップの大きい複数数の空撮画像を取得することができる。このため、動画像を用いた場合、モザイク画像の生成やオクルージョンが少ないステレオペア画像（ステレオ視に適した２枚の画像）の取得ができる。
しかし、動画像は静止画像に比べて解像度が低いため、動画像を用いる方法では低高度から撮像することにより高解像度の空撮画像が得られるという小型飛行機からの撮像のメリットが損なわれてしまう。
【０００６】
また、特許文献３のように地上基準点を利用した場合、撮像機の精確な位置・姿勢が計測可能なため、オルソ画像を作成することできる。
ここで、地上基準点を利用して作成したオルソ画像を利用してモザイク画像を生成しようとした場合、オルソ画像を作成するために、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）などによって予め測位された最低３点の地上基準点が各空撮画像内に写るようにしなければならない。このため、地上基準点を利用する方法では運用コストが低いという小型飛行機からの撮像のメリットが損なわれてしまう。また、地上基準点を利用する方法は即時性が求められる防災用途での運用が難しい。
【０００７】
本発明は、例えば、低いコストで、高い解像度のモザイク画像やステレオペア画像を取得できるようにすることを目的とする。また、高い解像度のステレオペア画像を取得することで、高い精度の三次元計測結果を得られるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の空撮画像処理装置は、特定地域上空を複数回飛行する機体から撮像された複数の空撮画像と各撮像時の機体の位置情報と各撮像時の機体の姿勢情報とを入力する入力部と、前記入力部が入力した各撮像時の機体の位置情報に基づいて前記入力部が入力した複数の空撮画像それぞれの撮像範囲をＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を用いて推定し、推定した撮像範囲が所定の範囲以上重複する空撮画像の組み合わせを選択する空撮画像選択部と、前記入力部が入力した各撮像時の機体の姿勢情報に基づいて前記空撮画像選択部が選択した組み合わせの各空撮画像をＣＰＵを用いて世界座標系に投影する画像投影部と、前記画像投影部が投影した各空撮画像に基づいてＣＰＵを用いて特定地域に関する空撮画像処理を行う空撮画像処理部とを備えたことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、例えば、低いコストで、高い解像度のモザイク画像やステレオペア画像を取得でき、高い精度の三次元計測結果を得ることができる。
【発明を実施するための最良の形態】
【００１０】
実施の形態１．
実施の形態１では、位置・姿勢検出装置を機体に搭載して自律飛行する自律飛行機（ＵＡＶ：Ｕｎｍａｎｎｅｄ  Ａｅｒｉａｌ  Ｖｅｈｉｃｌｅ、小型飛行機の一例）により撮像された空撮画像からステレオペア画像を生成して三次元計測を行う三次元計測システム１００、三次元計測装置３００、三次元計測方法、三次元計測プログラムについて説明する。
【００１１】
三次元計測には計測地域を写したオーバーラップの大きい２枚の画像を用いる。但し、オーバーラップが大きすぎると視差不足となり、小さすぎるとオクルージョンが発生するため、２枚の画像のオーバーラップが適度でなければ高い精度の三次元計測結果は得られない。適度なオーバーラップ率は例えば６０％程度であり、適度なオーバーラップ率を持つ２枚の画像がステレオペア画像となる。以下、「オーバーラップの大きい（２枚の）画像」「充分なオーバーラップ率を持つ（２枚の）画像」「適度にオーバーラップした画像の組」などは三次元計測に適したオーバーラップ率（例えば、６０％）を持つ画像の組を指すものとする。
また、三次元計測の精度はステレオペア画像の解像度が高いほど高まる。
【００１２】
また、自律飛行は手動運転に比べて正確に飛行経路を辿ることができる。そのため、図１に示すように、ＵＡＶ２００は近い飛行経路で複周回飛行することができ、各周回の近接地点で撮像したそれぞれの静止画像（周回１画像、周回２画像、周回３画像）をオーバーラップの大きい画像として取得することができる。ＵＡＶ２００は、ＧＰＳ（位置検出装置、測位装置の一例）や慣性センサ（姿勢検出装置の一例）の出力を元に風等の外乱を抑制しながら、あらかじめ設定した計測地域上の円または楕円軌道（飛行経路）を再現性良く周回することが可能である。
【００１３】
このため、撮像間隔が大きく、連続したフレーム間では十分なオーバーラップを得られない静止画像を使用した場合でも、異なる周回においてＵＡＶ２００から静止画像を撮像することで、オーバーラップの大きい画像を取得でき、あたかも動画像を用いた時と同じ効果が得られる。
【００１４】
また、ＵＡＶ２００は、無人機であり小型化できるため低高度を飛行しても安全性を確保することができる。また、航空法の規制により、有人航空機は低高度を飛行できず、一方、無人機であるＵＡＶ２００は低高度を飛行できる。
具体的には、ＵＡＶ２００は、有人機では飛行が難しい危険区域、夜間、悪天候でも情報収集が可能である。更に、小型ＵＡＶ２００の場合は、航空法で規制されている高度１５０ｍ（メートル）以下の低空で飛行可能である。
【００１５】
このため、ＵＡＶ２００を用いることにより、低高度を飛べるため、有人機搭載と同じ分解能のカメラを用いても、高解像度の空撮画像を得ることができ、ＵＡＶ２００を用いて得られる高解像度の空撮画像から高解像度のステレオペア画像を得ることができる。
【００１６】
つまり、実施の形態１における三次元計測システム１００は、ＵＡＶ２００を用いることで、適度にオーバーラップした高解像度の画像を取得することができ、取得した高解像度の画像から高解像度のステレオペア画像を生成することができ、生成した高解像度のステレオペア画像を用いて高精度の三次元計測結果を得ることができる。
また、ＵＡＶ２００は、無人機であり小型化できるため、燃料費やメンテナンスコストなどの運用コストが低い。
【００１７】
但し、ＵＡＶ２００は低高度で測定領域上空を周回飛行するため、自律飛行による周回の際のバンクが大きい。また、ＵＡＶ２００は、同じ飛行経路を正確に追従しようとする際に風の影響を補正するため、常に姿勢が変動する。このため、ＵＡＶ２００を用いて得られる各空撮画像は、撮像位置はほぼ同じであっても、異なるバンク角の影響を受けてそれぞれ歪み量の異なった画像となる。
そこで、実施の形態１における三次元計測システム１００では、ステレオペア画像を生成する際の縦視差除去処理の更に前処理として、ＵＡＶ２００を用いて得られた各空撮画像からバンクの影響を取り除く画像の投影処理を実行する。
【００１８】
従来において、動画像や高い高度を飛行する人工衛星または航空機からの静止画像を用いる場合、図２に示すように、１飛行経路で撮像した連続する画像同士（画像１と画像２、画像２と画像３）をオーバーラップの大きい画像として選択していた。
但し、動画像、または、人工衛星や航空機からの静止画像は解像度が低い。例として、一般の航空写真の場合、得られる画像解像度は飛行高度の２乗に反比例するため、高度が２倍になると、解像度は１／４に落ちてしまう。このため、動画像や人工衛星や航空機からの静止画像を用いた三次元計測の精度は一般には低い。
【００１９】
実施の形態１における三次元計測システム１００はＵＡＶ２００（低空自律飛行機の一例）と三次元計測装置３００とを有する。三次元計測装置３００がＵＡＶ２００に搭載されていても構わない。ＵＡＶ２００の飛行方式はジェット機のような固定翼方式またはヘリコプターのような回転翼方式などが考えられる。
【００２０】
図３は、実施の形態１におけるＵＡＶ２００の構成図である。
実施の形態１における三次元計測システム１００が有するＵＡＶ２００について、図３に基づいて以下に説明する。
ＵＡＶ２００は操舵機能を有する飛行体本体２１０と、飛行状態情報および空撮画像を取得する飛行体搭載機器２２０とを備える。
また、飛行体本体２１０は周回飛行経路指示部７５、自律飛行制御部８０および操舵装置８５を備える。
また、飛行体搭載機器２２０は飛行状態情報を取得する位置検出装置６０、姿勢検出装置６５および圧力計７０と、空撮画像を取得する撮像装置５０および撮影情報記憶部５５とを備える。
【００２１】
飛行体搭載機器２２０において、撮像装置５０は静止画像（空撮画像）の取得を行う。例えば、撮像装置５０として市販のデジタルカメラを用いることができる。ＵＡＶ２００は低空飛行するため市販のデジタルカメラを用いても高解像度の地表面の静止画像を得ることができる。撮像装置５０は機体あるいは防振安定装置（図示しない）に固定する。撮像装置５０を固定することによりＵＡＶ２００の位置・姿勢角と撮像装置５０の位置・姿勢角とを対応付けることができる。以下、撮像装置５０の位置・姿勢角はＵＡＶ２００の位置・姿勢角と同じとし、撮像装置５０の姿勢角に対応する座標系をカメラ座標系とする。
位置検出装置６０（測位装置）は飛行状態情報として飛行中の機体の位置を測位する。例えば、位置検出装置６０としてＧＰＳ受信機を用いる。
姿勢検出装置６５は飛行状態情報として飛行中の機体の姿勢角を検出する。例えば、姿勢検出装置６５としてジャイロや加速度計などの慣性センサを用いる。
圧力計７０は飛行状態情報として飛行中の機体の高度を動圧と静圧とに基づいて計測する。圧力計７０を備えることによりＵＡＶ２００はＧＰＳ受信機（位置検出装置６０の一例）より精確に高度を計測することができる。
撮影情報記憶部５５は撮像装置５０が撮像した静止画像（空撮画像）のデータと、位置検出装置６０、姿勢検出装置６５および圧力計７０が計測した飛行状態情報のデータ（各撮影時の機体の位置情報、各撮影時の機体の姿勢情報）を時刻同期をかけて記憶する。例えば時刻同期の方法としては、ＧＰＳ時間を基準にした時間タグをそれぞれのデータの取得タイミングに合わせて記録する等の手法が用いられる。
以下、位置検出装置６０、姿勢検出装置６５および圧力計７０を総称してセンサとし、センサにより取得される飛行状態情報のデータをセンサデータとする。
また、飛行体搭載機器２２０には慣性センサの温度補償用の温度センサや回収用パラシュートなどを搭載してもよい。
【００２２】
飛行体本体２１０において、操舵装置８５は飛行中の機体の姿勢や速度を制御する。
周回飛行経路指示部７５は予め登録された計測地域（特定地域）の地図情報や撮像位置の座標などに基づいて飛行経路を策定する。
自律飛行制御部８０は位置検出装置６０、姿勢検出装置６５、圧力計７０の計測値に基づいて機体が周回飛行経路指示部７５の策定した飛行経路を辿るよう操舵装置８５を制御する。
リモコン操作などの手動操縦によりＵＡＶ２００を飛行させる場合、図４に示すように、ＵＡＶ２００は操舵指令等を地上のオペレータから受け取る通信装置９０を備えることで、周回飛行経路指示部７５と自律飛行制御部８０とを備えなくても構わない。但し、手動操縦による飛行は飛行状態情報に基づいて機体をリアルタイムに制御する自律飛行に比べて飛行経路に対する追随性が劣るため、図３に示すように、ＵＡＶ２００は周回飛行経路指示部７５と自律飛行制御部８０とを備えて自律飛行するのが望ましい。
【００２３】
ＵＡＶ２００は、特に、圧力計７０、周回飛行経路指示部７５および自律飛行制御部８０を備えることを特徴とする。
【００２４】
図５は、実施の形態１における三次元計測装置３００の構成図である。
実施の形態１における三次元計測システム１００が有する三次元計測装置３００について、図５に基づいて以下に説明する。
三次元計測装置３００（空撮画像処理装置の一例）はオーバーラップ画像選別部３１０、外部パラメータ標定部３２０、画像投影部３３０、縦視差除去部３４０、三次元計測部３５０、撮影情報記憶部３６０および計測結果記憶部３７０を備える。
【００２５】
オーバーラップ画像選別部３１０（空撮画像選択部）はＵＡＶ２００が撮像した静止画像（空撮画像）からステレオペア画像の生成に適した適度にオーバーラップした画像の組み合わせを選別する。
画像投影部３３０はオーバーラップ画像選別部３１０が選別した静止画像を世界座標系に投影することで、撮像時におけるＵＡＶ２００のバンクがもたらす撮像装置の視軸の傾きに起因する画像歪みの影響を静止画像から除去する。
縦視差除去部３４０（空撮画像処理部の一例）はオーバーラップ画像選別部３１０が選別し、画像投影部３３０が世界座標系に投影した静止画像の組を相互標定して静止画像間の縦視差を除去する。縦視差除去部３４０は縦視差を除去することにより横視差のみが残る三次元計測に適したステレオペア画像を得る。
三次元計測部３５０（空撮画像処理部の一例）は縦視差除去部３４０が生成したステレオペア画像に基づいて三次元計測を行い、三次元計測結果に基づいて三次元地形図データであるＤＥＭ（Ｄｉｇｉｔａｌ  Ｅｌｅｖａｔｉｏｎ  Ｍｏｄｅｌ）を生成する。
外部パラメータ標定部３２０は画像投影部３３０による画像投影処理と、縦視差除去部３４０による縦視差除去処理に用いる撮像装置の外部パラメータをＵＡＶ２００のセンサデータ（飛行状態情報）から標定する。
撮影情報記憶部３６０（入力部の一例）はＵＡＶ２００で撮像された静止画像（空撮画像）のデータとＵＡＶ２００のセンサデータ（各撮像時の機体の位置情報、各撮像時の機体の姿勢情報）とを記憶する。三次元計測装置３００の撮影情報記憶部３６０にはＵＡＶ２００の撮影情報記憶部５５に記憶されたデータが記憶される。
計測結果記憶部３７０は三次元計測部３５０が算出した三次元計測結果やＤＥＭを記憶する。
【００２６】
三次元計測装置３００は、特に、ＵＡＶ２００の周回飛行時に発生する機体バンクがもたらす画像歪みの影響を静止画像から除去する画像投影部３３０を備えることを特徴とする。
【００２７】
図６は、実施の形態１におけるＵＡＶ２００のコンピュータハードウェアの一例を示す図である。
図７は、実施の形態１における三次元計測装置３００のコンピュータハードウェアの一例を示す図である。
図６、図７において、ＵＡＶ２００および三次元計測装置３００は、プログラムを実行するＣＰＵ９１１（Ｃｅｎｔｒａｌ・Ｐｒｏｃｅｓｓｉｎｇ・Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう）を備えている。ＣＰＵ９１１は、バス９１２を介してＲＯＭ９１３、ＲＡＭ９１４、通信ボード９１５、表示装置９０１、キーボード９０２、マウス９０３、ＦＤＤ９０４（Ｆｌｅｘｉｂｌｅ・Ｄｉｓｋ・  Ｄｒｉｖｅ）、ＣＤＤ９０５（コンパクトディスク装置）、プリンタ装置９０６、スキャナ装置９０７、磁気ディスク装置９２０などと接続され、これらのハードウェアデバイスを制御する。磁気ディスク装置９２０の代わりに、光ディスク装置、メモリカード読み書き装置などの記憶装置でもよい。
ＲＡＭ９１４は、揮発性メモリの一例である。ＲＯＭ９１３、ＦＤＤ９０４、ＣＤＤ９０５、磁気ディスク装置９２０の記憶媒体は、不揮発性メモリの一例である。これらは、記憶機器、記憶装置あるいは記憶部の一例である。
通信ボード９１５、キーボード９０２、スキャナ装置９０７、ＦＤＤ９０４などは、入力機器、入力装置あるいは入力部の一例である。また、入力データが記憶されている記憶装置は入力機器、入力装置あるいは入力部の一例である。
また、通信ボード９１５、表示装置９０１、プリンタ装置９０６などは、出力機器、出力装置あるいは出力部の一例である。また、出力データが記憶されている記憶装置は入力機器、入力装置あるいは入力部の一例である。
【００２８】
例えば、三次元計測装置３００の通信ボード９１５は、ＵＡＶ２００の通信ボード９１５と無線または有線により通信を行い、静止画像（空撮画像）やセンサデータ（飛行状態情報）を入力する。
【００２９】
磁気ディスク装置９２０には、ＯＳ９２１（オペレーティングシステム）、ウィンドウシステム９２２、プログラム群９２３、ファイル群９２４などが記憶されている。プログラム群９２３のプログラムは、ＣＰＵ９１１、ＯＳ９２１、ウィンドウシステム９２２などにより実行される。
【００３０】
上記プログラム群９２３には、実施の形態における「〜部」、「〜装置」などを機能させ、ＵＡＶ２００および三次元計測装置３００を制御するプログラムが記憶されている。プログラムは、ＣＰＵ９１１により読み出され実行される。
【００３１】
ファイル群９２４には、実施の形態において、「〜部」や「〜装置」が動作した際の「〜の計測結果」「〜の判定結果」、「〜の計算結果」、「〜の処理結果」などの結果データ、「〜部」や「〜装置」を機能させるプログラム間で受け渡しするデータ、その他の情報やデータや信号値や変数値やパラメータが、「〜ファイル」や「〜データベース」の各項目として記憶されている。静止画像、センサデータ、三次元計測結果、ＤＥＭなどはファイル群９２４に含まれるものの一例である。
「〜ファイル」や「〜データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリなどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してＣＰＵ９１１によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのＣＰＵの動作に用いられる。抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示のＣＰＵの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。
また、実施の形態において説明するフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、ＲＡＭ９１４のメモリ、ＦＤＤ９０４のフレキシブルディスク、ＣＤＤ９０５のコンパクトディスク、磁気ディスク装置９２０の磁気ディスク、その他光ディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ・Ｖｅｒｓａｔｉｌｅ・Ｄｉｓｃ）等の記録媒体に記録される。また、データや信号値は、バス９１２や信号線やケーブルその他の伝送媒体によりオンライン伝送される。
【００３２】
また、実施の形態において「〜部」、「〜装置」として説明するものは、「〜回路」、「〜装置」、「〜機器」、「〜手段」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」、「〜手段」として説明するものは、ＲＯＭ９１３に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等の記録媒体に記憶される。プログラムはＣＰＵ９１１により読み出され、ＣＰＵ９１１により実行される。すなわち、三次元計測プログラム、空撮画像取得プログラム、自律飛行プログラム、モザイク画像生成プログラムは、「〜部」、「〜装置」としてコンピュータを機能させるものである。あるいは、「〜部」、「〜装置」の手順や方法をコンピュータに実行させるものである。
【００３３】
図８は、実施の形態１における三次元計測システム１００の三次元計測方法を示すフローチャートである。
実施の形態１における三次元計測システム１００の三次元計測方法（空撮画像処理方法の一例）について、図８に基づいて以下に説明する。
図８に示すフローチャートにおいて、Ｓ３００〜Ｓ４００はＵＡＶ２００の各装置が実行する処理であり、Ｓ５００〜Ｓ９００は三次元計測装置３００が実行する処理である。
自律飛行プログラムはコンピュータにＵＡＶ２００の各装置を制御させてＳ３００の処理を実行する。
空撮画像取得プログラムはコンピュータにＵＡＶ２００の各装置を制御させてＳ４００の処理を実行する。
三次元計測プログラムはコンピュータに三次元計測装置３００の各部を制御させてＳ５００〜Ｓ９００の処理を実行する。
三次元計測装置３００の各部はＣＰＵを用いてＳ５００〜Ｓ９００の処理を実行する。
【００３４】
＜Ｓ３００〜Ｓ４００：ＵＡＶ処理＞
＜Ｓ３００：自律飛行処理＞
ＵＡＶ２００において、まず、周回飛行経路指示部７５が計測地域の地図情報や撮像位置の座標などに基づいて飛行経路を決定し、決定した飛行経路の情報をＵＡＶ２００の記憶機器に記憶する。ここで、計測地域の地図情報や撮像位置の座標などは予めＵＡＶ２００の記憶機器に登録されているものとする（Ｓ３１０：周回飛行経路決定処理）。
そして、自律飛行制御部８０は位置検出装置６０、姿勢検出装置６５、圧力計７０の計測値に基づいて機体が周回飛行経路指示部７５の策定した飛行経路を辿るよう操舵装置８５を制御する。飛行中、位置検出装置６０、姿勢検出装置６５、圧力計７０はそれぞれ計測値を撮影情報記憶部５５に記憶している（Ｓ３２０：自律飛行制御処理）。
こうして、ＵＡＶ２００は、充分なオーバーラップ率（例えば、６０％）を持つ静止画像（空撮画像）を得るために、計測地域（特定地域）を円または楕円状の軌道で複数周回飛行する。
【００３５】
＜Ｓ４００：空撮画像取得処理＞
自律飛行中、撮像位置を通過する際、撮像装置５０は静止画像（空撮画像）の撮影を行い、撮影した静止画像を撮影情報記憶部５５に記憶する。撮像装置５０は位置検出装置６０が測位したＵＡＶ２００の飛行位置と撮像位置の座標とを比較して撮像位置の通過を判定する。
【００３６】
＜Ｓ５００〜Ｓ９００：三次元計測装置処理＞
＜Ｓ５００：オーバーラップ画像選別処理（空撮画像選択処理）＞
三次元計測装置３００において、まず、オーバーラップ画像選別部３１０はＵＡＶ２００が撮像した静止画像からステレオペア画像の生成に適した充分なオーバーラップ率を持つ静止画像の組み合わせを選別する。例えば、オーバーラップ画像選別部３１０は、撮像時のＵＡＶ２００の測位情報に基づいて、互いの撮像位置が所定の範囲内に位置する静止画像の組み合わせを選択する。また例えば、オーバーラップ画像選別部３１０は、撮像時のＵＡＶ２００の測位情報と姿勢角情報とに基づく幾何計算により静止画像に写る地上の撮像点を推定し、推定した撮像点が所定の範囲内に位置する静止画像の組み合わせを選択する。オーバーラップ画像選別部３１０が選別する静止画像の組み合わせは異なる飛行周回で撮像された画像の組み合わせとなる。
言い換えると、オーバーラップ画像選別部３１０は各撮像時のＵＡＶ２００の測位情報に基づいて複数の静止画像それぞれの撮像範囲を推定し、推定した撮像範囲が所定の範囲以上重複する静止画像の組み合わせを選択する。
ＵＡＶ２００が自律飛行により高い精度で所定の経路を飛行できるため、オーバーラップ画像選別部３１０が選別する異なる飛行周回で撮像された画像の組み合わせは充分なオーバーラップ率を持つ。
ここで、ＵＡＶ２００の静止画像とセンサデータとは撮影情報記憶部３６０に記憶されているものとする。例えば、ＵＡＶ２００の通信機器（図６に示す通信ボード９１５）が撮影情報記憶部５５に記憶された静止画像とセンサデータとを三次元計測装置３００の通信機器（図７に示す通信ボード９１５）に無線送信し、三次元計測装置３００の撮影情報記憶部３６０は通信機器の受信したＵＡＶ２００の静止画像とセンサデータとを記憶する（入力処理の一例）。また、例えば、ＵＡＶ２００が飛行を終え、地上回収してから、シリアルケーブル等で撮影情報記憶部５５を三次元計測装置３００に接続してデータを転送してもよい。三次元計測装置３００の撮影情報記憶部３６０はＵＡＶ２００のセンサデータに含まれるＧＰＳ測位による位置情報を国土地理院が発行するＧＰＳ補正データなどを用いて補正し、補正して精度を向上させたＵＡＶ２００の位置情報を記憶してもよい。
【００３７】
＜Ｓ６００：外部パラメータ標定処理＞
外部パラメータ標定部３２０は画像投影部３３０による画像投影処理、縦視差除去部３４０による縦視差除去処理に用いる外部パラメータをＵＡＶ２００のセンサデータから標定する。具体的には、外部パラメータ標定部３２０はオーバーラップ画像選別部３１０が選別した各静止画像が撮像された時のセンサデータを取得する。外部パラメータ標定部３２０が取得するセンサデータには撮像装置５０の位置および姿勢角（ヘディング角、ロール角、ピッチ角）が含まれる。ヘディング角はヨー角または方位角ともいう。また、ロール角とピッチ角とを併せてバンク角という。
なお、撮像装置５０の位置および姿勢角は、上述の国土地理院が発行するＧＰＳ補正データなどで補正して精度向上したＧＰＳの時系列データと拡張カルマンフィルタとにより複合処理を行い、精度向上させてから外部パラメータ標定部３２０で使用してもよい。
【００３８】
＜Ｓ７００：画像投影処理＞
画像投影部３３０はオーバーラップ画像選別部３１０が選別した静止画像を世界座標系に投影して撮像時におけるＵＡＶ２００の傾きの影響を静止画像から除去する。航空機や人工衛星は姿勢角の変動が少ないレベルフライト状態で撮像できるため、空撮画像を相互標定して縦視差除去を行うだけでも精度の高いステレオペア画像を得ることが可能であった。しかし、小型であり周回半径の比較的小さいＵＡＶ２００は旋回する際に大きなバンク角を取る上に風の影響で姿勢変動を起こすため、ＵＡＶ２００から撮像した空撮画像を相互標定して縦視差除去だけを行った場合、精度の低いステレオペア画像しか得られず、三次元計測結果ができない。そこで、画像投影部３３０は、精度の高いステレオペア画像が得られるように、縦視差除去の前にバンク角補正のために空撮画像を世界座標系に投影する。
画像投影部３３０の画像投影処理（Ｓ７００）の詳細について後述する。
【００３９】
＜Ｓ８００：縦視差除去処理（空撮画像処理の一例）＞
縦視差除去部３４０はオーバーラップ画像選別部３１０が選別し、画像投影部３３０が世界座標系に投影した静止画像の組を相互標定して静止画像間の縦視差（機体の進行方向に対して直交する方向の視差）を除去する。縦視差除去部３４０は縦視差を除去することにより横視差（機体進行方向の視差）のみが残る三次元計測に適したステレオペア画像を得る。相互標定とは、画像間の投影中心の相対位置と傾きを決定し、ステレオ視しやすいように画像間の視差を一方向のみにする手法である。
縦視差除去部３４０の縦視差除去処理（Ｓ８００）の詳細について後述する。
【００４０】
＜Ｓ９００：三次元計測処理（空撮画像処理の一例）＞
三次元計測部３５０は縦視差除去部３４０が生成したステレオペア画像を用いたステレオ視により、各画素毎に三次元計測を行い、その三次元計測結果に基づいて三次元地形図データであるＤＥＭを生成し、三次元計測結果とＤＥＭとを計測結果記憶部３７０に記憶する。
三次元計測部３５０の三次元計測処理（Ｓ９００）の詳細について後述する。
【００４１】
図９は、従来の三次元計測方法を示すフローチャートである。
従来の三次元計測システムでは、動画像、または、高い高度をレベルフライトする航空機や、軌道の安定した人工衛星から撮像した静止画像を用いることにより、オーバーラップ率の高い空撮画像を得ることができる。このため、従来の三次元計測システムでは、図９に示すように、オーバーラップ画像選別処理（Ｓ５００）や画像投影処理（Ｓ７００）は行わず、連続的に空撮画像を取得し（Ｓ４００）、外部パラメータを標定し（Ｓ６００）、空撮画像間の縦視差を除去し（Ｓ８００）、三次元計測を行っていた（Ｓ９００）。
但し、従来の三次元計測システムで用いる動画像および静止画像は、解像度が低いため、得られる三次元計測結果の精度が低かった。
【００４２】
実施の形態１における三次元計測システム１００は、図８に示すように、自律飛行によりＵＡＶ２００を高精度に複数周回低空飛行させ（Ｓ３００）、低空からの撮像により高解像度の静止画像を取得し（Ｓ４００）、異なる周回の対応する地点において撮像された静止画像をオーバーラップが充分な画像として選別し（Ｓ５００）、さらにＵＡＶ２００の姿勢角で補正して世界座標系へ投影した静止画像を得て（Ｓ７００）、静止画像間の縦視差を除去し（Ｓ８００）、ステレオ視にて三次元計測を行う（Ｓ９００）。
実施の形態１における三次元計測方法は、特に、自律飛行処理（Ｓ３００）とオーバーラップ画像選別処理（Ｓ５００）と画像投影処理（Ｓ７００）とを行うことを特徴とする。
【００４３】
以下に、画像投影部３３０の画像投影処理（Ｓ７００）の詳細と縦視差除去部３４０の縦視差除去処理（Ｓ８００）の詳細と三次元計測部３５０の三次元計測処理（Ｓ９００）の詳細について説明する。
【００４４】
まず、画像投影部３３０の画像投影処理（Ｓ７００）の詳細について図１０、図１１に基づいて説明する。
図１０は、カメラ座標系と世界座標系との関係図である。
図１１は、画像投影処理による変換前と変換後の画像のイメージである。
【００４５】
実施の形態１における三次元計測システム１００では、ＵＡＶ２００の周回飛行時に発生する機体バンクがもたらす画像歪みの影響を静止画像から除去するため、画像投影部３３０は、縦視差除去によりステレオペア画像を得る前に、オーバーラップ画像選別部３１０が選別した空撮画像を撮像時の姿勢角分補正する画像投影処理を行う。
具体的には、画像投影部３３０はカメラ中心（撮像装置５０のレンズ中央）を原点ｏとするカメラ座標系におけるオーバーラップ画像選別部３１０が選別した空撮画像の各画素の座標値（ｘ、ｙ、ｚ）と外部パラメータ標定部３２０が標定した外部パラメータである撮像時のカメラ（撮像装置５０）の姿勢角（ヨー角γ、ロール角β、ピッチ角α）（機体の姿勢角に同じ、または、対応）とを以下の回転式（式１）に代入してオーバーラップ画像選別部３１０が選別した空撮画像の各画素の世界座標値（ｘ’、ｙ’、ｚ’）を算出する。
【００４６】
【数２】
2008186145.tif 000003
【００４７】
画像投影部３３０は画像投影処理において世界座標平面に投影することでオーバーラップ画像選別部３１０が選別した空撮画像を中心投影画像から中心鉛直画像に変換する。画像投影部３３０は中心投影画像から中心鉛直画像に変換することで、あたかもレベルフライトする航空機や人工衛星から撮影したような空撮画像を得ることができる。つまり、実施の形態１における三次元計測システム１００は、画像投影部３３０の画像投影処理により、周回時の傾きが大きいＵＡＶ２００による空撮画像から従来の三次元計測システムにおいて撮像される空撮画像と同等の画像を得ることができる。
画像投影部３３０は、画像投影処理を行うことにより、図１０において、カメラの姿勢に対応するカメラ座標系ｘ−ｙ−ｚ（原点ｏ）で表され撮像面に写る空撮画像を地表面をｘ’−ｙ’平面とする世界座標系ｘ’−ｙ’−ｚ’（原点ｏ’）に投影して、鉛直方向から見た撮像範囲を表す画像を生成する。図１０において、カメラレンズの撮像面に写る空撮画像はカメラ中心ｏからカメラの姿勢方向に見た撮像範囲を表す中心投影画像（図１１左側参照）であり、カメラレンズの撮像面に写る空撮画像を世界座標系ｘ’−ｙ’平面に投影した撮像範囲を表す画像はカメラ中心ｏから鉛直下方に見た撮像範囲を表す中心鉛直画像（図１１右側参照）である。また、図１０において、ＵＡＶ２００の飛行方向をカメラ座標系のｙ軸方向とした場合、ＵＡＶ２００に固定されＵＡＶ２００と姿勢を共にするカメラの姿勢角はカメラ座標系のｘ軸回りの回転角をピッチ角αとし、カメラ座標系のｙ軸回りの回転角をロール角βとし、カメラ座標系のｚ軸回りの回転角をヨー角γとする。但し、カメラ座標系は任意に設定して構わない。また、図１０において、世界座標系の原点ｏ’は任意の点であり、例えば、ＵＡＶ２００の飛行開始点とする。
【００４８】
次に、縦視差除去部３４０の縦視差除去処理（Ｓ８００）の詳細について図１２、図１３に基づいて以下に説明する。
図１２は、実施の形態１における縦視差除去部３４０の縦視差除去処理（Ｓ８００）を示すフローチャートである。
図１３は、縦視差除去処理による変換前と変換後の画像のイメージである。
【００４９】
従来の航空機や人工衛星のレベルフライト状態といっても、全く機体の傾きが無いではない。このため、従来の三次元計測システムにおいても、空撮画像間には撮像時の姿勢角の違いにより、空撮画像間の対応点を結んだ線（エピポーラ拘束またはエピポーラ線）の方向と飛行方向とは一致しない。このため、従来の三次元計測システムにおいて、空撮画像をそのままステレオ視に使用した場合、空撮画像間の対応点の探索に時間がかかる上に、対応点の対応精度も悪くなる。
そこで、従来の三次元計測システムでは、空撮画像間で相互標定を行って縦視差を除去し、空撮画像間の視差を横視差の一方向のみにし、空撮画像を用いたステレオ視による三次元計測を行いやすくしている。
【００５０】
また、実施の形態１の三次元計測システム１００においても、画像投影部３３０の画像投影処理により空撮画像間の撮像時の姿勢角の違いによる影響を除去はしているが、姿勢角検出装置の姿勢角計測誤差などを理由に、画像投影部３３０が画像投影処理した空撮画像間のエピポーラ線の方向も飛行方向とは一致しない。
そこで、実施の形態１における三次元計測システム１００の縦視差除去部３４０は画像投影部３３０が画像投影処理した空撮画像に対して、従来の三次元計測システムと同様に、縦視差除去処理を行う。
【００５１】
図１２に示す縦視差除去処理において、縦視差除去部３４０は、まず、空撮画像から対応点となる特徴点を６点以上抽出する。手動で特徴点を抽出する場合、目視により空撮画像中のエッジやコーナーを特徴点として指定するとよい。また、自動で特徴点を抽出する場合、当該空撮画像において周囲の画素より所定の閾値以上輝度が高い画素を特徴点として抽出するとよい。また、特徴点の抽出手法にはＨａｒｒｉｓオペレータなどの手法を用いることができる（Ｓ８１０：特徴点抽出処理）
次に、縦視差除去部３４０は、Ｓ８１０で抽出した特徴点を空撮画像間で対応付ける。特徴点の対応付けには、ＫＬＴ  ｔｒａｃｋｅｒなどを用いることができる。また、縦視差除去部３４０は空撮画像のグレイ値分布に基づいてテンプレートマッチングを行うことにより空撮画像間の特徴点を対応付けてもよい（Ｓ８２０：特徴点対応付け処理）。
そして、縦視差除去部３４０はＳ８２０で対応付けた各特徴点（以下、対応点とする）に基づいて空撮画像間の縦視差を除去する（Ｓ８３０：縦視差除去演算処理）。
【００５２】
以下に、縦視差除去演算処理（Ｓ８３０）について説明する。
以下の説明において、対応点を基準として、左側範囲を写した空撮画像を“左画像（または左写真）”とし、右側範囲を写した空撮画像を“右画像（または右写真とする）”とする。また、左画像の座標系を左写真座標系、左写真座標系における座標値を左写真座標、右画像の座標系を右写真座標系、右写真座標系における座標値を右写真座標とする。
まず、縦視差除去部３４０は、６つ（以上）の対応点について、左画像の対応点Ｐの左写真座標（ｘｌ’’、ｙｌ’’、ｚｌ’’）と右画像の対応点Ｐの右写真座標（ｘｒ’’、ｙｒ’’、ｚｒ’’）とを以下の回転式（式２）に代入して回転式（式２）による座標の回転量を定める変数βｌ、γｌ、αｒ、βｒ、γｒを決定する。このとき、縦視差除去部３４０は、回転後の左画像の中心（以下、左写真の投影中心または左カメラの投影中心とする）を原点（０、０、０）とした場合に回転後の右画像の中心（以下、右写真の投影中心または右カメラの投影中心とする）が（１，０，０）となり、左カメラの投影中心と右カメラの投影中心と回転後の左画像の対応点Ｐの座標（ｘｌ’、ｙｌ’、ｚｌ’）と回転後の右画像の対応点Ｐの座標（ｘｒ’、ｙｒ’、ｚｒ’）とが同一平面上に位置するように変数βｌ、γｌ、αｒ、βｒ、γｒを決定する。求める変数が５つ有るため、縦視差除去部３４０は６点以上の対応点を用いて最小二乗法などにより変数の最適解を求める。以下、回転式（式２）による回転後の左写真座標系および右写真座標系をモデル座標系とし、モデル座標系における座標値をモデル座標とする。モデル座標系において、左画像と右画像とは同一平面（ｘ’−ｙ’平面）に位置し、左カメラの投影中心は原点（０、０、０）に位置し、右カメラの投影中心は（１、０、０）に位置する。世界座標系はモデル座標系の一例である。
【００５３】
【数３】
2008186145.tif 000004
【００５４】
そして、縦視差除去部３４０は決定した変数を設定した回転式（式２）に左画像の各画素の左写真座標を代入して左画像の各画素のモデル座標を算出し、決定した変数を設定した回転式（式２）に右画像の各画素の右写真座標を代入して右画像の各画素のモデル座標を算出する。回転式（式２）による回転により座標系を同じモデル座標系に変換した左画像と右画像とは、図１３に示すように、２方向（ｙ’方向、ｚ’方向）の視差が無く、横方向（ｘ’方向）の視差のみが残る。つまり、モデル座標系に変換後の左画像（撮像面）は横方向（ｘ’方向）に移動するとモデル座標系に変換後の右画像（撮像面）とオーバーラップし、左画像と右画像とにおいて各対応点の位置が一致する。
この結果、縦視差除去部３４０がモデル座標系に変換した左画像と右画像とはステレオ視に適したステレオペア画像となる。
【００５５】
次に、三次元計測部３５０の三次元計測処理（Ｓ９００）の詳細について図１４に基づいて説明する。
図１４は、ステレオ視の説明図である。
【００５６】
三次元計測部３５０は縦視差除去部３４０が生成したステレオペア画像をステレオ視して対応点の高さを計測する。また、三次元計測部３５０は計測した高さを用いて三次元地形図データであるＤＥＭを生成する。
ステレオ視とは、視点の異なる２枚の画像（ステレオペア画像）に写る計測対象物の撮像位置（画素位置）に基づいて三角測量により撮像地点（カメラ）から計測対象物までの距離Ｌを計測する方法である。距離Ｌを撮像地点の高度から減算することにより計測対象物の高さを算出することができる。
図１４に示すカメラの焦点距離Ｆ、左画像と右画像との撮像地点の距離を示すベースラインＢ、右画像における特定画素から対象物の特徴点を示す画素までの画素数Ｌｒと左画像における特定画素から計測対象物の特徴点を示す画素までの画素数Ｌｌとの差を示す画素ずれＬｒ−Ｌｌの関係に基づき、カメラから計測対象物（の特徴点）までの距離Ｌを算出する以下の式３が得られる。三次元計測部３５０は式３を用いてカメラから計測対象物までの距離Ｌを算出し、距離Ｌを用いて計測対象物の高さを算出し、計測対象物の高さを用いてＤＥＭを生成する。三次元計測部３５０は距離Ｌ、計測対象物の高さ、ＤＥＭを計測結果記憶部３７０に記憶し、表示装置９０１やプリンタ装置９０６などに出力する。ここで、計測対象物の特徴点は、縦視差除去処理における特徴点と同様に、手動で指定してもよいし、自動で抽出してもよい。
【００５７】
【数４】
2008186145.tif 000005
【００５８】
実施の形態１において、以下のような特徴を有する三次元計測装置３００について説明した。
三次元計測装置３００は、小型の自律飛行機（ＵＡＶ２００）に搭載したデジタルカメラから異なる周回で撮影した解像度の高い静止画像を用いることで、円または楕円の周回領域の内側全面に渡って任意点の高度を計測し、当該領域の高密度なＤＥＭを提供する。
【００５９】
実施の形態１により、三次元計測装置３００は建造物、地表面の高度を高精度に計測することが可能となり、当該領域について高密度なＤＥＭを提供することができる。
【００６０】
実施の形態２．
実施の形態２では、実施の形態１と同様に位置・姿勢検出装置６５を機体に搭載して自律飛行する自律飛行機（ＵＡＶ２００）により撮像された空撮画像を用いて、モザイク画像を生成するモザイク画像生成システム４００、モザイク画像生成装置５００、モザイク画像生成方法、モザイク画像生成プログラムについて説明する。
【００６１】
モザイク画像は各画像が部分的に重なって広域の画像を表すため、モザイク画像を形成する各画像には、実施の形態１で説明したステレオペア画像と同様に、適当なオーバーラップ率（例えば、６０％）が必要である。
このため、実施の形態１と実施の形態２とでは、適当にオーバーラップする静止画像の組み合わせを得る方法が同じである。
以下、実施の形態１と異なる事項を中心に説明し、説明しない事項については実施の形態１と同様であるものとする。
【００６２】
実施の形態２におけるモザイク画像生成システム４００（空撮画像処理システムの一例）は実施の形態１と同じＵＡＶ２００とモザイク画像生成装置５００とを有する。モザイク画像生成装置５００がＵＡＶ２００に搭載されていても構わない。また、ＵＡＶ２００と三次元計測装置３００とモザイク画像生成装置５００とで空撮画像処理システムを構成しても構わない。また、三次元計測装置３００とモザイク画像生成装置５００とで空撮画像処理装置を構成しても構わない。
【００６３】
図１５は、実施の形態２におけるモザイク画像生成装置５００の構成図である。
実施の形態２におけるモザイク画像生成システム４００が有するモザイク画像生成装置５００について、図１５に基づいて以下に説明する。
モザイク画像生成装置５００（空撮画像処理装置の一例）は、実施の形態１における三次元計測装置３００と同じオーバーラップ画像選別部３１０、外部パラメータ標定部３２０、画像投影部３３０および撮影情報記憶部３６０を備え（図５参照）、その他に、モザイク画像生成部５４０とモザイク画像記憶部５７０とを備える。
【００６４】
モザイク画像生成部５４０（空撮画像処理部の一例）はオーバーラップ画像選別部３１０が選別し、画像投影部３３０が世界座標系に投影した静止画像の組をオーバーラップさせてモザイク画像を生成する。
モザイク画像記憶部５７０はモザイク画像生成部５４０が生成したモザイク画像を記憶する。
【００６５】
モザイク画像生成部５４０は、実施の形態１の三次元計測装置３００と同様に、画像投影部３３０を備えることを特徴とする。
【００６６】
図１６は、実施の形態２におけるモザイク画像生成システム４００のモザイク画像生成方法を示すフローチャートである。
図１７は、カメラ座標系と世界座標系との関係図であり、実施の形態１で説明した図１０に対応する図である。
実施の形態２におけるモザイク画像生成システム４００のモザイク画像生成方法について、図１６、図１７に基づいて以下に説明する。
【００６７】
図１６に示すフローチャートにおいて、Ｓ３００〜Ｓ７００は実施の形態１（図８参照）と同じ処理である。但し、実施の形態２における画像投影部３３０の画像投影処理（Ｓ７００）は後述する回転並進式（式４）を用いて処理するのが好ましい。
以下に、回転並進式（式４）を用いた画像投影処理（Ｓ７００）とモザイク画像生成処理（Ｓ１０００）について説明する。
モザイク画像生成プログラムはコンピュータにモザイク画像生成装置５００の各部を制御させてＳ５００〜Ｓ７００およびＳ１０００の処理を実行する。
モザイク画像生成装置５００の各部はＣＰＵを用いてＳ５００〜Ｓ７００およびＳ１０００の処理を実行する。
【００６８】
＜Ｓ７００：画像投影処理＞
モザイク画像生成装置５００において、画像投影部３３０は以下の回転並進式（式４）を用いて画像投影処理を行う。回転並進式（式４）は、実施の形態１で説明した回転式（式１）による画像の回転に加えて、画像の平行移動を行う。回転並進式（式４）での平行移動量Ｔｘ、Ｔｙ、Ｔｚは、図１７の関係図において、回転並進式（式４）による画像投影後に、長方形（または正方形）の画像範囲の中央に撮像範囲が位置するように、また、長方形（または正方形）の画像範囲と撮像範囲との間の余白部分が少なくなるように平行移動後のカメラ中心Ｏ（Ｏｘ’、Ｏｙ’、Ｏｚ’）を定めるとよい。通常、モザイク画像生成などの画像処理は長方形（または正方形）の画像を処理単位として行われ、モザイク画像は複数の長方形（または正方形）の画像を部分的に重ね合わせて作成される。このため、投影後の画像は撮像範囲が中央に位置し、余白の少ないことが好ましい。そこで、画像投影部３３０は平行移動後の適当なカメラ中心Ｏを幾何計算により特定し、回転並進式（式４）を用いて画像投影処理を行う。
回転並進式（式４）で得られるあたかも真上から撮影したような画像をオルソ画像といい、複数のオルソ画像を部分的に重ね合わせたものをオルソモザイク画像という。
【００６９】
【数５】
2008186145.tif 000006
【００７０】
＜Ｓ１０００：モザイク画像生成処理＞
モザイク画像生成装置５００において、モザイク画像生成部５４０はオーバーラップ画像選別部３１０が選別し、画像投影部３３０が世界座標系に投影した静止画像の組をオーバーラップさせてモザイク画像を生成し、生成したモザイク画像をモザイク画像記憶部５７０に記憶する。
【００７１】
以下に、モザイク画像生成部５４０のモザイク画像生成処理（Ｓ１０００）の詳細について図１８、図１９、図２０に基づいて説明する。
図１８は、実施の形態２におけるモザイク画像生成部５４０のモザイク画像生成処理（Ｓ１０００）を示すフローチャートである。
図１９は、画像間の特徴点の対応付けを示す図である。
図２０は、画像を重ね合わせたモザイク画像を示す図である。
【００７２】
図１８に示すモザイク画像生成処理において、Ｓ８１０〜Ｓ８２０の処理は実施の形態１における縦視差除去処理（図１２参照）と同様である。
モザイク画像生成部５４０は特徴点抽出処理（Ｓ８１０）と特徴点対応付け処理（Ｓ８２０）とにより、図１９に示すように、左画像上での特徴点（Ａ、Ｂ、Ｃ、Ｄ）および右画像上での特徴点（Ａ’、Ｂ’、Ｃ’、Ｄ’）を抽出し、左画像上の特徴点と右画像上の特徴点とを対応付ける。図１９は、ＡとＡ’、ＢとＢ’、ＣとＣ’、ＤとＤ’が対応付けられたことを示している。
モザイク画像生成部５４０は、Ｓ１０３０の射影変換処理により、図２０に示すように、各対応点が重なるように基準画像（左画像）に射影画像（右画像）を重ね合わせてモザイク画像を生成する。
上記「左画像」「右画像」については実施の形態１におけるＳ８３０の説明を参照のこと。
【００７３】
Ｓ１０３０において、モザイク画像生成部５４０は、基準画像に射影画像を重ね合わせるために、以下の射影変換式（式５）を用いて射影画像を射影変換する。
ここで、射影変換とは、基準画像がｘ−ｙ平面に位置する座標系を基準座標系とした場合に、基準画像座標系で表した射影画像の各画素の三次元座標（ｘ２、ｙ２、ｚ２）をｘ−ｙ平面の二次元座標（ｘ１、ｙ１）に射影することをいう。
モザイク画像生成部５４０は射影変換により射影画像を基準画像と同一平面（ｘ−ｙ平面）上に表すことができる。つまり、モザイク画像生成部５４０は撮像時のカメラ姿勢の違いによる画像間の相対的な歪みを除去し、複数毎の画像を重ね合わせてモザイク画像を生成することができる。
また、モザイク画像生成部５４０はＧＩＳに予め登録されている高解像度の道路地図にモザイク画像を重畳させてＧＩＳを実画像化する。また、モザイク画像生成部５４０は、ＧＩＳに予め登録されている高解像度の道路地図を基準画像、空撮画像を射影画像としてＧＩＳを実画像化してもよい。モザイク画像生成部５４０は、例えば、高低差が無くエッジが明瞭な交差点を特徴点とし、モザイク画像生成時の空撮画像の重ね合わせと同様にして、道路地図とモザイク画像とを重畳させる。
【００７４】
射影変換式（式５）の係数ａ０、ａ１、ａ２、ｂ０，ｂ１、ｂ２、ｃ０、ｃ１、ｃ２はモザイク画像生成部５４０が特定する。モザイク画像生成部５４０は、４つ（以上）の対応点について、基準画像がｘ−ｙ平面に位置する基準画像座標系における基準画像の対応点の座標（ｘ１、ｙ１）と基準画像座標系における射影画像の対応点の座標（ｘ２，ｙ２，ｚ２）とを射影変換式（式５）に代入して係数ａ０、ａ１、ａ２、ｂ０，ｂ１、ｂ２、ｃ０、ｃ１、ｃ２を特定する。求める係数は９つ有るが、任意の１つの係数で分子分母を通分することにより独立した未知数は８つとなる。また、対応点を１つ指定することでｘ１の式とｙ１の式との２つの式をたてることができる。そのため、モザイク画像生成部５４０は４点以上の対応点を用いて最小二乗法などにより９つの係数の最適解を求める。
【００７５】
【数６】
2008186145.tif 000007
【００７６】
実施の形態２において、以下のような特徴を有するモザイク画像生成システム４００について説明した。
モザイク画像生成システム４００は、機体搭載センサ（位置検出装置６０、姿勢検出装置６５、圧力計７０）からの情報に基づいて、飛行体（ＵＡＶ２００）から撮影した画像の歪みを除去する。
モザイク画像生成システム４００は、歪みを除去した画像を複数枚用いて一枚のモザイク画像とする。
モザイク画像生成システム４００は機体搭載センサにＧＰＳ、ジャイロ、または、複数台のＧＰＳを複合させたＧＰＳジャイロを用いる。
モザイク画像生成システム４００は、飛行体として小型飛行機、軽飛行機またはヘリコプターを用いる。
【００７７】
実施の形態２により、モザイク画像生成装置５００は、飛行体がバンクした状態で取得した画像を用いて地理情報システム（ＧＩＳ）などに利用できる精確なモザイク画像を生成することができる。また、モザイク画像生成装置５００は計測条件の違う画像同士を用いても精確なモザイク画像を生成することができる。
実施の形態２におけるモザイク画像生成システム４００では、ＵＡＶ飛行中に、無線で空撮画像とセンサデータ（測位情報、姿勢情報）とを地上のモザイク画像生成装置５００に送信する。モザイク画像生成装置５００は機体高度に基づいて各空撮画像の縮尺を合わせ、撮像時のＵＡＶの姿勢角に基づいて空撮画像を回転してモザイク画像を生成し、モザイク画像を測位情報と共にＧＩＳに登録する。このモザイク画像生成システム４００は災害現場の状況をリアルタイムに把握することなどに活用できる。
【図面の簡単な説明】
【００７８】
【図１】実施の形態１におけるＵＡＶ２００を用いた飛行経路と空撮画像との関係図。
【図２】従来の飛行経路と空撮画像との関係図。
【図３】実施の形態１におけるＵＡＶ２００の構成図。
【図４】実施の形態１におけるＵＡＶ２００の構成図。
【図５】実施の形態１における三次元計測装置３００の構成図。
【図６】実施の形態１におけるＵＡＶ２００のコンピュータハードウェアの一例を示す図。
【図７】実施の形態１における三次元計測装置３００のコンピュータハードウェアの一例を示す図。
【図８】実施の形態１における三次元計測システム１００の三次元計測方法を示すフローチャート。
【図９】従来の三次元計測方法を示すフローチャート。
【図１０】カメラ座標系と世界座標系との関係図。
【図１１】画像投影処理による変換前と変換後の画像のイメージ。
【図１２】実施の形態１における縦視差除去部３４０の縦視差除去処理（Ｓ８００）を示すフローチャート。
【図１３】縦視差除去処理による変換前と変換後の画像のイメージ。
【図１４】ステレオ視の説明図。
【図１５】実施の形態２におけるモザイク画像生成装置５００の構成図。
【図１６】実施の形態２におけるモザイク画像生成システム４００のモザイク画像生成方法を示すフローチャート。
【図１７】カメラ座標系と世界座標系との関係図。
【図１８】実施の形態２におけるモザイク画像生成部５４０のモザイク画像生成処理（Ｓ１０００）を示すフローチャート。
【図１９】画像間の特徴点の対応付けを示す図。
【図２０】画像の重ね合わせたモザイク画像を示す図。
【符号の説明】
【００７９】
５０  撮像装置、５５  撮影情報記憶部、６０  位置検出装置、６５  姿勢検出装置、７０  圧力計、７５  周回飛行経路指示部、８０  自律飛行制御部、８５  操舵装置、９０  通信装置、１００  三次元計測システム、２００  ＵＡＶ、２１０  飛行体本体、２２０  飛行体搭載機器、３００  三次元計測装置、３１０  オーバーラップ画像選別部、３２０  外部パラメータ標定部、３３０  画像投影部、３４０  縦視差除去部、３５０  三次元計測部、３６０  撮影情報記憶部、３７０  計測結果記憶部、４００  モザイク画像生成システム、５００  モザイク画像生成装置、５４０  モザイク画像生成部、５７０  モザイク画像記憶部、９０１  表示装置、９０２  キーボード、９０３  マウス、９０４  ＦＤＤ、９０５  ＣＤＤ、９０６  プリンタ装置、９０７  スキャナ装置、９１１  ＣＰＵ、９１２  バス、９１３  ＲＯＭ、９１４  ＲＡＭ、９１５  通信ボード、９２０  磁気ディスク装置、９２１  ＯＳ、９２２  ウィンドウシステム、９２３  プログラム群、９２４  ファイル群。
【図１】
2008186145.tif 000009
【図２】
2008186145.tif 000010
【図３】
2008186145.tif 000011
【図４】
2008186145.tif 000012
【図５】
2008186145.tif 000013
【図６】
2008186145.tif 000014
【図７】
2008186145.tif 000015
【図８】
2008186145.tif 000016
【図９】
2008186145.tif 000017
【図１０】
2008186145.tif 000018
【図１１】
2008186145.tif 000019
【図１２】
2008186145.tif 000020
【図１３】
2008186145.tif 000021
【図１４】
2008186145.tif 000022
【図１５】
2008186145.tif 000023
【図１６】
2008186145.tif 000024
【図１７】
2008186145.tif 000025
【図１８】
2008186145.tif 000026
【図１９】
2008186145.tif 000027
【図２０】
2008186145.tif 000028
【手続補正書】
【提出日】平成20年2月21日(2008.2.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
無人で飛行する自律小型飛行機と前記自律小型飛行機から撮像された空撮画像を処理する空撮画像処理装置とを有する空撮画像処理システムであり、
前記自律小型飛行機は、
撮像対象にする特定地域の地図情報と予め定められた撮像位置とに基づいて前記自律小型飛行機を複数回周回させる飛行経路を決定する周回飛行経路指示部と、
前記自律小型飛行機の位置を測位する測位装置と、
前記自律小型飛行機の姿勢角を計測する姿勢検出装置と、
前記測位装置により測位された前記自律小型飛行機の位置と前記姿勢検出装置により計測された前記自律小型飛行機の姿勢角とに基づいて、前記周回飛行経路指示部により決定された前記飛行経路を前記自律小型飛行機に飛行させる自律飛行制御部と、
前記測位装置により測位された前記自律小型飛行機の位置に基づいて、前記自律小型飛行機が前記撮像位置を通過するときに前記特定地域の空撮画像を撮像する撮像装置とを備え、
前記空撮画像処理装置は、
特定地域上空を複数回周回する前記自律小型飛行機の前記撮像装置により撮像された複数の空撮画像と各撮像時に前記測位装置により測位された前記自律小型飛行機の位置と各撮像時に前記姿勢検出装置により計測された前記自律小型飛行機の姿勢角とを入力する入力部と、
前記入力部が入力した各撮像時の前記自律小型飛行機の位置と姿勢角とに基づいて前記入力部が入力した複数の空撮画像それぞれの撮像範囲をＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を用いて推定し、推定した撮像範囲が所定の範囲以上重複する空撮画像の組み合わせであると共に異なる周回で撮像された空撮画像の組み合わせを前記複数の空撮画像の中から選択する空撮画像選択部と、
前記空撮画像選択部が選択した空撮画像の組み合わせの各空撮画像を、ＣＰＵを用いて、前記入力部が入力した当該空撮画像の撮像時の前記自律小型飛行機の姿勢角に基づいて回転移動させると共に、前記入力部が入力した当該空撮画像の撮像時の前記自律小型飛行機の位置に基づいて平行移動させて、世界座標系に投影する画像投影部と、
前記画像投影部が世界座標系に投影した各空撮画像を用いて前記特定地域のモザイク画像を生成するモザイク画像生成部とを備えた
ことを特徴とする空撮画像処理システム。
【請求項２】
前記画像投影部は以下の式により各空撮画像を世界座標系に投影することを特徴とする請求項１記載の空撮画像処理システム。
【数１】
2008186145.tif 000029
【請求項３】
前記空撮画像処理装置は、さらに、
前記画像投影部が世界座標系に投影した各空撮画像を用いてステレオ視を行い、前記特定地域を三次元計測する三次元計測部
を備えたことを特徴とする請求項１〜請求項２いずれかに記載の空撮画像処理システム。
【請求項４】
無人で飛行する自律小型飛行機と前記自律小型飛行機から撮像された空撮画像を処理する空撮画像処理装置とを有する空撮画像処理システムの空撮画像処理方法であり、
前記自律小型飛行機において、
周回飛行経路指示部は、撮像対象にする特定地域の地図情報と予め定められた撮像位置とに基づいて前記自律小型飛行機を複数回周回させる飛行経路を決定する周回飛行経路指示処理を行い、
測位装置は、前記自律小型飛行機の位置を測位する測位処理を行い、
姿勢検出装置は、前記自律小型飛行機の姿勢角を計測する姿勢検出処理を行い、
自律飛行制御部は、前記測位装置により測位された前記自律小型飛行機の位置と前記姿勢検出装置により計測された前記自律小型飛行機の姿勢角とに基づいて、前記周回飛行経路指示部により決定された前記飛行経路を前記自律小型飛行機に飛行させる自律飛行制御処理を行い、
撮像装置は、前記測位装置により測位された前記自律小型飛行機の位置に基づいて、前記自律小型飛行機が前記撮像位置を通過するときに前記特定地域の空撮画像を撮像する撮像処理を行い、
前記空撮画像処理装置において、
入力部は、特定地域上空を複数回周回する前記自律小型飛行機の前記撮像装置により撮像された複数の空撮画像と各撮像時に前記測位装置により測位された前記自律小型飛行機の位置と各撮像時に前記姿勢検出装置により計測された前記自律小型飛行機の姿勢角とを入力する入力処理を行い、
空撮画像選択部は、前記入力部が入力した各撮像時の前記自律小型飛行機の位置と姿勢角とに基づいて前記入力部が入力した複数の空撮画像それぞれの撮像範囲をＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を用いて推定し、推定した撮像範囲が所定の範囲以上重複する空撮画像の組み合わせであると共に異なる周回で撮像された空撮画像の組み合わせを前記複数の空撮画像の中から選択する空撮画像選択処理を行い、
画像投影部は、前記空撮画像選択部が選択した空撮画像の組み合わせの各空撮画像を、ＣＰＵを用いて、前記入力部が入力した当該空撮画像の撮像時の前記自律小型飛行機の姿勢角に基づいて回転移動させると共に、前記入力部が入力した当該空撮画像の撮像時の前記自律小型飛行機の位置に基づいて平行移動させて、世界座標系に投影する画像投影処理を行い、
モザイク画像生成部は、前記画像投影部が世界座標系に投影した各空撮画像を用いて前記特定地域のモザイク画像を生成するモザイク画像生成処理を行う
ことを特徴とする空撮画像処理システムの空撮画像処理方法。
【請求項５】
特定地域上空を複数回飛行する自律小型飛行機から撮像された複数の空撮画像と各撮像時の前記自律小型飛行機の位置と各撮像時の前記自律小型飛行機の姿勢角とを入力する入力部と、
各撮像時の前記自律小型飛行機の位置と姿勢角とに基づいて前記複数の空撮画像それぞれの撮像範囲をＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を用いて推定し、推定した撮像範囲が所定の範囲以上重複する空撮画像の組み合わせを選択する空撮画像選択部と、
前記空撮画像選択部が選択した各空撮画像を、ＣＰＵを用いて、前記自律小型飛行機の姿勢角に基づいて回転移動させると共に、前記自律小型飛行機の位置に基づいて平行移動させて、世界座標系に投影する画像投影部と、
前記画像投影部が世界座標系に投影した各空撮画像を用いて前記特定地域のモザイク画像を生成するモザイク画像生成部と
を備えたことを特徴とする空撮画像処理装置。
【請求項６】
入力部は、特定地域上空を複数回飛行する自律小型飛行機から撮像された複数の空撮画像と各撮像時の前記自律小型飛行機の位置と各撮像時の前記小型飛行機の姿勢角とを入力する入力処理を行い、
空撮画像選択部は、各撮像時の前記自律小型飛行機の位置と姿勢角とに基づいて前記複数の空撮画像それぞれの撮像範囲をＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を用いて推定し、推定した撮像範囲が所定の範囲以上重複する空撮画像の組み合わせを選択する空撮画像選択処理を行い、
画像投影部は、前記空撮画像選択部が選択した各空撮画像を、ＣＰＵを用いて、前記自律小型飛行機の姿勢角に基づいて回転移動させると共に、前記自律小型飛行機の位置に基づいて平行移動させて、世界座標系に投影する画像投影処理を行い、
モザイク画像生成部は、前記画像投影部が世界座標系に投影した各空撮画像を用いて前記特定地域のモザイク画像を生成するモザイク画像生成処理を行う
ことを特徴とする空撮画像処理方法。
【手続補正書】
【提出日】平成20年5月27日(2008.5.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
特定地域上空を複数回飛行する機体から撮像された複数の空撮画像と各撮像時の前記機体の位置と各撮像時の前記機体の姿勢角とを入力する入力部と、
各撮像時の前記機体の位置と姿勢角とに基づいて前記複数の空撮画像それぞれの撮像範囲をＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を用いて推定し、推定した撮像範囲が所定の範囲以上重複する空撮画像の組み合わせを選択する空撮画像選択部と、
前記空撮画像選択部が選択した空撮画像の組み合わせの各空撮画像を、ＣＰＵを用いて、当該空撮画像を撮像時の前記機体の姿勢角に基づいて回転移動させると共に、当該空撮画像を撮像時の前記機体の位置に基づいて平行移動させて、世界座標系に投影する画像投影部と、
前記画像投影部が世界座標系に投影した各空撮画像を用いて前記特定地域のモザイク画像を生成するモザイク画像生成部と
を備えたことを特徴とする空撮画像処理装置。
【請求項２】
前記画像投影部は以下の式により各空撮画像を世界座標系に投影することを特徴とする請求項１記載の空撮画像処理装置。
【数１】
2008186145.tif 000030
【請求項３】
前記空撮画像処理装置は、さらに、
前記画像投影部が世界座標系に投影した各空撮画像を用いてステレオ視を行い、前記特定地域を三次元計測する三次元計測部
を備えたことを特徴とする請求項１〜請求項２いずれかに記載の空撮画像処理装置。
【請求項４】
入力部は、特定地域上空を複数回飛行する機体から撮像された複数の空撮画像と各撮像時の前記機体の位置と各撮像時の前記機体の姿勢角とを入力する入力処理を行い、
空撮画像選択部は、各撮像時の前記機体の位置と姿勢角とに基づいて前記複数の空撮画像それぞれの撮像範囲をＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を用いて推定し、推定した撮像範囲が所定の範囲以上重複する空撮画像の組み合わせを選択する空撮画像選択処理を行い、
画像投影部は、前記空撮画像選択部が選択した空撮画像の組み合わせの各空撮画像を、ＣＰＵを用いて、当該空撮画像を撮像時の前記機体の姿勢角に基づいて回転移動させると共に、当該空撮画像を撮像時の前記機体の位置に基づいて平行移動させて、世界座標系に投影する画像投影処理を行い、
モザイク画像生成部は、前記画像投影部が世界座標系に投影した各空撮画像を用いて前記特定地域のモザイク画像を生成するモザイク画像生成処理を行う
ことを特徴とする空撮画像処理方法。