【手続補正書】
【提出日】平成28年4月19日(2016.4.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
時系列的に連続して同一領域を撮像した複数枚の画像からモザイク画像を生成するモザイク画像生成装置であって、
前記時系列的に連続した２枚の画像から、該画像内で重複した領域内の同一点の組である対応点を求める対応点検出手段と、
前記複数枚の画像において特定平面を追跡する平面追跡手段と、
画像更新手段とを備え、
前記平面追跡手段は、前記対応点のうち、前記特定平面上にある対応点のみから、前記２枚の画像間の幾何関係を推定する幾何関係推定部を有し、
前記画像更新手段は、前記２枚の画像間の前記幾何関係に基づき、前記モザイク画像を生成する
ことを特徴とするモザイク画像生成装置。
【請求項２】
請求項１において、
前記平面追跡手段は、
前記２枚の画像間の前記対応点から、追跡平面としての前記特定平面に含まれる対応点のみを平面内対応点として抽出する追跡平面内対応点抽出部と、
前記平面内対応点から前記追跡平面の幾何関係を推定する追跡平面幾何推定部と、
前記２枚の画像間の全対応点から前記幾何関係を満足する対応点のみを抽出する追跡平面対応点更新部とを備える
ことを特徴とするモザイク画像生成装置。
【請求項３】
請求項１において、
前記平面追跡手段は、
前記２枚の画像間の対応点を異なる幾何関係となる組に分類する複数平面抽出部と、
前記２枚の画像のうち時系列的に前の画像におけるモザイク画像生成で前記特定平面上に存在すると推定された対応点を含む幾何関係の組を探索する追跡平面判定部とを備える
ことを特徴とするモザイク画像生成装置。
【請求項４】
請求項２において、
前記画像更新手段は、
モザイク画像更新部とフレームバッファとを備え、
前記モザイク画像更新部は、前記幾何関係に基づいて前記追跡平面が一致する様に前記２枚の撮影画像を１枚の画像に変形・重畳することで、前記モザイク画像を更新する
ことを特徴とするモザイク画像生成装置。
【請求項５】
請求項４において、
前記追跡平面内対応点抽出部は、
前記特定平面の追跡に失敗した場合に、別の特定平面に追跡対象を切り替える機能と、
作成済みの前記モザイク画像を破棄する機能とを備える
ことを特徴とするモザイク画像生成装置。
【請求項６】
請求項１において、
前記平面追跡手段は、
前記画像が航空機からカメラで撮影された空撮画像かつ前記特定平面が地面平面である場合に、前記航空機が地面平面から離着陸することを用いて、離着陸時の直下の平面を前記特定平面として追跡する
ことを特徴とするモザイク画像生成装置。
【請求項７】
請求項６において、
前記画像更新手段は、
前記平面上の対応点のみから推定された前記幾何関係に基づいて前記カメラの位置姿勢の軌跡を推定し、
表示装置に前記モザイク画像と前カメラの位置姿勢情報を出力する
ことを特徴とするモザイク画像生成装置。
【請求項８】
移動するカメラにより時系列的に連続して同一領域を撮影した複数枚の画像から、モザイク画像生成装置により、モザイク画像を生成する方法であって、
前記モザイク画像生成装置は、対応点検出手段と、平面追跡手段と、画像更新手段とを備えており、
前記対応点検出手段により、前記複数枚の画像のうち同じ領域が重複して撮像されている２画像から前記同じ領域内の同一点の組である対応点を求める対応点検出工程と、
前記平面追跡手段により、
前記複数枚の画像において特定平面を追跡平面として追跡する平面追跡工程と、
前記対応点のうち前記特定平面上にあるもののみから前記２画像間の幾何関係を推定する幾何関係推定工程と、
前記画像更新手段により、前記幾何関係に基づき前記２画像から前記モザイク画像を生成するモザイク画像更新工程とを有する
ことを特徴とするモザイク画像生成方法。
【請求項９】
請求項８において、
前記平面追跡工程は、
前記２画像間の対応点から前記特定平面に含まれる対応点のみを平面内対応点として抽出する工程と、
前記平面内対応点から前記追跡平面の幾何関係を推定する工程と、
前記２画像間の全対応点から前記幾何関係を満足する対応点のみを抽出する工程とを含む
ことを特徴とするモザイク画像生成方法。
【請求項１０】
請求項８において、
前記平面追跡工程は、
前記２画像間の対応点を異なる幾何関係となる組に分類する工程と、
前記２画像のうち時系列的に前の画像におけるモザイク画像生成で前記特定平面上に存在する推定された対応点を含む幾何関係の組を探索する工程とを含む
ことを特徴とするモザイク画像生成方法。
【請求項１１】
請求項９において、
前記平面追跡工程は、
前記特定平面の追跡に失敗した場合に、
別の特定平面に追跡対象を切り替える工程と、
作成済みの前記モザイク画像を破棄する工程とを含む
ことを特徴とするモザイク画像生成方法。
【請求項１２】
請求項８において、
前記平面追跡工程は、
前記画像が航空機からカメラにより撮影された空撮画像でかつ前記特定平面が地面平面である場合に、
前記航空機が地面平面から離着陸することを用いて、離着陸時の直下の平面を前記特定平面として追跡する、
ことを特徴とするモザイク画像生成方法。
【請求項１３】
請求項１２において、
前記平面上の対応点のみから推定された前記幾何関係に基づいて前記カメラの位置姿勢の軌跡を推定する工程を有する
ことを特徴とするモザイク画像生成方法。
【請求項１４】
移動するカメラにより連続的に撮影した複数枚の画像から、モザイク画像生成装置により、モザイク画像を生成するための、モザイク画像生成プログラムであって、
コンピュータを、
前記複数枚の画像のうち同一領域が重複して撮像されている２画像から前記同一領域内の同一点の組である対応点を求める対応点検出手段と、
前記複数枚の画像において特定平面を追跡平面として追跡し、前記対応点のうち前記平面上にあるもののみから前記２画像間の幾何関係を推定する平面追跡手段と、
前記幾何関係に基づき２画像から前記モザイク画像を生成する画像更新手段として機能させるためのプログラム。
【請求項１５】
請求項１４において、
前記コンピュータを、
前記２画像間の対応点から前記特定平面に含まれる対応点のみを平面内対応点として抽出する手段と、
前記平面内対応点から前記追跡平面の幾何関係を推定する手段と、
前記２画像間の全対応点から前記幾何関係を満足する対応点のみを抽出する手段として機能させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
画像更新部２４０は、幾何関係推定結果２８０と歪補正画像３２０からモザイク画像２９０の更新とカメラの位置姿勢推定を行い、表示装置２５０にモザイク画像２９０と位置姿勢情報３５０を出力する。表示装置２５０は、地上局１１０において、モザイク画像２９０と位置姿勢情報３５０をユーザに提示する。なお、モザイク画像２９０のデータは、記憶装置（フレームバッファ）にも保持される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
［対応点検出部］
図３は、モザイク画像生成装置２００の対応点検出部２２０の構成例を示す図である。対応点検出部２２０は、特徴点抽出部３００と対応点探索部３１０によって構成される。特徴点抽出部３００は、カメラ１３０から入力した撮影画像２６０から特徴点を抽出し、歪補正画像３２０と特徴点情報３３０を出力する。歪補正画像３２０は、画像更新部２４０に入力される。対応点探索部３１０は、歪補正画像３２０と特徴点情報３３０を入力して、時系列的に連続した歪補正画像３２０のペアから対となる特徴点を探索し、対応点情報２７０として平面追跡部２３０に出力する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００７３
【補正方法】変更
【補正の内容】
【００７３】
複数平面抽出部１０００は処理を開始したらまず対応点読込ステップ１１００を実行する。対応点読込ステップ１１００では、対応点検出部２２０から対応点情報２７０を読み込み、幾何関係推定対応点として幾何関係推定ステップ１１１０を実行する。
幾何関係推定ステップ１１１０では、幾何関係推定対応点からホモグラフィ推定とＲＡＮＳＡＣ法を使用して幾何関係の推定を行い、幾何関係推定結果とその幾何関係に合致する対応点の組を平面推定結果として、終了判定ステップ１１２０を実行する。
この際、画面内に複数の特定平面が存在すると仮定した場合、ＲＡＮＳＡＣ法により最も合致する対応点数の多い特定平面上の幾何関係が推定結果として求められる。