(57)【要約】【課題】撮像装置に対する対象物の相対方位の測定精度が低下することを抑制する。【解決手段】画像処理装置１０は、慣性航法装置３０と一体的に構造体に固定されて構造体の周囲の一部を撮像する基準撮像装置２０と、構造体に固定され、撮像された画像の一部が基準撮像装置２０で撮像された画像に含まれるように構造体の周囲の一部を撮像する参照撮像装置４０と、基準撮像装置２０の画像および参照撮像装置４０の画像の特徴点をそれぞれ抽出する特徴点抽出部６４と、基準撮像装置２０の画像の特徴点の位置に対する参照撮像装置４０の画像の特徴点の位置の相対値を導出する相対値導出部６６と、を備える。【選択図】図２
2019215702.tif 000002
【特許請求の範囲】
【請求項１】
慣性航法装置と一体的に構造体に固定されて前記構造体の周囲の一部を撮像する基準撮像装置と、
前記構造体に固定され、撮像された画像の一部が前記基準撮像装置で撮像された画像に含まれるように前記構造体の周囲の一部を撮像する参照撮像装置と、
前記基準撮像装置の画像および前記参照撮像装置の画像の特徴点をそれぞれ抽出する特徴点抽出部と、
前記基準撮像装置の画像の特徴点の位置に対する前記参照撮像装置の画像の特徴点の位置の相対値を導出する相対値導出部と、
を備える画像処理装置。
【請求項２】
撮像時刻が異なる前記参照撮像装置の複数の画像について導出された複数の相対値に基づいて、前記基準撮像装置の画像と同時刻における相対値を導出する相対値補間部を備える請求項１に記載の画像処理装置。
【請求項３】
導出された相対値に基づいて、前記参照撮像装置の画像と前記基準撮像装置の画像とを各特徴点が重なるように合成する画像合成部を備える請求項１または２に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像装置で撮像された画像を処理する画像処理装置に関する。
【背景技術】
【０００２】
特許文献１には、撮像方向が異なる複数の撮像装置によって撮像された各画像を単に合成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１１０５７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、航空機の翼は、乱気流などのような翼にかかる力を分散させたり翼が受ける衝撃を減らすために、しなやかな構造体で構成されている。このような構造体に撮像装置が固定されると、構造体が撓んだり変形することによって、撮像装置の視軸（光軸）がずれる。撮像装置の視軸がずれると、撮像された画像に基づいて撮像装置（例えば、自機）に対する対象物（例えば、他機など）の相対方位を測定する際の測定精度（測角精度）が低下する。
【０００５】
そこで、本発明は、撮像装置に対する対象物の相対方位の測定精度が低下することを抑制することが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の画像処理装置は、慣性航法装置と一体的に構造体に固定されて構造体の周囲の一部を撮像する基準撮像装置と、構造体に固定され、撮像された画像の一部が基準撮像装置で撮像された画像に含まれるように構造体の周囲の一部を撮像する参照撮像装置と、基準撮像装置の画像および参照撮像装置の画像の特徴点をそれぞれ抽出する特徴点抽出部と、基準撮像装置の画像の特徴点の位置に対する参照撮像装置の画像の特徴点の位置の相対値を導出する相対値導出部と、を備える。
【０００７】
また、撮像時刻が異なる参照撮像装置の複数の画像について導出された複数の相対値に基づいて、基準撮像装置の画像と同時刻における相対値を導出する相対値補間部を備えてもよい。
【０００８】
また、導出された相対値に基づいて、参照撮像装置の画像と基準撮像装置の画像とを各特徴点が重なるように合成する画像合成部を備えてもよい。
【発明の効果】
【０００９】
本発明によれば、撮像装置に対する対象物の相対方位の測定精度が低下することを抑制することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】航空機の構成を示す斜視図である。
【図２】本実施形態による画像処理装置の構成を説明する説明図である。
【図３】基準撮像装置で撮像された画像と、参照撮像装置で撮像された画像との関係を説明する説明図である。
【図４】参照撮像装置の視軸がずれたときの画像を説明する説明図である。
【図５】特徴点抽出部について説明する説明図である。
【図６】相対値導出部について説明する説明図である。
【図７】画像合成部について説明する説明図である。
【図８】基準画像の撮像時刻および参照画像の撮像時刻を説明する説明図である。
【図９】時刻合わせ部について説明する説明図である。
【図１０】相対値補間部について説明する説明図である。
【図１１】処理部の動作を説明するフローチャートである。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本発明の実施形態の一態様について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易にするための例示に過ぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１２】
図１は、航空機１の構成を示す斜視図である。本実施形態による画像処理装置１０は、例えば、航空機１に適用される。図２は、本実施形態による画像処理装置１０の構成を説明する説明図である。図２では、信号の流れを破線の矢印で示す。
【００１３】
図２に示すように、画像処理装置１０は、基準撮像装置２０、慣性航法装置３０、参照撮像装置４０、アイソレータ５０、処理部６０を含んで構成される。以後、基準撮像装置２０と参照撮像装置４０とを総称して、撮像装置と呼ぶことがある。
【００１４】
基準撮像装置２０は、慣性航法装置３０と一体的に航空機１の胴体２に固定される。胴体２は、航空機１を構成する構造体である。基準撮像装置２０は、撮像方向を示す視軸（光軸）が航空機１の前方に延びるように固定される。基準撮像装置２０は、航空機１の前方を所定の画角（視野角）で撮像する。
【００１５】
慣性航法装置３０は、例えば、ＩＮＵ（Inertial Navigation Unit）である。慣性航法装置３０は、基準撮像装置２０の姿勢および移動態様を検出する。基準撮像装置２０の姿勢は、具体的には、基準撮像装置２０における互いに直交する３軸の各軸周りの角度（ロール、ピッチ、ヨー）である。基準撮像装置２０の移動態様は、例えば、基準撮像装置２０における互いに直交する３軸の各軸方向の加速度、速度および距離などである。例えば、慣性航法装置３０は、基準撮像装置２０の各軸方向の加速度を検出する加速度計と、基準撮像装置２０の各軸周りの角速度を検出する角速度計とを含んで構成される。
【００１６】
画像処理装置１０は、基準撮像装置２０が慣性航法装置３０と一体的に固定されているため、慣性航法装置３０によって検出される基準撮像装置２０の姿勢および移動態様に基づいて、基準撮像装置２０の視軸の絶対方位を導出することが可能である。
【００１７】
図１に示すように、航空機１には、２個の参照撮像装置４０が設けられている。参照撮像装置４０は、航空機１の翼４に設けられる。翼４は、航空機１を構成する構造体である。具体的には、一方の参照撮像装置４０は、右翼に設けられており、他方の参照撮像装置４０は、左翼に設けられている。図２では、一方の参照撮像装置４０（右翼に設けられている参照撮像装置４０）を例示している。図２では、基準撮像装置２０および参照撮像装置４０の撮像方向が、紙面の奥に向かう方向となっている。なお、参照撮像装置４０の数は、２個に限らず、１個でもよいし、３個以上であってもよい。
【００１８】
参照撮像装置４０は、慣性航法装置３０と一体的に固定されていない撮像装置である。参照撮像装置４０は、アイソレータ５０を介して航空機１の翼４に固定される。アイソレータ５０は、例えば、ゴムやバネなどの弾性体によって構成される。アイソレータ５０は、翼４の微振動を減衰して参照撮像装置４０に伝わることを抑制する。
【００１９】
参照撮像装置４０は、視軸が基準撮像装置２０の視軸と異なるように航空機１に固定される。例えば、右翼に設けられる参照撮像装置４０の視軸は、基準撮像装置２０の視軸に対して進行方向右側に延びる。つまり、右翼に設けられる参照撮像装置４０は、右斜め前方を所定の画角で撮像する。なお、基準撮像装置２０および参照撮像装置４０は、航空機１に対して遠方を撮像するため、実際には、基準撮像装置２０の視軸と右翼の参照撮像装置４０の視軸との間の角度は、非常に小さい。
【００２０】
また、左翼に設けられる参照撮像装置４０の視軸は、基準撮像装置２０の視軸に対して進行方向左側に延びる。つまり、左翼に設けられる参照撮像装置４０は、左斜め前方を所定の画角で撮像する。なお、右翼の参照撮像装置４０と同様に、実際には、基準撮像装置２０の視軸と左翼の参照撮像装置４０の視軸との間の角度は、非常に小さい。
【００２１】
なお、参照撮像装置４０が、円筒形の容器であるポッドの内部に収容され、そのポッドが翼４に固定されてもよい。この場合、参照撮像装置４０は、アイソレータ５０を介してポッドに固定されてもよい。また、ポッドは、後付けで航空機１に設置されてもよい。
【００２２】
処理部６０は、例えば、航空機１の胴体２に設けられる。処理部６０は、中央処理装置、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成される。処理部６０は、プログラムを実行することで、時刻合わせ部６２、特徴点抽出部６４、相対値導出部６６、相対値補間部６８、測角部７０、画像合成部７２として機能する。時刻合わせ部６２、特徴点抽出部６４、相対値導出部６６、相対値補間部６８、測角部７０、画像合成部７２については、後に詳述する。
【００２３】
図３は、基準撮像装置２０で撮像された画像と、参照撮像装置４０で撮像された画像との関係を説明する説明図である。図３では、参照撮像装置４０で撮像された画像として、右翼の参照撮像装置４０で撮像された画像が示されている。なお、左翼の参照撮像装置４０で撮像された画像については、表示を省略している。また、図３では、基準撮像装置２０の画角および参照撮像装置４０の画角を破線で示す。以後、基準撮像装置２０で撮像された画像を基準画像ＧＳと呼び、参照撮像装置４０で撮像された画像を参照画像ＧＲと呼ぶことがある。
【００２４】
参照撮像装置４０は、撮像された画像（参照画像ＧＲ）の一部が、基準撮像装置２０で撮像された画像（基準画像ＧＳ）に含まれるように撮像する。例えば、右翼の参照撮像装置４０は、参照画像ＧＲにおける所定の左側領域の画像が、基準画像ＧＳにおける所定の右側領域に含まれるように撮像する。換言すると、基準撮像装置２０および参照撮像装置４０は、基準画像ＧＳと参照画像ＧＲとが一部においてオーバーラップするように撮像する。図３では、基準画像ＧＳと参照画像ＧＲとがオーバーラップするオーバーラップ領域ＧＯをハッチングで示している。
【００２５】
なお、図３では省略したが、左翼の参照撮像装置４０は、参照画像ＧＲにおける所定の右側領域の画像が、基準画像ＧＳにおける所定の左側領域に含まれるように撮像する。
【００２６】
各撮像装置で撮像された各画像には、例えば、他機などの対象物が映ることがある。そこで、処理部６０の測角部７０は、各撮像装置で撮像された各画像上の対象物の撮像装置に対する相対方位を測定する（測角する）。
【００２７】
また、処理部６０の画像合成部７２は、各撮像装置で撮像された各画像を繋げて１個の広画角の画像を生成する。図３の例では、基準画像ＧＳの左端から参照画像ＧＲの右端までの１個の画像が生成される。
【００２８】
ここで、航空機１の翼４は、撓むことや変形が可能なように、しなやかに構成されている。したがって、翼４は、飛行中などにおいて振動する。ここで、上述のように、アイソレータ５０は、翼４の微振動を減衰する。しかし、翼４は、乱気流などによって大きく振動することがある。アイソレータ５０は、翼４の振動の振幅が大きいと、その振動を十分に減衰することができなくなる。
【００２９】
このため、アイソレータ５０で減衰させることが困難な振幅の大きな振動が翼４に生じると、アイソレータ５０を介して翼４に固定されている参照撮像装置４０が振動する。これにより、参照撮像装置４０の視軸は、初期設定された視軸に対してずれる。また、参照撮像装置４０は、慣性航法装置３０と一体的に固定されていないため、振動による視軸のずれを直接的に導出することができない。
【００３０】
図４は、参照撮像装置４０の視軸がずれたときの画像を説明する説明図である。図４（ａ）は、基準画像ＧＳを示し、図４（ｂ）は、参照画像ＧＲを示す。なお、図４（ａ）および図４（ｂ）では、オーバーラップ領域ＧＯをハッチングで示している。
【００３１】
基準画像ＧＳは、視軸がずれていない。一方、参照画像ＧＲは、視軸がずれている。視軸がずれた場合、参照画像ＧＲは、例えば、視軸が初期設定された位置にあるときに撮像される参照画像ＧＲを回転したような画像となる。
【００３２】
このとき、参照画像ＧＲ上の他機などの対象物の位置もずれることとなる。参照画像ＧＲ上の対象物の位置がずれると、撮像装置に対する対象物の相対方位の測定精度（測角精度）が低下する。
【００３３】
そこで、本実施形態の画像処理装置１０の処理部６０は、基準画像ＧＳの特徴点および参照画像ＧＲの特徴点をそれぞれ抽出し、基準画像ＧＳの特徴点の位置に対応する参照画像ＧＲの特徴点の位置の相対値を導出する。そして、本実施形態の画像処理装置１０は、導出された相対値に基づいて撮像装置に対する対象物の相対方位を導出することで、撮像装置に対する対象物の相対方位の測定精度が低下することを抑制する。
【００３４】
図５は、特徴点抽出部６４について説明する説明図である。図５（ａ）は、基準画像ＧＳを示し、図５（ｂ）は、参照画像ＧＲを示す。特徴点抽出部６４は、基準画像ＧＳおよび参照画像ＧＲの特徴点をそれぞれ抽出する。図５（ａ）および図５（ｂ）では、特徴点を黒丸で示している。なお、図５（ａ）および図５（ｂ）では、説明の便宜上、特徴点を３個示しているが、実際には、多数の特徴点が抽出される。また、図５（ａ）および図５（ｂ）では、特徴点が画像上の建物の角において抽出されている。しかし、特徴点は、このような角に限らず、例えば、画像における輝度の差が大きいエッジにおいて抽出されてもよい。
【００３５】
特徴点抽出部６４は、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）等によって特徴点を抽出する。ＳＩＦＴは、画像の回転およびスケール変化に不変な特徴点であり、かつ、画像における照明変化に頑健な特徴点を検出し、特徴点の特徴量を記述する手法である。
【００３６】
また、特徴点抽出部６４は、基準画像ＧＳの特徴点に対応する参照画像ＧＲの特徴点の同定を行う。特徴点抽出部６４は、オーバーラップ領域ＧＯを対象として特徴点の同定を行う。特徴点抽出部６４は、例えば、基準画像ＧＳのオーバーラップ領域ＧＯと参照画像ＧＲのオーバーラップ領域ＧＯとを重ねた際に、基準画像ＧＳの特徴点からの距離が最も短い参照画像ＧＲの特徴点を、その基準画像ＧＳの特徴点に対応する参照画像ＧＲの特徴点とする。図５の例において、特徴点抽出部６４は、参照画像ＧＲの特徴点ＰＲ１を基準画像ＧＳの特徴点ＰＳ１に対応付け、参照画像ＧＲの特徴点ＰＲ２を基準画像ＧＳの特徴点ＰＳ２に対応付け、参照画像ＧＲの特徴点ＰＲ３を基準画像ＧＳの特徴点ＰＳ３に対応付ける。
【００３７】
図６は、相対値導出部６６について説明する説明図である。図６は、基準画像ＧＳのオーバーラップ領域ＧＯと、参照画像ＧＲのオーバーラップ領域ＧＯとを重ねて表示している。なお、図６において、横方向をＸ軸方向とし、縦方向をＹ軸方向とする。
【００３８】
相対値導出部６６は、対応する特徴点について、基準画像ＧＳの特徴点の位置に対する参照画像ＧＲの特徴点の位置の相対値を導出する。相対値導出部６６は、オーバーラップ領域ＧＯにおいて対応付けられたすべての特徴点について相対値を導出する。
【００３９】
例えば、相対値導出部６６は、基準画像ＧＳの特徴点ＰＳ１に対する参照画像ＧＲの特徴点ＰＲ１の回転移動成分と平行移動成分とを分離して、回転移動量（回転角度）および平行移動量を導出する。この回転移動量（回転角度）および平行移動量が、相対値に相当する。同様にして、相対値導出部６６は、特徴点ＰＳ２に対する特徴点ＰＲ２の回転移動量（回転角度）および平行移動量を導出し、特徴点ＰＳ３に対する特徴点ＰＲ３の回転移動量（回転角度）および平行移動量を導出する。
【００４０】
また、相対値導出部６６は、導出された複数の相対値の統計処理を行い、相対値の代表値を導出する。例えば、相対値導出部６６は、特徴点ＰＲ１の回転移動量（回転角度）、特徴点ＰＲ２の回転移動量（回転角度）および特徴点ＰＲ３の回転移動量（回転角度）について統計処理を行い、相対値の回転移動成分の代表値を導出する。また、相対値導出部６６は、特徴点ＰＲ１の平行移動量、特徴点ＰＲ２の平行移動量および特徴点ＰＲ３の平行移動量について統計処理を行い、相対値の平行移動成分の代表値を導出する。相対値の回転移動成分の代表値および相対値の平行移動成分の代表値は、相対値の代表値を構成する。このようにして導出された相対値の代表値は、参照撮像装置４０の視軸のずれを表すものである。
【００４１】
なお、相対値導出部６６は、相対値の統計処理を行って相対値の代表値を決定する態様に限らず、例えば、任意の相対値を相対値の代表値としてもよい。
【００４２】
測角部７０は、導出された相対値の代表値を用いて参照画像ＧＲ上の対象物の位置を補正する。例えば、測角部７０は、相対値の回転移動成分の代表値分だけ対象物の位置を回転移動し、相対値の平行移動成分の代表値分だけ対象物の位置を平行移動する。そして、測角部７０は、回転移動および平行移動した位置における対象物の相対方位を導出する。
【００４３】
なお、測角部７０は、対象物の位置の回転移動および平行移動の双方を行う態様に限らず、対象物の位置の回転移動および平行移動のいずれか一方を行ってもよい。また、測角部７０は、基準画像ＧＳの各特徴点ＰＳ１、ＰＳ２、ＰＳ３間の距離と、参照画像ＧＲの各特徴点ＰＲ１、ＰＲ２、ＰＲ３間の距離との差分などを参照し、基準画像ＧＳの倍率と参照画像ＧＲの倍率が一致するように参照画像ＧＲ上の対象物の倍率を変化させてから対象物の相対方位を導出してもよい。また、測角部７０は、参照画像ＧＲ上の対象物の回転移動、平行移動、倍率などを適宜組み合わせて対象物の位置を補正してから、対象物の相対方位を導出してもよい。
【００４４】
図７は、画像合成部７２について説明する説明図である。画像合成部７２は、相対値の代表値に基づいて、基準画像ＧＳと参照画像ＧＲとを合成して１個の広画角の合成画像を生成する。例えば、画像合成部７２は、相対値の代表値に基づいて参照画像ＧＲの回転移動量（回転角度）を導出する。そして、画像合成部７２は、基準画像ＧＳの各特徴点ＰＳ１、ＰＳ２、ＰＳ３と参照画像ＧＲの各特徴点ＰＲ１、ＰＲ２、ＰＲ３とが重なるように、導出された回転移動量だけ参照画像ＧＲを回転移動し、基準画像ＧＳと参照画像ＧＲとを合成する。図７では、参照画像ＧＲの回転方向を実線の矢印で示している。
【００４５】
なお、画像合成部７２は、参照画像ＧＲを回転移動して合成画像を生成する態様に限らない。例えば、画像合成部７２は、相対値の代表値に基づいて参照画像ＧＲの平行移動量を導出し、導出された平行移動量だけ参照画像ＧＲを平行移動してもよい。また、画像合成部７２は、基準画像ＧＳの各特徴点ＰＳ１、ＰＳ２、ＰＳ３間の距離と、参照画像ＧＲの各特徴点ＰＲ１、ＰＲ２、ＰＲ３間の距離との差分などを参照し、基準画像ＧＳの倍率と参照画像ＧＲの倍率とが一致するように参照画像ＧＲの倍率を変化させて合成画像を生成してもよい。また、画像合成部７２は、参照画像ＧＲの回転移動、平行移動および倍率などを適宜組み合わせて合成画像を生成してもよい。
【００４６】
図８は、基準画像ＧＳの撮像時刻および参照画像ＧＲの撮像時刻を説明する説明図である。基準撮像装置２０は、基準撮像装置２０に内蔵されているタイマにしたがって所定時間間隔（例えば、３０Ｈｚ）で基準画像ＧＳを撮像する。例えば、基準撮像装置２０は、基準撮像装置２０のタイマが撮像時刻Ｔ１のとき、基準画像ＧＳ１を撮像する。また、基準撮像装置２０は、基準撮像装置２０のタイマにおいて撮像時刻Ｔ１から所定時間が経過した撮像時刻Ｔ２のとき、基準画像ＧＳ２を撮像する。
【００４７】
一方、参照撮像装置４０は、参照撮像装置４０に内蔵されているタイマにしたがって所定時間間隔（例えば、３０Ｈｚ）で参照画像ＧＲを撮像する。例えば、参照撮像装置４０は、参照撮像装置４０のタイマが撮像時刻ｔ１のとき、参照画像ＧＲ１を撮像する。また、参照撮像装置４０は、参照撮像装置４０のタイマにおいて撮像時刻ｔ１から所定時間が経過した撮像時刻ｔ２のとき、参照画像ＧＲ２を撮像する。
【００４８】
ここで、参照撮像装置４０のタイマは、基準撮像装置２０のタイマと同期しているとは限らない。このため、基準撮像装置２０と参照撮像装置４０とで撮像の時間間隔が同じであるとしても、参照撮像装置４０における撮像時刻（撮像タイミング）は、基準撮像装置２０における撮像時刻（撮像タイミング）と異なる。例えば、参照画像ＧＲ１の撮像時刻ｔ１は、基準画像ＧＳ１の撮像時刻Ｔ１からずれており、参照画像ＧＲ２の撮像時刻ｔ２は、基準画像ＧＳ２の撮像時刻Ｔ２からずれている。
【００４９】
参照撮像装置４０と基準撮像装置２０とで撮像時刻が異なると、処理部６０は、参照撮像装置４０と基準撮像装置２０とで異なる時刻における特徴点を取得することとなる。そして、相対値導出部６６では、異なる時刻における特徴点に基づいて特徴点の位置の相対値が導出されることとなる。このような相対値に基づいて撮像装置に対する対象物の相対方位を測定すると、その測定精度（測角精度）が低下するおそれがある。
【００５０】
そこで、時刻合わせ部６２は、基準画像ＧＳの撮像時刻および参照画像ＧＲの撮像時刻を、処理部６０のタイマにしたがった同一の時間軸上に関連付ける。そして、相対値補間部６８は、撮像時刻が異なる複数の参照画像ＧＲについて相対値の代表値をそれぞれ導出し、導出された複数の相対値の代表値に基づいて、基準画像ＧＳと同時刻における相対値の代表値を導出する。
【００５１】
図９は、時刻合わせ部６２について説明する説明図である。時刻合わせ部６２は、処理部６０のタイマにしたがって所定時間間隔（例えば、３０Ｈｚ）で時刻合わせ信号を基準撮像装置２０および参照撮像装置４０に送信する。例えば、時刻合わせ部６２は、処理部６０のタイマが時刻τ１のとき、時刻τ１を示す時刻合わせ信号を送信する。また、時刻合わせ部６２は、処理部６０のタイマにおいて時刻τ１から所定時間が経過した時刻τ２のとき、時刻τ２を示す時刻合わせ信号を送信する。
【００５２】
基準撮像装置２０は、時刻合わせ信号を受信すると、時刻合わせ信号の受信時刻から次の撮像時刻までの時間を、基準撮像装置２０のタイマにしたがって計時する。計時された時間は、撮像時刻と時刻合わせ信号の受信時刻との差分を示す差分時間に相当する。基準撮像装置２０は、差分時間と撮像した基準画像ＧＳとを処理部６０に送信する。
【００５３】
例えば、基準撮像装置２０は、時刻τ１を示す時刻合わせ信号を受信し、その後、撮像時刻Ｔ１において撮像した場合、時刻τ１から撮像時刻Ｔ１までの差分時間（Ｔ１−τ１）と、撮像時刻Ｔ１の基準画像ＧＳ１とを処理部６０に送信する。同様に、基準撮像装置２０は、時刻τ２を示す時刻合わせ信号を受信し、その後、撮像時刻Ｔ２において撮像した場合、時刻τ２から撮像時刻Ｔ２までの差分時間（Ｔ２−τ２）と、撮像時刻Ｔ２の基準画像ＧＳ２とを処理部６０に送信する。
【００５４】
参照撮像装置４０は、時刻合わせ信号を受信すると、時刻合わせ信号の受信時刻から次の撮像時刻までの時間を、参照撮像装置４０のタイマにしたがって計時する。計時された時間は、撮像時刻と時刻合わせ信号の受信時刻との差分を示す差分時間に相当する。参照撮像装置４０は、差分時間と撮像した参照画像ＧＲとを処理部６０に送信する。
【００５５】
例えば、参照撮像装置４０は、時刻τ１を示す時刻合わせ信号を受信し、その後、撮像時刻ｔ１において撮像した場合、時刻τ１から撮像時刻ｔ１までの差分時間（ｔ１−τ１）と、撮像時刻ｔ１の参照画像ＧＲ１とを処理部６０に送信する。同様に、参照撮像装置４０は、時刻τ２を示す時刻合わせ信号を受信し、その後、撮像時刻ｔ２において撮像した場合、時刻τ２から撮像時刻ｔ２までの差分時間（ｔ２−τ２）と、撮像時刻ｔ２の参照画像ＧＲ２とを処理部６０に送信する。
【００５６】
時刻合わせ部６２は、基準画像ＧＳおよび差分時間を基準撮像装置２０から受信し、参照画像ＧＲおよび差分時間を参照撮像装置４０から受信する。時刻合わせ部６２は、基準撮像装置２０における差分時間に時刻合わせ信号の送信時刻を加算して、処理部６０のタイマを基準とした基準撮像装置２０の撮像時刻を導出する。また、時刻合わせ部６２は、参照撮像装置４０における差分時間に時刻合わせ信号の送信時刻を加算して、処理部６０のタイマを基準とした参照撮像装置４０の撮像時刻を導出する。これにより、基準画像ＧＳの撮像時刻と参照画像ＧＲの撮像時刻とが、処理部６０のタイマにしたがった同一の時間軸上に関連付けられる。
【００５７】
図８に戻って、基準画像ＧＳ１の撮像時刻Ｔ１、基準画像ＧＳ２の撮像時刻Ｔ２、参照画像ＧＲ１の撮像時刻ｔ１および参照画像ＧＲ２の撮像時刻ｔ２が導出されたとする。ここで、基準画像ＧＳ２を処理対象の画像として着目すると、参照画像ＧＲ１は、基準画像ＧＳ２の直前の参照画像ＧＲであり、参照画像ＧＲ２は、基準画像ＧＳ２の直後の参照画像ＧＲである。
【００５８】
特徴点抽出部６４は、基準画像ＧＳ２の特徴点の位置に対する参照画像ＧＲ１の特徴点の位置の相対値および相対値の代表値を導出する。また、特徴点抽出部６４は、基準画像ＧＳ２の特徴点の位置に対する参照画像ＧＲ２の特徴点の位置の相対値および相対値の代表値を導出する。つまり、特徴点抽出部６４は、撮像時刻が異なる複数の参照画像ＧＲ１、ＧＲ２のそれぞれについて相対値および相対値の代表値を導出する。
【００５９】
図１０は、相対値補間部６８について説明する説明図である。図１０において、横軸は処理部６０のタイマにしたがった時間軸上の時間を示し、縦軸は相対値の代表値を示す。また、図１０において、相対値の代表値Ｓｔ１は、撮像時刻ｔ１の参照画像ＧＲ１についての基準画像ＧＳ２に対する相対値の代表値であり、相対値の代表値Ｓｔ２は、撮像時刻ｔ２の参照画像ＧＲ２についての基準画像ＧＳ２に対する相対値の代表値である。
【００６０】
相対値補間部６８は、撮像時刻が異なる複数の参照画像ＧＲ１、ＧＲ２について導出された複数の相対値の代表値Ｓｔ１、Ｓｔ２に基づいて、基準画像ＧＳ２と同時刻における相対値の代表値ＳＴ２を導出する。例えば、相対値補間部６８は、撮像時刻ｔ２と撮像時刻ｔ１との差分と、撮像時刻Ｔ２と撮像時刻ｔ１との差分との時間比を導出する。相対値補間部６８は、導出された時間比を用いて、相対値の代表値Ｓｔ１と相対値の代表値Ｓｔ２との間の相対値の代表値ＳＴ２を線形補間（内挿補間）する。
【００６１】
このように、相対値補間部６８は、相対値の代表値の時間補間を行う。導出された相対値の代表値ＳＴ２は、基準画像ＧＳ２の撮像時刻Ｔ２と同時刻における参照撮像装置４０の視軸のずれを表すものである。
【００６２】
測角部７０は、対象物の位置を補正する際に、相対値補間部６８で導出された相対値の代表値ＳＴ２を用いて対象物の位置を補正する。そして、測角部７０は、位置が補正された対象物の相対方位を測定する。これにより、画像処理装置１０は、対象物の相対方位の測定精度（測角精度）の低下をより抑制することができる。
【００６３】
なお、基準画像ＧＳと同時刻における相対値の代表値を導出するための相対値の代表値の数は、２個に限らない。例えば、相対値補間部６８は、撮像時刻が異なる３個以上の相対値の代表値に基づいて、基準画像ＧＳと同時刻における相対値の代表値を導出してもよい。この場合、相対値補間部６８は、相対値の代表値を非線形補間することができる。このため、相対値補間部６８は、撮像時刻が異なる相対値の数が多いほど、基準画像ＧＳと同時刻における相対値の代表値を、より精度よく導出することができる。
【００６４】
図１１は、処理部６０の動作を説明するフローチャートである。まず、処理部６０の時刻合わせ部６２は、所定時刻になると、時刻合わせ信号を基準撮像装置２０および参照撮像装置４０に送信する（Ｓ１００）。
【００６５】
時刻合わせ信号を受信した基準撮像装置２０は、時刻合わせ信号を受信した時刻から、次の撮像時刻までの時間（差分時間）を計時する。基準撮像装置２０は、撮像時刻になると撮像して基準画像ＧＳを取得する。基準撮像装置２０は、差分時間と取得した基準画像ＧＳとを処理部６０に送信する。また、基準撮像装置２０は、撮像時刻における基準撮像装置２０の姿勢および移動態様を示す情報を慣性航法装置３０から取得し、併せて処理部６０に送信する。
【００６６】
また、時刻合わせ信号を受信した参照撮像装置４０は、時刻合わせ信号を受信した時刻から、次の撮像時刻までの時間（差分時間）を計時する。参照撮像装置４０は、撮像時刻になると撮像して参照画像ＧＲを取得する。参照撮像装置４０は、差分時間と取得した参照画像ＧＲとを処理部６０に送信する。
【００６７】
時刻合わせ部６２は、時刻合わせ信号の送信後、差分時間および画像（基準画像ＧＳおよび参照画像ＧＲ）を基準撮像装置２０および参照撮像装置４０のそれぞれから受信したか否かを判断する（Ｓ１１０）。
【００６８】
時刻合わせ部６２は、差分時間および画像を基準撮像装置２０および参照撮像装置４０のそれぞれから受信するまで待機する（Ｓ１１０におけるＮＯ）。
【００６９】
時刻合わせ部６２は、差分時間および画像を受信すると（Ｓ１１０におけるＹＥＳ）、処理部６０のタイマを基準とした基準画像ＧＳの撮像時刻および参照画像ＧＲの撮像時刻を導出する（Ｓ１２０）。具体的には、時刻合わせ部６２は、基準撮像装置２０から取得した差分時間と時刻合わせ信号の送信時刻とから、処理部６０のタイマを基準とした基準画像ＧＳの撮像時刻を導出し、参照撮像装置４０から取得した差分時間と時刻合わせ信号の送信時刻とから、処理部６０のタイマを基準とした参照画像ＧＲの撮像時刻を導出する。
【００７０】
次に、特徴点抽出部６４は、基準画像ＧＳの特徴点および参照画像ＧＲの特徴点をそれぞれ抽出する（Ｓ１３０）。
【００７１】
次に、特徴点抽出部６４は、基準画像ＧＳの各特徴点と参照画像ＧＲの各特徴点との同定を行う（Ｓ１４０）。この際、特徴点抽出部６４は、処理対象の基準画像ＧＳの各特徴点と、その基準画像ＧＳの撮像時刻の直前の参照画像ＧＲの各特徴点との同定を行う。また、特徴点抽出部６４は、処理対象の基準画像ＧＳの各特徴点と、その基準画像ＧＳの直後の参照画像ＧＲの各特徴点との同定を行う。
【００７２】
次に、相対値導出部６６は、対応付けられた特徴点について、基準画像ＧＳの特徴点の位置に対する参照画像ＧＲの特徴点の位置の相対値を導出する（Ｓ１５０）。相対値導出部６６は、対応付けられた特徴点の組の数だけ相対値を導出する。また、相対値導出部６６は、処理対象の基準画像ＧＳの直前の参照画像ＧＲと、処理対象の基準画像ＧＳの直後の参照画像ＧＲとの双方において相対値を導出する。
【００７３】
次に、相対値導出部６６は、導出された複数の相対値の統計処理を行い、相対値の代表値を導出する（Ｓ１６０）。相対値導出部６６は、処理対象の基準画像ＧＳの直前の参照画像ＧＲと、処理対象の基準画像ＧＳの直後の参照画像ＧＲとの双方においてそれぞれ相対値の代表値を導出する。
【００７４】
次に、相対値補間部６８は、相対値の代表値の時間補間を行う（Ｓ１７０）。具体的には、相対値補間部６８は、処理対象の基準画像ＧＳの直前の参照画像ＧＲにおける相対値の代表値と、処理対象の基準画像ＧＳの直後の参照画像ＧＲにおける相対値の代表値とに基づいて、処理対象の基準画像ＧＳの撮像時刻と同一時刻の相対値の代表値を導出する。
【００７５】
次に、測角部７０は、時間補間された相対値の代表値に基づいて参照画像ＧＲ上の対象物の位置を補正する（Ｓ１８０）。なお、測角部７０は、対象物が参照画像ＧＲ上にある場合にのみステップＳ１８０を行い、対象物が基準画像ＧＳ上にある場合にはステップＳ１８０を行わずにステップＳ１９０へ進んでもよい。
【００７６】
次に、測角部７０は、画像上の対象物の撮像装置に対する相対方位を測定する（Ｓ１９０）。この際、測角部７０は、取得された基準撮像装置２０の姿勢および移動態様に基づいて、基準撮像装置２０の視軸の絶対方位を導出する。
【００７７】
測角部７０は、対象物が基準画像ＧＳ上にある場合、導出された基準撮像装置２０の視軸および対象物の位置に基づいて撮像装置に対する対象物の相対方位を導出する。一方、測角部７０は、対象物が参照画像ＧＲ上にある場合、基準撮像装置２０の視軸および補正された対象物の位置に基づいて撮像装置に対する対象物の相対方位を導出する。このように、撮像装置に対する対象物の相対方位の測定の際、参照画像ＧＲ上の対象物の位置は、基準画像ＧＳに関連付けられることとなる。
【００７８】
次に、画像合成部７２は、時間補間された相対値の代表値に基づいて、基準画像ＧＳの各特徴点と参照画像ＧＲの各特徴点とが重なるように参照画像ＧＲの回転移動等を行い、合成画像を生成する（Ｓ２００）。回転移動等を行う参照画像ＧＲとしては、例えば、処理対象の基準画像ＧＳの撮像時刻に最も近い撮像時刻の参照画像ＧＲであってもよい。
【００７９】
以上のように、本実施形態の画像処理装置１０は、基準画像ＧＳおよび参照画像ＧＲの特徴点をそれぞれ抽出し、基準画像ＧＳの特徴点の位置に対する参照画像ＧＲの特徴点の位置の相対値（相対値の代表値）を導出する。そして、本実施形態の画像処理装置１０は、導出された相対値（相対値の代表値）に基づいて、参照画像ＧＲ上の対象物の撮像装置に対する相対方位を測定する。
【００８０】
したがって、本実施形態の画像処理装置１０によれば、撮像装置に対する対象物の相対方位の測定精度が低下することを抑制することができる。
【００８１】
また、本実施形態の画像処理装置１０は、撮像時刻が異なる複数の参照画像ＧＲについて導出された複数の相対値（相対値の代表値）に基づいて、基準画像ＧＳと同時刻における相対値（相対値の代表値）を導出する。このため、本実施形態の画像処理装置１０は、基準撮像装置２０の撮像時刻と参照撮像装置４０の撮像時刻とが同期していなくとも、撮像装置に対する対象物の相対方位の測定精度が低下することを抑制することができる。
【００８２】
また、本実施形態の画像処理装置１０は、相対値の代表値の時間補間を行っていた。しかし、本実施形態の画像処理装置１０において、基準撮像装置２０と参照撮像装置４０とで撮像時刻を同期させる場合、相対値の代表値の時間補間を省略してもよい。この態様では、相対値の代表値の時間補間を行わない分だけ、処理部６０における処理負荷を軽減することができる。
【００８３】
また、本実施形態の画像処理装置１０は、導出された相対値（相対値の代表値）に基づいて、参照画像ＧＲと基準画像ＧＳとを各特徴点が重なるように合成する。このため、本実施形態の画像処理装置１０は、合成画像によって、対象物を精度よく視認させることができる。
【００８４】
また、本実施形態の画像処理装置１０は、合成画像を生成していた。しかし、本実施形態の画像処理装置１０は、撮像装置に対する対象物の相対方位の測定ができればよく、合成画像が必要ではない場合には、合成画像の生成を省略することができる。この態様では、合成画像の生成を行わない分だけ、処理部６０における処理負荷を軽減することができる。
【００８５】
また、本実施形態の画像処理装置１０は、航空機１の製造完成後、さらに事後的に参照撮像装置４０の数を増減することができる。このため、本実施形態の画像処理装置１０は、既存の航空機１に適用することもでき、汎用性が高い。
【００８６】
以上、添付図面を参照しながら本発明の実施形態の一態様について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００８７】
例えば、上記実施形態の画像処理装置１０では、基準撮像装置２０が航空機１の胴体２に設けられ、参照撮像装置４０が航空機１の翼４に設けられていた。しかし、基準撮像装置２０が設けられる位置は、航空機１の胴体２に限らない。例えば、基準撮像装置２０は、航空機１の翼４に設けられてもよい。
【００８８】
また、上記実施形態の画像処理装置１０では、基準撮像装置２０は、航空機１の前方を撮像し、右翼の参照撮像装置４０は、航空機１の右斜め前方を撮像し、左翼の参照撮像装置４０は、航空機１の左斜め前方を撮像していた。しかし、基準撮像装置２０の撮像方向および参照撮像装置４０の撮像方向は、この例に限らない。基準撮像装置２０は、航空機１を構成する構造体の周囲の一部を撮像すればよい。また、参照撮像装置４０は、参照画像ＧＲの一部が基準画像ＧＳに含まれるように構造体の周囲の一部を撮像すればよい。
【００８９】
上記実施形態の画像処理装置１０は、対象物の相対方位の測定を行っていた。しかし、画像処理装置１０は、例えば、時間補間された相対値の代表値を画像処理装置１０外に出力し、対象物の相対方位の測定については、画像処理装置１０外で行われてもよい。また、合成画像の生成についても、画像処理装置１０外で行われてもよい。
【００９０】
上記実施形態の画像処理装置１０は、航空機１に適用されていた。しかし、画像処理装置１０の適用範囲は、航空機１に限らない。例えば、画像処理装置１０は、車両に適用されてもよい。
【産業上の利用可能性】
【００９１】
本発明は、複数の撮像装置で撮像された画像を処理する画像処理装置に利用できる。
【符号の説明】
【００９２】
１  航空機
２  胴体
４  翼
１０  画像処理装置
２０  基準撮像装置
３０  慣性航法装置
４０  参照撮像装置
６４  特徴点抽出部
６６  相対値導出部
６８  相対値補間部
７２  画像合成部
【図１】
2019215702.tif 000003
【図２】
2019215702.tif 000004
【図３】
2019215702.tif 000005
【図４】
2019215702.tif 000006
【図５】
2019215702.tif 000007
【図６】
2019215702.tif 000008
【図７】
2019215702.tif 000009
【図８】
2019215702.tif 000010
【図９】
2019215702.tif 000011
【図１０】
2019215702.tif 000012
【図１１】
2019215702.tif 000013