(57)【要約】【課題】航空機に搭載されたステレオカメラの測距精度を向上させる。【解決手段】ステレオ測距装置１は、互いに離間した状態で航空機１０に搭載され、ステレオカメラを構成する一対の光学カメラ１４１と、一対の光学カメラ１４１に対応して当該一対の光学カメラ１４１の各々の近傍に設けられ、対応する光学カメラ１４１の位置及び姿勢に関する位置姿勢情報を取得する位置姿勢計１４２と、制御部１８とを備える。制御部１８は、一対の光学カメラ１４１の各々により撮影された画像の位置及び向きを、当該光学カメラ１４１に対応する位置姿勢計１４２により取得された位置姿勢情報に基づいて補正し、一対の光学カメラ１４１により撮影されて個別に補正された一対の補正画像に基づいて、撮影対象との間の距離を算出する。【選択図】図１
2018044867.tif 000002
【特許請求の範囲】
【請求項１】
互いに離間した状態で航空機に搭載され、ステレオカメラを構成する一対の光学カメラと、
前記一対の光学カメラに対応して当該一対の光学カメラの各々の近傍に設けられ、対応する光学カメラの位置及び姿勢に関する位置姿勢情報を取得する位置姿勢計と、
前記一対の光学カメラの各々により撮影された画像の位置及び向きを、当該光学カメラに対応する前記位置姿勢計により取得された位置姿勢情報に基づいて補正する画像補正手段と、
前記一対の光学カメラにより撮影されて前記画像補正手段により個別に補正された一対の補正画像に基づいて、撮影対象との間の距離を算出するステレオ測距手段と、
を備えることを特徴とするステレオ測距装置。
【請求項２】
ＧＰＳ時刻情報を取得して、前記一対の光学カメラにより撮影された各画像に対応付ける時刻取得手段を備え、
前記ステレオ測距手段は、前記時刻取得手段により各画像に対応付けられたＧＰＳ時刻情報に基づいて、互いの撮像タイミングが合致する前記一対の補正画像を選択し、当該一対の補正画像を用いて撮影対象との間の距離を算出することを特徴とする請求項１に記載のステレオ測距装置。
【請求項３】
前記時刻取得手段は、前記一対の光学カメラに対応して当該一対の光学カメラの各々の近傍に設けられたＧＰＳ受信機であり、対応する光学カメラにより撮影された画像にＧＰＳ時刻情報を対応付けることを特徴とする請求項２に記載のステレオ測距装置。
【請求項４】
前記一対の光学カメラの各々と、当該光学カメラに対応する前記位置姿勢計とが、共通する金属製の支持部材に固定されていることを特徴とする請求項１〜３のいずれか一項に記載のステレオ測距装置。
【請求項５】
前記一対の光学カメラが、航空機の両翼の先端に個別に配置されていることを特徴とする請求項１〜４のいずれか一項に記載のステレオ測距装置。
【請求項６】
互いに離間した状態で航空機に搭載され、ステレオカメラを構成する一対の光学カメラと、
前記一対の光学カメラに対応して当該一対の光学カメラの各々の近傍に設けられ、対応する光学カメラの位置及び姿勢に関する位置姿勢情報を取得する位置姿勢計と、
を備えるステレオ測距装置が、
前記一対の光学カメラの各々により撮影された画像の位置及び向きを、当該光学カメラに対応する前記位置姿勢計により取得された位置姿勢情報に基づいて補正する画像補正工程と、
前記一対の光学カメラにより撮影されて前記画像補正工程で個別に補正された一対の補正画像に基づいて、撮影対象との間の距離を算出するステレオ測距工程と、
を実行することを特徴とするステレオ測距方法。
【請求項７】
互いに離間した状態で航空機に搭載され、ステレオカメラを構成する一対の光学カメラと、
前記一対の光学カメラに対応して当該一対の光学カメラの各々の近傍に設けられ、対応する光学カメラの位置及び姿勢に関する位置姿勢情報を取得する位置姿勢計と、
を備えるステレオ測距装置の制御部を、
前記一対の光学カメラの各々により撮影された画像の位置及び向きを、当該光学カメラに対応する前記位置姿勢計により取得された位置姿勢情報に基づいて補正する画像補正手段、
前記一対の光学カメラにより撮影されて前記画像補正手段により個別に補正された一対の補正画像に基づいて、撮影対象との間の距離を算出するステレオ測距手段、
として機能させることを特徴とするステレオ測距プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、航空機に搭載されたステレオカメラを用いて距離を測定する技術に関する。
【背景技術】
【０００２】
航空機において自機から所定の対象までの距離を測定する場合、機体に搭載されたレーダーを用いるのが一般的である。しかし、レーダーなどの電波を放出する測距手段では、自機の位置を他者に探知され得るといった問題がある。
【０００３】
そこで、例えば特許文献１では、機体に搭載したステレオカメラを使用して距離を測定する手法が提案されている。この手法であれば、電波の放出を必要としないうえに、画像情報も取得することができる。
また、特許文献１に記載の技術では、機体の姿勢情報を検出し、これを用いてステレオカメラの姿勢を制御することで、機体の姿勢に依らない一定の向きの画像を取得することが可能となっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４３２８５５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、航空機に搭載したステレオカメラで距離を測定する場合には、例えば監視用などの汎用的な用途のものに比べて測定距離が遥かに長くなる。そのため、これに対応させて、ステレオカメラを構成する２台のカメラの間隔を大きく広げる必要がある。
【０００６】
しかしながら、２台のカメラを離して設置した場合、これらを高い剛性で一体的に支持することが困難になる。例えば、固定翼機上で２台のカメラを極力離そうとすると、これらを機体両翼上に設置することになるが、航空機の主翼は揚力等に応じて変形する（撓む）ため、これら２台のカメラを同じ状態に保持できなくなってしまう。
【０００７】
その結果、２台のカメラは機体の飛行状態に応じて互いの位置や姿勢が異なってしまい、ステレオカメラとしての測距精度が低下してしまう。上記特許文献１に記載の技術のように２台のカメラを姿勢制御することも考えられるが、共通する機体の姿勢情報を用いたのでは、互いの位置や姿勢が異なる２台のカメラを適正に姿勢制御することはできない。
また、２台のカメラとその画像情報をまとめて処理する処理部との距離が離れることになるため、信号伝送路の伸長化や配線長の製造公差等によって２台のカメラからの画像出力の時間に誤差を生じやすくなり、この時間誤差（撮像タイミングのずれ）が測距精度を低下させてしまうおそれもある。
【０００８】
本発明は、上記課題を鑑みてなされたもので、航空機に搭載されたステレオカメラの測距精度を向上させることを目的とするものである。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、請求項１に記載の発明は、ステレオ測距装置であって、
互いに離間した状態で航空機に搭載され、ステレオカメラを構成する一対の光学カメラと、
前記一対の光学カメラに対応して当該一対の光学カメラの各々の近傍に設けられ、対応する光学カメラの位置及び姿勢に関する位置姿勢情報を取得する位置姿勢計と、
前記一対の光学カメラの各々により撮影された画像の位置及び向きを、当該光学カメラに対応する前記位置姿勢計により取得された位置姿勢情報に基づいて補正する画像補正手段と、
前記一対の光学カメラにより撮影されて前記画像補正手段により個別に補正された一対の補正画像に基づいて、撮影対象との間の距離を算出するステレオ測距手段と、
を備えることを特徴とする。
【００１０】
請求項２に記載の発明は、請求項１に記載のステレオ測距装置において、
ＧＰＳ時刻情報を取得して、前記一対の光学カメラにより撮影された各画像に対応付ける時刻取得手段を備え、
前記ステレオ測距手段は、前記時刻取得手段により各画像に対応付けられたＧＰＳ時刻情報に基づいて、互いの撮像タイミングが合致する前記一対の補正画像を選択し、当該一対の補正画像を用いて撮影対象との間の距離を算出することを特徴とする。
【００１１】
請求項３に記載の発明は、請求項２に記載のステレオ測距装置において、
前記時刻取得手段は、前記一対の光学カメラに対応して当該一対の光学カメラの各々の近傍に設けられたＧＰＳ受信機であり、対応する光学カメラにより撮影された画像にＧＰＳ時刻情報を対応付けることを特徴とする。
【００１２】
請求項４に記載の発明は、請求項１〜３のいずれか一項に記載のステレオ測距装置において、
前記一対の光学カメラの各々と、当該光学カメラに対応する前記位置姿勢計とが、共通する金属製の支持部材に固定されていることを特徴とする。
【００１３】
請求項５に記載の発明は、請求項１〜４のいずれか一項に記載のステレオ測距装置において、
前記一対の光学カメラが、航空機の両翼の先端に個別に配置されていることを特徴とする。
【００１４】
請求項６及び請求項７に記載の発明は、請求項１に記載のステレオ測距装置と同様の特徴を具備するステレオ測距方法及びステレオ測距プログラムである。
【発明の効果】
【００１５】
請求項１に記載の発明によれば、ステレオカメラを構成する一対の光学カメラで撮影された一対の画像の位置及び向きが、当該一対の光学カメラそれぞれの近傍に設けられた位置姿勢計で取得された位置姿勢情報に基づいて個別に補正され、この補正された一対の補正画像に基づいて撮影対象との間の距離が算出される。
これにより、一対の光学カメラが互いに離間した状態で航空機に搭載されてその位置や姿勢が互いに異なる状態に変化した場合であっても、それぞれの画像の位置及び向きが適正に補正され、測距精度の低下を抑制することができる。したがって、ステレオカメラを単純に離間させた状態で航空機に搭載する場合に比べ、測距精度を向上させることができる。
【００１６】
請求項２に記載の発明によれば、一対の光学カメラにより撮影された各画像にＧＰＳ時刻情報が対応付けられ、このＧＰＳ時刻情報に基づいて互いの撮像タイミングの合致する一対の補正画像が選択されて、撮影対象との間の距離が算出される。
したがって、一対の光学カメラを互いに離間させた場合に信号伝送路の伸長化や配線長の製造公差等により撮像タイミングのずれが生じやすくなるところ、この撮像タイミングのずれを好適に抑制して測距精度の低下を抑制することができる。
【００１７】
請求項３に記載の発明によれば、一対の光学カメラに対応して当該一対の光学カメラの各々の近傍にＧＰＳ受信機が設けられ、このＧＰＳ受信機により取得されたＧＰＳ時刻情報が、対応する光学カメラにより撮影された画像に対応付けられる。
したがって、互いに離間した一対の光学カメラに対し、共通する時刻取得手段が個別に時刻情報を対応付ける場合に比べ、撮像タイミングのずれをより確実に抑制し、測距精度の低下をより確実に抑制することができる。
【００１８】
請求項４に記載の発明によれば、一対の光学カメラの各々と、当該光学カメラに対応する位置姿勢計とが、共通する金属製の支持部材に固定されている。
これにより、光学カメラと位置姿勢計との互いの位置及び姿勢を、航空機の飛行状態等に依らずに一定に保持することができる。したがって、光学カメラの位置姿勢情報をより正確に取得することができ、ひいては、測距精度の低下をより確実に抑制することができる。
【図面の簡単な説明】
【００１９】
【図１】ステレオ測距装置の機能構成を示すブロック図である。
【図２】カメラユニットを説明するための図である。
【図３】ステレオ測距処理でのデータの流れを示すデータフロー図である。
【図４】飛行状態での機体両翼の変形を説明するための概念図である。
【図５】ステレオ測距処理における補正前後での画像の変化を説明するための概念図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態について、図面を参照して説明する。
【００２１】
［ステレオ測距装置の構成］
まず、本実施形態におけるステレオ測距装置１の構成について、図１及び図２を参照して説明する。
図１は、ステレオ測距装置１の機能構成を示すブロック図であり、図２は、ステレオ測距装置１が備える後述のカメラユニット１４を説明するための図である。
ステレオ測距装置１は、航空機（固定翼機）１０に搭載されており、取得したステレオ画像に基づいて航空機１０と撮影対象との間の距離を測定するためのものである。
具体的には、図１に示すように、ステレオ測距装置１は、表示部１１と、入力部１２と、２つのカメラユニット１４と、記憶部１６と、制御部１８とを備えて構成されている。
【００２２】
表示部１１は、図示しないディスプレイを備えており、制御部１８から入力される表示信号に基づいて各種情報をディスプレイに表示する。
入力部１２は、図示しない入力受付手段を備えており、この入力受付手段への操作員の入力操作に対応する信号を制御部１８に出力する。
【００２３】
２つのカメラユニット１４は、航空機１０の機外のステレオ画像を取得するためのものであり、図２（ａ）に示すように、航空機１０の両翼の先端に個別に配置され、互いに大きく離間した状態で搭載されている。
各カメラユニット１４は、図２（ｂ）に示すように、光学カメラ１４１と、位置姿勢計１４２と、ＧＰＳ（Global Positioning System）受信機１４３とを備えて構成されている。これらのユニット各部は、剛性の高い金属製の固定板１４０上に互いに近接して配置（固定）されて、互いの位置及び姿勢が変化しないように一体的に構成されている。固定板１４０は、図示は省略するが、光学カメラ１４１の視軸方向を変更可能なように支持されている。
なお、以下の説明では、２つのカメラユニット１４やそのユニット各部のうち、航空機１０の右翼に搭載されたものには「Ｒ」を、左翼に搭載されたものには「Ｌ」を、それぞれの符号に付して互いを識別することとする。
【００２４】
光学カメラ１４１は、制御部１８からの制御指令に基づいて、航空機１０の機外の画像を取得し、取得した画像情報を制御部１８に出力する。この光学カメラ１４１は、２つのカメラユニット１４における２つのもので、ステレオカメラとして対をなして機能するように構成されており、初期状態において所定の距離に互いに離間されつつ、ステレオ画像を取得できるように互いの視野（範囲）ＶＲを交差させている（図２（ａ）参照）。
ここで、「初期状態」とは、航空機１０が地上で停止しているときの状態をいう。
【００２５】
位置姿勢計１４２は、対応する（同じカメラユニット１４の）光学カメラ１４１の位置及び姿勢（向き）に関する情報（位置姿勢情報）を取得するためのものであり、制御部１８からの制御指令に基づいて、当該光学カメラ１４１の位置姿勢情報を取得し、制御部１８に出力する。より詳しくは、位置姿勢計１４２には、初期状態における光学カメラ１４１のカメラ視軸と当該位置姿勢計１４２の姿勢測定軸との角度ずれ、及び、光学カメラ１４１と当該位置姿勢計１４２との位置ずれが、予め測定・計算されて入力されている。そして、位置姿勢計１４２は、取得した自身の位置姿勢情報を、予め入力された光学カメラ１４１との角度ずれ及び位置ずれ分だけオフセットすることにより、当該光学カメラ１４１の位置姿勢情報を取得する。
【００２６】
ＧＰＳ受信機１４３は、本実施形態においては、対応する（同じカメラユニット１４の）光学カメラ１４１が撮影した画像の撮影時刻を取得するためのものであり、制御部１８からの制御指令に基づいて、ＧＰＳ時刻情報を含むＧＰＳ信号をＧＰＳ衛星から受信し、制御部１８に出力する。
【００２７】
図１に示すように、記憶部１６は、ステレオ測距装置１の各種機能を実現するためのプログラムやデータを記憶するとともに、作業領域としても機能するメモリである。本実施形態においては、記憶部１６は、ステレオ測距プログラム１６０を記憶している。
ステレオ測距プログラム１６０は、後述のステレオ測距処理を制御部１８に実行させるためのプログラムである。
【００２８】
制御部１８は、航空機１０の胴体部に設けられており、入力される指示に応じて所定のプログラムに基づいた処理を実行し、各機能部への指示やデータの転送等を行い、ステレオ測距装置１を統括的に制御する。具体的に、制御部１８は、入力部１２から入力される操作信号等に応じて記憶部１６に格納された各種プログラムを読み出し、当該プログラムに従って処理を実行する。そして、制御部１８は、処理結果を記憶部１６に一時保存するとともに表示部１１に適宜出力させる。
また、制御部１８は、後述するように、ステレオ測距処理における各種の機能部として、右側画像補正器１８１Ｒと、左側画像補正器１８１Ｌと、ステレオ測距器１８２とを備えている（図３参照）。
【００２９】
［ステレオ測距装置の動作］
続いて、ステレオ測距処理を実行する際のステレオ測距装置１の動作について説明する。
図３は、ステレオ測距処理でのデータの流れを示すデータフロー図であり、図４は、飛行状態での機体両翼の変形を説明するための概念図であり、図５は、ステレオ測距処理における補正前後での画像の変化を説明するための概念図である。
【００３０】
ステレオ測距処理は、一対の光学カメラ１４１Ｒ，１４１Ｌによりステレオ画像を取得し、このステレオ画像に基づいて航空機１０と撮影対象との間の距離を算出する処理である。このステレオ測距処理は、例えば操作員の操作等により当該処理の実行指示が入力されたときに、制御部１８が記憶部１６からステレオ測距プログラム１６０を読み出して展開することで実行される。
なお、ここでは、飛行中の航空機１０から機体下方の地上にある撮影対象（測距対象）が撮影されるものとする。また、以下の説明では、２つのカメラユニット１４Ｒ，１４Ｌの光学カメラ１４１及び位置姿勢計１４２から得られる後述の各種情報について、語尾に「Ｒ」または「Ｌ」を付すことにより、右翼及び左翼のいずれのカメラユニット１４から得られたものかを識別することとする。
【００３１】
図３に示すように、ステレオ測距処理が実行されると、まず制御部１８は、左右両翼の一対の光学カメラ１４１Ｒ，１４１Ｌにより機外の画像（動画または静止画）をそれぞれ取得する。このとき、各カメラユニット１４では、位置姿勢計１４２により取得された光学カメラ１４１の位置姿勢情報と、ＧＰＳ受信機１４３により取得されたＧＰＳ時刻情報とが、光学カメラ１４１により撮影された画像情報に対応付けられて制御部１８に出力される。
【００３２】
次に、制御部１８は、一対の光学カメラ１４１Ｒ，１４１Ｌにより撮影された一対の画像情報を、右側画像補正器１８１Ｒ及び左側画像補正器１８１Ｌにより個別に補正する。
飛行中の航空機１０においては、図４に示すように、機体の両翼が上方へ撓るように変形しているため、この変形に伴って、両翼先端に設置された２つのカメラユニット１４Ｒ，１４Ｌの相対位置及び姿勢が初期状態（地上での機体停止時の状態）から変化している。そのため、この状態での一対の光学カメラ１４１Ｒ，１４１Ｌから得られるステレオ画像を単純に用いたのでは、撮影対象までの距離を正確に測定することができない。
【００３３】
そこで、制御部１８は、各位置姿勢計１４２により取得された光学カメラ１４１の位置姿勢情報に基づいて、当該光学カメラ１４１の初期状態からの位置及び姿勢（向き）の変化を算出し、この変化分だけ画像情報を補正する。具体的には、右側画像補正器１８１Ｒが、光学カメラ１４１Ｒにより撮影された画像情報Ｒの位置及び向きを、この画像情報Ｒに対応付けられた当該光学カメラ１４１Ｒの位置姿勢情報Ｒに基づいて補正し、この補正がされた補正画像情報Ｒを取得する。同様に、左側画像補正器１８１Ｌが、光学カメラ１４１Ｌにより撮影された画像情報Ｌの位置及び向きを、この画像情報Ｌに対応付けられた当該光学カメラ１４１Ｌの位置姿勢情報Ｌに基づいて補正し、この補正がされた補正画像情報Ｌを取得する。このとき、補正前の各画像情報に対応付けられていたＧＰＳ時刻情報は、そのまま保持される。
これにより、図５（ａ），（ｂ）に示すように、位置及び姿勢が初期状態から変化した各光学カメラ１４１で撮影された画像が、初期状態にある当該光学カメラ１４１で撮影した状態に補正される。
【００３４】
次に、図３に示すように、制御部１８は、取得した一対の補正画像情報（補正画像情報Ｒ及び補正画像情報Ｌ）をステレオ画像として用い、ステレオ測距器１８２により撮影対象との間の距離を算出する。このとき、ステレオ測距器１８２は、各補正画像情報に対応付けられたＧＰＳ時刻情報を参照して、互いの撮像タイミングが合致する（互いのＧＰＳ時刻情報が、同時刻と見做せる時間差の範囲内である）一対の補正画像情報を選択し、当該一対の補正画像情報を照合して距離を算出する。
こうして、飛行時における各々の位置・姿勢の変化が補正され、且つ撮像タイミングが合致したステレオ画像により、撮影対象との間の距離が適正に測定される。
【００３５】
［効果］
以上のように、本実施形態によれば、ステレオカメラを構成する一対の光学カメラ１４１で撮影された一対の画像情報の位置及び向きが、当該一対の光学カメラ１４１それぞれの近傍に設けられた位置姿勢計１４２で取得された位置姿勢情報に基づいて個別に補正され、この補正された一対の補正画像情報に基づいて撮影対象との間の距離が算出される。
これにより、一対の光学カメラ１４１が互いに離間した状態で航空機に搭載されてその位置や姿勢が互いに異なる状態に変化した場合であっても、それぞれの画像の位置及び向きが適正に補正され、測距精度の低下を抑制することができる。したがって、ステレオカメラを単純に離間させた状態で航空機に搭載する場合に比べ、測距精度を向上させることができる。
【００３６】
また、一対の光学カメラ１４１により撮影された各画像情報にＧＰＳ時刻情報が対応付けられ、このＧＰＳ時刻情報に基づいて互いの撮像タイミングの合致する一対の補正画像情報が選択されて、撮影対象との間の距離が算出される。
したがって、一対の光学カメラ１４１を互いに離間させた場合に信号伝送路の伸長化や配線長の製造公差等により撮像タイミングのずれが生じやすくなるところ、この撮像タイミングのずれを好適に抑制して測距精度の低下を抑制することができる。
【００３７】
また、一対の光学カメラ１４１に対応して当該一対の光学カメラ１４１の各々の近傍にＧＰＳ受信機１４３が設けられ、このＧＰＳ受信機１４３により取得されたＧＰＳ時刻情報が、対応する光学カメラ１４１により撮影された画像情報に対応付けられる。
したがって、互いに離間した一対の光学カメラに対し、共通する時刻取得手段が個別に時刻情報を対応付ける場合に比べ、撮像タイミングのずれをより確実に抑制し、測距精度の低下をより確実に抑制することができる。
【００３８】
また、各光学カメラ１４１と、当該光学カメラ１４１に対応する位置姿勢計１４２とが、共通する金属製の固定板１４０上に固定されている。
これにより、光学カメラ１４１と位置姿勢計１４２との互いの位置及び姿勢を、航空機１０の飛行状態等に依らずに一定に保持することができる。したがって、光学カメラ１４１の位置姿勢情報をより正確に取得することができ、ひいては、測距精度の低下をより確実に抑制することができる。
【００３９】
［変形例］
なお、本発明を適用可能な実施形態は、上述した実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
【００４０】
例えば、上記実施形態では、２つのカメラユニット１４の各々にＧＰＳ受信機１４３を設けることとしたが、共通する１つのＧＰＳ受信機１４３だけを設けることとしてもよい。この場合、各カメラユニット１４（光学カメラ１４１）とＧＰＳ受信機１４３とで初期状態での時刻合わせを予め行って、２つのカメラユニット１４での撮像タイミングを合致させられるようにしておけばよい。
【００４１】
また、一対の光学カメラ１４１が航空機１０の両翼端に設置されることとしたが、当該一対の光学カメラ１４１は互いに離間した状態で航空機１０に搭載されていればよく、その機上の位置は特に限定されない。
【符号の説明】
【００４２】
１            ステレオ測距装置
１０          航空機
１４（１４Ｒ，１４Ｌ ）  カメラユニット
１４１（１４１Ｒ，１４１Ｌ）  光学カメラ
１４２（１４２Ｒ，１４２Ｌ）  位置姿勢計
１４３（１４３Ｒ，１４３Ｌ）  ＧＰＳ受信機
１４０      固定板
１６          記憶部
１６０      ステレオ測距プログラム
１８          制御部
【図１】
2018044867.tif 000003
【図２】
2018044867.tif 000004
【図３】
2018044867.tif 000005
【図４】
2018044867.tif 000006
【図５】
2018044867.tif 000007