(57)【要約】  撮像装置間の距離が可変であっても、複数の撮像装置からの測定対象の位置までの距離を高精度に推定する技術を提供する。距離推定装置は、第１画像を撮影する第１撮像装置と、前記第１撮像装置が撮影する第１撮影範囲に対し少なくとも一部が重複する第２撮影範囲における第２画像を、前記第１撮影装置の撮影タイミングと同期したタイミングで撮影する第２撮像装置と、の間の距離である第１距離を推定する第１距離推定手段と、前記第１画像中の第１位置と前記第２画像中の第２位置との対応関係および前記第１距離に基づいて、前記第１撮像装置および前記第２撮像装置の位置関係に基づいた基準位置と、前記第１位置および前記第２位置に対応する実空間上の位置と、の距離である第２距離を推定する第２距離推定手段と、を備える。
2017043078.tif 000002
【特許請求の範囲】
【請求項１】
第１画像を撮影する第１撮像装置と、前記第１撮像装置が撮影する第１撮影範囲に対し少なくとも一部が重複する第２撮影範囲における第２画像を、前記第１撮影装置の撮影タイミングと同期したタイミングで撮影する第２撮像装置と、の間の距離である第１距離を推定する第１距離推定手段と、
前記第１画像中の第１位置と前記第２画像中の第２位置との対応関係および前記第１距離に基づいて、前記第１撮像装置および前記第２撮像装置の位置関係に基づいた基準位置と、前記第１位置および前記第２位置に対応する実空間上の位置との距離である第２距離を推定する第２距離推定手段と、を備える
ことを特徴とする距離推定装置。
【請求項２】
前記実空間上の位置に対応する、前記第１画像中の第１位置と前記第２画像中の第２位置とを対応付ける対応付け手段を更に備え、
前記第２距離推定手段は、前記対応付け手段によって対応付けられた前記１位置と前記第２位置との対応関係と、前記第１距離とに基づいて、前記第２距離を推定する、ことを特徴とする請求項１に記載の距離推定装置。
【請求項３】
前記第１距離推定手段は、前記第１撮像装置の位置を示す第１撮像装置位置情報と前記第２撮像装置の位置を示す第２撮像装置位置情報とに基づいて、前記第１距離を推定する、ことを特徴とする請求項１または２に記載の距離推定装置。
【請求項４】
前記第１距離推定手段は、前記第１撮像装置および前記第２撮像装置の一方から発せられた電波が他方に到達するまでの時間、および、前記第１撮像装置および前記第２撮像装置の一方から発せられた音波が他方に到達するまでの時間のうち、少なくとも何れかに基づいて、前記第１距離を推定する、ことを特徴とする請求項１または２に記載の距離推定装置。
【請求項５】
実空間上における特徴点間のサイズが格納された記憶手段を更に備え、
前記第１距離推定手段は、前記第１画像および前記第２画像の夫々における、前記サイズに関連する少なくとも２つの特徴点に基づいて、前記第１距離を推定する、ことを特徴とする請求項１から４の何れか１項に記載の距離推定装置。
【請求項６】
第１画像を撮影する第１撮像装置と、
前記第１撮像装置が撮影する第１撮影範囲に対し少なくとも一部が重複する第２撮影範囲における第２画像を、前記第１撮影装置の撮影タイミングと同期したタイミングで撮影する第２撮像装置と、
請求項１から５の何れか１項に記載の前記距離推定装置と、
を備えることを特徴とするシステム。
【請求項７】
前記第１撮像装置および前記第２撮像装置の少なくとも一方と、前記距離推定装置とは、一体形成されていることを特徴とする請求項６に記載のシステム。
【請求項８】
前記第１撮像装置および前記第２撮像装置は、夫々、無人航空機に備えられることを特徴とする請求項６または７に記載のシステム。
【請求項９】
第１画像を撮影する第１撮像装置と、前記第１撮像装置が撮影する第１撮影範囲に対し少なくとも一部が重複する第２撮影範囲における第２画像を、前記第１撮影装置の撮影タイミングと同期したタイミングで撮影する第２撮像装置と、の間の距離である第１距離を推定し、
前記第１画像中の第１位置と前記第２画像中の第２位置との対応関係および前記第１距離に基づいて、前記第１撮像装置および前記第２撮像装置の位置関係に基づいた基準位置と、前記第１位置および前記第２位置に対応する実空間上の位置と、の距離である第２距離を推定する、
ことを特徴とする距離推定方法。
【請求項１０】
第１画像を撮影する第１撮像装置と、前記第１撮像装置が撮影する第１撮影範囲に対し少なくとも一部が重複する第２撮影範囲における第２画像を、前記第１撮影装置の撮影タイミングと同期したタイミングで撮影する第２撮像装置と、の間の距離である第１距離を推定する処理と、
前記第１画像中の第１位置と前記第２画像中の第２位置との対応関係および前記第１距離に基づいて、前記第１撮像装置および前記第２撮像装置の位置関係に基づいた基準位置と、前記第１位置および前記第２位置に対応する実空間上の位置と、の距離である第２距離を推定する処理と、をコンピュータに実行させる、プログラムを記憶する、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、距離推定装置、システム、距離推定方法および記録媒体に関する。
【背景技術】
【０００２】
撮影した画像から測量を行う方法が知られている。例えば、特許文献１には、対象物に対して移動する移動基準点と、対象物とを同時に撮影することにより、測量を行う方法が記載されている。【０００３】
また、特許文献２には、２つの画像を用いてステレオ測定によって、測定対象物までの距離および測定対象物の３次元座標を演算することが記載されている。【０００４】
また、２台のカメラを用いて撮影された画像において、仮想的な視点である仮想視点での画像であって、画像の乱れを減少させた画像を作成する方法が特許文献３に記載されている。【０００５】
また、移動ロボットと遠隔制御器の間の距離を、三角測量方法を用いて計算する一例が、特許文献４に記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１３−１５４２９号公報
【特許文献２】特開２０１１−８２５９８号公報
【特許文献３】特開２００６−３９７７０号公報
【特許文献４】特開２００６−４８６３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載の移動基準点およびカメラは、対象物に対して移動するにとどまり、カメラ間の位置関係および移動基準点間の位置関係は変化しない。また、特許文献２および３に記載の技術でも、カメラ間の距離が固定されている。【０００８】
したがって、上述した各特許文献に記載の技術では、カメラ間の位置関係が変化する場合における、撮像装置から測定対象物までの距離の測定精度が、低くなる場合がある。【０００９】
本発明は上記課題に鑑みてなされたものであり、その目的は、撮像装置間の距離が可変であっても、複数の撮像装置からの測定対象の位置までの距離を高精度に推定する技術を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の一態様に係る距離推定装置は、第１画像を撮影する第１撮像装置と、前記第１撮像装置が撮影する第１撮影範囲に対し少なくとも一部が重複する第２撮影範囲における第２画像を、前記第１撮影装置の撮影タイミングと同期したタイミングで撮影する第２撮像装置と、の間の距離である第１距離を推定する第１距離推定手段と、前記第１画像中の第１位置と前記第２画像中の第２位置との対応関係および前記第１距離に基づいて、前記第１撮像装置および前記第２撮像装置の位置関係に基づいた基準位置と、前記第１位置および前記第２位置に対応する実空間上の位置と、の距離である第２距離を推定する第２距離推定手段と、を備える。【００１１】
本発明の一態様に係るシステムは、第１画像を撮影する第１撮像装置と、前記第１撮像装置が撮影する第１撮影範囲に対し少なくとも一部が重複する第２撮影範囲における第２画像を、前記第１撮影装置の撮影タイミングと同期したタイミングで撮影する第２撮像装置と、上記距離推定装置とを備える。【００１２】
本発明の一態様に係る距離推定方法は、第１画像を撮影する第１撮像装置と、前記第１撮像装置が撮影する第１撮影範囲に対し少なくとも一部が重複する第２撮影範囲における第２画像を、前記第１撮影装置の撮影タイミングと同期したタイミングで撮影する第２撮像装置と、の間の距離である第１距離を推定し、前記第１画像中の第１位置と前記第２画像中の第２位置との対応関係および前記第１距離に基づいて、前記第１撮像装置および前記第２撮像装置の位置関係に基づいた基準位置と、前記第１位置および前記第２位置に対応する実空間上の位置と、の距離である第２距離を推定する。【００１３】
なお、上記装置、システムまたは方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本発明の範疇に含まれる。
【発明の効果】
【００１４】
本発明によれば、撮像装置間の距離が可変であっても、複数の撮像装置からの測定対象の位置までの距離を高精度に推定することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施の形態に係る距離推定装置の構成の一例を示すブロック図である。
【図２】本発明の第１の実施の形態に係る距離推定装置の第２距離推定部が、第２距離を推定する方法を説明するための図である。
【図３】本発明の第１の実施の形態に係る距離推定装置の動作の流れの一例を示すフローチャートである。
【図４】本発明の第２の実施の形態に係る距離推定装置の利用シーンを説明するための図である。
【図５】本発明の第２の実施の形態に係る距離推定装置の機能構成の一例を示す機能ブロック図である。
【図６】本発明の第２の実施の形態に係る距離推定装置の動作の流れの一例を示すフローチャートである。
【図７】本発明の第２の実施の形態の変形例に係る距離推定装置の機能構成の一例を示す機能ブロック図である。
【図８】本発明の第３の実施の形態に係るシステムの利用シーンを説明するための図である。
【図９】本発明の第３の実施の形態に係るシステムの機能構成の一例を示す機能ブロック図である。
【図１０】本発明の第３の実施の形態に係るシステムの動作の流れの一例を示すフローチャートである。
【図１１】本発明の第４の実施の形態に係るシステムの利用シーンを説明するための図である。
【図１２】本発明の第４の実施の形態に係るシステムの機能構成の一例を示す機能ブロック図である。
【図１３】本発明の第４の実施の形態に係るシステムの動作の流れの一例を示すフローチャートである。
【図１４】本発明の第５の実施の形態に係る距離推定装置の機能構成の一例を示す機能ブロック図である。
【図１５】本発明の第５の実施の形態に係る距離推定装置の動作の流れの一例を示すフローチャートである。
【図１６】本発明の各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。
【発明を実施するための形態】
【００１６】
＜第１の実施の形態＞
本発明の実施の形態について、図面を参照して詳細に説明する。本実施の形態では、本発明の課題を解決する基本の構成について説明する。図１は、本実施の形態に係る距離推定装置１０の機能構成の一例を示すブロック図である。図１に示す通り、本実施の形態に係る距離推定装置１０は、第１距離推定部１１と、第２距離推定部１２とを備える。
【００１７】
第１距離推定部１１は、第１撮像装置と、第２撮像装置との間の距離（第１距離と呼ぶ）を推定する。この第１距離は、実空間上における、第１撮像装置および第２撮像装置の間の長さである。このような実空間上における長さを、絶対距離とも呼ぶ。第１撮像装置と第２撮像装置とは、画像を撮影する装置である。本実施の形態では、第１撮像装置が撮影する画像を第１画像と呼び、第２撮像装置が撮影する画像を第２画像と呼ぶ。第２撮像装置が撮影する範囲（第２撮影範囲と呼ぶ）は、第１撮像装置が撮影する範囲（第１撮影範囲と呼ぶ）に対し、少なくとも一部が重複する。また、第２撮像装置は、第１撮像装置の撮像タイミングと同期したタイミングで、上記第２撮影範囲を撮影する。
【００１８】
第１距離推定部１１は、例えば、第１撮像装置および第２撮像装置の位置情報に基づいて、第１距離を推定してもよい。また、第１距離推定部１１は、一方の撮像装置（例えば、第１撮像装置）から発せられた電波および／または音波が、発生から他方の撮像装置（例えば、第２撮像装置）に到着するまでに要した時間に基づいて、第１距離を推定してもよい。また、第１距離推定部１１は、第１画像および第２画像に含まれる撮影対象物のサイズに基づいて、第１距離を推定してもよい。
【００１９】
そして、第１距離推定部１１は、推定した第１距離を、第２距離推定部１２に供給する。
【００２０】
第２距離推定部１２は、第１撮像装置が撮影した第１画像中の位置（第１位置）と第２撮像装置が撮影した第２画像中の位置（第２位置）との対応関係、および、第１距離に基づいて、第２距離を推定する。第２距離とは、第１撮像装置と第２撮像装置との位置関係に基づいた基準位置と、対応関係にある第１位置および第２位置に対応する、実空間上の位置（対象物位置とも呼ぶ）との距離である。なお、第１画像中の第１位置とは、第１画像における画素の位置（画素位置）であり、第２画像中の第２位置とは、第２画像における画素位置である。第１位置および第２位置は、画像中の位置であるため、２次元座標系を用いて記述される。なお、第２距離は、例えば、第１撮像装置と第２撮像装置とを結ぶ直線と、上記対象物位置との距離であってもよい。また、第２距離は、例えば、第１撮像装置および第２撮像装置の一方を主撮像装置、他方を副撮像装置とした場合における、下記（ａ）と（ｂ）との、主撮像装置の光学系座標系における距離であってもよい。
（ａ）主撮像装置の位置を含む、該主撮像装置の光軸と垂直な平面（第１平面）、
（ｂ）対象物位置を含む、上記第１平面と平行な平面（第２平面）。
上記第２平面は、主撮像装置の光軸と垂直な平面であるため、上記（ａ）と（ｂ）との主撮像装置の光学系座標系における距離（すなわち、第１平面と第２平面との距離）は、主撮像装置から上記光軸に投影された対象物までの、光学系座標系における距離である。つまり、（ａ）と（ｂ）との主撮像装置の光学系座標系における距離は、主撮像装置から対象物位置までの光軸方向の長さとも言いかえることができる。第２距離推定部１２は、更に、この光学系座標系における距離から第１撮像装置と第２撮像装置とを結ぶ直線と、対象物位置との距離を算出してもよい。
【００２１】
第２距離推定部１２が、第２距離を推定する方法について、図２を参照しながら説明する。図２は、本実施の形態に係る距離推定装置１０の第２距離推定部１２が、第２距離を推定する方法を説明するための図である。なお、図２では、説明の便宜上、第２距離が、第１撮像装置と第２撮像装置とを結ぶ直線と、対応関係にある第１位置および第２位置に対応する、実空間上の位置との距離であるとして説明を行う。第２距離推定部１２は、同様の方法で推定することができる。
【００２２】
第１撮像装置および第２撮像装置は、対象物Ａおよび対象物Ｂを含む画像を撮影する。図２において、第２距離推定部１２が求める、対象物Ａに対する第２距離は、対象物Ａの位置である対象物位置Ｐ＿Ａと、第１撮像装置と第２撮像装置とを結ぶ直線（直線Ｌと呼ぶ）との距離であり、図２においては、線分Ｄ１の長さである。なお、対象物位置Ｐ＿Ａは、対象物Ａ内のある一点の位置を示しており、その位置は、例えば、コーナーなどの特徴点の位置であってもよいし、その他の点の位置であってもよい。同様に、第２距離推定部１２が求める、対象物Ｂに対する第２距離は、対象物Ｂの位置である対象物位置Ｐ＿Ｂと、直線Ｌとの距離であり、図２においては、線分Ｄ２の長さである。対象物位置Ｐ＿Ａと対象物位置Ｐ＿Ｂとは、実空間上の位置であるため、グローバル座標系を用いて記述される。また、図２において、直線Ｌから対象物Ａまでの距離は、直線Ｌから対象物Ｂまでの距離より遠いとする。
【００２３】
第１画像および第２画像には、対象物Ａと対象物Ｂとが含まれる。対象物Ａの対象物位置Ｐ＿Ａに対応する第１画像内の画素位置を第１位置Ｆ＿Ａとし、第２画像内の画素位置を第２位置Ｓ＿Ａとする。同様に、対象物Ｂの対象物位置Ｐ＿Ｂに対応する第１画像内の画素位置を第１位置Ｆ＿Ｂとし、第２画像内の画素位置を第２位置Ｓ＿Ｂとする。
【００２４】
第２距離推定部１２は、第１画像内の複数の第１位置と第２画像内の複数の第２位置とのうち、実空間上において同じ位置に対応している第１位置と第２位置との対応関係（２つの画素位置間の対応関係）、および、第１距離に基づいて、第２距離を推定する。実空間上において同じ位置に対応している第１位置と第２位置との対応関係は、図２の例では、第１位置Ｆ＿Ａと第２位置Ｓ＿Ａとの組、および、第１位置Ｆ＿Ｂと第２位置Ｓ＿Ｂとの組を示す。
【００２５】
具体的には、まず、第２距離推定部１２は、第１画像内の第１位置Ｆ＿Ａと第１撮像装置のカメラパラメータとに基づいて、第１位置Ｆ＿Ａに対応する位置Ｐ＿Ａと第１撮像装置とを結ぶ直線と、直線Ｌとがなす角度θ１＿Ａを算出する。ここで、第１撮像装置のカメラパラメータは、距離推定装置１０内の記憶装置（不図示）に格納されるものであってもよいし、第１撮像装置から送信されるものであってもよい。更に、第２距離推定部１２は、上記第１位置Ｆ＿Ａと対応関係を有する、第２画像内の第２位置Ｓ＿Ａと、第２撮像装置のカメラパラメータとに基づいて、第２位置Ｓ＿Ａに対応する位置Ｐ＿Ａと第２撮像装置とを結ぶ直線と、直線Ｌとがなす角度θ２＿Ａを算出する。ここで、第２撮像装置のカメラパラメータは、距離推定装置１０内の記憶装置（不図示）に格納されるものであってもよいし、第２撮像装置から送信されるものであってもよい。
【００２６】
直線Ｌのうちの第１撮像装置と第２撮像装置との間の線分の長さは、第１距離推定部１１が推定した第１距離である。よって、三角形の一辺の長さと両端の角度が既知となるので、三角測量の原理により、第２距離推定部１２は、対象物Ａに対する第２距離を推定することができる。第２距離推定部１２は、同様の方法で、角度θ１＿Ｂ、角度θ２＿Ｂを求め、対象物Ｂに対する第２距離を推定する。
【００２７】
２つの画素位置間の対応関係のみからでは、距離推定装置１０は、例えば、以下の（１）の場合と、（２）の場合とを区別できない。
（１）第１撮像装置と第２撮像装置とが比較的離れた位置にあり、且つ、撮影対象物が比較的大きいものである場合。
（２）第１撮像装置と第２撮像装置とが比較的近い位置にあり、且つ、撮影対象物が比較的小さいものである場合。
【００２８】
これは「スケールの不定性」と呼ばれる問題である。
【００２９】
しかしながら、本実施の形態における距離推定装置１０の第２距離推定部１２は、第２距離の推定処理に、画素位置間の対応関係に加え、第１撮像装置と第２撮像装置との距離である第１距離を用いる。これにより、第２距離推定部１２は、第１撮像装置と第２撮像装置との位置関係に基づいた基準位置から、実空間上の位置までの距離である第２距離を求めることができる。したがって、距離推定装置１０は、上記「スケールの不定性」を解決することができる。
【００３０】
次に、本実施の形態に係る距離推定装置１０の動作の流れについて説明する。図３は、本実施の形態に係る距離推定装置１０の動作の流れの一例を示すフローチャートである。
【００３１】
図３に示す通り、まず、第１距離推定部１１が、第１撮像装置と、第２撮像装置との間の距離である第１距離を推定する（ステップＳ１）。その後、第２距離推定部１２が、第１画像中の画素位置と第２画像中の画素位置との対応関係、および、第１距離に基づいて、第１撮像装置と第２撮像装置との位置関係に基づいた基準位置から、両画素位置に対応する実空間上の位置までの距離である第２距離を推定する（ステップＳ２）。
【００３２】
以上により、距離推定装置１０は、処理を終了する。
【００３３】
（効果）
以上のように本実施の形態における距離推定装置１０の第１距離推定部１１が、第１撮像装置と、第２撮像装置との間の距離である第１距離を推定する。そして、第２距離推定部１２が、第１画像中の画素位置と第２画像中の画素位置との対応関係、および、第１距離に基づいて、第１撮像装置と第２撮像装置との位置関係に基づいた基準位置から、両画素位置に対応する実空間上の位置までの距離である第２距離を推定する。
【００３４】
このように、撮像装置間の距離が変化しても、距離推定装置１０が撮像装置間の距離である第１距離を推定する。また、距離推定装置１０は、第２距離の推定に２つの画像間の対応関係だけでなく、第１距離を用いる。これにより、上述した「スケールの不定性」を解決することができる。
【００３５】
したがって、本実施の形態に係る距離推定装置１０によれば、撮像装置間の距離が可変であっても、複数の撮像装置からの測定対象の位置までの距離である第２距離を高精度に推定することができる。
【００３６】
なお、一般的なステレオカメラでは２つのカメラ間の位置関係を一定に保つ必要があり、筐体の剛性確保の制約からベースライン長には限界があった。それゆえ、カメラから遠方の点までの距離の計測の精度が低くなる可能性がある。また、ベースライン長と計測可能なカメラから遠方の点までの距離との間には、正の関係がある。そのため、仮にベースライン長を非常に長く設定した場合、カメラ間の位置関係が安定しにくくなるため、頻繁に大量の校正パターンを用いてカメラ間の位置関係を補正するという煩雑な手続きが必要となる場合がある。また、筐体が経年変化でゆがむたびに、新たな校正パターンを用いてカメラ校正を行う必要があった。
【００３７】
しかしながら、本実施の形態における距離推定装置１０によれば、カメラ校正を行う必要が無い。したがって、安価な装置で、高精度な第２距離の測定を行うことができる。
【００３８】
＜第２の実施の形態＞
次に、上述した第１の実施の形態を基本とする、本発明の第２の実施の形態について、図面を参照して説明する。本実施の形態に係る距離推定装置１００は、第１の実施の形態において説明した距離推定装置１０と同様の機能を備える。
【００３９】
図４は、本実施の形態に係る距離推定装置１００の利用シーンを説明するための図である。距離推定装置１００は、第１撮影部１０１および第２撮影部１０２を含んでいる。距離推定装置１００の第１撮影部１０１と、第２撮影部１０２とは少なくとも一部が重複する撮影範囲を撮影する。第１撮影部１０１および第２撮影部１０２の間の距離は、可変となるように、第１撮影部１０１および第２撮影部１０２は距離推定装置１００に設けられている。
【００４０】
本実施の形態では、このような距離推定装置１００について説明する。図５は、本実施の形態に係る距離推定装置１００の機能構成の一例を示す機能ブロック図である。図５に示す通り、本実施の形態に係る距離推定装置１００は、第１撮影部１０１と、第２撮影部１０２と、第１距離推定部１１０と、第２距離推定部１２０と、対応付け部１３０と、記憶部１４０と、を備える。
【００４１】
第１撮影部１０１は、時々刻々、画像を撮影する。第１撮影部１０１は、カメラなどの撮像装置によって実現される。第１撮影部１０１が撮影する画像は、道路を含んだ風景画像であってもよいし、橋などの構造物を含んだ画像であってもよい。以下、第１撮影部１０１が撮影する画像を、第１画像と呼ぶ。
【００４２】
本実施の形態では、第１撮影部１０１は、高精度な測位システム（例えば、ＲＴＫ−ＧＰＳ（Ｒｅａｌ  Ｔｉｍｅ  Ｋｉｎｅｍａｔｉｃ−Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）や準天頂衛星システム等）から位置情報を受信可能な位置情報受信部１０１１を備えるとする。第１撮影部１０１は、第１画像を撮影する際、この位置情報受信部１０１１によって、撮影時の第１撮影部１０１の位置を示す位置情報を受信する。位置情報受信部１０１１は、第１撮影部１０１に近接して設けられたＧＰＳ受信機によって実現されるものであってもよい。
【００４３】
第１撮影部１０１は、撮影した第１画像を、対応付け部１３０に供給する。また、第１撮影部１０１は、受信した位置情報であって、第１画像を撮影した時の、第１撮影部１０１の位置を示す位置情報（第１撮影部位置情報と呼ぶ）を、第１距離推定部１１０に供給する。なお、第１撮影部位置情報には、第１画像の撮影時刻が含まれていてもよい。
【００４４】
第２撮影部１０２は、第１撮影部１０１の撮像タイミングと同期したタイミングで、画像を撮影する。第２撮影部１０２は、第１撮影部１０１と同様に、カメラなどの撮像装置によって実現される。本実施の形態では、第２撮影部１０２は、第１撮影部１０１と重複した視野をもつように設置されているとする。したがって、第２撮影部１０２が撮影する範囲は、第１撮影部１０１が撮影する範囲に対し、少なくとも一部が重複する。以下、第１撮影部１０１が撮影する範囲を第１撮影範囲と呼び、第２撮影部１０２が撮影する範囲を第２撮影範囲と呼ぶ。また、第２撮影部１０２が撮影する画像を、第２画像と呼ぶ。
【００４５】
また、本実施の形態では、第２撮影部１０２は、第１撮影部１０１と同様に、上述した位置情報受信部１０１１と同様の機能を有する位置情報受信部１０２１を備えるとする。第２撮影部１０２は、第２画像を撮影する際、この位置情報受信部１０２１によって、撮影時の第２撮影部１０２の位置を示す位置情報を受信する。位置情報受信部１０２１は、第２撮影部１０２に近接して設けられたＧＰＳ受信機によって実現されるものであってもよい。
【００４６】
第２撮影部１０２は、撮影した第２画像を対応付け部１３０に供給する。また、第２撮影部１０２は、受信した位置情報であって、第２画像を撮影した時の、第２撮影部１０２の位置を示す位置情報（第２撮影部位置情報と呼ぶ）を、第１距離推定部１１０に供給する。なお、第２撮影部位置情報には、第２画像の撮影時刻が含まれていてもよい。
【００４７】
なお、第１撮影部１０１と第２撮影部１０２とが撮影タイミングの同期を取る方法は、特に限定されず、一般的な同期方法を採用してもよい。
【００４８】
また、第１撮影部１０１および第２撮影部１０２は、剛性の筐体に接続されて一体となっていなくてもよい。つまり、本実施の形態では、第１撮影部１０１と第２撮影部１０２との位置関係が変動するように、距離推定装置１００に設けられていてもよい。なお、本実施の形態では、第１撮影部１０１と第２撮影部１０２とは、距離推定装置１００内に内蔵されることを例に説明を行うが、これに限定されるものではない。第１撮影部１０１と、第２撮影部１０２とは夫々、距離推定装置１００とは別個の撮像装置で実現されるものであってもよい。また、第１撮影部１０１および第２撮影部１０２の一方が、距離推定装置１００内に内蔵され、他方が距離推定装置１００とは別個の撮像装置で実現されてもよい。このように、第１撮影部１０１と第２撮影部１０２との少なくとも一方が距離推定装置１００とは別個の撮像装置で実現される構成については、他の実施の形態において説明する。
【００４９】
第１距離推定部１１０は、上述した第１の実施の形態における第１距離推定部１１に相当する。第１距離推定部１１０は、第１撮影部位置情報と第２撮影部位置情報とを受信する。上述したとおり、第１撮影部位置情報によって示される位置で撮影された第１画像の撮影タイミングと、第２撮影部位置情報によって示される位置で撮影された第２画像の撮影タイミングとは同期している。第１距離推定部１１０は、第１撮影部位置情報および第２撮影部位置情報を、グローバル座標系を用いて記述し、上記撮影タイミングにおける、第１撮影部１０１と、第２撮影部１０２との間の距離である第１距離を推定する。この第１距離は、実空間上における、第１撮影部１０１および第２撮影部１０２の間の長さである。
【００５０】
なお、第１撮影部位置情報に第１画像の撮影時刻が含まれ、第２撮影部位置情報に第２画像の撮影時刻が含まれる場合、第１距離推定部１１０は、この撮影時刻を用いて、第１距離を推定してもよい。
【００５１】
なお、第１距離推定部１１０が推定する第１距離は、第１撮影部１０１が撮影する画像面と、第２撮影部１０２が撮影する画像面との距離であるとするが、本実施の形態はこれに限定されるものではなく、精度に応じて適宜選択可能である。
【００５２】
第１距離推定部１１０は、推定した第１距離を、第２距離推定部１２０に供給する。
【００５３】
対応付け部１３０は、第１撮影部１０１が撮影した第１画像中の画素位置（第１位置）と第２撮影部１０２が撮影した第２画像中の画素位置（第２位置）とを対応付ける。
【００５４】
予め校正パターンを用いて第１画像および第２画像を校正し、第１撮影部１０１および第２撮影部１０２間の位置関係を既知として処理する通常のケースであれば、画像間にエピポーラ拘束という条件があることを利用することができる。エピポーラ拘束とは、一方の画像内のある点は、もう一方の画像内のある直線上に射影されるというものである。一般的には、この条件を利用し、上記直線を求め、この直線上のみを探索して、射影される点（対応点と呼ぶ）を決定する。しかしながら、本実施の形態では、第１撮影部１０１および第２撮影部１０２間の位置関係を固定しないため、異なる方法を用いる。
【００５５】
具体的には、対応付け部１３０は、まず、第１撮影部１０１から受信した第１画像および第２撮影部１０２から受信した第２画像からコーナーおよびｂｌｏｂなどの特徴点を抽出する。そして、対応付け部１３０は、抽出した特徴点の夫々に対して、特徴量を抽出する。特徴点および特徴量の抽出方法は、一般的に採用されている方法であってもよく、例えばＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）を用いてもよい。
【００５６】
次に、対応付け部１３０は、第１画像から抽出した複数の特徴点（第１特徴点と呼ぶ）の夫々の特徴量（第１特徴量と呼ぶ）と、第２画像から抽出した複数の特徴点（第２特徴点と呼ぶ）の夫々の特徴量（第２特徴点と呼ぶ）とが、類似する特徴点の組を生成する。そして、対応付け部１３０は、８点法とＲＡＮＳＡＣ（Ｒａｎｄｏｍ  Ｓａｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ）処理とを用いて、抽出した特徴点の組のうち、第１特徴点と第２特徴点とのマッチング精度が高くなる係数を算出する。
【００５７】
この係数は基礎行列（３×３の行列）という形式で一般的に表現される。基礎行列が定まれば、一方の画像上の点に対応するもう一方の画像上の点が存在するエピポーラ線を決定することができる。したがって、対応付け部１３０は、この算出した係数を用いて、ステレオマッチングを行うことにより、第１画像上の点と第２画像上の点との対応付けを行う。上記第１画像上の点と上記第２画像上の点とは、夫々の画像上における２次元座標で表現される点である。したがって、対応付け部１３０が行う対応付けの処理は、第１画像中の画素位置と第２画像中の画素位置とを対応付ける処理であると言える。なお、対応付け部１３０が対応付けを行う点は特徴点に限定されず、その他の点であってもよい。
【００５８】
以上の処理を、対応付け部１３０は、時々刻々撮影される第１画像と第２画像とを用いて行う。これにより、第１撮影部１０１と第２撮影部１０２との位置関係が、時間の経過と共に変化するような状況下であっても、対応付け部１３０は、第１画像中の第１位置と第２画像中の第２位置との対応付けを行うことができる。
【００５９】
対応付け部１３０は、対応付けた第１位置と第２位置との対応関係を示す情報を、第２距離推定部１２０に供給する。第１位置と第２位置との対応関係を示す情報とは、例えば、第１位置を示す座標と該第１位置に対応付けた第２位置を示す座標との組である。
【００６０】
記憶部１４０には、第１撮影部１０１のカメラパラメータおよび第２撮影部１０２のカメラパラメータが格納されている。また、記憶部１４０は、第１撮影部１０１が撮影した第１画像および第２撮影部１０２が撮影した第２画像を格納してもよい。この場合、第１距離推定部１１０および対応付け部１３０は、この記憶部１４０に格納された第１画像および第２画像を用いて、上述した処理を行ってもよい。なお、本実施の形態では、記憶部１４０が距離推定装置１００内に内蔵されることを例に説明を行うが、記憶部１４０は距離推定装置１００とは別個の記憶装置で実現されるものであってもよい。
【００６１】
第２距離推定部１２０は、第１距離推定部１１０から供給された第１距離と、対応付け部１３０から供給された、第１位置と第２位置との対応関係を示す情報とに基づいて、第２距離を推定する。このとき、第２距離推定部１２０は、記憶部１４０に格納された、第１撮影部１０１のカメラパラメータおよび第２撮影部１０２のカメラパラメータを用いて、第２距離を推定する。第２距離とは、第１撮影部１０１と第２撮影部１０２との位置関係に基づいた基準位置と、対応関係にある第１位置および第２位置に対応する、実空間上の位置との距離である。第２距離推定部１２０による第２距離の推定方法は、上述した第１の実施の形態における第２距離推定部１２の第２距離の推定方法と同様であるため、説明を省略する。
【００６２】
次に、本実施の形態に係る距離推定装置１００の動作の流れについて説明する。図６は、本実施の形態に係る距離推定装置１００の動作の流れの一例を示すフローチャートである。
【００６３】
図６に示す通り、まず、第１撮影部１０１と第２撮影部１０２とが夫々第１画像と第２画像とを、同期したタイミングで撮影する（ステップＳ６１）。そして、第１撮影部１０１の位置情報受信部１０１１は、撮影時の第１撮影部１０１の位置を示す第１撮影部位置情報を測位システムから受信する（ステップＳ６２）。そして、第１撮影部１０１は、撮影時の第１撮影部位置情報を、第１距離推定部１１０に供給する。また、第２撮影部１０２の位置情報受信部１０２１は、撮影時の第２撮影部１０２の位置を示す第２撮影部位置情報を測位システムから受信する（ステップＳ６３）。そして、第２撮影部１０２は撮影時の第２撮影部位置情報を、第１距離推定部１１０に供給する。なお、上記ステップＳ６１〜ステップＳ６３は同じタイミングで実行されることが好ましい。
【００６４】
次に、第１距離推定部１１０が、第１撮影部１０１と第２撮影部１０２との間の距離である第１距離を推定する（ステップＳ６４）。
【００６５】
また、対応付け部１３０が、ステップＳ６１で、第１撮影部１０１が撮影した第１画像と、第２撮影部１０２が撮影した第２画像との夫々から特徴点を抽出する（ステップＳ６５）。そして、対応付け部１３０が、第１特徴点の特徴量と第２特徴点の特徴量とに基づいて、第１特徴点と第２特徴点との組を生成する（ステップＳ６６）。その後、対応付け部１３０は、基礎行列で表現される係数を算出する（ステップＳ６７）。そして、対応付け部１３０は、算出した係数を用いて、ステレオマッチングを行い、第１画像中の画素位置である第１位置と第２画像中の画素位置である第２位置とを対応付ける（ステップＳ６８）。
【００６６】
なお、ステップＳ６４は、ステップＳ６５〜ステップＳ６８の何れかと同じタイミングで実行されてもよいし、ステップＳ６８の後に実行されてもよい。
【００６７】
そして、第２距離推定部１２０が、ステップＳ６８で対応付けられた第１位置と第２位置との対応関係、および、第１距離に基づいて、第２距離を推定する（ステップＳ６９）。
【００６８】
以上により、距離推定装置１００は、処理を終了する。なお、上述の距離推定装置１００の処理は、第１画像、および、該第１画像と同じタイミングで撮影された第２画像の組毎に行われる処理である。上述したとおり、第１撮影部１０１および第２撮影部１０２は、時々刻々画像を撮影する。したがって、距離推定装置１００は、時々刻々撮影される第１画像、および、第２画像の組毎に図１０に示す処理を行う。
【００６９】
（効果）
本実施の形態に係る距離推定装置１００は、上述した第１の実施の形態に係る距離推定装置１０と同様の効果を奏する。また、対応付け部１３０が、時々刻々撮影される第１画像と第２画像とを用いて、対応付けを行う。これにより、距離推定装置１００は、第１撮影部１０１と第２撮影部１０２との位置関係が、時間の経過と共に変化するような状況下であっても、対応付けられた第１位置および第２位置と、第１距離とを用いて、第２距離を推定することができる。
【００７０】
また、本実施の形態に係る距離推定装置１００は、ＧＰＳ等の測位システムからの位置情報を用いて、第１距離を推定する構成であるため、例えば、２台のカメラ間の距離が急速に変化する場合であっても、好適に、第１距離を推定することができる。
【００７１】
（変形例）
本実施の形態の変形例について説明する。上述した第２の実施の形態では、第１距離推定部１１０が、第１撮影部１０１および第２撮影部１０２の位置情報に基づいて、第１距離を推定することについて説明した。しかしながら、第１距離推定部１１０が第１距離を推定する方法は、これに限定されるものではない。
【００７２】
本変形例では、第１距離推定部１１０が第１距離を推定する方法の他の例について説明する。図７は、本変形例に係る距離推定装置１００の機能構成の一例を示す機能ブロック図である。
【００７３】
本変形例では、第１撮影部１０１は、高精度な測位システムから位置情報を受信可能な位置情報受信部１０１１の代わりに、第１画像の撮影時刻と同時刻に、該撮影時刻の情報を含む電波を送信する電波送信部１０１２を備える。なお、この電波送信部１０１２は、第１撮影部１０１に近接して設けられた電波発信機によって実現されるものであってもよい。
【００７４】
また、第２撮影部１０２は、高精度な測位システムから位置情報を受信可能な位置情報受信部１０２１の代わりに、第１撮影部１０１の電波送信部１０１２から送信された電波を受信する電波受信部１０２２を備える。第２撮影部１０２の電波受信部１０２２は、電波を受信した受信時刻を取得する。なお、この電波受信部１０２２は、第２撮影部１０２に近接して設けられた電波受信機によって実現されるものであってもよい。
【００７５】
第２撮影部１０２は、取得した受信時刻と、受信した電波によって示される撮影時刻とから電波が送信されてから受信までに要した時間を計測する。そして、第２撮影部１０２は、計測した時間を示す計測情報を、第１距離推定部１１０に供給する。
【００７６】
第１距離推定部１１０は、第２撮影部１０２から供給された計測情報に基づいて、第１距離を推定する。なお、第１距離推定部１１０は、第１撮影部１０１から撮影時刻を示す情報を受信し、第２撮影部１０２から、電波の受信時刻を示す情報を受信する構成であってもよい。この場合、第１距離推定部１１０は、第１撮影部１０１から電波が送信されてから、第２撮影部１０２が該電波を受信するまでに要した時間を計測し、計測した時間に基づいて、第１距離を推定する。
【００７７】
なお、本変形例では、距離推定装置１００が電波を用いて、第１距離を推定する方法について説明したが、電波のかわりに音波を用いて、第１距離を推定してもよい。また、距離推定装置１００は、電波と音波との両方を用いて、第１距離を推定してもよい。
【００７８】
この構成によれば、第１撮影部１０１と第２撮影部１０２との間の距離が急速に変化しない条件下であれば、ＧＰＳ等の測位システムからの位置情報が受信できない場所でも撮影部間の距離を計測できるという利点がある。
【００７９】
＜第３の実施の形態＞
本発明の第３の実施の形態について、図面を参照して説明する。上述した第２の実施の形態では、距離推定装置内に第１撮影部１０１と第２撮影部１０２とが含まれる構成について説明したが、本実施の形態では、第１撮影部１０１と第２撮影部１０２とが、距離推定装置とは別個の装置に含まれる構成について説明する。本実施の形態に係る距離推定装置２００は、第１の実施の形態において説明した距離推定装置１０と同様の機能を備える。
【００８０】
本実施の形態に係るシステム１は、距離推定装置２００と、無人航空機２１０と、無人航空機２２０とを含む。図８は、本実施の形態に係るシステム１の利用シーンを説明するための図である。距離推定装置２００と、無人航空機（２１０、２２０）とは、無線接続されている。
【００８１】
図８に示すように、無人航空機（２１０、２２０）は、飛行する物体であり、例えば、町の上空を飛行する。無人航空機（２１０、２２０）は、人為的な操作によって、飛行する物体であってもよいし、自律型の物体であってもよい。無人航空機（２１０、２２０）には、夫々、撮影部が備えられている。それぞれの撮影部は、撮影範囲の一部が重複するように、画像を撮影する。また、２つの撮影部は同期した撮影タイミングで、画像を撮影する。
【００８２】
撮影された画像は、各無人航空機から距離推定装置２００に送信される。そして、距離推定装置２００は、各無人航空機の撮影部が撮影した画像を用いて、２つの無人航空機の位置関係に基づいた基準位置から対象物（図８の場合は、例えば、ビル）までの距離である第２距離を推定する。
【００８３】
次に、本実施の形態に係るシステム１の機能構成について説明する。図９は、本実施の形態に係るシステム１の機能構成の一例を示す機能ブロック図である。なお、説明の便宜上、前述した各実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。
【００８４】
図９に示す通り、システム１の無人航空機２１０は、第１撮影部１０１と、送信部２１１とを備える。また、無人航空機２２０は、第２撮影部１０２と、送信部２２１とを備える。
【００８５】
無人航空機２１０の第１撮影部１０１は、上述した第２の実施の形態における第１撮影部１０１と同様の機能を有する。第１撮影部１０１は、第２の実施の形態における第１撮影部１０１と同様に位置情報受信部１０１１を含む。なお、第１撮影部１０１は、第２の実施の形態の変形例と同様に、電波送信部１０１２を含む構成であってもよい。
【００８６】
第１撮影部１０１は撮影した第１画像と、位置情報受信部１０１１が受信した第１撮影部位置情報とを、送信部２１１に供給する。なお、第１撮影部１０１が撮影した第１画像には、撮影時刻を示す撮影時刻情報が含まれてもよい。
【００８７】
送信部２１１は、距離推定装置２００と通信を行う。送信部２１１は、第１撮影部１０１から供給された第１画像と第１撮影部位置情報とを、距離推定装置２００に送信する。
【００８８】
無人航空機２２０の第２撮影部１０２は、上述した第２の実施の形態における第２撮影部１０２と同様の機能を有する。第２撮影部１０２は、第２の実施の形態における第２撮影部１０２と同様に位置情報受信部１０２１を含む。なお、第２撮影部１０２は、第２の実施の形態の変形例と同様に、電波受信部１０２２を含む構成であってもよい。
【００８９】
第２撮影部１０２は撮影した第２画像と、位置情報受信部１０２１が受信した第２撮影部位置情報とを、送信部２２１に供給する。なお、第２撮影部１０２が撮影した第２画像には、撮影時刻を示す撮影時刻情報が含まれてもよい。
【００９０】
送信部２２１は、距離推定装置２００と通信を行う。送信部２２１は、第２撮影部１０２から供給された第２画像と第２撮影部位置情報とを、距離推定装置２００に送信する。
【００９１】
距離推定装置２００は、第１距離推定部１１０、第２距離推定部１２０、対応付け部１３０、記憶部１４０および受信部１５０を備える。受信部１５０は、無人航空機２１０から送信された第１画像と第１撮影部位置情報とを受信する。また受信部１５０は、無人航空機２２０から送信された第２画像と第２撮影部位置情報とを受信する。受信部１５０は、受信した第１画像と第２画像とを対応付け部１３０に供給する。また、受信部１５０は、受信した第１撮影部位置情報と第２撮像部位置情報とを第１距離推定部１１０に供給する。
【００９２】
なお、受信部１５０は、受信した第１画像、第１撮影部位置情報、第２画像、および、第２撮影部位置情報を、記憶部１４０に格納してもよい。このとき、受信部１５０は、第１画像に含まれる撮影時刻情報と、第２画像に含まれる撮影時刻情報とを参照し、同じ撮影時刻の第１画像と、第２画像と、これらと共に受信した第１撮影部位置情報および第２撮影部位置情報とを互いに関連付けて記憶部１４０に格納してもよい。
【００９３】
第１距離推定部１１０は、受信部１５０から供給された第１撮影部位置情報と第２撮像部位置情報とを用いて、第２の実施の形態における第１距離推定部１１０と同様に、第１距離を推定する。
【００９４】
対応付け部１３０は、受信部１５０から供給された第１画像と第２画像とを用いて、第２の実施の形態における対応付け部１３０と同様に、第１画像中の第１位置と第２画像中の第２位置とを対応付ける。
【００９５】
そして、第２距離推定部１２０は、第２の実施の形態における第２距離推定部１２０と同様に、第２距離を推定する。
【００９６】
次に、本実施の形態に係るシステム１の動作の流れについて説明する。図１０は、本実施の形態に係るシステム１の動作の流れの一例を示すフローチャートである。図１０においては、無人航空機２１０の処理を左側に、距離推定装置２００の処理を中央に、無人航空機２２０の処理を右側に示している。また、各フローチャート間の破線の矢印は、情報の伝達を示している。
【００９７】
まず、無人航空機２１０の第１撮影部１０１が第１画像を撮影する（ステップＳ１０１）。また、無人航空機２２０の第２撮影部１０２が、ステップＳ１０１と同じタイミングで第２画像を撮影する（ステップＳ１０２）。
【００９８】
また、無人航空機２１０の第１撮影部１０１の位置情報受信部１０１１が、ステップＳ１０１と同じタイミングで、第１撮影部位置情報を測位システムから受信する（ステップＳ１０３）。更に、無人航空機２２０の第２撮影部１０２の位置情報受信部１０２１が、ステップＳ１０２と同じタイミングで、第２撮影部位置情報を測位システムから受信する（ステップＳ１０４）。
【００９９】
無人航空機２１０の送信部２１１は、ステップＳ１０１で第１撮影部１０１が撮影した第１画像と、ステップＳ１０３で位置情報受信部１０１１が受信した第１撮影部位置情報とを、距離推定装置２００に送信する（ステップＳ１０５）。距離推定装置２００の受信部１５０は、無人航空機２１０から送信された第１画像と第１撮影部位置情報とを受信する（ステップＳ１０６）。
【０１００】
無人航空機２２０の送信部２２１は、ステップＳ１０２で第２撮影部１０２が撮影した第２画像と、ステップＳ１０４で位置情報受信部１０２１が受信した第２撮影部位置情報とを、距離推定装置２００に送信する（ステップＳ１０７）。距離推定装置２００の受信部１５０は、無人航空機２２０から送信された第２画像と第２撮影部位置情報とを受信する（ステップＳ１０８）。
【０１０１】
なお、ステップＳ１０５と、ステップＳ１０７とが同じタイミングで実行されてもよい。また、ステップＳ１０６とステップＳ１０８とは同じタイミングで実行されてもよいし、逆順で実行されてもよい。
【０１０２】
次に、第１距離推定部１１０が、第１撮影部１０１と第２撮影部１０２との間の距離である第１距離を推定する（ステップＳ１０９）。
【０１０３】
また、対応付け部１３０が、第１画像と第２画像との夫々から特徴点を抽出する（ステップＳ１１０）。そして、対応付け部１３０が、第１特徴点の特徴量と第２特徴点の特徴量とに基づいて、第１特徴点と第２特徴点との組を生成する（ステップＳ１１１）。その後、対応付け部１３０は、基礎行列で表現される係数を算出する（ステップＳ１１２）。そして、対応付け部１３０は、算出した係数を用いて、ステレオマッチングを行い、第１画像中の画素位置である第１位置と第２画像中の画素位置である第２位置とを対応付ける（ステップＳ１１３）。
【０１０４】
なお、ステップＳ１０９は、ステップＳ１１０〜ステップＳ１１３の何れかと同じタイミングで実行されてもよいし、ステップＳ１１３の後に実行されてもよい。
【０１０５】
そして、第２距離推定部１２０が、ステップＳ１１３で対応付けられた第１位置と第２位置との対応関係、および、第１距離に基づいて、第２距離を推定する（ステップＳ１１４）。
【０１０６】
以上により、システム１は、処理を終了する。なお、上述のシステム１の処理は、第１画像、および、該第１画像と同じタイミングで撮影された第２画像の組毎に行われる処理である。上述したとおり、第１撮影部１０１および第２撮影部１０２は、時々刻々画像を撮影する。したがって、図１０に示す処理は、時々刻々撮影される第１画像、および、第２画像の組毎に行われる。
【０１０７】
以上のように、本実施の形態におけるシステム１は上述した第１および第２の実施の形態に係る距離推定装置（１０、１００）と同様の効果を得ることができる。また、本実施の形態に係るシステム１は、無人航空機２１０および無人航空機２２０の間の距離が変動しても、撮影された画像ごとに、第１距離および第２距離を推定する。したがって、第１画像および第２画像が撮影された時点における、例えば、対象物と、第１撮影部１０１および第２撮影部１０２の位置関係に基づいた基準位置との距離の精度を高めることができる。
【０１０８】
また、システム１の距離推定装置２００は、推定した第１距離および／または第２距離に基づいて、無人航空機（２１０、２２０）の夫々の動作を制御する構成であってもよい。
【０１０９】
なお、無人航空機の数は２つに限定されず、３以上であってもよい。この場合、本実施の形態では、例えば、複数の無人航空機のうち、ある無人航空機と、この無人航空機に備えられた撮影部の撮影範囲と、一部が重複する範囲を撮影する撮影部を備える他の無人航空機との２つを無人航空機（２１０、２２０）とする。また、無人航空機（２１０、２２０）は、編隊を組んで飛行するものであってもよい。
【０１１０】
また、本実施の形態におけるシステム１の無人航空機（２１０、２２０）は、例えば、災害が発生した場所や、人が立ち入りにくいインフラの場所を撮影する場面にも適用できる。このような場面にシステム１を適用することにより、距離推定装置２００は、建物やインフラまでの第２距離を精度よく推定することができる。このような第２距離は、被災状況やインフラの劣化診断などに好適に利用することができる。また、上記第２距離は、町の警備や３次元マップの作成などの場面にも、好適に利用することができる。
【０１１１】
また、本実施の形態では、システム１には、第１撮影部１０１または第２撮影部１０２を備えた無人航空機が含まれることを例に説明を行ったが、システム１は無人航空機に代えて、例えば、スマートフォンなどの携帯端末を備える構成であってもよい。この場合、携帯端末には、上述した第１撮影部１０１または第２撮影部１０２が備えられる。また、システム１は、第１撮影部１０１を備える無人航空機と、第２撮影部１０２を備える携帯端末とを含む構成であってもよい。また、第１撮影部１０１および／または第２撮影部１０２は、建物に設けられる構成であってもよい。また、システム１は、無人航空機の代わりに、第１撮影部１０１および／または第２撮影部１０２を含む自動車などの移動物体を含む構成であってもよい。
【０１１２】
システム１の構成によれば、第１撮影部１０１を備える装置および第２撮影部１０２を備える装置と、距離推定装置２００との間が遠く離れている場合であっても、上述した第２の実施の形態と同様の効果を得ることができる。
【０１１３】
また、第１撮影部１０１を備える装置および第２撮影部１０２を備える装置は、無人航空機のように、距離推定装置２００と無線接続される装置であることについて説明した。しかし、第１撮影部１０１を備える装置および／または第２撮影部１０２を備える装置は、距離推定装置２００と有線接続される装置であってもよい。
【０１１４】
＜第４の実施の形態＞
本発明の第４の実施の形態について、図面を参照して説明する。本実施の形態では、第１撮影部１０１と第２撮影部１０２との一方が距離推定装置とは別個の撮像装置で実現され、他方が距離推定装置と一体となって構成される場合について説明する。本実施の形態では、第１撮影部１０１と、第１の実施の形態において説明した距離推定装置１０と同様の機能を、無人航空機３００が備え、第２撮影部１０２の機能を無人航空機３１０が備えるシステム２について説明する。
【０１１５】
本実施の形態に係るシステム２は、無人航空機３００と、無人航空機３１０と、を含む。図１１は、本実施の形態に係るシステム２の利用シーンを説明するための図である。無人航空機（距離推定装置）３００と無人航空機３１０とは、無線接続されている。
【０１１６】
図１１に示すように、無人航空機（３００、３１０）は、無人航空機（２１０、２２０）と同様に、飛行する物体である。無人航空機（３００、３１０）は、一方がマスタとして機能し、他方がスレーブとして機能する。本実施の形態では、無人航空機３００がマスタとして機能し、無人航空機３１０がスレーブとして機能するとして説明を行う。無人航空機３００と、無人航空機３１０とには、夫々、撮影部が備えられている。それぞれの撮影部は、撮影範囲の一部が重複するように、画像を撮影する。また、２つの撮影部は同期した撮影タイミングで、画像を撮影する。
【０１１７】
スレーブとして機能する無人航空機３１０が撮影した画像は、マスタとして機能する無人航空機３００に送信される。マスタとして機能する無人航空機３００は、上述したとおり、距離推定装置１０の機能を有している。よって、無人航空機３００は、無人航空機３００に備えられた撮影部で撮影した画像と、無人航空機３１０から送信された画像とを用いて、２つの無人航空機の位置関係に基づいた基準位置から対象物（図１１の場合は、例えば、ビル）までの距離である第２距離を推定する。
【０１１８】
次に、本実施の形態に係るシステム２の機能構成について説明する。図１２は、本実施の形態に係るシステム２の機能構成の一例を示す機能ブロック図である。なお、説明の便宜上、前述した各実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。
【０１１９】
無人航空機３１０は、送信部２２１が、第２画像と第２撮影部位置情報とを無人航空機３００に対して送ること以外は、第３の実施の形態において説明した無人航空機２２０と同様の機能を有するため、説明を省略する。
【０１２０】
無人航空機３００は、図１２に示す通り、第１撮影部１０１、第１距離推定部１１０、第２距離推定部１２０、対応付け部１３０、記憶部１４０および受信部１５０を備える。
【０１２１】
第１撮影部１０１は、上述した各実施の形態における第１撮影部１０１と同様の機能を有する。第１撮影部１０１は、第２の実施の形態における第１撮影部１０１と同様に位置情報受信部１０１１を含む。なお、第１撮影部１０１は、第２の実施の形態の変形例と同様に、電波送信部１０１２を含む構成であってもよい。第１撮影部１０１は、撮影した第１画像を対応付け部１３０に供給する。また、第１撮影部１０１は、位置情報受信部１０１１が受信した第１撮影部位置情報を、第１距離推定部１１０に供給する。なお、第１距離推定部１１０は、第１画像および第１撮影部位置情報を、記憶部１４０に格納してもよい。
【０１２２】
受信部１５０は、無人航空機３１０から送信された第２画像と第２撮影部位置情報とを受信する。受信部１５０は、受信した第２画像を対応付け部１３０に供給する。また、受信部１５０は、受信した第２撮像部位置情報を第１距離推定部１１０に供給する。なお、受信部１５０は、受信した第２画像および第２撮影部位置情報を、記憶部１４０に格納してもよい。
【０１２３】
次に、本実施の形態に係るシステム２の動作の流れについて説明する。図１３は、本実施の形態に係るシステム２の動作の流れの一例を示すフローチャートである。図１３においては、無人航空機３００の処理を左側に、無人航空機３１０の処理を右側に示している。また、フローチャート間の破線の矢印は、情報の伝達を示している。
【０１２４】
まず、無人航空機３００の第１撮影部１０１が第１画像を撮影する（ステップＳ１３１）。また、無人航空機３１０の第２撮影部１０２が、ステップＳ１３１と同じタイミングで第２画像を撮影する（ステップＳ１３２）。
【０１２５】
また、無人航空機３００の第１撮影部１０１の位置情報受信部１０１１が、ステップＳ１３１と同じタイミングで、第１撮影部位置情報を測位システムから受信する（ステップＳ１３３）。更に、無人航空機３１０の第２撮影部１０２の位置情報受信部１０２１が、ステップＳ１３２と同じタイミングで、第２撮影部位置情報を測位システムから受信する（ステップＳ１３４）。
【０１２６】
その後、無人航空機３１０の送信部２２１は、ステップＳ１３２で第２撮影部１０２が撮影した第２画像と、ステップＳ１３４で位置情報受信部１０２１が受信した第２撮影部位置情報とを、無人航空機３００に送信する（ステップＳ１３５）。無人航空機３００の受信部１５０は、無人航空機３１０から送信された第２画像と第２撮影部位置情報とを受信する（ステップＳ１３６）。
【０１２７】
その後、無人航空機３００は、上述したステップＳ１０９〜Ｓ１１４と同様の処理を行う（ステップＳ１３７〜Ｓ１４２）。
【０１２８】
本実施の形態に係るシステム２の構成によれば、無人航空機とは異なる装置を距離推定装置として設けなくてもよい。したがって、システム２は、距離推定装置と無人航空機との距離を考慮することなく第２距離の推定を行うことができる。
【０１２９】
＜第５の実施の形態＞
次に、本発明の第５の実施の形態について説明する。上述した第２から第４の実施の形態では、第１距離は、第１撮影部１０１および第２撮影部１０２の位置情報、または、第１撮影部１０１から発した電波若しくは音波を用いて推定されることについて説明を行った。しかし、第１距離の推定方法はこれに限定されるものではない。本実施の形態では、第１距離の推定方法の他の例について説明する。
【０１３０】
図１４は、本実施の形態に係る距離推定装置４００の機能構成の一例を示す機能ブロック図である。なお、説明の便宜上、前述した各実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。図１４に示す通り、本実施の形態に係る距離推定装置４００は、第１撮影部１０１と、第２撮影部１０２と、第１距離推定部４１０と、第２距離推定部１２０と、対応付け部１３０と、記憶部４４０と、を備える。本実施の形態に係る距離推定装置４００は、上述した第２の実施の形態に係る距離推定装置１００の第１距離推定部１１０に代えて、第１距離推定部４１０を備え、記憶部１４０に代えて記憶部４４０を備える構成である。なお、本実施の形態に係る距離推定装置４００の第１距離推定部４１０は、第３または第４の実施の形態におけるシステム（１、２）にも適用可能である。
【０１３１】
第１撮影部１０１および第２撮影部１０２は、上述した第２の実施の形態における第１撮影部１０１および第２撮影部１０２と異なり、位置情報受信部１０１１および位置情報受信部１０２１を含まない。
【０１３２】
第１撮影部１０１は、撮影した第１画像を対応付け部１３０に供給する。また、第２撮影部１０２は、撮影した第２画像を対応付け部１３０に供給する。
【０１３３】
記憶部４４０には、上述した各実施の形態における記憶部１４０と同様に第１撮影部１０１のカメラパラメータおよび第２撮影部１０２のカメラパラメータが格納されている。また、記憶部４４０には、撮影対象物に関するサイズが格納されている。なお、記憶部４４０は、記憶部１４０と同様に、第１画像および第２画像を格納してもよい。なお、本実施の形態では、記憶部４４０が距離推定装置４００内に内蔵されることを例に説明を行うが、記憶部４４０は距離推定装置４００とは別個の記憶装置で実現されるものであってもよい。記憶部４４０に格納される、撮影対象物に関するサイズについては、後述する。
【０１３４】
対応付け部１３０は、上述した第２の実施の形態における対応付け部１３０と同様に、第１撮影部１０１が撮影した第１画像中の第１位置と第２撮影部１０２が撮影した第２画像中の第２位置とを対応付ける。
【０１３５】
対応付け部１３０は、対応付けた第１位置と第２位置との対応関係を示す情報を、第１距離推定部４１０および第２距離推定部１２０に供給する。第１位置と第２位置との対応関係を示す情報は、例えば、複数の、第１位置を示す座標と該第１位置に対応付けた第２位置を示す座標との組、第１位置における特徴点に関する情報および、第２位置における特徴点に関する情報を含んでいる。
【０１３６】
第１距離推定部４１０は、対応付け部１３０から第１位置と第２位置との対応関係を示す情報を受信する。第１距離推定部４１０は、第１位置と第２位置との対応関係を示す情報に含まれる第１位置における特徴点に関する情報および第２位置における特徴点に関する情報を用いて、記憶部４４０にサイズが格納されている撮影対象物の特徴点を特定する。そして、第１距離推定部４１０は、特定した、第１画像中の前記特徴点および第２画像中の前記特徴点に基づいて、第１撮影部１０１および第２撮影部１０２の間の第１距離を推定する。
【０１３７】
対応付け部１３０が対応付ける、第１画像中の第１位置と第２画像中の第２位置とは、（ｘ、ｙ）の２次元座標系（ただし同次座標系表現）で記述される。この２次元座標系で記述された第１位置を示す点を点ｆとし、第２位置を示す点を点ｆ’とする。また、対応関係を有する第１位置および第２位置に対応する、（Ｘ、Ｙ、Ｚ）のグローバル座標系（ただし同次座標系表現）を用いて記述される実空間上の位置を示す点を点Ｆとする。
【０１３８】
点Ｆと、点ｆとの関係は、ｆ＝ＰＦで表すことができ、点Ｆと、点ｆ’との関係は、ｆ’＝Ｐ’Ｆで表すことができる。ここで、ＰおよびＰ’は、対応付け部１３０によって算出される係数であり、３×４の行列である。
【０１３９】
つまり、上述した第１画像上の点ｆと、実空間上の点Ｆとの関係、および、第２画像上の点ｆ’と、実空間上の点Ｆとの関係は、共に、線形の関係にある。これらの関係から、第１距離推定部４１０は、ＡＦ＝０を満たす実空間上の点の位置を求めることができる。ここで、Ａは、以下の式（１）で表される４×４の行列である。
【０１４０】
【数１】
2017043078.tif 000003
【０１４１】
こで、ｐｉＴ（ｉは自然数）は、３×４の行列である行列Ｐのｉ行目の行ベクトルを表す。同様に、ｐ’ｉＴは、行列Ｐ’のｉ行目の行ベクトルを表す。ここで、Ｆは整数倍してもＡＦ＝０が成り立つ。そこで、第１距離推定部４１０は、撮影対象物における複数の特徴点のうち、特徴点間の距離（特徴点間のサイズ）が既知である２つの特徴点Ｆ１、Ｆ２を特定する。
【０１４２】
ここで、撮影対象物における特徴点間の距離とは、撮影対象物における特徴点間のサイズである。記憶部４４０に格納される、撮影対象物に関するサイズは、撮影対象物におけるある特徴点と他の特徴点との間のサイズである。この特徴点とは、撮影対象物全体のサイズがわかる位置の点であってもよいし、特徴量が最も大きい点であってもよいし、その他の点であってもよい。記憶部４４０には、この特徴点間のサイズが、この２つの特徴点を特定可能な情報（例えば、特徴量等）と共に、格納されている。したがって、第１距離推定部４１０は、この記憶部４４０にサイズが格納されている２つの特徴点を特定する。
【０１４３】
そして、第１距離推定部４１０は、以下の式（２）が、記憶部４４０に格納されたサイズと等しくなる倍率を、撮影された画像ごとに求める。
【０１４４】
【数２】
2017043078.tif 000004
【０１４５】
これにより、第１距離推定部４１０は、撮影画像ごとに、撮影対象物に対する倍率を特定することができる。よって、第１距離推定部４１０は、この特定した倍率に基づいて、第１撮影部１０１および第２撮影部１０２の間の第１距離を推定する。
【０１４６】
なお、記憶部４４０は、２つの特徴点間の距離に代えて、または、加えて、複数の特徴点の間の面積などのサイズを、格納してもよい。この場合、第１距離推定部４１０は、上記複数の特徴点を特定し、特定した特徴点の撮影画像上の面積と、第１距離推定部４１０に格納されたサイズとから上記倍率を特定してもよい。
【０１４７】
なお、倍率を算出する際に用いる特徴点は、第１画像と第２画像とで同じであってもよいし、異なっていてもよい。
【０１４８】
次に、本実施の形態に係る距離推定装置４００の動作の流れについて説明する。図１５は、本実施の形態に係る距離推定装置４００の動作の流れの一例を示すフローチャートである。
【０１４９】
図１５に示す通り、まず、第１撮影部１０１と第２撮影部１０２とが夫々第１画像と第２画像とを、同期したタイミングで撮影する（ステップＳ１５１）。
【０１５０】
次に、対応付け部１３０が、ステップＳ１５１で、第１撮影部１０１が撮影した第１画像と、第２撮影部１０２が撮影した第２画像との夫々から特徴点を抽出する（ステップＳ１５２）。対応付け部１３０が、第１特徴点の特徴量と第２特徴点の特徴量とに基づいて、第１特徴点と第２特徴点との組を生成する（ステップＳ１５３）。その後、対応付け部１３０は、基礎行列で表現される係数を算出する（ステップＳ１５４）。そして、対応付け部１３０は、算出した係数を用いて、ステレオマッチングを行い、第１画像中の画素位置である第１位置と第２画像中の画素位置である第２位置とを対応付ける（ステップＳ１５５）。
【０１５１】
次に、第１距離推定部４１０が、抽出された特徴点のうち、記憶部４４０にサイズが格納されている撮影対象物の特徴点を特定する（ステップＳ１５６）。そして、第１距離推定部４１０は、第１撮影部１０１と第２撮影部１０２との間の距離である第１距離を推定する（ステップＳ１５７）。
【０１５２】
そして、第２距離推定部１２０が、第１位置と第２位置との対応関係、および、第１距離に基づいて、第２距離を推定する（ステップＳ１５８）。
【０１５３】
以上により、距離推定装置４００は、処理を終了する。
【０１５４】
本実施の形態によれば、撮影対象物の特徴点間のサイズが既知である場合に、その撮影対象物を含む画像が撮影されることで、第１距離推定部４１０が、第１撮影部１０１と、第２撮影部１０２との間の第１距離を推定することができる。これにより、上述した位置情報受信部１０１１等の部材を第１撮影部１０１内に設けなくても、上述した各実施の形態と同様の効果を得ることができる。例えば、第１撮影部１０１および第２撮影部１０２が道路を撮影した場合、道路標識や車両などの撮影対象物の特徴点間のサイズが、記憶部４４０に格納されていれば、このサイズを用いて、第１距離推定部４１０は、第１距離を推定することができる。
【０１５５】
（ハードウェア構成について）
本発明の各実施形態において、各装置または各システムの各構成要素は、機能単位のブロックを示している。各装置または各システムの各構成要素の一部又は全部は、例えば図１６に示すような情報処理装置５００とプログラムとの任意の組み合わせにより実現される。情報処理装置５００は、一例として、以下のような構成を含む。
【０１５６】
・ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）５０１
・ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）５０２
・ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）５０３
・ＲＡＭ５０３にロードされるプログラム５０４
・プログラム５０４を格納する記憶装置５０５
・記録媒体５０６の読み書きを行うドライブ装置５０７
・通信ネットワーク５０９と接続する通信インタフェース５０８
・データの入出力を行う入出力インタフェース５１０
・各構成要素を接続するバス５１１
各実施形態における各装置または各システムの各構成要素は、これらの機能を実現するプログラム５０４をＣＰＵ５０１が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム５０４は、例えば、予め記憶装置５０５やＲＡＭ５０３に格納されており、必要に応じてＣＰＵ５０１が読み出す。なお、プログラム５０４は、通信ネットワーク５０９を介してＣＰＵ５０１に供給されてもよいし、予め記録媒体５０６に格納されており、ドライブ装置５０７が当該プログラムを読み出してＣＰＵ５０１に供給してもよい。
【０１５７】
各装置または各システムの実現方法には、様々な変形例がある。例えば、各装置または各システムは、構成要素毎にそれぞれ別個の情報処理装置５００とプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つの情報処理装置５００とプログラムとの任意の組み合わせにより実現されてもよい。
【０１５８】
また、各装置または各システムの各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
【０１５９】
各装置または各システムの各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
【０１６０】
各装置または各システムの各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
【０１６１】
以上、本発明を、上述した模範的な実施の形態に適用した例として説明した。しかしながら、本発明の技術的範囲は、上述した各実施の形態に記載した範囲には限定されない。当業者には、係る実施の形態に対して多様な変更または改良を加えることが可能であることは明らかである。そのような場合、係る変更または改良を加えた新たな実施の形態も、本発明の技術的範囲に含まれ得る。そしてこのことは、請求の範囲に記載した事項から明らかである。
【０１６２】
この出願は、２０１５年９月１０日に出願された日本出願特願２０１５−１７８６３４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１６３】
１０    距離推定装置
１１    第１距離推定部
１２    第２距離推定部
１００    距離推定装置
１０１    第１撮影部
１０１１    位置情報受信部
１０１２    電波送信部
１０２    第２撮影部
１０２１    位置情報受信部
１０２２    電波受信部
１１０    第１距離推定部
１２０    第２距離推定部
１３０    対応付け部
１４０    記憶部
１５０    受信部
１    システム
２００    距離推定装置
２１０    無人航空機
２２０    無人航空機
２    システム
３００    無人航空機
３１０    無人航空機
４００    距離推定装置
４１０    第１距離推定部
４４０    記憶部
【図１】
2017043078.tif 000005
【図２】
2017043078.tif 000006
【図３】
2017043078.tif 000007
【図４】
2017043078.tif 000008
【図５】
2017043078.tif 000009
【図６】
2017043078.tif 000010
【図７】
2017043078.tif 000011
【図８】
2017043078.tif 000012
【図９】
2017043078.tif 000013
【図１０】
2017043078.tif 000014
【図１１】
2017043078.tif 000015
【図１２】
2017043078.tif 000016
【図１３】
2017043078.tif 000017
【図１４】
2017043078.tif 000018
【図１５】
2017043078.tif 000019
【図１６】
2017043078.tif 000020
【手続補正書】
【提出日】平成30年3月1日(2018.3.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１０
【補正方法】変更
【補正の内容】
【請求項１０】
第１画像を撮影する第１撮像装置と、前記第１撮像装置が撮影する第１撮影範囲に対し少なくとも一部が重複する第２撮影範囲における第２画像を、前記第１撮影装置の撮影タイミングと同期したタイミングで撮影する第２撮像装置と、の間の距離である第１距離を推定する処理と、
前記第１画像中の第１位置と前記第２画像中の第２位置との対応関係および前記第１距離に基づいて、前記第１撮像装置および前記第２撮像装置の位置関係に基づいた基準位置と、前記第１位置および前記第２位置に対応する実空間上の位置と、の距離である第２距離を推定する処理と、
をコンピュータに実行させるコンピュータプログラム。
【国際調査報告】
2017043078.tif 000021
2017043078.tif 000022
2017043078.tif 000023
2017043078.tif 000024