(57)【要約】      （修正有）【課題】視覚による測位方法、測位装置及び読取り可能な記憶媒体を提供する。【解決手段】測位方法は、目標画像を取得し、目標画像に概ねにマッチングする複数の候補キーフレームの候補キー情報を、予め構築された、複数のキーフレームのキー情報から構成されるマップから取得し、目標画像の関心領域（ＲＯＩ）を生成し、候補キー情報に基づいて、目標画像に対して関心領域のマッチングを行い、目標画像について少なくとも１つの候補キーフレームの関心領域マッチング対を求め、候補キー情報に基づいて、関心領域マッチング対における特徴点に対してマッチングを行い、目標画像について少なくとも１つの候補キーフレームの特徴点マッチング対を求め、特徴点マッチング対に基づいて、目標画像と前記少なくとも１つの候補キーフレームとの相対姿勢を算出するステップを含む。【選択図】図１
2019133658.tif 000002
【特許請求の範囲】
【請求項１】
目標画像を取得し；
前記目標画像に概ねにマッチングする複数の候補キーフレームの候補キー情報を、予め構築された、複数のキーフレームのキー情報から構成されるマップから取得し；
前記目標画像の関心領域を生成し、前記候補キー情報に基づいて、前記目標画像に対して関心領域のマッチングを行い、前記目標画像について少なくとも1つの候補キーフレームの関心領域マッチング対を求め；
前記候補キー情報に基づいて、前記関心領域マッチング対における特徴点に対してマッチングを行い、前記目標画像について前記少なくとも1つの候補キーフレームの特徴点マッチング対を求め；及び
前記特徴点マッチング対に基づいて、前記目標画像と前記少なくとも1つの候補キーフレームとの相対姿勢を算出するステップを含む、測位方法。
【請求項２】
前記マップは、
連続するフレーム画像を取得し；
前記連続するフレーム画像でフレーム毎に特徴点を抽出し、隣接する2フレームの画像同士における特徴点に対してマッチングを行うことにより、特徴点マッチング対を求め、該特徴点マッチング対に基づいて、バンドルアドジャスト法で現在のフレーム画像と直前のフレーム画像との相対姿勢を算出し；
前記相対姿勢が所定の条件を満たす場合には、前記現在のフレームをキーフレームとして確定し；及び
前記マップを構成するために、前記キーフレームのキー情報を記憶するステップにより予め構築される、請求項1に記載される測位方法。
【請求項３】
前記キーフレームのキー情報は、
前記キーフレームの絶対姿勢および当該キーフレームの直前のフレームの画像に対する相対姿勢と、
前記キーフレームの関心領域と、
前記関心領域に含まれる特徴点の2D情報および3D情報と、を含み、
前記2D情報と前記3D情報は、前記キーフレームとその直前のフレームの画像との相対姿勢を算出する処理において得られる、請求項2に記載される測位方法。
【請求項４】
前記関心領域は、
取得された画像の特徴点を抽出し；
抽出された特徴点の属性に基づいてクラスタリングを行い、クラスタ点の集合を求め；及び
前記クラスタ点の集合の最小境界矩形を計算し、算出された前記最小境界矩形を関心領域とするステップにより生成される、請求項1または3に記載される測位方法。
【請求項５】
前記相対姿勢に関する目標損失関数を定義し、該目標損失関数を最小化することより目標画像の絶対姿勢を最適化させることをさらに含む、請求項1に記載される測位方法。
【請求項６】
前記目標損失関数は次の式により定義され、
【数１】
2019133658.tif 000008
ここで、iは複数の前記候補キーフレームの番号であり、Ciはi番目の候補キーフレームの絶対姿勢であり、Tiは算出された前記目標画像とi番目の候補キーフレームとの相対姿勢であり、Pは前記目標画像の絶対姿勢であり、Ωiは重み係数である、請求項5に記載される測位方法。
【請求項７】
前記重み係数Ωiは、前記特徴点マッチング対に基づいて計算された前記目標画像と、i番目の候補キーフレームとの相対姿勢の、目標画像の前記i番目の候補キーフレームに対する特徴点マッチング対の数で定義された信頼度に反比例する、請求項6に記載される測位方法。
【請求項８】
前記目標画像と前記少なくとも一つの候補キーフレームとの相対姿勢の算出は、
前記特徴点マッチング対に基づいて、バンドルアドジャスト法で、前記目標画像と前記少なくとも一つの候補キーフレームとの相対姿勢を算出することを含む、請求項1に記載される測位方法。
【請求項９】
目標画像を取得する画像取得モジュールと、
予め構築された、1つ以上のキーフレームのキー情報で構成されるマップから、前記目標画像に対して概ねにマッチングする複数の候補キーフレームの候補キー情報を取得する画像マッチングモジュールと、
前記目標画像の関心領域を生成し、前記候補キー情報に基づいて、前記目標画像に対して関心領域のマッチングを行い、前記目標画像について少なくとも1つの候補キーフレームの関心領域マッチング対を求める関心領域マッチングモジュールと、
前記候補キー情報に基づいて、前記関心領域マッチング対における特徴点のマッチングを行い、前記目標画像について前記少なくとも1つの候補キーフレームの特徴点マッチング対を取得する特徴点マッチングモジュールと、
前記特徴点マッチング対に基づいて、前記目標画像と前記少なくとも1つの候補キーフレームとの相対姿勢を算出する姿勢最適化モジュールと、を含む、測位装置。
【請求項１０】
測位装置であって、
非一時的でコンピュータ読み取り可能な指令を記憶するメモリ、及び、
前記コンピュータ読取りか応な指令を執行することにより、測位装置に測位方法を実行させるプロセッサを含み、
前記測位方法は、
目標画像を取得し；
前記目標画像に概ねにマッチングする複数の候補キーフレームの候補キー情報を、予め構築された、複数のキーフレームのキー情報から構成されるマップから取得し；
前記目標画像の関心領域を生成し、前記候補キー情報に基づいて、前記目標画像に対して関心領域のマッチングを行い、前記目標画像について少なくとも1つの候補キーフレームの関心領域マッチング対を求め；
前記候補キー情報に基づいて、前記関心領域マッチング対における特徴点に対してマッチングを行い、前記目標画像について前記少なくとも1つの候補キーフレームの特徴点マッチング対を求め；及び
前記特徴点マッチング対に基づいて、前記目標画像と前記少なくとも1つの候補キーフレームとの相対姿勢を算出するステップを含む、測位装置。
【請求項１１】
非一時的でコンピュータ読み取り可能な指令を記憶する記憶媒体であって、
コンピュータに前記非一時的でコンピュータ読み取り可能な指令を実行させることにより、前記コンピュータが測位方法を実行し、前記測位方法は、
目標画像を取得し；
前記目標画像に概ねにマッチングする複数の候補キーフレームの候補キー情報を、予め構築された、複数のキーフレームのキー情報から構成されるマップから取得し；
前記目標画像の関心領域を生成し、前記候補キー情報に基づいて、前記目標画像に対して関心領域のマッチングを行い、前記目標画像について少なくとも1つの候補キーフレームの関心領域マッチング対を求め；
前記候補キー情報に基づいて、前記関心領域マッチング対における特徴点に対してマッチングを行い、前記目標画像について前記少なくとも1つの候補キーフレームの特徴点マッチング対を求め；及び
前記特徴点マッチング対に基づいて、前記目標画像と前記少なくとも1つの候補キーフレームとの相対姿勢を算出するステップを含む、記憶媒体。
【請求項１２】
コンピュータに、請求項1乃至8のうちのいずれか１つに記載の測位方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理分野に関し、より具体的には視覚による測位方法、測位装置、および読取り可能な記録媒体に関する。
【背景技術】
【０００２】
画像処理技術分野において、SLAM（Simultaneous  Localization  and  Mapping）は、位置推定に関する研究の中で現在注目を浴びる課題である。SLAMとは、移動目標の測位と環境マップ作成とを一体化するものであり、即ち、移動過程において、目標が自己位置推定及びセンサーによる環境への感知に基づいてクリ環境マップを構築すると共に、該マップを利用して自己測位を実現する。
【０００３】
従来の技術では、再測位方法により目標の自己測位を実現することは一般的である。即ち、所定の場所画像を用いて、予め生成されたマップで測位及び姿勢推定を実現する。しかし、再測位は明確な定義があるが、実際の運用では困難である。開放的な環境において、シーンの外観および視点の変化が生じることより目標画像とマップとの間でマッピング点が疎らになることで、姿勢推定を失敗するか、推定される姿勢と実際の姿勢とで大きいドリフトが生じる。また、精度の高い画像レベルでのマッチングに時間がかかり、マップの記憶にメモリが消費される。これらの問題はすべて再測位に大きな影響を与える。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記問題を鑑みて、本発明は、既存のマップ及び視覚情報に基づいて自己測位を実現する方法で、目標自身のマップにおける位置及び姿勢情報を求めることを目的として、視覚に基づく測位方法、測位装置及び読取り可能な記憶媒体を提供する。
【課題を解決するための手段】
【０００５】
本発明は、まず、目標画像を取得し；前記目標画像に概ねにマッチングする複数の候補キーフレームの候補キー情報を、予め構築された、複数のキーフレームのキー情報から構成されるマップから取得し；前記目標画像の関心領域を生成し、前記候補キー情報に基づいて、前記目標画像に対して関心領域のマッチングを行い、前記目標画像について少なくとも1つの候補キーフレームの関心領域マッチング対を求め；前記候補キー情報に基づいて、前記関心領域マッチング対における特徴点に対してマッチングを行い、前記目標画像について前記少なくとも1つの候補キーフレームの特徴点マッチング対を求め；前記特徴点マッチング対に基づいて、前記目標画像と前記少なくとも1つの候補キーフレームとの相対姿勢を算出するステップを含む測位方法を提供する。
【０００６】
また、本発明の一実施例により、前記測位方法は、前記相対姿勢に関する目標損失関数を定義し、該目標損失関数を最小化することより目標画像の絶対姿勢を最適化させることを含む。
【０００７】
また、本発明の一実施例により、前記マップは、連続するフレーム画像を取得し；前記連続するフレーム画像でフレーム毎に特徴点を抽出し、隣接する2フレームの画像同士における特徴点に対してマッチングを行うことにより、特徴点マッチング対を求め、該特徴点マッチング対に基づいて、バンドルアドジャスト法で現在のフレーム画像と直前のフレーム画像との相対姿勢を算出し；前記相対姿勢が所定の条件を満たす場合には、前記現在のフレームをキーフレームとして確定し；前記マップを構成するために、前記キーフレームのキー情報を記憶するステップで、予め構築される。
【０００８】
また、本発明の一実施例により、前記キーフレームのキー情報は、前記キーフレームの絶対姿勢および当該キーフレームの直前のフレームの画像に対する相対姿勢と、前記キーフレームの関心領域、及び、前記関心領域に含まれる特徴点の2D情報および3D情報と、を含み、前記2D情報と前記3D情報は、前記キーフレームとその直前のフレームの画像との相対姿勢を算出する処理において得られる。
【０００９】
また、本発明の一実施例により、前記関心領域は、取得された画像の特徴点を抽出し；抽出された特徴点の属性に基づいてクラスタリングを行い、クラスタ点の集合を求め；前記クラスタ点の集合の最小境界矩形を計算し、算出された前記最小境界矩形を関心領域とするステップにより生成される。
【００１０】
また、本発明の一実施例により、前記目標損失関数は次の式により定義され、
【数１】
2019133658.tif 000003
【００１１】
ここで、iは複数の前記候補キーフレームの番号であり、Ciはi番目の候補キーフレームの絶対姿勢であり、Tiは算出された前記目標画像とi番目の候補キーフレームとの相対姿勢であり、Pは前記目標画像の絶対姿勢であり、Ωiは重み係数である。
【００１２】
また、本発明の一実施例により、前記重み係数Ωiは、前記特徴点マッチング対に基づいて推定された前記目標画像と、i番目の候補キーフレームとの相対姿勢の信頼度に反比例する。
【００１３】
また、本発明の一実施例により、前記目標画像と前記少なくとも一つの候補キーフレームとの相対姿勢の算出は、前記特徴点マッチング対に基づいて、バンドルアドジャスト法で、前記目標画像と前記少なくとも一つの候補キーフレームとの相対姿勢を算出する。
【００１４】
そして、本発明は、目標画像を取得する画像取得モジュールと、予め構築された、1つ以上のキーフレームのキー情報で構成されるマップから、前記目標画像に対して概ねにマッチングする複数の候補キーフレームの候補キー情報を取得する画像マッチングモジュールと、前記目標画像の関心領域を生成し、前記候補キー情報に基づいて、前記目標画像に対して関心領域のマッチングを行い、前記目標画像について少なくとも1つの候補キーフレームの関心領域マッチング対を求める関心領域マッチングモジュールと、前記候補キー情報に基づいて、前記関心領域マッチング対における特徴点のマッチングを行い、前記目標画像について前記少なくとも1つの候補キーフレームの特徴点マッチング対を取得する特徴点マッチングモジュール、および、前記特徴点マッチング対に基づいて、前記目標画像と前記少なくとも1つの候補キーフレームとの相対姿勢を算出する姿勢最適化モジュールと、を含む測位装置を提供する。
【００１５】
更に、本発明は、非一時的でコンピュータ読み取り可能な指令を記憶するメモリ、及び、前記コンピュータ読取りか応な指令を執行することにより、測位装置に測位方法を実行させるプロセッサと、を含み、前記測位方法は、目標画像を取得し；前記目標画像に概ねにマッチングする複数の候補キーフレームの候補キー情報を、予め構築された、複数のキーフレームのキー情報から構成されるマップから取得し；前記目標画像の関心領域を生成し、前記候補キー情報に基づいて、前記目標画像に対して関心領域のマッチングを行い、前記目標画像について少なくとも1つの候補キーフレームの関心領域マッチング対を求め；前記候補キー情報に基づいて、前記関心領域マッチング対における特徴点に対してマッチングを行い、前記目標画像について前記少なくとも1つの候補キーフレームの特徴点マッチング対を求め；前記特徴点マッチング対に基づいて、前記目標画像と前記少なくとも1つの候補キーフレームとの相対姿勢を算出するステップを含む測位装置を提供する。
【００１６】
最後に、本発明は、非一時的でコンピュータ読み取り可能な指令を記憶する記憶媒体であって、コンピュータに前記非一時的でコンピュータ読み取り可能な指令を実行させることにより、前記コンピュータが測位方法を実行し、前記測位方法は、目標画像を取得し；前記目標画像に概ねにマッチングする複数の候補キーフレームの候補キー情報を、予め構築された、複数のキーフレームのキー情報から構成されるマップから取得し；前記目標画像の関心領域を生成し、前記候補キー情報に基づいて、前記目標画像に対して関心領域のマッチングを行い、前記目標画像について少なくとも1つの候補キーフレームの関心領域マッチング対を求め；前記候補キー情報に基づいて、前記関心領域マッチング対における特徴点に対してマッチングを行い、前記目標画像について前記少なくとも1つの候補キーフレームの特徴点マッチング対を求め；前記特徴点マッチング対に基づいて、前記目標画像と前記少なくとも1つの候補キーフレームとの相対姿勢を算出するステップを含む記憶媒体を提供する。
【００１７】
このように、本発明の実施例にかかる測位方法により、予め構築されたマップに記憶されるキー情報を用いて関心領域のマッチングを行い、特徴点を繰り返して抽出することが避けられ、且つマッチングされた関心領域に基づいて特徴点のマッチングを行うことにより、複雑な状況においても正確且つ有効な姿勢の推定及び自己測位を提供することができる。なお、上述した説明および後述する詳細の説明は、共に例示的なものに過ぎず、本発明に対して更なる理解を図るものである。
【図面の簡単な説明】
【００１８】
本発明は、添付する図面に基づいて実施形態を更に詳しく説明することにより、上記およびそれ以外の目的、特徴、および優れる点がより明確になる。
【００１９】
また、図面は本発明の実施例を更に理解するために提供され、本明細書を構成する一部として、実施例と共に本発明を説明するために用いるが、本発明を限定するものではない。なお、本明細書及び図面において、同一の符号は同一の構成要素またはステップを表す。
【図１】本発明の実施例にかかる測位方法を示すフローチャートである。
【図２】本発明の実施例にかかるマップ作成を示すフローチャートである。
【図３】本発明の実施例にかかる関心領域の生成を示すフローチャートである。
【図４】本発明の実施例の測位装置の構成を示すブロック図である。
【図５】本発明の実施例にかかる測位装置のハードウェアブロック図である。
【発明を実施するための形態】
【００２０】
以下に、本発明の目的、構成及びメリットをより明確にするために、図面に基づいて本発明の実施例を詳細に説明する。明らかのように、以下に説明する実施例は、本発明の一部の実施例に過ぎず、すべての実施例ではない。当業者が本明細書に記載される実施例に基づいて容易に想到される変更または改良は本発明の範疇に属すべきである。
【００２１】
本発明にかかる測位方法は所定の場所の画像を利用して予め作成されたマップ内で位置及び姿勢の推定を実現する方法である。このような測位を実現するために、測位方法は通常2つの基本点を満たす必要がある。まず、この測位方法は完全な環境の内部表示、即ちマップを提供する必要である。前記マップは測位により取得される視覚情報に比較するために用いる。次に、上記マップにおいて、現在の視覚情報の姿勢情報を推定する必要がある。姿勢情報とは、視覚情報を採取する機器(例えば、カメラ)の位置および向きを示す。即ち、姿勢情報は少なくとも位置情報および向き情報を含むべきである。その中に、第2部分は、2つのステップを含む。まず、現在の視覚情報は既にマップに含まれている場所であるか否かを判断した後に、入力された視覚情報と検出された視覚情報との相対姿勢を算出する。さらに、相対姿勢に基づいてマップにおける絶対姿勢を算出する。ここで、現在の画像の相対姿勢とは、現在の画像が他の画像に対する姿勢を意味し、現在の画像の絶対位置とは、現在の画像がマップに設定される原点に対する姿勢を意味する。通常、マップの始点を原点とする。
【００２２】
次に、図1を参照して、本発明の実施形態にかかる測位方法の基本的なフローについて詳細に説明する。
【００２３】
図1は、本発明の実施形態にかかる測位方法を示すフローチャートである。図1に示すように、本発明の実施形態にかかる測位方法は以下のステップを含むことができる。
【００２４】
まず、ステップS101において、目標画像を取得する。本発明の一実施例では、有線手段または無線手段を介して目標画像を受信することにより目標画像が取得される。これ以外に、メモリから予め記憶された目標画像を取得してもよく、目標画像を採取して取得してもよい。後者の場合に、例えば、2次元RGBカメラで画像を取得することができる。また、より好ましくは、3次元RGBカメラ(例えば、Kinectカメラ)で取得することができる。Kinectカメラで採取する場合には、取得された画像は環境に関するカラー(RGB)画像と深度画像を含む。目標画像は画像取得装置により取得された原始画像であってもよく、原始画像に対して予備処理を施して得られた画像であってもよい。画像の予備処理は、クロッピング、スケーリング、またはノイズ除去などの処理が挙げられるが、これらに限らない。その後、処理はステップS102に進む。
【００２５】
ステップS102において、前記目標画像に概ねにマッチングする複数の候補キーフレームの候補キー情報を、予め構築された、複数のキーフレームのキー情報から構成されるマップから取得する。ここで、前記概ねにマッチングする方式は、目標画像に対して画像の姿勢情報によらずに概略的に測位する意味である。通常は、この方式で高精度を有しないが、姿勢が関与せずに推定されるため、処理速度が速い。したがって、このような凡そなマッチングによりマップにおいて目標画像に関連する画像情報を迅速にスクリーニングすることができる。本発明の1つの実施例として、例えばGPSなどの測位方法により、位置情報に基づいて、ステップS101で取得した目標画像の位置と合致する複数の候補キーフレームの候補キー情報を、マップ内の複数のキーフレームのキー情報から特定することができる。これ以外に、画像検索の方法で予備マッチングを行うこともできる。具体的には、目標画像の特徴点により、前記目標画像にマッチする複数の候補キーフレームの候補キー情報を特定することができる。上記概ねにマッチングする方式は、本発明の2つの実施例ではあるが、本発明を限定するものではない。目標画像に関連した画像情報をマップから素早くスクリーニングすることが可能な方法であれば、いずれも本発明の概ねにマッチングする方式に適用することができる。
【００２６】
さらに、構築されたマップ中の情報をより簡潔で効率的なものにするために、前記マップは複数の参考価値のある画像フレームの画像情報のみで構成される。即ち、これらの画像は、一連の連続するフレームの画像の中から特定の方法により特定されたキーフレームである。キーフレームのキー情報は、マップを構成するために記憶される。例えば、連続するフレームの画像の中から、静止している撮像装置により取得される画像以外の画像を特定してキーフレームとする。または、特定の移動速度や向きに応じた取得装置より取得される画像を特定してキーフレームとする。ここで、所定の条件は、所望のキーフレームを決定するために、実際の需要に応じて設定される。また、本明細書に記載されるマップは、複数のキーフレームのキー情報のみで構成され、キーフレームの画像そのものを記憶する必要はない。予め構築されたマップ中のキーフレームのキー情報は、後続の処理で使用される。マップの構築及びマップ中のキー情報について、以下でさらに詳細に説明する。その後、処理はステップS103に進む。
【００２７】
次に、図２を参照して予めマップを構築するフロー例を詳細に説明する。
【００２８】
図２は本発明の実施例にかかるマップを構築するフローを示すフローチャートである。図2に示すように、本発明の一実施例によると、前記マップの構築は次のステップを含む。
【００２９】
まず、ステップS201において、連続するフレーム画像を取得する。ここで、このステップで取得された連続するフレーム画像は環境を表すための画像であることは好ましい。該画像の取得は、上記ステップS101で記載された複数の画像取得の方式のうちのいずれかであればよい。ここでは、重複を避けるため、説明を省略する。好ましくは、前記連続するフレーム画像中の最初のフレーム画像をマップの起点とする。その後、ステップS202に進む。
【００３０】
ステップS202では、連続するフレーム画像でフレーム毎に特徴点を抽出し、隣接する２つのフレーム画像同士における特徴点に対してマッチングを行うことにより、特徴点マッチング対を求め、該特徴点マッチング対に基づいて、バンドルアドジャスト法（Bundle  Adjustment）で、現在のフレーム画像と直前のフレーム画像との相対姿勢を算出する。本技術分野において、画像の特徴点を抽出する方法に関しては、例えば、SIFT特徴点抽出方法、LBP等、多くの方法のいずれも本発明に適用することができる。本発明は、後続する処理においてバンドルアドジャスト法による姿勢の計算が可能であれば、特徴点の抽出方法及び抽出された特徴点の種類を特に限定しない。また、本技術分野において特徴点の抽出方法として適切な公知技術は、当業者によって容易に想到される。特徴点の抽出処理において、抽出された特徴点の2D情報を取得し、その後、隣接する2つのフレームの画像に対して特徴点マッチングを行う。具体的には、特徴点毎に該特徴点を記述するためのベクトル、所謂「記述子(descriptor)」を生成することができる。2つのフレームの画像における一対の特徴点の記述子が類似している場合に、これら2つの特徴点がマッチングすると見なすことができる。このようにすることにより、複数の特徴点マッチング対が得られる。得られる特徴点マッチング対がバンドルアドジャスト法による姿勢計算に適用可能な特徴点マッチング対になる。次に、特徴点マッチング対に基づいて現在のフレームの画像と直前のフレームの画像との相対姿勢をバンドルアドジャスト法により、計算する。バンドルアドジャスト法(Bundle  Adjustment、BA)の考え方として、マッチングされた特徴点マッチング対が対応する空間内の同じ点の特性を用いて投影方程式を確立し、前後に隣接する2つのフレーム画像の相対姿勢が求められる。その間に、抽出された特徴点の3D情報を取得することができる。特徴点マッチング対に基づいて2つのフレーム画像間の相対位置を算出する方法については、同じく公知技術であり、本明細書では説明を省略する。このステップにより、隣接する2つのフレーム画像の相対姿勢が得られる。さらに、直前の画像との相対姿勢の累乗により、任意の１つのフレーム画像と最初のフレーム画像との相対位置、すなわち、フレーム画像の絶対姿勢が求められる。その後、ステップS203に進む。
【００３１】
ステップS203では、前記相対姿勢が所定の条件を満たす場合には、前記現在のフレームをキーフレームとして確定する。本発明の一実施例において、前記所定の条件として、算出された相対姿勢を閾値と比較し、前記相対姿勢が前記閾値よりも大きい場合に、前記所定の条件を満たすと判断する。また、前記所定の条件は、前記相対位置が所定範囲内にあるか否かを判断することであってもよく、前記相対姿勢が前記所定の範囲内である場合に、前記所定の条件を満たすと判断する。このようにして、連続するフレーム画像において、取得装置により取得される静止画像以外の画像、または、特定の移動速度や向きに合致する画像を前記キーフレームとして確定することができる。また、前記所定の条件は、所望のキーフレームを確定するために、実際の必要に応じて設定する。その後、ステップS204に進む。
【００３２】
ステップS204では、前記マップを構成するために、前記キーフレームのキー情報を記憶する。具体的には、このステップでは、上述したステップS203において、キーフレームとしてのキー情報を記憶する。これら記憶されたキー情報は環境で示したマップを構成する。上述したように、本明細書に記載されるマップは、複数のキーフレームのキー情報のみによって構成されており、キーフレームの画像そのものを記憶する必要はない。また、キーフレームのキー情報は、前記キーフレームの処理において取得されるために、余計な計算量の導入が回避される。
【００３３】
本発明の一実施例において、キーフレームのキー情報は、キーフレームの絶対姿勢および該キーフレームの直前のフレームの画像に対する相対姿勢と、前記キーフレームの特徴点に基づいて生成した前記キーフレームの関心領域(Region  of  interest、ROI)と、関心領域に含まれる特徴点の2D情報および3D情報とを含む。ここで、上述したように、キーフレームと直前のフレーム画像に対する相対姿勢は、上述したステップで計算され、相対姿勢の累積により、前記キーフレームの絶対情報が推定される。前記キーフレームの関心領域は、上述のステップで抽出された特徴点に基づいて生成される(関心領域の生成方法について詳しくは後述する)。また、前述したように、関心領域に含まれる特徴点の2D情報と3D情報は前記キーフレームとその直前のフレームの画像との相対姿勢を算出する処理において得られる。
【００３４】
次に、図1に戻って、上述したように、処理はステップS102からS103に進む。
【００３５】
ステップS103において、前記目標画像の関心領域を生成し、前記候補キー情報に基づいて、目標画像に対して関心領域マッチングを行い、前記目標画像について少なくとも1つの候補キーフレームの関心領域マッチング対を求める。このステップでは、先ず、目標画像の関心領域を生成する。マップを構成するキー情報が候補キーフレームの関心領域に含まれるため、上述したように目標画像について関心領域マッチングを行うことができる。本技術分野において、複数の関心領域マッチングの方法が存在しており、適切な任意の関心領域マッチング方法、例えば、CNNの特徴、ヒストグラム特徴、BOW(Bag  Of  Words)等のマッチング方式も本発明に適用することができる。これらのマッチング方式によって関心領域に対してマッチングを行い、マッチングの必要条件を満たす関心領域を残し、満たさない関心領域を廃棄することにより、前記目標画像について少なくとも1つの候補キーフレームの関心領域マッチング対が得られる。本発明は、前記目標画像について少なくとも１つ候補キーフレームの関心領域マッチング対を得ることができれば、使用する関心領域のマッチング方法を限定しない。ここで、前記目標画像の関心領域の生成とキーフレームの関心領域の関心領域の生成に対して、同一の生成方法を用いることができる。以下、前記関心領域の生成について具体例を説明する。その後、処理はステップS104に進む。
【００３６】
次に、先に図3を参照して関心領域を生成するフローの一例を詳細に説明する。
【００３７】
図3は、本発明の実施例に係る関心領域の生成を示すフローチャートである。図3に示すように、本発明の実施例において、前記関心領域は次のステップにより生成される。
【００３８】
まず、ステップS301において、取得された画像の特徴点を抽出する。このステップでは、画像特徴点の抽出方法は、上記したステップS202で説明したように、複数の画像取得の方法のうちのいずれかでよく、重複を避けるため、ここでは説明を省略する。その後、ステップS302に進む。
【００３９】
ステップS302において、抽出された特徴点の属性に基づいてクラスタリングを行い、クラスタ点の集合を求める。このステップでは、抽出された特徴点の属性は、例えば、特徴点の色、テクスチャ、および、2D情報と3D情報であってよい。ここで、マップ内のキーフレームについては、そのまま保存された特徴点の2Dおよび/または3D情報に基づいてクラスタリングを行うことができ、特徴情報を繰り返し抽出するステップを回避することで、計算速度を向上させることができる。その後、ステップS303に進む。
【００４０】
ステップS303では、前記クラスタ点の集合の最小境界矩形(minimum  bounding  rectangle、MBR)を計算し、算出された最小境界矩形を関心領域とする。なお、本発明は、使用される最小境界矩形の求め方は特に限定しない。例えば、スピン法またはVertices  Chain  Code方法等を採用することができる。また、任意の適切な最小境界矩形を求める方法は本技術分野の公知技術から、当業者によって容易に想到され、簡潔のために、本明細書では説明を省略する。
【００４１】
次に、図1に戻る。上述したように、処理は、ステップS103からステップS104に進む。
【００４２】
ステップS104では、前記候補キー情報に基づいて、前記関心領域マッチング対における特徴点のマッチングを行い、前記目標画像について前記少なくとも1つの候補キーフレームの特徴点マッチング対を求める。前述したように、ステップS103で前記目標画像の関心領域を生成する処理では既に目標画像の特徴点を抽出し、且つ、マップを構成するキー情報に候補キーフレームにおける関心領域の特徴点が含まれている。このため、前記目標画像の関心領域内の特徴点に対して特徴点マッチングを行うことにより、前記目標画像について少なくとも1つの候補キーフレームの関心領域マッチング点対を取得することができる。ここで、使用した特徴点マッチング方法は前述同様であるために、説明を省略する。その後、処理はステップS105に進む。
【００４３】
ステップS105において、特徴点マッチング対に基づいて、前記目標画像と前記少なくとも1つの候補キーフレームとの相対姿勢を算出する。このステップでは、2つのフレームの画像における特徴点マッチング対に基づいて、該2つのフレーム画像同士の相対位置を推定する。例えば、本発明の一実施例によれば、上記同様に、ステップS202で使用されているバンドルアドジャスト法を採用することができ、ステップS104で得られた特徴点マッチング対に基づいて目標画像と前記少なくとも1つの候補キーフレームの相対姿勢を求めることができる。具体的な処理について、上述のステップにおいて既に説明したので、ここでは説明を省略する。同様に分かるように、上記バンドルアドジャスト法を用いて相対姿勢を求めることは本発明の一例に過ぎず、前記特徴点マッチング対に基づいて2つのフレームの画像における相対位置を算出することができる如何なる方法も、本発明に適用することができ、且つ本発明の範囲内に含まれる。
【００４４】
これにより、図1に示した測位方法により、予め構成されたマップに基づいて、目標画像の各候補キーフレームに対する相対的な姿勢を得ることができる。かつ前記方法は、概ねのマッチングを先に行うことによりマップにおける複数の候補キーフレームのキー情報を取得する上に、局所特徴点マッチングに基づく姿勢推定を行う。これにより、マップ中の無効情報によるマッチング失敗が避けられる;同時に、予め構築されたマップに、複数の候補キーフレームのキー情報が記憶されているため、後続の姿勢推定で重複する特徴の抽出及び関心領域の生成が避けられ、計算コストが低減される。
【００４５】
なお、本発明の実施例により、図１に示す本発明の測位方法により各候補キーフレームに対する目標画像の相対姿勢を取得した後に、次のステップを含む。即ち前記相対姿勢に関する目標損失関数を定義し、該目標損失関数を最小化することより目標画像の絶対姿勢を最適化させる。具体的に、前記目標損失関数は次の式（１）により定義される。
【数２】
2019133658.tif 000004
【００４６】
ここで、iは複数の前記候補キーフレームの番号であり、Ciはi番目の候補キーフレームの絶対姿勢であり、Tiは算出された前記目標画像とi番目の候補キーフレームとの相対姿勢であり、Pは前記目標画像の絶対姿勢であり、Ωiは重み係数である。
【００４７】
前述したように、連続するフレームの画像における最初フレーム画像をマップの原点とし、i番目(iは1以上の整数)の候補キーフレームと最初フレーム画像の相対姿勢であり、すなわち、候補キーフレームの絶対姿勢であり、目標画像と最初のフレーム画像の相対位置は当該目標画像の絶対的な姿勢である。具体的には、i番目の候補キーフレームの絶対姿勢Ciについて、マップを構成する処理において、候補キーフレームと直前のフレーム画像との相対位置を累積することにより、当該候補キーフレームの絶対姿勢Ciを推定する。目標画像とi番目の候補キーフレームとの相対姿勢Tiと、前記目標画像の絶対姿勢Pとの積TiPは、目標画像により導出された候補キーフレームと最初のフレームの画像との相対姿勢、即ち候補キーフレームの絶対位置を表す。理論的には、候補キーフレームの絶対姿勢TiPは絶対姿勢Ciに等しい。すなわち、Ci−TiP＝0。しかし、姿勢推定の計算で、必然的に誤差が生じるため、両者において正確に等しくなりえない。このため、上記目標損失関数を定義し、且つ複数フレームの画像の姿勢情報を繰り返して代入することにより、当該目標損失関数を最適化させて、最適解Pが求められる。それにより、複数のフレーム画像の最適化・融合を介して前記目標画像の絶対姿勢Pが得られる。
【００４８】
また、本発明の一実施例により、重み係数Ωiは、前記特徴点マッチング対に基づいて推定された前記目標画像とi番目の候補キーフレームとの相対姿勢の信頼度に反比例する。この中に、信頼度は目標画像に対して前記i番目の候補キーフレームの特徴点マッチング対の数に関して定義される。具体的には、本発明の一実施例において、前記目的画像とi番目の候補キーフレームとの相対姿勢の信頼度Confidenceiは以下の式(2)で定義される。
【数３】
2019133658.tif 000005
【００４９】
ここで、numiは目標画像とi番目キーフレームとの特徴点マッチング対の数である。
（外１）
2019133658.tif 000006
は目標画像とすべてのi番目の候補キーフレームとのマッチングによる特徴点マッチング対の合計である。iは１以上の整数である。信頼度が高ければ高いほど推定された目標画像とi番目の候補キーフレームとの相対位置が正確であるため、損失関数における重み係数が小さい。このことにより、重み係数Ωiは次の式（３）で定義される。
【数４】
2019133658.tif 000007
【００５０】
以上、本発明の実施例にかかる測位方法を図1〜3のフローチャートを用いて簡単に説明した。上述したように、本発明の実施例にかかる測位方法により、予め構築されたマップに記憶されたキー情報を使用して関心領域のマッチングを行う。この上でマッチングされた関心領域に基づいて特徴点のマッチングを行うことにより、目標画像の相対姿勢が得られる。さらに、該相対姿勢に基づいて目標損失関数を構築することにより、前記目標画像の絶対姿勢が最適化される。
【００５１】
次に、図4を参照して本発明の実施例にかかる測位装置の構成を詳細に説明する。
【００５２】
図4は、本発明の実施例にかかる測位装置の構成を示すブロック図である。図4に示す測位装置40は、図1に示す本発明の実施例にかかる測位方法を実行することができる。
【００５３】
図4に示すように、本発明の実施例にかかる測位装置は、画像取得モジュール401と、画像マッチングモジュール402と、関心領域マッチングモジュール403と、特徴点マッチングモジュール404、および姿勢最適化モジュール405とを含む。
【００５４】
具体的には、画像取得モジュール401は、目標画像を取得する。前記画像取得モジュール401は、測位装置40の他のモジュールと物理的に分離されていることが可能である。また、画像取得モジュール401により取得された画像は有線または無線の方式により、測位装置40の他のモジュールに転送される。これ以外に、画像取得モジュール401は、測位装置40の他のモジュールまたは構成要素とは物理的に同一場所内に設置されてもよく、同一の筐体内ですらよい。測位装置40において、他のモジュールまたは構成要素は、前記画像取得モジュール401から送信された画像を、内部バスを介して受信する。本発明の1つの実施例により、画像取得モジュール401はカメラであって、具体的な目標画像を撮像する。また、本発明の別の実施形態により、画像取得モジュール401は、有線または無線を介して目標画像を受信する。例えば、画像撮像装置又は他の装置から送信された目標画像を受信する。更に本発明の別の実施例により、画像取得モジュール401は、予め記憶された目標画像をメモリから取得することができる。
【００５５】
画像マッチング部402は、予め構築された、1つ以上のキーフレームのキー情報で構成されるマップから、目標画像に対して概ねにマッチングする複数の候補キーフレームの候補キー情報を取得する。ここで、前記画像マッチングモジュール402により行われる概ねにマッチングする処理は、上述した図1に参照して説明した内容と同様である。なお、予めマップを構築する処理は、マッチング処理モジュール402が実行してもよく、別のマップ構築モジュールが実行してもよい。そして、該マップは画像マッチングモジュール４０２に送信され、マップを構築する具体的な処理は図2を参照して説明した内容と同様であり、重複のため、説明を省略する。
【００５６】
関心領域マッチングモジュール403は、前記目標画像の関心領域を生成し、前記候補キー情報に基づいて、目標画像について関心領域のマッチングを行い、前記目標画像について少なくとも1つの候補キーフレームの関心領域マッチング対を求める。ここで、関心領域マッチングモジュール403が関心領域を生成する処理は、図3に参照して説明した対応内容と同様であり、また、関心領域マッチングする処理は、図1に参照して説明した対応内容と同様であり、重複のため、ここで説明を省略する。
【００５７】
特徴点マッチングモジュール404は、前記候補キー情報に基づいて、前記関心領域マッチング対における特徴点のマッチングを行い、前記目標画像について前記少なくとも1つの候補キーフレームの特徴点マッチング対を取得する。その中に、特徴点マッチングモジュール404による関心領域マッチング対における特徴点マッチングの処理は、図1に参照して説明した対応内容と同様であるため、説明を省略する。
【００５８】
姿勢最適化モジュール405は、特徴点マッチング対に基づいて、前記目標画像と前記少なくとも1つの候補キーフレームとの相対姿勢を算出する。姿勢最適化モジュール405による相対姿勢の算出処理は、図1に参照して説明した対応内容と同様であるため、説明を省略する。また、姿勢最適化モジュール405は、前記相対姿勢に関する目標損失関数を定義することもでき、目標損失関数を最小化することにより、目標画像の絶対姿勢を最適化させる。前記処理は説明した対応内容と同様である。
【００５９】
測位装置40の各モジュールは、ハードウェアで実現してもよく、ソフトウェアで実現してもよく、更に、ハードウェアとソフトウェアの組み合わせによっても実現しえる。
【００６０】
図5は、本発明の実施例にかかる測位装置のハードウェアブロック図である。図5に示すように、本発明の別の態様では、メモリ501、およびプロセッサ502を含む測位装置50を提供する。該測位装置50において各構成要素は、バスシステム及び/又は他の形態の接続機構(図示せず)によって接続される。
【００６１】
メモリ501は、非一時的でコンピュータ読み取り可能な指令を記憶する。具体的には、メモリ501は、1つまたは複数のコンピュータプログラム製品、例えば、揮発性メモリおよび/または非揮発性メモリを含む等種々のコンピュータ読取り可能な記憶媒体を備えることができる。揮発性メモリは、例えば、ランダムアクセスメモリ(RAM)及び/又は高速キャッシュ(cache)などを含む。前記非揮発性メモリは、例えば、ROM(Read  Only  Memory)、ハードディスク、フラッシュメモリなどを含む。
【００６２】
プロセッサ502は、中央処理装置(CPU)又はデータ処理能力および/または処理指令を実行する能力を有する他の形式の処理ユニットであって、測位装置50中の他の構成要素を制御し、所望の機能を実行する。本発明の1つの実施例で、プロセッサ502がメモリ501に記憶されるコンピュータ読取り可能な指令を実行することより、測位装置50に視覚に基づく測位方法を実行させる。ここで、測位方法は図1〜3を参照して説明したのと同じであるため、重複する説明を省略する。
【００６３】
本発明の別の態様では、非一時的なコンピュータ読取り可能な指令が記憶されるコンピュータ読取り可能な記憶媒体を提供する。非一時的なコンピュータ読取り可能な指令がプロセッサによって実行されたときに、上記図面を参照して説明した本発明の実施例にかかる測位方法が実行される。
【００６４】
また、本発明に係る構成要素、デバイス、装置、システムのブロック図は、例示的な一例に過ぎず、ブロック図で示すように接続、分布、配置する意図的な要求または暗示することはない。当業者には理解されるように、これらの構成要素、デバイス、装置、システムを任意の方式で接続され、配置されることができる。また、「含む」、「備える」、「有する」などの文言は、開放的な文言として、「含むが限定しない」ことを意味し、かつ互いに置き換えることができる。また、ここで使用される「または」、「および」は「および/または」を意味し、文脈から明確に指示されない限りは、置き換えることができる。更に、使用される「例えば」とは、「例えであって、限定されない」意味し、置き換えることができる。
上記した実施形態は本発明の保護範囲を限定するものではない。当業者であれば理解されるように、設計および他の要因に応じて、様々な変更、コンビネーション、サブコンビネーション、および置き換えるが可能である。本発明の主旨を逸脱しない範囲内の変更、同等の交換および改善などは、すべて本発明の保護範疇に属す。
【図１】
2019133658.tif 000009
【図２】
2019133658.tif 000010
【図３】
2019133658.tif 000011
【図４】
2019133658.tif 000012
【図５】
2019133658.tif 000013