(57)【要約】【課題】本発明の実施例はビジュアルオドメトリ方法及び装置を提供する。【解決手段】該方法は、ビデオ画像内のフレーム画像の特徴点を検知するステップと、ビデオ画像内に隣接する二つのフレームの特徴点に対してマッチングを行い、物体の移動を計算するための特徴点マッチ対を取得するステップと、を含み、マッチングの前に、トレーニングした第一相関パラメータによって特徴点を調整して、調整後の特徴点によりマッチングを行うことで特徴点マッチ対を取得し、且つ／或いは、マッチングの後、トレーニングした第二相関パラメータによって特徴点マッチ対を調整して、調整後の特徴点マッチ対を取得する。【選択図】図１
2018067305.tif 000002
【特許請求の範囲】
【請求項１】
ビジュアルオドメトリ方法であって、
ビデオ画像内のフレーム画像の特徴点を検知するステップと、
前記ビデオ画像内に隣接する二つのフレームの特徴点に対してマッチングを行い、物体の移動を計算するための特徴点マッチ対を取得するステップと、を含み、
前記マッチングの前に、トレーニングした第一相関パラメータによって前記特徴点を調整して、調整後の特徴点によりマッチングを行うことで前記特徴点マッチ対を取得し、且つ／或いは、
前記マッチングの後、トレーニングした第二相関パラメータによって前記特徴点マッチ対を調整して、調整後の特徴点マッチ対を取得することを特徴とする方法。
【請求項２】
前記ビデオ画像内のフレーム画像の特徴点を検知するステップは、
ビデオ画像を得ることと、
所定の方法によって、取得した前記ビデオ画像内の隣接する二つのフレーム画像の特徴点を検知することと、を含むことを特徴とする請求項１に記載の方法。
【請求項３】
指定された稼動時間に基づき、トレーニングデータによって前記特徴点と前記特徴点マッチ対との関係、前記特徴点と各第一相関パラメータとの関係、および前記特徴点マッチ対と各第二相関パラメータとの関係をトレーニングして取得するステップ、をさらに含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記トレーニングした第一相関パラメータによって前記特徴点を調整することは、
検知された第一の数の特徴点および前記特徴点と各第一相関パラメータとの関係に基づいて、前記特徴点の数を前記第一の数よりも小さい第二の数に最適化すること、を含み、
前記トレーニングした第二相関パラメータによって前記特徴点マッチ対を調整することは、
マッチした第三の数の特徴点マッチ対および前記特徴点マッチ対と各第二相関パラメータとの関係に基づいて、前記特徴点マッチ対の数を前記第三の数よりも小さい第四の数に最適化すること、を含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記トレーニングした第一相関パラメータによって前記特徴点を調整することは、
各第一相関パラメータの重みを調整して、重み付けされた各第一相関パラメータにより前記特徴点を最適化すること、を含み、
前記トレーニングした第二相関パラメータによって前記特徴点マッチ対を調整することは、
各第二相関パラメータの重みを調整して、重み付けされた各第二相関パラメータにより前記特徴点マッチ対を最適化すること、を含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記トレーニングした第一相関パラメータによって前記特徴点を調整することは、
前記特徴点の分布を表す特徴点確率密度図に基づいて前記特徴点を最適化すること、を含み、
前記トレーニングした第二相関パラメータによって前記特徴点マッチ対を調整することは、
前記特徴点マッチ対の分布を表すマッチ対確率密度図に基づいて前記特徴点マッチ対を最適化すること、を含むことを特徴とする請求項１に記載の方法。
【請求項７】
前記トレーニングした第二相関パラメータによって前記特徴点マッチ対を調整することは、
前記特徴点マッチ対の重みにより前記特徴点マッチ対を最適化すること、をさらに含むことを特徴とする請求項６に記載の方法。
【請求項８】
取得した前記特徴点マッチ対によって移動推定マトリクスを計算し、前記移動推定マトリクスは、前記物体の回転と変位を計算するための回転マトリクスと変位マトリクスを含むことを特徴とする請求項１乃至７のいずれかに記載の方法。
【請求項９】
ビジュアルオドメトリ装置であって、
ビデオ画像内のフレーム画像の特徴点を検知する検知手段と、
前記ビデオ画像内に隣接する二つのフレームの特徴点に対してマッチングを行い、物体の移動を計算するための特徴点マッチ対を取得するマッチング手段と、を含み、
前記マッチング手段は、前記マッチングの前に、トレーニングした第一相関パラメータによって前記特徴点を調整して、調整後の特徴点によりマッチングを行うことで前記特徴点マッチ対を取得し、且つ／或いは、
前記マッチング手段は、前記マッチングの後、トレーニングした第二相関パラメータによって前記特徴点マッチ対を調整して、調整後の特徴点マッチ対を取得することを特徴とする装置。
【請求項１０】
前記装置は、指定された稼動時間に基づき、トレーニングデータによって前記特徴点と前記特徴点マッチ対との関係、前記特徴点と各第一相関パラメータとの関係、および前記特徴点マッチ対と各第二相関パラメータとの関係をトレーニングして取得するトレーニング手段、をさらに含み、
前記マッチング手段は、
検知された第一の数の特徴点および前記特徴点と各第一相関パラメータとの関係に基づいて、前記特徴点の数を前記第一の数よりも小さい第二の数に最適化し、
マッチした第三の数の特徴点マッチ対および前記特徴点マッチ対と各第二相関パラメータとの関係に基づいて、前記特徴点マッチ対の数を前記第三の数よりも小さい第四の数に最適化することを特徴とする請求項９に記載の装置。
【請求項１１】
ビデオ画像内のフレーム画像の特徴点を検知するステップと、
前記ビデオ画像内に隣接する二つのフレームの特徴点に対してマッチングを行い、物体の移動を計算するための特徴点マッチ対を取得するステップと、をコンピュータに実行させるためのビジュアルオドメトリプログラムであって、
前記マッチングの前に、トレーニングした第一相関パラメータによって前記特徴点を調整して、調整後の特徴点によりマッチングを行うことで前記特徴点マッチ対を取得し、且つ／或いは、
前記マッチングの後、トレーニングした第二相関パラメータによって前記特徴点マッチ対を調整して、調整後の特徴点マッチ対を取得することを特徴とするビジュアルオドメトリプログラム。
【請求項１２】
ビデオ画像内のフレーム画像の特徴点を検知するステップと、
前記ビデオ画像内に隣接する二つのフレームの特徴点に対してマッチングを行い、物体の移動を計算するための特徴点マッチ対を取得するステップと、をコンピュータに実行させるためのビジュアルオドメトリプログラムを記録した記録媒体であって、
前記マッチングの前に、トレーニングした第一相関パラメータによって前記特徴点を調整して、調整後の特徴点によりマッチングを行うことで前記特徴点マッチ対を取得し、且つ／或いは、
前記マッチングの後、トレーニングした第二相関パラメータによって前記特徴点マッチ対を調整して、調整後の特徴点マッチ対を取得することを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は画像処理分野に関し、具体的にビジュアルオドメトリ方法及び装置に関する。
【背景技術】
【０００２】
ビジュアルオドメトリ方法は、例えばインテリジェントカー、無人航空機などのロボットおよびカーナビゲーション分野にすでに広く応用されている。当該方法は視覚情報によって移動の距離と方法を計算できるから、伝統的なホイールオドメトリ方法のホイールスリップによる計測ミスを回避できるほか、センサーの精度低下などの原因による計測誤差も回避でき、計測の精度を向上する。
【０００３】
既存のビジュアルオドメトリ方法では、異なる応用シーンにおいても共に相対的に固定するパラメータ値を用いて特徴点の検知とマッチングを行うのが一般的である。これによって、取得した特徴点と特徴点マッチ対の数およびマッチング正確度を精確に把握できず、システムの稼動時間を大幅増加、システムの計算の実用性が低い。
【０００４】
したがって、リアルタイムかつ正確に視覚距離を計算できる方法が必要になる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、ビジュアルオドメトリ方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の１つの態様は、ビジュアルオドメトリ方法であって、ビデオ画像内のフレーム画像の特徴点を検知するステップと、前記ビデオ画像内に隣接する二つのフレームの特徴点に対してマッチングを行い、物体の移動を計算するための特徴点マッチ対を取得するステップと、を含み、前記マッチングの前に、トレーニングした第一相関パラメータによって前記特徴点を調整して、調整後の特徴点によりマッチングを行うことで前記特徴点マッチ対を取得し、且つ／或いは、前記マッチングの後、トレーニングした第二相関パラメータによって前記特徴点マッチ対を調整して、調整後の特徴点マッチ対を取得することを特徴とする方法を提供する。
【０００７】
本発明のもう１つの態様は、ビジュアルオドメトリ装置であって、ビデオ画像内のフレーム画像の特徴点を検知する検知手段と、前記ビデオ画像内に隣接する二つのフレームの特徴点に対してマッチングを行い、物体の移動を計算するための特徴点マッチ対を取得するマッチング手段と、を含み、前記マッチング手段は、前記マッチングの前に、トレーニングした第一相関パラメータによって前記特徴点を調整して、調整後の特徴点によりマッチングを行うことで前記特徴点マッチ対を取得し、且つ／或いは、前記マッチング手段は、前記マッチングの後、トレーニングした第二相関パラメータによって前記特徴点マッチ対を調整して、調整後の特徴点マッチ対を取得することを特徴とする装置を提供する。
【発明の効果】
【０００８】
本発明の上記ビジュアルオドメトリ方法及び装置によれば、特徴点と特徴点マッチ対と関係する相関パラメータのトレーニング結果によりビデオ画像内のフレーム画像の特徴点と特徴点マッチ対の数を自己適応的に調整することで、システムの稼動時間を縮短、計算の精確度を上げ、リアルタイムの正確な視覚距離計算を実施できる。
【図面の簡単な説明】
【０００９】
図示とあわせて本願の実施例をより詳しく説明することによって、本願の上記内容および目的、特徴、そして長所がより明白になる。
【図１】本発明の実施例に係わるビジュアルオドメトリ方法のフローチャートである。
【図２】本発明の実施例における特徴点の確率密度図である。
【図３】本発明の実施例における特徴点マッチ対の確率密度図である。
【図４】本発明の１つの実施例におけるビジュアルオドメトリ装置のブロック図である。
【図５】本発明のもう１つの実施例におけるビジュアルオドメトリ装置のブロック図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の実施例に係わるビジュアルオドメトリ方法と装置を説明する。図面には、同じ番号は同じ要素を終始に示す。ここで記述された実施例は説明のみに用いられて、本発明の範囲を制限するものではないことが自明である。
【００１１】
本発明では、従来技術のビジュアルオドメトリ方法において固定パラメータ値が用いられて特徴点の検知とマッチによる計算効率低下、正確性低い問題を解決するために、発明者らが異なる応用シーンにおいて自己適応のパラメータによって視覚距離計算における特徴点と特徴点マッチ対の数を調節することにした。このため、本発明では、ニューラルネットワーク法を用いて特徴点に相関する第一相関パラメータと特徴点マッチ対に相関する第二相関パラメータに対してニューラルネットワークトレーニングを行った。
【００１２】
具体的には、まず、ニューラルネットワークに一連のトレーニングデータを入力することができ、これらのトレーニングデータは複数のフレームのビデオ画像であることが可能である。つぎに、指定されたシステム稼動時間において実験によって特徴点、特徴点マッチ対、第一相関パラメータおよび第二相関パラメータの間の各種の関係を取得できる。ニューラルネットワークトレーニングによって上記トレーニング結果を得た後、これらのトレーニング結果に基づいて視覚距離計算における特徴点と/或いは特徴点マッチ対を最適化するように調整することで、ターゲットの移動推定の正確度を上げ、システムの稼動時間を減らす。
【００１３】
ここで、図１を参照して本発明の実施例に係わるビジュアルオドメトリ方法を説明する。図１は当該ビジュアルオドメトリ方法１００のフローチャートを示す。
【００１４】
図１に示すように、ステップＳ１０１では、ビデオ画像内のフレーム画像の特徴点を検知する。好ましいのは、まずビデオ画像を取得して、ビデオ画像内の各フレーム画像の特徴点を検知することが可能である。ここで、ビデオ画像はターゲットに配備された撮像モジュールにより得たものでもよく、当該ビデオ画像はそのうちから物体の運動または移動距離を得るために用いられる。具体的には、各フレーム画像の特徴点をともに
【数１】
2018067305.tif 000003
に示すことが可能であり、ここで、Ｋはこのフレーム画像における特徴点の数を意味する。ビデオ画像を取得するためのカメラがステレオカメラである場合、前記フレーム画像はそれぞれ左右両フレームの画像を含むことができる。
【００１５】
また、本発明の実施例に係わるビジュアルオドメトリ方法はビデオ画像内において隣接する二つのフレームの画像の特徴点に対してマッチを行うことができるので、好ましいのが、ステップＳ１０１における特徴点の具体的な検知方式を以下に示す。ビデオ画像を得て、所定の方法によって得たビデオ画像内における隣接する二つのフレーム画像の特徴点を検知する。本実施例では、特徴点を検知する所定方法は例えばSIFT特徴量、SURF特徴量、Harrisコーナーなどの各種の特徴点検知方法を含む。特徴点を検知後、例えばグレースケール特徴量、グラデーション特徴量、視差情報などの各種特徴記述方法に用いられる方法によって、前記の検知された特徴点を記述することができる。
【００１６】
本実施例のステップＳ１０２では、前記ビデオ画像内に隣接する二つのフレームの特徴点に対してマッチを行って、特徴点マッチ対を得ることによって、物体の運動を計算する。そこで、前記マッチングの前に、トレーニングした第一相関パラメータによって前記特徴点を調整し、かつ調整後の特徴点を用いてマッチを行うことで前記特徴点マッチ対を取得すること、と/或いは、前記マッチングの後、トレーニングした第二相関パラメータによって前記特徴点マッチ対を調整、かつ調整後の特徴点マッチ対を取得する。
【００１７】
具体的には、まず指定された稼動時間に基づき、トレーニングデータによって前記特徴点と前記特徴点マッチ対との間、前記特徴点と各第一相関パラメータとの間、および前記特徴点マッチ対と各第二相関パラメータとの間の関係をトレーニングかつ取得する。なお、トレーニングプロセスはステップＳ１０１の特徴点検知ステップの前でも良く、このステップの後でも良い。本実施例のシステムの稼動時間と検知された特徴点とマッチする特徴点マッチ対の数と直接な相関があるため、予めに設定したシステム稼動時間によってニューラルネットワークのトレーニング法を用いてシステム稼動時間、特徴点、特徴点マッチ対、第一相関パラメータおよび第二相関パラメータの間の関係に対してトレーニングを行うことで、システムの稼動時間を減らし、計算効率を向上することが可能である。詳細な実施過程では、まず、ニューラルネットワークにトレーニングデータとして、事前取得した複数のフレームのビデオ画像を入力する。次に、指定されたシステム稼動時間において、実験によってシステム稼動時間Ｔと特徴点数Npoint、特徴点マッチ対数Ncorresとの間の関係T=g(Npoint,Ncorres)を取得する。指定されたシステム稼動時間の場合、特徴点数および対応する特徴点マッチ対数がともに既知である。特徴点数Npointと特徴点マッチ対数Ncorresとの間の関係はNcorres=g’(Npoint)に示すことが可能である。この他、特徴点をマッチする前に、実験によって特徴点数Npointとそれと相関する第一相関パラメータ
（外１）
2018067305.tif 000004
との間の関係
【数２】
2018067305.tif 000005
を取得できる。ここで、m=1,2，…,Mで、Mは特徴点数と関係する第一相関パラメータの数であり、第一相関パラメータはフィルタ窓口サイズ、非最大抑制窓口サイズなどであり、例えばlibvisoビジュアルオドメトリ方法において、第一相関パラメータはmargin（余白）、nms_n（非最大抑制窓口）などのパラメータを含むことが可能である。第一相関パラメータと特徴点との対応関係を定めることによって、距離を精確に計算すると共に所要の特徴点の数もなるべく少なくすることができる。例えば、特徴点が多い場合、フィルタ窓口サイズと非最大抑制窓口サイズを縮小させることによって特徴点の数を適当に減少でき、かつ所要の距離を精確に計算できるもっとも少ない点によって距離を計算する。さらに、トレーニングプロセスにおいて特徴点を検知かつマッチした後、実験によって特徴点マッチ対の数Ncorresとそれと相関する第二相関パラメータ
（外２）
2018067305.tif 000006
との間の関係
【数３】
2018067305.tif 000007
も取得できる。ここで、k=1,2,…，K，Kで、Kは特徴点マッチ対数と関係する第二相関パラメータの数であり、第二相関パラメータは例えば物体の速度、回転角、路面高さまたは傾斜度などのパラメータであることが可能である。この他、第二相関パラメータは特徴点マッチング時に二つのフレームのビデオ画像の重畳面積を影響する任意のパラメータであっても良い。
【００１８】
トレーニングプロセスによって上記パラメータの間の関係を取得した後、検知された第一の数を有する特徴点および前記特徴点と各第一相関パラメータとの間の関係に基づいて前記特徴点の数を第二の数に最適化することが可能である。そして、前記第二の数は前記第一の数よりも小さい。即ち、トレーニング結果によりステップＳ１０１で検知された特徴点の数に対して最適化をすることで、特徴点の数をまばらにしてシステムの稼動時間を制御する。
【００１９】
最適化プロセスでは、前記特徴点の分布を表す特徴点確率密度図に基づいて前記特徴点を最適化することができる。図２には、特徴点に基づく確率密度図を示す。図２に示すように、ステップＳ１０１で検知された特徴点は画像においてi行j列を有する複数のエリアに区分けでき、そこで、エリアRi,j内の特徴点確率密度pi,jがエリアRi,j内の特徴点の数N(px)を画像におけるすべての特徴点の数N(all)で割った値にすることが可能である。
【００２０】
【数４】
2018067305.tif 000008
上記特徴点の確率密度図の制限条件map(point)を考慮して、トレーニングプロセスにおいて取得した特徴点数と第一相関パラメータとの間の関係を
【数５】
2018067305.tif 000009
に表すことができる。そこで、特徴点確率密度図に対する制限条件は以下のことを回避できる。即ち、もっともと特徴点の分布が疎である画像位置において特徴点の数をさらに過剰に減らすことで、システムの計算正確度を低減させる。全部でM個の特徴点と相関する第一相関パラメータを有し、各第一相関パラメータの特徴点最適化における重みが異なるため、各第一相関パラメータの間の重みを調整して、重み付けされた各第一相関パラメータにより前記特徴点を最適化することが好ましい。具体的には、まず、逆関数関係で第一相関パラメータによって推定した特徴点数
【数６】
2018067305.tif 000010
を表して、つぎに、下記最適化問題を解決することで各第一相関パラメータが占める重み
（外３）
2018067305.tif 000011
を取得し、かつ最適化結果を求める。つまり、前記関係によって推定した特徴点数をなるべく指定されたシステム稼動時間により求めたターゲットの特徴点数に近づくようにする。そこで、
【数７】
2018067305.tif 000012
、
（外４）
2018067305.tif 000013
はパラメータ
（外５）
2018067305.tif 000014
の重みであり、
【数８】
2018067305.tif 000015
となり、
（外６）
2018067305.tif 000016
、
（外７）
2018067305.tif 000017
はパラメータ
（外８）
2018067305.tif 000018
の制限条件であり、制限条件は第一相関パラメータの合理的な値の範囲を制限する。第一相関パラメータが等間隔抽出のサンプリングレートである場合、サンプリングレートの最大値は画像のサイズに制限され、その最小値は画素間隔と画像フィルタリング条件に制限される。上記の最適化プロセス後、ステップＳ１０１で検知した特徴点の数を検知された第一の数から第一の数より小さい第二の数に最適化でき、かつ前記第二の数の特徴点を用いて後継の計算を行うことで、システムの計算効率を上げることが可能である。
【００２１】
特徴点の数を最適化後、調整後の特徴点を用いて特徴点のマッチを行うことができる。なお、ステップＳ１０１により検知した特徴点を直接的に特徴点マッチングを行うこともできる。特徴点マッチングの対象は隣接する二つのフレームのフレーム画像の特徴点である。具体的には、まず前のフレームのビデオ画像内のm個の特徴点の集合を
【数９】
2018067305.tif 000019
に表し、そこで、
【数１０】
2018067305.tif 000020
、現在のビデオ画像内のn個の特徴点の集合を
【数１１】
2018067305.tif 000021
に表し、そこで、
【数１２】
2018067305.tif 000022
。よって、前のフレーム画像と現在のフレーム画像内の特徴点対の差異を
（外９）
2018067305.tif 000023
に表し、その内、
（外１０）
2018067305.tif 000024
が特徴点対であり、特徴点対の差異は特徴点対の間の特徴ベクトルを用いて表すことが一般的である。特徴点マッチングの方法では、特徴点対の間の総差異が最小である特徴点対のマッチ結果を選択する。即ち
（外１１）
2018067305.tif 000025
であり、そこで、N<min(m,n)。
【００２２】
特徴点マッチ対を取得した後、マッチされた第三の数を有する特徴点マッチ対および前記特徴点マッチ対と各第二相関パラメータとの間の関係に基づき、前記特徴点マッチ対の数を第四の数に最適化することができる。ここで、前記第四の数は前記第三の数よりも小さい。即ち、トレーニング結果により特徴点マッチ対の数に対して最適化をすることで、特徴点マッチ対の数をまばらにしてシステムの稼動時間を制御する。
【００２３】
最適化プロセスでは、前記特徴点マッチ対の分布を表すマッチ対確率密度図に基づいて前記特徴点マッチ対を最適化することができる。図３には、特徴点マッチ対に基づく確率密度図を示す。図３に示すように、マッチして得た特徴点マッチ対は図２と類似して、画像においてi行j列を有する複数のエリアに区分けでき、そこで、エリアRi,j内のマッチ対確率密度p’i,jがエリアRi,j内のマッチ対の数を画像におけるすべての特徴点マッチ対N(all)の数で割った値にすることが可能である。
【００２４】
ここで、マッチ対確率密度分布を考慮する場合、さらにマッチ対の重みに対する影響を考慮することで、計算の正確度を上げることが可能である。マッチ対の重み
（外１２）
2018067305.tif 000026
を下記に表すことができる。
【数１３】
2018067305.tif 000027
【００２５】
その内、前のフレームの歴史情報と比べて、目前のフレームのエリアRi,j内ある特徴点マッチ対pxがinlierに属する場合、マッチ対の重み
（外１３）
2018067305.tif 000028
が最大となり、1+Cになる。目前のフレームのエリアRi,j内にある特徴点マッチ対pxがoutlierに属する場合、マッチ対の重み
（外１４）
2018067305.tif 000029
が最小となり、1-C’になり、0<C、C’<1。ほかの場合、例えば、ある特徴点マッチ対が初めて出た場合は、その重みを1にすることが可能である。
【００２６】
本実施例における特徴点マッチ対
（外１５）
2018067305.tif 000030
がinlierかoutlierかに属する判断方法は以下である。
【数１４】
2018067305.tif 000031
【００２７】
そこで、thrが予めに設定した閾値であり、
（外１６）
2018067305.tif 000032
が目前のフレーム画像内の予想位置で、
【数１５】
2018067305.tif 000033
式によって求められ、R、Tはそれぞれ前のフレームと目前のフレームとがマッチして得た歴史情報により求めた回転マトリクスと変位マトリクスである。
【００２８】
特徴点マッチ対の重みを定めた後、エリアRi,j内のマッチ対確率密度p’i,jをエリアRi,j内に異なる重み
（外１７）
2018067305.tif 000034
を有するマッチ対の数Ni,jの合計を総マッチ対の数N(all)で割ることに表すことができる。
【００２９】
【数１６】
2018067305.tif 000035
上記特徴点マッチ対の確率密度図の制限条件map(corres)を考慮して、トレーニングプロセスで取得した特徴点マッチ対数と第二相関パラメータとの間の関係を
【数１７】
2018067305.tif 000036
に表すことができる。そこで、特徴点マッチ対確率密度図に対する制限条件は以下のことを回避できる。即ち、もっともと特徴点マッチ対の分布が疎である画像位置において特徴点マッチ対の数をさらに過剰に減らすことで、システムの計算正確度を低減させる。全部でK個の特徴点マッチ対と相関する第二相関パラメータを有し、各第二相関パラメータの最適化における重みが異なるため、各第二相関パラメータの間の重みを調整して、重み付けされた各第二相関パラメータにより前記特徴点マッチ対を最適化することが好ましい。具体的には、まず、逆関数関係で第二相関パラメータによって推定した特徴点マッチ対数
【数１８】
2018067305.tif 000037
を表して、つぎに、下記の最適化問題を解決することで各第二相関パラメータが占める重み
（外１８）
2018067305.tif 000038
を取得し、かつ最適化結果を求める。つまり、前記関係によって推定した特徴点マッチ対数をなるべく指定されたシステム稼動時間により求めたターゲットの特徴点マッチ対数に近づく。そこで、
【数１９】
2018067305.tif 000039
、
（外１９）
2018067305.tif 000040
はパラメータ
（外２０）
2018067305.tif 000041
の重みであり、
【数２０】
2018067305.tif 000042
となり、
（外２１）
2018067305.tif 000043
、
（外２２）
2018067305.tif 000044
はパラメータ
（外２３）
2018067305.tif 000045
の制限条件であり、第二相関パラメータが車両速度である場合、車両速度の最大値はアルゴリズムの許容に制限される。上記の最適化プロセス後、特徴点マッチ対の数を第三の数から第三の数より小さい第四の数に最適化でき、かつ前記第四の数の特徴点マッチ対を用いて後継の計算を行うことで、システムの計算効率を上げることが可能である。
【００３０】
本発明の実施例では、前記特徴点と特徴点マッチ対との一方しか最適化ができないが、特徴点と特徴点マッチ対とをともに最適化することも可能である。
【００３１】
隣接する二つのフレームのフレーム画像の特徴点マッチ対を取得した後、特徴点マッチ対によって移動推定マトリクスを計算できる。前記移動推定マトリクスは前記物体の回転と変位を計算するように、回転マトリクスR(3×3)と変位マトリクスT(3×1)とを含む。ここで用いた移動推定方法は四次元数、RANSACに基づいても良く、常用のほかの各種移動推定方法でも良い。
【００３２】
本発明の実施例によるビジュアルオドメトリ方法は特徴点と特徴点マッチ対と関係する相関パラメータのトレーニング結果によりビデオ画像内のフレーム画像の特徴点と特徴点マッチ対の数を自己適応的に調整することで、システムの稼動時間を縮短、計算の精確度を上げ、リアルタイムの正確な視覚距離計算を実施できる。
【００３３】
以下、図４を参照して本発明の実施例に係わるビジュアルオドメトリ装置を説明する。図４には本発明の実施例におけるビジュアルオドメトリ装置４００のブロック図を示す。図４に示すように、ビジュアルオドメトリ装置４００は検知ユニット４１０とマッチングユニット４２０とを含む。そのほか、当該装置４００はさらにほかの部材も含むが、これらの部材が本発明の実施例の内容と関係がないため、ここでその図示および記述を省略する。この他、本発明の実施例に係わるビジュアルオドメトリ装置４００によって行う下記操作の具体的な細部が上記図１−３を参照して記載された細部と同じであるため、重複を回避するために、同じ細部に対する重複した記述を省略する。
【００３４】
図４内のビジュアルオドメトリ装置４００の検知ユニット４１０はビデオ画像内のフレーム画像の特徴点を検知する。検知ユニット４１０はまずビデオ画像を取得して、ビデオ画像内の各フレーム画像の特徴点を検知することが可能である。ここで、ビデオ画像はターゲットに配備された撮像モジュールにより得たものでもよく、当該ビデオ画像はそのうちから物体の運動または移動距離を得るために用いられる。具体的には、各フレーム画像の特徴点をともに
【数２１】
2018067305.tif 000046
に示すことが可能であり、ここで、Kはこのフレーム画像における特徴点の数を意味する。検知ユニット４１０においてビデオ画像を取得するためのカメラがステレオカメラである場合、前記フレーム画像はそれぞれ左右両フレームの画像を含むことができる。
【００３５】
また、検知ユニット４１０はビデオ画像を得て、かつ所定の方法によって得たビデオ画像内における隣接する二つのフレーム画像の特徴点を検知する。本実施例では、検知ユニット４１０による特徴点を検知する所定方法は例えばSIFT特徴量、SURF特徴量、Harrisコーナーなどの各種の特徴点検知方法を含む。検知ユニット４１０によって特徴点を検知後、例えばグレースケール特徴量、グラデーション特徴量、視差情報などの各種特徴記述方法に用いられる方法によって、前記の検知された特徴点を記述することができる。
【００３６】
ビジュアルオドメトリ装置４００のマッチングユニット４２０は前記ビデオ画像内の隣接する二つのフレームの特徴点をマッチして特徴点マッチ対を取得することで物体の運動を計算する。そこで、マッチングユニット４２０は前記マッチングの前に、トレーニングした第一相関パラメータによって前記特徴点を調整、かつ調整後の特徴点を用いてマッチを行うことで前記特徴点マッチ対を取得し、且つ/或いは、マッチングユニット４２０は前記マッチングの後、トレーニングした第二相関パラメータによって前記特徴点マッチ対を調整、かつ調整後の特徴点マッチ対を取得する。
【００３７】
具体的に、ビジュアルオドメトリ装置４００はさらにトレーニングユニット（未図示）を含み、指定された稼動時間に基づき、トレーニングデータによって前記特徴点と前記特徴点マッチ対との間、前記特徴点と各第一相関パラメータとの間、および前記特徴点マッチ対と各第二相関パラメータとの間の関係をトレーニングかつ取得する。なお、トレーニングユニットのトレーニングプロセスは検知ユニット４１０による特徴点を検知する前でも良く、後でも良い。本実施例のシステムの稼動時間と検知された特徴点とマッチする特徴点マッチ対の数と直接な相関があるため、トレーニングユニットは予めに設定したシステム稼動時間によってニューラルネットワークのトレーニング法を用いてシステム稼動時間、特徴点、特徴点マッチ対、第一相関パラメータおよび第二相関パラメータの間の関係に対してトレーニングを行うことで、システムの稼動時間を減らし、計算効率を向上することが可能である。具体的に、トレーニングユニットはまずニューラルネットワークにトレーニングデータとして、事前取得した複数のフレームのビデオ画像を入力する。次ぎに、指定されたシステム稼動時間において、実験によってシステム稼動時間Tと特徴点数Npoint、特徴点マッチ対数Ncorresとの間の関係T=g(Npoint,Ncorres)を取得する。指定されたシステム稼動時間の場合、特徴点数および対応する特徴点マッチ対数がともに既知である。特徴点数Npointと特徴点マッチ対数Ncorresとの間の関係はNcorres=g’(Npoint)に示すことが可能である。この他、特徴点をマッチする前に、トレーニングユニットは実験によって特徴点数Npointとそれと相関する第一相関パラメータ
（外２４）
2018067305.tif 000047
との間の関係
【数２２】
2018067305.tif 000048
を取得できる。ここで、m=1,2，…,Mで、Mは特徴点数と関係する第一相関パラメータの数であり、第一相関パラメータはフィルタ窓口サイズ、非最大抑制窓口サイズなどであり、例えばlibvisoビジュアルオドメトリ方法において、第一相関パラメータはmargin（余白）、nms_n（非最大抑制窓口）などのパラメータを含むことが可能である。第一相関パラメータと特徴点との対応関係を定めることによって、距離を精確に計算すると共に所要の特徴点の数もなるべく少なくすることができる。例えば、特徴点が多い場合、フィルタ窓口サイズと非最大抑制窓口サイズを縮小させることによって特徴点の数を適当に減少でき、かつ所要の距離を精確に計算できるもっとも少ない点によって距離を計算する。さらに、トレーニングプロセスにおいて特徴点を検知かつマッチした後、トレーニングユニットは実験によって特徴点マッチ対の数Ncorresとそれと相関する第二相関パラメータ
（外２５）
2018067305.tif 000049
との間の関係
【数２３】
2018067305.tif 000050
も取得できる。ここで、k=1,2,…，K，Kで、Kは特徴点マッチ対数と関係する第二相関パラメータの数であり、第二相関パラメータは例えば物体の速度、回転角、路面高さまたは傾斜度などのパラメータであることが可能である。この他、第二相関パラメータは特徴点マッチング時に二つのフレームのビデオ画像の重畳面積を影響する任意のパラメータであっても良い。
【００３８】
トレーニングユニットによって上記パラメータの間の関係を取得した後、マッチングユニット４２０は検知された第一の数を有する特徴点および前記特徴点と各第一相関パラメータとの間の関係に基づいて前記特徴点の数を第二の数に最適化することが可能である。そして、前記第二の数は前記第一の数よりも小さい。即ち、トレーニングユニットのトレーニング結果により検知ユニット４１０で検知された特徴点の数に対して最適化をすることで、特徴点の数をまばらにしてシステムの稼動時間を制御する。
【００３９】
最適化プロセスでは、マッチングユニット４２０は前記特徴点の分布を表す特徴点確率密度図に基づいて前記特徴点を最適化することができる。図２には、特徴点に基づく確率密度図を示す。図２に示すように、検知ユニット４１０で検知された特徴点は画像においてi行j列を有する複数のエリアに区分けでき、そこで、エリアRi,j内の特徴点確率密度pi,jがエリアRi,j内の特徴点の数N(px)を画像におけるすべての特徴点の数N(all)で割った値にすることが可能である。
【００４０】
【数２４】
2018067305.tif 000051
マッチングユニット４２０は上記特徴点の確率密度図の制限条件map(point)を考慮して、トレーニングプロセスで取得した特徴点数と第一相関パラメータとの間の関係を
【数２５】
2018067305.tif 000052
に表すことができる。そこで、特徴点確率密度図に対する制限条件は以下のことを回避できる。即ち、もっともと特徴点の分布が疎である画像位置において特徴点の数をさらに過剰に減らすことで、システムの計算正確度を低減させる。全部でM個の特徴点と相関する第一相関パラメータを有し、各第一相関パラメータの特徴点最適化における重みが異なるため、マッチングユニット４２０は各第一相関パラメータの間の重みを調整して、重み付けされた各第一相関パラメータにより前記特徴点を最適化することが好ましい。具体的に、マッチングユニット４２０は、まず、逆関数関係で第一相関パラメータによって推定した特徴点数
【数２６】
2018067305.tif 000053
を表して、つぎに、下記最適化問題を解決して各第一相関パラメータが占める重み
（外２６）
2018067305.tif 000054
を取得し、かつ最適化結果を求める。つまり、マッチングユニット４２０は前記関係によって推定した特徴点数をなるべく指定されたシステム稼動時間により求めたターゲットの特徴点数に近づく。そこで、
【数２７】
2018067305.tif 000055
、
（外２７）
2018067305.tif 000056
はパラメータ
（外２８）
2018067305.tif 000057
の重みであり、
【数２８】
2018067305.tif 000058
となり、
（外２９）
2018067305.tif 000059
、
（外３０）
2018067305.tif 000060
はパラメータ
（外３１）
2018067305.tif 000061
の制限条件であり、制限条件は第一相関パラメータの合理的な値の範囲を制限する。第一相関パラメータが等間隔抽出のサンプリングレートである場合、サンプリングレートの最大値は画像のサイズに制限され、その最小値は画素間隔と画像フィルタリング条件に制限される。上記の最適化プロセス後、マッチングユニット４２０は検知ユニット４１０で検知した特徴点の数を検知された第一の数から第一の数より小さい第二の数に最適化でき、かつ前記第二の数の特徴点を用いて後継の計算を行うことで、システムの計算効率を上げることが可能である。
【００４１】
特徴点の数を最適化後、マッチングユニット４２０は調整後の特徴点を用いて特徴点のマッチを行うことができる。なお、マッチングユニット４２０は検知ユニット４１０により検知した特徴点を直接的に特徴点マッチングを行うこともできる。マッチングユニット４２０による特徴点マッチングの対象は隣接する二つのフレームのフレーム画像の特徴点である。具体的に、マッチングユニット４２０はまず前のフレームのビデオ画像内のm個の特徴点の集合を
【数２９】
2018067305.tif 000062
に表し、そこで、
【数３０】
2018067305.tif 000063
、現在のビデオ画像内のn個の特徴点の集合を
【数３１】
2018067305.tif 000064
に表し、そこで、
【数３２】
2018067305.tif 000065
。よって、前のフレーム画像と現在のフレーム画像内の特徴点対の差異を
（外３２）
2018067305.tif 000066
に表し、その内、
（外３３）
2018067305.tif 000067
が特徴点対であり、特徴点対の差異は特徴点対の間の特徴ベクトルを用いて表すことが一般的である。マッチングユニット４２０により特徴点マッチを行う場合、特徴点対の間の総差異が最小である特徴点対のマッチ結果を選択する必要がある。即ち
（外３４）
2018067305.tif 000068
であり、そこで、N<min(m,n)。
【００４２】
マッチングユニット４２０によって特徴点マッチ対を取得した後、マッチされた第三の数を有する特徴点マッチ対および前記特徴点マッチ対と各第二相関パラメータとの間の関係に基づき、前記特徴点マッチ対の数を第四の数に最適化することができる。ここで、前記第四の数は前記第三の数よりも小さい。即ち、マッチングユニット４２０はトレーニングユニットのトレーニング結果により特徴点マッチ対の数に対して最適化をすることで、特徴点マッチ対の数をまばらにしてシステムの稼動時間を制御する。
【００４３】
最適化プロセスにおいて、マッチングユニット４２０は前記特徴点マッチ対の分布を表すマッチ対確率密度図に基づいて前記特徴点マッチ対を最適化することができる。図３には、特徴点マッチ対に基づく確率密度図を示す。図３に示すように、マッチングユニット４２０がマッチして得た特徴点マッチ対は図２と類似して、画像においてi行j列を有する複数のエリアに区分けでき、そこで、エリアRi,j内のマッチ対確率密度p’i,jがエリアRi,j内のマッチ対の数を画像におけるすべての特徴点マッチ対N(all)の数で割った値にすることが可能である。
【００４４】
ここで、マッチ対確率密度分布を考慮する場合、マッチングユニット４２０はさらにマッチ対の重みに対する影響を考慮することで、計算の正確度を上げることが可能である。マッチングユニット４２０によりマッチ対の重み
（外３５）
2018067305.tif 000069
を下記に表すことができる。
【数３３】
2018067305.tif 000070
【００４５】
その内、前のフレームの歴史情報と比べて、目前のフレームのエリアRi,j内ある特徴点マッチ対pxがinlierに属する場合、マッチ対の重み
（外３６）
2018067305.tif 000071
が最大となり、1+Cになる。目前のフレームのエリアRi,j内にある特徴点マッチ対pxがoutlierに属する場合、マッチ対の重み
（外３７）
2018067305.tif 000072
が最小となり、1-C’になり、0<C,C’<1。ほかの場合、例えば、ある特徴点マッチ対が初めて出た場合は、その重みを1にすることが可能である。
【００４６】
本実施例のマッチングユニット４２０は特徴点マッチ対
（外３８）
2018067305.tif 000073
がinlierかoutlierかに属するかを下式によって判断する。
【数３４】
2018067305.tif 000074
【００４７】
そこで、thrが予めに設定した閾値であり、
（外３９）
2018067305.tif 000075
が目前のフレーム画像内の予想位置で、
【数３５】
2018067305.tif 000076
式によって求められ、R、Tはそれぞれ前のフレームと目前のフレームとがマッチして得た歴史情報により求めた回転マトリクスと変位マトリクスである。
【００４８】
マッチングユニット４２０により特徴点マッチ対の重みを定めた後、エリアRi,j内のマッチ対確率密度p’i,jをエリアRi,j内に異なる重み
（外４０）
2018067305.tif 000077
を有するマッチ対の数Ni,jの合計を総マッチ対の数N(all)で割ることに表すことができる。
【００４９】
【数３６】
2018067305.tif 000078
上記特徴点マッチ対の確率密度図の制限条件map(corres)を考慮して、マッチングユニット４２０はトレーニングプロセスで取得した特徴点マッチ対数と第二相関パラメータとの間の関係を
【数３７】
2018067305.tif 000079
に表すことができる。そこで、特徴点マッチ対確率密度図に対する制限条件は以下のことを回避できる。即ち、もっともと特徴点マッチ対の分布が疎である画像位置において特徴点マッチ対の数をさらに過剰に減らすことで、システムの計算正確度を低減させる。全部でK個の特徴点マッチ対と相関する第二相関パラメータを有し、各第二相関パラメータの最適化における重みが異なるため、マッチングユニット４２０は各第二相関パラメータの間の重みを調整して、重み付けされた各第二相関パラメータにより前記特徴点マッチ対を最適化することが好ましい。具体的に、マッチングユニット４２０はまず、逆関数関係で第二相関パラメータによって推定した特徴点マッチ対数
【数３８】
2018067305.tif 000080
を表して、つぎに、下記の最適化問題を解決することで各第二相関パラメータが占める重み
（外４１）
2018067305.tif 000081
を取得し、かつ最適化結果を求める。つまり、マッチングユニット４２０は前記関係によって推定した特徴点マッチ対数をなるべく指定されたシステム稼動時間により求めたターゲットの特徴点マッチ対数に近づく。そこで、
【数３９】
2018067305.tif 000082
となり、
（外４２）
2018067305.tif 000083
はパラメータ
（外４３）
2018067305.tif 000084
の重みであり、
【数４０】
2018067305.tif 000085
となり、
（外４４）
2018067305.tif 000086
、
（外４５）
2018067305.tif 000087
はパラメータ
（外４６）
2018067305.tif 000088
の制限条件であり、第二相関パラメータが車両速度である場合、車両速度の最大値はアルゴリズムの許容に制限される。上記の最適化プロセス後、マッチングユニット４２０は特徴点マッチ対の数を第三の数から第三の数より小さい第四の数に最適化でき、かつ前記第四の数の特徴点マッチ対を用いて後継の計算を行うことで、システムの計算効率を上げることが可能である。
【００５０】
本発明の実施例において、マッチングユニット４２０は前記特徴点と特徴点マッチ対との一方しか最適化ができないが、特徴点と特徴点マッチ対とをともに最適化することも可能である。
【００５１】
本発明の実施例に係わるビジュアルオドメトリ装置４００はさらに推定ユニット（未図示）を含み、隣接する二つのフレームのフレーム画像の特徴点マッチ対を取得した後、特徴点マッチ対によって移動推定マトリクスを計算できる。前記移動推定マトリクスは前記物体の回転と変位を計算するように、回転マトリクスR(3×3)と変位マトリクスT(3×1)とを含む。ここで推定ユニットが用いた移動推定方法は四次元数、RANSACに基づいても良く、常用のほかの各種移動推定方法でも良い。
【００５２】
本発明の実施例によるビジュアルオドメトリ装置は特徴点と特徴点マッチ対と関係する相関パラメータのトレーニング結果によりビデオ画像内のフレーム画像の特徴点と特徴点マッチ対の数を自己適応的に調整することで、システムの稼動時間を縮短、計算の精確度を上げ、リアルタイムの正確な視覚距離計算を実施できる。
【００５３】
以下、図５を参照して本発明の実施例に係わるビジュアルオドメトリ装置を説明する。図５には本発明の実施例におけるビジュアルオドメトリ装置５００のブロック図を示す。図５に示すように、当該装置５００はカメラを具備するコンピュータまたはサーバでも良い。
【００５４】
図５に示すように、ビジュアルオドメトリ装置５００は一つまたは複数のプロセッサー５１０およびメモリ５２０とを含む。なお、これらのほか、ビジュアルオドメトリ装置５００はさらにカメラおよび出力装置（未図示）を含むことも可能で、これらのユニットはバスシステムと/またはほかの形式の接続装置によって互いに接続される。なお、図５に示したビジュアルオドメトリ装置５００のユニットと構造は例示的のみであり、制限されたものではない。必要に応じて、ビジュアルオドメトリ装置５００はほこのユニットと構造を有することも可能である。
【００５５】
プロセッサー５１０は中央プロセスユニット（CPU）またはデータ処理能力と/またはコマンド執行能力を有するほかの形式のプロセスユニットであってもよく、かつメモリ内に記憶されたコンピュータプログラムコマンドを用いて所望の機能を実行できるが、以下のステップを含む。ビデオ画像内のフレーム画像の特徴点を検知する。前記ビデオ画像内に隣接する二つのフレームの特徴点に対してマッチを行って、特徴点マッチ対を得ることによって、物体の運動を計算する。そこで、前記マッチングの前に、トレーニングした第一相関パラメータによって前記特徴点を調整、かつ調整後の特徴点を用いてマッチを行うことで前記特徴点マッチ対を取得し、且つ/或いは、前記マッチングの後、トレーニングした第二相関パラメータによって前記特徴点マッチ対を調整、かつ調整後の特徴点マッチ対を取得する。
【００５６】
メモリ５２０は一つまたは複数のコンピュータプログラムプロダクトを含むことができる。前期コンピュータプログラムプロダクトは例えば揮発性メモリと/または不揮発性メモリなどの各種の形式のコンピュータ読み出し可能な記録媒体を含むことが可能である。前記揮発性メモリは例えばランダムアクセスメモリ（RAM）と/またはキャッシュメモリ（cache）などを含むことが可能である。前記不揮発性メモリは例えば読み出し専用メモリ（ROM）、ハードディスク、フラッシュメモリなどを含むことが可能である。前記コンピュータ読み出し可能な記録媒体において一つまたは複数のコンピュータプログラムコマンドを記憶でき、プロセッサー５１０は前記プログラムコマンドを実行することで、上記本願の実施例のビジュアルオドメトリ装置の機能及び／又ほかの所望の機能、かつ／または、本発明の実施例のビジュアルオドメトリ方法を実行できる。前記コンピュータ読み出し可能な記録媒体において各種アプリケーションプログラムと各種データを格納することも可能である。
【００５７】
そのため、上記実施例を用いて本発明を詳細に説明したが、当業者にとって、本発明が上記説明した実施例に限らないことを自明である。本発明は請求項に限定された本発明の範囲を逸脱しない場合、校正、補正されたモードに実施することが可能である。このため、明細書の記述は例示を説明するのみに用いられ、かつ本発明にいかなる制限をかけることではない。
【図１】
2018067305.tif 000089
【図２】
2018067305.tif 000090
【図３】
2018067305.tif 000091
【図４】
2018067305.tif 000092
【図５】
2018067305.tif 000093