(57)【特許請求の範囲】
【請求項１】
可搬式装置（１０２）を該装置（１０２）の周囲の環境内で位置推定する、電算化された方法（８００）であって、
前記環境の画像系列（２００）を取得し（８０２）、
前記画像系列（２００）から１つ以上の変換画像系列（２０４）を生成し（８０４ａ、８０４ｂ）、１つ以上の前記変換画像系列（２０４）内の変換画像は、前記画像系列（２００）からの画像に対して変換を施すことにより生成され、
処理回路（１１２）を使用して、前記変換画像系列（２０４）からの１つ以上の画像と、
ｉ）前記画像系列（２００）と、
ｉｉ）別の変換画像系列（２０４）
のうちの少なくとも１つからの１つ以上の画像とを、前記環境の表現（２０２）と比較し（８０６）、
前記比較は、前記画像及び／または変換画像、並びに前記表現（２０２）内の、対応する特徴を特定し（８０８）、
前記可搬式装置（１０２）を前記１つ以上の対応する特徴の位置に従って位置推定する（８１０）、方法（８００）。
【請求項２】
前記画像系列（２００）と１つの変換画像系列（２０４）を、それぞれ格納された表現（２０２）と比較する（８０６）、請求項１記載の方法（８００）。
【請求項３】
２つの変換画像系列（２０４）では、各系列（２０４）を構成する前記画像が前記画像系列（２００）に対する異なる変換によって既に生成されており、前記２つの変換画像系列（２０４）を、それぞれ格納された表現（２０２）と比較する（８０６）、請求項１記載の方法（８００）。
【請求項４】
前記方法（８００）は、前記２つの比較のうちの一方を選定し、前記装置（１０２）の位置推定のために使用する、請求項２または３に記載の方法（８００）。
【請求項５】
前記環境の前記表現（２０２）は、１つ以上の格納画像系列（２０２）によって与えられる、請求項１から４のいずれか１項に記載の方法（８００）。
【請求項６】
前記比較（８０６）のうちの少なくとも１つが実行されるために、前記格納画像系列（２０２）には変換が施される、請求項５記載の方法（８００）。
【請求項７】
前記環境の前記表現（２０２）は、前記環境の３Ｄモデルである、請求項１から４のいずれか１項に記載の方法（８００）。
【請求項８】
前記画像系列（２００）は、光学カメラ（１０４，１０６）、立体光学カメラ、熱探知カメラのうちのいずれかを用いて取得される、請求項１から７のいずれか１項に記載の方法（８００）。
【請求項９】
前記画像系列（２００）内の前記画像はＲＧＢ色空間の範囲内にある、請求項１から８のいずれか１項に記載の方法（８００）。
【請求項１０】
画像に対して行われる変換（８０４ａ、８０４ｂ）は、前記画像を、照明不変色空間とグレースケールのうちの１つに変換する、請求項１から９のいずれか１項に記載の方法（８００）。
【請求項１１】
環境内で自身の位置推定を行うように構成されている装置（１０２）であって、
前記装置（１０２）の周囲の環境の画像系列（２００）を生成するように構成されているセンサ（１０４，１０６）と、
ｉ）前記画像系列（２００）から１つ以上の変換画像系列（２０４）を生成し（８０４ａ、８０４ｂ）、１つ以上の前記変換画像系列（２０４）内の変換画像は、前記画像系列（２００）からの画像に対して変換を施すことにより生成され、
ｉｉ）前記変換画像系列（２０４）からの１つ以上の画像と、
ａ）前記画像系列（２００）と、ｂ）別の変換画像系列（２０４）のうちの少なくとも１つからの１つ以上の画像とを、前記環境の格納表現（２０２）と比較し（８０６）、
ｉｉｉ）前記比較（８０６）中に、前記画像（２００）及び／または前記変換画像（２０４）、並びに前記格納表現（２０２）内の、対応する特徴を特定し（８０８）、
ｉｖ）前記装置（１０２）を前記１つ以上の対応する特徴の位置に従って位置推定する（８１０）、
ように構成されている処理回路（１１２）と、
を備えている、装置（１０２）。
【請求項１２】
機械可読媒体であって、
コンピュータによって読み取られると、前記コンピュータに、
ｉ）可搬式装置の周囲の環境の画像系列（２００）を取得し（８０２）、
ｉｉ）前記画像系列（２００）から１つ以上の変換画像系列（２０４）を生成し（８０４ａ、８０４ｂ）、１つ以上の前記変換画像系列（２０４）内の変換画像は、前記画像系列（２００）からの画像に対して変換を施すことにより生成され、
ｉｉｉ）前記変換画像系列（２０４）からの１つ以上の画像と、
ａ）前記画像系列（２００）、及び
ｂ）別の変換画像系列（２０４）
のうちの少なくとも１つからの１つ以上の画像とを、前記環境の格納表現（２０２）と比較し（８０６）、
ｉｖ）前記比較（８０６）は、前記画像（２００）及び／または変換画像（２０４）、並びに前記格納表現（２０２）内の、対応する特徴を特定する（８０８）ように構成されており、
ｖ）前記可搬式装置（１０２）を前記１つ以上の対応する特徴の位置に従って位置推定する（８１０）、
ことを行わせる命令を収容している媒体。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
本発明は、環境内にある車両の位置推定に関する。特に、位置推定は、カメラ等のセンサから生成された画像を用いて行われるが、限定するわけではない。さらに、センサからの画像は、最初の色空間から別の色空間に変換されてもよいが、これも限定するわけではない。
【０００２】
位置推定方法は、任意の可搬式装置において実行可能である。つまり、このような装置を車両に組み込むことは、必須ではないが一般的な手法である。本明細書における車両の説明は、非車両の可搬式装置、例えば人が携行できる装置にも等しく適用できる。
【０００３】
特徴に基づく位置推定は、実行時に観測される特徴を格納されている特徴とマッチングした後、これらの関連付けが与えられている装置の姿勢と位置を推定する行為として理解できる。マッチング問題を簡単に提示しているが、その実行は面倒で複雑である場合もある。主に２つの問題が存在する。相関関係を見るためにはどこを探索すべきなのか（そして探索窓はどの程度の大きさにすべきなのか）と、何を探索すべきか（特徴はどのように見えるのか）である。
【０００４】
既知の環境での位置推定に関わる視覚体系にとって、見掛けの変化を取り扱うことは、それが突然であっても段階的であっても、挑戦である。見掛けの変化は、（ｉ）光の条件が異なる、（ｉｉ）気象条件が変化する、及び／または（ｉｉｉ）動く物体がある（例えば歩行者、木の枝、または車両）などのいくつかの発生源に起因する。２番目の問題である「何を探索すべきか」は、これらのばらつきによってより難題となってしまう。
【０００５】
本発明の第１の態様によれば、可搬式装置を環境内で位置推定する、電算化された方法が提供されており、以下のステップｉ）〜ｖ）のうちの少なくともいくつかを備えている。
【０００６】
ｉ）装置の周囲の環境の画像系列を取得する。
ｉｉ）画像系列から１つ以上の変換画像系列を生成し、系列からの画像は、変換画像系列内の変換画像を与えるために既に変換が施されている。
【０００７】
ｉｉｉ）処理回路を使用して、変換画像系列からの１つ以上の画像と、
ｉ）画像系列と、
ｉｉ）別の変換画像系列
のうちの少なくとも１つからの１つ以上の画像とを、環境の表現と比較する。
【０００８】
ｉｖ）比較は、画像及び／または変換画像、並びに格納されている表現内の、対応する特徴を特定するように構成されている。
ｖ）可搬式装置を１つ以上の対応する特徴の位置に従って位置推定する。
【０００９】
特徴ｉ）〜ｖ）の各々を有する実施形態は、より頑健かつ正確に装置を位置推定（すなわち装置位置を決定）できる点で効果的である。
通常、本方法は車両（例えば乗用車、ワゴン車、トラック等）に適用され、特に、自身でナビゲーションを行うように構成されている車両に適用される。しかし、実施形態を他の装置に適用してもよい。
【００１０】
いくつかの実施形態において、センサから取得された画像系列と１つの変換画像系列を、それぞれ格納された表現と比較する。このような実施形態では、表現と比較される系列のうちの１つのみに変換が施される。つまり、カメラからの未変換の画像系列も表現と比較される。
【００１１】
代替の実施形態において、２つの変換画像系列では、各系列を構成する画像がセンサ画像系列に対する異なる変換によって既に生成されており、２つの変換画像系列は、それぞれ格納された表現と比較する。このような実施形態では、表現と比較される画像系列の各々に変換が施される。
【００１２】
さらに別の実施形態において、３つ以上の画像系列が、格納された表現と比較されることもあり得る。例えば、２つの変換画像系列と、未変換画像系列を、格納された表現と比較してもよい。
【００１３】
いくつかの実施形態において、比較のうちのどれを装置の位置推定に使用すべきかに関する判定がなされる。すなわち、本方法は、２つの比較のうちの一方を選定し、装置の位置推定のために使用する。このような実施形態では、通常、そのインスタンスでの実行により適している比較が、装置の位置推定に選定される。例えば、その範囲内で認識される特徴数がより多い比較が選定されてもよい。
【００１４】
いくつかの実施形態において、環境の表現は、１つ以上の格納画像系列によって与えられる。このような実施形態では、例えば調査車両によって、格納画像が前もって収集されていてもよい。あるいは、格納画像が実行時間中の早い時間に収集されていてもよい。つまり、その環境の表現は、予め与えられている代わりに、漸次構築されていってもよい。
【００１５】
代替の実施形態において、環境表現は環境の３Ｄモデルによって供給される。このような３Ｄモデルは、点群によって供給されてもよく、特にＬＩＤＡＲ点群によって供給されてもよい、さらに別の実施形態では、環境表現は、特徴を有するメッシュ、または、写真測量、運動からの構造推定（ｓｔｒｕｃｔｕｒｅ−ｆｒｏｍ−ｍｏｔｉｏｎ）、または手動測量等から得られるモデルによって供給される。
【００１６】
いくつかの実施形態において、比較のうちの少なくとも１つが実行されるために、格納画像系列には変換が施される。
画像系列は、光学カメラ、立体光学カメラ、熱探知カメラのうちのいずれかを用いて取得されると好都合である。
【００１７】
画像系列内の画像はＲＧＢ（Ｒｅｄ  Ｇｒｅｅｎ  Ｂｌｕｅ）色空間の範囲内にあってもよい。当業者であれば、他の色空間も使用可能であることを理解されよう。
画像に対して行われる変換は、画像を、照明不変色空間、グレースケール、未変換画像のものとは異なる別の色空間（例えばＨＳＶ（Ｈｕｅ  Ｓａｔｕｒａｔｉｏｎ  Ｖａｌｕｅ）、ＬＡＢまたはＹＵＶ色空間（ここでＹはルマ成分であり、ＵＶはそれぞれがクロミナンス成分）のうちの１つに変換すると好都合である。
【００１８】
本発明の第２の態様によれば、環境内で自身の位置推定を行うように構成されている装置が提供されている。本装置は、
装置の周囲の環境の画像系列を生成するように構成されているセンサと、
ｉ）画像系列から１つ以上の変換画像系列を生成し、画像系列からの画像は、変換画像系列内の変換画像を与えるために、既に変換が施されていて、
ｉｉ）変換画像系列からの１つ以上の画像と、
ａ）画像系列と、ｂ）別の変換画像系列のうちの少なくとも１つからの１つ以上の画像とを、環境の格納表現と比較し、
ｉｉｉ）比較中に、画像及び／または変換画像、並びに格納表現内の、対応する特徴を特定し、
ｉｖ）装置を１つ以上の対応する特徴の位置に従って位置推定する、
ように構成されている処理回路と、
のうちの少なくともいくつかを備えている。
【００１９】
本発明の第３の態様によれば、命令を収容している機械可読媒体が提供されている。命令は、コンピュータによって読み取られると、そのコンピュータに、以下のステップｉ）〜ｖ）のうちの少なくともいくつかを行わせる。
【００２０】
ｉ）装置の周囲の環境の画像系列を取得する。
ｉｉ）画像系列から１つ以上の変換画像系列を生成し、画像系列からの画像は、変換画像系列内の変換画像を与えるために既に変換が施されている。
【００２１】
ｉｉｉ）変換画像系列からの１つ以上の画像と、
ａ）画像系列と、
ｂ）別の変換画像系列
のうちの少なくとも１つからの１つ以上の画像とを、環境の格納表現と比較する。
【００２２】
ｉｖ）比較は、画像及び／または変換画像、並びに表現内の、対応する特徴を特定するように構成されている。
ｖ）可搬式装置を１つ以上の対応する特徴の位置に従って位置推定する。
【００２３】
本発明の第４の態様によれば、可搬式装置の周囲の環境を表す座標系内で、可搬式装置のメトリックな位置推定を行う、コンピュータによって実行される方法であって、座標系に対する可搬式装置の座標を決定する位置推定方法が提供されている。本方法は、
カメラを用いて、環境の少なくとも一部を表す画像を生成し、
画像を処理して、環境の一部を照明不変色空間で表す変換画像に変換し、
変換画像を処理して、変換画像内の環境の特徴を認識し、
可搬式装置を、座標系内で、１つ以上の認識要素の位置に従って位置推定する。
【００２４】
本発明の第５の態様によれば、可搬式装置の周囲の環境を表す座標系内で自身のメトリックな位置推定を行うように構成されている装置が提供されている。本装置は、
装置の周囲の環境の画像系列を生成するように構成されているセンサと、
ｉ）画像を処理して、環境の一部を照明不変色空間で表す変換画像に変換し、
ｉｉ）変換画像を処理して、変換画像内の環境の要素を認識し、
ｉｉｉ）可搬式装置を、座標系内で、１つ以上の認識要素の位置に従って位置推定して、装置の座標を生成する
ように構成されている処理回路と、
のうちの少なくともいくつかを備えている。
【００２５】
本発明の第６の態様によれば、コンピュータによって読み取られると、そのコンピュータに、可搬式装置のメトリックな位置推定を、可搬式装置の周囲の環境を表す座標系内で行わせる命令を収容している機械可読媒体が提供されている。機械可読媒体は、
ｉ）装置の周囲の環境の画像系列を取得する。
【００２６】
ｉｉ）画像を処理して、環境の一部を照明不変色空間で表す変換画像に変換する。
ｉｉｉ）変換画像を処理して、変換画像内の環境の要素を認識する。
ｉｖ）可搬式装置を、座標系内で、１つ以上の認識要素の位置に従って位置推定する。
【００２７】
のうちの少なくともいくつかを含んでいる。
当業者であれば、本発明の態様のうちのいずれか１つに関連する上記で述べた特徴を、必要に応じて変更を加えて、本発明の任意の他の態様に適用してもよいことを理解されよう。
【００２８】
上述では、機械可読媒体が言及されている。このような機械可読媒体は、ハードディスクドライブ（ベースがプラッタでもソリッドステートドライブ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ：ＳＳＤ）でもよい）、メモリ（例えばフラッシュドライブ、ＳＤカード、コンパクトフラッシュ（Ｃｏｍｐａｃｔ  Ｆｌａｓｈ：ＣＦ）カード等）、ＣＤ−ＲＯＭ、ＣＤ−ＲＡＭ、ＤＶＤ（−Ｒ／−ＲＷ、ＲＡＭ、及び＋Ｒ／＋ＲＷを含む。）、任意の形式のテープ、任意の形式の光磁気記憶装置、伝送信号（例えばインターネットダウンロード、ファイル転送プロトコル（Ｆｉｌｅ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ：ＦＴＰ）の下での伝送等）、電信等のうちのいずれか１つによって例示される。
【００２９】
以下に、一例として、本発明の実施形態の単なる詳細な説明を、添付の図面を参照ながら行う。
【図面の簡単な説明】
【００３０】
【図１】図１は、各実施形態を実施できるように構成されている車両を示したものである。
【図２】図２は、ある実施形態によって行われる画像認識処理の例を示したものである。
【図３】図３は、１日のうちの異なる時間帯で、３Ｄ点群に対して照明不変画像を用いる例を示したものである。
【図４】図４は、各実施形態の相対的な実施状況を図示したものである。
【図５】図５は、２つの実施形態の相対的な実施状況を図示したものであり、これらの実施形態の各々の場合で位置推定が行われる確率を強調している。
【図６】図６は、ある環境内での動きの略図を示しており、車両の位置推定の図示に用いられる。
【図７】図７は、平行データストリームのそれぞれが単独で生成した代表的な速度推定値を、実際の速度と比較して示したものである。
【図８】図８は、ある実施形態の方法のフローチャートを示したものである。
【図９】図９は、追加プロセスの最適化ステップを含む代替の実施形態を示したものである。
【図１０】図１０は、ライブフレーム内の特徴が調査キーフレーム内で再投影される場所を予測するために、ライブ画像ストリームからの出力を、ビジュアルオドメトリを用いてどのように使用できるかを模式的に表したものである。
【図１１】図１１は、採光による極端な変化を図示したサンプル画像を示したものである。
【発明を実施するための形態】
【００３１】
車両１０２上に搭載されており、センサ１００を備えているモニタリングユニット１０に関して、本発明の各実施形態を説明する。センサ１００は、センサが移動する環境をモニタリングし、そのモニタリングに基づいてデータを作成することによって、車両１０２の周囲で検出された光景に関するデータを提供するように構成されている。本方法の各ステップの参照符号は、図８に対して称されている。
【００３２】
本明細書の各実施形態において、車両１０２は、ある環境内の至る所に移動する可搬式装置の一例を設けている。他の実施形態では、可搬式装置は、車両以外の物品に設けられていてもよい。
【００３３】
説明中の実施形態において、センサ１００は受動型センサ（つまり放射を発生させず、単に放射を受信するのみ）であり、特にカメラである。より具体的には、説明中の実施形態において、センサ１００は立体カメラ（例えばＰｏｉｎｔＧｒｅｙ社製ＢｕｍｂｌｅＢｅｅ）であり、したがって２つのカメラ１０４，１０６を備えている。当業者であれば、このようなセンサは、１つのセンサ１００としてよりは、２つの別個のカメラによって与えられ得ることは理解されよう。しかし、他の実施形態では１つのカメラに頼ってもよい。
【００３４】
説明中の実施形態において、カメラ１０４，１０６はベイヤー（Ｂａｙｅｒ）フィルタを備えている。この特定の実施形態は、「Ｇｒａｓｓｈｏｐｐｅｒ２  ｇｓ２−ｆｗ  ｔｅｃｈｎｉｃａｌ  ｒｅｆｅｒｅｎｃｅ  ｍａｎｕａｌ」（Ｐｏｉｎｔ  Ｇｒｅｙ  Ｒｅｓｅａｒｃｈ社、２０１１年）に記載されているように、青色チャネルに対してはほぼ４７０ｎｍの波長に、緑色チャネルに対してはほぼ５４０ｎｍの波長に、赤色チャネルに対してはほぼ６２０ｎｍの波長にピーク感度を有している。当業者であれば、数多くのカメラがベイヤーフィルタを有し、ピーク感度も様々であることが理解されよう。
【００３５】
図１に示されている実施形態において、車両１０２は道路１０８に沿って走行していて、センサ１００は、車両１０２が走行する環境（例えば建物１１０，道路１０８等）を撮像しており、これによって８０２において当該環境の画像系列を生成する。本実施形態において、モニタリングユニット１０はまた、センサ１００からのデータを取り込み、次に８０４ａ，８０４ｂ，８０６，８０８において、センサ１００から取り込まれた画像を処理するように構成されている処理回路１１２を備えている。説明中の実施形態において、処理回路１１２はまた、記憶デバイス１１４を備えているか、または記憶デバイス１１４にアクセスできる。
【００３６】
図１の下部は、通常の処理回路１１２内にあり得る構成要素を示している。処理ユニット１１８が設けられていてもよく、処理ユニット１１８は例えばｉ５（商標）、ｉ７（商標）、Ａｔｈｌｏｎ（商標）、Ｓｅｍｐｒｏｎ（商標）、Ｐｈｅｎｏｍ（商標）、Ａ５，Ａ７プロセッサ等のインテル（登録商標）Ｘ８６系プロセッサであってもよい。処理ユニット１１８は、システムバス１２０を介して、Ｉ／Ｏサブシステム１２２（及びその結果として外部ネットワーク、ディスプレイ等）及びメモリ１２４と通信するように構成されている。
【００３７】
当業者であれば、メモリ１２４は、例えば揮発性メモリ、ハードドライブ、不揮発性メモリ等の任意の形式の機械可読なデータ記憶媒体を含む、種々の構成要素によって提供されてもよいことは理解されよう。実際には、メモリ１２４は、処理ユニット１１８の制御下にある、あるいは処理ユニット１１８に接続されている、複数の構成要素を備えている。
【００３８】
しかし通常は、メモリ１２４は実行されると動作を行わせるプログラムコードを格納するように構成されているプログラム格納部１２６と、データを一次的に、及び／または永続的に格納するために使用可能であるデータ格納部１２８とを設けている。
【００３９】
他の実施形態において、処理回路１１２の少なくとも一部は、車両から遠隔に設けられていてもよい。したがって、８０２においてセンサ１００によって生成されたデータの処理は、車両１０２外で、または一部は車両１０２上、一部は車両１０２外で行われることも考えられる。処理回路が車両上と車両外の両方に設けられている実施形態では、ネットワーク接続（例えば３Ｇ  ＵＭＴＳ方式（Ｕｎｉｖｅｒｓａｌ  Ｍｏｂｉｌｅ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｓｙｓｔｅｍ：ユニバーサル・モバイル・テレコミュニケーション・システム）、４Ｇ方式（例えばモバイルＷｉＭＡＸ及びロング・ターム・エボリューション（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ：ＬＴＥ）、ＷｉＦｉ（ＩＥＥＥ８０２．１１）等））が用いられている。
【００４０】
示されている実施形態において、プログラム格納部１２６は、画像処理プロセッサ１３２と、特徴点検出器と、ビジュアルオドメトリ（Ｖｉｓｕａｌ  Ｏｄｏｍｅｔｒｙ：ＶＯ）システム１２８と、タイマー１３０とを少なくとも備えている。ビジュアルオドメトリとは、８０６，８０８において関連するカメラ画像を分析することによって、８１０において位置と方向を決定する処理のことであり、したがって、系列画像を用いた推測航法形式として使用可能である。また、ビジュアルオドメトリを用いて、８１０において、格納されている非系列画像に対する、または格納されている環境表現に対する位置と方向を決定することも可能である。代替または追加の実施形態において、センサ１００は日時情報を提供してもよく、タイマーを別個に設ける必要がなくなる。
【００４１】
説明中の実施形態におけるデータ格納部１２８は、画像データ（すなわちセンサからの画像系列）１３６と、環境表現１３８（すなわち環境の表現、つまり、前のモデルか、または環境を表現する格納イメージのいずれか）と、軌跡データ１３４とを収納している、いくつかの実施形態では、画像データ１３６及び環境表現１３８は、１つのデータセットを構成している。軌跡計算にＶＯシステム１２８を使用しない実施形態では、軌跡データ１３４は存在しなくてもよく、また、異なる形式であってもよい。
【００４２】
処理回路１１２は、センサ１００から画像データを受信し、そして、８０４ａ，８０４ｂ，８０６，８０８において、その画像データを以下に述べるように処理するように構成されている。しかし、この処理の少なくとも一部は、今度は位置推定処理の一部として使用される、いわゆるビジュアルオドメトリ（ＶＯ）システムを行うように構成されている。当業者であれば、車両または他の可搬式装置の位置推定とは、ある環境内で当該車両等の位置を決定することであることを理解されよう。
【００４３】
処理回路１１２による画像データの処理は、キーフレームに基づいたビジュアルオドメトリ（ＶＯ）パイプラインと称されてもよいものを含んでいる。キーフレームは、特徴検出、ランドマーク、記述子、前の／別のキーフレームに対する相対変換、及びタイムスタンプを備えている。説明中の実施形態において、センサ１００から出力された画像は、映像化する目的で格納される。本明細書では、センサ１００からの画像系列は、画像のパイプラインと考えられてもよいものを供給する、つまり画像を次々と供給する。説明中の実施形態において、センサはカメラの立体対であり、したがって、８０２でセンサ１００によって生成された画像パイプラインは、画像対のストリームで構成されていて、各対から得られる画像はカメラ１０４，１０６の各々が１枚ずつ撮影したものである。このため、対の中の各画像は、時間的にほぼ同じインスタンスで撮られている。
【００４４】
処理回路１１２は、画像ストリーム内の立体画像の両方を処理して、それらの画像から特徴を抽出するように構成されている特徴点検出器を設けるように構成されている。説明中の実施形態において、特徴点検出器は、Ｅ．Ｒｏｓｔｅｎ，Ｇ．Ｒｅｉｔｍａｙｒ，及びＴ．Ｄｒｕｍｍｏｎｄ「Ｒｅａｌ−ｔｉｍｅ  ｖｉｄｅｏ  ａｎｎｏｔａｔｉｏｎｓ  ｆｏｒ  ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ」（Ａｄｖａｎｃｅｓ  ｉｎ  Ｖｉｓｕａｌ  Ｃｏｍｐｕｔｉｎｇ，２００５）に説明されているようなＦＡＳＴ（Ｆｅａｔｕｒｅｓ  ｆｒｏｍ  Ａｃｃｅｌｅｒａｔｅｄ  Ｓｅｇｍｅｎｔ  Ｔｅｓｔ）検出器によって得られる。当業者であれば、種々の特徴を抽出してもよく、また、特徴の識別に種々の方法を用いてもよいことを理解されよう。
【００４５】
特徴を抽出した後、処理回路はさらに、各対の各画像内部の同じ特徴の位置を特定する、つまり立体的な対応関係の探索を行うように構成されている。説明中の実施形態は、各画像内のこのような対応点の位置特定を支援するために、パッチベースでのマッチング処理を用いている。さらに、説明中の実施形態において、処理回路はさらに、それぞれの立体的な計測に対して、Ｍ．Ｃａｌｏｎｄｅｒ，Ｖ．Ｌｅｐｅｔｉｔ，Ｍ．Ｏｚｕｙｓａｌ，Ｔ．Ｔｒｚｃｉｎｓｋｉ，Ｃ．Ｓｔｒｅｃｈａ，及びＰ．Ｆｕａ「Ｂｒｉｅｆ：  Ｃｏｍｐｕｔｉｎｇ  ａ  ｌｏｃａｌ  ｂｉｎａｒｙ  ｄｅｓｃｒｉｐｔｏｒ  ｖｅｒｙ  ｆａｓｔ」ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｚｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．３４，ｎｏ．７，１２８１〜１２９８ページ（２０１２年）に説明されているようなＢＲＩＥＦ記述子を算出するように構成されている。当業者であれば、ＢＲＩＥＦ記述子は適切な記述子形式の一例であり、他の記述子を用いてもよいことを理解されよう。
【００４６】
立体的な対応点の決定に加えて、処理回路はまた、抽出された特徴の各々の、カメラ１０４，１０６のフレームに対する位置の３Ｄ推定を算出するように構成されている。新たな立体フレーム（つまり画像ストリーム内の次のフレーム）を獲得すると、特徴を抽出し、８０８において、最初にＢＲＩＥＦマッチングを用いて（種々の記述子が用いられる実施形態では対応するマッチング方法が使用される）、その前のフレームとのマッチングを行い、次にパッチベースでのマッチングを用いて絞り込むことによってサブピクセルでの対応関係が得られ、パッチベースでのマッチングを下記にて説明する。
【００４７】
よって、処理回路１１２が画像ストリームのフレーム間において抽出された特徴を追跡しているので、ＶＯシステムは車両１０２の軌跡を構築する。説明中の実施形態において、処理回路１１２はまた、異常値の棄却にＲＡＮＳＡＣ（詳細はＭ．Ａ．Ｆｉｓｃｈｌｅｒ及びＲ．Ｃ．Ｂｏｌｌｅｓ「Ｒａｎｄｏｍ  Ｓａｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ：  Ａ  Ｐａｒａｄｉｇｍ  ｆｏｒ  Ｍｏｄｅｌ  Ｆｉｔｔｉｎｇ  ｗｉｔｈ  Ａｐｐｌｉｃａｔｉｏｎｓ  ｔｏ  Ｉｍａｇｅ  Ａｎａｌｙｚｉｓ  ａｎｄ  Ａｕｔｏｍａｔｅｄ  Ｃａｒｔｏｇｒａｐｈｙ」Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ  ｏｆ  ｔｈｅ  ＡＣＭ，ｖｏｌ．２４，３８１〜３９５ページ（１９８１年）を参照）を用いることにより、軌跡の推定を向上させている。最後のステップとして、軌跡が非線形ソルバによって得られ、フレーム間変換の推定が生成される。
【００４８】
説明中の実施形態を含む少なくともいくつかの実施形態では、どの表現を環境のモデル及び／または前のモデルとみなすことができるかについて、車両１０２が移動する環境の、先に取り込まれた、もしくは生成された表現を参照する。表現の取り込みは、調査車両を環境内で移動させて、ＶＯシステムによって生成されたパラメータのうちの少なくとも数種を記録することによって行ってもよい。例えば、表現は、特徴位置を有する連続したキーフレーム、記述子（例えばＢＲＩＥＦ記述子）、ピクセルパッチ、３Ｄランドマーク、相対変換推定値等のパラメータのうちの少なくとも数種によって得られてもよい。
【００４９】
代替または追加の実施形態において、先に取り込まれた環境モデルは、利用可能ではないか、または単に信頼されるだけのものでなくてもよい。この代替または追加の実施形態では、経験に基づくナビゲーション（Ｅｘｐｅｒｉｅｎｃｅ  Ｂａｓｅｄ  Ｎａｖｉｇａｔｉｏｎ）を行ってもよく、ここで環境のマップは、車両１０２が環境内で移動するときに８０２において生成されたセンサからの画像から構築されている。センサから取り込まれた画像において識別された特徴は、８０８で、先にある画像において識別された特徴とマッチングされる。
【００５０】
よって、各実施形態は、国際特許出願ＰＣＴ／ＧＢ２０１３／０５０２９９号「ＭＥＴＨＯＤ  ＯＦ  ＬＯＣＡＴＩＮＧ  Ａ  ＳＥＮＳＯＲ  ＡＮＤ  ＲＥＬＡＴＥＤ  ＡＰＰＡＲＡＴＵＳ」に例示されているようないわゆる経験に基づくナビゲーション、または、位置推定の双方において使用されていてもよい。
【００５１】
経験に基づくナビゲーション、環境の前のモデルに対するナビゲーション、または両者の組み合わせを用いているかどうかにかかわらず、位置推定はいわゆるメトリック位置推定であってもトポロジカル位置推定であってもよい。いわゆるメトリック位置推定では、可搬式装置の位置が参照可能な座標系が存在する。
【００５２】
表現を構成するパラメータは通常はデータ格納部１２８に格納されるが、そうではない場合は処理装置１１２によってアクセス可能である。
使用時には、車両１０２上で用いられる実施形態は、ＶＯシステムの出力を処理するとともに、先に格納されたパラメータによって構成された表現を処理するようにも構成されている。表現に対する現在の画像ストリームの位置を推定するために、各実施形態は、上述したものと同様のＶＯパイプラインを使用するように構成されている。しかし、ライブで実行中のＶＯパイプラインは、前のカメラフレームへのマッチングの代わりに、表現内部に保持されている１つ以上のキーフレームへのマッチングを行うように構成されている。
【００５３】
いくつかの実施形態において、表現は（経験に基づくナビゲーションを用いる実施形態である）環境の格納されている画像を介して保持されており、このような実施形態では、位置推定は、これらの格納環境画像に対して行われる。調査車両を用いて、以前の日付における格納画像を生成してもよい。代替として、または追加として、装置はまた、走行する時に格納画像を収集するように構成されていてもよい。
【００５４】
代替として、または追加として、モデルは、ＬＩＤＡＲが作成した点群といった点群によって供給されてもよい。
上述したように、説明中の実施形態を含む少なくともいくつかの実施形態では、ＶＯ処理を簡素化するためにパッチベースでの処理を用いている。このパッチベースでの処理を用いている実施形態は、ライブビュー（つまりカメラ１０４，１０６から出力された現在の画像）を調査ビューと（つまり格納画像を備え得る表現に対して）マッチングさせる際に頑健さが向上するので効果的である。このパッチベースの手法は、ライブフレーム（例えばカメラ１０４，１０６から出力された画像）内で調査フレーム（例えば表現キーフレーム）がどのように再投影されるのかを予測しようとしている。実施形態のうちの少なくともいくつかは、マップ内の不確実性、計測値、前の姿勢の推定、及び最新のＶＯ推定を用いて、ある表現画像からカメラ１０４，１０６からの現在の画像内に再投影された計測値の共分散を算出するように構成されている。そして次に、共分散を用いて、図１０に示されている（後述）ようにライブビュー内の探索範囲を画定することができる。このような探索範囲を生成する実施形態は、不良データを関連付ける可能性を低減するので効果的である。
【００５５】
各実施形態は、表現からの画像とカメラからの画像のうちの少なくとも一方を処理して、ここで説明するように、画像内部の光の影響を除去する（すなわち画像を変換する）ように構成されている。このため、各実施形態は通常、変換された画像系列を生成するが、ここでこの系列の各画像は、既に変換された、カメラから出力された画像系列からの画像に相当する。光の変化に関係なく画像内の特徴をマッチングさせる確率を高めるためには、このような実施形態は効果的である。いくつかの実施形態は、光の影響を除去するために、モデルからの画像とカメラからの画像の両方を処理するように構成されていてもよい。
【００５６】
特にパッチマッチングを行うために、各実施形態は、起こり得るマッチングの探索範囲が与えられると、表現画像からの参照パッチとカメラからの画像との間のスコアを最小にするサブピクセルの位置を探索する。しかし、図２に示されているように、例えば光の影響が変わったために、表現２０２からの画像（図２で視覚的記憶と表示）とカメラ２００からの画像（図２でライブストリームＲＧＢと表示）との間で見掛けの変化が大きすぎる場合にはこの手法は失敗する可能性がある。したがって、各実施形態は、標準的なＲＧＢ色空間からの変換を用いるいわゆる照明不変画像を生成するように構成されており、照明不変画像は、説明中の実施形態ではカメラからの出力である。
【００５７】
したがって、説明中の実施形態において、１つの画像から得られる、特徴点検出器が画像から抽出した特徴は、８０６において、別記にて説明されているように、通常は格納画像または変換された格納画像のいずれかである別の画像から抽出された特徴に対して比較される。この比較８０６は普通は、例えば図９内の処理９２０及び処理９２２といった位置推定処理によって実施される。これにより、位置推定器は、比較を行う際に、８０８において、画像及び／または変換画像、並びに表現内の対応する特徴を特定する。よって、比較はまた、特徴マッチング、つまりパッチマッチング等と称してもよい。
【００５８】
図２の左側の領域は、カメラ１０４，１０６のうちの一方から生成された、画像系列の一部分２００を示している。当業者であれば、説明中の実施形態において、画像系列は立体系列（すなわち各光景の各インスタンスの画像は２つ存在する）であるが、分かりやすいように、画像の立体系列の片方のみを示す方が都合がよいことを理解されよう。説明中の実施形態において、画像はＲＧＢ画像である。画像の少なくともいくつか、通常は各々が、その画像に関連したメタデータを有していてもよい。このようなメタデータは、タイムスタンプ、位置情報及びカメラのスペクトル感度、型、モデル、露出、ゲイン、シャッター及び／または調節等のうちの１つ以上を含んでいてもよい。
【００５９】
図２の中央の領域２０２は、メモリ１２４内部に保持されている表現の少なくとも一部分を構成する、格納画像系列の一部分を示している。これらの格納画像は通常は上述のキーフレームであろう。
【００６０】
図２の右側の領域２０４は、詳細は下記にて説明されているような、画像上の光の影響を排除する変換８０４ａ，８０４ｂが施された変換画像系列を示している。したがって、変換が施された画像２０４は、照明不変画像系列であると見なすことができる。変換画像の生成は、入力として画像系列を取り込んで変換８０４ａ，８０４ｂを施すことによって変換画像２０４を生成する処理回路１１２によって行われる。この変換画像もまた、その画像に関連したメタデータを有していてもよい。
【００６１】
センサ１００がカメラ以外である代替の実施形態において、画像を別の形式の環境表現と置き換えてもよい。例えば、ＬＩＤＡＲを用いた場合には、環境表現は、スキャナによって生成された点群によって供給されてもよい。
【００６２】
画像系列２００及び変換画像系列２０４は、８０６において、図２では連続した格納画像２０２である表現と比較される。図２に示す例において、格納画像２０２の画像２００との比較８０６では、格納画像２０２内の点２１２，２１４，２１６に相当する、画像２００内の点２０６，２０８，２１０の認識に失敗している。ここで、画像２００にはかなりの量の影が含まれており、そのために、画像２００は対応する格納画像２０２と同じ環境であるにもかかわらず、この認識失敗につながったことが分かる。
【００６３】
しかし、格納画像２０２の点２２４，２２６，２２８に相当する、変換画像内の点２１８，２２０，２２２の認識には成功している。説明中の実施形態では照明不変画像であることが想起される変換画像では、影は既に排除されている（または少なくとも大幅に削減されている）ので、変換画像２０４と格納画像２０２との間の類似性が高くなっていることが分かる。
【００６４】
図２を参照する説明中の実施形態において、画像２００と格納画像２０２との間の不確かな比較によって得られたデータは棄却し、変換画像２０４の正常な比較によって得られたデータを使用して車両１０２の位置推定を行う。つまり、本実施形態において、車両１０２の位置推定に画像２００または変換画像２０４を使うかどうかに関する決定を行う。
【００６５】
説明中の実施形態では、照明不変色空間への変換が用いられている。他の実施形態では、別の、あるいは追加の変換、例えばグレースケール色空間や別の単色色空間といった異なる色空間、または照明不変グレースケール色空間等への変換が用いられている。
【００６６】
ここで、８０４ａまたは８０４ｂにおいて画像２００を照明不変色空間へと変換するために用いる変換を説明する。このような変換を用いる実施形態では、屋外での光条件の範囲にわたって光景の見た目が一致する度合いが向上する。照明不変イメージング、そうでない場合は色彩恒常として知られている最先端の手法の最近の調査に対し、読み手はＤ．Ｈ．Ｆｏｓｔｅｒ「Ｃｏｌｏｒ  ｃｏｎｓｔａｎｃｙ」Ｖｉｓｉｏｎ  ｒｅｓｅａｒｃｈ，ｖｏｌ．５１，ｎｏ．７，６７４〜７００ページ（２０１１年）を参照する。
【００６７】
以下の式は、Ｇ．Ｄ．Ｆｉｎｌａｙｓｏｎ及びＳ．Ｄ．Ｈｏｒｄｌｅｙ「Ｃｏｌｏｒ  ｃｏｎｓｔａｎｃｙ  ａｔ  ａ  ｐｉｘｅｌ」ＪＯＳＡ  Ａ，ｖｏｌ．１８，ｎｏ．２，２５３〜２６４ページ（２００１年）に記載されているように、リニアイメージセンサＲの応答と、表面反射率Ｓ（λ）を有する物体に入射する発光スペクトルパワー分布Ｅ（λ）を有する照明光源に対するスペクトル感度Ｆ（λ）との関係を述べている。
【００６８】
【数１】
0006586430.tif 000002
【００６９】
ここで、単位ベクトルａｘ及びｎｘは光源の方向及び面法線の方向を表し、Ｉｘは光景内の点ｘでの発光体の光度を表す。式１から、照明光源スペクトルＥｘ（λ）及び光度Ｉｘの影響を最小限にしながら、点ｘにおける表面の材料特性Ｓｘ（λ）に依存する画像特徴Ｉを得たい。説明中の実施形態は上述したＧ．Ｄ．Ｆｉｎｌａｙｓｏｎ及びＳ．Ｄ．Ｈｏｒｄｌｅｙの論文の手法に従い、スペクトル感度関数Ｆ（λ）を波長λｉに注目したディラックのデルタ関数としてモデル化できると仮定して、以下の感度関数が得られる。
【００７０】
【数２】
0006586430.tif 000003
【００７１】
極めて狭い帯域でスペクトル感度を仮定するのはほとんどの実用画像センサにとっては非現実的であるが、Ｓ．Ｒａｔｎａｓｉｎｇａｍ及びＳ．Ｃｏｌｌｉｎｓ「Ｓｔｕｄｙ  ｏｆ  ｔｈｅ  ｐｈｏｔｏｄｅｔｅｃｔｏｒ  ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ  ｏｆ  ａ  ｃａｍｅｒａ  ｆｏｒ  ｃｏｌｏｒ  ｃｏｎｓｔａｎｃｙ  ｉｎ  ｎａｔｕｒａｌ  ｓｃｅｎｅｓ」（ＪＯＳＡ  Ａ，ｖｏｌ．２７，ｎｏ．２，２８６〜２９４ページ、２０１０年）にある結果は、現実的な６０〜１００ｎｍの半波高全幅値（ｆｕｌｌ  ｗｉｄｔｈ  ａｔ  ｈａｌｆ−ｍａｘｉｍｕｍ：ＦＷＨＭ）のセンサ応答を有するこの仮定の下では、色彩恒常性能が維持されることを示している。
【００７２】
説明中の実施形態は、式２の両側の対数をとることによって、成分を以下のように分離する。
【００７３】
【数３】
0006586430.tif 000004
【００７４】
ここでＧｘ＝ａｘ・ｎｘは、発光体と光景との間の相対的な形状配置である。これにより、３つの成分、すなわち、光景の形状及び強度成分、発光体のスペクトル成分、及び表面反射率成分の一次結合が得られる。自然採光で照光した屋外の光景の場合、発光体スペクトルを黒体源（上述したＧ．Ｄ．Ｆｉｎｌａｙｓｏｎ及びＳ．Ｄ．Ｈｏｒｄｌｅｙの論文を参照）としてモデル化するのが妥当であり、したがって、式３における発光体スペクトルの項に黒体源のＷｉｅｎ近似を代入することができる。
【００７５】
【数４】
0006586430.tif 000005
【００７６】
ここで、ｈはプランク定数、ｃは光速、ｋＢはボルツマン定数、Ｔは黒体源相関色温度である。ただし、本明細書における「照明不変」という語への全ての参照に対して、この仮定を行う色空間が参照される、つまり、光源となる発光体はほぼ黒体である。他の実施形態は、照明がほぼ黒体であると仮定できない他の仮定を使用してもよいことが考えられる。
【００７７】
式４の第１項と第３項は、様々な波長λ１でのセンサ応答を取り入れることによって削除可能である。説明中の実施形態は、Ｓ．Ｒａｔｎａｓｉｎｇａｍ及びＳ．Ｃｏｌｌｉｎｓ「Ｓｔｕｄｙ  ｏｆ  ｔｈｅ  ｐｈｏｔｏｄｅｔｅｃｔｏｒ  ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ  ｏｆ  ａ  ｃａｍｅｒａ  ｆｏｒ  ｃｏｌｏｒ  ｃｏｎｓｔａｎｃｙ  ｉｎ  ｎａｔｕｒａｌ  ｓｃｅｎｅｓ」（ＪＯＳＡ  Ａ，ｖｏｌ．２７，ｎｏ．２，２８６〜２９４ページ、２０１０年）において提案した手法に従い、順序付けられた波長λ１＜λ２＜λ３でのピーク感度に対応する３つのセンサ応答Ｒ１，Ｒ２，Ｒ３からなる一次元色空間Ｉを使用する。
【００７８】
【数５】
0006586430.tif 000006
【００７９】
パラメータが以下の制約条件を満たす場合には、色空間Ｉは相関色温度Ｔとは無関係になる。
【００８０】
【数６】
0006586430.tif 000007
【００８１】
これは
【００８２】
【数７】
0006586430.tif 000008
【００８３】
に簡素化される。
したがって、単にベイヤーフィルタのピークスペクトル感度の情報のみがある任意のカメラに対して、αはただ１つに定まる。αの値は、多くの場合、データソースが与えられたデータシートから得られる。例えばＰｏｉｎｔＧｒｅｙ社製のカメラＢｕｍｂｌｅｂｅｅ２の場合、α＝０．４８００である。
【００８４】
Ｓ．Ｒａｔｎａｓｉｎｇａｍ及びＴ．Ｍ．ＭｃＧｉｎｎｉｔｙ「Ｃｈｒｏｍａｔｉｃｉｔｙ  ｓｐａｃｅ  ｆｏｒ  ｉｌｌｕｍｉｎａｎｔ  ｉｎｖａｒｉａｎｔ  ｒｅｃｏｇｎｉｔｉｏｎ」Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ，ｖｏｌ．２１，ｎｏ．８，３６１２〜３６２３ページ（２０１２年）において実証されたように、ディラックのデルタ関数によるセンサ応答及び黒体源という仮定によって、主に自然採光で照光した屋外の光景における色の識別に対して好結果が得られる。ただし、照明不変特徴が１つでは、ある特定の色を一意に識別するには不十分であることが多いが、光景内の異なる表面を区別するには十分である（Ｓ．Ｒａｔｎａｓｉｎｇａｍ及びＳ．Ｃｏｌｌｉｎｓ「Ｓｔｕｄｙ  ｏｆ  ｔｈｅ  ｐｈｏｔｏｄｅｔｅｃｔｏｒ  ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ  ｏｆ  ａ  ｃａｍｅｒａ  ｆｏｒ  ｃｏｌｏｒ  ｃｏｎｓｔａｎｃｙ  ｉｎ  ｎａｔｕｒａｌ  ｓｃｅｎｅｓ」ＪＯＳＡ  Ａ，ｖｏｌ．２７，ｎｏ．２，２８６〜２９４ページ（２０１０年））。
【００８５】
図３には照明不変色空間が図示されている。午前９時と午後５時にそれぞれ取り込まれた画像の間では、太陽の角度、影のパターン、及び照射スペクトルの変化が大きいにもかかわらず、両方の照明不変画像が示す変化量は極めて小さい。具体的には、画像３００は午前９：００に取り込まれた画像であり、画像３０２は１７：００に取り込まれた画像であることが分かる。当業者であれば、画像３００と画像３０２との間には照明（例えば影）の変化に大きな違いがあることに気づくであろう。３０４は画像３００から生成された変換画像であり、３０６は画像３０２から生成された変換画像である。照明が変化した影響が大幅に低減されており、変換画像３０４，３０６は大部分が同等であることが分かる。
【００８６】
３０８は環境の３Ｄ−ＬＩＤＡＲ点群モデルを示しており、一実施形態では、車両１０２の位置推定を行うために画像及び／または変換画像が比較される表現として使用されている。
【００８７】
式５を用いるカメラからの画像ストリームの変換は、ピクセル単位で実行可能であるので、処理回路１１２に求める処理量の点で割安である。したがって、各実施形態は、他の計算タスクと並行して変換を行うように構成されていてもよい。
【００８８】
これにより、少なくともいくつかの実施形態では、２つの並列処理、つまり、８０６において表現からの画像（すなわち格納画像）をカメラからの画像と比較するＶＯパイプラインと、８０６において表現からの画像（すなわち格納画像）をすでに変換されたカメラからの画像（すなわち変換画像）と比較する第２ＶＯパイプラインとを利用している。
【００８９】
代替または追加の実施形態において、表現からの画像（すなわち格納画像）は、使用されているＶＯパイプラインのうちの１つ以上において変換される（すなわち変換された格納画像）。いくつかの実施形態において、一方のＶＯパイプラインはカメラからのライブ画像をカメラからの前の画像（すなわち格納画像）と比較し、第２ＶＯパイプラインはカメラからの変換画像をカメラからの前の画像（すなわち格納画像）と比較する。代替または追加の実施形態において、カメラからの前の画像は、ＶＯパイプラインのうちの少なくとも一方で使用される前に変換されている。代替の実施形態において、カメラからの画像は変換されず、カメラからの前の画像が変換される。
【００９０】
これにより、説明中の実施形態を含む少なくともいくつかの実施形態では、２つのＶＯパイプラインを並行して実行する。代替または追加の実施形態において、２つを超えるＶＯパイプラインが使用されている。いくつかの実施形態において、処理回路１１２内部では３つ以上のＶＯパイプラインが利用可能であり、ある期間中、利用可能なＶＯパイプラインの総数より少ない数のＶＯパイプラインが並行して使用されている。例えば、ＲＧＢ，グレースケール、及び照明不変変換のＶＯパイプラインが利用可能であってもよく、また、日中、あるいは光のレベルがしきい値を超えた場合にはＲＧＢ及び照明不変変換ＶＯパイプラインのみが使用されてもよい。
【００９１】
夜間には照明は黒体の発光からのものであるという仮定は成り立たなくてもよいので、照明不変変換が行われなくてもよく、また要求されなくてもよいことが理解されよう。しかがって、夜間、あるいは光のレベルがしきい値を下回る場合には、グレースケール及び照明不変変換ＶＯパイプラインのみが使用されてもよい。いくつかの例では、領域間の転換点あたりでは、より多くの、または全ての利用可能なパイプラインが使用されてもよい。上記の例では、夕刻や明け方、あるいは光のレベルがしきい値近辺やしきい値である場合には、ＲＧＢ，グレースケール、及び照明不変ＶＯパイプラインが全て並行して使用されてもよい。
【００９２】
説明中の実施形態において、カメラからの非変換画像に基づいたＶＯパイプラインを使用して８１０において車両１０２の位置を推定できる場合には、そのＶＯパイプラインが使用される。しかし、このような位置推定が失敗した場合、もう一方の、カメラからの変換画像に基づくＶＯパイプラインを用いて、車両１０２の位置の推定を試みる。
【００９３】
本実施形態では既定値（ｄｅｆａｕｌｔｉｎｇ）が「ベースライン」システムとなる理由は、照明不変ＶＯパイプラインを使用した場合（線７０４）と使用していない場合（線７０２）の代表的な速度分布を示している図７のグラフ７００内で強調されている。照明不変ＶＯパイプライン７０４を用いた速度推定値はＲＧＢ  ＶＯパイプライン７０２を用いた速度推定値よりもノイズが多く、グラウンドトルースと比較するとわずかに偏りがあるように見える。
【００９４】
このため、ＶＯパイプラインによって生成された位置の２つの推定値は融合しない。その代わり、可能であれば（カメラ１０４，１０６からの画像に対して変換を行わない状態で）既定値（ｄｅｆａｕｌｔｉｎｇ）がベースラインシステムとなるというポリシーによって、システムはこれらを並行して用いたり、両者の間で切り換えたりしている。
【００９５】
他の実施形態において、ベースラインの定義は様々であるか、または、定義されたベースラインは存在せず、どのＶＯパイプラインを使用するかは、位置推定値の品質によって決まる。位置推定値の品質は、８０８でマッチングした特徴の数、及び／または、正しいと分かったマッチングの関連する確実性に基づいて評価してもよい。
【００９６】
図８はある実施形態の方法のフローチャートを提供している。既に述べたように、ステップ８０４ａ，８０４ｂは、カメラからの画像系列の変換である。いくつかの実施形態において、変換Ａ（８０４ａ）と変換Ｂ（８０４ｂ）のうちの１つは変換がない、つまりセンサからの未変換画像が使用される。代替の実施形態では、両方の変換ステップ（８０４ａ，８０４ｂ）がカメラからの画像を変換する。
【００９７】
図９に示されている実施形態では、処理回路１１２によって設けられた画像処理システム９００はより複雑である。前述同様、画像処理システム９００内部の経路はＶＯパイプラインと称されている。
【００９８】
カメラ９０２からの画像は、２つの変換８０４ａ，８０４ｂ（ＲＧＢから照明不変９０４ａとＲＧＢから単色９０４ｂ）を経て、各々が変換画像９０４で構成されている２つの生成画像ストリームを形成する。
【００９９】
本実施形態において、環境表現は格納画像９１０によって与えられている。ここでは、格納画像９１０はＲＧＢ画像であるが、これが事実である必要はなく、他の実施形態では変換画像を格納してもよい。
【０１００】
説明中の実施形態において、格納画像９１０は、変換画像９０４ａ，９０４ｂを生成するために行ったものと同等の変換９１４ａ，９１４ｂを経て、位置推定処理８１０において使用する２組の変換された格納画像９１６，９１８を形成する。代替の実施形態において、格納画像は、１つの変換を経て、または変換を経ずに、または複数の変換を経て、複数組の格納された変換画像を生成する。
【０１０１】
これにより、照明不変変換画像９０４ａは、格納された変換（照明不変）画像９１８と対照して位置推定９２０を行うことが分かる。単色の変換画像９０４ｂは格納された変換（単色）画像９１６と対照して位置推定９２２を行う。
【０１０２】
上述のように、説明中の実施形態において、ＶＯパイプラインは融合せず、車両１０２の位置推定にパイプラインのうちのどれを使用すべきかに関して、単純なＯＲ演算による選定９２４を行う。よって、本方法は、２つのＶＯパイプラインのうちの一方を選定して、装置の位置推定を行う。
【０１０３】
図１０を用いて、いくつかの実施形態で使用される、位置推定処理を支援する別の方法を説明する。上述のように、カメラは、８０２において、図２に示されている画像２００といった画像系列を生成する。図２では、図の前面２００ａに示された画像はライブ画像（すなわち現在処理中の画像）と見なしてもよく、この画像よりも前に生成された画像（図２では後ろ側）は前の画像２００ｂと見なしてもよい。当業者であれば、ここでは画像は実際には、１対のカメラが使用されている説明中の実施形態と同様に、立体的な画像対に関わるものであってもよいことを理解されよう。
【０１０４】
説明中の実施形態において、ＶＯパイプラインは、少なくとも前の画像２００ｂに由来する情報を使用して、ライブ画像２００ａ内の位置推定処理８１０を制約する。他の実施形態では、前の画像を用いることに加えて、または用いる代わりに、前の画像よりも以前の画像を用いて、位置推定処理８１０を制約することもできる。
【０１０５】
位置推定システム９００では、カメラから出力された画像系列を用いて、車両１０２の軌跡を計算する。図１０内では、３つの点１０００ａ，ｂ，ｃが前の画像２００ｂ内部で強調されている。これら同じ３点は、ライブ画像２００ａ内では１００２ａ，ｂ，ｃにおいて強調されている。しかし、画像と比較して、点１００２は点１０００と比較する時に移動したことが分かる。この相対的な移動は、車両１０２の動きのためである。
【０１０６】
前の画像２００ｂと格納画像１００６（例えば記憶された光景または環境モデル）内に位置する点とに対して位置推定が行われた場合、格納画像内の点１０００ａ，ｂ，ｃの位置を車両１０２の軌跡とともに用いることによって、ライブ画像内部の点１００２ａ，ｂ，ｃの探索を制限することができる。
【０１０７】
この探索制限方法を使用する実施形態は、より効率的であるとともに、当てにならないマッチングを行う可能性を低減するので、有益である。図１０と関連して略述されたような方法は、パッチマッチングと称してもよい。
【０１０８】
一実施形態において、照明不変画像を用いたＶＯ軌跡推定は単色画像を用いたもの（別記にて説明）ほどは正確ではないので、単色画像からのＶＯ軌跡推定を用いて、照明不変の特徴空間での特徴予測を行う。すなわち、単色画像９２０からの一番最近のフレーム間ＶＯ軌跡推定を用いて、光不変ＶＯパイプライン９１８にどこを見るべきかを通知するのを支援することができる。
【０１０９】
図９に示されているものと類似する実施形態では、未変換画像ＶＯパイプラインを用いて、図１０と関連して上述したようなパッチマッチングと同様の方法で変換画像ＶＯパイプラインを制限する。つまり、未変換画像ＶＯパイプラインから得られた特徴予測を用いて、変換画像ＶＯパイプライン内において、変換画像ＶＯパイプラインの頑健性を高められる特徴が現れる場所を予測できる。図９のＶＯパイプラインの両方が変換画像（ＲＧＢから単色へ、及びＲＧＢから照明不変へ）に依存していることが理解されよう。
【０１１０】
図１１は、ある道路箇所に沿って走るテスト車両１０２が遭遇した極端な視覚的変化を強調した画像を示している。図１１内の画像の各々は、車両１０２の周囲の環境の同じ風景であるが、光の変化のせいで異なって見える。
【０１１１】
以下の説明で用語を明確にするために、不変画像を使用しない（ＲＧＢのみ、つまり未変換画像ＶＯパイプラインを使用する）システムがベースラインシステム、不変画像を使用する（つまり変換画像ＶＯパイプライン）のみを使用するシステムが不変システム、両方を併用するシステムが併用システムである。
【０１１２】
網羅的１個抜き検証法（ｅｘｈａｕｓｔｉｖｅ  ｌｅａｖｅ−ｏｎｅ−ｏｕｔ  ａｐｐｒｏａｃｈ）を用いて、１５個のデータセットを取り込んで処理する。これにより、各データセットはライブ画像ストリームとして取り込まれ、次に残りの１４個のデータセットを対象とする位置推定が行われる。
【０１１３】
その結果を表１に示す。ここでは、１５個のデータセットの各々をライブで実行するものとして用いた適用範囲の割合を提示している。この適用範囲の割合は、フレーム総数に対する位置推定が実行できたフレーム数で定義され、１４個のデータセットで比較した平均値である。全ケースで不変システムがベースラインシステムよりも改善しており、併用システムが常にベースラインシステムより性能が優れていることを意味する。ベースラインシステムは難しい採光条件であっても満足に機能することに注目されたい。しかし、ロボット工学の長期自律性（例えば自律型車両）という状況では、頑健性を高めることは有用であり、したがって信頼性のいかなる向上も有用である。
【０１１４】
表１：ベースラインシステムに対する本実施形態の併用システムで比較した適用範囲の結果。提供範囲は、取り込まれた総フレーム数の割合としての位置推定が実行できたフレーム数で定義されている。１個のテストデータセット当たり１４個のトレーニングデータセットの平均値である。
【０１１５】
【表１】
0006586430.tif 000009
【０１１６】
図４は、３システム、つまり、ベースラインシステム、不変システム、及び併用システムの位置推定の実施状況を示したものである。グラフ４００は、説明中の実施形態の場合に走行した距離に対する、正常に実施できた位置推定を示している。線４０２は、画像を認識処理に使用するベースラインシステムが車両の位置特定に成功した領域を示している。この図は、１９０ｍから２７０ｍ付近に車両の位置が推定されなかった広い領域４０３が存在することを強調している。
【０１１７】
線４０４は、不変システム（すなわちＶＯパイプラインにおいて変換画像を使用する）が車両の位置特定に成功した領域を示している。照明不変画像認識処理は、位置推定せずに走行した距離をＲＧＢ画像認識処理よりも短くする結果になるが、位置推定が行われなかった領域（例えば４０５）がまだ存在することが分かる。
【０１１８】
線４０６は、未変換画像パイプラインと変換画像パイプラインを両方使用する併用システムをプロットしている。線４０６には隙間が全く含まれておらず、したがって併用システムは、ほぼ全点において車両１０２の位置を推定できたことが分かる。
【０１１９】
図５は、ベースラインシステム（５００）が１００ｍまでの間は計器走行する可能性は４０％に近いが、併用システム（５０２）を用いるとその可能性はちょうど５％であることを示している。これにより、併用システムを設けた実施形態は、図５に図示されているような困難な採光条件で車両１０２の位置を推定する頑健性や能力が向上するという点で有益である。
【０１２０】
上記で言及されている位置推定処理を、ここで図６を参照して詳細に説明する。
局所座標系フレームＲ６０２を有する既知の３Ｄ光景Ｓにおける位置Ａ６０４に車両１０２がある場合、各実施形態は、図６に図示されているように、位置Ａ６０４で取り込まれた１つの照明不変画像ＩＡのみを用いて変換ＧＡＲを探索する。既知の３Ｄ光景Ｓは調査車両によってサンプリングされた（つまり上述の表現によって与えられる）点群からなり、ここで各点
【０１２１】
【数８】
0006586430.tif 000010
【０１２２】
は、表現が生成されたときの調査時にサンプリングされた、前の関連する照明不変特徴
【０１２３】
【数９】
0006586430.tif 000011
【０１２４】
を有していると仮定される。
位置Ａ６０４から見た点ｑの見掛けＩＡは、点ｑを以下のカメラ投影パラメータκを用いて画像平面ｘ上に再投影することによって見いだせる。
【０１２５】
【数１０】
0006586430.tif 000012
【０１２６】
変換ＧＡＲを再確認するには、位置Ａ６０４から見て、前の見掛けＩＳと見掛けＩＡとの間で情報を整合させることが求められる。点のサブセットＳＡの位置Ａ６０４からの視覚的な見掛けとその点の前の見掛けＩＳとの間の不一致を測定する目的関数（ｆ）は以下のように定義される。
【０１２７】
【数１１】
0006586430.tif 000013
【０１２８】
目的関数として、正規化情報距離（Ｎｏｒｍａｌｉｚｅｄ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｄｉｓｔａｎｃｅ：ＮＩＤ）が選定される。その理由は、局所的な照明の変化や排除に対して頑健な真の測定基準が得られるからである。
【０１２９】
２つの離散確率変数｛Ｘ，Ｙ｝が与えられれば、ＮＩＤは以下のように定義される。
【０１３０】
【数１２】
0006586430.tif 000014
【０１３１】
ここでＨ（Ｘ，Ｙ）は結合エントロピーを、Ｉ（Ｘ；Ｙ）は相互情報量を表す。
式１１から目的関数にＮＩＤを代入すると、以下の式が得られる。
【０１３２】
【数１３】
0006586430.tif 000015
【０１３３】
よって、位置推定問題は、以下のように式１１を最小化することであることが分かる。
【０１３４】
【数１４】
0006586430.tif 000016
【０１３５】
最初の推定値
【０１３６】
【数１５】
0006586430.tif 000017
【０１３７】
は、センサの前の位置に設定することも、または、車輪の符号器、ビジュアルオドメトリ、または他の情報源によって与えられる漸進的な動きの情報を組み込むこともできる。
一実施形態において、上記の式１２の最小化問題は、準ニュートンＢＦＧＳ法を用いて解決される。この方法は、Ｎ．Ｊｏｒｇｅ及びＪ．Ｗ．Ｓｔｅｐｈｅｎ「Ｎｕｍｅｒｉｃａｌ  ｏｐｔｉｍｉｚａｔｉｏｎ」（シュプリンガー出版、米国、１９９９年）において説明されており、Ｂスプライン補間を用いて得られた、Ａ．Ｄ．Ｓｔｅｗａｒｔ及びＰ．Ｎｅｗｍａｎ「Ｌａｐｓ−ｌｏｃａｌｉｚａｔｉｏｎ  ｕｓｉｎｇ  ａｐｐｅａｒａｎｃｅ  ｏｆ  ｐｒｉｏｒ  ｓｔｒｕｃｔｕｒｅ：  ６−ｄｏｆ  ｍｏｎｏｃｕｌａｒ  ｃａｍｅｒａ  ｌｏｃａｌｉｚａｔｉｏｎ  ｕｓｉｎｇ  ｐｒｉｏｒ  ｐｏｉｎｔｃｌｏｕｄｓ」Ｒｏｂｏｔｉｃｓ  ａｎｄ  Ａｕｔｏｍａｔｉｏｎ  （ＩＣＲＡ），２０１２  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ（ＩＥＥＥ，２０１２年、２６２５〜２６３２ページ）に提示された解析的微分を用いて、Ｃｅｒｅｓ（Ｓ．Ａｇａｒｗａｌ，Ｋ．Ｍｉｅｒｌｅ他「Ｃｅｒｅｓ  ｓｏｌｖｅｒ」ｈｔｔｐｓ：／／ｃｏｄｅ．ｇｏｏｇｌｅ．ｃｏｍ／ｐ／ｃｅｒｅｓ−ｓｏｌｖｅｒ／）において論じられている。あるセットアップにおいて、費用関数はＯｐｅｎＣＬ言語で構築され、Ｎｖｉｄｉａ社製ＧＴＸ  Ｔｉｔａｎ  ＧＰＵを用いて解き、要する時間は１評価あたり約８ミリ秒である。このような処理時間により、本明細書で説明されている実施形態をリアルタイムと見なしてもよい状況において利用することができる。ここでリアルタイムとは、車両が移動するときに、本明細書で説明されている実施形態によって提供される位置推定を用いて車両１０２の位置を確立することができるようなことを意味することを意図している。
【図１】
0006586430.tif 000018
【図２】
0006586430.tif 000019
【図３】
0006586430.tif 000020
【図４】
0006586430.tif 000021
【図５】
0006586430.tif 000022
【図６】
0006586430.tif 000023
【図７】
0006586430.tif 000024
【図８】
0006586430.tif 000025
【図９】
0006586430.tif 000026
【図１０】
0006586430.tif 000027
【図１１】
0006586430.tif 000028