(57)【特許請求の範囲】
【請求項１】
実行可能命令が記憶されるとともに、地理的に位置特定された運転画像シーケンスと、特有なロケーションのシグネチャとして機能する他の特徴とを有する履歴位置特定辞書データベースを含む参照撮像データが記憶されたメモリを有する撮像システムであって、各参照画像が或る閾値に適用されることでバイナリ表現が生成されるようになっており、前記撮像システムは、
動的シーンの入力画像のシーケンスを獲得するセンサと、
前記シーケンス内の入力画像ごとに、前記入力画像の各ビンにおける鉛直エッジの数を示す、前記シーケンス内の各入力画像のヒストグラムを求め、前記ヒストグラムを閾値処理して前記入力画像のバイナリ表現を生成するエンコーダと、
１つ以上の入力画像を、前記データベース内の１つ以上の参照画像に対して照合することによって、前記シーケンス内の各入力画像の前記バイナリ表現と、前記データベース内の各参照画像の前記バイナリ表現とを比較するビジュアルオドメータと、
を備え、前記ビジュアルオドメータは、前記１つ以上の入力画像と前記１つ以上の参照画像との間の一致に基づいて、前記入力画像のロケーションを求める、撮像システム。
【請求項２】
前記撮像システムの状態は、前記撮像システムの前記ロケーション及び方位を含む、請求項１に記載の撮像システム。
【請求項３】
前記撮像システムの前記方位は、ニューラルネットワークにおいて、前記シーケンス内の連続入力画像の前記バイナリ表現を用いる旋回分類アルゴリズムを含み、前記ニューラルネットワークへの入力は、連続画像からの前記シーケンス内の連続入力画像の前記バイナリ表現をスタックすることによって得られるバイナリ行列であるようになっている、請求項２に記載の撮像システム。
【請求項４】
前記ビジュアルオドメータは、ニューラルネットワークを用いて前記撮像システムの状態の変化を追跡する、請求項１に記載の撮像システム。
【請求項５】
前記ニューラルネットワークは、制御ステップごとに、テンソルの形式で連結される少なくともいくつかの画像の前記バイナリ表現を入力として受信して、前記撮像システムの前記状態の前記変化を生成する、請求項４に記載の撮像システム。
【請求項６】
前記ニューラルネットワークは、制御ステップごとに、各バイナリ表現のビンごとに求められた前記画像のシーケンスの前記バイナリ表現を入力として受信する、請求項４に記載の撮像システム。
【請求項７】
前記ビジュアルオドメータは、ハミング距離手法を用いて、前記シーケンス内の各入力画像の前記バイナリ表現と、前記データベース内の各画像の前記バイナリ表現とを比較する、請求項１に記載の撮像システム。
【請求項８】
前記エンコーダは、前記入力画像の各ビンにおける前記鉛直エッジのうちの１つ以上をフィルタリングし、各ピクセルの鉛直画像の強度が、水平方向及び鉛直方向に沿った勾配の差の大きさとして測定されるようになっている、請求項１に記載の撮像システム。
【請求項９】
前記撮像システムは、車両制御システム、車両駐車システム、車両ナビゲーションシステム等と通信する、請求項１に記載の撮像システム。
【請求項１０】
参照画像のシーケンスを有する履歴位置特定辞書データベースを含む参照撮像データが記憶されたメモリを有する撮像システムであって、各参照画像が或る閾値に適用されることでバイナリ表現が生成されるようになっており、前記撮像システムは、
動的シーンの入力画像のシーケンスを獲得するセンサと、
前記シーケンス内の入力画像ごとに、前記入力画像の各ビンにおける鉛直エッジの数を示す、前記シーケンス内の各入力画像のヒストグラムを求め、前記ヒストグラムを閾値処理して前記入力画像のバイナリ表現を生成するエンコーダと、
前記入力画像を、前記データベース内の対応する参照画像と関連付けることによって、前記シーケンス内の各入力画像の前記バイナリ表現と、前記データベース内の各参照画像の前記バイナリ表現とを比較して、前記入力画像の関連ロケーションを特定するビジュアルオドメータと、
各入力画像の前記特定された関連ロケーションを出力するか、又は、各入力画像の前記特定された関連ロケーションを前記メモリに記憶する、前記エンコーダの出力インターフェースと、
を備える、撮像システム。
【請求項１１】
前記ビジュアルオドメータは、ニューラルネットワークを用いて前記撮像システムの状態の変化を追跡する、請求項１０に記載の撮像システム。
【請求項１２】
前記ビジュアルオドメータは、ニューラルネットワークを用いて前記撮像システムの前記状態の前記変化を追跡し、前記ニューラルネットワークは、制御ステップごとに、テンソルの形式で連結される少なくとも１００枚の画像の前記バイナリ表現を入力として受信して、前記撮像システムの前記状態の前記変化を生成するようになっている、請求項１１に記載の撮像システム。
【請求項１３】
前記ニューラルネットワークは、制御ステップごとに、各バイナリ表現のビンごとに求められた奥行き値と組み合わされた前記画像のシーケンスの前記バイナリ表現を入力として受信する、請求項１１に記載の撮像システム。
【請求項１４】
前記ビジュアルオドメータは、ハミング距離手法を用いて、前記シーケンス内の各入力画像の前記バイナリ表現と、前記データベース内の各参照画像の前記バイナリ表現とを比較する、請求項１０に記載の撮像システム。
【請求項１５】
車両が走行している間、前記車両のロケーションを検出する撮像システムであって、前記撮像システムは、画像のシーケンスを有する履歴位置特定辞書データベースを含む撮像データが記憶されたメモリを有し、各画像が或る閾値に適用されることでバイナリ表現が生成されるようになっており、前記撮像システムは、
動的シーンの入力画像のシーケンスを獲得する、前記車両に搭載されたセンサと、
前記シーケンス内の入力画像ごとに、前記入力画像の各ビンにおける鉛直エッジの数を示す、前記シーケンス内の各入力画像のヒストグラムを求め、前記ヒストグラムを閾値処理して前記入力画像のバイナリ表現を生成するエンコーダと、
前記入力画像を、前記データベース内の対応する画像と関連付けることによって、前記シーケンス内の各入力画像の前記バイナリ表現と、前記データベース内の各画像の前記バイナリ表現とを比較して、前記入力画像の関連ロケーションを特定するビジュアルオドメータと、
各入力画像の前記特定された関連ロケーションを出力するか、又は、各入力画像の前記特定された関連ロケーションを前記メモリに記憶する、前記エンコーダの出力インターフェースと、
を備える、撮像システム。
【請求項１６】
前記閾値は、鉛直許容誤差範囲内又は前記範囲外にある各鉛直エッジの１つ以上の鉛直線セグメントに基づいている、請求項１５に記載の撮像システム。
【請求項１７】
前記撮像システムの状態は、前記撮像システムの前記ロケーション及び方位を含み、前記撮像システムの前記方位は、ニューラルネットワークにおいて、前記シーケンス内の連続入力画像の前記バイナリ表現を用いる旋回分類アルゴリズムを含むようになっており、前記ニューラルネットワークへの入力は、連続画像からの前記シーケンス内の連続入力画像の前記バイナリ表現をスタックすることによって得られるバイナリ行列であるようになっている、請求項１５に記載の撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、包括的には、コンピュータビジョンに関し、より詳細には、自律運転応用の状況における高速推測方法を生成するためにバイナリ記述子を用いることに関する。
【背景技術】
【０００２】
車両のロケーションを特定するのに、全地球測位システム（ＧＰＳ）が用いられる。例えば、走行中の自動車の位置を報告すること（位置特定）は、従来的には、ＧＰＳを用いることによって解決されるタスクである。さらに、ＧＰＳは、衛星のコンスタレーションとモニタリング及び制御に用いられる地上局のネットワークとからなる宇宙ベースの無線ナビゲーションシステムである。ＧＰＳは、４つ以上のＧＰＳ衛星に対して、遮るもののない見通し線（line of sight）が存在する場合に、地球上の任意の場所又は地球付近にあるＧＰＳ受信機に、ジオロケーション（geolocation：地理上の位置）及び時間の情報を提供する。ＧＰＳシステムは、ユーザに何らかのデータを送信することを要求せず、このＧＰＳシステムは、いずれの電話回線受信網（reception）又はインターネット回線受信網からも独立して動作するものの、これらの技術は、ＧＰＳ測位情報の有用性を向上することができる。しかしながら、ＧＰＳユニットは、誤差の蓄積又は積み重なりの結果としてドリフト（drift：位置ずれ）を被る。加えて、ＧＰＳはＧＰＳ衛星に対する遮るもののない視線を要求するので、悪天候条件、山岳エリア、市街地又は都市エリアは、車両のロケーション又は位置を求めること、又は車両位置特定を識別しようとすることに難題を課す可能性がある。
【０００３】
したがって、当該技術分野において、ＧＰＳを用いる以外でロケーションを検出及び／又は特定する改善された方法が必要とされている。
【発明の概要】
【０００４】
本開示の実施形態は、走行中の車両のロケーション及び方位を求める等の、自律運転応用の状況における高速推測方法のために視覚的特徴記述を提供することに関する。
【０００５】
本開示は、自律運転応用の状況において視覚的特徴記述を提供する高速推測方法について、バイナリである画像記述子を生成することができるとともに、都市環境におけるシーンの鉛直構造のみを考慮することができるという認識に基づいている。具体的には、鉛直線の数を、記述子の基礎とすることができる。例えば、本開示は、隣接ロケーションにおける鉛直線のヒストグラムを用いて、カメラ中心からの種々の角度セグメントにおける鉛直線の有無を符号化するバイナリベクトルを構築する。この記述子は、極めて高速に抽出することができるとともに、ロケーション情報を提供するのに非常に有益である。本方法は、建築物でできた都市の谷間（urban canyons with buildings）において典型的である鉛直線の分布に依拠しており、ここで、ＧＰＳは、誤りを起こしやすいものであると認識されている。
【０００６】
換言すれば、大域的画像記述子の基本的な側面は、或る画像の全ての重要な成分を捕捉する小特徴又はベクトルを構築することである。小特徴を用いることによって、本開示は、或るロケーションから得られた画像を、別のロケーションにおいて得られた画像に対して識別することが可能である。本開示は、実数ではなくバイナリ値（０及び１のみ）を用いて画像記述子を構築し、ここで、特徴記述子は、画像全体についてのものである。そのようなバイナリ記述子は、コンパクトであるだけでなく、計算するのに効率的でもあり、これは特に、実数に対する算術演算をサポートしていない可能性があるＡＳＩＣ及びＦＰＧＡ等の専用ハードウェアについてあてはまる。本開示は、隣接ロケーションにおける鉛直線のヒストグラムを用いて、カメラ中心からの種々の角度セグメントにおける鉛直線の有無を符号化するバイナリベクトルを構築する。本開示のパフォーマンスにより、極めて高速に抽出することができる記述子が提供され、この記述子は、ロケーション情報を提供するのに非常に有益である。本方法は、建築物でできた都市の谷間において典型的である鉛直線の分布に依拠しており、ここで、ＧＰＳは、誤りを起こしやすいものであると認識されている。
【０００７】
本方法は、従来的に用いられるように、照明（lighting：自然照明）の変動の影響を受けにくい線セグメントにのみ依拠することに留意されたい。画像ベース位置特定の基本概念は、以下のとおりである。シーケンス内の各入力画像は、バイナリ表現又はバーコードに変換される。本開示は、クエリ画像のバーコードと、データベース内の画像のバーコードとを、ハミング距離を用いて比較する。クエリ画像のロケーションは、近似的に、データベース内の最も近い画像のロケーションとみなすことができる。旋回分類（turn-classification）について、本開示は、入力が、少数の連続画像フレームからバーコードをスタックすることによって得られるバイナリ行列である、ニューラルネットワークを用いる。
【０００８】
本発明者らによる実現に至る際、本開示は、位置特定が自律地上車両、及び他の産業応用のための重要な機能であるとともに、通常、ＧＰＳ検知、（ジョイントエンコーダからの）ホイールオドメトリ（wheel odometry：車輪オドメトリ）及び慣性検知（ジャイロスコープ及び加速度計）の組み合わせを用いて実行されることを認識した。しかしながら、本開示は、ＧＰＳを用いることに対して少なくとも２つの制限を発見した。例えば、ＧＰＳは、都市環境において不正確である可能性があり、慣性センサはドリフトを起こしやすく、ホイールオドメトリは、いくつかの地形において信頼性に欠く（車輪は、スリップしやすく、埋まりやすい）。
【０００９】
本発明者らによる実現に至るために、多くの異なるタイプの手法及び応用を用いて多くの実験が実施された。例えば、位置特定の目的で、ワイドベースラインマッチング（wide-baseline matching）を用いた実験が行われた。この実験において、インターネット（ウェブ）からの数百万枚のＧＰＳタグ付き（GPS-tagged）画像が使用され、そして、多種多様な異なるタイプの画像特徴を用いてクエリ画像を照合した。異なるタイプの画像特徴のうちのいくつかは、ヒストグラム上の色及びテキスト、線特徴、ｇｉｓｔ記述子、並びに地理的コンテキスト（空、鉛直及び地上への画像ピクセルのラベリング）を含むものであった。他の実験は、大規模画像探索のために局所記述子を大域的記述子に集約するバッグオブワード（bag-of-words）表現を用いた別の手法を含むものであった。しかしながら、上述の手法について、本開示は、多くの問題を発見した。例えば、これらの特徴ベクトルは、都市環境における位置特定及び方位特定に関して、身近な特定のタスクに対して適合されない。さらに、双方の手法は、別の共通した問題も有し、その問題とは、現状用いられている特徴ベクトルは高速比較のためには大き過ぎるので、膨大なコンピュータ時間及び計算が必要となるというものである。換言すれば、ＧＰＳの使用、及び、上述した手法、すなわち位置特定のためのワイドベースラインマッチング手法又はバッグオブワード表現手法のいずれもが、膨大なコンピュータ時間及び計算が必要となることが原因で、本開示の水準には適合しなかった。さらに、ＧＰＳの使用、及び、上述した手法のいずれもが、自律運転応用の状況における高速推測方法のために視覚的特徴記述を提供するのに要求される時間関連性能が不良であることが原因で、今日の技術的応用に用いることができなかった。
【００１０】
本発明者らによる実験に基づいて、ビジュアルオドメトリを用いることにより多くの利点が提供されるという理解に達した。例えば、ビジュアルオドメトリは、カメラ画像のシーケンスから車両モーションを推定し、これらのタイプのセンサに対する自然な補足を提供し、土質力学特性に影響を受けず、フル６ＤＯＦモーション推定を生成し、最も高級な慣性測定ユニット（ＩＭＵ）を除く全てのＩＭＵよりも低いドリフトレートを有する。
【００１１】
上述したように、本発明者らによる実現形態は、都市環境におけるシーンの鉛直構造のみを考慮する大域的画像記述子、すなわちバーコードを生成することを含む。具体的には、鉛直線の数が記述子の基礎であり、ここで、本開示は、車載カメラから画像を捕捉する。本開示のバイナリ記述子は、１２８ビットを用いて画像を記述することが可能であるようになっている。
【００１２】
本開示は、照明の変動の影響を受けにくい線セグメントにのみ依拠する。例えば、本開示の画像ベース位置特定の基本概念は、クエリ画像のバーコードと、データベース内の画像のバーコードとを、ハミング距離を用いて比較することを含む。クエリ画像のロケーションは、近似的に、データベース内の最も近い画像のロケーションとみなすことができる。例えば、本開示は、或る画像をＧＰＳタグ付き画像のデータベースと照合することによって車両のロケーションを発見することとして位置特定を解決した。具体的には、本開示の実施形態は、数千枚の画像に関連付けられたバイナリ記述子のデータベースから、クエリバイナリ記述子について最も一致したものを発見する。この照合に基づいて、本開示は、運転軌道上のロケーションを識別する。
【００１３】
旋回分類について、本開示は、入力が、少数の連続画像フレームからバーコードをスタックすることによって得られるバイナリ行列である、ニューラルネットワークを用いる。旋回分類によって、本開示は、路上車両が左折又は右折を行うか否かを計算するという問題を指す。ビジュアルオドメトリを用いた実験中に、ビジュアルオドメトリを用いる場合の特定の問題が存在し得る。この実験において、画像ペアから６度のカメラモーション（３度は回転に関し、３度は並進に関する）を計算する。これらの問題を克服するために、本開示は、旋回分類についてニューラルネットワークを用いる。
【００１４】
本開示の撮像システムは、一画像の各ビンにおける鉛直エッジの数を示すヒストグラムにおいて画像を変換し、ヒストグラムを閾値処理して（threshold）画像のバイナリ表現を生成することにおいて解決策を提供することができる。単数又は複数の画像バーコードは、計算が高速であり、ビジュアルオドメトリに用いることができる。さらに、画像バーコードは、ニューラルネットワークをトレーニングするのに用いることができる。またさらに、画像バーコードは、奥行き値を用いて補足することができる。また、本発明者らによる画像ベース位置特定は、ＧＰＳに対する補足的な方法として用いることができることも言及しておく。例えば、バーコードは、自律運転応用の状況において迅速かつ高レベルのフィードバックを提供するために用いることができ、ここで、ごく僅かな計算コストでの位置特定及び旋回分類のためにバーコードを用いることができる。
【００１５】
本開示の態様は、動的物体をハンドリングするために、３Ｄ（ＸＹＺ）再構成を４Ｄ（ＸＹＺｔ）再構成に拡張するシステムを用いて、撮像システムを実装することができるということを含む。さらに、本開示の態様は、異なる照明条件（日中／夜間）に、撮像システムを用いることができるということを想定している。またさらに、本開示の態様は、動的視覚センサを用いて高速再構成アルゴリズムに撮像システムを組み込むことができるということを想定している。またさらに、非制御屋外シーンのための、エッジベース、すなわちＤＶＳスタイル、３Ｄモデリングシステム、すなわちＤＶＳベース位置特定。さらに、本開示の撮像システムは、倉庫ロボットナビゲーションシステム及び屋外工場プラントモニタリングシステムに組み込むことができる。
【００１６】
本開示の撮像システムの少なくともいくつかの応用は、屋外自動車駐車空間システム、屋外自動車街路システム、ウォータープラントシステム及び大規模屋内空港システム、工場システム等のシステムに組み込むことができる。さらに、本開示は、単眼カメラ及びステレオカメラを用いて異なる照明条件下のシーンの画像を用いて動作することができることが想定される。
【００１７】
本開示の一実施形態によれば、地理的に位置特定された（geo-located）運転画像シーケンスを含む履歴位置特定辞書データベースを含む参照撮像データが記憶されたメモリを有する撮像システムであって、各参照画像が或る閾値に適用されることでバイナリ表現が生成されるようになっている、撮像システムが提供される。撮像システムは、動的シーンの入力画像のシーケンスを獲得するセンサを備える。撮像システムは、シーケンス内の入力画像ごとに、該入力画像の各ビンにおける鉛直エッジの数を示す、該シーケンス内の各入力画像のヒストグラムを求め、該ヒストグラムを閾値処理して該入力画像のバイナリ表現を生成するエンコーダを更に備える。撮像システムは、１つ以上の入力画像を、データベース内の１つ以上の参照画像に対して照合することによって、シーケンス内の各入力画像のバイナリ表現と、データベース内の各参照画像のバイナリ表現とを比較するビジュアルオドメータを更に備える。ビジュアルオドメータは、１つ以上の入力画像と１つ以上の参照画像との間の一致に基づいて、入力画像のロケーションを求める。
【００１８】
本開示の別の実施形態によれば、参照画像のシーケンスを有する履歴位置特定辞書データベースを含む参照撮像データが記憶されたメモリを有する撮像システムであって、各参照画像が或る閾値に適用されることでバイナリ表現が生成されるようになっている、撮像システムが提供される。撮像システムは、動的シーンの入力画像のシーケンスを獲得するセンサを備える。撮像システムは、シーケンス内の入力画像ごとに、入力画像の各ビンにおける鉛直エッジの数を示す、シーケンス内の各入力画像のヒストグラムを求め、ヒストグラムを閾値処理して入力画像のバイナリ表現を生成するエンコーダを更に備える。撮像システムは、入力画像を、データベース内の対応する参照画像と関連付けることによって、シーケンス内の各入力画像のバイナリ表現と、データベース内の各参照画像のバイナリ表現とを比較して、入力画像の関連ロケーションを特定するビジュアルオドメータを更に備える。最後に、エンコーダの出力インターフェースは、各入力画像の特定された関連ロケーションを出力するか、又は、各入力画像の特定された関連ロケーションをメモリに記憶する。
【００１９】
本開示の別の実施形態によれば、車両が走行している間、車両のロケーションを検出する撮像システムが提供される。撮像システムは、画像のシーケンスを有する履歴位置特定辞書データベースを含む撮像データが記憶されたメモリを有し、各画像が或る閾値に適用されることでバイナリ表現が生成されるようになっている。撮像システムは、動的シーンの入力画像のシーケンスを獲得する、車両に搭載されたセンサを備える。撮像システムは、シーケンス内の入力画像ごとに、入力画像の各ビンにおける鉛直エッジの数を示す、シーケンス内の各入力画像のヒストグラムを求め、ヒストグラムを閾値処理して入力画像のバイナリ表現を生成するエンコーダを更に備える。撮像システムは、入力画像を、データベース内の対応する画像と関連付けることによって、シーケンス内の各入力画像のバイナリ表現と、データベース内の各画像のバイナリ表現とを比較して、入力画像の関連ロケーションを特定するビジュアルオドメータを更に備える。最後に、エンコーダの出力インターフェースは、各入力画像の特定された関連ロケーションを出力するか、又は、各入力画像の特定された関連ロケーションをメモリに記憶する。
【００２０】
ここに開示されている実施形態は、添付図面を参照して更に説明される。示されている図面は、必ずしも一律の縮尺というわけではなく、その代わり、一般的に、ここに開示されている実施形態の原理を示すことに強調が置かれている。
【図面の簡単な説明】
【００２１】
【図１Ａ】本開示の一実施形態による、撮像システムを示すブロック図である。
【図１Ｂ】本開示のいくつかの実施形態による、バイナリ表現（バーコード）に変換される、シーケンス内の各入力画像に関して、トレーニングの更なる詳細を提供する、図１Ａの撮像システムを示すブロック図である。
【図１Ｃ】本開示のいくつかの実施形態による、バイナリ表現（バーコード）に変換される、シーケンス内の参照画像ごとの実行時間に関して更なる詳細を提供する、図１Ａの撮像システムを示すブロック図である。
【図１Ｄ】本開示のいくつかの実施形態による、入力バーコードと、参照バーコード又は辞書バーコードとを、照合のために比較するビジュアルオドメータの実行時間に関して更なる詳細を提供する、図１Ａの撮像システムを示すブロック図である。
【図１Ｅ】本開示のいくつかの実施形態による、図１Ａの撮像システムに利用することができるコンピュータシステムを示すブロック図である。
【図２】本開示のいくつかの実施形態による、所与の画像からバイナリ記述子を抽出するプロセスの種々のステージのうちの１つを示す画像の写真である。
【図３】本開示のいくつかの実施形態による、４つの出力クラス（静止、直進、左折及び右折）を有する、旋回分類３６０のタスクに用いられるディープニューラルネットワークの詳細を示す概略図である。
【図４】本開示の実施形態による、エンコーダの動作の概略図である。
【図５】本開示の実施形態による、代替のコンピュータ又はプロセッサを用いて実施することができる、図１Ａの方法を示すブロック図である。
【発明を実施するための形態】
【００２２】
上記で明らかにされた図面は、ここに開示されている実施形態を記載しているが、この論述において言及されるように、他の実施形態も意図されている。この開示は、限定ではなく代表例として例示の実施形態を提示している。ここに開示されている実施形態の原理の範囲及び趣旨に含まれる非常に多くの他の変更及び実施形態を当業者は考案することができる。
【００２３】
以下の説明は、例示的な実施形態のみを提供し、本開示の範囲も、適用範囲も、構成も限定することを意図していない。そうではなく、例示的な実施形態の以下の説明は１つ以上の例示的な実施形態を実施することを可能にする説明を当業者に提供する。添付の特許請求の範囲に明記されているような開示された主題の趣旨及び範囲から逸脱することなく要素の機能及び配置に行うことができる様々な変更が意図されている。
【００２４】
以下の説明では、実施形態の十分な理解を提供するために、具体的な詳細が与えられる。しかしながら、当業者は、これらの具体的な詳細がなくても実施形態を実施することができることを理解することができる。例えば、開示された主題におけるシステム、プロセス、及び他の要素は、実施形態を不必要な詳細で不明瞭にしないように、ブロック図形式の構成要素として示される場合がある。それ以外の場合において、よく知られたプロセス、構造、及び技法は、実施形態を不明瞭にしないように不必要な詳細なしで示される場合がある。さらに、様々な図面における同様の参照符号及び名称は、同様の要素を示す。
【００２５】
また、個々の実施形態は、フローチャート、フロー図、データフロー図、構造図、又はブロック図として描かれるプロセスとして説明される場合がある。フローチャートは、動作を逐次的なプロセスとして説明することができるが、これらの動作の多くは、並列又は同時に実行することができる。加えて、これらの動作の順序は、再配列することができる。プロセスは、その動作が完了したときに終了することができるが、論述されない又は図に含まれない追加のステップを有する場合がある。さらに、特に説明される任意のプロセスにおける全ての動作が全ての実施形態において行われ得るとは限らない。プロセスは、方法、関数、手順、サブルーチン、サブプログラム等に対応することができる。プロセスが関数に対応するとき、その関数の終了は、呼び出し側関数又はメイン関数へのその機能の復帰に対応することができる。
【００２６】
さらに、開示された主題の実施形態は、少なくとも一部は手動又は自動のいずれかで実施することができる。手動実施又は自動実施は、マシン、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はそれらの任意の組み合わせを用いて実行することもできるし、少なくとも援助することができる。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実施されるとき、必要なタスクを実行するプログラムコード又はプログラムコードセグメントは、マシン可読媒体に記憶することができる。プロセッサ（複数の場合もある）が、それらの必要なタスクを実行することができる。
【００２７】
概説
本開示の実施形態は、走行中の車両のロケーション及び方位を求める自律運転応用の状況における高速推測方法のために視覚的特徴記述を提供することに関する。
【００２８】
本開示は、画像記述子は、バイナリとすることができるとともに、都市環境におけるシーンの鉛直構造のみを考慮することができるという認識に基づいている。具体的には、鉛直線の数を、記述子の基礎とすることができる。例えば、本開示は、隣接ロケーションにおける鉛直線のヒストグラムを用いて、カメラ中心からの種々の角度セグメントにおける鉛直線の有無を符号化するバイナリベクトルを構築する。この記述子は、極めて高速に抽出することができるとともに、ロケーション情報を提供するのに非常に有益である。本方法は、建築物でできた都市の谷間において典型的である鉛直線の分布に依拠しており、ここで、ＧＰＳは、誤りを起こしやすいものであると認識されている。
【００２９】
本発明者らによる実験に基づいて、ビジュアルオドメトリを用いることにより多くの利点が提供されるという認識に達した。例えば、ビジュアルオドメトリは、カメラ画像のシーケンスから車両モーションを推定し、これらのタイプのセンサに対する自然な補足を提供し、土質力学特性に影響を受けず、フル６ＤＯＦモーション推定を生成し、最も高級な慣性測定ユニット（ＩＭＵ）を除く全てのＩＭＵよりも低いドリフトレートを有する。
【００３０】
上述したように、本発明者らによる実現形態は、都市環境におけるシーンの鉛直構造のみを考慮する大域的画像記述子、すなわちバーコードを生成することを含む。具体的には、鉛直線の数が記述子の基礎であり、ここで、本開示は、車載カメラから画像を捕捉する。本開示のバイナリ記述子は、１２８ビットを用いて画像を記述することが可能であるようになっている。
【００３１】
本開示は、照明の変動の影響を受けにくい線セグメントにのみ依拠する。例えば、本発明者らによる画像ベース位置特定の基本概念は、クエリ画像のバーコードと、データベース内の画像のバーコードとを、ハミング距離を用いて比較することを含む。クエリ画像のロケーションは、近似的に、データベース内の最も近い画像のロケーションとみなすことができる。例えば、位置特定のために求解することは、或る画像を、ＧＰＳタグ付き画像のデータベースと照合することによって車両の位置を発見することを含む。具体的には、本開示の実施形態は、数千枚の画像に関連付けられたバイナリ記述子のデータベースから、クエリバイナリ記述子について最も一致したものを識別する。この照合に基づいて、ロケーションは、運転軌道上で識別される。
【００３２】
旋回分類について、本開示は、入力が、少数の連続画像フレームからバーコードをスタックすることによって得られるバイナリ行列である、ニューラルネットワークを用いる。旋回分類によって、本開示は、路上車両が左折又は右折を行うか否かを計算するという問題を指す。ビジュアルオドメトリを用いた実験中に、ビジュアルオドメトリを用いる場合の特定の問題が識別された。この実験において、画像ペアから６度のカメラモーション（３度は回転に関し、３度は並進に関する）を計算する。これらの問題を克服するために、本開示は、旋回分類についてニューラルネットワークを用いる。
【００３３】
本開示の少なくとも１つの撮像システムは、一画像の各ビンにおける鉛直エッジの数を示すヒストグラムにおいて画像を変換し、ヒストグラムを閾値処理して画像のバイナリ表現を生成することにおいて解決策を提供する。画像バーコード（複数の場合もある）は、計算が高速であり、ビジュアルオドメトリに用いることができる。さらに、画像バーコードは、ニューラルネットワークをトレーニングするのに用いることができる。またさらに、画像バーコードは、奥行き値を用いて補足することができる。また、本発明者らによる画像ベース位置特定は、ＧＰＳに対する補足的な方法として用いることができる。例えば、バーコードは、自律運転応用の状況において迅速かつ高レベルのフィードバックを提供するために用いることができ、ここで、本開示は、ごく僅かな計算コストで位置特定及び旋回分類のためにバーコードを用いることができる。
【００３４】
図１Ａ〜図１Ｄは、本開示による、位置特定方法のプロセスを示す撮像システム１００Ａを指している。例えば、図１Ａは、本開示の一実施形態による、撮像システムを示すブロック図である。図１Ａを参照すると、撮像システム１００Ａは、２つの態様、すなわち、前処理すなわち事前決定トレーニング１１３と実行時間１２０とにおいて機能する。メモリ１４０に記憶された前処理ステップ１１３への入力は、以前の運転セッション中に捕捉されたカメラ（図示せず）からの参照画像のシーケンス１１０である。各参照画像は、ロケーション情報（ＧＰＳ座標）に関連付けられている。参照画像シーケンスは、バーコードに変換され（１１２）、高速インデックス付与のための履歴データ構造を含む、履歴位置特定辞書のデータベース１１４に記憶される。
【００３５】
少なくとも１つのプロセッサ１５０を用いて実施される実行時間ステップ１２０の間に、入力信号１０５からの画像が、バーコードに変換され（１２３）、ビジュアルオドメータ１２５を用いて、事前計算辞書すなわちデータベース１１４にクエリされる。特に、ビジュアルオドメータ１２５は、１つ以上の入力画像の入力バーコードと、データベース１１４の１つ以上の参照画像とを、照合のために比較する。入力画像が存在する場合、そのロケーションが報告又は出力される（１２７）。
【００３６】
図１Ｂは、本開示のいくつかの実施形態による、バイナリ表現（バーコード）に変換される、シーケンス内の各入力画像に関して、トレーニングの更なる詳細を提供する、図１Ａの撮像システムを示すブロック図である。具体的には、トレーニング１１３に関して、ステップ１１２が更に開示される。地理的に位置特定された運転画像シーケンス１１０において、各画像１３１は、捕捉されると、地理上のロケーション、すなわち緯度及び経度１３５に関連付けられる。画像１３１がバイナリ値表現バーコード１３３に変換されると、バーコード１３３及び地理上のロケーション１３５の双方は、データベース１１４に記憶される。
【００３７】
図１Ｃは、本開示のいくつかの実施形態による、バイナリ表現（バーコード）に変換される、シーケンス内の参照画像ごとの実行時間に関して更なる詳細を提供する、図１Ａの撮像システムを示すブロック図である。具体的には、実行時間１２０に関して、ステップ１２３が更に開示される。入力画像シーケンス１２１における各画像１７１は、バーコード１７３に変換される。
【００３８】
図１Ｄは、本開示のいくつかの実施形態による、入力バーコードと、参照バーコード又は辞書バーコードとを、照合のために比較するビジュアルオドメータの実行時間に関して更なる詳細を提供する、図１Ａの撮像システムを示すブロック図である。具体的には、実行時間１２０に関して、ステップ１２５が更に開示される。ステップ１２３によって生成されたバーコードが与えられると、そのバーコードが、ステップ１１４によって生成されたデータベース内の全てのエントリと比較される。ステップ１８１のように、エントリごとに、このエントリと当該バーコードとの間の類似度スコアが計算される。次に、ステップ１８３は、最高類似度スコアを有するエントリを選択し、ステップ１８５は、このエントリの地理上のロケーションを出力する。
【００３９】
図１Ｅは、本開示のいくつかの実施形態による、図１Ａの撮像システムに利用することができるコンピュータシステム１００Ｃを示すブロック図である。例えば、図１Ｅは、バス１１３に接続されており、記憶された命令を実行するように構成されたプロセッサ１５０と、プロセッサ１５０によって実行可能である命令を記憶するメモリ１４０とを示している。さらに、システム１００Ｃは、バス１１３に接続された撮像デバイス１７７と通信する撮像インターフェース１７６を備えることができる。ストレージユニット１３１は、参照画像１３２の元のシーケンスと、任意選択で、フィルタシステム１３３とを含むことができる。
【００４０】
任意選択で、システム１００Ｃは、バス１１３に接続されたヒューマンマシンインターフェース１１１に接続された、キーボード１１７とポインティングデバイス／媒体１１９とを備えることができる。また、任意選択で、システム１００Ｃは、バス１１３に接続されたディスプレイデバイス１６７と通信するディスプレイインターフェース１６６を備えることができる。またさらに、システム１００Ｃは、任意選択で、バス１１３に接続された印刷デバイス１８７と通信するプリンタインターフェース１８６を備えることができる。ネットワークインターフェースコントローラ（ＮＩＣ）１５６は、任意選択で、バス１１３を通じてネットワーク１５７に接続するように構成することができる。出力１２７は、とりわけ、コンピュータ１５１の外部に存在するサードパーティディスプレイデバイス１９３、サードパーティ撮像デバイス１９４、及び／又はサードパーティ印刷デバイス１９５にレンダリングすることができる、撮像データ又は他のデータを含むことができる。
【００４１】
図２は、本開示のいくつかの実施形態による、所与の画像からバイナリ記述子を抽出するプロセスの種々のステージを示す写真である。例えば、図２（ａ）は、所与の画像２００を示しており、図２（ｂ）は、鉛直エッジ検出器を適用した後の結果を示している。ここでは、色が明るい程、応答が高いことを意味する。図２（ｃ）は、図２（ｂ）のエッジ応答に、或る閾値よりも高い当該応答が１（白）とマーキングされ、そうでなければ０（黒）とマーキングされるように閾値を適用して、次に、画像列を複数のグループに分割した後の結果を示している。各グループは、２２０の下の括弧によってマーキングされている。２３０に示すように、各グループ内で、閾値よりも高いエッジ応答を有するピクセルの数がカウントされる。全てのグループの計数が２３０のアレイのように集計されると、バイナリベクトルバーコードを形成するように２３０における計数が閾値処理される。例えば、図２（ｄ）において、１を閾値として、アレイ２３０をバイナリアレイ２４０に変換することができる。
【００４２】
図３は、本開示のいくつかの実施形態による、４つの出力クラス（静止、直進、左折及び右折）を有する、旋回分類３６０のタスクに用いられるディープニューラルネットワークの詳細を示す概略図である。例えば、図３は、４つの出力クラス（静止、直進、左折及び右折）を有する、旋回分類３６０のタスクに用いられるディープニューラルネットワークの詳細を提供する。入力データ３００は、２つの畳み込み層３１０及び３２０に渡される。カーネル、ＲｅＬＵ及びプーリングのパラメーター設定が示されている。２つの畳み込み層に後続して、異なる数の出力を有する３つの全結合層３３０、３４０、及び３５０が用いられる。最終層において、ソフトマックスが用いられて旋回についての分類３６０が得られる。
【００４３】
図４は、本開示の実施形態による、図１Ａの方法のためのエンコーダの代替のコンピュータ又はプロセッサを示すブロック図である。エンコーダ４１１は、プロセッサ４４０、コンピュータ可読メモリ４１２、ストレージ４５８、並びに、ディスプレイ４５２及びキーボード４５１とのユーザインターフェース４４９を備え、これらは、バス４５６を通じて接続されている。例えば、プロセッサ４４０及びコンピュータ可読メモリ４１２と通信するユーザインターフェース４４９は、ユーザによってユーザインターフェース４５７の表面、キーボード表面から入力を受け取ると、データを取得してコンピュータ可読メモリ４１２に記憶する。
【００４４】
メモリ４１２は、プロセッサによって実行可能である命令、履歴データ、並びに、本開示の方法及びシステムによって利用することができる任意のデータを記憶することができることが想定される。プロセッサ４４０は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスタ、又は任意の数の他の構成とすることができる。プロセッサ４４０は、バス４５６を通じて１つ以上の入力及び出力デバイスに接続することができる。メモリ４１２は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリ、又は他の任意の適したメモリシステムを含むことができる。
【００４５】
引き続き図４を参照すると、ストレージデバイス４５８は、プロセッサによって用いられる補助データ及び／又はソフトウェアモジュールを記憶するように構成することができる。例えば、ストレージデバイス４５８は、本開示に関して上述した履歴データ及び他の関連データを記憶することができる。付加的又は代替的に、ストレージデバイス４５８は、本開示に関して上述したデータと類似の履歴データを記憶することができる。ストレージデバイス４５８は、ハードドライブ、光学ドライブ、サムドライブ、ドライブのアレイ、又はこれらの任意の組み合わせを含むことができる。
【００４６】
システムは、バス４５６を通じて、任意選択で、ディスプレイデバイス（図示せず）にシステムを接続するように構成されたディスプレイインターフェース（図示せず）にリンクさせることができ、ここで、ディスプレイデバイスは、とりわけ、コンピュータモニタ、カメラ、テレビジョン、プロジェクタ、又はモバイルデバイスを含むことができる。
【００４７】
エンコーダ４１１は、電源４５４を備えることができ、応用に応じて、電源４５４は、任意選択で、エンコーダ４１１の外部に配置することができる。
【００４８】
引き続き図４を参照すると、ネットワークインターフェースコントローラ（ＮＩＣ）４３４を、バス４５６を通じて、ネットワーク４３６に接続するように構成することができ、とりわけデータ又は他のデータを記憶及び／又は更なる処理のためにストレージシステム４５８内に記憶することができる。さらに、データ又は他のデータは、受信機４４６（又は外部受信機４３８）から無線又は有線で受信することもできるし、送信機４４７（又は外部送信機４３９）を介して無線又は有線で送信することもでき、受信機４４６及び送信機４４７は、双方ともバス４５６を通じて接続されている。さらに、ＧＰＳ４０１を、バス４５６を介してエンコーダ４１１に接続することができる。エンコーダ４１１は、入力インターフェース４０８を介して外部検知デバイス４４４及び外部入力／出力デバイス４４１に接続することができる。エンコーダ４１１は、他の外部コンピュータ４４２に接続することができる。出力インターフェース４０９を、プロセッサ４４０から処理済みデータを出力するのに用いることができる。
【００４９】
図５は、本開示の実施形態による、代替のコンピュータ又はプロセッサを用いて実施することができる、図１Ａの方法を示すブロック図である。コンピュータ５１１は、プロセッサ５４０、コンピュータ可読メモリ５１２、ストレージ５５８、並びに、ディスプレイ５５２及びキーボード５５１とのユーザインターフェース５４９を備え、これらは、バス５５６を通じて接続されている。例えば、プロセッサ５４０及びコンピュータ可読メモリ５１２と通信するユーザインターフェース５４９は、ユーザによってユーザインターフェース５４９の表面、キーボード表面から入力を受け取ると、測定データを取得してコンピュータ可読メモリ５１２に記憶する。
【００５０】
メモリ５１２は、プロセッサによって実行可能である命令、履歴データ、並びに、本開示の方法及びシステムによって利用することができる任意のデータを記憶することができることが想定される。プロセッサ５４０は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスタ、又は任意の数の他の構成とすることができる。プロセッサ５４０は、バス５５６を通じて１つ以上の入力及び出力デバイスに接続することができる。メモリ５１２は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリ、又は他の任意の適したメモリシステムを含むことができる。
【００５１】
引き続き図５を参照すると、ストレージデバイス５５８は、プロセッサによって用いられる補助データ及び／又はソフトウェアモジュールを記憶するように構成することができる。例えば、ストレージデバイス５５８は、履歴デバイスデータ、及び、当該デバイスのマニュアル等の他の関連デバイスデータを記憶することができ、ここで、デバイスは、本開示に関して上述した測定データを得ることが可能である検知デバイスである。付加的又は代替的に、ストレージデバイス５５８は、測定データと類似の履歴データを記憶することができる。ストレージデバイス５５８は、ハードドライブ、光学ドライブ、サムドライブ、ドライブのアレイ、又はこれらの任意の組み合わせを含むことができる。
【００５２】
システムは、バス５５６を通じて、任意選択で、ディスプレイデバイス（図示せず）にシステムを接続するように構成されたディスプレイインターフェース（図示せず）にリンクさせることができ、ここで、ディスプレイデバイスは、とりわけ、コンピュータモニタ、カメラ、テレビジョン、プロジェクタ、又はモバイルデバイスを含むことができる。
【００５３】
コンピュータ５１１は、電源５５４を備えることができ、応用に応じて、電源５５４は、任意選択で、コンピュータ５１１の外部に配置することができる。プリンタインターフェース５５９もバス５５６を通じて接続することができるとともに、印刷デバイス５３２に接続するように構成することができ、ここで、印刷デバイス５３２は、とりわけ、液体インクジェットプリンタ、固体インクプリンタ、大規模商用プリンタ、サーマルプリンタ、ＵＶプリンタ、又は昇華型プリンタ（dye-sublimation printer）を含むことができる。ネットワークインターフェースコントローラ（ＮＩＣ）５３４が、バス５５６を通じてネットワーク５３６に接続するように構成され、ここで、とりわけ測定データ又は他のデータを、コンピュータ５１１の外部のサードパーティディスプレイデバイス、サードパーティ撮像デバイス、及び／又はサードパーティ印刷デバイス上にレンダリングすることができる。
【００５４】
引き続き図５を参照すると、とりわけ測定データ又は他のデータは、ネットワーク５３６の通信チャネルを通じて送信し、及び／又は記憶及び／又は更なる処理のためにストレージシステム５５８内に記憶することができる。さらに、測定データ又は他のデータは、受信機５４６（又は外部受信機５３８）から無線又は有線で受信することもできるし、送信機５４７（又は外部送信機５３９）を介して無線又は有線で送信することもでき、受信機５４６及び送信機５４７は、双方ともバス５５６を通じて接続されている。コンピュータ５１１は、入力インターフェース５０８を介して外部検知デバイス５４４及び外部入力／出力デバイス５４１に接続することができる。コンピュータ５１１は、他の外部コンピュータ５４２に接続することができる。出力インターフェース５０９を、プロセッサ５４０から処理済みデータを出力するのに用いることができる。
【００５５】
本開示の上記で説明した実施形態は、多数の方法のうちの任意のもので実施することができる。例えば、実施形態は、ハードウェア、ソフトウェア又はそれらの組み合わせを用いて実施することができる。請求項の要素を修飾する、特許請求の範囲における第１、第２等の序数の使用は、それ自体で、１つの請求項の要素の別の請求項の要素に対する優先順位も、優位性も、順序も暗示するものでもなければ、方法の動作が実行される時間的な順序も暗示するものでもなく、請求項の要素を区別するために、単に、或る特定の名称を有する１つの請求項の要素を、同じ（序数の用語の使用を除く）名称を有する別の要素と区別するラベルとして用いられているにすぎない。
【図１Ａ】
0006785985.tif 000002
【図１Ｂ】
0006785985.tif 000003
【図１Ｃ】
0006785985.tif 000004
【図１Ｄ】
0006785985.tif 000005
【図１Ｅ】
0006785985.tif 000006
【図２】
0006785985.tif 000007
【図３】
0006785985.tif 000008
【図４】
0006785985.tif 000009
【図５】
0006785985.tif 000010