(57)【要約】  車両に結合されたカメラを使用して交通の画像を取得し、移動しているオブジェクトと静止しているオブジェクトとを区別することなく点追跡結合精度を改善するために、交通参加者の連続するオクルージョンモードを使用してオクルージョンの連続したモデルを生成し、オブジェクト追跡における可視性制約を処理するために連続オクルージョンモデルを適用し、３Ｄローカライズ精度を改善するために、点追跡結合及びソフトオブジェクト追跡モデル化を組み合わせる、交通における車両の路上シーン認識のためのシステム及び方法を開示する。
2017535873.tif 000002
【特許請求の範囲】
【請求項１】
交通における車両の路上シーン認識のための方法であって、
車両と連動するカメラを用いて交通の画像を取得し、
移動しているオブジェクトと静止しているオブジェクトとを区別することなく点追跡結合精度を改善するために、交通参加者の連続するオクルージョンモードを用いてオクルージョンの連続したモデルを生成し、
オブジェクト追跡における可視性制約を処理するために連続オクルージョンモデルを適用し、
３Ｄローカライズ精度を改善するために、点追跡結合とソフトオブジェクト追跡モデル化とを組み合わせる方法。
【請求項２】
オクルージョン関係をモデル化するために物理的な洞察を用いる、請求項１に記載の方法。
【請求項３】
交通参加者（ＴＰ）を占有関数にしたがって反射される半透明のオブジェクトとして取り扱う、ＴＰの占有モデルを用いる、請求項１に記載の方法。
【請求項４】
可視点を処理するための反射モデルを用いる、請求項１に記載の方法。
【請求項５】
シーンにおける全ての他のＴＰからのオクルージョンを表す透過モデルを用いる、請求項１に記載の方法。
【請求項６】
ＴＰに対する点追跡のソフト割当てを決定するためにモデルを適用する、請求項１に記載の方法。
【請求項７】
オブジェクト検出スコアにおけるオクルージョン関係を考慮するためにモデルを適用する、請求項１に記載の方法。
【請求項８】
遷移制約及び衝突制約を組み込むエネルギーと共に、点追跡及び検出モデルからのエネルギーを用いた３Ｄローカリゼーションを適用する、請求項１に記載の方法。
【請求項９】
オブジェクトを半透明エンティティとして取り扱う、請求項１に記載の方法。
【請求項１０】
不透明性がその中心で最大であり、エッジに向かって透明になる半透明の３Ｄ楕円としてオブジェクトをモデル化し、
Ｌ（・）を
【数１】
2017535873.tif 000057
で与えられるロジスティック関数とし、
【数２】
2017535873.tif 000058
をマハラノビス距離としたとき、
【数３】
2017535873.tif 000059
として、ｐを中心とする交通参加者に対応する位置ｘの占有率をモデル化する、請求項９に記載の方法。
【請求項１１】
反射及び透過をオクルージョンをモデル化するためのソフト方式として考慮する画像形成モデルを定義する、請求項１に記載の方法。
【請求項１２】
画像中に点が出現したことを決定する反射確率モデルを定義する、請求項１に記載の方法。
【請求項１３】
逆投影光の経路中における中間オブジェクトによるオクルージョンを取り扱うためのソフト方式を提案する透過確率モデルプロセスを定義する、請求項１に記載の方法。
【請求項１４】
複数の点をソフト方式で様々な交通参加者に割り当てるための点追跡結合エネルギーを定義する、請求項１に記載の方法。
【請求項１５】
オクルージョンを考慮するための検出バウンディングボックス及びスコアを確率的に調整するためのオブジェクト追跡エネルギーを定義する、請求項１に記載の方法。
【請求項１６】
点における自動車の向きと車線に対する接線との間の内積によってエネルギーを定義する、請求項１に記載の方法。
【請求項１７】
近傍の車線のセットを
【数４】
2017535873.tif 000060
とし、
道路の幅を表す定数を
【数５】
2017535873.tif 000061
としたとき、
【数６】
2017535873.tif 000062
を決定する、請求項１６に記載の方法。
【請求項１８】
複数のエネルギーを、衝突エネルギー及び遷移エネルギーと、サイズプライアと共に結合するローカライズフレームワークを適用する、請求項１に記載の方法。
【請求項１９】
平均ＴＰ寸法を
【数７】
2017535873.tif 000063
とし、
対応共分散行列を
【数８】
2017535873.tif 000064
としたとき、
プライアエネルギー
【数９】
2017535873.tif 000065
を決定する、請求項１８に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この出願は、２０１４年１１月１３日に出願した米国特許仮出願６２／０７９２６８号、２０１５年４月２２日に出願した米国特許仮出願６２／１５１０９７号及び２０１５年１０月９日に出願した米国実用出願１４／８７９２６４号を基礎とし、それらの開示の全てをここに取り込む。
【０００２】
本発明は路上シーン認識に関する。
【背景技術】
【０００３】
３Ｄシーン認識における主要な目的の１つは、複雑なシーンにおけるオブジェクトの３Ｄ位置及び方向をローカライズすることである。例えばオブジェクト位置及びラフインターセクショントポロジー（rough intersection topology）を同時に決定するため、ステレオ画像を用いて複数のビジュアルキュー（visual cues）が組み合わされる。モノキュラ（monocular）ビデオからの路上シーンにおける３Ｄローカリゼーションは、自律運転におけるアプリケーションにとって重要な課題である。また、従来のシステムではモノキュラフレームワークも考慮している。特に、オクルージョン（occlusion）は部分的なオブジェクト検出器を考慮することで処理される。注釈付き（annotated）ＣＡＤモデルに基づくオブジェクトの詳細パーツベースの表現は、オブジェクト間の相互オクルージョンに関する推論を許容する、モノキュラシーンの認識のために使用される。
【発明の概要】
【０００４】
一態様では、車両に取り付けられたカメラを用いて交通の画像を取得し、移動しているオブジェクトと静止しているオブジェクトとを区別することなく点追跡結合（point track association）精度を改善するために、交通参加者（traffic participants）の連続するオクルージョンモードを用いてオクルージョンの連続したモデルを生成し、オブジェクト追跡における可視性制約を処理するために連続オクルージョンモデルを適用し、３Ｄローカライズ精度を改善するために、点追跡結合とソフトオブジェクト追跡モデリングとを組み合わせる、交通における車両の路上シーン認識のためのシステム及び方法を開示する。
【０００５】
他の態様では、路上シーンにおける交通参加者の３Ｄローカライズを予測するために、確率的なグラフィカルモデルベースシステムを用いる。本システムでは、オブジェクト検出、点追跡、エゴモーション、予測されるグラウンドトゥルース、ＧＰＳ及び地図情報を入力として用いる。本システムは、入力が与えられると、交通参加者の特徴（高さ、幅及び長さ）と共に、該交通参加者の６ＤＯＦ  ３Ｄローカライゼーションを決定する。ソフトオクルージョンモデルは、空間における領域を反射確率及び透過確率の観点で観察することで処理する。本出願人らは、提案するモデルをＫＩＴＴＩデータセット上で試験及びトレーニングし、該オクルージョンモデルがバウンディングボックスのベースラインメソッドよりも良好に動作することを明らかにする。また、本出願人らは、モノキュラビデオ入力を用いた自身の３Ｄローカライズ結果が、ステレオ入力を用いる（Ｇｅｉｇｅｒ  ２０１４）と同等であることを明らかにする。
【０００６】
本システムの利点は、以下のうちの１つまたは複数を含む。モノキュラフレームワークは、連続した空間におけるオクルージョンの物理的なモデリングを用いるため、連続する最適化を、より一般的で、より拡張可能で、より適したものにする。
【０００７】
本システムは、通常は無視されるオクルージョンを正確に処理できるため、より正確である。また、本システムは、高価なトレーニングを必要としないため、実用的であり、拡張可能である。さらに、本システムは、離散フレームワークにおける複雑な推論を必要としないため、高速である。点追跡結合のためのモーションセグメンテーションは、静止しているオブジェクトにも対処できる。
【図面の簡単な説明】
【０００８】
【図１】図１は、路上シーン認識アプリケーションの自動車等のオブジェクトの３Ｄローカライズにおけるオクルージョンを処理するためのシステムの一例を示す図である。
【図２】図２は、交通参加者用の連続オクルージョンモデルの一例を示す図である。
【図３】図３は、画像形成モデルエンジンの一例を示す図である。
【図４】図４は、画像中に点が出現したことを決定する反射確率モデルエンジンの一例を示す図である。
【図５】図５は、逆投影光の経路中における中間オブジェクトによるオクルージョンを取り扱うための透過確率モデルエンジンの一例を示す図である。
【図６】図６は、複数の点をソフト方式で様々な交通参加者（ＴＰ）に割り当てることができる点追跡結合エネルギーの一例を示す図である。
【図７】図７は、オクルージョンを考慮するための検出バウンディングボックス及びスコアを確率的に調整できるオブジェクト追跡エネルギーの一例を示す図である。
【図８】図８は、上記エネルギーをサイズプライア（size prior）と共に衝突エネルギー及び遷移エネルギー等の他のエネルギーと共に結合するローカライズフレームワークの一例を示す図である。
【図９】図９は、スマート自動車の一例を示す図である。
【発明を実施するための形態】
【０００９】
図１は、路上シーン認識アプリケーションの自動車等のオブジェクトの３Ｄローカライゼーションにおけるオクルージョンを処理するためのシステムを例示している。本システムでは、画像形成モデルエンジン１０１、反射確率モデルエンジン１０２及び透過確率モデルエンジン１０３を備える、交通参加者の連続オクルージョンモデルエンジン１００を用いる。連続オクルージョンモデルエンジン１００及びそのコンポーネントの詳細は以下で説明する。
【００１０】
車両のオンボードカメラで撮られた入力ビデオは、１つはモノキュラＳＦＭからの２Ｄ点追跡へ提供され、もう１つは検出による２Ｄオブジェクト追跡のために２Ｄオブジェクト追跡モジュールへ提供される。２Ｄ点追跡は、オクルージョン認識点追跡結合ユニット２００に情報を提供し、２Ｄオブジェクト追跡は、オクルージョン認識オブジェクト追跡モデリングユニット３００を駆動する。ユニット２００及び３００は、交通参加者の連続オクルージョンモデルエンジン１００からデータを受信する。ユニット２００及び３００の出力は、オクルージョン認識３Ｄローカライゼーション４００に提供される。
【００１１】
本システムは、交通参加者のオクルージョンの完全に連続するモデルを提供する。この連続するオクルージョンモードを用いて、移動しているオブジェクトと静止しているオブジェクトとを区別する必要なく点追跡結合の精度が改善される。連続オクルージョンモデルは、オブジェクト追跡における可視性制約を処理する。点追跡結合及びソフトオブジェクト追跡モデリングは、３Ｄローカライゼーションを改善するために組み合わされる。物理的な洞察を用いて以下の（ａ）〜（ｆ）を含むオクルージョン関係がモデル化される。
【００１２】
（ａ）交通参加者（ＴＰ）を占有関数にしたがって反射される半透明のオブジェクトとして取り扱う、交通参加者（ＴＰ）の占有モデルエンジン
（ｂ）可視点を処理するための反射モデルエンジン
（ｃ）シーン中における他の全てのＴＰからのオクルージョンを表現するための透過モデルエンジン
（ｄ）ＴＰに対する点追跡のソフト割当ての判定に用いられる上記モデルエンジン
（ｅ）オブジェクト検出スコアにおけるオクルージョン関係を構成する上記モデルエンジン
（ｆ）遷移及び衝突制約を含むエネルギーと共に、上記点追跡及び検出モデルエンジンからのエネルギーを用いる３Ｄローカライゼーション。
【００１３】
図２は、交通参加者の連続オクルージョンモデルエンジン１００を例示したものである。このオクルージョンモデルエンジンは、半透明なエンティティとして取り扱われるＴＰに対して定義される。
【００１４】
図３は、オクルージョンをモデル化するためのソフト方式として、反射及び透過から成る画像形成モデルエンジン１０１を例示したものである。
【００１５】
図４は、画像中に点が出現したときを判定する反射確率モデルエンジン１０２を例示したものである。
【００１６】
図５は、逆投影線の経路中における中間オブジェクトによるオクルージョンを取り扱うためのソフト方式を用いる透過確率モデルエンジン１０３を例示したものである。
【００１７】
図６は、複数の点をソフト方式で様々なＴＰに割り当てることができる点追跡結合エネルギー２００を例示したものである。
【００１８】
図７は、オクルージョンを構成する検出バウンディングボックス及びスコアを確率的に調整できるオブジェクト追跡エネルギー３００を例示したものである。
【００１９】
図８は、上記エネルギーをサイズプライアと共に、衝突及び遷移エネルギー等の他のエネルギーと共に結合するローカライズフレームワーク４００を例示したものである。
【００２０】
以下、図２〜８について詳細に説明する。
モーションセグメンテーション及びマルチボディＳＦＭ
本出願人らのオクルージョンモデリングのためのアプリケーションは、複数のオブジェクトを有するシーンにおける点追跡結合を決定することである。移動しているオブジェクトの場合、これはモーションセグメンテーションの範囲内である。また、これは、点軌道に基づくオブジェクトセグメンテーション等の他のアプリケーションを動機付ける。モーションセグメンテーションは、マルチボディＳＦＭ（Structure from Motion）フレームワーク内で使用される。本出願人らのシステムは、移動しているオブジェクトと静止しているオブジェクトとを区別せず、点追跡を個々のオブジェクトに結び付けるための３Ｄオブジェクト形状に起因するオクルージョンについて明確に論じる。
モデルエンジン
以下は、本出願人らのモーションセグメンテーションの詳細な説明であり、以下の表記が使用される。
【００２１】
【表１】
2017535873.tif 000003
【００２２】
目的は、様々なエビデンス
【００２３】
【数１】
2017535873.tif 000004
【００２４】
が与えられると、最も起りそうな交通参加者（ＴＰ）の状態を見出すことである。
【００２５】
数学的には、
【００２６】
【数２】
2017535873.tif 000005
【００２７】
ベイズのルール
【００２８】
【数３】
2017535873.tif 000006
【００２９】
を見出すことである。
【００３０】
（１）においてグラフィカルモデルに照らして条件付き独立と見なす。
【００３１】
【数４】
2017535873.tif 000007
【００３２】
同様の目的関数は負の対数領域で公式化できる。
【００３３】
【数５】
2017535873.tif 000008
【００３４】
交通参加者の占有モデル
本出願人らは、直観的に交通参加者が高い占有確率で３Ｄ空間の領域に存在すると考える。また、占有する不確実性を半透明関数としてモデル化し、オブジェクトで占有される可能性がより高い領域はより不透明と見なし、自由空間である可能性がより高い領域はより透明であるとする。この知見に基づいて、本出願人らは、不透明性がその中心で最大であり、エッジに向かって低下する半透明の３Ｄ楕円としてオブジェクトをモデル化する。詳細には、本出願人らは、
【００３５】
【数６】
2017535873.tif 000009
【００３６】
として、ｐを中心とする交通参加者に対応する位置ｘの占有率をモデル化する。ここで、Ｌ（・）は、
【００３７】
【数７】
2017535873.tif 000010
【００３８】
で与えられるロジスティック関数であり、
【００３９】
【数８】
2017535873.tif 000011
【００４０】
は、マハラノビス（Mahalanobis）距離である。本出願人らは、オブジェクト中心からある距離を隔ててロジスティック関数をドロップするための値を設定する。Σｉで見出される楕円の広がりは、交通参加者の寸法に依存する。オブジェクト寸法から計算するための追加資料を参照されたい。
画像形成
シーンの上記占有率が与えられ、２つの条件が厳密に満たされると、カメラにおけるオブジェクト上の点が観察される。第１の条件は、観察される画像ピクセルからの逆投影光がオブジェクトに到達するまで自由空間を透過することである。第２の条件は、十分に不透明なオブジェクト表面からの光が反射することである。より正式には、オブジェクトＯｉ上の点ｘｊの観察確率は、
【００４１】
【数９】
2017535873.tif 000012
【００４２】
で与えられる。
【００４３】
反射確率は観察するオブジェクトの存在を確かなものとし、透過確率はオクルージョンのモデル化を可能にする。次に、これらの２つの関数の形態について説明する。
反射確率
画像中のピクセルｕｊで観察される３Ｄ点を考察する。
【００４４】
【数１０】
2017535873.tif 000013
【００４５】
をカメラ中心から逆投影光と平行な単位ベクトルに対応するものとする。そして、オブジェクトＯｉによる光
【００４６】
【数１１】
2017535873.tif 000014
【００４７】
と平行な深さλにおける反射確率は、オブジェクトのグラディエント（gradient）である占有関数
【００４８】
【数１２】
2017535873.tif 000015
【００４９】
で決定される。
【００５０】
【数１３】
2017535873.tif 000016
【００５１】
max｛｝は、光とは逆方向のグラディエントに起因する負の確率がクリップオフされ、関数の二乗が滑らかにゼロに近づくことを保証する。不透明なオブジェクトの極端な事例では、上記が（二乗）ランバート反射に戻ることに留意する。
透過確率
厚さα、密度ρ及び不透明性βの材料を通過する光の透過のモデルエンジンは、ベール−ランベルト法則によって与えられる。
【００５２】
【数１４】
2017535873.tif 000017
【００５３】
シーン占有率の本出願人らの公式化では、シーン点における不透明性及び密度の両方が総占有関数
【００５４】
【数１５】
2017535873.tif 000018
【００５５】
の範囲内に封入される。さらに、本出願人らの占有関数の領域は、不透明領域βの代わりに［０，１］である。したがって、本出願人らは、ｅ−βρを透明性関数１−ｆｏｃｃ（ｘｊ）に置き換え、その結果として、短い距離ｄλにわたる透過確率は、
【００５６】
【数１６】
2017535873.tif 000019
【００５７】
で与えられる。
【００５８】
逆投影光
【００５９】
【数１７】
2017535873.tif 000020
【００６０】
と平行な深さλにおける３Ｄ点ｘｊに対応する画像点ｕｊに対して、光は確率
【００６１】
【数１８】
2017535873.tif 000021
【００６２】
で空間を通過しなければならない。ここで、
【００６３】
【数１９】
2017535873.tif 000022
【００６４】
は、０からλまでの乗法的積分を表している。
【００６５】
乗法的積分は、対数領域における単純な積分である。
【００６６】
【数２０】
2017535873.tif 000023
【００６７】
実際には、透過確率（１１）のための積分は数値的に算出するのが困難である。したがって、本出願人らは、透過確率の挙動を近似するのに合理的なシグモイド（sigmoid）関数の積の形態におけるパラメータ化を選択する。
【００６８】
【数２１】
2017535873.tif 000024
【００６９】
ここで、Ｌｕ（．）は画像領域におけるシグモイドであり、
【００７０】
【数２２】
2017535873.tif 000025
【００７１】
及びΓｉは画像中のオブジェクトＯｉの楕円上の投影を表し、Ｌλ（．）は深さ領域におけるシグモイドであり、ｖｉはオブジェクトＯｉの平均深さである。すなわち
【００７２】
【数２３】
2017535873.tif 000026
【００７３】
である。
【００７４】
したがって、本出願人らは、特定の光と平行に存在するシーン中の全ての交通参加者によるオクルージョンの影響を効果的に捕らえるための透過確率をモデル化する。本出願人らは、本出願人らの反射確率及び透過確率が連続関数であることを繰り返し言及し、次の節で説明するように、本出願人らによる結合及び３Ｄオブジェクトローカライズの連続するエネルギー関数を定義できるようにする。
【００７５】
次に、本出願人らは、オブジェクトローカライズのための連続するエネルギーを考察する。
オクルージョンを伴う点追跡エネルギー
本出願人らは、結合確率（association probability）に対して予期される再投影誤差として、明確なオクルージョン推論を用いて連続する点追跡エネルギーをモデル化する。
【００７６】
【数２４】
2017535873.tif 000027
【００７７】
ここで、α（ｉｊ）（λ）は、深さλにおけるｊ番目の点とｉ番目のＴＰの結合確率であり、
【００７８】
【数２５】
2017535873.tif 000028
【００７９】
は、
【００８０】
【数２６】
2017535873.tif 000029
【００８１】
で与えられる再投影誤差である。
【００８２】
【数２７】
2017535873.tif 000030
【００８３】
及び
【００８４】
【数２８】
2017535873.tif 000031
【００８５】
は、３Ｄ点をカメラ画像に投影する、並びに逆にカメラ画像を３Ｄ点に投影する、投影関数及び逆投影関数を表している。逆投影
【００８６】
【数２９】
2017535873.tif 000032
【００８７】
は、点ｕ（ｉ）（ｔ）及び未知の深さλの両方に依存することに留意されたい。また、逆投影は時間ｔにおけるＴＰポーズに依存し、投影は異なる時間ｔ＋１におけるポーズ（pose）に依存することに留意されたい。
オクルージョンを有するオブジェクト検出エネルギー
通常、オブジェクト検出に続いて、同様のバウンディングボックス（bounding box）の廃棄をもたらす非最大抑制（non-maximal suppressed）がある。他のキューを用いて検出を同時に最適化する場合、通常、単一のバウンディングボックスを用いて実施することは望ましくない。したがって、本出願人らは、ガウス様ロジスティック関数の多様相和（multi-modal sum）を用いて全てのバウンディングボックス検出を近似することでそれらを維持する。本出願人らは、
【００８８】
【数３０】
2017535873.tif 000033
【００８９】
の形態のパラメータ関数を当てはめ、非最大抑制された出力からの初期化を用いた非線形誤差最小化によってスコアを検出する。ここで、
【００９０】
【数３１】
2017535873.tif 000034
【００９１】
は、単一のバウンディングボックスを［ｘｍｉｎ，ｙｍｉｎ，ｘｍａｘ，ｙｍａｘ］Ｔとして表す４Ｄベクトルの複数のｋモードのうちの１つである。最適化は、
【００９２】
【数３２】
2017535873.tif 000035
【００９３】
、ｘｍａｘ≧ｘｍｉｎ及びｙｍａｘ≧ｙｍｉｎの対称性及び正定性（positive definiteness）で制約される。
オクルージョン推論を用いた検出スコア
４節で説明した本出願人らのモデル
【００９４】
【数３３】
2017535873.tif 000036
【００９５】
を用いて、ＴＰｉ上に点が存在すると仮定し、平均深さ
【００９６】
【数３４】
2017535873.tif 000037
【００９７】
を用いると、オクルードされる（occluded）画像上の点ｕの確率は、
【００９８】
【数３５】
2017535873.tif 000038
【００９９】
で計算できる。
【０１００】
本出願人らが提案する検出バウンディングボックスの一部がオクルードされることが知られている場合、オブジェクト端部のローカライズに関する検出スコアに対する信頼度は低くすることが望ましい。オクルージョンが検出バウンディングボックスの境界でしばしば発生すると見なすと、オクルードされた境界周囲の平均検出境界の信頼度は低くすることが望ましい。いくつかの最も単純な方法のうちの１つは、オクルージョンに比例する適切な倍率によってΣｊの対角線成分をスケール化することである。しかしながら、これはオクルージョンが非対角線の項にどのように影響するかを適切にモデル化しない。したがって、本出願人らは、個々の方向におけるオクルージョンの測定値を提供するオクルージョン共分散行列を計算する、共分散追加モデルを選択する。
【０１０１】
連続オクルージョンによってスケール化された本出願人らの検出スコアをモデル化しなおすため、本出願人らはＧＭＭ  Ｓ（．）から仮定検出境界（hypothesized detection boundaries）における
【０１０２】
【数３６】
2017535873.tif 000039
【０１０３】
をサンプリングし、検出境界共分散行列を
【０１０４】
【数３７】
2017535873.tif 000040
【０１０５】
だけ増加させる。ここで、
【０１０６】
【数３８】
2017535873.tif 000041
【０１０７】
である。検出スコアにおける新しい共分散行列は、
【０１０８】
【数３９】
2017535873.tif 000042
【０１０９】
で与えられる。
【０１１０】
オクルージョンを有する検出スコアＧＭＭは、共分散行列を
【０１１１】
【数４０】
2017535873.tif 000043
【０１１２】
に置き換えることで与えられる。
【０１１３】
検出スコアのエネルギーは、単純に検出スコアの逆数で得られる。
【０１１４】
【数４１】
2017535873.tif 000044
【０１１５】
車線エネルギー
車線はスプラインとしてモデル化される。ここで、車線検出における信頼度は、車線中心から距離が離れるにつれて小さくなると仮定する。エネルギーは、その点における自動車の向きと車線の接線（tangent）との間の内積によって与えられる。
【０１１６】
【数４２】
2017535873.tif 000045
【０１１７】
ここで、
【０１１８】
【数４３】
2017535873.tif 000046
【０１１９】
は、隣接車線のセットであり、
【０１２０】
【数４４】
2017535873.tif 000047
【０１２１】
は、道路の幅を表す定数である。
遷移確率
ダイナミクス制約には、スムーズトラジェクトリー（smooth trajectory）だけでなく、ホロノミック拘束を適用することになる。以下のエネルギーは、位置の変更がそれ以前に向いている方向でない場合はペナルティをもたらす。
【０１２２】
【数４５】
2017535873.tif 000048
【０１２３】
以下のエネルギーは、位置及び向きの変化に対してペナルティをもたらすが、速度の変化に対するペナルティは、はるかに良好な近似値である。しかしながら、自動車の状態空間を拡張して速度を含むことを意味することになるマルコフ設定では、
【０１２４】
【数４６】
2017535873.tif 000049
【０１２５】
である。
【０１２６】
その結果、ダイナミクスは重み付けされたホロノミック拘束及び滑らかさ制約の組合せによってモデル化される。
【０１２７】
【数４７】
2017535873.tif 000050
【０１２８】
衝突エネルギー
バタチャリア係数
【０１２９】
【数４８】
2017535873.tif 000051
【０１３０】
は、２つの分布及びｑ（ｘ）の類似性の測定値である。ＴＰを鳥瞰図（ＢＥＶ：Birds eye view）におけるガウシアンとして表す場合、類似性は衝突の測定値である。厳密に重畳する分布は係数として１をもたらす。
【０１３１】
【数４９】
2017535873.tif 000052
【０１３２】
であり、
【０１３３】
【数５０】
2017535873.tif 000053
【０１３４】
である。
サイズプライア
プライアは、他にも多数あるが自動車上のサイズプライアを含むことができる。
【０１３５】
【数５１】
2017535873.tif 000054
【０１３６】
である。ここで、
【０１３７】
【数５２】
2017535873.tif 000055
【０１３８】
は平均ＴＰ寸法、
【０１３９】
【数５３】
2017535873.tif 000056
【０１４０】
は対応共分散行列（correspondence covariance matrix）である。
【０１４１】
図９で示すように、自律運転システム１００は、様々なコンポーネントを有する車両１０１を含む。特定の態様は、特定のタイプの車両について特に有用であるが、車両は、自動車、トラック、オートバイ、バス、ボート、航空機、ヘリコプタ、芝刈り機、レクリエーション用車両、遊園地車両、建設車両、農業器具、市街電車、ゴルフカート、列車及びトロリー等、これらに限定されるものではなく、任意のタイプの車両であってもよい。車両は、プロセッサ１２０、メモリ１３０及び典型的な汎用コンピュータが備える他のコンポーネントを含むコンピュータ１１０等の、１つまたは複数のコンピュータを有する。
【０１４２】
メモリ１３０は、プロセッサ１２０でアクセス可能であり、プロセッサ１２０で実行される、またはプロセッサ１２０で使用される命令１３２及びデータ１３４を含む情報を保存する。メモリ１３０は、コンピュータで読み取り可能な媒体、またはハードドライブ、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤ、あるいは他の光ディスク等の電子デバイスを用いて読み出されたデータを保存するその他の媒体だけでなく、他の書込み可能メモリ及びリードオンリーメモリを含む、プロセッサでアクセス可能な情報を保存できる任意のタイプのメモリであってもよい。本システム及び方法は、上記と異なる組合せを含むことが可能であり、それにより命令及びデータの種々の部分は異なるタイプの媒体上に記憶される。
【０１４３】
命令１３２は、プロセッサによって直接実行される（機械コード等）、あるいは間接的に実行される（スクリプト等）どのようなセットの命令であってもよい。例えば、命令はコンピュータコードとしてコンピュータで読み取り可能な媒体で保存されてもよい。その点に関して、「命令」及び「プログラム」という用語は、本明細書では区別しないで使用される。命令は、プロセッサによって直接処理される場合、オブジェクトコードフォーマットで保存される、あるいはスクリプトまたは要求時に翻訳され、あるいは前もってコンパイルされた複数の独立ソースコードモジュールの集合を含む任意の他のコンピュータ言語で保存されてもよい。命令の機能、方法及びルーチンは、以下でより詳細に説明する。
【０１４４】
データ１３４は、命令１３２に従ってプロセッサ１２０で検索、保存または修正される。例えば、本システム及び方法では、特定のデータ構造に制限されないが、データは、複数の異なるフィールド及びレコード、ＸＭＬ文書またはフラットファイルを有する表として、関連データベース内のコンピュータレジスタで保存されてもよい。また、データは、任意のコンピュータで読み取り可能なフォーマットでフォーマット化されていてもよい。単なる例にすぎないが、画像データは、圧縮または圧縮解除された、無損失の（例えばＢＭＰ）または損失を伴う（例えばＪＰＥＧ）フォーマットで保存される複数の格子の画素を含むビットマップ、並びにビットマップまたはベクターベース（例えばＳＶＧ）の図形を描くためのコンピュータ命令として保存されていてもよい。データは、数、記述文、独自コード、同じメモリまたは異なるメモリ（他のネットワーク位置を含む）の他の領域で保存されたデータのリファレンス、または関連するデータを計算する機能で用いられる情報等の関連する情報を識別するのに十分な情報を含んでいてもよい。
【０１４５】
プロセッサ１２０は、市販のＣＰＵ等の通常のプロセッサであってもよい。あるいは、プロセッサはＡＳＩＣ等の専用デバイスであってもよい。図１は、コンピュータ１１０のプロセッサ、メモリ及び他の要素が同じブロック内に存在しているものとして機能的に示しているが、プロセッサ及びメモリは、複数のプロセッサ及びメモリで構成されていてもよく、プロセッサ及びメモリは、物理的に同じハウジング内に収納されていてもよく、収納されていなくてもよいことは当業者であれば理解されよう。例えば、メモリはコンピュータ１１０とは異なるハウジング内に配置されたハードドライブであってもよく、あるいは他の記録媒体であってもよい。その場合、プロセッサまたはコンピュータには、同時に動作する、または同時に動作しない複数のプロセッサ、複数のコンピュータまたは複数のメモリを含むことが理解されよう。本明細書で説明するステップは、単一のプロセッサを用いて実施するのではなく、ステアリングコンポーネント及び減速コンポーネント等の複数のコンポーネントのうちのいくつかは、個別の機能に関連した演算のみを実行する独自のプロセッサを有していてもよい。
【０１４６】
本明細書で説明する様々な態様において、プロセッサは車両から離れて配置されていてもよく、車両と無線で通信してもよい。他の態様において、本明細書にて説明する複数のプロセスのうちのいくつかは、単一の操作を実行するために必要なステップの取得処理を含む、車両内またはその他に配置されたプロセッサ上で、あるいはリモートプロセッサによって実行される。
【０１４７】
コンピュータ１１０は、中央処理装置（Central Processing Unit:ＣＰＵ）等のコンピュータ、データ１３４及びウェブブラウザ等の命令を保存するメモリ（例えばＲＡＭ及び内部ハードドライブ）、電子ディスプレイ１４２（例えば、スクリーン、小型ＬＣＤタッチスクリーンまたは情報を表示するように動作する任意の他の電子デバイスを有するモニタ）、ユーザ入力（例えばマウス、キーボード、タッチスクリーン及び／またはマイクロホン）、並びに人の状態及び要望に関する明白な（例えばジェスチャ）または暗示的な（例えば「人が眠っている」）情報を収集するための様々なセンサ（例えばビデオカメラ）との接続に一般的に使用されるコンポーネントを含んでいてもよい。
【０１４８】
車両は、コンピュータ１１０と通信することでデバイスの地理上の位置を決定する地理位置コンポーネント１４４を含んでいてもよい。例えば、位置コンポーネントは、デバイスの緯度、経度及び／または高度を決定するＧＰＳ受信機を含んでいてもよい。車両の位置は、レーザベースローカライズシステム、慣性支援ＧＰＳまたはカメラベースローカライズ等の他の位置システムを用いて判別してもよい。また、車両は、様々なソースから位置情報を受信し、最良な車両位置の推定値を特定するために、その情報を様々なフィルタを用いて組み合わせてもよい。例えば、車両は、地図位置、ＧＰＳ位置及び車両の以前の位置からの経時変化に基づく、その車両の現在位置の予測を含む、多くの位置予測を扱って（identify）もよい。その情報は、１つにまとめて車両位置の高精度な予測値を特定してもよい。本明細書において説明する車両の「位置」は、緯度、経度及び高度等の絶対地理位置、並びに多くの場合に絶対地理位置よりも少ないノイズで判別される、近傍の他の自動車に対する位置等の相対的な位置情報を含んでいてもよい。
【０１４９】
また、デバイスは、コンピュータ１１０と通信する、加速度計、ジャイロスコープ、または車両の方向及び速度、またはそれらの変化を測定する他の方向／速度検出デバイス１４６等の他の機能を含んでいてもよい。単なる例にすぎないが、デバイス１４６は、重力方向またはそれと直角する平面に対するピッチ、ヨーまたはロール（あるいはそれらの変化）を測定してもよい。また、デバイスは、速度の増減及びそれらの変化の方向を追跡してもよい。本明細書で示すデバイスが提供する位置データ及び方向データは、ユーザ、コンピュータ１１０、他のコンピュータ及びこれらの組合せから自動的に提供されてもよい。
【０１５０】
コンピュータは、様々なコンポーネントを制御することで車両の方向及び速度を制御する。一例として、車両が完全に自動モードで走行している場合、コンピュータ１１０は、（例えばエンジンに供給する燃料または他のエネルギーを多くすることで）車両を加速させる、あるいは（例えばエンジンに供給する燃料を少なくすることで、あるいはブレーキをかけることで）減速させる、あるいは（例えば前輪を回転させることで）方向を変化させることができる。
【０１５１】
車両は、他の車両、道路上の障害物、交通信号、標識、樹木等々の車両の外部のオブジェクトを検出するためのコンポーネント１４８を含んでいてもよい。検出システムは、レーザ、ソナー、レーダ、カメラまたはその他の検出デバイスを含んでいてもよい。例えば、車両が小型乗用車である場合、該乗用車は屋根または他の適切な位置に取り付けられたレーザを含んでいてもよい。一態様では、レーザは、その軸上で回転してピッチを変えることで、車両と該車両と対向するオブジェクト表面との距離を測定する。また、レーザを用いて、例えば暗い道路で反射または吸収される光の量と、明るい車線境界線とを区別することで車線境界線を識別してもよい。また、車両は、定速走行・車間距離制御システムで用いられるレーダ検出ユニット等の様々なレーダ検出ユニットを含んでいてもよい。レーダ検出ユニットは、自動車の前後だけでなく、フロントバンパの両側に配置されてもよい。他の例では、図１で例示される１つまたは複数のカメラで撮られる、異なる画像からの視差を用いて様々なオブジェクトまでの距離が計算できるように、様々なカメラをそれぞれ既知の距離を有して自動車上に搭載してもよい。これらのセンサは、車両によるその環境の認識及びその環境における乗客、オブジェクトまたは人の安全を最大にするために、その環境に対する応答に貢献する。
【０１５２】
上述したセンサに加えて、コンピュータは、非自律走行車両が備える代表的なセンサからの入力を用いてもよい。これらのセンサには、例えば、タイヤ圧センサ、エンジン温度センサ、ブレーキ熱センサ、ブレーキパッド状態センサ、タイヤトレッドセンサ、燃料センサ、オイルレベル及びクオリティセンサ、（空気の温度、湿度または微粒子を検出するための）エアクオリティセンサ等を含んでもよい。
【０１５３】
これらのセンサの多くは、コンピュータによってリアルタイムで処理されるデータを提供する。すなわち、センサは、検出された環境に応じて車両のその時点における方向または速度を修正すべきか否かをコンピュータが判定できるように、ある時間の範囲にわたって検出される環境を反映するためにそれらの出力を連続的に、または要求に応じて更新し、その更新された出力をコンピュータに提供することが可能である。
【０１５４】
これらのセンサは、道路上の歩行者、自転車、他の車両の動き、またはオブジェクトを識別、追跡及び予測するために用いられる。例えば、センサは、オブジェクトを他の車両として順次識別できるように、車両周囲のオブジェクトの位置情報及び形状情報をコンピュータ１１０に提供することが可能である。また、オブジェクトの現在の動きは、センサ（例えばコンポーネントは独立型速度レーダ検出器である）によって、あるいは（例えば時間によるオブジェクトの位置データの変化を比較することで）該センサから提供される情報に基づいて、コンピュータ１１０によって決定される。
【０１５５】
コンピュータは、検出オブジェクトの有無に基づいて車両の現在の経路及び速度を変更してもよい。例えば、車両は、現在の速度が５０ｍｐｈであり、カメラ及び光学特徴認識（optical-character recognition）を用いて、車両が間もなく、速度制限が３５ｍｐｈであることを示す標識を通過することを検出すると、自動的に減速する。同様に、コンピュータが車両の意図した経路をオブジェクトが妨害していると判断すると、コンピュータは車両を操作してその障害物を迂回する。
【０１５６】
車両のコンピュータシステムは、検出されたオブジェクトの予期される動きを予測してもよい。コンピュータシステム１１０は、例えばオブジェクトの現在の方向及び動きが継続するとして、オブジェクトの瞬時方向、加速／減速及び速度に基づいてオブジェクトの将来の動きを予測してもよい。
【０１５７】
オブジェクトが検出されると、本システムは、オブジェクトのタイプ、例えばトラフィックコーン、人、自動車、トラックまたは自転車を判定し、この情報を用いて該オブジェクトの将来の挙動を予測する。例えば車両は、レーザで判定されたオブジェクトの形状、レーダまたはカメラ画像に基づくパターンマッチングによるオブジェクトのサイズ及び速度のうちの１つまたは複数に基づいてオブジェクトのタイプを決定する。また、オブジェクトは、オブジェクトのサイズ（自転車はパンケースより大きく、自動車より小さい）、オブジェクトの速度（自転車は、時速４０マイルより速い速度で走る傾向があり、時速０．１マイル未満で走る傾向がない）、自転車によって発せられる熱（自転車には、運転者に体熱を放出させる傾向がある）等々のうちの１つまたは複数を考慮する、オブジェクトクラシファイアを用いることで識別してもよい。
【０１５８】
いくつかの例では、車両で識別されるオブジェクトには、該車両にその進路を変更させる必要がない場合があり得る。例えば、砂嵐の間、車両は、砂を１つまたは複数のオブジェクトとして検出するが、安全上の理由で車両自体の速度を遅くするか、または停止することはあっても、その軌道を変更する必要はない。
【０１５９】
他の例では、車両の外部シーンは、様々なセンサの入力から区分される必要はなく、車両に迅速なアクションを取らせるためにオブジェクトを分類する必要もない。むしろ、車両はオブジェクトの色及び／または形状に基づいて１つまたは複数のアクションを取る。
【０１６０】
また、本システムは、検出されたオブジェクトの動きとは無関係の情報を利用してオブジェクトの次のアクションを予測してもよい。一例として、車両が、他のオブジェクトが自転車であり、該自転車が前方の急な丘を登ろうとしていると判定すると、コンピュータは、該自転車の速度が間もなく遅くなるため、該自転車が現在比較的速い速度で走っているか否かに関係なく、該車両の速度をそれに応じて遅くすると予測できる。
【０１６１】
車両の外部のオブジェクトを識別し、分類し、反応する上記の方法は、衝突を回避する可能性を高くするために、単独で、あるいは任意の組合せで使用できることが理解されよう。
【０１６２】
他の例として、本システムは、車両近傍のオブジェクトが右左折専用車線に存在する別の自動車であることを決定してもよい（例えば他の自動車を撮影した画像データを解析することで該他の自動車が該車線に存在し、該車線に左折の矢印が記されている）。その点に関し、本システムは、該他の自動車が次の交差点で曲がると予測してもよい。
【０１６３】
コンピュータは、周囲のオブジェクトの予測されるアクションに応じて車両に特定のアクションを取らせてもよい。例えばコンピュータ１１０が自動車の右左折信号または該自動車が存在する車線に基づいて、車両に接近している他の自動車が上述した次の交差点で曲がると判定すると、コンピュータは、車両がその交差点に接近すると該車両を減速させてもよい。この点に関して、他のオブジェクトの予測挙動は、オブジェクトのタイプ及びその現在の軌道のみならず、該オブジェクトが交通規則または所定の挙動を遵守する、あるいは遵守しない何らかの可能性に基づいている。これは、車両による、法律上の予測可能な挙動のみならず、不法なｕターンまたは車線変更、赤信号無視等の他の運転者による予期しない挙動に対する適切な応答を可能にする。
【０１６４】
他の例において、本システムは、様々な状況におけるオブジェクトパフォーマンスに関するルールを示すライブラリを含んでいてもよい。例えば、ライト上に取り付けられた左折矢印を有する最も左側の車線にいる自動車は、該矢印が緑色に変わると左に曲がることが最もありそうである。ライブラリは、手作業で作成してもよく、車両による道路上の他の車両（自律走行であれ、非自律走行であれ）を観察することで作成してもよい。ライブラリは、車両を観察することで改善される、人が構築する規則のセットとして作成される。同様に、ライブラリは、車両を観察することで学習される規則として作成してもよく、人が調査し、それらを人手で改善する規則として作成してもよい。この観察及び学習は、例えば機械学習のツール及び技法によって達成される。
【０１６５】
様々なセンサによって提供されるデータの処理に加えて、コンピュータは、それ以前に取得した環境データであって、その環境における車両の存在に無関係に存続すると予想される環境データを利用してもよい。例えばデータ１３４は、詳細な地図情報１３６、例えば道路の形状及び高さ、車線、交差点、横断歩道、速度制限、交通信号、建物、標識、実時間交通情報または他のこのようなオブジェクト及び情報を識別するための非常に詳細な地図を含んでいてもよい。車線または交差点等のこれらのオブジェクトの各々は、正確な高度、例えば１５ｃｍあるいは１ｃｍ程度の正確な地理上の位置と組み合わせてよい。また、地図情報には、例えば様々な道路区分と組み合わせた具体的な速度制限情報を含んでいてもよい。速度制限データは、手作業で入力してもよく、例えば光学特徴認識を用いて、既に取得済みの速度制限標識の画像から読み取ってもよい。地図情報は、上述した複数のオブジェクトのうちの１つまたは複数を包含した三次元地形地図を含んでいてもよい。例えば車両は、リアルタイムデータ（例えば他の自動車の現在のＧＰＳ位置を判定するためにセンサを用いる）及び他のデータ（例えば他の自動車が右左折車線にいるか否かを判定するためにＧＰＳ位置と既に保存している車線特定地図データを比較する）に基づいて、他の自動車の右左折が予想されると判定してもよい。
【０１６６】
他の例において、車両は、位置、特性及び状態をより良好に識別するために、センサデータに追加して地図情報を用いてもよい。例えば道路の車線が摩耗によって消失している場合、車両は、センサデータのみを用いるのではなく、地図情報に基づいて車線の位置を予想してもよい。
【０１６７】
また、車両センサは、地図情報を収集及び補足するために用いてもよい。例えば、運転者は、道路の位置、車線、交差点、交通信号、等々の様々なタイプの地図情報を検出及び保存するために、非自律運転モードで車両を運転してもよい。その後、車両は、保存された情報を用いて車両を操作してもよい。他の例において、車両が、徐々に数センチメートル移動している橋、交差点における新しい交通パターン等の環境変化を検出または観察すると、あるいは道路が舗装されて車線が移動すると、この情報は、車両によって検出され、衝突を回避するためにどのように車両を操作するかに関する様々な判定に用いられるだけでなく、その車両の地図情報に組み込まれてもよい。いくつかの例において、運転者は、他の自律運転車両で使用されるよう、遠隔サーバに無線で送信することで、その変化情報を中央地図データベースに報告するために任意に選択してもよい。サーバは、それに応答してデータベースを更新し、例えば情報を自動的に送信することで、あるいはダウンロードで入手可能に更新することで、他の自律運転車両でどのような変化でも利用できるようにしてもよい。したがって、環境変化は、遠隔サーバにより多くの車両で更新されてもよい。
【０１６８】
他の例において、自律運転車両は、道路のストリートレベルの画像または道路に沿ったオブジェクトの画像を取得するためのカメラを備えていてもよい。
【０１６９】
コンピュータ１１０は、車両及びそのコンポーネントの状態を車両１０１の乗客に伝えるための状態インジケータ１３８を制御してもよい。例えば車両１０１は、車両、特定のセンサまたは具体的にはコンピュータ１１０の全体の状態に関する情報を表示するための、図２で示したようなディスプレイ２２５を備えていてもよい。ディスプレイ２２５は、例えばコンピュータ、車両自体、道路、交差点の状態、並びに他のオブジェクト及び情報を含む、コンピュータで生成された車両周囲の画像を含んでいてもよい。
【０１７０】
コンピュータ１１０は、様々なセンサから有効なデータを取得しているか否か、該コンピュータが自動車の方向または速度もしくはその両方をある程度または完全に制御しているか否か、何らかの誤差が存在するか否か等々を示す、ビジュアルキューまたはオーディブルキューを用いてもよい。車両１０１は、車両１０１の現在の状態を示す状態バー２３０等の状態指示装置を含んでいてもよい。図２の例では、現在、車両が運転モードであり、時速２マイルで移動していることを示す「Ｄ」及び「２ｍｐｈ」を状態バー２３０で表示している。その際、車両は、電子ディスプレイ上にテキストを表示してもよく、車両１０１の一部を照らしてもよく、様々な他のタイプのインディケーションを提供してもよい。さらに、コンピュータは、その時点で人または自動化システムが車両を制御中であることを示す、人、他のコンピュータまたはそれら両方で読取り可能な外部インジケータを有していてもよい。
【０１７１】
一例として、コンピュータ１１０は、車両の様々なコンポーネントと通信できる自律運転コンピューティングシステムであってもよい。例えばコンピュータ１１０は、車両が備える従来の中央プロセッサ１６０と通信可能であり、車両１０１の動作、速度等々を制御するために、例えば制動システム１８０、加速システム１８２、シグナリングシステム１８４及びナビゲーションシステム１８６等の車両１０１の様々なシステムと情報の送受信が可能でもよい。さらに、コンピュータ１１０は、車両１０１のこれらの機能のうちのいくつか、または全てを制御することが可能であり、その結果、完全にまたは一部だけが自動になってもよい。車両１０１内には様々なシステム及びコンピュータ１１０が示されているが、これらの要素は車両１０１の外部にあってもよく、物理的に遠く離れて分離されていてもよいことは理解されよう。
【０１７２】
本実施形態のシステム及び方法は、特定タイプのオブジェクトの検出、または特定タイプの車両動作や環境条件の観察に限定されるものではなく、特定の機械学習方法に限定されるものではないが、独自のシグネチャを用いて他の運転パターンと区別すべき運転パターンを導き出し、かつ学習するために用いてもよい。
【０１７３】
上述した説明及び図示したサンプル値、データのタイプ及び構成は、単なる例示を目的としたものにすぎない。その際、本実施形態のシステム及び方法は、様々なタイプのセンサ、通信デバイス、ユーザインタフェース、車両制御システム、データ値、データタイプ及び構成を含んでもよい。本システム及び方法は、異なる時間に（例えば異なるサーバまたはデータベースを介して）、異なるエンティティ（例えばいくつかの値は事前に提案され、または異なるソースから提供される）によって提供され、かつ受信されてもよい。
【０１７４】
上述した特徴、他の変形例及びこれらの組合せは、特許請求の範囲で定義される本システム及び方法を逸脱しない範囲で利用されるため、本実施形態の上述した説明は、特許請求の範囲で定義された開示に制限されるものではなく、実例として解釈されるべきである。また、例示の規定（provision of examples）（「等の」、「例えば」、「含む」等々の文節句）は、開示を特定の例に限定するものとして解釈されるべきではなく、これらの例は多くの可能な態様のうちのいくつかを例示することを意図していると理解されよう。
【０１７５】
明確に言及されていない場合を除き、上記実施形態、代替手段または例における全ての特徴は、本明細書における他の実施形態、代替手段または例において用いてもよい。例えば、車両の動作を検出するための任意のセンサは、本明細書におけるどのような構成で使用してもよい。また、特定の運転者パターンまたは特徴となる車両動作を表すために、どのようなデータ構造を採用してもよい。さらに、本願発明に適している機械学習方法にはどのような構成を用いてもよい。
【図１】
2017535873.tif 000066
【図２】
2017535873.tif 000067
【図３】
2017535873.tif 000068
【図４】
2017535873.tif 000069
【図５】
2017535873.tif 000070
【図６】
2017535873.tif 000071
【図７】
2017535873.tif 000072
【図８】
2017535873.tif 000073
【図９】
2017535873.tif 000074
【国際調査報告】
2017535873.tif 000075
2017535873.tif 000076