(57)【要約】  ビデオシーケンスをキャプチャすることと、検出とターゲットの間のデータ結合を検出することであって、検出が１つまたは複数の画像ベース検出器を使用して生成される（検出によるトラッキング）、検出することと、重要な１つまたは複数のターゲットを識別し、かつ、個々の運動を予測することと、一対の検出間の類似性を正確に測定するために集合局所フロー記述子を適用し、かつ、ビデオシーケンスが与えられると、マルチターゲットトラッキングを実施するためにニアオンラインマルチターゲットトラッキングを適用することとによって、ビデオ中のターゲットをトラッキングするためのシステムおよび方法が開示される。
2018503160.tif 000002
【特許請求の範囲】
【請求項１】
ビデオカメラによってキャプチャされた視覚ターゲットをトラッキングするための方法であって、
１つまたは複数の、検出器に基づく画像を使用して生成される（検出によるトラッキング）検出とターゲットの間のデータ結合を検出することと、
重要な１つまたは複数のターゲットを識別し、かつ、個々のターゲットの運動を予測することと、
一対の検出間の類似性を正確に測定するために集合局所フロー記述子を適用し、かつ、ビデオシーケンスが与えられると、マルチターゲットトラッキングを実施するためにニアオンラインマルチターゲットトラッキングを適用することと、
を有する方法。
【請求項２】
前記画像ベース検出器がＲｅｇｉｏｎｌｅｔまたはＤｅｆｏｒｍａｂｌｅ  Ｐａｒｔを有する、請求項１に記載の方法。
【請求項３】
誤検知ターゲット対象または紛失したターゲット対象を含む１つまたは複数の対象仮説を獲得することと、
それと同時に、Ｌｕｃａｓ−Ｋａｎａｄｅオプティカルフロー方法を使用してオプティカルフローを決定することであって、それにより画像中の局所（ピクセルレベル）運動フィールドを予測することと、
を有する、請求項１に記載の方法。
【請求項４】
２つの入力および画像を使用すること、存在しているターゲットに対する多数の仮説的軌道を生成することを有する、請求項１に記載の方法。
【請求項５】
推測方法を使用して、ターゲット軌道の最も矛盾の無いセットを決定することを有する、請求項１に記載の方法。
【請求項６】
条件付き無作為フィールドを適用することを有する、請求項１に記載の方法。
【請求項７】
任意のトラックレットを取り扱うことにより、新しいターゲットを潜在的な新しいターゲットとして識別することと、新しい重複ターゲットを有することを回避するために、トラックレットに対する非最大の抑制を使用することとを有する、請求項１に記載の方法。
【請求項８】
集合局所フロー記述子（ＡＬＦＤ）を使用して個々のターゲット仮説の可能性を決定することを有する、請求項１に記載の方法。
【請求項９】
前記記述子が、オプティカルフロー軌道を使用して、異なる時間フレームにおける２つの検出間の画像ベース空間関係を符号化する、請求項１に記載の方法。
【請求項１０】
前記方法が曖昧なターゲット仮説を識別すると、誤差の発生を回避するために、後の時間まで決定を延期することを有する、請求項１に記載の方法。
【請求項１１】
延期された決定をより多くの情報を収集した後に解決することを有する、請求項１に記載の方法。
【請求項１２】
出力を、外観類似性およびターゲット動力学のうちの１つまたは複数を含む他の測度と組み合わせることを有する、請求項１に記載の方法。
【請求項１３】
ＡＬＦＤ駆動トラックレットを使用して仮説軌道候補を生成することと、並列化ジャンクションツリープロセスを使用して結合を決定することとを有する、請求項１に記載の方法。
【請求項１４】
１つまたは複数の結合誤差が、ターゲット運動予測および対象挙動に対する高水準推論に関して誤った結果をもたらす、請求項１３に記載の方法。
【請求項１５】
重みが付けられた票決を使用して、訓練データセットからモデルパラメータｗＡｔを学習することを有し、
一組の検出
【数１】
2018503160.tif 000053
および対応するグラウンドトゥルース（ＧＴ）ターゲット注釈が与えられると、ＧＴターゲット識別（ＩＤ）を個々の検出に割り当てることと、
検出ｄｉ毎にすべてのＧＴターゲットとのオーバラップを測定し、最良のオーバラップが所定の値を超える場合、対応するターゲットＩＤ（ｉｄｉ）を割り当てることと、
をさらに有する、請求項１に記載の方法。
【請求項１６】
前記ニアオンラインマルチターゲットトラッキングが、個々の時間フレームにおいてターゲットＡｔを更新し、かつ、出力して、一時的な窓[ｔ−τ，ｔ]の中の入力を考慮し、
［ｔ−１］−τ，ｔ−１］中の関連する検出を排除するきれいなターゲット
【数２】
2018503160.tif 000054
の仮説生成および選択を適用することと、
個々のターゲット
【数３】
2018503160.tif 000055
ならびに新たに入ってくるターゲットに対する複数のターゲット仮説
【数４】
2018503160.tif 000056
を生成することであって、ここで、
【数５】
2018503160.tif 000057
（空仮説）が前記ターゲットの終結を表し、また、個々の
【数６】
2018503160.tif 000058
がターゲットに結合された［ｔ−τ，ｔ］中の一組の候補検出を示し、また、個々の
【数７】
2018503160.tif 000059
が０からτ個の検出を含んでおり、
既存のターゲットおよび新しいターゲットに対する一組の仮説が与えられると、図形的モデルを使用して前記ターゲットに対する最も無矛盾の仮説のセット（ＭＡＰ）を突き止める（１つのターゲットに対して１つ）ことと、
その前の時間フレームで生じたあらゆる結合誤差に適合することと（一時的な窓［ｔ−τ，ｔ］内での検出のために）、
をさらに有する、請求項１に記載の方法。
【請求項１７】
ビデオ中のターゲットをトラッキングするためのシステムであって、
ビデオをキャプチャするためのカメラと、
前記カメラに結合されたプロセッサであって、
検出とターゲットの間のデータ結合を予測するためのコードであって、検出が１つまたは複数の画像ベース検出器を使用して生成される（検出によるトラッキング）コードと、
重要な１つまたは複数のターゲットを識別し、かつ、個々の運動を予測するためのコードと、
一対の検出間の類似性を正確に測定するために集合局所フロー記述子を適用し、かつ、ビデオシーケンスが与えられると、マルチターゲットトラッキングを実施するためにニアオンラインマルチターゲットトラッキングを適用するためのコードと、
を実行するプロセッサと、
を有するシステム。
【請求項１８】
自動車であって、
前記自動車を制御するためのユーザインタフェースと、
場面をキャプチャするためのビデオカメラと、
前記ビデオカメラおよび前記ユーザインタフェースに結合されたプロセッサであって、
検出とターゲットの間のデータ結合を予測するためのコードであって、検出が１つまたは複数の画像ベース検出器を使用して生成される（検出によるトラッキング）コードと、
重要な１つまたは複数のターゲットを識別し、かつ、個々の運動を予測するためのコードと、
一対の検出間の類似性を正確に測定するために集合局所フロー記述子を適用し、かつ、ビデオシーケンスが与えられると、マルチターゲットトラッキングを実施するためにニアオンラインマルチターゲットトラッキングを適用するためのコードと、
を実行するプロセッサと、
を有する自動車。
【請求項１９】
前記画像ベース検出器がＲｅｇｉｏｎｌｅｔまたはＤｅｆｏｒｍａｂｌｅ  Ｐａｒｔを有する、請求項１８に記載のシステム。
【請求項２０】
誤検知ターゲット対象または紛失したターゲット対象を含む１つまたは複数の対象仮説を獲得するためのコードと、
画像中の局所（ピクセルレベル）運動フィールドを予測するために同時に動作するオプティカルフローアナライザと
を有する、請求項１８に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、２０１４年１１月１２日に出願した仮出願６２／０７８７６５、２０１５年４月２２日に出願した６２／１５１０９４、および２０１５年１０月１日に出願した実用出願１４／８７２５５１の優先権を主張するものであり、これらの内容は、参照することによって組み込まれている。
【０００２】
本出願は、車両などの物体のマルチターゲットトラッキングに関する。
【背景技術】
【０００３】
マルチターゲットトラッキングの目的は、関心のある物体を自動的に識別し、かつ、時間に伴うターゲットの動きを高い信頼性で予測することである。画像ベースの物体検出方法の最近の進歩により、検出によるトラッキングは、マルチターゲットトラッキング問題に取り組むための評判の良いフレームワークとなっている。このフレームワークの利点は、フレームワークが、当然ながら、場面に入ってくる重要な新しい物体を識別すること、移動プラットフォームを使用して記録されるビデオシーケンスを処理することができること、および、ターゲット変動に対して安定していることである。このフレームワークにおける課題は、１つのターゲットが予測された単一軌道によって完全に表現され得るよう、検出を個々のターゲットに高い精度で正確にグループ化することである（データ結合）。同一性を維持する際の間違いは、将来の運動予測、ターゲットの挙動解析、などの多くの高水準推論タスクにおける壊滅的な失敗の原因になり得る。
【０００４】
高精度なマルチターゲットトラッキングプロセスを実現するためには、安定なデータ結合モデル、および、時間を隔てた２つの検出結果を比較する正確な測度（対による類似性測度）を有することが重要である。最近、広域（バッチ）トラッキングフレームワークを使用したデータ結合プロセスの設計において多くの研究がなされている。ネットワーク上の等価物と比較すると、これらの方法は、時間フレーム全体にわたるすべての検出を考慮するという利点を有している。これらの方法は、賢明な最適化プロセスの助けを借りて、従来のオンライントラッキングフレームワークよりも高いデータ結合精度を達成している。しかしながらこれらの方法はすべての情報が同時に必要とするため、これらの方法のアプリケーションは、基本的にビデオシーケンスの事後解析に限られている。リアルタイム監視、ロボット工学および自律的な車両などの時間に敏感なアプリケーションへのこのようなフレームワークの拡張方法は、依然として不明である。従来のオンライントラッキングプロセスは、当然、これらのアプリケーションに適用することができるが、場面が複雑であるか、あるいは誤った検出（例えばローカライズ誤差、誤検知、および、検出の紛失）が存在する場合、データ結合精度が低下する傾向がある。一方、対による類似性測度は、その重要性にもかかわらず、最近の文献ではあまり研究されていない。ほとんどの方法は、低い類似性測度を採用して、空間的類似性（例えばバウンディングボックスオーバラップまたはユークリッド距離）、あるいは単純な外観類似性（例えばカラーヒストグラムを使用したインターセクションカーネル）などの、時間を隔てた２つの検出結果を比較している。
【発明の概要】
【０００５】
一態様では、ビデオシーケンスをキャプチャすることと、検出とターゲットの間のデータ結合を予測することであって、検出が１つまたは複数の画像ベース検出器を使用して生成され（検出によるトラッキング）、重要な１つまたは複数のターゲットを識別し、かつ、個々の運動を予測することと、一対の検出間の類似性を正確に測定するために集合局所フロー記述子を適用し、かつ、ビデオシーケンスが与えられると、マルチターゲットトラッキングを実施するためにニアオンラインマルチターゲットトラッキングを適用することとによって、ビデオ中のターゲットをトラッキングするためのシステムおよび方法が開示される。
【０００６】
別の態様では、集合局所フロー記述子（ＡＬＦＤ：Aggregated Local Flow Descriptor）は、長期間重要点軌道（ＩＰＴ：long-term interest point trajectories）を使用した一対の一時的な遠隔検出間の相対運動パターンを符号化する。ＩＰＴにてこ入れして、ＡＬＦＤは、アプリケーションシナリオに無関係に、一致検出の可能性を予測するための安定した類似性測度を提供する。ニアオンラインマルチターゲットトラッキング（ＮＯＭＴ：Near-Online Multi-target Tracking）プロセス。トラッキングプロセスは、フレーム毎に繰り返し実施される、一時的な窓におけるターゲットと検出の間のデータ結合になる。
【０００７】
好ましい実施態様の利点は、以下のうちの１つまたは複数を含み得る。システムは、マルチターゲットトラッキングの重要な側面を処理し、正確な類似性測度で検出を関連付け、効率的で正確な（ニア）オンラインマルチターゲットトラッキングプロセスを処理する。プロセスは、はるかに多くの正確なトラッキング結果を、自由で、かつ、複雑なシナリオで引き渡すことができる。プロセスは、当然、時系列であることが決定的な要求事項である、自律的な運転、ロボット工学および監視などのリアルタイムシステムに適用することができる。ターゲットの識別および運動の予測における待ち時間に関して、平均待ち時間は、実際には極めて短い（約３フレーム／０．３秒）。さらに、プロセスは、ほぼリアルタイムで走らせることができる。ＮＯＭＴは、有効である一方で、ＡＬＦＤメトリック、ターゲット動力学、外観類似性、長期間軌道規則化を含む複数のキューをモデルに統合することによって安定性を達成する。アブレイティブアバライシス（ａｂｌａｔｉｖｅ  ａｎａｌｙｓｉｓ）は、他の従来の類似性メトリクスに優るＡＬＦＤメトリックの卓越性を検証する。集中的なトラッキングデータセット、ＫＩＴＴＩおよびＭＯＴデータセットを使用した実験では。ＡＬＦＤメトリックと組み合わせたＮＯＭＴ方法は、両方のデータセットにおける最良の精度を最新技術システムに優る著しいマージン（約１０％高いＭＯＴＡ）で達成する。
【図面の簡単な説明】
【０００８】
【図１】例示的マルチターゲットトラッキングシステムを示す図である。
【図２】２つの検出間の対による類似性を予測するための集合局所フロー記述子を獲得するための例示的操作を示す図である。
【図３】図１のトラッキングシステムを使用する例示的スマート自動車システムを示す図である。
【発明を実施するための形態】
【０００９】
ビデオシーケンスが与えられると、方法は、検出プロセスを実行して、誤検知およびいくつかのターゲット対象の紛失を含み得る対象仮説を獲得する。それと同時に、方法は、Ｌｕｃａｓ−Ｋａｎａｄｅオプティカルフロー方法を使用してオプティカルフローを計算し、それにより画像中の局所（ピクセルレベル）運動フィールドを予測する。２つの入力ならびに画像を使用して、方法は、存在しているターゲットに対する多数の仮説的軌道を生成し、また、条件付き無作為フィールドモデルに基づく推測プロセスを使用して、ターゲット軌道に最も矛盾の無いセットを見出す。本出願人らは、本出願人らが集合局所フロー記述子（ＡＬＦＤ）と呼んでいる新しい運動ベース記述子を使用して個々のターゲット仮説の可能性を計算する。記述子は、オプティカルフロー軌道を使用して、異なる時間フレームにおける２つの検出の間の画像ベース空間関係を符号化する（異なる色が付けられた形状として以下の図に示されている）。このプロセスでは、方法が曖昧なターゲット仮説（例えば情報を十分にサポートしない、異なるターゲット間の競合、等々）を識別すると、決定は、誤差の発生を回避するために、後の時間まで延期される。延期された決定は、方法が、将来、より信頼性の高い情報を収集する際に解決されることになる。
【００１０】
プロセスは、タイムラインおよび安定性の両方を達成する「ニアオンラインマルチターゲットトラッキング」（ＮＯＭＴ）を適用する。問題は、フレーム毎に繰り返し実施される、複数の時間フレームにおけるターゲットと検出との間のデータ結合として公式化される。結合誤差を回避するために、プロセスは、雑音が多い観察、または、クラスタ化された場面のために、結合が曖昧であるか、または、問題がある場合、結合の実施を延期する。データ結合プロセスは、問題を正確に、かつ、効果的に解決することができるマッチングポテンシャルを備えた仮説試験フレームワークを含む。方法は、問題の多いＫＩＴＴＩデータセット上で評価され、結果は、他の最新技術と比較すると、トラッキング精度における著しい改善を立証する。
【００１１】
本出願人らのシステムは、マルチターゲットトラッキング問題の２つの問題の多い疑問、すなわち、１）２つの検出間の対による類似性（すなわちその２つをリンクする可能性）をいかに正確に測定するか、および、２）広域トラッキングプロセスにおける着想をオンラインアプリケーションの中にいかに効果的に適用するかに対処する。第１の寄与については、本出願人らは、異なる時間フレームにおける２つの検出ボックス間の相対運動パターンを符号化する集合局所フロー記述子（ＡＬＦＤ）を提供する。複数の局所重要点軌道（ＩＰＴ）を集合することにより、記述子は、検出におけるＩＰＴが別の検出ボックスに対して移動する様子、および、その逆に別の検出ボックスが検出におけるＩＰＴに対して移動する様子を符号化する。主な直感は、個々のＩＰＴが誤差を有し得るが、それらが集合的に、２つの検出を比較するための強力なキューを提供することである。学習されたモデルを使用して、本出願人らは、ＡＬＦＤが強力な類似性測度を提供することを観察する。第２の寄与については、本出願人らは、有効なニアオンラインマルチターゲットトラッキング（ＮＯＭＴ）プロセスを使用する。安定なＡＬＦＤ記述子ならびに長期間運動／外観モデルを組み込むことにより、プロセスは、高度に正確な軌道を生成し、その一方で因果関係特性およびリアルタイム（：１０ＦＰＳ）特性を保存する。フレームｔ毎に、プロセスは、サイズτの一時的な窓［ｔ−τ，ｔ］の中のターゲットとすべての検出の間の広域データ結合問題を解決する。主な特性は、より多くの検出が提供される場合、プロセスが一時的な窓内のあらゆる過去の結合誤差を適合するポテンシャルを有することである。精度および効率の両方を達成するために、プロセスは、ＡＬＦＤ駆動トラックレット（ｔｒａｃｋｌｅｔｓ）を使用して仮説軌道候補を生成し、かつ、並列化ジャンクションツリープロセスを使用して結合問題を解決する。
【００１２】
長さＴのビデオシーケンス
【００１３】
【数１】
2018503160.tif 000003
【００１４】
、および一組の検出仮説、ｄｉがフレーム数ｔｉによってパラメータ化される
【００１５】
【数２】
2018503160.tif 000004
【００１６】
、拘束ボックス（ｄｉ［ｘ］，ｄｉ［ｙ］，ｄｉ［ｗ］，ｄｉ［ｈ］(［ｘ］、［ｙ］、［ｗ］、［ｈ］演算子は、それぞれｘ、ｙ、幅および高さの値を表す。））、およびスコアｓｉが与えられると、マルチターゲットトラッキングの目的は、ターゲットの一致したセット（結合）Ａ＝｛Ａ１，Ａ２，．．．，ＡＭ｝を見出すことであり、個々のターゲットＡｍは、存在している時間の間に、一組の検出インデックス（例えばＡ１＝｛ｄ１，ｄ１０，ｄ２３｝）によってパラメータ化される。
【００１７】
データ結合モデル：ほとんどのマルチターゲットトラッキングプロセス／システムは、オンライン方法および広域（バッチ）方法の２つのカテゴリに分類され得る。オンラインプロセスは、現在の時間フレームにおける、存在しているターゲットと検出の間の結合を見出すために公式化される。
【００１８】
【数３】
2018503160.tif 000005
【００１９】
オンライン公式化の利点は、１）オンライン公式化がオンライン／リアルタイムシナリオに適用すること、および、２）Ａｔ−１に利用することができるターゲットの運動力学情報を利用することが可能であることである。しかしながらこのような方法は、結合を実施する際に１つのフレームしか考慮しないため、結合誤差を生じやすいことがしばしばである。最近、広域技法は、長期間情報を結合プロセスに考慮すると、より安定な結合が達成されるため、地域社会においてはるかに一般的なものとなっている。１つの通常的な手法は、トラッキングをネットワークフロー問題として公式化し、ターゲットを検出仮説から直接獲得することであり、すなわち、
【００２０】
【数４】
2018503160.tif 000006
【００２１】
である。これらの方法は、マルチターゲットトラッキングにおける有望となる精度を示しているが、取り扱い性の点で単純化し過ぎであることがしばしばである。これらの方法は、ターゲット動力学およびターゲット間の相互作用（オクルージョン、社会的相互作用、等々）などの有用なターゲットレベル情報を無視している。問題を１つのステップで直接解決する代わりに、他は、ターゲット結合を連続的に洗練する対話型プロセスを使用しており、すなわち
【００２２】
【数５】
2018503160.tif 000007
【００２３】
であり、対話を表している。
【００２４】
本出願人らは、オンラインプロセスと広域プロセスの間のギャップを埋めることができるフレームワークを使用する。タスクは、以下の問題：定義済みの一時的な窓サイズである個々の時間フレームｔにおける
【００２５】
【数６】
2018503160.tif 000008
【００２６】
を解決することに関して定義される。本出願人らのプロセスは、時間フレーム毎に結合を出力する点でオンラインプロセスと同様に挙動する。決定的な相違は、観察が利用可能になると、過去になされたすべての決定がもう一度変更の対象になることである。個々の一時的な窓の中の結合問題は、新たに使用される広域結合プロセスを使用して解決される。また、本出願人らは、すべての軌跡を反復して（フレーム毎に１回の反復）拡大し、より良好な結合精度をもたらす複数のフレームを考慮するため、本出願人らの方法は、同じく対話型広域プロセスを思い出させる。
【００２７】
視覚的なトラッキングにおける類似性測度：対による安定な類似性測度（すなわち、同じターゲットの可能性および同じターゲットであること）の重要性は、マルチターゲットトラッキング文献ではあまり研究されていない。集合局所フロー記述子（ＡＬＦＤ）は、重要点軌道が与えられると、一時的な距離（Δｔ｜ｔｉ−ｔｊ｜）における２つの拘束ボックス間の相対運動を符号化する。ＡＬＦＤにおける主な直感は、２つのボックスが同じターゲットに属している場合、本出願人らは、それらのボックスに対して同じ相対位置に多くのサポートＩＰＴを観察することになることである。検出における些細なローカライズ誤差、ターゲットの配向変化、およびＩＰＴにおけるアウトライヤ（ｏｕｔｌｉｅｒｓ）／誤差に対して安定にするために、本出願人らは、空間ヒストグラムを使用してＡＬＦＤを構築する。ＡＬＦＤが獲得されると、本出願人らは、学習されたモデルパラメータ（ｗＡｔ）およびＡＬＦＤ（ρ（ｄｉ，ｄｊ））の線形積、すなわちαＡ（ｄｉ，ｄｊ）＝ｗＡｔ・ρ（ｄｉ，ｄｊ）を使用して２つの検出間の類似性（αＡ（ｄｉ，ｄｊ））を測定する。以下のサブセクションで、本出願人らは、設計の詳細について説明する。
【００２８】
本出願人らは、局所重要点検出器およびオプティカルフロープロセスを使用して重要点軌道を獲得する。プロセスは、様々なよく知られているコンピュータビジョン技法を組み合わせて、一組の長く、かつ、正確な点軌道を生成するように設計される。画像Ｉｔが与えられると、本出願人らは、トラッキングするために、ＦＡＳＴ重要点検出器を走らせて「良好点」を識別する。冗長点を有することを回避するために、本出願人らは、新たに検出された重要点と存在しているＩＰＴの間の距離を計算し、かつ、新しい点を存在しているＩＰＴから十分遠くに維持する（＞４ｐｘ）。新しい点には独自のＩＤが割り当てられる。ｔにおけるすべてのＩＰＴに対して、本出願人らは、順方向（ｔ→ｔ＋１）および逆方向（ｔ＋１→ｔ）オプティカルフローを計算する。逆方向フローの開始点は、順方向フローの終点によって与えられる。その２つの間に大きい不一致（＞１０ｐｘ）を有するすべてのＩＰＴは終結される。
【００２９】
ＡＬＦＤ設計の場合、本出願人らは、必要な表記法を定義してＡＬＦＤを説明する。ｋｉｄ∈Ｋは、独自のｉｄを有する１つのＩＰＴを表す。ｋｉｄは、存在している時間の間に、ピクセル位置によってパラメータ化される。本出願人らは、フレームｔにおけるピクセル位置を表すために定義する。ｔにおいて存在しない場合（終結されるか、または開始されない）、
【００３０】
【数７】
2018503160.tif 000009
【００３１】
が戻される。
【００３２】
本出願人らは、最初に、ボックスの内側に配置され、かつ、ｔｊにおいて存在しているすべてのＩＰＴからの情報を集合することによって単方向ＡＬＦＤρ’（ｄｉ，ｄｊ）、すなわち、ｄｊへの運動パターンを定義する。正式には、本出願人らは、ＩＰＴセットを
【００３３】
【数８】
2018503160.tif 000010
【００３４】
として定義する。
【００３５】
個々のｋｉｄ∈Ｋ（ｄｉ，ｄｊ）に対して、本出願人らは、ｒｉ（ｋｉｄ）［ｘ］＝（ｋｉｄ（ｔｉ）［ｘ］−ｄｉ［ｘ］）／ｄｉ［ｗ］およびｒｉ（ｋｉｄ）［ｙ］＝（ｋｉｄ（ｔｉ）［ｙ］−ｄｉ［ｙ］）／ｄｉ［ｈ］によってｔｉにおける個々の相対位置を計算する。本出願人らは同様に計算する。［０，１］の間に拘束されるが、ｄｊの外側であり得るため、拘束されないことに注意されたい。ｒｊ（ｋｉｄ）が与えられると、本出願人らは、図２に示されている対応する空間格子ビンインデックスを計算し、かつ、カウントを累積して記述子を構築する。本出願人らは、最後のビンが検出の外部領域を考慮するための格子および４×４＋２格子を定義する。第１の外部ビンは検出の近隣を定義し（＜幅／４＆＜高さ／４）、また、第２の外部ビンは任意の他の領域を表す。
【００３６】
一対の単方向ＡＬＦＤを使用して、本出願人らは、（指示のない）ＡＬＦＤを正規化子（ｎｏｒｍａｌｉｚｅｒ）であるρ（ｄｉ，ｄｊ）＝（ρ’（ｄｉ，ｄｊ）＋ρ’（ｄｊ，ｄｉ））／ｎ（ｄｉ，ｄｊ）として定義する。正規化子は、ＩＰＴのカウントであり、また、定数であるｎ（ｄｉ，ｄｊ）＝｜Ｋ（ｄｉ，ｄｊ）｜＋｜Ｋ（ｄｊ，ｄｉ）｜＋λとして定義される。λは、本出願人らがより多くのサポートを有しているため、ＡＬＦＤのＬ１ノルムが大きくなって１に集束することを保証する。本出願人らは実践で使用する。
【００３７】
モデル重みの学習では、本出願人らは、重みが付けられた票決（ｖｏｔｉｎｇ）を使用して、訓練データセットからモデルパラメータを学習する。一組の検出および対応するグラウンドトゥルース（ＧＴ）ターゲット注釈が与えられると、本出願人らは、最初にＧＴターゲットｉｄを個々の検出に割り当てる。検出ｄｉ毎に、本出願人らは、ｔｉにおけるすべてのＧＴボックスとのオーバラップを測定する。最良のオーバラップが０．５を超える場合、対応するターゲットｉｄ（ｉｄｉ）が割り当てられる。さもなければ−１が割り当てられる。ｉｄｉ≧０（正の検出）を有するすべての検出に対して、本出願人らは一組の検出
【００３８】
【数９】
2018503160.tif 000011
【００３９】
を収集する。本出願人らは、対毎に、以下のようにマージンを計算する。ｉｄｊが全く同じである場合、ｍｉｊ＝（ｏｉ−０．５）・（ｏｊ−０．５）。さもなければｍｉｊ＝−（ｏｉ−０．５）・（ｏｊ−０．５）。直感的には、ｍｉｊは、２つの検出が同じターゲットからのものである場合、正の値を有することになり、一方、２つの検出が異なるターゲットからのものである場合、負の値を有することになる。大きさは、ローカライズ精度によって重みが付けられる。すべての対およびマージンが与えられると、本出願人らは、以下のようにモデルｗＡｔを学習する。
【００４０】
【数１０】
2018503160.tif 000012
【００４１】
上式で、割算は要素毎に実施される。プロセスは、すべてのＡＬＦＤパターンに対して、符号付きの重み付き平均を計算し、重みは、ターゲットと検出の間のオーバラップによって決定される。直感的には、ＧＴと良好に一致する検出間のＡＬＦＤパターンが、モデルパターンに対してより寄与する。重みが付けられた票決方法の利点は、個々の要素が［−１，１］内に拘束され、したがってＡＬＦＤメトリックαＡ（ｄｉ，ｄｊ）が｜｜ρ（ｄｉ，ｄｊ）｜｜１≦１によって同じく拘束されることである。本出願人らは、ＫＩＴＴＩ  ００００シーケンスを使用して学習し、かつ、すべての実験を通して同じパラメータを維持した。
【００４２】
次に、本出願人らは、ＡＬＦＤ類似性メトリックαＡ（ｄｉ，ｄｊ）の特性について説明する。第１に、外観または空間メトリクスとは異なり、ＡＬＦＤは、ＩＰＴ間およびＩＰＴを通したすべての画像中の情報を暗黙のうちに利用する。第２に、ＡＬＦＤ設計の集合的な性質のおかげで、ＡＬＦＤは、任意の時間の長さにわたって強力な類似性メトリックを提供する。本出願人らは、とりわけ、長い一時的な距離にわたって、外観または空間メトリックに優る著しい利点を観察する（解析のための節５．１を参照されたい）。第３に、ＡＬＦＤは、一般に、任意のシナリオ（静止カメラまたは移動カメラのいずれか）、および任意の対象タイプ（人または自動車）に適用することができる。ＡＬＦＤの１つの欠点は、オクルージョンが存在するとＡＬＦＤが不信頼になり得ることである。オクルージョンがターゲットに生じると、ターゲットから開始されるＩＰＴは、オクルーダに付着する傾向を示す。
【００４３】
次に、ニアオンラインマルチターゲットトラッキング（ＮＯＭＴ）について説明する。本出願人らは、個々の時間フレームにおいてターゲットを更新し、かつ、出力するニアオンラインマルチターゲットトラッキングフレームワークを使用して、一時的な窓［ｔ−τ，ｔ］の中の入力を考慮する。本出願人らは、仮説生成および選択スキームを使用してＮＯＭＴプロセスを実現する。説明の便宜上、本出願人らは、［ｔ−１］−τ，ｔ−１］中のすべての関連する検出を排除するきれいなターゲット
【００４４】
【数１１】
2018503160.tif 000013
【００４５】
を定義する。［ｔ−１−τ，ｔ］中の一組の検出およびきれいなターゲットＡ＊ｔ−１が与えられると、本出願人らは、個々のターゲット
【００４６】
【数１２】
2018503160.tif 000014
【００４７】
と新たに入ってくるターゲットに対する複数のターゲット仮説
【００４８】
【数１３】
2018503160.tif 000015
【００４９】
を生成する。ここで、
【００５０】
【数１４】
2018503160.tif 000016
【００５１】
（空仮説）はターゲットの終結を表し、また、個々の
【００５２】
【数１５】
2018503160.tif 000017
【００５３】
は、ターゲットに結合され得る［ｔ−τ，ｔ］中の一組の候補検出を示す。各々は、τ個の検出を含み得る（１期間のフレームにおいて１つの検出が存在し得る）。すべての既存のターゲットおよび新しいターゲットに対する仮説のセットが与えられると、プロセスは、図形的モデルを使用してすべてのターゲットに対する最も矛盾の無い仮説のセット（ＭＡＰ）を見つける（１つのターゲットに対して１つ）。主要な特徴として、本出願人らのプロセスは、その前の期間のフレームで生じたあらゆる結合誤差に適合することができる（一時的な窓［ｔ−τ，ｔ］内での検出のために）。
【００５４】
個々のステップの詳細に進む前に、本出願人らは、本出願人らの基礎となるモデル表現について説明する。モデルは、エネルギー最小化フレームワーク
【００５５】
【数１６】
2018503160.tif 000018
【００５６】
として公式化され、ｘは、対応するターゲットのために選択される仮説を示す整数状態ベクトルであり、Ｈｔは、すべての仮説のセット
【００５７】
【数１７】
2018503160.tif 000019
【００５８】
であり、また、Ｈｔ（ｘ）は、一組の選択された仮説
【００５９】
【数１８】
2018503160.tif 000020
【００６０】
である。最適化を解決することにより、選択された仮説
【００６１】
【数１９】
2018503160.tif 000021
【００６２】
を使用してＡ＊ｔ−１−１を拡大することにより、更新されたターゲットが独自に識別され得る。以下、本出願人らは、方程式中のクラスタを回避するためにＤｔ−１−τｔを省略する。エネルギーは、
【００６３】
【数２０】
2018503160.tif 000022
【００６４】
として定義され、個々のターゲットの運動、外観およびＡＬＦＤメトリックにおける矛盾性の無さを符号化し、また、異なるターゲット間の排他的関係を表す（例えば２つのターゲットは同じ検出を共有しない）。新たに入ってくるターゲットに対する仮説が存在する場合、本出願人らは、対応するターゲットを空セット
【００６５】
【数２１】
2018503160.tif 000023
【００６６】
として定義する。
【００６７】
ポテンシャルは、ターゲット
【００６８】
【数２２】
2018503160.tif 000024
【００６９】
に対する仮説の両立性を測定する。数学的には、これは、以下のように、対による単項高次数項に分解され得る。
【００７０】
【数２３】
2018503160.tif 000025
【００７１】
Ψｕは、ＡＬＦＤ類似性メトリックおよびターゲット動力学特徴を使用して、ターゲット仮説
【００７２】
【数２４】
2018503160.tif 000026
【００７３】
における個々の検出ｄｉの両立性を符号化する。Ψｐは、ＡＬＦＤメトリックを使用して、
【００７４】
【数２５】
2018503160.tif 000027
【００７５】
内の検出間の対による両立性（仮説の自己無矛盾性）を測定する。最後に、Ψｈは、長期間円滑性制約および外観無矛盾性を実現する。
【００７６】
このポテンシャルは、画像平面における大きいオーバラップ（反発力）ならびに検出の重複割当てを使用した２つのターゲットの選択を罰する。ポテンシャルは、
【００７７】
【数２６】
2018503160.tif 000028
【００７８】
として記述されることが可能であり、
【００７９】
【数２７】
2018503160.tif 000029
【００８０】
は、時間ｆにおける関連する検出（何もない場合、
【００８１】
【数２８】
2018503160.tif 000030
【００８２】
が返される）、ｏ２（ｄｉ，ｄｊ）＝２＊ＩｏＵ（ｄｉ，ｄｊ）２を与え、定義関数である。前者は、仮説間の大きすぎるオーバラップを有することを罰し、また、後者は、検出の重複割当てを罰する。本出願人らは、β＝１００を使用する（重複割当てを回避するには十分に大きい）。
【００８３】
次に仮説生成について説明する。空間は実際には巨大であるため、上記目的関数（方程式２）に対する直接最適化は実行不可能である。この課題に対処するために、本出願人らは、最初に、ターゲット毎の一組の候補仮説を個別に使用し、また、ＣＲＦ推測プロセスを使用して一致した解（ＭＡＰ）を見出す。後続するすべてのステップは、生成される仮説に依存するため、ターゲット仮説の包括的なセットを有することは極めて重要である。本出願人らは、トラックレットを使用して、既存のターゲットおよび新しいターゲットの仮説を生成する。本出願人らは、ターゲット毎に独立して仮説セットを生成するため、以下のステップは同時に実施され得ることに注意されたい。
【００８４】
すべての信頼し得る検出のために、本出願人らは、ＡＬＦＤメトリックαＡを使用してトラックレットを構築する。１つの検出トラックレットＴｉ＝｛ｄｉ｝から開始して、本出願人らは、［ｔ−τ，ｔ］中の検出のセットである
【００８５】
【数２９】
2018503160.tif 000031
【００８６】
が、Ｔｉにおいて既に含まれているフレームを排除するよう、最良の一致検出を貪欲に追加することによってトラックレットを成長させる。最良のＡＬＦＤメトリックが未満であるか、一杯である場合（検出の数を有している）、反復が終了する。さらに、本出願人らは、追加トラックレットを獲得するために、［ｔ−τ，ｔ］中の個々の
【００８７】
【数３０】
2018503160.tif 000032
【００８８】
から残りの検出を同じく抜き取る。全く同じトラックレットが存在し得るため、本出願人らは、出力セットＴ中の独自のトラックレットのみを維持する。
【００８９】
次に、本出願人らは、存在しているターゲットに対する仮説について説明する。本出願人らは、存在しているターゲット毎にトラックレットＴを使用して一組のターゲット仮説を生成する。極めて多数の仮説を不必要に有することを回避するために、本出願人らはゲート化（ｇａｔｉｎｇ）戦略を使用する。本出願人らは、多項式関数を使用した最小２乗プロセスを使用して、ターゲット
【００９０】
【数３１】
2018503160.tif 000033
【００９１】
毎にターゲット予測子を獲得する。本出願人らは、データセットに応じて多項式の次数を変える（ＭＯＴおよびＫＩＴＴＩの場合は１）。ｔ−τ，ｔ］における任意のフレームにおける任意のトラックレットＴｉ中の予測と検出の間に特定の閾値を超えるオーバラップ（ＩｏＵ）が存在している場合、本出願人らは仮説セット
【００９２】
【数３２】
2018503160.tif 000034
【００９３】
に加える。実際には、本出願人らは、豊富なセットの仮説を有するために保存的な閾値を使用する。古すぎるターゲット（ｔ−τ−Ｔａｃｔｉｖｅ，ｔ］中に関連する検出を有していない）は、不必要な計算負荷を回避するために無視される。本出願人らは、Ｔａｃｔｉｖｅ＝１秒を使用する。
【００９４】
新しいターゲットは、任意の時間に任意の位置で場面に入ることができるため、新しいターゲットを自動的に識別することが望ましい。本出願人らのプロセスは、当然、セット中の任意のトラックレットを取り扱うことにより、新しいターゲットを潜在的な新しいターゲットとして識別することができる。本出願人らは、新しい重複ターゲットを有することを回避するために、トラックレットに対する非最大の抑制を使用する。本出願人らは、トラックレットＴｉ毎に、単純に空ターゲット
【００９５】
【数３３】
2018503160.tif 000035
【００９６】
を関連する仮説セット
【００９７】
【数３４】
2018503160.tif 000036
【００９８】
に加える。
【００９９】
次に、動的図形モデルを使用した推測について詳細に説明する。本出願人らがすべての新しいターゲットおよび既存のターゲットに対するすべての仮説を有すると、問題（方程式２）は、指示のない図形的モデルを使用して推測問題として公式化されることが可能であり、１つのノードがターゲットを表し、また、状態は、図１（ｃ）に示されている仮説インデックスである。この問題における主な課題は、１）図形モデル表現中にループが存在し得る、および２）グラフの構造が個々の状況における仮説に応じて異なることである。厳密な解を効果的に得るために、本出願人らは、最初にグラフの構造をオンザフライ方式で解析し、かつ、構造解析に基づいて適切な推測プロセスを適用する。
【０１００】
図形的モデルが与えられると、本出願人らは、接続された構成要素解析を使用して独立したサブグラフを見出し、かつ、サブグラフ毎に同時に個々の推測プロセスを実施する。サブグラフが複数のノードから構成されている場合、本出願人らは、ジャンクションツリープロセスを使用して、対応するサブグラフに対する解を得る。さもなければ本出願人らは、ターゲットに対する最良の仮説を選択する。状態が見出されると、本出願人らは、Ｈｔ（ｘ）：Ａ＊ｔ−１＋Ｈｔ（ｘ）→Ａｔを使用してＡ＊ｔ−１を拡大することにより、新しいセットのターゲットを独自に識別することができる。このプロセスは、本出願人らによる、［ｔ−τ，ｔ］における任意の結合の調整（すなわち追加、削除、置換または未修正）を可能にする。
【０１０１】
上の節で説明したように、本出願人らは、ＡＬＦＤメトリックを主要類似性メトリックとして利用して検出を比較する。仮説における検出毎の単項ポテンシャルは、
【０１０２】
【数３５】
2018503160.tif 000037
【０１０３】
によって測定され、Ｎは、隣のフレーム距離の定義済みセットであり、また、
【０１０４】
【数３６】
2018503160.tif 000038
【０１０５】
は、ｔｉにおける関連する検出
【０１０６】
【数３７】
2018503160.tif 000039
【０１０７】
を与える。本出願人らは、恣意的に大きいセットのＮを定義することができるが、本出願人らは、長期間類似性測度をモデル化している間、計算効率を選択する。
【０１０８】
ＡＬＦＤメトリックは、ほとんどの事例において極めて強力な情報を提供するが、オクルージョン、誤ったＩＰＴ、等々を始めとするいくつかの失敗事例が存在する。このような事例を補足するために、本出願人らは、追加ターゲット動力学（ＴＤ）特徴
【０１０９】
【数３８】
2018503160.tif 000040
【０１１０】
を設計する。上で説明した同じ多項式最小２乗予測子を使用して、本出願人らは、特徴を
【０１１１】
【数３９】
2018503160.tif 000041
【０１１２】
として定義し、ηは、長期間予測の効果を減ずる崩壊係数（０．９８）であり、
【０１１３】
【数４０】
2018503160.tif 000042
【０１１４】
は
【０１１５】
【数４１】
2018503160.tif 000043
【０１１６】
の最後の関連フレームを表し、ｏ２はＩｏＵ２を表し、また、多項式最小２乗予測子である。
【０１１７】
２つの測度を使用して、本出願人らは、単項ポテンシャル
【０１１８】
【数４２】
2018503160.tif 000044
【０１１９】
を
【０１２０】
【数４３】
2018503160.tif 000045
【０１２１】
として定義し、ｓｉはｄｉの検出スコアを表す。演算子は、ほとんどの事例において、本出願人らによるＡＬＦＤメトリックの利用を可能にするが、ＴＤメトリックを起動するのは、ＴＤメトリックが極めて確かである場合のみである（予測と検出の間のオーバラップよりも）。
【０１２２】
【数４４】
2018503160.tif 000046
【０１２３】
が空である場合、ポテンシャルは−ｓｉになる。
【０１２４】
対によるポテンシャルΨｐ（・）は、もっぱらＡＬＦＤメトリックによって定義される。単項ポテンシャルと同様、本出願人らは、
【０１２５】
【数４５】
2018503160.tif 000047
【０１２６】
における検出間の対による関係を定義する。
【０１２７】
【数４６】
2018503160.tif 000048
【０１２８】
それは、仮説
【０１２９】
【数４７】
2018503160.tif 000049
【０１３０】
の自己無矛盾性を測定する。
【０１３１】
本出願人らは、物理的な実行可能性および外観類似性を使用してターゲット結合プロセスを規則化するために高次数ポテンシャルを組み込む。第１に、本出願人らは、突然の運動を示す仮説に罰則を適用することによって物理的な実行可能性を実現する。第２に、本出願人らは、
【０１３２】
【数４８】
2018503160.tif 000050
【０１３３】
および
【０１３４】
【数４９】
2018503160.tif 000051
【０１３５】
におけるすべての検出間の長期間外観類似性を符号化する。直感は、ポテンシャル
【０１３６】
【数５０】
2018503160.tif 000052
【０１３７】
によって符号化され、γ、ε、θはスカラパラメータであり、ζ（ａ，ｂ）は、［ｔ−τ，ｔ］におけるｐの平均高さによって正規化される、２つのボックスの（ｘ，ｙ，高さ）における２乗された距離の和を測定し、また、Ｋ（ｄｉ，ｄｊ）は、検出と結合したカラーヒストグラムに対する交点カーネルを表す。本出願人らは、ＬＡＢカラーヒストグラムの角錐を使用し、第１の層はフルボックスであり、また、第２の層は３×３格子である。ヒストグラムにはＡチャネルおよびＢチャネルのみが使用され、ビンはチャネル毎に４つである（４×４×（１＋９）個のビンが得られる）。本出願人らは、（γ，ε，θ）＝（２０，０．４，０．８）を実際に使用する。
【０１３８】
本出願人らの制御された実験は、ＡＬＦＤベース類似性メトリックが別の従来の類似性メトリクスより著しく良好であることを立証している。ＡＬＦＤを備えることにより、本出願人らのＮＯＭＴプロセスは、２つの問題の多い大規模データセットに対して著しく良好なトラッキング結果を生成する。さらに、本出願人らの方法はリアルタイムで走り、自律的な運転、リアルタイム監視、等々を始めとする様々なアプリケーションへの本出願人らによるその適用を可能にする。
【０１３９】
図３に示されているように、一態様による自律的な運転システム１００は、様々な構成要素を有する車両１０１を含んでいる。特定の態様は、特定のタイプの車両との接続にとりわけ有用であるが、車両は、それらに限定されないが、自動車、トラック、オートバイ、バス、ボート、航空機、ヘリコプタ、芝刈り機、レクリエーション用車両、遊園地車両、建設車両、農業器具、市街電車、ゴルフカート、列車およびトロリーを始めとする任意のタイプの車両であってもよい。車両は、プロセッサ１２０、メモリ１３０、および汎用コンピュータに典型的に存在する他の構成要素を含んだコンピュータ１１０などの１つまたは複数のコンピュータを有し得る。
【０１４０】
メモリ１３０は、プロセッサ１２０によるアクセスが可能な、プロセッサ１２０によって実行され、さもなければプロセッサ１２０によって使用され得る命令１３２およびデータ１３４を含む情報を記憶する。メモリ１３０は、コンピュータ可読媒体、またはハードドライブ、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤまたは他の光ディスク、ならびに他の書込み可能メモリおよびリードオンリメモリなどの電子デバイスの助けを借りて読み出され得るデータを記憶する他の媒体を含む、プロセッサによるアクセスが可能な情報を記憶することができる任意のタイプのメモリであってもよい。システムおよび方法は、上記の異なる組合せを含むことが可能であり、それにより命令およびデータの異なる部分が異なるタイプの媒体上に記憶される。
【０１４１】
命令１３２は、プロセッサによって直接実行され（機械コードなど）、あるいは間接的に実行される（スクリプトなど）任意のセットの命令であってもよい。例えば命令は、コンピュータコードとしてコンピュータ可読媒体上に記憶され得る。その点に関して、「命令」および「プログラム」という用語は、本明細書においては交換可能に使用され得る。命令は、プロセッサによって直接処理される場合、オブジェクトコードフォーマットで記憶され、あるいはスクリプト、または要求時に翻訳され、あるいは前もってコンパイルされる複数の独立ソースコードモジュールの集合を含む任意の他のコンピュータ言語で記憶され得る。命令の機能、方法およびルーチンは、以下でより詳細に説明される。
【０１４２】
データ１３４は、命令１３２に従ってプロセッサ１２０によって検索、記憶または修正され得る。例えばシステムおよび方法は、何らかの特定のデータ構造によって制限されないが、データは、複数の異なる欄および記録、ＸＭＬ文書または単層ファイルを有する表として、関係データベース内のコンピュータレジスタに記憶され得る。また、データは、任意のコンピュータ可読フォーマットで同じくフォーマット化され得る。単なる他の例にすぎないが、画像データは、圧縮または圧縮解除される、無損失の（例えばＢＭＰ）または損失のある（例えばＪＰＥＧ）フォーマットに従って記憶される複数のピクセルの格子を含むビットマップ、および図形を描くためのビットマップまたはベクトルベース（例えばＳＶＧ）ならびにコンピュータ命令として記憶され得る。データは、数、記述テキスト、所有権を主張できるコード、同じメモリまたは異なるメモリ（他のネットワーク位置を含む）の他の領域に記憶されているデータの参照、または関連するデータを計算するための機能によって使用される情報などの関連する情報を識別するのに十分な任意の情報を含み得る。
【０１４３】
プロセッサ１２０は、市販のＣＰＵなどの任意の従来のプロセッサであってもよい。別法としては、プロセッサは、ＡＳＩＣなどの専用デバイスであってもよい。図１は、コンピュータ１１０のプロセッサ、メモリおよび他の要素を同じブロック内に存在しているものとして機能的に示したものであるが、プロセッサおよびメモリは、同じ物理的なハウジング内に収納されていようがいまいが、実際には複数のプロセッサおよびメモリを備え得ることは当業者には理解されよう。例えばメモリは、コンピュータ１１０のハウジングとは異なるハウジング内に配置されたハードドライブであっても、あるいは他の記憶媒体であってもよい。したがってプロセッサまたはコンピュータの参照には、それらが同時に動作しようがしまいが、複数のプロセッサ、複数のコンピュータまたは複数のメモリの集合の参照を含むことが理解されよう。本明細書において説明されているステップを単一のプロセッサを使用して実施するのではなく、舵取り構成要素および減速構成要素などの複数の構成要素のうちのいくつかは、それらの構成要素の特定の機能に関連する計算のみを実施するそれぞれ独自のプロセッサを有し得る。
【０１４４】
本明細書において説明されている様々な態様では、プロセッサは、車両から離れて配置されることが可能であり、車両と無線で通信し得る。他の態様では、本明細書において説明されている複数のプロセスのうちのいくつかは、単一の操作を実行するために必要なステップの獲得を始めとして、車両内またはその他に配置されたプロセッサ上で、あるいは遠隔プロセッサによって実行される。
【０１４５】
コンピュータ１１０は、中央処理装置（ＣＰＵ）などのコンピュータ、データ１３４およびウェブブラウザなどの命令を記憶するメモリ（例えばＲＡＭおよび内部ハードドライブ）、電子ディスプレイ１４２（例えばスクリーン、小型ＬＣＤタッチスクリーン、または情報を表示するように動作することができる任意の他の電気デバイスを有するモニタ）、ユーザ入力（例えばマウス、キーボード、タッチスクリーンおよび／またはマイクロホン）、ならびに人の状態および願望についての明確な（例えばジェスチャ）または暗示的な（例えば「人が眠っている」）情報を収集するための様々なセンサ（例えばビデオカメラ）との接続に一般的に使用されるいくつかの構成要素のすべてを含み得る。
【０１４６】
また、車両は、コンピュータ１１０と通信してデバイスの地理上の位置を決定する地理位置コンポーネント１４４を同じく含み得る。例えば位置コンポーネントは、デバイスの緯度、経度および／または高度位置を決定するためのＧＰＳ受信機を含み得る。レーザベースローカライズシステム、慣性支援ＧＰＳまたはカメラベースローカライズなどの他の位置システムを同じく使用して車両の位置が識別され得る。また、車両は、様々なソースから位置情報を同じく受け取り、かつ、この情報を様々なフィルタを使用して結合して「車両の位置の最良」の予測を識別し得る。例えば車両は、地図位置、ＧＰＳ位置、および車両のその前の位置からの時間による位置の変化に基づくその車両の現在位置の予測を含む多くの位置予測を識別し得る。この情報は、１つにまとめて車両の位置の高度に正確な予測を識別し得る。本明細書において説明されている車両の「位置」は、緯度、経度および高度などの絶対地理位置、ならびに絶対地理位置より少ない雑音でしばしば決定され得る近傍の他の自動車に対する位置などの相対位置情報を含み得る。
【０１４７】
また、デバイスは、コンピュータ１１０と通信する、加速度計、ジャイロスコープ、または車両の方向および速度、またはそれらに対する変化を決定するための別の方向／速度検出デバイス１４６などの他の特徴を同じく含み得る。単なる例にすぎないが、デバイス１４６は、重力の方向または重力の方向に対して直角の平面に対するそのピッチ、偏揺れまたは横揺れ（あるいはそれらに対する変化）を決定し得る。また、デバイスは、速度の増減およびこのような変化の方向を同じくトラッキングし得る。本明細書において示されているデバイスによる位置データおよび配向データの準備は、ユーザ、コンピュータ１１０、他のコンピュータおよび上記の組合せに自動的に提供され得る。
【０１４８】
コンピュータは、様々な構成要素を制御することによって車両の方向および速度を制御し得る。一例として、車両が完全に自律的なモードで走行している場合、コンピュータ１１０は、車両を加速させ（例えばエンジンに提供される燃料または他のエネルギーを多くすることによって）、減速させ（例えばエンジンに供給される燃料を少なくすることによって、あるいはブレーキをかけることによって）、また、方向を変化させ得る（例えば前輪を回転させることによって）。
【０１４９】
車両は、他の車両、道路上の障害物、交通信号、標識、樹木、等々などの車両の外部の対象を検出するためのコンポーネント１４８を含み得る。検出システムは、レーザ、ソナー、レーダ、カメラまたは任意の他の検出デバイスを含み得る。例えば車両が小型乗用車である場合、自動車は、屋根または他の便利な位置に取り付けられたレーザを含み得る。一態様では、レーザは、その軸上で回転させ、かつ、そのピッチを変えることによって、車両と、該車両と対向している対象表面との間の距離を測定し得る。また、レーザを同じく使用して、例えば暗い道路によって反射または吸収される光の量と、明るい車線線とを区別することによって車線線が識別され得る。また、車両は、適応巡航制御システムのために使用されるレーダ検出ユニットなどの様々なレーダ検出ユニットを同じく含み得る。レーダ検出ユニットは、自動車の前後ならびにフロントバンパの両側に配置され得る。別の例では、異なる画像からの視差を使用して、図１のカメラによって例示されている１つまたは複数のカメラによってキャプチャされる様々な対象までの距離が計算され得ることが知られている距離を互いに隔てて、様々なカメラが自動車上に取り付けられ得る。これらのセンサは、車両によるその環境の把握を可能にし、その環境中に存在する通行者ならびに対象または人の安全を最大にするために、潜在的にその環境への応答を可能にする。
【０１５０】
上で説明したセンサに加えて、コンピュータは、非自律的な車両に固有のセンサからの入力を同じく使用し得る。例えばこれらのセンサは、タイヤ圧センサ、エンジン温度センサ、ブレーキ熱センサ、ブレーキパッド状態センサ、タイヤトレッドセンサ、燃料センサ、オイルレベルおよび品質センサ、空気品質センサ（空気の温度、湿度または微粒子を検出するための）、等々を含み得る。
【０１５１】
これらのセンサの多くは、コンピュータによってリアルタイムで処理されるデータを提供し、すなわちセンサは、時間または一定の範囲の時間にわたって知覚される環境を反映するためにそれらの出力を連続的に更新し、また、連続的に、あるいは要求に応じて、その更新された出力をコンピュータに提供することが可能であり、したがってコンピュータは、知覚された環境に応答して、車両のその時点の方向または速度を修正すべきかどうかを決定することができる。
【０１５２】
これらのセンサを使用して、道路上の歩行者、自転車、他の車両または対象の動きが識別され、トラッキングされ、かつ、予測され得る。例えばセンサは、車両を取り囲んでいる対象の位置情報および形状情報をコンピュータ１１０に提供することが可能であり、また、そのコンピュータ１１０は、対象を別の車両として識別し得る。また、対象の現在の動きは、センサ（例えばコンポーネントは独立型速度レーダ検出器である）によって、あるいは該センサによって提供される情報に基づいてコンピュータ１１０によって同じく決定され得る（例えば時間による対象の位置データの変化を比較することによって）。
【０１５３】
コンピュータは、検出された対象の存在に基づいて、車両の現在の経路および速度を変更し得る。例えば車両は、その現在の速度が５０ｍｐｈであり、また、そのカメラを使用し、かつ、光学文字認識を使用して、車両が間もなく、速度制限が３５ｍｐｈであることを示す標識を通過することを検出すると、自動的に減速し得る。同様に、コンピュータが、対象が車両の意図した経路を妨害していることを決定すると、コンピュータは、車両を操作してその障害物を迂回し得る。
【０１５４】
車両のコンピュータシステムは、検出された対象の期待される動きを予測し得る。コンピュータシステム１１０は、単に対象の瞬時方向、加速／減速および速度にのみ基づいて対象の将来の動きを単純に予測することが可能であり、例えば対象の現在の方向および動きが継続するであろうことを予測し得る。
【０１５５】
対象が検出されると、システムは、対象のタイプ、例えばトラフィックコーン、人、自動車、トラックまたは自転車を決定し、かつ、この情報を使用して対象の将来の挙動を予測し得る。例えば車両は、レーザによって決定される対象の形状、レーダに基づく、あるいはカメラ画像に基づくパターン一致による対象のサイズおよび速度のうちの１つまたは複数に基づいて対象のタイプを決定し得る。また、対象は、対象のサイズ（自転車はパン貯蔵箱より大きく、かつ、自動車より小さい）、対象の速度（自転車は、時速４０マイルより速い速度で走る傾向、または時速０．１マイル未満で走る傾向を示さない）、自転車によって発せられる熱（自転車には、運転者に体熱を放出させる傾向がある）、等々のうちの１つまたは複数を考慮し得る対象分類子を使用することによって同じく識別され得る。
【０１５６】
いくつかの例では、車両によって識別される対象には、実際に車両にその進路を変更させる必要がない場合があり得る。例えば砂嵐の間、車両は、砂を１つまたは複数の対象として検出し得るが、安全上の理由で車両自体の速度を遅くするか、または停止することは可能であっても、その軌道を変更する必要はない。
【０１５７】
別の例では、車両の外部の場面は、様々なセンサの入力から分割する必要はなく、また、車両に応報的なアクションを取らせるために対象を分類する必要もない。むしろ車両は、対象の色および／または形状に基づいて１つまたは複数のアクションを取り得る。
【０１５８】
また、システムは、検出された対象の動きとは無関係の情報を同じく利用して、対象の次のアクションを予測し得る。一例として、車両が、別の対象が自転車であり、その車両の前方で急な丘を登ろうとしていることを決定すると、コンピュータは、自転車の速度が間もなく遅くなり、そのために、自転車が現在は比較的速い速度で走っているかどうかに無関係に、車両の速度が遅くなるであろうことを予測し得る。
【０１５９】
車両の外部の対象を識別し、分類し、かつ、それに反応する上記方法は、衝突を回避する可能性を高くするために、単独で、あるいは任意の組合せで使用され得ることは理解されよう。
【０１６０】
他の例として、システムは、車両の近傍の対象が曲り専用車線に存在する別の自動車であることを決定し得る（例えば他の自動車をキャプチャしている画像データを解析することによって、該他の自動車が該車線に存在し、また、該車線には左折の矢印が記されている）。その点に関し、システムは、他の自動車が次の交差点で曲がり得ることを予測し得る。
【０１６１】
コンピュータは、周囲の対象の予測されたアクションに応答して、車両に特定のアクションを取らせ得る。例えばコンピュータ１１０が、例えば自動車の回転信号または該自動車が存在している車線に基づいて、車両に接近している別の自動車が上で言及した次の交差点で曲がろうとしていることを決定すると、コンピュータは、車両がその交差点に接近すると車両を減速させ得る。この点に関して、他の対象の予測挙動は、対象のタイプおよびその現在の軌道のみならず、該対象が交通規則または所定の挙動を遵守する、あるいは遵守しない何らかの可能性にも同じく基づいている。これは、車両による、法律上の、また、予測可能な挙動のみならず、不法なｕターンまたは車線変更、赤信号無視、等々などの他の運転者による予期しない挙動に対する適切な応答を可能にし得る。
【０１６２】
別の例では、システムは、様々な状況における対象パフォーマンスについての規則のライブラリを含み得る。例えばライト上に取り付けられた左折矢印を有する最も左側の車線にいる自動車は、矢印が緑色に変わると左に曲がることが最もありそうである。ライブラリは、手動で構築され得るか、または車両による道路上の他の車両（自律的なものであれ、非自律的なものであれ）の観察によって構築され得る。ライブラリは、車両観察によって改善され得る規則の人間が構築したセットとして開始し得る。同様に、ライブラリは、車両観察から学習される規則として開始することが可能であり、また、複数の規則を調査し、かつ、それらを手動で改善する人間を有し得る。この観察および学習は、例えば機械学習のツールおよび技法によって達成され得る。
【０１６３】
様々なセンサによって提供されるデータの処理に加えて、コンピュータは、その前の時間点で獲得された環境データであって、その環境における車両の存在には無関係に存続することが期待される環境データを利用し得る。例えばデータ１３４は、詳細な地図情報１３６、例えば道路の形状および高さ、車線線、交差点、横断歩道、速度制限、交通信号、建物、標識、リアルタイム交通情報または他のこのような対象および情報を識別する高度に詳細な地図を含み得る。車線線または交差点などのこれらの対象の各々は、高度に正確で、例えば１５ｃｍ、さらには１ｃｍまで正確である地理上の位置と結合され得る。また、地図情報は、例えば様々な道路区分と結合した明確な速度制限情報を含み得る。速度制限データは、手動で入力され得るか、または例えば光学文字認識を使用した速度制限標識の既に獲得済みの画像から走査され得る。地図情報は、上で列挙した複数の対象のうちの１つまたは複数を組み込んだ三次元地形地図を含み得る。例えば車両は、リアルタイムデータ（例えば車両のセンサを使用して別の自動車の現在のＧＰＳ位置を決定する）、および他のデータ（例えばＧＰＳ位置と既に記憶されている車線特化地図データを比較して、他の自動車が曲り車線にいるかどうかを決定する）に基づいて、別の自動車が曲がることが期待されることを決定し得る。
【０１６４】
別の例では、車両は、道路の位置、属性および状態をより良好に識別するために、地図情報を使用してセンサデータを補足し得る。例えば道路の車線線が摩耗によって消失している場合、車両は、センサデータのみを利用するのではなく、地図情報に基づいて車線線の位置を予想し得る。
【０１６５】
また、車両センサを使用して、地図情報が収集され、かつ、補足され得る。例えば、運転者は、道路の位置、車線線、交差点、交通信号、等々などの様々なタイプの地図情報を検出し、かつ、記憶するために、非自律的なモードで車両を運転し得る。後に、車両は、記憶されている情報を使用して車両を操作し得る。別の例では、車両が、常に数センチメートル移動している橋、交差点における新しい交通パターンなどの環境変化を検出または観察するか、あるいは道路が舗装されて車線線が移動すると、この情報は車両によって検出され、衝突を回避するための車両の操作方法に関する様々な決定を実施するために使用され得るだけでなく、その車両の地図情報に組み込まれ得る。いくつかの例では、運転者は、他の自律的な車両によって使用されるよう、任意選択で、遠隔サーバに無線で送信することによってその変化情報を中央地図データベースに報告することを選択し得る。サーバは、それに応答してデータベースを更新し、例えば情報を自動的に送信することによって、あるいは利用可能なダウンロード可能更新にすることによって他の自律的な車両がすべての変化を利用することができるようにし得る。したがって環境変化は、遠隔サーバから極めて多くの車両に対して更新され得る。
【０１６６】
別の例では、自律的な車両は、道路または道路に沿った対象の街路レベルの画像をキャプチャするためのカメラを備え得る。
【０１６７】
また、コンピュータ１１０は、車両およびその構成要素の状態を車両１０１の乗客に伝えるために状態指示器１３８を同じく制御し得る。例えば車両１０１は、車両、特定のセンサまたはとりわけコンピュータ１１０の総合的な状態に関する情報を表示するための、図２に示されているようなディスプレイ２２５を備え得る。ディスプレイ２２５は、例えばコンピュータ、車両自体、道路、交差点ならびに他の対象の状態および情報を含む、車両の周囲のコンピュータ生成画像を含み得る。
【０１６８】
コンピュータ１１０は、視覚的なキューまたは可聴キューを使用して、コンピュータ１１０が様々なセンサから有効なデータを獲得しているかどうか、コンピュータが自動車の方向または速度、あるいは両方を部分的に、または完全に制御しているかどうか、何らかの誤差が存在しているかどうか、等々を示し得る。また、車両１０１は、車両１０１の現在の状態を示すための状態バー２３０などの状態指示装置を同じく含み得る。図２の例では、状態バー２３０は、車両が、現在、運転モードにあり、時速２マイルで移動していることを示す「Ｄ」および「２ｍｐｈ」を表示している。その点に関して、車両は、電子ディスプレイ上にテキストを表示し、車両１０１の一部を明るくし、あるいは様々な他のタイプの指示を提供し得る。さらに、コンピュータは、その瞬間に人間または自動化システムが車両を制御中であるかどうかを示す、人間、他のコンピュータまたは両方による読取りが可能な外部指示器を同じく有し得る。
【０１６９】
一例では、コンピュータ１１０は、車両の様々な構成要素と通信することができる自律的な運転計算システムであってもよい。例えばコンピュータ１１０は、車両の従来の中央プロセッサ１６０と通信することが可能であり、また、車両１０１の動き、速度、等々を制御するために、車両１０１の様々なシステム、例えば制動１８０システム、加速１８２システム、信号発信１８４システムおよびナビゲーション１８６システムに情報を送り、かつ、受け取り得る。さらに、係合されると、コンピュータ１１０は、車両１０１のこれらの機能のうちのいくつか、またはすべてを制御することが可能であり、したがって完全に、または単に部分的に自律的になり得る。車両１０１内には様々なシステムおよびコンピュータ１１０が示されているが、これらの要素は、車両１０１の外部であっても、あるいは長い距離を隔てて物理的に分離され得ることは理解されよう。
【０１７０】
本開示の態様によるシステムおよび方法は、何らかの特定のタイプの対象の検出、または何らかの特定のタイプの車両動作あるいは環境条件の観察に限定されず、また、何らかの特定の機械学習プロセスに限定されないが、何らかの独自のシグネチャを使用して、他の運転パターンから差別されるべき何らかの運転パターンを引き出し、かつ、学習するために使用され得る。
【０１７１】
説明され、かつ、図に示されているデータのサンプル値、タイプおよび構成は、単に例証を目的としたものにすぎない。その点に関し、本開示の態様によるシステムおよび方法は、様々なタイプのセンサ、通信デバイス、ユーザインタフェース、車両制御システム、データ値、データタイプおよび構成を含み得る。システムおよび方法は、異なる時間に（例えば異なるサーバまたはデータベースを介して）、また、異なる実態（例えばいくつかの値は事前に提案され、あるいは異なるソースから提供され得る）によって提供され、かつ、受け取られ得る。
【０１７２】
上で説明した特徴のこれらおよび他の変形形態および組合せは、特許請求の範囲によって定義されているシステムおよび方法から逸脱することなく利用され得るため、例示的実施形態についての以上の説明は、特許請求の範囲によって定義されている本開示を制限するものとしてではなく、例証として解釈されるべきである。また、例（ならびに「などの」、「例えば」、「含む」、等々のような文節句）の準備は、本開示を特定の例に限定するものとして解釈されるべきではなく、どちらかと言えばこれらの例には、多くの可能な態様のうちのほんのいくつかを例証することが意図されていることが同じく理解されよう。
【０１７３】
そうではないことが明確に言及されていない限り、所与の実施形態、代替または例におけるすべての特徴は、本明細書においては任意の他の実施形態、代替または例に使用され得る。例えば車両の動きを検出するための任意の適切なセンサは、本明細書においては任意の構成で使用され得る。特定の運転者パターンまたはシグネチャ車両の動きを表すための任意のデータ構造が使用され得る。任意の適切な機械学習プロセスは、本明細書においては任意の構成で使用され得る。
【図１】
2018503160.tif 000060
【図２】
2018503160.tif 000061
【図３】
2018503160.tif 000062
【国際調査報告】
2018503160.tif 000063
2018503160.tif 000064