(57)【要約】  車両に取り付けられた全方位カメラを用いて物体の位置を特定する方法及びシステム。電子制御ユニットは、車両通信バスから車両の移動データを受信する。それと同時に、電子制御ユニットは、全方位カメラによる静止物体の複数の全方位画像フレームを受信する。受信した全方位画像フレームに基づいて、電子制御ユニットは、全方位画像フレーム内における関心物体を識別し、車両が移動している間に、全方位画像フレーム内において関心物体を追跡する。電子制御ユニットは、車両が移動しているときの全方位画像フレーム内における関心物体の位置の変化を特定し、全方位画像フレーム内における車両の位置の変化と、関心物体の位置の変化とに基づいて、関心物体までの距離を特定する。
2018512593.tif 000002
【特許請求の範囲】
【請求項１】
車両に取り付けられた全方位カメラを用いて物体の位置を特定する方法において、
前記車両の位置の変化を示す車両センサから前記車両の移動データを受信することと、
全方位カメラを用いて１つ又は複数の静止物体の複数の全方位画像フレームを受信することと、
前記全方位画像フレーム内における前記１つ又は複数の静止物体から関心物体を識別することと、
前記車両が移動している間に、電子制御ユニットを用いて前記全方位画像フレーム内において前記関心物体を追跡することと、
前記車両が移動しているときの前記全方位画像フレーム内における前記関心物体の位置の変化を特定することと、
前記全方位画像フレーム内における前記車両の前記位置の変化と、前記関心物体の前記位置の変化とに基づいて、前記車両に対して相対的な前記関心物体までの距離を特定することと
を含む、物体の位置を特定する方法。
【請求項２】
前記車両の移動データを受信することは、車両通信バスから移動方向及び移動距離を受信することを含む、
請求項１に記載の物体の位置を特定する方法。
【請求項３】
地上座標系を基準にした前記車両の地上位置座標に基づいて、前記車両の位置を特定することと、
光学座標系を基準にした前記関心物体の光学位置座標に基づいて、前記関心物体の位置を特定することと、
前記地上位置座標に基づいて特定された前記車両の位置を、前記光学座標系を基準にした光学位置座標に基づいた前記車両の位置に変換することと
をさらに含む、請求項１に記載の物体の位置を特定する方法。
【請求項４】
前記全方位画像フレームを複数のレクティリニア画像フレームに変換することと、
前記複数のレクティリニア画像フレーム内における前記関心物体の複数の位置を特定することと、
前記車両が移動している間における前記複数のレクティリニア画像フレーム内における前記関心物体の位置の変化を特定することと
をさらに含む、請求項１に記載の物体の位置を特定する方法。
【請求項５】
前記移動データからの前記車両の前記位置の変化と、前記全方位画像内における前記関心物体の前記位置の変化とに基づいて前記関心物体までの距離を特定することは、前記車両の前記移動データと、前記関心物体の前記位置の変化とを三角測量することを含む、
請求項１に記載の物体の位置を特定する方法。
【請求項６】
前記地上座標系と前記光学座標系との間の関係を較正することをさらに含む、
請求項３に記載の物体の位置を特定する方法。
【請求項７】
前記全方位画像フレームをレクティリニア画像フレームに変換することをさらに含む、
請求項１に記載の物体の位置を特定する方法。
【請求項８】
前記関心物体を複数の光学位置座標として分類し、
前記全方位画像内において前記関心物体を追跡することは、前記光学位置座標を追跡することを含み、
前記車両が移動しているときの前記全方位画像内における前記関心物体の位置の変化を特定することは、前記光学位置座標の変化を特定することを含む、
請求項１に記載の物体の位置を特定する方法。
【請求項９】
座標点に対してバンドル調整を実施することをさらに含む、
請求項８に記載の物体の位置を特定する方法。
【請求項１０】
前記関心物体は、ユーザ入力によって識別される、
請求項１に記載の物体の位置を特定する方法。
【請求項１１】
前記関心物体は、タッチスクリーンによって識別される、
請求項１に記載の物体の位置を特定する方法。
【請求項１２】
前記関心物体を、
前記全方位画像フレームをパターンについて分析し、
前記パターンを所定の物体の集合と比較し、
前記パターンを、前記所定の物体の集合から１つの特定の物体の種類として分類する
ことによって識別する、
請求項１に記載の物体の位置を特定する方法。
【請求項１３】
前記関心物体は、他車両、縁石、樹木、柱、及び、地面からなる群から選択された１つの物体である、
請求項１に記載の物体の位置を特定する方法。
【請求項１４】
前記関心物体の位置に基づいて、前記車両を自動的に操縦することをさらに含む、
請求項１に記載の物体の位置を特定する方法。
【請求項１５】
車両に取り付けられた全方位カメラを用いて物体の位置を特定するための物体位置特定システムにおいて、前記物体位置特定システムは、
前記車両の位置の変化を示すように構成された少なくとも１つの車両センサと、
全方位カメラと、
前記車両の運転者に映像情報を表示するように構成されたユーザインタフェースと、
前記電子制御ユニットと、
を含み、
前記電子制御ユニットは、
１つ又は複数の静止物体の全方位画像を含む前記全方位カメラから複数の全方位画像フレームを受信し、
前記車両の位置の変化を示す前記少なくとも１つの車両センサから前記車両の移動データを受信し、
前記全方位画像フレーム内における前記１つ又は複数の静止物体から関心物体を識別し、
前記車両が移動している間に、前記複数の全方位画像フレーム内において前記関心物体を追跡し、
前記車両が移動しているときの前記全方位画像フレーム内における前記関心物体の位置の変化を特定し、
前記全方位画像フレーム内における前記車両の前記位置の変化と、前記関心物体の前記位置の変化とに基づいて、前記関心物体までの距離を特定する
ように構成されている、位置特定システム。
【請求項１６】
前記少なくとも１つの車両センサは、車輪速度センサ及び操舵角センサを含む、
請求項１５に記載の物体位置特定システム。
【請求項１７】
前記電子制御ユニットはさらに、前記関心物体までの距離を特定するために、前記全方位画像フレーム内における前記車両の前記位置の変化と、前記関心物体の前記位置の変化とを三角測量するように構成されている、
請求項１５に記載の物体位置特定システム。
【請求項１８】
前記電子制御ユニットはさらに、前記関心物体までの距離を計算する前に、前記全方位画像をレクティリニア画像に変換するように構成されている、
請求項１５に記載の物体位置特定システム。
【請求項１９】
前記関心物体を識別した運転者から前記電子制御ユニットへの入力を受信するように構成されたタッチスクリーンをさらに含む、
請求項１５に記載の物体位置特定システム。
【請求項２０】
前記関心物体は、他車両、縁石、樹木、柱、及び、地面からなる群から選択された１つの物体である、
請求項１５に記載の物体位置特定システム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連案件へのクロスリファレンス
本出願は、２０１５年４月１０日に出願された米国仮特許出願第６２／１４５６９２号明細書（U.S.Provisional Patent Application No.62/145,692）の利益を主張するものであり、同明細書の全内容は参照により本明細書に組み込まれる。
【背景技術】
【０００２】
背景
本発明の実施形態は、車両撮像システムに関する。
【発明の概要】
【課題を解決するための手段】
【０００３】
概要
物体位置測定システムは、車載の全方位カメラによって観察されるような関心物体の位置を検出、追跡、及び、計算する。物体位置測定システムは、電子制御ユニットを使用し、電子制御ユニットは、車両の移動に基づいて構造（即ち、ワールド座標系における複数の点）を識別及び推定する。当該システムは、車両通信バスを介して通信する車両制御装置によって供給されるオドメトリ情報（odometric information ）を使用する。さらには、物体位置測定システムは、単一の広視野カメラからの複数の画像に基づいてワールド構造を推定するための制御装置を含む。制御装置は、ワールド構造とオドメトリ情報とを使用して、車両による運転者支援操縦及び自動操縦の実施を可能にする。
【０００４】
１つの実施形態では、本発明は、車両に取り付けられた全方位カメラを用いて物体の位置を特定する方法を提供する。電子制御ユニットが、車両の位置の変化を示す車両センサから車両の移動データを受信する。電子制御ユニットは、全方位カメラを用いて１つ又は複数の静止物体の複数の全方位画像フレームを受信し、全方位画像フレーム内における１つ又は複数の静止物体に基づいて関心物体を識別する。電子制御ユニットは、車両が移動している間に、全方位画像フレーム内において関心物体を追跡する。電子制御ユニットは、車両が移動しているときの全方位画像フレーム内における関心物体の位置の変化を特定する。電子制御ユニットは、全方位画像フレーム内における車両の位置の変化と、関心物体の位置の変化とに基づいて、関心物体までの距離を特定する。
【０００５】
別の実施形態では、本発明は、車両に取り付けられた全方位カメラを用いて物体の位置を特定するための物体位置特定システムを提供する。本システムは、車両の位置の変化を示すように構成された少なくとも１つの車両センサと、全方位カメラと、車両の運転者に映像情報を表示するように構成されたユーザインタフェースとを含む。本システムはさらに、全方位カメラから１つ又は複数の静止物体の全方位画像を含む複数の全方位画像フレームを受信するように構成された電子制御ユニットを含む。電子制御ユニットはさらに、車両の位置の変化を示す少なくとも１つの車両センサから車両の移動データを受信する。電子制御ユニットは、全方位画像フレーム内における１つ又は複数の静止物体から関心物体を識別し、車両が移動している間に、複数の全方位画像フレーム内において関心物体を追跡する。電子制御ユニットはさらに、車両が移動しているときの全方位画像フレーム内における関心物体の位置の変化を特定し、全方位画像フレーム内における車両の位置の変化と、関心物体の位置の変化とに基づいて、関心物体までの距離を特定する。
【０００６】
本発明の他の態様は、詳細な説明及び添付の図面を考慮することによって明らかになるであろう。
【図面の簡単な説明】
【０００７】
【図１】物体位置測定システムが装備された車両のブロック図である。
【図２】図１の物体位置測定システムのための電子制御ユニットのブロック図である。
【図３】リアビュー全方位カメラを用いて物体を識別する図１の物体位置測定システムを有する車両を示す図である。
【図４】図３の全方位カメラからの関心物体の全方位画像である。
【図５】車載の全方位カメラから図３の関心物体までの視線を示す図である。
【図６】図１の車両を基準にした地上座標系（ＧＣＳ）を示す図である。
【図７】車両を基準にしたＧＣＳと、図１の全方位カメラを基準にした光学座標系（ＯＣＳ）との間の関係を示す図である。
【図８】所定の時間間隔の期間にわたる、図７のＧＣＳとＯＣＳとの間の変換を示す図である。
【図９】所定の時間間隔の期間にわたる、全方位カメラ姿勢に基づいた、図７のＧＣＳとＯＣＳとの間の変換を示す図である。
【図１０Ａ】ＧＣＳを基準にして、図１の物体位置測定システムを用いて物体位置を推定する方法を説明する図である。
【図１０Ｂ】ＧＣＳを基準にして、図１の物体位置測定システムを用いて物体位置を推定する方法を説明する図である。
【図１１Ａ】全方位カメラから図３の関心物体までの複数の視線の１つの共通の交点を示す図である。
【図１１Ｂ】図１１Ｂの共通の交点を決定する際における不確実性を示す図である。
【図１２】図３の関心物体上において識別された複数の点のグリッド図である。
【図１３】図１の物体位置測定システムを使用して物体の位置を特定する方法のフローチャートである。
【図１４】図１の物体位置測定システムを使用して物体の位置を特定する方法の別のフローチャートである。
【発明を実施するための形態】
【０００８】
詳細な説明
本発明の全ての実施形態を詳細に説明する前に、本発明がその適用に関して、以下の説明に記載された又は以下の図面に図示された構成の詳細及び構成要素の配置に限定されないことを理解すべきである。本発明は、それ以外の複数の実施形態が可能であり、種々のやり方で実施又は実行することが可能である。
【０００９】
本発明を実装するために、ハードウェア及びソフトウェアベースの複数のデバイス、並びに、複数の構造コンポーネントを使用してもよいことに留意すべきである。さらには、本発明の実施形態は、ハードウェア、ソフトウェア、及び、電子コンポーネント又は電子モジュールを含むことができ、これらは議論する目的のために、大部分の構成要素がハードウェアだけで実装されているかのように図示及び説明されている場合があることを理解すべきである。しかしながら、当業者であれば、本詳細な説明の読解に基づいて、少なくとも１つの実施形態において、本発明の電子ベースの態様が１つ又は複数のプロセッサによって実行可能な（例えば非一時的なコンピュータ可読媒体に保存された）ソフトウェアで実装され得ることを認識するだろう。したがって、本発明を実装するために、ハードウェア及びソフトウェアベースの複数のデバイス、並びに、複数の異なる構造コンポーネントを使用してもよいことに留意すべきである。例えば、明細書に記載されている「制御ユニット」及び「制御装置」は、１つ又は複数のプロセッサ、非一時的なコンピュータ可読媒体を含む１つ又は複数のメモリモジュール、１つ又は複数の入力／出力インタフェース、及び各コンポーネント同士を接続する種々の接続手段（例えばシステムバス）を含むことが可能である。
【００１０】
図１は、１つの実施形態による物体位置測定システム１０２が装備された車両１００を図示している。車両１００は、全方位カメラ１０５（例えば魚眼レンズカメラ）、電子制御ユニット（ＥＣＵ１１０）、車両通信バス１１５（例えばＣＡＮバス）、ディスプレイ１２０、及び、ユーザインタフェース１２５を含む。全方位カメラ１０５は、ＥＣＵ１１０と通信可能に接続されており、ＥＣＵ１１０は、全方位カメラ１０５を用いて捕捉された複数の全方位画像（即ち、全方位画像フレーム）にアクセスする。ＥＣＵ１１０は、複数の画像を所定の時間間隔で処理し、車両１００が走行した距離に少なくとも部分的に基づいて複数の画像及び関連データを記録する。さらには、ＥＣＵ１１０は、全方位画像をレクティリニア（rectilinear ）画像（即ち、レクティリニア画像フレーム）に変換し、このレクティリニア画像を、車両の運転者が見られるようにディスプレイ１２０に送信する。車両通信バス１１５は、他の車両システムと共にＥＣＵ１１０をディスプレイ１２０に通信可能に接続する。例えば車両通信バス１１５は、ＥＣＵ１１０と、ディスプレイ１２０と、ユーザインタフェース１２５と、車両１００内の他の電子制御ユニットとの間における通信を可能にする。いくつかの構成では、ディスプレイ１２０及びユーザインタフェース１２５は、例えばタッチスクリーンディスプレイのような単一のデバイスに統合されている。その結果、車両１００の運転者は、ユーザインタフェース１２５を介してディスプレイ１２０に直接的にコマンドを入力することができる。以下で詳細に説明するようにユーザインタフェース１２５は、ディスプレイ１２０内における関心物体を指示する運転者から、入力を受信することができる。別の実施形態では、ディスプレイ１２０及びユーザインタフェース１２５は、運転者とＥＣＵ１１０との間の通信を提供するための別個のスタンドアロン型の入力デバイス及び出力デバイスである。
【００１１】
物体位置測定システム１０２のいくつかの実施形態は、車両１００の位置及び移動を示す１つ又は複数の車両センサ１４０も含む。例えば車両１００は、操舵角センサ、車輪位置センサ又は車輪速度センサ、及び、全地球測位システム（ＧＰＳ）インジケータを含むことができる。車両センサ１４０によってＥＣＵ１１０は、車両センサ１４０によって供給される移動情報に基づいて車両１００の位置、方位、及び、移動を検出するが可能となる。さらには、ＥＣＵ１１０は、移動情報に基づいて、位置及び時間の経過に伴う位置の変化を計算するように構成されている。さらには、ＥＣＵ１１０は、例えばステアリングホイール、スロットル、及び、ブレーキシステムのような１つ又は複数の車両制御装置１４５に通信可能に結合させることができる。これらの車両制御装置１４５を使用してＥＣＵ１１０は、物体位置測定システム１０２によって分析された車両１００の位置と、車両１００の周囲の物体の位置とに基づいて、自動運転操縦を実施することができる。
【００１２】
図２は、ＥＣＵ１１０のブロック図である。ＥＣＵ１１０は、ＥＣＵ１１０及び／又は全方位カメラ１０５の内部にあるコンポーネント及びモジュールに、電力、動作制御、及び、保護を提供するための複数の電気的なコンポーネント及び電子的なコンポーネントを含む。例えばＥＣＵ１１０は、特に、（プログラマブル電子マイクロプロセッサ、マイクロコントローラ、又は、同様のデバイスのような）制御装置２０５、電源モジュール２１０、及び、入力／出力モジュール２１５を含む。制御装置２０５は、特に処理ユニット２２０及びメモリ２２５を含む。処理ユニット２２０は、メモリ２２５に通信可能に接続されており、メモリ２２５に保存可能な命令を実行する。制御装置２０５は、特に本明細書に記載の制御プロセス及び方法に関連する命令をメモリ２２５から検索して実行するように構成されている。別の実施形態では、ＥＣＵ１１０は、追加的なコンポーネント、より少ない数のコンポーネント、又は、異なるコンポーネントを含む。ＥＣＵ１１０は、本明細書に列挙した特定の機能を実行するようにそれぞれ構成された、複数の独立した電子制御ユニットに実装されていてもよいことに留意すべきである。さらには、ＥＣＵ１１０は、サブモジュールを含むことができ、これらのサブモジュールは、特定の種類のセンサデータを入力して、関連プロセスを実行する。例えば映像分析モジュールは、全方位カメラ１０５からのビデオストリームを入力し、画像をレクティリニア形式に変換し、画像内において物体及び特徴を認識し、画像内において物体及び特徴を追跡し、これらのプロセスからのデータ出力を他のＥＣＵ又はサブモジュールに送信することができる。
【００１３】
ＥＣＵ１１０は、特に、全方位カメラ１０５から受信した全方位画像の一部をレクティリニア画像フレームに変換するように構成されている。例えば図２の実施形態では、入力／出力モジュール２１５は、全方位カメラ１０５から全方位画像を受信し、これらの全方位画像を画像処理のために制御装置２０５に送信する。次いで、制御装置２０５は、全方位画像を処理及び変換する。ＥＣＵ１１０は、米国特許出願公開第１４／８０８１４４号明細書（U.S.Patent Application No.14/808,144）に開示されている変換方法を用いて全方位画像をレクティリニア画像フレームに変換することができ、同明細書の全内容は参照により本明細書に組み込まれる。ＥＣＵ１１０は、変換された画像を、車両通信バス１１５を介して、又は、ＥＣＵ１１０とディスプレイ１２０との間の別の通信リンクを介してディスプレイ１２０に送信する。さらには、入力／出力モジュール２１５は、表示された画像の関心領域を識別するユーザインタフェース１２５からのコマンドを受信することができる。関心領域は、ＥＣＵ１１０及び／又は運転者によって関心物体を含んでいると特定された、全方位画像の一部を表す。
【００１４】
ユーザインタフェース１２５、ＥＣＵ１１０、サブモジュール、追加的なＥＣＵ、車両センサ１４０、及び、車両制御装置１４５は、車両通信バス１１５上の１つ又は複数の通信モジュールを介してリンクさせることができ、及び／又は、入力／出力モジュール２１５を介して直接的に接続させることができる。いくつかの実施形態では、ユーザインタフェース１２５は、Ｊ１９３９又はＣＡＮバスのような通信用プロトコルを用いて入力／出力モジュール２１５と通信する。別の実施形態では、ユーザインタフェース１２５は、特定の用途の必要性に応じた別の適切なプロトコルの下で入力／出力モジュール２１５と通信する。いくつかの実施形態では、入力／出力モジュール２１５は、種々の制御部及びセンサからの専用の信号線を使用して直接的に情報を入力する。
【００１５】
図３は、物体位置測定システム１０２及びトレーラ３０５を含む車両１００を示す図である。本実施例では、トレーラ３０５は、トレーラヒッチ３１０を含む。トレーラヒッチ３１０は、ＥＣＵ１１０にとっての関心物体である。この場合にはＥＣＵ１１０は、このトレーラヒッチ３１０を、車両１００を位置合わせする際の対象にすべき物体として識別している。視線３１５は、全方位カメラ１０５からトレーラヒッチ３１０まで延びている。図４は、全方位カメラ１０５を有する車両１００からのリアビューである。図示されているようにトレーラヒッチ３１０は、全方位画像内のある位置を占めており、この位置が、ＥＣＵ１１０によって画素位置として、又は、座標の集合（例えば垂直座標及び水平座標）として検出される。車両１００がトレーラ３０５に接近すると、トレーラヒッチ３１０の位置は、全方位画像内において新しい画素位置又は新しい座標の集合へと移動する。位置の変化が検出され、その変化量がＥＣＵ１１０によって特定される。しかしながら、車両１００に対して相対的なトレーラヒッチ３１０の距離及び位置は、全方位画像のみに基づいて、又は、全方位画像内におけるトレーラヒッチ３１０の位置の変化のみに基づいて把握されるわけではない。さらには、トレーラヒッチ３１０の位置の変化は、全方位画像内における非線形効果に起因して、全方位画像内におけるトレーラヒッチ３１０の位置に応じてより大きく又はより小さく現れる場合がある。ＥＣＵ１１０は、検出された物体の位置の変化を計算する前に、関心物体を含んでいる全方位画像の少なくとも一部の変換を実施して、このような非線形効果を低減又は排除する。
【００１６】
図５は、車両１００がトレーラ３０５に接近するときの全方位カメラ１０５とトレーラヒッチ３１０との間の視線の変化を図示している。上側の例５０５では、視線５１０が全方位カメラ１０５からトレーラヒッチ３１０まで延びている。中央の例５１５では、視線５２０が全方位カメラ１０５からトレーラヒッチ３１０まで延びている。下側の例５２５では、視線５３０が全方位カメラ１０５からトレーラヒッチ３１０まで延びている。視線５１０と視線５２０と視線５３０との間の角度の変化を図示するために、中央の例５１５及び下側の例５２５にも視線５１０が記載されている。角度の変化が生じると、全方位画像内におけるトレーラヒッチ３１０の位置（例えば画素位置）が変化する。この変化がＥＣＵ１１０によって追跡される。
【００１７】
図６は、車両１００を有するワールド座標系を示すグラフである。ＥＣＵ１１０は、初期基準点６０５を起点にして、車両通信バス１１５から読み出された移動データ（例えば移動方向及び移動距離）に基づいて、車両１００の現在位置６１０及び移動経路６０７を追跡する。ＥＣＵ１１０は、車両１００の車輪速度センサ、操舵角センサ、及び、その他のセンサを使用して、あらゆる所与の方向において移動量を追跡する。ＥＣＵ１１０は、所定の時間間隔で、車両姿勢（例えばワールド座標系に対する車両の位置及び方向）を特定する。例えばＥＣＵ１１０は、初期基準点６０５からのｙ距離（ＶＲ）及びｘ距離（ＸＲ）と、ヨー角６１５（例えば車両１００が向いている方向）とを特定して、メモリ２２５に保存することができる。ＥＣＵ１１０は、全方位カメラ１０５からの全方位画像を処理すると同時に、現在位置６１０と車両１００の移動とを特定する。その結果、ＥＣＵ１１０は、現在位置６１０及び移動データを、全方位カメラ１０５からの一連の全方位画像と照合することが可能となる。
【００１８】
全方位画像からの情報と、車両１００の移動データとを比較するために、基準の座標系の変換が実施される。図７は、全方位カメラ１０５に対する光学座標系（ＯＣＳ）７０５と、車両１００に対する地上座標系（ＧＣＳ）７１０とを図示している。ＧＣＳ７１０は、原点を単純に車両１００に変換すればワールド座標系も表すこととなるので、本開示を通じてワールド座標系ではなくＧＣＳ７１０を参照するものとする。ＯＣＳ７０５は、全方位カメラ１０５の光学開口部において基準の原点を有する。z軸は、車両１００から４５度の角度で上後方に延びており、y軸は、車両１００から−４５度の角度で下後方に延びている。対照的に、ＧＣＳ７１０のz軸は、車両１００に対して垂直に延びており、ＧＣＳ７１０のy軸は、車両１００と平行に延びている。これらの座標系の位置合わせは、車両１００に対する全方位カメラ１０５の位置合わせと、全方位カメラ１０５の内部パラメータ及び外部パラメータとに応じて異なる場合がある。
【００１９】
ＥＣＵ１１０は、ＧＣＳ７１０系とＯＣＳ７０５系との間の関係を決定する。いくつかの実施形態では、車両１００の製造中に、この関係を規定するためにＥＣＵ１１０が較正される。例えば、全方位カメラ１０５を介して視覚的なテストパターンを入力することができる。この場合にはＥＣＵ１１０は、テストパターンの既知の値（例えば距離）を基準にして、入力されたテストパターンを分析する。このようにしてＥＣＵ１１０は、ＯＣＳ７０５及びＧＣＳ７１０の位置合わせを実施する。しかしながら、時間の経過に伴ってＯＣＳ７０５とＧＣＳ７１０との間の関係が変化する場合がある。例えば、タイヤ圧の変化又は高負荷状態が原因で車両１００の高さが変化すると、ＯＣＳ７０５とＧＣＳ７１０との間の関係が変化する可能性がある。この変化を調整するためにＥＣＵ１１０は、車両１００の製造後にＯＣＳ７０５とＧＣＳ７１０との間の追加的な較正を実施することができる。例えばＥＣＵ１１０は、例えば車両１００の毎回の始動時に所定の間隔でビジュアルオドメトリ（visual odometry ）を使用して較正を実施することができる。この種類の較正は、視覚的なテストパターンに基づいてではなく、全方位画像内において検出された物体に基づいて実施することができる。例えばＥＣＵ１１０によって地面を検出することができ、全方位画像内におけるこの地面の位置に基づいてＯＣＳ７０５とＧＣＳ７１０との間の関係を調整することができる。全方位カメラ姿勢（例えば全方位カメラの位置及び方向）は、ＯＣＳ７０５を基準にして特定されるので、較正によって全方位カメラ姿勢も調整される。
【００２０】
図８は、車両１００が逆方向に移動している間における車両１００の位置のシーケンスを図示している。第１の時点８００において、ＥＣＵ１１０が全方位画像フレームを入力し、この全方位画像フレームによってＥＣＵ１１０は、ＯＣＳ７０５を基準にしたＯＣＳ位置座標８０５（即ち、光学位置座標）を作成する。それと同時にＥＣＵ１１０は、車両１００のセンサからの情報に基づいて、ＧＣＳ７１０を基準にしたＧＣＳ位置座標８１０（即ち、地上位置座標）を入力する。ＯＣＳ位置座標８０５及びＧＣＳ位置座標８１０は、タイムスタンプが付された状態でメモリ２２５に保存される。タイムスタンプは、ＯＣＳ位置座標８０５及びＧＣＳ位置座標８１０を同期させるために後で使用される。第２の時点８２０には、車両が逆方向に距離８２５だけ移動しており、この距離８２５は、ＧＣＳ７１０を基準にして測定することが可能である。第２の時点８２０において、ＥＣＵ１１０は、ＧＣＳ位置座標８１０及び全方位画像フレームを入力する。ＥＣＵ１１０は、この情報を、第２の時点８２０を示すタイムスタンプと共にメモリ２２５に保存する。同様にして、車両１００が距離８３５だけ移動したことを示す第３の時点８３０において、ＥＣＵ１１０は、ＯＣＳ位置座標８０５及びＧＣＳ位置座標８１０を、第３の時点８３０を示すタイムスタンプと共にメモリ２２５に保存する。
【００２１】
図９は、図８を参照して説明された車両１００の位置のシーケンスのさらに別の図である。本実施形態では、ＥＣＵ１１０は、それぞれ所与の時間間隔におけるＧＣＳ位置座標８１０を、同じ時間間隔におけるＯＣＳ位置座標８０５に変換する。例えば第１の時点８００において、ＥＣＵ１１０は、ＧＣＳ位置座標８１０を読み出し、ＯＣＳ７０５とＧＣＳ７１０との間の関係（例えば較正によって決定される）に基づいて、ＧＣＳ位置座標８１０をＯＣＳ位置座標８０５に変換する。この情報は、全方位カメラ姿勢（Ｒ（１），ｔ（１））に関して捕捉される。第２の時点８２０において、ＥＣＵ１１０は、ＧＣＳ位置座標８１０を、全方位カメラ姿勢（Ｒ（２），ｔ（２））を有するＯＣＳ位置座標８０５に変換する。同様にして、第３の時点８３０において、ＥＣＵ１１０は、ＧＣＳ位置座標８１０を、全方位カメラ姿勢（Ｒ（３），ｔ（３））を有するＯＣＳ位置座標８０５に変換する。
【００２２】
図１０Ａは、ＥＣＵ１１０がそれぞれの時間間隔１０００において図１０Ｂに図示された変換を実施することを図示している。時間間隔１０００は、ＥＣＵ１１０の用途又は処理速度に基づいて予め決定して調整することができる。時間間隔１０００を、予め決定された時間ではなく移動した距離に基づかせてもよい。それぞれの時間間隔１０００において、ＥＣＵ１１０は、車両通信バス１１５からＧＣＳ位置座標８１０を特定する（ステップ１００５）。それぞれの時間間隔１０００ごとに、全方位カメラ姿勢（Ｒ（ｉ），ｔ（ｉ））が特定される（ステップ１０１０）。全方位カメラ姿勢（Ｒ（ｉ），ｔ（ｉ））は、ＯＣＳ７０５に関して全方位カメラ１０５の位置を規定する。ピクセルトラッカは、以下で詳細に説明するように全方位画像内における画素位置に基づいて関心物体のＯＣＳ位置座標８０５を作成する（ステップ１０１５）。ＯＣＳ位置座標８０５及び姿勢（Ｒ（ｉ），ｔ（ｉ））は、それぞれの時間間隔１０００ごとにＥＣＵ１１０によって処理され、これらのそれぞれの時間間隔１０００ごとに、関心物体の推定ワールド位置（ｘ，ｙ，ｚ）（ｋ）が決定される（ステップ１０２０）。
【００２３】
車両１００がトレーラヒッチ３１０（即ち、関心物体）に接近すると、トレーラヒッチ３１０は、全方位画像内における画素位置を移動させる。これは、上述したような全方位カメラ１０５からトレーラヒッチ３１０への視線の変化に対応する。図１１Ａでは、第１の視線１１０５は車両１００の第１の位置１１１０に対応し、第２の視線１１１５は車両１００の第２の位置１１２０に対応し、第３の視線１１２５は車両１００の第３の位置１１３０に対応する。第１の位置１１１０と第２の位置１１２０との間の第１の距離１１３５は、ＥＣＵ１１０によってＧＣＳ位置座標８１０を使用して特定される。同様にして、第２の距離１１４０は、ＥＣＵ１１０によってＧＣＳ位置座標８１０を使用して決定される。レクティリニア画像内における画素位置の変化量に基づいて、第１の角度１１４５及び第２の角度１１５０を計算してもよい。ＥＣＵ１１０は、第１の距離１１３５と、第２の距離１１４０と、第１の角度１１４５と、第２の角度１１５０との間における既知の幾何学的な関係を使用して、車両１００とトレーラヒッチ３１０との間の離間距離１１５５を計算する。同様にして、ＥＣＵ１１０は、第３の位置１１３０における車両１００とトレーラヒッチ３１０との間の離間距離１１６０を計算する。ＥＣＵ１１０は、第１の距離１１３５及び第２の距離１１４０が非常に短い場合に（例えば非常に短い時間間隔で）、第１の距離１１３５における離間距離１１５５及び第２の距離１１４０における離隔距離１１６０を計算することができるので、これらの距離１１５５，１１６０を、車両１００がトレーラ３０５に接近するにつれてほぼ連続的に推定してもよい。ＥＣＵ１１０は、離間距離１１５５，１１６０に基づいて、車両１００及びトレーラ３０５の相対的な位置を、自動車両操縦を制御するＥＣＵを含む他の車両システムに出力する。ＥＣＵは、離間距離１１５５，１１６０及びＧＣＳ位置座標８１０を使用して、車両１００とトレーラヒッチ３１０の自動位置合わせを実施することが可能である。
【００２４】
実際には、図１１Ｂに図示されているように、関心物体の正確な画素位置のようなＯＣＳ位置座標８０５における複数の小さな不確実性が、それぞれの視線の交点１１７５において不確実性を生じさせる。これらの不確実性は、特に関心物体のために単一の交点しか使用しない場合には、車両１００とトレーラ３０５との間の推定距離に不確実性又は誤差をもたらす可能性がある。この不確実性を低減するためにＥＣＵ１１０は、１つ又は複数の関心物体の複数の点（即ち、特徴）の位置を同時に計算することができる。図１２は、関心物体上の複数の検出点１２０５を有するトレーラ３０５の一部を図示している。ＥＣＵ１１０が全方位画像を取り込むと、物体検出ルーチンが複数の検出点１２０５を検出する。複数の検出点１２０５は、認識されると、ＥＣＵ１１０の物体追跡ルーチンを使用して追跡される。その結果、複数の検出点１２０５のそれぞれが、車両１００と各検出点との間の距離を特定するために処理される。ＥＣＵ１１０が複数の検出点１２０５を検出して処理すると、ＥＣＵ１１０は、個々の検出点に関する個々の誤差又は不確実性を低減するために、複数の検出点１２０５を互いに比較することができる。例えばＥＣＵ１１０は、距離予測を精緻化するためにバンドル調整アルゴリズムを実行することができる。このようにしてＥＣＵ１１０による距離の推定は、複数の検出点１２０５にわたって最適化される。ＥＣＵ１１０の物体検出は、メモリ２２５にプログラミングされた種々の物体を検出することができる。例えばＥＣＵ１１０は、トレーラ３０５、地面、樹木、柱、縁石、他車両、歩行者などを検出することができる。上述したようにＥＣＵ１１０は、これら種々の物体上の複数の点、又は、１つの物体上の１つの点を検出することができる。いずれの場合においてもＥＣＵ１１０は、本明細書に記載された方法を使用して物体までの距離を特定する。
【００２５】
図１３及び図１４は、物体位置測定システム１０２を使用して物体の距離及び位置を特定する方法のフローチャートである。図１３は、入力パラメータがＥＣＵ１１０によって受信及び処理されることを含む本方法の一般的なステップを示す。全方位カメラ１０５から全方位画像フレームがＥＣＵ１１０に入力される（ステップ１３０５）。ＥＣＵ１１０は、全方位画像フレーム内において１つ又は複数の物体を検出し、この１つ又は複数の物体を、１つ又は複数の関心物体として分類する。具体的には、ＥＣＵ１１０は、全方位画像におけるパターンを識別し、このパターンを所定の物体の集合と比較して、その物体を１つの特定の物体の種類として分類する。物体が関心物体として分類されると、ＥＣＵ１１０は、全方位カメラ１０５からＥＣＵ１１０に入力される後続の全方位画像フレーム内において、関心物体の１つ又は複数の特徴を特定して追跡する（ステップ１３１５）。フレーム情報は、追跡される物体の種類、物体の特徴、並びに、それぞれの特徴及び／又は物体の位置（例えばどの画素か）を含むそれぞれの全方位画像フレームに付加される。それと同時に、車両１００の移動データを含む車両通信バス１１５からのメッセージが受信される（ステップ１３２０）。このメッセージは、それぞれの移動データに添付されているＣＡＮメッセージインデックス（例えばインデックスｋ’）を含み、これによってＥＣＵ１１０は、このメッセージを受信した場合に追跡が可能となる。ＥＣＵ１１０は、それぞれのＣＡＮメッセージインデックスにおいてＣＡＮメッセージを車両姿勢に変換する（ステップ１３２５）。ＥＣＵ１１０は、受信した全方位画像フレームのそれぞれと車両姿勢とを同期させる（ステップ１３３０）。ＥＣＵ１１０は、全方位画像からレクティリニア画像への変換パラメータを入力し、フレーム情報をレクティリニア画像に変換する（ステップ１３３５）。ＥＣＵ１１０は、一連の全方位画像フレームにわたって、同期された車両姿勢と、変換されたフレーム情報と、カメラ姿勢とに基づいて、物体及び特徴の位置推定値を計算する（ステップ１３４０）。
【００２６】
図１４は、物体位置測定システム１０２を使用して物体の距離及び位置を特定する方法の追加的なステップを示す。図１３を参照して説明された入力に基づいて、ＥＣＵ１１０は、オプションとしてまず始めに、ビジュアルオドメトリを用いて車両姿勢及び全方位カメラ姿勢を精緻化することができる（ステップ１４０５）。次に、ＥＣＵ１１０は、一連の全方位画像フレーム、又は、関心物体を含んでいる少なくとも一部の全方位画像フレームを、一連のレクティリニア画像フレームに変換する（ステップ１４１０）。ＥＣＵ１１０は、レクティリニア画像フレームにわたって関心物体及び特徴を追跡し、全方位画像フレーム内における関心物体に対応するフレーム情報を、レクティリニア画像フレーム情報に変換する（ステップ１４１５）。ＥＣＵ１１０は、レクティリニア画像フレーム情報を所定の距離間隔で記録する（ステップ１４２０）。距離間隔は、車両１００の移動データを使用して、所定の走行距離に基づいてＥＣＵ１１０によって決定される。ＥＣＵ１１０は、一連のレクティリニア画像フレームにわたる画素位置の変化と、同期された車両姿勢の変化とを使用して、物体及び特徴を三角測量する（ステップ１４２５）。換言すれば、ＥＣＵ１１０は、第１のレクティリニア画像フレームと第２のレクティリニア画像フレームとにわたって物体の位置の変化を特定する。次いで、ＥＣＵ１１０は、第１のレクティリニア画像フレームと第２のレクティリニア画像フレームとにわたる位置変化と、これらのレクティリニア画像フレームに対応する車両姿勢の変化とに基づいて、関心物体の距離及び位置を特定する。距離は、レクティリニア画像フレーム内における位置の変化と車両姿勢の変化との間の三角法の関係を使用して特定される。関心物体上に複数の点がある場合には、ＥＣＵ１１０は、これら複数の点までの距離も同様にして特定する。ＥＣＵ１１０は、これら複数の点に対する距離計算を、関心物体の距離計算と並行して同時に処理することができる。距離が判明すると、ＧＣＳ７１０を基準にして物体の位置が特定される。次いで、オプションとしてＥＣＵ１１０は、バンドル調整アルゴリズムを用いて、関心物体上の複数の点を使用して、物体の距離推定値及び位置推定値を調整することができる（ステップ１４３０）。バンドル調整アルゴリズムは、複数の点の間の平均値に基づいて推定値を精緻化する。
【００２７】
図１３及び図１４を参照して説明された方法は、種々の関心物体のために使用することができる。上述したようにＥＣＵ１１０は、関心物体を検出するために、まず始めに物体認識機能を利用することができる。例えばＥＣＵ１１０は、全方位画像内の物体をメモリ２２５内の既知の物体と比較して、物体を識別及び／又は分類することができる。この場合にはＥＣＵ１１０は、物体上における複数の関心点の識別を支援するために、既知の物体を利用することができる。しかしながら、ＥＣＵ１１０が、ユーザ選択に基づいて関心物体を識別するようにしてもよい。具体的には、車両１００の運転者が、例えばトレーラヒッチ３１０のような、ユーザインタフェース１２５内における物体を選択することができる。ＥＣＵ１１０は、ユーザ選択を検出し、画像認識に基づいて関連物体を識別する。このような例では、ＥＣＵ１１０は、単一の点（即ち、運転者によって選択された関心物体）を使用して図１３及び図１４で説明された方法を実施することができる。逆に、ＥＣＵ１１０が画像を認識する場合には、ＥＣＵ１１０は、既知の物体に基づいて複数の関心点を使用して、選択された関心物体の調整された距離及び位置を特定することができる。
【００２８】
このようにして本発明は、特に、車載の全方位カメラからの全方位画像内における車両の移動データ及び関心物体の位置の変化に基づいて、関心物体の距離及び位置を特定するシステム及び方法を提供する。本発明の種々の特徴及び利点は、以下の特許請求の範囲に記載されている。
【図１】
2018512593.tif 000003
【図２】
2018512593.tif 000004
【図３】
2018512593.tif 000005
【図４】
2018512593.tif 000006
【図５】
2018512593.tif 000007
【図６】
2018512593.tif 000008
【図７】
2018512593.tif 000009
【図８】
2018512593.tif 000010
【図９】
2018512593.tif 000011
【図１０Ａ】
2018512593.tif 000012
【図１０Ｂ】
2018512593.tif 000013
【図１１Ａ】
2018512593.tif 000014
【図１１Ｂ】
2018512593.tif 000015
【図１２】
2018512593.tif 000016
【図１３】
2018512593.tif 000017
【図１４】
2018512593.tif 000018
【国際調査報告】
2018512593.tif 000019
2018512593.tif 000020
2018512593.tif 000021
2018512593.tif 000022
2018512593.tif 000023