(57)【要約】  牽引車両の後ろに配置されたトレーラ（２００）に向かって牽引車両（１００）を自律的に操縦するための方法が提供される。本方法は、牽引車両の後部位置に配置されている１つまたは複数のカメラ（１４２）から、１つまたは複数の画像（４００）を受信することを含む。本方法は、１つまたは複数の画像の内部において、トレーラ表現を識別することも含む。トレーラ表現は、牽引車両の後ろに配置されたトレーラを示すものである。本方法は、トレーラ表現の垂直中心を目標として設定することも含む。本方法は、牽引車両が目標に向かう方向に自律的に操縦されるように牽引車両（１００）を旋回させるための第１のステアリングホイール角度を決定することも含む。本方法は、牽引車両（１００）に第１のステアリングホイール角度に基づいて操縦を行わせる命令を、運転システム（１１０）に送信することも含む。
2021519999.tif 000002
【特許請求の範囲】
【請求項１】
牽引車両の後ろに配置されたトレーラに向かって牽引車両を自律的に操縦するための方法であって、
当該方法は、
データ処理ハードウェアにおいて、前記牽引車両の後部位置に配置されていて、かつ前記データ処理ハードウェアと通信する１つまたは複数のカメラから、１つまたは複数の画像を受信することと、
前記データ処理ハードウェアによって、前記１つまたは複数の画像の内部において、前記牽引車両の後ろに配置された前記トレーラを示すトレーラ表現を識別することと、
前記データ処理ハードウェアによって、前記トレーラ表現の垂直中心を目標として設定することと、
前記データ処理ハードウェアによって、前記牽引車両が前記目標に向かう方向に自律的に操縦されるように前記牽引車両を旋回させるための第１のステアリングホイール角度を決定することと、
前記牽引車両に前記第１のステアリングホイール角度に基づいて操縦を行わせる命令を、前記データ処理ハードウェアから、当該データ処理ハードウェアと通信する運転システムに送信することと
を含む、方法。
【請求項２】
前記データ処理ハードウェアによって、前記トレーラ表現の前記垂直中心と、前記１つまたは複数の画像の垂直中心との間のピクセル距離を特定すること
をさらに含み、
前記トレーラ表現の前記垂直中心と、前記１つまたは複数の画像の前記垂直中心との間の前記ピクセル距離がしきい値よりも小さい場合に、
前記データ処理ハードウェアによって、前記トレーラ表現の前記垂直中心を前記目標として設定することと、
前記データ処理ハードウェアによって、前記牽引車両が前記目標に向かう方向に自律的に操縦されるように前記牽引車両を旋回させるための前記第１のステアリングホイール角度を決定することと
を含む、
請求項１記載の方法。
【請求項３】
前記データ処理ハードウェアによって、前記トレーラ表現の前記垂直中心と、前記１つまたは複数の画像の垂直中心との間のピクセル距離を特定すること
をさらに含み、
前記トレーラ表現の前記垂直中心と、前記１つまたは複数の画像の前記垂直中心との間の前記ピクセル距離がしきい値よりも大きい場合に、
前記データ処理ハードウェアによって、前記画像の前記垂直中心からの事前に規定された横方向オフセットを前記目標として設定することと、
前記データ処理ハードウェアによって、前記牽引車両が前記目標に向かう方向に自律的に操縦されるように前記牽引車両を旋回させるための第２のステアリングホイール角度を決定することと
を含む、
請求項１記載の方法。
【請求項４】
前記しきい値は、ピクセル数を含む、
請求項３記載の方法。
【請求項５】
前記牽引車両が前記目標に向かう方向に自律的に操縦されるように前記牽引車両を旋回させるための前記第２のステアリングホイール角度は、前記牽引車両と前記トレーラとがジャックナイフ現象を引き起こすことを阻止する最大ステアリングホイール角度である、
請求項３記載の方法。
【請求項６】
前記トレーラ表現を境界枠によって境界付けることをさらに含み、
前記トレーラ表現の前記垂直中心は、前記トレーラ表現を２つの等しいセクションに垂直に分割する線を含む、
請求項１記載の方法。
【請求項７】
前記１つまたは複数の画像の前記垂直中心は、前記１つまたは複数の画像のそれぞれの画像を２つの等しいセクションに垂直に分割する線を含み、それぞれのセクションは、それぞれ等しいピクセル数を有する、
請求項１記載の方法。
【請求項８】
前記１つまたは複数のカメラは、単眼カメラを含む、
請求項１記載の方法。
【請求項９】
前記１つまたは複数のカメラは、魚眼カメラを含む、
請求項１記載の方法。
【請求項１０】
牽引車両の後ろに配置されたトレーラに向かって牽引車両を自律的に操縦するためのシステムであって、
当該システムは、
データ処理ハードウェアと、
前記データ処理ハードウェアと通信するメモリハードウェアと
を含み、
前記メモリハードウェアは、前記データ処理ハードウェア上で実行された場合に、前記データ処理ハードウェアに所定の動作を実行させる命令を格納しており、
前記動作は、
前記牽引車両の後部位置に配置されていて、かつ前記データ処理ハードウェアと通信する１つまたは複数のカメラから、１つまたは複数の画像を受信することと、
前記１つまたは複数の画像の内部において、前記牽引車両の後ろに配置された前記トレーラを示すトレーラ表現を識別することと、
前記トレーラ表現の垂直中心を目標として設定することと、
前記牽引車両が前記目標に向かう方向に自律的に操縦されるように前記牽引車両を旋回させるための第１のステアリングホイール角度を決定することと、
前記牽引車両に前記第１のステアリングホイール角度に基づいて操縦を行わせる命令を、前記データ処理ハードウェアと通信する運転システムに送信することと
を含む、
システム。
【請求項１１】
前記動作は、
前記トレーラ表現の前記垂直中心と、前記１つまたは複数の画像の垂直中心との間のピクセル距離を特定すること
をさらに含み、
前記トレーラ表現の前記垂直中心と、前記１つまたは複数の画像の前記垂直中心との間の前記ピクセル距離がしきい値よりも小さい場合に、
前記データ処理ハードウェアによって、前記トレーラ表現の前記垂直中心を前記目標として設定することと、
前記データ処理ハードウェアによって、前記牽引車両が前記目標に向かう方向に自律的に操縦されるように前記牽引車両を旋回させるための前記第１のステアリングホイール角度を決定することと
を含む、
請求項１０記載のシステム。
【請求項１２】
前記命令は、
前記トレーラ表現の前記垂直中心と、前記１つまたは複数の画像の垂直中心との間のピクセル距離を特定すること
をさらに含み、
前記トレーラ表現の前記垂直中心と、前記１つまたは複数の画像の前記垂直中心との間の前記ピクセル距離がしきい値よりも大きい場合に、
前記データ処理ハードウェアによって、前記画像の前記垂直中心からの事前に規定された横方向オフセットを前記目標として設定することと、
前記データ処理ハードウェアによって、前記牽引車両が前記目標に向かう方向に自律的に操縦されるように前記牽引車両を旋回させるための第２のステアリングホイール角度を決定することと
を含む、
請求項１０記載のシステム。
【請求項１３】
前記しきい値は、ピクセル数を含む、
請求項１２記載のシステム。
【請求項１４】
前記牽引車両が前記目標に向かう方向に自律的に操縦されるように前記牽引車両を旋回させるための前記第２のステアリングホイール角度は、前記牽引車両と前記トレーラとがジャックナイフ現象を引き起こすことを阻止する最大ステアリングホイール角度である、
請求項１２記載のシステム。
【請求項１５】
前記トレーラ表現を境界枠によって境界付けることをさらに含み、
前記トレーラ表現の前記垂直中心は、前記トレーラ表現を２つの等しいセクションに垂直に分割する線を含む、
請求項１０記載のシステム。
【請求項１６】
前記１つまたは複数の画像の前記垂直中心は、前記１つまたは複数の画像のそれぞれの画像を２つの等しいセクションに垂直に分割する線を含み、それぞれのセクションは、それぞれ等しいピクセル数を有する、
請求項１０記載のシステム。
【請求項１７】
前記１つまたは複数のカメラは、単眼カメラを含む、
請求項１０記載のシステム。
【請求項１８】
前記１つまたは複数のカメラは、魚眼カメラを含む、
請求項１０記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
技術分野
本開示は、車両の後ろに配置されたトレーラの位置を特定し、ヒッチングのためにトレーラに向かって自律的に操縦を行うための方法および装置に関する。
【０００２】
背景
トレーラは、通常、動力付きの牽引車両によって牽引される動力なしの車両である。トレーラは、とりわけユーティリティトレーラ、ポップアップキャンピングカー、旅行用トレーラ、家畜用トレーラ、フラットベッドトレーラ、密閉型自動車運搬車、およびボートトレーラであり得る。牽引車両は、自動車、クロスオーバー、トラック、バン、多目的スポーツ車（ＳＵＶ）、レクリエーション用車両（ＲＶ）、またはトレーラに取り付けられてトレーラを牽引するように構成された他の任意の車両であり得る。トレーラは、トレーラヒッチを使用して動力車に取り付け可能である。レシーバーヒッチは、牽引車両に据え付けられており、トレーラヒッチに接続されて連結部を形成する。トレーラヒッチは、ボールおよびソケット、第５輪およびグースネック、またはトレーラジャッキであり得る。他の取り付け機構を使用してもよい。トレーラと動力車との間の機械的な接続に加えて、いくつかの例では、トレーラは、牽引車両に電気的に接続されている。したがって、この電気的な接続によって、トレーラは、動力車のリアランプ回路から給電を受けることが可能となり、これによって、トレーラは、動力車のランプと同期するテールランプ、方向指示器、およびブレーキランプを有することが可能となる。
【０００３】
センサ技術の最近の進歩により、車両のための安全性システムが改善されてきた。したがって、牽引車両に対して相対的なトレーラの位置を特定し、これによって牽引車両がトレーラに向かって自律的に操縦されることを可能にするようなシステムを提供することが望まれている。
【０００４】
概要
本開示の１つの態様は、牽引車両の後ろに配置されたトレーラに向かって牽引車両を自律的に操縦するための方法を提供する。本方法は、データ処理ハードウェアにおいて、牽引車両の後部位置に配置されていて、かつデータ処理ハードウェアと通信する１つまたは複数のカメラから、１つまたは複数の画像を受信することを含む。本方法は、データ処理ハードウェアによって、１つまたは複数の画像の内部において、トレーラ表現を識別することも含む。トレーラ表現は、牽引車両の後ろに配置されたトレーラを示すものである。本方法は、データ処理ハードウェアによって、トレーラ表現の垂直中心を目標として設定することも含む。本方法は、データ処理ハードウェアによって、牽引車両が目標に向かう方向に自律的に操縦されるように牽引車両を旋回させるための第１のステアリングホイール角度を決定することも含む。本方法は、牽引車両に第１のステアリングホイール角度に基づいて操縦を行わせる命令を、データ処理ハードウェアから、当該データ処理ハードウェアと通信する運転システムに送信することも含む。
【０００５】
本開示の実装形態は、以下のオプションの特徴のうちの１つまたは複数を含むことができる。いくつかの実装形態では、本方法は、データ処理ハードウェアによって、トレーラ表現の垂直中心と、１つまたは複数の画像の垂直中心との間のピクセル距離を特定することをさらに含む。トレーラ表現の垂直中心と、１つまたは複数の画像の垂直中心との間のピクセル距離がしきい値よりも小さい場合に、本方法は、データ処理ハードウェアによって、トレーラ表現の垂直中心を目標として設定することと、データ処理ハードウェアによって、牽引車両が目標に向かう方向に自律的に操縦されるように牽引車両を旋回させるための第１のステアリングホイール角度を決定することとを含む。
【０００６】
いくつかの例では、本方法は、データ処理ハードウェアによって、トレーラ表現の垂直中心と、１つまたは複数の画像の垂直中心との間のピクセル距離を特定することをさらに含む。トレーラ表現の垂直中心と、１つまたは複数の画像の垂直中心との間のピクセル距離がしきい値よりも大きい場合に、本方法は、データ処理ハードウェアによって、画像の垂直中心からの事前に規定された横方向オフセットを目標として設定することと、データ処理ハードウェアによって、牽引車両が目標に向かう方向に自律的に操縦されるように牽引車両を旋回させるための第２のステアリングホイール角度を決定することとを含むこともできる。
【０００７】
いくつかの実装形態では、しきい値は、ピクセル数を含む。牽引車両が目標に向かう方向に自律的に操縦されるように牽引車両を旋回させるための第２のステアリングホイール角度は、牽引車両とトレーラとがジャックナイフ現象を引き起こすことを阻止する最大ステアリングホイール角度であり得る。
【０００８】
いくつかの例では、本方法は、トレーラ表現を境界枠によって境界付けることをさらに含む。トレーラ表現の垂直中心は、トレーラ表現を２つの等しいセクションに垂直に分割する線を含む。１つまたは複数の画像の垂直中心は、１つまたは複数の画像のそれぞれの画像を２つの等しいセクションに垂直に分割する線を含み、それぞれのセクションは、それぞれ等しいピクセル数を有する。いくつかの例では、１つまたは複数のカメラは、単眼カメラおよび／または魚眼カメラを含む。
【０００９】
本開示の別の態様は、牽引車両の後ろに配置されたトレーラに向かって牽引車両を自律的に操縦するためのシステムを提供する。本システムは、データ処理ハードウェアと、データ処理ハードウェアと通信するメモリハードウェアとを含む。メモリハードウェアは、データ処理ハードウェア上で実行された場合に、データ処理ハードウェアに所定の動作を実行させる命令を格納している。上記動作は、牽引車両の後部位置に配置されていて、かつデータ処理ハードウェアと通信する１つまたは複数のカメラから、１つまたは複数の画像を受信することを含む。上記動作は、１つまたは複数の画像の内部において、トレーラ表現を識別することも含む。トレーラ表現は、牽引車両の後ろに配置されたトレーラを示すものである。上記動作は、トレーラ表現の垂直中心を目標として設定することも含む。上記動作は、牽引車両が目標に向かう方向に自律的に操縦されるように牽引車両を旋回させるための第１のステアリングホイール角度を決定することも含む。上記動作は、牽引車両に第１のステアリングホイール角度に基づいて操縦を行わせる命令を、データ処理ハードウェアと通信する運転システムに送信することも含む。
【００１０】
本開示の当該態様の実装形態は、以下のオプションの特徴のうちの１つまたは複数を含むことができる。いくつかの実装形態では、上記動作は、トレーラ表現の垂直中心と、１つまたは複数の画像の垂直中心との間のピクセル距離を特定することをさらに含む。トレーラ表現の垂直中心と、１つまたは複数の画像の垂直中心との間のピクセル距離がしきい値よりも小さい場合に、上記動作は、トレーラ表現の垂直中心を目標として設定することと、データ処理ハードウェアによって、牽引車両が目標に向かう方向に自律的に操縦されるように牽引車両を旋回させるための第１のステアリングホイール角度を決定することとを含む。
【００１１】
いくつかの実装形態では、上記動作は、トレーラ表現の垂直中心と、１つまたは複数の画像の垂直中心との間のピクセル距離を特定することをさらに含む。トレーラ表現の垂直中心と、１つまたは複数の画像の垂直中心との間のピクセル距離がしきい値よりも大きい場合に、上記動作は、データ処理ハードウェアによって、画像の垂直中心からの事前に規定された横方向オフセットを目標として設定することと、データ処理ハードウェアによって、牽引車両が目標に向かう方向に自律的に操縦されるように牽引車両を旋回させるための第２のステアリングホイール角度を決定することとを含む。
【００１２】
いくつかの例では、しきい値は、ピクセル数を含む。牽引車両が目標に向かう方向に自律的に操縦されるように牽引車両を旋回させるための第２のステアリングホイール角度は、牽引車両とトレーラとがジャックナイフ現象を引き起こすことを阻止する最大ステアリングホイール角度であり得る。
【００１３】
いくつかの例では、上記動作は、トレーラ表現を境界枠によって境界付けることをさらに含み、トレーラ表現の垂直中心は、トレーラ表現を２つの等しいセクションに垂直に分割する線を含む。１つまたは複数の画像の垂直中心は、１つまたは複数の画像のそれぞれの画像を２つの等しいセクションに垂直に分割する線を含むことができ、それぞれのセクションは、それぞれ等しいピクセル数を有する。本システムでは、１つまたは複数のカメラは、単眼カメラおよび／または魚眼カメラを含む。
【００１４】
本開示の１つまたは複数の実装形態の詳細は、添付の図面および以下の説明に記載されている。他の態様、特徴、および利点は、明細書および図面、ならびに特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【００１５】
【図１】牽引車両の後ろに配置されたトレーラから離間されている例示的な牽引車両の概略上面図である。
【図２】ユーザインターフェースおよびセンサシステムを有する例示的な牽引車両の概略図である。
【図３】牽引車両の後ろに配置されたトレーラに向かって牽引車両を自律的に操縦するための各動作の例示的な構成の概略図である。
【図４】図４Ａ〜図４Ｇは、図３の各動作の実行中における後方カメラからの画像の概略図である。
【図５】牽引車両の車両ヒッチボールを、牽引車両の後ろに配置されたトレーラのトレーラヒッチカプラに向かって自律的に操縦するための各動作の例示的な構成の概略図である。
【図６】図６Ａ〜６Ｃは、図５の各動作の実行中における後方カメラからの画像の概略図である。
【図７】牽引車両を目標に向かって自律的に操縦するための各動作の例示的な構成の概略図である。
【００１６】
複数の異なる図面における同様の参照符号は、同様の要素を指す。
【００１７】
詳細な説明
限定するわけではないが、自動車、クロスオーバー、トラック、バン、多目的スポーツ車（ＳＵＶ）、レクリエーション用車両（ＲＶ）のような牽引車両は、トレーラを牽引するように構成可能である。牽引車両は、トレーラヒッチを介してトレーラに接続される。ユーザディスプレイのようなユーザインターフェース上に表示される、トレーラの１つまたは複数のトレーラ表現から識別されるトレーラに向かって自律的に後退することができる牽引車両を有することが望まれている。さらに、牽引車両の後方部分に配置されたカメラから受信した１つまたは複数の画像に基づいて、トレーラ位置、例えば、牽引車両に対して相対的なトレーラ角度およびトレーラ位置を推定することができる牽引車両を有することも望まれている。さらに、トレーラに向かって自律的に操縦することができる牽引車両を有することと、牽引車両の車両ヒッチボールとトレーラヒッチカプラとの間でヒッチングするために、トレーラのトレーラヒッチカプラとの位置合わせを行うことが望まれている。
【００１８】
図１および図２を参照すると、いくつかの実装形態では、牽引車両１００の運転者は、牽引車両１００の後ろに配置されたトレーラ２００を牽引することを希望する。牽引車両１００は、選択されたトレーラ２００，２００ａ〜ｃに関連付けられた、運転者によるトレーラ選択１３４の指示を受信するように構成可能である。いくつかの例では、運転者が、選択されたトレーラ２００，２００ａ〜ｃに向かって牽引車両１００を操縦し、その一方で、他の例では、牽引車両１００が、選択されたトレーラ２００，２００ａ〜ｃに向かって自律的に運転される。牽引車両１００は、例えば、ｘ，ｙ，およびｚ成分を有する運転コマンドに基づいて路面にわたって牽引車両１００を操縦する運転システム１１０を含むことができる。図示のように、運転システム１１０は、右前輪１１２，１１２ａと、左前輪１１２，１１２ｂと、右後輪１１２，１１２ｃと、左後輪１１２，１１２ｄとを含む。運転システム１１０は、他の車輪構成を含むこともできる。運転システム１１０は、それぞれの車輪１１２，１１２ａ〜ｄに関連付けられたブレーキを含む制動システム１１４と、牽引車両１００の速度および方向を調整するように構成された加速システム１１６とを含むこともできる。さらに、運転システム１１０は、サスペンションシステム１１８を含むことができ、このサスペンションシステム１１８は、それぞれの車輪１１２，１１２ａ〜ｄに関連付けられたタイヤ、タイヤ空気、スプリング、ショックアブソーバ、およびリンク機構を含み、このリンク機構は、牽引車両１００を牽引車両１００の車輪１１２，１１２ａ〜ｄに接続し、かつ牽引車両１００と車輪１１２，１１２ａ〜ｄとの間の相対運動を可能にする。サスペンションシステム１１８は、牽引車両１００の高さを調整して、牽引車両ヒッチ１２０（例えば、車両ヒッチボール１２２）を、トレーラヒッチ２１０（例えば、トレーラヒッチカプラまたはトレーラヒッチカップ２１２）と位置合わせすることができるように構成可能であり、これにより、牽引車両１００とトレーラ２００との間の自律的な接続が可能になる。
【００１９】
牽引車両１００は、牽引車両１００によって定義される３つの相互に垂直な軸、すなわち横軸Ｘ、前後軸Ｙ、および中心垂直軸Ｚに対して相対的な、複数の異なる運動を組み合わせることによって、路面にわたって移動することができる。横軸Ｘは、牽引車両１００の右側と左側との間に延在している。前後軸Ｙに沿った前進運転方向は、Ｆとして指定され、前進運動とも称される。さらに、前後方向Ｙに沿った後進運転方向または後退運転方向は、Ｒとして指定され、後退運動とも称される。サスペンションシステム１１８が牽引車両１００のサスペンションを調整する際には、牽引車両１００を、Ｘ軸および／またはＹ軸を中心にして傾斜させるか、または中心垂直軸Ｚに沿って移動させることができる。
【００２０】
牽引車両１００は、ディスプレイ１３２のようなユーザインターフェース１３０を含むことができる。ユーザインターフェース１３０は、１つまたは複数の入力機構またはタッチスクリーンディスプレイ１３２を介して運転者から１つまたは複数のユーザコマンドを受信し、かつ／または運転者への１つまたは複数の通知を表示する。ユーザインターフェース１３０は、車両制御装置１５０と通信しており、車両制御装置１５０自体は、センサシステム１４０と通信する。いくつかの例では、ユーザインターフェース１３０は、牽引車両１００の周囲環境の画像４００を表示して、１つまたは複数の挙動の実行を開始する１つまたは複数のコマンドが（運転者から）ユーザインターフェース１３０によって受信されるようにする。いくつかの例では、ユーザディスプレイ１３２は、牽引車両１００の後ろに配置されたトレーラ２００の１つまたは複数のトレーラ表現１３６，１３６ａ〜ｃを表示する。この場合、運転者は、トレーラ２００のトレーラ表現１３６，１３６ａ〜ｃのトレーラ選択１３４を行う。
【００２１】
牽引車両１００は、高信頼性かつロバストな運転を提供するためのセンサシステム１４０を含むことができる。センサシステム１４０は、種々異なる種類のセンサを含むことができ、これらの種々異なる種類のセンサは、牽引車両１００の周囲環境の知覚情報を作成するために別々にまたは他のセンサと一緒に使用可能であり、牽引車両１００の周囲環境の知覚情報は、センサシステム１４０によって検出された物体および障害物に基づいて、牽引車両１００を運転するため、かつ運転者がインテリジェントな決定を行うことを支援するために使用される。センサシステム１４０は、１つまたは複数のカメラ１４２，１４２ａ〜ｄを含むことができる。いくつかの実装形態では、牽引車両１００は、牽引車両１００の後方運転経路のビューを提供するために据え付けられた後方カメラ１４２，１４２ａを含む。後方カメラ１４２ａは、広範囲のパノラマ画像または半球画像を作成するために意図された強力な視覚的歪みを生成する超広角レンズを含む魚眼レンズを含むことができる。魚眼カメラは、非常に広い画角を有する画像を捕捉する。さらに、魚眼カメラ１４２ａによって捕捉された画像４００は、特徴的な凸状の非直線的な外観を有する。牽引車両１００の後方の画像を捕捉するために、他の種類のカメラを使用してもよい。
【００２２】
いくつかの実装形態では、センサシステム１４０は、車両の線形加速度（１つまたは複数の加速度計を使用して）および回転速度（１つまたは複数のジャイロスコープを使用して）を含むＩＭＵデータ１４５を出力するように構成されたＩＭＵ（慣性測定ユニット）１４４を含むこともできる。いくつかの例では、ＩＭＵ１４４は、牽引車両１００の方位基準も決定する。したがって、ＩＭＵ１４４は、牽引車両１００のピッチ、ロール、およびヨーを決定する。センサシステム１４０は、限定するわけではないが、レーダー、ソナー、ＬＩＤＡＲ（Light Detection and Rangingであり、散乱光の特性を測定して、遠方の目標の距離および／または他の情報を検出する光学リモートセンシングを伴うことが可能）、ＬＡＤＡＲ（Laser Detection and Ranging）等のような、他のセンサを含むことができる。
【００２３】
車両制御装置１５０は、コンピューティングプロセッサ１５２上で実行可能な命令を格納することができる非一時的メモリ１５４（例えば、ハードディスク、フラッシュメモリ、ランダムアクセスメモリ、メモリハードウェア）と通信するコンピューティングデバイス（またはプロセッサ）１５２（例えば、１つまたは複数のコンピューティングプロセッサを有する中央処理装置）を含む。
【００２４】
車両制御装置１５０は、運転支援システム１６０を実行する。運転支援システム１６０は、カメラ１４２から画像４００を受信し、運転システム１１０にコマンド１７０を送信する挙動１６２〜１６６を実行して、選択されたトレーラ２００に向かって後退方向Ｒに牽引車両１００を自律的に運転させる。
【００２５】
運転支援システム１６０は、制動挙動１６２と、速度挙動１６４と、操舵挙動１６６とを含む。いくつかの例では、運転支援システム１６０は、ヒッチ接続挙動（車両ヒッチボール１２２とトレーラヒッチカップ２１２との接続を可能にする）と、サスペンション調整挙動（車両ヒッチボール１２２とトレーラヒッチカプラ２１２とのヒッチングを可能にするために、車両サスペンションを調整する）も含む。それぞれの挙動１６２〜１６６は、牽引車両１００に、とりわけ後退運転、特定の角度での旋回、制動、加速、減速のような行動をとらせる。車両制御装置１５０は、運転システム１１０を制御することによって、より具体的には、運転システム１１０にコマンド１７０を発行することによって、牽引車両１００を路面にわたって任意の方向に操縦することができる。さらに、運転支援システム１６０は、受信した画像４００に基づいて、牽引車両１００のステアリングホイール角度および速度を決定する。
【００２６】
制動挙動１６２は、牽引車両１００の決定されたステアリングホイール角度と、決定された速度とに基づいて牽引車両１００を停止または減速させるために実行可能である。制動挙動１６２は、運転システム１１０に、例えば制動システム１１４に、信号またはコマンド１７０を送信して、牽引車両１００を停止させるか、牽引車両１００の速度を低下させるか、またはブレーキの印加を停止させる。
【００２７】
速度挙動１６４は、牽引車両１００の決定されたステアリングホイール角度と、決定された速度とに基づいて加速または減速を行うことによって、牽引車両１００の速度を変更するために実行可能である。速度挙動１６４は、減速させる場合には制動システム１１４に、または加速させる場合には加速システム１１６に、信号またはコマンド１７０を送信する。
【００２８】
操舵挙動１６６は、牽引車両１００の決定されたステアリングホイール角度と、決定された速度とに基づいて牽引車両１００の方向を変更するために実行可能である。したがって、操舵挙動１６６は、操舵角を示す信号またはコマンド１７０を加速システム１１６に送信して、運転システム１１０に方向を変更させる。
【００２９】
いくつかの例では、操舵挙動１６６は、比例積分微分制御装置１６８（ＰＩＤ制御装置）を含む。ＰＩＤ制御装置１６８は、産業用制御システムと、連続的に変調される制御を必要とする他の種々の用途とにおいて広く使用されている制御ループフィードバック機構である。ＰＩＤ制御装置１６８は、所期の設定値と、測定されたプロセス変数との間の差として誤差値を継続的に計算し、比例項、積分項、および微分項に基づいて補正を適用する。ＰＩＤ制御装置１６８は、画像中心４０２と目標４１６との間の水平ピクセル距離Ｄに基づいてステアリングホイール角度を決定する。
【００３０】
図３および図４Ａ〜図４Ｇは、画像４００の内部におけるトレーラ２００の位置ＰＴを特定し、トレーラ２００に向かって牽引車両１００を自律的に操縦するための、車両制御装置１５０によって実行される方法３００を示す。方法３００は、受信した画像４００を分析することと、分析した画像４００に基づいてトレーラ位置ＰＴを特定することとに基づく。換言すれば、方法３００は、牽引車両１００がトレーラ２００に向かって後退方向Ｒに走行している際に、後方カメラ１４２ａから受信した画像４００を分析する。制御装置１５０は、１つまたは複数の画像４００を分析し、それぞれの画像４００の内部において、目標４１２（すなわち、牽引車両１００のトレーラ表現１３６）の中心と、画像４００の垂直中心４０２と間のピクセル距離Ｄが最小化されるように牽引車両１００を操縦することを、運転システム１１０に命令する。（制御装置１５０による）方法３００の実行中、牽引車両１００は、例えば、シングルアーク操縦またはバイアーク操縦を使用することによって、人間の運転者が運転するのと同様のやり方でトレーラ２００に自律的に接近する。いくつかの例では、それぞれの画像４００，４００Ａ〜４００Ｇは、牽引車両１００の後方部分の表現と、牽引ヒッチボール表現４２２とを含み、この牽引ヒッチボール表現４２２を、境界枠または境界円４２３によって境界付けることができる。
【００３１】
ブロック３０１において、運転支援システム１６０は、後方カメラ１４２ａから１つまたは複数の画像４００を受信する。いくつかの例では、ブロック３０２において、運転支援システム１６０は、１つまたは複数の画像４００を分析することによって、画像４００の内部におけるトレーラ２００の位置を特定する。画像４００に２つ以上のトレーラ２００が含まれている場合には、運転支援システム１６０は、これらのトレーラ２００のうちの１つに関連付けられたトレーラ選択１３４を要求するように、ディスプレイ１３２に命令する。他の例では、運転者は、画像４００からトレーラ２００（すなわち、トレーラ２００の表現１３６）を選択する。トレーラ表現１３６が選択または識別されると、いくつかの例では、運転支援システム１６０は、この識別されたトレーラ表現１３６を、関心領域（ＲＯＩ）４１０とも称される境界枠によって境界付ける。次に、運転支援システム１６０は、垂直に延在するＲＯＩ４１０の中心線４１２を決定する。中心線４１２は、画像４００内のトレーラ表現１３６の中心線を表す。ブロック３０２において、運転支援システム１６０は、画像４００の垂直中心線４０２と、画像４００の水平中心線４０４とを決定する。垂直中心線４０２と水平中心線４０４とは、画像中心Ｃにおいて交差する。
【００３２】
ブロック３０４において、運転支援システム１６０は、画像の垂直中心４０２と、ＲＯＩの垂直中心４１２（すなわち、トレーラ境界枠の中心）との間の水平ピクセル距離Ｄを特定する。判定ブロック３０６において、運転支援システム１６０は、水平ピクセル距離Ｄが、ピクセル数である所定のしきい値よりも小さいかどうかを判定する。いくつかの例では、このしきい値を、ＲＯＩ４１０の幅の半分とすることができる。水平距離Ｄがしきい値よりも小さいことを運転支援システム１６０が判定した場合には、ブロック３０８において、運転支援システム１６０は、図４Ｄ〜図４Ｆに示されているように、ＲＯＩ中心４１２、すなわちトレーラ垂直中心４１２を目標４１８として設定する。運転支援システム１６０が目標４１８をＲＯＩ４１０の垂直中心４１２として設定し、牽引車両１００が目標４１２に向かって自律的に操縦され始めた後、ブロック３１０において、運転支援システム１６０は、画像の垂直中心４０２と、目標４１８、すなわち垂直中心４１２との間の距離Ｄを特定する。続いて、ブロック３１２において、ＰＩＤ制御装置１６８は、画像中心４０２と目標４１８との間の水平距離Ｄを分析し、ブロック３１４において、ＰＩＤ制御装置１６８は、牽引車両１００をリアルタイムで目標中心４１２に向かって旋回および操縦するためのステアリングホイール角度を決定する。ブロック３１６において、運転支援システム１６０は、決定されたステアリングホイール角度に基づいて牽引車両１００を操縦するように、運転システム１１０にコマンド１７０を発行した後、ＲＯＩ中心４１２を更新する。判定ブロック３１８において、運転支援システム１６０は、画像の垂直中心４０２がＲＯＩの垂直中心４１２を通過したかどうかを判定する。換言すれば、判定ブロック３１８において、運転支援システム１６０は、水平距離Ｄがゼロ以下であるかどうかを判定する。画像の垂直中心４０２がＲＯＩの垂直中心４１２を通過していないことを運転支援システム１６０が判定した場合には、運転支援システム１６０は、ブロック３０８〜３１８のステップを繰り返す。水平距離Ｄがゼロよりも小さいということは、牽引車両１００がトレーラ２００から離れる方向に移動しているということを示す。なぜなら、水平距離Ｄがゼロに等しいということは、牽引車両１００とトレーラ２００とが位置合わせされているということを示すからである。判定ブロック３１８において、画像の垂直中心４０２がＲＯＩの垂直中心４１２を通過したことを運転支援システム１６０が判定した場合には、運転支援システム１６０は、計算を終了する。なぜなら、牽引車両１００が、画像４００の水平中心４０４からの事前に規定されたピクセル距離に到達したからである。
【００３３】
判定ブロック３０６に戻って参照すると、水平ピクセル距離Ｄがしきい値よりも小さくないこと、すなわち、ピクセル距離Ｄがしきい値よりも大きいことを運転支援システム１６０が判定した場合には、牽引車両１００は、トレーラ２００に向かって自律的に運転されるための２旋回操縦に従う。第１の旋回の間、牽引車両１００は、図４Ａに示されているように、事前に規定された横方向オフセット４１６とともにＲＯＩ中心４１２を追跡する。次に、牽引車両１００は、図４Ｂに示されているように、最大のステアリングホイール角度で自律的に旋回する。次に、第２の旋回の間、牽引車両１００は、図４Ｃ〜図４Ｄに示されているように、ＲＯＩ中心４１２を追跡する。牽引車両１００は、画像中心４０２とＲＯＩ中心４１２との間の水平ピクセル距離Ｄに対して相対的なステアリングホイール角度で旋回する。ステアリングホイール角度は、水平ピクセル距離Ｄに基づいてＰＩＤ制御装置１６８によって計算される。図３を引き続き参照すると、ブロック３２０において、運転支援システム１６０は、ＲＯＩ中心４１２からのオフセット４１６を目標として使用する（図４Ａ）。オフセット４１６は、トレーラ２００と同じ画像側にある、画像４００の内部の垂直線である。図示のように、トレーラ２００は、画像４００の右側にあり、したがって、オフセット４１６も画像４００の右側にある。ブロック３２２において、運転支援システム１６０は、牽引車両１００を目標４１８に向けて旋回させるための最大ステアリングホイール角度を決定する。なぜなら、判定ブロック３０６において、水平距離Ｄがしきい値よりも大きいことが確立されているからである。牽引車両１００が最大ステアリングホイール角度を完了すると、図４Ｂに示されている捕捉された画像４００は、トレーラ２００が、画像中心４０２の、その初期位置とは反対側にあることを含む。例えば、図４Ａでは、牽引車両１００およびオフセット４１６は、垂直中心４０２に関して画像４００の同じ側にあったが、その一方で、操縦後には、牽引車両１００は左側にあり、オフセット４１６は右側に残っている。ブロック３２４において、運転支援システム１６０は、ブロック３２２における牽引車両１００の移動に起因して、画像４００の内部の目標４１８を更新する。次に、判定ブロック３２６において、運転支援システム１６０は、牽引車両１００が自律的に後退方向Ｒに移動している間に、画像中心４０２が目標４１８を通過したかどうかを判定する。換言すれば、判定ブロック３２６において、運転支援システム１６０は、水平距離Ｄがゼロ以下であるかどうかを判定する。画像中心４１４が目標４１８を通過していないことを運転支援システム１６０が判定した場合には、運転支援システム１６０は、ブロック３２２，３２４，および３２６のステップを繰り返す。しかしながら、図４Ｄに示されているように、画像中心４１４が目標４１８を通過したことを運転支援システム１６０が判定した場合には、ブロック３０８において、運転支援システム１６０は、ＲＯＩ中心４１２を新しい目標４１８として設定する。
【００３４】
図５および図６Ａ〜図６Ｃを参照すると、いくつかの実装形態では、制御装置１５０は、トレーラ２００のトレーラヒッチカップ２１２を識別し、車両ヒッチボール１２２をトレーラヒッチカップ２１２へと自律的に運転してトレーラヒッチカップ２１２に接続させるための、図３に関して説明した方法３００と同様の方法を実行する。
【００３５】
いくつかの実装形態では、ブロック５０２において、運転支援システム１６０は、後方カメラ１４２ａから１つまたは複数の画像４００を受信する。運転支援システム１６０は、１つまたは複数の画像４００を分析することによって、画像４００の内部におけるトレーラヒッチカプラ２１２の位置を特定する。いくつかの例では、運転支援システム１６０は、画像４００の内部におけるトレーラ２００に関連付けられたカプラ表現を選択することを運転者に要求するように、ディスプレイ１３２に命令する。運転者は、画像４００からトレーラカプラ２１２（すなわち、トレーラヒッチカプラ２１２の表現１３６）を選択する。カプラ表現４２４が識別されると、いくつかの例では、運転支援システム１６０は、この識別されたカプラ表現４２４を、関心領域（ＲＯＩ）４１０とも称される境界枠または（図示のような）境界円によって境界付ける。次に、ブロック５０４において、運転支援システム１６０は、垂直に延在するＲＯＩ４１０の中心線４１２を決定する。中心線４１２は、画像４００内のカプラ表現４２４の中心線を表す。ブロック５０４においても、運転支援システム１６０は、画像４００の垂直中心４０２を決定する。
【００３６】
ブロック５０６において、運転支援システム１６０は、それぞれ図６Ａ〜図６Ｃの後方画像６００Ａ〜６００Ｃに示されているように、ＲＯＩ中心４１２、すなわち、カプラの垂直中心４１２を目標４１８として設定する。運転支援システム１６０が目標４１８をＲＯＩ４１０の垂直中心４１２として設定し、牽引車両１００が目標４１２に向かって自律的に操縦され始めた後、ブロック５０８において、運転支援システム１６０は、画像の垂直中心４０２と、目標４１８、すなわち垂直中心４１２と間の距離Ｄを特定する。続いて、ブロック５１０において、ＰＩＤ制御装置１６８は、画像中心４０２と目標４１８との間の水平距離Ｄを分析し、ブロック５１２において、ＰＩＤ制御装置１６８は、牽引車両１００をリアルタイムで目標中心４１２に向かって旋回および操縦するためのステアリングホイール角度を決定する。ブロック５１４において、運転支援システム１６０は、決定されたステアリングホイール角度に基づいて牽引車両１００を操縦するように、運転システム１１０にコマンド１７０を発行した後、ＲＯＩ中心４１２を更新する。判定ブロック５１６において、運転支援システム１６０は、画像の垂直中心４０２がＲＯＩの垂直中心４１２を通過したかどうかを判定する。換言すれば、判定ブロック５１６において、運転支援システム１６０は、水平距離Ｄがゼロ以下であるかどうかを判定する。画像の垂直中心４０２がＲＯＩの垂直中心４１２を通過していないことを運転支援システム１６０が判定した場合には、運転支援システム１６０は、ブロック５０６〜５１６のステップを繰り返す。水平距離Ｄがゼロよりも小さいということは、牽引車両１００がトレーラ２００から離れる方向に移動しているということを示す。なぜなら、水平距離Ｄがゼロに等しいということは、牽引車両１００とトレーラ２００とが位置合わせされているということを示すからである。判定ブロック５１６において、画像の垂直中心４０２がＲＯＩの垂直中心４１２を通過したことを運転支援システム１６０が判定した場合には、運転支援システム１６０は、計算を終了する。なぜなら、牽引ヒッチボール１２２が、トレーラヒッチカプラ２１２と位置合わせされているからである。
【００３７】
前述したように、運転支援システム１６０は、必要とされる計算リソースが少なく、低コストのハードウェア上でリアルタイムのパフォーマンスを達成することができる。トレーラ上のマーカーが不要であるので、動作および計算の複雑さが軽減され、したがって、システムの製造コストも削減される。
【００３８】
図７は、図１〜図６Ｃに記載されているシステムを使用して、牽引車両１００の後ろに配置されたトレーラ２００に向かって牽引車両１００を自律的に操縦するための方法７００の各動作の例示的な構成を提供する。ブロック７０２において、方法７００は、（制御装置１５０の）データ処理ハードウェア１５２において、牽引車両１００の後部位置に配置されていて、かつデータ処理ハードウェア１５２と通信する１つまたは複数のカメラ１４２，１４２ａ〜ｄから、１つまたは複数の画像４００を受信することを含む。
【００３９】
ブロック７０４において、方法７００は、データ処理ハードウェア１５２によって、１つまたは複数の画像４００の内部において、牽引車両１００の後ろに配置されたトレーラ２００を示すトレーラ表現１３６を識別することを含む。
【００４０】
ブロック７０６において、方法７００は、データ処理ハードウェア１５２によって、トレーラ表現１３６の垂直中心４１２を目標４１８として設定することを含む。
【００４１】
ブロック７０８において、方法７００は、データ処理ハードウェア１５２によって、牽引車両１００が目標４１８（すなわち、垂直中心４１２）に向かう方向に自律的に操縦されるように牽引車両１００を旋回させるための第１のステアリングホイール角度を決定することを含む。
【００４２】
ブロック７１０において、方法７００は、牽引車両１００に第１のステアリングホイール角度に基づいて操縦を行わせる命令１７０を、データ処理ハードウェア１５２から、データ処理ハードウェア１５２と通信する運転システム１１０に送信することを含む。
【００４３】
いくつかの例では、方法７００は、データ処理ハードウェア１５２によって、トレーラ表現１３６の垂直中心４１２と、１つまたは複数の画像４００の垂直中心４０２との間のピクセル距離Ｄを特定することを含む。トレーラ表現１３６の垂直中心４１２と、１つまたは複数の画像４００の垂直中心４０２との間のピクセル距離Ｄがしきい値よりも小さい場合に、本方法は、データ処理ハードウェア１５２によって、トレーラ表現１３６の垂直中心４１２を目標４１８として設定することと、データ処理ハードウェア１５２によって、牽引車両が目標４１８（すなわち、トレーラ表現１３６の垂直中心４１２）に向かう方向に自律的に操縦されるように牽引車両１００を旋回させるための第１のステアリングホイール角度を決定することとを含む。
【００４４】
いくつかの実装形態では、方法７００は、データ処理ハードウェア１５２によって、トレーラ表現１３６の垂直中心４１２と、１つまたは複数の画像４００の垂直中心４０２との間のピクセル距離Ｄを特定することを含む。トレーラ表現１３６の垂直中心４１２と、１つまたは複数の画像４００の垂直中心との間のピクセル距離Ｄがしきい値よりも大きい場合に、方法７００は、データ処理ハードウェア１５２によって、画像４００の垂直中心４０２からの事前に規定された横方向オフセット４１６を目標４１８として設定することと、データ処理ハードウェア１５２によって、牽引車両が目標４１８に向かう方向に自律的に操縦されるように牽引車両１００を旋回させるための第２のステアリングホイール角度を決定することとを含む。いくつかの例では、しきい値は、ピクセル数を含む。牽引車両が目標４１８に向かう方向に自律的に操縦されるように牽引車両１００を旋回させるための第２のステアリングホイール角度は、牽引車両１００とトレーラ２００とがジャックナイフ現象を引き起こすことを阻止する最大ステアリングホイール角度である。
【００４５】
いくつかの実装形態では、方法７００は、トレーラ表現１３６を境界枠４１０によって境界付けることをさらに含む。トレーラ表現１３６の垂直中心４１２は、トレーラ表現１３６を２つの等しいセクションに垂直に分割する線を含む。いくつかの例では、１つまたは複数の画像４００の垂直中心４０２は、１つまたは複数の画像４００のそれぞれの画像４００を２つの等しいセクションに垂直に分割する線を含み、それぞれのセクションは、それぞれ等しいピクセル数を有する。１つまたは複数のカメラは、単眼カメラおよび／または魚眼カメラであり得る。
【００４６】
本明細書に記載されているシステムおよび技術の種々の実装形態は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせの形態で実現可能である。これらの種々の実装形態は、プログラマブルシステム上で実行可能および／または解釈可能な１つまたは複数のコンピュータプログラムの形態での実装を含むことができ、このプログラマブルシステムは、ストレージシステムからデータおよび命令を受信し、かつストレージシステムにデータおよび命令を送信するために結合された、特別であってもよいし汎用であってもよい少なくとも１つのプログラマブルプロセッサと、少なくとも１つの入力デバイスと、少なくとも１つの出力デバイスとを含む。
【００４７】
（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても知られる）これらのコンピュータプログラムは、プログラマブルプロセッサのための機械命令を含み、ハイレベルの手続き型プログラミング言語および／またはオブジェクト指向型プログラミング言語、および／またはアセンブリ言語／機械語の形態で実装可能である。本明細書で使用される場合、「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械命令を機械可読信号として受信する機械可読媒体を含む、プログラマブルプロセッサに機械命令および／またはデータを提供するために使用される任意のコンピュータプログラム製品、装置、および／またはデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指す。「機械可読信号」という用語は、プログラマブルプロセッサに機械命令および／またはデータを提供するために使用される任意の信号を指す。
【００４８】
本明細書に記載されている主題および機能動作の実装形態は、デジタル電子回路の形態で、または本明細書に開示されている構造およびそれらの構造的な同等物を含むコンピュータソフトウェア、ファームウェア、もしくはハードウェアの形態で、またはそれらの１つまたは複数の組み合わせの形態で、実装可能である。さらに、本明細書に記載されている主題は、１つまたは複数のコンピュータプログラム製品として実装可能であり、すなわち、データ処理装置によって実行するための、またはデータ処理装置の動作を制御するための、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の１つまたは複数のモジュールとして実装可能である。コンピュータ可読媒体は、機械可読ストレージデバイス、機械可読ストレージ基板、メモリデバイス、機械可読伝搬信号をもたらす物質の組成物、またはそれらの１つまたは複数の組み合わせであり得る。「データ処理装置」、「コンピューティングデバイス」、および「コンピューティングプロセッサ」という用語は、一例としてプログラマブルプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含む、データを処理するためのすべての装置、デバイス、および機械を包含する。装置は、ハードウェアに加えて、当のコンピュータプログラムの実行環境を作成するコードを含むことができ、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらの１つまたは複数の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成された信号であり、例えば、適切な受信機装置に送信するための情報を符号化するために生成される、機械生成の電気信号、光学信号、または電磁信号である。
【００４９】
同様に、各動作は、図面において特定の順序で図示されているが、このことは、望ましい結果を達成するために、そのような動作が、図示された特定の順序または連続した順序で実行されること、または図示されたすべての動作が実行されることが必要であると理解されるべきではない。特定の状況では、マルチタスク処理および並列処理が有利である場合がある。さらに、上記の実施形態における複数の異なるシステムコンポーネントの分離は、すべての実施形態においてそのような分離が必要であると理解されるべきではなく、記載されている複数のプログラムコンポーネントおよびシステムを、一般に、単一のソフトウェア製品に一緒に組み込むことができるか、または複数のソフトウェア製品にパッケージ化することができることが理解されるべきである。
【００５０】
複数の実装形態について説明してきた。それでもなお、本開示の思想および範囲から逸脱することなく、種々の変更を加えることができることが理解されるであろう。したがって、他の実装形態は、以下の特許請求の範囲内にある。
【図１】
2021519999.tif 000003
【図２】
2021519999.tif 000004
【図３】
2021519999.tif 000005
【図４Ａ】
2021519999.tif 000006
【図４Ｂ】
2021519999.tif 000007
【図４Ｃ】
2021519999.tif 000008
【図４Ｄ】
2021519999.tif 000009
【図４Ｅ】
2021519999.tif 000010
【図４Ｆ】
2021519999.tif 000011
【図４Ｇ】
2021519999.tif 000012
【図５】
2021519999.tif 000013
【図６Ａ】
2021519999.tif 000014
【図６Ｂ】
2021519999.tif 000015
【図６Ｃ】
2021519999.tif 000016
【図７】
2021519999.tif 000017
【国際調査報告】
2021519999.tif 000018
2021519999.tif 000019
2021519999.tif 000020