(57)【要約】      （修正有）【課題】自律走行経路を生成するための方法及び装置を提供すること。【解決手段】自律走行車両が自律走行経路を生成するためには、車両前方の周辺状況が正確に認識されなければならない。自律走行車両と地面との間の傾斜度が自律走行車両の自律走行経路を生成するために用いられる。傾斜度の算出は、入力イメージ内の車線を検出するステップと、検出された車線に基づいて前記車線の消失点を検出するステップと、消失点に基づいて傾斜度を算出するステップを含む。正確な傾斜度が算出された場合、車両前方を撮影した入力イメージに基づいて自律走行車両の自律走行経路が生成される。【選択図】図７
2018090239.tif 000002
【特許請求の範囲】
【請求項１】
自律走行車両の前方を撮影した入力イメージを受信するステップと、
前記入力イメージに基づいて前記自律走行車両と地面との間の傾斜度を算出するステップと、
前記算出された傾斜度に基づいて前記自律走行車両の自律走行経路を生成するステップと、
を含む、自律走行経路生成方法。
【請求項２】
前記自律走行経路を生成するステップは、
前記傾斜度に基づいて前記入力イメージの視点を鳥瞰視点に変換することによって、鳥瞰イメージを生成するステップと、
前記鳥瞰イメージに基づいて前記自律走行経路を生成するステップと、
を含む、請求項１に記載の自律走行経路生成方法。
【請求項３】
前記自律走行経路を生成するステップは、
前記傾斜度を用いて前記自律走行車両の周辺環境を検出したデータを補正するステップ、を含み、
前記補正されたデータは、前記自律走行経路を生成するために用いられる、
請求項１または２に記載の自律走行経路生成方法。
【請求項４】
前記傾斜度を算出するステップは、
前記入力イメージ内の車線を検出するステップと、
前記検出された車線に基づいて前記車線の消失点を検出するステップと、
前記消失点に基づいて前記傾斜度を算出するステップと、
を含む、請求項１ないし３のいずれか一項に記載の自律走行経路生成方法。
【請求項５】
前記車線の消失点を検出するステップは、
複数の消失点が検出された場合、前記複数の消失点のうち前記自律走行車両で最も近接した消失点を前記消失点として検出するステップ、を含む、
請求項４に記載の自律走行経路生成方法。
【請求項６】
前記消失点に基づいて前記傾斜度を算出するステップは、
予め設定された消失点の位置と前記検出された消失点の位置とを受信するステップと、
前記予め設定された消失点の位置と前記検出された消失点の位置との間の差に基づいて前記傾斜度を算出するステップと、
を含む、請求項４に記載の自律走行経路生成方法。
【請求項７】
前記予め設定された消失点の位置と前記検出された消失点との位置を受信するステップは、
前記予め設定された消失点の高さ座標と前記入力イメージ内の前記検出された消失点の高さ座標とを受信するステップ、を含む、
請求項６に記載の自律走行経路生成方法。
【請求項８】
前記予め設定された消失点の前記高さ座標は、前記入力イメージの中心高さ座標である、
請求項７に記載の自律走行経路生成方法。
【請求項９】
前記自律走行経路生成方法は、さらに、
予め設定された周期で算出された傾斜度に基づいて前記地面の状態を決定するステップと、
前記決定された地面の状態に基づいて前記自律走行車両を制御するステップと、
を含む、請求項１に記載の自律走行経路生成方法。
【請求項１０】
前記地面の状態を決定するステップは、
前記傾斜度の偏差に基づいて前記地面の状態を決定するステップ、を含む、
請求項９に記載の自律走行経路生成方法。
【請求項１１】
請求項１ないし請求項１０のいずれか一項に記載の方法を行うプログラムを収録したコンピュータで読み出し可能な記録媒体。
【請求項１２】
自律走行車両の自律走行経路生成装置であって、
プロセッサと、
メモリと、
前記メモリに格納され、前記プロセッサによって実行されるプログラムであり、
前記自律走行車両の前方を撮影した入力イメージを受信するステップと、
前記入力イメージに基づいて前記自律走行車両と地面との間の傾斜度を算出するステップと、
前記算出された傾斜度に基づいて前記自律走行車両の自律走行経路を生成するステップと、
を行うプログラムと、
を含む、自律走行経路生成装置。
【請求項１３】
前記自律走行車両の前方を撮影することで前記入力イメージを生成するカメラをさらに含む、
請求項１２に記載の自律走行経路生成装置。
【請求項１４】
前記自律走行車両の自律走行経路を生成するステップは、
前記傾斜度に基づいて前記入力イメージの視点を鳥瞰視点に変換することによって鳥瞰イメージを生成するステップと、
前記鳥瞰イメージに基づいて前記自律走行経路を生成するステップと、
を含む、請求項１２または１３に記載の自律走行経路生成装置。
【請求項１５】
前記自律走行車両の自律走行経路を生成するステップは、
前記傾斜度を用いて前記自律走行車両の周辺環境を検出したデータを補正するステップ、を含み、
前記補正されたデータは、前記自律走行経路を生成するために用いられる、
請求項１２ないし１４のいずれかに記載の自律走行経路生成装置。
【請求項１６】
前記傾斜度を算出するステップは、
前記入力イメージ内の車線を検出するステップと、
前記検出された車線に基づいて前記車線の消失点を検出するステップと、
前記消失点に基づいて前記傾斜度を算出するステップと、
を含む、請求項１２ないし１５のいずれかに記載の自律走行経路生成装置。
【請求項１７】
前記車線の消失点を検出するステップは、
複数の消失点が検出された場合、前記複数の消失点のうち前記自律走行車両で最も近接した消失点を前記消失点として検出するステップ、を含む、
請求項１６に記載の自律走行経路生成装置。
【請求項１８】
前記消失点に基づいて前記傾斜度を算出するステップは、
予め設定された消失点の位置と前記検出された消失点の位置とを受信するステップと、
前記予め設定された消失点の位置と前記検出された消失点の位置との間の差に基づいて前記傾斜度を算出するステップと、
を含む、請求項１６に記載の自律走行経路生成装置。
【請求項１９】
前記予め設定された消失点の位置と前記検出された消失点の位置とを受信するステップは、
前記予め設定された消失点の高さ座標と前記入力イメージ内の前記検出された消失点の高さ座標とを算出するステップ、を含む、
請求項１８に記載の自律走行経路生成装置。
【請求項２０】
前記予め設定された消失点の前記高さ座標は、前記入力イメージの中心高さ座標である、
請求項１９に記載の自律走行経路生成装置。
【請求項２１】
前記プログラムは、さらに、
予め設定された周期で算出された傾斜度に基づいて前記地面の状態を決定するステップと、
前記決定された地面の状態に基づいて前記自律走行車両を制御するステップと、
を含む、請求項１２に記載の自律走行経路生成装置。
【請求項２２】
前記地面の状態を決定するステップは、
前記傾斜度の偏差に基づいて前記地面の状態を決定するステップ、を含む、
請求項２１に記載の自律走行経路生成装置。
【請求項２３】
自律走行車両の前方を撮影した入力イメージを受信するステップと、
前記入力イメージに基づいて前記前方の傾斜度を算出するステップと、
を含む、傾斜度算出方法。
【請求項２４】
傾斜度算出装置であって、
プロセッサと、
メモリと、
前記メモリに格納され、前記プロセッサによって実行されるプログラムであり、
自律走行車両の前方を撮影した入力イメージを受信するステップと、
前記入力イメージに基づいて前記前方の傾斜度を算出するステップと、
を行うプログラムと、
を含む、傾斜度算出装置。
【請求項２５】
車両のカメラによって取得されたイメージ内の消失点の位置を検出するステップと、
予め設定された消失点の位置と前記検出された消失点の位置とに基づいて、前記車両と地面との間の傾斜度を算出するステップと、
前記傾斜度に基づいて前記車両の走行を自律的に制御するステップと、
を含む、車両制御方法。
【請求項２６】
前記検出された消失点は車線の消失点である、
請求項２５に記載の車両制御方法。
【請求項２７】
前記検出された消失点の位置は前記検出された消失点の高さ座標を含み、
前記予め設定された消失点の位置は前記イメージの中心高さ座標を含む、
請求項２５または２６に記載の車両制御方法。
【請求項２８】
前記車両の走行を自律的に制御するステップは、
前記傾斜度に基づいて前記イメージを鳥瞰視点イメージに変換するステップと、
前記鳥瞰視点イメージに基づいて自律走行経路を生成するステップと、
前記自律走行経路に基づいて前記車両の走行を制御するステップと、
を含む、請求項２５ないし２７のいずれか一項に記載の車両制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自律走行車両の自律走行経路を生成する方法及び装置に関し、より詳細には、道路の傾斜度を算出し、傾斜度に基づいて自律走行経路を生成する方法及び装置に関する。
【背景技術】
【０００２】
自律走行車両は、走行時車両周辺の環境を認識し、走行経路を主体的に決定して自身の動力を用いて独立的に走行する。自律走行車両は、運転者がハンドル、加速ペダル及びブレーキなどを操作しなくても経路上に存在する障害物及び距離を維持して道路の形状に応じて速度及び走行方向を調整しながら、自ら目的先まで到達することができる。例えば、道路の直線区間では加速を行い、曲線道路では道路の曲率に対応して走行方向を変更しながら減速を行う。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の目的は、自律走行経路を生成する方法及び装置を提供することにある。
【課題を解決するための手段】
【０００４】
一側面に係る自律走行車両の自律走行経路生成方法は、自律走行車両の前方を撮影した入力イメージを受信するステップと、前記入力イメージに基づいて前記自律走行車両と地面との間の傾斜度を算出するステップと、前記算出された傾斜度に基づいて前記自律走行車両の自律走行経路を生成するステップとを含む。
【０００５】
前記自律走行経路を生成するステップは、前記傾斜度に基づいて前記入力イメージの視点を鳥瞰視点に変換することによって、鳥瞰イメージを生成するステップと、前記鳥瞰イメージに基づいて前記自律走行経路を生成するステップと、を含み得る。
【０００６】
前記自律走行経路を生成するステップは、前記傾斜度を用いて前記自律走行車両の周辺環境を検出したデータを補正するステップを含み、前記補正されたデータは、前記自律走行経路を生成するために用いられる。
【０００７】
前記傾斜度を算出するステップは、前記入力イメージ内の車線を検出するステップと、前記検出された車線に基づいて前記車線の消失点を検出するステップと、前記消失点に基づいて前記傾斜度を算出するステップと、を含み得る。
【０００８】
前記車線の消失点を検出するステップは、複数の消失点が検出された場合、前記複数の消失点のうち前記自律走行車両で最も近接した消失点を前記消失点として検出するステップ、を含み得る。
【０００９】
前記消失点に基づいて前記傾斜度を算出するステップは、予め設定された消失点の位置及び前記検出された消失点の位置を受信するステップと、前記予め設定された消失点の位置と前記検出された消失点の位置との間の差に基づいて前記傾斜度を算出するステップと、を含み得る。
【００１０】
前記予め設定された消失点の位置と前記検出された消失点の位置とを受信するステップは、前記予め設定された消失点の高さ座標と前記入力イメージ内の前記検出された消失点の高さ座標とを受信するステップ、を含み得る。
【００１１】
前記予め設定された消失点の高さ座標は、前記入力イメージの中心高さ座標であり得る。
【００１２】
前記自律走行経路生成方法は、予め設定された周期で算出された傾斜度に基づいて前記地面の状態を決定するステップと、前記決定された地面の状態に基づいて前記自律走行車両を制御するステップとをさらに含み得る。
【００１３】
前記地面の状態を決定するステップは、前記傾斜度の偏差に基づいて前記地面の状態を決定するステップを含み得る。
【００１４】
他の一実施形態に係る自律走行車両の自律走行経路生成装置は、プロセッサと、メモリと、前記メモリに格納され、前記プロセッサによって実行されるプログラムであり、車両の前方を撮影した入力イメージを受信するステップと、前記入力イメージに基づいて前記自律走行車両と地面との間の傾斜度を算出するステップと、前記算出された傾斜度に基づいて前記自律走行車両の自律走行経路を生成するステップとを行うプログラムと、を含む。
【００１５】
前記自律走行経路生成装置は、前記自律走行車両の前方を撮影することで前記入力イメージを生成するカメラ、をさらに含み得る。
【００１６】
前記自律走行車両の自律走行経路を生成するステップは、前記傾斜度に基づいて前記入力イメージの視点を鳥瞰視点に変換することによって鳥瞰イメージを生成するステップと、前記鳥瞰イメージに基づいて前記自律走行経路を生成するステップと、を含み得る。
【００１７】
前記自律走行経路を生成するステップは、前記傾斜度を用いて前記自律走行車両の周辺環境を検出したデータを補正するステップを含み、前記補正されたデータは、前記走行経路を生成するために用いられる。
【００１８】
前記傾斜度を算出するステップは、前記入力イメージ内の車線を検出するステップと、前記検出された車線に基づいて前記車線の消失点を検出するステップと、前記消失点に基づいて前記傾斜度を算出するステップと、を含み得る。
【００１９】
前記車線の消失点を検出するステップは、複数の消失点が検出された場合、前記複数の消失点のうち前記自律走行車両で最も近接した消失点を前記消失点として検出するステップを含み得る。
【００２０】
前記消失点に基づいて前記傾斜度を算出するステップは、予め設定された消失点の位置と前記検出された消失点の位置とを受信するステップと、前記予め設定された消失点の位置と前記検出された消失点の位置との間の差に基づいて前記傾斜度を算出するステップと、を含み得る。
【００２１】
前記予め設定された消失点の位置と前記検出された消失点の位置とを受信するステップは、前記予め設定された消失点の高さ座標と前記入力イメージ内の前記検出された消失点の高さ座標とを算出するステップを含み得る。
【００２２】
前記予め設定された消失点の高さ座標は、前記入力イメージの中心高さ座標であり得る。
【００２３】
前記プログラムは、予め設定された周期で算出された傾斜度に基づいて前記地面の状態を決定するステップと、前記決定された地面の状態に基づいて前記自律走行車両を制御するステップと、をさらに含み得る。
【００２４】
前記地面の状態を決定するステップは、前記傾斜度の偏差に基づいて前記地面の状態を決定するステップ、を含み得る。
【００２５】
更なる一実施形態に係る傾斜度算出方法は、自律走行車両の前方を撮影した入力イメージを受信するステップと、前記入力イメージに基づいて前記前方の傾斜度を算出するステップ、とを含む。
【００２６】
更なる一実施形態に係る傾斜度算出装置は、プロセッサと、メモリと、前記メモリに格納され、前記プロセッサによって実行されるプログラムであり、自律走行車両の前方を撮影した入力イメージを受信するステップと、前記入力イメージに基づいて前記前方の傾斜度を算出するステップとを行うプログラムと、を含む。
【００２７】
更なる一実施形態に係る車両制御方法は、車両のカメラによって取得されたイメージ内の消失点の位置を検出するステップと、予め設定された消失点の位置及び前記検出された消失点の位置に基づいて前記車両と地面との間の傾斜を算出するステップと、前記傾斜度に基づいて前記車両の走行を自律的に制御するステップと、を含む。
【００２８】
前記検出された消失点は車線の消失点であり得る。
【００２９】
前記検出された消失点の位置は前記検出された消失点の高さ座標を含み、前記予め設定された消失点の位置は前記イメージの中心高さ座標を含み得る。
【００３０】
前記車両の走行を自律的に制御するステップは、前記傾斜度に基づいて前記イメージを鳥瞰視点イメージに変換するステップと、前記鳥瞰視点イメージに基づいて自律走行経路を生成するステップと、前記自律走行経路に基づいて前記車両の走行を制御するステップと、を含み得る。
【発明の効果】
【００３１】
本発明によれば、自律走行経路を生成する方法及び装置を提供することができる。
【図面の簡単な説明】
【００３２】
【図１】一例に係る自律走行車両を示す。
【図２】一例に係る姿勢が安定した自律走行車両が生成した鳥瞰イメージを示す。
【図３】一例に係る姿勢が不安定な自律走行車両が生成した鳥瞰イメージを示す。
【図４】一例に係る姿勢が不安定な自律走行車両が生成した鳥瞰イメージを示す。
【図５】一例に係る傾斜路が障害物として判断した場合を示す。
【図６】一実施形態に係る自律走行経路生成装置の構成図である。
【図７】一実施形態に係る自律走行経路生成方法のフローチャートである。
【図８】一例に係る鳥瞰イメージに基づいて自律走行経路を生成する方法のフローチャートである。
【図９】一例に係る入力イメージに基づいて傾斜度を算出する方法のフローチャートである。
【図１０】一例に係る自律走行車両が前方に傾斜した場合、カメラの撮影システムを示す。
【図１１】一例に係る車道が曲線である場合、撮影された入力イメージを示す。
【図１２】一例に係る複数の消失点が示される入力イメージを示す。
【図１３】一例に係る消失点に基づいて傾斜度を算出する方法のフローチャートである。
【図１４】一例に係る予め設定された消失点の高さ座標及び算出された消失点の高さ座標を示す。
【図１５】一例に係る地面の状態に基づいて自律走行車両を制御する方法のフローチャートである。
【図１６】一例に係るカメラの傾斜を調整して車線を検出する方法のフローチャートである。
【図１７】一実施形態に係る前方の傾斜度算出方法のフローチャートである。
【発明を実施するための形態】
【００３３】
以下に、添付する図面を参照しながら実施形態を詳細に説明する。しかし、特許出願の範囲がこの実施形態によって制限されたり、限定されることはない。各図面に提示された同一の参照符号は同一の部材を示す。
【００３４】
以下で説明する実施形態には様々な変更が加えられ得る。下記に説明する実施形態は、その実施形態について限定しようとするためのものではなく、これに対する全ての変更、均等物ないし代替物を含むものとして理解しれなければならない。
【００３５】
本実施形態で用いる用語は、単に特定の実施形態を説明するために用いられるものであって、本発明を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
【００３６】
異なる定義さがれない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野において通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
【００３７】
また、添付図面を参照して説明することにおいて、図面符号に関係なく同じ構成要素は同じ参照符号を付与し、これに対する重複する説明は省略することにする。実施形態の説明において関連する公知技術に対する具体的な説明が実施形態の要旨を不要に曖昧にすると判断される場合、その詳細な説明は省略する。
【００３８】
図１は、一例に係る自律走行する車両を示す。
【００３９】
自律走行車両１１０は、運転者からの入力がほとんどないか又は全くない状況であっても、認知された走行環境に応じて自律モードで走行する。例えば、自律走行車両１１０は自動車であってもよい。異なる例として、自律走行車両１１０は、モータサイクル、ドローン、又は船であってもよく、記載された実施形態に限定されることはない。
【００４０】
走行環境は、自律走行車両１１０に取付け又は設置された１つ以上のセンサを用いて認知される。例えば、１つ以上のセンサは、カメラ、ライダー（ｌｉｄａｒ）センサ、レーダー（ｒａｄａｒ）センサ及び１つ以上の音声認識センサを含み、記載の例に制限されることはない。走行環境は、道路、道路の状態、車線の種類、周辺車両の有無、近接した車両との距離、天気、障害物の有無などを含み、記載された例に制限されることはない。
【００４１】
自律走行車両１１０は、走行環境を認識し、走行環境に適切な自律走行経路１２０を生成する。自律走行車両１１０は、自律走行経路１２０に沿って行くように、内外部の機械的な要素を制御する。自律走行車両１１０は、自律走行経路１２０を周期的に生成する。自律走行車両１１０は、自律走行経路１２０をルール基盤モデル（ｒｕｌｅ  ｂａｓｅｄ  ｍｏｄｅｌ）を用いて生成する。例えば、自律走行車両１１０が必ず守らなければならない条件が予め設定されており、自律走行車両１１０は条件が満たされる最適な自律走行経路１２０を生成する。例えば、条件のうちの１つは交通法規を守ることであってもよい。
【００４２】
図２は、一例に係る姿勢が安定した自律走行車両が生成した鳥瞰イメージを示す。
【００４３】
自律走行車両１１０が道路を走行する場合２１０、自律走行車両１１０は、自律走行車両１１０の前面に位置するカメラを用いて車両前方２１５に対するイメージを撮影する。自律走行車両１１０の姿勢が安定した場合、カメラに撮影されたイメージの平面が地面と垂直に、カメラが自律走行車両１１０に設けられている。イメージの平面に対して、以下では図１０を参照して詳細に説明する。
【００４４】
カメラのイメージの平面が地面と垂直な場合、撮影されたイメージ２２０は地平線がイメージ２２０内の中央線に位置する。
【００４５】
自律走行車両１１０は、撮影されたイメージ２２０に基づいて、車両前方２１５を鳥瞰視点で眺めたイメージ２３０を生成する。鳥瞰視点で眺めたイメージは、鳥瞰イメージと命名する。例えば、自律走行車両１１０は、撮影されたイメージ２２０の視点をカメラの視点から鳥瞰視点に変換することで鳥瞰イメージ２３０を生成し得る。イメージの視点を変換するために、イメージスワッピング技術を用いてもよい。イメージ２２０を鳥瞰イメージ２３０に変換する場合、イメージ２２０及び鳥瞰イメージ２３０の間に互いに対応しないピクセルが存在することがあり、イメージ２２０のピクセルに対応していない鳥瞰イメージ２３０のピクセルは、ホール領域２３５として示される。自律走行経路の生成において、ホール領域２３５の有無は考慮要素ではないため、ホール領域２３５に対する追加処理は要求されない。車両１１０は、鳥瞰イメージ２３０を用いて走行経路を生成する。
【００４６】
図３及び４は、一例に係る姿勢が不安定な自律走行車両が生成した鳥瞰イメージを示す。
【００４７】
走行中の自律走行車両１１０の姿勢が不安定に変化することが発生し得る。例えば、車両１１０が出発する場合、自律走行車両１１０の前面が上に傾くことがある。異なる例として、自律走行車両１１０の前輪が凹凸を通過する場合、自律走行車両１１０の前面が上に傾くことがある。自律走行車両１１０の前面が上に傾く状態で車両前方３１２に対するイメージが撮影される場合３１０が発生する。車両前方３１２は、自律走行車両１１０の姿勢が安定した場合の車両前方３１４に比べて上向きの角度θ１である。
【００４８】
車両前方３１２に対するイメージ３２０は、地平線３２２がイメージ３２０内の中央線３２４よりも下にある。
【００４９】
イメージ３２０に基づいて生成された鳥瞰イメージ３３０は、実際の道路状況とは相違して示される。例えば、実際の道路状況は平地であるものの、自律走行車両１１０の姿勢が不安定な場合に生成された鳥瞰イメージ３３０は下り坂のように示され、鳥瞰イメージ３３０によって測定された距離も実際の距離とは相違するものである。
【００５０】
図４は、図３とは異なる例を示す。走行中の自律走行車両１１０の姿勢が不安定に変化することが発生し得る。例えば、走行中の自律走行車両１１０が制動する場合、自律走行車両１１０の前方が下に傾くことがある。異なる例として、自律走行車両１１０の後輪が凹凸を通過する場合、自律走行車両１１０が下に傾くことがある。
【００５１】
自律走行車両１１０が下に傾いた状態で車両前方４１２に対するイメージが撮影される場合４１０が発生し得る。車両前方４１２は、自律走行車両１１０の姿勢が安定した場合の車両前方４１４に比べて下向きの角度θ２である。
【００５２】
車両前方４１２に対するイメージ４２０は、地平線４２２がイメージ４２０内の中央線４２４よりも上にある。
【００５３】
イメージ４２０に基づいて生成された鳥瞰イメージ４３０は、実際の道路状況とは相違して示される。例えば、実際の道路状況は平地であるものの、自律走行車両１１０の姿勢が不安定な場合に生成された鳥瞰イメージ４３０は登り坂のように示され、鳥瞰イメージ４３０によって測定された距離も実際の距離とは相違するものである。
【００５４】
図５は、一例に係る傾斜路が障害物として判断した場合を示す。
【００５５】
図３及び図４は、自律走行車両の姿勢が不安定な場合について説明したが、図５は、自律走行車両１１０が傾斜路５１２を障害物５２２として認識した場合を示す。
【００５６】
実際の道路状況５１０は車両前方に傾斜路５１２が位置したものであるが、自律走行車両１１０は車両前方に対する鳥瞰イメージに基づいて車両前方に障害物５２２が位置した道路状況５２０として認識する。自律走行車両１１０が車両前方に障害物５２２が位置したものとして認識した場合、自律走行車両１１０は、障害物５２２を回避するための迂回経路を生成したり、経路を生成できないこともある。
【００５７】
自律走行車両１１０が実際の道路状況５１０を正確に認識できないことにより誤った走行経路が生成されることがある。そのような場合を防止するために、自律走行車両１１０の姿勢又は道路の傾斜度が走行経路を生成するために考慮される。以下の図６ないし図１７を参照して、自律走行車両と地面との間の傾斜度を算出する方法及び算出した傾斜度を用いる方法を詳細に説明する。
【００５８】
図６は、一実施形態に係る自律走行経路生成装置の構成図である。
【００５９】
自律走行経路生成装置６００は、カメラ６１０、センサ６２０、通信部６３０、プロセッサ６４０、及びメモリ６５０を含む。自律走行経路生成装置６００は、図１ないし図５を参照して前述された自律走行車両１１０に含まれる。
【００６０】
カメラ６１０は、車両前方を撮影することで入力イメージを生成する。カメラ６１０は、カメラ６１０のイメージの平面と平地が垂直になるよう自律走行車両１１０に設けられる。
【００６１】
センサ６２０は、１つ以上のセンサを含んでもよい。例えば、センサ６２０は、自律走行車両１１０の周辺を撮影する追加カメラ、ライダーセンサ、レーダーセンサ、及び音声認識センサを含む。
【００６２】
通信部６３０は、カメラ６１０、センサ６２０、プロセッサ６４０及びメモリ６５０と接続してデータを送受信する。通信部６３０は、外部の他の装置に接続してデータを送受信する。通信部６３０は、自律走行経路生成装置６００内の回路網として実現される。例えば、通信部６３０は、内部バス及び外部バスを含み得る。異なる例として、通信部６３０は、自律走行経路生成装置６００と外部の装置を接続する要素であってもよい。通信部６３０は、インターフェースであってもよい。通信部６３０は、外部の装置からデータを受信し、プロセッサ６４０及びメモリ６５０にデータを送信する。
【００６３】
プロセッサ６４０は、通信部６３０が受信したデータ及びメモリ６５０に格納されたデータを処理する。
【００６４】
「プロセッサ」は、目的とする動作を実行させるための物理的な構造を有する回路を有するハードウェアで具現されたデータ処理装置である。例えば、目的とする動作は、プログラムに含まれたコード又は命令を含む。例えば、ハードウェアで具現されたデータ処理装置は、マイクロプロセッサ、中央処理装置、プロセッサコア、マルチ−コアプロセッサ、マルチプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ−Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）を含んでもよい。
【００６５】
プロセッサ６４０は、メモリ（例えば、メモリ６５０）に格納されたコンピュータで読込みできるコード（例えば、ソフトウェア）及びプロセッサ６４０によって誘発された命令を実行する。
【００６６】
メモリ６５０は、通信部６３０が受信したデータ及びプロセッサ６４０が処理したデータを格納する。例えば、メモリ６５０はプログラムを格納し得る。
【００６７】
一側面によれば、メモリ６５０は、１つ以上の揮発性メモリ、不揮発性メモリ及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ハードディスクドライブ及び光学ディスクドライブを含み得る。
【００６８】
メモリ６５０は、自律走行経路を生成する命令語セット（例えば、ソフトウェア）を格納する。自律走行経路を生成する命令語セットは、プロセッサ６４０によって実行される。プロセッサ６４０は、命令語セットに応じて自律走行経路を生成する。
【００６９】
以下、図７ないし図１７を参照してカメラ６１０、センサ６２０、通信部６３０、プロセッサ６４０、及びメモリ６５０を詳細に説明する。
【００７０】
図７は、一実施形態に係る自律走行経路生成方法のフローチャートである。
【００７１】
ステップＳ７１０において、カメラ６１０は、車両１１０の前方を撮影することで入力イメージを生成する。入力イメージはカラーイメージであってもよい。ステップＳ７１０は、予め設定された周期で実行される。カメラ６１０は、予め設定された周期で複数の入力イメージを生成する。
【００７２】
ステップＳ７２０において、プロセッサ６４０は、入力イメージをカメラ６１０から受信する。
【００７３】
ステップＳ７３０において、プロセッサ６４０は、入力イメージに基づいて自律走行車両１１０と地面との間の傾斜度を算出する。傾斜度は、自律走行車両１１０の正面及び地面間の角度であってよい。傾斜度を算出する方法については、以下に図９ないし図１４を参照して詳細に説明する。
【００７４】
ステップＳ７４０において、プロセッサ６４０は、算出された傾斜度に基づいて自律走行車両１１０の自律走行経路を生成する。自律走行経路を生成する方法については、以下に図８を参照して詳細に説明する。
【００７５】
図８は、一例に係る鳥瞰イメージに基づいて自律走行経路を生成する方法のフローチャートである。
【００７６】
ステップＳ８１０において、プロセッサ６４０は、算出された傾斜度に基づいて鳥瞰イメージを生成する。例えば、プロセッサ６４０は、傾斜度を用いて入力イメージを鳥瞰視点にワーピングすることにより鳥瞰イメージを生成する。
【００７７】
ステップＳ８２０において、プロセッサ６４０は、算出された傾斜度を用いて検出データを補正する。検出データは、センサ６２０を用いて受信される。プロセッサ６４０は、傾斜度と関係のある検出データを補正する。
【００７８】
ステップＳ８３０において、プロセッサ６４０は、鳥瞰イメージ及び検出データに基づいて車両１１０の自律走行経路を生成する。
【００７９】
図９は、一例に係る入力イメージに基づいて傾斜度を算出する方法のフローチャートである。
【００８０】
図７を参照して前述したステップＳ７３０は、下記のステップＳ９１０、Ｓ９２０、Ｓ９３０を含む。
【００８１】
ステップＳ９１０において、プロセッサ６４０は、入力イメージ内の１つ以上の車線を検出する。例えば、プロセッサ６４０は、入力イメージ内の外側車線（ｓｉｄｅ  ｌａｎｅ）及び中央車線（ｃｅｎｔｅｒ  ｌａｎｅ）を検出する。
【００８２】
ステップＳ９２０において、プロセッサ６４０は、車線の消失点を検出する。例えば、プロセッサ６４０は、複数の車線が互いに接する点を消失点として検出する。
【００８３】
ステップＳ９３０において、プロセッサ６４０は、検出された消失点に基づいて傾斜度を算出する。消失点に基づいて傾斜度を算出する方法を、以下に図１３及び１４を参照して詳細に説明する。
【００８４】
図１０は、一例に係る自律走行車両が前方に傾斜した場合における、カメラの撮影システムを示す。
【００８５】
カメラ６１０の撮影システム１０００は、レンズ１００５及びレンズ１００５の軸１０２０に基づいて前方の場面１０３０を撮影することによって、入力イメージ１０４０を生成する。
【００８６】
自律走行車両１１０が前方に傾斜した場合（又は、前が押さえられた場合）、カメラ６１０のレンズ１００５は車両１１０が傾いた角度に対応して傾斜し、レンズ１００５の軸１０２０が下降する。平地でのレンズ１００５の正常な軸１０１０と下に傾いた軸１０２０との間に角度θｔが発生する可能性がある。角度θｔは傾斜度として命名される。カメラ６１０は、レンズ１００５の軸１０２０に沿って前方の場面１０３０を撮影することによって、入力イメージ１０４０を生成する。前方の場面１０３０と正常な軸１０１０が接する線１０３５上に消失点が発生する可能性がある。線１０３５は地平線である。
【００８７】
自律走行車両１１０が後方に傾斜した場合（又は、前が上に傾いた場合）にも前述の説明が同様に適用され得る。自律走行車両１１０が後方に傾斜した場合には、レンズ１００５の軸が正常な軸１０１０に比べて上向きになるものとして理解される。
【００８８】
図１１は、一例に係る車道が曲線である場合、撮影された入力イメージを示す。
【００８９】
一側面によれば、車で１１０２が曲線である場合、プロセッサ６４０は車線が接する点を消失点１１１０として検出する。地平線１１２０は、消失点１１１０を含んでもよい。車線が接する点が消失点１１１０として検出されるため、プロセッサ６４０は、車線が直線でない曲線である場合にも消失点１１１０を検出できる。
【００９０】
図１２は、一例に係る複数の消失点が示される入力イメージを示す。
【００９１】
道路１２０２が平地１２０４と登り坂１２０６に続いている。プロセッサ６４０は、平地１０２で第１車線１２１０に対する第１消失点１２１２を検出し、登り坂１２０６で第２車線１２２０に対する第２消失点１２２２を検出する。第１消失点１２１２は第１線１２１５に含まれ、第２消失点１２２２は第２線１２２５に含まれる。車両１１０を基準にして第１車線１２１０は、第２車線１２２０に比べてさらに近接する。
【００９２】
プロセッサ６４０は、複数の消失点１２１２、１２２２が検出された場合、自律走行車両１１０で最も近接する消失点１２１２を傾斜度を算出するための消失点として決定する。例えば、プロセッサ６４０は、傾斜度を算出するために複数の消失点１２１２、１２２２のうち、自律走行車両１１０で最も近接する第１車線１２１０に対する第１消失点１２１２を選択する。
【００９３】
図１３は、一例に係る消失点に基づいて傾斜度を算出する方法のフローチャートである。
【００９４】
図９を参照して前述されたステップＳ９３０は、以下のステップＳ１３１０、Ｓ１３２０を含む。
【００９５】
ステップＳ１３１０において、プロセッサ６４０は、予め設定された消失点の位置及び検出された消失点の位置を受信する。例えば、プロセッサ６４０は、予め設定された消失点の高さ座標及び検出された消失点の高さ座標を受信する。予め設定された消失点の高さ座標は、イメージの中心高さ座標であり得る。予め設定された消失点の高さ座標及び検出された消失点の高さ座標について、図１４を参照して詳細に説明する。
【００９６】
ステップＳ１３２０において、プロセッサ６４０は、予め設定された消失点の位置及び検出された消失点の位置間の差に基づいて傾斜度を算出する。一側面によれば、予め設定された消失点の位置及び検出された消失点の位置間の差、及び傾斜度を対応させるマッチングテーブルが、メモリ６５０に格納され得る。異なる側面によれば、傾斜度は下記の数式（１）を用いて算出され得る。例えば、予め設定された消失点の位置と検出された消失点の位置との間の差はイメージ上の距離であるため、予め設定された消失点の位置及び検出された消失点の位置間の差に基づいて実際の距離を示すｖｙが算出される。ｆｙはカメラのレンズから検出された消失点までの実際の距離である。異なる例として、ｖｙは、イメージ上の予め設定された消失点の位置と検出された消失点の位置との間の差であり、ｆｙは、イメージ撮影システム内のレンズから検出された消失点までの距離である。
【００９７】
【数１】
2018090239.tif 000003
【００９８】
図１４は、一例に係る予め設定された消失点の高さ座標及び算出された消失点の高さ座標を示す。
【００９９】
予め設定された消失点の位置は、入力イメージ１４００の中心線１４１０上に位置する。中心線１４１０の高さ座標１４２０は、平地で撮影されたイメージの消失点が含まれるように予め設定されてもよい。例えば、入力イメージ１４００の解像度が１９２０×１０８０の場合、下から５４０番目又は５４１番目のピクセルが中心線１４１０に含まれる。
【０１００】
同じ傾斜度で撮影された複数の入力イメージは、車線の形態とは関係なく、同一の消失点線１４３０上に含まれる消失点を有する。すなわち、傾斜度が同じである場合、予め設定された消失点の高さ座標１４２０と算出された消失点の高さ座標１４４０との間の差が一定である。
【０１０１】
図１５は、一例に係る地面の状態に基づいて自律走行車両を制御する方法のフローチャートである。
【０１０２】
以下のステップＳ１５１０、Ｓ１５２０は、前述のステップＳ７４０と並列的に実行され得る。
【０１０３】
ステップＳ１５１０において、プロセッサ６４０は、予め設定された周期で算出された傾斜度に基づいて地面の状態を決定する。ステップＳ７１０、Ｓ７２０、Ｓ７３０が予め設定された周期で実行される場合、複数の傾斜度が算出される。プロセッサ６４０は、複数の傾斜度の偏差を算出する。プロセッサ６４０は、算出された偏差に基づいて地面状態を決定する。例えば、複数の偏差範囲それぞれに対する地面状態が予め設定され得る。
【０１０４】
ステップＳ１５２０において、プロセッサ６４０は、決定された地面状態に基づいて自律走行車両１１０を制御する。例えば、地面の状態が平坦でないほど、走行速度が低くなる。
【０１０５】
図１６は、一例に係るカメラの傾斜を調整して車線を検出する方法のフローチャートである。
【０１０６】
以下のステップＳ１６１０、Ｓ１６２０、Ｓ１６３０は図９を参照して前述したステップＳ９１０が実行された後に実行され得る。
【０１０７】
ステップＳ１６１０において、プロセッサ６４０は、入力イメージ内の車線が検出されたか否かを判断する。
【０１０８】
ステップＳ１６２０において、プロセッサ６４０は、車線が検出されていない場合、カメラ６１０の傾斜を調整する。例えば、自律走行車両１１０が位置した道路の傾斜が登り坂から下り坂に変化する場合、自律走行車両１１０の前方に設置されたカメラ６１０は道路を撮影し難い。この場合、プロセッサ６４０は、カメラ６１０のレンズ軸を下降させることができる。傾斜が調整されたカメラ６１０は入力イメージを生成することができる。
【０１０９】
ステップＳ１６３０において、プロセッサ６４０は、傾斜が調整されたカメラ６１０が生成した入力イメージ内の車線が検出されたか否かを判断する。入力イメージ内の車線が検出された場合、図９を参照して前述したステップＳ９２０が実行され得る。
【０１１０】
一側面によれば、カメラ６１０の傾斜が調整された場合、ステップＳ９２０でプロセッサ６４０は、検出された消失点の位置を補正する。例えば、プロセッサ６４０は、調整されたカメラ６１０の傾斜に対応する値を用いて消失点の位置を補正する。
【０１１１】
他の側面によれば、カメラ６１０の傾斜が調整された場合、ステップＳ９３０で、プロセッサ６４０は算出された傾斜度を補正する。例えば、プロセッサ６４０は、調整されたカメラ６１０の傾斜に対応する値を用いて傾斜度を補正できる。
【０１１２】
図１７は、一実施形態に係る前方の傾斜度算出方法のフローチャートである。
【０１１３】
図６を参照して前述した自律走行経路生成装置６００は、自律走行経路を生成しない場合にも自律走行車両１１０の周辺環境を認識するために車両前方の傾斜度を算出する。
【０１１４】
ステップＳ１７１０において、プロセッサ６４０は、車両の前方を撮影したイメージを受信する。例えば、カメラ６１０は、車両前方を撮影することでイメージを生成し、プロセッサ６４０は、カメラ６１０からイメージを受信する。イメージは、図６を参照して説明された入力イメージに対応する。
【０１１５】
ステップＳ１７２０において、プロセッサ６４００は、イメージに基づいて車両前方の傾斜度を算出する。傾斜度は、自律走行車両１１０の正面と地面との間の角度である。ステップＳ１７２０に対する詳細な説明は、図９ないし図１４を参照して説明したステップＳ７３０に対する説明に代替できるためその説明は省略する。
【０１１６】
実施形態に係る方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合わせて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
【０１１７】
上述のように、実施形態を限定された図面によって説明したが、当技の術分野で通常の知識を有する者であれば、前記に基づいて様々な技術的な修正及び変形さえも適用することができる。例えば、説明された技術が説明された方法と異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられたり、他の構成要素又は均等物によって置き換えたり置換されても適切な結果を達成することができる。
【０１１８】
したがって、他の具現、他の実施形態、及び請求範囲と均等なものも後述する請求範囲に属する。
【０１１９】
ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの１つ以上の組み合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ記録媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータで読み取り可能な記録媒体に格納される。
【０１２０】
本実施形態による方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータで読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合わせて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
【０１２１】
上述のように、実施形態を限定された図面によって説明したが、当技の術分野で通常の知識を有する者であれば、前記に基づいて様々な技術的な修正及び変形さえも適用することができる。例えば、説明された技術が説明された方法と異なる順序で実行されたり、かつ／あるいは、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられたり、他の構成要素又は均等物によって置き換えたり置換されても適切な結果を達成することができる。
【符号の説明】
【０１２２】
１１０：車両
６００：自律走行経路生成装置
６１０：カメラ
６２０：センサ
６３０：通信部
６４０：プロセッサ
６５０：メモリ
【図１】
2018090239.tif 000004
【図２】
2018090239.tif 000005
【図３】
2018090239.tif 000006
【図４】
2018090239.tif 000007
【図５】
2018090239.tif 000008
【図６】
2018090239.tif 000009
【図７】
2018090239.tif 000010
【図８】
2018090239.tif 000011
【図９】
2018090239.tif 000012
【図１０】
2018090239.tif 000013
【図１１】
2018090239.tif 000014
【図１２】
2018090239.tif 000015
【図１３】
2018090239.tif 000016
【図１４】
2018090239.tif 000017
【図１５】
2018090239.tif 000018
【図１６】
2018090239.tif 000019
【図１７】
2018090239.tif 000020