(57)【要約】【課題】  車線維持補助方法及び装置を提供する。【解決手段】  車線維持補助方法は、車両の前方にトンネルが存在するか否かを決定するステップと、トンネルが存在するという決定に応答して、前記車両が前記トンネルに進入する前に取得された車両の第１前方映像から前記トンネル内の第１照明パターンを検出するステップと、検出された第１照明パターンに基づいて、前記車両の現在走行車線に関する基準情報を決定するステップと、車両が前記トンネルに進入した後に取得された前記車両の第２前方映像から前記トンネル内の第２照明パターンを検出するステップと、前記検出された第２照明パターンと前記基準情報に基づいて前記車両が前記現在走行車線から離脱したか否かを決定するステップとを含む。【選択図】      図１４
2019099138.tif 000002
【特許請求の範囲】
【請求項１】
車両の前方にトンネルが存在するか否かを決定するステップと、
前記トンネルが存在するという決定に応答して、前記車両が前記トンネルに進入する前に取得された前記車両の第１前方映像から前記トンネル内の第１照明パターンを検出するステップと、
前記検出された第１照明パターンに基づいて、記車両の現在走行車線に関する基準情報を決定するステップと、
前記車両が前記トンネルに進入した後に取得された前記車両の第２前方映像から前記トンネル内の第２照明パターンを検出するステップと、
前記検出された第２照明パターンと前記基準情報に基づいて前記車両が前記現在走行車線を離脱したか否かを決定するステップと、
を含む車線維持補助方法。
【請求項２】
前記基準情報を決定するステップは、前記第１照明パターンと前記現在走行車線との間の位置関係に関する角度情報を前記基準情報として決定する、請求項１に記載の車線維持補助方法。
【請求項３】
前記基準情報を決定するステップは、前記第１前方映像で推定された消失点に基づいて前記第１照明パターンを回転させ、前記第１照明パターンの少なくとも一部が前記現在走行車線の中央に位置するようにする角度情報を決定する、請求項１又は２に記載の車線維持補助方法。
【請求項４】
前記車両が前記現在走行車線から離脱したか否かを決定するステップは、
前記角度情報に基づいて前記第２照明パターンを回転させるステップと、
前記回転した第２照明パターンの位置と前記現在走行車線の中央間の位置関係に基づいて、前記車両が前記現在走行車線から離脱したか否かを決定するステップと、
を含む、請求項２又は３に記載の車線維持補助方法。
【請求項５】
前記車両が前記現在走行車線から離脱したか否かを決定するステップは、
前記回転した第２照明パターンをトップビュー映像に変換するステップと、
前記トップビュー映像に示された第２照明パターンに基づいて、前記車両が前記現在走行車線から離脱したか否かを決定するステップと、
を含む、請求項４に記載の車線維持補助方法。
【請求項６】
前記車両が前記現在走行車線から離脱したという決定に応答して、前記車両のステアリングを制御するステップをさらに含む、請求項１乃至５のいずれか一項に記載の車線維持補助方法。
【請求項７】
前記基準情報を決定するステップは、
前記第１前方映像で前記現在走行車線の境界線を検出するステップと、
前記検出された境界線に基づいて前記検出された第１照明パターンと前記現在走行車線との間の位置関係情報を前記基準情報として決定するステップと、
を含む、請求項１乃至６のいずれか一項に記載の車線維持補助方法。
【請求項８】
前記トンネルが存在するか否かを決定するステップは、前記車両の前方映像で前記トンネルが認識された場合、前記トンネルが存在するものと決定する、請求項１乃至７のいずれか一項に記載の車線維持補助方法。
【請求項９】
前記トンネルが存在するか否かを決定するステップは、前記車両の前方映像で前記トンネル内に配置された照明が認識された場合、前記トンネルが存在するものと決定する、請求項１乃至７のいずれか一項に記載の車線維持補助方法。
【請求項１０】
前記トンネルが存在するか否かを決定するステップは、ＧＰＳ（ｇｌｏｂａｌ  ｐｏｓｉｔｉｏｎｉｎｇ  ｓｙｓｔｅｍ）センサを用いて測定した前記車両の位置情報及びトンネルの位置が示された地図情報に基づいて前記トンネルの存在の有無を決定する、請求項１乃至７のいずれか一項に記載の車線維持補助方法。
【請求項１１】
第１時点で取得された車両の第１前方映像から第１照明パターンを検出するステップと、
前記検出された第１照明パターンに基づいて前記車両の現在走行車線に関する基準情報を決定するステップと、
第２時点で取得された前記車両の第２前方映像から第２照明パターンを検出するステップと、
前記検出された第２照明パターンと前記基準情報に基づいて前記車両が前記現在走行車線から離脱したか否かを決定するステップと、
を含む車線維持補助方法。
【請求項１２】
前記基準情報を決定するステップは、前記第１照明パターンと前記現在走行車線との間の位置関係に関する角度情報を前記基準情報として決定する、請求項１１に記載の車線維持補助方法。
【請求項１３】
前記基準情報を決定するステップは、前記第１前方映像で推定された消失点に基づいて前記第１照明パターンを回転させ、前記第１照明パターンの少なくとも一部が前記現在走行車線の中央に位置するようにする角度情報を決定する、請求項１１又は１２に記載の車線維持補助方法。
【請求項１４】
前記第１照明パターンと前記第２照明パターンは、トンネル内に設けられた照明のパターンである、請求項１１乃至１３のいずれか一項に記載の車線維持補助方法。
【請求項１５】
前記第１照明パターンと前記第２照明パターンは、前記車両が走行する道路の端に位置する街灯のパターンである、請求項１１乃至１３のいずれか一項に記載の車線維持補助方法。
【請求項１６】
請求項１乃至１５のいずれか一項に記載の方法を実行するための命令を格納するコンピュータで読み出し可能な格納媒体。
【請求項１７】
車両の前方を撮影して前方映像を取得するカメラと、
前記前方映像に基づいて前記車両が現在走行車線から離脱したか否かを決定するプロセッサと、を含み、
前記プロセッサは、
第１時点で取得された前記車両の第１前方映像から第１照明パターンを検出し、
前記検出された第１照明パターンに基づいて前記現在走行車線に関する基準情報を決定し、
第２時点で取得された前記車両の第２前方映像から第２照明パターンを検出し、
前記検出された第２照明パターンと前記基準情報に基づいて前記車両が前記現在走行車線から離脱したか否かを決定する、車線維持補助装置。
【請求項１８】
前記プロセッサは、前記第１照明パターンと前記現在走行車線との間の位置関係に関する角度情報を前記基準情報として決定する、請求項１７に記載の車線維持補助装置。
【請求項１９】
前記プロセッサは、前記第１前方映像で推定された消失点に基づいて前記第１照明パターンを回転させ、前記第１照明パターンの少なくとも一部が前記現在走行車線の中央に位置するようにする角度情報を決定する、請求項１７又は１８に記載の車線維持補助装置。
【請求項２０】
前記プロセッサは、
前記第１前方映像、又は前記車両の位置情報及びトンネルの位置が示された地図情報に基づいて前記車両の前方にトンネルが存在するか否かを決定し、
前記トンネルが存在するという決定に応答して、前記第１前方映像で前記トンネルに配置された照明パターンを前記第１照明パターンとして検出する、請求項１７乃至１９のいずれか一項に記載の車線維持補助装置。
【請求項２１】
前記第１照明パターンと前記第２照明パターンは、トンネル内に設けられた照明のパターンである、請求項１７乃至２０のいずれか一項に記載の車線維持補助装置。
【請求項２２】
前記第１照明パターンと前記第２照明パターンは、前記車両が走行する道路の端に位置する街灯のパターンである、請求項１７乃至２０のいずれか一項に記載の車線維持補助装置。
【請求項２３】
第１時点で取得された第１前方映像から第１照明パターンを検出するステップと、
前記第１照明パターンに基づいて車両の現在走行車線に対する基準情報を決定するステップと、
第２時点で前記車両から取得された第２前方映像から第２照明パターンを検出するステップと、
前記第２前方映像から境界線を検出するステップと、
前記境界線が有効であるか否かを決定するステップと、
前記境界線が有効でない場合、前記第２照明パターン及び前記基準情報に基づいて前記現在走行車線で前記車両の位置を決定するステップと、
を含む、車線維持方法。
【請求項２４】
前記境界線が有効である場合、前記境界線に基づいて前記現在走行車線で前記車両の位置を決定するステップをさらに含む、請求項２３に記載の車線維持方法。
【請求項２５】
前記境界線が有効であるか否かを決定するステップは、前記車両の周辺の照度レベルが第１閾値未満であるか否か、前記第２前方映像の画質が第２閾値未満であるか否か、及び前記境界線の連続性が第３閾値未満であるか否か、のうちの少なくとも１つに基づいて前記境界線が有効であるか否かを決定する、請求項２３又は２４に記載の車線維持方法。
【請求項２６】
前記基準情報は、前記第１照明パターンと前記第１前方映像から検出された第１境界線の間の位置関係を含む、請求項２３乃至２５のいずれか一項に記載の車線維持方法。
【請求項２７】
前記位置関係は、前記第１照明パターン及び前記第１境界線の間の垂直軸上の高さでの差、前記第１照明パターン及び前記第１境界線の間の距離軸上の距離での差、前記高さでの差及び前記距離での差の間の比率、及び前記第１照明パターンの位置及び前記第１境界線の位置の間の関係に対応する変換マトリックスのうちの少なくとも１つを含む、請求項２６に記載の車線維持方法。
【請求項２８】
車両の前方で映像をキャプチャーするための第１センサと、
ヘッドアップディスプレイ（ＨＵＤ）と、
プロセッサと、
を含み、
前記プロセッサは、
第１時点に前記車両から取得された第１前方映像から第１照明パターンを検出し、
前記検出された第１照明パターンに基づいて、前記車両の現在車線に対する基準情報を決定し、
第２時点に前記車両から取得された第２前方映像から第２照明パターンを検出し、
前記検出された第２照明パターン及び前記基準情報に基づいて、前記現在車線から前記車両が離脱するか否かを決定し、
前記現在車線から前記車両が離脱した場合、前記ＨＵＤ上に警報を出力したり前記車両を調整する、車線維持補助装置。
【請求項２９】
前記車両の位置を提供するための第２センサと、
地図情報を格納するメモリと、
をさらに含み、
前記プロセッサは、前記車両の位置と前記地図情報に基づいて現在の走行車線に近接するランドマークの存在を決定する、請求項２８に記載の車線維持補助装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の説明は、車線維持補助技術に関する。
【背景技術】
【０００２】
自律走行（ａｕｔｏｍａｔｉｃ  ｄｒｉｖｉｎｇ）は、車両走行中に求められる各種の操作を自動で行うものであって、例えば、自律走行する車両は、運転者がハンドルと加速ペダル又はブレーキなどを直接操作しなくても道路で自ら走ることができる。このような自律走行のための様々な技術は、車両で収集される周辺映像情報を用いて実行され得る。自律走行を安全に行うためには映像情報を用いて境界線の位置を正確に認識し、認識された境界線に基づいて走行中である車線（レーン、ｌａｎｅ）を安全に維持することが重要である。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の目的は、車線維持補助技術を提供することにある。
【課題を解決するための手段】
【０００４】
一実施形態に係る車線維持補助方法は、車両の前方にトンネルが存在するか否かを決定するステップと、前記トンネルが存在するという決定に応答して、前記車両が前記トンネルに進入する前に取得された前記車両の第１前方映像から前記トンネル内の第１照明パターンを検出するステップと、前記検出された第１照明パターンに基づいて、記車両の現在走行車線に関する基準情報を決定するステップと、前記車両が前記トンネルに進入した後に取得された前記車両の第２前方映像から前記トンネル内の第２照明パターンを検出するステップと、前記検出された第２照明パターンと前記基準情報に基づいて前記車両が前記現在走行車線を離脱したか否かを決定するステップとを含む。
【発明の効果】
【０００５】
車線維持補助装置は、車両の前方映像から境界線を検出し、検出された境界線に基づいて車線維持補助機能を行うことができる。車線維持補助装置は、車両がトンネル、夜間走行のような暗い環境で走行するとき、前方映像における境界線検出の結果のみならず、前方映像に示された照明パターンを用いて車線維持補助機能をよりロバストに行うことができる。
【図面の簡単な説明】
【０００６】
【図１Ａ】トンネル内で撮影された車両の前方映像を示す図である。
【図１Ｂ】トンネル入口付近で撮影された車両の前方映像を示す図である。
【図２】一実施形態に係るトンネル内における車線維持補助方法を説明するためのフローチャートである。
【図３】他の実施形態に係るトンネル内における車線維持補助方法を説明するためのフローチャートである。
【図４】一実施形態に係る第１前方映像から第１照明パターンを検出する一例を説明するための図である。
【図５】一実施形態に係る第１照明パターンに基づいて現在走行車線に関する基準情報を決定する過程を説明するための図である。
【図６】一実施形態に係る第２照明パターンと基準情報に基づいて現在走行車線の離脱の有無を決定する過程を説明するための図である。
【図７Ａ】一実施形態に係る第２照明パターンと基準情報に基づいて現在走行車線の離脱の有無を決定する過程を説明するための図である。
【図７Ｂ】一実施形態に係る第２照明パターンと基準情報に基づいて現在走行車線の離脱の有無を決定する過程を説明するための図である。
【図８】他の実施形態に係る第１照明パターンに基づいて現在走行車線に関する基準情報を決定する過程を説明するための図である。
【図９】他の実施形態に係る第２照明パターンと基準情報に基づいて現在走行車線の離脱の有無を決定する過程を説明するための図である。
【図１０】他の実施形態に係る第２照明パターンと基準情報に基づいて現在走行車線の離脱の有無を決定する過程を説明するための図である。
【図１１】更なる実施形態に係る車線維持補助方法を説明するためのフローチャートである。
【図１２】一実施形態に係る夜間走行環境における車線維持補助方法の一例を説明するための図である。
【図１３】一実施形態に係る夜間走行環境における車線維持補助方法の一例を説明するための図である。
【図１４】一実施形態に係る車線維持補助装置の構成を示す図である。
【発明を実施するための形態】
【０００７】
＜発明の概要＞
一実施形態に係る車線維持補助方法は、車両の前方にトンネルが存在するか否かを決定するステップと、前記トンネルが存在するという決定に応答して、前記車両が前記トンネルに進入する前に取得された前記車両の第１前方映像から前記トンネル内の第１照明パターンを検出するステップと、前記検出された第１照明パターンに基づいて、記車両の現在走行車線に関する基準情報を決定するステップと、前記車両が前記トンネルに進入した後に取得された前記車両の第２前方映像から前記トンネル内の第２照明パターンを検出するステップと、前記検出された第２照明パターンと前記基準情報に基づいて前記車両が前記現在走行車線を離脱したか否かを決定するステップとを含む。
【０００８】
前記基準情報を決定するステップは、前記第１照明パターンと前記現在走行車線との間の位置関係に関する角度情報を前記基準情報として決定し得る。
【０００９】
前記基準情報を決定するステップは、前記第１前方映像で推定された消失点に基づいて前記第１照明パターンを回転させ、前記第１照明パターンの少なくとも一部が前記現在走行車線の中央に位置するようにする角度情報を決定し得る。
【００１０】
前記車両が前記現在走行車線から離脱したか否かを決定するステップは、前記角度情報に基づいて前記第２照明パターンを回転させるステップと、前記回転した第２照明パターンの位置と前記現在走行車線の中央間の位置関係に基づいて、前記車両が前記現在走行車線から離脱したか否かを決定するステップとを含み得る。
【００１１】
一実施形態に係る車線維持補助方法は、前記車両が前記現在走行車線から離脱したという決定に応答して、前記車両のステアリングを制御するステップをさらに含み得る。
【００１２】
他の実施形態に係る車線維持補助方法は、第１時点で取得された車両の第１前方映像から第１照明パターンを検出するステップと、前記検出された第１照明パターンに基づいて車両の現在走行車線に関する基準情報を決定するステップと、第２時点で取得された前記車両の第２前方映像から第２照明パターンを検出するステップと、前記検出された第２照明パターンと前記基準情報に基づいて前記車両が前記現在走行車線から離脱したか否かを決定するステップとを含む。
【００１３】
一実施形態に係る車線維持補助装置は、車両の前方を撮影して前方映像を取得するカメラと、前記前方映像に基づいて前記車両が現在走行車線から離脱したか否かを決定するプロセッサと、を含み前記プロセッサは、第１時点で取得された前記車両の第１前方映像から第１照明パターンを検出し、前記検出された第１照明パターンに基づいて前記現在走行車線に関する基準情報を決定し、第２時点で取得された前記車両の第２前方映像から第２照明パターンを検出し、前記検出された第２照明パターンと前記基準情報に基づいて前記車両が前記現在走行車線から離脱したか否かを決定し得る。
【００１４】
一実施形態に係る車線維持方法は、第１時点で取得された第１前方映像から第１照明パターンを検出するステップと、前記第１照明パターンに基づいて前記車両の現在走行車線に対する基準情報を決定するステップと、第２時点で前記車両から取得された第２前方映像から第２照明パターンを検出するステップと、前記第２前方映像から境界線を検出するステップと、前記境界線が有効であるか否かを決定するステップと、前記境界線が有効でない場合、前記第２照明パターン及び前記基準情報に基づいて前記現在走行車線で前記車両の位置を決定するステップとを含む、車線維持方法。
【００１５】
車線維持方法は、前記境界線が有効である場合、前記境界線に基づいて前記現在走行車線で前記車両の位置を決定するステップをさらに含み得る。
【００１６】
前記境界線が有効であるか否かを決定するステップは、前記車両の周辺の照度レベルが第１閾値未満であるか否か、前記第２前方映像の画質が第２閾値未満であるか否か、及び前記境界線の連続性が第３閾値未満であるか否か、のうちの少なくとも１つに基づいて前記境界線が有効であるか否かを決定し得る。
【００１７】
前記基準情報は、前記第１照明パターンと前記第１前方映像から検出された第１境界線の間の位置関係を含み得る。
【００１８】
前記位置関係は、前記第１照明パターン及び前記第１境界線の間の垂直軸上の高さでの差、前記第１照明パターン及び前記第１境界線の間の距離軸上の距離での差、前記高さでの差及び前記距離での差の間の比率、及び前記第１照明パターンの位置及び前記第１境界線の位置の間の関係に対応する変換マトリックスのうちの少なくとも１つを含み得る。
【００１９】
一実施形態に係る車線維持装置は、車両の前方で映像をキャプチャーするための第１センサと、ヘッドアップディスプレイ（ＨＵＤ）と、プロセッサとを含み、前記プロセッサは、第１時点に前記車両から取得された第１前方映像から第１照明パターンを検出し、前記検出された第１照明パターンに基づいて、前記車両の現在車線に対する基準情報を決定し、第２時点に前記車両から取得された第２前方映像から第２照明パターンを検出し、前記検出された第２照明パターン及び前記基準情報に基づいて、前記現在車線から前記車両が離脱するか否かを決定し、前記現在車線から前記車両が離脱した場合、前記ＨＵＤ上に警報を出力したり前記車両を調整する。
【００２０】
車線維持装置は、前記車両の位置を提供するための第２センサと、地図情報を格納するメモリとをさらに含み、前記プロセッサは、前記車両の位置と前記地図情報に基づいて現在の走行車線に近接するランドマークの存在を決定し得る。
【００２１】
＜発明の詳細＞
実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものとして、様々な形態に変更される。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。
【００２２】
第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に第２構成要素は第１構成要素にも命名することができる。
【００２３】
単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
【００２４】
異なるように定義されない限り、技術的又は科学的な用語を含んで、ここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
【００２５】
実施形態は添付する図面を参照しながら詳細に説明される。添付図面を参照して説明することにおいて、図面符号に関係なく同じ構成要素は同じ参照符号を付与し、これに対する重複する説明は省略することにする。以下の実施形態は、自律走行、運転者補助システム（Ａｄｖａｎｃｅｄ  Ｄｒｉｖｅｒ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍ；ＡＤＡＳ）、又はナビゲーションシステムなどで、車両が走行中である車線を安全に維持することを助けるために用いられる。
【００２６】
自律走行及びＡＤＡＳで車両の走行制御は、映像分析を介して認識された境界線（又は、車線）に基づいて実行される。したがって、自律走行及びＡＤＡＳにおいて、境界線を正確に認識し、運転者の意図と異なって走行中である車線が変更されることを防ぐことは、運転者及び搭乗者の安全に直結する重要な課題である。一般に、境界線認識は、車両の前方ビューを撮影した映像である前方映像に基づいて実行される。前方映像から境界線が検出され、検出された境界線に基づいて現在走行中である車線が決定されるが、暗い環境で撮影された前方映像には境界線が充分に示されていないか、又は境界線が示されても境界線検出の信頼度が低いことがある。
【００２７】
例えば、車両がトンネル区間を走行する場合、図１Ａに示したような前方映像１００が取得される。トンネル内が撮影された前方映像１００には、トンネル内の暗い環境によって境界線１１２，１１４，１１６が充分に示されず、前方映像１００に基づいた境界線認識が失敗する可能性がある。車両がトンネルに進入するとき、トンネルの外側と内側の間の照度差により、又は、トンネル内が極めて暗くて前方映像に境界線が充分に示されないことがある。又は、トンネルの中の道路に境界線がない場合もありえる。
【００２８】
トンネル内でなくても、暗い環境（例えば、夜間に走行する場合）で撮影された車両の前方映像には、境界線が検出され得るほど境界線が明確でないこともある。境界線が認識されないか、又は境界線位置に対する誤った認識は、走行中である車道に対する誤った推定につながり、これは安全にとって重大な脅威になることから、トンネル区間及び夜間走行のような暗い環境であっても境界線と車道を正確に認識することが重要である。
【００２９】
以下で説明する車線維持補助装置は、上記のような暗い環境でも境界線と走行車線をより正確に決定することを可能にする。車線維持補助装置は、カメラによって取得された車両の前方映像に基づいて、現在走行中である車線を維持するために役に立つ装置として、運転者の車線変更の意志なしで走行中である車線を離脱しようとすることを防止したり、又は、走行中である車線を離脱したり離脱するものと推定される場合、運転者に車線離脱の危険を知らせる装置である。
【００３０】
車線維持補助装置は、車両の前方映像から境界線を検出し、検出された境界線に基づいて車線維持補助機能を行うことができる。車線維持補助装置は、車両がトンネル、夜間走行のような暗い環境で走行するとき、前方映像における境界線検出の結果のみならず、前方映像に示された照明パターンを用いて車線維持補助機能をより円満に行うことができる。
【００３１】
例えば、車線維持補助装置は、トンネル（地下トンネルを含む）内に設けられた照明の位置情報を用いて、暗いトンネル内でも境界線と現在走行中である車線をより正確に推定できる。トンネル内では、全体的な照度が低くて境界線の検出が容易でない場合もある。対照的に、トンネル内に配置された照明の照度は相対的に高くて、トンネル内における照明は前方映像から容易に検出されることができる。このようなトンネル内の照明の配置パターンは、境界線に代わるソースとして用いられてもよい。一般的に、トンネル内における照明は、一定の高さと間隔をもって配置され、道路又は境界線の形態と同一又は類似のパターンに配置されているため、このような点を利用すれば、トンネル内のような暗い環境でも、照明パターンに基づいて境界線の位置と現在走行中である車線をより正確に認識することができる。又は、車線維持補助装置は、トンネル内の照明パターンに基づいて今後の道路形状を推定することができ、照明パターンに基づいて今後の道路が曲がると推定された場合には、速度を自動に減らすといった制御を介して走行の安全性を改善することができる。
【００３２】
トンネル内の照明位置に基づいて車線維持補助機能を行うためには、まず、トンネルに進入する前にトンネル内の照明パターンと現在走行中である車線又は該当車線の境界線間の位置関係を決定する過程が求められる。図１Ｂは、トンネル入口付近で撮影された車両の前方映像１２０の一例を示す。車線維持補助装置は、前方映像１２０でトンネル内に設けられた照明１４０を検出し、検出された照明１４０と現在走行中である車線又は境界線１３０間の位置関係を定義するための基準情報を決定する。
【００３３】
車両がトンネル内に進入した後、車線維持補助装置は、トンネル内で取得された前方映像から照明を検出し、以前の時点で決定された基準情報に基づいてトンネル内の照明位置から境界線の位置と車両が車線を維持するか否かを決定する。トンネル内で境界線が正確に検出されなくても、上記のようなトンネル内の照明情報を用いて車線維持補助機能をより効率よく行うことができる。例えば、車線維持補助装置は、境界線検出の結果だけではなく、トンネル区間内における照明パターンに基づいて、トンネル区間内で車両がトンネル進入前に走行していた車線に沿って走行しているか否かを決定し、走行中である車線をトンネル区間内においても継続的に維持できるように助けるための機能を行うことができる。以下、車線維持補助装置によって実行される車線維持補助方法について詳しく説明する。
【００３４】
図２は、一実施形態に係るトンネル内における車線維持補助方法を説明するためのフローチャートである。
【００３５】
図２を参照すると、車線維持補助装置は、トンネル区間における道路とトンネル区間ではない一般道路における車線維持補助機能を区別して行う。車線維持補助装置は、一般道路では車両の前方映像から検出された境界線に基づいて車線維持補助機能を行い、トンネル区間では境界線検出の結果と共にトンネル内の照明配置情報に基づいて車線維持補助機能を行う。
【００３６】
ステップＳ２１０において、車線維持補助装置は、車両の前方にトンネルが存在するか否かを決定する。一実施形態にかかる車線維持補助装置は、車両の前方映像でトンネルのオブジェクトが認識されたり、又は、トンネル内に配置された照明のオブジェクトが認識された場合、車両の前方にトンネルが存在するものと決定する。車両に設けられたカメラによって車両の前方ビューが撮影されて前方映像が取得される。本明細書において前方映像は、カラー映像である場合を例に挙げて説明するが、これに限定されることはない。例えば、前方映像は、グレイスケール映像又は赤外線映像であってもよい。車線維持補助装置は、カメラから前方映像を受信し、例えば、学習された認識装置を用いて前方映像でトンネル（又は、トンネルの入口）の存在の有無を決定する。ここで、認識装置は、複数の学習映像に基づいて、認識装置に入力された入力映像内でトンネルの存在の有無を検出するよう学習されたニューラルネットワークであってもよい。
【００３７】
他の実施形態に係る車線維持補助装置は、ＧＰＳ（ｇｌｏｂａｌ  ｐｏｓｉｔｉｏｎｉｎｇ  ｓｙｓｔｅｍ）センサを用いて測定された車両の位置情報及びトンネルの位置が示された地図情報に基づいて、車両の前方にトンネルが存在するか否かを決定してもよい。車線維持補助装置は、トンネルの位置が格納された地図情報と車両の位置情報に基づいた移動経路を基に、車両がすぐトンネルの入口に到達するか否かを推定する。車両の前方映像だけでなく、車両の位置情報及び地図情報を全て用いてトンネルの存在の有無を決定する場合、トンネル認識結果の正確性がより改善されることは明らかである。
【００３８】
ステップＳ２１５において、車線維持補助装置は、車両の前方にトンネルが存在するという決定に応答して、車両がトンネルに進入する前に取得された車両の第１前方映像からトンネル内の第１照明パターンを検出する。ここで、第１照明パターンは、第１前方映像から検出されたトンネル内の照明位置分布を示す。
【００３９】
トンネルに進入する前に撮影された第１前方映像には、トンネルの入口と共にトンネルに配置された照明が示される。車線維持補助装置は、例えば、エッジ検出又はニューラルネットワーク基盤の検出器を用いて第１前方映像から第１照明パターンを検出し得る。異なる例として、車線維持補助装置は、第１前方映像に含まれたピクセルのうち、明度値が閾値よりも大きいピクセルを検出し、検出されたピクセルのうち互いに隣接して配置されて一連のパターンを形成するピクセルを第１照明パターンとして検出してもよい。
【００４０】
ステップＳ２２０において、車線維持補助装置は、検出された第１照明パターンに基づいて車両の現在走行車線に関する基準情報を決定する。ここで、基準情報は、第１前方映像から検出された第１照明パターンと第１前方映像が撮影されるときに走行している車線との間の関係を定義する情報である。
【００４１】
一実施形態に係る車線維持補助装置は、第１照明パターンと現在走行車線との間の位置関係を定義する角度情報を基準情報として決定し得る。例えば、車線維持補助装置は、第１前方映像で境界線と照明パターンに基づいて推定された消失点に基づいて第１照明パターンを回転させ、第１照明パターンの少なくとも一部が現在走行車線の中央に位置するようにしたり、又は、車両の走行方向に平行にする角度情報を基準情報として決定する。
【００４２】
他の実施形態に係る車線維持補助装置は、第１前方映像から現在走行車線の境界線をさらに検出し、検出された境界線に基づいて第１照明パターンと現在走行車線との間の位置関係情報を基準情報として決定する。ここで、位置関係情報は、検出された境界線の位置とトンネル内の照明位置との間の関係を定義する情報である。第１前方映像には、トンネル入口付近から始まってトンネル内につながる境界線と照明が存在する。車線維持補助装置は、第１前方映像からトンネル入口付近の道路上の境界線とトンネル内に配置された照明の第１照明パターンを検出し、検出された境界線と第１照明パターンと間の位置関係情報を決定する。例えば、車線維持補助装置は、同じ垂直面に位置するトンネル内の照明と境界線間の位置関係を定義するためのパラメータを基準情報として決定する。
【００４３】
トンネルによって照明の位置及び配置構造が異なることがあるため、車両が互いに異なるトンネルに進入するたびに固有の基準情報が決定され得る。車線維持補助装置は、車両がそれぞれのトンネルに進入する前に撮影された第１前方映像からトンネル内の第１照明パターンを検出し、検出された第１照明パターンに基づいて現在走行車線に関する基準情報を決定する。
【００４４】
ステップＳ２２５において、車線維持補助装置は、車両が前記トンネルに進入した後取得された車両の第２前方映像からトンネル内の第２照明パターンを検出する。例えば、車線維持補助装置は、第１照明パターンを検出するために用いられる方式と同じ方式によって、第２前方映像から第２照明パターンを検出する。第２照明パターンは、第２前方映像から検出されたトンネル内の照明位置分布を示す。
【００４５】
ステップＳ２３０において、車線維持補助装置は、第２照明パターンと基準情報に基づいて車両が現在走行車線を離脱したか否かを決定する。車線離脱は、車両が境界線を一部離脱した場合と境界線を離脱する危険のある場合も含む。車線維持補助装置は、第２照明パターンの検出位置に基準情報を適用し、その適用結果を分析して車両が現在走行車線から離脱したか否かを決定する。
【００４６】
例えば、基準情報が第１照明パターンと走行車線との間の位置関係を定義した角度情報である場合、車線維持補助装置は、該当の角度情報に基づいて第２照明パターンを回転させた後、回転した第２照明パターンをトップビュー映像に変換する。車線維持補助装置は、トップビュー映像に示された第２照明パターンの位置に基づいて車両が現在走行車線から離脱したか否かを決定する。
【００４７】
異なる例として、基準情報が第１照明パターンと境界線に基づいて決定された現在走行車線に対する位置関係情報である場合、車線維持補助装置は、該当の位置関係情報に基づいて、第２照明パターンの位置からトンネル内における境界線の位置を推定する。位置関係情報は、トンネル内の照明位置に対する境界線の位置関係を定義するため、照明の位置が分かれば、位置関係情報を用いてトンネル内における境界線の位置を容易に推定することができる。車線維持補助装置は、推定した境界線の位置に基づいて車両が走行していた現在走行車線から離脱したか否かを推定する。
【００４８】
他の実施形態によれば、車線維持補助装置は、第２前方映像から境界線を検出し、該当境界線検出の結果とトンネル内の第２照明パターンに基づいて、車線離脱の有無をより正確に決定できる。本実施形態については、図３を参照して下記で詳細に説明する。
【００４９】
ステップＳ２１０において、車両の前方にトンネルが存在しないと決定された場合、ステップＳ２３５において、車線維持補助装置は、道路上の境界線を認識するための様々な境界線検出アルゴリズムのうちの１つ以上を用いて車両の前方映像から境界線を検出する。例えば、車線維持補助装置は、映像内で境界線を検出するために学習されたニューラルネットワーク基盤の認識装置、又は前方映像の映像情報（明度値及び／又はカラー値）を用いて前方映像から境界線を検出する。その他にも、車線維持補助装置は、関連技術分野で知られた境界線検出方法により境界線を検出してもよい。例えば、車線維持補助装置は、キャニー（Ｃａｎｎｙ）エッジ検出を用いて前方映像からエッジを検出した後、検出されたエッジのうち境界線に対応する領域をハフ（Ｈｏｕｇｈ）変換により抽出したり、又は、逆投影変換（ｉｎｖｅｒｓｅ  ｐｅｒｓｐｅｃｔｉｖｅ  ｔｒａｎｓｆｏｒｍ）を用いて前方映像で境界線を検出してもよい。
【００５０】
ステップＳ２４０において、車線維持補助装置は、ステップＳ２３５で検出された境界線に基づいて車両が現在走行車線から離脱したか否かを決定する。例えば、車線維持補助装置は、検出された境界線の傾き及び位置変化に基づいて、運転者の車線変更の意志がない状態で車両が現在走行車線から離脱したか否かを決定する。
【００５１】
ステップＳ２３０又はステップＳ２４０で車両が現在走行車線から離脱したものと決定された場合、ステップＳ２５０において、車線維持補助装置は、車両のステアリングを制御したり、又は運転者に車線離脱危険を知らせることができる。例えば、車線維持補助装置は、車両が車線離脱前に走行した車線内で走行するように車両のステアリングを制御したり、又は、警報音及び／又はハンドル振動によって運転者に車線離脱危険を知らせる。
【００５２】
上記のような方法によって車線維持補助装置は、トンネル内における照明検出情報を用いてトンネルの暗い環境でも車線維持補助機能をより円満に行うことができる。
【００５３】
図３は、他の実施形態に係るトンネル内における車線維持補助方法を説明するためのフローチャートである。
【００５４】
図３を参照すると、車線維持補助装置は、車両がトンネルに進入する前に、トンネルに配置された照明パターンと現在走行車線との間の位置関係を定義した基準情報を決定した後、決定された基準情報を格納し、車両がトンネル区間に進入した後にはトンネル内における境界線検出の結果と共に上記に格納された基準情報を用いてトンネル内における車線維持補助機能を行うことができる。
【００５５】
車線維持補助装置は、ステップＳ３１０において、車両がトンネルに進入する前に取得された車両の第１前方映像からトンネル内の第１照明パターンを検出し、ステップＳ３１５において、第１照明パターンに基づいて現在走行車線に関する基準情報を決定する。車両がトンネル区間に進入した後、車線維持補助装置は、ステップＳ３２０において、第２前方映像から第２照明パターンを検出し、ステップＳ３２５において、第２照明パターンとステップＳ３１５で決定された基準情報に基づいて車両が現在走行車線から離脱したか否かを決定する。ステップＳ３１０、Ｓ３１５、Ｓ３２０及びステップＳ３２５は、それぞれ図２に示すステップＳ２１５、Ｓ２２０、Ｓ２２５及びＳ２３０と同一であるため、該当のステップに対する詳しい説明は省略する。
【００５６】
車線維持補助装置は、ステップＳ３３０において、第２前方映像から境界線を検出する。車線維持補助装置は、図２を参照して説明した様々な境界線検出方法のうちの１つ以上の方法を用いて第２前方映像から境界線を検出する。車線維持補助装置は、トンネル区間に進入した状態で継続的に撮影される第２前方映像ごとに境界線を検出する。
【００５７】
ステップＳ３３５において、車線維持補助装置は、第２前方映像からトンネル内の境界線検出が有効であるか否かを決定する。一実施形態に係る車線維持補助装置は、車両周辺の照度レベル及び第２前方映像の画質のうちの１つ以上に基づいて、第２前方映像から検出された境界線が有効であるか否かを決定する。例えば、トンネル内における照度レベル及び第２前方映像の画質のうちの１つ以上が予め設定された基準を満足されない場合、第２前方映像からの境界線検出が有効でないものと決定されてもよい。又は、上記の境界線検出方法によって第２前方映像から境界線が検出されたが、検出された境界線の連続性が低下する場合にも、境界線検出が有効でないものと決定されてもよい。例えば、境界線の表示が不明確な場合、及び他の車両によって境界線が遮られた場合、境界線検出が有効でないものと決定される可能性がある。一方、第２前方映像から検出された境界線の連続性、トンネル内の照度レベルと第２前方映像の画質が全て予め設定された基準を満足する場合には、トンネル内の境界線検出が有効なものとして決定される。
【００５８】
ステップＳ３３５において、境界線検出が有効なものと決定された場合、車線維持補助装置は、ステップＳ３４０において、第２前方映像から検出された境界線に基づいて車両が現在走行車線から離脱したか否かを決定する。ステップＳ３３５で境界線検出が有効でないものと決定された場合、車線維持補助装置は、ステップＳ３２５により第２照明パターンと基準情報に基づいて車両が現在走行車線から離脱したか否かを決定する。ここで、車線維持補助装置は、第２前方映像からの境界線検出の結果を共に用いて車線維持補助機能をよりロバストに行うことができる。例えば、第２前方映像で境界線が一部のみが認識されたり、又は、現在の時間で認識された境界線が以前の時間で認識された境界線と連続性が途切れて境界線検出が有効でないものと決定された場合、車線維持補助装置は、第２照明パターンに基準情報を適用した結果に基づいて、不完全な境界線検出の結果から境界線の連続性を矯正することができる。境界線が第２前方映像から検出されたが、トンネル内の暗い環境によって検出された境界線情報の信頼度が低い状況において、車線維持補助装置は、境界線検出の結果と共にトンネル内の照明情報を用いることで、もっとロバストに車線維持補助機能を行うことができる。他の実施形態で、第２前方映像における境界線検出結果の信頼度が著しく低い場合、車線維持補助装置は、ステップＳ３２５で、ステップＳ３３０の境界線検出の結果を用いることなく、第２照明パターンと基準情報に基づいて車両が現在走行車線から離脱したか否かを決定し得る。
【００５９】
ステップＳ３２５又はステップＳ３４０で車両が現在走行車線から離脱したものと決定された場合、ステップＳ３５０において、車線維持補助装置は、車両のステアリングを制御したり、又は運転者に車線離脱危険を知らせる。ステップＳ３５０の過程は、図２に示すステップＳ２５０と同一であるため、その詳しい説明は省略する。
【００６０】
図４は、一実施形態に係る第１前方映像から第１照明パターンを検出する一例を説明するための図である。
【００６１】
一実施形態によれば、車線維持補助装置は、カメラによって撮影された車両の前方映像を継続的に受信する。車線維持補助装置は、前方映像から境界線を検出し、境界線検出の結果に基づいて車線維持補助機能を行う。車線維持補助装置は、車両の前方でトンネルの存在を認識すれば、トンネル入口付近で撮影された第１前方映像４１０からトンネル内の照明４１５を検出する。車線維持補助装置は、例えば、車両の位置と地図情報を用いて車両がトンネル入口の近くにあるか否かを決定したり、又は、前方映像を入力とするニューラルネットワーク基盤の認識装置を用いて車両がトンネル入口の近くにあるか否かを決定する。
【００６２】
車線維持補助装置は、エッジ検出又はニューラルネットワーク基盤の検出器を用いて第１前方映像４１０からトンネル内の照明４１５を検出し、第１照明パターン４２５が示された結果映像４２０を取得する。車線維持補助装置は、第１照明パターン４２５に含まれた複数の照明配列のうちの１つ以上を用いて車線維持補助機能を行うことができる。
【００６３】
図５は、一実施形態に係る第１照明パターンに基づいて現在走行車線に関する基準情報を決定する過程を説明するための図である。
【００６４】
一実施形態によれば、車線維持補助装置は、トンネル入口付近で撮影された第１前方映像から第１照明パターンが検出されれば、結果映像５１０に示された第１照明パターン５１５を回転して現在走行車線の中央に位置させたり、又は、境界線に平行にする回転角度５４０を基準情報として決定する。例えば、１２０度のような回転角度が基準情報に決定されてもよい。実施形態により、車線維持補助装置は、結果映像５１０を水平線又は消失点に基づいて映像逆転を行った結果映像５２０を取得し、結果映像５２０に示された第１照明パターンを回転させて、第１照明パターンが現在走行車線の中央に位置させたり、又は境界線に平行にする回転角度を基準情報として決定し得る。このように決定された基準情報は格納され、車両がトンネルに進入した後、車線維持補助機能のために用いられる。トンネルに設けられた照明の高さや位置に応じて上記の回転角度が変わり、各トンネルに進入するごとに各トンネルと現在走行車線に対する新しい基準情報が決定される。
【００６５】
図６〜図７Ｂは、一実施形態に係る第２照明パターンと基準情報に基づいて現在走行車線の離脱の有無を決定する過程を説明するための図である。
【００６６】
車線維持補助装置は、トンネル区間に進入した後カメラによって撮影された第２前方映像から第２照明パターンを検出し、検出された第２照明パターンとトンネル区間に進入する前に決定された基準情報に基づいて境界線維持補助機能を行うことができる。図６を参照すると、第２前方映像から第２照明パターン６１５が検出された結果映像６１０が図示されている。車線維持補助装置は、第２照明パターン６１５に前に決定された基準情報を適用した結果映像６２０を取得する。基準情報が、例えば、図５を参照して例示した１２０度の回転角度である場合、第２照明パターン６１５を消失点に基づいて１２０度回転させた結果映像６２０が取得され得る。車線維持補助装置は、例えば、ホモグラフィー変換によって結果映像６２０をトップビュー映像６３０に変換し、トップビュー映像６３０に示された第２照明パターン６３５に基づいて境界線維持補助機能を行うことができる。一実施形態に係る車線維持補助装置は、第２照明パターン６３５を中心に横方向距離６４０、６４５を算出し、算出された横方向距離６４０，６４５に基づいて車両のステアリングを制御したり、又は、車両の車線離脱危険を運転者に知らせる。トンネル区間で撮影された第２前方映像ごとに第２照明パターンが検出され、トップビュー映像が生成され、車線維持補助装置は、トップビュー映像に示された第２照明パターンの位置変化を検出して車両が現在走行車線を離脱しようとするか否かを判断する。
【００６７】
図７Ａは、車両がトンネル区間で走行していた車線を離脱することなく、該当の車線内で走行する場合、車線維持補助装置が走行車線の離脱可否を判断する過程を説明するための図である。図７Ａを参照すると、車線維持補助装置は、第２前方映像７１０から第２照明パターン７２５を検出し、第２照明パターン７２５が示された結果映像７２０を取得する。車線維持補助装置は、第２照明パターン７２５にトンネル区間の進入前に決定された基準情報を適用した結果映像７３０に基づいて走行車線の離脱の有無を決定する。結果映像７３０から分かるように、基準情報が適用された第２照明パターン７３５が現在走行車線の中央に位置している。これに基づいて、車線維持補助装置は、車両が走行していた走行車線で引き続き走行していることが分かる。この場合、車線維持補助装置は特別な制御を行わない。
【００６８】
図７Ｂは、車両がトンネル区間で走行していた走行車線から離脱した場合、車線維持補助装置が走行車線の離脱可否を判断する過程を説明するための図である。図７Ｂを参照すると、車線維持補助装置は、第２前方映像７５０から第２照明パターン７６５を検出し、第２照明パターン７６５が示された結果映像７６０を取得する。車線維持補助装置は、第２照明パターン７６５に基準情報を適用して結果映像７７０を取得し、結果映像７７０に示された第２照明パターン７６５の位置が正常な状況における位置（例えば、図７Ａにおける第２照明パターン７３５の位置）と変わったことに基づいて、車両が走行車線から離脱したり車線離脱危険にあると決定する。この場合、車線維持補助装置は、走行車線を維持するために車両のステアリングを調整したり、車線離脱危険を運転者に知らせる。このような車線維持補助機能は、運転者の車線変更の意志がない場合（ウィンカーを作動しなかった場合）に実行される。
【００６９】
図８は、他の実施形態に係る第１照明パターンに基づいて現在走行車線に関する基準情報を決定する過程を説明するための図である。
【００７０】
図８を参照すると、車両がトンネルに進入する前に撮影された車両の第１前方映像１２０が図示されている。車線維持補助装置は、第１前方映像１２０でトンネル入口付近の道路上の境界線とトンネル内に配置された第１照明パターンを検出し、検出された境界線と第１照明パターンと間の位置関係情報を基準情報として決定する。一実施形態に係る位置関係情報は、隣に示されたトンネル８１０の断面図のように、照明８２０と境界線８３０との間の垂直軸上における高さの差ｈ及び水平軸上における距離の差ｗに関する情報を含んでもよい。例えば、位置関係情報は、高さの差ｈと距離の差ｗに関する情報、又は高さの差ｈと距離の差ｗとの間の比率に関する情報に基づいて定義される。異なる例として、位置関係情報は、照明８２０の位置と境界線８３０の位置との間の対応関係を示すための変換行列によって定義されてもよい。
【００７１】
図９及び図１０は、他の実施形態に係る第２照明パターンと基準情報に基づいて現在走行車線の離脱の有無を決定する過程を説明するための図である。
【００７２】
図９を参照すると、トンネル区間で撮影された第２前方映像９１０が図示されている。車線維持補助装置は、第２前方映像９１０から第２照明パターン９３０を検出し、車両がトンネルに進入する前に決定された位置関係情報を用いて第２照明パターン９３０からトンネル内の境界線９２０の位置を推定する。例えば、車線維持補助装置は、図８を参照して説明した、照明と境界線との間の高さの差ｈ、及び距離の差ｗ、又は、照明の位置と境界線の位置との間の対応関係を定義した変換行列に基づいて、第２照明パターン９３０の位置から境界線９２０の位置を推定し得る。
【００７３】
図１０を参照すると、トンネル内で第２照明パターン１０３０の位置に基づいて推定された境界線１０２０を道路１０１０上に示した鳥瞰図が図示されている。車線維持補助装置は、車両の第２前方映像から検出された境界線に対して逆投影マッピング（Ｉｎｖｅｒｓｅ  Ｐｅｒｓｐｅｃｔｉｖｅ  Ｍａｐｐｉｎｇ；ＩＰＭ）を適用し、空から見下ろした形態の鳥瞰図映像を生成する。逆投影マッピングは、遠近効果を有する映像から遠近効果を取り除き、映像平面の位置情報を世界座標系の位置情報に変換させる方式である。車線維持補助装置は、トンネルに進入する前に決定された第１照明パターンと境界線間の位置関係情報を用いて、トンネル内の第２照明パターン１０３０の位置から境界線１０２０の位置を推定する。車線維持補助装置は、推定された境界線１０２０の位置に基づいて車両が走行中である車線から離脱したか否かを決定し、車線を離脱したと決定されれば、車両のステアリングを制御したり運転者に車線離脱危険を知らせる。他の実施形態に係る車線維持補助装置は、第２照明パターン１０３０の配置形態に基づいてトンネル内の道路１０１０の経路ないし形状を予測してもよく、今後道路が曲がると予測された場合には、車両の速度を下げたり、又は運転者に道路経路の変化予測結果を知らせることができる。
【００７４】
図１１は、更なる実施形態に係る車線維持補助方法を説明するためのフローチャートである。図２及び図３に関して説明した内容が図１１にも適用されており、参照としてここに含まれる。
【００７５】
図１１を参照すると、車線維持補助装置は、ステップＳ１１１０において、第１時点で取得された車両の第１前方映像から第１照明パターンを検出し、ステップＳ１１２０において、第１照明パターンに基づいて現在走行車線に関する基準情報を決定する。一実施形態に係る車線維持補助装置は、第１照明パターンと現在走行車線との間の位置関係を定義する角度情報を基準情報として決定する。例えば、車線維持補助装置は、第１前方映像で推定された消失点に基づいて第１照明パターンを回転させ、第１照明パターンの少なくとも一部が現在走行車線の中央に位置させる角度情報を基準情報として決定する。
【００７６】
ステップＳ１１３０において、車線維持補助装置は、第２時点で取得された車両の第２前方映像から第２照明パターンを検出する。ここで、第２時点は、第１時点後の時点である。ステップＳ１１４０において、車線維持補助装置は、検出された第２照明パターンとステップＳ１１２０で決定された基準情報に基づいて車両が現在走行車線から離脱したか否かを決定する。車両が現在走行車線から離脱したと決定された場合、ステップＳ１１５０において、車線維持補助装置は、車両のステアリングを制御したり、又は運転者に車線離脱危険を知らせる。
【００７７】
上記で、第１照明パターンと第２照明パターンは、例えば、トンネル内に設けられた照明のパターン又は車両が走行する道路の端に位置する街灯のパターンであってもよい。一実施形態に係る車線維持補助装置は、図２及び図３を参照して説明したようなトンネル内の照明パターンを用いてトンネル内で車線維持補助機能を行うだけでなく、夜間走行環境で街灯の配置形態に基づいて車線維持補助機能を行ってもよい。そのため、車線維持補助装置はトンネル区間だけではなく、トンネルの外側での暗い走行環境でも強靭に車線維持補助機能を行うことができる。
【００７８】
図１２及び図１３は、一実施形態に係る夜間走行環境における車線維持補助方法の一例を説明するための図である。
【００７９】
車線維持補助装置は、トンネル区間のような特殊な走行環境のみならず、一般道路においても照明の位置が示された照明パターンに基づいて車線維持補助機能を行うことができる。図１２を参照すると、夜間走行環境で道路の端に配置された街灯１２２０が示された第１前方映像１２１０が図示されている。一実施形態に係る車線維持補助装置は、第１前方映像１２１０に示された街灯１２２０の第１照明パターン１２３５を検出し、第１照明パターン１２３５の検出結果が示された結果映像１２３０を取得する。図５で説明した方式と同様に、車線維持補助装置は、第１照明パターン１２３５を回転させて第１照明パターン１２３５を現在走行車線の中央に位置づけたり、又は、境界線に平行にする回転角度１２４５を基準情報として決定する。
【００８０】
上記のような過程によって決定された基準情報は、格納された後第１前方映像１２１０の後に撮影された第２前方映像から検出された第２照明パターンに基づいて車線維持補助機能を行うために用いられる。図１３は、第２照明パターンと基準情報に基づいて現在走行車線の離脱の有無を決定する一例を説明するための図である。図１３を参照すると、第２時点で取得された第２前方映像１３１０が図示されている。第２前方映像１３１０から街灯１３１５の配置パターンである第２照明パターン１３２５が検出され、検出された第２照明パターン１３２５が示された結果映像１３２０が取得される。車線維持補助装置は、第２照明パターン１３２５に図１２で決定された基準情報を適用して結果映像１３３０を取得し、結果映像１３３０に示された第２照明パターン１３３５の位置が正常状況における位置と異なったことに基づいて車両が走行車線から離脱したり車線離脱危険にあると決定する。この場合、車線維持補助装置は、車両のステアリングを調整したり車線離脱危険を運転者に知らせる。
【００８１】
低い照度レベル又は境界線が薄かったり、又は見えないなどの理由により、以後に第２前方映像における境界線検出の結果の有効度が低いことがある。この場合、車線維持補助装置は、境界線検出の結果のみならず、上記で説明された街灯の照明パターン情報を基準情報として用いることにより、一般道路の暗い走行環境でも車線維持補助機能をより円満に行うことができる。
【００８２】
図１４は、一実施形態に係る車線維持補助装置の構成を示す図である。
【００８３】
図１４を参照すると、車線維持補助装置１４００は、車両の前方を撮影した前方映像に示された境界線を認識し、車線維持補助機能を行うことができる。ここで、車線維持補助装置１４００は、前方映像に示された照明パターン情報を用いて車線維持補助機能をより円満に行うことができる。例えば、車線維持補助装置１４００は、トンネル内の照明パターンを用いてトンネル内の暗い状況でも車線維持補助機能をより効率よく行うことができる。
【００８４】
車線維持補助装置１４００は、本明細書で説明された車線維持補助装置に対応する。一実施形態に係る車線維持補助装置１４００は、認知された走行環境に応じて自律モードで走行する自律走行車両に含まれて動作する。自律走行車両は走行環境を認識し、走行環境に適切な自律走行経路を決定する。自律走行車両は、決定された自律走行経路に沿って行くように自律走行車両の内外部の要素を制御する。車線維持補助装置１４００は、自律走行車両が自律モードで車線を維持するように制御するために用いられる。
【００８５】
他の実施形態で、車線維持補助装置１４００は、クルーズコントロール、適応的クルーズコントロール、車線維持補助システム、及び車線離脱警告システムのような車両誘導装置に含まれてもよい。また、他の例として、車線維持補助装置１４００は、車両に位置する他の装置に含まれてもよい。例えば、車線維持補助装置１４００は、知能型エージェント、モバイルフォン、セルラーフォン、スマートフォン、ウェアラブル装置、サーバ、コンピュータ、ラップトップ、ノート型パソコン、ネットブック、タブレット、ＰＤＡなどのような電子装置に含まれて動作してもよい。又は、車線維持補助装置１４００は、車両外部に存在してもよい。例えば、車線維持補助装置１４００は、車両と無線で通信するコンピュータ、サーバ、又は移動端末のような装置に存在する。
【００８６】
車線維持補助装置１４００は、カメラ１４１０、センサ１４２０、通信インターフェース１４３０、プロセッサ１４４０、及びメモリ１４５０を含む。カメラ１４１０は、車両の前方を撮影して前方映像を取得する。前方映像は、静止画又はビデオ映像であってもよい。センサ１４２０は、車線維持補助機能を行うために必要な情報を検出する１つ以上のセンサを含み得る。例えば、センサ１４２０は、車両の位置情報を測定するためのＧＰＳセンサ、車両の周辺照度レベルを測定するための照度センサ、オブジェクトとの距離を測定するために用いられるライダ（ＬＩＤＡＲ）及びレーダー（ＲＡＤＡＲ）を含むが、実施形態の範囲が該当センサによって制限されることはない。
【００８７】
プロセッサ１４４０は、車線維持補助装置１４００内で実行するための機能及び命令を実行する。プロセッサ１４４０は、メモリ１４５０又は別途の格納装置（図示せず）に格納された命令又はプログラム実行コードを処理する。プロセッサ１４４０は、目的とする動作を実行させるための物理的な構造を有する回路を有するハードウェアで具現されたデータ処理装置であり得る。
【００８８】
プロセッサ１４４０は、図１〜図１３を参照して前述した１つ以上の動作を行ってもよい。例えば、プロセッサ１４４０は、第１時点で取得された車両の第１前方映像から第１照明パターンを検出し、検出された第１照明パターンに基づいて現在走行車線に関する基準情報を決定する。ここで、プロセッサ１４４０は、第１前方映像、又は、車両の位置情報及びトンネルの位置が示された地図情報に基づいて車両の前方にトンネルが存在するか否かを決定し、トンネルが存在するという決定に応答して、第１前方映像でトンネルに配置された照明パターンを第１照明パターンとして検出する。その後、プロセッサ１４４０は、第１照明パターンと現在走行車線との間の位置関係を定義する角度情報を基準情報として決定するが、例えば、第１前方映像で推定された消失点に基づいて第１照明パターンを回転させ、第１照明パターンの少なくとも一部を現在走行車線の中央に位置させる角度情報が基準情報として決定されてもよい。
【００８９】
プロセッサ１４４０は、第２時点で取得された車両の第２前方映像から第２照明パターンを検出し、検出された第２照明パターンと基準情報に基づいて車両が現在走行車線から離脱したか否かを決定する。例えば、プロセッサ１４４０は、車両がトンネル区間に進入した後撮影された第２前方映像からトンネル内の第２照明パターンを検出し、第２照明パターンに基準情報を適用した結果を分析して車両が現在走行車線から離脱したか否かを決定する。車両が現在走行車線から離脱したと決定された場合、プロセッサ１４４０は、車両のステアリングを制御するための制御信号を生成したり、又は車線離脱危険を振動、サウンド、又はディスプレイを介して知らせるための制御信号を生成する。
【００９０】
メモリ１４５０は、車線維持補助機能を行うための情報とプロセッサ１４４０によって実行するための命令を格納する。メモリ１４５０は、コンピュータで読み出し可能な格納媒体又はコンピュータで読み出し可能な格納装置を含んでもよい。例えば、メモリ１４５０は、ＲＡＭ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｉｅｓ）、ＤＲＡＭ（ｄｙｎａｍｉｃ  ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｉｅｓ）、ＳＲＡＭ（ｓｔａｔｉｃ  ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｉｅｓ）、フラッシュメモリ、又は技術分野で知られた異なる形態の不揮発性メモリを含んでもよい。
【００９１】
通信インターフェース１４３０は、カメラ１４１０、センサ１４２０、プロセッサ１４４０及びメモリ１４５０に接続されてデータを送受信する。また、通信インターフェース１４３０は、有線又は無線ネットワークを介して外部装置と通信する。例えば、通信インターフェース１４３０は、内部バス、イーサネット（登録商標）カード、光学トランシーバー、無線周波数トランシーバー又は情報を送受信できる任意の他のネットワークインターフェースを含んでもよい。
【００９２】
上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ  ｌｏｇｉｃ  ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ  ｌｏｇｉｃ  ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素及び／又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサのような、他の処理構成も可能である。
【００９３】
ソフトウェアは、コンピュータプログラム、コード、命令、又はこのうちの１つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに連結されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。
【００９４】
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＹＩＪＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
【００９５】
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順序で実行されるし、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。
【００９６】
したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。
【符号の説明】
【００９７】
１４００：車線維持補助装置
１４１０：カメラ
１４２０：センサ
１４３０：通信インターフェース
１４４０：プロセッサ
１４５０：メモリ
【図１Ａ】
2019099138.tif 000003
【図１Ｂ】
2019099138.tif 000004
【図２】
2019099138.tif 000005
【図３】
2019099138.tif 000006
【図４】
2019099138.tif 000007
【図５】
2019099138.tif 000008
【図６】
2019099138.tif 000009
【図７Ａ】
2019099138.tif 000010
【図７Ｂ】
2019099138.tif 000011
【図８】
2019099138.tif 000012
【図９】
2019099138.tif 000013
【図１０】
2019099138.tif 000014
【図１１】
2019099138.tif 000015
【図１２】
2019099138.tif 000016
【図１３】
2019099138.tif 000017
【図１４】
2019099138.tif 000018