(57)【要約】【課題】  画像に含まれる境界線の検出において外部環境の影響を低減する。【解決手段】  本発明の一実施形態に係る境界線検出装置１０のＣＰＵ１１は、画像入力装置（カメラ等）を介して撮影（入力）される撮影画像やネットワークを介して受信した撮影画像等を取得する画像取得部１１２、及び、当該撮影画像に含まれる境界線を検出する境界線検出部１１４として機能するように構成されている。境界線検出部１１４は、撮影画像に含まれる境界線上の点と推定される複数の推定点を、学習済みモデル１５２を用いて特定し、特定した複数の推定点に少なくとも基づいて、撮影画像に含まれる境界線を検出するように構成されている。【選択図】  図１
2019087166.tif 000002
【特許請求の範囲】
【請求項１】
１又は複数のコンピュータプロセッサを備え、撮影画像に含まれる境界線を検出するための装置であって、
前記１又は複数のコンピュータプロセッサは、読取可能な命令の実行に応じて、
撮影画像を取得するステップと、
取得した撮影画像に含まれる境界線を検出するステップと、を実行し、
前記検出するステップは、前記取得した撮影画像に含まれる境界線上の点と推定される複数の推定点を所定の学習済みモデルを用いて特定し、特定した複数の推定点に少なくとも基づいて、前記取得した撮影画像に含まれる境界線を検出することを含む、
装置。
【請求項２】
前記所定の学習済みモデルは、畳み込みニューラルネットワークを含む、
請求項１の装置。
【請求項３】
前記検出するステップは、２以上の推定点に少なくとも基づいて直線状の境界線を検出することを含む、
請求項１又は２の装置。
【請求項４】
前記検出するステップは、３以上の推定点に少なくとも基づいて曲線状の境界線を検出することを含む、
請求項１ないし３何れかの装置。
【請求項５】
前記検出するステップは、前記特定した複数の推定点を１又は複数のグループに分類し、前記１又は複数のグループの各々に対応する境界線を、前記１又は複数のグループの各々に分類された推定点に少なくとも基づいて検出することを含む、
請求項１ないし４何れかの装置。
【請求項６】
前記検出するステップは、前記取得した撮影画像における消失点を通る特定の線との間の距離が所定の範囲内である複数の推定点を同じグループに分類することを含む、
請求項５の装置。
【請求項７】
前記所定の学習済みモデルは、複数の学習用画像であって、画像に含まれる境界線の第１の高さにおける幅方向の位置を特定する第１の位置特定情報、及び、画像に含まれる境界線の第２の高さにおける幅方向の位置を特定する第２の位置特定情報、を含む情報がそれぞれに関連付けられている前記複数の学習用画像を学習データとする機械学習によって生成され、入力される画像に対応する第１及び第２の位置特定情報を推定して出力するように構成されており、
前記検出するステップは、前記所定の学習済みモデルから出力された第１及び第２の位置特定情報に基づいて前記複数の推定点を特定することを含む、
請求項１ないし６何れかの装置。
【請求項８】
前記検出するステップは、第１の種類の境界線上に位置すると推定される第１の種類の推定点と、第２の種類の境界線上に位置すると推定される第２の種類の推定点とを識別可能に特定し、特定した複数の第１及び第２の種類の推定点に少なくとも基づいて、第１の種類の境界線と第２の種類の境界線とを識別可能に検出することを含む、
請求項１ないし７何れかの装置。
【請求項９】
前記所定の学習済みモデルは、複数の学習用画像であって、画像に含まれる第１の種類の境界線上の点の位置を特定する第３の位置特定情報、及び、画像に含まれる第２の種類の境界線上の点の位置を特定する第４の位置特定情報、を含む情報がそれぞれに関連付けられている前記複数の学習用画像を学習データとする機械学習によって生成され、入力される画像に対応する第３及び第４の位置特定情報を推定して出力するように構成されており、
前記検出するステップは、前記所定の学習済みモデルから出力された第３の位置特定情報に基づいて第１の種類の推定点を特定する一方、前記所定の学習済みモデルから出力された第４の位置特定情報に基づいて第２の種類の推定点を特定することを含む、
請求項８の装置。
【請求項１０】
前記撮影画像は、走行中の車両から前方又は後方を撮影した画像であり、
前記境界線は、道路の走行レーンの境界線を含む、
請求項１ないし９何れかの装置。
【請求項１１】
１又は複数のコンピュータによって実行され、撮影画像に含まれる境界線を検出するための方法であって、
撮影画像を取得するステップと、
取得した撮影画像に含まれる境界線を検出するステップと、を備え、
前記検出するステップは、前記取得した撮影画像に含まれる境界線上の点と推定される複数の推定点を所定の学習済みモデルを用いて特定し、特定した複数の推定点に少なくとも基づいて、前記取得した撮影画像に含まれる境界線を検出することを含む、
方法。
【請求項１２】
撮影画像に含まれる境界線を検出するためのプログラムであって、
１又は複数のコンピュータ上での実行に応じて、前記１又は複数のコンピュータに、
撮影画像を取得する処理と、
取得した撮影画像に含まれる境界線を検出する処理と、を実行させ、
前記検出する処理は、前記取得した撮影画像に含まれる境界線上の点と推定される複数の推定点を所定の学習済みモデルを用いて特定し、特定した複数の推定点に少なくとも基づいて、前記取得した撮影画像に含まれる境界線を検出することを含む、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像に含まれる境界線を検出するための装置、方法、及びプログラムに関するものである。
【背景技術】
【０００２】
従来、撮影画像に含まれる境界線を検出するための技術が提案されている。例えば、下記特許文献１は、車両外部を撮像した画像に基づいて道路上の白線を認識する装置を開示している。この装置は、具体的には、画像内の一の行を構成する複数の画素の輝度の変化に基づいて白線画素を判定する処理を繰り返すことによって、道路上の白線を認識するように構成されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１４６６４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した輝度の変化に基づく白線画素の判定のようなルールベースのアプローチは、外部環境（例えば、画像を撮影するカメラの特性／性能、及び、撮影環境（天候等）等）の影響を受けやすい。従って、こうした外部環境の影響が低減された仕組みの実現が望まれる。
【０００５】
本発明の実施形態は、画像に含まれる境界線の検出において外部環境の影響を低減することを目的の一つとする。本発明の実施形態の他の目的は、本明細書全体を参照することにより明らかとなる。
【課題を解決するための手段】
【０００６】
本発明の一実施形態に係る装置は、１又は複数のコンピュータプロセッサを備え、撮影画像に含まれる境界線を検出するための装置であって、前記１又は複数のコンピュータプロセッサは、読取可能な命令の実行に応じて、撮影画像を取得するステップと、取得した撮影画像に含まれる境界線を検出するステップと、を実行し、前記検出するステップは、前記取得した撮影画像に含まれる境界線上の点と推定される複数の推定点を所定の学習済みモデルを用いて特定し、特定した複数の推定点に少なくとも基づいて、前記取得した撮影画像に含まれる境界線を検出することを含む。
【０００７】
本発明の一実施形態に係る方法は、１又は複数のコンピュータによって実行され、撮影画像に含まれる境界線を検出するための方法であって、撮影画像を取得するステップと、取得した撮影画像に含まれる境界線を検出するステップと、を備え、前記検出するステップは、前記取得した撮影画像に含まれる境界線上の点と推定される複数の推定点を所定の学習済みモデルを用いて特定し、特定した複数の推定点に少なくとも基づいて、前記取得した撮影画像に含まれる境界線を検出することを含む。
【０００８】
本発明の一実施形態に係るプログラムは、撮影画像に含まれる境界線を検出するためのプログラムであって、１又は複数のコンピュータ上での実行に応じて、前記１又は複数のコンピュータに、撮影画像を取得する処理と、取得した撮影画像に含まれる境界線を検出する処理と、を実行させ、前記検出する処理は、前記取得した撮影画像に含まれる境界線上の点と推定される複数の推定点を所定の学習済みモデルを用いて特定し、特定した複数の推定点に少なくとも基づいて、前記取得した撮影画像に含まれる境界線を検出することを含む。
【発明の効果】
【０００９】
本発明の様々な実施形態は、画像に含まれる境界線の検出において外部環境の影響を低減する。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る境界線検出装置１０の構成を概略的に示す構成図。
【図２】具体例における学習済みモデル１５２を説明するための図。
【図３】具体例における学習用画像２５を例示する図。
【図４】学習用画像２５に関連付けられる位置特定情報２７１、２７２を説明するための図。
【図５】境界線検出装置１０によって実行される処理を例示するフロー図。
【図６】学習済みモデル１５２の入出力としての撮影画像３０及び位置特定情報３７１、３７２を例示する図。
【図７】位置特定情報３７１、３７２に基づいて特定される複数の推定点を説明するための図。
【図８】消失点を通る直線に基づいて推定点をグルーピングする方法を説明するための図。
【図９】他の具体例において学習用画像２５に関連付けられる位置特定情報２７１Ａ、２７１Ｂ、２７２Ａ、２７２Ｂを説明するための図。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、本発明の実施形態について説明する。
【００１２】
図１は、本発明の一実施形態に係る境界線検出装置１０の構成を概略的に示す構成図である。装置１０は、一般的なコンピュータとして構成されており、図１に示すように、ＣＰＵ（コンピュータプロセッサ）１１と、メインメモリ１２と、ユーザＩ／Ｆ１３と、通信Ｉ／Ｆ１４と、ストレージ（記憶装置）１５とを備え、これらの各構成要素が図示しないバス等を介して電気的に接続されている。
【００１３】
ＣＰＵ１１は、ストレージ１５等に記憶されている様々なプログラムをメインメモリ１２に読み込んで、当該プログラムに含まれる各種の命令を実行する。メインメモリ１２は、例えば、ＤＲＡＭ等によって構成される。
【００１４】
ユーザＩ／Ｆ１３は、ユーザとの間で情報をやり取りするための各種の入出力装置である。ユーザＩ／Ｆ１３は、例えば、キーボード、ポインティングデバイス（例えば、マウス、タッチパネル等）等の情報入力装置、マイクロフォン等の音声入力装置、カメラ等の画像入力装置を含む。また、ユーザＩ／Ｆ１３は、ディスプレイ等の画像出力装置（表示装置）、スピーカー等の音声出力装置を含む。
【００１５】
通信Ｉ／Ｆ１４は、ネットワークアダプタ等のハードウェア、各種の通信用ソフトウェア、及びこれらの組み合わせとして実装され、有線又は無線の通信を実現できるように構成されている。
【００１６】
ストレージ１５は、例えば磁気ディスク又はフラッシュメモリ等によって構成される。ストレージ１５は、オペレーティングシステムを含む様々なプログラム及び各種データ等を記憶する。本実施形態において、ストレージ１５には、画像に含まれる境界線の検出に用いられる学習済みモデル１５２が格納されている。
【００１７】
本実施形態において、装置１０は、それぞれが上述したハードウェア構成を有する複数の装置を用いて構成され得る。また、装置１０は、画像処理に特化したプロセッサであるＧＰＵ（コンピュータプロセッサ）を備えるように構成され得る。
【００１８】
次に、本実施形態の境界線検出装置１０が有する機能について説明する。図１に示すように、装置１０のＣＰＵ１１は、画像入力装置（カメラ等）を介して撮影（入力）される撮影画像やネットワークを介して受信した撮影画像等を取得する画像取得部１１２、及び、当該撮影画像に含まれる境界線を検出する境界線検出部１１４として機能するように構成されている。これらの機能は、ＣＰＵ１１が、メインメモリ１２等のハードウェア、並びに、ストレージ１５等に記憶されている各種プログラムやデータ等と協働して動作することによって実現され、例えば、メインメモリ１２に読み込まれたプログラムに含まれる命令を実行することによって実現される。
【００１９】
境界線検出部１１４は、撮影画像に含まれる境界線の検出に関する様々な処理を実行する。本実施形態において、境界線検出部１１４は、撮影画像に含まれる境界線上の点と推定される複数の推定点を、学習済みモデル１５２を用いて特定し、特定した複数の推定点に少なくとも基づいて、撮影画像に含まれる境界線を検出するように構成されている。学習済みモデル１５２は、例えば、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ：ＣＮＮ）として構成される。
【００２０】
このように、本実施形態における境界線検出装置１０は、学習済みモデル１５２を用いて特定した複数の推定点に基づいて撮影画像に含まれる境界線を検出するように構成されており、機械学習のアプローチを採用した境界線の検出が実現されている。この結果、ルールベースのアプローチを採用した場合と比較して、外部環境の影響が低減される。
【００２１】
本実施形態における境界線は、直線状のもの、及び、曲線状のものが含まれ得る。例えば、境界線検出部１１４は、２以上の推定点に少なくとも基づいて直線状の境界線を検出し、又は、３以上の推定点に少なくとも基づいて曲線状の境界線を検出するように構成され得る。
【００２２】
また、本実施形態における境界線は、これに限定されないが、例えば、走行中の車両から前方又は後方を撮影した画像における道路の走行レーンの境界線（区画線を含む。）を含む。
【００２３】
また、境界線検出部１１４は、学習済みモデル１５２を用いて特定した複数の推定点を１又は複数のグループに分類し、１又は複数のグループの各々に対応する境界線を、当該１又は複数のグループの各々に分類された推定点に少なくとも基づいて検出するように構成され得る。言い換えると、境界線検出部１１４は、撮影画像に含まれる複数の境界線の各々に対応するように、複数の推定点のグループ分けを行うように構成され得る。こうした構成は、撮影画像に含まれる複数の境界線を個別に検出することを可能とする。
【００２４】
本実施形態において、複数の推定点のグルーピングは、様々なルールを適用して実現され得る。例えば、境界線検出部１１４は、取得した撮影画像における消失点を通る特定の仮想的な線との間の距離が所定の範囲内である複数の推定点を同じグループに分類するように構成され、例えば、複数の推定点に含まれる１の推定点、及び、当該１の推定点と消失点とを結ぶ仮想的な直線との間の距離が所定の範囲内である他の推定点を同じグループに分類するように構成される。
【００２５】
ここで、消失点は、遠近法において平行な複数の直線が集まる点である。撮影画像における消失点は、例えば、予め所定の位置が設定されており、又は、撮影画像の解析結果に基づいて動的に設定される。
【００２６】
本実施形態において、学習済みモデル１５２は、画像に含まれる境界線の、複数の所定の高さ方向（垂直方向／縦方向）の位置の各々における幅方向（水平方向／横方向）の位置を特定する情報を推定して出力するように構成され得る。つまり、学習済みモデル１５２は、画像に含まれる境界線の第１の高さにおける幅方向の位置（言い換えると、当該境界線と第１の高さの仮想水平線との交点の幅方向の位置）を特定する第１の位置特定情報、及び、当該境界線の第２の高さにおける幅方向の位置（言い換えると、当該境界線と第２の高さの仮想水平線との交点の幅方向の位置）を特定する第２の位置特定情報、を含む情報がそれぞれに関連付けられている複数の学習用画像を学習データとする機械学習によって生成され、入力される画像に対応する第１及び第２の位置特定情報を推定して出力するように構成され得る。この場合、境界線検出部１１４は、学習済みモデル１５２から出力された第１及び第２の位置特定情報に基づいて複数の推定点（境界線と仮想水平線との交点）を特定するように構成される。こうした構成は、例えば、撮影画像において上下方向（高さ方向）に延びる境界線、又は、（遠近法によって）前後方向に延びる境界線の検出に有効である。
【００２７】
本実施形態において、境界線の種類（線種。例えば、色及び／又は形状等の外観が相互に異なる。）が識別可能となるように境界線を検出するようにしても良い。つまり、境界線検出部１１４は、第１の種類の境界線（例えば、実線）上に位置すると推定される第１の種類の推定点と、第２の種類の境界線（例えば、破線）上に位置すると推定される第２の種類の推定点とを識別可能に特定し、特定した複数の第１及び第２の種類の推定点に少なくとも基づいて、第１の種類の境界線と第２の種類の境界線とを識別可能に検出するように構成され得る。この場合、例えば、学習済みモデル１５２は、複数の学習用画像であって、画像に含まれる第１の種類の境界線上の点の位置を特定する第３の位置特定情報、及び、画像に含まれる第２の種類の境界線上の点の位置を特定する第４の位置特定情報、を含む情報がそれぞれに関連付けられている複数の学習用画像を学習データとする機械学習によって生成され、入力される画像に対応する第３及び第４の位置特定情報を推定して出力するように構成される。そして、境界線検出部１１４は、学習済みモデル１５２から出力された第３の位置特定情報に基づいて第１の種類の推定点を特定する一方、学習済みモデル１５２から出力された第４の位置特定情報に基づいて第２の種類の推定点を特定するように構成され得る。こうした構成は、検出する境界線の種類の認識を可能とする。
【００２８】
次に、このような機能を有する本実施形態の境界線検出装置１０の具体例について説明する。当該具体例における装置１０は、走行中の車両から前方を撮影した画像に含まれる走行レーンの区画線（白線）を境界線として検出するように構成されている。
【００２９】
図２は、この例における学習済みモデル１５２を説明するための図である。この例の学習済みモデル１５２は、図示するように、学習データ２０を用いた機械学習によって生成され、撮影画像が入力されると、撮影画像に含まれる区画線上の点と推定される複数の推定点の位置を特定する位置特定情報を出力するように構成されている。
【００３０】
学習データ２０は、走行中の車両から撮影された多数の学習用画像を含む。学習用画像は、例えば、車両の前方を撮影するように設けられたカメラ（例えば、ドライブレコーダが有するカメラ）を介して撮影される動画を構成する静止画である。学習用画像には、当該画像に含まれる区画線上の点の位置を特定する位置特定情報が関連付けられている。
【００３１】
図３は、この例における学習用画像２５を例示する。学習用画像２５は、上述したように、走行中の車両の前方を撮影した画像であり、図３の例では、３つの区画線ＭＬ１−３が含まれている。図３において、最も左側に位置する区画線ＭＬ１は、実線の外観を有する車道外側線である。また、区画線ＭＬ１の右側に位置する区画線ＭＬ２は、破線の外観を有する車線境界線である。また、最も右側に位置する区画線ＭＬ３は、実線の外観を有する車道中央線である。学習用画像２５全体の幅方向の中央が区画線ＭＬ１とＭＬ２との間に位置していることから分かるように、当該画像２５を撮影した車両は、区画線ＭＬ１とＭＬ２との間の走行レーン（区画線ＭＬ１とＭＬ２とによって定義される走行レーン）を走行している。
【００３２】
図４は、図３に例示した学習用画像２５に関連付けられる位置特定情報２７１、２７２を説明するための図である。この例において、学習用画像に関連付けられる位置特定情報は、画像に含まれる区画線のうち、車両が走行している走行レーンを定義する区画線（当該走行レーンの両側の区画線。以下、「対象の区画線」と言うことがある。）上の点の位置を特定する。例えば、学習用画像２５においては、対象の区画線は、走行中の走行レーンの両側の区画線ＭＬ１、ＭＬ２であり、一番右側の区画線ＭＬ３は対象外となる。
【００３３】
この例において、学習用画像に関連付けられる情報は、対象の区画線の高さｙ１における幅方向の位置を特定する第１の位置特定情報を含む。例えば、図４における第１の位置特定情報２７１は、対象の区画線ＭＬ１、ＭＬ２の高さｙ１における幅方向の位置を特定する情報であり、言い換えると、対象の区画線ＭＬ１、ＭＬ２と高さｙ１の水平線との交点Ｐ１１、Ｐ１２の幅方向の位置を特定する情報である。
【００３４】
また、学習用画像に関連付けられる情報は、対象の区画線の高さｙ２における幅方向の位置を特定する第２の位置特定情報を含む。例えば、図４における第２の位置特定情報２７２は、対象の区画線ＭＬ１、ＭＬ２の高さｙ２における幅方向の位置を特定する情報であり、言い換えると、対象の区画線ＭＬ１、ＭＬ２と高さｙ２の水平線との交点Ｐ２１、Ｐ２２の幅方向の位置を特定する情報である。
【００３５】
この例において、高さｙ１及びｙ２は、予め定められた固定値であり、例えば、高さｙ１は、画像２５全体の高さの１／２の値が設定され、また、高さｙ２は、高さｙ１の１／２の値が設定される。
【００３６】
この例において、位置特定情報は、一次元配列の形式を有する情報として構成されており、学習用画像に関連付けられる位置特定情報は、特定する幅方向の位置において最大値（例えば、値１）が設定され、それ以外の位置において最小値（例えば、値０）が設定される。例えば、図４に例示するように、第１の位置特定情報２７１では、上述した交点Ｐ１１、Ｐ１２の幅方向の位置ｘ１１、ｘ１２において最大値（ｚｍａｘ）が設定されており、第２の位置特定情報２７２では、上述した交点Ｐ２１、Ｐ２２の幅方向の位置ｘ２１、ｘ２２において最大値（ｚｍａｘ）が設定されている。
【００３７】
このように第１及び第２の位置特定情報がそれぞれに関連付けられている多数の学習用画像が準備され、当該多数の学習用画像を学習データとする機械学習によって、学習済みモデル１５２が生成される。
【００３８】
このように生成された学習済みモデル１５２を用いて、境界線検出装置１０は、撮影画像に含まれる対象の区画線を検出する。図５は、対象の区画線を検出する際に、装置１０によって実行される処理を例示するフロー図である。装置１０は、まず、図示するように、撮影画像を学習済みモデル１５２に入力し、当該学習済みモデル１５２から出力される位置特定情報を取得する（ステップＳ１００）。例えば、図６に例示するように、撮影画像３０が学習済みモデル１５２に入力されると、２つの位置特定情報３７１、３７２を含む情報が出力される。この例において、撮影画像３０は、ＲＧＢの３チャンネルのカラー画像として学習済みモデル１５２に入力される。
【００３９】
続いて、装置１０は、取得した位置特定情報に基づいて、撮影画像に含まれる対象の区画線上の点と推定される複数の推定点を特定する（ステップＳ１０５）。具体的には、装置１０は、高さｙ１における推定点として、第１の位置特定情報が特定する幅方向の位置に対応する推定点を特定し、また、高さｙ２における推定点として、第２の位置特定情報が特定する幅方向の位置に対応する推定点を特定する。
【００４０】
図７は、図６に例示した２つの位置特定情報３７１、３７２に基づいて特定される複数の推定点を説明するための図である。図７に示すように、撮影画像３０の高さｙ１においては、一次元配列の形式を有する第１の位置特定情報３７１における２つのピーク値にそれぞれ対応する幅方向の位置を有する２つの推定点ＥＰ１１、ＥＰ１２が特定され、撮影画像３０の高さｙ２においては、同じく一次元配列の形式を有する第２の位置特定情報３７２における２つのピーク値にそれぞれ対応する幅方向の位置を有する２つの推定点ＥＰ２１、ＥＰ２２が特定される。
【００４１】
こうして複数の推定点を特定すると、次に、装置１０は、当該複数の推定点のグループ分けを行う（ステップＳ１１０）。この例では、推定点のグループ分けは、撮影画像３０における消失点を通る直線に基づいて行われる。図８は、消失点を通る直線に基づいて推定点をグルーピングする方法を説明するための図である。消失点は、遠近法において平行な複数の直線が集まる点であり、図８の撮影画像３０における消失点は、星型の消失点ＶＰとして示されている。この例では、消失点の位置として、撮影画像３０における所定の位置（座標）が予め設定されている。
【００４２】
この例では、消失点を通る特定の直線との間の距離が所定の範囲内である複数の推定点が同じグループに分類される。具体的には、装置１０は、特定されている複数の推定点に含まれる任意の１つの推定点を選択し、選択した推定点と消失点とを結ぶ直線との間の距離が所定の範囲内である他の推定点を特定し、選択した推定点と特定した他の推定点とを同じグループに分類する。例えば、図８の例では、左下の推定点ＥＰ２１と消失点ＶＰとを通る直線ＳＬ１上に、推定点ＥＰ１１が位置しているから、これらの推定点ＥＰ２１、ＥＰ１１が同じグループに分類される。同様に、右下の推定点ＥＰ２２と消失点ＶＰとを通る直線ＳＬ２上に、推定点ＥＰ１２が位置しているから、これらの推定点ＥＰ２２、ＥＰ１２が同じグループに分類される。
【００４３】
そして、装置１０は、グループ毎に境界線を検出する（ステップＳ１２０）。具体的には、同じグループに属する２つの推定点を結ぶ直線を区画線として検出する。図８の例では、推定点ＥＰ２１と推定点ＥＰ１１とを結ぶ直線に対応する区画線、及び、推定点ＥＰ２２と推定点ＥＰ１２とを結ぶ直線に対応する区画線の２つの区画線が検出されることになる。
【００４４】
このように、境界線検出装置１０は、撮影画像毎に対象の区画線を検出することができる。そして、検出される対象の区画線の画像内における配置は、走行レーンに対する車両の相対的な位置を示すことになる。例えば、境界線検出装置１０は、走行中に撮影される連続する複数の撮影画像（動画を構成する連続する複数の静止画）に含まれる対象の区画線を順に検出することにより、走行中の車両の走行レーンに対する相対的な位置の変化を判定することができる。この結果、例えば、蛇行運転や走行レーンからの逸脱の検出が可能となり、これらの検出に応じた警告、及び、ドライバーの運転スキルの評価等も可能となる。また、走行レーンに対する車両の相対的な位置の検出は、自動運転車両の制御等においても活用され得る。
【００４５】
ここで、本実施形態の他の具体例においては、区画線の線種が識別可能となるように対象の区画線が検出される。図９は、この他の具体例における学習用画像２５に関連付けられる位置特定情報２７１Ａ、２７１Ｂ、２７２Ａ、２７２Ｂを説明するための図である。図示するように、位置特定情報２７１Ａ、２７２Ａは、高さｙ１、ｙ２における「実線」の区画線の幅方向の位置を特定し、位置特定情報２７１Ｂ、２７２Ｂは、高さｙ１、ｙ２における「破線」の区画線の幅方向の位置を特定している。こうした位置特定情報が関連付けられた学習用画像を学習データする機械学習によって生成される学習済みモデル１５２は、撮影画像が入力されると４つの位置特定情報を出力するように構成される。そして、この例における境界線検出装置１０は、学習済みモデル１５２から出力される４つの位置特定情報のうち、実線に対応する２つの位置特定情報に基づいて実線の区画線上の推定点を特定する一方、破線に対応する２つの位置特定情報に基づいて破線の区画線上の推定点を特定し、これらの線種毎の推定点に基づいて線種毎に区画線を検出することができる。
【００４６】
上述した例では、走行中の走行レーンの両側の区間線を検出の対象としたが、他の区間線を検出の対象としても良い。また、区間線以外の境界線（例えば、車道と歩道との間の境界線等）を検出の対象とすることもできる。
【００４７】
上述した例では、２つの高さｙ１及びｙ２における推定点を特定するようにしたが、３つ以上の高さにおける推定点を特定するようにしても良い。この場合、区画線毎に３つ以上の推定点が特定されるから、例えば、曲線状の区画線の検出も可能となる。
【００４８】
以上説明した本実施形態に係る境界線検出装置１０は、学習済みモデル１５２を用いて特定した複数の推定点に基づいて撮影画像に含まれる境界線を検出するように構成されており、機械学習のアプローチを採用した境界線の検出が実現されている。この結果、ルールベースのアプローチを採用した場合と比較して、外部環境の影響が低減されたロバスト性を有する仕組みが実現されている。
【００４９】
本明細書で説明された処理及び手順は、明示的に説明されたもの以外にも、ソフトウェア、ハードウェアまたはこれらの任意の組み合わせによって実現される。例えば、本明細書で説明される処理及び手順は、集積回路、揮発性メモリ、不揮発性メモリ、磁気ディスク等の媒体に、当該処理及び手順に相当するロジックを実装することによって実現される。また、本明細書で説明された処理及び手順は、当該処理・手順に相当するコンピュータプログラムとして実装し、各種のコンピュータに実行させることが可能である。
【００５０】
本明細書中で説明された処理及び手順が単一の装置、ソフトウェア、コンポーネント、モジュールによって実行される旨が説明されたとしても、そのような処理または手順は複数の装置、複数のソフトウェア、複数のコンポーネント、及び／又は複数のモジュールによって実行され得る。また、本明細書において説明されたソフトウェアおよびハードウェアの要素は、それらをより少ない構成要素に統合して、またはより多い構成要素に分解することによって実現することも可能である。
【００５１】
本明細書において、発明の構成要素が単数もしくは複数のいずれか一方として説明された場合、又は、単数もしくは複数のいずれとも限定せずに説明された場合であっても、文脈上別に解すべき場合を除き、当該構成要素は単数又は複数のいずれであってもよい。
【符号の説明】
【００５２】
１０  境界線検出装置
１１  ＣＰＵ
１１２  画像取得部
１１４  境界線検出部
１５  ストレージ
１５２  学習済みモデル
２０  学習データ
２５  学習用画像
３０  撮影画像
２７１、２７２、３７１、３７２  位置特定情報
ＭＬ  区画線（境界線）
ＥＰ  推定点
ＶＰ  消失点
【図１】
2019087166.tif 000003
【図２】
2019087166.tif 000004
【図３】
2019087166.tif 000005
【図４】
2019087166.tif 000006
【図５】
2019087166.tif 000007
【図６】
2019087166.tif 000008
【図７】
2019087166.tif 000009
【図８】
2019087166.tif 000010
【図９】
2019087166.tif 000011