(57)【要約】【課題】少ない教師データから路面画像に含まれる白線の有無を高精度に検出することができる。【解決手段】推定方法は、複数の地点で白線を撮像した路面画像の白線のかすれ度合いを示す特徴量を、路面画像の白線の太さに応じて計算する特徴量計算ステップと、各路面画像をノードとし、路面画像間の特徴量の類似性に基づいてノード間にエッジを生成し、白線のかすれ有無をノードのラベルとし、かすれ有無がない路面画像はラベルを未定のラベルとしてグラフを構築するグラフ構築ステップと、撮影順序の所定範囲に複数の路面画像がある場合に複数の路面画像に対応するノード間にエッジを追加するエッジ追加ステップと、グラフ上でラベルを伝播させて未定のラベルのノードのラベルを推定するラベル伝播処理を行い、白線のかすれ有無が示されていない路面画像のかすれの有無を推定する推定ステップと、を含む。【選択図】図２１
2019028939.tif 000002
【特許請求の範囲】
【請求項１】
複数の地点で白線を撮像した路面画像を基に前記白線のかすれの有無を推定する推定装置が実行する推定方法であって、
前記路面画像の白線のかすれ度合いを示す特徴量を、前記路面画像の白線の太さに応じて計算する特徴量計算ステップと、
各路面画像をノードとし、前記路面画像間の前記特徴量の類似性に基づいて前記ノード間にエッジを生成し、前記白線のかすれ有無が示された路面画像についてはかすれ有またはかすれ無を該路面画像に対応するノードのラベルとし、前記路面画像に前記白線のかすれ有無が示されていない路面画像については、該路面画像に対応する前記ノードのラベルを未定のラベルとし、前記ノード、前記エッジ及び前記ラベルを用いてグラフを構築するグラフ構築ステップと、
撮影順序の所定範囲に複数の路面画像がある場合、前記複数の路面画像に対応するノード間にエッジを追加するエッジ追加ステップと、
前記グラフ構築ステップにおいて構築された前記グラフ上で、前記ラベルを有する前記ノードから前記未定のラベルである前記ノードへ、前記ラベルを伝播させて前記未定のラベルのノードの前記ラベルを推定するラベル伝播処理を行い、前記白線のかすれ有無が示されていない路面画像のかすれの有無を推定する推定ステップと、
を含んだことを特徴とする推定方法。
【請求項２】
前記特徴量計算ステップは、かすれ無の前記路面画像の特徴量が白線の幅によらず同値になるように、白線が占める白線領域の画素数、白線領域の境界に位置する画素数、及び、前記白線の幅を用いて、前記特徴量を計算することを特徴とする請求項１に記載の推定方法。
【請求項３】
前記グラフ構築ステップは、前記路面画像間の前記特徴量の類似性に基づいてエッジの重みを計算することを特徴とする請求項１または２に記載の推定方法。
【請求項４】
複数の地点で白線を撮像した路面画像を基に前記白線のかすれの有無を推定する推定装置であって、
前記路面画像の白線のかすれ度合いを示す特徴量を、前記路面画像の白線の太さに応じて計算する特徴量計算部と、
各路面画像をノードとし、前記路面画像間の前記特徴量の類似性に基づいて前記ノード間にエッジを生成し、前記白線のかすれ有無が示された路面画像についてはかすれ有またはかすれ無を該路面画像に対応するノードのラベルとし、前記路面画像に前記白線のかすれ有無が示されていない路面画像については、該路面画像に対応する前記ノードのラベルを未定のラベルとし、前記ノード、前記エッジ、前記エッジの重み及び前記ラベルを用いてグラフを構築し、撮影順序の所定範囲に複数の路面画像がある場合、前記複数の路面画像に対応するノード間にエッジを追加するグラフ構築部と、
前記グラフ構築部によって構築された前記グラフ上で、前記ラベルを有する前記ノードから前記未定のラベルである前記ノードへ、前記ラベルを伝播させて前記未定のラベルのノードの前記ラベルを推定するラベル伝播処理を行い、前記白線のかすれ有無が示されていない路面画像のかすれの有無を推定する推定部と、
を有することを特徴とする推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、推定方法及び推定装置に関する。
【背景技術】
【０００２】
道路上には、白線、規制標示、指示標示などの路面標示が舗装されている。この路面標示は、路面に舗装されているという性質上、かすれやひび割れが発生する。したがって、路面標示の状態を定期的に点検整備する必要がある。しかしながら、路面標示の全てを人手で点検することは難しい。
【０００３】
このため、従来、車両に取り付けたカメラで白線を含む路面を撮像し、車両を走行しながら撮像した路面画像から白線のかすれの有無を検出する方法が提案されている。この方法では、白線領域の画素数に対する白線領域の輪郭部分の画素数の割合をかすれ度合いとして求め、このかすれ度合いを基に、機械的に白線のかすれの有無を求めている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】河崎  隆文、打越  大成、岩本  健嗣、米澤  拓郎、中澤  仁、徳田  英幸、「車両に取り付けたカメラによる路面標示の擦り切れ検出手法の提案」、マルチメディア通信と分散処理ワークショップ論文集、2014（5）、pp101-108、2014-12-01
【非特許文献２】Y.  Fujiwara  and  G.  Irie,  “Efficient  Label  Propagation”,  In  ICML,  2014.  ［平成２９年６月２１日検索，インターネット＜ＵＲＬ：http://jmlr.org/proceedings/papers/v32/fujiwara14.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の方法では、かすれ度合いが白線の太さに影響を受けてしまうという問題があった。具体的には、同じかすれ無の白線であるのに、細い白線の方が、太い白線よりもかすれ度合いが大きくなるため、白線が細い場合には、実際にはかすれが無い場合であってもかすれ度合いが大きいという誤推定が起きやすくなる。また、走行する車両のカメラから連続的に撮影する場合、従来の方法では、物理的に近い場所の路面状態が似ているという関係性が考慮されていないため、推定精度が下がる可能性がある。
【０００６】
本発明は、上記に鑑みてなされたものであって、少ない教師データから路面画像に含まれる白線の有無を高精度に検出することができる推定方法及び推定装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る推定方法は、複数の地点で白線を撮像した路面画像を基に白線のかすれの有無を推定する推定装置が実行する推定方法であって、路面画像の白線のかすれ度合いを示す特徴量を、路面画像の白線の太さに応じて計算する特徴量計算ステップと、各路面画像をノードとし、路面画像間の特徴量の類似性に基づいてノード間にエッジを生成し、白線のかすれ有無が示された路面画像についてはかすれ有またはかすれ無を該路面画像に対応するノードのラベルとし、路面画像に白線のかすれ有無が示されていない路面画像については、該路面画像に対応するノードのラベルを未定のラベルとし、ノード、エッジ及びラベルを用いてグラフを構築するグラフ構築ステップと、撮影順序の所定範囲に複数の路面画像がある場合、複数の路面画像に対応するノード間にエッジを追加するエッジ追加ステップと、グラフ構築ステップにおいて構築されたグラフ上で、ラベルを有するノードから未定のラベルであるノードへ、ラベルを伝播させて未定のラベルのノードのラベルを推定するラベル伝播処理を行い、白線のかすれ有無が示されていない路面画像のかすれの有無を推定する推定ステップと、を含んだことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、少ない教師データから路面画像に含まれる白線の有無を高精度に検出することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態に係るかすれ有無推定システムの構成の一例を模式的に示す図である。
【図２】図２は、図１に示すかすれ有無推定サーバの構成を示すブロック図である。
【図３】図３は、図１に示す撮像装置の車両への取り付けを説明する図である。
【図４】図４は、図１に示す撮像装置が撮像した路面画像の一例を示す図である。
【図５】図５は、図２に示す教師データ記憶部が記憶する教師データのデータ構成の一例を説明する図である。
【図６】図６は、図２に示す特徴量データ記憶部が記憶する特徴量データのデータ構成の一例を説明する図である。
【図７】図７は、図２に示すグラフデータ記憶部が記憶するグラフデータのデータ構成の一例を説明する図である。
【図８】図８は、図２に示す推定結果データ記憶部が記憶する推定結果データのデータ構成の一例を説明する図である。
【図９】図９は、図２に示すかすれ有無推定サーバの処理の流れを説明する図である。
【図１０】図１０は、図２に示す特徴量計算部が行う白線抽出処理の流れを説明する図である。
【図１１】図１１は、路面画像の画素の配置例を示す図である。
【図１２】図１２は、図２に示す特徴量計算部が行う連続領域抽出処理の流れを説明する図である。
【図１３】図１３は、図２に示す特徴量計算部が行う連続領域抽出処理の流れを説明する図である。
【図１４】図１４は、白線の幅の計算方法を説明する図である。
【図１５】図１５は、画素配列の一例を示す図である。
【図１６】図１６は、画素配列の一例を示す図である。
【図１７】図１７は、画像ＩＤが隣り合っている２枚の画像の一例を示す図である。
【図１８】図１８は、図２に示すかすれ有無推定部の推定処理の一例を説明する図である。
【図１９】図１９は、各ノードＮ１１〜Ｎ１８を列、各ラベルを行とする行列であるinitial  label  matrix  Ｙの転置行列ＹＴを示す表である。
【図２０】図２０は、図１９に示す各ＹＴを（６）式に入力し、得られた各ノードＮ１１〜Ｎ１８を列、各ラベルを行とする行列であるscore  matrix  Ｆの転置行列ＦＴ（スコア）を示す表である。
【図２１】図２１は、図２に示すかすれ有無推定サーバのかすれ有無推定処理の処理手順を示すフローチャートである。
【図２２】図２２は、図２１に示す特徴量計算処理（ステップＳ１）の処理手順を示すフローチャートである。
【図２３】図２３は、図２１に示すグラフ構築処理（ステップＳ２）の処理手順を示すフローチャートである。
【図２４】図２４は、図２３に示すｋ−ＮＮグラフ構築処理（ステップＳ２１）の処理手順を示すフローチャートである。
【図２５】図２５は、図２３に示すエッジ追加処理（ステップＳ２２）の処理手順を示すフローチャートである。
【図２６】図２６は、図２１に示すかすれ有無推定処理（ステップＳ３）の処理手順を示すフローチャートである。
【図２７】図２７は、プログラムが実行されることにより、かすれ有無推定サーバが実現されるコンピュータの一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
【００１１】
［実施の形態］
本発明の実施の形態について説明する。本発明の実施の形態では、撮像装置から収取した白線のかすれの有無を推定する推定方法及び推定装置について説明する。まず、実施の形態におけるかすれ有無推定システムの概略について説明する。
【００１２】
［かすれ有無推定システムの構成］
次に、実施の形態におけるかすれ有無推定システムの構成について説明する。図１は、実施の形態におけるかすれ有無推定システムの構成の一例を模式的に示す図である。
【００１３】
図１に示すように、かすれ有無推定システム１は、かすれ有無推定サーバ１０と、撮像装置３とを有する。かすれ有無推定サーバ１０（推定装置）と、撮像装置３とは、インターネットや専用線等の通信ネットワーク２を介して接続する。なお、説明の簡易化のため、図１では、単数の撮像装置３を示すが、撮像装置３は複数でもよい。
【００１４】
かすれ有無推定サーバ１０は、道路上の区画線（白線）のかすれの有無の推定結果を提供するサーバ装置である。かすれ有無推定サーバ１０は、撮像装置３が複数の地点で白線を撮像した路面画像を基に、かすれの有無が対応付けられた路面画像を教師データとして、かすれの有無が未定である路面画像について白線のかすれの有無を推定する。かすれ有無推定サーバ１０は、路面画像の識別情報とかすれの有または無を示すかすれ有無情報とを対応付けた推定結果情報を外部に提供する。
【００１５】
撮像装置３は、車両に設置され、道路上の白線を対象として路面画像を撮像する。撮像装置３が撮像した路面画像は、撮像装置３から、通信ネットワーク２を介して、かすれ有無推定サーバ１０に送信される。
【００１６】
［かすれ有無推定サーバの構成］
続いて、かすれ有無推定サーバ１０の構成について説明する。図２は、図１に示すかすれ有無推定サーバ１０の構成を示すブロック図である。図２に示すように、かすれ有無推定サーバ１０は、通信部１１、記憶部１２、制御部１３、入力部１４及び出力部１５を有する。
【００１７】
通信部１１は、通信ネットワーク２を介して接続された他の装置との間で、各種情報を送受信する通信インタフェースである。通信部１１は、撮像装置３から提供された路面画像を受信する。そして、通信部１１は、白線のかすれの有無に関する推定結果情報を要求を受けた場合、要求元に推定結果情報を送信する。
【００１８】
記憶部１２は、ＲＡＭ（Random  Access  Memory）、フラッシュメモリ（Flash  Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現され、かすれ有無推定サーバ１０を動作させる処理プログラムや、処理プログラムの実行中に使用されるデータなどが記憶される。記憶部１２は、路面画像データ記憶部１２１、教師データ記憶部１２２、特徴量データ記憶部１２３、グラフデータ記憶部１２４及び推定結果データ記憶部１２５を有する。
【００１９】
路面画像データ記憶部１２１は、撮像装置３によって撮像された撮像画像データを記憶する。図３は、図１に示す撮像装置３の車両への取り付けを説明する図である。図４は、図１に示す撮像装置３が撮像した路面画像の一例を示す図である。
【００２０】
図３に示すように、白線を対象に画像を収集するため、車両の側面に撮像装置３が設置される（図３の（１）参照）。そして、撮像装置３は、一定の周期で路面を撮像する。例えば、撮像装置３は、一定の距離間隔で路面を撮影する。撮像装置３が撮像した画像は、例えば、図４に示す路面画像Ｇａのように、白線領域を含むものである。撮像装置３が撮像した路面画像のデータは、撮像装置３の記憶装置から通信ネットワーク２を介してかすれ有無推定サーバ１０に送信され、路面画像データ記憶部１２１に格納される。この場合、路面画像のファイル名は、撮影した時間順序で連番になるようにする。たとえば、ファイル名を、「ｉｍａｇｅＸＸＸＸＸ．ｊｐｇ」として、「ＸＸＸＸＸ」には、「００００１」から始まる整数の連番とする。また、各画像には一意のＩＤ（identifier）として、「ＩＭＧＸＸＸＸＸ」を付与することとする。
【００２１】
教師データ記憶部１２２は、教師データを記憶する。教師データは、路面画像データ記憶部１２１に格納された画像の中から適当な方法（例えばランダム抽出）を用いて、決められた数の画像を選択し、人手によりかすれの有無を判定することによって作成される。
【００２２】
図５は、図２に示す教師データ記憶部１２２が記憶する教師データのデータ構成の一例を説明する図である。図５に示すように、教師データは、路面画像の画像ＩＤと、人手により判定されたかすれの有無とが対応付けられたデータ構成を有する。例えば、かすれ有は「１」で示され、かすれ無は「０」で示される。例えば、路面画像データ記憶部１２１から、画像ＩＤ「ＩＭＧ００００１」，「ＩＭＧ００００３」，「ＩＭＧ００００５」，「ＩＭＧ００００６」，「ＩＭＧ００００７」の路面画像が抽出された場合を例に説明する。この場合、図５に示すように、教師データは、画像ＩＤ「ＩＭＧ００００１」，「ＩＭＧ００００６」にかすれ無を示す「０」が対応付ており、画像ＩＤ「ＩＭＧ００００３」，「ＩＭＧ００００５」，「ＩＭＧ００００７」にかすれ有を示す「１」が対応付けている。
【００２３】
特徴量データ記憶部１２３は、路面画像ごとに、特徴量計算部１３１（後述）が抽出した白線のかすれ度合いを示す特徴量ｒを記憶する。図６は、図２に示す特徴量データ記憶部１２３が記憶する特徴量データのデータ構成の一例を説明する図である。図６に示すように、特徴量データには、画像ＩＤ、画像ファイル名及び特徴量ｒが項目として設定されている。そして、例えば、画像ＩＤ「ＩＭＧ００００１」には、画像ファイル名「ｉｍａｇｅ００００１．ｊｐｇ」及び特徴量ｒの値「１．１」が対応付けられている。また、例えば、画像ＩＤ「ＩＭＧ００００２」には、画像ファイル名「ｉｍａｇｅ００００２．ｊｐｇ」及び特徴量ｒの値「２．４」が対応付けられている。
【００２４】
グラフデータ記憶部１２４は、グラフ構築部１３２（後述）によって構築されたグラフを示すグラフデータを記憶する。図７は、図２に示すグラフデータ記憶部１２３が記憶するグラフデータのデータ構成の一例を説明する図である。
【００２５】
図７に示すように、グラフデータは、対となる二つのノードと、この二つのノード間の関係性を示すエッジとを対応付けたものである。ここで、ノードは各路面画像であり、エッジは、路面画像間の特徴量の類似性に基づいてノード間に生成されたものである。そして、エッジの重みは、路面画像間の特徴量の類似性に基づいて計算されたものである。
【００２６】
具体的には、図７では、対となる二つのノードの一方のノード（第１ノード）のＩＤを示す「ノードＩＤ１」、対となる二つのノードの他方のノード（第２ノード）のＩＤを示す「ノードＩＤ２」及びエッジ重みを対応付けたものである。例えば、図７の表の一行目には、ノードＩＤ１として「ＩＭＧ００００２」、ノードＩＤ２として「ＩＭＧ００００１」、エッジ重み「１」が対応付けられている。これは、第１ノードである画像ＩＤ「ＩＭＧ００００２」の「ｉｍａｇｅ００００２．ｊｐｇ」ファイルと、第２ノードである画像ＩＤ「ＩＭＧ００００１」の「ｉｍａｇｅ００００１．ｊｐｇ」ファイルとの間に、エッジ重み「１」のエッジが形成されたグラフが構築されることを示す。
【００２７】
推定結果データ記憶部１２５は、各路面画像の画像ＩＤと、かすれ有またはかすれ無のいずれかを示す情報とを対応付けた推定結果データを記憶する。推定結果データでは、教師データにかすれ有無が示された教師データの路面画像の他、教師データに含まれていない路面画像についても、かすれ有またはかすれ無を示す情報が示される。なお、教師データに含まれていない路面画像のかすれ有無については、かすれ有無推定部１３３（後述）が推定したものである。
【００２８】
図８は、図２に示す推定結果データ記憶部１２５が記憶する推定結果データのデータ構成の一例を説明する図である。図８に示すように、推定結果データは、画像ＩＤと、かすれの有無を示す情報とを対応付けたものである。例えば、図５の教師データに含まれていない画像ＩＤ「ＩＭＧ００００２」（行Ｌａ参照）についても、かすれ無を示す「０」が付与されている。また、画像「ＩＭＧ００００４」（行Ｌｂ参照）についても、かすれの有を示す「１」が付与されている。
【００２９】
続いて、図２に戻り、制御部１３の説明を行う。制御部１３は、各種の処理手順などを規定したプログラム及び所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する。例えば、制御部１３は、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）などの電子回路である。制御部１３は、特徴量計算部１３１、グラフ構築部１３２及びかすれ有無推定部１３３（推定部）を有する。
【００３０】
特徴量計算部１３１は、路面画像データ記憶部１２１が記憶する路面画像について、路面画像の白線のかすれ度合いを示す特徴量ｒを計算する。この場合、特徴量計算部１３１は、かすれ度合いが白線の太さに影響を受けないように、路面画像の白線の太さに応じて特徴量ｒを計算する。例えば、特徴量計算部１３１は、かすれ無の路面画像の特徴量が白線の幅によらず同値になるように、白線が占める白線領域の画素数、白線領域の境界に位置する画素数及び白線の幅を用いて、特徴量ｒを計算する。
【００３１】
グラフ構築部１３２は、特徴量計算部１３１が計算した各路面画像の特徴量を用いて、路面画像データ記憶部１２１が記憶する路面画像間の関係性を示すグラフを構築する。
【００３２】
具体的には、グラフ構築部１３２は、複数の路面画像のそれぞれをノードとし、ノードとノードとの間の関係性をエッジとする。グラフ構築部１３２は、任意のノードについて、該ノードの特徴量と類似性が高い任意の数のノードとの間にエッジを生成する。
【００３３】
そして、グラフ構築部１３２は、教師データにおいて白線のかすれ有無が示された路面画像については該かすれ有またはかすれ無を該路面画像に対応するノードのラベルとする。また、グラフ構築部１３２は、路面画像に白線のかすれ有無が示されていない路面画像については、該路面画像に対応するノードのラベルを未定のラベルとする。さらに、グラフ構築部１３２は、路面画像間の特徴量の類似性に基づいてエッジの重みを計算する。グラフ構築部１３２は、ノード、エッジ、エッジの重み及びラベルを用いてグラフを構築する。
【００３４】
そして、グラフ構築部１３２は、撮像順序の所定範囲に複数の路面画像がある場合、この複数の路面画像に対応するノード間にエッジを追加して生成する。
【００３５】
かすれ有無推定部１３３は、かすれの有無を示す情報が示されていない路面情報について、かすれの有無を推定する。具体的には、かすれ有無推定部１３３は、グラフ構築部１３２によって構築されたグラフ上で、ラベルを有するノードから未定のラベルであるノードへ、ラベルを伝播させて未定のラベルのノードのラベルを推定するラベル伝播処理を行い、白線のかすれ有無が示されていない路面画像のかすれの有無を推定する。例えば、かすれ有無推定部１３３は、ラベルが既知のノード（教師データ）から、他の未定のラベルのノードのラベルを推定する、半教師つき学習を行う。かすれ有無推定部１３３は、グラフ構造と教師データから、行列計算により、他のノードのラベルを求める手法を用いて、ラベルが未定であるノードのラベルを推定する。
【００３６】
そして、かすれ有無推定部１３３は、教師データ記憶部１２２の教師データと、推定したデータとを結合することによって、全路面画像について画像ＩＤと、かすれ有またはかすれ無を示す情報とをそれぞれ対応付けた推定結果データ（図８参照）を生成する。
【００３７】
入力部１４は、かすれ有無推定サーバ１０の操作者からの各種操作を受け付ける入力インタフェースである。例えば、入力部１４は、ボタン、タッチパネル、音声入力デバイス、キーボードやマウス等の入力デバイスによって構成される。出力部１５は、例えば、液晶ディスプレイやプリンタ等であって、かすれ有無の推定に関する各種情報を出力する。
【００３８】
図９は、図２に示すかすれ有無推定サーバ１０の処理の流れを説明する図である。図９に示すように、かすれ有無推定サーバ１０は、撮像装置３から提供された路面情報（図９の（ａ）参照）から、白線のかすれ度合いを示す特徴量ｒを計算して抽出する（図９の矢印Ｙ１参照）。そして、かすれ有無推定サーバ１０は、特徴量ｒに基づいて各路面画像（図９の（ｂ）参照）についてグラフ構築を行う（図９の矢印Ｙ２参照）。
【００３９】
この場合、かすれ有無推定サーバ１０は、路面情報における白線のかすれ度合いを示す特徴量を白線の太さに応じて計算し、計算した特徴量を用いてグラフを構築する（図９の（ｃ）参照）。図９の（ｃ）の例では、ノードＮ１に対応する路面画像はかすれがあるため、「かすれ有」ラベルが付与され、ノードＮ４に対する路面画像にはかすれが無いため、「かすれ無」ラベルが付与される。そして、ノードＮ２、Ｎ３に対応する路面画像には、かすれ有無が未定であるため、「未定」ラベルが付与される。
【００４０】
続いて、かすれ有無推定サーバ１０は、このグラフ上でラベル伝播処理を行うことによって（図９の矢印Ｙ３参照）、かすれ有無が未定の路面画像に対応するノードＮ２，Ｎ４のかすれの有無を推定し、ラベルを付与する（図９の（ｄ）参照）。言い換えると、かすれ有無推定サーバ１０は、かすれ有またはかすれ無のラベルが付与された路面画像を教師データとして使用し、各路面画像をかすれ有またはかすれ無の２値に分類する。
【００４１】
このように、ラベル伝播の計算を行う前にはラベルが未定であった路面画像に対しても、かすれの有無を示すラベルが付される。したがって、推定結果データを提供されたユーザは、ラベルが未定であった路面画像を含む全路面画像について、白線のかすれの有無を把握することができる。続いて、かすれ有無推定サーバ１０が行う特徴量計算処理、グラフ構築処理、及び、かすれ有無推定処理について詳細に説明する。
【００４２】
［特徴量計算部の処理］
まず、特徴量計算部１３１の特徴量計算処理について説明する。特徴量計算部１３１は、白線抽出処理、白線の幅取得処理を行い、取得した白線の幅を用いて、かすれ度合いの特徴量ｒを計算する。
【００４３】
［白線抽出処理の流れ］
そこで、白線抽出処理の流れについて説明する。図１０は、図２に示す特徴量計算部１３１が行う白線抽出処理の流れを説明する図である。図１１は、路面画像の画素の配置例を示す図である。
【００４４】
図１０に示すように、特徴量計算部１３１は、路面画像がカラーの場合（図１０の（ａ）参照）、グレースケール化する（矢印Ｙ１１、図１０の（ｂ）参照）。例えば、図１１に示すように、路面画像が、縦方向に２２４画素は配置し、横方向に２２４画素が配置する２２４×２２４の画素数のカラー画像（ｊｐｇファイル）である場合には、ＲＧＢ画素の輝度値をグレースケール化する。具体的には、入力画像のＲＧＢ値から出力画素の輝度Ｙを以下の（１）式を用いて求める。
【００４５】
【数１】
2019028939.tif 000003
【００４６】
例えば、入力画像Ｇｃの１行目１列目の画素については、Ｒ＝２５、Ｇ＝２０、Ｂ＝３４を（１）式に適用し、グレースケール化した輝度Ｙとして２３を求める。また、入力画像Ｇｃの１行目２列目の画素については、Ｒ＝２４、Ｇ＝１９、Ｂ＝３４を（１）式に適用し、グレースケール化した輝度Ｙとして２２を求める。なお、グレースケール化した後、ガウシアンフィルター等による平滑化を行ってもよい。
【００４７】
そして、特徴量計算部１３１は、路面画像の各画素について、白と黒との２値化を行う（矢印Ｙ１２、図１０の（ｃ）参照）。具体的には、特徴量計算部１３１は、輝度（０〜２５５）に対して閾値を設定する。例えば、閾値は、２００である。そして、特徴量計算部１３１は、閾値を超えた画素を白とし、閾値以下の画素を黒とすることによって、全画素を白と黒とに２値化する。続いて、特徴量計算部１３１は、２値化を行った路面画像から白の連続領域を抽出し（矢印Ｙ１３参照）、その中で最大面積を持つものを白線部分として抽出する（図１０の（ｄ）参照）。
【００４８】
［連続領域抽出処理の流れ］
次に、白線抽出処理に含まれる連続領域抽出処理の流れについて説明する。図１２及び図１３は、図２に示す特徴量計算部１３１が行う連続領域抽出処理の流れを説明する図である。
【００４９】
特徴量計算部１３１は、連続領域抽出処理として、白の連続領域に同じラベルを貼る処理を行う。白の連続領域に同じラベルを貼るというのは、画像内の２つの白の画素間の距離、例えば８近傍距離、が決められた閾値以内である場合にその２つの白の画素に同じラベルを貼るということである。特徴量計算部１３１は、白線（白の領域）がかすれ（黒の領域）により分断される可能性を考慮して、閾値を調整することにより、分断された白の領域を連結し、連続領域を抽出する。この白の領域を連結する処理について、画素間の距離として８近傍距離を採用した例で説明する。
【００５０】
具体的に、連結方法の第１例を説明する。第１例は、閾値を１と規定した場合に、分断された二つの白の領域を連結する例である（図１２の（ａ），（１）参照）。例えば、図１２の（ｂ）に示す路面画像Ｇｄを例に説明する。この場合、左の白の領域と右の白の領域の画素間の距離で最短のものは２であり、閾値１より大きい。このため、左右の白の領域は連結されない（図１２の（２）参照）。したがって、左側の白の領域には「１」ラベルが付され、右側の白の領域には「２」のラベルが付される（図１２の（ｃ）参照）。すなわち、左右の白の領域は、それぞれ異なるラベルが付される。
【００５１】
次に、連結方法の第２例を説明する。第２例は、閾値を２と規定した場合に、分断された二つの白の領域を連結する例である（図１３の（ａ），（１）参照）。例えば、図１２の（ｂ）と同様の示す路面画像Ｇｄ（図１３の（ｂ）参照）を例に説明する。この場合、左の白の領域の画素と右の白の領域の画素間の距離の中で最短のものは２であり、閾値２を超えない。このため、左右の白の領域は連結されて１つの連続領域となる（図１３の（２）参照）。したがって、左右の白の領域には同じ「１」ラベルが付され（図１３の（ｃ）参照）、連続することが示される。
【００５２】
［白線の幅取得処理］
次に、白線の幅取得処理の流れについて説明する。図１４は、白線の幅の計算方法を説明する図である。例えば、図１４に示す画像Ｇｅのように白線が傾斜している場合には、以下の（２）式を用いて、白線の幅ｈを求める。なお、ｘは白線領域の横方向の最大幅であり、ｙは白線領域の縦方向の最大幅である。
【００５３】
【数２】
2019028939.tif 000004
【００５４】
［かすれ度合いの特徴量計算処理の流れ］
次に、白線のかすれ度合いの数値化について説明する。白線がかすれた画像ほど、白線を表す画素とそれ以外の画素との境界が多いと考えられる。そこで、従来では、かすれの度合を示す特徴量ｒ´を以下の（３）式で数値化していた。
【００５５】
【数３】
2019028939.tif 000005
【００５６】
図１５は、画素配列の一例を示す図である。図１５の（ａ）は、白線にかすれが無い場合を示し、図１５の（ｂ）は白線にかすれが有る場合を示す。図１５の（ａ）の画像Ｇｆ１では、境界の画素数（Ｂ）が１６であり、白線領域の画素数（Ｓ）が３２である。このため、上記（３）式を適用すると特徴量ｒ´は０．５になる。これに対し、図１５の（ｂ）の画像Ｇｆ２では、境界の画素数（Ｂ）が２４であり、白線領域の画素数（Ｓ）が２８である。このため、上記（３）式を適用すると特徴量ｒ´は０．８６になる。このように、従来では、かすれが無い場合より、かすれがある場合の方がｒ´の値が大きくなるため、このr´をかすれ度合いを表す特徴量として利用してきた。
【００５７】
ただし、（３）式を適用して求めたかすれ度合いを示す特徴量ｒ´は、白線の太さに影響を受ける。図１６は、画素配列の一例を示す図である。図１６の左方上段の画像Ｇｉ１及び左方下段の画像Ｇｉ２はいずれも白線にかすれがない。ここで、それぞれの特徴量ｒ´を算出すると、白線の太さが細い画像Ｇｉ１では、特徴量ｒ´は０．５０になり、白線の太さが太い画像Ｇｉ２では、特徴量ｒ´は０．３３となる。このように、同じかすれがない白線でありながら、白線の太さが細い方が、太い方よりも特徴量ｒ´の値が大きくなる。
【００５８】
そこで、特徴量計算部１３１では、かすれがない場合に、白線の太さに係らず、かすれ度合いを示す特徴量が同じ値「１」となるように、以下の（４）式で定義する特徴量ｒを計算する。
【００５９】
【数４】
2019028939.tif 000006
【００６０】
特徴量計算部１３１は、各路面画像について計算した特徴量ｒを、画像ＩＤ、画像ファイル名と対応付けた特徴量データを作成し、特徴量データ記憶部１２３に記録する。
【００６１】
このように、特徴量計算部１３１は、路面画像の白線のかすれ度合いを示す特徴量ｒを、路面画像の白線の太さに応じて計算している。特徴量計算部１３１は、かすれ無の路面画像の特徴量が白線の幅によらず同値になるように、白線が占める白線領域の画素数、白線領域の境界に位置する画素数、及び、白線の幅を用いて、特徴量ｒを計算する。したがって、特徴量計算部１３１は、白線の太さの影響を受けることなく、白線のかすれ度合いを示す特徴量ｒを適正に計算することができる。
【００６２】
［グラフ構築処理の流れ］
次に、グラフ構築部１３２によるグラフ構築処理の流れについて説明する。まず、グラフ構築部１３２は、各路面画像をノードとする。そして、グラフ構築部１３２は、路面画像間の特徴量ｒの類似性に基づいてノード間にエッジを生成する。この場合、グラフ構築部１３２は、例えば、ｋ−ＮＮ（k-Nearest  Neighbor）グラフを構築する。
【００６３】
このｋ−ＮＮグラフを構築する場合、グラフ構築部１３２は、各ノードについて、距離が近い、言い換えると、特徴量ｒの値が近いｔｏｐｋ（上位ｋ）個のノードと、エッジを張る。なお、ｋは正の整数で、例えば、ｋが１である場合、グラフ構築部１３２は、最も値が近いノードとの間にエッジを張る。
【００６４】
そして、グラフ構築部１３２は、ノードｉとノードｊとの間のエッジの重みＷｉｊは、以下の（５）式を用いて計算する。なお、ここでσ２は、ハイパーパラメータであり、例えば、２ノード間のｒによる距離の分散とする。
【００６５】
【数５】
2019028939.tif 000007
【００６６】
このように、グラフ構築部１３２は、路面画像間の特徴量ｒの類似性に基づいてエッジの重みを計算するため、エッジの重みを適切に付与することができる。グラフ構築部１３２は、ノード、エッジ、エッジの重みを対応付けることによってグラフを構築し、図８に示すグラフデータを作成して、グラフデータ記憶部１２４に記録する。
【００６７】
そして、グラフ構築部１３２は、白線のかすれ有無が示された路面画像については、該かすれ有またはかすれ無を該路面画像に対応するノードのラベルとする。また、グラフ構築部１３２は、路面画像に白線のかすれ有無が示されていない路面画像については、該路面画像に対応するノードのラベルを未定のラベルとする。このように、グラフ構築部１３２は、ノード、エッジ、エッジの重み及びラベルを用いてグラフを構築する。
【００６８】
また、グラフ構築部１３２は、撮影順序の所定範囲に複数の路面画像がある場合、この複数の路面画像に対応するノード間にエッジを追加して生成するエッジ追加処理を行う。図１７は、画像ＩＤが隣り合っている２枚の画像の一例を示す図である。図１７に示すように、ファイル名の近い画像、例えば、画像ＩＤが隣り合っている「ＩＭＧ００３００」の画像と、「ＩＭＧ００３０１」の画像とは、物理的に近い場所を撮像していることから、路面状態が似ていると考えられる。このため、グラフ構築部１３２は、「ＩＭＧ００３００」の画像に対応するノードと「ＩＭＧ００３０１」の画像に対応するノードとの間にエッジを張る。この際、グラフ構築部１３２は、エッジの重みを、例えば「１」に設定する。
【００６９】
このように、グラフ構築部１３２は、物理的に近い場所を撮像している画像についても取りこぼしなくエッジを張り、以降のラベル伝搬処理を用いた推定処理の適切な実行を図っている。
【００７０】
［かすれ有無推定部の処理］
次に、図２に示すかすれ有無推定部１３３の処理について説明する。図１８は、図２に示すかすれ有無推定部１３３の推定処理の一例を説明する図である。かすれ有無推定部１３３は、グラフ構築部１３２が構築したグラフ上でラベル伝播処理を行うことによって、白線のかすれの有無（ラベル）が不明である路面画像（ノード）のかすれ有またはかすれ無（ラベル）を推定する。かすれ有無推定部１３３は、ラベルが既知のノード（教師データ）（例えば、図５参照）から、他の未定のラベルのノードのラベルを推定する、半教師つき学習を行う。このかすれ有無推定部１３３は、グラフ構造と教師データから、行列計算により、他のノードのラベルを求める手法を用いて、ラベルが不明であるノードのラベルを推定する。
【００７１】
例えば、グラフＧ１（図１８の（ａ）参照）が与えられた場合を例に、かすれ有無推定部１３３が行うラベル伝播処理について説明する。グラフＧ１は、ノードＮ１１〜Ｎ１８によって構成されている。そして、ノードＮ１１には「かすれ有」ラベルが付与され、ノードＮ１７，Ｎ１８には「かすれ無」ラベルが付与されている。また、これ以外のノードＮ１２〜Ｎ１６のラベルは未定である。
【００７２】
かすれ有無推定部１３３は、このように、路面画像（ノード）同士がその関連性によって繋がったグラフＧ１において、「かすれ有」，「かすれ無」ラベルが付与されたノードＮ１１，Ｎ１７，Ｎ１８があるとき、これらのノードＮ１１，Ｎ１７，Ｎ１８との繋がりの強さに応じて、その他のノードＮ１２〜Ｎ１６を、「かすれ有」，「かすれ無」ラベルのいずれかに分類する。具体的には、かすれ有無推定部１３３は、各ノードに対し、ラベルが付与される度合（ラベルのスコア）を、例えば以下の（６）式を用い、全てのラベルについて算出する（詳細は、例えば、非特許文献２参照）。
【００７３】
【数６】
2019028939.tif 000008
【００７４】
そして、かすれ有無推定部１３３は、ラベル付与対象のノードについて、（１）式を用いて全てのラベルについてスコアを算出し、最もスコアが高いラベルを、このノードのラベルとして付与する。図１９は、既知データとして与えられたグラフＧ１（図１８の（ａ）参照）の各ノードＮ１１〜Ｎ１８を列、各ラベルを行とする行列であるinitial  label  matrix  Ｙの転置行列ＹＴ（（１）式参照）を示す表である。図２０は、図１９に示す各ＹＴを（１）式に入力し、得られた各ノードＮ１１〜Ｎ１８を列、各ラベルを行とする行列であるscore  matrix  Ｆの転置行列ＦＴ（スコア）を示す表である。
【００７５】
例えば、ノードＮ１２については、かすれ有無推定部１３３は、（６）式を用いて、「かすれ有」ラベルのスコア、「かすれ無」ラベルのスコアをそれぞれ計算する。この結果、図２０の表に示すように、ノードＮ１２については、「かすれ有」ラベルのスコアとして「０．９」が得られ、「かすれ無」ラベルのスコアとして「０．１」が得られた。このように、ノードＮ１２については、「かすれ有」ラベルのスコアが、他の「かすれ無」ラベルと比して高い結果が得られた（図１８の（ｂ）の枠Ｃ１参照）。このため、かすれ有無推定部１３３は、ノードＮ１２については、最もスコアの高い「かすれ有」ラベルをそのノードＮ１２のラベルとして付与する（図１８の（ｂ）の矢印Ｙ１２参照、図２０の（１）参照）。
【００７６】
また、ノードＮ１５については、かすれ有無推定部１３３が、「かすれ有」，「かすれ無」ラベルのスコアを（６）式を用いてそれぞれ計算した結果、図２０の表に示すように、「かすれ有」ラベルのスコアとして「０．１」が得られ、「かすれ無」ラベルのスコアとして「０．９」が得られた。すなわち、ノードＮ１５については、「かすれ無」ラベルのスコアが最も高かった（図１８の（ｂ）の枠Ｃ２参照）。このため、かすれ有無推定部１３３は、ノードＮ１５については、「かすれ無」ラベルを付与する（図１８の（ｂ）の矢印Ｙ１５、図２０の（２）参照）。
【００７７】
そして、ノードＮ１６については、かすれ有無推定部１３３が、「かすれ有」，「かすれ無」ラベルのスコアを（６）式を用いてそれぞれ計算した結果、図２０の表に示すように、「かすれ有」ラベルのスコアとして「０．１」が得られ、「かすれ無」ラベルのスコアとして「０．９」が得られた。すなわち、ノードＮ１６については、「かすれ無」ラベルのスコアが最も高かった（図１８の（ｂ）の枠Ｃ３参照）。このため、かすれ有無推定部１３３は、ノードＮ１６については、「かすれ無」ラベルを付与する（図１８の（ｂ）の矢印Ｙ１７参照、図２０の（３）参照）。
【００７８】
かすれ有無推定部１３３は、他のノードＮ１３，Ｎ１４についても、同様に、「かすれ有」，「かすれ無」ラベルのスコアを（６）式を用いてそれぞれ計算し、「かすれ有」ラベルを付与する（図１８の（ｃ）参照）。このように、かすれ有無推定部１３３は、ラベル付与対象のノードについて、（６）式を用いて、全てのラベルについてスコアを算出し、最もスコアが高いラベルを、ノードのラベルとして付与する。これによって、かすれ有無推定部１３３は、かすれ有無（ラベル）が不明である路面画像（ノード）のかすれ有無（ラベル）を推定して推定結果データ（図８参照）を取得し、推定結果データ記憶部１２５に記録する。
【００７９】
［かすれ有無推定サーバの処理］
次に、図２に示すかすれ有無推定サーバ１０のかすれ有無推定処理の処理手順について説明する。図２１は、図２に示すかすれ有無推定サーバ１０のかすれ有無推定処理の処理手順を示すフローチャートである。
【００８０】
図２１に示すように、まず、特徴量計算部１３１は、路面画像データ記憶部１２１が記憶する路面画像について、路面画像の白線のかすれ度合いを示す特徴量ｒを計算する特徴量計算処理を行う（ステップＳ１）。続いて、グラフ構築部１３２は、特徴量計算部１３１が計算した各路面画像の特徴量を用いて、路面画像間の関係性を示すグラフを構築するグラフ構築処理を行う（ステップＳ２）。
【００８１】
そして、かすれ有無推定部１３３は、かすれの有無を推定するかすれ有無推定処理を行って（ステップＳ３）、全路面画像について画像ＩＤとかすれの有無を示す情報とをそれぞれ対応付けた推定結果データを生成する。この処理では、かすれ有無推定部１３３は、グラフ構築部１３２によって構築されたグラフ上でラベル伝播処理を行うことによって、かすれの有無を示す情報が示されていない路面情報について、かすれの有無を推定する。
【００８２】
［特徴量計算処理の処理手順］
次に、特徴量計算処理について説明する。図２２は、図２１に示す特徴量計算処理（ステップＳ１）の処理手順を示すフローチャートである。
【００８３】
図２１に示すように、特徴量計算部１３１は、路面画像データ記憶部１２１から路面画像ファイルのリストを取得する（ステップＳ１１）。そして、特徴量計算部１３１は、路面画像ファイルを読み込み（ステップＳ１２）、読み込んだ路面画像に対して、グレースケール化を行う（ステップＳ１３）。続いて、特徴量計算部１３１は、路面画像の各画素について、白と黒との２値化を行う（ステップＳ１４）。特徴量計算部１３１は、分断された白の領域を連結して白の連続領域を抽出する連続領域抽出処理を行う（ステップＳ１５）。
【００８４】
続いて、特徴量計算部１３１は、抽出した連続領域について、（４）式を用いて特徴量ｒを計算する（ステップＳ１６）。特徴量計算部１３１は、計算した特徴量ｒを画像ＩＤ及び画像ファイル名に対応付けて、特徴量データ記憶部１２３に記録する。
【００８５】
そして、特徴量計算部１３１は、残りの画像ファイルがあるか否かを判定する（ステップＳ１７）。特徴量計算部１３１は、残りの画像ファイルがあると判定した場合（ステップＳ１７：Ｙｅｓ）、ステップＳ１２に戻り、次の処理対象である路面画像ファイルの読み込みを行う。特徴量計算部１３１は、残りの画像ファイルがないと判定した場合（ステップＳ１７：Ｎｏ）には特徴量計算処理を終了する。
【００８６】
［グラフ構築処理の処理手順］
次に、グラフ構築処理について説明する。図２３は、図２１に示すグラフ構築処理（ステップＳ２）の処理手順を示すフローチャートである。
【００８７】
図２３に示すように、グラフ構築部１３２は、特徴量データ記憶部１２３の特徴量データを読み込み、ｋ−ＮＮグラフを構築するｋ−ＮＮグラフ構築処理を行う（ステップＳ２１）。そして、グラフ構築部１３２は、撮影順序の所定範囲に複数の路面画像がある場合、この複数の路面画像に対応するノード間にエッジを追加して生成するエッジ追加処理を行う（ステップＳ２２）。
【００８８】
［ｋ−ＮＮグラフ構築処理の処理手順］
次に、ｋ−ＮＮグラフ構築処理について説明する。図２４は、図２３に示すｋ−ＮＮグラフ構築処理（ステップＳ２１）の処理手順を示すフローチャートである。
【００８９】
グラフ構築部１３２は、路面情報の処理枚数ｉを初期化し、ｉ＝１とする（ステップＳ３１）。グラフ構築部１３２は、ｉ番目の画像を選択する（ステップＳ３２）。ｉは、１〜Ｎ（画像の数）のうちの任意の数である。そして、グラフ構築部１３２は、画像ｉと画像ｉ以外の画像との特徴量ｒによる距離を計算する（ステップＳ３３）。グラフ構築部１３２は、画像ｉと距離が近いｋ個の画像を抽出する（ステップＳ３４）。そして、グラフ構築部１３２は、画像ｉとｋ個の画像との間にエッジを生成する（ステップＳ３５）。続いて、グラフ構築部１３２は、ノード間のエッジの重みを（５）式を用いて計算する（ステップＳ３６）。グラフ構築部１３２は、ノード、エッジ、エッジの重みを対応付けることで構築したグラフのグラフデータを作成して、グラフデータ記憶部１２４に記録する。
【００９０】
そして、グラフ構築部１３２は、ｉがＮに等しいか否かを判定する（ステップＳ３７）。グラフ構築部１３２は、ｉがＮに等しくないと判定した場合（ステップＳ３７：Ｎｏ）、ｉに１を加算、すなわち、ｉ＝ｉ＋１とし（ステップＳ３８）、ステップＳ３２に戻り、次の画像に対する処理を継続する。これに対し、グラフ構築部１２３は、ｉがＮに等しいと判定した場合（ステップＳ３７：Ｙｅｓ）、処理対象のＮ枚の画像に対する処理が終了したものとし、ｋ−ＮＮグラフ構築処理を終了する。
【００９１】
［エッジ追加処理の処理手順］
次に、エッジ追加処理について説明する。図２５は、図２３に示すエッジ追加処理（ステップＳ２２）の処理手順を示すフローチャートである。
【００９２】
グラフ構築部１３２は、路面情報の処理枚数ｉを初期化し、ｉ＝１とする（ステップＳ４１）。グラフ構築部１３２は、ｉ番目の画像を選択する（ステップＳ４２）。グラフ構築部１３２は、グラフデータ記憶部１２４のグラフデータを参照し、画像ｉと画像ｉ＋１との間に既存エッジがないかを判定する（ステップＳ４３）。
【００９３】
グラフ構築部１３２は、画像ｉと画像ｉ＋１との間に既存エッジがないと判定した場合（ステップＳ４３：Ｙｅｓ）、画像ｉと画像ｉ＋１との間に重み１のエッジを生成する
（ステップＳ４４）。グラフ構築部１３２は、生成したエッジとノードとの関係は、グラフデータ記憶部１２４に記録する。
【００９４】
そして、グラフ構築部１３２は、画像ｉと画像ｉ＋１との間に既存エッジがあると判定した場合（ステップＳ４３：Ｎｏ）、または、ステップＳ４４の処理後、ｉがＮ−１に等しいか否かを判定する（ステップＳ４５）。グラフ構築部１３２は、ｉがＮ−１に等しくないと判定した場合（ステップＳ４５：Ｎｏ）、ｉ＝ｉ＋１とし（ステップＳ４６）、ステップＳ４２に戻り、次の画像に対する処理を継続する。これに対し、グラフ構築部１３２は、ｉがＮ−１に等しいと判定した場合（ステップＳ４５：Ｙｅｓ）、処理対象のＮ枚の画像に対する処理が終了したものとし、エッジ追加処理を終了する。
【００９５】
［かすれ有無推定処理の処理手順］
次に、かすれ有無推定処理の処理手順について説明する。図２６は、図２１に示すかすれ有無推定処理（ステップＳ３）の処理手順を示すフローチャートである。
【００９６】
まず、かすれ有無推定部１３３は、教師データ記憶部１２２の教師データを読み込む（ステップＳ５１）。続いて、かすれ有無推定部１３３は、記憶部１２のグラフデータ記憶部１２４のグラフデータを読み込む（ステップＳ５２）。
【００９７】
そして、かすれ有無推定部１３３は、教師データに示されたかすれの有無（ラベル）が既知のノード（路面画像）から、他の未定のラベルのノードのラベルを推定するために、参照したグラフ上で半教師つき学習であるラベル伝播処理を行う（ステップＳ５３）。これによって、かすれ有無推定部１３３は、かすれの有無（ラベル）が不明である路面画像（ノード）のかすれの有無（ラベル）を推定でき、推定結果データを作成し（ステップＳ５４）、推定結果データ記憶部１２５に記録する。なお、ラベル伝搬処理では、市販のツールやＯＳＳ（Open  Source  Software）等の既存ツールの使用が可能である。
【００９８】
［実施の形態の効果］
このように、本実施の形態に係るかすれ有無推定サーバ１０は、路面画像、路面画像間の関係性及び、白線かすれの有無を示す既知のデータを用いてグラフを構築し、このグラフ上でラベル伝播処理を行うことによって、かすれの有無が示されていない路面画像のかすれの有または無を推定する。すなわち、本実施の形態では、ラベルが既知のノード（教師データ）から、他の未定のラベルのノードのラベルを推定する、半教師つき学習を行うことによって、かすれの有無が示されていない路面画像のかすれの有または無を推定するため、全ての路面画像を検査者が確認せずともよい。
【００９９】
また、本実施の形態では、白線のかすれ度合いを示す特徴量ｒを取得する際に、路面画像の白線の太さに応じて特徴量ｒを計算する。言い換えると、本実施の形態では、かすれ無の路面画像の特徴量が白線の幅によらず同値になるように、白線が占める白線領域の画素数、白線領域の境界に位置する画素数及び白線の幅を用いて、特徴量ｒを計算する。このため、本実施の形態によれば、かすれ度合いが白線の太さに影響を受けず、適切に特徴量ｒを求めることができ、グラフ構築の処理の適正化の向上も図ることができる。
【０１００】
そして、本実施の形態では、走行する車両のカメラから連続的に撮影する場合を想定しているため、撮像順序の所定範囲に複数の路面画像がある場合、この複数の路面画像に対応するノード間にエッジを追加して生成している。したがって、本実施の形態によれば、物理的に近い場所の路面状態が似ているという関係性を考慮して、グラフ構築を行っているため、教師データが少なくとも、かすれの有無の推定精度を高めることができる。
【０１０１】
したがって、本実施の形態によれば、少ない教師データから路面画像に含まれる白線の有無を高精度に検出することができる。
【０１０２】
［システム構成等］
図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【０１０３】
また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部又は一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【０１０４】
［プログラム］
図２７は、プログラムが実行されることにより、かすれ有無推定サーバ１０が実現されるコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。
【０１０５】
メモリ１０１０は、ＲＯＭ（Read  Only  Memory）１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic  Input  Output  System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。
【０１０６】
ハードディスクドライブ１０９０は、例えば、ＯＳ（Operating  System）１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、かすれ有無推定サーバ１０の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、かすれ有無推定サーバ１０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid  State  Drive）により代替されてもよい。
【０１０７】
また、上述した実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して実行する。
【０１０８】
なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local  Area  Network）、ＷＡＮ（wide  area  network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
【０１０９】
以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例及び運用技術等は全て本発明の範疇に含まれる。
【符号の説明】
【０１１０】
１  かすれ有無推定システム
２  通信ネットワーク
３  撮像装置
１０  かすれ有無推定サーバ
１１  通信部
１２  記憶部
１３  制御部
１４  入力部
１５  出力部
１２１  路面画像データ記憶部
１２２  教師データ記憶部
１２３  特徴量データ記憶部
１２４  グラフデータ記憶部
１２５  推定結果データ記憶部
１３１  特徴量計算部
１３２  グラフ構築部
１３３  かすれ有無推定部
【図１】
2019028939.tif 000009
【図２】
2019028939.tif 000010
【図３】
2019028939.tif 000011
【図４】
2019028939.tif 000012
【図５】
2019028939.tif 000013
【図６】
2019028939.tif 000014
【図７】
2019028939.tif 000015
【図８】
2019028939.tif 000016
【図９】
2019028939.tif 000017
【図１０】
2019028939.tif 000018
【図１１】
2019028939.tif 000019
【図１２】
2019028939.tif 000020
【図１３】
2019028939.tif 000021
【図１４】
2019028939.tif 000022
【図１５】
2019028939.tif 000023
【図１６】
2019028939.tif 000024
【図１７】
2019028939.tif 000025
【図１８】
2019028939.tif 000026
【図１９】
2019028939.tif 000027
【図２０】
2019028939.tif 000028
【図２１】
2019028939.tif 000029
【図２２】
2019028939.tif 000030
【図２３】
2019028939.tif 000031
【図２４】
2019028939.tif 000032
【図２５】
2019028939.tif 000033
【図２６】
2019028939.tif 000034
【図２７】
2019028939.tif 000035