(57)【要約】      （修正有）【課題】入力イメージから車線を検出する際に、演算量の少ない、車線を正確に検出する、車線モデルを学習するためのＣＮＮを利用した学習方法及び装置を提供する。【解決手段】車線学習方法は、入力イメージからコンボリューション演算により特徴マップを生成し、特徴マップからクラスターＩＤ分類の結果ベクトルを生成し、ＦＣレイヤによりクラスターＩＤ分類の結果ベクトルを生成し、ロスレイヤによりクラスターＩＤ分類の結果ベクトル及びクラスターＩＤＧＴベクトルから分類ロスを生成し、分類ロスをバックプロパゲーションし、ＣＮＮの装置パラメータを最適化する。クラスターＩＤＧＴベクトルは、入力イメージ内の車線の情報から得た関数パラメータをクラスタリングし、車線モデリング関数の関数パラメータに付与された各クラスターグループのクラスターＩＤである確率に対するＧＴ情報である。【選択図】図４
2020038660.tif 000002
【特許請求の範囲】
【請求項１】
ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を利用して少なくとも一つの車線を検出するための学習方法において、
（ａ）学習装置が、一つのコンボリューションレイヤをもって、少なくとも一つのイメージデータセットから選択された入力イメージに対して一回以上コンボリューション演算を適用して少なくとも一つの特徴マップを生成する段階；
（ｂ）前記学習装置が、ＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤをもって、前記コンボリューションレイヤから出力された前記特徴マップの中の特定の特徴マップを前記ＦＣレイヤに提供して、前記入力イメージ内の前記車線のクラスターＩＤ分類の予測結果ベクトルを生成する段階；及び
（ｃ）前記学習装置が、ロスレイヤをもって、前記クラスターＩＤ分類の前記予測結果ベクトル及びクラスターＩＤＧＴベクトルを参照にして、少なくとも一つの分類ロスを生成し、前記分類ロスをバックプロパゲーションして、前記ＣＮＮの装置パラメータ（ｄｅｖｉｃｅ  ｐａｒａｍｅｔｅｒｓ）を最適化する段階；
を含み、
前記クラスターＩＤＧＴベクトルは、前記入力イメージ内の前記車線の情報をもとに取得された関数パラメータをクラスタリングして、車線モデリング関数の前記関数パラメータに付与されたクラスターグループそれぞれのクラスターＩＤである確率に対するＧＴ（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）情報であることを特徴とする学習方法。
【請求項２】
前記クラスターＩＤＧＴベクトルは、Ｋ＋１ディメンションを有するベクトルであり、（ｉ）前記入力イメージ上に前記車線が存在すると判断された場合、前記入力イメージの前記車線の中で、前記Ｋ個のクラスターＩＤの中の特定クラスターＩＤであるＣｋに属する特定車線が存在すれば、前記クラスターＩＤＧＴベクトルのｋ番目のディメンションは１が割り当てられ、前記クラスターＩＤの中で、前記入力イメージに存在しない他のクラスターＩＤそれぞれに対応する前記クラスターＩＤＧＴベクトルの他のディメンションは０が割り当てられ、前記クラスターＩＤＧＴベクトルのＫ＋１番目のディメンションは０が割り当てられ、（ｉｉ）前記入力イメージ上に前記車線が存在しないと判断されれば、前記クラスターＩＤＧＴベクトルの１ないしＫ番目のディメンションは０が割り当てられ、前記クラスターＩＤＧＴベクトルの前記Ｋ＋１番目のディメンションは１が割り当てられ、
ｋは１ないしＫの整数であり、
前記（ｃ）段階で、
前記クラスターＩＤ分類の前記予測結果ベクトルは、Ｋ＋１ディメンションを有するベクトルであることを特徴とする請求項１に記載の学習方法。
【請求項３】
前記それぞれの車線（Ｌｉ，ｊ）が前記クラスターグループの中で自身と対応する一つのクラスターグループ（Ｃｋ）にそれぞれ含まれ、前記車線（Ｌｉ，ｊ）それぞれと対応する前記クラスターＩＤに含まれたそれぞれのクラスターＩＤをｋと表示した状態で、
前記各クラスターグループは、前記各クラスターグループに含まれる前記各車線の前記関数パラメータに対するそれぞれの平均値
【数１】
2020038660.tif 000011
を各クラスターグループ代表値（θｋ）として有し、
前記学習方法は、
（ｄ）前記学習装置が、前記予測されたクラスターＩＤそれぞれに対応する前記クラスターグループ代表値各々を生成するか、他の装置をもって生成するように支援し、前記クラスターグループ代表値（θｋ）それぞれによって表現された前記予測車線それぞれを決定するか、他の装置をもって決定するように支援する段階；
をさらに含むことを特徴とする請求項２に記載の学習方法。
【請求項４】
前記クラスターグループ代表値それぞれは、前記予測されたクラスターＩＤの中の少なくとも一部を利用して算出され、前記予測されたクラスターＩＤの前記少なくとも一部は、前記結果ベクトルの各ベクトル成分が予め設定された値より大きいか否かに対する情報を参照にして決定されることを特徴とする請求項３に記載の学習方法。
【請求項５】
（ｅ）前記学習装置が、前記ＧＴ車線のいずれか一つの車線の座標が、前記予測車線の各々の座標からｘ軸に平行な両方の任意の方向へ所定のピクセル数以内の領域に存在するか否かを基に、前記それぞれの予測車線の周囲に、前記ＧＴ車線のいずれかが存在するかを示す、少なくとも一つのイグジステンスロス（ｅｘｉｓｔｅｎｃｅ  ｌｏｓｓ）を算出するか、他の装置をもって算出するように支援する段階；
（ｆ）前記学習装置が、前記予測車線の周辺それぞれに前記ＧＴ車線のいずれかが識別される場合、前記各予測車線の各々のピクセル（ｆ（ｙ｜θｋ），ｙ）と前記各予測車線にそれぞれ対応する前記ＧＴ車線の各々のピクセル（ｘＧＴ，ｙ）との各距離の差（ｘＧＴ−ｆ（ｙ｜θｋ））を参照して、少なくとも一つの距離レッションロスを算出するか、他の装置をもって獲得するように支援する段階；
（ｇ）前記学習装置が、前記イグジステンスロス及び前記距離リグレッションロスをバックプロパゲーションするか、他の装置をもってバックプロパゲーションするように支援して、前記ＣＮＮの前記装置パラメータを最適化する段階；
をさらに含むことを特徴とする請求項３に記載の学習方法。
【請求項６】
前記（ｅ）段階以前に、
（ｅ０）前記学習装置が、前記それぞれの予測車線の前記ピクセル（ｆ（ｙ｜θｋ），ｙ）周辺のそれぞれの領域を示す、少なくとも一つの領域フィーチャー（ａｒｅａｌ  ｆｅａｔｕｒｅｓ）それぞれを前記特定の特徴マップから抽出するか、他の装置をもって抽出するよう支援する段階；
をさらに含み、
前記抽出された領域フィーチャーを基に前記イグジステンスロス及び前記距離リグレッションロスを算出することを特徴とする請求項５に記載の学習方法。
【請求項７】
前記（ｅ）段階で、
前記イグジステンスロスは、クロスエントロピーを利用して算出し、
前記（ｆ）段階で、
前記距離リグレッションロスは、少なくとも一つのユークリッド距離リグレッションロスを利用して算出することを特徴とする請求項５に記載の学習方法。
【請求項８】
車線モデル（ｌａｎｅ  ｍｏｄｅｌ）を利用して少なくとも一つの車線を検出し得るＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）のテスト方法において、
（ａ）前記ＣＮＮを利用する学習装置が、（ｉ）一つ以上のコンボリューションレイヤをもって、少なくとも一つの学習用イメージデータセットから選択された学習用入力イメージに対して一回以上のコンボリューション演算を適用して、一つ以上の学習用特徴マップを生成するプロセス；（ｉｉ）ＦＣレイヤをもって、前記コンボリューションレイヤから出力された前記学習用特徴マップの中の学習用特定特徴マップを前記ＦＣレイヤに提供して、前記学習用入力イメージ内の前記車線の学習用クラスターＩＤ分類の予測結果ベクトルを生成し、ロスレイヤをもって前記学習用クラスターＩＤ分類の前記予測結果ベクトル及びクラスターＩＤＧＴベクトルを参照にして、少なくとも一つの分類ロスを生成するプロセス；（ｉｉｉ）予測された学習用クラスターＩＤそれぞれに対応する学習用クラスターグループ代表値（θｋ）それぞれを生成し、前記学習用クラスターグループ代表値それぞれによって表現された学習用予測車線それぞれを決定するプロセス；（ｉｖ）ＧＴ車線のいずれか一つの車線の座標が、前記学習用予測車線の各々の座標からｘ軸に平行な両方の任意の方向へ所定のピクセル数以内の領域に存在するか否かを基に、前記それぞれの学習用予測車線の周囲に前記ＧＴ車線のいずれかが存在するかを示す、少なくとも一つのイグジステンスロス（ｅｘｉｓｔｅｎｃｅ  ｌｏｓｓ）を算出するプロセス；（ｖ）前記学習用予測車線のそれぞれの周辺に前記ＧＴ車線のいずれかが識別される場合、前記学習用予測車線のそれぞれのピクセル（ｆ（ｙ｜θｋ），ｙ）と前記各予測車線にそれぞれ対応する前記ＧＴ車線のそれぞれのピクセル（ｘＧＴ，ｙ）との各距離の差（ｘＧＴ−ｆ（ｙ｜θｋ））を参照して少なくとも一つの距離リグレッションロスを算出するプロセス；（ｖｉ）前記分類ロス、前記イグジステンスロス及び前記距離リグレッションロスをバックプロパゲーションして、前記ＣＮＮの前記装置パラメータを最適化するプロセス；を経て学習された学習装置のパラメータが取得された状態で、前記学習装置のパラメータを利用したテスト装置が、テストイメージを取得するか、他の装置をもって取得するように支援する段階；
（ｂ）前記テスト装置が、前記テストイメージに対して、コンボリューション演算を適用して、少なくとも一つのテスト用特徴マップを生成するか、他の装置をもって取得するように支援する段階；
（ｃ）前記テスト装置が、前記テスト用特徴マップの中の特定のテスト用特徴マップを前記ＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤに提供して、前記ＦＣレイヤをもって、前記テストイメージ内の前記車線のテスト用クラスターＩＤ分類の結果ベクトル（前記テスト用クラスターＩＤ分類の結果ベクトルは、前記車線それぞれに対して予測されたテスト用クラスターＩＤを少なくとも一つ以上含むものである）を生成する段階；及び
（ｄ）前記テスト装置が、前記予測されたテスト用クラスターＩＤそれぞれに対応する前記テスト用クラスターグループ代表値（θｋ）それぞれを生成し、前記テスト用クラスターグループ代表値それぞれによって前記車線の各形状が表現された前記予測されたテスト用車線それぞれを決定する段階；
を含み、
前記クラスターＩＤＧＴベクトルは、前記学習用入力イメージ内の前記車線の情報を基に取得された関数パラメータをクラスタリングして、車線モデリング関数の前記関数パラメータに付与されたクラスターグループそれぞれの学習用クラスターＩＤである確率に対するＧＴ情報であり、
前記それぞれの車線（Ｌｉ，ｊ）は、前記テスト用クラスターグループの中の自身と対応する一つのテスト用クラスターグループ（Ｃｋ）にそれぞれ含まれ、前記車線（Ｌｉ，ｊ）それぞれと対応する前記テスト用クラスターＩＤをそれぞれｋ（ｋは、１ないしＫの間の値）と示した状態で、前記それぞれのテスト用クラスターグループは、前記テスト用各クラスターグループに含まれている前記各車線の前記関数パラメータに対するそれぞれの平均値
【数２】
2020038660.tif 000012
をテスト用各クラスターグループ代表値（θｋ）として有することを特徴とするテスト方法。
【請求項９】
（ｅ）前記テスト装置が、前記テスト用それぞれの予測車線の前記ピクセル（ｆ（ｙ｜θｋ），ｙ）周辺のそれぞれの領域を示す少なくとも一つの領域フィーチャー（ａｒｅａｌ  ｆｅａｔｕｒｅｓ）それぞれを前記特定のテスト用特徴マップから抽出するか、他の装置をもって抽出するように支援する段階；
（ｆ）前記テスト装置が、前記テスト用予測車線のそれぞれの座標からｘ軸に平行な方向へ所定ピクセル数以内の領域に実際の車線の座標が存在するかを基に、前記実際の車線の中の一つが前記それぞれのテスト用予測車線周辺に存在するかを判断し、前記実際の車線の中の一つが周りに存在するならば、前記実際の車線の中の一つの座標と前記テスト用予測車線座標との間の距離それぞれを計算するか、他の装置をもって計算するように支援する段階；及び
（ｇ）前記テスト装置が、前記テスト用予測車線を前記距離のそれぞれの分だけ移動して、移動したテスト用予測車線を決定するか、他の装置をもって決定するように支援する段階；
をさらに含むことを特徴とする請求項８に記載のテスト方法。
【請求項１０】
前記（ｄ）段階は、
前記テスト用クラスターグループ代表値それぞれは、前記予測されたテスト用クラスターＩＤ分類の前記結果ベクトルのうち、各ベクトル成分が予め設定してある値より大きいか否かに対する情報を参照にして決定された、前記予測されたテスト用クラスターＩＤの少なくとも一部を利用して、前記テスト用クラスターグループ代表値それぞれを取得することを特徴とする請求項８に記載のテスト方法。
【請求項１１】
ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を利用して少なくとも一つの車線を検出するための学習装置において、
少なくとも一つのイメージデータセットから選択された入力イメージを獲得するか、他の装置をもって獲得するように支援する通信部；及び
（ｉ）一つのコンボリューションレイヤをもって、前記入力イメージに対して一回以上のコンボリューション演算を適用して少なくとも一つの特徴マップを生成するプロセス、（ｉｉ）ＦＣレイヤをもって、前記コンボリューションレイヤから出力された前記特徴マップの中の特定の特徴マップを前記ＦＣレイヤに提供して、前記入力イメージ内の前記車線のクラスターＩＤ分類の予測結果ベクトルを生成にするプロセス、（ｉｉｉ）ロスレイヤをもって、前記クラスターＩＤ分類の前記予測結果ベクトル及びクラスターＩＤＧＴベクトルを参照にして、少なくとも一つの分類ロスを生成し、前記分類ロスをバックプロパゲーションして、前記ＣＮＮの装置パラメータ（ｄｅｖｉｃｅ  ｐａｒａｍｅｔｅｒｓ）を最適化するプロセスを遂行するプロセッサ；を含み、
前記クラスターＩＤＧＴベクトルは、前記入力イメージ内の前記車線の情報を基に取得された関数パラメータをクラスタリングして、車線モデリング関数の前記関数パラメータに付与されたクラスターグループそれぞれのクラスターＩＤである確率に対するＧＴ情報であることを特徴とする学習装置。
【請求項１２】
前記クラスターＩＤＧＴベクトルは、Ｋ＋１ディメンションを有するベクトルであり、（Ｉ）前記入力イメージ上に前記車線が存在すると判断された場合、前記入力イメージの前記車線の中で、前記Ｋ個のクラスターＩＤの中の特定クラスターＩＤであるＣｋに属する特定車線が存在すれば、前記クラスターＩＤＧＴベクトルのｋ番目のディメンションは１が割り当てられ、前記クラスターＩＤの中で、前記入力イメージに存在しない他のクラスターＩＤそれぞれに対応する前記クラスターＩＤＧＴベクトルの他のディメンションは０が割り当てられ、前記クラスターＩＤＧＴベクトルのＫ＋１番目のディメンションは０が割り当てられ、（ＩＩ）前記入力イメージ上に前記車線が存在しないと判断されれば、前記クラスターＩＤＧＴベクトルの１ないしＫ番目のディメンションは０が割り当てられ、前記クラスターＩＤＧＴベクトルの前記Ｋ＋１番目のディメンションは１が割り当てられ、
ｋは１ないしＫの整数であり、
前記（ｉｉｉ）プロセスで、
前記クラスターＩＤ分類の前記予測結果ベクトルは、Ｋ＋１ディメンションを有するベクトルであることを特徴とする請求項１１に記載の学習装置。
【請求項１３】
前記それぞれの車線（Ｌｉ，ｊ）が前記クラスターグループの中で自身と対応する一つのクラスターグループ（Ｃｋ）にそれぞれ含まれ、前記車線（Ｌｉ，ｊ）それぞれと対応する前記クラスターＩＤに含まれたそれぞれのクラスターＩＤをｋと表示した状態で、
前記各クラスターグループは、前記各クラスターグループに含まれる前記各車線の前記関数パラメータに対するそれぞれの平均値
【数３】
2020038660.tif 000013
を各クラスターグループ代表値（θｋ）として有し、
前記プロセッサは、
（ｉｖ）前記予測されたクラスターＩＤそれぞれに対応する前記クラスターグループ代表値各々を生成するか、他の装置をもって生成するように支援し、前記クラスターグループ代表値（θｋ）それぞれによって表現された前記予測車線それぞれを決定するか、他の装置をもって決定するように支援するプロセス
をさらに遂行することを特徴とする請求項１２に記載の学習装置。
【請求項１４】
前記クラスターグループ代表値それぞれは、前記予測されたクラスターＩＤの中の、少なくとも一部を利用して算出され、前記予測されたクラスターＩＤの前記少なくとも一部は、前記結果ベクトルの各ベクトル成分が予め設定された値より大きいか否かに対する情報を参照して決定されることを特徴とする請求項１３に記載の学習装置。
【請求項１５】
前記プロセッサは、
（ｖ）前記ＧＴ車線のいずれか一つの車線の座標が、前記予測車線の各々の座標からｘ軸に平行な両方の任意の方向へ所定のピクセル数以内の領域に存在するか否かを基に、前記それぞれの予測車線の周囲に、前記ＧＴ車線のいずれかが存在するかを示す、少なくとも一つのイグジステンスロス（ｅｘｉｓｔｅｎｃｅ  ｌｏｓｓ）を算出するか、他の装置をもって算出するように支援するプロセス；
（ｖｉ）前記予測車線それぞれの周辺に前記ＧＴ車線のいずれかが識別される場合、前記各予測車線の各々のピクセル（ｆ（ｙ｜θｋ），ｙ）と前記各予測車線にそれぞれ対応する前記ＧＴ車線の各々のピクセル（ｘＧＴ，ｙ）との各距離の差（ｘＧＴ−ｆ（ｙ｜θｋ））を参照して、少なくとも一つの距離レッションロスを算出するか、他の装置をもって獲得するように支援するプロセス；
（ｖｉｉ）前記イグジステンスロス及び前記距離リグレッションロスをバックプロパゲーションするか、他の装置をもってバックプロパゲーションするように支援して、前記ＣＮＮの前記装置パラメータを最適化するプロセス；
をさらに遂行することを特徴とする請求項１３に記載の学習装置。
【請求項１６】
前記（ｖ）プロセス以前に、
（ｖ０）前記それぞれの予測車線の前記ピクセル（ｆ（ｙ｜θｋ），ｙ）周辺のそれぞれの領域を示す、少なくとも一つの領域フィーチャー（ａｒｅａｌ  ｆｅａｔｕｒｅｓ）それぞれを前記特定の特徴マップから抽出するか、他の装置をもって抽出できるよう支援するプロセスをさらに遂行し、
前記抽出された領域フィーチャーを基に前記イグジステンスロス及び前記距離リグレッションロスを算出することを特徴とする請求項１５に記載の学習装置。
【請求項１７】
前記（ｖ）プロセスで、
前記イグジステンスロスは、クロスエントロピーを利用して算出し、
前記（ｖｉ）プロセスで、
前記距離リグレッションロスは、少なくとも一つのユークリッド距離リグレッションロスを利用して算出することを特徴とする請求項１５に記載の学習装置。
【請求項１８】
車線モデル（ｌａｎｅ  ｍｏｄｅｌ）を利用して少なくとも一つの車線を検出し得るＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）のテスト装置において、
（Ｉ）前記ＣＮＮを利用する学習装置が、（ｉ）一つ以上のコンボリューションレイヤをもって、少なくとも一つの学習用イメージデータセットから選択された学習用入力イメージに対して一回以上のコンボリューション演算を適用して、一つ以上の学習用特徴マップを生成するプロセス；（ｉｉ）ＦＣレイヤをもって、前記コンボリューションレイヤから出力された前記学習用特徴マップの中の学習用特定の特徴マップを前記ＦＣレイヤに提供して、前記学習用入力イメージ内の前記車線の学習用クラスターＩＤ分類の予測結果ベクトルを生成し、ロスレイヤをもって、前記学習用クラスターＩＤ分類の前記予測結果ベクトル及びクラスターＩＤＧＴベクトルを参照にして、少なくとも一つの分類ロスを生成するプロセス；（ｉｉｉ）予測された学習用クラスターＩＤそれぞれに対応する学習用クラスターグループ代表値（θｋ）それぞれを生成し、前記学習用クラスターグループ代表値それぞれによって表現された学習用予測車線それぞれを決定するプロセス；（ｉｖ）ＧＴ車線のいずれか一つの車線の座標が、前記学習用予測車線の各々の座標からｘ軸に平行な両方の任意の方向へ所定のピクセル数以内の領域に存在するか否かをもとに、前記それぞれの学習用予測車線の周囲に前記ＧＴ車線のいずれかが存在するかを示す、少なくとも一つのイグジステンスロス（ｅｘｉｓｔｅｎｃｅ  ｌｏｓｓ）を算出するプロセス；（ｖ）前記学習用予測車線のそれぞれの周辺に前記ＧＴ車線のいずれかが識別される場合、前記学習用予測車線のそれぞれのピクセル（ｆ（ｙ｜θｋ），ｙ）と前記各予測車線にそれぞれ対応する前記ＧＴ車線のそれぞれのピクセル（ｘＧＴ，ｙ）との各距離の差（ｘＧＴ−ｆ（ｙ｜θｋ））を参照して少なくとも一つの距離リグレッションロスを算出するプロセス；（ｖｉ）前記分類ロス、前記イグジステンスロス及び前記距離リグレッションロスをバックプロパゲーションして、前記ＣＮＮの前記装置パラメータを最適化するプロセス；を経て学習された学習装置のパラメータが取得された状態で、テストイメージを取得するか、他の装置をもって取得するように支援する通信部；及び
（ＩＩ）前記テストイメージに対して、コンボリューション演算を適用して、少なくとも一つのテスト用特徴マップを生成するか、他の装置をもって取得するように支援するプロセス、（ＩＩＩ）前記テスト用特徴マップの中の特定のテスト用特徴マップを前記ＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤに提供して、前記ＦＣレイヤをもって、テスト用前記テストイメージ内の前記車線のテスト用クラスターＩＤ分類の結果ベクトル（前記テスト用クラスターＩＤ分類の結果ベクトルは、前記車線それぞれに対して予測されたテスト用クラスターＩＤを少なくとも一つ以上含むものである）を生成するプロセス、及び（ＩＶ）前記予測されたテスト用クラスターＩＤそれぞれに対応する前記テスト用クラスターグループ代表値（θｋ）それぞれを生成し、前記テスト用クラスターグループ代表値それぞれによって前記車線の各形状が表現された前記予測されたテスト用車線それぞれを決定するプロセッサ；
を含み、
前記クラスターＩＤＧＴベクトルは、前記学習用入力イメージ内の前記車線の情報を基に取得された関数パラメータをクラスタリングして、車線モデリング関数の前記関数パラメータに付与されたクラスターグループそれぞれの学習用クラスターＩＤである確率に対するＧＴ情報であり、
前記それぞれの車線（Ｌｉ，ｊ）は、前記テスト用クラスターグループの中の自身と対応する一つのテスト用クラスターグループ（Ｃｋ）にそれぞれ含まれ、前記車線（Ｌｉ，ｊ）それぞれと対応する前記テスト用クラスターＩＤをそれぞれｋ（ｋは、１ないしＫの間の値）と示した状態で、前記それぞれのテスト用クラスターグループは、前記テスト用各クラスターグループに含まれている前記各車線の前記関数パラメータに対するそれぞれの平均値
【数４】
2020038660.tif 000014
をテスト用各クラスターグループ代表値（θｋ）として有することを特徴とするテスト装置。
【請求項１９】
前記プロセッサは、
（Ｖ）前記それぞれのテスト用予測車線の前記ピクセル（ｆ（ｙ｜θｋ），ｙ）周辺のそれぞれの領域を示す少なくとも一つの領域フィーチャー（ａｒｅａｌ  ｆｅａｔｕｒｅｓ）それぞれを前記特定のテスト用特徴マップから抽出するか、他の装置をもって抽出できるよう支援するプロセス；
（ＶＩ）前記テスト用予測車線のそれぞれの座標からｘ軸に平行な方向へ所定ピクセル数以内の領域に実際の車線の座標が存在するかを基に、前記実際の車線の中の一つが前記それぞれのテスト用予測車線周辺に存在するかを判断し、前記実際の車線の中の一つが周りに存在するならば、前記実際の車線の中の一つの座標と前記テスト用予測車線座標との間の距離それぞれを計算するか、他の装置をもって計算するように支援するプロセス；及び
（ＶＩＩ）前記テスト用予測車線を前記距離のそれぞれの分だけ移動して、移動したテスト用予測車線を決定するか、他の装置をもって決定するように支援するプロセス；
をさらに遂行することを特徴とする請求項１８に記載のテスト用装置。
【請求項２０】
前記（ＩＶ）プロセスで、
前記テスト用クラスターグループ代表値それぞれは、前記予測されたテスト用クラスターＩＤ分類の前記結果ベクトルのうち、各ベクトル成分が予め設定してある値より大きいか否かに対する情報を参照にして決定された、前記予測されたテスト用クラスターＩＤの少なくとも一部を利用して、前記テスト用クラスターグループ代表値それぞれを取得することを特徴とする請求項１８に記載のテスト用装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を利用して少なくとも一つの車線を検出するための学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置に関する。より詳しくは、（ａ）学習装置が、一つのコンボリューションレイヤをもって、少なくとも一つのイメージデータセットから選択された入力イメージに対して一回以上コンボリューション演算を適用して少なくとも一つの特徴マップを生成する段階；（ｂ）前記学習装置が、ＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤをもって、前記コンボリューションレイヤから出力された前記特徴マップの中から特定の特徴マップを前記ＦＣレイヤに提供し、前記入力イメージ内の前記車線のクラスターＩＤ分類の予測結果ベクトルを生成する段階；及び（ｃ）前記学習装置が、ロスレイヤをもって、前記クラスターＩＤ分類の前記予測結果ベクトル及びクラスターＩＤＧＴベクトルを参照にして、少なくとも一つの分類ロスを生成し、前記分類ロスをバックプロパゲーションし、前記ＣＮＮの装置パラメータ（ｄｅｖｉｃｅ  ｐａｒａｍｅｔｅｒｓ）を最適化する段階；を含み、前記クラスターＩＤＧＴベクトルは、前記入力イメージ内の前記車線の情報をもとに取得された関数パラメータをクラスタリングし、車線モデリング関数の前記関数パラメータに付与されたクラスターグループそれぞれのクラスターＩＤである確率に対するＧＴ（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）情報であることを特徴とする学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置に関する。
【背景技術】
【０００２】
ディープラーニング（Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ）は、モノやデータを群集化・分類するのに用いられる技術である。例えば、コンピュータは写真だけで犬と猫を区別することができない。しかし、人はとても簡単に区別できる。このため「機械学習（Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ）」という方法が考案された。多くのデータをコンピュータに入力し、類似したものを分類するようにする技術である。格納されている犬の写真と似たような写真が入力されると、これを犬の写真だとコンピュータが分類するようにしたのである。
【０００３】
データをいかに分類するかをめぐり、すでに多くの機械学習アルゴリズムが登場した。「決定木」や「ベイジアンネットワーク」「サポートベクターマシン（ＳＶＭ）」「人工神経網」などが代表的だ。このうち、ディープラーニングは人工神経網の後裔だ。
【０００４】
ディープコンボリューションニューラルネットワーク（Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ；ＤｅｅｐＣＮＮｓ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮｓは、文字の認識問題を解くために９０年代にすでに使われたが、現在のように広く使われるようになったのは最近の研究結果のおかげだ。このようなディープＣＮＮは２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そして、コンボリューションニューラルネットワークは機械学習分野で非常に有用なツールとなった。
【０００５】
図１は従来技術でディープＣＮＮを利用して、写真から取得しようとする多様な出力の例を示す。
【０００６】
具体的に、分類（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）は、写真から識別しようとするクラス（Ｃｌａｓｓ）の種類、例えば、図１に示されているように、取得された物体が人か、羊か、犬かを識別する検出方法であり、検出（Ｄｅｔｅｃｔｉｏｎ）は写真から検出しようとするすべてのクラスの物体を、それぞれバウンディングボックス（Ｂｏｕｎｄｉｎｇ  Ｂｏｘ）に囲まれた形態で表示する方法であり、セグメンテーション（Ｓｅｇｍｅｎｔａｔｉｏｎ）は、写真で特定の物体の領域を他の物体と区分する方法である。最近、ディープラーニング（Ｄｅｅｐ  ｌｅａｒｎｉｎｇ）技術が脚光を浴び、分類、検出、セグメンテーションもディープラーニングを多く利用する傾向にある。
【０００７】
図２は、ＣＮＮを利用した従来の車線検出方法を簡略的に示した図面であり、図３は、一般的なＣＮＮセグメンテーションプロセスを簡略的に示した図面である。
【０００８】
まず、図３を参照すれば、従来の車線検出方法では、学習装置が、入力イメージの入力を受けて、複数のコンボリューションレイヤでコンボリューション演算とＲｅＬＵなどの非線形演算を複数回遂行して特徴マップを取得し、この特徴マップに対してデコンボリューションレイヤでデコンボリューション演算を複数回行い、ソフトマックス（ＳｏｆｔＭａｘ）演算を行ってセグメンテーションの結果を得る。
【０００９】
また、図２を参照すれば、従来技術での車線の検出のためのセグメンテーションラベルの結果は、図２の中間に図示されているように、車線（ｌａｎｅ）と背景（ｂａｃｋｇｒｏｕｎｄ）２つで構成される。このような車線に対するセグメンテーション結果は、確率推定（Ｐｒｏｂａｂｉｌｉｔｙ  Ｅｓｔｉｍａｔｉｏｎ）と出る。このように算出された車線候補ピクセルの中から車線である確率の高いピクセルをサンプリングして車線を探した後、探した車線ピクセルを基に取得された車線モデル関数を利用して最終的な車線を決定する。
【００１０】
しかし、このような従来の車線検出方法は、入力イメージ内の全てのピクセルにおいて該当ピクセルが車線であるか否かを区別しなければならず、演算量が多いという問題点がある。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明は、前述した全ての問題点を解決することを目的とする。
【００１２】
本発明の他の目的は、入力イメージから車線を検出する際に従来技術の方法より演算量の少ない方法を提供することを目的とする。
【００１３】
また、本発明のまた他の目的は、車線モデルを学習し得るＣＮＮ学習方法を提供することを目的とする。
【００１４】
また、本発明のまた他の目的は、車線モデルを利用して車線を正確に検出する方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明の一態様によれば、 ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を利用して少なくとも一つの車線を検出するための学習方法において、（ａ）学習装置が、一つのコンボリューションレイヤをもって、少なくとも一つのイメージデータセットから選択された入力イメージに対して一回以上コンボリューション演算を適用して少なくとも一つの特徴マップを生成する段階；（ｂ）前記学習装置が、ＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤをもって、前記コンボリューションレイヤから出力された前記特徴マップの中の特定の特徴マップを前記ＦＣレイヤに提供して、前記入力イメージ内の前記車線のクラスターＩＤ分類の予測結果ベクトルを生成する段階；及び（ｃ）前記学習装置が、ロスレイヤをもって、前記クラスターＩＤ分類の前記予測結果ベクトル及びクラスターＩＤＧＴベクトルを参照にして、少なくとも一つの分類ロスを生成し、前記分類ロスをバックプロパゲーションして、前記ＣＮＮの装置パラメータ（ｄｅｖｉｃｅ  ｐａｒａｍｅｔｅｒｓ）を最適化する段階；を含み、前記クラスターＩＤＧＴベクトルは、前記入力イメージ内の前記車線の情報をもとに取得された関数パラメータをクラスタリングして、車線モデリング関数の前記関数パラメータに付与されたクラスターグループそれぞれのクラスターＩＤである確率に対するＧＴ（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）情報であることを特徴とする学習方法が提供される。
【００１６】
一例として、前記クラスターＩＤＧＴベクトルは、Ｋ＋１ディメンションを有するベクトルであり、（ｉ）前記入力イメージ上に前記車線が存在すると判断された場合、前記入力イメージの前記車線の中で、前記Ｋ個のクラスターＩＤの中の特定クラスターＩＤであるＣｋに属する特定車線が存在すれば、前記クラスターＩＤＧＴベクトルのｋ番目のディメンションは１が割り当てられ、前記クラスターＩＤの中で前記入力イメージに存在しない他のクラスターＩＤそれぞれに対応する前記クラスターＩＤＧＴベクトルの他のディメンションは０が割り当てられ、前記クラスターＩＤＧＴベクトルのＫ＋１番目のディメンションは０が割り当てられ、（ｉｉ）前記入力イメージ上に前記車線が存在しないと判断されれば、前記クラスターＩＤＧＴベクトルの１ないしＫ番目のディメンションは０が割り当てられ、前記クラスターＩＤＧＴベクトルの前記Ｋ＋１番目のディメンションは１が割り当てられ、ｋは１ないしＫの整数であり、前記（ｃ）段階で、前記クラスターＩＤ分類の前記予測結果ベクトルは、Ｋ＋１ディメンションを有するベクトルであることを特徴とする学習方法が提供される。
【００１７】
一例として、前記それぞれの車線（Ｌｉ，ｊ）が前記クラスターグループの中で自身と対応する一つのクラスターグループ（Ｃｋ）にそれぞれ含まれ、前記車線（Ｌｉ，ｊ）それぞれと対応する前記クラスターＩＤに含まれたそれぞれのクラスターＩＤをｋと表示した状態で、前記各クラスターグループは、前記各クラスターグループに含まれる前記各車線の前記関数パラメータに対するそれぞれの平均値
【００１８】
【数１】
2020038660.tif 000003
【００１９】
を各クラスターグループ代表値（θｋ）として有し、前記学習方法は、（ｄ）前記学習装置が、前記予測されたクラスターＩＤそれぞれに対応する前記クラスターグループ代表値各々を生成するか、他の装置をもって生成するように支援し、前記クラスターグループ代表値（θｋ）それぞれによって表現された前記予測車線それぞれを決定するか、他の装置をもって決定するように支援する段階；をさらに含むことを特徴とする学習方法が提供される。
【００２０】
一例として、前記クラスターグループ代表値それぞれは、前記予測されたクラスターＩＤの中の少なくとも一部を利用して算出され、前記予測されたクラスターＩＤの前記少なくとも一部は、前記結果ベクトルの各ベクトル成分が予め設定された値より大きいか否かに対する情報を参照にして決定されることを特徴とする学習方法が提供される。
【００２１】
一例として、（ｅ）前記学習装置が、前記ＧＴ車線のいずれか一つの車線の座標が、前記予測車線の各々の座標からｘ軸に平行な両方の任意の方向へ所定のピクセル数以内の領域に存在するか否かを基に、前記それぞれの予測車線の周囲に、前記ＧＴ車線のいずれかが存在するかを示す、少なくとも一つのイグジステンスロス（ｅｘｉｓｔｅｎｃｅ  ｌｏｓｓ）を算出するか、他の装置をもって算出するように支援する段階；（ｆ）前記学習装置が、前記予測車線の周辺それぞれに前記ＧＴ車線のいずれかが識別される場合、前記各予測車線の各々のピクセル（ｆ（ｙ｜θｋ），ｙ）と前記各予測車線にそれぞれ対応する前記ＧＴ車線の各々のピクセル（ｘＧＴ，ｙ）との各距離の差（ｘＧＴ−ｆ（ｙ｜θｋ））を参照して、少なくとも一つの距離レッションロスを算出するか、他の装置をもって獲得するように支援する段階；（ｇ）前記学習装置が、前記イグジステンスロス及び前記距離リグレッションロスをバックプロパゲーションするか、他の装置をもってバックプロパゲーションするように支援して、前記ＣＮＮの前記装置パラメータを最適化する段階；をさらに含むことを特徴とする学習方法が提供される。
【００２２】
一例として、 前記（ｅ）段階以前に、（ｅ０）前記学習装置が、前記それぞれの予測車線の前記ピクセル（ｆ（ｙ｜θｋ），ｙ）周辺のそれぞれの領域を示す、少なくとも一つの領域フィーチャー（ａｒｅａｌ  ｆｅａｔｕｒｅｓ）それぞれを前記特定の特徴マップから抽出するか、他の装置をもって抽出するよう支援する段階；をさらに含み、前記抽出された領域フィーチャーを基に前記イグジステンスロス及び前記距離リグレッションロスを算出することを特徴とする学習方法が提供される。
【００２３】
一例として、前記（ｅ）段階で、前記イグジステンスロスは、クロスエントロピーを利用して算出し、前記（ｆ）段階で、前記距離リグレッションロスは、少なくとも一つのユークリッド距離リグレッションロスを利用して算出することを特徴とする学習方法が提供される。
【００２４】
本発明のまたの態様によれば、 車線モデル（ｌａｎｅ  ｍｏｄｅｌ）を利用して少なくとも一つの車線を検出し得るＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）のテスト方法において、（ａ）前記ＣＮＮを利用する学習装置が、（ｉ）一つ以上のコンボリューションレイヤをもって、少なくとも一つの学習用イメージデータセットから選択された学習用入力イメージに対して一回以上のコンボリューション演算を適用して、一つ以上の学習用特徴マップを生成するプロセス；（ｉｉ）ＦＣレイヤをもって、前記コンボリューションレイヤから出力された前記学習用特徴マップの中の学習用特定特徴マップを前記ＦＣレイヤに提供して、前記学習用入力イメージ内の前記車線の学習用クラスターＩＤ分類の予測結果ベクトルを生成し、ロスレイヤをもって前記学習用クラスターＩＤ分類の前記予測結果ベクトル及びクラスターＩＤＧＴベクトルを参照にして、少なくとも一つの分類ロスを生成するプロセス；（ｉｉｉ）予測された学習用クラスターＩＤそれぞれに対応する学習用クラスターグループ代表値（θｋ）それぞれを生成し、前記学習用クラスターグループ代表値それぞれによって表現された学習用予測車線それぞれを決定するプロセス；（ｉｖ）ＧＴ車線のいずれか一つの車線の座標が、前記学習用予測車線の各々の座標からｘ軸に平行な両方の任意の方向へ所定のピクセル数以内の領域に存在するか否かを基に、前記それぞれの学習用予測車線の周囲に前記ＧＴ車線のいずれかが存在するかを示す、少なくとも一つのイグジステンスロス（ｅｘｉｓｔｅｎｃｅ  ｌｏｓｓ）を算出するプロセス；（ｖ）前記学習用予測車線のそれぞれの周辺に前記ＧＴ車線のいずれかが識別される場合、前記学習用予測車線のそれぞれのピクセル（ｆ（ｙ｜θｋ），ｙ）と前記各予測車線にそれぞれ対応する前記ＧＴ車線のそれぞれのピクセル（ｘＧＴ，ｙ）との各距離の差（ｘＧＴ−ｆ（ｙ｜θｋ））を参照して少なくとも一つの距離リグレッションロスを算出するプロセス；（ｖｉ）前記分類ロス、前記イグジステンスロス及び前記距離リグレッションロスをバックプロパゲーションして、前記ＣＮＮの前記装置パラメータを最適化するプロセス；を経て学習された学習装置のパラメータが取得された状態で、前記学習装置のパラメータを利用したテスト装置が、テストイメージを取得するか、他の装置をもって取得するように支援する段階；（ｂ）前記テスト装置が、前記テストイメージに対して、コンボリューション演算を適用して、少なくとも一つのテスト用特徴マップを生成するか、他の装置をもって取得するように支援する段階；（ｃ）前記テスト装置が、前記テスト用特徴マップの中の特定のテスト用特徴マップを前記ＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤに提供して、前記ＦＣレイヤをもって、前記テストイメージ内の前記車線のテスト用クラスターＩＤ分類の結果ベクトル（前記テスト用クラスターＩＤ分類の結果ベクトルは、前記車線それぞれに対して予測されたテスト用クラスターＩＤを少なくとも一つ以上含むものである）を生成する段階；及び（ｄ）前記テスト装置が、前記予測されたテスト用クラスターＩＤそれぞれに対応する前記テスト用クラスターグループ代表値（θ��）それぞれを生成し、前記テスト用クラスターグループ代表値それぞれによって前記車線の各形状が表現された前記予測されたテスト用車線それぞれを決定する段階；を含み、前記クラスターＩＤＧＴベクトルは、前記学習用入力イメージ内の前記車線の情報を基に取得された関数パラメータをクラスタリングして、車線モデリング関数の前記関数パラメータに付与されたクラスターグループそれぞれの学習用クラスターＩＤである確率に対するＧＴ情報であり、前記それぞれの車線（Ｌｉ，ｊ）は、前記テスト用クラスターグループの中の自身と対応する一つのテスト用クラスターグループ（Ｃｋ）にそれぞれ含まれ、前記車線（Ｌｉ，ｊ）それぞれと対応する前記テスト用クラスターＩＤをそれぞれｋ（ｋは、１ないしＫの間の値）と示した状態で、前記それぞれのテスト用クラスターグループは、前記テスト用各クラスターグループに含まれている前記各車線の前記関数パラメータに対するそれぞれの平均値
【００２５】
【数２】
2020038660.tif 000004
【００２６】
をテスト用各クラスターグループ代表値（θｋ）として有することを特徴とするテスト方法が提供される。
【００２７】
一例として、（ｅ）前記テスト装置が、前記テスト用それぞれの予測車線の前記ピクセル（ｆ（ｙ｜θｋ），ｙ）周辺のそれぞれの領域を示す少なくとも一つの領域フィーチャー（ａｒｅａｌ  ｆｅａｔｕｒｅｓ）それぞれを前記特定のテスト用特徴マップから抽出するか、他の装置をもって抽出するように支援する段階；（ｆ）前記テスト装置が、前記テスト用予測車線のそれぞれの座標からｘ軸に平行な方向へ所定ピクセル数以内の領域に実際の車線の座標が存在するかを基に、前記実際の車線の中の一つが前記それぞれのテスト用予測車線周辺に存在するかを判断し、前記実際の車線の中の一つが周りに存在するならば、前記実際の車線の中の一つの座標と前記テスト用予測車線座標との間の距離それぞれを計算するか、他の装置をもって計算するように支援する段階；及び（ｇ）前記テスト装置が、前記テスト用予測車線を前記距離のそれぞれの分だけ移動して、移動したテスト用予測車線を決定するか、他の装置をもって決定するように支援する段階；をさらに含むことを特徴とする方法が提供される。
【００２８】
一例として、前記（ｄ）段階は、前記テスト用クラスターグループ代表値それぞれは、前記予測されたテスト用クラスターＩＤ分類の前記結果ベクトルのうち、各ベクトル成分が予め設定してある値より大きいか否かに対する情報を参照にして決定された、前記予測されたテスト用クラスターＩＤの少なくとも一部を利用して、前記テスト用クラスターグループ代表値それぞれを取得することを特徴とするテスト方法が提供される。
【００２９】
本発明のまた他の態様によれば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を利用して少なくとも一つの車線を検出するための学習装置において、少なくとも一つのイメージデータセットから選択された入力イメージを獲得するか、他の装置をもって獲得するように支援する通信部；及び（ｉ）一つのコンボリューションレイヤをもって、前記入力イメージに対して一回以上のコンボリューション演算を適用して少なくとも一つの特徴マップを生成するプロセス、（ｉｉ）ＦＣレイヤをもって、前記コンボリューションレイヤから出力された特定の特徴マップを前記ＦＣレイヤに提供して、前記入力イメージ内の前記車線のクラスターＩＤ分類の予測結果ベクトルを生成にするプロセス、（ｉｉｉ）ロスレイヤをもって、前記クラスターＩＤ分類の前記予測結果ベクトル及びクラスターＩＤＧＴベクトルを参照にして、少なくとも一つの分類ロスを生成し、前記分類ロスをバックプロパゲーションして、前記ＣＮＮの装置パラメータ（ｄｅｖｉｃｅ  ｐａｒａｍｅｔｅｒｓ）を最適化するプロセスを遂行するプロセッサ；を含み、前記クラスターＩＤＧＴベクトルは、前記入力イメージ内の前記車線の情報を基に取得された関数パラメータをクラスタリングして、車線モデリング関数の前記関数パラメータに付与されたクラスターグループそれぞれのクラスターＩＤである確率に対するＧＴ情報であることを特徴とする学習方法が提供される。
【００３０】
一例として、前記クラスターＩＤＧＴベクトルは、Ｋ＋１ディメンションを有するベクトルであり、（Ｉ）前記入力イメージ上に前記車線が存在すると判断された場合、前記入力イメージの前記車線の中で、前記Ｋ個のクラスターＩＤの中の特定クラスターＩＤであるＣｋに属する特定車線が存在すれば、前記クラスターＩＤＧＴベクトルのｋ番目のディメンションは１が割り当てられ、前記クラスターＩＤの中で、前記入力イメージに存在しない他のクラスターＩＤそれぞれに対応する前記クラスターＩＤＧＴベクトルの他のディメンションは０が割り当てられ、前記クラスターＩＤＧＴベクトルのＫ＋１番目のディメンションは０が割り当てられ、（ＩＩ）前記入力イメージ上に前記車線が存在しないと判断されれば、前記クラスターＩＤＧＴベクトルの１ないしＫ番目のディメンションは０が割り当てられ、前記クラスターＩＤＧＴベクトルの前記Ｋ＋１番目のディメンションは１が割り当てられ、ｋは１ないしＫの整数であり、前記（ｉｉｉ）プロセスで、前記クラスターＩＤ分類の前記予測結果ベクトルは、Ｋ＋１ディメンションを有するベクトルであることを特徴とする学習方法が提供される。
【００３１】
一例として、前記それぞれの車線（Ｌｉ，ｊ）が前記クラスターグループの中で自身と対応する一つのクラスターグループ（Ｃｋ）にそれぞれ含まれ、前記車線（Ｌｉ，ｊ）それぞれと対応する前記クラスターＩＤに含まれたそれぞれのクラスターＩＤをｋと表示した状態で、前記各クラスターグループは、前記各クラスターグループに含まれる前記各車線の前記関数パラメータに対するそれぞれの平均値
【００３２】
【数３】
2020038660.tif 000005
【００３３】
を各クラスターグループ代表値（θｋ）として有し、前記プロセッサは、（ｉｖ）前記予測されたクラスターＩＤそれぞれに対応する前記クラスターグループ代表値各々を生成するか、他の装置をもって生成するように支援し、前記クラスターグループ代表値（θｋ）それぞれによって表現された前記予測車線それぞれを決定するか、他の装置をもって決定するように支援するプロセスをさらに遂行することを特徴とする学習方法が提供される。
【００３４】
一例として、前記クラスターグループ代表値それぞれは、前記予測されたクラスターＩＤの中の、少なくとも一部を利用して算出され、前記予測されたクラスターＩＤの前記少なくとも一部は、前記結果ベクトルの各ベクトル成分が予め設定された値より大きいか否かに対する情報を参照して決定されることを特徴とする学習方法が提供される。
【００３５】
一例として、 前記プロセッサは、（ｖ）前記ＧＴ車線のいずれか一つの車線の座標が、前記予測車線の各々の座標からｘ軸に平行な両方の任意の方向へ所定のピクセル数以内の領域に存在するか否かを基に、前記それぞれの予測車線の周囲に、前記ＧＴ車線のいずれかが存在するかを示す、少なくとも一つのイグジステンスロス（ｅｘｉｓｔｅｎｃｅ  ｌｏｓｓ）を算出するか、他の装置をもって算出するように支援するプロセス；（ｖｉ）前記予測車線それぞれの周辺に前記ＧＴ車線のいずれかが識別される場合、前記各予測車線の各々のピクセル（ｆ（ｙ｜θｋ），ｙ）と前記各予測車線にそれぞれ対応する前記ＧＴ車線の各々のピクセル（ｘＧＴ，ｙ）との各距離の差（ｘＧＴ−ｆ（ｙ｜θｋ））を参照して、少なくとも一つの距離レッションロスを算出するか、他の装置をもって獲得するように支援するプロセス；（ｖｉｉ）前記イグジステンスロス及び前記距離リグレッションロスをバックプロパゲーションするか、他の装置をもってバックプロパゲーションするように支援して、前記ＣＮＮの前記装置パラメータを最適化するプロセス；をさらに遂行することを特徴とする学習方法が提供される。
【００３６】
一例として、前記（ｖ）プロセス以前に、（ｖ０）前記それぞれの予測車線の前記ピクセル（ｆ（ｙ｜θｋ），ｙ）周辺のそれぞれの領域を示す、少なくとも一つの領域フィーチャー（ａｒｅａｌ  ｆｅａｔｕｒｅｓ）それぞれを前記特定の特徴マップから抽出するか、他の装置をもって抽出できるよう支援するプロセスをさらに遂行し、前記抽出された領域フィーチャーを基に前記イグジステンスロス及び前記距離リグレッションロスを算出することを特徴とする学習方法が提供される。
【００３７】
一例として、 前記（ｖ）プロセスで、前記イグジステンスロスは、クロスエントロピーを利用して算出し、前記（ｖｉ）プロセスで、前記距離リグレッションロスは、少なくとも一つのユークリッド距離リグレッションロスを利用して算出することを特徴とする学習方法が提供される。
【００３８】
本発明のまた他の態様によれば、車線モデル（ｌａｎｅ  ｍｏｄｅｌ）を利用して少なくとも一つの車線を検出し得るＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）のテスト装置において、（Ｉ）前記ＣＮＮを利用する学習装置が、（ｉ）一つ以上のコンボリューションレイヤをもって、少なくとも一つの学習用イメージデータセットから選択された学習用入力イメージに対して一回以上のコンボリューション演算を適用して、一つ以上の学習用特徴マップを生成するプロセス；（ｉｉ）ＦＣレイヤをもって、前記コンボリューションレイヤから出力された前記学習用特徴マップの中の学習用特定の特徴マップを前記ＦＣレイヤに提供して、前記学習用入力イメージ内の前記車線の学習用クラスターＩＤ分類の予測結果ベクトルを生成し、ロスレイヤをもって、前記学習用クラスターＩＤ分類の前記予測結果ベクトル及びクラスターＩＤＧＴベクトルを参照にして、少なくとも一つの分類ロスを生成するプロセス；（ｉｉｉ）予測された学習用クラスターＩＤそれぞれに対応する学習用クラスターグループ代表値（θｋ）それぞれを生成し、前記学習用クラスターグループ代表値それぞれによって表現された学習用予測車線それぞれを決定するプロセス；（ｉｖ）ＧＴ車線のいずれか一つの車線の座標が、前記学習用予測車線の各々の座標からｘ軸に平行な両方の任意の方向へ所定のピクセル数以内の領域に存在するか否かをもとに、前記それぞれの学習用予測車線の周囲に前記ＧＴ車線のいずれかが存在するかを示す、少なくとも一つのイグジステンスロス（ｅｘｉｓｔｅｎｃｅ  ｌｏｓｓ）を算出するプロセス；（ｖ）前記学習用予測車線のそれぞれの周辺に前記ＧＴ車線のいずれかが識別される場合、前記学習用予測車線のそれぞれのピクセル（ｆ（ｙ｜θｋ），ｙ）と前記各予測車線にそれぞれ対応する前記ＧＴ車線のそれぞれのピクセル（ｘＧＴ，ｙ）との各距離の差（ｘＧＴ−ｆ（ｙ｜θｋ））を参照して少なくとも一つの距離リグレッションロスを算出するプロセス；（ｖｉ）前記分類ロス、前記イグジステンスロス及び前記距離リグレッションロスをバックプロパゲーションして、前記ＣＮＮの前記装置パラメータを最適化するプロセス；を経て学習された学習装置のパラメータが取得された状態で、テストイメージを取得するか、他の装置をもって取得するように支援する通信部；及び（ＩＩ）前記テストイメージに対して、コンボリューション演算を適用して、少なくとも一つのテスト用特徴マップを生成するか、他の装置をもって取得するように支援するプロセス、（ＩＩＩ）前記テスト用特徴マップの中の特定のテスト用特徴マップを前記ＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤに提供して、前記ＦＣレイヤをもって、テスト用前記テストイメージ内の前記車線のテスト用クラスターＩＤ分類の結果ベクトル（前記テスト用クラスターＩＤ分類の結果ベクトルは、前記車線それぞれに対して予測されたテスト用クラスターＩＤを少なくとも一つ以上含むものである）を生成するプロセス、及び（ＩＶ）前記予測されたテスト用クラスターＩＤそれぞれに対応する前記テスト用クラスターグループ代表値（θｋ）それぞれを生成し、前記テスト用クラスターグループ代表値それぞれによって前記車線の各形状が表現された前記予測されたテスト用車線それぞれを決定するプロセッサ；を含み、前記クラスターＩＤＧＴベクトルは、前記学習用入力イメージ内の前記車線の情報を基に取得された関数パラメータをクラスタリングして、車線モデリング関数の前記関数パラメータに付与されたクラスターグループそれぞれの学習用クラスターＩＤである確率に対するＧＴ情報であり、前記それぞれの車線（Ｌｉ，ｊ）は、前記テスト用クラスターグループの中の自身と対応する一つのテスト用クラスターグループ（Ｃｋ）にそれぞれ含まれ、前記車線（Ｌｉ，ｊ）それぞれと対応する前記テスト用クラスターＩＤをそれぞれｋ（ｋは、１ないしＫの間の値）と示した状態で、前記それぞれのテスト用クラスターグループは、前記テスト用各クラスターグループに含まれている前記各車線の前記関数パラメータに対するそれぞれの平均値
【００３９】
【数４】
2020038660.tif 000006
【００４０】
をテスト用各クラスターグループ代表値（θｋ）として有することを特徴とするテスト装置が提供される。
【００４１】
一例として、前記プロセッサは、（Ｖ）前記それぞれのテスト用予測車線の前記ピクセル（ｆ（ｙ｜θｋ），ｙ）周辺のそれぞれの領域を示す少なくとも一つの領域フィーチャー（ａｒｅａｌ  ｆｅａｔｕｒｅｓ）それぞれを前記特定のテスト用特徴マップから抽出するか、他の装置をもって抽出できるよう支援するプロセス；（ＶＩ）前記テスト用予測車線のそれぞれの座標からｘ軸に平行な方向へ所定ピクセル数以内の領域に実際の車線の座標が存在するかを基に、前記実際の車線の中の一つが前記それぞれのテスト用予測車線周辺に存在するかを判断し、前記実際の車線の中の一つが周りに存在するならば、前記実際の車線の中の一つの座標と前記テスト用予測車線座標との間の距離それぞれを計算するか、他の装置をもって計算するように支援するプロセス；及び（ＶＩＩ）前記テスト用予測車線を前記距離のそれぞれの分だけ移動して、移動したテスト用予測車線を決定するか、他の装置をもって決定するように支援するプロセス；をさらに遂行することを特徴とするテスト装置が提供される。
【００４２】
一例として、前記（ＩＶ）プロセスで、前記テスト用クラスターグループ代表値それぞれは、前記予測されたテスト用クラスターＩＤ分類の前記結果ベクトルのうち、各ベクトル成分が予め設定してある値より大きいか否かに対する情報を参照にして決定された、前記予測されたテスト用クラスターＩＤの少なくとも一部を利用して、前記テスト用クラスターグループ代表値それぞれを取得することを特徴とするテスト装置が提供される。
【発明の効果】
【００４３】
本発明によれば、学習データから車線に対するモデル化及びクラスタリングにより車線モデル学習のためのデータを生成し、これを基に入力イメージに対する車線に対する車線モデル関数のクラスターＩＤを参照に車線モデル関数のパラメータを求める学習を遂行し得る。
【００４４】
また本発明によれば、ＣＮＮ学習によって入力イメージから車線モデル関数を探し、これを基に車線を検出し得る効果を提供する。
【００４５】
また本発明によれば、検出された車線モデルの周辺特徴マップのみ演算に利用するため、従来技術の方法より少ない演算量で車線を検出し得る。
【図面の簡単な説明】
【００４６】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
【図１】図１は、従来の技術でディープＣＮＮを利用し写真から検出しようとする多様な出力の例を示す図面である。
【図２】図２は、従来のＣＮＮを利用した従来の車線検出方法を簡略的に示した図面である。
【図３】図３は、従来のＣＮＮを利用した一般的なセグメンテーションの従来のプロセスを簡略的に示した図面である。
【図４】図４は、本発明に係る車線モデルを利用して少なくとも一つの車線を検出し得るＣＮＮの学習方法を示すフローチャートである。
【図５】図５は、本発明によって少なくとも一つのイメージデータセットから車線モデリング関数及びクラスターＩＤを求める過程を示した図面である。
【図６】図６は、本発明に係る車線検出のためのＣＮＮの学習方法を概略的に示した図面である。
【図７】図７は、本発明に係る学習装置を通じて検出した車線のクラスターＩＤ分類結果ベクトルの例を概略的に示した図面である。
【図８】図８は、本発明によって取得された予測車線を基に予測車線座標のｘ軸に平行な両方の任意方向へＧＴ車線の座標が存在するか否かを確認する過程を概略的に示した図面である。
【図９】図９は、本発明によって特徴マップから予測された車線の該当ピクセル周辺の一定領域だけを抽出することを概略的に示した図面である。
【図１０】図１０は、本発明によって予測車線の該当ピクセルとＧＴ車線の該当ピクセルとの距離を参照して少なくとも一つの距離リグレッションロスを算出する過程を概略的に示した図面である。
【図１１】図１１は、本発明に係る車線検出のためのテスト装置で、車線をモデル検出によって車線検出過程を概略的に示した図面である。
【発明を実施するための形態】
【００４７】
後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は当業者が本発明を実施することができるように充分詳細に説明される。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一実施例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は、本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面において類似する参照符号は、いくつかの側面にわたって同一であるか、類似する機能を指す。
【００４８】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得り、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００４９】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は、実例として提供され、本発明を限定することを意図したものではない。
【００５０】
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面に基づいて詳細に説明する。
【００５１】
図４は、本発明に係る車線モデルを利用して少なくとも一つの車線を検出し得るＣＮＮの学習方法を示すフローチャートである。
【００５２】
図４を参照すれば、本発明に係るＣＮＮを利用して車線モデルによって車線を検出する学習方法は、イメージデータセットから車線に対する情報を取得する段階Ｓ０１、車線の中点座標のピクセル情報を利用して各車線の車線モデリング関数の関数パラメータを算出する段階Ｓ０２、クラスタリングアルゴリズムを利用して車線モデリング関数の関数パラメータをＫ個のクラスターグループに分類して、少なくとも一つのイメージデータセット内のそれぞれの入力イメージに存在する車線のタイプに対応する一つ以上のクラスターＩＤ情報を示すクラスターＩＤＧＴベクトルを生成する段階Ｓ０３、入力イメージに対してコンボリューション演算を一回以上随行して少なくとも一つの特徴マップを生成する段階Ｓ０４、特定の特徴マップをＦＣレイヤに提供してクラスターＩＤ分類の結果ベクトルを生成し、クラスターＩＤ分類の結果ベクトルやクラスターＩＤＧＴベクトルを参照にして、少なくとも一つの分類ロスを算出する段階Ｓ０５、予測されたクラスターＩＤ（すなわち、クラスターＩＤ分類結果ベクトル）に対応するクラスターグループ代表値を生成して、クラスターグループ代表値（θｋ）で表現された予測車線を決定する段階Ｓ０６、取得された予測車線の周辺にＧＴ車線のいずれかが存在するかを示すイグジステンスロスを算出する段階Ｓ０７、予測車線周辺にＧＴ車線が存在する場合、予測車線の該当ピクセルと、これに対応するＧＴ車線の該当ピクセルとの距離の差を参照して、少なくとも一つの街リグレッションロスを算出する段階Ｓ０８、及び分類ロス、イグジステンスロス及び距離リグレッションロスをバックプロパゲーションしてＣＮＮの装置パラメータを最適化する段階Ｓ０９を含む。ただし、本発明のＳ０１ないしＳ０９までの段階が必ず存在しなければならないわけではなく、Ｓ０１からＳ０３までによってクラスターＩＤＧＴベクトルを生成する発明だけでも構成され得、クラスターＩＤＧＴのベクトルが如何なる方法によってでも（すなわち、必ずＳ０１〜Ｓ０３の方法によらなくても）求められた状態で、Ｓ０４からＳ０９までによって学習する発明だけで構成されることもあるだろう。
【００５３】
本発明に係る車線モデルを利用して車線を検出し得るＣＮＮの学習方法は、少なくとも一つのイメージデータセットから（ｉ）車線の中点座標に対する情報と（ｉｉ）これらのから取得した車線モデリング関数の関数パラメータをクラスタリングしたクラスターＩＤＧＴベクトルを得る。その後、学習装置によって入力イメージ入力イメージから車線モデリング関数を予測し、これを利用して入力イメージ内に存在する各車線の各中点座標を探す方法を提案する。
【００５４】
図５は、少なくとも一つのイメージデータセットから車線モデリング関数及びクラスターＩＤを求める過程を示した図面である。
【００５５】
図５を参照すれば、Ｓ０１段階で、少なくとも一つのイメージデータセットから車線を成すピクセルの各座標の集合として表現される車線の情報を取得し得る。
【００５６】
例えば、図５の少なくとも一つのイメージデータセット内の特定入力のイメージ５１０から車線に対するピクセル情報を取得して、車線ピクセルの中点座標に対する情報を取得する。この際、車線の中点座標は（ｘ，ｙ）と表示され得、車線は、車線各中点座標の集合と定義される。車線Ｌｉ，ｊ＝｛（ｘ，ｙ）｜（ｘ，ｙ）は、ｉ番目の入力イメージのｊ番目の車線の中点座標｝で表され得る。
【００５７】
そして、Ｓ０２段階では、車線の各中点座標のピクセル情報を利用して各車線の車線モデリング関数の関数パラメータを計算するか、前記パラメータを計算して車線モデリング関数を算出するが、車線集合（Ｌｉ，ｊ）に含まれている各中点座標（ｘ，ｙ）を表現する車線モデリング関数は、次の数式で表される。
［数式１］
ｘ＝ｆ（ｙ；θｉ，ｊ）
ここで、Ｌｉ，ｊ＝｛（ｘ，ｙ）｜（ｘ，ｙ）は、ｉ番目の入力イメージのｊ番目の車線の中点座標｝＝｛（ｘ，ｙ）｜ｘ＝ｆ（ｙ；θｉ，ｊ）｝であり、θｉ，ｊはｉ番目の入力イメージのｊ番目の車線の各関数パラメータを示す。
【００５８】
図５の特定入力のイメージ５１０の車線情報（ピクセル情報）を利用してｘ＝ｆ（ｙ；θｉ，ｊ）で表され得る関数パラメータを探した結果が、図５の真ん中の写真５２０のように例示的に示される。このような過程を通じて与えられたピクセル情報を利用して、各車線の車線モデルのパラメータが計算され得る。すなわち、車線の集合（Ｌｉ，ｊ）に含まれている中点を最もよく表現する関数を定義して車線を示すことができる。
【００５９】
この際、車線モデリング関数は、パラメータ化された関数であり、前記関数パラメータは、リグレッションアルゴリズムを利用して求られ得る。一方、このリグレッションアルゴリズムとして、前記車線モデリング関数によって異なるアルゴリズムが利用され得る。
【００６０】
また、車線モデリング関数は多項式関数で実装され得、前記リグレッションアルゴリズムでは最小二乗誤差アルゴリズムを利用し得る。
【００６１】
Ｓ０３段階は、クラスタリングアルゴリズムを利用して、関数パラメータをＫ個のクラスターのグループに分類し、少なくとも一つのイメージデータセット内のそれぞれのイメージに存在する各車線のタイプに対応するクラスターＩＤ情報を示すクラスターＩＤＧＴベクトルを生成し得る。この段階は、学習データを生成するために車線のクラスターＩＤを定義する過程である。この段階は、具体的に、関数パラメータに対してクラスタリングアルゴリズムを適用してＫ個のクラスターグループに分類でき、それぞれのクラスターグループごとにそれぞれのクラスターＩＤを付与し車線のタイプに対応するクラスターＩＤである正確な確率に対するＧＴ情報を示すクラスターＩＤＧＴベクトルを生成し得る。
【００６２】
すなわち、クラスタリングアルゴリズムを利用してすべてのイメージから車線モデリング関数の全ての関数パラメータをＫ個のクラスターグループに分類し、学習装置は、ＣＮＮの装置パラメータを学習して入力イメージ内にある車線がどのクラスターＩＤに該当するかを予測するように学習する。
【００６３】
クラスタリングは、Ｎ個のデータをＫ個のクラスター（グループ）に分ける方法である。（この際、Ｎ≧Ｋになる）。代表的なクラスタリングには、ｋ−ｍｅａｎｓクラスタリング、ｓｐｅｃｔｒａｌクラスタリングなどの方法があり、本発明では、任意のクラスタリング方法が利用され得る。また、クラスタリングとは、同じような形をしたデータを同じクラスターにグループ化することである。
【００６４】
学習用データに含まれている少なくとも一つのイメージデータセットのイメージに存在する車線のＮ個のパラメータθｉ，ｊをＫ個のクラスターに区別するが、この際、各車線Ｌｉ，ｊは必ず一つだけのクラスターＣｋに含まれる（１≦ｋ≦Ｋ）。つまり、そのいかなる二つのクラスターも、それらの要素（ｅｌｅｍｅｎｔ）として車線を共有はしない。ここで、車線Ｌｉ，ｊを示すクラスターＩＤはｋとなる。
【００６５】
各クラスターは、含んでいる車線の関数パラメータの平均値
【００６６】
【数５】
2020038660.tif 000007
【００６７】
を代表値（θｋ）として有する。もしこれにより、学習によって或る入力イメージに存在する車線が属するクラスターＩＤが分かれば、クラスターの代表的な値で車線を大まかに示すことができる。
【００６８】
図５のイメージ５３０を参照すれば、各実線は、ＧＴ車線の関数パラメータを利用して描いた車線であり、点線はクラスターに対応するＧＴ車線の関数パラメータが含まれた当該クラスターの代表クラスターグループ値を利用して描いた車線を例示的に示す。図５のイメージ５３０のように、クラスターの代表クラスターグループ値がＧＴ車線を完璧に示してはいないが、ＧＴ車線と非常に類似した形を示すことになる。
【００６９】
特徴マップ内の特徴（Ｆｅａｔｕｒｅ）を利用して、入力イメージから関数パラメータを直接予測することは容易ではないが、車線を検出するための関数パラメータ又は装置パラメータの学習はこのようなプロセスに基づいて遂行され得る。従って、本発明では、入力イメージから車線のクラスターＩＤを予測することを目標とする。クラスターＩＤが分かれば、対応する関数パラメータを有する大まかな車線モデリング関数を見つけることができ、これを利用して車線をより正確に探し得る。
【００７０】
図６は、本発明に係る車線検出のためのＣＮＮの学習方法を概略的に示した図面である。
【００７１】
図４及び図６を参照すれば、Ｓ０４段階で、学習装置が、少なくとも一つのイメージデータセットから取得された入力イメージに対して、入力イメージ内の少なくとも一つの車線に対応する少なくとも一つのクラスターＩＤを予測し得るＣＮＮの装置パラメータ（ｄｅｖｉｃｅ  ｐａｒａｍｅｔｅｒｓ）を学習するために、学習装置は、少なくとも一つのコンボリューションレイヤ６１０をもって、入力イメージに対してコンボリューション演算を一回以上随行し、少なくとも一つの特徴マップ６２０を生成する。
【００７２】
Ｓ０５段階では、図６に示したように、特徴マップからクラスターＩＤ分類の結果ベクトルを生成し、クラスターＩＤ分類の結果ベクトルとクラスターＩＤＧＴベクトルとを参照にして分類ロスを算出する。つまり、学習装置が、コンボリューションレイヤから出力された特定の特徴マップ６２０をＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤ６３０に提供し、ＦＣレイヤ６３０をもって、入力イメージ内の車線のクラスターＩＤ分類の結果ベクトル６４０を生成し、クラスターＩＤ分類の結果ベクトル及びクラスターＩＤＧＴベクトルを参照にして少なくとも一つの分類ロスを算出する。ここで算出されたクラスターＩＤ分類ロスはバックプロパゲーションすることにより、ＣＮＮの装置パラメータの最適化に利用される。
【００７３】
一方、クラスターＩＤＧＴベクトルは、少なくとも一つのイメージデータセットの各イメージに存在する車線のクラスターＩＤを含むＫ＋１ディメンションを有するベクトルであり、（ｉ）入力イメージ上に車線が存在すると判断された場合、入力イメージの車線の中にＫ個のクラスターＩＤのうち特定クラスターＩＤであるＣｋに属する特定車線が存在すれば、クラスターＩＤＧＴベクトルのｋ番目のディメンションは１が割り当てられ、クラスターＩＤのうち入力イメージに存在していない他のクラスターＩＤそれぞれに対応するクラスターＩＤＧＴベクトルの他のディメンションは０が割り当てられ、クラスターＩＤＧＴベクトルのＫ＋１番目のディメンションは０が割り当てられて、（ｉｉ）入力イメージ上に車線が存在していないものと判断される場合は、クラスターＩＤＧＴベクトルの１ないしＫ番目のディメンションは０が割り当てられ、クラスターＩＤＧＴベクトルのＫ＋１番目のディメンションは１が割り当てられる。
【００７４】
例えば、図５に示されたイメージ５３０に対応するクラスターＩＤＧＴベクトルは、Ｋ＋１ディメンションの中のｉ番目、ｊ番目、ｋ番目のディメンションは１を割り当て、残りのディメンションは（ｋ＋１番目のディメンション含む）０が割り当てられる。もし、入力されたイメージに車線が存在しなければ、クラスターＩＤＧＴベクトルは０、０、…、０、１が割り当てられる。
【００７５】
図７は、本発明に係る学習装置を通じて検出した車線のクラスターＩＤ分類結果ベクトルの例を概略的に示した図面である。
【００７６】
図６及び図７を参照すると、特徴マップ６２０をＦＣレイヤ６３０に入力して、クラスターＩＤ分類結果ベクトル６４０が出力され、クラスターＩＤ分類結果ベクトルはクラスターＩＤＧＴベクトルと対応するようにＫ＋１ディメンションのベクトルで算出される。図７の例で、算出されたクラスターＩＤ分類結果ベクトルは（０．６０、０．０１、０．３０、…、０．０３）で表現されるベクトルだ。つまり、図７の例では、入力されたイメージにはクラスターＩＤがＣ１やＣ３に該当する車線が存在する確率が高いものと算出された。もし入力されたイメージのクラスターＩＤＧＴのベクトルがクラスターＩＤＣ１やＣ３を含むものと確認される場合、つまり、クラスターＩＤＧＴベクトルが（１、０、１、０、…、０）である場合、算出されたクラスターＩＤ分類結果ベクトルである（０．６０、０．０１、０．３０、…、０．０３）で表示されるベクトルとクラスターＩＤＧＴベクトルである（１、０、１、０、…、０）で表示されるベクトルを参照にして、クラスターＩＤ分類ロスを算出する。このクラスターＩＤ分類ロス（ｌｃ）は、クラスターＩＤ分類の結果ベクトル及びクラスターＩＤＧＴベクトル間のクロスエントロピーロスとして算出され得る。
【００７７】
Ｓ０６段階では、予測されたクラスターＩＤに対応するクラスターグループ代表値を取得し、予測車線としてのクラスターグループ代表値（θｋ）を取得する。先にＳ０３段階で説明したとおり、それぞれのクラスターグループは、自身のクラスターグループに含まれた各車線の関数パラメータの平均値
【００７８】
【数６】
2020038660.tif 000008
【００７９】
を各クラスターグループ代表値（θｋ）として有するので、学習装置は、Ｓ０５段階で予測されたクラスターＩＤに対応するクラスターグループ代表値（θｋ）を取得して、予測されたクラスターグループ代表値（θｋ）（すなわち、平均パラメータ）によって表現された予測車線を決定するか、他の装置をもって決定するように支援し得る。
【００８０】
この場合、予測されたクラスターＩＤの少なくとも一部を利用して各クラスターグループ代表値を取得し、クラスターＩＤ分類の結果ベクトルの各ベクトル成分が所定の閾値より大きいか否かに対する情報を参照にして予測されたクラスターＩＤの少なくとも一部が選択される。そして、求められたクラスターＣｋの取得されたパラメータ代表値θｋを利用して、ｘ＝ｆ（ｙ｜θｋ）を演算することにより、車線の形を示す車線モデルを利用して予測車線を取得し得る。
【００８１】
その後、再び図６を参照すれば、上のプロセスを進めた後、予測された車線の中点座標とＧＴ車線の中点座標との間の距離の差を学習する過程を遂行し得る。学習装置は、クラスターＩＤ分類結果ベクトルの中で所定の閾値より大きい値を有するクラスターであるプロポーズドクラスター（Ｐｒｏｐｏｓｅｄ  Ｃｌｕｓｔｅｒ）それぞれに対して各ｙ値ごとに二つの出力（イグジステンスロスおよび距離リグレッションロス）を生成するか、他の装置をもって生成するように支援し得る。
【００８２】
まず、Ｓ０７段階では、取得された予測車線の周辺にＧＴ車線が存在するかを示すイグジステンスロスを算出するのだが、図６に示したように特徴マップ６２０と算出されたクラスターＩＤ分類結果ベクトル６４０をＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）プーリングレイヤ６５０に入力した後、車線の存在を検出するためのＦＣレイヤ６６０に通過させると、取得された予測車線周辺にＧＴ車線が存在するかを示すイグジステンスロス（ｌｅ）が算出され得る。
【００８３】
図８は、取得された予測車線を基に予測車線座標のｘ軸に平行な両方の任意方向へＧＴ車線の座標が存在するか否かを確認する過程を示すが、図８を参照すれば、点線で表示される各線は、予測されたクラスターＩＤを用いて取得された予測車線を示す。学習装置は、各点線の各ピクセルのｙ値に対して周辺にＧＴ車線の座標があるか否かを示す値を算出するのだが、例えば、予測車線のそれぞれの座標からｘ軸に平行な両方の任意方向に所定のピクセル数以内の領域にＧＴ車線の座標が存在するか否かを基に、前記それぞれの予測車線の周辺にＧＴ車線のいずれかが存在するかを示す少なくとも一つのイグジステンスロスを算出する。イグジステンスロスは、周辺のＧＴ車線のいずれかが近いかを示すラベル（ｌａｂｅｌ）であり、２ディメンションベクトルで表され得る。例えば、取得された予測車線の周辺にＧＴ車線のいずれかが近くに存在する場合には［１，０］、取得された予測車線の周辺にＧＴ車線が存在しない場合には［０，１］で表現され得る。
【００８４】
この場合、前述のとおり、取得された予測車線の各ｙ値に対してｆ（ｙ｜θｋ）を演算して得られた各座標のｘ軸方向に一定のピクセル数以内の周辺領域にＧＴ車線のいずれかの中点が存在するかを確認する方法が利用され得る。この際、周辺領域は、
【００８５】
【数７】
2020038660.tif 000009
【００８６】
で表現され、ＧＴ車線のいずれかの中点座標は（ｘＧＴ，ｙ）で表され得る。
【００８７】
再び図４及び図６を参照すると、Ｓ０８段階では、予測車線の周辺にＧＴ車線が存在する場合、予測車線の当該ピクセルとＧＴ車線の当該ピクセルとの距離の差である距離リグレッションロスを算出するが、図６に図示されているように、特徴マップ６２０とクラスターＩＤ分類の結果ベクトル６４０とをＲＯＩプーリングレイヤ６５０に入力して、ＧＴ車線と検出された予測車線との間の距離を検出するための、ＦＣレイヤ６７０に通過させると、予測車線の周辺にＧＴ車線が存在する場合、予測車線の当該ピクセルとＧＴ車線の当該ピクセルとの距離の差である距離リグレッションロス（ｌｒ）が算出され得る。
【００８８】
図１０は、予測車線の該当ピクセルとＧＴ車線の該当ピクセルとの距離を参照して少なくとも一つの距離リグレッションロスを算出する過程を示すが、図１０に例示的に示しているように、予測車線の周辺にＧＴ車線が存在する場合、予測車線の各ピクセル（ｆ（ｙ｜θｋ），ｙ）とそれに対応するＧＴ車線のピクセル（ｘＧＴ，ｙ）１０１０との距離の差ｘＧＴ−ｆ（ｙ｜θｋ）１０２０を算出し、距離リグレッションロス（ｌｒ）を算出する。
【００８９】
図８の例で、実線で表示された所定の領域８１０のように、各予測車線のピクセルにおいてｘ軸方向に左右の一定の距離を探した際、予測車線ピクセル座標のｘ軸の＋方向に存在する実線上のピクセルのようにＧＴ車線が存在すれば、最初の出力、つまりイグジステンスロスは［１，０］になり、二番目の出力、つまり距離リグレッションロスは二つのピクセルのｘ座標値の差異を参考に取得し得る。しかし、図８の所定の領域８２０のように予測車線ピクセル座標においてｘ軸方向に左右の一定距離を探した時、実線で表示された各予測車線のピクセル周辺にＧＴ車線が存在しなければ、最初の出力、つまりイグジステンスロスは［０，１］、二番目の出力、つまり距離リグレッションロスは「ドントケア」で生成される。「ドントケア」は学習に利用されない。
【００９０】
一方、ＲＯＩプーリングレイヤ６５０は、予測車線の該当ピクセル周辺の領域フィーチャー（ａｒｅａｌ  ｆｅａｔｕｒｅｓ）を特徴マップから抽出する形を示した、図９に示されているように、予測車線の該当（ｆ（ｙ｜θｋ），ｙ）ピクセル９２０周辺の一定領域９１０を示すフィーチャーを特徴マップから抽出する機能を果たす。学習装置は、ＲＯＩプーリングレイヤ６５０を通じて抽出された特徴マップを利用して、二つの出力（イグジステンスロス及び距離リグレッションロス）を計算するか、他の装置をもって計算するように支援し得る。この際、学習装置は、予測車線の該当ピクセル９２０周辺の一定領域９１０を示す領域フィーチャーを前記特徴マップから抽出する段階をさらに含み、抽出された領域のフィーチャーを基にイグジステンスロス及び距離リグレッションロスを算出する過程を遂行し得る。
【００９１】
すなわち、本発明では、入力イメージのすべての特徴マップのピクセルを基準で周辺に車線があるか否かを計算する方法を利用せず、図９に図示したように、予測された車線の該当ピクセル周辺の一定領域のみを抽出して演算を遂行するため、演算量が大幅に減り得る。
【００９２】
そして、分類ロス、イグジステンスロス及び距離リグレッションロスをバックプロパゲーションして、学習装置のパラメータを最適化する段階Ｓ０９を遂行する。
【００９３】
一方、イグジステンスロスは、周辺に車線が存在するか存在しないかを区別するのに用いられるロスを利用するため、分類としてみなし得る。従って、イグジステンスロスは、クロスエントロピーなどを利用して算出され得る。そして距離リグレッションロスは、学習によって出された座標値と実際のＧＴ座標との距離の差をロスとして利用するため、リグレッションロスとみなし得る。従って、距離リグレッションロスは、ユークリッド距離ロスなどを利用して算出され得る。
【００９４】
図４ないし図１０によって説明した学習過程を通じて学習装置のパラメータを最適化すると、このようなパラメータを利用したテスト装置を利用して実際の道路走行をしながら入力されたイメージから車線を検出する。
【００９５】
図１１は、本発明に係る車線検出のためのテスト装置で、車線モデル検出による車線検出過程を概略的に示した図面である。
【００９６】
図１１を参照すれば、学習された学習装置のパラメータを利用したテスト装置が、テストイメージを取得すると、取得されたテストイメージに対してコンボリューションレイヤ１１１０は、コンボリューション演算を一回以上随行して少なくとも一つのテスト用特徴マップ１１２０を生成し、テスト用特徴マップ１１２０をＦＣレイヤ１１３０に入力してテストイメージから車線のクラスターグループのクラスターＩＤの予測値を示すベクトル形態のテスト用クラスターＩＤ分類結果ベクトル１１４０を取得する。
【００９７】
その後、テスト装置は、前記予測されたテスト用クラスターＩＤ分類の結果ベクトル１１４０のうち、各ベクトルの成分が予め設定してある値より大きいか否かに対する情報を参照にして、前記予測されたテスト用クラスターＩＤの少なくとも一部を利用して、前記テスト用クラスターグループ代表値それぞれを取得し、前記テスト用クラスターグループ代表値（θｋ）で前記車線の各形状が表現されたテスト用予測の車線を決定し得る。ここで、各車線（Ｌｉ，ｊ）は、テスト用クラスターグループの中で自分と対応される一つのテスト用クラスターグループ（Ｃｋ）（ここでｋは１ないしＫの間の値）にそれぞれ含まれ、前記車線（Ｌｉ、ｊ）それぞれと対応するテスト用クラスターＩＤをｋと示す際、それぞれのテスト用クラスターグループはテスト用各クラスターグループに含まれている前記各車線の前記関数パラメータに対するそれぞれの平均値
【００９８】
【数８】
2020038660.tif 000010
【００９９】
を、テスト用各クラスターグループの代表値（θｋ）として有する。
【０１００】
その後、テスト装置は、各クラスターグループ代表値と表現される車線を利用して次のプロセスを遂行する。つまり、テスト装置は（ｉ）代表値モデルパラメータから数式（｛（ｘ，ｙ）｜ｘ＝ｆ（ｙ；θｉ，ｊ）｝）を利用して各ｙ値に対してｘ値を求め（ｉｉ）予測された車線の該当ピクセル位置からＲＯＩプーリング１１５０によって特徴を抽出した後、（ｉｉｉ）ＦＣレイヤ１１６０を通じて抽出された特徴であり周辺には車線が存在するかどうかを区別し、（ｉｖ）車線が存在するなら、ＦＣレイヤ１１７０によって、実際の車線とクラスター代表値の車線の位置の差を計算した後、（ｖ）該当の差の分だけクラスター代表値で求めた点を移動させ、実際の車線を求める。つまり、テスト装置は、予測車線の当該ピクセル周辺の一定領域を示す領域フィーチャーを特徴マップから抽出する段階；取得されたテスト用予測車線を基にテスト用予測車線座標のｘ軸方向に所定のピクセル数以内の領域に実際の車線が存在するか区別し、実際の車線が存在すれば、実際の車線とテスト用予測車線座標の位置差を計算する段階；及びテスト用予測車線を位置の違い値だけ移動して移動したテスト用予測車線を算出する段階を行い、予測車線を決定する。テスト段階での実際の車線はＧＴ車線を意味するものではなく、テスト用入力イメージ内にある実際の車線を意味する。（ｉｉｉ）プロセスのイグジステンス分類過程によって、当該ＲＯＩに車線が存在するか否かを区別でき、実際の車線とクラスター代表値から予測した車線の間の差は（ｉｖ）プロセスの距離リグレッション過程を通じてＲＯＩ内のイメージ特徴を利用して予測し得るため、このような位置の差異の値を反映して予測車線を決定し得る。
【０１０１】
これにより、本発明によれば、学習データから車線に対するモデル化及びクラスタリングによって車線モデル学習のためのデータを取得し、これを基に入力イメージから車線に対する車線モデル関数のパラメータを求める学習を行い、入力イメージから車線モデル関数を見つけ、これに基づいて車線を検出し得る方法を提示し得る。併せて、検出された車線周辺の特徴マップだけ演算に利用するため、従来の方法より少ない演算量で車線を検出し得る。
【０１０２】
本発明技術分野の通常の技術者に理解され、前記で説明されたイメージ、例えばトレーニングイメージ、テストイメージといったイメージデータの送受信が学習装置及びテスト装置の各通信部によって行われ得、特徴マップと演算を遂行するためのデータが学習装置及びテスト装置のプロセッサ（及び／またはメモリ）によって保有／維持でき得、コンボリューション演算、デコンボリューション演算、ロス値の演算過程が主に学習装置及びテスト装置のプロセッサにより遂行され得るが、本発明はこれに限定されるものではない。
【０１０３】
また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ判読可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
【０１０４】
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
【０１０５】
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図１】
2020038660.tif 000015
【図２】
2020038660.tif 000016
【図３】
2020038660.tif 000017
【図４】
2020038660.tif 000018
【図５】
2020038660.tif 000019
【図６】
2020038660.tif 000020
【図７】
2020038660.tif 000021
【図８】
2020038660.tif 000022
【図９】
2020038660.tif 000023
【図１０】
2020038660.tif 000024
【図１１】
2020038660.tif 000025