(57)【要約】地物認識部（１２０）は、地物が存在する計測地域での撮影によって得られた画像データ（１９２）を用いて、画像データ（１９２）が表す画像から前記地物の種類を認識する。位置特定部（１３０）は、前記計測地域の中の複数の地点のそれぞれの３次元座標値を示す３次元点群データ（１９１）を用いて、前記地物の位置を特定する。
2020090428.tif 000002
【特許請求の範囲】
【請求項１】
地物が存在する計測地域での撮影によって得られた画像データを用いて、前記画像データが表す画像から前記地物の種類を認識する地物認識部と、
前記計測地域の中の複数の地点のそれぞれの３次元座標値を示す３次元点群データを用いて、前記地物の位置を特定する位置特定部と、
を備える地物検出装置。
【請求項２】
前記地物認識部は、前記画像から前記地物が映っている地物画像領域を検出し、
前記位置特定部は、検出された地物画像領域に対応する３次元領域を前記地物が位置する地物領域として算出する
請求項１に記載の地物検出装置。
【請求項３】
前記地物検出装置は、
前記３次元点群データを用いて、前記地物領域の少なくとも一部を含む候補領域を算出する候補抽出部を備え、
前記地物認識部は、算出された候補領域が映っている候補画像領域を算出し、算出された候補画像領域を前記画像から切り出し、切り出された候補画像領域に対する画像処理によって前記地物画像領域を検出する
請求項２に記載の地物検出装置。
【請求項４】
前記地物は、平面を有し、
前記３次元点群データは、複数の３次元点を含み、
それぞれの３次元点は、３次元座標値を示し、
前記候補抽出部は、同じ平面に位置する１つ以上の地点を表す１つ以上の３次元点を前記３次元点群データから抽出し、抽出された１つ以上の３次元点が示す１つ以上の３次元座標値に基づいて３次元平面領域を前記候補領域として算出する
請求項３に記載の地物検出装置。
【請求項５】
前記地物は、道路標識であり、
前記地物認識部は、前記道路標識の種類を識別し、複数種類の道路標識に対応する複数の識別器から、識別された種類の道路標識に対応する識別器を選択し、選択された識別器を用いて前記道路標識を識別する
請求項１から請求項４のいずれか１項に記載の地物検出装置。
【請求項６】
前記地物は、分離された２つ以上の構成要素を有し、
前記地物認識部は、前記画像データが表す画像から、前記２つ以上の構成要素に対応する２つ以上の要素画像領域を前記地物画像領域として検出し、
前記位置特定部は、前記３次元点群データを用いて前記２つ以上の要素画像領域に対応する２つ以上の３次元領域を２つ以上の要素領域として算出し、算出された２つ以上の要素領域に基づいて前記地物領域を算出する
請求項２に記載の地物検出装置。
【請求項７】
前記地物検出装置は、
前記３次元点群データを用いて、前記２つ以上の要素領域に対応する２つ以上の候補領域を算出する候補抽出部を備え、
前記地物認識部は、算出された２つ以上の候補領域に基づいて、前記２つ以上の要素画像領域を算出する
請求項６に記載の地物検出装置。
【請求項８】
前記地物は、道路面に記された道路標示であり、
前記道路標示は、分離された２つ以上の文字を有し、
前記３次元点群データは、レーザ計測においてレーザ光を反射した複数の地点を表す複数の３次元点を含み、
それぞれの３次元点は、３次元座標値と反射強度とを示し、
前記候補抽出部は、前記道路面の高度に基づいて前記道路面に位置する複数の地点を表す複数の３次元点を前記３次元点群データから道路面点群として抽出し、抽出された道路面点群に含まれる複数の３次元点のそれぞれの３次元座標値と反射強度とに基づいて、抽出された道路面点群から、道路標示に含まれる文字毎に文字の部分に位置する２つ以上の３次元点を候補点群として抽出し、抽出された候補点群毎に候補点群に含まれる２つ以上の３次元点のそれぞれの３次元座標値に基づいて候補領域を算出する
請求項７に記載の地物検出装置。
【請求項９】
前記地物認識部は、前記２つ以上の要素画像領域に対する画像処理によって、前記２つ以上の構成要素を識別する
請求項６から請求項８のいずれか１項に記載の地物検出装置。
【請求項１０】
前記地物認識部は、前記２つ以上の要素画像領域を２つ以上の俯瞰画像に変換し、前記２つ以上の俯瞰画像に基づいて前記２つ以上の構成要素を識別する
請求項９に記載の地物検出装置。
【請求項１１】
前記地物認識部は、前記２つ以上の構成要素についての識別結果に基づいて、前記地物を識別する
請求項９または請求項１０に記載の地物検出装置。
【請求項１２】
前記地物は、道路標示であり、
前記２つ以上の構成要素は、前記道路標示を構成する２つ以上の文字であり、
前記地物認識部は、前記２つ以上の要素画像領域に対する画像処理によって前記２つ以上の文字を識別し、前記２つ以上の文字に基づいて前記道路標示を識別する
請求項１１に記載の地物検出装置。
【請求項１３】
前記地物認識部は、複数の撮影地点での撮影によって得られた複数の画像データを用いて、前記複数の画像データが表す複数の画像から複数の地物画像領域を検出し、
前記位置特定部は、検出された複数の地物画像領域に対応する複数の暫定地物領域を算出し、算出された複数の暫定地物領域に基づいて前記地物領域を算出する
請求項１から請求項１２のいずれか１項に記載の地物検出装置。
【請求項１４】
前記地物認識部は、地物画像領域毎に地物画像領域に対する画像処理によって前記地物を識別し、前記複数の地物画像領域に対応する複数の識別結果に基づいて前記地物の識別結果を決定する
請求項１３に記載の地物検出装置。
【請求項１５】
地物認識部が、地物が存在する計測地域での撮影によって得られた画像データを用いて、前記画像データが表す画像から前記地物の種類を認識し、
位置特定部が、前記計測地域の中の複数の地点のそれぞれの３次元座標値を示す３次元点群データを用いて、前記地物の位置を特定する
地物検出方法。
【請求項１６】
地物が存在する計測地域での撮影によって得られた画像データを用いて、前記画像データが表す画像から前記地物の種類を認識する地物認識部と、
前記計測地域の中の複数の地点のそれぞれの３次元座標値を示す３次元点群データを用いて、前記地物の位置を特定する位置特定部として、
コンピュータを機能させるための地物検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、点群データと画像データとをもとに高精度な地物検出を実現するための技術に関するものである。
【背景技術】
【０００２】
安全な自動運転を実現するために、道路上の物体（地物）について位置および種類を示す図化データが作成される。
図化データは、自動運転を実現するためのダイナミックマップデータにおいて基盤データとなる。
そのため、図化データは、実際の道路の変化に合わせて更新されることが求められている。【０００３】
図化データでは、路肩縁、区画線、標識および道路標示などの位置が地球上の座標（緯度および経度、または、平面直角座標）で記述されている。
自動運転車は、図化データを参照することで現在の走行環境を把握できる。そして、自動運転車は、リアルタイムでセンシングされた周辺の動的な情報（他車両および歩行者の位置など）を現在の走行環境と組み合わせることで、自身にとって最適な移動経路および移動制御を導き出すことが可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−２６４３０号公報
【非特許文献】
【０００５】
【非特許文献１】Ｚ．  Ｚｈａｎｇ，  “Ａ  ｆｌｅｘｉｂｌｅ  ｎｅｗ  ｔｅｃｈｎｉｑｕｅ  ｆｏｒ  ｃａｍｅｒａ  ｃａｌｉｂｒａｔｉｏｎ，”  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，  ｖｏｌ．  ２２，  ｎｏ．  １１，  ｐｐ．  １３３０−１３３４，  Ｎｏｖ．  ２０００．
【非特許文献２】Ｊ．  Ｊｉｎ，  Ｋ．  Ｆｕ，  Ｃ．  Ｚｈａｎｇ，  “Ｔｒａｆｆｉｃ  Ｓｉｇｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｗｉｔｈ  Ｈｉｎｇｅ  Ｌｏｓｓ  Ｔｒａｉｎｅｄ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ，”  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｎｔｅｌｌｉｇｅｎｔ  Ｔｒａｎｓｐｏｒｔａｔｉｏｎ  ｓｙｓｔｅｍｓ，  ｖｏｌ．  １５（５），  ｐｐ．  １９９１−２０００，  ２０１４．
【非特許文献３】Ｙ  ．  ＬｅＣｕｎ，  Ｌ．  Ｂｏｔｔｏｕ，  Ｙ．  Ｂｅｎｇｉｏ  ａｎｄ  Ｐ．  Ｈａｆｆｎｅｒ，  “Ｇｒａｄｉｅｎｔ−ｂａｓｅｄ  ｌｅａｒｎｉｎｇ  ａｐｐｌｉｅｄ  ｔｏ  ｄｏｃｕｍｅｎｔ  ｒｅｃｏｇｎｉｔｉｏｎ，”  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＩＥＥＥ，  ｖｏｌ．  ８６，  ｎｏ．  １１，  ｐｐ．  ２２７８−−２３２４，１９９８．
【発明の概要】
【発明が解決しようとする課題】
【０００６】
モービルマッピングシステム（ＭＭＳ）によって、点群データおよび画像データが取得される。そして、図化データは、点群データと画像データとをもとに、人手によって作成されている。
しかしながら、広範囲にわたる道路の図化データを作成するには、膨大な人的コストお
よび膨大な時間的コストを要する。そのため、図化データを自動的に作成する自動図化技術が求められている。そして、自動図化技術には、高精度な図化が求められている。ここでいう高精度とは、図化データにおいて地物の種類に誤りがないこと、つまり、図化データに示される地物の種類が現実の道路に存在する地物の種類と齟齬がないことを指す。【０００７】
点群データまたは画像データを用いた地物の抽出は公知である。
特許文献１には、点群クラスタから標識を見つけることが記載されている。
しかしながら、高精度な図化データを作成するには、それぞれのデータのみを用いた抽出では不十分である。点群データのみを用いた抽出では、地物の３次元位置が特定できる一方で、地物の種類を認識することが困難である。画像データのみを用いた抽出では、地物の種類が特定できる一方で、地物の３次元位置を特定できない。加えて、画像の撮影タイミングまたは撮影時の地物との位置関係によっては、地物の誤認識または地物の見落としが発生する。【０００８】
非特許文献１から非特許文献３には、点群データと画像データとを利用するための技術が開示されている。それぞれの非特許文献については後述する。【０００９】
本発明は、点群データと画像データとをもとに高精度な地物検出を実現できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明の地物検出装置は、
地物が存在する計測地域での撮影によって得られた画像データを用いて、前記画像データが表す画像から前記地物の種類を認識する地物認識部と、
前記計測地域の中の複数の地点のそれぞれの３次元座標値を示す３次元点群データを用いて、前記地物の位置を特定する位置特定部と、を備える。
【発明の効果】
【００１１】
本発明によれば、画像データを用いて地物の種類を認識し、点群データを用いて地物の位置を特定することができる。
したがって、点群データと画像データとをもとに、高精度な地物検出を実現することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態１における地物検出装置１００の構成図。
【図２】実施の形態１における記憶部１９０の構成図。
【図３】実施の形態１における地物検出方法のフローチャート。
【図４】実施の形態１における３次元点群２００を示す図。
【図５】実施の形態１における３次元点群２００と画像２１０との関連付けを示す図。
【図６】実施の形態１における画像２１０と３次元空間２２０との関連付けを示す図。
【図７】実施の形態１における候補抽出処理（Ｓ１１０）のフローチャート。
【図８】実施の形態１における平面点群抽出処理（Ｓ１１１）のフローチャート。
【図９】実施の形態１における候補領域２０２に対応する画像領域を算出するための情報の説明図。
【図１０】実施の形態１における候補画像領域算出処理（Ｓ１２０）のフローチャート。
【図１１】実施の形態１における認識処理（Ｓ１３０）のフローチャート。
【図１２】実施の形態１における画像２１０を示す図。
【図１３】実施の形態１における矩形画像２１２Ａを示す図。
【図１４】実施の形態１における矩形画像２１２Ｂを示す図。
【図１５】実施の形態１における識別処理（Ｓ１３５）のフローチャート。
【図１６】実施の形態１における領域画像２１４のガンマ補正を示す図。
【図１７】実施の形態１における畳み込みニューラルネットワーク２３０の概要図。
【図１８】実施の形態１におけるＣＮＮによる識別誤りを示す図。
【図１９】実施の形態１における案内標識（Ｇ１〜Ｇ３）と入力画像とを示す図。
【図２０】実施の形態１における案内標識特徴データ２４０と入力特徴ベクトル２４１とを示す図。
【図２１】実施の形態１における暫定領域算出処理（Ｓ１４０）のフローチャート。
【図２２】実施の形態１における画像座標値から３次元座標値への変換の様子を示す図。
【図２３】実施の形態１における統合処理（Ｓ１５０）のフローチャート。
【図２４】実施の形態２における候補抽出処理（Ｓ１１０）のフローチャート。
【図２５】実施の形態２における認識処理（Ｓ１３０）のフローチャート。
【図２６】実施の形態２における矩形画像２１５から俯瞰画像２１６への変換を示す図。
【図２７】実施の形態２における暫定領域（２１７Ａ、２１７Ｂ）から地物領域２１８への統合を示す図。
【発明を実施するための形態】
【００１３】
実施の形態および図面において、同じ要素または対応する要素には同じ符号を付している。説明した要素と同じ符号が付された要素の説明は適宜に省略または簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。
【００１４】
実施の形態１．
計測地域に存在する地物を３次元点群データと画像データとを用いて検出する形態について、図１から図２３に基づいて説明する。
特に、道路標識を検出する形態について説明する。
【００１５】
＊＊＊構成の説明＊＊＊
図１に基づいて、地物検出装置１００の構成を説明する。
地物検出装置１００は、プロセッサ１０１とメモリ１０２と補助記憶装置１０３と通信装置１０４と入出力インタフェース１０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
【００１６】
プロセッサ１０１は、演算処理を行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）であり、他のハードウェアを制御する。例えば、プロセッサ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、またはＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）である。
メモリ１０２は揮発性の記憶装置である。メモリ１０２は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ１０２はＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）である。メモリ１０２に記憶されたデータは必要に応じて補助記憶装置１０３に保存される。
補助記憶装置１０３は不揮発性の記憶装置である。例えば、補助記憶装置１０３は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、またはフラッシュメモリである。補助記憶装置１０３に記憶されたデータは必要に応じてメモリ１０２にロードされる。
通信装置１０４はレシーバ及びトランスミッタである。例えば、通信装置１０４は通信
チップまたはＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）である。
入出力インタフェース１０５は入力装置および出力装置が接続されるポートである。例えば、入出力インタフェース１０５はＵＳＢ端子であり、入力装置はキーボードおよびマウスであり、出力装置はディスプレイである。ＵＳＢはＵｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓの略称である。
【００１７】
地物検出装置１００は、候補抽出部１１０と地物認識部１２０と位置特定部１３０といった要素を備える。これらの要素はソフトウェアで実現される。
【００１８】
補助記憶装置１０３には、候補抽出部１１０と地物認識部１２０と位置特定部１３０としてコンピュータを機能させるための地物検出プログラムが記憶されている。地物検出プログラムは、メモリ１０２にロードされて、プロセッサ１０１によって実行される。
さらに、補助記憶装置１０３にはＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）が記憶されている。ＯＳの少なくとも一部は、メモリ１０２にロードされて、プロセッサ１０１によって実行される。
つまり、プロセッサ１０１は、ＯＳを実行しながら、地物検出プログラムを実行する。
地物検出プログラムを実行して得られるデータは、メモリ１０２、補助記憶装置１０３、プロセッサ１０１内のレジスタ、または、プロセッサ１０１内のキャッシュメモリといった記憶装置に記憶される。
【００１９】
メモリ１０２は記憶部１９０として機能する。但し、他の記憶装置が、メモリ１０２の代わりに、又は、メモリ１０２と共に、記憶部１９０として機能してもよい。
【００２０】
地物検出装置１００は、プロセッサ１０１を代替する複数のプロセッサを備えてもよい。複数のプロセッサは、プロセッサ１０１の役割を分担する。
【００２１】
地物検出プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録（格納）することができる。
【００２２】
図２に基づいて、記憶部１９０の構成を説明する。
記憶部１９０には、３次元点群データ１９１と複数の画像データ１９２とが記憶される。さらに、記憶部１９０には、地物検出装置１００で使用される各種のデータが記憶される（図示省略）。
３次元点群データ１９１および複数の画像データ１９２は、モービルマッピングシステム（ＭＭＳ）によって生成される。
【００２３】
ＭＭＳでは、ＧＰＳ受信機、ＩＭＵ、レーザレーダおよびカメラなどの各種の計測装置が搭載された計測車両が使用される。ＧＰＳはＧｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍの略称である。ＧＰＳ受信機は測位装置である。ＩＭＵはＩｎｅｒｔｉａｌ
Ｍｅａｓｕｒｅｍｅｎｔ  Ｕｎｉｔの略称である。
【００２４】
計測車両は、移動しながら各種の計測を行う車両である。
例えば、ＧＰＳ受信機とＩＭＵとによって、各時刻における計測車両の位置および姿勢が計測される。レーザレーダによってレーザ計測が行われる。カメラによって、計測地域の各箇所で計測地域が撮影される。
計測地域は、計測車両によって計測された地域である。
【００２５】
計測車両によって、計測地域に関する各種の計測データが得られる。
例えば、位置姿勢データ、距離方位点群データおよび画像データ１９２などが得られる。
位置姿勢データは、各時刻における計測車両の位置および姿勢を示す。
距離方位点群データは、各時刻におけるレーザレーダから各地点への距離と方位とを示す。
画像データ１９２は、計測地域のうちの撮影された領域が映った画像を表す。
【００２６】
３次元点群データ１９１は、車両位置データおよび距離方位点群データなどを用いて生成される。
３次元点群データ１９１は、計測地域の中の複数の地点のそれぞれの３次元座標値を示す。３次元点群データ１９１は、複数の３次元点を含む。それぞれの３次元点は、レーザ光を反射した地点を表すデータである。
それぞれの３次元点は、計測時刻、３次元座標値および反射強度などを示す。３次元点が示す計測時刻は、３次元点で表される地点に対するレーザ計測が行われた時刻である。３次元点が示す３次元座標値は、３次元点で表される地点の位置を特定する。３次元点が示す反射強度は、３次元点で表される地点からレーザレーダが受光したレーザ光の強度である。
【００２７】
画像データ１９２は、計測地域での撮影によって得られる。
複数の画像データ１９２は、複数の撮影地点での撮影によって得られる。
計測地域には、道路標識または道路標示などの各種の地物が存在する。そして、画像データ１９２が表す画像には、計測地域に存在する各種の地物が映っている。
【００２８】
＊＊＊動作の説明＊＊＊
地物検出装置１００の動作は地物検出方法に相当する。また、地物検出方法の手順は地物検出プログラムの手順に相当する。
【００２９】
図３に基づいて、地物検出方法の概要を説明する。
ステップＳ１１０において、候補抽出部１１０は、３次元点群データ１９１を用いて、候補領域群を算出する。
候補領域群は、１つ以上の候補領域である。
候補領域は、地物領域の候補である。候補領域には、地物領域の少なくとも一部が含まれる。
地物領域は、地物が位置する３次元領域である。
【００３０】
図４に、３次元点群２００を示す。
３次元点群２００は、３次元点群データ１９１に含まれる３次元点群の一例を表している。３次元点群２００には、道路標識または道路標示などの地物の候補領域２０２が含まれる。
地物領域２０１は、「車両数減少」を示す道路標識が位置する領域である。地物領域２０１には、複数の３次元点が位置している。
【００３１】
図３に戻り、ステップＳ１２０から説明を続ける。
ステップＳ１２０において、地物認識部１２０は、画像データ１９２毎に、画像データ１９２を用いて、候補領域群に対応した候補画像領域群を算出する。
候補画像領域群は、１つ以上の候補画像領域である。
候補画像領域は、画像データ１９２が表す画像の中で候補領域が映っている領域である。
【００３２】
ステップＳ１３０において、地物認識部１２０は、画像データ１９２毎に、候補画像領域群に基づいて、地物別に地物画像領域と識別結果候補とを得る。
具体的には、地物認識部１２０は、画像データ１９２が表す画像の中の候補画像領域に
対する画像処理によって、地物画像領域と識別結果候補とを得る。
【００３３】
地物画像領域は、画像データ１９２が表す画像の中で地物が映っている領域である。つまり、地物画像領域は、画像データ１９２が表す画像の中で地物領域が映っている領域である。
識別結果候補は、地物を識別する識別結果の候補である。
【００３４】
ある地物が１枚の画像に映っている場合、１つの地物画像領域と１つの識別結果候補とが得られる。
同じ地物が複数の画像に映っている場合、複数の地物画像領域と複数の識別結果候補とが得られる。
つまり、地物毎に、１つ以上の地物画像領域と１つ以上の識別結果候補とが得られる。各地物の１つ以上の地物画像領域を「地物画像領域群」と称する。各地物の１つ以上の識別結果候補を「識別結果候補群」と称する。
【００３５】
図５に、３次元点群２００と画像２１０との関連付けを示す。
画像２１０Ａは、画像データ１９２Ａが表す画像である。
画像２１０Ｂは、画像データ１９２Ｂが表す画像である。
画像２１０Ｃは、画像データ１９２Ｃが表す画像である。
地物画像領域２１１Ａは、画像２１０Ａの中で地物領域２０１が映っている領域である。
地物画像領域２１１Ｂは、画像２１０Ｂの中で地物領域２０１が映っている領域である。
地物画像領域２１１Ｃは、画像２１０Ｃの中で地物領域２０１が映っている領域Ｄである。
それぞれの地物画像領域２１１に基づいて、道路標示「車両数減少」が識別される。
【００３６】
図３に戻り、ステップＳ１４０から説明を続ける。
ステップＳ１４０において、位置特定部１３０は、３次元点群データ１９１を用いて、各画像の地物画像領域毎に暫定領域を算出する。
暫定領域は、地物画像領域に対応する暫定の３次元領域である。つまり、暫定領域は、暫定の地物領域である。
【００３７】
ある地物が１枚の画像に映っている場合、１枚の画像の１つの地物画像領域に対応する１つの暫定領域が算出される。
同じ地物が複数の画像に映っている場合、複数の画像の複数の地物画像領域に対応する複数の暫定領域が算出される。
つまり、地物毎に、１つ以上の地物画像領域に対応する１つ以上の暫定領域が算出される。各地物の１つ以上の暫定領域を「暫定領域群」と称する。
【００３８】
ステップＳ１５０において、位置特定部１３０は、地物毎に、暫定領域群に基づいて地物領域を算出する。
さらに、地物認識部１２０は、地物毎に、識別結果候補群に基づいて識別結果を決定する。
【００３９】
図６に、画像２１０と３次元空間２２０との関連付けを示す。
３次元空間２２０は、計測地域を表すための３次元空間である。
地物領域２２１は、３次元空間２２０における地物領域である。
地物領域２２１は、地物画像領域２１１Ａに対応する３次元領域と地物画像領域２１１Ｂに対応する３次元領域と地物画像領域２１１Ｃに対応する３次元領域とを統合すること
によって得られる。
地物の種類は、地物画像領域２１１Ａに基づく識別結果と地物画像領域２１１Ｂに基づく識別結果と地物画像領域２１１Ｃに基づく識別結果とを統合することによって得られる。
【００４０】
以下に、地物検出方法の詳細を説明する。
地物は平面を有する。具体的には、地物は平面形状を成す。
以下の説明において、地物検出装置１００は道路標識を検出する。道路標識は、地物検出装置１００によって検出される地物の具体例である。
【００４１】
図７に基づいて、候補抽出処理（Ｓ１１０）の手順を説明する。
ステップＳ１１１において、候補抽出部１１０は、３次元点群データ１９１から、候補領域をなす平面点群を抽出する。抽出される平面点群は複数であってもよい。
平面点群は、同じ平面に位置する１つ以上の地点を表す１つ以上の３次元点である。「平面」には、近似的な平面が含まれる。
【００４２】
図８に基づいて、平面点群抽出処理（Ｓ１１１）を説明する。
ステップＳ１１１１において、候補抽出部１１０は、３次元点毎に、３次元点が含まれる平面に対する法線ベクトルを算出する。
【００４３】
候補抽出部１１０は、３次元点の法線ベクトルを次のように算出する。対象となる３次元点を「対象点」と称する。
まず、候補抽出部１１０は、対象点の周辺領域を決定する。周辺領域は、対象点を含む３次元領域である。周辺領域の大きさは予め決められる。
次に、候補抽出部１１０は、周辺領域に含まれる１つ以上の３次元点を３次元点群データ１９１から抽出する。抽出される１つ以上の３次元点を「周辺領域点群」と称する。
次に、候補抽出部１１０は、周辺領域点群に含まれる１つ以上の３次元点が示す１つ以上の３次元座標値に基づいて、近似平面を算出する。
そして、候補抽出部１１０は、近似平面の法線ベクトルを算出する。
【００４４】
ステップＳ１１１２において、候補抽出部１１０は、各３次元点の法線ベクトルに基づいて、１つ以上の平面点群を抽出する。
【００４５】
候補抽出部１１０は、１つ以上の平面点群を次のように抽出する。
候補抽出部１１０は、各３次元点の３次元座標値と各３次元点の法線ベクトルとに基づいて、複数の３次元点をクラスタリングする。
これにより、１つ以上のクラスタが得られる。各クラスタは複数の３次元点を含み、複数の３次元点は近傍領域に位置し、複数の３次元点のそれぞれの法線ベクトルが成す角度は近似範囲に含まれる。近傍領域は、予め決められた大きさを有する３次元領域である。近似範囲は、角度について予め決められた範囲である。
得られる１つ以上のクラスタが、１つ以上の平面点群である。
【００４６】
ステップＳ１１１３において、候補抽出部１１０は、抽出した平面点群毎に法線ベクトルを算出する。
【００４７】
候補抽出部１１０は、平面点群の法線ベクトルを次のように算出する。対象となる平面点群を「対象点群」と称する。
まず、候補抽出部１１０は、対象点群に含まれる複数の３次元点に基づいて、近似平面を算出する。
そして、候補抽出部１１０は、近似平面の法線ベクトルを算出する。
【００４８】
ステップＳ１１１４において、候補抽出部１１０は、各平面点群の法線ベクトルに基づいて、候補領域をなす平面点群を選択し、抽出する。
【００４９】
候補抽出部１１０は、候補領域をなす平面点群を次のように選択し、抽出する。
記憶部１９０には、計測車両の移動ベクトルが予め記憶されている。移動ベクトルは、移動軌跡の方向を示す。
候補抽出部１１０は、平面点群毎に、計測車両の移動ベクトルと平面点群の法線ベクトルとが成す角度を算出する。算出される角度を「相対角度」と称する。
候補抽出部１１０は、相対角度が規定範囲に含まれる平面点群を選択する。選択される平面点群が候補領域をなす平面点群である。規定範囲は、角度について予め決められた範囲である。具体的には、規定範囲は０度付近を示す。
【００５０】
図７に戻り、ステップＳ１１２を説明する。
ステップＳ１１２において、候補抽出部１１０は、抽出した候補領域をなす平面点群に含まれる１つ以上の３次元点が示す１つ以上の３次元座標値に基づいて、３次元平面領域を算出する。
算出される３次元平面領域が「候補領域」である。複数の平面点群がある場合、複数の候補領域が算出される。
【００５１】
３次元平面領域は、平面点群が位置する平面状の範囲を特定する矩形の３次元領域である。３次元平面領域、すなわち、候補領域は４つの端点（頂点）を示す４つの３次元座標値で表される。
【００５２】
次に、候補画像領域算出処理（Ｓ１２０）の詳細を説明する。
地物認識部１２０は、画像データ１９２毎に候補画像領域群を算出する。
【００５３】
図９に基づいて、候補領域２０２に対応する候補画像領域を算出するための情報を説明する
ＭＭＳにより、計測車両の周辺についての３次元点群２００のほか、一定の時間間隔で行われるＮ回の撮影によってＮ枚の画像（Ｉ１〜ＩＮ）が得られる。各画像を「フレーム」と称する。さらに、ＭＭＳにより、撮影時刻における計測車両の位置および姿勢が記録される。
候補領域２０２は、４つの端点（Ｐ１〜Ｐ４）で表される。
「Ｐ−」は、候補領域２０２の重心である。
「ＴＣ（ｉ）」は、計測車両に搭載されたカメラについて、ｉフレーム目の画像Ｉｉが得られた撮影時の位置を表している。
「ＲＣ（ｉ）」は、計測車両に搭載されたカメラについて、ｉフレーム目の画像Ｉｉが得られた撮影時の姿勢を表している。
カメラ位置ＴＣは、ＧＰＳ測位によって求められた計測車両の位置を、ＧＰＳ受信機とカメラとの位置関係（オフセット）に基づいて補正することによって、算出される。
カメラの姿勢ＲＣは、計測車両に搭載されるジャイロセンサによって計測される。ジャイロセンサは、計測車両に搭載されるＩＭＵに備わる。
【００５４】
図１０に基づいて、候補画像領域算出処理（Ｓ１２０）の手順を説明する。
ステップＳ１２１において、地物認識部１２０は、未選択の候補領域を１つ選択する。
【００５５】
ステップＳ１２２において、地物認識部１２０は、選択された候補領域が映っている１枚以上の画像を選択する。
選択される１枚以上の画像を「対象画像群」と称する。
【００５６】
地物認識部１２０は、対象画像群を次のように選択する。
まず、地物認識部１２０は、候補領域の４つの端点（Ｐ１〜Ｐ４）を示す４つの３次元座標値に基づいて、候補領域の重心Ｐ−を算出する。
次に、地物認識部１２０は、候補領域の重心Ｐ−までの距離が閾値ｄ以下であるカメラ位置ＴＣの集合Ｘを選択する。集合Ｘは、式（１）で表すことができる。
【００５７】
【数１】
2020090428.tif 000003
【００５８】
そして、地物認識部１２０は、集合Ｘに含まれるカメラ位置ＴＣ毎に、カメラ位置ＴＣでの撮影によって得られた画像データ１９２を選択する。
これにより、１つ以上の画像データ１９２が選択される。選択された１つ以上の画像データ１９２が表す１つ以上の画像Ｉｋが、１つ以上の対象画像Ｉからなる対象画像群である。
【００５９】
ステップＳ１２３において、地物認識部１２０は、対象画像Ｉ毎に、候補領域に対応する候補画像領域を算出する。
具体的には、地物認識部１２０は、対象画像Ｉの中で候補領域の４つの端点（Ｐ１〜Ｐ４）が投影される４つの画素を特定する。つまり、地物認識部１２０は、４つの画素を示す４つの２次元座標値を算出する。４つの画素のそれぞれは、候補領域の端点（Ｐ１〜Ｐ４）が対応する画素である。
【００６０】
以下に、端点ＭＷが投影される画素ｍを特定する方法について説明する。例えば、端点ＭＷは端点（Ｐ１〜Ｐ４）であり、画素ｍは候補領域の端点（Ｐ１〜Ｐ４）が対応する画素である。
端点ＭＷの３次元座標値を［Ｘ，Ｙ，Ｚ］Ｔと表す。
ｉフレーム目の画像Ｉｉの中で端点ＭＷに対応する画素ｍの２次元座標値を［ｕ，ｖ］Ｔと表す。
これらの座標値の関係は、カメラモデルによって特定される。カメラモデルの具体例はピンホールカメラモデルである。ピンホールカメラモデルは、一般に広く用いられているモデルである。但し、端点ＭＷの３次元座標値と画素ｍの２次元座標値との関係は、ピンホールカメラモデル以外のモデルによって特定されてもよい。
【００６１】
３次元空間中の端点ＭＷが与えられたとき、カメラ座標系における端点ＭＣは式（２）で表される。カメラ座標系は、撮影時のカメラを中心とする３次元座標系である。
カメラ姿勢ＲＣは、回転を表す３×３の行列である。
カメラ位置ＴＣは、並進を表す３×１のベクトルである。
【００６２】
【数２】
2020090428.tif 000004
【００６３】
画像Ｉｉの中で端点ＭＣが投影される画素ｍｎの２次元座標値は、式（３）を計算することによって算出される。
焦点距離（ズーム率）などの特性が異なる各種のカメラを統一的に取り扱うため、画像
Ｉｉの撮影に用いられたカメラが正規化カメラであると仮定する。正規化カメラは、焦点距離が１画素に相当する仮想的なカメラである。
【００６４】
【数３】
2020090428.tif 000005
【００６５】
さらに、レンズ歪みを考慮した後の画素ｍｄの２次元座標値は、式（４）を計算することによって算出される。
但し、「ｒ’２＝ｘ’２＋ｙ’２」が成り立つものとする。
【００６６】
【数４】
2020090428.tif 000006
【００６７】
そして、式（５）を計算することによって、画素ｍの２次元座標値が算出される。
「Ａ」は、カメラの内部パラメータを意味する。
「ａｘ」は、水平方向の焦点距離を意味する。
「ａｙ」は、垂直方向の焦点距離を意味する。
［ｕ０，ｖ０］は、カメラの光軸と画像平面との交点の２次元座標値を意味する。
【００６８】
【数５】
2020090428.tif 000007
【００６９】
内部パラメータＡは、カメラの校正（キャリブレーション）が事前に行われることによって決定される。内部パラメータＡについては、非特許文献１に開示されている。
【００７０】
ステップＳ１２４において、地物認識部１２０は、ステップＳ１２１で選択されていない候補領域（未選択の候補領域）があるか判定する。
未選択の候補領域がある場合、処理はステップＳ１２１に進む。
未選択の候補領域がない場合、処理は終了する。
【００７１】
図１１に基づいて、認識処理（Ｓ１３０）の手順を説明する。
ステップＳ１３１において、地物認識部１２０は、未選択の画像データ１９２を１つ選択する。
【００７２】
ステップＳ１３２からステップＳ１３５は、ステップＳ１３１で選択された画像データ
１９２の候補画像領域群に対して実行される。
【００７３】
ステップＳ１３２において、地物認識部１２０は、選択された画像データ１９２が表す画像から、候補画像領域群に対応する矩形画像群を切り出す。
具体的には、地物認識部１２０は、候補画像領域毎に、候補画像領域を含んだ矩形領域を画像から切り出す。切り出される矩形領域を「矩形画像」と称する。
【００７４】
図１２において、画像２１０から２つの矩形画像（２１２Ａ、２１２Ｂ）が切り出される。各矩形画像２１２には、道路標識が映っている。
矩形画像２１２Ａの一部は、矩形画像２１２Ｂの一部と重複している。
【００７５】
図１１に戻り、ステップＳ１３３から説明を続ける。
ステップＳ１３３において、地物認識部１２０は、各矩形画像に対する機械学習手法により、認識結果集合を得る。
この機械学習手法は、画像処理の１種である。機械学習の具体例は深層学習である。
認識結果集合は、１つ以上の認識結果である。
認識結果は、地物画像領域と地物クラスとクラス信頼度とを含む。
地物クラスは、地物の種類を示す。地物クラスには、案内標識と、警戒標識（および警戒指示）と、規制標識と、補助標識との４種類がある。
クラス信頼度は、地物クラスの信頼度である。
【００７６】
図１３において、矩形画像２１２Ａに基づいて、２つの道路標識（２１３Ａ、２１３Ｂ）に対応する２つの認識結果が得られる。
図１４において、矩形画像２１２Ｂに基づいて、３つの道路標識（２１３Ａ〜２１３Ｃ）に対応する３つの認識結果が得られる。
つまり、矩形画像２１２Ａと矩形画像２１２Ｂとに基づいて、道路標識２１３Ａについての２つの認識結果と、道路標識２１３Ｂについての２つの認識結果と、道路標識２１３Ｃについての１つの認識結果とが得られる。
【００７７】
図１１に戻り、ステップＳ１３４から説明を続ける。
ステップＳ１３４において、地物認識部１２０は、認識結果集合を統合することにより、地物別に統合結果を得る。
統合結果は、複数の認識結果を統合して得られる結果である。
【００７８】
地物認識部１２０は、統合結果を次のように得る。
まず、地物認識部１２０は、各認識結果の地物画像領域に基づいて、認識結果集合をグループ分けする。具体的には、地物認識部１２０は、地物画像領域の重なり率が閾値を超える複数の認識結果を１つのグループにまとめる。
そして、地物認識部１２０は、認識結果グループ毎に、認識結果グループを統合することにより、統合結果を生成する。
具体的には、地物認識部１２０は、統合結果を次のように生成する。
地物認識部１２０は、認識結果グループが示す複数の地物画像領域を統合することによって、１つの地物画像領域を算出する。そして、地物認識部１２０は、算出された地物画像領域を統合結果に設定する。
認識結果グループが示す複数の地物クラスが同じ種類を示す場合、地物認識部１２０は、その種類を示す地物クラスを統合結果に設定する。
認識結果グループが示す複数の地物クラスが異なる種類を示す場合、地物認識部１２０は、クラス信頼度が最も高い地物クラスを選択する。そして、地物認識部１２０は、選択された地物クラスを統合結果に設定する。
【００７９】
ステップＳ１３５において、地物認識部１２０は、統合結果毎に、統合結果に示される地物クラスに対応する識別器を用いて、地物を識別する。
【００８０】
図１５に基づいて、識別処理（Ｓ１３５）の手順を説明する。
ステップＳ１３５１において、地物認識部１２０は、未選択の統合結果を１つ選択する。
【００８１】
ステップＳ１３５２において、地物認識部１２０は、選択された統合結果に示される地物画像領域を画像から切り出す。切り出される地物画像領域を「領域画像」と称する。
【００８２】
ステップＳ１３５３において、地物認識部１２０は、領域画像のコントラストを調整する。
具体的には、地物認識部１２０は、領域画像に対してガンマ補正を行う。これにより、木影などによって識別が困難な地物を識別することが可能となる。
【００８３】
図１６において、領域画像２１４Ａに対してガンマ補正を行うことにより、領域画像２１４Ｂが得られる。
領域画像２１４Ａでは識別困難な道路標識が、領域画像２１４Ｂでは識別可能である。
【００８４】
図１５に戻り、ステップＳ１３５４から説明を続ける。
ステップＳ１３５４において、地物認識部１２０は、複数種類の道路標識に対応する複数の識別器から、統合結果に示される地物クラスに対応する識別器を選択する。複数の識別器は予め用意される。
【００８５】
ステップＳ１３５５において、地物認識部１２０は、選択された識別器を用いて、調整後の領域画像に映っている地物を識別する。
識別方法は、案内標識と案内標識以外の道路標識とで異なる
【００８６】
まず、案内標識以外の道路標識を識別する方法を説明する。
識別器として、複数の層から成る畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）が用いられる。
図１７は、畳み込みニューラルネットワーク２３０の概要図を示す。畳み込みニューラルネットワーク２３０は、複数の層から成る畳み込みニューラルネットワークである。
畳み込みニューラルネットワーク２３０については、非特許文献２に開示されている。
【００８７】
学習用のデータセットは、道路標識の種類（警戒標識（および指示）、規制標識、補助標識）毎に作成される。そして、それぞれのデータセットに対して、ＣＮＮを学習させる。
つまり、３つのＣＮＮはネットワーク構造が同じであるが、３つのＣＮＮはネットワークの重みパラメータが互いに異なる。
【００８８】
次に、案内標識を識別する方法を説明する。
案内標識は、同じ種類のものでも様々なデザインが存在する。
学習用データセットにないデザインについては、ＣＮＮによる識別率が悪化する。
図１８において、入力画像に映っている案内標識と同じデザインは学習用データセットに含まれない。この場合、ＣＮＮにより、誤った案内標識が識別される。
【００８９】
そのため、案内標識については、形状、色および文字などが異なる複数のデザインにおいて共通する特徴に焦点をあてる。
まず、地物認識部１２０は、領域画像から地物の特徴を検出する。特徴の検出には、画
像認識、物体検出および文字認識などの手法が用いられる。
そして、地物認識部１２０は、検出された特徴に基づいて、案内標識を以下のように識別する。
【００９０】
まず、地物認識部１２０は、特徴の種類毎に特徴の有無を判定する。各種類の特徴の有無は２値（０または１）で表される。各種類の特徴の有無を表す情報を「特徴ベクトル」と称する。
そして、地物認識部１２０は、案内標識特徴データから、特徴ベクトルと類似度が高い案内標識を選択する。案内標識特徴データは、案内標識毎に特徴ベクトルを示す。
【００９１】
図１９に、３つの案内標識（Ｇ１〜Ｇ３）と入力画像とを示す。入力画像は領域画像に相当する。
図２０に、案内標識特徴データ２４０と入力特徴ベクトル２４１とを示す。
案内標識特徴データ２４０は、３つの案内標識（Ｇ１〜Ｇ３）のそれぞれの特徴ベクトルを示している。
入力特徴ベクトル２４１は、入力画像に映っている案内標識の特徴ベクトルである。
入力特徴ベクトル２４１と類似度が高い特徴ベクトルは、案内標識Ｇ１の特徴ベクトルである。そのため、入力画像に映っている案内標識の識別結果は案内標識Ｇ１となる。
【００９２】
２つの特徴ベクトルの類似度として、コサイン類似度が用いられる。コサイン類似度は、類似度を測るための評価指標の一例である。
第１案内標識の特徴ベクトルｘと第２案内標識の特徴ベクトルｙとのコサイン類似度は、式（６）によって求められる。
【００９３】
【数６】
2020090428.tif 000008
【００９４】
入力特徴ベクトル２４１と案内標識Ｇ１の特徴ベクトルとのコサイン類似度は「１．０」である。
入力特徴ベクトル２４１と案内標識Ｇ２の特徴ベクトルとのコサイン類似度は「０．２４」である。
入力特徴ベクトル２４１と案内標識Ｇ３の特徴ベクトルとのコサイン類似度は「０．５」である。
したがって、入力画像に映っている案内標識の識別結果は案内標識Ｇ１となる。
【００９５】
上記の例では、入力特徴ベクトル２４１が案内標識Ｇ１の特徴ベクトルと一致した。しかし、実際には、特徴の検出漏れまたは特徴の誤検出があるため、入力特徴ベクトル２４１がいずれの案内標識の特徴ベクトルとも一致しないことが考えられる。その場合には、コサイン類似度が最も高い特徴ベクトルに対応する案内標識が識別結果として選択される。
【００９６】
図１５に戻り、ステップＳ１３５６を説明する。
ステップＳ１３５６において、地物認識部１２０は、ステップＳ１３５１で選択されていない統合結果（未選択の統合結果）があるか判定する。
未選択の統合結果がある場合、処理はステップＳ１３５１に進む。
未選択の統合結果がない場合、処理は終了する。
【００９７】
図２１に基づいて、暫定領域算出処理（Ｓ１４０）の手順を説明する。
ステップＳ１４１において、位置特定部１３０は、未選択の地物画像領域を１つ選択する。
【００９８】
ステップＳ１４２において、位置特定部１３０は、地物画像領域に対応する候補領域を選択する。
そして、位置特定部１３０は、選択された候補領域に対応する基準平面を算出する。
基準平面は、３次元空間において候補領域の各端点を含む平面である。
【００９９】
具体的には、位置特定部１３０は、候補領域の４つの端点に対する平面フィッティングによって、基準平面の方程式を算出する。基準平面の方程式は「ａＸ＋ｂＹ＋ｃＺ＋ｄ＝０」という形式で表される。
【０１００】
候補領域の４つの端点について補足する。
自動図化では、点群から検出された道路標識領域点に対して、以下の（１）から（３）の処理が行われる。
（１）点群から画像への関連付けで画像上の大まかな領域を特定する。
（２）画像上で正確な領域を特定する。
（３）特定された（矩形）領域の四隅の画素について、画像から点群への関連付けによって３次元座標値を算出する。
したがって、画像から点群への関連付けの入力となる画素について、対応する道路標識領域点が既知である。
【０１０１】
ステップＳ１４３において、位置特定部１３０は、地物画像領域の端点毎に視線ベクトルを算出する。
視線ベクトルは、撮影地点から画像平面の中の地物画像領域の端点へのベクトルである。画像平面は、地物画像領域を含む画像に対応する３次元平面である。
【０１０２】
位置特定部１３０は、地物画像領域の端点に対応する視線ベクトル（ＰＰ−ＰＣ）を次のように算出する。
まず、位置特定部１３０は、レーザ座標系におけるカメラ中心の位置ＰＣを求める。具体的には、位置特定部１３０は、式（７）を計算することによって、レーザ座標系におけるカメラ中心の位置ＰＣを求める。
式（７）は、カメラ座標系の点ＭＣをレーザ座標系の点ＭＷに変換するための式である。
【０１０３】
【数７】
2020090428.tif 000009
【０１０４】
次に、位置特定部１３０は、レーザ座標系における画素の位置ＰＰを次のように求める。
具体的には、位置特定部１３０は、正規化カメラ座標系における点ｍｎを求める。そして、位置特定部１３０は、上記式（７）を用いて点ｍｎをレーザ座標系に変換することにより、レーザ座標系における位置ＰＰを得る。
【０１０５】
点ｍｎは式（８）で表すことができる。
【０１０６】
【数８】
2020090428.tif 000010
【０１０７】
そして、位置特定部１３０は、視線ベクトル（ＰＰ−ＰＣ）を算出する。
【０１０８】
ステップＳ１４４において、位置特定部１３０は、地物画像領域の端点毎に、視線ベクトルと基準平面との交点の３次元座標値を算出する。
【０１０９】
ステップＳ１４５において、位置特定部１３０は、ステップＳ１４１で選択されていない地物画像領域（未選択の地物画像領域）があるか判定する。
未選択の地物画像領域がある場合、処理はステップＳ１４１に進む。
未選択の地物画像領域がない場合、処理は終了する。
【０１１０】
図２２に、画像座標値から３次元座標値への変換の様子を示す。
図２２に示すように、地物画像領域の端点（入力）に対応する３次元点（出力）は、視線ベクトル（ＰＰ−ＰＣ）と基準平面との交点に相当する。
【０１１１】
図２３に基づいて、統合処理（Ｓ１５０）の手順を説明する。
ステップＳ１５１において、位置特定部１３０は、暫定領域群をクラスタ分けする。
具体的には、位置特定部１３０は、近接する１つ以上の暫定領域を１つのクラスタにまとめる。
例えば、位置特定部１３０は、各暫定領域の重心に基づいて、近接する１つ以上の暫定領域を決定する。第１暫定領域の重心と第２暫定領域の重心との距離が閾値以下である場合、第１暫定領域と第２暫定領域とは互いに近接する。
【０１１２】
ステップＳ１５２において、位置特定部１３０は、クラスタ毎に、クラスタに属する１つ以上の暫定領域を統合することによって、地物領域を算出する。
例えば、位置特定部１３０は、各暫定領域の４つの端点について、端点毎に３次元座標値の平均を算出する。算出される４つの平均値で表される３次元領域が暫定領域を統合化して得られる地物領域である。
【０１１３】
ステップＳ１５３において、位置特定部１３０は、クラスタ毎に、クラスタに属する１つ以上の暫定領域に対応する１つ以上の識別結果を統合することによって、識別結果を決定する。
具体的には、位置特定部１３０は、１つ以上の識別結果に対する投票処理を行い、最も投票数が多い識別結果を採用する。投票処理において、位置特定部１３０は、識別結果毎に重みを付けるとよい。例えば、重みは、識別結果のクラス信頼度に比例し、識別結果に対応する地物領域からカメラまでの距離に反比例する。
【０１１４】
＊＊＊実施の形態１の効果＊＊＊
実施の形態１により、ＭＭＳで取得される点群データと画像データとをもとに、高精度な図化を実現することが可能となる。
点群データと画像データとの双方が活用されるため、地物をより精度良く認識することができる。
点群データを用いて候補領域が絞り込まれるため、画像内の全領域を対象に地物を探索する必要がなくなる。その結果、図化処理が高速化される。
点群データだけでなく画像データも用いられるため、地物をより精度良く認識することができる。
【０１１５】
＊＊＊他の構成＊＊＊
候補抽出処理（Ｓ１１０）により、以降の処理が画像内の候補領域のみを対象に実行することができる。そのため、以降の処理を画像内の全領域を対象に実行する場合に比べて、データ処理の演算量を削減することができる。その結果、処理時間が短縮される。
但し、データ処理の演算量を削減する必要がない場合、候補抽出処理（Ｓ１１０）は省略することができる。この場合、以降の処理は画像内の全領域を対象に実行される。
【０１１６】
実施の形態２．
道路面に記された道路標示を検出する形態について、主に実施の形態１と異なる点を図２４から図２７に基づいて説明する。
【０１１７】
道路標示は、分離された２つ以上の文字を有する。
道路標示は、分離された２つ以上の構成要素を有する地物の一例である。
【０１１８】
候補画像領域および地物画像領域は、２つ以上の構成要素に対応する２つ以上の要素画像領域に相当する。要素画像領域は、画像の中で構成要素が映っている領域である。
候補領域は、要素領域に相当する。要素領域は、要素画像領域に対応する３次元領域である。
暫定領域群は、２つ以上の要素領域に相当する。
【０１１９】
＊＊＊構成の説明＊＊＊
地物検出装置１００の構成は、実施の形態１における構成と同じである（図１および図２参照）。
【０１２０】
＊＊＊動作の説明＊＊＊
地物検出方法の概要は、実施の形態１における概要と同じである（図３参照）。
【０１２１】
図２４に基づいて、候補抽出処理（Ｓ１１０）の手順を説明する。
ステップＳ１１１において、候補抽出部１１０は、３次元点群データ１９１から、道路面点群を抽出する。
道路面点群は、道路面に位置する複数の地点を表す複数の３次元点である。
【０１２２】
候補抽出部１１０は、道路面点群を次のように抽出する。
まず、候補抽出部１１０は、道路面の高度を算出する。例えば、計測車両に搭載されたＩＭＵの位置が計測車両の基準位置として扱われる場合、候補抽出部１１０は、計測車両の高度から、道路からＩＭＵまでの高さを引くことによって、道路面の高度を算出する。
そして、候補抽出部１１０は、道路面の高度に基づいて、道路面点群を３次元点群データ１９１から抽出する。例えば、候補抽出部１１０は、道路面との高度差が閾値以下である複数の３次元点を抽出する。
【０１２３】
ステップＳ１１２において、候補抽出部１１０は、３次元点群データ１９１から区画線点群を抽出する。
区画線点群は、区画線に位置する複数の地点を表す複数の３次元点である。
【０１２４】
候補抽出部１１０は、区画線点群を次のように抽出する。
まず、候補抽出部１１０は、反射強度が閾値以上である３次元点群を３次元点群データ１９１から抽出する。
そして、候補抽出部１１０は、抽出された３次元点群から、計測車両の走行軌跡に沿って並んでいる複数の３次元点を抽出する。抽出される複数の３次元点が区画線点群である。
但し、候補抽出部１１０は、上記以外の方法で区画線点群を抽出してもよい。
【０１２５】
ステップＳ１１３において、候補抽出部１１０は、区画線点群に基づいて、道路面点群から対象点群を抽出する。
対象点群は、道路面点群から区画線点群を除いた残りの３次元点群である。
【０１２６】
具体的には、候補抽出部１１０は、区画線からの距離が閾値以上である３次元点群を抽出する。区画線は、区画線点群の各３次元点の３次元座標値に基づいて算出される。
【０１２７】
ステップＳ１１４において、候補抽出部１１０は、各対象点の反射強度と各対象点の３次元座標値とに基づいて、対象点群から候補点群を抽出する。
候補点群は、道路標示の文字の部分に位置する２つ以上の３次元点。
【０１２８】
具体的には、候補抽出部１１０は、候補点群を次のように抽出する。
まず、候補抽出部１１０は、反射強度が閾値以上である３次元点群を対象点群から抽出する。
次に、候補抽出部１１０は、各３次元点の３次元座標値に基づいて、抽出された３次元点群をクラスタリングする。これにより、１つ以上クラスタが得られる。各クラスタは複数の３次元点を含み、複数の３次元点は近傍領域に位置する。近傍領域は、予め決められた大きさを有する３次元領域である。
そして、候補抽出部１１０は、閾値以上の数の３次元点を含むクラスタを選択する。選択されるクラスタが候補点群である。
【０１２９】
ステップＳ１１５において、候補抽出部１１０は、候補点群に基づいて、候補領域を算出する。
【０１３０】
候補抽出部１１０は、候補領域を次のように算出する。
まず、候補抽出部１１０は、候補点群毎に、各候補点の３次元座標値に基づいて、候補点群が位置する矩形領域を算出する。
そして、候補抽出部１１０は、大きさが規定範囲に含まれる矩形領域を選択する。選択される矩形領域が候補領域である。
【０１３１】
候補抽出処理（Ｓ１１０）により、道路標示に含まれる文字毎に候補領域が算出される。
【０１３２】
候補画像領域算出処理（Ｓ１２０）の手順は、実施の形態１における手順と同じである（図１０参照）。
【０１３３】
図２５に基づいて、認識処理（Ｓ１３０）の手順を説明する。
ステップＳ１３１において、地物認識部１２０は、未選択の画像データ１９２を１つ選択する。
【０１３４】
ステップＳ１３２からステップＳ１３５は、ステップＳ１３１で選択された画像データ１９２の候補画像領域群に対して実行される。
【０１３５】
ステップＳ１３２において、地物認識部１２０は、選択された画像データ１９２が表す画像から、候補画像領域群に対応する矩形画像群を切り出し。
具体的には、地物認識部１２０は、候補画像領域毎に、候補画像領域を含んだ矩形領域を画像から切り出す。切り出される矩形領域を「矩形画像」と称する。
【０１３６】
ステップＳ１３３において、地物認識部１２０は、各矩形画像を俯瞰画像に変換する。
矩形画像から俯瞰画像への変換は、画像視点変換に相当する。
【０１３７】
地物認識部１２０は、次のように変換を行う。
まず、地物認識部１２０は、矩形画像の４頂点のそれぞれの２次元座標値と俯瞰画像の４頂点のそれぞれの２次元座標値とに基づいて、変換行列を算出する。
【０１３８】
変換行列Ｍは、式（９）の関係を満たす。
（ｘｉ，ｙｉ）は、変換前（矩形画像）の４頂点のそれぞれの２次元座標値である。
（ｘ’ｉ，ｙ’ｉ）は、変換後（俯瞰画像）の４頂点のそれぞれの２次元座標値である。
「ｔｉ」は、変換に応じた拡縮のパラメータである。
【０１３９】
【数９】
2020090428.tif 000011
【０１４０】
そして、地物認識部１２０は、変換行列を用いて、矩形画像の各画素に対応する俯瞰画像の画素を求める。
変換後（俯瞰画像）の画素の２次元座標値（ｕｉ，ｖｉ）は、式（１０）を計算することによって算出される。
【０１４１】
【数１０】
2020090428.tif 000012
【０１４２】
図２６に、矩形画像２１５から俯瞰画像２１６への変換を示している。
「１００」を斜め方向から撮影することと矩形画像２１５が得られる。矩形画像２１５には、「１００」が斜めに映っている。一方、俯瞰画像２１６には、正面から撮影した場合の「１００」が映っている。
矩形画像２１５の各頂点の２次元座標値（ｘｉ，ｙｉ）｛ｉ＝１〜３｝は、俯瞰画像２１６の各頂点の２次元座標値（ｘ’ｉ，ｙ’ｉ）に変換される。
【０１４３】
図２５に戻り、ステップＳ１３４から説明を続ける。
ステップＳ１３４において、地物認識部１２０は、各俯瞰画像に対する識別処理により、地物を識別する。
具体的には、地物認識部１２０は、各俯瞰画像を入力として識別処理を実行する。これにより、道路標示の文字毎に識別結果が得られる。
例えば、識別処理として、ニューラルネットワークを用いた手法を適用することができる。ニューラルネットワークを用いた手法については、非特許文献３に開示されている。
【０１４４】
暫定領域算出処理（Ｓ１４０）の手順は、実施の形態１における手順と同じである（図２１参照）。
基準平面の算出について補足する。画素が路面上の道路標示領域に属する場合は、点群に基づいて、路面に対応する平面の方程式を求める。
【０１４５】
統合処理（Ｓ１５０）の手順は、実施の形態１における手順と同じである（図２３参照）。但し、各ステップの詳細が実施の形態１における詳細と異なる。
【０１４６】
ステップＳ１５１において、位置特定部１３０は、暫定領域群をクラスタ分けする。
クラスタ分けの方法は、実施の形態１における方法と同じである。
【０１４７】
ステップＳ１５２において、位置特定部１３０は、クラスタ毎に、クラスタに属する１つ以上の暫定領域を統合することによって、地物領域を算出する。
具体的には、位置特定部１３０は、クラスタに属する１つ以上の暫定領域を連結した矩形領域を算出する。算出される領域が地物領域である。
【０１４８】
図２７に、暫定領域２１７Ａと暫定領域２１７Ｂと地物領域２１８とを示す。
地物領域２１８は、暫定領域２１７Ａと暫定領域２１７Ｂとを連結した矩形領域である。
【０１４９】
ステップＳ１５３において、位置特定部１３０は、クラスタ毎に、クラスタに属する１つ以上の暫定領域に対応する１つ以上の識別結果を統合することによって、識別結果を決定する。
具体的には、位置特定部１３０は、１つ以上の識別結果が示す１つ以上の文字を連結することによって、１つの道路標示（文字列）を生成する。生成される道路標示が識別結果である。
【０１５０】
＊＊＊実施の形態２の効果＊＊＊
実施の形態２により、分離された２つ以上の構成要素を有する地物を検出することができる。具体的には、道路面に記された道路標示を識別することができる。
【０１５１】
＊＊＊実施の形態のまとめ＊＊＊
実施の形態では、画像データと点群データとが互いに関連付けられ、画像データを用いて検出された地物が点群データを用いて復元される。これにより、地物の検出、地物の種類の特定および地物の３次元位置の特定を精度よく実現することができる。
画像データのみを用いて地物を検出する場合には、点群データが保有する高精度な３次元座標値を利用することができない。しかし、実施の形態のように画像データと点群データとの双方が利用されることで、地物の３次元位置を精度よく特定することができる。
点群データのみを用いて地物を検出する場合には、地物の具体的な種類を特定することが困難である。例えば、道路標識の種類または道路標示の種類を特定することが困難である。実施の形態では、地物の検出および地物の種類の特定が画像データを用いて行われる。そのため、地物をより細かく分類することが可能となる。
実施の形態では地物の候補領域が点群データを用いて特定される。そして、特定された候補領域に対して、画像データを用いた処理が行われる。これにより、データ処理の演算量を削減することができる。その結果、処理時間が短縮される。
実施の形態では、道路標識の種類（クラス）を特定するための識別器と、具体的な種類を特定するための識別器とが用いられる。これにより、標識の種類を識別する精度を向上させることができる。
実施の形態では、画像視点変換の後に道路標示が識別される。そのため、道路標示を識別する精度を向上させることができる。
実施の形態では、フレーム（画像）ごとに地物の検出および地物の種類の特定が行われる。そして、点群データを用いた復元の後、近接する地物がまとめられ、フレームごとの検出結果に基づいて、地物の種類が特定される。そのため、１つの画像を用いて地物の種類を特定する場合と比較して、誤検出を削減することができる。
【０１５２】
＊＊＊実施の形態の補足＊＊＊
実施の形態は、好ましい形態の例示であり、本発明の技術的範囲を制限することを意図するものではない。実施の形態は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。
【０１５３】
実施の形態で説明された各装置は、複数の装置で実現されてもよい。つまり、実施の形態で説明された各装置は、システムによって実現されてもよい。
「部」は、「処理」または「工程」と読み替えてもよい。
【符号の説明】
【０１５４】
１００  地物検出装置、１０１  プロセッサ、１０２  メモリ、１０３  補助記憶装置、１０４  通信装置、１０５  入出力インタフェース、１１０  候補抽出部、１２０  地物認識部、１３０  位置特定部、１９０  記憶部、１９１  ３次元点群データ、１９２  画像データ、２０１  地物領域、２０２  候補領域、２１０  画像、２１１  地物画像領域、２１２  矩形画像、２１３  道路標識、２１４  領域画像、２１５  矩形画像、２１６  俯瞰画像、２１７  暫定領域、２１８  地物領域、２２０  ３次元空間、２２１  地物領域、２３０  畳み込みニューラルネットワーク、２４０  案内標識特徴データ、２４１  入力特徴ベクトル。
【図１】
2020090428.tif 000013
【図２】
2020090428.tif 000014
【図３】
2020090428.tif 000015
【図４】
2020090428.tif 000016
【図５】
2020090428.tif 000017
【図６】
2020090428.tif 000018
【図７】
2020090428.tif 000019
【図８】
2020090428.tif 000020
【図９】
2020090428.tif 000021
【図１０】
2020090428.tif 000022
【図１１】
2020090428.tif 000023
【図１２】
2020090428.tif 000024
【図１３】
2020090428.tif 000025
【図１４】
2020090428.tif 000026
【図１５】
2020090428.tif 000027
【図１６】
2020090428.tif 000028
【図１７】
2020090428.tif 000029
【図１８】
2020090428.tif 000030
【図１９】
2020090428.tif 000031
【図２０】
2020090428.tif 000032
【図２１】
2020090428.tif 000033
【図２２】
2020090428.tif 000034
【図２３】
2020090428.tif 000035
【図２４】
2020090428.tif 000036
【図２５】
2020090428.tif 000037
【図２６】
2020090428.tif 000038
【図２７】
2020090428.tif 000039
【手続補正書】
【提出日】令和2年12月11日(2020.12.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
計測地域の中の複数の地点のそれぞれの３次元座標値を示す３次元点群データを用いて、地物が位置する３次元領域の候補である候補領域を算出する候補抽出部と、
前記計測地域での撮影によって得られた画像データを用いて前記候補領域が映っている候補画像領域を算出し、前記候補画像領域に対する画像処理によって前記地物が映っている地物画像領域を検出するとともに前記地物の種類を認識する地物認識部と、
前記地物画像領域に対応する３次元領域を前記地物が位置する地物領域として算出し、前記地物の位置を特定する位置特定部と、
を備え、
前記地物は、分離された２つ以上の構成要素を有し、
前記地物認識部は、前記画像データが表す画像から、前記２つ以上の構成要素に対応する２つ以上の要素画像領域を前記地物画像領域として検出し、
前記位置特定部は、前記３次元点群データを用いて前記２つ以上の要素画像領域に対応する２つ以上の３次元領域を２つ以上の要素領域として算出し、算出された２つ以上の要素領域を統合することによって前記地物領域を算出する
ことを特徴とする地物検出装置。
【請求項２】
前記地物は、道路標識であり、
前記地物認識部は、前記道路標識の種類を識別し、複数種類の道路標識に対応する複数の識別器から、識別された種類の道路標識に対応する識別器を選択し、選択された識別器を用いて前記道路標識を識別する
請求項１に記載の地物検出装置。
【請求項３】
前記地物は、道路面に記された道路標示であり、
前記道路標示は、分離された２つ以上の文字を有し、
前記３次元点群データは、レーザ計測においてレーザ光を反射した複数の地点を表す複数の３次元点を含み、
それぞれの３次元点は、３次元座標値と反射強度とを示し、
前記候補抽出部は、前記道路面の高度に基づいて前記道路面に位置する複数の地点を表す複数の３次元点を前記３次元点群データから道路面点群として抽出し、抽出された道路面点群に含まれる複数の３次元点のそれぞれの３次元座標値と反射強度とに基づいて、抽出された道路面点群から、道路標示に含まれる文字毎に文字の部分に位置する２つ以上の３次元点を候補点群として抽出し、抽出された候補点群毎に候補点群に含まれる２つ以上の３次元点のそれぞれの３次元座標値に基づいて候補領域を算出する
請求項１に記載の地物検出装置。
【請求項４】
前記地物認識部は、前記２つ以上の要素画像領域を２つ以上の俯瞰画像に変換し、前記２つ以上の俯瞰画像に基づいて前記２つ以上の構成要素を識別する
請求項１に記載の地物検出装置。
【請求項５】
前記地物は、道路標示であり、
前記２つ以上の構成要素は、前記道路標示を構成する２つ以上の文字であり、
前記地物認識部は、前記２つ以上の要素画像領域に対する画像処理によって前記２つ以上の文字を識別し、前記２つ以上の文字に基づいて前記道路標示を識別する
請求項１に記載の地物検出装置。
【請求項６】
計測地域の中の複数の地点のそれぞれの３次元座標値を示す３次元点群データを用いて、地物が位置する３次元領域の候補である候補領域を算出する候補抽出部と、
前記計測地域での撮影によって得られた画像データを用いて前記候補領域が映っている候補画像領域を算出し、前記候補画像領域に対する画像処理によって前記地物が映っている地物画像領域を検出するとともに前記地物の種類を認識する地物認識部と、
前記地物画像領域に対応する３次元領域を前記地物が位置する地物領域として算出し、前記地物の位置を特定する位置特定部と、
を備え、
前記地物認識部は、複数の撮影地点での撮影によって得られた複数の画像データを用いて、前記複数の画像データが表す複数の画像から複数の地物画像領域を検出し、
前記位置特定部は、検出された複数の地物画像領域に対応する複数の暫定領域を算出し、算出された複数の暫定領域の端点毎に前記地物領域の端点を算出する
ことを特徴とする地物検出装置。
【請求項７】
前記地物は、道路標識であり、
前記地物認識部は、前記道路標識の種類を識別し、複数種類の道路標識に対応する複数の識別器から、識別された種類の道路標識に対応する識別器を選択し、選択された識別器を用いて前記道路標識を識別する
請求項６に記載の地物検出装置。
【請求項８】
候補抽出部が、計測地域の中の複数の地点のそれぞれの３次元座標値を示す３次元点群データを用いて、地物が位置する３次元領域の候補である候補領域を算出し、
地物認識部が、前記計測地域での撮影によって得られた画像データを用いて前記候補領域が映っている候補画像領域を算出し、前記候補画像領域に対する画像処理によって前記地物が映っている地物画像領域を検出するとともに前記地物の種類を認識し、
位置特定部が、前記地物画像領域に対応する３次元領域を前記地物が位置する地物領域として算出し、前記地物の位置を特定する
地物検出方法であって、
前記地物は、分離された２つ以上の構成要素を有し、
前記地物認識部は、前記画像データが表す画像から、前記２つ以上の構成要素に対応する２つ以上の要素画像領域を前記地物画像領域として検出し、
前記位置特定部は、前記３次元点群データを用いて前記２つ以上の要素画像領域に対応する２つ以上の３次元領域を２つ以上の要素領域として算出し、算出された２つ以上の要素領域を統合することによって前記地物領域を算出する
ことを特徴とする地物検出方法。
【請求項９】
候補抽出部が、計測地域の中の複数の地点のそれぞれの３次元座標値を示す３次元点群データを用いて、地物が位置する３次元領域の候補である候補領域を算出し、
地物認識部が、前記計測地域での撮影によって得られた画像データを用いて前記候補領域が映っている候補画像領域を算出し、前記候補画像領域に対する画像処理によって前記地物が映っている地物画像領域を検出するとともに前記地物の種類を認識し、
位置特定部が、前記地物画像領域に対応する３次元領域を前記地物が位置する地物領域として算出し、前記地物の位置を特定する
地物検出方法であって、
前記地物認識部は、複数の撮影地点での撮影によって得られた複数の画像データを用いて、前記複数の画像データが表す複数の画像から複数の地物画像領域を検出し、
前記位置特定部は、検出された複数の地物画像領域に対応する複数の暫定領域を算出し、算出された複数の暫定領域の端点毎に前記地物領域の端点を算出する
ことを特徴とする地物検出方法。
【請求項１０】
計測地域の中の複数の地点のそれぞれの３次元座標値を示す３次元点群データを用いて、地物が位置する３次元領域の候補である候補領域を算出する候補抽出部と、
前記計測地域での撮影によって得られた画像データを用いて前記候補領域が映っている候補画像領域を算出し、前記候補画像領域に対する画像処理によって前記地物が映っている地物画像領域を検出するとともに前記地物の種類を認識する地物認識部と、
前記地物画像領域に対応する３次元領域を前記地物が位置する地物領域として算出し、前記地物の位置を特定する位置特定部として、
コンピュータを機能させるための地物検出プログラムであって、
前記地物は、分離された２つ以上の構成要素を有し、
前記地物認識部は、前記画像データが表す画像から、前記２つ以上の構成要素に対応する２つ以上の要素画像領域を前記地物画像領域として検出し、
前記位置特定部は、前記３次元点群データを用いて前記２つ以上の要素画像領域に対応する２つ以上の３次元領域を２つ以上の要素領域として算出し、算出された２つ以上の要素領域を統合することによって前記地物領域を算出する
ことを特徴とする地物検出プログラム。
【請求項１１】
計測地域の中の複数の地点のそれぞれの３次元座標値を示す３次元点群データを用いて、地物が位置する３次元領域の候補である候補領域を算出する候補抽出部と、
前記計測地域での撮影によって得られた画像データを用いて前記候補領域が映っている候補画像領域を算出し、前記候補画像領域に対する画像処理によって前記地物が映っている地物画像領域を検出するとともに前記地物の種類を認識する地物認識部と、
前記地物画像領域に対応する３次元領域を前記地物が位置する地物領域として算出し、前記地物の位置を特定する位置特定部として、
コンピュータを機能させるための地物検出プログラムであって、
前記地物認識部は、複数の撮影地点での撮影によって得られた複数の画像データを用いて、前記複数の画像データが表す複数の画像から複数の地物画像領域を検出し、
前記位置特定部は、検出された複数の地物画像領域に対応する複数の暫定領域を算出し、算出された複数の暫定領域の端点毎に前記地物領域の端点を算出する
ことを特徴とする地物検出プログラム。
【国際調査報告】
2020090428.tif 000040
2020090428.tif 000041
2020090428.tif 000042
2020090428.tif 000043