MMSで取得した点群及び画像データからの道路案内標識データ抽出
かんばしゅういちろう

しのだこうたろう

神波修一郎1・篠田浩太郎11（株）長大情報システム部（〒104-0054 東京都中央区勝どき一丁目13番1号）

社会資本整備審議会における答申等を踏まえ，道路施設等の諸元や管理に必要な各種情報を収集・整理し共有する仕組み作りが進められている．そのうち，道路案内標識においては，データベースによる一元管理，地図上での情報共有，板面に記されている地名等情報の品質チェックの実現が求められている．
本研究は，今後の全国的な道路案内標識のデータベース化を見据え，MMS（Mobile-MappingSystem）で取得した点群及び画像データから，道路案内標識の位置・方位，板面画像，案内地名の抽出する技術について，検証を行ったものである．
Key Words : 道路案内標識，MMS，点群，ディープラーニング，OCR

１．はじめに２．使用データ（MMS取得データ）

道路利用者サービスの向上を目的に，道路案内標識の表記内容について，品質チェックを実現する仕組みづくりが求められている．具体的には，地図上での情報共有，案内地名情報の連続性・整合性チェックの方法(表1-1)について検討されている．
これら品質チェックに必要な情報を整備し，データベースを構築する方針であるが，そのような情報を網羅した全国統一フォーマットで整備したデータは存在していないのが実情である．

(1)データ概要
本研究にて使用したデータは，一般国道の延長約20kmの区間でMMS搭載車両を走行させて取得したもの．点群，画像データに加え，自車位置姿勢のデータも含まれている．(表2-1)

表1-1
種類
案内地名の連続性
案内地名の整合性
英語表記の整合性

道路案内標識の品質チェック種類
チェック概要目標地までの経路上にある標識の案内
地名が正しく連続しているか確認
各標識に表記されている方向別の案内
地名に不整合がないか確認
案内地名の英語表記の有無，綴りに不整合がないか確認

一方で，一般国道や高速道路においては，MMSを搭載した車両を走らせることにより，道路及びその周辺の情報を簡単に取得し，各種データ整備を促進させる動きが進められている．
この動向を踏まえ，MMSで取得した点群及び画像データから，今後整備するデータベースにおいて重要な項目の一部である道路案内標識の「位置・方位」，「板面画像」，板面に表記されている「案内地名」を抽出する技術について整理し，抽出プログ
ラムの試作，検証を実施した．

表2-1
種類
点群

画像
自車位
置姿勢

その他

使用したMMS取得データ
データ概要
・レーザ測距装置で照射取得された道路形状の三次元データ（x,y,z）・物体の特性に応じた反射強度に加え，重畳画像からRGB情報，自車位置姿勢データから予測誤差も付与
・2基のレーザ測距装置が搭載されており，約2.7万点/秒の速度で照射
・カメラで撮影された道路の画像データ
・約10Hzの頻度で撮影
・MMS搭載車両の走行軌跡データ
・GNSS衛星の受信状況からFIX-未FIX状態を判定し，予測誤差を算出
・10Hzの頻度で出力・取得当日の電子基準点情報
・取得前の未処理データ(2)データの特徴
MMSで取得した点群及び画像データを確認し，その特徴を整理した．(表2-2)
点群データは，標識が存在する地点の正確な位置情報を保持しており，「道路案内標識の正確な位置情報および方位」を把握することが可能となる．一方で，板面に表記されている案内地名は，反射強度の強弱により取得できる可能性は見られるが，その抽出精度は，点群データの密度に依存しており，ロバスト性に欠ける状況である．
画像データは，走行中に連続撮影されるため，同一の道路案内標識に対して複数枚の画像が保存・蓄積される．その場合，撮影条件が異なる場合もあるが，計測車両が道路案内標識に近づくにつれて高解像度の画像を取得できており，板面画像及び案内地名を把握することが可能となる．一方で，画像デー
タに付加される位置情報は，走行車両の撮影位置であり，道路案内標識の正確な位置情報および方位を把握することができない．

データ
可視化

位置文字

案内標識の正確な位置情報および方位」を，抽出した道路案内標識の画像データより「道路案内標識の板面画像および案内地名」を取得するハイブリット型の抽出プログラムを試作した．(図4-1)

表2-2 MMS取得データの特徴
点群データ
画像データ

標識位置
（緯度経度または平面直角座標）
判読不可能

カメラ撮影位置（緯度経度または平面直角座標）
判読可能

３．道路案内標識データの抽出手法整理
本研究では，抽出処理を「(1)画像からの板面抽出」，「(2)点群からの板面抽出」，「(3)画像からの文字抽出」に分類し，各手法について検討した．
(1)画像からの板面抽出
道 路 案 内 標 識 （ 106/108 系 ） の 撮 影 画 像 を 教 師
データとして構築した物体検出エンジンを用い，ディープラーニングにより板面領域を抽出．
(2)点群からの板面抽出
自車位置姿勢データから一定間隔上にある点群を抽出し，反射強度や点群のクラスタリング，自車位置姿勢データとの対面関係等から板面領域を抽出．
(3)板面画像からの文字抽出
OCR（光学文字認識）技術を活用し，板面上の案内地名文字を抽出．OCRは日本語文字と英字の両方に対応している必要がある．

図4-1

試作プログラムの処理フロー

試作した抽出プログラムと，それぞれの処理内容を以下に示す．
(1)標識位置・方位・板面画像抽出プログラムa)画像からの道路案内標識の抽出[入力]画像データ[出力]道路案内標識を含む画像データ，標識位置のピクセル座標
ディープラーニングによる物体検出手法の1つである Detection 手 法 を 用 い て ， 入 力 画 像 デ ー タ か ら
106/108系標識を含む画像データを抽出する．加えて，画像データ内における道路案内標識のピクセル座標を抽出する．

b)点群からの道路案内標識の抽出[入力]道路案内標識を含む画像の位置情報，点群データ，MMS走行軌跡
道路案内標識の板面抽出手法については，(1)(2)[出力]道路案内標識の点群データ（柱状物体）
それぞれにおいて誤検出や検出漏れがある可能性も上記a)で取得した画像の位置情報に基づき，その考慮し，両方の検出結果を組み合わせて板面領域を標識が撮影された時間帯の点群データを抽出する．
決定することとした．
同一標識が写っている画像データは複数枚があるた
め，これら板面画像グループの中から撮影時刻を規４．抽出プログラムの試作定するためのルールを決定した．まず門型標識のよ前述で整理したデータの特徴と抽出手法を踏まえ， うな複数枚以上の板面画像が同じ画像から取得されるような状況を想定し，複数枚以上標識が取得でき点群及び画像データの両方から道路案内標識を抽出た画像データの撮影時刻を標識位置決定の最優先項
し，抽出した道路案内標識の点群データより「道路目とする．次に同一枚数や単路部の標識での位置把握のための処理として，標識板面画像として切り出された画像のサイズが最も大きいものを標識位置とすることとした．今回使用した画像・点群ともに前方照射のため，画像撮影時刻は標識通過前であることから，正確に取得することはできない．しかし，このような処理により，少なくとも数分以内には標識位置を通過していると考えられることから，次の処理として撮影時刻から一定時間後までの点群データを抽出する．その後，MMS走行軌跡をもとに，走行車線空間に関わる点群データのみに範囲を限定する．
最後に，標識に関わる点群データ，具体的には反射強度とクラスタリングにより検出した柱状物体（板面も含めた標識柱）の点群データを抽出する．
複数の候補が存在する場合や，一件も抽出できない場合の処理は抽出対象外とする．

Cloud Vision APIを使用した．
b)案内地名の識別[入力]文字列，文字列の領域ボックス座標[出力]道路案内標識板面の案内地名データ
案内地名の日本語地名と英字地名の上下関係に着目し，OCR技術で抽出した日本語文字列の下側（一定距離以内）に別の文字列があり，それが英字であれば案内地名と判定する．(図4-3)c)点群と画像を用いた道路案内標識板面領域の抽出[入力]道路案内標識を含む画像データ，標識位置のピクセル座標，柱状物体の点群データ[出力]道路案内標識板面の画像ファイル，位置座標，方位
図4-3 案内地名の判定ルール
上記a)で出力した道路案内標識を含む画像データの撮影位置と，b)で出力した道路案内標識の点群
出力データは，地名一覧と抽出結果があり，それデータの位置が一定距離以内であれば，道路案内標
ぞれExcel形式ファイルで出力する．地名一覧は入識を含む画像データに対して，道路案内標識の点群力データとして指定したフォルダ内の全画像データデータの位置座標を付加する．の抽出結果を一覧形式で示したもの，抽出結果は個別の画像データについて抽出した案内地名を画像と出力データは，標識の板面画像（.jpg），標識の一緒に整理したものである．
位置（平面直角座標系XYZ），標識の方位（北を0度とした時計回りの角度）とする．板面画像は，位置５．抽出プログラムの検証
情報の推定結果と本プログラムの閾値に基づき，一定の距離範囲内のものを同一標識とみなし，1フォ(1)標識位置・方位・板面画像抽出プログラム
ルダに集約する．位置と方位は，テキストファイル
区間A（延長10km），区間B（延長10km）の2区間として出力する．(図4-2)について検証を行った．
a)画像からの道路案内標識の抽出結果
電線等により標識板の文字が判読しづらい場合は，欠損有りとした．それぞれのフォルダ内に判読可能な106/108系標識が1枚以上抽出できている場合に，正解（道路案内標識）とした．抽出箇所の中には117系標識や看板等の誤検出もあった．(表5-1)

図4-2

出力フォルダ構成(2)案内地名抽出プログラムa)板面画像からの文字抽出[入力]道路案内標識板面の画像ファイル[出力]文字列，文字列の領域ボックス座標
上記(1)c)にて取得した道路案内標識板面画像に対して，OCRライブラリを適用し，標識板面に記述されている文字列や位置情報を抽出する．OCRライ
ブラリには，Google社が提供する画像解析サービス

表5-1 画像からの道路案内標識の抽出結果
区間
区間A
区間B
画像総数
5,190枚
5,013枚
抽出箇所数
30箇所
28箇所
正解箇所数
24箇所
18箇所
正解率80.0%
57.1%b)道路案内標識画像への位置情報付与結果a)で抽出した画像データに付与された位置座標と方位（点群より抽出した板面位置データ）について，点群可視化ソフトウェア(図5-1)を用いてそれらの位置情報が適切であるか目視確認した．(表5-2)

図5-1b)画像のトリミング有無による評価
オリジナル画像，1/4分割画像，板面画像のトリミング有無(図5-3)で評価を行った．画像中の板面領域の割合が大きくなれば抽出率が向上するわけではなく(表5-5)，トリミングによる有効性は低い．

点群からの板面位置抽出例

表5-2 画像へ付与された位置座標の確認結果
区間
区間A
区間B
実際の個所数
27箇所
19箇所a)での正解数
24箇所
18箇所
一致箇所数
24箇所
18箇所
正解率
88.9%
94.7%
(2)案内地名抽出プログラム
MMS取得画像に写っている道路案内標識（43枚）
に対し，板面に表記されている地名の抽出結果について，次の分類で整理し検証した．(表5-3)
案内地名抽出の評価分類
判定内容
日本語地名と英字地名のセット(図4-3)で検出され，正しい地名が抽出
日本語地名と英字地名のセットで検出されなかったが，正しい地名が抽出
正しい地名に加え不要な文字も抽出
地名の一部文字のみ抽出
地名のうち一文字も抽出できず＜ｵﾘｼﾞﾅﾙ画像＞ ＜1/4画像＞＜板面画像＞
図5-3 板面画像のトリミング有無
表5-5 地名抽出結果（画像のトリミング有無）
分類
ｵﾘｼﾞﾅﾙ画像
1/4画像
板面画像
正解1
55.3%
53.5%
58.1%
正解2
4.3%
6.0%
6.8%
過剰
8.9%
6.6%
4.6%
不足
13.8%
14.0%
12.5%
失敗
17.8%
19.9%
17.1%

表5-3
分類
正解1
正解2
過剰
不足
失敗a)画像の歪み補正有無による評価
画像に写る板面は斜めに歪んでいることから，歪み補正の有無(図5-2)で評価を行った．補正無しの方が補正有りよりも高い評価(表5-4)となり，歪み補正をしたことにより文字列が読みやすくなるといった効果は確認できなかった．

＜補正無し＞＜補正有り＞
図5-2 板面画像の歪み補正有無
表5-4
分類
正解1
正解2
過剰
不足
失敗

地名抽出結果（画像の歪み補正有無）
補正無し
補正有り
58.1%
51.6%
6.8%
8.8%
4.6%
6.3%
12.5%
12.1%
17.1%
21.3%c)画像品質の違いによる評価
RAWからJPEG変換する際の品質が，通常品質と最高品質で抽出結果に差異があるか検証した．最高品
質の方が正解1,2の割合が高いが，逆に失敗の割合も高くなる結果となった．(表5-6)
表5-6
分類
正解1
正解2
過剰不足
失敗

地名抽出結果（画像品質の差異）
通常品質
最高品質
55.3%
56.3%
4.3%
6.2%
8.9%
7.0%
13.8%
11.5%
17.8%
19.1%

６．おわりに標識位置・方位・板面画像抽出プログラムでは，点群からの道路案内標識物体は高い確率で抽出できたが，画像からの抽出にはばらつきがあった．案内地名抽出プログラムでは，抽出地名の正解率は60%程度であった．今後は，以下の対応により改善が期待できる．
・画像認識精度向上のため，106/108系標識以外のクラスを増やし学習させる．
・点群認識においては反射強度に依存した部分が大きかったため，板面形状等の判定条件を追加する．
・地名抽出についてはGoogle Cloud Vision APIを用いたが，日本語と英字の両検出に強いOCR技術について調査，検証が必要である．
謝辞：末筆ながら，本論文を発表することを快く承諾頂きました国土技術政策総合研究所 社会資本マ
ネジメント研究センター 社会資本情報基盤研究室の関係者の皆様方に厚く御礼申し上げます．