第66回(2022年度)

北海道開発技術研究発表会論文

深層学習およびAI-OCRにより舗装欠損部および緯度経度情報を検出・判別する手法の検討
国立研究開発法人 土木研究所 寒地土木研究所 寒地道路保全チーム ○佐藤 圭洋
丸山 記美雄
車載カメラによる撮影画像から深層学習の手法を用いて、ポットホールを検出する手法の検討を行っている。本稿では、ドライブレコーダーにて撮影した走行動画から切り出した画像か
ら、深層学習およびAIを取り入れた光学文字認識技術（AI-OCR）を用いて、画像内の舗装欠損部および緯度経度情報を検出・判別する手法について検討した。また、本手法の活用に向けた検討を行ったので、それらについて報告する。
キーワード：深層学習、AI-OCR、舗装欠損部、緯度経度情報

1. はじめに的文字認識）処理のみでは、文字情報を精度良く検出・判別することができなかった。そこで、AI-OCR（AIを取り入れた光学文字認識技術）を用いて、緯度経度情報を検出・判別することとした。
本稿では、深層学習およびAI-OCRにより舗装欠損部および緯度経度情報を検出・判別する手法について検討した。また、本手法の活用に向けて、舗装欠損部等の検出の実行、検出情報の出力・閲覧が可能なソフトウェアの開発検討を行ったので、それらについて報告する。

北海道においてはポットホールによる舗装の欠損が融雪期や春先に多く発生するため、ポットホールの発生状況を把握して適切に対処する必要がある。これまで、深層学習の手法を用いて車載カメラの画像から舗装欠損部の検出を行う技術の検討を行っている1）。さらに、近年
では、ドライブレコーダーを車載カメラとして、道路を走行して取得した画像から、深層学習を用いてポットホール等の舗装欠損箇所を検出する手法について検討を行
2. 検討手法っている2）。これらの技術は、車内に設置したカメラによって走行路面を動画撮影して取得した画像を用いて、深層学習の手法によりポットホールの検出を行うもので画像認識に最も有効であると考えられる深層学習（デある。深層学習による手法は、機械的に簡便かつ短時間ィープラーニング）の一つである畳み込みニューラルネで舗装欠損部の検出を行うことができるため、舗装欠損ットワーク、Convolutional Neural Network (CNN) の方法を箇所を効率的に把握することが可能である。
用いて、舗装欠損部および緯度経度情報の検出を行った。
本手法において、さらに、解析に使用する画像内から図-1 に舗装欠損部および緯度経度情報を検出する手
検出した画像の位置情報であるGPS情報が取得できれば、 法の検討手順を示す。使用した画像は、冬期間、道央圏検出結果の地図上への表示が容易に行える。これまでのの国道を週 2 回程度走行して得られた動画像の中から、手法では、ドライブレコーダーによって測位された緯度ポットホールが発生した区間を撮影した画像とした。こ
経度情報は、動画データの内部に埋め込まれて記録されれらの画像を用いて、学習用と検証用のデータを用意し、ていたため、その情報を外部に取り出して活用する部分舗装欠損部の検出処理モデルを構築した。また、深層学の検討が十分には行われていない。しかし、近年のドラ習を取り入れた光学文字認識（AI-OCR）を用いて、画
イブレコーダーは、緯度経度情報を画像内に含むものも像内に表示されている緯度経度情報の検出・判別が可能
市販されるようになってきていることから、舗装欠損部なモデルを構築した。これらの画像解析によって得られの検出と同時に緯度経度情報を読み取る画像解析手法をた検出情報から、ポットホールの個数、面積、位置の推構築できれば、有用なデータを取得できると考えられる。 定、検出結果の閲覧を行う手順とした。
そこで、新たに、緯度経度情報が画像内に文字情報と表-1 にドライブレコーダー撮影条件を示す。使用しして記録されるドライブレコーダーを用いて、撮影画像
た画像は、市販のドライブレコーダーを車内フロントガの中に文字情報として記録される緯度経度情報を画像解ラス中央上部に取り付け、道路を走行しながら路面を動析により読み取る手法について検討した。事前の試行錯画撮影して取得した画像としている。車両前方方向の路誤段階において、緯度経度情報を画像内からOCR（光学面を画像サイズ 2,560 × 1,440 pixel でほぼ水平に近い角度
SATO Takahiro, MARUYAMA Kimio-766-

図-1 舗装欠損部および緯度経度情報を検出する手法の検討手順
表-1 ドライブレコーダー撮影条件

緯度経度情報読み取り機能付き舗装欠損部検出モデルの構築を行うに当たり、それぞれの検出処理を、緯度経度情報の検出処理と舗装欠損部の検出処理の2つの部分に分け、同時に解析処理を行う構成とした。
先に、緯度経度情報の検出処理部分について述べる。
図-2に事前の試行段階におけるOCR処理による文字情報の検出例を示す。試行段階では、ROI領域のサイズは1,200 × 300 pixel とした。ここでは、読み取りたい文字とは別の領域にて文字が誤検出される箇所、文字が検出されない検出漏れ箇所、異なった文字として誤判別される事例が見られた。これは、文字背景の色彩や模様による影響と考えられ、OCR処理のみでは画像内から緯度経度文字情報を精度良く検出・判別することができなかった。そこで、機械に文字情報を学習させることで、緯度経度情報の読み取り精度を向上させることとした。
表-2に緯度経度情報の検出・判別処理における学習条件を示す。今回使用したドライブレコーダー撮影画像内においては、画像内の下側の部分に文字情報が横一列に記録されている。画像内の緯度経度表示領域は、この下側の部分の中央部分に埋め込まれて記録されているため、ROI領域のサイズは、740 × 65 pixelとした。モデル構築においては、文字情報を精度良く読み取るため、文字情

写真-1 ドライブレコーダーにて取得した解析対象画像の一例から撮影し、フレームレートは27fpsとしている。また、
写真-1に示すとおり、ドライブレコーダーの機器に搭載されているGPSにより測位された車両走行位置の緯度経度情報が画像の下側位置に記録されている。記録され図-2 事前の試行段階における OCR 処理による文字情た画像に対する緯度経度情報検出用の関心領域（ROI）
報の検出例
は、文字表示部分の領域に設定している。本検討では、舗装欠損部を検出するとともに、緯度経度情報をAI表-2 緯度経度情報の検出・判別処理における学習条件
OCRを用いて検出・判別が可能となる処理モデルの構築を行った。

3. 緯度経度情報読み取り機能付き舗装欠損部検出モデルの構築SATO Takahiro, MARUYAMA Kimio-767-

図-3 文字情報の学習例
表-3 緯度経度情報検出モデル作成の経過
図-4 ラベル付けされた文字が一致した場合の検出結果の一例（その 1）、上：検出結果のみ表示（黄色タグ）、下：判別検証結果の例、完全一致（黄色タグの上に緑色タグ）

報の機械的な学習を行った。判別結果が一致するようパラメータ設定の試行錯誤を行い、特徴のサイズを23 ×39 pixelとした。図-3に文字情報の学習例を示す。ROI領
域内で見つかった特徴（図-2の黄色枠の左下のラベル参照）に対し、特徴の値（緑色枠の左下のラベルの値）が正しい場合は正しい文字情報であると学習させ、誤判別された場合は、正しい文字情報を学習させる。検出漏れの文字は、検出漏れの文字に対し正しい文字情報を学習させる。
表-3に緯度経度情報検出モデル作成の経過を示す。機械学習判別時には、誤検出文字ができるだけ少なくなるように機械学習を繰り返すとともに、文字を文字列としてのまとまりを持たせることで、読み取り精度が向上した。ここでは、モデル作成の当初段階（No.1）から最終段階（No.3）までの検出結果の推移を、再現率、適合率、F値などにより示す。ここで、再現率とは、人間が正解としている個数のうち、機械によって正しく判別された個数の割合、適合率とは、機械によって検出された個数のうち、正しく判別された個数の割合、F値とは、適合率得点と再現率得点の平均を示している。No.1の状態は当初段階における処理結果である。再現率は16％、適合率は21％となっており精度は低い。No.2は、再学習の試
行錯誤を一定程度繰り返した段階での処理結果である。
再現率は90％、適合率は89％と大幅に向上している。
No.3は、さらに再学習を繰り返した段階での処理結果である。最終的に、再現率、適合率ともに100％となった。
どの段階においても、各画像に同じ数の文字が含まれているとするモデルの定義付けを行った上で、文字を検出する手法としているが、最終的には各文字の空間的関係を定義付けしている。空間的関係の定義付けとは、各文字の配置場所を定義し、相互に関連付ける処理を行った
上で深層学習を行っている。これにより、緯度経度情報を精度良く検出できるようになった。以下に最終的に作成したモデルの検出結果の一例について示す。
図-4はラベル付けされた文字が一致した場合の検出結果の一例（その1）である。文字が一致した場合、緑色の境界線が文字の周囲に描画され、左下側の検出結果（黄色タグ）の上に、緑色タグによって、一致した文字

図-5 ラベル付けされた文字が一致した場合の検出結果の一例（その2）、ラベル付き文字の位置と重ならない位置で検出文字が存在、ラベル付け文字は一致列が表示されている。これは、学習した結果と、検出結果が完全に一致した例である。
図-5はラベル付けされた文字が一致した場合の検出結果の一例（その2）である。これは、ラベル付き文字の位置と重ならない位置で文字が検出された例である（橙色で囲われた部分がラベル付き文字の位置と重ならない箇所で見つかった文字）。このように、本来のラベル付けした場所とは異なる位置で文字が検出される事例も存在した。しかし、文字単体として検出はされても、読み取りの際には、文字列からの情報が読み取られるため、文字列としての出力結果としては、完全に一致している。
この事例のように、緯度経度情報を読み取る際に本来の場所と異なる位置で検出された文字があったとしても、この文字情報は、読み取られることなく、最終的な文字列としての検出精度には影響していない。
表-4に最終的に構築した文字情報検出モデルの検出結果の一例を示す。上の表が各文字（各特徴）の検出結果、下の表が最終的な文字列としての検出結果を示している。
検出された各文字単体での検出結果を見ると、再現率は全ての文字で100％となっているが、適合率については「0」が75％、「1」が98.7％、それ以外の文字は100％となっている。一方、文字列としては、再現率、適合率ともに100％となっている。別の位置で検出された文字が存在するものの、最終的な文字の集合体としての検出結果には、これらの誤検出の結果は最終的に処理される文字列としての検出結果には影響を与えていない。このことから、文字の配置の定義付けを行った上で、文字の集合体としてモデルを構築することで、緯度経度情報を精度良く検出することが可能であると判断した。

SATO Takahiro, MARUYAMA Kimio-768-

表-4 最終的に構築した文字情報検出モデルの検出結果の一例

表-7 機械による解析と人間の目視の判定結果の整合

表-8 解析と目視の判定結果整合 マトリクス表

表-5 使用画像および処理モデル構築時の学習条件

図-6 検証データを解析処理にかけて得られた結果の画像例

表-6 学習データに対するポットホール検出割合

次に、舗装欠損部の検出処理部分について述べる。
表-5に使用画像および処理モデル構築時の学習条件を示す。学習画像は、路面が露出し、路面状態が乾燥および湿潤路面となっている複数路線から抽出した画像とした。ROI領域のサイズは966 × 322 pixelとした。モデル
構築においては、ポットホールを機械に学習させる時のポットホールの設定領域とモデル構築後のポットホールの検出領域がほぼ一致するようパラメータ設定の試行錯誤を行い、ポットホールの検出解析時に使用する特徴のサイズを 40 pixel に設定した。また、学習用データはRGBカラー、繰り返し学習の回数は50回として、ポットホール検出モデルを構築した。
表-6に学習データに対するポットホール検出割合を示す。これは、処理モデルを構築後の処理モデルを学習データに適用してポットホール部分を検出させた結果と、人間が判定した結果の対応関係を示している。学習デー
タ内のポットホールは99%検出できており、指定したポットホール範囲との合致度が高い処理モデルであると判断される。
学習データとは別の、未知のデータである検証データに対する検出程度を評価検証した。表-7に機械による解析と人間の目視の判定結果の整合を示す。人間がポットホールありと判定し、機械もポットホールありと判定した場合（真陽性）、および人間がポットホールなしと判定し、機械もポットホールなしと判定した場合（真陰性）の2つの対角上のセルが機械と人間の判定がマッチした正検出のケースとなり、正しい検出が行われたと判断されたことを意味している。
表-8に検証結果の一例を示す。上位閾値とは、機械がポットホール画像だと判断する際のスコアの閾値設定である。ポットホールがあり検出できている(正検出、真陽性)割合は85%であり、また、ポットホールがないものをないと正しく判定(正検出、真陰性)している割合は86%である。真陽性の判断および真陰性の判断はおおむね良くできていると評価される。
図-6に検証データを解析処理にかけて得られた結果の画像例を示す。赤色で強く反応している部分がポットホール部分であり、正しく検出できていることが分かる。
一方で、路面上に存在する雪氷の付近をポットホールと誤検出する例や、ポットホールを見落としている検出漏れの例も存在した。

SATO Takahiro, MARUYAMA Kimio-769-

4. 本手法の活用に向けた検討
画像解析により検出・判別された舗装欠損部や緯度経度情報を基に、本手法の活用の検討を行った。以下に、開発中の舗装欠損部検出ソフトウェアの概要について述
べる。
本ソフトウェアは、ドライブレコーダーもしくはビデオカメラにて舗装路面を撮像した動画ファイルから、深層学習および AI-OCR の手法を用いて舗装欠損部や緯度経度情報の検出処理の実行、舗装欠損部や解析結果の出力、舗装の欠損箇所の地図上への表示、検出情報の閲覧を行うものである。本ソフトウェアの構成は、動画から静止画への切り出しを行う機能、欠損部の解析を行う機能、欠損部検出結果の閲覧を行う機能の 3 つによって構成される。
図-7 に動画から静止画への切り出し機能（舗装欠損部検出ソフトウェア）の画像抽出画面を示す。映像記録（動画）を取り込み、静止画として切り出す範囲や間隔、道路情報（路面名、上り／下り、KP 等）を入力して静止画に切り出し、ファイルとして保存することができる。
また同時に道路情報を CSV ファイルとして保存することができる。
図-8 に欠損部解析機能（舗装欠損部検出ソフトウェア）の解析用メイン画面を示す。ここでは、動画より切り出した静止画に対応した処理モデルや、出力した静止画および道路情報ファイルを読み込ませ、検出範囲の調整や、欠損情報算出のためのパラメータを入力した上で欠損検出処理を行うことができる。この際、画像に緯度経度情報が表示され、処理モデルに画像の緯度経度情報の検出機能が付与されている場合、緯度経度情報も併せて処理することが可能である。
図-9 に欠損部解析機能（舗装欠損部検出ソフトウェアの解析時画面）の一例（ポットホールなしの画面の場合の一例）、図-10 に欠損部解析機能（舗装欠損部検出ソフトウェアの解析時画面）の一例（ポットホールありの画面の場合の一例）を示す。舗装欠損部が検出されな

図-9 欠損部解析機能（舗装欠損部検出ソフトウェアの解析時画面）の一例（ポットホールなしの画面の場合の一例）
図-7 動画から静止画への切り出し機能（舗装欠損部検出ソフトウェア）の画像抽出画面

図-8 欠損部解析機能（舗装欠損部検出ソフトウェア）の解析用メイン画面

図-10 欠損部解析機能（舗装欠損部検出ソフトウェアの解析時画面）の一例（ポットホールありの画面の場合の一例）

SATO Takahiro, MARUYAMA Kimio-770-

い場合は、緑色の背景で OK と表示される。舗装欠損部が検出される場合は、赤色の背景で NG と表示される。
いずれの場合も、画面下の表において、解析結果の詳細が表示される。上の緯度経度情報表示欄には、画像中の緯度経度情報を AI-OCR 処理により検出した結果が表示される。緯度経度情報を読み取れた場合は緑色の背景にて、読み取れなかった場合は赤色の背景にて緯度経度情報が表示される。その一つ下の欄の欠陥部情報表示欄(画像下の表の下の部分)には、構築したポットホールの検出モデルによって画像解析された舗装欠陥部の解析結果が示される。ここでは、上位閾値（機械がポットホール画像だと判断する際のスコアの閾値設定）を 0.6、下位閾値（機械が健全画像であると判断する際のスコアの閾値設定）を 0.4 とした。検出スコアが上位閾値以上であれば表の行の背景は赤色、検出スコアが下位閾値以下であれが緑色、その中間の範囲内のスコアであれば灰色で表示される。緑色であれば舗装の欠陥部はなし、赤色であれば高いスコアの舗装欠陥部が存在し、灰色であれば低いスコアの舗装欠陥部が存在することを示している。
この判定は、機械がポットホールだと判断する際のスコアの閾値設定（ポットホール検出モデル構築時に設定する上位閾値と下位閾値の 2 つの閾値）と連動しており、ポットホール検出モデルの構築時において設定する。本事例では、赤色表示では、ある程度の大きさのポットホールが存在、灰色表示では、ポットホールには至っていないが、今後ポットホールに進展する可能性がある比較的小さい舗装欠損部が存在、緑色表示では、ポットホールが存在せず健全であることを意味している。また、解析実行時に一時停止が可能であり、欠損部有りと判定された箇所や、道路の路面状況・周囲の状況などを確認することができる。これによって、解析作業時に視覚的にポットホールの検出の有無やスコアに応じた舗装欠損部の損傷度合を把握・認識することができる。
図-11に欠損部検出結果閲覧機能（舗装欠損部検出ソフトウェアの解析結果閲覧画面）の一例を示す。国土地
理院地図上に欠損部情報に対応したマーカーが表示され、マーカーを選択すると、選択したマーカーの箇所における車載カメラ撮影画像（ドライブレコーダー撮影画像等）を画面上に表示させることができる。これにより選択したマーカーの箇所の現地状況や路面状況、画像解析により得られた舗装欠損部の検出状況を確認することができる。また、画面上で画像解析結果を閲覧することが可能である。これにより、画像解析処理によって得られた舗装欠損部の損傷状況やそれらの損傷度合について、画面上でも定量的に把握することができる。

図-11 欠損部検出結果閲覧機能（舗装欠損部検出ソフトウェアの解析結果閲覧画面）の一例

5. おわりに本研究での成果を以下に示す。
(1) 本稿では、深層学習および AI-OCR により舗装欠損部および緯度経度情報を検出・判別する手法について検討した。
(2) 本手法の活用に向けて、舗装欠損部等の検出の実行、検出情報の出力・閲覧が可能なソフトウェアの開発検討を行った。

6. 今後の展開・展望
路面の撮影機材として、広く一般にも普及しているドライブレコーダーなどの民生品を使用し、AI を用いたポットホールの検出手法が確立することで、ポットホールの発生状況の簡易的な把握、点検の効率化が可能になると考えられる。今後も、冬期間のポットホールの発生状況を把握し、本手法の技術の確立を目指すとともに、ひび割れなども含めた舗装欠損部の検出・分類手法についても検討を進めていく予定である。
参考文献
1)

丸山記美雄，大浦正樹，木村孝司：深層学習によるポットホール判別技術に関する基礎的検討，第 61 回(2017 年度)北海道開発技術研究発表会

2)

SATO Takahiro, MARUYAMA Kimio-771-

佐藤圭洋，丸山記美雄：深層学習の手法によりドライブ
レコーダー撮影画像からポットホールを検出する技術に関する検討,第 65 回(2021 年度)北海道開発技術研究発表会