技術資料

深層学習およびAI-OCRにより舗装欠損部および緯度経度情報を検出・判別する手法に関する検討
佐藤圭洋

丸山

記美雄

出と同時に緯度経度情報を読み取る画像解析手法を構

１．はじめに築できれば、効率的な道路管理につながる有用なデー
北海道においてはポットホールが融雪期や春先に多タを取得できると考えられる。

く発生するため、ポットホールの発生状況を把握してそこで、緯度経度情報が画像内に文字情報として記適切に対処する必要がある。また、舗装の修繕の目安

録されるドライブレコーダーを用いて、撮影画像の中となる基準として、ひび割れ率、わだち掘れ量、IRIに画像情報として記録表示される緯度経度情報を画像の3つの管理基準が一般的に用いられているが 、舗解析により数字あるいは文字として読み取る手法につ装内部の構造的破損が進むと、ポットホールが再発しいて検討した。事前検討段階において、OCR（光学やすくなると考えられることから、ポットホールによ的文字認識）処理のみでは、緯度経度情報などの画像る舗装の損傷に関する定量的な指標として、ポットホ情報を画像内から精度良く検出・判別することができールの発生個数などが有用な指標になり得るのではななかった。そこで、AI-OCR（AIを取り入れた光学的いかと考えられる。

文字認識技術）を用いて、緯度経度情報を検出・判別

1）

既往研究において、カメラ画像に対して輝度など画することとし、深層学習およびAI-OCRにより舗装欠素値の閾値によってポットホールを検出するアルゴリ

損部および緯度経度情報を検出・判別する手法についズムを構築した研究報告 や、ステレオカメラを用いて検討した。また、本手法の活用に向けて、舗装欠損てポットホールを検出しようとする研究報告 がある部等の検出の実行、検出情報の出力・閲覧が可能なソが、完成された技術として一般化されたものがない。

フトウェアの開発検討を行った。

2)

3)

そこで、これまで、深層学習の手法を用いて車載カメラの画像から舗装欠損部の検出を行う技術の検討を行

２．検討手法っている 。近年では、車載カメラとしてドライブレ
4）

コーダーを用い、道路を走行して取得した画像から、画像認識に最も有効であると考えられる深層学習

深層学習によるポットホール等の舗装欠損箇所を検出（ディープラーニング）の一つである畳み込みニューする手法について検討を行っている5）。深層学習によラルネットワーク、Convolutional Neural Network

る手法は、機械的に簡便にかつ短時間で舗装欠損部の（CNN）の方法を用いて、舗装欠損部および緯度経度検出を行うことができるため、舗装欠損箇所を効率的情報の検出を行った。に把握することが可能である。

図－1に舗装欠損部および緯度経度情報を検出する

本手法において、画像を解析してポットホール等の手法の検討手順を示す。使用した画像は、冬期間、道舗装欠損箇所を検出し、ポットホールの発生状況を定央圏の国道を週2回程度走行して得られた動画像の中量化した上で、さらに、位置情報であるGPS情報が取から、ポットホールが発生した区間を撮影した画像と得できれば、検出結果の地図上への表示が容易に行えした。これらの画像を用いて、学習用と検証用のデーる。これまでの手法では、ドライブレコーダーによっタを用意し、舗装欠損部の検出処理モデルを構築して測位された緯度経度情報は、動画データの内部に電た。また、深層学習を取り入れた光学的文字認識（AI-子データとして埋め込まれて記録されていたため、そOCR）を用いて、画像内に表示されている緯度経度情の情報を外部に取り出して活用する検討が十分には行報の検出・判別が可能なモデルを構築した。これらのわれていない。しかし、近年のドライブレコーダーは、画像解析によって得られた検出情報から、ポットホー緯度経度情報を画像内に画像として含むものも市販さルの個数、面積、位置の推定、検出結果の閲覧を行うれるようになってきていることから、舗装欠損部の検手順とした。

36

寒地土木研究所月報№851

2023年12月

いるGPSにより測位された車両走行位置の緯度経度情報が画像の下側位置に記録されている。記録された画像に対する緯度経度情報検出用の関心領域（ROI）は、文字表示部分の領域に設定している。本検討では、舗装欠損部を検出するとともに、緯度経度情報をAIOCRを用いて検出・判別が可能となる処理モデルの構築を行った。
３．緯度経度情報読み取り機能付き舗装欠損部検出モ
デルの構築
緯度経度情報読み取り機能付き舗装欠損部検出モデ
図－1

 装欠損部および緯度経度情報を検出する手法の舗
検討手順

ルの構築を行うに当たり、検出処理を舗装欠損部の検出処理と緯度経度情報の検出処理の2つの部分に分け、同時に解析処理を行う構成とした。

表－1

ドライブレコーダーの撮影条件

先に、緯度経度情報の検出処理部分について述べる。
図－2に事前の検討段階におけるOCR処理による文字情報の検出例を示す。ここでは、読み取りたい文字とは別の領域にて文字が誤検出される箇所、文字が検出されない検出漏れ箇所、異なった文字として誤判別される事例が見られた。これは、文字背景の色彩や模様による影響と考えられ、OCR処理のみでは画像内から緯度経度の文字を精度良く検出・判別することができなかった。そこで、機械に表示されている文字を学習させることで、緯度経度情報の読み取り精度を向上させることとした。

写真－1

 ライブレコーダーにて取得した解析対象画像
ドの一例

表－1にドライブレコーダーの撮影条件を示す。使用した画像は、市販のドライブレコーダーを車内フロ
ントガラス中央上部に取り付け、道路を走行しながら路面を動画撮影して取得した画像とし、フレームレー
トは27fpsとしている。車両前方方向の路面をほぼ水平に近い角度から撮影している。また、写真－1に示すとおり、ドライブレコーダーの機器に搭載されて寒地土木研究所月報№851

2023年12月

図－2

 前の試行段階におけるOCR処理による文字情報の事検出例

37

表－2に緯度経度情報の検出・判別処理における学表－2

緯度経度情報の検出・判別処理における学習条件習条件を示す。今回使用したドライブレコーダー撮影
画像内においては、画像内の下側中央の部分に文字が横一列に記録されているため、この領域をROI領域とした。モデル構築においては、文字を精度良く読み取るため、文字の機械的な学習を行った。判別結果が一致するようパラメータ設定の試行錯誤を行った。図－3に文字の学習例を示す。ROI領域内で見つかった特徴に対し、特徴の値（緑色枠の左下のラベルの値）が正しい場合は正しい文字であると学習させ、誤判別された場合は、正しい文字を学習させる。検出漏れの文字は、検出漏れの文字に対し正しい文字を学習させる。
表－3に緯度経度情報検出モデルの作業過程におけ
図－3る検出例を示す。ここでは、モデル作成の当初段階（No.1）から最終段階（No.3）までの検出結果を、再現率、適合率、F値などにより示す。ここで、再現率とは、
図－4に示すように、人間が正解としている個数のう
ち、機械によって正しく判別された個数の割合であり、適合率とは、機械によって検出された個数のうち、正しく判別された個数の割合である。また、F値とは、

表－3

文字の学習例

緯度経度情報検出モデルの作業過程における検出例

モデル
No.

人間が正解としている
個数：A

機械が検出した個数：B

A∩B

再現率
(%)

適合率
(%)

F値

No.1
No.2
No.3

458691348891777911690100

21881001889100

適合率と再現率の調和平均を示している。No.1は、図－3に示すように文字数やサイズ、読み取る閾値を指定した上で文字を学習させ、文字列として読み取る作業を行った段階における処理結果である。この段階では再現率は16％、適合率は21％となっている。この段
階では、全ての文字を適切に教示できていなかったため、精度が低い状態となっている。No.2は、文字列として読み取った上で、さらに、正しく判別出来てい

図－4

再現率、適合率、F値ない文字に対し、正しい文字を教示する再学習を一定程度繰り返した段階での処理結果である。この段階では、検出する文字の数を定義して文字を検出する手法としているため、再学習を繰り返すことで、再現率は90％、適合率は89％と大幅に向上した。しかし、本検討で用いたドライブレコーダーは、緯度経度情報の度分秒表記の中に0の文字があると非表示となる仕組みとなっていたため（図－3の青枠で示した部分）、検出

図－5

 終的に構築したモデルによる検出結果の一例（そ最の1）、上：検出結果のみ表示（黄色タグ）、下：判別検証結果の例、完全一致（黄色タグの上に緑色タグ）

図－6

 終的に構築したモデルによる検出結果の一例（そ最の2）、ラベル付き文字の位置と重ならない位置で文字として誤検出した部分が存在、ラベル付け文字は一致の精度に影響が及んだ。そこで、No.3（最終的に構築したモデル）では、文字の非表示部分があっても0の文字として読み取り精度に影響に及ぼさないように各文字の空間的配置や間隔を相互に関連付けて再学習処理を行った。その結果、再現率、適合率ともに100％となり、緯度経度情報を精度良く検出できるようになった。
図－5は最終的に構築したモデルによる検出結果とその検証結果の一例（その1）である。黄色の表示は
38

寒地土木研究所月報№851

2023年12月

機械が検出した結果、緑色の表示は機械による検出結表－7に検証結果の一例を示す。ポットホールがあ果と人間の判定結果が一致したことを示す。0の非表

り検出できている（正検出、真陽性）割合は85%であ示部分が存在しても正しく読み取れていることがわかり、また、ポットホールがないものをないと正しく判る。図－6は最終的に構築したモデルによる検出結果の一例（その2）である。これは、ラベル付き文字の位置と重ならない位置で文字が誤検出された例である

表－4

使用画像及び処理モデル構築時の学習条件

表－5

学習データに対するポットホール検出割合（橙色で囲われた部分がラベル付き文字の位置と重ならない箇所で文字として誤検出された部分）。このよ
うに、本来のラベル付けした場所とは異なる位置で文字が誤検出される事例も存在した。しかし、文字として誤検出はされても、読み取りの際には文字列からの情報が読み取られるため、文字列としての出力結果としては完全に一致している。この事例のように、緯度経度情報を読み取る際に本来の場所と異なる位置で文字として誤検出された部分があったとしても、この文字情報は読み取られることなく、最終的な文字列としての検出精度が保たれる。
次に、舗装欠損部の検出処理部分について述べる。
表－4に使用画像および処理モデル構築時の学習条件を示す。学習画像は、路面が露出し、路面状態が乾燥および湿潤路面となっている複数路線から抽出した画像とした。ROI領域のサイズは966 × 322 pixelとした。モデル構築においては、舗装欠損部を機械に学習

表－6

機械による解析と人間の目視の判定結果の整合させる時の舗装欠損部の設定領域とモデル構築後の舗装欠損部の検出領域がほぼ一致するようパラメータ設定の試行錯誤を行い、舗装欠損部の検出解析時に使用する特徴のサイズを 40 pixel に設定した。また、学習用データはRGBカラー、繰り返し学習の回数は50回として、ポットホール検出モデルを構築した。

表－7

解析と目視の判定結果整合

マトリクス表

表－5に学習データに対するポットホール検出割合を示す。これは、構築後の処理モデルを学習データに適用してポットホール部分を検出させた結果と、人間が判定した結果の対応関係を示している。学習データ内のポットホールは99%検出できており、指定したポットホール範囲との合致度が高い処理モデルであると判断される。
学習データとは別に、未知のデータである検証デー
タに対する検出程度を評価検証した。表－6に機械による解析と人間の目視の判定結果の整合を示す。人間がポットホールありと判定し、機械もポットホールありと判定した場合（真陽性）と、人間がポットホールなしと判定し、機械もポットホールなしと判定した場
合（真陰性）の2つの対角上のセルが、機械と人間の判定がマッチした正検出のケースとなり、正しい検出が行われたと判断されたことを意味している。
寒地土木研究所月報№851

2023年12月

図－7

 証データを解析処理にかけて得られた結果の検画像例

39

定（正検出、真陰性）している割合は86%である。真陽性の判断および真陰性の判断はおおむね良くできていると評価される。
図－7に検証データを解析処理にかけて得られた結果の画像例を示す。赤色で強く反応している部分がポットホール部分であり、正しく検出できていることが分かる。一方で、路面上に存在する雪氷の付近をポットホールと誤検出する例や、ポットホールを見落としている検出漏れの例も存在した。
４．本手法の活用に向けた検討
画像解析により検出・判別された舗装欠損部や緯度経度情報を基に、本手法の活用の検討を行った。以下に、開発中の舗装欠損部検出ソフトウェアの概要について述べる。
本ソフトウェアは、ドライブレコーダーもしくはビデオカメラにて舗装路面を撮像した動画ファイルか

図－8

 画から静止画への切り出し機能（舗装欠損部検出動ソフトウェア）の画像抽出画面

図－9

 損部解析機能（舗装欠損部検出ソフトウェア）の欠解析用メイン画面

図－10

 損部解析機能（舗装欠損部検出ソフトウェアの欠解析時画面）の一例（ポットホールなしの画面の場合）

ら、深層学習およびAI-OCRの手法を用いて舗装欠損部や緯度経度情報の検出処理の実行、舗装欠損部や解析結果の出力、舗装の欠損箇所の地図上への表示、検出情報の閲覧を行うものである。本ソフトウェアの構成は、動画から静止画への切り出しを行う機能、欠損部の解析を行う機能、欠損部検出結果の閲覧を行う機能の3つによって構成される。
図－8に動画から静止画への切り出し機能（舗装欠損部検出ソフトウェア）の画像抽出画面を示す。映像
記録（動画）を取り込み、静止画として切り出す範囲や間隔、道路情報（路面名、上り／下り、KP等）を入力して静止画に切り出し、ファイルとして保存することができる。また同時に道路情報をCSVファイルとして保存することができる。
図－9にポットホールを主な検出対象とした舗装欠損部解析機能（舗装欠損部検出ソフトウェア）の解析用メイン画面を示す。ここでは、動画より切り出した静止画に対応した処理モデルや、出力した静止画および道路情報ファイルを読み込ませ、検出範囲の調整や欠損情報算出のため、画像ROIのピクセル値やそれに対応する実長等のパラメータを入力した上で欠損検出処理を行うことができる。この際、画像に緯度経度情報が表示されている場合には、緯度経度情報の検出処理モデルにより緯度経度情報も併せて処理することが可能である。
図－10に欠損部解析機能（舗装欠損部検出ソフトウ
ェアの解析時画面）の一例（ポットホールなしの画面
40

寒地土木研究所月報№851

2023年12月

の場合）、図－11に欠損部解析機能（舗装欠損部検出ソフトウェアの解析時画面）の一例（ポットホールありの画面の場合）を示す。舗装欠損部が検出されない場合は、緑色の背景でOKと表示される。舗装欠損部が検出される場合は、赤色の背景でNGと表示される。
いずれの場合も画面下の表において、解析結果の詳細が表示される。表の上段の緯度経度情報表示欄には、画像中の緯度経度情報をAI-OCR処理により検出した結果が表示される。緯度経度情報を読み取れた場合は緑色の背景にて、読み取れなかった場合は赤色の背景にて緯度経度情報が表示される。表の下段の欠陥部情図－11

 損部解析機能（舗装欠損部検出ソフトウェアの欠解析時画面）の一例（ポットホールありの画面の場合）

図－12

 損部検出結果閲覧機能（舗装欠損部検出ソフト欠ウェアの解析結果閲覧画面）の一例

報表示欄には、構築したポットホールの検出モデルによって画像解析された舗装欠陥部の解析結果が示される。ここでは、上位閾値（機械がポットホール画像だと判断する際のスコアの閾値設定）を0.6、下位閾値（機械が健全画像であると判断する際のスコアの閾値設定）を0.4とした。検出スコアが上位閾値以上であれば表の行の背景は赤色、検出スコアが下位閾値以下であれば緑色、その中間の範囲内のスコアであれば灰色で表示される。緑色であれば舗装の欠陥部はなく、健全であることを示している。赤色であれば高いスコアの舗装欠陥部が存在し、ある程度の大きさのポットホールが存在することを示している。灰色であれば低いスコアの舗装欠陥部が存在し、今後ポットホールに進展する比較的小さい舗装欠損部が存在することを示している。この閾値設定（ポットホール検出モデル構築時に設定する上位閾値と下位閾値の2つの閾値）は、ポットホール検出モデルの構築時において設定する。

５．まとめ

これによって、解析作業時にポットホールの検出の有無やスコアに応じた舗装欠損部の損傷度合を視覚的に把握・認識することができる。

本検討による成果を以下に示す。
(1) ドライブレコーダー撮影画像を使用して、深層学

図－12に欠損部検出結果閲覧機能（舗装欠損部検出習およびAI-OCRにより舗装欠損部および緯度経ソフトウェアの解析結果閲覧画面）の一例を示す。国度情報を検出・判別する手法について検討した。

土地理院地図上に欠損部情報に対応したマーカーが表(2) 本手法の活用に向けて、舗装欠損部等の検出の実示され、マーカーを選択すると、選択したマーカーの行、検出情報の出力・閲覧が可能なソフトウェア

箇所における車載カメラ撮影画像（ドライブレコーダの開発検討を行った。

ー撮影画像等）を画面上に表示させることができる。

今後は、ポットホール発生状況を定量化する手法にこれにより選択したマーカーの箇所の現地状況や路面ついて現地調査により検証を行い、その適用性につい状況、画像解析により得られた舗装欠損部の検出状況て把握していきたいと考えている。

を確認することができる。また、画面上で画像解析結果を閲覧することが可能である。これにより、画像解参考文献

析処理によって得られた舗装欠損部の損傷状況やそれらの損傷度合について、画面上でも定量的に把握することができる。

1） 国土交通省道路局：舗装点検要領（平成 28 年 10月）、2016.
2） 佐竹彰、大廣智則：画像処理技術によるポットホ

寒地土木研究所月報№851

2023年12月

41

ール検出システムの試行開発について、第31回日

61回（2017年度）北海道開発技術研究発表会、推本道路会議論文集、2015年10月

4、2018.

3） 伊波智亮、松島宏典、寺尾慎寿：車載ステレオカ

5） 佐藤圭洋、丸山記美雄：深層学習の手法によりドメラを用いたポットホール検出、電子情報通信学

ライブレコーダー撮影画像からポットホールを検会技術研究報告、Vol.113、2014年2月

出する技術に関する検討、第65回（2021年度）北4） 丸山記美雄、大浦正樹、木村孝司：深層学習によ海道開発技術研究発表会、管理19、2022.

るポットホール判別技術に関する基礎的検討、第42佐藤 圭洋
SATO Takahiro

丸山 記美雄MARUYAMA Kimio

寒地土木研究所
寒地保全技術研究グループ
寒地道路保全チーム
主任研究員

寒地土木研究所
寒地保全技術研究グループ
寒地道路保全チーム
上席研究員
博士（工学）
技術士（建設）寒地土木研究所月報№851

2023年12月