第67回(2023年度)

北海道開発技術研究発表会論文

寒冷地特有のひび割れ損傷判別技術の検討
国立研究開発法人 土木研究所 寒地土木研究所 寒地道路保全チーム ○佐藤 圭洋
丸山 記美雄近年はICTの進歩がめざましく、これらの新技術を取り入れることによりインフラの点検・診断を効率的に行い、コストや労力の縮減を図っていくことが求められている。そこで、凍上ひび割れや低温ひび割れなど寒冷地特有のひび割れ損傷に対して、少ない労力で点検、診断が可能な技術を開発することを目的とし、寒冷地特有のひび割れ損傷判別手法を検討した。その結果、寒冷地特有のひび割れの判別が可能であることを確認した。
キーワード：低コスト、寒冷地、点検診断、ひび割れ

1. はじめに
近年はICT技術の進歩がめざましく、これらの新技術を取り入れることによって、インフラの点検・診断を効率的に行い、コストや労力の縮減を図っていくことが求められている。基本的な舗装点検評価項目3指標（ひび割れ率、わだち掘れ量、平坦性）をICT技術により簡易に効率的に点検する手法については、近年様々な技術開発が進んでおりそれらの技術を活用することが可能である。一方で、寒冷地特有の低温ひび割れと凍上ひび割れなどのひび割れ種類の判別技術は一般地域では必要性が少ないため技術開発に着手されていない。ひび割れ種類に応じた的確な診断が可能となるよう、効率的なひび割れ種類の判別技術の開発が必要である。
筆者らは、既往研究において、主にポットホールを対象とした舗装欠損部および緯度経度情報の検出を行っている1）が、ひび割れ損傷を対象とした検出手法の検討はこれまで行ってきていない。そこで、これまで検討してきた舗装欠損部の検出処理手法を寒冷地特有のひび割れ損傷の判別処理にも応用し、少ない労力で点検、診断が可能な技術を開発することを目的として、寒冷地特有のひび割れ損傷判別手法の検討を行った。本稿では、深層学習を用いたひび割れを判別する手法を用いて、北海道地域の道路の路面撮影画像を用いて画像解析を行い、道路のひび割れ損傷判別が可能か検証した。

2. 深層学習を用いたひび割れを判別する手法の検討(1) 検討の背景
筆者らは、これまで、画像認識に最も有効であると考えられる深層学習（ディープラーニング）の一つである
畳み込みニューラルネットワーク、Convolutional NeuralNetwork（CNN）の方法を用いて、舗装欠損部および緯度経度情報の検出の検討を行っている1）。また、舗装欠損部等の検出の実行、検出情報の出力・閲覧が可能なソフトウェアの開発検討を並行して進めているところである1）。本手法は、ドライブレコーダー撮影画像を使用して、深層学習およびAI-OCRにより舗装欠損部および緯度経度情報を検出・判別する手法であり、路線・区間の舗装の損傷状況をスクリーニング的に把握する手法として有効と考えている。しかし、この手法は、主にポットホール損傷を舗装欠損部として検出する手法であり、ひび割れ部を判別する手法の検討はこれまで行われていない。ひび割れ部を検出し、同時にひび割れの種類を分類する画像処理を行うことができれば、効率的な道路管理につながる有用なデータを取得できると考えられる。
これまで筆者らが構築してきたポットホール損傷部の検出処理においては、対象解析画像内に比較的面積を伴って損傷領域を検出する手法であると言え、細い幅で線上に繋がっているような損傷形態であるひび割れ部を対象とした検出手法の検討はこれまで実施していない。また、ひび割れの検出処理の画像解析を行うのと同時に、ひび割れの損傷の種類を分類して、画像を解析して損傷部を検出した損傷領域や分類結果の情報や画像を出力する検討はこれまで行っていない。そこで、本検討では、対象とする画像を道路の進行方法に撮影した画像を用い、積雪寒冷地特有のひび割れ損傷を学習画像に組み込んでひび割れ部を判別する手法の検討を行い、積雪寒冷地特有のひび割れにも対応したひび割れ検出手法を構築することを目指した。
(2) 現地調査によるひび割れ路面撮影画像（デジタルカ
メラ撮影画像）の収集
北海道内のひび割れ等が発生している道路の現地調査を行った。ひび割れ損傷路面の調査箇所を図-1に示す。
ひび割れ調査箇所は、主に低温ひび割れや凍上ひび割れ

SATO Takahiro, MARUYAMA Kimio-926-などの寒冷地特有のひび割れが多数発生している道北地域や道東地域の山間部を対象とした。現地調査では、写真-1に示すとおり、ひび割れ路面の撮影、画像の収集を行った。デジタルカメラを用いて、道路進行方向に道路が下半分に映り込む構図にして、画像を収集した。これは、将来ドライブレコーダー機器にて取得した動画像を解析することを想定した構図としている。ひび割れの有無、種類の違い、損傷形態の違いに応じて、低温ひび割れ損傷路面画像（車線横断ひび割れあり画像、写真-2参照）、凍上ひび割れ損傷路面画像（車線中央部縦断ひび割れあり画像、写真-3参照）、亀甲状ひび割れ損傷路面画像（走行部亀甲状ひび割れまたは複合ひび割れあり画像、写真-4参照）、損傷なし路面画像（撮影した画像にひび割れ等損傷部がない画像）の4種類の損傷種類の画像を取得した（表-1）。

各画像のひびわれ損傷を目視判別し、撮影調査箇所の画像ファイル名、緯度経度情報、損傷種類を分類して一覧表に整理した（表-2）。これらの中から、深層学習に使用する画像を抽出、整理し、寒冷地特有のひび割れ損傷判別技術を構築するための基礎資料とした。

写真-3 凍上ひび割れ画像の例

写真-4 亀甲状ひび割れ画像の例
図-1 路面画像収集箇所
表-1 損傷種類および画像撮影枚数
No.

損傷種類

撮影枚数

1横断（低温ほか）

375

2縦断（凍上ほか）

517

3網状（疲労亀甲状ほか）

264

4健全（損傷なし）

178
合計

1,334

表-2 撮影調査箇所一覧表の例（抜粋）No.

写真-1 ひび割れ路面の撮影状況

～

ファイル名

SATO Takahiro, MARUYAMA Kimio
-927-

No.

損傷種類

緯度

経度

1 P8290001.JPG

2縦断（凍上）43.1250025 143.6735093

2 P8290002.JPG

2縦断（凍上）43.12503133

3 P8290003.JPG

1横断（低温）43.14283167 143.6990752

4 P8290004.JPG

3網状（亀甲状）43.14283167 143.6990752

5 P8290005.JPG

1横断（低温）43.14283167 143.6990752

6 P8290006.JPG

3網状（亀甲状）43.14291167 143.6992822

7 P8290007.JPG

1横断（低温）43.14498567 143.7055758

8 P8290008.JPG

2縦断（凍上）43.14503083 143.7058227

9 P8290009.JPG

1横断（低温）43.14798833 143.7151307

10 P8290010.JPG

1横断（低温）43.14796417 143.7153677

11 P8290011.JPG

1横断（低温）43.1479615

12 P8290012.JPG

1横断（低温）43.14795367 143.7155585

13 P8290013.JPG2縦断（凍上）43.14795367 143.7155585

14 P8290014.JPG

2縦断（凍上）43.148066 143.7388767

15 P8290015.JPG

1横断（低温）43.148066 143.7388767～

1,334 PA140340.JPG

写真-2 低温ひび割れ画像の例

損傷～
2～
縦断（凍上）～

143.673596

143.7155～43.99726767 142.6891923

(3) 検出・分類手法の検討
積雪寒冷地特有の低温ひび割れ、凍上ひび割れに代表されるひび割れ等舗装損傷部を検出し、ひび割れの種類を分類判別する手法（ひび割れ検出・分類）を検討した。
ここで言う検出とは、舗装路面画像からひび割れ等損傷部を見つけ出すこと、分類とは、損傷部の特徴から損傷の種類を判別することを意味する。本手法では、対象をひび割れ部に絞り、舗装ひび割れ部の検出および分類が可能となる判別手法の検討を行った。
収集した画像を用いて、寒冷地特有のひび割れ種類を判別する手法の検討を行った。使用した画像は、表-1のNo.1～4の4種類の画像を用いた。道路進行方向に撮影した路面の画像を使用している。図-2に舗装ひび割れ部の検出・分類手法の検討（直列処理：検出→分類）を示す。
この手法は画像から路面ひび割れ部を機械により自動検出および自動分類し、路面損傷検出・分類の省力化を可能とする方法である。深層学習を活用してひび割れ部の検出処理を行った後、検出されたひび割れの種類を分類する直列処理の流れとしている。事前の検討において、この手順が比較的精度良く検出・分類が可能であることが確認できたため、本検討ではこの手順を採用することとした。

図-2 舗装ひび割れ部の検出・分類手法の検討（直列処理：検出→分類）
表-3 ひび割れ検出手法の検証結果（件数）件数
ひび割れありひび割れなし合計

人間の判定

ひび割れあり
182
7189

機械の判定
ひび割れなし155166

合計19758255

表-4 ひび割れ検出手法の検証結果（再現率）
再現率（％）
人間の判定

ひび割れありひび割れなしひび割れあり
92.4
12.1

機械の判定
ひび割れなし7.687.9

計100
100

表-5 ひび割れ検出手法の検証結果（適合率）
適合率（％）
人間の判定

ひび割れありひび割れなし合計

機械の判定
ひび割れあり ひび割れなし
96.3
22.7
3.777.3
100
100

表-6 ひび割れ検出手法の検証結果（F 値）
F値（％）

機械の判定
ひび割れあり ひび割れなし(4) 画像解析処理結果
人間の ひび割れあり
94.3
11.4
判定
ひび割れなし5.782.3
先に、舗装ひび割れ部の検出・分類手法の検出処理部分の処理結果について述べる。
表-7 ひび割れ検出手法の検証結果（正解率）
表-3にひび割れ検出手法の検証結果（件数）、表-4に機械の判定
ひび割れ検出手法の検証結果（再現率）、表-5にひび割
件数ひび割れあり ひび割れなし
人間の ひび割れあり
ABれ検出手法の検証結果（適合率）、表-6にひび割れ検出判定
ひび割れなしCD手法の検証結果（F値）、表-7にひび割れ検出手法の検A+D
正解率＝A+B+C+D
証結果（正解率）を示す。
ここで、画像の解析領域内にひび割れがあった場合にひび割れ検出 正解率（％）
91.4
ひび割れあり1件と判定し、ひび割れがなければひび割れなし1件と判定している。また、再現率とはひび割れを検出した割合、適合率とはひび割れを検出した箇所において人間がひび割れと判定している割合を示している。
また、F値とは、再現率と適合率を調和平均した値である。最大値が100％、最小値が0％であり、値が100％に近いほど検出の精度が高いことを示している。また、正解率とは人間と機械の判定が一致した件数を全件数で除した割合を示している。
表-3において、人間がひび割れありと判定した197件に対して、機械がひび割れありと判定した件数は182件であった。また、表-4、表-5、表-6において、人間の判
図-3 深層学習を用いた画像解析結果の例
定がひび割れありで、機械もひび割れありと判定した再（検出結果の一例：低温ひび割れの例）
現率は92.4％、適合率は96.3％、F値は94.3％であった。
また、表-7よりひび割れ検出の正解率は91.4％であった。
このことからおおむねひび割れを検出できていることが上ひび割れ画像の検出結果の一例、図-5に亀甲状ひび割確認できた。
れ画像の検出結果の一例を示す。
図-3に低温ひび割れ画像の検出結果の一例、図-4に凍ひび割れ種類別の検出結果の各画像において、進行方
SATO Takahiro, MARUYAMA Kimio-928-

表-8 ひび割れ分類手法の検証結果（件数）件数
横断(低温ほか)
縦断(凍上ほか)
網状(疲労亀甲状ほか)
OK(損傷なし)
合計

人
間の判
定

横断(低温ほか)
3276146

機械の判定
縦断(凍上 網状(疲労亀ほか)甲状ほか)
614242436
33
607271

OK(損傷なし)
10415166

合計
62597658255

表-9 ひび割れ分類手法の検証結果（再現率）
再現率（％）
人間の判定

図-4 深層学習を用いた画像解析結果の例（検出結果の一例：凍上ひび割れの例）

横断(低温ほか)
縦断(凍上ほか)
網状(疲労亀甲状ほか)
OK(損傷なし)

横断(低温ほか)
51.6
11.9
7.9
1.7

機械の判定
縦断(凍上 網状(疲労亀ほか)甲状ほか)
9.7
22.6
40.7
40.7
47.4
43.4
10.3
0.0

OK(損傷なし)
16.1
6.8
1.3
87.9

合計
100100100100

表-10 ひび割れ分類手法の検証結果（適合率）
適合率（％）
人
間の判定横断(低温ほか)
縦断(凍上ほか)
網状(疲労亀甲状ほか)
OK(損傷なし)
合計

横断(低温ほか)
69.6
15.2
13.0
2.2
100

機械の判定
縦断(凍上 網状(疲労亀ほか)
甲状ほか)
8.3
19.7
33.3
33.8
50.0
46.5
8.30.0100
100

OK(損傷なし)
15.2
6.1
1.5
77.3
100

表-11 ひび割れ分類手法の検証結果（F 値）
F値
人間の判
定図-5 深層学習を用いた画像解析結果の例（検出結果の一例：疲労亀甲状ひび割れの例）

向走行車線内の奥行き5～6m程度までの台形形状の青色枠（解析結果画像上に青色枠を筆者が加筆）内にひび割れが疑われる箇所が着色されて表示されていることがわかる。低温ひび割れ、凍上ひび割れ、疲労亀甲状ひび割れの各ひび割れ画像において、ひび割れ箇所が検出されていることがわかる。なお、ひび割れがない箇所においても全体的に薄く着色されている箇所も存在した。このように、ひび割れ箇所を画像内において検出して、その領域を示すことが可能であり、寒冷地特有のひび割れの検出が可能であることを確認した。
次に、舗装ひび割れ部の検出・分類手法の分類処理部分の処理結果について述べる。
表-8 にひび割れ分類手法の検証結果（件数）、表-9 にひび割れ分類手法の検証結果（再現率）、表-10 にひび割れ分類手法の検証結果（適合率）、表-11 にひび割れ分類手法の検証結果（F 値）、表-12 にひび割れ分類手法の検証結果（正解率）を示す。
ここで、画像の解析領域内のひび割れの有無を人間が確認し、ひび割れがあった場合に、ひび割れの種類を横断ひび割れ（低温ひび割れなど）、縦断ひび割れ（凍上ひび割れなど）、網状ひび割れ（疲労亀甲状ひび割れ）の 3 種類に判別し、ひび割れがない場合に OK（損傷なし）と判別し、合計 4 種類の画像に分類した。再現率とは、人間によるひび割れ種類・有無の分類による判別が横断(低温ほか)
縦断(凍上ほか)
網状(疲労亀甲状ほか)
OK(損傷なし)

横断(低温ほか)
59.3
13.3
9.8
1.9

機械の判定
縦断(凍上 網状(疲労亀ほか)
甲状ほか)
8.9
21.1
36.6
36.9
48.7
44.9
9.2
0.0

OK(損傷なし)
15.6
6.4
1.4
82.3

表-12 ひび割れ分類手法の検証結果（正解率）
件数
人
間の判
定

横断(低温ほか)
縦断(凍上ほか)
網状(疲労亀甲状ほか)
OK(損傷なし)
正解率＝

横断(低温ほか)
A
E
I
M

機械の判定
縦断(凍上 網状(疲労亀ほか)
甲状ほか)
B
C
F
G
JK
N
O

OK(損傷なし)
DH
L
P

A+F+K+P
A+B+C+D+E+F+G+H+I+J+K+L+M+N+O+P
ひび割れ分類 正解率（％）

54.9

機械による判別と一致した割合、適合率とは、機械によるひび割れ種類・有無の分類による判別が人間による判別と一致した割合を示している。また、分類結果における F 値については、先に述べたとおり、再現率と適合率を調和平均した値であり、最大値が 100％、最小値が0％であり、値が100％に近いほど検出の精度が高いことを示している。また、正解率とは人間と機械の判定が一致した件数を全件数で除した割合を示している。
表-8において、人間が横断ひび割れ(低温ひび割れほか)と判定した62件に対して、機械が横断ひび割れ(低温ひび割れほか)と判定した件数は32件であり、また、人間がOK(損傷なし)と判定した58件に対して、機械がOK(損傷なし)と判定した件数は51件であったことから、これらについては、縦断ひび割れ(凍上ひび割れほか)やSATO Takahiro, MARUYAMA Kimio-929-

網状ひび割れ(疲労亀甲状ほか)に比べて比較的高めの傾向が得られたと言える。表-9、表-10、表-11の再現率、適合率、F値の結果を見てもほぼ同様の傾向が見て取れる。また、表-12よりひび割れ分類の正解率は54.9％であった。これは、縦断ひび割れ(凍上ひび割れほか)を網状ひび割れ(疲労亀甲状ほか)と機械が誤判定するケースが多かったためと考えられ、精度向上の必要があることがわかった。
図-6に低温ひび割れ画像の分類判定結果の一例、図-7に凍上ひび割れ画像の分類判定結果の一例を示す。機械による判別結果は解析領域ROIの左下側のタグにラベルで表示され、機械によって分類した結果の確からしさが割合で表示される。図-6の例の場合、四角斜線枠で囲まれた領域内を横断(低温ほか)と分類しており、その確からしさを93.9％としている。図-7の例の場合、四角斜線枠で囲まれた領域内を縦断(凍上ほか)ひび割れと分類しており、その確からしさを98％としている。このように、分類が可能であることが確認できた。
分類判別においては、横断(低温ひび割れ)とOK(損傷なし)の画像の判別は、比較的判別しやすい画像であったと言える。一方、縦断(凍上ひび割れほか)と網状(疲労亀甲状ほか)の分類判別は、十分にできているとは言いがたい。また、分類判別の一部にひび割れが薄く見え

図-8 木の影をひび割れと誤検出づらいもの、舗装が荒れていることによりひび割れが認識しづらいもの、ひび割れ画像を教示しても健全（損傷なし）と判別されたものも存在した。また、タイヤ痕、沿道の樹木の陰、舗装表面の荒れている部分などをひび割れ画像として検出するケースも存在した（図-8）。このことから、本手法には改善の余地があると考えられる。
ただし、全体としては、再学習の試行錯誤を繰り返し行いモデルの構築作業を行った結果、一定程度の検出・分類が可能であることが確認できたものと考えている。

3. まとめ
深層学習を用いた画像解析の手法の検討を行い、寒冷地特有の低温ひび割れと凍上ひび割れなどのひび割れを検出・分類判別することが可能であることを確認した。
なお、沿道からの影をひび割れと誤検出するケースも一定程度あり、精度向上の必要があることがわかった。

4. 今後に向けて
図-6 深層学習を用いた画像解析結果の例（分類判別結果の一例：低温ひび割れの例）

図-7 深層学習を用いた画像解析結果の例（分類判別結果の一例：凍上ひび割れの例）

今後の課題として、本手法の判別精度の向上が挙げられる。沿道からの木などによる影の影響などによる誤検出を減らすなど、本手法には改善の余地があると考えられる。これには一つ、教師データの拡充による精度向上が考えられるところである。
また、現在、北海道内の道路を対象とした車両走行によるドライブレコーダーによる撮影を行い、動画像の収集を行っているところである。令和 5 年度に寒地土木研究所が実施したドライブレコーダーによる走行動画像の収集箇所を図-9 に示す。主に低温ひび割れや凍上ひび割れなどの寒冷地特有のひび割れが多数発生している道北地域や道東地域の山間部の道路を対象として走行動画像を収集し、積雪寒冷地特有のひび割れの発生している路面の有無などを調査している。今後はこれらの画像を使った寒冷地特有のひび割れ損傷判別技術の検討も行っていきたいと考えている。

SATO Takahiro, MARUYAMA Kimio-930-

図-9 ドライブレコーダーによる走行動画像の収集箇所の例

参考文献1)

佐藤圭洋、丸山記美雄：深層学習および AI-OCR により舗装欠損部および緯度経度情報を検出・判別する手法に関する検討、寒地土木研究所月報、第 851 号、pp.36-42、2023．

SATO Takahiro, MARUYAMA Kimio-931-