別紙－２
平成30年度AIを利用した車載カメラによる吹雪検知の可能性について
国立研究開発法人土木研究所寒地土木研究所○國分 徹哉
武知 洋太
櫻井 俊光

吹雪視程障害による災害の軽減・防止のため、道路管理者は、対策の必要箇所に吹雪対策施設を設置している。しかし、適切な要対策箇所を抽出するには、視程障害移動観測車で、吹雪発生時に繰り返し観測する必要があり 1）、データ取得のために時間とコストが必要となる。そこで本研究では、吹雪による視程障害が発生しやすい箇所を簡易に抽出することを目的とし、車載カメラで撮影した画像からAIを利用して吹雪発生の判別を試みたので、その結果について報告する。
キーワード：AI(人工知能)、視程障害、吹雪対策、自然災害

1. はじめに
積雪寒冷地の冬期道路では、吹雪による視程障害や吹きだまりによる交通障害がしばしば発生し、社会的に影響を与えている。特に北海道では、近年急激に発達した低気圧の影響により、極端な暴風雪による吹雪災害が発生するケースが見られる。平成25年3月に北海道を襲った暴風雪では、多数の道路が長期間に渡り通行止めになり、さらに9名の方が亡くなる等、大きな被害が発生した。これら暴風雪の被害を減らすために道路管理者は、対策の必要な箇所に吹雪対策施設を設置している。しかし、適切な要対策箇所を抽出するには、車載カメラ、視程計、風速計などを搭載した視程障害移動観測車で、吹雪発生時に繰り返し観測する必要があり1）、データ取得のために時間とコストが必要となる。
そこで、視程障害移動観測車のような特殊車両ではな
く、道路パトロールカー等に搭載されている車載カメラ画像を利用して、吹雪による視程障害が発生する箇所を簡易に抽出することが可能となれば、生産性の向上と、コスト縮減が期待できる。
本研究では、視程障害移動観測車に搭載されている車載カメラと視程計を使用し、吹雪発生有無を検知する技術開発を進めている。手法はAI（Artificial Intelligence）による画像解析である。本稿は、近年画像解析技術として注目されているAIの概要と、本年度から開始したAIによる吹雪発生の有無に関する画像解析の速報である。
なお、AIという言葉は、家電製品からネット上のサービスに至るまで幅広い分野で使われており、また、その意味するところも単純な制御プログラムから、人工的に作られた知能を持つ実態を指す場合もあり、その定義は専門家の間でも定まっていない2）。本研究では、AIを、機械学習・深層学習（ディープラーニング）を取り入れたシステムを意味するものとして扱う。

2. AIと画像解析の既往研究
AIは身近な家電でも活用が始まっており、我々の生活と切り離すことが出来ない状況である。たとえば、米Apple社製のiPhone等に実装されてる「Siri」や、米Googleのスマートフォンに実装されている「Googleアシスタント」もAIを利用して自然言語処理を行い、音声アシスタント機能を実現している。
土木分野においても、少子高齢化による技術者の減少に対する対策や生産性向上等で、AIの活用が期待されており、国土交通省が平成29年に策定した、第４期国土交
通省技術基本計画3）の3つの柱の一つとして、AI等の活用が明記されている。
土木分野におけるAI活用に関する研究では、髙木ら4）は、橋梁の交通環境を分析するため橋梁に加速度センサを設置し、そのセンサから橋梁のたわみを算出しこれをAIによる解析を実施した結果、走行車線識別、車両判別、重量推定において、90%以上の精度で推定できたことを示している。
AIと画像解析を組み合わせた研究では、丸山ら5）は、カメラ画像から、道路のポットホールをAIに利用して機械的に検出する技術の開発をおこなっており、高い検出率を示す処理モデルの構築に成功している。また中村ら
6）は、鋼橋の腐食箇所を検出する技術を構築するため、

Tetsuya Kokubu, Hirotaka Takechi, Toshimitsu Sakurai

カメラ画像から、AIを利用して機械的に「腐食」「塗膜劣化」「健全」を判別する研究を行っており、高い精度の結果が得られている。また、中村ら7）は、道路冠水画像からAIを利用し冠水状況を認識するモデルを構築するに当たり、AIに学習させるための画像データが少ない場合でも効率的に学習させる方法として、疑似的に学習用の画像を生成させ、それを利用することで認識精度向上の検証をおこなっている。その結果、GAN（GenerativeAdversarial Networks）を用いて生成した画像を、AIの学習で利用すると、認識精度の向上に寄与できることを示している。
吹雪画像の解析の研究においては、永田ら8）が国土交
通省北海道開発局が設置している道路監視用CCTVカメラから、コントラストを利用して吹雪の視程の程度を算出する技術を開発している。
しかし、車載カメラの様な背景のコントラストが常に変動する状況で、吹雪画像から視程を推定する試みは、我々の知るところでは存在しない。

3. 深層学習による画像認識の概要
近年、AIによる画像認識が世界から注目されている理由に、AIの一つである「深層学習（ディープラーニング）」の手法の構築である。2012年に世界的な画像認識コンペテション「ILSVRC（Imagenet Large Scsale VisualRecognition Challeng）」が開催され、多くの研究機関が参加した。

深層学習が未実装の判別モデルの誤認識率は26%台であったのに対し、深層学習を実装した判別モデルの誤認識率は15%台であった。このコンペテションを契機に、深層学習が従来の画像処理方法では認識が困難なものでも、認識できる技術として認知され、様々な分野で研究開発が進められている。
深層学習で画像認識を実現している技術として「CNN（Convolutional Neural Net）」が上げられる。以下に深層学習による画像認識及びCNNの概要について述べる。
(1) 深層学習による画像認識の概要
深層学習による画像認識は、「正解」がわかっている「教師画像」を用いて「判別モデル」を作成し、その「判別モデル」に「未知の画像」を入力し、カテゴリ毎に確信度を算出させることで、未知の画像を判別させるものである（図- 1）9）。
(2) CNNの概要について
CNNは大きく「 Convolutional層（畳込み層）」 、「Pooling層(プーリング層)」、「出力層」に区別される（図- 2）。Convolutional層では、フィルターを利用して特徴の抽出を行っている。Pooling層ではConvolutional層から出力された情報を圧縮し、その特徴をまとめ上げる処理を行う。Convolutional層の処理とPooling層の処理を繰り返し行い、最終的に得られる特徴を元に、出力層でカテゴリ毎に確信度を算出することになる（図- 2）。

①深層学習するための教師画像を準備

猫

猫

犬

犬

キツネ

③未知の画像をモデルに投入し判定②深層学習を利用して判別モデルの作成猫である確信度30%
犬である確信度50%

・・・・・・・・

キツネである確信度
80%

・・・・・

未知の画像は「キツネ」と判断
図- 1 深層学習による画像認識の概念図

Tetsuya Kokubu, Hirotaka Takechi, Toshimitsu Sakurai

入力
画
像

Convolutional層（畳層込み層）・・・・・

Pooling層

Convolutional層（畳層込み層）Pooling層

Convolutional層（畳層込み層）・・・・・
Convolutional層（畳層込み層）・・・・・

Pooling層
全結合層

出力層

Pooling層
猫である確信度○○％
犬である確信度○○％
キツネである確信度○○％

図- 2 CNN の概念図

4. 深層学習による吹雪画像判別実験の概要

ビデオカメラ
吹雪画像判別実験については、深層学習を利用して行うこととし、図- 3の手順で行うこととした。まず、深層学習のための、学習用及び検証用のデータ（静止画）を準備する。なお、検証用のデータは公平を期するために、学習用のデータと重複しないデータを準備することとした。学習及び検証用のデータは、寒地土木研究所が所有している視程障害移動観測車(写真- 1)に装着されている市販のデジタルビデオカメラの動画から静止画切り出すこととした。吹雪の発生の有無については、視程障害移動観測車の視程計のデータから判断することとした。な
お、吹雪の発生の有無の判別については、吹雪時のドライバーの運転挙動に関する研究成果10）をもとに、視程が200m以下を吹雪発生画像とし、200m以上は吹雪未発生画像とすることとした。

①学習用データ作成①’検証用データ作成②深層学習による学習

写真- 1 視程障害移動観測車

5. 深層学習による吹雪画像判別実験の実施(1)学習用データ及び検証用データの作成
視程障害移動観測車の動画から静止画を切り出し、視程とマッチングする作業を行うが、以下の4つの条件で作業を行った。

③吹雪画像判別モデルの完成④吹雪画像判別モデルによる判定

視程計

検証用データ投入⑤吹雪画像判別モデルの評価
図- 3 深層学習による吹雪画像判別実験の手順

 日中帯の動画から静止画の作成を行う。
 1280×720pxの解像度の静止画の作成を行う。
 国道231号（石狩市）、国道232号（羽幌町～遠別町）、国道238号（猿払村～浜頓別町）で観測したデータを分析対象とする。
 切り出した静止画に対する視程については、静止画を切り出した時刻から9秒後までの視程（m）を平均し求める(図- 4)。

Tetsuya Kokubu, Hirotaka Takechi, Toshimitsu Sakurai

作成した学習用及び5秒後
9秒後
3秒後
7秒後
1秒後
検証用データ
視程：●m 視程：●m 視程：●m 視程：●m 視程：●m視程:●(m)※切り出しから9秒後の平均値

表- 1 切り出した画像数

画像切り出し8秒後4秒後2秒後 切り出し時刻
6秒後
視程：●m 視程：●m 視程：●m 視程：●m 視程：●m学習用データ
検証用データ

吹雪発生 吹雪未発生
300
300
877
458
（単位：枚）

動画から静止画切り出し、切り出した時刻から9秒後までの視程の平均をその画像の視程とする。
※視程計の計測周期は１秒間に1回

図- 4 静止画切り出しの概要

上記条件で切り出した静止画から、ワイパーが写り込んでいる画像（図- 5）については、不適切な画像として取り除き、表- 1の静止画数を抽出した。参考に抽出した画像を図- 6に示す。
通常、深層学習を行うために必要な画像数は各項目毎に1,000枚以上が準備することが望ましいが、今回は傾向把握のため、表- 1の枚数で評価することとした。
(2) 深層学習を利用した吹雪画像判別モデルの作成及び評価(1)で作成した学習用データ利用して、深層学習を行い吹雪画像判別モデルを作成し、そのモデルを(1)の検証用データで評価を行った。一連の作業を行うにあって準備した計算機は、CPUがXeon Bronze、GPU:Quadro
P6000搭載の計算機であり、深層学習を行うソフトウェ
アについては、COGNEX社製のViDi Suiteを選定した。
深層学習するにあって画像解析のチャネル数は、学習用データがJPEGフォーマットであり、RGBでカラーを表現しているので「3」とし、繰り返し学習の回数はViDi Suiteのデフォルト値「50回」として、吹雪画像判別モデルを構築した。

図- 6 作成した教師用データ及び検証用データ（上:吹雪発生（視程 100m 未満） 下:吹雪未発生（視程 1000m 以上））

6.吹雪画像判別実験の結果
深層学習で作成したモデルがどの程度優れているか評
価する手法として、Precision（適合率）、Recall(再現率)
そしてF-score（調和平均）で評価することが一般的である。本実験でも前項で作成したモデルを上記3種類の手法で評価することとした。なお、一般的にはPrecision（適合率）が高いモデルはRecall(再現率)が低くなり、Precis（適合率）が低いモデルはRecall(再現率)が高くなる傾向を示すことが知られている11）。

図- 5 ワイパーが写り込んだ不適切な画像(1) Precisionでの評価
Precision（適合率）とは、モデルが正解と判別した中に、どの程度本当の正解が含まれているか示す値であり、正確性に関する指標である (図- 7)。

Tetsuya Kokubu, Hirotaka Takechi, Toshimitsu Sakurai

Precision(適合率) ＝

正解群

7.判別精度の考察
前項の精度をまとめると表- 2の通りである。

＝

表- 2 吹雪画像判別モデルの精度

判定結果群
○＝正解
×＝不正解

５ ≒ ０．７２＝７２％
７

カテゴリ
吹雪発生
吹雪未発生

Precision

Recall

97.9%
71.0%

F-score

79.4%
96.7%

87.7%
81.9%

図- 7 Precision（適合率）の概念図

前項で作成したモデルでPrecisionを算出した結果、吹雪発生画像を正解として評価した場合は97.9%であり、吹雪未発生画像を正解として評価した場合は、71.0%であった。
(2) Recallでの評価
Recall（再現率）とは、全正解に対して、モデルが正解と判別した中に、本当の正解がどの程度含まれているか示す値であり、網羅性に関する指標である(図- 8)。

F-scoreは80%と以上であり、高い確率で吹雪の発生及び未発生を判別するモデルを作成することが出来、画像から吹雪検知の可能性を見いだすことができた。
しかし、モデルが誤認した画像は196枚あり、それらの画像を確認すると、吹雪発生の画像を未発生と判断した画像においては、人間でも吹雪の発生・未発生の判断が難しい画像が多く含まれていることが確認できた（図- 9）。

Recall(再現率) ＝

正解群＝判定結果群○＝正解
×＝不正解

５ ≒ ０．６３＝６３％８

図- 9 吹雪画像判別モデルが吹雪未発生と判断した吹雪画像

図- 8 Recall（再現率）の概念図（視程 100～200m）

前項で作成したモデルでRecallを算出した結果、吹雪発生画像を正解として評価した場合は79.4%であり、吹雪未発生画像を正解として評価した場合は、96.7%であった。
(3) F-scoreでの評価
深層学習で判別モデルを作成し、精度検証を行う場
合、PrecisionとRecallで評価することが多いが、2つの指標では客観的に精度がわかりづらい。そこで、PrecisionとRecallをF-score（調和平均）し算出する方法が一般的である。F-scoreを算出する式は下記の通りである。

F − score =2 × Precision × Recall
Precision + Recall

確信度は、吹雪発生:10.6%、吹雪未発生:89.4%

また、吹雪未発生の画像を吹雪発生と判断した画像を確認すると、明らかに誤認している画像も含まれていた（図- 10）。
今後は、学習用データ画像を増やしモデルの品質を向上していく方法と、吹雪の視程の判断に必要な部分を関心領域(Region of interest, ROI)に指定（図- 11）し、深層学習を行う等で、モデルの精度が向上する可能性もあると考えられので検証していきたい。

(1)

前項で作成したモデルでF-scoreを算出した結果、雪発生画像を正解として評価した場合は87.7%であり、吹雪未発生画像を正解として評価した場合は、81.9%であった。

Tetsuya Kokubu, Hirotaka Takechi, Toshimitsu Sakurai

3)

図- 10 吹雪画像判別モデルが吹雪発生と判断した

作成した吹雪画像判別モデルが誤認した画像を確認してみると、人間でも吹雪の発生・未発生の判断が難しい画像が多く含まれていることが確認できた。ただし、あきらかに誤認している画像も確認出来た。

今後は、学習用データを増やす、また画像の関心領域を絞り込むことで、誤認を低下させ、さら高い判別能力を示すモデルの構築を目指していきたいと考えている。
また、吹雪の視程のランクを5段階に分けて定量的に判別するモデルの構築を行っていく予定である。

吹雪未発生画像（視程 1000m 以上）
確信度は、吹雪発生:71.4%、吹雪未発生:28.6%

謝辞：深層学習を行うための計算機及びソフトウェア選
定あたり、寒地土木研究所 寒地保全技術研究グループ
寒地道路保全チームの丸山上席研究員に助言を頂いた。
このことに謝意を示す。
参考文献
1)
2)

3)

4)

図- 11 関心領域（赤枠部分）の指定

5)

独立行政法人 土木研究所 寒地土木研究所：道路吹
雪対策マニュアル（平成 23 年度改正版）.
松尾豊：人工知能は人間を超えるか～ディープラー
ニングの先にあるもの～，ISBN-13:978-4040800202、2018.
国土交通省：第 4 期国土交通省技術基本計画，http://www.mlit.go.jp/common/001179565.pdf. ; 2019 年 1 月 7日閲覧.
髙木試歩，大畠拓也，竹谷晃一，佐々木栄一，飯塚大介：機械学習を用いた橋梁の交通環境分析システムの提案，土木学会第 73 回年次学術講演会，2018.
丸山 記美雄，大浦 正樹，木村 孝司：深層学習によるポットホール判別技術に関する基礎的研究，第 61 回（平成29 年度）北海度開発技術研究発表会，2018.

8.まとめと今後の展望
6)

吹雪による視程障害が発生しやすい箇所を簡易に抽出することを目的とし、近年画像解析技術として注目されている、深層学習を利用して吹雪の発生の有無を定性的に検出する研究を行った。これらの成果をまとめると下記の通りである。

中村和樹，子田康弘：人工知能を用いた鋼橋のおける腐食箇所の検出に関する研究，土木学会第 73 回年次学術講演会，20187)

中村奨，小野晋太郎，川崎洋：学習データが少ない事象をドライブレコーダーから自動検知するための深層学習
手法 ～冠水を対象とした GAN による Data Augmentation
アプローチ～，第 16 回 ITS シンポジュウム 2018，2018.

1)2)

視程障害移動観測車の動画から静止画を切り出し、 8)
教師用データ及び検証用データを作成した。
深層学習を利用して、教師用データから吹雪発生・未発生を検知するモデルを作成し、検証用データで評価を実施した。その結果、吹雪画像を正9)とした場合、Precision（適合率）は97.9%、Recall(再10)
現率)は79.4%、F-score（調和平均）は87.7%であり、吹雪未発生画像を正とした場合、Precision（適合率）は71.0%、Recall(再現率)は96.7%%、F-score（調和平均）は81.9%であり、高い判別能力を示すモデルを11)構築することが出来たことで、画像から吹雪検知の可能性を見いだすことができた。

Tetsuya Kokubu, Hirotaka Takechi, Toshimitsu Sakurai

永田泰浩，萩原亮，金田安弘，川村文芳，田宮啓士：吹
雪多発路線における CCTV カメラの画像を利用した視界情報提供システムの検証，土木計画学・論文集 Vol.26 no.5，2009
岡谷貴之：深層学習，ISBN-13:978-4061529021、2018.
加治屋安彦，松澤 勝，鈴木武彦，丹治和博，永田泰浩：
降雪・吹雪による視程障害条件下のドライバーの運転挙動に関する一考察．寒地技術論文・報告集，20，325-331，
2004．
北研二，津田和彦，獅々堀正幹：情報検索アルゴリズム，
ISBN-13:978-4320120365、2002.