北海道の雪氷No.39（2020）

Annual Report on Snow and Ice Studies in Hokkaido

オブジェクト検出による積雪粒子画像の自動判定－雪質判定モデルの作成－
Automatic determination technology for snow particle images using object detection method
白川 龍生 1，宮地 大樹 2, 石井 日菜 1
Tatsuo Shirakawa1, Taiki Miyazi1, 2, Hina Ishii 1
Corresponding author: shirakaw@mail.kitami-it.ac.jp (T. Shirakawa)
積雪断面観測における雪質の判定は，多くの場合，観測者の目視に基づくものであるため，結果に個人差が生じやすい．本稿は，積雪粒子画像の粒子検出に着目した雪質の自動判定手法について，新たな知見をまとめる．白川ら（2019）は，Microsoft Azure の Custom Vision を利用して雪質判定用のモデルを作成し，単独雪質の画像で高い判定精度を得た．一方，複数の雪質，特にこしまり雪，こしもざらめ雪を含む画像では判定精度に課題を残した．そこで今回は複数の雪質を含む画像に対応するため，Custom Vision のオブジェクト検出に着目し，新たな雪質判定モデルを構築した．
１．はじめに
積雪の雪質情報は，雪崩の発生予測や積雪変質モデルの検証など，様々な場面で利用されている．
このため冬期防災や雪氷研究の基礎となる雪質を正確に判定することが重要になる．
現場での雪質判定は目視が主流であるが，これは観測者の主観に基づく定性的評価のため，個人差が生じやすいという課題がある．また，雪質の判定には積雪の変態過程についての理解が求められるため，経験が少ない初心者にとっては難易度が高い．
そこで筆者らは，雪粒子画像を基に機械学習によって判定モデルを作成し，雪質をより客観的かつ容易に判定する手法を開発中である．白川ら（2019）は， Microsoft Azure が提供するクラウド型機械学習ツールの Custom Vision を利用して雪質判定モデルを作成した（図 1）．このモデルは単独の雪質の画像では高い判定精度を示した．
一方で，1 枚の画像に複数の雪質が存在する場合，特にこしまり雪やこしもざらめ雪を含む画像の判定精度には課題を残した．
そこで本研究は，画像内に複数の雪質を含む場合の判定精度を高めるため，2019 年より新たに加わった Custom Vision の新機能「オブジェクト検出モデル」を採用し（図 2），判定精度を検証し
12

図１ 本研究の全体像．

たので報告する．
２．雪質判定モデルの作成
本研究では，2017－2018 年冬期以降の 3 シーズンに撮影した雪粒子画像 888 枚を雪質判定モデルの教師データとして使用した（表 1a）．画像はコンパクトデジタルカメラ（OLYMPUS Tough
TG-5，顕微鏡モード使用）と雪粒子撮影装置を組み合わせて撮影した．
教師データの作成は，Microsoft が提供するタグ付け支援アプリケーション VoTT（図 3）を利用し，6 種類の雪質（新雪・こしまり雪・しまり雪・こしもざらめ雪・しもざらめ雪・ざらめ雪）についてタグ付けを行った．

北見工業大学株式会社日本線路技術（研究当時：北見工業大学学生）

Kitami Institute of Technology
Japan Railway Track Consultants Co.,Ltd.

－5－Copyright©2020 公益社団法人日本雪氷学会
The Japanese Society of Snow and Ice

北海道の雪氷

No.39（2020）

Annual Report on Snow and Ice Studies in Hokkaido

a.

42

1
3

b.

5

1
2
3
45
図２

先行研究と本研究との違い．
図４

表１ 学習に使用した画像枚数(a)およびタグごとの領域数(b)a.
シーズン

2017-2018 2018-2019

撮影場所

北⾒

北⾒剣淵

旭川

函館

北⾒

266

246

62

109

54

148

使⽤枚数(枚)2019-2020b.
新雪 こしまり雪 しまり雪 こしもざらめ雪 しもざらめ雪 ざらめ雪
725

図３769

1373

1511

361

346

タグ付け支援アプリケーション VoTT の使用例．図中の緑枠は新雪，赤枠はこしもざらめ雪を表している．

新雪とこしまり雪の混合雪質．
数値は検出確率を示す．

３．オブジェクト検出モデルによる混合雪質の判定
白川ら（2019）で課題となっていた混合雪質の判定について，Custom Vision のオブジェクト検出モデルを適用した事例を示す．
図 4 は複数の雪質が混合する層の検出事例で，モデルは新雪とこしまり雪の確率が高いと判断した．図中緑色の枠で示す領域は新雪，黄緑色の枠で示す領域はこしまり雪と判断したものである．数値は検出確率（上位 5 種）を示す．1 と 2の領域をみると，新雪の特徴である降雪の結晶形が見られる．しかしながら，3 以降は検出確率が低く，5 は新雪とは大きく形状が異なり，むしろざらめ化しているともいえる．
一方，図 5 も複数の雪質が混合する層の検出事例であるが，こちらはモデルがざらめ雪としもざらめ雪の確率が高いと判断した場合である．この事例の検出確率はしもざらめ雪 95.3%，ざらめ雪76%と比較的高い．変態が進み，粒径が比較的大きいざらめ雪やしもざらめ雪の場合，教師データと適合しやすい傾向がうかがえる．しかし複数の雪質の判定が重なる事例（図 6）もあることから，－6－

Copyright©2020 公益社団法人日本雪氷学会
The Japanese Society of Snow and Ice

北海道の雪氷

No.39（2020）

Annual Report on Snow and Ice Studies in Hokkaido

1212
図７
図５

ざらめ雪としもざらめ雪の混合雪質(1)．
数値は検出確率を示す．

132

本研究で構築したモデルの PR 曲線．

ここで再現率とは，実際に正しいもののうち正しいと予測された個数の割合であり，モデルの網羅性を表す指標である．一方，適合率とは正しいと予測された結果のうち実際に正しい個数の割合であり，モデルの予測の正確さを表す指標である．2 つの指標は下記(1)(2)式で表される．
再現率：

𝑅𝑒𝑐𝑎𝑙𝑙(1)

適合率：

𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛1(2)2
ここで，TP：True Positive（真陽性）FN：False Negative（真陰性）FP：False Positive（偽陽性）3
図６

ざらめ雪としもざらめ雪の混合雪質(2)．
数値は検出確率を示す．重複する領域がみられ，検出確率は低い.

教師データを準備する際は雪質の特徴が明確なものを選択的に抽出する必要があると思われる．
４．PR 曲線を使用した雪質の判定精度の評価
学習に使用した画像枚数及びタグごとの領域数を表 1b に示す．判定精度の検証には，教師データとは異なる画像を使用した．
Custom Vision では，判定モデルの生成後， モ
デ ル の 性 能 を 表 す 再 現 率 （ Recall ） と 適 合 率（Precision）の 2 つの指標が表示される．

ここで，横軸に再現率を，縦軸に適合率をとった図を PR（Precision-Recall）曲線という．雪質の判定に PR 曲線を適用すると，雪質ごとのモデル性能を評価することができる（図 7）．図中，曲線が右上に張り出す場合，モデルの性能が良いことを表す．
予測された確率値のうち，混合行列において陽性と判断する境界となる値を確率閾（しきい）値という．ここでは，確率閾値を 0％から 100％まで変化させ，雪質ごとの PR 曲線を算出した．
図 7 をみると，他の雪質と比べ，こしまり雪とこしもざらめ雪の再現率が低い．この傾向は図 4－7－

Copyright©2020 公益社団法人日本雪氷学会
The Japanese Society of Snow and Ice

北海道の雪氷

No.39（2020）

Annual Report on Snow and Ice Studies in Hokkaidoの事例でもみられた．この 2 種類の雪質は積雪の変態過程の途中にあり形状も多様であるため，変態が進んだ粒径の大きい雪質（典型的な形状がある程度決まっている）に比べ教師データの差別化をはかりにくく，他の雪質に比べ再現率が低い傾向があるのではないかと考えられる．
５．まとめ
本研究では，画像内に複数の雪質を含む場合の判定精度を高めるため，オブジェクト検出による積雪粒子画像の自動判定を実施した．
事例分析および PR 曲線によるモデル性能評価の結果，積雪の変態過程の途中にあるこしまり雪とこしもざらめ雪のモデル化には引き続き課題が見られた．一方，積雪の変態が進み，粒径が比較的大きいざらめ雪やしもざらめ雪の場合，教師データと適合しやすい傾向がみられた．しかし複数の雪質の判定が重なる事例もあるため，教師デー
タを準備する際は雪質の特徴が明確なものを選択的に抽出する必要があると思われる．
【謝辞】
本研究の一部は，JSPS 科研費 JP19K04647 の助成を受け実施しました．
【参考文献】
1) 例えば， Kaiming He, et al.（2015）：Delving
Deep into Rectifiers: Surpassing Human-Level
Performance on ImageNet Classification. Proc.
2015 IEEEInternational Conference on
ComputerVision(ICCV),1026-1034,
doi:10.1109/ICCV.2015.123
2) 白 川 龍 生 ， 齊 藤 晶 ， 高 橋 浩 司 ， 小 林 一 人（2019）：機械学習を用いた積雪粒子画像の自動判定法．北海道の雪氷，38，101-104．

－8－Copyright©2020 公益社団法人日本雪氷学会
The Japanese Society of Snow and Ice