AI 活用による監視映像を対象とした異常検知
Anomaly Detection When Monitoring Video Using AI

眞野文宏＊
Fumihiro Mano

渡邉 圭＊
Kei Watanabe

青木 勇＊＊
Isamu Aoki

山野真奈＊＊＊
Mana Yamano

廃棄物処理事業における省人化が課題となる中，これまで当社では自動制御の高度化による省力化に取り組んできたが，今回は現場点検の省力化を課題に非定常状態の早期発見につながる監視映像を用いた異常検知技術の開発を行った。AI による監視映像の異常検知技術は広く導入され始めているが，本開発のポイントは容易に導入できる汎用性の高さである。正常状態の映像データだけで異常検知できることや，異常検知モデルの構築における学習やパラメータ調整が容易であることを要件とし異常検知手法を検討，その有効性を確認した。
As labor saving in the waste treatment business increasingly becomes an issue, we have been developing ourlabor-saving practices by improving automatic control, and we have developed anomaly detection using
monitoring videos that leads to early detection of unsteady states for the purposes of labor saving in site patrol
inspection. Anomaly detection technology for monitoring videos using artiﬁcial intelligence has begun to be
widely introduced, with the point of this development being high versatility and ease of deployment. We
examined anomaly detection methods and conﬁrmed their eﬀectiveness, assuming that anomaly detection canbe performed only with video data in the normal state and that learning and parameter adjustment in theconstruction of anomaly detection model are easily performed.

Keywords :ＡＩ

Artiﬁcial intelligence監視映像

Monitoring video

異常検

知Anomaly detection

省人化

Labor saving

汎用性Versatility【セールスポイント】
・別の施設や設備に展開しやすい汎用性がある・異常データが取得できない場合でも異常検知できる・微小な位置ずれや明るさの変化に頑健である・検知コストが低く早く異常検知できる

まえがき

うにしたいニーズがある。これまで当社では制御高

労働人口の減少が近い将来顕在化することは明ら度化など操作の自動化に注力し省力化の効果をあげかであり，一般廃棄物処理事業のような公益事業にてきたが，別の視点では現場巡回点検の省力化といおいても，より少人数でも安定した運営を行えるよう課題がある。現場巡回点検の目的には非定常状態＊

技術開発センター プロセス技術開発部 基盤技術室 ＊＊環境プラント技術本部 装置技術部
伊藤忠テクノソリューションズ株式会社 西日本ソリューション推進部 ビジネスソリューション第３課＊＊＊

12 神鋼環境ソリューション技報 Vol. 17 No. 2（2021／3）

の早期発見があるが，これまでの省力化対策は計測センサーや ITV カメラの活用であった。しかし計測センサーによる異常検知が困難な箇所や設備の経年劣化により応急的に監視したい箇所に対しては，近年安価に購入できる Web カメラを新たに設置して，運転員による目視監視が有効である。また監視映像による異常検知は AI 技術の進歩に伴い広く活用され始めているが，異常状態を認識するモデル構築には大量の画像データによる学習やパラメータ調整に多くの時間やコストを要するため容易に活用することができないという課題があった。そこで本開発では，簡単な調整のみで汎用的に使用できる点を特徴とした異常検知システムの開発を進めてきたので紹介する。

1. 開発背景

これまで画像を用いた異常検知手法は様々な業界

図１

異常検知のフローできるで報告されている。その多くは異常な状態をラベル・微小な位置ずれや明るさの変化に頑健である付けして学習させることで検知したい異常のみを検・検知コストが低く早く異常検知できる知しようとするものである。特に近年はディープラ

2. 異常検知の手法

ーニングを用いた画像や動画の分類手法が多く提案

異常検知のフローを図１に示す。まず監視映像よされている。しかしこれらの手法は，正常データにり異常判定をする対象であるテストデータとテスト比べて異常データが極端に少ない場合などの分類にデータより前に撮影された学習データを用意する。

は適していない。また異常データが十分に存在する学習データは，異常標本を含まないか含んでいたと場合でも，別の対象の監視映像に対して適用するにしても圧倒的に少数であると仮定する。監視対象には，新たにデータを収集して正常と異常を分類し検は正常状態においても動物体が含まれていることも知モデルを構築する手順が必要であり，別の施設や多く，動物体の動きを考慮するためにテストデータ設備への展開が容易ではない。実際には，施設で発と学習データに対してフィルタ処理を行う。次に画生する異常は極めて稀であり異常データを収集する

像全体を局所領域に分割し，各局所領域の特徴量をにも時間を要してしまう。そこで正常な状態の映像抽出する。最後に各局所領域の特徴量が多変量正規データのみで適用できる異常検知手法を目指すこと分布に従っていると仮定し，テストデータと学習デとした。

ータから得られる特徴量のマハラノビス距離をそのまた監視カメラ映像は装置の振動による画角のず局所領域の異常値として算出し，異常値が閾値を超れや周囲の明るさといった微小な変化が発生する。

えた局所領域を異常として判定する。次項では要素

この課題に対しては局所領域の特徴量を用いる手法

技術である，フィルタ処理，局所領域の特徴量抽出を検討した。これは複数の画素からなる領域や前後およびマハラノビス距離による異常判定について記のフレームから抽出した特徴量を用いることによ載する。

り，微小な位置ずれや回転，明るさの変化に頑健に

2. 1

フィルタ処理なり，動画内の物体の動きからも異常を検知できる。

画像のフィルタ処理には時系列メディアンフィル

また検知時間の課題については，ディープラーニ

タを用いる。時系列メディアンフィルタは，動画内ングを用いる手法は大量のデータを使った学習によに存在する動物体を取り除くための手法で，図２にって特徴量を生成できるが，学習に大量のデータ，示すように，時系列方向に各画素の輝度値の中央値計算資源，計算時間が必要となり実用化のハードルをとって一定期間の画像から１枚の画像を作る処理となる。

である。t−k 時点から t 時点までの画像を用いて時これらの背景より次の要件をポイントにおき異常検知手法を検討した。

系列メディアンフィルタをかける場合，画素（x, y）のフィルタ処理後の輝度値 Î（x, y, t）は，入力画像・別の施設や設備に展開しやすい汎用性があるの輝度値｛ （x,Iy, t−k）
, ... , （x,Iy, t）｝を用いて，以・異常データが取得できていない場合でも異常検知下のように計算される。
神鋼環境ソリューション技報

Vol. 17 No. 2（2021／3） 13

図２

時系列メディアンフィルタ

図４

等間隔に設定した特徴量抽出

明の明るさの変化に頑健な特徴量を抽出できる。
2. 3

マハラノビス距離による異常判定

各局所領域の特徴量を用いて，マハラノビス距離による各局所領域の異常判定を行う。まず特徴量の各標本が独立に次の多変量正規分布に従っていると
図３

時系列メディアンフィルタの処理前後の画像仮定する。
－|Σ|Î（x, y, t）＝median（I（x, y, t−k）, ... , （x,Iy, t））

1
2

1
T －1
N（x |μ, Σ）≡｛－ （x－μ）Σ （x－μ）｝
M exp
2（2π）2
Ν：多変量正規分布

時系列方向に中央値をとることで，動画内の動物

μ：平均ベクトル体はフィルタ処理後の画像には残らず，背景のみがΣ：分散共分散行列残ることになる。スラグ磨砕機の映像に時系列メデM：次元数ィアンフィルタを適用した結果を図３に示す。この例では，時系列メディアンフィルタによって，上か次に N 個の学習データの各局所領域の特徴量

ら落ちているスラグが画像上から正しく除去されて｛ x , x , ... , x（N）｝の標本平均μ̂および標本分散共いる。k（時系列方向にどの程度の長さをとるか）は，

分散行列Σ̂ を最尤推定法により以下のように求め対象映像によって個別に検討する必要がある。動物る。

体を除去するには，各画素において，k 個のフレーム内の半分以上に動物体が写っていない状態でなければならない。動物体の動きが速い程，また量が少ない程，動物体がフレームに入る頻度が低くなるため，k は小さくてもよい。逆に動物体の動きが遅い（1） （2）Σx
̂ ＝ 1 （x －μ）
̂̂（x －μ）
ΣNΣ

̂＝μ1
N

N（n）

n＝1
N（n）

（n）

T

n＝1

程､ また量が多い程，動物体がフレームに入る頻度最後にテストデータの各局所領域 x́ の異常度 a（x́）

が高くなるため，k は大きくなくてはならない。

をマハラノビス距離を用いて次のように定義する。

2. 2

局所領域の特徴量抽出

時系列メディアンフィルタにより得られた画像全体から，密に局所領域をとり SIFT 抽出器

１）a（x́）＝（x́−μ̂）TΣ̂−1（x́−μ̂）

により各局所領域の特徴量を抽出する。局所領域は，図４

異常度 a（x́）が決められた閾値を超えた局所領域のように，画像全体から等間隔に設定する。SIFTを異常として判定する。

抽出器による特徴量抽出は，まず局所領域内で最も3. 異常検知手法の検証

勾配が大きい方向を基準に局所領域を回転し，回転ごみ焼却施設で実際に監視している映像を用いした局所領域を４×４の小領域に分割する。次に各て，異常検知手法が有効に機能するかをオフライン

小領域内で８方向（45度ごと）の勾配を計算し，16で検証した。

個の小領域の各特徴量を連結することで，128（４3. 1

異常検知パラメータ×４×８）次元ベクトルが得られる。最後に128次

本異常検知手法においては数点のパラメータを設

元ベクトルを単位ベクトルに正規化することで，定する必要がある。まず異常検知したい対象の映像SIFT 特徴量が得られる。このような手法を用いるデータ（テストデータ）にあわせて，学習データのことで，カメラと設備の微小な位置ずれや振動，照範囲を設定する。運用を考えると，メンテナンス時

14 神鋼環境ソリューション技報 Vol. 17 No. 2（2021／3）

図５

異常検知パラメータの設定例

図７

図６

不燃物貯留槽下スクリューの異常状態

スラグ磨砕機の異常検知状況にカメラ位置が動くことや監視窓のアクリル板に汚れが付着すること等が想定される。そのような場合，一度学習したモデルを更新せずに使い続けると，本来検知したい異常な状態とは違う部分で異常が検知される可能性がある。そのため学習モデルを常に更新することを想定し，異常検知したい対象の映像データにあわせて学習データの範囲を決める。なおテストデータ直前のデータは学習には使わない。これ

図８

不燃物貯留槽下スクリューの異常検知状況

は徐々に異常な状態に変化する状況に対応するためである。学習データの範囲とテストデータ直前の学する。図６はスラグ磨砕機入口部の上方から監視し習に使わないデータの範囲は，対象の監視映像によた映像より異常検知したもので，磨砕機の回転体上って個別に設定する。また時系列メディアンフィル部の一部にスラグが滞留している状況が検知できてタ単位や局所領域の領域サイズや間隔および異常判いる。

定の閾値についても個別に設定する。図５はスラグ

3. 2. 2

磨砕機の異常検知パラメータの設定例を示したものである。
検証結果

3. 2

不燃物貯留槽下スクリュー

不燃物貯留槽下スクリューは，ガラスや瀬戸物類の不燃物を下流の粉砕機に切り出す装置である。粉砕機への落ち口で異物を起点に不燃物が滞留し始めごみ焼却施設における３箇所の監視映像を対象にることがあり，この状態を異常と検知する。図７は同じ異常検知アルゴリムを用い，異常検知の有効性正常時と異常時の状態を比較した写真で，異常時はの検証を実施した。以下の異常検知状況を示す図で落ち口部に不燃物が滞留し始めている状況が分かは，異常判定された領域を赤色で示している。

る。

3. 2. 1

スラグ磨砕機

図８は，同様の不燃物の滞留状態を検知したもの

スラグ磨砕機は，上部から落下してくるスラグをである。滞留しておらず正常に流れている不燃物は磨砕する装置である。正常時は画像中心部の磨砕部異常として検出されず，スクリュー出口の落ち口部が見えているが，一時的な過剰供給が積み重なり磨に滞留し始めた不燃物のみが検出されている状況を砕機の一部が見えなくなる過負荷状態を異常と検知捉えている。
神鋼環境ソリューション技報

Vol. 17 No. 2（2021／3） 15

むすび

本稿において，あらかじめ異常データを特定することなく，同じ異常検知アルゴリズムを用いて数点のパラメータ設定を行うだけで汎用的に使用できる異常検知手法の有効性を確認できた。今後はオンラインで異常検知システムを導入し，異常検知までの時間検証を実証していく計画である。また他の監視対象や別の施設へ適用を拡げ，汎用性の高い異常検知システムであることを実証するとともに，非定常図９3.2.3

砂分離スクリーンの異常検知状況

砂分離スクリーン

砂分離スクリーンは，スクリーン上に磁選後の焼却残渣を流し鉄分に混入する粒状の不燃物を分離する装置である。スクリーンの隙間に針金等が引っかかることを起点に鉄類の滞留が発生することがある。時間経過に伴って自然に解消するが，一定時間以上滞留している状態を異常と検知する。図９は、変形した金属製の薄板が滞留している状況を捉えたものである。ある程度ボリュームのある物体は検知できるが，針金のような小さい物体は検知し難いことを確認している。

16 神鋼環境ソリューション技報 Vol. 17 No. 2（2021／3）

状態の早期発見のための現場巡回点検の省力化の効果を検証していく所存である。
［参考文献］
１）David G Lowe. Distinctive image features from scaleinvariant keypoints. International journal of computer vision,Vol.60, No.2, p91-110, 2004.