茨城県工業技術センター研究報告 第 43 号

風力発電設備の外観検査に伴う画像処理技術に関する試験研究事業
平間毅*

平野聡*

石川卓*

堀井健蔵 **

１. はじめに茨城県における風力発電設備の導入量は総設備容量10万kW，総設置基数62基(2013年4月現在NEDO作成)と全国9位に位置している。太平洋に面した恵まれた風況のもと，日本初となる本格的洋上風力発電所が鹿行地域に建設され，更なる拡大が見込まれている。
一方，設備の拡大に伴い，メンテナンスにかかる手間や費用が増えることから，メンテナンスに要する時間の短縮が課題の一つとなっている。
メンテナンスの内容は，例えば，半年に一回の定期点検として，発電機や増速機などの油圧確認・補充，スリップリングブラシなどの消耗品の交換・清掃，ブレード，ボルトなどの，写真を用いた外観検査などである。
この中でも特に外観検査は，その後の修繕に関する方針を決定する上で重要な役割を果たす。しかし，撮影可能な時間帯が限られ，一基あたり40枚以上の撮影が必要なこと，また，撮影写真を一度社内に持ち帰り，その後に検査を行っていることから，撮影から結果の確認作業まで長い時間がかかるという課題がある。
このような背景のもと外観検査における作業の効率化が現場ニーズとなっており，当センターでは，特に画像の確認作業に要する時間を短縮することを目的に，画像取得後，その場で損傷の可能性が高い箇所をメンテナンス作業者に提示するシステム開発に取り組んでいる。
本年度は，画像処理・画像認識技術を用いて風力発電ブレードに生じた損傷を自動で検出するための手法について検討を行った。
２．目的
本研究では，画像に写った風力発電ブレードの損傷，特にクラックを自動検出するアルゴリズムの開発を目的とした。
特に，従来の 2 値化処理手法等では検出が難しいクラックに対して，クラックに反応する局所特徴量を抽出し，特徴空間において統計的にクラック・非クラックの判別を行う手法のクラック検出への有効性について検討を行った。
３．研究内容3.1 検出アルゴリズムの概要
本研究では図１の流れで風力発電ブレードの画像からクラックの検出を行った。
入力画像には，実際に風力発電事業者が定期メンテナンスの際に発見したクラックの画像（図２，図３，図４）を用いてアルゴリズムの検討を行った。
前処理は，次段の処理である特徴抽出及び識別処理に先立つ処理であり，特徴量を抜き出しやすく，または識別処理を行いやすくするための工程である。
*長山幸浩 ***

永見武司 **** 増田

画像の入力

前処理

特徴抽出

識別処理

検出したクラック箇所の出力
図１ クラック検出までの流れ

図２ クラック例１

図３ クラック例２

図４ クラック例３

技術基盤部門 **有限会社アストロン ***株式会社ウィンド・パワー・エンジニアリング
独立行政法人産業技術総合研究所知能システム研究部門スマートコミュニケーション研究グループ****

健 ****

茨城県工業技術センター研究報告 第 43 号

特徴抽出は，画像からクラックに特有の特徴量を算出する処理であり，抽出された特徴量をもとに特徴空間上でのクラック及び非クラック領域を統計的に求める作業が次段の識別処理工程において行われる。
3.2 前処理
前処理として，以下の処理を行った。
・セグメンテーション手法の一つである GrabCut 法を用いて画像中からブレードの領域を抽出・RGB 画像からグレースケール画像への変換・ノイズ除去のためのガウス平滑化
GrabCut 法は事前に明らかなブレード領域，明らかな背景領域，ブレードかもしれない領域，背景かもしれない領域をマスクとして指定する必要があり，本開発では Hough 変換により直線検出を行ったのち，ブレード部分が画像の中心にあることを仮定し，直線で区切られた領域のうち中心付近にある領域をブレードかもしれない領域，それ以外を背景かもしれない領域に割り当てた。
（図５）このように作成したマスクをもとに， GrabCut 法を 10 回繰り返し，ブレード領域が画像から抽出できていることを確認した。
（図６）

ス分布の分散を 3 としガウス平滑化を行った。
3.3 特徴抽出
クラック検出のための特徴量として，以下の 3 種類を算出した。
・ヘッセ行列の固有値
・Local Binary Pattern（LBP）
・Improved Local Binary Pattern（Improved LBP）
3.3.1 ヘッセ行列の固有値
ヘッセ行列は次の行列によって定義される。

 I xxI yxI I xyyyここで， I は輝度値，右下の添え字は各方向への微分を表す。ヘッセ行列の固有値を求めることは，ヘッセ行列の非対角成分がほぼ 0 になるように画像を回転させたうえで輝度値分布の曲率を評価していることに相当し，ヘッセ行列の固有値は座標回転に関する不変量となる。ヘッセ行列の固有値は 2 つ計算されるが，そのうち値の大きい方を特徴量とした。
3.3.2 Local Binary Pattern（LBP）
LBP はテクスチャ解析などで用いられるパターンベースの特徴量である。特徴量は注目画素の周囲の半径を R，近傍領域の画素数を P として以下のように算出される。
P

LBPP,R   s I p  I c 2p 0

実線矢印：ブレードかもしれない領域
点線矢印：背景かもしれない領域※元画像はブレード先端部の写真
図５ GrabCut 法のために作成したマスクp

1 ( x  1)sx   
0 ( x  1)
ここで，

I は近傍領域の輝度値，I は着目画素の輝pc度値を表す。P の最大値は R に依存し，例えば R=2 のとき近傍領域は 5×5 であり，P の値は 16 以下に制限される。
LBP は着目画素と近傍領域の輝度値の大小比較によってパターンが算出され，その種類は

図６ GrabCut 法によるブレード領域抽出の結果グレースケール変換は RGB の値から次の式により計算される。

Y  0.299  R  0.587  G  0.114  B
ここで，Y はグレースケール変換後の輝度値，R，G，B はそれぞれ RGB 画像における赤，緑，青成分の値を表す。
ガウス平滑化は注目画素の輝度値を周辺画素の輝度値との平均値をとった値で置き換える処理であり，平均の重みはガウス分布により決定される。今回はガウp2 となる。

また，算出されたパターンを回転し，値を最小となるように設定することで回転不変性を付与することができる。このようなパターンは特に rotated LBP と呼ばれ，本開発ではクラック検出のために通常の LBP ではなく，rotated LBP を特徴量として算出した。
なお本開発では P の値を 8（固定値）としたため，パターンの種類は図７の 36 パターン（特徴量の次元数）に限られる。
3.3.3 Improved Local Binary Pattern（Improved LBP）
LBP の改良手法であり，近傍領域の輝度値の平均を求め，その値と近傍領域の輝度値との大小比較を行うことで算出されるパターンが Improved LBP である。本
開発では，3.3.2 と同様に P の値を 8 に固定し，回転茨城県工業技術センター研究報告 第 43 号

あ白黒は参照点と着目画素との大小関係を表す
図７ rotated LBP（P=8）の全パターン不変性を付与した 36 パターンを特徴量として算出した。
3.3.4 各特徴量の組み合わせ
本研究では，各特徴量を単独で用いた場合に加えて，各特徴量を組み合わせた場合の検討も併せて行った。
検討を行ったパターンについては次の 13 通り。
・ヘッセ行列の最大固有値
・LBP（R=4）・LBP（R=8）・LBP（R=4）+ LBP（R=8）
・LBP（R=4）+ ヘッセ行列の最大固有値
・LBP（R=8）+ ヘッセ行列の最大固有値
・LBP（R=4）+ LBP（R=8）+ ヘッセ行列の最大固有値
・Improved LBP（R=4）
・Improved LBP（R=8）
・Improved LBP（R=4）+ Improved LBP（R=8）
・Improved LBP（R=4）+ ヘッセ行列の最大固有値
・Improved LBP（R=8）+ ヘッセ行列の最大固有値
・Improved LBP（R=4）+ Improved LBP（R=8）+ ヘッセ行列の最大固有値
3.4 識別処理
特徴空間におけるクラック・非クラックの識別を線形判別分析により行った。
線形判別分析は，クラスと属性ベクトルで対となるデータが与えられたときに，各クラスのばらつき（分散）が等しく，また各クラスはガウス（正規）分布に従うと仮定し，各クラスの境界を直線（もしくは平面，超平面）で求める手法である。
ここで，クラス数はクラックか非クラックかの 2 クラスとなり，属性ベクトルは 3.3 で求めた特徴量に相当する。
識別面の導出には図８の教師画像を用いた。教師画像のうち，赤または青でオーバーレイされた画素を識別器の学習に使用している。
線形判別分析の結果，特徴量は 1 次元の値に変換されるが，クラックか非クラックかを識別するための閾値を調整するため，閾値をパラメータとする ROC（Receiver Operating Characteristic）曲線（図９）を求めた。ROC 曲線の横軸はクラックの画素を誤って

上：実線矢印部分がクラック
左下：点線矢印部分が非クラック（エッジ）
右下：点線矢印部分が非クラック（汚れ）
図８ 教師画像非クラックだと判定した率（False Positive Rate，FPR），
縦軸はクラックの画素を正しくクラックだと判定した率（True Positive Rate，TPR）を表す。
今回は，特に FPR が 0.05%以下で TPR が最大となるような閾値を設定することとした。また，図９より，特徴量として Improved LBP（R=4），Improved LBP（R=8），
ヘッセ行列最大固有値を用いた場合に TPR が約 40％となり，他の特徴量を用いた場合に比べ最も TPR が高くなることが分かった。
Improved LBP（R=4），Improved LBP（R=8），ヘッセ行列最大固有値を特徴量とした場合に，クラックの写った画像を識別器に入力し，クラック検出した結果を図１０に示す。これより，検出したいクラックの画素を，完全ではないが検出できていることが分かる。

True Positive Rate

茨城県工業技術センター研究報告 第 43 号

図９ ROC 曲線
５．まとめ
本研究において，ヘッセ行列の最大固有値及びImproved LBP を特徴量とし，特徴空間で線形判別分析を行うことによりクラック検出を行うアルゴリズムを構築することができた。

左上：クラック例１の検出結果
右上：クラック例２の検出結果
下：クラック例３の検出結果
明部：クラックだと検出した画素
図１０ クラック検出結果
４．研究結果と考察（１）特徴量として特にヘッセ行列の最大固有値はクラック検出に有効であり，パターンベース特徴量と組み合わせることでより識別率を向上させることができた。
（２）本研究のクラック検出においては，通常の LBPよりもImproved LBP のほうが有効的なパターンベース特徴量であり，また，パラメータの一つである半径を適切に設定することでクラック検出率の向上が期待できる。

６．今後の課題
局所特徴量に伴うパラメータの調整や新たな特徴量の検討，識別器としてサポートベクターマシンや非線形識別器などの検討を行うことで，クラック検出の精度向上を図る。なお，現在，識別器の性能検証に使用する画像が不足していることから，来年度以降，いかにブレード損傷などの写った画像を収集していくかが課題となっている。
また，本年度に偏光を自由に変更可能な光学系の開発を行った。来年度に実証実験を行うことで，偏光を用いた光学系の有効性について検討を行っていく予定である。