防衛施設学会平成 30 年度年次研究発表会（2019 年 2 月）

IoT・映像鮮明化・AI 技術を活用した施設管理と防衛分野展開
FACILITY MANAGEMENT AND DEFENSE FIELD DEVELOPMENT UTILIZINGIOT, VIDEO CLARIFICATION, AI TECHNOLOGY横山雅俊*
YOKOYAMA Masatoshi* 工博 (株)ユニバーサルコンピュータ研究所（〒542-0086 大阪市中央区西心斎橋 1-9-16）
キーワード：IoT,AI,ディープラーニング, 映像鮮明化，防衛局面，施設維持管理, ウェアラブルシステム(IoT, AI, Deep Learning, Video clarification, Defense field, Infrastructure maintenance, Wearable system)

1．はじめに

図-2 に各技術の効果一例を図で示す。

施設管理に有効な技術として、IoT 技術、映像鮮明化技術、AI 技術をとりあげる。
IoT は Internet of Things の通り、すべての物がインターネットにつながる、という意味である。さまざまなセンサーや通信網で支えられた IoT で得られる巨大な情報群はビッグデータと呼ばれ、その有効な活用方法は重要な発展を遂げている。
映像鮮明化技術は、視覚的に識別困難な事象を具現化する技術である。
AI(Artificial Intelligence) すなわち人工知能は古くからある技術ではあるが、従来のルールベース主体の世代に対し昨今のコンピューティングパワーの増大も武器にこの数年機械学習をベースにした新しい世代に発展してきた 1) 2)。とりわけ、教師なし学習も可能とする深層学習（ディープラーニング）は現在の主流となっている 3) 4)。
これらは単独でも優れた手法ではあるが、IoT で得られたビッグデータ、その中でも映像情報を鮮明化によって有益な情報量を増加させ、ディープラーニングによりその大量の情報から、施設管理における欠陥の発見や予知保全計画策定に活用することは、増え続けるインフラを維持管理する点で大きな意義がある 5) 6) 。
2. IoT・映像鮮明化・AI 技術と施設管理
ここでは、施設管理を行う上で、IoT・映像鮮明化・AI 技術の相関（図-1）について論述する。

図-2 IoT,鮮明化,AI 技術の効果一例

図-1 IoT,鮮明化,AI 技術の相関(1) IoT 技術［入力］施設におけるあらゆる物の状態や映像情報［処理］各種センサーやカメラによる情報収集
データ収集に最適化された少量多数地点を結ぶ通信網による情報ネットワークでの情報伝送［出力］クラウド上に時系列的に集積されたビッグデー

タとしてのセンサーや映像データ(2) 映像鮮明化技術［入力］施設撮影データや定点カメラからの時系列映像情報［処理］映像輝度情報の改善により映像内の有益な情報量を増強
現場でのリアルタイム処理のためウェアラブル形態も利用［出力］有益な情報量が増加した映像情報(3) AI［入力］集積されたビッグデータとしてのセンサー時系
列情報
カメラの鮮明化映像情報［処理］人間による付加情報のついたビッグデータにより事前学習
ディープラーニングによる入力情報の分類
入力情報から傾向分析、異常事象の抽出
異常発見時の対策探索［出力］施設状態の把握情報
異常状態の検出異常発見時の対策提示位置センサー(GPS)：地球上の位置を測定
加速度センサー：移動速度の変化を測定
ジャイロセンサー：物体向きや変位を測定
イメージセンサー：映像情報を取得,、カメラを含む
熱画像センサー：対象物の温度分布を平面で測定
立体センサー(LiDAR)：レーザーによる形状把握
音センサー：音の波形（振幅や周波数）を測定
距離センサー：物体との距離を測定
振動センサー：物体の振動を測定
ガスセンサー：特殊気体の存在を測定においセンサー：においによる状況把握

3. IoT 技術

3.4 ビッグデータの活用技術

3.1 背景と技術発展

IoT で得られたデータはビッグデータに進化する。
ビッグデータの特徴として Volume、Variety、Velocityの 3V として表現されることがある。
・Volume（データの膨大さ）
データの量が膨大であること、例えば道路であれば一部ではなく道路全域の情報をも対象にするほどの規模のデータを扱う。
・Variety（データの多種多様性）
データの種類が多種多様であること、センサーの種類を増やし必要な情報はすべてデータとする。
例えば、発電機であれば、電圧・電流はもちろん、振動・音・熱画像・においなどもセンサーデータとすることにより、情報の解析が正確にできる。
・Velocity（データの更新頻度）
データの更新頻度が速いこと、対象地点のセンサーが解析システムと通信網で接続されておりリアルタイムで時系列データが解析できる。
ビッグデータ技術として単独のデータ分析も重要な要素ではあるが、本論文では、AI 技術への入力としてビッグデータを位置づける。

センサー技術を施設管理に利用することは、古くから行われていた。
ここ数年でセンサーデバイスの小型化、省電力化、低消費電力通信網の技術発展により IoT として急激に活用が進むことになった。
3.2 具体的手法
状態変化の起こりえるすべての場所でセンサーを組み込み、センサーを制御するセンサーノードによる低消費電力通信でクラウドサーバーにセンサー情報を収集し、ビッグデータを構築する。センサーデバイス・センサー
ノード・通信網の進化により、定点カメラによる映像情報も加えることができるようになった。
3.3 センサー種類(図－3)
温度センサー：屋外自然環境や室内の温度を測定
湿度センサー：屋外自然環境や室内の湿度を測定
圧力センサー：気圧や液体の圧力を測定
光センサー：光の存在や強弱を測定
電圧センサー：機器の電圧を測定
電流センサー：機器の電流を測定
地磁気センサー：絶対方位の測定

図－3 各種センサーとセンサーノードの例

4. 映像鮮明化技術
4.1 背景と技術発展
映像鮮明化装置は、霧や煙などの空中の視界不良、濁った水中の視界不良、暗闇や逆光による視界不良が改善できるほか、肉眼では視認しにくいわずかな物体の変化を可視化して確認を容易に行うことが可能である。
映像鮮明化装置は、従来からも据え置き型を中心に何機種かはあったが、本研究で活用する装置には、従来に無い新しい機能が備わっている。鮮明化装置に関する詳細は、2018 年度発表の筆者の論文 7)を参考にしてほしい。
4.2 具体的手法
本研究で扱う鮮明化装置には、(a)ハードベーシックタ
イプ(b)ソフトタブレットタイプ(c)ウェアラブルタイプ(d)サーバータイプの 4 種類があるが、ここでは現場で利用可能なウェアラブルタイプのみを論述する。
(1) ウェアラブルタイプ（図－4）
現場での利用を念頭に、利用者の視線カメラの映像を鮮明化し利用者のメガネ型ディスプレイに鮮明化映像を直接表示できる。
以下の特徴を持つ。
・ヘルメット等に固定した振動防止カメラで、視線の安定映像を入力する。
・鮮明化映像をメガネ型ディスプレイに表示する。
・ポータブル本体は小型で腰ベルトなどに固定できる。
・本体に鮮明化設定用操作ボタンと液晶表示がある。
・鮮明化の調整はプリセット押しボタンで迅速に切換えができる。

図－4 ウェアラブルタイプ(2) ウェアラブルタイプの構成図
図－5 のような構成となっており、現場での映像鮮明化と映像を無線伝送する大きく 2 つの機能からなる。
(3) ウェアラブルタイプの利用シーン
図－6 のように、現場作業員の鮮明化映像を離れた場所に居る監督者に無線伝送することができる。
視界の悪い現場の把握に有効な手段である。また、鉄塔の上などの過酷な環境での作業映像の無線伝送による現場把握にも有効である。

図－5 ウェアラブルタイプの構成図

図－6 ウェアラブルタイプの利用シーン
4.3 活用事例
施設維持管理の各局面において、どのように鮮明化技術が活用できるか、以下に論述する。
(1) 建設建物・トンネル・橋梁などの構造物の表面から見たひび割れなどの劣化判断に有効である。
屋外における太陽光による逆光で視認性が悪い状態においても、鮮明化技術ではっきりと確認することが可能になる。
(2) 道路道路表面のひび割れ・輪だち・陥没などの判断に有効である。
(3) 車両車両の外傷検査、塗装状態の検査、金属物の摩耗劣化の判断に有効である。
鉄道においては、線路の状態管理にも有効である。
(4) 水中構造物
水中の濁水における鮮明化により、水中構造物を点検する水中ロボット 8)のカメラ映像で鮮明化が有効である。
ダム点検などでの、水中取水口や水中機器の点検効率が向上できる。
(5) 潜水作業
ウェアラブルタイプの完全水中利用が可能になれば、潜水ダイバーが装着することにより、水中での視界改善

に有効となる。
(6) 金属製品
銃器や工具などの金属物表面の状態を把握するのに有効である。
また、金属物に刻印されたシリアルナンバーなどの認識において、視認性の向上に有効である
鮮明化事例を図－7 に示すが、レントゲン映像鮮明化は施設や装置に対しても有効である。

当時はルール（if～then～型）を木構造あるいはリスト構造で表現するため、Lisp と呼ばれるリスト処理言語が主流であった。この世代は、対象分野のルールを人間が解析して、プロダクションシステムと呼ばれる判断システムを構築する必要があり、人工知能といいながら事前の人間による大きな労力を要した。そのため、第 2 世代は大きな発展にいたらず、AI 技術が世間の注目を浴びることがなかった。
しかし、その後、コンピューティングパワーの目覚ましい発展に押され、大量のデータを処理することによる機械学習が現実的になってきた。
現在は、データを投入することで分類や認識につながる深層学習（ディープラーニング）が主流となっている。
5.2 具体的手法
第 2 世代では、画像も特定の形がある意味をなすというルールを持ってパターンマッチングで判断していた。
変形フィルタの適用により若干の形状の変化には対応できたものの、膨大なパターン認識には向かなかった。
古くからニューラルネットワークを実現したパーセプ
トロンという技術があった。
ニューラルネットワークは、人間の脳の思考過程をつかさどるニューロン（脳神経細胞）のつながりをコンピュータで再現したものである。
図－8 に示すように、入力情報(x)に重み(w)をつけて出力(y)を生成するが、入力の分類がデータ分布に対し線型であれば可能であるが入力分布が複雑になると対応できない問題があった。

図－8 パーセプトロンの仕組み
図－7 施設維持管理などにおける鮮明化事例
5. AI 技術
5.1 背景と技術発展
AI 技術は現在 3 世代目の発展であると言われている。
筆者は、1980 年代ちょうど第 2 世代目の時代に大阪大学の人工知能研究室において人工知能・分散処理ネットワーク・画像認識の研究室で研究を行っていた。
第 2 世代は、ルールベースの人工知能でエキスパートシステムが研究の中心的なテーマであった。

図－9 ニューラルネットワークの進化
そこで、複雑な分類に対応できるよう中間に隠れ層を追加することで機能を拡張した（図－9）。
ディープラーニングは、データの特徴をさらに多層のニューラルネットワークで解析することで、人間の思考に近い動作を自動的に行う。この隠れ層が多いことが深層学習（ディープラーニング）と呼ばれる理由である。
学習には 2 種類あり、教師あり学習は事前に与える情報に分類タグをつけその情報とタグの関係をラーニングさせるものである。
最近、注目されている技術が教師なし学習である。これは、分類タグのない情報を大量に投入することにより、コンピュータ自身が分類によってある特徴を見つけ出すものである。
これを人間に例えると、コンクリート表面の画像を大量に用意し、専門家に見せると画像の中から異常写真を発見することができることに近い。
コンクリートの専門家であれば、以下のような異常画像の分類が可能である 9)。
・熱膨張ひび割れ：コンクリート温度上昇での発生したひび割れ
・乾燥収縮ひび割れ：コンクリート乾燥で発生したひび
割れ・浮き：表面付近のコンクリートが内部コンクリートから浮いている状態
・剥離：一部が元のコンクリートからはがれ落ちている状態
・ジャンカ（豆板）：コンクリートの一部に粗骨材が結集した空隙の多い不良部分
・コールドジョイント：コンクリートの打ち重ね部分が一体化せず不連続面のある状態
・錆汁：コンクリート中の鋼材が腐食して茶色や褐色の腐食物が表面に滲み出した状態
・エフロレッセンス：コンクリート中の可溶性物質が水分とともに貫通したひび割れを通ってコンクリート表面に移動し、水分の逸散や空気中の炭酸ガスとの反応によって析出した状態
教師なし学習では、これらの分類を自動的に画像特徴の抽出から分類し、それぞれの画像に仕分けする能力の可能性がある。
5.3 施設管理における有効例
施設管理の局面で、AI が有効な例としてコンクリートのひび割れ判断の例をあげる（図－10）。
ここでは、AI の性能分類を 4 つのクラスで表現する。
(1) クラス 1 パターンマッチング
機能：サンプルと全く同じ画像のみ判断できる。
効果：サンプルと全く同じ形の傷のみ検出できる。
(2) クラス 2 拡張パターンマッチング
機能：サンプルと同種の画像のみ判断できる。
効果：サンプルの傷の回転や拡大縮小された傷も検出できる。

(3)クラス 3 教師あり学習
機能：与えられた多くのサンプルと分類方法を学習し同じ傾向の画像も判断できる。
効果：サンプルの傷の特徴を学習し、同種の傷も検出できる。
(4)クラス 4 教師なし学習
機能：与えられた多くのサンプルのみを学習するだけで、同じ傾向の画像も判断し分類できる。
効果：サンプルの傷の特徴を自分で見つけて学習し、傷を分類して自動検出できる。

図－10 AI のクラス分けの例
5.3 ディープラーニングの開発ツール
ディープラーニングの開発を行う上で何が必要であり、世間にはどのようなツールが存在するか代表例をあげて説明する。世の中には多くの選択肢があり、適用局面に応じて選択する必要もあり、以下が最適解ということではない。
(1) 高速演算装置 GPU(Graphic Processing Unit)
NVIDIA 社の製品で、並列に高速演算を行えるプロセッサである。本来はゲームなどの高精細度 3D 演算を毎秒 120 回行うなど、GPU の文字通りのグラフィック用デバイスである。
(2) ネイティブライブラリ CUDA (Compute UnifiedDevice Architecture)
AI 処理に必要な並列行列計算などを高速に行うGPU 専用のソフトウェアライブラリである。
(3) プログラム言語 Python
パソコン普及の原点にあった BASIC 言語と同じくインタープリタ言語である。
コンパイルといった手順を経ず、直接打ち込んだコマンドを実行できもともとは教育用に発展してきた。研究機関などで多用されたことから、データ分析用のライブラリが充実しており、AI の処理に適した言語として主流になった。
(4) ライブラリ/フレームワーク TensorFlow
Google 社がオープンソースとして提供している機械学習に適したフレームワークで、世界中の多くの研究者

が利用している有名なソフトウェアである 10)。
(5) ラッパー Keras
Google 社がオープンソースとして提供している利用者がより使いやすいインタフェースを提供するソフトウ
ェアで、TensorFlow をベースに動作する。

すでに述べた IoT 技術で収集されたビッグデータ、とりわけ映像情報は鮮明化技術でさらに有益な情報へ加工がされた情報として、ディープラーニングに入力されることとなる。

込むことで異常傾向を検知できる。ときどきニュースとなる水漏れによる崩落、天井落下事故防止に有効である。
(5) におい検知
油漏れ、ガス漏れ、油高温、金属焼け、プラスティッ
ク焼け、木材焼けなどの異常臭気を検出する。
現時点では、ローコストな万能センサーは存在しない（研究用の 1 千円近い大型の総合におい分析装置は国内外にいくつか存在する）が、人間の勘と経験によるにおいを応用した異常検知の自動化研究を進めていきたい。
(6) PM2.5 検知
機械回転軸の摩耗粉じんとして PM2.5 の発生を検知する。異常回転発生の予知保全に有効である。

6.1 IoT による施設管理

6.2 工事写真の再活用

IoT による施設管理手法について論述する。
以下の手法はすべてディープラーニングの対象となるものである。
いずれも、予兆を検知する保守システムとして構築が可能である。
(1) 映像鮮明化（図－11(a)(b)）
カメラ映像を鮮明化することによりわずかな外観の変形や異変を検知、温度ゆらぎやわずかな粉じんなど排気状況の鮮明化で異変を検知できる。
(2) 音声検知（図－11(c)）
機器の動作音を波形解析・オクターブバンド解析・ＦＦＴ解析などを行い異常振動を検知、可動部や回転部の振動・異音による異変が検知できる。
(3) 熱画像検知（図－11(d)）
小型の熱画像カメラを定点設置し、定常的に機器の熱分布を観測することにより異常発熱による異変が検知できる。
(4) 温度湿度検知
小型ローコストの温度湿度センサーを多数構造物に仕過去の工事写真を解析分類して、有効活用を行う手法
を論述する。ディープラーニングのみによる自動分類も可能ではあるが、何十万枚という膨大な写真には負荷が大きすぎる場合がある。
また、工事現場の写真には、環境条件により十分な鮮明度が得られていないものもある。
ここでは、そのように撮影されてしまった写真も含め、再活用の方法を示す。
(1) 不鮮明写真の要因
以下のような写真については、映像鮮明化によって補正を行うものとする。
a. 照明の影による暗部発生
b. 太陽光などの逆光による暗部発生
c. 照明自体が無いことによる暗部発生
d. 雨や霧によるかすみ状態の不鮮明発生
e. フラッシュを使用しても被写体全体に届く十分な光量がないことによる暗部発生(2) 画像の特徴データ
画像が膨大なため、元画像の色別ヒストグラム（輝度分布）
・スペクトル解析・テクスチャ解析・フラクタル解析の結果（図－12）を特徴データとする。
鮮明化の必要な画像には、最適な鮮明化パラメータも加える。

図－11 IoT 施設管理診断手法

図－12 画像の特徴データ

6. 施設管理への適用

(3) 教師つき学習によるデータベース構築
一定数のデータに対し、分類されるべき画像種類をタグとして与え教師つき学習を行う。
(4) 最適パラメータによる鮮明化と自動分類
学習済みデータベースを用いることにより、新たな画像に対しディープラーニングで出力された自動最適化パラメータによる最適鮮明化や自動分類が可能となる。
(5) 元画像と鮮明化画像の解析
図－13 で元画像を A 鮮明化画像を B としたとき、鮮明化抽出画像 C は鮮明化画像から元画像を減算した画像である。
鮮明化段階画像 D は鮮明化抽出画像を単色に変換し鮮明化の成果を示すインデックス画像とする。
上記 A,B,C,D の解析値をさらに特徴データに加え、最適鮮明化結果から最良の鮮明化画像を取得する。

図－13 鮮明化処理の評価に、Ｘ線、超音波、電磁波、赤外線、光ファイバー、３Ｄ計測、カメラなどがある。
ここでは定点カメラの映像を鮮明化して行う手法を論述する。もちろん、映像鮮明化以外の測定データも時系列で収集すれば、さらに高度なディープラーニングによる劣化判断システムを構築することも可能である。
ここで論述する手法により、多くの構造物から問題の多い建物・部位を自動的に判断できれば、本格的な詳細検査計画の策定に有効となるであろう。
(1) 必要機器
・定点カメラによる自動撮影システム
・映像鮮明化システム
・撮影環境の条件を測定するため IoT による気象状況計測システム
屋外の建物外壁の判定には、日照・気温・湿度・風速なども重要な判定条件要素である。
(2) 処理
撮影画像は映像鮮明化により外壁表面の強調を行う。
図－15 のように、劣化指数（この例では亀裂線の合計面積）を計算し、時系列データとする。
他の環境条件も利用し環境条件を一定化し、時系列データでディープラーニングを行う。
事前に劣化を発生する時系列データで、教師つき学習を行っておく。
新たな事象情報を与えることにより、強化学習を行うことが可能である。
強化学習とは、判定結果に対するスコア（評価点）を与えることにより、より重要な事象の検出ができるよう学習効果を高める手法である。

(6) 本処理の効果ある程度の人間の処理は必要であるが、一度教師つき学習を行ったデータベースを使うことにより新たな写真の鮮明化と自動分類が可能となり再活用が有効に行える。
6.3 時系列データによる劣化予測
ここでは時系列情報を用い経年変化状態の把握、現状の検知に加えて将来の予知保全への応用について述べる。
施設管理における構造物検査手法には、図－14 のよう

図－15 施設管理診断手法(3) 本処理の効果
現地には、小型の気象観測 IoT デバイス、定点カメラ、通信装置を設置するだけで、多地点の施設構造物の時系列管理を行うことができる。
特に屋外では、気象環境条件の変化が判断に大きく影響するが、IoT デバイスの情報により計測環境条件を一定化することにより、判定の精度を高めることができる。
なお、本技術は定点カメラをドローンによる撮影と鮮明化に置き換えても応用が可能である。

図－14 施設管理診断手法

(2) 船舶の探査 海上のもやによる視界不良時、レーダーによる船影を確認しても AIS（自動船舶識別装置）のここでは、海上防衛の局面における展開を論述する。
信号が無ければ、視認による確認が必要であるが、その図－16 中、◆で始まる枠部分が本論文での論点である。 ような場合に鮮明化が有効である。
(3) 海中潜水艦の探査 海中機雷の探査に準じる。ただし、低深度に限る。
(4) 海上視界改善 船舶に限らず、海上視界不良時は海上に存在する構造物や障害物を認識することが重要である。そのような場合に鮮明化が有効である。

7. 防衛分野展開

図－16 海上防衛の局面(平成 30 年版防衛白書
図表Ⅲ-1-2-6 島嶼防衛のイメージ図より引用 11))
図－17 に、鮮明化活用事例を示す。

8. おわりにIoT・映像鮮明化・AI 技術を活用した施設管理の手法について論述した。
特に AI 技術の活用は今後ますます重要性を増すものと考えられる。機械学習により今まで発見できなかったビッグデータ解析結果が、新たな展開を生むことになるであろう。
今後、さらに多くの事例を通じ、本論文で提案する手法が施設管理に有効に機能することを検証していきたい。
謝辞
本研究および論文執筆の機会を与えて下さった、大和探査技術株式会社の関係者に感謝いたします。
本論文で扱った映像鮮明化装置について貴重なご意見をいただいた、陸上自衛隊施設学校・陸上自衛隊水陸機動教育隊・陸上自衛隊富士学校・海上自衛隊佐世保総監部・海上自衛隊佐世保警備隊水中処分隊・防衛装備庁電子装備研究所・防衛装備庁陸上装備研究所・防衛装備庁
艦艇装備研究所、株式会社大林組の方々に感謝いたします。
参考文献
1) 田村進一,柳原圭雄,唐沢博:人工知能の世界,技術評論社,1985年9月
2) Avron Barr,Edward A.Feigenbaum,田中幸吉,淵一博:人工知能ハンドブック,共立出版,1983 年 4 月
3) 古明池正俊:人工知能大全,SB クリエイティブ,2018 年 10 月
4) 山下隆義:ディープラーニング,講談社,2018 年 11 月
5) 山本彰:ICT を利用した建設技術の高度化,大林組技術研究所報,No.78,20146) 畑貴大將:人工知能技術を用いた画像処理と意思決定支援,防衛装備庁技術シンポジウム,PS8,2017 年 11 月

図－17 海上防衛分野における鮮明化活用事例

7) 横山雅俊:防衛分野における映像鮮明化技術の活用,防衛施設学会平成 29 年度年次研究発表会,2018 年 2 月

いずれも、機械学習により対象物の位置検出やターゲット種類の自動識別を AI で対応することが可能である。
(1) 海中機雷の探査 鮮明化により、上空から低深度の海域における海中構造物を認識することができる。この機能を利用すれば、海中にある機雷・不審ダイバーなどの発見精度を向上させることができる。

8) 池本貴,中林良和,佐々木学:波浪中動揺特性を考慮した半没水型水面ロボットの開発,三井造船技報,No.181,2004 年 2 月
9) 岩瀬文夫:コンクリートの基本と仕組み,秀和システム,2015/6
10) 下田倫大:TensorFlow 活用ガイド,技術評論社,2018 年 1 月
11) 防衛白書,2018