一般財団法人 大成学術財団
2018 年度助成研究梗概書

画像データを用いた深層学習による天井の被害検出システムの開発
東京大学
東京大学
元東京大学

○川口健一*1
中楚洋介*1
ぷーじん

王

画像処理
CNN 法

深層学習
人工知能

損傷度 3
天井

研究の目的
大規模集客施設において、頭上高くに設置された天井

璞瑾*2
りーちぇん

元東京大学

王 力 晨 *3
水本旭洋 *4
松田裕貴 *5
幸田雄太 *6

大阪大学
奈良先端科学技術大学院大学
東京大学
ことである。
天井の被害度判定および評価部分の可視化等の非構造材の落下は必ず防止する必要がある。しかし、本研究の目的は天井の損傷度を適切に判定することで天井の劣化や安全性の点検は管理者の目視によって行わある。パラメータを最適化した深層学習モデルに対して、れている。本研究では、深層学習と画像処理の技術を組

新たな写真をインプットした時に得られた損傷度の判定

み合わせ、管理者の天井の点検、損傷発見をサポートす値と実際の状況を比較しモデルの妥当性を検証する。

るシステムの開発と社会実装を目標とする。

まず、モデルの妥当性の指標として「損傷度」を用いた。また、深層学習モデルがどの部分に注目して「損傷深層学習の導入と CNN 法度」を評価しているかを可視化するために、Saliency map

深層学習(deep learning)とは、多層のニューラルネットと Grad-CAM を用いた。図 2 に 3 つの例を示す。深層学ワーク(neural network)を構成して入力されたデータから有習モデルが示している値、「損傷度」は天井がどれだけ損用な情報を抽出する機械学習である。

傷(落下、破損または腐食等)を発生しているかを表した数

CNN 法(convolutional neural network)は特に画像処理データのために開発された深層学習の応用方法である。CNN法は複数の conv 層(画像の特徴的な部分を見つけ出す層)とpooling 層(よりデータを扱いやすくするために情報を圧縮値である。「損傷度」は 0 から 1 までの値で、1 に近いほど天井に損傷が蓄積していることを表している。
Saliency map や Grad-CAM は、深層学習モデルが出力した値に寄与している部分を示すものであり、本システムする層)を基本層として、他の機能を有する層と組み合わせて画像処理をする。

Saliency map

図 1 CNN 法のプロセス

Grad-CAM

深層学習モデルの作成と最適化
今回作成した深層学習モデルの層数は 17 層であり、34,842,993 個のパラメータが含まれている。さらに、深層学習モデルのデータフローに沿った逆伝播により、各天井写真の損傷度(0 あるいは 1 と定義した写真)を判定するために必要な 34,842,993 個のパラメータ調整を行なった。
全部のパラメータの最適化に約 10 時間を要した。本研究(a)損傷したグリッド天井(b)損傷した在来天井(c)無損傷の天井で用いている「最適化」とは、パラメータ値の調整によ

判定値:0.999

判定値:0.716

判定値:0.502って出力されたインプットデータ（天井の写真）の損傷度とそのインプットデータ(ティーチャーデータ)に対して我々が定義した損傷度（0 または 1）との差を最小化する

Development of Ceiling Damage Detection System using Image
Database by Deep Learning Approach

図 2 天井の写真と損傷度判定
出展:(a) https://tupolecam.pl/sufity-podwieszane/konstrukcja-stelaz/ (b)https://paslaugos.1t/vaidas-vv385/galerija/376749(c) http://festivalsalsacali.com/theoutrageous-real-drop-ceiling-ideas-for-basement-ideas/ideas-of-awesome-basementceiling-ideas-3-most-popular-basement-ceiling-that-awesome/

Ken’ichi Kawaguchi, Yosuke Nakaso, Wang Pujin,Wang Lichen, Teruhiro Mizumoto, Yuki Matsuda, Yuta Koda

図 3 Web 上での天井被害度判定
はこれらの map を活用し利用者とのインタラクションを発生させる。利用者がハイライト表示された部分をよく観察し、さらに近接した写真を撮って、再度深層学習モ

図 4 構築した Web サイトの利用の流れ半で開発した天井損傷プログラムをインターネット上のデルに判定させることで、利用者が判定過程に加わり、サイトで Web 上での公開を行うシステムを構築した。本

理解を深め、損傷個所を絞り込んでいくことができる。
Saliency map は無関係な散乱が少なく、使用者が最も重要な範囲を認識しやすい。一方で、Grad-CAM は Saliency
map よりも多くの部分にヒートマップが現れるため、出力値に影響を与えるより多くの情報を可視化できるようになっている。

サイトは、スマートホンのカメラを有効に使い、スマートホンで撮影した天井の画像をそのまま、損傷半手プログラムに送り、即座に Grad-CAM および Saliency mapの画像、さらに判定結果をその場で見ることができる。
まとめ深層学習モデルを用いた天井損傷度判定に、Grad-CAM

Web 上の公開を目指した取り組み

や Saliency map を用いることによって、利用者とインタラ

本深層学習モデルの社会的有用性を確認するため、クティブに判定精度を上げる天井損傷検知サポートシス

大規模集客施設の管理者がスマートフォン上で本システテムを構築した。利用者は本システムを利用することでムを利用できるように、サイトとプログラムを整備し Web
天井に対し、短時間でよりエキスパートに近い視点から上で公開できるように整備した。この模式図を図 3 に示す。 損傷の有無を確認できる。インターネットサイトからの本システムのフロントエンドでは、利用者が天井の画公開は想像以上に手間暇のかかる作業であり、最終的に像をアップロードし、その画像についての損傷度を得る。 は一般公開まで漕ぎつけていない。2020 年 3 月現在では、Saliency map と Grad-CAM を通して利用者と深層学習モデ
東京大学の施設部で、学内の施設管理の作業に利用してルがインタラクティブに天井の損傷部分または腐食部分みてもらうことになっている。2020 年 4 月以降に順次、を絞り込み、より正確に損傷度を判定することを目指す。 公開範囲を広げていく予定である。
バックエンドでは、深層学習モデルの管理者が利用者から新しく得た画像を分類、評価して、新たなティーチャーデータとして深層学習モデルの更新に利用する。
上記の操作を繰り返すことにより、深層学習モデルがより的確な判定を行うように進化することができる。

謝辞
本研究は大成学術財団の助成によって行われた。これにより人工知能(AI)としての深層学習を建築の非構造材の安全点検に適応するシステムを構築でき、さらに社会実装に挑戦することで、情報科学系の研究者と分野を超えWeb 上の公開を目指した取り組みた研究協力を行うことができ、大変貴重な機会となった。

本研究の後半では、情報系の研究者と共同で、研究前ここに深く感謝する次第である。

*1 東京大学生産技術研究所，*2 元東京大学大学院, *3
元東京大学生産技術研究所, *4 大阪大学情報科学研究科,*5 奈良先端科学技術大学院大学, *6 東京大学大学院*1 IIS, the University of Tokyo, *2 former Grad. Student
University of Tokyo, *3 former IIS, the University of Tokyo, *4Osaka University, *5 NAIST, Grad. School, University of Tokyo