2020年12月15日
JST 新技術説明会（オンライン）

深層学習を用いた建築設備図面認識システムの開発

edit Master title style鎌田 真
県立広島大学 地域基盤研究機構
高度人工知能プロジェクト研究センター
特命講師

内容
独自に開発した構造適応型深層学習装置を用いた建築設備図面認識システムの開発
論文
発表済み

構造適応型深層学習装置：
データの特徴に応じて適切と考えられるネットワーク構造を学習しながら自動で求める手法

特許
出願済

最適な検出パラメタを自動調整しながら画像中の物体を発見する物体検出装置を開発した
深構
層造
学適
習応型

...

...

...

...

入力画像

シンボルの検出2

深層学習 (Deep Learning)• 構造：階層型ニューラルネットワーク• 特徴：入力データを段階的に学習し(事前学習)，学習した特徴を階層的に組み合わせることで，入力データに含まれる多様な特徴(抽象的な特徴から具体的な特徴)を表現できる．
学習した全体の特徴を微調整(fine tuning)

各層における特徴抽出(事前学習)
画像データセット

車:

...

部品

犬: 10%...

エッジ...

...

画素

...

...

入力画像

物体

1%

猫: 89%
入力画像の種類を分類・予測（識別）

下位層

上位層

抽象的な特徴を表現

具体的かつ詳細な特徴を表現
3

深層学習の問題• 入力データに対する適切なネットワーク構造・パラメタの設定が困難．
何個の層・ニューロン数があれば良いか？
試行錯誤的に探すのにも時間がかかる• コンテスト等で優勝した学習済みモデルを他のデータへ応用する転移学習があるが，精度に限界がある．
− 学習済みモデルで取り扱ったデータに対して，転用先のデータの特徴に大きな違いがある場合は使えない
データの特徴に応じて適切と考えられるネットワーク構造を，学習しながら自動で求める構造適応型学習法を提案した．
Deep Belief Network (DBN)と呼ばれる統計的な深層学習モデルを用いて開発した．

4

構造適応型深層学習の概要
入力データに応じて，ニューロンの数，層の数が自動で最適化される．
3) 3・4層間のRBMを事前学習
2) 2・3層間のRBMを事前学習
1) 1・2層間のRBMを事前学習

4) 出力層を加えて教師あり学習(DBN)
出力ニューロン消滅

ニューロン生成ニューロン生成

入力

最適化された構造

S.Kamada, T.Ichimura, A.Hara, and K.J. Mackin, “Adaptive Structure Learning Method of Deep Belief Network using Neuron Generation-Annihilation and Layer Generation”, Neural Computing and Applications (2018)5

画像ビッグデータを用いた分類精度比較
複数の画像ベンチマークデータに対して高い分類精度を示した．
MNIST http://yann.lecun.com/exdb/mnist/

CIFAR-10 & CIFAR-100

•
•

•
•

手書き文字画像
データ数7万個
−−••
•
•

−−

訓練用：6万個
テスト用：1万個

0~9の手書き文字分類

ILSVRC

カラー画像 (犬，猫等)
データ数6万個•

http://www.image-net.org/challenges/LSVRC/http://www.cs.toronto.edu/~kriz/cifar.html

訓練用: 5万個
テスト用: 1万個

犬，猫等の画像を分類−−

CIFAR-10: 10種類
CIFAR-100: 100種類

2010年から始まった大規模画像認識の世界大会．
学習画像：100,000枚以上，テスト画像：10,000以上. 1,000個のカテゴリに分類．
2012年以降，深層学習の手法が他の手法に比べて圧倒的な性能を示している．

従来の深層学習
提案手法

MNIST

CIFAR-10

CIFAR-100

ILSVRC2012

99.4%

88.4%

70.1%

96.9%

99.8%

97.1%

85.8%

97.1%

テストデータに対する分類精度
6

建築設備図面認識システムの開発

edit Master title style建築設備図面
図面画像のサンプルシステムのイメージ• 属性情報が付与されたCADではなく，単なる画像．
• 通常，人が目で見て記号(シンボル)を認識し，記号の拾い出しを行い，施工図の作成や仕様書等を作成している．
図面中の記号(シンボル)を自動で検出
深構
層造学適習応型

計算された記号の可能性
0%
1%
97%
1%

...

...

...

...

入力画像

検出後

1%

8

深層学習による一般的な物体検出法
R-CNN (two stage)
Dog: 79.1%
Cat: 10.4%
Bike: 8.5%
学習後のCNNネットワーク
入力画像

候補領域の抽出YOLO (one stage)

出力確率が一定の閾値以上であれば，検出したとみなす

各グリッドに対してクラス確率を計算

最終判定

画像をN x Nのグリッドに分割

各グリッドに対してB-Boxを微調整
9

構造適応型DBNによる物体検出
フィルターを用いるCNNとは異なるため独自の検出アルゴリズムが必要であった①②③④

入力画像を複数のN個の領域に分割する．
各領域の画像を構造適応型DBNに与え，出力層(ソフトマック)におけるクラス確率を求める．ここで，クラス確率が一定の閾値𝑇1 (0 < 𝑇1 < 1)より高いものを，物体の候補領域とする．
各候補領域の周囲領域と同時に検出を行うため，縦横の長さを拡張した画像を複数抽出する．
抽出した各画像を学習済みネットワークに与える．クラス確率が一定の閾値𝑇2 (0 < 𝑇1 < 𝑇2 < 1)より高い場合，その画像を検出したとする．
＊𝑇1 と𝑇2 は事前に設定するパラメタ

胸部X-Ray写真への適用①

𝑇1 =0.5, 𝑇2 =0.7の場合

②0.3
0.6
0.1

領域画像
学習済みネットワーク

入力画像

③

𝑇1 < 0.6のため，抽出した画像を候補領域とする．

④

領域画像
(候補)
複数のサイズの画像を生成

クラス確率が最も高いものを選択し，𝑇2 より0.1 数値が高い場合，検出0.9したとする．
0.1

10

建築設備図面記号への適用• 建築設備図面の画像300枚に含まれる記号を，提案手法を用いて検出した．
− 検出対象の記号：電灯，コンセント，非常灯・誘導灯等

検出精度
パラメタ設定𝑇1 = 0.40, 𝑇2 = 0.70

検出精度85.4%

𝑇1 = 0.50, 𝑇2 = 0.70
𝑇1 = 0.50, 𝑇2 = 0.90
𝑇1 = 0.65, 𝑇2 = 0.80

90.1%
94.8%
98.5%

検出アルゴリズムで使われているパラメタの設定（𝑇1 , 𝑇2 ）によっては，検出精度が低下した．
11

検出結果の事例（最良の結果の場合）青枠で囲まれた記号が検出対象検出できた事例
検出できなかった事例

他の線や記号等と重複している箇所を除き，検出できた

ケース1

ケース2

ケース3

ケース412

従来技術の問題点• 検出アルゴリズムで使われているパラメタの設定（𝑇1 , 𝑇2 ）によっては，一部の部品に対して検出精度が下がった．
𝑇1 : 検出候補の抽出閾値，𝑇2 : 最終的な検出閾値
原因・データによって部品のサイズや特徴が異なる
・部品の出現頻度は図面によって異なる
・出現頻度が少ない希少な部品は，𝑇1 , 𝑇2 を小さくすることで検出できるが，全体の検出精度が下がる(他の部品の過検出)．

• 最適な検出パラメタ（𝑇1 , 𝑇2 ）を与えるために，全ての部品共通のパラメタではなく，部品ごとにパラメタを設けた．
• それぞれの部品の図面記号の出現頻度や希少度(特定の図面にのみ生じる記号) に応じて自動調整する方法を提案した．
出現頻度や希少度が小さい部品に対しては，𝑇1 と𝑇2 の値を少し小さな値にすることで，検出領域を広げ，検出しやすくする．

13

新技術の概要：パラメタの自動調整• 部品の出現頻度
𝑛𝑖
𝑥𝑖 =σ𝑘 𝑛𝑘• 部品の希少度|𝐷|𝑦𝑖 = log| 𝑑: 𝑑 ∈ 𝑡𝑖 |𝑥𝑖 : 全図面の部品𝑖の出現頻度
𝑛𝑖 : 図面中の部品𝑖の数
部品の出現頻度が高ければ高い値となる

𝑦𝑖 : 全図面において部品𝑖が出現する図面の頻度の逆数に対数をとった値|𝐷|: 全図面数| 𝑑: 𝑑 ∈ 𝑡𝑖 |: 部品𝑡𝑖 を含む図面数

特定の図面にしか出現しない部品は高い値となる• 各部品に対する検出パラメタ値の計算
𝑧𝑖 = 𝑥𝑖 × 𝑦𝑖
𝑇1,𝑖 = 𝑇1 × α1 × 𝑧𝑖
𝑇2,𝑖 = 𝑇2 × α2 × 𝑧𝑖

𝑇1 , 𝑇2 : 元の検出パラメタ値
α1 , α2 : 𝑧𝑖 に対する係数14パラメタ自動調整検出アルゴリズムと結果①②③④⑤

事前に，部品ごとの𝑇1,𝑖 , 𝑇2,𝑖 を求めておく．
入力画像を複数のN個の領域に分割する．
各領域の画像を構造適応型DBNに与え，出力層(ソフトマック)におけるクラス𝑖の確率を計算する．ここで，クラス𝑖の確率が一定の閾値𝑇1,𝑖 (0 < 𝑇1𝑖 < 1)より高いものを，物体の候補領域とする．
各候補領域の周囲領域と同時に検出を行うため，縦横の長さを拡張した画像を複数抽出する．
抽出した各画像を学習済みネットワークに与える ．クラス𝑖 の確率が一定の閾値𝑇2,𝑖 (0 <𝑇1,𝑖 < 𝑇2,𝑖 < 1)より高い場合，その画像を検出したとする．
𝑇1,𝑖 = {0.6 0.3, 0.6}の場合②③0.3
0.60.1

領域画像
学習済みネットワーク

入力画像

④
領域画像
(候補)

⑤0.1
0.90.1
複数サイズの候補を生成

手法

検出精度

従来 (𝑇1 = 0.40, 𝑇2 = 0.70)

85.4%

従来(𝑇1 = 0.65, 𝑇2 = 0.80)

98.5%

提案手法 (初期𝑇1 = 0.50, 𝑇2 = 0.70)

98.5%

提案手法 (初期𝑇1 = 0.40, 𝑇2 = 0.70)

98.5%

パラメタを手動で定めた場合 ，値によっては検出精度が悪くなる場合 があったが，提案手法ではパラメタの値が自動で調整され，いずれの場合でも最良の検出精度が得られた．
従来における試行錯誤的なパラメタ調整を容易にした．

𝑇2,𝑖 = {0.9, 0.6, 0.9}の場合
15想定される用途～ドローンを用いたコンクリートひび割れ検出システム～• コンクリートの表面状態をドローンで撮影し，ひび割れをリアルタイムで検出．ドローンには，本手法が動作する小型組み込み機器を搭載．
• 検出結果をその場でタブレットに表示．人間によるデータ収集の洩れを防ぎ，点検作業の効率化を実現．
• システム開発後，県内の砂防ダム，橋梁等で実証実験を行う予定．
赤枠：正解，青枠：システムの予測結果

橋梁

砂防ダム

港湾施設

データ連携・利活用による地域課題解決のための実証型研究開発（第 2 回），構造適応型深層学
習によるコンクリート構造物のひび割れ検出とドローンを活用した リアルタイム検出・可視化シ
ステムの開発，本学と三井共同建設コンサルタント株式会社との共同提案，2019~2021/3/31

https://www.pu-hiroshima.ac.jp/site/press-release/press191002.html

16実用化に向けた課題• 適用するデータに対する深層学習装置の構築のためには，分類性能と物体検出の精度の双方を向上する必要があり，適切なデータが必要（量も含む）．
• 教師データの収集（ラベル付け）− 分類システム：画像に対するクラス− 物体検出システム：画像中における物体の矩形領域− データに関する専門的知識が必要（単純に収集した大容量のデータは利用できない）

17

企業への期待• 自社の解決すべき課題の明確化とそれに伴ったデータの提供．
• 深層学習装置の精度向上には，データに関する専門的見地の提供とシステムの予測結果に対する評価が必要．
− AIと人間による判定の違いを追及し，互いに新しい知見が発見できる研究チームが必要．

• 画像だけでなく，数値データ（時系列データを含む）や自然言語処理データなども含めた多次元のデータ分析の可能性にチャレンジしている．

18

本技術に関する知的財産権

発明の名称

検出パラメタ生成装置、検出パラメタ生成方法、検出パラメタ生成プログラム、オブジェクト検出装置、オブジェクト検出方法、およびオブジェクト検出プログラム

出願番号
出願人
発明者

特願２０１９－１４３９６４
公立大学法人県立広島大学，株式会社中電工
市村匠，鎌田真，多羅尾直，山口亮

19

まとめ
• 構造適応型深層学習は，入力データの特徴に適切なネットワークの構造を，学習しながら自動で求める手法で，非常に高い精度を持つ．
• 提案手法を建築設備図面に適用し，記号(シンボル)を自動で検出する深層学習装置を開発した．
• 従来では，検出パラメタの設定によっては検出精度が下がるケースが見られたが，部品の出現頻度や希少度に応じて検出パラメタを自動調整することで，試行錯誤的なパラメタ調整を容易にした．

20

ご清聴ありがとうございました
edit Master title style

お問い合わせ先
県立広島大学 地域基盤研究機構 地域連携センター
機構長 市村 匠
准教授 安藤 由典
TELFAXe-mail

０８２－２５１－ ９５３４
０８２－２５１－ ９４０５
renkei＠pu-hiroshima.ac.jp