公益財団法人大林財団

研究助成実施報告書
助成実施年度

2021 年度

研究課題（タイトル）

人工知能による無電柱化三次元空間情報の作成

研究者名※山本 義幸

所属組織※

愛知工業大学

研究種別

研究助成

研究分野

都市計画、都市景観

助成金額

150 万円工学部土木工学科

発表論文等※研究者名、所属組織は申請当時の名称となります。
（ ）は、報告書提出時所属先。

准教授

（研究報告-様式 2）

大林財団２０２１年度研究助成実施報告書

研究課題

所属機関名

愛知工業大学

申請者氏名

山本義幸

人工知能による無電柱化三次元空間情報の作成（概要）※最大 10 行まで
日本の戦後復興の過程で，送電のために電柱利用が一般化し，景観を悪化させた現状に対し，防災もあいまって無電柱化への期待が高まっている．無電柱化の具体的なイメージを住民に提示することは，関連工事への理解を促す有効手段だが，従来の技術では専門性が必要である．例えば，自動的に大量の三次元点群情報から電柱を特定し削除し，無電柱化された三次元空間情報を生成することは作業コストが高い．こうした技術的課題に対して，本研究は人工知能を利用して，画像から電柱を抽出し，その部分を周囲と違和感なく塗りつぶすことで無電柱化イメージ画像を作成し，それらを SfM（Structure from Motion）を利用して無電柱化の三次元空間情報を作成した．SfM 処理で，人工知能による無電柱化画像では位置的な整合性が完全には保たれない部分もあったが，元画像から得られたカメラ位置を利用することで部分的な三次元点群を生成することができた．これにより，無電柱化三次元空間情報作成のための新たな効果的な手法を提示できた．

１．研究の目的（注）必要なページ数をご使用ください。

日本の電力供給システムは，戦後の復興期に設立された．急速な都市開発を支えるためには，電力供給網を迅速に構築する必要があった．その結果，電柱と地上電線の使用が主流となり，これは日本の景観に大きな影響を与える要素となった．欧米諸国に比べて日本の無電柱化事業は遅れているという認識が広まっている．これは，電柱と地上電線が地震による倒壊の危険性を持ちつつも，無電柱化には多大な費用と時間が必要とされているためである．それゆえに，近年では無電柱化の推進が求められており，これには市民の理解と協力が不可欠となっている．
この背景から，本研究では人工知能を活用して無電柱化後の三次元空間情報を生成する新たなアプローチを開発し，これを無電柱化の推進支援に資することを目指す．具体的には，電柱と電線を抽出し，その箇所を消去した後の画像を修復するための人工知能アルゴリズムの特性分析を行う．さらに，Structure from Motion (SfM)を活用して，修復された画像から無電柱化後の三次元空間情報を生成する手法を開発する．
本手法の最終的な目標は，生成された無電柱化三次元空間情報を基に，無電柱化予測画像を作成することである．無電柱化予測画像は，無電柱化事業の理解と協力を得るための重要なツールとなることが予想される．しかし，その作成は対象地域の特性に大きく影響されるため，様々な環境での適切な方法を確立する必要がある．このため，本研究では，異なる地域の無電柱化三次元空間情報の生成特性を鑑みて，それに基づいた今後の課題について提案する．

２．研究の経過（注）必要なページ数をご使用ください。

２．１ 電柱化地域のデータ取得
・データは，アクションカメラを車に搭載し，走行しながら動画を撮影した．撮影した動画からフレーム（画像）を抽出した．よって，データは，シークエンスデータである．三次元空間情報を SfM で作成するためには，できるだけオーバーラップした多くの画像が必要なため，60fps で撮影した．
２．２ 人工知能による電柱・電線の抽出（１）セマンティックセグメンテーションに特化した深層学習モデルの U-Net１）や前処理・後処理などのプログラム利用環境を整備した．
・教師データ作成：モデルが電柱と電線を正確に認識するための教師データとして電柱・電線を正確にマーキングしたアノテーション画像を labelme２）を使って作成した．
・アノテーション画像の作成は，手作業で行うため，時間的コストが高い．そのため，データ拡張を行って，人工知能の学習で必要な教師データを増やした．拡張手法は，水平反転，回転，シアー，ジッターである．
（２）U-Net による電柱・電線の抽出におけるハイパーパラメータの最適化
・電柱と電線の抽出精度の向上において，使用画像中における背景・電柱・電線の各クラスの面積占有率がインバランスなため，それを考慮し，損失の計算において，各クラスの重みの最適値を検討した．
・学習曲線を鑑みて，過学習が発生しない学習回数を設定した．
２．３ 人工知能による無電柱化イメージ画像の作成
・電柱と電線の位置を抽出した後，それらを画像から除去した．その画像に対して，人工知能のGenerative Image Inpainting３，４）という手法を利用して，電柱や電線の存在する箇所を，周囲の風景と調和するように修復（塗りつぶし）した．これは，画像上で展開される現実の風景をそのままに，電柱や電線だけが存在しない「無電柱化イメージ」が作成されることを期待して採用した手法である．
・Generative Image Inpainting では，大規模画像データセットである Places2 での学習済みモデルを使用した．
２．４

SfM による無電柱化三次元空間情報の作成

・SfM を利用して，上記で作成した無電柱化イメージ画像から無電柱化三次元空間情報（点群）の効果的な生成方法を検討する．これにおいては，元の画像を使用した三次元空間情報も作成した．
参考文献
１）Ronneberger, O., Fischer, P., Brox, T. (2015). U-Net: Convolutional Networks for
Biomedical Image Segmentation. In: Navab, N., Hornegger, J., Wells, W., Frangi, A. (eds)
Medical Image Computing and Computer-Assisted Intervention – MICCAI 2015. MICCAI 2015.
Lecture Notes in Computer Science, vol 9351. Springer, Cham.
２）https://github.com/wkentaro/labelme３）Yu, Jiahui and Lin, Zhe and Yang, Jimei and Shen, Xiaohui and Lu, Xin and Huang, Thomas
S(2018) Generative Image Inpainting with Contextual Attention, arXiv preprint
arXiv:1801.07892

４）Yu, Jiahui and Lin, Zhe and Yang, Jimei and Shen, Xiaohui and Lu, Xin and Huang, ThomasS (2018)． Free-Form Image Inpainting with Gated Convolution, arXiv preprint
arXiv:1806.03589

３．研究の成果（注）必要なページ数をご使用ください。

３．１ 人工知能による電柱・電線の抽出
・今回は U-Net を使用したが，背景部分が多くなるため，損失関数の計算において，クラスごとで重みを変えることで，電柱・電線のセグメント範囲を広めに抽出しやすいモデルを作成するといったコントロールが可能なことが分かった．例えば，その重みは，背景・電柱・電線＝0.5 以下：1.0：1.0 で，電柱・電線の抽出を漏れなく行えることが分かった．しかしながら，この値は，今回のケースのように，ほとんどが背景で占められる場合において有効で，電柱・電線が多くを

図 1 元画像占める場合には，電柱・電線の重みを下げるか，あるいは背景の重みを高めにする必要があると推察される．
・電柱・電線の場所を特定して，そこを画像修復技術で自然に修復する手法をとることから，漏れなく当該箇所を推論する必要がある．そのコントロールにおいても，上記の重みの設定が関与することが分かった．例えば，背景の重みを大きくすると，電柱・電線の抽出もれが発生しやすくなる．そのため，それらを漏れなく推論するために，背景の重みは小さくしたが，一方で，過剰な抽出も増えてしまうことが

図２ 無電柱化画像分かった．
・背景が空の場所においては，電柱・電線の抽出精度は高かった．一方で，背景が建物等になると，抽出精度は低くなり，最終的な三次元空間情報の生成においては，その場所において特徴点の抽出が難しくなってしまった．これにおいては，教師データのバリエーション等を増やすといった解決策が考えられる．
３．２ 人工知能による電柱・電線箇所の修復
・画像修復した箇所（すなわち，もともと，電柱・電線であった箇所）

図３ 元画像による三次元空間情報に関しては，視覚的評価では，ある程度，周辺と調和した色調となった．
・人工知能の画像修復技術（Generative Image Inpainting）で電柱・電線があった箇所を，見た目の自然さによって埋めてしまうので，画像間の重複箇所においての特徴点に不整合が生じる．そのため，三次元化のベースとなるカメラ位置等の写真のアラインメントで，画像間の相対的な位置関係の決定に支障をきたす．これにおいては，使用した人工知能の特性のため，ある程度はやむを得ないが，できる

図４ 無電柱化三次元空間情報

だけ，電線・電柱箇所以外の場所で誤検出をなくし画像修復をせず，元画像のままで扱うことによって，その不具合を防げるものと考える．
３．３

SfM による無電柱化三次元空間情報の作成

・元画像から作成した三次元空間情報と比較して，無電柱化三次元空間情報は欠落している部分もあり，全体として網羅的な生成には至らなかったが，部分的な生成結果を確認した．
・無電柱化イメージ画像での処理において，そのままでは，画像修復箇所で特徴点が取得できず，空中三角測量が解けないケースが多くなったためかタイポイントが十分にとれず，結果として点群の発生に至らないケースがあった．これにおいて，元画像で得たアライメントを使用することで，タイポイントを増加させることが可能なことが明らかとなった．

４．今後の課題（注）必要なページ数をご使用ください。

４．１ 人工知能による電柱・電線の抽出・アノテーションとして，電柱（柱部分）と電線をセグメント化した．それにおいて，電柱のセグメントに，クロスアームや変圧器も含めていたが，それらの箇所の抽出が不十分な結果となった．これは，クロスアームや変圧器の配置が，それぞれの電柱において異なることから，特徴が得にくかったものと推察される．これに関しては，もともとのセグメントクラスとして，クロスアームと変圧器も設定しアノテーションを作成することで改善できるものと考えられ，今後の課題とする．
・画像セグメンテーションの精度向上とそのための教師データの作成は，時間と労力を要するプロセスである．特に本研究においては，U-Net を用いたディープラーニングによるセグメンテーション手法を適用したが，その評価は単純に画素単位での正解と推論結果の差に基づいている．
この方法では，一見すると精度が高いように見えるが，実際には画素単位という限定的な視点でしか結果を評価できない．具体的には，特定の範囲内での風景の類似性という観点からの評価は考慮されていない．よって，位置に関しての情報も扱う人工知能の Mask R-CNN などの物体検出＋インスタンスセグメンテーションの利用も検討する．しかしながら，手法によっては，精度の向上にあたって，計算量も多くかかり，教師データも大量に必要となるというトレードオフを吟味する必要がある．
・教師データのデータ拡張においては，現実世界との整合性を鑑みて鉛直方向の反転は行わなかったが，変圧器の位置にばらつきがあることを考えると，本手法が有効な可能性もあり，今後の課題とする．この視点は，特に多様な環境における電柱の抽出という課題において重要である．
電柱の形状や色，背景とのコントラスト等は，撮影場所や時間，天候等によって大きく変動する可能性がある．これにより，画素単位での評価だけでは捉えきれない誤差が生じる可能性があり，これが精度向上の障壁となる可能性がある．
・抽出レベル向上において，デプス画像の利用が考えられる．特に，デプス画像は，SfM で三次元空間情報を作成の際に，中間生成物として作成されるため利便性も高い．デプス画像から得られる距離情報も活用した電柱・電線の抽出レベルの向上について今後の課題とする．
・本研究で扱っているのは静止画ではなく動画であり，それには時空間性という重要な性質が存在する．動画データは，連続したフレームにより構成されており，それぞれのフレーム間で物体の位置や姿勢，光線状況等が滑らかに変化する．この性質を利用することで，単一の画像では捉えられない情報を得ることが可能となる．特に，連続したフレームにおける電柱の位置や姿勢の変化を利用すれば，より精度の高い電柱の抽出が可能となる可能性がある．したがって，今後の研究では，この時空間性を考慮に入れた新たな評価方法や学習手法の開発が求められると考えられる．
４．２ 人工知能による電柱・電線箇所の修復
・今回は，Places2 で学習したモデルを使用したが，類似した環境の無電柱エリアの画像を学習させることで，修復精度が高くなるものと考えられる．特定の環境ばかりの教師データで学習すると汎化性能は低下してしまうが，モデルの改善の検討と並行して，地域的な教師データを取り揃え，それにて学習したモデルを作成するのも一解決策と考える．
・これにおいても，元のソースが動画で画像として連続性を有している点を利用して，修復内容の連続性を考慮したモデルの開発も今後の課題として挙げられる．
４．３

SfM による無電柱化三次元空間情報の作成

・マシンスペックの都合，画像の大きさを 256x256 で無電柱化イメージ画像を作成したが，SfMでの特徴点探索において解像度が低すぎて十分な結果が得られないことが分かった．その対策として，入力画像の鮮明化等の処理はもちろん，元の画像の SfM での処理情報を活用するなどの方策も考えられ，その手法の検討について今後の課題とした．
・SfM は，そのメカニズムとして特徴点の探索が行われる．すなわち，深層学習の基本的メカニズムを有しており，よって，電柱・電線の抽出から無電柱化三次元空間情報の作成に至るプロセスを融合させたモデルの開発が期待され，今後の課題とした．
これらの課題に対する一つの解決策として，特定の地域に限定したモデルの開発を考えることができる．地域を限定することで，個々の地域特性に適した特徴点の選択やパラメータ設定が可能となり，SfM による三次元空間情報の精度を向上させることが期待できる．ただし，これらの地域特定モデルの開発には，大量の地域固有のデータが必要となる．これらのデータを効率的に収集し，分析するための手法も同時に検討する必要がある．