HP公開用

2022年5月31日（火）土砂災害分野における調査・設計に係るDX活用に関する講演会

防災モニタリングにおける画像情報の活用について
省人化、気象激甚化はまったなし
ご質問、感想をお待ちしています

株式会社ラグロフ設計工房

担当 小林・石澤E-MAIL l-kaihatsu@lagrof.jp
TEL 086-206-1170
FAX 086-206-1171

株式会社

ラグロフ設計工房
小林 範之

1

発表内容
1.

2.

3.

防災モニタリング• 防災• モニタリング• モニタリング技術
画像情報の活用• イメージセンサー• プラットフォーム• 使用される波長• 取得する情報
画像計測• 写真測量の基本原理• 写真測量と誤差、解くべき問題• 写真測量と標定• 単写真測量と立体写真測量• SfM/MVSの概要• SfM/MVSの応用分野

4.

SfM/MVSを応用したCCTV画像等の自動標定手法の開発• 革新的河川技術プロジェクト（第4弾）• 流速画像解析法• 自動標定の着想と原理

5.

自動標定プログラムの開発• SfMの処理フローと自動標定• 自動標定システムの操作手順• Hydro-STIVとの連携

6.

現地試験の実施状況

7.

SfM/MVSを応用した自動標定手法• SfM/MVSを応用した自動標定の特徴• 今後の開発方針と課題• 参考資料2１．防災モニタリング• 「防災」＋「モニタリング」• 定着した定義 → ？？

• ネット検索では• 〇〇防災モニタリング（システム）など• 自然災害から人為的災害まで、多岐にわたり使用例がある↓ 本日は• 防災に着目したモニタリング技術を紹介します3

（１）防災（本日の発表では）

• 防災→
①災

害：「自然災害」＋「人為的災害」

 自然災害：地震、津波、台風、大雨、洪水、土砂災害、高潮、豪雪、竜巻、火山の噴火
 人為的災害：航空機や船舶、鉄道等の事故、建物崩壊、テロ、戦争等② 防
災：災害予防（抑止）、災害応急対応、災害復旧、復興、危機管理なども含む場合がある↓• 本日は、
主として「自然災害」を対象と考えます4

（２）モニタリング

5

（３）モニタリング技術
状態監視、観測の技術• 河川巡視など、人が定期的に直接・間接に行うモニタリングもありますが・・・• 様々なセンサー技術や、ICT技術を活用した、状態監視・観測の高度化、省力化、自動化等が期待される

6

状態監視、観測の技術• センサー‒ 自然現象や人工物の機械的・電磁気的・熱的・音響的・化学的性質あるいはそれらで示される空間情報・時間情報を、何らかの科学的原理を応用して、信号に置き換える装置‒ 「センシング」は、センサを利用した計測・判別を行うこと‒ 接触式、非接触式

7

状態監視、観測の技術• センシングに利用される科学的原理‒ 電磁波（光、電波、放射線）
‒ 磁気
〇画像情報
‒熱
イメージセンサーによる一次元画像、二次元画像を利用する‒音
さらに、以下によっても分類される‒ 電気‒力・使用する波長・解析方法‒ 速度、加速度・時間変化‒ 化学反応・その他
‒ その他

8

２．画像情報の活用• イメージセンサー• プラットフォーム• 使用される波長• 取得する情報‒ 対象物の３D形状、大きさ‒ 性質や変位、変状の把握‒ 速度計測‒ その他

9

（１）イメージセンサー• リモートセンシング（衛星、航空など）‒ フィルムカメラ‒ オプティカル・メカニカル・スキャナ
Landsat MSS/TM（セマティック・マッパ−）など‒ CCDカメラ‒ 画像レーダー• CCTV、産業用カメラ、デジカメ等‒ CCDセンサ、CMOSセンサ

10

（２）プラットフォーム• リモートセンシング- 人工衛星- 航空機- ドローンなど• 地上写真による測量や観測- CCTV、防犯カメラ（可動式、固定式）- 車載カメラ- ドローン- 手持ち撮影

出典：「デジタル写真測量の基礎」、社団法人日本測量協会

11

（３）使用される波長• リモートセンシングでは、紫外線から熱赤外線の波長帯が主に用いられる• 地上写真測量では、通常は可視光が用いられるが、特殊な用途で可視光〜赤外が用いられる可視光（波長380nm〜780nm）より波長が長く、波長780nm〜1000μmの人の目に見えない電磁波を赤外線といい、そのうち波長780nm〜2.5μmは近赤外線（NIR）と呼ばれる。赤色の可視光線に近い性質を持つため、赤外線（暗視）カメラや赤外線通信、家電用リモコン、静脈認証（生体認証）などに利用されています。

出典：「衛星画像解析の基礎

手軽にできるリモートセンシング」、古今書院

12可視光と遠（熱）赤外の画像

動物の活動湧水の確認
13

（４）取得する情報（リモートセンシング）• リモートセンシングの応用分野• 土地被覆分類
土地利用、植生分布、森林資源、都市変遷等• 崩壊地調査• 地震活断層• 洪水調査• 水温分布• 沿岸流• 水質【画像によるリモートセンシング】広域の状況把握、時系列的な変遷等の把握に適する

14

（４）取得する情報（地上写真測量）• 地上写真の活用、応用分野【特徴】• 情報収取の手軽さ• リアルタイム性が高い• 比較的狭いエリア• 詳細な情報取得が可能【応用分野】• 地形、地物（建物や構造物）の３D形状測定• 文化財の計測• 建設工事の土工管理や出来形計測• 工業製品の計測、３Dモデリング• ゲームのキャラクターデザイン• 速度計測（PIV）• ロボットビジョン（ロボットの目）• 自動車の緊急ブレーキ制御（例：アイサイトなど）• その他にも様々な分野で活用されている

15

３．画像計測• 写真測量• 2か所以上から撮影した写真画像から物体の三次元形状を測定する手法（立体写真測量）• 従来はアナログ写真とアナログ図化機で図化• 現在はデジタル写真とデジタル図化機に進化• SfM/MVS（近年発展し、計測自動化に）• SfM(Structure From Motion)
コンピュータビジョンやロボットビジョンからきた概念で、画像に写った対象物の幾何学形状とカメラの動きを同時に復元する• MVS(Multi-view Stereo)多視点ステレオ
ステレオマッチングを3枚以上の画像も同時利用するように拡張した手法
16

（１）写真測量の基本原理• 【写真測量】中心投影である写真の平面座標を測定し、さらに被写体、レンズ、フィルムを結ぶ光の幾何学的条件を利用して被写体の空間位置、すなわち3次元座標を求めること。
• 【写真測量の基本原理】
右図のピンホールカメラにおいて、点Ｐ、針穴ｏ及び像ｐが同一直線上になければならない← 共線条件・・・・・唯一の基本的条件

17

（２）写真測量と誤差、解くべき問題
写真測量で3次元座標を求めるためには、以下の問題を解く必要がある① 座標測定の精度に起因する誤差問題② カメラの内部機構に起因する誤差問題③ 撮影時のカメラの位置と傾きを求める問題④ 写真に写っている被写体の3次元座標を求める問題①、②は撮影または測定機材に起因する誤差の問題で、計測用カメラの場合はメーカーから定数として与えられる場合もあるが、未知変量として間接的に解析する場合もある。
③、④は写真測量における解析計算の領域で、射影幾何学、座標変換、最小二乗法による誤差の調整などを含む。
18

（３）写真測量と標定（Orientation）−内部標定と外部標定−• 【内部標定】写真測量の基本となる共線条件式を成り立たせるために、焦点距離、主点位置、レンズ歪などカメラ内部の諸要素を定める• 内部標定要素• 焦点距離；c• 主点位置ずれ；xp,yp• レンズ歪；K1,K2,K3,P1,P2（主に放射方向と接線方向歪）• 【外部標定】写真を撮影したときのカメラの位置や傾きを再現する• 外部標定要素（単写真標定の場合）• 撮影時のカメラ位置；X0,Y0,Z0• カメラの傾き；ω,φ,κ
19

（４）単写真測量と立体写真測量• 単写真測量：写真が1枚の場合 → 共線条件式の他に、次のような特殊条件が加えられなければ、3次元座標は求められないi.
ii.

求めるべき3次元座標のうち、少なくとも1つが与えられる
求めるべき点が、幾何学的に定義される平面または曲面の上にある• 立体写真測量：2枚以上の異なる位置から撮影された写真の場合 → 複数の共線条件から被写体の3次元座標を求める• ビデオ画像から河川表面流速を測定する「STIV」は、単写真計測の応用である→ 水面を3次元空間上の平面として定義し、単位時間内の移動距離から速度を計測する
20

（５）SfM/MVSの概要• SfM(Structure From Motion) (移動撮影された)画像に写った対象物の幾何学的形状とカメラの動きを同時に復元する手法↓• もともとコンピュータビジョンやロボットビジョンからの概念• 3つ以上のカメラを使い、安定した3次元計測を行う「多眼ステレオ計測法（Multi-view Stereo,(MVS)）」に発展• 固定された複数カメラや、撮影位置が未知の複数カメラ画像からカメラ位置・姿勢、被写体形状の復元手法=SfM(Structure From Motion)へと発展→バンドル法はSfMの一手法
21SfM/MVSの活用事例• ドローンの普及により様々なSfMソフトが利用されるようになった（代表例）• 「Pix4Dmapper（ピクスフォーディー マッパー）」• 日本で開発されたドローン測量サービス「KUMIKI（くみき）」• 「Metashape（メタシェイプ）」• 「TerraMapper（テラマッパー）」

22

SfM/MVS解析事例

出典：「写真測量とリモートセンシング」VOL.55、No.4

23

SfM/MVS解析事例

砂防堰堤の３D計測事例
・現地で撮影したデジカメ画像をもとに３Dモデルを作成
・３Dモデル上で構造物の計測が可能
24

SfM/MVS解析事例

25

（６）SfM/MVSの応用分野（建設、防災系）• 地形等の３D計測• ドローン画像等から自動で図化• 崩壊地、崩壊土量計測• 工事の土工管理• 構造物の変状計測• 土運船等の土量計測（海上工事の管理）• 都市等のモデリング（デジタルツインの作成）（LPや地上３Dスキャナとの組み合わせも可能）• よう壁や護岸、壁面の熱映像をSfM/MVSで解析→隠れた変状や空洞個所の探査と計測
CCTVカメラ映像の自動標定への応用→（単写真測量への応用）
26

4. SfM/MVSを応用したCCTV画像等の自動標定手法の開発1. 地球温暖化等による気象災害の頻発
1. 想定外の規模の出水も発生
2. 安全面から観測できないケースが増加
3. 重要なピーク流量が観測できない事態の発生
2. 少子高齢化による観測の担い手不足
1. 観測業務の入札辞退や落札なし
2. 将来的に観測員不足、技術継承にも課題
3. 観測体制の継続性に課題
1. 観測自動化や省力化が必要
2. 新技術は既に研究開発が進み実用段階なのに、制度上の制約が普及を妨げているという指摘⇒官需：実績主義、規定等による硬直化など••↓• 革新的河川技術プロジェクト（第四弾）• オープンイノベーション型（異分野連携型）技術開発• 【流量観測機器】の募集：平成30年12月〜
27

（１）革新的河川技術プロジェクト（第4弾）

28

29

30

31

32

（２）流速画像解析法（代表事例）• PIV：動画像から流体の速度を計測する技術の応用（主として室内観測で発展した技術）• 洪水観測など、PIVのフィールド観測への応用
神戸大学の藤田名誉教授等が多くの研究実績あり• 洪水観測用には、STIVが多くの実績あり（藤田名誉教授考案）

34

35

36

37

38

（３）自動標定の着想と原理
・画像解析法（STIV等）による河川流量観測高度化• 主要河川に配備されたCCTVの観測への活用• 【課題】カメラ標定作業が煩雑
撮影画角内にバランスよく標定点を配点する必要性
遠隔地のモニター画面を見ながら現地と連携して配点する作業が煩雑
CCTVのカメラ画角や焦点距離が変更されると再標定が必要になる（カメラの遠隔操作機能が裏目に）• 標定作業の制約条件を減らす方法はないか？
• SfM/MVSを応用して撮影された画像を自動標定する（デジタルツイン上で自動標定する）方法を考案
39

バンドル法（コンピュータビジョン分野でも重要性が着目される）• コースやステレオモデルの概念を介さず、各写真の外部標定要素を直接調整する
セルフキャリブレーション付
きバンドル法・外部標定要素および標定点の地上座標に加え、内部標定要素も未知変数として同時解を得る方法
・非計測用カメラによる計測や宇宙写真測量で使われるバンドル法の概念図

この技術を応用して自動標定する

40

5.

自動標定プログラムの開発• CCTVの流量観測への活用を推進するための新たな標定手法を開発• 令和元年度補正ものづくり・商業・サービス生
産性向上促進補助金（独立行政法人中小企業基盤整備機構）により実施
• 指導

神戸大学

藤田一郎名誉教授

41

（１）ＳｆＭ(Structure From Motion)の処理フローと自動標定• カメラ標定の手順
タイポイントの自動取得

バンドル法によるカメラの位置、姿勢及びタイポイン
トの3次元座標の算出

自動標定の完了

多視点画像計測による点群生成

Hidro-STIV等の流速解析
ソフトへの標定情報の提供

自由表面形状モデリング

流速・流量解析

SfMの処理フロー42

ＳｆＭによる自動標定の適用条件と作業手順• SfMには3枚以上の画像が必要⇒

観測用カメラだけでは適用不可• 観測対象空間を異なる複数の場所から撮影する【標定用画像撮影】• 観測用カメラ画像と標定用画像を合わせてバンドル法で座標算出

対象区域の写真撮影【標定用画像】

バンドル法によるカメラの位置、姿勢及びタイポイントの3次元座標の算出【観測用カメラ画像】

自動標定によるパラメータ算出

流速・流量解析

43

地形計測用画像の撮影

標定点

標定点は3D計測領域内に4点以上配置
移動しながら地形計測用の動画撮影
44

（２）自動標定システムの操作手順
1. 標定用画像（動画・静止画）の登録
2. ＳｆＭによる３Ｄ点群作成
3. 観測動画の登録（CCTV、トレイルカメラ、４Ｋ動画等）
4. 観測用カメラの自動標定
 条件：４点以上の標定点または２点間の距離情報
 標定点は観測カメラの画像内になくても標定可能

45標定用画像データのアップロード

46

ＳｆＭによる点群作成（標定点登録）

47

ＳｆＭによる点群作成（点群作成）

48

ＳｆＭによる自動標定（観測動画の選択）

49

ＳｆＭによる自動標定（自動標定）

カメラ位置が決定される

50

（３）Hidro-STIVとの連携• 自動標定プログラムで求めた標定パラメータをHidro-STIVで読み込み可能なパラメータファイルとして出力可能

51

②カメラパラメータの直接入力
Hydro-STIVの操作手順上、標定点6点以上の入力が必要であるが、カメラパラメータの直接入力を行う場合には標定点は使用しない。ダミーで6点入力しておく。

①任意の場所にダミーの標定点を6点以上入力する③そのまま幾何補正タブへ移動する②標定点はダミーのため、座標の入力は不要
52

②カメラパラメータの直接入力
水位を入力し、幾何補正パラメータファイルの読み込みを行う。
①標定点を使用するときと同様に、水位を入力②幾何補正パラメータファイル読込タブを開く③ダウンロードしたカメラパラメータファイルを読み込む53

②カメラパラメータの直接入力読み込んだカメラパラメータを確認し、全てのパラメータを固定して幾何補正を実行する。標定点に関する警告メッセージが出るが、無視して良い。
①追加設定（カメラパラメータ）を開く③幾何補正の実行ボタンを押下②読み込んだパラメータが表示されていることを確認し、全ての「固定」チェックボックスにチェックを入れる。

④標定点がダミーなために警告メッセージが出るが、問題ないため、OK
54

画像法適用時の単写真標定法（従来法）

撮影画像内に6点以上の標定点（標識）を設置し測量していた⇒カメラアングルが少しでも変われば、やり直し（CCTVではありがち）55

SfM/MVSの技術を応用し、観測動画の標定を自動化。

カメラアングルが変わっても柔軟に対応できる。

56

６.現地試験の実施状況• 以下の2例について試験の事例を示す• 揖保川• 戸田公園漕艇場

57

揖保川水系

揖保川

兵庫県たつの市

58

揖保川現地試験

入力動画

SfM/MVSによる点群計測結果
59

観測カメラの撮影画像

自動標定で推定したカメラ位置

カメラパラメータ推定値60

戸田公園漕艇場

埼玉県戸田市61

地形計測用画像62

動画からSfMにより作成した点群

63

観測カメラの推定位置

観測用動画

幾何補正画像64

７. SfM/MVSを応用した自動標定手法【開発目標】• 流量観測への画像解析法適用のために

65

（１）自動標定プログラムの機能・特徴• 標定点使用の場合（測量座標系で管理する場合）
1. 観測対象（点群作成領域）に4点以上の標定点を設置
2. 標定点は観測カメラの画角内になくてもよい• 観測エリアの点群作成のために使用する
3. カメラパラメータはHydro-STIVに直接入力可能
4. 事前にカメラの内部標定を行う必要なし
5. 観測カメラの画角変更に柔軟に対応可能→CCTVカメラや防犯カメラなど、内部標定要素が未知の非計測用カメラによる観測（単写真計測）に対応↓• 既設カメラ（CCTV、防犯カメラ）の画像を用いて、大きさや形状を計測するための標定作業の簡素化 → 画像活用の可能性拡大が期待される

66

（２）課題と今後の方針• 画像品質（画角、鮮明度、他）が標定精度に影響する• 水面など特徴点の自動抽出が難しい被写体が卓越すると標定精度低下の原因となる【今後の開発】
安定した標定結果を得るための撮影方法の標準化
や機材選定
プログラムの速度やインターフェースの充実
土石流や斜面崩壊、雪崩等への適用試験
構造物の変状調査、点検等への適用

67

参考資料

流量観測高度化技術

流量観測の実施方法（高水）• 浮子観測：高水時のみ、日本のスタンダード• Σ（区分面積×区分流速×構成係数）• 流速計観測（海外で実施）•

従来技術

洪水時以外は国内でも実施（低水流量観測）• ADCPによる観測•••

断面内の流速分布を計測する方法で、最も正確な方法とみなされている
洪水観測時には、橋上での観測作業の安全確保等で課題あり
感潮域等の下流部では有用な手法• 電波流速計観測（洪水時・表面流速）••

橋梁等からの移動観測、固定設置、ドローン搭載等
スピードガンと測定原理は同じ（ドップラー）• 画像解析による観測（洪水時・表面流速）•••

河川表面を撮影した動画から流速を測定
STIV、LSPIV等の解析手法が用いられている（特徴）平面2次元の表面流速分布計測が可能• 数値解析による流量把握•多点に設置された水位計による水面計把握をもとに、数値解析により流量を求める取り組み

電波流速計可搬型電波流速計
による観測

最新式電波流速計の試験状況

水面に電波を照射し、反射して戻ってくる電波の周波数が、対象物の速度に応じてドップラー効果により変化する現象を利用して非接触で表面流速を計測する。
洪水の流体力やゴミなどの流下物の影響を受けないため、安全に洪水観測ができる。

71

非接触型流速計（３）画像処理方式（PIV流速計、オプティカルフロー）

図 画像処理方式流速計（PIV及びオプティカルフロー）による流量観測イメージ

図 画像処理方式流速計（PIV及びオプティカルフロー）による流量観測システム構成図72

画像による非接触流速観測（LSPIV)①

画像を幾何補正①映像は場所により縮尺が一定しない②幾何補正③縮尺が一定になるように画像変換

73画像による非接触流速観測（LSPIV)②流速・流向の解析• テンプレート内のパターンマッチ
ングによる解析

PIVの解析原理
・移動量をパターンマッチングにより検出し流速を求める
・前後の画像を比較し移動距離と時間から速度ベクトルを求める
74

観測事例（魚道機能の確認）

原画像

幾何補正画像（再生60倍速）
75

応用例(魚道）
0.5m/s100m76

応用例（聖牛周辺の流況解析）
原画像
流速解析画像77

応用例（聖牛周辺の流況解析）78

ADCPに関する技術動向

79ADCPに関する技術動向

ADCPを搭載した橋上操作艇（高速タイプ）

ADCP搭載のラジコンボート

80新技術の活用
画像解析により求めた橋梁上下流の流況
地上からビデオカメラにより撮影した画像から流速分布を求めて合成

100m

300m

81

新技術の活用
画像解析により求めた橋梁下流の流況
UAVにより上空からビデオカメラにより撮影し，画像解析で流速分布を求めて合成
写真上：STIV解析
写真下：LSPIV解析

82画像方式の新たな展開（夜間監視への取り組み）

赤外線ビデオカメラ（低価格化が進んでいる）

パッシブ型のセンサーであるカメラ映像による観測では、夜間の観測に問題があったが、近年では高性能の超高感度カメラや高解像度の熱映像カメラ（赤外線カメラ）が開発され、夜間観測の可能性が広がっている。
（パッシブ型センサー：レーダーのように自ら電波等を発射して対象物の形状や性質を計るタイプのセンサーをアクティブ型のセンサーという。これに対して自然光や対象物からの輻射等を利用するタイプのセンサーをパッシブ型センサーと呼ぶ。）
83

夜間撮影試験（熱映像）
カラー表示
モノクロ表示84

夜間撮影試験（高感度カメラ）
最新の高感度カメラ映像

フレーム蓄積なし

フレーム蓄積あり
従来型の高感度カメラ映像

85

省人化、気象激甚化はまったなし
ご質問、感想をお待ちしています

株式会社ラグロフ設計工房

担当 小林・石澤E-MAIL l-kaihatsu@lagrof.jp
TEL 086-206-1170
FAX 086-206-1171