遠隔型タワーのための映像システムと支援機能の開発

令和３年６月９日（水）国立研究開発法人 海上・港湾・航空技術研究所
電子航法研究所
井上 諭，角張 泰之，米本 成人，古賀 禎（監視通信領域），ブラウン マーク（航空交通管理領域）
Copyrights © 2014-2018 Electronic Navigation Research Institute, All Rights Reserved.

目次• 研究背景・目的• リモート・デジタルタワーのシステム概要• 評価用映像システムについて（基本性能、パノラマ映像生成のための仕組み）• 支援機能（動体検知機能と評価）• 映像への監視センサ情報の活用（ラベリングと自動追尾）• まとめ

Copyrights © ENRI, All Rights Reserved.

研究の背景• 空港のタワー業務
管制塔からの目視により、空港の交通の安全な運航を管理する

空港タワーの課題：
運用の効率化

運用の柔軟性と対応力

緊急時
維持管理費
対応能力の の圧縮と削減
向上

安全性の向上

課題を解決するための新たなタワーの仕組み

リソースの最適化と経済性
etc..

映像、監視、情報技術とシステムの導入の検討

Copyrights © ENRI, All Rights Reserved.

研究の背景• リモートタワーオペレーション/リモートタワーシステム
カメラ、監視センサ、ネットワーク等の情報技術を統合した
新たなタワーオペレーションシステム＜ニーズと動向＞
Ø リモート空港業務運用の拡大（日本国内）
・ RAG・レディオ空港のリモート化拡大
・ 小規模な管制空港のリモートタワー化
・ 緊急時のバックアップ対応施設としての活用
Ø 世界的なリモートタワーの研究・開発の推進と実用化
・ 欧州を中心としたリモートタワーの積極的な導入検討
・ リモート化による効率性とANSPビジネスモデルの展開
・ EUROCAE, ICAOによる標準化の議論
Copyrights © ENRI, All Rights Reserved.

研究の目的Ø 日本の管制空港、レディオ空港のリモートタワー化に向けての技術とシステムの開発および評価と技術要件の策定
uu

航空局の運用要件策定支援
リモートタワーの世界動向の調査支援および標準化への貢献

Copyrights © ENRI, All Rights Reserved.

リモートタワー（デジタルタワー）のシステム•

空港のタワー業務を遠隔地に置かれたセンターから運用できるシステム
通信ネットワーク

各地のリモート空港

・パノラマ映像用カメラ（光学、IR等）
・PTZカメラ（光学、IR等）
・監視センサー（レーダー、MLAT,ADS-B等）
・気象情報センサー・無線通信

u

運用センター・パノラマディスプレイ
・PTZ表示・カメラ操作・制御パネル
・業務支援機能（動体検知、ラベリング、AR合成表示、PTZ自動追尾）・監視センサー情報パネル
・気象情報パネル・通信端末

本日の発表は、この中の映像システムに関する部分について
Copyrights © ENRI, All Rights Reserved.

ENRIの評価用実験施設 （岩沼分室（仙台空港隣接）⇔調布実験室）
岩沼分室ネットワーク

MLATセンサー（ENRI OCTPASS)
8チャンネル
位置情報
MLAT端末

VPN回線（光ファイバ）調布実験室
ネットワークPTZカメラ
(360°望遠、 Full HD ~30fps）
固定パノラマカメラ（12台-360パノラマ、FullHD~60fps)

気象情報

ターゲット情報

物体認知・追跡システム＜オペレーション室＞
・パノラマディスプレイ：55インチ
FullHD×12台：360°
ターゲット拡張現実合成表示
・PTZカメラ
FullHD
自動ターゲット追跡機能
・タッチパネル式統合型HMI
ユーザー中心設計の導入（業務支援機能と合わせて設計）

映像表示
システム
カメラ制御
システム

パノラマ表示望遠モニター
支援情報表示• 実運用を想定したシステム（仕組み）とその技術仕様を検討（カメラ（ハウジングを含む）、ネットワーク、監視センサ、処理装置、支援機能、HMI設計等）
Copyrights © ENRI, All Rights Reserved.

紹介する映像システムの機能と特徴
１．可視光カメラ映像とパノラマ表示
日の出、日の入り・夕暮れ、逆光等の肉眼ではシビア条件でも見やすくできる
また、夜間は肉眼よりも明るくクリアにみることができる（光量やコントラストなどを自動調整）

２．移動体検出技術
映像内の移動物体を検出し、ディスプレイに任意に表示することで、注意喚起や見落とし防止に寄与

３．ラベリングと追尾技術
監視センサや映像認識と連動し、ラベリング表示や特定の移動体をPTZカメラで追尾し、ディスプレイ上に表示可能
制御パネルより、検出ターゲットを選択することで、移動体を監視しやすくなる（ 管制官が双眼鏡で監視するタスクをカバーできる。 ）Copyrights © ENRI, All Rights Reserved.

実験用カメラマルチカメラ（岩沼分室設置）

エアブロワー型
ワイパーユニット

ライトガン

カメラ窓
カメラ部

パノラマ用固定カメラ（12台）
合計視野角：水平360°，垂直 約50°

PTZカメラ（シグナルライトガン付き）
ズーム率：約30倍
可動範囲：水平360°垂直360°（エンドレス）
Copyrights © ENRI, All Rights Reserved.

テストシステムØ

テストシステム仕様
ü パノラマ映像用カメラ部：
カメラ台数：12台 / 解像度：4K（6台）,Full HD（6台） / 画角（1台あたり）：水平 約30°， 垂直 約50°
コーデック：H.264 / フレームレート：25〜30fps / エアブロー式ワイパー
ü PTZカメラ部:［ カメラ ］：
解像度：Full HD / コーデック：H.264 / フレームレート30fps / ズーム率約30倍 / 機械式ワイパー［ 雲台 ］：
可動範囲：水平，垂直 360°エンドレス / 回転速度：水平，垂直 60°/s以上
システム設置位置（仙台空港）［ ライトガン ］：（ENRI岩沼分室）
点灯色：3色（赤、緑、白） 連続、点滅
ü 通信システム：光回線( 回線帯域：100Mbps）
伝送距離：約300㎞
ü 監視センサー：MLAT（ENRI OCTPASS 8チャンネル)対応モード：モードS，モードA/C（オプション）
Copyrights © ENRI, All Rights Reserved.

リモートタワー制御卓（調布実験室）
l 表示ハードウェア
・パノラマディスプレイ：
ベゼルレス55インチ
×12枚
解像度：FullHD・制御卓：
32インチタッチパネル式
・計算機
・パノラマ表示用WSx1（CPUx2, GCｘ４）
・動体検知用WSx1（CPUx1, GPUｘ2）
・ＰＴＺ制御用WSｘ1（CPUx1, GPUｘ1）
・制御インタフェース用PCx1（CPUｘ1 GPUオンボード）
360°パノラマ映像

PTZ映像表示制御インタフェース（PTZカメラ操作、表示、フライトプラン等）（パノラマ上の表示はサイズ変更やON/OFF可能）
Copyrights © ENRI, All Rights Reserved.基本性能評価
Ø

映像システムの性能要件評価
ü 遅延（レイテンシ―）：
回線遅延： 約30ms （調布研究室-岩沼分室間の光回線）
映像遅延： FullHDカメラ：700〜800ms
４Kカメラ： 940ms以下 （カメラからディスプレイ表示まで）
PTZ旋回反応遅延： 180ms 以下 （制御コマンド開始から、画面が動き出すまで）
ü ジッター:ジッターバッファを計測： 33ms 以下
ü 映像更新頻度（フレームレート）
画面毎：30 fps以上 ただし、25fps設定時には25fps （25fpsは夜間に照明チラつき時に使用）
ü PTZ旋回速度
垂直：60°/s以上， 水平：60°/s以上 （最大旋回速度：90°/s）
・EUROCAEの性能要件規格に含まれる部分についてクリアできていることを確認
Copyrights © ENRI, All Rights Reserved.

パノラマ映像生成のためのキャリブレーション• 歪曲補正• シームレスな360°映像を作成するために
通常、カメラのレンズは外周部に向かって歪曲しているので、隣合うカメラの画像はそのままではズレてしまう。
像A像B

ズレて合わない

レンズの外周部の歪係数に合わせて補正（レンズに依存するため、カメラごとに補正する必要がある）※パノラマを円周上に配置するシリンダーマッピングは表示ディスプレイは曲面ではなくフラットなため違和感が発生する

補正前

補正後
Copyrights © ENRI, All Rights Reserved.

パノラマ映像生成のためのキャリブレーション• スケーリング、スティッチング
・固定カメラは水平方向に1台あたり約33°の画角で撮影している・歪を補正したカメラ画像（映像）を30°毎に隣り合う配置ができるようにスケーリングする・スケーリング画像（映像）がシームレスにつながるようにスティッチングする

画像重なりやズレ部分

それぞれのカメラからの画像

スケーリング及びスティッチン処理後の表示ディスプレイ
※カメラ至近の像は画角方向の違いが影響するため、スティッチは難しい
Copyrights © ENRI, All Rights Reserved.

パノラマ映像

Full HDカメラ(200万画素 1・3インチ）

４Kカメラ（800万画素 35mmフルサイズ）

Full HDカメラ（500万画素 2/3インチ）• エンコード/デコードで画素数による精細度で違い。
画素数が多いほうが精細度は上がる。
帯域とも関係するが、データの変換時間には注意が必要（遅延とのトレードオフ）• センササイズとレンズで夜間性能の違い。
センササイズは大きいほうが集光効率が良く低ノイズで像がきれいになる。
レンズのF値が小さいほうが夜は明るく撮像できるが、集光性能が高いので反射等に注意が必要
Copyrights © ENRI, All Rights Reserved.

移動体検知技術

Copyrights © 2014-2018 Electronic Navigation Research Institute, All Rights Reserved.

移動体検知技術• 物体検出技術＜基本的な技術の考え方＞
映像データ内の特徴差分やフレーム間の移動差分等の差分抽出による検出＜アドバンテージ＞
・ 認識や識別に比べ処理が速い
・ 点や小さい像を検出可能（画像認識ができないような物体でも検出可能）＜弱点＞
・ ノイズに弱い （補完技術が必要（カルマンフィルタ等））
・ 検知の連続性を担保するために、ID管理等のサブ処理が必要
Copyrights © ENRI, All Rights Reserved.

移動体検知技術（視覚支援１）• 評価結果の例＜動体検知の仕組み＞
画面全体処理＋部分処理の組合わせ （検知性能の向上＋ノイズ耐性に向けて）＜ゾーン毎の部分処理の特徴＞

手法２

手法1：小さい特徴を取得しやすい
手法2：物体の移動量を検出
手法3，4：映像差分から物体を推定（3と4は検出設定パラメータを変えている）

手法１
手法３

手法４

＜結果例＞ （仙台空港 RWY27方向）
No

シチュエーション1

海側からの着陸15:59:12.930

16:01:26.386

0:02:13.456

0:02:01.889

2

開始時刻

終了時刻

評価対象時間検知時間（合計）

検知可能距離（NM）

検知率（％）
91.33

5.903364425

山側への離陸11:36:18.474

11:36:33.309

0:00:14.835

0:00:14.835

100ー

3

滑走路でのターン13:57:07.698

13:58:08.119

0:01:00.421

0:00:38.663

63.99

ー

4

エプロン

15:14:03.901

15:15:44.586

0:01:40.685

0:01:37.498

96.83

ー

5

航空機交差

15:46:31.371

15:47:01.684

0:00:30.313

0:00:27.620

91.12

ー

6

走行中の停止16:20:03.877

16:20:17.703

0:00:13.826

0:00:10.929

79.05

ー

課題：差分検知処理をベースとした技術の限界（誤検知） ⇒ 知識処理（フィルタリング）の検討
Copyrights © ENRI, All Rights Reserved.

• ラベリングとターゲット自動追尾機能

Copyrights © ENRI, All Rights Reserved.

ラベリング表示の仕組み• 2次元映像と監視センサ情報（3次元）のマッピング［ MLAT情報 ］
飛行機の3次元位置座標（緯度、経度、高度）
＋
時刻

座標変換

パノラマ映像の2次元空間（水平、垂直座標）パノラマ映像の航空機の位置にラベルを合成表示（便名、高度、距離、行先等を表示）

Copyrights © ENRI, All Rights Reserved.

ラベリング表示（監視センサ情報の活用）• ラベリング表示例
監視センサー情報を活用した
空港周辺監視の新しい形
・レーダー等監視装置へのルックダウン回数の低減
・視程環境に関係なく、ターゲットの位置を画面上に表示できる→ 機能のワークロード低減への寄与

映像情報に基づく動体検知表示枠

MLATに基づくタグ情報表示例（コールサイン、高度、距離、行き先等）
Copyrights © ENRI, All Rights Reserved.

ラベリング表示の評価と課題• 映像と監視センサ情報の整合性- 高度情報の更新頻度と追従性能
急激な高度変化（離陸時直後）の追従性が課題• 2次元画面上の移動物体が2つ以上近接で存在する場
合のデータ連結‐ どれに紐づけるべきかが判断できない場合がある→ 判断条件（出現時間やIDの連続性など）の知識
処理との組み合わせ• 座標変換キャリブレーションの精度がラベルの表示精度に影響する- 2次元画面座標↔回転角座標（PTZカメラ）↔3次元
空間のマッピングの精度が重要
Copyrights © ENRI, All Rights Reserved.

表示機能の例（検知ボックス、ラベリング）

Copyrights © ENRI, All Rights Reserved.

自動追尾機能• 監視センサで特定されている任意のターゲットをPTZカメラで自動追尾• 遠方からでも追尾可能（20NM程度から）• 視程や天候、環境の影響を受けにくい（夜間や悪天候でも連続追尾可能）「課題」
監視センサの追従性と映像認識機能の協調制御

Copyrights © ENRI, All Rights Reserved.

夜間の例

Copyrights © ENRI, All Rights Reserved.

まとめ（タワー業務にデジタル映像技術を用いる効果と可能性）•

遠隔型タワーシステムのための映像関連技術や仕組みについて、システム構築と評価を実施– リモートタワーとして運用するために必要なシステム技術を開発運用に必要な要件を整理するとともに、現状の技術課題を整理
本日紹介できなかった、拡張映像表示機能、AIによる映像処理情報、HMI設計、システム連携等については、また別の機会でご紹介•

今後の研究の方向性– 将来のタワーシステムの技術開発を目指し、より積極的なデジタル技術の活用と導入の検討→ 業務負荷低減、安全性の向上、オペレーションの効率化への寄与– 空港の遠隔運用だけでなく、既存タワーの業務においても、監視死角エリアの解消や低視程時の目視補強や状況認識支援として活用可能

Copyrights © ENRI, All Rights Reserved.

• 御清聴ありがとうございました。

Copyrights © ENRI, All Rights Reserved.