特定非営利活動法人三鷹ネットワーク大学推進機構「民学産公」協働研究事業実績報告書

研究事業名

自動運用の実現と、効率の良いコンテンツ・観測データの取得を可能とする
撮影システムの研究開発

事業者名
有限会社遊造1

目次
１ 協働事業概要----------------------------------------------- 3
２ 申請団体のプロフィール --------------------------------------- 3
３ 協働研究事業の企画・実施の背景 -------------------------------- 4
３−１ 遠隔地の機器操作及びメンテナンスシステムの現状--- 4
３−２ 撮影機器の高解像度化に伴う現状-------------- 4
３−３ 今回の協働研究の未来------------- 5
４ Live!オーロラ・システムの概要-----------------------------------6
５ 映像システムの４Kを含めた高解像度化----------------8
５−１ 高解像度化したことにより、得られたデータ-----------------10
５−２ 高解像度化したことにより、生じた事-----------------11
６ 高解像度化と撮影機器の増大に対する、撮影・アーカイブDBシステムの再構築-----------------------------------------------------12
７ 人員による遠隔操作が必要な機器の自動化-----------------13
７−１ 新たに構築した撮影システム-----------------13
７−２ 研究開発に挑戦した自動追尾・撮影システム ---------------14
７−２−１ 自動追尾システムの、ファーストアプローチ -----------16
８ 研究開発で得られたデータ（コンテンツ）の活用---------------17８−１ ライブ中継コンテンツの充実化-----------17
８−２ 全天周リアルタイム映像による生中継と、HMD-VR（ヘッドマウントディスプレイーVR）によるコンテンツ活用の実験 ----17
９ 実験の考察----------------------------------------------------- 18
10 今後の計画 ---------------------------------------------------- 18

2

１協働事業概要

オーロラや流星等の天体現象の多くは、天球の中の何処に現れるのか予測することが難しい。
また、これまでの撮影システムでは、アラスカに設置してある電動雲台を日本から人の手によってリモート制御をしていたが、観測時間帯が日本時間の日中から深夜に及ぶため、非常に運用の手間がかかっていた。また、常にライブ画像を監視することができないため、貴重な瞬間を逃すことが多く、観測データベースの構築上でも損失が大きかった。
そこで、今回はこの問題を解決すると同時に新たなコンテンツや観測データの取得が可能となるシステムを新たに研究開発する。
このシステムの開発が成功すれば、運用の手間が大幅に削減されると共に、研究分野における観測活動、セキュリティ分野における撮影等への応用も見込め、三鷹市に多数存在する光学分野の技術革新と、撮影・観測分野に対して貢献をすることができる。

２

申請団体のプロフィール
有限会社遊造〒１８２−０００６
東京都調布市西つつじヶ丘２−４−１
Tel / FAX 050-5855-1952
設立
資本金

エストライフつつじヶ丘３−１０２

平成１６年４月
３００万円＜事業内容＞
ソフトウエア、コンテンツ開発、コンサルティング
サイエンスコミュニケーション事業
http://www.u-zo.jp/

3

３

協働研究事業の企画・実施の背景

３−１

遠隔地の機器操作及びメンテナンスシステムの現状

インターネットが普及するまで、遠隔地との大容量データ伝送または高速通信による遠隔地の機器保全のしくみは、専用の通信網を有する企業や組織のみが行えていた。
しかし、2000年代からインターネットが大いに普及し、小規模企業や団体または個人でも同様のしくみを活用した広域なネットワークシステムやサービスの構築、実現が可能になった。
一方で、インターネットで伝送されるデータの大容量化やシステムが複雑になるにつれ、運用や維持に要する費用や労力は増え続けている。
弊社が2006年より開始したプロジェクト「Live!オーロラ」も例外ではない。日本から６０００ｋｍ離れた米国・アラスカの観測所から常に大容量のデータが伝送され、かつ、観測所に設置してある多数の機器の保全やメンテナンスのためのシステムは規模・内容ともに大きく、複雑になっている。

３−２

撮影機器の高解像度化に伴う現状地上波テレビのハイビジョン化または４K化や、２020年に開催が予定されている東京五輪に向けて、特に映像システムに要求される高解像度化は、技術やコンテンツ制作関係者でさえ、その意義や負担せざるを得ない労力に疑問を感じる者が少なくないほどの速度で進んでいる。
一方で、高解像度化されたデータを処理するためのハードウエア、特にCPU（マイクロプロセッサ）や記憶媒体に代表される半導体技術の発展は、現状では十分なものではない。それにより映像データの解像度が4倍等と増え続けるたびに、データの解析や処理を行うための機器の物理的な台数やオペレーターの人員数または、一人当たりの労力は増え続けている。
結果的にサービスやシステムを構築または運用する者が負担するコストは増え続け、現状で世界中の国や企業が採用している打開策は、一人当たりの人員コストの削減や、人員コストが低い発展途上国へのアウトソーシングだ。しかし、それは技術やノウハウの流出だけではなく、特に若い世代がこれから培わなければいけない、大切な「経験」の場を奪うことにも繋がっていることは否定できない。

4

３−３

今回の協働研究の未来

弊社が進めているプロジェクト、Live!オーロラの特徴は、（１）大規模ネットワークシステムの開発・運用（２）高感度・高解像度映像システムの開発・運用（３）これらのシステムをビジネスモデルを伴った実サービスとして通年運用を、コスト低減やビジネスマーケットとサイエンスに向けたコンテンツ・クオリティの向上を、ノウハウの蓄積とアイデア・技術で実現することである。
今回の協同研究では、特に、複雑化したシステムや高解像度化が進むマーケット・ニーズに対するシステム全般のリノベーションに向けて、下記の内容でいくつかの試みを行った。
（１）映像システムの４Kを含めた高解像度化（２）高解像度化と撮影機器の増大に対する、アーカイブDBシステムの再構築（３）人員による遠隔操作が必要な機器の自動化（４）研究開発で得られたデータ（コンテンツ）の活用

これらを自らの技術やアイデアで実現することで、システム全体の運用コストの削減だけではなく、新たな技術や経験の習得、ビジネスマーケットの創造、さらに、五輪ののような競技撮影システムや監視・観測システムへの応用につながると考えている。

5

４

Live!オーロラ・システムの概要

中継・コンテンツ配信概要

アラスカ観測所 (UAF/GI内）

6

アラスカ観測所屋上の観測ドーム

観測所内コンピュータールーム

7

５

映像システムの４Kを含めた高解像度化

2006年のLive!オーロラ開始当時は、超高感度ビデオカメラはSDフォーマット、さらにタイムラプス映像を取得する一眼レフカメラは１２Mピクセル程度が最大で、それらをアーカイブ・伝送するためのコンピューターのCPU処理能力やハードディスク容量は、現在よりはるかに低いものだった。
2014年には、超高感度ビデオカメラをハイビジョン化し、タイムラプス映像が４K化したことにより、CPUはIntel社製のCorei5以上の処理能力に乗せ換え、ハードディスク容量は、SDフォーマットの約6倍となった。
さらに今回は超高感度ビデオカメラを複数台、４K化したことにより、ハードディスク容量は、単純計算でもハイビジョン解像度の１２倍以上になり、映像を解析・処理するコンピューターのCPUの殆どがIntel社Corei7に換装した。しかしそれだけでは処理能力が足りないため、映像処理専用チップが搭載された拡張カード（ビデオカード）も高性能なものを複数台導入した。
ここで、今回映像システムを高解像度化した背景は、下記のように２つの理由がある。
（１）ビジネス・マーケットが高解像度化へ急速に進んでいるため（２）「７ 人員による遠隔操作が必要な機器の自動化」を実現するため2006年〜2013年までサービス稼働で活用していた、SDフォーマットの超高感度ビデオカメラ（業務機）。導入当時は我々が望む性能のカメラがなかったため、電機メーカーと共同開発からはじめた。

8

2014年から導入したHD/4K撮影が可能な超高感度ビデオカメラ。コンシューマ機
でさえ過去の業務機を超える性能を持つことに、プロジェクト10年間の歴史を感じる。

今年度導入した、観測ドーム内の撮影機器群（２つのドーム内部）

9

５−１

高解像度化したことにより、得られたデータ今年度導入した２台の４K超高感度ビデオカメラによる、同時撮影（生中継・アーカイブ）。４K解像度によるリアルタイム速度のオーロラ大爆発を、全天周レンズの全体撮影と超広角レンズによる詳細撮影を同時に成功した。

2010年に撮影した、全天周タイムラプス映像とSDフォーマットの超高感度ビデオカメラによる、オーロラ爆発の同時撮影。当時はこれでも前例がない成果だった。
10

５−２

高解像度化したことにより、生じた事２台の超高感度ビデオカメラを４K化したことにより、撮影データを処理するコンピューターへの負荷は想像以上に高く、試験開発を理由にできる限り低コストで構築したシステムはトラブルが続き、今年度３度のアラスカ観測所内での構築・修復・改変作業を要した。
しかしこれらのトラブルは、エンジニアにとってシステムが新しくなる事で避けられないため、全く想定していなかったわけではない。それよりも、新たな技術的な挑戦により蓄積された、経験や技術習得の意義の方が大きい。
また、映像が４K化されたことにより、ハイビジョン解像度にダウン・コンバートする生中継映像のクオリティも向上した。それにより、いくつかのビジネスマーケッ
トにて評価を得られた。

11

６

高解像度化と撮影機器の増大に対する、撮影・アーカイブDBシステムの再構築

今回導入した２台の４K超高感度ビデオカメラによる、撮影・アーカイブ・制御シス
テムの概要。
上記内のアーカイブシステムが有する機能は下記になる。
（１）自動撮影・遠隔操作からのコマンド受信による録画（２）遠隔から録画内容の簡易確認を可能にする、自動サムネイル化（３）日々増大するアーカイブデータの確認や活用を支援するためのDB（４）適宜、遠隔や自動による低容量化エンコード機能（各種解像度対応）（５）サイエンスデータ活用を支援する、天候・時刻その他情報の同期保存等。

今後、日本へのエンコード伝送、日本国内サーバー内DBとのリアルタイム連携、適宜遠隔操作や確認が可能なクライアント・アプリケーションの開発が課題だ。

12

７

人員による遠隔操作が必要な機器の自動化

７−１

新たに構築した撮影システム

今回導入した４K超高感度ビデオカメラは、HD解像度にて2014年より運用を行い、露出の細かい制御等は、一部自動化のシステムを構築していたが、日本から遠隔にて適宜操作を行うことが多かった。
そのため、システム運用の利便性のため、撮影システムの完全な自動化を行うことが必須であり、独自の研究開発にて下記のようなシステムを開発した。

４K超高感度ビデオカメラの露出制御を、クライアント・サーバーシステム形式で構築し、スケジューラやコマンド等による自動処理と、遠隔操作双方に対応できるようにした。
13

撮影システムをクライアント・サーバー形式で独自開発したことにより、遠隔操作時にはスマートフォン等にて適宜、処理信号を観測所に伝送し、また、スケジューラーによる自動露出処理時や、下記「７−２ 研究開発に挑戦した自動追尾・撮影システム」の運用が可能になる。

７−２

研究開発に挑戦した自動追尾・撮影システム

アラスカ観測所内の超高感度ビデオカメラには、水平画角120−150度程度のレンズを装着していているため、空一面を移動する撮影対象がフレームアウトする機会は少なくない。
Live!オーロラでは、撮影対象がオーロラや流星等の天体現象が主であり、ビジネスモデルとしての実サービス運用を行っているため、撮影対象のフレームアウトは可能な限り避けたい。また、Live!オーロラのシステムは、他の分野でも応用できる内容を多く含んでいるため、可能な限り撮影対象を逃す機会を減らしたい。
さらに、撮影対象を追尾するために、昨年度までは日本から適宜、遠隔操作信号をカメラに送ることで対処していたが、通年運用を続けるシステムに、このワークフローは決してベストな方法ではない。
そこで、撮影対象をフレームアウトせずに、限りなく自動にて追尾撮影するためのシステムの研究開発を行った。ここでは、今後の追尾性能向上を見据え、人工知能（AI）の導入を考慮したハードウエアの開発から行っている。

14

カメラを装着する雲台にはジャイロセンサーと追尾処理を判断するCPUを搭載した。また、雲台制御は応答速度を優先順位の上位に据え、クライアント・サーバーシステムを開発した。
このシステムは、上記「７−１ 新たに構築した撮影システム」と同様に、スケジューラーや、コマンド信号による自動処理と、遠隔操作も可能にしてある。

自動化以外に、円滑な遠隔操作が可能なクライアントアプリケーションも開発した。
タッチデバイスによる直観的な操作も可能にした。

また、AI等による自動追尾アルゴリズムは、基本パラメーターの選定と解析アルゴリズムの基本設計、学習プログラムのコンセプト設計まで行っている。

15

７−２−１

自動追尾システムの、ファーストアプローチ

自動追尾システムの中で基本パラメーターの一つに、全天カメラによる観測データの解析から、追尾判別を行うしくみがあり、今回は、解析プログラムへのデータ生成のシステム開発まで行った。
下記は、新たに開発した、全天周レンズを装着した４K超高感度ビデオカメラの映像を、キャプチャー・基本解析を行う機能を有した、サーバー・アプリケーションだ。

追尾判別用サーバー・アプリケーション
このサーバー・アプリケーションは、スケジュール稼働機能と、他パラメーターからのコマンドを受けつけ、自動追尾システム本体へ接続する機能を有している。

16

８

研究開発で得られたデータ（コンテンツ）の活用

今回の研究開発では、特に４K超高感度ビデオカメラによる全天周リアルタイム映像の撮影と、そのデータによる生中継システムも開発した。既存の全天周映像で特に生中継映像では、すべてがタイムラプス撮影による疑似的な中継システムだが、今回は、これをビデオカメラによるリアルタイム中継も可能にした。
８−１

ライブ中継コンテンツの充実化

８−２ 全天周リアルタイム映像による生中継と、HMD-VR（ヘッドマウントディスプレイーVR）によるコンテンツ活用の実験

本年度9月から教壇に立っていた白百合女子大学では、本研究開発にて可能になった、HMD-VRによるリアルタイム・アラスカの世界を学生が体験している様子。

17

９

実験の考察

なにより、映像データの高解像度化から生じる開発作業負担の大きさを、あらためて実感させられた。2017年１月末のアラスカ観測所渡航は、アーカイブDBサーバー１台と、自動追尾システムのベースとなるハードウエアを修理することが目的だった。
しかし、実運用しながらの開発であるためか、研究開発の方向性は現状では間違っていないと思う。この一連の研究開発が今後も進むことを望む。
しかし、映像データの高解像度化にて肥大化したハードウエアの再設計と再選択は、必要だろう。

１０

今後の計画

まずは、各種研究開発の促進と熟成を続けること。さらに自動追尾システムの完成はできる限りはやく終えたい。
そして、このシステムを含むLive!オーロラ全体のノウハウや技術の他分野への応用は、最重要課題として、チャレンジを続けていきたい。

18