『フライングビュー®』〜人の目とAIの目で見たいものを見逃さない
リアルタイムリモートモニタリングシステム〜
小林

労働力不足への対応や感染症予防対策などの観点から、車両・船舶・ロボットなどの自律運転・遠隔操縦の実用化が一樹

柚江

政志

プラットフォームを採用している。検知対象や運用環境に合わせて開発したAI エンジン・AIアプリケーションをコンテナ進み、無人での現場運用に向けた取組みが加速している。

アプリとして搭載することで、カメラが捉えた周囲360°のカメ自律運転・遠隔操縦の車両を無人で運用するためには現場ラ映像をAIで常時監視できる。これにより、人の目では見逃で事故やトラブルが発生したときに、オペレーターが遠隔かしがちな場所での出来事や、一瞬で通り過ぎてしまうようなら迅速かつ適切に判断し、現場の問題を直接解決する高度場面でも、『 AIの目』として網羅的にとらえることができる。人

遠隔運用の仕組みが必要である。このような背景から、現の目による確認が必要と思われるシーンを抽出して人に知ら場で稼働する車両などの周囲を、遠隔から人にとって見やせることにより、見逃しを防止するなどの効果が期待できる。

すい映像で見たいというニーズが高まりつつある。また、AIを活用して、オペレーターの判断を適切にサポートしたり、運用業務の軽減・支援したりすることへの期待も大きい。
このようなニーズに応える新商品として、映像技術、A I:$1

技術を活かしたAIエッジの戦略商品という位置付けの「フライングビュー ＊1）」を開発した。本稿ではフライングビュー

ᘺፗஜ˳の特長や機能、構成を解説する。
⇑∇∏

フライングビューの特長
フライングビューは、4台の高画質（HD）カメラが接続され図1⇙∙⇣∞∑‚⁂‵‡⇥⇼−⇩⇮‛‒

フライングビューの機器構成る装置本体と、ネットワークを介して接続されるコンソールで構成される（図1）。フライングビューの特長として、直感的にとらえる『人の目』と網羅的にとらえる『AIの目』を説明する。
（1）直感的にとらえる
『人の目』

図2

フライングビューは、車両などの前後左右に取り付けら

俯瞰映像の生成イメージれたカメラの映像から高画質（HDまたはFHD）の俯瞰（ふかん）映像を合成し、仮想視点と呼ばれる位置から見た映像を生成する（図2）。この仮想視点から見た映像は装置本体から遠隔のコンソールにリアルタイムで配信される。

フライングビューの主な機能
（1）
ライブ機能
遠隔のオペレーターがコンソールを用いて、仮想視点をまた、コンソール側からの操作により仮想視点の位置を車移動させながら、車両周囲の状況を自由視点の俯瞰映像両の周囲360°や上空など自由に移動させること（自由視でリアルタイムに見ることができる機能である（図3）。オペ点）で、現場で稼働する車両などの周囲を、見たい高さやレーターは、コンソールの画面を指でスワイプしたり、マウ方向から俯瞰的に見ることができる。これにより、遠隔からスドラッグしたりしながら直感的に仮想視点を移動させるでも『人の目』で直感的とらえることを実現している。

ことで、自分の見たい場所や方向の俯瞰映像を見ることが（2）網羅的にとらえる『AIの目』

また、ライブ機能で配信される俯瞰映像は必要に応じて装できる。これにより、直感的にとらえる『人の目』を実現する。
フライングビューでは、AE2100 1）に代表されるAIエッジ＊1）
フライングビュー、
FlyingViewは、
沖電気工業株式会社の登録商標です。

6

OKI テクニカルレビュー
2021 年 11 月／第 238 号 Vol.88 No.2

置本体側で動画ファイルとして保存することができる。

ᘺፗஜ˳⇑∇∏ᘺፗஜ˳↖ᣐ̮ɶ↝∏⇊⇼ପ΂⇁᥵ဒ

図3

ライブ機能

（2）
プレイバック機能
遠隔のオペレーターがコンソールを用いて、車両周囲の直前の状況を「ライブ機能」と同じように自由視点の俯瞰映像で見ることができる機能である。装置本体は前後左右のカメラ映像を常時録画しておくことができ、必要に応じてこれらの録画映像から俯瞰映像を合成してコンソールへ配信する（図4）。本機能によって、リアルタイムの状況だ

図5

デュアルビュー（左）とマルチビュー（右）の表示例

けでなく、例えば事故やトラブルの発生直前の状況を含めて、『 人の目』で直感的にとらえることを実現する。

（4）AI機能AIエッジプラットフォーム上で検知対象や運用環境に合わせて開発したAI エンジン及びAIアプリケーションをコンテナアプリとして搭載することで、合成前の前後左右のカᘺፗஜ˳メラ映像をA Iで常時監視できる。本機能の具体的な動作
図4

プレイバック機能事例は後述の「AI機能の動作事例」で紹介する。

（3）表示モード切替
コンソールに表示される俯瞰映像は、画面全体に一つのフライングビューの主な仕様

俯瞰映像を表示する「標準ビュー」、画面を分割し二つの俯フライングビューの主な仕様を表1に示す。装置本体のモ瞰映像を表示する「デュアルビュー」、画面を3分割し俯瞰映

デルは4種類あり、無線通信機能（WirelessLANまたはLTE＊2））像一つとカメラ映像二つを同時に表示する「マルチビュー」の及びVPUの搭載有無で異なる。カメラ入力は俯瞰映像の合3種類の表示モードを選択できる。

成に必要となる前後左右4台分に対応している。また、高画デュアルビューは、左右の俯瞰映像にて仮想視点をそれ質映像のリアルタイム配信を実現するため、俯瞰映像の圧ぞれ個別に移動させることができるため、車両周囲を異な縮形式としてH.264を採用している。耐環境性能面ではIP保る方向から同時に見ることができる。マルチビューでは、俯

護等級（IP66）、車載イミュニティ規格準拠（ECE-R10相当）、瞰映像に加えて、前後左右カメラ映像から二つを選択して-30℃〜60℃での動作（VPU搭載モデルは-20℃〜60℃）固定視点の映像として同時に表示できるため、例えば車を実現している。

両の前方や後方など特定の方向を常に確認しながら、俯瞰映像の方で車両の周囲を見ることができる（図5）。

＊2）LTE は、欧州電気通信標準協会（ETSI）の登録商標です。

O K I テクニカルレビュー
2021 年 11 月／第 238 号 Vol.88 No.27

表1

装置本体の主な仕様⇥⇩⇧⇷⇳∑⇭⇉⇟⇽−⇊<6$ <6% <6& <6' ඍߡӫ଀Ωϟϧ೘ྙ

FK ˠ಼෨దͶͺFKΉͲଲԢϠωνʖड़ྙFK઒༽Ϡωνʖ +'0, +FK

઒༽αϱλʖϩΠϕϨ

ѻक़
௪৶

࿧ժ

/$1:/$1ʕ

ʖ/7(ʖʕ၈ᛎӫ଀࿧ժʕʖʖʕʕ

EDJQDF[86%Ϝ΢έ*36ʕ/7(Ϡυϩ͹ΊFKΩϟϧ઀଺༽֐‫੉ܙ‬๑PP : [PP ' [PP + ⁠⁓⁠⁡⁅※‿›†․ …
̳ყପ΂⁛⁕⁤⁡⁅‶⇑∞⇯౨Јኽௐ̳ყӳ঺ପ΂᥵ဒ⇑∇∏ପ΂″※⇽∓⇡⇩⇛∞※⁠⁦⁗⁞ᅈᙌ ‿⁫⁤⁛⁓⁖⁊図6⁅⁅‶‹⁂⁅⇻∏⇊∙⇖⇹∋∞ᘺፗஜ˳″※ဒ΂ᛐᜤ⇎∙⇞∙ ሁ∄⇊⇕⇑∇∏ପ΂᥵ဒ੗ໜ↌↝˂‫ٳ‬ᢿλщ

フライングビュー装置本体の構成

ˈʛˈ9'&:ভඇుྙ⁉‾″⁀‡‾⁆‷″※⇎⇩⇞⇽∏⇩⇮⇻⇏∞∆›†․ …‒ପ΂‫ן‬጑⇎∙⇞∙⇐⇽⇝∍∙⇑∇∏

΢ϱτϩ0RYLGLXV0\ULDG;ʕˈʛˈ̳ყӳ঺ପ΂≋․Ө ‫ݩ‬ஹೞᏡ≌ં఼೘ྙు‫ݱ‬ుѻ⇻∏⇊∙⇖⇹∋∞⇙∙⇣∞∑∇⇊∙⇽∓⇡⇩⇛∞※⁠⁦⁗⁞ᅈᙌ ″⁦⁡⁊⁫⁞⁡⁠ᅈᙌ̳ყӳ঺⇎∙⇞∙ૹ஖಼଄66'ฯଚʕϜ΢έ೘ྙ֐‫੉ܙ‬๑⁊※‾※⁀⁊ᅈᙌ ‿⁂⁅⁡‵PLFUR6'ΩʖχฯଚʷಊࡠԻౕ൥ҕ៻᠍⇑∇∏⇛⇼⇽∓⇡⇩⇛∞≋…Ө≌⇑∇∏ପ΂᥵ဒʕࣙ༟ࢻ఼࿧ժҲൢ࢕༹⁇⁅‴%DVH7938
ͨ͹ଠ઒༽Ωϟϧʤ+'ʥ›‶‿※:PP : [PP ' [PP + 

AI機能の動作事例

Ωϟϧ‫؜‬΋Πϱτψ͵ʹಧً෼Νঈ͚

AI機能の動作事例の一つとして、フライングビューのカ࣯ྖ

༁NJ๹ਭʀ๹ਘ,3 ᝓର͹๹ਭΩώʖΝถͣͪয়ସ

メラで撮影した映像内の人物をAI機能で検知し、結果を外部に送信する例を紹介する。

装置本体の構成（1）
ソフトウェアアーキテクチャー

装置本体は、俯瞰映像の配信及びA I処理を行うメイン

図7にAI機能を実現するソフトウェアアーキテクチャーをプロセッサー、俯瞰映像を合成するサブプロセッサー、AIに示す。基本的な構成はAE2100と同じであり、Docker ® ＊6）

よる画像認識などを行うA Iプロセッサーから構成される上で動作する標準コンテナ上にAIエンジンやAIアプリケー（図6）。

ションをインストールすることができる。今回の例では、次のメインプロセッサーにIntel Atom® ＊3）プロセッサー（E3950）、AIエンジン及びAIアプリケーションを用意した。

AIプロセッサーにインテル® MovidiusTM MyriadTM X VPUを搭載している。AE2100と同様に、検知対象や運用環境に⇑∇∏ପ΂ӕࢽ合わせて開発したAI エンジン・AIアプリケーションをコンテナアプリとして実行可能であるため、お客様のニーズに合わせたカスタマイズが容易な構成となっている。
サブプロセッサーにXILINX社製 ARM ® ＊4）コア内蔵の大容量FPGA（Zynq UltraScale+®

TMMPSoC ）を採用する＊5）ことで、リアルタイムかつ低消費電力での俯瞰映像の合成‿⁃⁆⁆≝౨Јऴ‫⇁إ‬Ӗ̮ೞ↧ᡛ̮⇙∙⇬⇰౨ჷኽௐପ΂⇓∉⇽⇧∉‿⁃⁆⁆‒⁂⁧⁔⁞⁛⁥⁚⁗⁤ପ΂⇭∞⇥⇁″※⇎∙⇞∙↧λщ″※⇈⇽∐⇗∞⇝∍∙ପ΂⇭∞⇥⇁″※‒ᚐௌↆ⅚
౨ჷኽௐ⇁⇈⇽∐↧ᡫჷ″※⇎∙⇞∙⇑∇∏ପ΂※⁠⁦⁗⁞⁁⁢⁗⁠⁈※⁀⁁⁆‿‒⇪∞∑⇓⇩⇮⁇⁔⁧⁠⁦⁧≍ ≌‶⁡⁕⁝⁗⁤を実現している。4台分のカメラ映像から俯瞰映像を合成⁁⁅‚‾⁛⁠⁧⁪≍‪≌⁋⁡⁕⁦⁡‛

する処理には、Xylon社製の俯瞰映像合成エンジンをフラ⇵∞⇯⇌⇍⇈ ‚※⁠⁦⁗⁞ ‿⁡⁨⁛⁖⁛⁧⁥‒‿⁫⁤⁛⁓⁖‒⁊‒઀᠍‛

イングビュー向けにカスタマイズして実装している。

≝∌∞⇜∞⇈⇽∐⇗∞⇝∍∙≝⁁⁅‡೅แ⇈⇽∐⇗∞⇝∍∙≝⇵∞⇯⇌⇍⇈

俯瞰映像の配信及びH.264方式での映像圧縮処理はメインプロセッサー上で実行される。
また、メインプロセッサーとサブプロセッサーの間にDMAを使った大容量/低遅延の映像転送機能を実装している。

‫ܖ‬፼ฎ
″※∈⇭∑

図7̾К᧏ႆ੩̓ር‫׊‬フライングビューのソフトウェアアーキテクチャー①AIエンジン

これにより、リアルタイムでの映像配信と4台分のカメラ映後述するAIアプリケーションから入力される合成前像の録画を同時に行ったり、4台分のカメラ映像を録画しなの前後左右のカメラ映像を解析し、検知した人物の座がらプレイバック機能を実行したりできるようにした。

標情報をAIアプリケーションへ通知するエンジンである。

さらに2台のオプションカメラが搭載可能な構成で、将来の機能拡張時に利用できる。

human-pose-estimationと呼ばれる骨格推定モデルをベースにして人物検知を行う。human-pose-estimation
は手・ひじ・肩・首・股関節などの人物骨格を検出し、それらを検出した座標を返す。今回の動作事例では工＊3）Intel、インテル、Intel Atom、Movidius、Myriad、OpenVINOは、アメリカ合衆国及びその他の国におけるIntel Corprationまたはその子会社の商標です。＊4）
ARMはArm Limitedの登録商標です。＊5）
Zynq、UltraScale+は米国及びその他各国のXILINX社の商標または登録商標です。＊6）
DockerはDocker, Inc.の登録商標です。＊7）
UbuntuはCanonical Limitedの登録商標です。
＊8）
Linuxは米国及びその他の国におけるLinus Torvaldsの登録商標です。

8

OKI テクニカルレビュー
2021 年 11 月／第 238 号 Vol.88 No.2

場敷地内を巡回するバスにフライングビューを取り付けて撮影した映像を用いて事前に学習を行ったAIモデ

1）島田貴光：高速ディープラーニング推論処理をエッジで実現するAIエッジコンピューター「AE2100」、OKIテクニカ

ルを使用した。

ルレビュー 第234号、Vol.86 No.2、
pp16-19、2019年12月②AIアプリケーション
フライングビューのカメラ映像を取得し、AIエンジンへ入力する。また、AIエンジンが検知した人物骨格の座標情報をMQTT（Message Queuing Telemetry

小林一樹：Kazuki Kobayashi. ソリューションシステム事業

Transport）プロトコルを用いてコンソールへ送信する。

本部 IoTプラットフォーム事業部 IoTシステム部

今回の動作事例では、検知した人物骨格の座標情報

柚江政志：Masashi Yuzue. ソリューションシステム事業本部と人物骨格検知時の画像データを送信する。

IoTプラットフォーム事業部 IoTシステム部（2）検知結果の表示
A Iアプリケーションから送信された人物骨格の座標情報と人物骨格検知時の画像データを、コンソール側の画面上に表示させることで検知結果を確認した（図8）。フラ
イングビューのカメラ映像内の人物に骨格が重畳表示され、人物を検知できていることが分かる。

IP（International Protection）
電子機器の防水・防塵性能を規格化したもの。保護等級
IP66の保護のレベルは次のように定義される。防塵に対する保護：耐塵形。塵埃（じんあい）の侵入があってはならない。水に対する保護：暴噴流に対して保護。
ECE-R10
国際連合発行の車載向けイミュニティの国際規格。
VPU（Vision Processing Unit）
画像処理を行う半導体チップ。AI機能の実現にあたり必要となる高速での計算処理をAIエッジ上で実現するために用いる。
Zynq UltraScale+ MPSoC
XILINX社が提供するSoC（System-on-a-chip）。一つのSoC内にアプリケーション処理ユニット及びリアルタイム処理ユニットの二つのプロセッサーが搭載され、各プロセッサー内にコアを複数搭載することで高機能化している。

図8

人物検知結果表示画面

FPGA（Field Programmable Gate Array）
ユーザーが自由にプログラミング可能な集積回路。

おわりに
本稿では『人の目』と『AIの目』で見たいものを見逃さないリモートモニタリングシステム「フライングビュー」の特長や機能、構成を解説した。
フライングビューは自由視点の俯瞰映像をリアルタイムに生成・配信することで、遠隔に居ながら車両などの周囲を『人の目』で直感的にとらえ、またAIエッジプラットフォームを採用することで検知対象や運用環境に合わせて開発したAI エンジン・AIアプリケーションをコンテナアプリとして搭載可能とし、『 AIの目』による周囲監視を実現している。
今後は、フライングビューを通じて『人の目』と『AIの目』を連携させることで、車両・船舶・ロボットなどの高度遠隔運用の実現に貢献し、社会の大丈夫をつくっていく。 ◆◆DMA（Direct Memory Access）
コンピューターシステム内でのデータ転 送 方 式の一つ。
CPUを介さずに周辺機器やメインメモリー（RAM）などの間で直接データ転送を行うことで高速にデータ転送を行える。
MQTT（Message Queuing Telemetry Transport）
TCP/IP上で動作するPublish/Subscribe型のシンプルな非同期、双方向プロトコル。軽量さ、柔軟性の点でIoTに最適なネットワークプロトコルの一つ。
コンテナ
ホストOS上に論理的な区画（コンテナ）を作り、アプリケーションを動作させるために必要なライブラリーなどを一つにまとめたもの。サーバー仮想化に比べてオーバーヘッドが少ないため、軽量で高速動作するのが特徴。
Dockerコンテナを提供する代表的なオープンソースソフトウェア。

O K I テクニカルレビュー
2021 年 11 月／第 238 号 Vol.88 No.2

9