〈一般研究課題〉 WiFiシグナル計測とドローン空撮によるリアルタイム人流分析手法の開発
助 成 研 究 者

愛知工業大学内種岳詞

WiFiシグナル計測とドローン空撮によるリアルタイム人流分析手法の開発
内種 岳詞（愛知工業大学）

A Development of Real-Time Human Flow Analysis Method via
Wi-Fi Signal Measurement and Image Capturing by Drone
Takeshi UCHITANE(Aichi Institute of Technology)

Abstract：
Both measuring human flow and constructing a system to treat the human flow in a virtual space
are important to realize comfortable and safe environment. In this study, two human flow
measurement methods via Wi-Fi signal measurements in which unique ids of Wi-Fi devices arecaptured and via movies which are captured by a drone are evaluated in the context to make realtime feedbacks to the real world. Via Wi-Fi signal measurement, human flow can be treated in avirtual space even if past human flow data in short time e.g., a few hours can be available toestimate the number of persons in an area. Since the precision of the estimated number of persons
via Wi-Fi signal measurement is not good when the number of persons is less than tens, it isrecommended to measure human flow both Wi-Fi signal measurement and other methods. Measuring
human flow via image capturing by a drone is another method to treat human flow in a virtual
space. The Camera attached to the drone can capture Full HD resolution movie and can send them
to workstation with GPU to run real-time image processing of Mask R-CNN. However, human andother objects are too small to detect the object from the images which are captured by a drone
from height of 50 meters above ground level. Two super resolution methods are applied to improve
the object detection rate before detecting object of Mask R-CNN. From the result, object detection
rate was improved however it was not enough to detect persons. Therefore, detecting persons from－ 161 －low resolution images is still open problem.
1．はじめに人の流れに関する調査・研究はサイバーフィジカルシステムの構築やデジタルツインを考える上で重要な役割を担う。人々が集まる空間において快適な環境を提供することはもちろん、コロナ禍など非日常においては安全の確保が特に重要視されている。快適で安全な環境を提供するためには、人の移動や滞在など回遊状態を把握しデジタル空間で取り扱えるようにシステムを構築し、状況に応じて空調設定や混雑緩和のための誘導などを行う必要がある。例えば、神戸市の地下街では、利用人数の変化を機械学習で予測し、調整に時間がかかる空調設定を予測人数に対して予め変化させることで、省エネルギー化を達成している[1]。
人の移動や滞在を計測し、デジタル空間で取り扱えるようにするための計測方法は、さまざまなものが考えられる。計測方法の例として、人の手によって人数を数える方法、アンケートを利用して目的地を聞く方法、固定カメラで撮影する方法などがあり、一般的に利用目的に沿って選択される。先に挙げた榊原らによる研究事例[1] では、過去数ヶ月の間、LiDARセンサーで人の流れを計測し1時間後の人の流れ予測することを目的としている。特に人の流れが同じ場所での過去の変化と似た傾向で変化していると仮定しているため、予め人の流れを一定期間計測して予測精度を高めている。一方で、コロナ禍において人々の行動が大きく変わるような状況では、先の研究事例のように予め長期間計測する方法は利用できず、リアルタイムに人の流れを計測し利用することが求められる。例えば、コロナ禍における人の密集場所への警報や、自然災害発生時における避難誘導など、非日常のイベントではその場の状況に応じて対処が必要である。もちろん、そのような有事の際に、過去のデータを利用する人の流れの予測が全く利用できないわけではないが、予測精度が悪くなることが懸念されるため、予測精度を補完できるような、他のリアルタイム計測手法と合わせて利用できれば、より良いシステム構築が構築できる可能性がある。
本研究では、既存の人の流れの計測方法であるWi-Fiシグナルを利用した方法とともに、ドローンによる空撮画像から人の流れを計測することにより人の流れをデジタル空間でリアルタイムに把握できるシステムを構築し、より効率のよい避難誘導を行う文脈において利用できるかどうかを検討することを目的とする。
2．Wi-Fiによる人流計測方法
服部らは、スマートフォンなどのWi-Fi機器が接続先のルーターを検索するために発信するシグナルであるprobe requestに含まれる機器ID数を数えることにより、計測エリアの人数をリアルタイムにデータサーバーに集め可視化する方法を発表した[2]。この方法では、1日限りのイベント会場7箇所のそれぞれの推定人数を、過去60分の機器ID数のみから推定して表示した。この計測方法
では、過去60分のデータのみを利用するため、先行研究[1]のように過去数ヶ月に渡り同じエリアを計測するほどの精度は得られないが、エリアごとの相対的な混雑度合いをデジタル空間で表現し、可視化することに成功した。よって、避難の文脈においては、相対的に避難が遅れている箇所を特定できることが期待される。しかし、逃げ遅れなど、10人以下の人数を推定することは難し
いため、エリア内に存在している人数を他の手法と合わせて推定することが望ましい。他の手法と－ 162 －

しては、建物の入退場者をレーザーカウンターで数え、建物に存在している人数情報を利用して人数を推定することなどが考えられる。本研究では、ドローンによる人の避難の様子を空撮し、空撮画像から外に出た人数を数え、Wi-Fi計測装置とは別に人数推定サーバーに送信することで、計測精度を向上させることを考える。
3．ドローン空撮画像からの人数推定
ドローン空撮画像による被災時における要救助者発見など、空撮画像の分析にはさまざまな応用が期待されている。上空からドローンによる空撮を行った場合、撮影した画像に映っている被写体は、画像内で小さな領域にしか存在しないため、目視で要救助者を探すことやたくさんの被写体が映っていたときに目視で人数を数えることも難しい。この問題は、畳み込みニューラルネットワー
クによる物体認識や位置検出により自動化が可能であると考えられる。しかし、ドローン本体や持ち運び可能な計算機では物体認識や位置検出の計算能力が不足することから、リアルタイムに要救助者を探し出すことは困難である。そのため、一度計算サーバーに画像を転送し、人数推定の処理を行ってから、その結果のみを避難誘導などに応用することを考える。
3.1

畳み込みニューラルネットワークによる人検出に必要な計算時間と検出精度

畳み込みニューラルネットワークによる人検出にはMask R-CNN[3] を利用する。Mask R-CNN
は、2017年にHeらによって発表された物体の位置検出と物体認識を同時に行う機械学習アルゴリ
ズムである。Mask R-CNNのプログラムおよび学習済みのモデルパラメータは、OpenCVライブラ
リのエクストラデータ[4] として公開されている。学習済みのパラメータを利用することで、人や車以外にも数種類の動物や人工物の位置と種類を高い精度で検出することができると言われている。Mask R-CNNは畳み込みニューラルネットワークを利用するため、CPUによる計算では処理に時間を要する。ここでは、GPUを利用した計算により、ドローンから送られてくる動画である解像度Full HD (1920 × 1080)、フレームレート24 fpsを処理できるかを検証する。
実験にはCPUとしてIntel(R) Xeon(R) W-2295 (クロック3GHz) を用い、GPUとしてQuadro RTX4000を用いた。また、ドローン空撮画像の転送による処理遅れを無視するため、計算機にWebカメラを接続し、ドローンから送られてくるのと同じ解像度と同等のフレームレート25 fpsにて、処理を行った。その結果、CPUを利用した場合は、処理結果をなめらかに表示することは不可能であり、明らかに1フレームあたりの処理に数秒を要していた。一方で、GPUを利用した結果、処理結果はリアルタイムに画面に表示され、処理が遅れるフレームはなかった。このことから、GPUを利用して初めて、ドローンから送信されてきたFull HD画質の動画をリアルタイムに処理し、人数を測定できることが明らかになった。加えて、Mask R-CNNが人を認識するには、顔が映っている必要はなく、体の一部（例えば、腕から先）が画像に含まれていれば人として認識できた。このことは、上空から撮影した人が一処に集まっていて重なっていても、人数を精度良く計測できる可能性があることを示している。
3.2

ドローン空撮画像からの人数推定

ドローンは、3DR社のSoloを利用し、カメラにはGoPro Hero4を利用した。カメラの解像度はFull HDでフレームレートは24 fpsとした。そして、ドローンを地上50mまで上昇させ、大学構内を撮影した画像から人を検出し、人数が計測できるか実験を行った [5]。

－ 163 －

図1に、空撮した動画から1フレームを切り出しMask R-CNNを適用した結果を示す。地上50mから撮影しているため、人（図の右下）や車（図の左上）はそれぞれが小さな領域に映っている。
Mask R-CNNが認識した物体は、person 1名とcar 1台とbroccoli 1つであった。しかし、personと認識した場所には人は映っておらず、broccoliと認識した場所は木であることが分かる。すなわ
ち、ドローン空撮画像ではMask R-CNNによる認識精度が著しく悪いことが判明した[5]。

図1. 地上50mからの空撮画像にMask R-CNNを適用した結果[5]4．ドローン空撮画像における人認識精度向上のための超解像
ドローン空撮画像にMask R-CNNを適用した結果、人の認識精度の悪化が確認された。その原因として、人や車が映っている領域が小さく、Mask R-CNNが認識するのに必要な画素数を満たしていないことが考えられる。そのため、画像を超解像し縦横2倍や4倍の解像度とすることで、人や車の認識精度が向上すると期待される。
超解像手法には、RAISR[6] およびTecoGAN[7] を利用する。RAISRは、2017年にRomanoらによって提案された１枚の画像の超解像手法である。特徴として、低解像度画像と高解像度画像のペア か ら 超 解 像 で 必 要 な 画 像 フ ィ ル タ ー を 学 習 し、 超 解 像 に よ る ノ イ ズ を 低 減 す る。 一 方、
TecoGANは、2020年にChuらによって提案された動画を超解像する手法である。特徴として、１フレームの画像だけではなく、時間進展したフレームの画像も参照して超解像することで、動画として自然な超解像画像を得られる。これら2つの手法でドローン空撮画像を高解像度画像に変換した後にMask R-CNNで人や車が認識可能かどうかを検証した。
図2にRAISRで超解像した画像にMask R-CNNを適用した結果を、図3にTecoGANで超解像した
画 像 にMask R-CNNを 適 用 し た 結 果 を そ れ ぞ れ 示 す [ 5]。RAISRに よ る 超 解 像 後、 解 像 度 は3840 × 2160となった。超解像処理によりpersonと誤認識していた画像左上の駐車場の箇所で、いくつかの車を認識することに成功した。しかし、画像右下を歩いている人を認識することはできなかった。次に、TecoGANによる超解像では、処理の都合から画像を708×708の正方形に切り取－ 164 －

り、その部分を解像度2832× 2832に拡大した。超解像処理により画像左上の駐車場の箇所で、１台の車を認識できた。また、誤認識ではあるが、認識できる物体が増えた。しかし、画像右下を歩いている人を認識することはできなかった。

図2. RAISRによる超解像後にMask R-CNNを適用した結果[5]5．リアルタイム人流計測に向けた考察
Wi-Fiを利用した人の流れ計測では、少ない人数では精度に問題があるが、避難訓練など日常でないイベントにおいても人の流れをリアルタイムに計測できることがわかった。
一方で、ドローンを利用した人の流れ計測では、地上を俯瞰するために高度50mから撮影した画像からでは人を十分に認識することはできないことが明らかになった。これらのことから、2つの手法を合わせて利用する以前に、それぞれの手法で精度改善が必要である
こ と が 分 か る。 例 え ば、 建 物 内 の 人 数 をWi-Fiで推定する場合には、建物の出入り口で入退場者数を数えることにより、精度を向図 3. T ecoGANによる超解像後にMask R-CNNを適用した結果[ 5]上させることが期待される。入退場者数を数えるにはLiDARセンサーを利用する方法が考えられ、石原らが人数計測方法について提案を行っている[8]。一方で、ドローン空撮画像から人を検出精度改善方法については、1. 他の超解像手法を試してみる、2. 光学ズームに対応したカメラを利用して空撮する、3. 上空から撮影した人に特化した物体認識手法を適用する、などを試みることが考えられる。

－ 165 －

6．おわりに避難など非日常における人の流れをリアルタイムで計測し処理するシステム開発を目的に、
Wi-Fiシグナル計測による方法とドローン空撮画像を利用する方法とからシステム構築を目指した。Wi-Fiシグナル計測による方法もドローン空撮画像を利用する方法も、人の流れの計測データであるWi-Fi機器のIDデータや空撮画像をワークステーションでリアルタイムに処理できることを明らかにした。しかし、当初2つの手法でそれぞれの人数推定結果から真の人の流れを補完できることを期待していたが、それぞれの手法で最低限の精度を保証するために、LiDARセンサーや光学ズームに対応したカメラなど、他の計測装置が追加で必要となる可能性が明らかになった。今後、それぞれの人の流れ計測手法において推定精度向上を目指すとともに、開発したシステムを避難誘導などに応用したい。
参考文献［1］榊 原 一紀，大原 誠，長廣 剛，玉置 久,“機械学習のための数理計画モデル ―大規模施設における適応的空調制御―”，オペレーションズ・リサーチ，vol. 65, pp. 34–40，2020［2］服部 樹，石原 優，内種 岳詞，"WiFiシグナル計測によるオープンキャンパス会場混雑度リ
アルタイム可視化"，計測自動制御学会 システム・情報部門学術講演会2020 講演論文集，
GS6-1-5，pp. 476-477，2020［3］K aimingi He, Georgia, Gkioxari, Piotr Dollar and Ross Girshick, “Mask R-CNN”,
Proceedings of the IEEE International Conference on Computer Vision (ICCV), pp. 29802988, 2017［4］https://github.com/opencv/opencv_extra (2020/07閲覧)［5］小 笠原 颯利，近藤 遼汰朗，和田 哲弥，石原 優，内種 岳詞，“ドローン遠隔撮影画像の超解像と物体検出”，計測自動制御学会 システム・情報部門学術講演会2021 講演論文集，SS61-3，pp. 109-110，2021［6］Yaniv Romano, John Isidoro and Peyman Milanfar,“RAISR: Rapid and Accurate Image
Super Resolution”, IEEE Transactions on Computational Imaging, Vol. 3 , No. 1 , pp. 110 125, 2017［7］Mengyu Chu, You Xie, Jonas Mayer, Laura Leal-Taixé, and Nils Thuerey,“Learning
temporal coherence via self-supervision for gan-based video generation”, ACM Transactions
on Graphics, Vol. 39, No. 4, pp. 1-13, 2020［8］石 原 優，内種 岳詞，伊藤 暢浩，岩田 員典，“LiDARを用いたオープンキャンパス会場の入退場者検出”，計測自動制御学会 システム・情報部門学術講演会2021 講演論文集，SS6-12，pp. 106-108，2021－ 166 －