HAI シンポジウム 2024
Human-Agent Interaction Symposium 2024

P-37

任意方向から歩行者の速度変化に即応する自動追従ドローン制御
Automatic Drone Control to Keep Relative Direction to Pedestrian
大前 カールパトリック 1∗
Karl Patrick Omae1

原田 翔太 1
Shota Harada1

満上 育久 1
Ikuhisa Mitsugami1

広島市立大学
Hiroshima City University1

1

Abstract: 本研究では，歩行者の未来位置予測を利用した，任意方向から歩行者の速度変化に即応する自動追従ドローンの制御手法を提案する．提案手法では，ドローン映像の過去数フレームから推定した対象人物の 3 次元姿勢系列から対象の未来位置を予測し，それをドローンの速度制御に利用する．実験では，ドローンがどの方向においても，未来位置予測を用いない手法に比べて，提案手法が歩行者に対するドローンの位置と指定した位置の最大誤差を減少できたことを確認した．

1

はじめに現実の人物の動作をデジタルデータとして計測するために，モーションキャプチャーシステム（以下，モーキャプ）がある．しかし，既存のモーキャプには固定カメラの使用により撮影環境が制限される問題や，装着物の使用により人物の現実的な動作を計測できない問題がある．この問題に対して近年，人物自動追従ドローンや姿勢推定技術を用いることにより，撮影環境を問わず装着物が不要なモーキャプが実現されている．
山下ら [1] は，人物の姿勢推定に基づいて，一定距離・方向から自動追従するドローンを開発している．しかし，彼らのシステムでは歩行の開始や終了など急な速度変化によって自動追従に遅れが生じ，人物の映像解析の妨げになる．その問題に対して，山下ら [2] は，側方から観測した人物の 2 次元姿勢変化から未来位置を予測することで，ドローンが遅れないように追従する手法を提案している．しかし，この手法ではドローンが側方以外から即応して追従できない．
そこで本研究では，側方だけでなく，任意方向から人物の速度変化に即応する自動追従ドローンの制御手法を提案する．提案手法では，山下ら [2] における 2 次
元姿勢ベースの位置予測を 3 次元姿勢ベースのものに改良し，任意方向からの未来位置予測を行う．そして，3 次元空間における人物の未来位置に基づいてドローンを制御することで，歩行者の速度変化に即応するドローン制御を実現する．

∗ 連絡先： 広島市立大学〒 731-3194 広島市安佐南区大塚東三丁目 4 番 1 号
E-mail: f20027@e.hiroshima-cu.ac.jp

2

提案手法

提案手法の概要を図 1 に示す．まず，ドローンカメ
ラから追従対象人物の映像を取得し，Martinez らの手法 [3] により 3 次元姿勢を推定する．次に，その 3 次元姿勢情報から人物の未来位置を予測する．最後に，予測した未来位置に基づいて，人物に対して一定の距離・方向から追従するようにドローンを制御する．なお，3次元姿勢推定における人物向き推定を安定させるために，鼻関節点を追加したモデルを用いて再学習した．以上の処理より，任意方向から歩行者の速度変化に即応するドローン制御を実現している．
提案手法の未来位置予測に，平井らの手法 [4] を導入する．平井らは，人が停止状態から歩き始める際に腕の振り始めたり胴体を前傾させるなどの予備動作を行うことに着目し，過去一定時間幅における歩行者の3 次元姿勢の系列から未来位置を予測する回帰モデルを構築している．平井らの手法では，一定かつ高いフレームレートの歩行映像から取得された 3 次元姿勢のデータセットを利用している．しかし，提案手法では不規則かつ低いフレームレートなドローンカメラ映像から取得している．さらに，取得される姿勢は各関節点や姿勢全体にノイズや推定誤差が生じる．そのため，平井らの手法は提案手法の状況下で合致しない．
その問題に対して，ドローンカメラ映像から得られる不規則・低フレームレートかつノイズの多い姿勢系列に合うように模したデータセットを再構築する．デー
タセットの再構築を行うにあたって，主に 3 つの処理を行う．第一の処理として，高フレームレートのデータセットからドローンカメラ映像の平均的な時間間隔とそのばらつきで姿勢系列をリサンプリングする．第二の処理として，個々の関節点位置や姿勢全体に対し

図 1: 未来位置予測に基づく自動追従ドローンの概要ても 3 次元姿勢推定の際に生じるノイズや誤差をランダムに付与してデータ拡張を行う．第三の処理として，人物が停止状態の時に現在位置と一致するはずの未来位置に誤差が生じるため，停止状態のときの姿勢系列によるデータ拡張も行う．これにより，提案手法での低・不規則フレームレートかつ誤差を含んだ 3 次元姿勢系列からの未来位置予測の性能安定を図る．

図 2: 各方向における予測なし・ありの最大誤差

トを模して姿勢系列をリンサンプリングするとともに，姿勢推定に観測されるノイズや誤差を付与するデータ拡張を行い，未来位置予測モデルを学習させることで，提案手法の状況下においても安定な未来位置予測を実現した．評価実験では，未来位置予測モデルを用いる場合（提案手法）と用いない場合のドローン制御を比較対象とし，歩行者に対する追従位置に生じる誤差を3 評価実験通じて，提案手法の有効性を示した．
評価実験では，人物に対するドローンの追従位置が今後の課題として，人物の方向と平行した観測方向歩行開始から終了まで維持できているかを計測し，未（0° や 180° 付近）における自動追従の改善が考えられ来位置予測がある場合（提案手法）とない場合を比較対る．それらの観測方向においては，腕の振りや胴体の象として提案手法の有効性を確認する．ドローンの追前傾が正確に観測されないため，未来位置予測の性能従制御として，追従距離を固定して追従角度を 0°，30°， が低下すると考えられる．歩行者に対して複数台のド60°，90°，120°，150°，180° の 7 種類とした．Vicon モー
ローンを様々な方向から追従できれば，マルチエージェションキャプチャーシステムを用いて，人物とドローントシステムとして最適な方向（図 2 より，30°∼120°
ンの位置を正確に計測し，ドローンの追従すべき位置など）から観測しているドローンの情報を用いて未来から生じる最大誤差を評価指標とする．
位置を予測することで，0° や 180° 付近から観測していドローンに未来位置予測がある場合（提案手法）とるドローンの自動追従の改善が期待できる．
ない場合の結果を図 2 に示す．図 2 より，未来位置予測を導入することで，最大誤差をすべての方向で減少できていることが確認できる．また，30° から 120° に参考文献
おいては大幅な改善を示した．このことから，提案手[1] 山下 浩豊, 満上 育久: 広域移動する人物の映像解析法の有効性を確認した．のための自動追従ドローン, 情報処理学会 CVIM
研究会, Vol. 2020–CVIM–222, No. 38, pp. 1–6,
(2020)
4 おわりに本稿では，任意方向から歩行者の未来位置を予測し，歩行者の速度変化に即応する自動追従ドローンの制御手法を提案した．提案手法では，人物の 3 次元姿勢情報から未来位置を予測し，それに基づいてドローンを制御する．そのために，平井らの 3 次元姿勢変化に基づく未来位置予測の手法を導入した．しかし，平井らの手法は一定かつ高いフレームレートの歩行映像から計測された 3 次元姿勢系列を利用していることに対し，本手法はドローンカメラの不規則かつ低いフレームレー
トから計測された 3 次元姿勢系列を利用している．その対処法として，高フレームレート映像の姿勢データセットから，ドローンカメラの不規則・低フレームレー[2] 山下 浩豊, 満上 育久: Fly at My Side: 歩行者の速度変化に即応する自動追従ドローン, 画像の認識・理解シンポジウム, (2022)[3] Martinez, J., Hossain, R., Romero, J., Little,
J.: A simple yet eﬀective baseline for 3d human pose estimation, Proceedings of the IEEE
International Conference on Computer Vision,
pp. 2640–2649, (2017)[4] 平井 孝明, 山下 浩豊, 満上 育久, 全身姿勢の変化に基づいた歩行者の未来位置予測, 研究報告コン
ピュータビジョンとイメージメディア, (2022)