WISS 2023

招待論文 BirdViewAR: 拡張三人称視点による周囲状況理解支援ドローン遠隔操縦インタフェース
井上 理哲人

高嶋 和毅

藤田 和之

北村 喜文

概要. 我々は拡張三人称視点を用いてドローンパイロットの遠隔操縦時における周囲空間理解を支援するシステム，BirdViewAR を提案する．BirdViewAR では，パイロットが操縦する主ドローンの上空にもう1 台副ドローンを追従飛行させ，パイロットに三人称視点を提示する．さらに，その三人称視点に AR で空間情報を重畳することで，パイロットの空間理解を向上させる．また，副ドローンを最適配置することで，追加の入力を行うことなく常に主ドローンやその目的地を映した三人称視点を提示する．我々は実機ドローンを使って BirdViewAR を実装し，屋外での被験者実験を行った．その結果，BirdViewAR は従来の操縦インタフェースに比べて有意にドローンパイロットの空間認識を向上させることが示された．

1

はじめに近年，一般向けの安価かつ小型で操縦に免許が不要なマルチコプター（以下ドローンと呼ぶ）が急速に普及しているが，その操縦は依然として難しい．
ドローンの操縦難易度を上げる要因として，死角の存在が挙げられる．パイロットは，ドローンの機体が自身の目の届かない場所にある場合，搭載されたカメラからの映像（一人称視点, FPV）のみを頼りにドローンを操縦するが，その視野角は狭く，カメラに映らない死角が多く存在するため，障害物に衝突して墜落するリスクやパイロットの心的不安を誘発する．そこで，死角の課題を解決する手法として三人称視点 (TPV) を用いる手法 [7, 6] が提案されてきた．しかしながら，浮遊物の空間的な位置関係を把握することの難しさ [2, 10] から，TPV を用いても正確に機体と周囲環境との距離を把握することは依然として困難 [11] である．さらに，TPV のカメラが近すぎる場合はパイロットは将来の予測を行うことができず，遠すぎる場合は視認性が下がり，周囲状況を理解することが出来ないため，カメラの位置を動的に調整する必要があるが，手動による TPV制御では作業負荷がパイロットにかかる [8]．
そこで我々は，ドローンパイロットのリアルタイ
ムな周囲状況理解を支援する操縦インタフェース
BirdViewAR を提案する．本手法ではパイロットが遠隔操縦する主ドローンの上空にもう一台副ドローンを飛行させ，その三人称視点に AR オーバーレイを用いてドローンの位置や向き等を強調表示する．
さらに，副ドローンの位置は主ドローンの速度を元に最適配置される．
Copyright is held by the author(s). This paper isnonrefereed and non-archival.
東北大学

2

BirdViewAR

BirdViewAR の設計に際して，AR 重畳表示情報及び副ドローンの最適配置手法を検討した．図 1 及び図 2 にそれらの概要を示す．以下の節ではそれぞれの内容及び BirdViewAR の実装方法を簡潔に述べる．詳細な情報は文献 [5] に掲載している．
2.1 AR 重畳表示情報
TPV を用いた遠隔ドローン操縦において必要なAR 重畳情報を，先行研究から得られた既存の知識を取り入れることで，最終的に 4 つのタイプを設計した．高度 (図 1(A))，向き (図 1(B))，FPV 範囲(図 1(C)) の表示手法は，既存のパイロットからの視点を用いた AR 操縦インタフェース ([11, 1, 9, 3])に基づいて設計し，それぞれ，直線，三角形，錐台で可視化している．また，新たに，距離情報を示す同心円のガイド (図 1(D)) を設計した．

図 1: AR により空間情報を可視化した三人称視点

2.2

最適配置手法

認知負荷を抑えつつ，三人称視点の視認性と視野範囲のバランスを取ることをコンセプトとして副ドWISS 2023

図 2: 移動時における副ドローンの配置位置
ローンの位置，向き及びカメラ角度を決定する制約付き最適化関数を設定した．
制約として以下を設定した．
制約 1: 主ドローンを映す
制約 2: 進行方向先の範囲 d(t) を映す
制約 3: AR 表示を画面内に収める
ここで，d(t) は主ドローンの速度 v(t) と人間の選択
反応時間 [4] により計算される．制約 2 を満たすことで，パイロットが状況を判断する上で十分な視野を提示することができる．
目的関数は以下のコストの重み付き和とした．
コスト 1: 副ドローンの移動距離
コスト 2: 主，副ドローンの向きの角度差
コスト 3: 副ドローンの初期カメラ角との差
コスト 4: 副ドローンの初期位置との距離
コスト 3 及び 4 を最小化することで, 視認性をなるべく維持するように副ドローンを配置する．
図 2 に主ドローン移動時の三人称視点と各ドローンの位置関係を示す．図 2(a) は移動前での位置関係及び三人称視点を示し，図 2(b) は横移動時に進行方向先を重点的に映す (制約 2 を満たす) 様子を，
図 2(c) は上移動時に FPV 範囲の表示を TPV 内に収める (制約 3 を満たす) 様子を示す．

2.3

実装

主ドローンに DJI Mavic 2 pro, 副ドローンにParrot Anaﬁ 4K を用いて BirdViewAR を実装した．それぞれの高度や速度といった機体情報は DJI
Windows SDK 及び Olympe を用いて地上局に伝送されている．BirdViewAR を実装する上で，2 つのドローン間の正確な距離が必要となる．そこで，我々は主ドローンと副ドローンの相対高度と相対角度，副ドローンのカメラ角度及び画角，三人称視点
内の主ドローンのピクセル座標を用いてドローン間の距離を算出するアルゴリズムを開発した．実際に動作している様子はこの動画1 に纏めてある．
1

https://youtu.be/f9wtjBothhw?si=1X9Vvb0_JWat_QKd

3

被験者実験

BirdViewAR がパイロットの状況理解を向上させたのかを確認するために，ドローン初心者 9 名を対象として屋外での実機実験を行った．被験者には，一定の距離 (5 m) を保ったままポールの周りを一周させる Nose-in-circle タスクと複数のポール間を高速で移動する Fast-positioning タスクの 2 種類を課した．本稿では定量評価項目の結果のみを紹介する．
Nose-in-circle タスクにおいて，BirdViewAR は平均距離誤差を FPV のみに比べて 68%，AR 表示無しの三人称視点に比べて 59%改善した．この結果から，AR 空間情報重畳表示により，パイロットの位置関係理解を向上させたことが分かる．また，
Fast-positioning タスクにおいて，BirdViewAR はオーバーシュートを FPV のみに比べて 53%，AR有り固定三人称視点に比べて 44%改善した．この結果から，副ドローンの最適配置により，パイロットの空間理解及び予測を向上させたことが分かる．被験者実験の結果から BirdViewAR がドローンパイロットの周囲空間状況理解の向上に有効であると結論付ける．

4

まとめ

本研究では，動的な三人称視点への AR 空間情報重畳によるドローン操縦支援手法 BirdViewAR を提案した．また，既存のプログラマブルドローン 2台を用いて BirdViewAR を実機実装し，パイロッ
トの空間状況理解を測定するユーザスタディを行った．その結果，AR による空間情報重畳により，パイロットの空間理解が高まったことが示された．また，三人称視点の最適配置により，パイロットの状況予測が支援されることも示された．今後の展望として，より多くかつ異なるドローン習熟度を有する被験者での実機実験を行うことで，システムの有効範囲を明確化する．また，手動での三人称視点操縦手法及び副ドローンの障害物/遮蔽回避手法を導入することで安全性を向上させる．

BirdViewAR: 拡張三人称視点による周囲状況理解支援ドローン遠隔操縦インタフェース

謝辞
本研究の一部は JSPS 科研費 JP22J22982 の助成を受けたものである．

参考文献[1] L. Chen, K. Takashima, K. Fujita, and Y. Kitamura. PinpointFly: An Egocentric PositionControl Drone Interface Using Mobile AR. In
Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems, CHI ’21,
pp. 150:1–150:13, New York, NY, USA, 2021.
Association for Computing Machinery.
[2] C. Diaz, M. Walker, D. A. Szaﬁr, and D. Szaﬁr.
Designing for Depth Perceptions in AugmentedReality. In 2017 IEEE International Symposiumon Mixed and Augmented Reality, ISMAR ’17,
pp. 111–122, 2017.
[3] H. Hedayati, M. Walker, and D. Szaﬁr. Improving Collocated Robot Teleoperation withAugmented Reality.
In Proceedings of the2018 ACM/IEEE International Conference on
Human-Robot Interaction, HRI ’18, p. 78–86,
New York, NY, USA, 2018. Association forComputing Machinery.
[4] W. E. Hick. On the Rate of Gain of Information.
Quarterly Journal of Experimental Psychology,
4(1):11–26, 1952.
[5] M. Inoue, K. Takashima, K. Fujita, and Y. Kitamura.
BirdViewAR: Surroundings-Aware
Remote Drone Piloting Using an Augmented
Third-Person Perspective. In Proceedings ofthe 2023 CHI Conference on Human Factors in
Computing Systems, CHI ’23, New York, NY,USA, 2023. Association for Computing Machinery.
[6] J. Li, R. Balakrishnan, and T. Grossman.

StarHopper: A Touch Interface for Remote
Object-Centric Drone Navigation. In Proceedings of Graphics Interface 2020, GI 2020, pp.
317 – 326. Canadian Human-Computer Communications Society, 2020.
[7] R. Temma, K. Takashima, K. Fujita, K. Sueda,and Y. Kitamura. Third-Person Piloting: Increasing Situational Awareness Using a Spatially Coupled Second Drone. In Proceedings ofthe 32nd Annual ACM Symposium on User Interface Software and Technology, UIST ’19, p.
507–519, New York, NY, USA, 2019. Association for Computing Machinery.
[8] J. Thomason, P. Ratsamee, K. Kiyokawa,P. Kriangkomol, J. Orlosky, T. Mashita,Y. Uranishi, and H. Takemura. Adaptive View
Management for Drone Teleoperation in Complex 3D Structures. In Proceedings of the 22ndInternational Conference on Intelligent User Interfaces, IUI ’17, p. 419–426, New York, NY,USA, 2017. Association for Computing Machinery.
[9] M. E. Walker, H. Hedayati, and D. Szaﬁr.
Robot Teleoperation with Augmented Reality Virtual Surrogates. In Proceedings of the2019 ACM/IEEE International Conference on
Human-Robot Interaction (HRI), pp. 202–210,2019.
[10] J. Wither and T. Hollerer. Pictorial Depth Cues
for Outdoor Augmented Reality. In Ninth IEEE
International Symposium on Wearable Computers (ISWC’05), pp. 92–99, 2005.
[11] S. Zollmann, C. Hoppe, T. Langlotz, and G. Reitmayr. FlyAR: Augmented Reality Supported
Micro Aerial Vehicle Navigation. IEEE Transactions on Visualization and Computer Graphics, 20(4):560–568, 2014.