情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19012
2019/3/6

空間連動する 2 つのカメラ視点を用いたドローン操縦インタフェースの拡張
天間 遼太郎†1

高嶋 和毅†1

末田 航†2 藤田 和之†1

北村 喜文†1

概要：本研究では，空間的に連動する 2 台のドローンを利用して従来のドローン操縦インタフェースを拡張する．提案インタフェースでは，主たる操縦対象のドローン（主ドローン）カメラによる一人称視点に加えて，主ドローンに空間連動する副ドローンを用いて広域な
三人称視点を提供することで，パイロットのドローン周囲への理解（Situational Awareness）を高め，ドローンの操縦や飛行経路計画をより簡単にする．主・副ドローンの位置関係は，座標系対連動法[7][15]を応用して，パイロットの視点位置とコントローラ上に設置された主ドローンの模型との位置関係と同等になるように自動的に制御される．パイロットは，スティックコントローラで主ドローンを従来通りの方法で操作することが可能で，そして，必要に応じてその模型の姿勢を操作して副ドローンの位置（三人称視点）を変更することが出来る．我々は，この提案インタフェースのプロトタイプをプログラマブルなドローンを用いて実装し，ドローン操縦経験の異なる複数の参加者群によるユーザスタディを実施してその有用性を検証した．その結果，提案インタフェースが参加者から概して好まれたことがわかり，ドローン操縦における Situational Awareness が高められることが示唆された．

図 1 提案インタフェースの概要 （a） 主・副ドローンと被写体の位置関係, （b） パイロットの視点，コントローラ，
主ドローンの模型の位置関係, （c） 副ドローンによる三人称視点，（d） 主ドローンによる一人称視点

1. はじめにドローンが障害物に衝突して墜落するリスクの増加に繋がるだけではなく，パイロットの心理的不安を生みだし，刺近年，一般向けの安価かつ小型で操縦に免許が不要なマ

激的なカメラワークが出来なかったり，被写体に十分に接ルチコプター（以下ドローンと呼ぶ）が急速に普及してい近できなかったりと，操縦の質も低下する恐れがある．

る．ドローンは空撮だけでなく，災害状況調査や災害救助，なお，ドローン操縦において安全性は最も優先される事広大な農場のモニタリング，建築物の検査，荷物の運搬な項であり[28]，近年は，機体に装着された近接センサによりど様々な用途にも用いられつつあり，ドローンレースなど

自動で障害物を回避する機能（Simultaneous Localization andにも注目が集まっている．普及を続けるドローンではある

Mapping，以下 SLAM と呼ぶ）を搭載したドローンも登場が，その操縦難易度は高く，自由自在に操縦できるようにしてきた[3]．しかし，これらは主に完全自律ドローン飛行

なるには相当量の練習（例えば，10 時間以上の飛行実績[32]）に向けたものであり，パイロットがインタラクティブにドが必要である．特に，ドローン機体を目視せずに，機体のローンを操縦する場面の SA をリアルタイムに強化したり

カメラ映像だけを元に操縦する「目視外飛行」は，遠距離パイロットの心理的な不安を解消しようとするものではなの飛行が可能でありドローンの運用可能性を大幅に広げるい．また，自動的な回避行動がパイロットの意図に反する

一方で，より熟練した操縦技術が必要になる．目視外飛行場合には，飛行の質に悪影響を与える恐れもある．一方，の難しさの主な要因は，ドローンカメラからの映像の視野

SA を一時的に高める典型的な方法として，ドローン機体が限定的でパイロットのドローン周囲の状況理解

を上昇・回転させて周囲を見渡すこと等が考えられるが，（Situational Awareness, 以下 SA と呼ぶ）が乏しくなること

本来の目的とは違う操縦を追加することになり無駄が多くである．空撮の場合，ドローンの進行方向とそのカメラのなる他，リアルタイムには SA を強化できない．全天球カ

向きが異なることは多く，この場合には，パイロットは機メラをドローンに装着すること等も考えられるが，カメラ体の進行方向の情報を把握できないことになる．これは，は機体に固定されているために，広域な三人称視点を自由に生成することは難しい．

†1 東北大学 電気通信研究所†2 National University of Singapore© 2019 Information Processing Society of Japan

一方，この問題は，関連分野である遠隔ロボット操縦において古くから議論されてきた．そこでは，ロボットのカ

102

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

メラ視点に加えてその周囲環境の情報が多く含まれる三人
称視点の提供が操作やタスクの達成に極めて有効であることはよく知られている[14]．また，VR の分野においても，広大な仮想環境をウォークスルーする際に，一人称と三人称視点を連携したナビゲーション技術が提案されている[7][15]．その他，ゲーム等においても，一人称と三人称視点の両方を利用することは一般的であり，三人称視点を併用する重要性と有用性は既に明らかと言える．この基本的な知見に基づくと，ドローン操縦においても，操縦中に適切な三人称視点をリアルタイムで提供できれば，パイロッ
トの SA を強化でき，操縦や飛行経路計画の質を大幅に改善することができると考える．しかし，これまでのドロー
ンのカメラの研究においては，機体背後の棒の先端にカメラを取り付けた簡易的な三人称視点（機体の一部が含まれるオンボード映像）を検討するに留まり，ドローン周囲の広域な三人称視点をインタラクティブに提供する技術は検討されていない．
そこで本研究では，2 台のドローンを空間的に連携させ，従来のドローン操縦インタフェースを拡張して，パイロッ
トの SA を高めて操縦の質の改善を試みる．主たる操縦対象のドローン（以下「主ドローン」という）は，一般的な操縦と同様に一人称視点のカメラ映像を提供する．そして，
2 台目のドローン（副ドローン）は，図 1（a）に示すように主ドローンより高く離れた十分に安全な位置を飛行し，より広域な三人称視点のカメラ映像を提供する．これら二つの視点（ドローン機体）の位置関係をインタラクティブにそして直感的に制御するために，座標系対連動法[7][15]に基づいたアルゴリズムを開発する．これにより，副ドローンは主ドローンを単に追従するだけではなく，主ドローン周囲の軌道上を自由に飛行し，様々な角度からの三人称視点を提供可能になる．
図 1 に，提案するインタフェースの概要を示す．基本的なアイディアとしては，パイロットの視点とコントローラ
上に設置された主ドローンの模型との位置関係が，主ドローンと副ドローンの位置関係に常に反映される．図 1 で説明すると，同図（a）の主ドローンと副ドローンの位置関係を示す青の三角形と，同図（c）のにおけるコントローラ上の模型とパイロット視点の関係を示す青の三角形は常に相似に保たれる．つまり，パイロットが模型の向きを変えると，その位置関係を保つように副ドローンの位置が自動的に制御される．主ドローンが操縦された場合も，副ドロー
ンはその主ドローンに追従し，それを中心とする軌道上を飛行するよう自動で制御される．
本研究では，上で示した 2 台のドローンの連携アルゴリ
ズムを適切に稼働させるためのコントローラも設計する．
そして，MAVLink[12]に対応するドローン 2 台を用いてプ
ロトタイプを実装し，その有用性をユーザスタディによりINT19012
2019/3/6

2. 関連研究
ドローン操縦インタフェース及び自律飛行
現在主流のドローンコントローラの多くは，2 本のステ
ィックを用いたものである．これは飛行機の操縦桿をもとにして設計されたものであり，一方のスティックで上昇下
降と水平方向の回転を制御し，もう一方のスティックで水平方向の前後左右の移動を制御する．一方，このスティックを用いた操縦方法を習得するには一定の時間が必要である．そのため，これをより直感的に簡単にするために，HCIや HRI の分野ではジェスチャによる操縦インタフェースが盛んに研究されている[4][20]．例えば，パイロットの頭部の回転や移動をドローンの動きに対応付けるもの[10]や，
パイロットの腕のジェスチャでドローンを操縦するもの[11]がある．これらは，直感的な操縦によりドローンによるテレプレゼンスを高めることが目的であり，パイロットのSA については検討していない．
モバイル端末を用いた AR もドローン操縦に利用されつつある．例えば，exTouch は，モバイルデバイスのカメラでドローンを捉えて，スクリーンをタッチしたりドラッグすることでそのドローンを制御するインタフェースである[13]．また，モバイル AR 環境において仮想平面を定義しそこに軌跡を描くことでドローンを操縦するインタフェースなども提案されている[29]．これらは，従来のコントローラに頼らず，より直感的で直接的な操縦を可能にしているが，手元のカメラ端末でドローンを捉え続ける必要があり，広域のドローン操縦には向かない．
インタフェースの改善ではなく，人の介入を極力減らす
自律飛行のためのアルゴリズムの開発も盛んである．ドローンのカメラ映像を元に障害物を認識しそれを避けるように自動飛行するもの[3]や，ユーザの操縦に介入し自動で回避行動をとるものがある[17]．また，映像中の被写体を認識し，それを捉え続けるように自動飛行するものがある[17]．
そのほか，自動で飛行経路を生成し効果的な空撮を可能とするシステムも登場してきた[8][9][27]．これらの研究は，運搬や空撮等を自動化することに主眼を置いており，パイ
ロットがインタラクティブにドローンを操縦する場面を支援するものではない．
遠隔操作ロボット操縦における SA
周囲空間の理解（Situation Awareness）は，刻々と周囲環境が変化する遠隔操作環境下において極めて重要な概念である．SA は，情報の知覚，理解，そして将来の状況の予測の段階があり，SA が高いほど，効果的なタスクの遂行が可能とされている[5]．そのため，遠隔ロボット操縦においてSA を強化することは必須である．Kelly らは，遠隔操作ロボットに複数のカメラとレーザスキャナを搭載し，これを元に周囲の地形の 3D モデルを生成し，任意の方向から三人称視点を生成できるシステムを提案した[14]．全天周カ検証する．

© 2019 Information Processing Society of Japan103

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19012
2019/3/6

メラをロボットに配置して周囲状況を正確に把握しながら頭を固定したままコンロトーラを右回りに回転すると，VRロボットを操縦する研究も多数ある（例えば [22]）．しかし，空間内の三人称視点カメラは一人称視点カメラの右に回り

全天球カメラ映像は広域視野を獲得するが中心視点は固定

込む．この研究では，ユーザスタディにより，インタラク（ロボット）であるため，三人称視点の視点を生成するこ

ティブな三人称視点により SA が高まることと，VR 空間内とは難しい．また，これらは光学センサデータをもとにすの探索効率が向上したことが示されている．本研究では，るため，センサで捉えられない死角（障害物の先など）に

仮想空間内での成功事例であるこの座標系対連動法を単純ある情報は得られない．Saakes らは遠隔操作車両の三人称化して，2 台のドローンのカメラ視点の制御に応用する．

視点映像を提供する方法として，車両に棒を取付けて，その先端にカメラを取り付ける方法と，車両の上空にドローン（カメラ）を飛行させる方法を検討した[21]．この研究は

3. 提案インタフェース
概要

全天球カメラや光学センサの死角を減らし SA を高める点

2 章で述べたように，遠隔操作ロボットや VR の業界でで我々の研究と近い．しかし，遠隔車両ロボットを対象と蓄積されてきた知見に従うと，目視外ドローン操縦においしたものであり，ドローン（カメラ）の位置をインタラクてもリアルタイムに広域の三人称視点を追加し，それをイティブ制御することはできない．

ンタラクティブに操作できれば，パイロットの SA は劇的

ドローン操縦における SAに改善され，探索や操縦の質も向上すると期待できる．そFlying Frustum は，一人称視点と三人称視点を組み合わせ

こで本研究では，主ドローンに加えて，空間的に連動するたドローン操縦インタフェースである[16]．探索対象の地

副ドローンを利用してインタラクティブに操作可能な三人形の模型があり，そこに，GPS 情報に基づくドローンの位

称視点を提供し，パイロットの SA の向上を図る．本研究

置とそのカメラ映像が重畳表示されている．これにより，で目視外飛行を主として扱うのは，非常に高度な操縦技術

パイロットはドローンが飛行する地形全体を見渡しながらが求められることと，その難易度の高さがドローンの応用（三人称視点），ドローンの位置とそのカメラ映像（一人称に向けて大きなボトルネックになっているためである．ド視点）を同時に把握でき，高い SA を得ることができる．

ローンが持つ飛行性能を最大限に活用するためには，目視この研究は，我々の研究と共通する点は多いが，3D プリン

外飛行をより安全に実施する仕組みが必要であり，その中トした地形の模型を用いるために利用場面がかなり限定的でもパイロットが十分に高い SA を確保できるかどうかはであり，拡張性も低い．

極めて重要なポイントである．

その他，様々なドローン操縦におけるカメラ映像を拡張

我々は，提案インタフェースを次に示す三つの考え方をする研究がある．例えば，Okan らは室内でのドローン飛行

基に設計することとした．1 つ目は，一人称視点と三人称において，AR グラスを用いて壁の先の死角にあるドロー

視点映像を提供する 2 台のドローンは同時に飛行し，前者ンを制御する方法を提案している[6]．また，Thomason らはパイロットが任意に操縦し，後者は主ドローンと連携しは，SLAM の点群データとドローンを VR 上で視覚化し，て安全な距離を保ちながら半自動で飛行するものである．

その中の任意の視点でドローンを操縦することができるイ

2 つ目は副ドローンの位置は主ドローンを中心とした軌道

ンタフェースのシミュレータを開発した[24]．これらは上の任意の位置にパイロットがインタラクティブに移動可

SLAM の点群データを用いて三人称視点を生成するもので能なものである．3 つ目は既存のドローン操縦インタフェあり，これによってドローン操縦の SA を高めることが示ースと互換性を持ち，1 台のコントローラで一人のパイロされている．一方，生成される三人称視点は SLAM の点群

ットが 2 台のドローンを簡単に制御可能なものである．以

データに依存するため，移動体を点群データで表示すると，下では，これらを実現するための連携アルゴリズム，コン

初期の点群と人が歩いたあとの点群が混じるため動的な環

トローラ，および実際の操作の詳細にについて述べる．

境下の正確な情報は得られない．
仮想環境での視点制御手法

連携アルゴリズム
インタラクティブに 2 台のドローンを操縦するために，

仮想環境でのカメラ視点をインタラクティブに操作す単純化した座標系対連動法[7][15]を用いる．先行研究では，る研究は古くからされてきた[23][25]．研究例は多いが，複コントローラの位置や回転量がユーザからの入力として扱数のカメラを連携操作するものは少ない．本研究に深く関われた．しかし，ドローンコントローラ自体を回転させた

わるものとして，仮想環境内で一人称視点と三人称視点をりすることは不自然な姿勢を生み出すため，本研究では，連携操作する座標系対連動法がある[7][15]．この研究では，

パイロットはドローンコントローラの筐体ではなく，そのユーザは HMD を装着しコントローラを持つ．その HMD上部に設置した主ドローンの模型を操作するものとする．

の映像には一人称視点と三人称視点が表示されており，そ3.2.1 座標系の定義

れらの位置関係は，ユーザの頭部（HMD）とコントローラ

コントローラに設置された主ドローンの模型の座標系の位置情報と同等になるように連携制御される．例えば，とパイロット視点の座標系と，主ドローンの座標系と副ド© 2019 Information Processing Society of Japan104

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19012
2019/3/6

ローンの座標系の 2 つの座標系の対を考える．なお，パイロットの視点と副ドローンの位置は，それぞれ，主ドロー
図 2（a）は主ドローンの模型の座標系とパイロット視点の座標系の関係性を表す．同図において，模型の座標系を初期状態ンの模型と主ドローンを原点とした球面座標系により表す．

𝑥𝑥, 𝑦𝑦, 𝑧𝑧軸で表し，パイロット視点の座標系を𝑋𝑋, 𝑌𝑌, 𝑍𝑍軸で表す．

図 2（a-1）は模型が水平（初期）状態であり，この場合には，𝑥𝑥, 𝑦𝑦, 𝑧𝑧軸と𝑋𝑋, 𝑌𝑌, 𝑍𝑍軸の原点と回転は同一である．パイロ表される．𝑟𝑟と𝛼𝛼は変数ではあるが，後述する実際のプロトタイピング時において，単純化のため，𝑟𝑟は定数で 𝛼𝛼は 45 度とする．なお，パイロットの視点は，模型の座標系においては(𝑟𝑟, 𝜃𝜃, 𝜑𝜑)で表される．図 2（a-2）に示すように，パイロットは模型を回転して，副ドローンの位置を制御する．模型が回転された場合，模型の座標軸である𝑥𝑥, 𝑦𝑦, 𝑧𝑧軸も同様に

(a-1)

(b-1)

(a-2)

(b-2)

模型を回転した 状態

ット視点の座標系でのパイロット視点の位置は(𝑟𝑟, 𝛼𝛼, 0)で回転するため，その回転量は，それぞれの軸ごとに，roll,
pitch, yaw で表すことができる．これら回転量が副ドローン

図 2 提案手法のアルゴリズム概要の位置を計算するために最も重要な入力値となる．
図 2（b）は主ドローンの座標系と副ドローンの座標系の関係性を表す．図 2 (b-1)に示すように，主ドローンの座標
系は𝑥𝑥′, 𝑦𝑦′, 𝑧𝑧′軸で表し，副ドローンの位置は極座標形式にて(𝑟𝑟′, 𝜃𝜃, 𝜑𝜑)で表される．なお，図 2 (a)と図 2 (b)の座標系は連動するため，この図 2 (b)における𝜃𝜃と𝜑𝜑は図 2（a）における𝜃𝜃及び𝜑𝜑と同一となる．つまり，図中，模型の座標系の𝑥𝑥, 𝑦𝑦（a）正面図平面に対するパイロット視点の位置の射影が作る灰色の三角形と，主ドローンの座標系の𝑥𝑥’, 𝑦𝑦’平面に対する副ドロー
ンの位置の射影が作る青の三角形は常に相似になる．これが本アルゴリズムにおいて特徴的な点であり，座標系対連動法を簡略化して適用したものである．

この連携アルゴリズムの目的は，副ドローンの位置(𝑟𝑟′, 𝜃𝜃, 𝜑𝜑)を模型の回転量である roll, pitch, yaw から計算することであり，次に示す，式(1)から(3)で与えられる．
𝜃𝜃 = 𝛼𝛼 − (𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟 ∙ sin(𝑦𝑦𝑦𝑦𝑦𝑦) − 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝ℎ ∙ cos(𝑦𝑦𝑦𝑦𝑦𝑦))
𝜑𝜑 = 𝑦𝑦𝑦𝑦𝑦𝑦

(1)

(2)
(3)

𝑎𝑎は主・副ドローンの間の距離を定めるための定数である．本研究では𝑟𝑟も定数として扱うため，ドローン間の距離は安全の範囲で固定することになる．式(3)における 𝜑𝜑は副ドローンの方位角を示すが，これは模型の水平方向の回転

角度が直接用いられる．式(2)における𝜃𝜃の計算は複雑に見えるが，場合分けをすると単純化できる．例えば，𝑦𝑦𝑦𝑦𝑦𝑦 = 0のとき（模型が初期状態のとき），𝜃𝜃 = 𝛼𝛼 + 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝ℎであり，模型の pitch 方向の回転角度の変化のみが𝜃𝜃に反映され，

𝑦𝑦𝑦𝑦𝑦𝑦 = 90のとき（模型をに 90 度回転したとき），𝜃𝜃 = 𝛼𝛼 −𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟であり，roll 方向の回転角度の変化のみが𝜃𝜃に反映される．より具体的な挙動はデモビデオを参照されたい．

© 2019 Information Processing Society of Japan図 3 提案ドローン操縦コントローラ
ドローン操縦コントローラ
図 3 に，提案するアルゴリズムを運用するためのコント
ローラを示す．これは現在主流の 2 本のスティックを用いたコントローラを基にしているので，主ドローンを操縦す

3.2.2 模型姿勢から副ドローンの位置の計算

𝑟𝑟 ′ = 𝑎𝑎 ∙ 𝑟𝑟（b）自由雲台上の模型るために特別な練習は不要である．図 3 (b)に示すように，
コントローラの上部には自由雲台を設置し，主ドローンの模型をスマートフォンと共に搭載する．スマートフォンは内蔵のセンサにより模型の傾きを計測しリアルタイムでシステムに送信することで，インタラクティブな副ドローンの制御を可能にする．また，図 3 (a)に示すように，2 台のスマートフォンが模型とスティックの間に設置され，それぞれ一人称視点映像と三人称視点映像を表示する．図中では一人称視点は左で，三人称視点は右である．混乱を防ぐために「一人称視点」と「三人称視点」と書かれたラベルをそれぞれのスマートフォンの下部に貼っている．すべてのデバイスは 3D プリンタにより出力したパーツでコント
ローラに装着しており，必要に応じて瞬時に着脱可能な設計である．
操作方法の設計
主ドローン模型を回転させたときの基本的な副ドロー
ンの動きを図 4 に状態遷移で示す．図 4（a）
（上段）は模型とパイロット視点，および主ドローンと副ドローンを上105

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19012
2019/3/6

ドローンと副ドローンを右側面から見た様子である．図 4（b-2）は模型が水平で回転していない初期状態である．なお，模型の座標系におけるパイロット視点位置の偏角は 45度で固定のため，𝜃𝜃の初期状態も 45 度となる（前述のとおり，パイロット頭部の移動を入力として使わないため）．また，𝑟𝑟’については前述の𝜑𝜑と同様である．図 4（b-1）は図 4（b-2）の状態から，パイロットが模型の上面が見るよう手
前に−𝛥𝛥𝛥𝛥だけ回転したものである．このとき𝜃𝜃は小さくな
図 4 2 つの基本的な操縦方法とその遷移から見た様子である．図 4（a-2）は模型が水平で回転していない初期状態であり，パイロットの視点は模型の真後ろにあるため副ドローンは主ドローンの真後ろに位置する．
式（1）に示すように，主ドローンと副ドローン間の距離 r’
は模型とパイロットの視点間の距離𝑟𝑟を変数として計算される．例えば，パイロットが模型をより近くで見ると𝑟𝑟’は短
くなり，ドローン間の距離も短くなる．ただし，今回は，𝑟𝑟の距離によらず，𝑟𝑟’を 10m に固定する．これは，パイロッ

トの視点は手や頭部は揺れることも多く，信頼性が高い入力値ではないということと，ドローン同士の接触を避ける

り，副ドローンは主ドローンを中心に−𝛥𝛥𝛥𝛥だけ回転するよ
うに移動する．これにより副ドローンは主ドローンの真上方向に移動し，主ドローンの上からの広域な三人称視点映像を提供する．同様に図 4（b-3）は図 4（b-2）の状態から模型を下側から見るように𝛥𝛥𝛥𝛥だけ奥へ回転したものであり，副ドローンは主ドローンを中心に𝛥𝛥𝛥𝛥だけ回転するよう下側に回り込み．主ドローンのほぼ同じ高さからの広域な
三人称視点映像を提供する．
図 4 においては副ドローンの操作方法を上面と右側面から別々に説明した．しかし模型は自由雲台に搭載されており，前述の操作を組み合わせて自由に回転し副ドローン
を任意の地点に移動し飛行状況に最適な三人称視点を得るために予備実験を経て決定した．
はじめに水平方向の位置を表す𝜑𝜑について述べる．図 4（a-1）は図 4（a-2）の初期状態から，パイロットが模型の左側面を見るように−𝛥𝛥𝛥𝛥だけ水平に回転したものである．
このとき，模型座標系においてパイロットの視点は偏角𝜑𝜑として表される．このとき，機首を主ドローンに向けたまま主ドローンを中心に−𝛥𝛥𝛥𝛥だけ水平に回転するよう移動する．これにより副ドローンからの三人称視点は主ドロー
ンの右方向の広域な映像を提供する．同様に図 4（a-3）は
図 4（a-2）の初期状態から，パイロットが模型を右から見るように𝛥𝛥𝛥𝛥だけ水平に回転したものである．この場合，副ドローンは主ドローンを中心に𝛥𝛥𝛥𝛥だけ水平に回転するよう右側に回り込み．主ドローンの左方向の広域な三人称視
点映像を提供する．
次に垂直方向の位置を表す𝜃𝜃について述べる．図 4（b）
（下段）は主ドローンの模型とパイロット視点，および主ことが可能である

4. プロトタイピング
提案インタフェースを実稼働させて検証を進めるために，民生用プログラマブルドローンを用いてプロトタイプを実装した．システム構成とデバイス間のデータの流れ及びプロトコルを図 5 に示す．図中，点線と実線はそれぞれ無線と有線通信を示し，異なるデータの種類やプロトコルは異なる色で表される．矢印はデータの流れの向きを表し，
角丸長方形のソフトウェアやプロセスで処理が行われる．
長方形はハードウェアを表し，ソフトウェアやプロセスを内包する．長方形内の左上の番号は，次に述べる制御の流れの説明での番号と対応する．なお，本研究で実装したシステムは多数の API を利用しているが，本稿では，その細部は機種依存のことも多いために省略し，基本的な装置の

図 5 プロトタイプのシステム構造とデータの流れ© 2019 Information Processing Society of Japan106

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

告する．
システム構造と基本的な制御の流れ
主ドローンである 3DR Solo①は，その付属コントローラ
より制御可能なため用いた[1]．主ドローンの GPS 座標データはコントローラ②を経由して Windows PC 上の地上局⑤へ送信される．副ドローンの位置を決めるために必要な模型の回転角度データは，模型を搭載したスマートフォン⑧により取得し，地上局⑤へ送られる．これら GPS 座標と模型の回転角度を元に副ドローンの位置が計算される．この計算結果は，GPS 座標データ形式で，副ドローン 3DR
Solo③へ付属コントローラ④を経由し送信される．
2 つのドローンカメラ視点映像の表示
コントローラ②上に，ドローンからの映像を提示するために，主ドローンのカメラからの一人称視点映像を提示す
るスマートフォン⑥と副ドローンのカメラからの三人称視点を提示するスマートフォン⑦を搭載する．それぞれのドローンカメラは GoPro Hero4 を用い，これを 3 軸ジンバル
でドローンに搭載する．スマートフォンはそのディスプレ
イの輝度の高さから iPhone X を用いた．カメラの映像はReal-time Transport Protocol （RTP）によりスマートフォン⑥と⑦まで無線転送されアプリケーション上で表示される．
機器間の無線ネットワーク

三人称視点②により操縦される．3DR Solo は MAVLink プロトコルに

一人称視点

構造，データやパイプライン等の抽象的な設計を中心に報INT19012
2019/3/6（a）水平方向位 （b）垂直方向位 （c）動体の追従
図 6 2 台のドローンの操縦シナリオが遅いという課題がある．3DR Solo は GPS による位置補正を有効にした場合の最大速度は 15m/s であり，地上局が得る GPS 座標は 50ms から 200ms 程度の遅延があり，その更新周期は 10Hz である．主・副ドローンがそれぞれ最大速度で飛行した場合には，主ドローンの急激な方向転換な
どには副ドローンは追従できず，オーバーシュートが発生する．そこで，今回は，予備的な検討を経て，より安定した連携を実現するために，最大速度を主ドローンは 9m/s，
副ドローンは 12m/s に設定した．また，安全を考慮し，万が一オーバーシュートが大きく発生した場合に備えて 2 台のドローンの距離は余裕を持たせて 10m に設定した．これは将来的にセンサ性能の向上した場合に，短く設定することも考えられる．

5. 操縦シナリオ

コントローラ②と④はそれぞれ Wi-fi アクセスポイント

空撮や検査など，パイロットが主体的にドローンを操縦

AP-1 と AP-2 を生成する．主ドローン①と一人称視点映像する場面における提案インタフェースの利用シナリオにつ

提示用スマートフォン⑥は AP-1 に，副ドローン③と三人いて述べる．

称視点映像提示用スマートフォン⑦は AP-2 に接続される．
それぞれのアクセスポイントは MAVLink と RTP の映像データをブリッジする．また，AP-3 を別に生成し，2 つのコ
ントローラ②と④を接続することで地上局からそれぞれのドローン①と③へ TCP/IP 通信を可能とする．
副ドローンの自動飛行
副ドローンの主な自動飛行の内容は，アルゴリズムにより計算された目的座標へ飛行し，主ドローンをカメラの中心に捉えるものである．前者は地上局のソフトウェアでア

水平方向での位置合わせ
ドローンから得られる一人称視点映像のみを頼りに，ドローンを被写体と障害物の「間」に配置したり，あるいは，
被写体建築物に「できるだけ近く」に配置することは難し
い．なぜなら，ドローンからの一人称視点の映像の視野は狭く，ドローン背後などカメラが捉えられない領域の情報が分からないためである．図 6（a）上は，歩行者を接写するためにドローンを接近させている．このシーンは，実際には，同図下に示すように，ドローン背後には堤防がある．

ルゴリズムに基づき計算された GPS 座標を用いて，後者にもしパイロットがそれを知っている場合は，ドローンを後は主ドローンの GPS 座標を用いる．Pixhawk[18]上で動作退させる時には大きな不安を覚えるはずである．パイロッ

する Ardupilot[2]によりこれらの GPS 座標が処理され，副トが後ろにある堤防に気づかない場合は，衝突するリスク

ドローンは目的座標へ移動し，カメラのジンバルの傾きを制御し主ドローンをカメラ映像の中心に捉える．
機体性能デザイン
実際のドローンに連携アルゴリズムを適用するにあた
り，機体の挙動を決めるパラメータをいくつか最適化する必要がある．最も大きく影響を与えるパラメータはそれぞれのドローンの最大速度である．副ドローンは自動制御されるがこれは主ドローンの GPS 座標データにより計算さがより増加する．さらに，同図上を見ても分かるように，
この一人称視点からだけでは，被写体に対してドローンがどの程度近づいているかが正確に把握しづらい．
そこで，本提案インタフェースでは，図 6（a）下に示す
ように，主ドローンを上方左側から捉えるように副ドローンを配置し，高い視点からの三人称視点を提供することで，パイロットは，ドローン，被写体，障害物（同図では堤防）に関する水平方向の距離感をほぼ正確に把握することがでれる．一方このデータは遅延が大きいことやその取得周期© 2019 Information Processing Society of Japan107

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

きる．
垂直方向での位置合わせ

INT19012
2019/3/6

障害物は見えないため，道の形状に沿った飛行を計画することは不可能であり，また危険も伴う．一方，提案手法を

垂直方向のドローンの位置合わせは，水平方向の位置合用いて，図 6（c）下に示すように主ドローンの前方から，わせとは異なる空間理解が必要である．例えば架橋の点検

主ドローン，その進行方向，および被写体を含む三人称視作業ではドローンは橋の下等を飛行することになるが，一点を提供すれば，その先にどのように道が続くのか（人が人称視点の限られた視野からの映像では天井との距離を保歩くのか）といった情報や人とドローンの距離間などを正つことが難しく，衝突の危険性が大きい．図 6（b）上に示確に把握することができるため，移動体を効果的に撮影すすように，橋の下をドローンが通過したりホバリングするることができる．主ドローンが後進しても副ドローンは相際，垂直平面において，どの程度橋に接近にしているのか

対位置を保ったまま追従するので，カーブに差し掛かる直の距離感が正確に掴めない．なお，このような建築物の検前やカーブを過ぎたあとも主ドローンの進行方向の情報を査用のドローンに自由回転する外殻を搭載し，障害物と接提供し続ける．これにより直近のドローンの操縦だけでな触しても墜落しない（半ば接触させながら検査をしていく）

く，飛行全体を通した飛行経路の計画も容易にする．

仕組みが研究されている[19]．しかしながら，物理的な接触を伴わない接近方法が望ましいのは言うまでもない．

なお，この例も操縦難易度が高いものである．主ドロー
ンの頭の向きと副ドローンの頭の向きが完全に逆になるた

提案インタフェースを用いた場合，図 6（b）に示すようめに混乱が起きる可能性があるため，主ドローンと副ドロに主ドローンとほぼ同じ高さに副ドローンを配置すると，ーンの視点のどちらを重点的に利用するかを決めたうえで

主ドローンの側面からの三人称視点が得られる．これによ操作する工夫は必要である．

り，パイロットは天井とドローンの垂直方向の距離感を正確に得ることができる．

6. ユーザフィードバック

なお，図 6（b）の例は，障害物が立体的であり複雑なケ提案手法のフィードバックを得るために，評価実験を実ースである．その場合，提案インフェースでは，主ドロー施した．一般的なドローンの頻繁利用シーンを考慮して空ンと周囲との位置関係を適切に捉えられるが，副ドローン

撮と探索タスクを用意した．なお，実験は当初の目的通り，が障害物と接触する危険性を生み出していることは否めな

目視外飛行を対象とした．実験参加者は操縦技術の熟練度

い．そのため，インタフェースとしては，ドローンを移動の異なる 8 名であり，未経験者，初心者，熟練者の 3 段階

しながら模型の操作（副ドローンの位置の変更）をさせなに分けた．未経験者はドローンの全く操縦経験がないか，

いことや，ドローンが移動する際に，副ドローンのカメラ

1 時間未満の操縦経験者（3 名）とし，初心者は約 10 時間が進行方向以外を長時間捉え続けるのを避けるなどの工夫

程度の操縦経験を持つが，日常的には操縦を行わない者（2が必要である．

名）とした．なお，10 時間の基準は国土交通省が定める「無周囲の確認人航空機の飛行に関する許可・承認」申請に最低限必要な次の経路を探索する際に，単純に周囲の状況を確認した

飛行実績を元にしている[32]．熟練者はドローンを日常的い場合には，提案インタフェースでは，コントローラ上のに業務で用いている者（3 名）とした．これらの異なる熟模型を一回り回転させることで，主ドローンの位置やカメ

練度の参加者を選んだのは，ドローンは発展しているとはラの向きを保ったまま副ドローンを主ドローン周囲の軌道

いえ，生活の中に浸透しているものではないために，提案

上を周回させることができる．このような周囲のスキャニ手法の有効性の範囲を調べるためである．

ングは，その後のドローン操縦方法や飛行経路を計画するために非常に有益である．
動線上の移動体の追従
動体を追従しながら空撮を行う場合，カメラの向きとドローンの進行方向が異なる場合が多い．単一ドローンを利用する場合，ドローンの進行方向にある障害物等の情報を

実験は安全性を考慮し人口密集地（DID[31]）から十分に遠く周囲にも障害物の少ない砂浜で実施した．建物等の障害物を設定しづらくなるが，5 章で議論した操縦シナリオの多くは実践可能であり，初心者（練習時の）の不安定な操縦でも安全性の問題が全く生じない環境である．
タスク

得ることができず接触や墜落の危険性が高まる．また，図タスクは空撮タスクと探索タスクを設定した．これらは6（c）上に示すように，一人称視点の映像のみでは，移動

今日のドローンの主な使用法を元にしており，かつ本提案する人とドローンとの距離感の把握が難しく，フレームに手法の操縦シナリオを複数組み合わせた操縦が求められる

被写体を同サイズで捉え続けるように距離を一定に保つこために設定した．

とは難しい．なお，図 6（c）はカーブしている道を被写体

6.1.1 空撮タスク

が歩き，ドローンは被写体の前方から被写体を捉えながら歩行する被写体に並走し，被写体を映像の中心に捉え続後進するものである．このとき，被写体を捉えているドロ

けながら撮影するものである．被写体とドローン，及び障ーンの映像からは進行方向の先の道の形状や道端の木等の害物との位置関係を図 7 に示す．被写体は堤防から 20m 離© 2019 Information Processing Society of Japan108

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19012
2019/3/6

境は見えないようにした．
6.2.1 未経験者
未経験者へは他の参加者よりも長い練習時間を設けた．
実験者によるドローン操縦方法説明の後，最大 15 分の 1 台のドローンのみでの練習時間を与えた．次に提案手法の説
明をし，その後練習時間を与えた．タスクの説明の際は，
図 7 空撮タスクの設定

図 8 探索タスクの設定れた地点に位置し，実験参加者は被写体と堤防の間にドローンを配置する．その後，被写体は堤防に沿うように一定
速度で直進し，参加者はこれを捉え続けるように主ドローンを操縦する．つまり，主ドローンの機首を被写体に向け
右方向へ飛行する．被写体は 30m 直進したあと数秒停止し，反対方向へ直進する．同様に参加者は被写体を捉えるために主ドローンの機首を被写体に向けたまま左方向へ移動す

操縦例を示した動画を提示し，その例に従う必要はないことも伝えた．その後，空撮タスクを行い，その後，同様のタスクを 1 台のドローンのみで実施した．これは，未経験者は十分な操縦経験がないため，1 台での操縦と提案手法の比較ができないためである．未経験者は，練習に時間がかかることと空撮タスクが 2 試行あるために，空撮タスクのみを実施した．
6.2.2 初心者る．このとき，主ドローンの進行方向は変わるため，参加初心者へは 1 台のドローンでの練習は省略し，提案手法

者は，進行方向を再び捉えるように適切に三人称視点を移を動画で説明した後，提案インタフェースでの練習を約 5動する必要がある．被写体が元の出発地点に戻ればタスクは終了である．タスクの説明を除き，離陸から着陸までお分行った．その後，空撮タスクと探索タスクを実施した．
6.2.3 熟練者
3 名の熟練者を有給で招いた．全員，空撮を専門とし，

およそ 5-10 分程度であった．なお，このタスクは水平及び垂直位置合わせ，動体の追従などの操縦シナリオを組み合わせた操縦が求められる．
6.1.2 探索タスク
アルファベットと記号が書かれた 3 つの目印を一つ一つ順番に探索するものである．目印の配置，アルファベットと記号の組み合わせや大きさなどを図 8 に示す．それぞれ

うち 1 名は建造物の調査・検査を業務として行っている．
提案手法を説明した後，5 分程度の練習を行い，空撮タスクを実施した．3 名の専門領域に近い空撮についてより深い考察をするために，空撮タスクのみを繰り返し実施してもらった．

7. 調査結果と考察の目印は 1m 四方であり，A, B, C のアルファベットが目印
全体に書かれている．また，目印の左上には 15cm 四方でそれぞれ星，丸，三角の記号が書かれている．これらは 30m

調査実験を通し，実装したプロトタイプは常に正常に動作した．実際の動作についてはデモビデオを参照されたい．
全体意見

四方内に互いに適切な距離を持ちそれぞれが異なる方向に向くよう配置される．参加者はこれらの目印をアルファベット順に探索するようドローンを操縦する．探索の際は主ドローンのカメラを真下に向け目印に近づき，目印の記号を確認したあと実験者にこれを報告する．そのため，目印の配置，ドローンの現在位置を確認することを頻繁に繰り返す必要があり，水平及び垂直位置合わせ，周囲確認などの操縦シナリオを組み合わせた操縦が求められる．
調査手順
参加者の操縦技術の熟練度に見合った調査手順を設定した．なお，実験日によって風の強さや日差しの強さが違うため，参加者間でも進め方に若干の違いは存在する．共通する手順として，実験者が提案手法について実機を用いて 5-10 分説明を行った後，参加者が同様に実機を用いて練習を行い，1 つまたは 2 つのタスクを実施する．すべてのタスクを終了したあと，インタビュー形式でフィードバッ
クを得る．説明や練習時には，ドローンの連携やその挙動を理解しやすくするため目視を許可したが，タスク試行時
は，テント等を用いて参加者が飛行中のドローンや周囲環© 2019 Information Processing Society of Japan

はじめに，8 人すべての参加者からの意見をまとめたものを次に示す．
−提案インタフェースとその動きを容易に理解できた−

主ドローンとその周囲の障害物や被写体との距離感を容易に把握できた（SA が向上した）−

主ドローンを思い通りの地点に容易に飛行させることができた−

副ドローンからの三人称視点があることで大幅に不安は低減された−提案インタフェースの動作が好きだった

一方で，次のような指摘が得られた．
−

三人称視点映像に映る主ドローンが小さく，背景によっては視認しにくい−

一人称視点映像を見たあとに三人称視点映像を見ると主ドローンの向きや進行方向を混乱しやすい
これらから，提案インタフェースは若干の改善の余地はあるものの，パイロットの SA を高め，操縦における不安を大きく軽減できることを確認した．依然として初期の検討結果であるが，目的に合致する結果であり，本研究のア

109情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19012
2019/3/6

プローチの妥当性は示されたと言える．次に各参加者からない可能性が示唆された．一方，ズーム可能なカメラを用の詳細な意見について考察する（未経験者：N1, N2, N3, 初

いたり三人称視点に主ドローンの位置情報を付加表示した

心者：B1, B2, 熟練者：E1, E2, E3）．

りすることで三人称視点に映る主ドローンの可視性を高め未経験者

ることや，E2 同様，模型を用いず他の余った指で副ドロー

参加者 N1 と N2 は二人とも 1 台のドローン条件での目ンを制御する仕組みがほしいといった提案が得られた．ま視外飛行に強い不安感を抱いていた．そして提案手法につた，建造物の間隔が狭い中で壁面を検査する場面や木が生いては，「模型インタフェースは理解できるが，慣れるまでい茂った貯水池の調査をする場面で有効的に使えるだろう

時間がかかる」と述べ，特に N2 は「提案手法が林や森なとの意見があった．

どの複雑な環境で有用である」と述べた．ただし，N2 は一
人称視点映像を見て操縦した後に三人称視点を操縦した場合，スティックを倒す向きとドローンの進行方向を混乱す

8. 議論
三人称視点によるドローン操縦の向上ることを指摘した． N3 は提案手法が全体的に難しいと意

参加者全員が三人称視点映像を得られたことにより主見し，最後まで操縦を理解することができなかった．特にドローンとその周囲の障害物や被写体との位置関係が分か

模型インタフェースに混乱が強く，回転させる模型は主ドりやすくなったことを言及している．SA の向上は明らか

ローンではなく副ドローンの向きとする方が自然であるとであり，これにより操縦の質についても改良が見込まれる．

述べた．これについては別のアプローチとして妥当な意見

特に，周囲状況を把握するための操縦や，事前の環境理解である．なお，N3 がドローン 1 台の条件で空撮タスクを行のための練習時間が減るため，飛行全体の効率化に向かうった際には，ドローンが堤防に衝突しそうになったため実こともできると考える．操縦の質が向上したか否かについ験を中断した．

て，本実験ではデータを取得していない．しかし，観察か

初心者

らは，不安を持った場合のドローンの制御は離散的になり

B1 は素早く提案手法を理解した．また，探索タスクにおがちで，そうでない場合はドローンを滑らかに連続的に操いて「主ドローンを移動せずとも三人称視点が全体像を提縦しやすいことが窺えた．これらの挙動について今後，定供するため，次の目印に移動するのは容易である」と述べ

量的に検証していきたい．

たが，「主ドローンが地上付近を飛行している場合，三人称

連携アルゴリズムと制御インタフェース

視点から視認しにくい」とも述べた．B2 も同様に素早く提ほとんどの参加者は提案インタフェースを理解してい案手法を理解し，模型インタフェースが手で触って動かせたが，数名からの意見として，スティック操作や模型の回ることに好意的であった．一方，「主ドローンの向きを知る

転に混乱が見られたことについては考察と改良が必要であには三人称視点の映像からは分からず，一人称視点を見る

る．ある参加者は，「一人称視点映像を見て操縦したあとに必要があった」と述べた．ただし，これは練習により克服

三人称視点映像を見て操縦すると予想した方向とは異なる可能だろうとも述べた．

向きに進むように感じる」と述べた．これは一人称視点映

熟練者

像中の主ドローンの機首の向きと，三人称視点映像に映る熟練者 3 名は提案手法を肯定的に受け止め，他の 2 つの主ドローンの機首の向きが異なることにより発生するもの

参加者グループと同じような意見も述べた．加えて，日常と考える．慣れで解決できる可能性もあるが，一人称視点のドローン操縦業務経験に基づいた意見が得られた．E1 はを見ているときのみスティック操作できるようにするなど

副ドローンが自動制御なため自身の完全制御下に置かれな

インタフェース上の工夫の必要性も感じた．

いことで，その安全性に懸念を示した．一方，目視外飛行

操縦技術の熟練度の違いを行う際に提案手法は最も効果を発揮するという意見があ

初心者や未経験者のほとんどは全く抵抗なく，三人称視った．E2 は提案手法の操縦方法を理解するまで他の参加者点を受け入れ，模型の操作についてもすぐに慣れた．一方と比較し長い時間を要したが，三人称視点の有用性についで，熟練者は全員が，タスク遂行中にはもっぱら一人称視ては肯定的であった．なお，E2 からは，スティックを持つ

点を注視していた．これは日常で一人称のみで空撮をして指を離さずに副ドローンを操作する仕組みや，三人称視点

いるその経験が影響しており，当然の結果であるが，副ドは主ドローンを中心に捉えるだけでなく周囲を見渡せるよ

ローンがパイロットの完全管理下にないことによる不安感

う向きを回転させられる仕組みなどについて提案があった．

（自動プログラムに対する不安）があるという意見もあり，

E3 は提案手法を素早く理解したが，タスクの大部分を一人もともとの空撮時の戦略が大きく異なる傾向が見て取れた．

称視点のみを頼りに遂行した．後のインタビューから，日

加えて，日本では目視外飛行はいかなる場合でも許可申請

常のドローン操縦業務では一人称視点のみを用いこれに慣が必要であり，専門家と言えども，目視外飛行そのものにれていることが分かった．熟練者においては日常の業務で抵抗があった可能性もある．現時点の結果からは，提案手

主として行う空撮は三人称視点の有無は大きな影響を与え

法は，ドローン操縦経験が浅いほど，より高い適応性を持© 2019 Information Processing Society of Japan110

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

つことが示唆される．
副ドローンの安全性
本研究におけるドローンの衝突に対する考え方は，将来的に SLAM や近接センサで解決されるべきというものである．現在，多くの SLAM の研究があり，自動での衝突回避はすでに高い水準であり，近い将来，ほぼすべてのドローンに搭載されるものと予想される[26]．本研究の第一の目的は SA の向上，操縦の質の向上，不安感の減少等である．そして SLAM と併用することでより安全性の高い運用が可能と考える．ただし，先にも述べたように，インタフ
ェースデザインとして，模型とスティック操作を同時にさせないことや，三人称視点が長時間進行方向以外を向くことを避ける等，ヒューマンエラーを防ぐための基本的な対策は実施すべきであると考えられ，今後の課題とする．
三人称視点映像中の主ドローンの視認性
参加者からは，三人称視点映像から主ドローンの向きや奥行き情報がわかりにくいといった意見が得られた．これは，ドローン間の距離を，余裕を持たせた 10m にし設定していることも大きな要因である．しかし，背景色によってはドローンが埋もれてしまうこともあり，三人称視点において，ドローンの機首の向きとドローンそのものを強調表示することは必要と考える．ある研究例では，AR を用いドローンの影を地面に投影し奥行きを知覚する手がかりを提示している[30]．このような強調可視化か，ズームカメラを利用すること，などが対策として考えられる．

9. おわりに本研究では，空間的に連動する 2 台のドローン用いてイ
ンタラクティブに操作可能な三人称視点を提供し，パイロ
ットのドローン周囲の状況理解（Situational Awareness）を高めるインタフェースを提案した．また，民生用プログラ
マブルドローンを用いてプロトタイプを実装した．これを用いたユーザスタディより，提案インタフェースは概して好意的に受け止められ，三人称視点映像によりドローンとその周囲の障害物や被写体との位置関係が分かりやすくなったことで明らかに SA が向上したことが分かった．今後
は三人称視点映像内の主ドローンの視認性向上や提案イン
タフェースの定量評価に取り組む．

参考文献[1] 3DR Solo Drone | 3DR: https://3dr.com/solo-drone/.
[2] ArduPilot Open Source Autopilot: http://ardupilot.org/.
[3] Chi-Tinh Dang, Hoang-The Pham, Thanh-Binh Pham and Nguyen-Vu Truong
2013. Vision based ground object tracking using AR.Drone quadrotor.
International Conference on Control, Automation and Information Sciences(ICCAIS). 146–151.
[4] E, J.L., E, I.L., Landay, J.A. and Cauchard, J.R. 2017. Drone & Wo: Cultural
Influences on Human-Drone Interaction Techniques. Proceedings of the CHI
Conference on Human Factors in Computing Systems (CHI). 6794–6799.
[5] Endsley, M.R. 1995. Toward a Theory of Situation Awareness in Dynamic
Systems. Human Factors: The Journal of the Human Factors and Ergonomics
Society. 37, 1, 32–64.
[6] Erat, O., Isop, W.A., Kalkofen, D. and Schmalstieg, D. 2018. Drone-Augmented
Human Vision: Exocentric Control for Drones Exploring Hidden Areas. IEEE

© 2019 Information Processing Society of Japan

INT19012
2019/3/6

Transactions on Visualization and Computer Graphics. 24, 4, 1437–1446.
[7] Fukatsu, S., Kitamura, Y., Masaki, T. and Kishino, F. 1998. Intuitive control of“bird’s eye” overview images for navigation in an enormous virtual environment.
Proceedings of the ACM symposium on Virtual reality software and technology(VRST). 67–76.
[8] Galvane, Q., Lino, C., Christie, M., Fleureau, J., Servant, F., Tariolle, F. andGuillotel, P. 2018. Directing Cinematographic Drones. ACM Transactions on
Graphics. 37, 3, 1–18.
[9] Gebhardt, C., Stevšić, S. and Hilliges, O. 2018. Optimizing for aestheticallypleasing qadrotor camera motion. ACM Transactions on Graphics. 37, 4, 1–11.
[10] Higuchi, K., Fujii, K. and Rekimoto, J. 2013. Flying head: A head-synchronization
mechanism for flying telepresence. 23rd International Conference on Artificial
Reality and Telexistence (ICAT). 28–34.
[11] Ikeuchi, K., Otsuka, T., Yoshii, A., Sakamoto, M. and Nakajima, T. 2014.
KinecDrone: enhancing somatic sensation to fly in the sky with Kinect and
AR.Drone. Proceedings of the 5th Augmented Human International Conference on- (AH). 1–2.
[12] Introduction · MAVLink Developer Guide: https://mavlink.io/en/.
[13] Kasahara, S., Niiyama, R., Heun, V. and Ishii, H. 2013. exTouch: spatially-aware
embodied manipulation of actuated objects mediated by augmented reality.
Proceedings of the 7th International Conference on Tangible, Embedded and
Embodied Interaction (TEI). 223.
[14] Kelly, A., Chan, N., Herman, H., Huber, D., Meyers, R., Rander, P., Warner, R.,
Ziglar, J. and Capstick, E. 2011. Real-time photorealistic virtualized reality
interface for remote mobile robot control. The International Journal of Robotics
Research. 30, 3, 384–404.
[15] Kitamura, Y., Kishino, F. and Fukatsu, S. 2003. Manipulation of Viewpoints in 3D
Environment Using Interlocked Motion of Coordinate Pairs. INTERACT: NinthIFIP TC13 International Conference on Human-Computer Interaction. 327–334.
[16] Li, N., Cartwright, S., Shekhar Nittala, A., Sharlin, E. and Costa Sousa, M. 2015.
Flying Frustum: A Spatial Interface for Enhancing Human-UAV Awareness.
Proceedings of the 3rd International Conference on Human-Agent Interaction. 27–
31.
[17] Mavic 2 - See the Bigger Picture – DJI: https://www.dji.com/mavic-2.
[18] Meier, L., Tanskanen, P., Heng, L., Lee, G.H., Fraundorfer, F. and Pollefeys, M.
2012. PIXHAWK: A micro aerial vehicle design for autonomous flight using
onboard computer vision. Autonomous Robots. 33, 1–2, 21–39.
[19] Mizutani, S., Okada, Y., Salaan, C.J., Ishii, T., Ohno, K. and Tadokoro, S. 2015.
Proposal and experimental validation of a design strategy for a UAV with a passive
rotating spherical shell. IEEE/RSJ International Conference on Intelligent Robots
and Systems (IROS). 1271–1278.
[20] Naseer, T., Sturm, J. and Cremers, D. 2013. FollowMe: Person following andgesture recognition with a quadrocopter. IEEE/RSJ International Conference onIntelligent Robots and Systems. 624–630.
[21] Saakes, D., Choudhary, V., Sakamoto, D., Inami, M. and Lgarashi, T. 2013. A
teleoperating interface for ground vehicles using autonomous flying cameras. 23rd
International Conference on Artificial Reality and Telexistence (ICAT). 13–19.
[22] Saitoh, K., Machida, T., Kiyokawa, K. and Takemura, H. 2006. A 2D-3D
integrated interface for mobile robot control using omnidirectional images and 3D
geometric models. IEEE/ACM International Symposium on Mixed and Augmented
Reality. 173–176.
[23] Tara, R.Y. and Teng, W.-C. 2017. A Suitability Evaluation of Controlling 3D Map
Viewpoint by Gamepad Orientation for Remote Navigation. IEEE Access. 5,10686–10693.
[24] Thomason, J., Ratsamee, P., Kiyokawa, K., Kriangkomol, P., Orlosky, J., Mashita,T., Uranishi, Y. and Takemura, H. 2017. Adaptive View Management for Drone
Teleoperation in Complex 3D Structures. Proceedings of the 22nd International
Conference on Intelligent User Interfaces - IUI ’17. 419–426.
[25] Ware, C., Osborne, S., Ware, C. and Osborne, S. 1990. Exploration and virtual
camera control in virtual three dimensional environments. ACM SIGGRAPH
Computer Graphics. 24, 2, 175–183.
[26] Wendel, A., Maurer, M., Graber, G., Pock, T. and Bischof, H. 2012. Dense
reconstruction on-the-fly. IEEE Conference on Computer Vision and Pattern
Recognition. 1450–1457.
[27] Xie, K., Yang, H., Huang, S., Lischinski, D., Christie, M., Xu, K., Gong, M.,
Cohen-Or, D. and Huang, H. 2018. Creating and chaining camera moves for
qadrotor videography. ACM Transactions on Graphics. 37, 4, 1–13.
[28] Yao, Y., Xia, H., Huang, Y. and Wang, Y. 2017. Free to Fly in Public Spaces:
Drone Controllers’ Privacy Perceptions and Practices. Proceedings of the CHI
Conference on Human Factors in Computing Systems (CHI). 6789–6793.
[29] Yonezawa, K. and Ogawa, T. 2015. Flying robot manipulation system using avirtual plane. IEEE Virtual Reality (VR). 313–314.
[30] Zollmann, S., Hoppe, C., Langlotz, T. and Reitmayr, G. 2014. FlyAR: Augmented
Reality Supported Micro Aerial Vehicle Navigation. IEEE Transactions on
Visualization and Computer Graphics. 20, 4, 560–568.
[31] 人口集中地区（DID） 平成27年｜国土地理院:
http://www.gsi.go.jp/chizujoho/h27did.html.
[32] 航空：無人航空機（ドローン・ラジコン機等）の飛行ルール - 国土交通省:
http://www.mlit.go.jp/koku/koku_tk10_000003.html.

111