研究報告書概要 2019 実施

人間と遊びドローンレースの娯楽性を向上させる配信技法の研究
デジタルハリウッド大学 メディアサイエンス研究所
研究員

助成研究Ａ ︵2年間︶

2

本研究の目的は、ドローンとそのパイロットを関連付け、観客がレースの状況を把握し楽しむための配信技術と、それによって娯を用いて広域な三人称視点を提供することで、パイロットのドローン周囲への理解（SituationalAwareness）を高め、ドローンの楽性を高める（観客がレースの状況を楽しく円滑に把握可能にする）アプリケーションを開発することである。
本研究の背景：2020 年までに娯楽・メディア部門でのドローン市場は88 億ドルの市場規模（産業全体で1300億ドル程度）になると予想されている1。そして、パイロットの操縦技能向上や機体の性能向上を図る目的で開催されるドローンレースは最近大きな盛り上がりを見せている。
世界各地でドローンレースが開催され優勝賞金1億円以上のレースイベントが開催されるなど、すでに興行化が始まっている。
Pain(課題):
しかし、観客がレースの状況を把握し楽しむための配信技術が整っていない。例えばドローン自体が小型なため、広いレース会場の中でドローンからのFPV (First Person View)映像と対応する実機の姿とを関連付けて同時に認識・俯瞰しながら鑑賞することが難しく、観客自身がまだレースの楽しみ方や醍醐味を享受できていない。
目的：操縦や飛行経路計画をより簡単にする。主・副ドローンの位置関係は、座標系対連動法2を応用して、パイロットの視点位置とコントローラ上に設置された主ドローンの模型との位置関係と同等になるように自動的に制御される。パイロットは、スティックコントローラで主ドローンを従来通りの方法で操作することが可能で、そして、必要に応じてその模型の姿勢を操作して副ドローンの位置（三人称視点）を変更することが出来る。我々は、この提案インタフェースのプロトタイプをプログラマブルなドローンを用いて実装し、ドローン操縦経験の異なる複数の参加者群によるユーザスタディを実施してその有用性を検証した。
その結果、提案インタフェースが参加者から概して好まれたことがわかり、ドローン操縦におけるSituationalAwareness を十分に高めるが高められることが示唆された。
本研究は、情報処理学会の「インタラクション２０１９」に採択及び、推薦論文候補として選定された[1]。
また、ACMUISTなどの国際会議に採択された [2]。

この課題を解決するため、本研究ではドローン自体をディスプレイとみなしたり、FPV と外部視点とを円滑に提示する配信技術（映像最適化・実況なども含む）を利用したりすることで、観客がレースの状況を楽しく円滑に把握可能にするアプリケーションを研究開発を行った。
空間連動する２つのカメラ視点を用いたドローン操縦インタフ
ェースの拡張ドローンレースの配信などの動的な空撮・操縦作業を実施するパイロットが、障害物がある空間で心理的な負担を少なく衝突や誤操作を防ぐためには、パイロットのドローン周囲への理解（Situational Awareness）重要になる。そこで操縦行う上で空間的に連動する 2 台のドローンを利用して従来のドローン操縦

図 1: 空 間 連 動 す る 2 つ の カ メ ラ 視 点 を ⽤ い た ド ロ ー ン 操 縦 インタフェースの概要

レースとパイロットの状況把握を支援する、鑑賞者向けのインタラクション技術の検討

ドローンレースの状況を観客が円滑に把握可能にすると共にドローンレースのショーとしてのエンタテインメント性を高めるために，ドローン自体をLED アレイを使った残像ディスプレイとし，ドローンレースの状況をリアルタイムに可視化するシステムの実装を行った（図 2）。また、日本 VR 学会

インタフェースを拡張するインタフェースを提案した。
本インタ
フェースでは主たる操縦対象のドローン（主ドローン）カメラによる一人称視点に加えて、主ドローンに空間連動する副ドローン
1 World Drone Market Seen Nearing $127 Billion in 2020、

PwC Says - Bloomberg。 https://goo.gl/KduWMY

32

末田 航- 1 -研究報告書概要 201財団レポート
9 実施

2019・2020

大会にて本システムの成果の口頭発表と技術デモを実施した[5]。コンセプトとその効果については概ねポジティブなフィードバックを得られた。一方で、鑑賞者がドローンの機体を注視・追尾をしやすい状況（観客から離れた飛行空間や、単調な背景の場所など）では、残像イメージが認識されにくく、コースの障害物の配置や、状況に応じてイメージ提示手段（音声、プロジェクションマッピング）との組み合わせによる最適化の必要性が明らかになった。

よるレース状況情報提示と、その技術デモ、日本国外での鑑賞者のフィードバック獲得を目的としたバーチャルヒューマンエージェントを用いたレースの自動実況を行った(図４)。イベント参加者のアンケートでは、約半数が自動実況の役割や効果を認識、またレースの配信技術として自動実況機能をポジティブに評価した。本システムの将来的な方向性として、CG やロボットの AI 実況者とプロの実況者の掛け合いスタイルを想定している。

図 4 : J D ro n e M ad n ess @ JC C の 様 ⼦ バ ー チ ャ ル ヒ ュ ー マ ン エ ー
ジェントを⽤いたドローンレース⾃動実況の様⼦とクーガー社のューマンエージェント「コネクトーム」(左)パイロット機体の位 置 を 把 握 し や す く な る 特 撮 型 の セ ッ ト (中 央 ・ no)22年間︶

そこで本研究では、モーションキャプチャによってリアルタイムにドローンを認識追尾し、ドローンが飛行している近傍の地面や壁面にプロジェクションマッピングをすることによる、ドローンとレースの状況表示や観客とパイロットとの対話を可能にするインタラクションを検討している（図 3）。これを実現するためには、リアルタイムの機体トラッキングの他に、機体の個体識別が必要となる。本件の現時点では、ドローンの搭載している FPV 映像の送信電波（機体ごとにチャンネルが割り振られている）を識別 ID として利用し、機体ごとのコンテンツ提示の実現を試みている。

助成研究Ａ ︵

図 2: LED ア レ イ 搭 載 レ ー ス ⽤ ド ロ ー ン「 J Drone Madness @ JCC 」を開催、自動音声に主な成果：

1. 天間 遼太郎, 高嶋 和毅, 末田 航, 藤田 和之, 北村 喜文, 空間連動する2つのカメラ視点を用いたドローン操縦インタフェースの拡張, 情報処理学会シンポジウムインタラクション論文集, 2019, 102-111,
2019年3月(論文誌推薦と奨励賞受賞).

2. RyotaroTemma,KazukiTakashima,KazuyukiFujita,KohSueda,and Yoshifumi Kitamura. 2019. Third-Person Piloting: Increasing
SituationalAwareness using a Spatially Coupled Second Drone. In
Proceedings of the 32nd Annual ACM Symposium on User
Interface Software and Technology (UIST ’19). Association for
Computing Machinery, New York, NY, USA, 507–519.
DOI:https://doi.org/10.1145/3332165.3347953

3. Koh Sueda, Takashi Kitada,Yushin Suzuki, and Taiki Wada. 2018.
ResearchanddevelopmentofaugmentedFPVdroneracingsystem.
In SIGGRAPHAsia 2018 Posters
図 3: リ ア ル タ イ ム プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ に よ る イ ン タ

4. (SA'18).ACM, NewYork, NY, USA,Article 9, 2 pages, 2018.

ラ ク テ ィ ブ な 情 報 提 ⽰ シ ス テ ム の 構 成 ( 上 ) と S I G G R A P H A s ia

DOI: https://doi.org/10.1145/3283289.3283322

2 0 1 8 B o F セ ッ シ ョ ン [ 3 ,4 ] で の リ ア ル タ イ ム プ ロ ジ ェ ク シ ョ ン マ

5. Koh SUEDA et al, “Introduction Of Augmented FPV Drone

ッ ピ ン グ 付 き ⾶ ⾏ デ モ の 様 ⼦ (下 )。

Racing”, In SIGGRAPHAsia 2018 Birds of a Feather(SA'18), 2018https://sa2018.siggraph.org/en/attendees/birds-of-a-

スポーツ配信におけるプロの実況解説者は、鑑賞者のゲームの状況把握を補助するだけでなく、競技への理解や、楽しさを提供し、興行的にも重要な役割を果たしている。本プロジェクトでは、在日本大使
館 Japan Creative Centre の文化イベントとしてfeather/session/204

6. 鈴木由信, “ドローンレースの娯楽性を向上させる機載式ディスプレイ“第23回日本バーチャルリアリティ学会大会口頭発表,仙台, 2018

- 2 -33