WISS2012

Flying Eyes:飛翔型撮影プラットフォームによる自律撮影の提案
樋口啓太

石黒祥生

暦本純一∗

概要. 本論文では，飛翔型の撮影プラットフォームにより，自律的に映像コンテンツを撮像するための技術を提案する．撮影技術の発展により，映画製作だけでなくスポーツ中継においても臨場感の高い映像を撮影することができるようになった．しかし，そのためには撮影環境に設備を敷設する必要があり，コストや拡張性の問題から特殊な場面でしか利用することができない．ヘリコプタなど飛翔可能な機体を用いることにより，撮影設備を環境に敷設する必要はなくなるが，オペレータが操縦と撮影を同時にするためには長期の訓練を必要とし，特に移動する対象を近距離から映像中に捉え続けることは難しい．そのため，飛翔型の撮影プラットフォーム “Flying Eyes” による自律撮影環境を開発する．飛翔型プラットフォームとしては，カメラを搭載したクアッドコプタを採用した．クアッドコプタは撮影対象を自律的なカメラワークによって撮影する．自律撮影の実現のために，クアッドコプタ搭載カメラ映像の画像処理による撮影対象の追跡を実現した．本研究の成果により自律カメラワークによるアウトドア環境でのスポーツシーン撮影を実現できた．また，アプリケーションとして三人称視点をリアルタイム提示するスポーツアシスタントシステムを開発した．本研究の成果により，飛翔型撮影プラットフォームによって，自律的なカメラワークでの撮影環境の構築と，その応用について示すことができた．

1

はじめに撮影技術の発展により映画製作だけでなくスポー
ツ中継においても，臨場感の高い映像が撮影可能となっている．例えば，ワイヤーにカメラを釣り下げることで，空間中を移動するカメラワークを実現する
Spydercam[1] が商用化され，スポーツ中継などで利用されている．Kanade らは Virtualized Realityというコンセプトをもとに，アメリカンフットボー
ルスタジアムに 30 台のカメラを設置し，同期制御・撮影することでフィールドを自由に移動しているかのような映像を実現している [2]．Inamoto らはサッカーフィールドに設置した 4 台の高精細カメラから視点補完することで，自由視点の撮像システムを開発した [3]．このような撮影技術はカメラ位置が地表に限定されない映像を撮影できるため，視聴者に臨場感の高い印象を与える．
しかし，これらの撮影装置は大規模な設備と高額な費用を必要としてしまう．クレーンカメラやワイヤー制御カメラなどの，カメラを移動させて運用するシステムでは，撮影位置に可動範囲の制約があるため，競技場やスタジオ以外の場所で運用することは難しい．画像補間により自由視点映像を生成する方式では，解像度の低くなる箇所が存在してしまう．
臨場感のある映像を撮影するためには，特殊撮影機器の操作技能と，カメラ技法の知見を必要とするためプロフェッショナル以外が実現することは難しい．
Copyright is held by the author(s).
∗Keita Higuchi, 東京大学 日本学術振興会, Yoshio Ishiguro, 東京大学, Jun Rekimoto, 東京大学 ソニーコンピュー
タサイエンス研究所

図 1. Flying Eyes: 飛翔可能なカメラにより自律的な撮影を実現

本研究では大規模な設備を必要とせず，臨場感の高い映像を撮影するための，自律飛翔型撮影プラットフォーム “Flying Eyes” を提案する（図 1）．撮影対象を考慮したカメラワークによる自律撮影のために，搭載カメラ映像の画像処理による撮影対象の追跡を実現した．本研究では Flying Eyes による自律的に空間を移動するカメラワークや，スポーツシーンにおける撮影を実現した （図 2）．また，本システムを利用したスポーツアシスタントシステムについても報告する.

2

Flying Eyes

本研究では高いコストや複雑な操作を必要とせずに，臨場感の高い映像を撮像するための飛翔型プラットフォームを実現した．本研究の目的を以下にまとWISS 2012

図 2. 本研究で開発した飛翔型撮影システムにより撮影された映像の例: 追跡カメラワークにより撮影対象を自律追跡・撮影することができる本システムでは容易な操作で臨場感の高い映像を撮影できる．

める．

表 1. 自由視点撮像方式の比較• 大規模な設備を必要としない飛翔型撮影プラットフォーム• 自律的に臨場感の高い映像を撮るための自律撮影手法

釣下げ
画像補間
飛翔型

コスト
高中安

拡張性
低低高画質
高画質
一部低画質
積載カメラ依存• 飛翔型プラットフォームを利用したアプリケーション

2.1

自由視点撮像プラットフォーム

本研究ではカメラが空間中を移動し臨場感の高い映像を撮像するための技術を，自由視点撮像技術と定義する．自由視点撮像の方式には，Spydercam のようにカメラをワイヤーなどで釣下げて移動させる釣下げ方式と，複数のカメラから自由視点映像を生成する画像補間方式と，ヘリコプタなどの飛翔型プラットフォームを利用する方式がある．表 1 に自由視点撮像技術をコスト，拡張性，画質の比較を示す．
釣下げ方式は高性能なカメラを搭載することができるため高画質な映像を撮影できるが，設置のためには多大なコストが必要となり，決められた環境でしか運用できない．画像補間方式は設置するカメラを任意の台数で構成することができるが，カメラの台数が多くとも自由視点映像の構成エラーや，低解像度となる視点がある．飛翔型は撮影環境に設備を必要としないため，拡張性が高い．コストと画質は，プラットフォームと搭載するカメラに依存するが，近年では軽量で高画質なものが流通している．そのため，本研究では飛翔型撮影の撮影プラットフォームを採用した．
本研究では，4 枚のプロペラを持つクアッドコプタを採用する．飛翔型の撮影プラットフォームとして他に実績があるものに飛行船型があるが，高速に移動できないため，スポーツ中継で臨場感の高い映像を撮影することは難しい．

2.2

飛翔型の撮影プラットフォームによる自律撮影

飛翔型プラットフォームを用いて，操縦技能を必要とすることなく，臨場感のある映像を 撮影するために，撮影対象を認識し，自律的にカメラワークを決定するシステムを開発する．現状では，ヘリコプタを利用して映像の撮影をするためには，操作の難しさが障害となる．搭載された GPS を利用して，移動経路を選択し撮影するためのソフトウェアも存在するが，移動する撮影対象を映像中に捉え続けることはできない．そのため，本研究では撮影対象を認識して，自律的にカメラワークを決定する機能をプラットフォームに搭載する．本研究では対象を考慮した自律撮影の基本形として，対象を様々な角度から追跡するカメラワークと，対象の周囲を旋回するようなカメラワークを実現する．

2.3

本システムによるアプリケーション

本研究では飛翔型方式により実現できる特徴的なアプリケーションとして，映像コンテンツの撮影と，スポーツトレーニングの支援をするフライングス
ポーツアシスタントの開発を実施する．映像コンテ
ンツの撮影では撮影対象を映像の中心に捉えた単純なシーンと，アウトドア環境におけるスポーツシーンの撮影をした．フライングスポーツアシスタント
では，撮影した映像をトレーニング中の競技者にリアルタイムに提示することを実現した．

Flying Eyes:飛翔型撮影プラットフォームによる自由視点撮像の提案

3.2

飛翔型撮影プラットフォーム	

操作命令	
センサ情報	
撮影対象	操作用モバイルPC	

図 3. システム構成:飛翔型撮影プラットフォームがセンサ情報やカメラ映像を無線通信により自律制御用モバイル PC に送信する．PC はカメラ映像やセンサ情報からクアッドコプタの自律制御命令を計算する．

3

システム構成本章では飛翔型撮影プラットフォームのプロトタイプ実装について解説する．本システムは飛翔型撮影プラットフォームであるクアッドコプタと自律航行操作用モバイル PC から構成される（図 3）．

3.1

飛翔型撮影プラットフォーム

飛翔型撮影プラットフォームとしては Parrot 社の小型クアッドコプタである AR. Drone を採用した．
AR. Drone は高度や加速度，ジャイロセンサやカメラなどを内蔵しており Wi-Fi を通じて操作機器と通信することができる．AR. Drone は最高時速 18km/h で飛行可能であり，継続飛行時間は約 12 分である．正面方向に内蔵カメラがあり，QVGA(320 ×240 ピクセル) サイズの画像を 30 fps で取得することができる．高画質な映像を撮影するために AR.
Drone の上部に Woodman Labs 社の Full HD カ
メラ GoPro HD を搭載可能にした．GoPro HDは 1080p (1920 × 1080 ピクセル) サイズの映像を30fps で撮影できるため，高品質な映像コンテンツを作成できる．GoPro HD は高品質な映像が必要な場面に利用した．
クアッドコプタは 4 枚のプロペラの出力を調整することで，機体を傾けて前後左右への移動や，その場での回転，上下への移動を実現する．AR. Droneは pitch, roll, yaw, throttle という 4 つの制御パラメータを持つ．pitch を変更することで前後運動を実現でき，roll の変更で左右へ移動する．yaw はその場での回転するためのパラメータであり，throttle は上下運動を実現するパラメータである．本研究ではAR. Drone と自律制御用モバイル PC を Wi-Fi で接続することにより，センサ情報やカメラ映像を取得し，自律撮影のための制御パラメータを計算した．

画像処理による人物追跡

自律カメラワークを実現するために，撮影対象となる人物とクアッドコプタの相対位置を判定しなくてはならない．撮影対象の位置を取得するための技術として，定点カメラやモーションキャプチャなどの設置型設備による方法や，可視マーカや赤外マーカなどを撮影対象に装着させる方法がある．本研究では撮影プラットフォームとモバイル PC 以外の設備を利用しない，画像処理による追跡を採用した．
本システムではクアッドコプタに搭載したカメラにより，マーカを利用することなく追跡するために，人物領域の特徴量抽出とパーティクルフィルタを採用した．人物追跡のための特徴量としては，色抽出による 2 値画像，人物周辺の RGB ヒストグラム，HOG 特徴量を実装した．クアッドコプタによる人物追跡を実現するために，環境に応じて適した特徴量を利用している．単色抽出による特徴量記述では，事前にユーザが着用している服の色を指定し，その色のみを抽出した 2 値画像を特徴量としている．ヒストグラムは追跡対象周囲の RGB ヒストグラムを計算し，特徴量とするものである．HOG 特徴量は人物検出器を構築する際の特徴量として実績があり，人物周辺の勾配方向ヒストグラムを計算する．色抽出や RGB ヒストグラムは，高速に特徴量記述ができるため，照明環境が一定のときにはロバストな追跡ができる．HOG 特徴量は高負荷の処理が必要だが，勾配方向を利用しているため色に依存しない追跡が可能である．

4

Flying Eyes による自律カメラワーク

本研究で開発した飛翔型撮影プラットフォームによる自律カメラワークの実験として，撮影対象の背後からの追跡・撮影，対象の周囲を旋回しながら撮影をした．
背後からの追跡では，撮影対象とカメラの進行方向と向きは同一である．本システムによる背後からの追跡・撮影を実現するために，画像処理から求めた撮影対象の位置に応じてクアッドコプタを操作する．pitch の操作によりクアッドコプタを前進させ，画像上の対象位置に応じて yaw を操作させることにより追跡する．本システムによる背後からの追跡・撮影の結果を図 4 に示す．図 4(a) のように，背後から撮影対象に追随して撮影しているのがわかる．
本システムを利用して撮影対象の周囲を回り込む撮影を実現した．旋回は撮影対象の位置取得と，クアッドコプタの roll と yaw の操作により実現した．
図 5 のように，ユーザの周囲を旋回・撮影しているのがわかる．周囲を旋回するような撮影の利用場面
としては，陸上の競技やサッカーで背後から追跡撮影し，ゴールシーンにおいて前方に回り込んで撮影するような場面が考えられる．

WISS 2012

図 4. 撮影システムが背後からの追跡により人物を撮影(a) 上方に設置したカメラの映像 (b) 撮影システ
ム内蔵カメラの映像

図 5. 撮影プラットフォームが人物の周囲を旋回・撮
影:(a) 上方に設置したカメラの映像 (b) 撮影シス
テム内蔵カメラの映像により，選手と並走するようなカメラワーク実現している．しかし，このカメラワークの実現にはカメラレールの設置コストや，屋外への常設的な設置が難しいといった問題がある．本システムを利用することにより，カメラレールを用いることなく，安定した並走映像を撮影することができる．図 7(a) のように対象の動きに応じた，側面からの撮影を実現した．クアッドコプタによる並走を実現するために，撮影対象の位置に応じて roll を制御している．
本システムでは空間中の任意の位置にカメラを設置し，定点から対象を映像中に捉え続ける撮影ができる．サッカーやテニスなど選手の移動範囲が決まっているスポーツでは，クレーンに釣り下げたカメラにより空中にカメラがあるような映像を撮影している．しかし，クレーンカメラではカメラの可動範囲が限られてしまう．本システムではカメラが飛翔しているため設置場所に制限がない．図 7(b) のようにネットの上に浮遊しながら，選手の位置に応じて撮影方向を変更して撮影している．
現状の撮影手法では，建物などが立ち並ぶ空間での空撮は難しい．本システムでは図 8 のように，クアッドコプタが撮影対象の位置に応じて進路を変更することができるため，狭い通路においても対象の移動に応じて背後からの追跡による空撮が実現できる．また，平面移動ロボットや首振りロボットでは撮影することができない，階段といった環境でも本システムは空撮することができた（図 1）．

65

Flying Eyes によるアウトドア環境での撮影

本システムの有効性を示すために，アウトドア環境での移動体の空撮と，スポーツシーンにおいて空間中に移動・首振りが可能なカメラを設置する撮影，狭い通路や階段における空撮を実現した．
本システムの撮影場所に依存せず自由視点撮像ができるという特性を活かし，アウトドア環境における乗り物の撮影を実現した．芝生や砂利などで覆われているアウトドア環境ではカメラの移動に必ずぶれが生じるため，路面環境が影響されない撮影手法が必要となる．釣り下げ方式はカメラを釣り下げるためのワイヤーが必要なため，屋外では限られた場所でしか利用できない．また，手動の遠隔操縦クアッドコプタでは，移動の操作と，近距離の撮影対象を映像中に捉える操作を同時にすることは難しい．本システムでは，図 6 のように上下の移動を含むアウトドア環境においても，撮影対象をフレームアウトすることなく安定した映像を撮影している．
本システムでは背後からの追跡だけでなく，撮影対象に対して任意の角度から撮影することもできる．
世界規模の陸上大会のおいてはカメラレールの敷設

フライングスポーツアシスタント

本システムの応用として，三人称視点のリアルタイム提示によるスポーツトレーニング支援システムを開発した．本研究で開発したプラットフォームには自律カメラワークが実装されており，外部に視点をおいた三人称視点映像を自律的に撮影する．

6.1

三人称視点によるスポーツトレーニング

プロフェッショナルのアスリートには，競技中に自身の身体動作を想起できる能力があり，それが競技パフォーマンスに影響するという知見がある [4]．
しかし，競技初級者には理想となる動くべきイメー
ジと，実際の動作が一致させることが難しい．そのため，鏡やビデオカメラを用いることで，自分の動作を確認しながらトレーニングをすることがある．しかし，鏡やビデオでは固定された狭い環境でしか動作確認をすることができない．長谷川は体に取り付けた竿の先端にカメラを設置して，アルペンスキーで自己像をリアルタイムに確認することを可能にしたが，映像中の激しいぶれにより映像の視認が困難になると考察している [5]．
そのため，三人称視点を固定機器を用いず安定した映像をリアルタイムに提示する，スポーツアシス
タントシステムを開発した．本システムはカメラを

Flying Eyes:飛翔型撮影プラットフォームによる自由視点撮像の提案(a) 斜面（下り）の芝生	(b) 斜面（上り）の砂利道	

図 6. アウトドア環境でのクアッドコプタによる撮影 (a) 芝生の下り坂を自転車が走行しているシーンの撮影 (b) 上りの砂利道をバイクが走行しているシーンの撮影(a) グラウンド	(a) テニスコート	

図 7. スポーツシーンのクアッドコプタによる撮影 (a) 走る対象を横から並走して撮影 (b) テニスコートのセンターネッ
ト上に静止してプレイヤーを撮影搭載した自律クアッドコプタが，競技者を追跡・撮影することにより実現する．競技者にはヘッドマウ
ントディスプレイ経由で，リアルタイム映像提示をする．

6.2コプタの向いている方向の相対角から求めた．これにより，ランニングや素振りなどのトレーニング内容に依存すること無く，システムを運用することができる (図 9)．

スポーツアシスタントの構成

スポーツアシスタントシステムは飛翔型撮影プ
ラットフォームをベースにしている．クアッドコプ
タにより撮影した映像をリアルタイムで提示するために，自律制御用モバイル PC と ヘッドマウンテッ
ドディスプレイをウェアラブルデバイスとしてユーザに装着させる． ウェアラブルデバイスにはユー
ザの向いている方向を判定させるためのセンサとして，電子コンパスを搭載した．クアッドコプタは飛行しながら安定した映像を撮影することができる．
また，人物追跡機能によりユーザが移動をしているときでも，自己像を視認し続けることができる．安全面を考慮し，ヘッドマウントディスプレイはサングラス型を採用した．サングラス型は眼の周囲を覆わない設計のため，提示される映像と，周囲の両方を視認可能である．
トレーニング中にユーザ自身がクアッドコプタのパラメータを制御できるよう，携帯型デバイス用インタフェースを開発した．このインタフェースで制御できるパラメータは，クアッドコプタの撮影位置や速度，高さがある．撮影位置はユーザとクアッド

7

議論

本論文では自律撮影可能な飛翔型プラットフォー
ムについて報告した．本章では，多様なカメラワークの実現と，スポーツ中継に適応するための今後の方針について議論する．

7.1

位置認識の導入

本システムでは飛翔型撮影プラットフォームによる自律カメラワークを実現しており，センサ情報や画像処理による位置認識をもとにカメラワークを計算している．そのため，撮影環境に依存せず利用することができる．一方で，GPS などの位置認識システムを利用することにより，多様なカメラワークを実現することができる．現状のシステムに位置認識システムを組み込むことにより，対象を撮影しながら決められた経路を移動する，特定の位置まで移動したら撮影対象の周囲を旋回するといったようなカメラワークが可能になる．

WISS 2012の，クアッドコプタによる自律撮影手法を実現した．

9狭い道	

図 8. 狭い通路における追跡・撮影

結論

本研究では臨場感の高い映像を自律撮影する Flying Eyes を提案した．撮影プラットフォームは画像処理により撮影対象を認識することで，自律的なカメラワークで撮影をすることができた．本システム
により，アウトドア環境におけるスポーツシーンで臨場感の高い映像の撮影を実現した．本システムの応用として，三人称視点をリアルタイムで提示するスポーツアシスタントシステムについても報告した．

謝辞
図 9. スポーツアシスタントシステムの利用例:(a) ラン
ニングの追跡・撮影 (b) 競技者に提示される映像．

本研究は，日本学術振興会特別研究員奨励費 2410424 の助成を受けた. 村山正太郎，佐藤功太郎両氏からは撮影への助言を頂いた．

7.2

操作インタフェース

今後は，カメラワークを容易に指定できるインタフェースを開発する．自律撮影や経路の選択による撮影を指定可能にすることや，クアッドコプタの追跡ミスなどをリアルタイムで修正で可能なインタフェースとする．また，クアッドコプタ操作やカメラ技法の知識がないユーザでも撮影可能にするには，インタフェースに実空間特有の制約を提示する必要がある．実空間でのタスクが与えられるロボットの操作ユーザインタフェースには現実の制約を反映させることが重要であり，Igarashi らは，ケーブルに接続されているという制約のあるロボットの，移動経路探索のアルゴリズムを開発している [6]．

7.3

複数の撮影システムによる連携

現状のシステムは単機で撮影していたが，スポーツの撮影をする場合には複数台の撮影システムを連携させることで，より演出効果の高いカメラワークを実現することができる．複数の撮影システムを導入にすることにより，チーム競技であれば複数の選手を同時に撮影したり，俯瞰視点映像を撮影したりできるため，多視点のカメラワークが可能になる．

8関連研究

クアッドコプタを利用したインタラクティブシス
テムの研究は近年盛んになりつつある．クアッドコプ
タの新しい操作系として，Shan ら，吉田らはジェスチャ動作による操作方法を提案している [7] [8]．
Graether らは，クアッドコプタをジョギングのパートナーロボットとして利用している [9]．また，クアッドコプタによる実環境の 3 次元再構成手法や，その対話・利用に関する研究も盛んになっている [10][11]．本研究ではスポーツ中継などの映像コンテンツのために，撮影対象の位置が定まらないシーンで参考文献[1] Spydercam. spydercam.com/.
[2] T. Kanade, P Rander, and P. J. Narayanan, Virtualized reality: Constructing virtual worlds fromreal scenes. IEEE Multimedia, vol.4, no.1, pp. 34–47, 1997.
[3] N Inamoto and H Saito. Virtual Viewpoint Replay for a Soccer Match by View Interpolation From Multiple Cameras. Multimedia, IEEETransactions, vol.9, no.6, pp. 1155–1166, 2007.
[4] K. A. Martin, S. E. Mortitz, and C. R. Hall. Imagery Use in Sport: a Literature Review and Applied Model. The Sport Psychologist, vol.13, no.3,
pp 245–268, 1999.
[5] Augmented Ski, haselab.net/ hase/ski/ski.php.
[6] T Igarashi, and M. Stilman. Homotopic Path
Planning on Manifolds for Cabled Mobile Robots.
Algorithmic Foundations of Robotics IX, vol.68,pp. 1–18, 2011.
[7] W. S. Ng, E. Sharlin, Collocated interaction withﬂying robots. RO-MAN, 2011 IEEE, pp. 143–149,2011.
[8] 吉田成朗，鳴海拓志，橋本直，谷川智洋，稲見昌彦，五十嵐健夫，廣瀬通孝．ジェスチャ操作型飛行ロボットによる身体性の拡張．インタラクショ
ン 2012．
[9] E. Graether and F. Mueller, Joggobot: a ﬂyingrobot as jogging companion. CHI’2012 Interactivity, pp. 1063–1066, 2012.
[10] A. Wendel, M. Maurer,and G. Graber, T. Pock,and H. Bischof, Dense reconstruction on-theﬂy. Computer Vision and Pattern Recognition(CVPR), 2012 IEEE Conference, pp. 1450–1475,2012.
[11] S. Strothoﬀ, D. Feldmann and F. Steinicke,
T. Vierjahn, and S. Mostafawy, Interactive Generation of Virtual Environments Using MUAVs.
Procedings of International Symposium on VR
innovation (ISVRI) 2011, pp. 89–96, 2011.