WISS 2015

ドローンによるインタラクティブサーフェス環境の拡張
栃原 直哉 ∗

田中 恭友 †

岸田 聖生 ∗

佐藤 俊樹 †

小池 英樹 †

概要. 従来オーバーヘッドカメラは，サーフェス全体を俯瞰するように設置する必要があり，マルチサーフェス環境ではサーフェスごとにカメラを設置する必要があるなど利用シーンが制限される場面が考えられた．そこで本研究では，オーバーヘッドカメラの空間移動化によるインタラクティブサーフェス環境の拡張を提案する．まず，飛行体であるドローンにカメラと画像処理用 PC を搭載し，空撮画像のリアルタイム処理環境を構築する．その上で，撮影画像からサーフェス領域を認識するための赤外線マーカー認識システ
ムを実装した．これにより，空撮環境において既存のテーブルトップシステム等を利用でき，カメラ自体の移動による複数のインタラクティブサーフェス間の連携も容易となる．

1

はじめにテーブルトップシステムなどのインタラクティブサーフェスでは，一般にサーフェスを俯瞰するようにオーバーヘッドカメラを設置して利用する．一度設置すればメンテナンスフリーでシステムを運用することができ，サーフェス上とその周囲の空間における非接触ジェスチャや物体・人物認識を行える．
インタラクティブサーフェスの例として，テーブルトップシステムでは高速手指ジェスチャを認識する
PACPAC[1] が挙げられる．また，DT-DT[2] のように屋内外の床面をサーフェスとし，人物やその行動を認識する研究も報告されている．このように，カメラの設置環境を変えることで様々なサイズのサーフェスに対応できる．
しかし，サーフェスのサイズが大きいほどカメラの高所への設置が必要となり，オーバーヘッドカメラの使用環境が制限される．また，床面とテーブルトップシステムを同時に扱う場合など，テーブル用カメラの設置や，高所から撮影した画像からテーブル部分を抽出する必要がある．後者の場合，画像の解像度低下によって認識精度に影響が出ることが考えられる．このように，従来の固定カメラ環境では多様なインタラクティブシーンに柔軟に対応できな
い．そこで我々は，オーバーヘッドカメラの空間移動化による拡張を行う．

図 1. 画像処理プラットフォームを搭載したドローン

ブシステムにおいては，ユーザに入力の遅延を感じさせないことが重要であり，伝送した映像を地上のPC で処理することは伝送遅延の問題から適さない．
そこで本研究では，ドローン上で画像処理を完結させ，地上 PC には処理結果のみを送信する手法をとる．また，撮影映像からサーフェス領域を抽出するために赤外線 LED マーカーを使用する．これにより，フィールド上にマーカーを設置し，その上方にドローンを移動させるだけで，設置環境によらず任意のサーフェスのインタラクティブ化が可能となる．
またドローンの可動性を利用し，複数のサーフェス間の連携も容易となる．

システム構成3

提案手法をもとに作成したプロトタイプを示す．

2

提案手法

本研究では，ドローンにカメラと画像処理用 PCを搭載し，空中におけるリアルタイム動画像処理プラットフォームを構築する．ドローンへのカメラの搭載や，撮影映像の地上への伝送は空撮用ドローンとして一般的な手法である．しかしインタラクティ
Copyright is held by the author(s).
電気通信大学†東京工業大学∗

3.1

空中画像処理プラットフォーム

本システムでは，USB カメラ (FMVU-03MTM)と画像処理用 PC(LIVA-C0-2G-64G-W) で構成された空中画像処理プラットフォームを利用する．本プラットフォームをドローンなどの飛行体に搭載することで，空中で撮影した画像のリアルタイム処理が可能となる．今回は，本プラットフォームを搭載するためのペイロードを考慮し，ヘキサコプターである DJI F550 を飛行体として用いる (図 1)．

WISS 2015/ZWŽǁĞƌ>ƌĚƵŝŶŽWƌŽDŝŶŝ図 2. 赤外線 LED マーカーユニット

図 3. マーカー ID のマッピング結果

3.2

図 4. プレイヤー位置の提示yĞĞ

赤外線 LED マーカーによるサーフェスの認識

撮影した映像から対象のサーフェスを認識するために，赤外線 LED マーカーをサーフェス化したい領域に配置する．赤外線マーカーユニットは赤外線
パワー LED と XBee 送受信機と Arduino マイコンから構成されている (図 2)．ドローン上の画像処理用 PC にも XBee 送受信機が接続され，画像処理プログラムには無線通信機能が組み込まれている．
マーカー認識の流れを次に示す．(1) 撮影映像から赤外線 LED の発光部分を認識し，マーカー領域を抽出する．(2) 画像処理プログラムから全 LED の消灯要求をブロードキャスト送信し，所定時間（本システムでは 70ms）待つ．(3) 各マーカーユニットの持つ ID に対する LED の点灯要求をブロードキャスト送信し，所定時間待つ．(4) マーカーユニットは点灯要求を検出後，要求された ID と自身の ID が一致した場合 LED を点灯させる．(5) 画像処理プロ
グラムは LED が点灯した領域を特定し，該当領域にマーカーユニットの ID を割り当てる．
以上の処理をマーカーの数だけ繰り返し，全てのマーカー領域に ID を割り当てる (図 3)．これにより，カメラ座標からフィールド座標への射影変換に必要な 4 つ以上の対応点が抽出される．その後は，マーカー領域を追跡して毎フレームこれらの対応点を更新し，射影変換行列を求める処理を行う．この行列を用いて座標変換を行うことで，画像処理によって認識されたサーフェス上における人や手指の座標をフィールド座標に変換することができる．なお，マーカーとフィールドの位置関係が分かれば全てのマーカー領域が撮影画像に含まれている必要はない．

4利用シーン

カメラを可動化させることで，単一のテーブルトッ
プシステムはもちろん複数のサーフェスの連携利用も可能となる．例えば，大きなスポーツフィールド上での人の位置を検出したい際はドローンの高度を上げ，逆にテーブル上における細かいジェスチャを認識したい際は高度を下げることで実現できる．
利用シーンとして簡単な球技を考える．スポーツ
フィールド上ではプレイヤーの位置を取得し，ボールをどのプレイヤーが保持しているか，ボールがプレイヤーに衝突したかなどの試合の流れをリアルタイムに認識する．認識した人やボールの位置情報は，
図 4 に示すアプリケーションを通して画面上にリアルタイムに提示される．なお，このとき提示されている情報はログとして保存される．
フィールド付近にあるテーブルトップシステム上
ではこのアプリケーションを動作させ，記録したログをもとに手指ジェスチャ等を用いてメンバー同士で試合前のミーティングや試合後の分析等を行える．

5

結論

本研究では，固定オーバーヘッドカメラの空間移動化を提案し，その際のサーフェス認識手法と利用シーンについて検討を行った．これにより，テーブル上における細かい手指ジェスチャから巨大サーフェス上における人の位置検出が一台のカメラで一貫して行えるようになり，オーバーヘッドカメラのスケーラビリティ向上に繋がると考えられる．今後は，プロジェクタ等を搭載することでプレイヤーへの情報提示や，スポーツにエフェクトを付加する手法を検討する．また，サーフェス空間におけるドローンの自律移動方法について検討を進める．

参考文献[1] Fukuchi, K., Sato, T., Mamiya, H., and Koike,
H. PAC-PAC: Pinching Gesture Recognition forTabletop Entertainment System. In Proceedingsof AVI ’10, pp. 267-273, 2010.
[2] Hu, G. Reilly, D. Alnusayri, M. Swinden, B.
and Gao, Q. DT-DT: Top-down Human Activity Analysis for Interactive Surface Applications.
In Proceedings of ITS ’14, pp.167-176, 2014.