携帯端末と AR マーカを用いた
ROS-TMS ユーザインタフェースの開発○大石哲朗 (九州大学)，表 允晳 (九州大学)，辻 徳生 (九州大学),
諸岡 健一 (九州大学)，倉爪 亮 (九州大学)

User Interface for ROS-TMS using mobile devices and AR-Marker○ Tetsuro Oishi (Kyushu University), Pyo Yoonseok (Kyushu University),

Tokuo Tsuji (Kyushu University), Ken’ichi Morooka(Kyushu University),
and Ryo Kurazume(Kyushu University)
Abstract: This paper describes a development of the user interface system using AR markers and wearable
devices such as smart glasses or smart phone for the informationary structured environment. ROS-TMS. Object
information stored in a database in ROS-TMS is transfered to the devices according to the position information
measured by AR marker and overlaid a real scene for intuitive operation.

1.

はじめに

近年，我が国では超高齢社会に伴い，ロボットによる生活支援や見守りシステムが注目されている．我々もこれまでに，ロボットによる生活支援の実現を目指し，周囲の環境にセンサを分散配置し，人や物品の動きを計測，ロボットや他のシステムが環境内でサービスを行うために必要な情報をクラウド型ネットワークにより提供する Town
Management System(TMS)（Fig.1）の開発を行ってきた．
また，現在は ROS(Robot Operating System) をベースとした TMS(ROS-TMS) の構築を進めている 1)2) ．ROS を使用して多種多様なセンサシステムや処理プロセスをモジュール化することにより，より柔軟なサービス開発が可能である．これまでに我々は，ロボットによるサービスを提供するための物品管理や経路計画，人物の行動記録等のサービスを実装してきた．

爆発的に普及しており，これらの端末は音声認識やタッチスクリーンによる直感的な操作性等，ロボットサービスとの親和性は非常に高いと考えられる．更に，最近では実画像に CG 画像や情報を重畳表示することでサービスを提供する AR アプリケーションの開発が盛んに行われている．一方，ROS-TMS では環境内の物品やロボットの情報が一元管理されており，AR 技術と組み合わせて情報を提示することで，生活支援のための直感的なインタフェースが実現できる（Fig.2）．そこで本研究では，携帯端末のカメラで家具を映した際に，ROS-TMS から家具内の物品情報を受け取り，画面に重畳表示する AR アプリケーションの開発を行っている．本稿では，これまでに開発したアプリケーションのシステム構成，動作について説明する．

Fig.2 ROS-TMS と AR 技術による直感的インタフェース（イメージ図）

Fig.1 ROS-TMS のシステム構成

ロボットがユーザの希望するサービスを実行するには，システムにユーザの意思を反映するユーザインタフェースの設計が重要となる．従来，ロボットとのユーザインタフェー
スには，音声認識やタッチスクリーン等が多く用いられている 3) ．また，近年，スマートフォンやタブレット端末が2.

携帯端末およびウエアラブル端末を用いた
ROS-TMS ユーザインタフェース

2.1

開発システムの概要

AR（Augmented Reality）アプリケーションは大きくロケーションベースＡＲとビジョンベース AR に分けられる．
ロケーションベース AR は，GPS 等の位置情報と事前に構築された地図などのデータベース情報をもとに情報提示を行うものである．一方，ビジョンベース AR は画像認識・空間認識技術を利用し，目前の環境を認識・解析することで情報提示を行うものであり，さらにマーカ型 AR とマーカ
レス AR に分類される．マーカ型 AR は，画像認識に AR

第15回システムインテグレーション部門講演会(SI2014)（2014年12月14日～17日・東京）- 0520 -SY0010/14/0000 - 0520 © 2014 SICE

マーカと呼ばれる特殊なマーカを用いる．これにより，自分の詳細な位置情報等がなくても正確に対象情報や撮影位置を取得できる．また，OSS ライブラリを用いて容易に実装が可能である．一方，マーカレス型 AR は一般画像認識等により情報を付加表示するため，Android 端末の様な小型端末では処理量が多くなり不向きである．
そこで，本研究では以下の２種類の ROS-TMS ユーザインタフェースの開発を行った．

2.2.3

ユーザインタフェース

開発システムのユーザインタフェースの遷移図を Fig.6 に示す．ボタン数は家具内部のオブジェクトの個数に依存して動的に変化する．

開発システム 1 テキストボタンを用いた携帯端末用 ROSTMS ユーザインタフェース
開発システム 2 マーカ型 AR を用いた携帯端末およびウエアラブル端末用 ROS-TMS ユーザインタフェース
開発システム 1 は ROS-TMS との通信や情報表示など，開発システム 2 における AR 技術以外の基本動作を実装したものである．
それぞれのユーザインタフェースから発行されるユーザリクエストは，ロボットがユーザにサービスを提供するためのトリガとしての役割，および環境に配置されたセンサ，物品の管理を行う役割を持つ．前者はユーザがロボットに物品を取ってきてもらう，掃除をさせる，後者は家具内部の物品情報を見る，物品の位置を検索する等のサービスが該当する．ユーザリクエストでは，使い易い直感的なユーザインタフェースに加え，サービスのリアルタイム性も重要となる．
開発システム 2 は，部屋の中にある家具に AR マーカを貼り付け，端末のカメラでマーカを読み取ることで家具を認識し，TMS のデータベースから家具及び，内部の物品の情報を取り寄せ，端末に表示するものである（Fig.3）．このア
プリケーションには，例えば冷蔵庫のドアを開けることなく内部の情報を知ることが出来る，カメラ画像に重畳表示されるため直感的に操作可能といった利点があげられる．

2.2

開発システム 1：テキストボタンを用いた携帯端末用 ROS-TMS ユーザインタフェース

ユーザのテキストボタンの操作に基づき，ROS-TMS で管理された部屋内の家具や物品の情報を，携帯端末に画像とテキストで表示するアプリケーションの開発を行った．
携帯端末には，Android 携帯端末 GALAXY SIII Progreを使用した．開発したアプリケーションは，部屋→家具→物品など階層構造を保持しており，部屋や家具を選択することで，内部にある物品のリストを表示する．また，定期的に端末側の物品情報を更新することでリアルタイム性を確保した（Fig.4）．以下，アプリケーションの詳細と使用例を紹介する．

2.2.1

Fig.3 開発システム 2 の概要

Fig.4 開発システム 1 のシーケンス

システム構成開発システムは，FTP 通信，ROS 通信，画面描画，詳細表示等のパッケージにより構成されており，例えば描画部分だけを変更する等の改変が容易に行えるようになっている．

2.2.2

ライフサイクル

Android のアプリケーションは複数のアクティビティで構成されており，一つのアクティビティが開始されてから破棄されるまでの流れをライフサイクルと呼ぶ．開発システ
ムのライフサイクルを Fig.5 に示す．

- 0521 -Fig.5 ライフサイクル

2.3

開発システム 2：マーカ型 AR を用いた携帯端末およびウエアラブル端末用 ROS-TMS ユー
ザインタフェース

部屋内の家具に貼られた AR マーカを眼鏡型ウエアラブ
ル端末のカメラで読み取り，眼鏡内に表示するアプリケーションの開発を行った．
Fig.6 ユーザインタフェース遷移図

2.3.1

システム構成本 シ ス テ ム で は ，EPSON 社 の MOVERIO BT200AV(Fig.10) を使用した．これは Android を搭載した眼鏡型ウエアラブルデバイスである．シースルーディスプ
レイにより周りの環境を視界に入れつつ，画像を表示することができるため，AR アプリケーションとの相性に優れている．
開発システム 1 では，物品ボタンのリスナー登録を個別に行っていた（Fig.7）ため，端末の処理が多くなっているのに対し，開発システム 2 ではリスナーを 1 つに統合し，idによって分岐するようにした．
Fig.7 描画関数のシーケンス

2.2.4

使用例

実際に家具内の物品情報を取得した際の使用例を Fig.8に，実行画面を Fig.9 に示す．実機実験によりデータベースとの通信，画面の描画，定期毎の画面の更新が可能であることを確認した．

Fig.10 MOVERIO BT200-AV

2.3.2

Fig.8 開発システム 1(使用例)

AR マーカの読み取り

AR マーカの検出には NyARToolkit for Android を使用した．NyARToolkit はワシントン大学 HITL チームにより開発された ARToolkit をベースに開発された OSS ライブラリである．カメラプレビューからキャプチャ画像を取得し，マーカの有無を判定する．マーカが存在する場合はマーカの個数，と登録されたマーカに対応する ID および座標変換行列を返す．これらの情報を Android の SurfaceView クラスを継承したクラスに渡し，カメラプレビューに重畳表示をすることで AR アプリケーションを実現している．
マーカ認識は以下の手順で行う 4) ．
1. カメラ画像の二値化
2. 連結領域の面積・外接長方形計算
3. ノイズ除去
4. 輪郭抽出5. マーカ候補抽出
6. 識別用パターンとマッチング
7. マーカ座標系の変換行列計算システムで扱う座標系を Fig.11 に示す．マーカ認識では，先ず撮影されたマーカを，以下の透視変換モデルにより理想スクリーン座標系に投影する．

 hxc
C11 hyc  = C21
hC31

Fig.9 開発システム 1(実行画面)- 0522 -C12
C22C32C13Xm
C23   Ym 11(1)

マーカの大きさが既知であり，輪郭抽出時に求めた 4 頂点の座標を用いることで全ての C の値を求めることができる．従ってマーカ内部のパターンはこの式により正規化出来る．識別用のテンプレートは回転に対応するために 90 度おきに回転したテンプレートを 4 枚作成する．テンプレー
トと正規化されたマーカパターンの類似度を以下の正規化相関により算出する．

∑N(l)s= √∑(l)(l)
i=1 (xi − x̃)・(xi − x̃ )N2i=1 (xi − x̃)

√∑N

(2)

(l)

(l) 2i=1 (xi − x̃ )Fig.13 開発システム 2(実行画面)

ボットが適切なサービスを提供するシステムの開発を行った．特に眼鏡型ウエアラブル端末と AR マーカを用い，端末内のカメラで AR マーカを検出し，対応する情報を ROSTMS のデータベースから検索し，端末内のシースルーディスプレイに重畳表示する，マーカ型 AR アプリケーションの構成及び動作についての説明した．
今後は開発システムをベースとした新たなアプリケーションの開発，実装を行う予定である．具体的には，冷蔵庫内の食材情報からレシピを提案する，消費期限が近い食材がある場合に警告を表示するといった，ユーザに対して能動的に提案を行うサービスの開発を予定している．これは物品情報を全て管理しているという TMS の特徴を生かせるアプリケーションであると考えられる．
文献

Fig.11 システムで扱う座標系

2.3.3

使用例

開発したシステムの使用例を Fig.12 に，マーカを認識した際の実行画面を Fig.13 にそれぞれ示す．眼鏡型ウエアラ
ブル端末内のカメラによるマーカの認識，データベースからの情報の取り寄せ，シースルーディスプレィへの表示が可能であることを確認した．

[1] 辻 徳生, 表 允晳, 曾 , 永田 晃洋, 長谷川 勉, 倉爪 亮, 諸岡 健一, 村上 剛司, TMS クラウド: ロボットタウンマネジメントのためのスケーラブルな分散処理システム, 第 13 回 計測自動制
御学会システムインテグレーション部門講演会, 1H4-7, (2012)[2] 表允晳, 辻徳生, 橋口優香 , 永田晃洋, 中島洸平, 倉爪亮 , 長谷川勉 , 諸岡健一, 情報構造化アーキテクチャの提案とサービスロボットのオンライン動作計画の実現, 第 19 回ロボティクスシンポジア, pp. 624-630, (2014)[3] Filippo Cavallo, Michela Aquilano, Manuele Bonaccorsi,
Raﬀaele Limosani, Alessandro Manzi, and Paolo Dario,”On the Design, Development and Experimentation of
the ASTRO Assistive Robot Integrated in Smart Environments”, 2013 IEEE International Conference on Roboticsand Automation (ICRA), pp.4295-4300, 2013[4] 加藤博一, M. Billinghurst, 浅野浩一, 橘啓八郎， マーカー追跡に基く拡張現実感システムとそのキャリブレーション , 日
本バーチャルリアリティ学会論文誌，Vol4, No4, pp.607-616,(1999)

Fig.12 開発システム 2(使用例)

3.

まとめ

本稿では，Android 携帯端末から ROS-TMS に対してユーザリクエストを送信することで，必要な情報の提示やロ- 0523 -