ウェアラブル拡張現実感システムにおけるハイブリッド È¾È を利用したユーザへの注釈付け                    
牧田 孝嗣 Ý  神原 誠之 Ý   横矢 直和 Ý    はじめに人物に付加された注釈情報

近年，仮想物体を現実環境に重畳表示する拡張現実感を，ウェアラブルコンピュータ上で実現するウェアラブル拡張現実感に関する研究が盛んに行われている ．さらに，場所に応じた最新の注釈情報を効率的に提供可能なネットワーク共有型注釈データベース  や，それを用いてウェアラブルコンピュータのユーザのような動物体に対して注釈付けを行うシステムが提案されている ．図  に，文献  で提案されている人物に注釈情報を付加するウェアラブル注釈提示システムの例を示す．このようなシステムの応用例として，人込みの中から知り合いの居場所を探すような場合や，近くに居る警察官や医者等，特定の属性を持ったユーザを探索するといったアプリケーションが挙げられる．また，天井等に固定された監視カメラを用いて，警備員の配置状況を把握するといったアプリケーションも考えられる．
従来のシステムでは，クライアントサーバ通信で注釈情報を獲得する環境が想定されており，注釈情報やユーザ位置は全てサーバ内のネットワーク共有データベースを用いて管理されている．そして，ウェアラブルコンピュータのユーザ及び定点カメラシステム（以下，クライアント）は，重畳表示する注釈情報及び位置情報をサーバより獲得する．そのため，あるクライアントが他のユーザに注釈付けを行う場合，ユーザ位置の更新頻度及び通信遅延に起因する注釈情報の位置ずれが発生するという問題があった．注釈情報の位置ずれが発生する場合，提示される情報が正しい位置に描画されないケースがあるため，提示された注釈情報がどのユーザに対しての情報であるかの対応付けは困難である．そのため，システムの応用例としては，小数のクライアント間での注釈付けを行う等にとどまるものであった．このようなシステムにおいて，注釈の位置情報の更新頻度が上がり，通信遅延が低減されれば，位置ずれの小さい注釈付けが実現可能である．
その場合，大規模環境に多数のユーザが密集しているようなシーンにおいても正しい注釈付けが可能であるため，その応用範囲はより広くなると考えられる．
そこで本稿では，拡張現実感を用いたウェアラブルコンピュータのユーザへの注釈付けを対象とし，クライアントがユーザの位置情報を高い更新頻度でかつ小さい通信遅延で獲得する枠組みを提案する．クライアントサーバ通信のみを用いて，更新頻度が高く遅延の小さい通信を行う場合には，サーバの負荷及び環境全体のネットワーク負荷が高い．そこで提案手法では，ネットワーク共有データベースを用いたクライアントサーバ通信と，ハイブリッドを用いたクライアント間の通信を動的に切り換えてユーザ位置の獲得を行う．ウェアラブルコンピュータのユーザはサーバと定期的に通信し，自己位置の送信と他のユーザの位置の獲得を行う．
またウェアラブルシステム同士，もしくはウェアラブルシステムと定点カメラシステム間で通信を利用して位置情報の送受信を行うことで，高速に移動するユーザに対しても高精度な注釈付けを実現する．
以下， 章ではハイブリッドを利用した動物体へのÝ

奈良先端科学技術大学院大学

          

濱口和田

ウェアラブルシステムの利用者
ユーザに提示される注釈付加画像

図  人物への注釈提示システムの例 
注釈付けの概要について， 章では注釈付加画像の作成を行う実験について， 章では本稿のまとめ及び今後の課題について述べる．

 ハイブリッド  を利用した注釈付け
 システムの設計方針

クライアントサーバ通信のみを用いて高い頻度でユーザ位置の更新を行う手法を考えた場合，全てのユーザが常時自己位置をサーバに送信し続け，また，サーバは全てのユーザ位置の送受信をし続ける必要があり，サーバに負荷が集中し，また環境全体のネットワーク負荷が大きい。従って，クライアントとサーバは常時定期的に通信を行い，ユーザの移動が速く，クライアントサーバ通信での正確な注釈付けが困難である場合には，クライアント間通信を行い，サーバを介さずに他のクライアントから直接位置情報を獲得して注釈付けを行う手法が有効であると考えられる．
このような背景から，提案システムでは，無線ネットワークが利用可能な環境を前提とし，環境中にはユーザ情報を管理するサーバを設置する．そして，設置されたサーバはネットワーク共有されたデータベースを保持し，以下の つの機能を有する．
 各ユーザの注釈情報及び位置情報の提供
 クライアント間通信の開始・終了タイミングの管理
共有データベースでは，ウェアラブルコンピュータのユーザの注釈情報や位置情報といった，各々の個人情報を取り扱う．
そのため，共有データベースの設計にはセキュリティやプライバシーへの配慮が必要である．提案システムでは，これらの問題を考慮した我々の従来研究  の注釈情報データベースの設計をユーザ情報管理サーバ内のデータベースに適用する．これにより，上記  の機能を満たす．次に，上記 の機能を実現するために，ユーザ情報管理サーバ内のデータベー
スでユーザの  と使用  アドレスの情報を一括管理する．
これにより，クライアントからのリクエストに応じて，通信の開始・終了タイミングの管理が可能である．
以下，  節では提案システムの概要，  節ではクライアントサーバ通信を用いた情報の登録及び獲得について， 節では通信を用いたユーザ位置情報の獲得について，それぞれ述べる．

 提案システムの概要

提案システムの概要を図 に示す．提案システムは，ユーザ情報管理サーバと，定点カメラシステム，ウェアラブルシ
ステムの 種類のクライアントから構成される．以下に，それぞれのシステムについて述べる．

ユーザID
自己位置
IPアドレス

共有
データベース

ユーザ情報
テーブル

他のユーザの位置
注釈情報

注釈情報
テーブル

有線ネットワーク

位置情報
テーブル

①：クライアントBの自己位置送信のリクエスト

無線LANアンテナ②：ユーザ認証③：P2P通信
許可確認

ユーザ定点カメラシステム

ユーザ位置
注釈情報

④：自己位置送信命令⑤：自己位置送信
（Ｐ２Ｐ）

ユーザ情報
管理サーバ
：サーバ～クライアント間通信（一定時間毎に通信）

図

ユーザ情報
管理サーバ

：P2P通信（ユーザID，自己位置を連続送信）

図

提案システムの概要

クライアントＢ（位置情報発信者）

クライアントＡ（位置情報受信者）

通信を用いたユーザ位置獲得の処理手順：自己位置送信のリクエスト， ：ユーザ認証， ：通
信許可確認， ：自己位置送信命令，：自己位置送信，の 
種類のプロセスから構成される．以下に，それぞれのプロセスについて述べる．
 自己位置送信のリクエスト
クライアント  は，まずユーザ情報管理サーバに対して，クライアント  との通信開始のリクエストを出す．リクエストは，各クライアントが任意のタイミングで送信可能である．リクエストを出す際には，システムの持つユーザ  及びパスワードが同時に送信される．
 ユーザ認証
クライアント  からのリクエストに対し，サーバは，クライアント  から送信された  とパスワードとを照合し，一致した場合のみクライアント  を認証し，次ステップへ進む．
通信許可確認
クライアント  が通信を許可しているメンバの中にクライアント  が含まれるか否かが確認され，許可されている場合のみ次ステップへ進む．
 自己位置送信命令
ユーザ情報管理サーバからクライアント  に向けて，クライアント  からクライアント  へで自己位置を送信するよう命令が出される．
 自己位置送信
クライアント  は，サーバからの命令を受けた後に，クライアント  に向けて自己位置の連続送信を開始する．
通信の終了処理は，クライアント  からサーバなお，に通信終了のリクエストを出すことにより，開始処理と同様に行われる．
表1：ユーザ情報テーブル
IDPassword

所属グループIPアドレスUser Aaaa

Group A

163.221.・・・

User BBBBBGroup D

163.221.・・・

User C

cCcC---

163.221.・・・

ID

注釈ID

注釈閲覧許可User A

A001

User B, C

User B

User B

B001

User C

User C

User C

C001

Group A

User B

表2：注釈情報テーブル
P2P通信許可

表3：位置情報テーブル
IDX

Y

Z

User A

0.2

1.0

1.1

19:00:00

User B

-3.2

15.3

1.2

19:39:11

User C

3.6

8.8

1.0

19:54:53

更新時刻¯ ユーザ情報管理サーバ
環境内のすべてのユーザの情報は，ユーザ情報管理サー
バ内の共有データベースで管理する．サーバは，表 ，， に示すユーザ情報テーブル，注釈情報テーブル，位置情報テーブルから構成される共有データベースを用いて，ユーザを管理する．

¯ クライアント
本研究では，無線ネットワークの利用及び，自己の位置・姿勢計測が可能なウェアラブルコンピュータのユーザが複数存在する環境を想定している．また，注釈付加画像を作成するシステムとして，ウェアラブルシステ
ムと定点カメラシステムの 種類を想定している．ウェ
アラブルシステムは環境中のユーザ間のコミュニケーションや協調作業，定点カメラシステムは監視カメラなどのセキュリティサポートなどへの応用を，それぞれ想定している．

 クライアントサーバ間通信を用いた情報の登録
及び獲得
ユーザの持つウェアラブルコンピュータは，固有のユーザ を保持している．各ユーザの持つウェアラブルシステムは，計測した自己位置を無線ネットワークを介して，，アドレスと共に一定時間毎にサーバに自動送信する．また，各クライアントは，環境内に存在する他のユーザ位置及び注釈情報を一定時間毎にサーバから自動的に獲得し，注釈付加画像を作成する．

  通信を用いたユーザ位置情報の獲得
図 に，クライアント  が通信を用いてクライアント  の位置情報を獲得する開始処理の手順を示す．処理は，

 実験
 実験環境

図 に，実験環境を示す．無線  の使用可能な本学屋内に，共有データベースを格納したユーザ情報管理サーバと定点カメラシステムとを  台ずつ設置し，これらを有線で学内  に接続した．また，ユーザの位置計測  のために，環境中の天井に不可視マーカを設置した．不可視マーカの設
置範囲は，約  ×  である．本実験ではまず，計測された 人のウェアラブルシステムのユーザ（ ）の位置をサーバに送信し，定点カメラシステムで注釈付加画像を作成した．次に，定点カメラシステム及びウェアラブルシステムからユーザを指定し，指定したユーザの持つウェアラブルシステムと通信を行うことで，位置情報の更新頻度の高い注釈付加画像の生成を試みた．図  に，本実験で用いたウェアラブルシステムの機器構成を示す．また，本実験で用いたサーバ及び定点カメラシステムの構成を表 に示す．
注釈付加画像を作成するためには，各クライアントシステムが持つカメラの位置・姿勢が必要である．そこで，定点カ学内LAN無線LAN
アンテナ

表4：サーバ及び定点カメラシステムの構成
不可視マーカ（天井に設置）

定点カメラ

ユーザ情報管理サーバ

ネットワーク共有DBユーザB

ユーザA
定点カメラ
システム

ユーザ情報管理サーバ

定点カメラ
システム用PC

赤外線カメラ実験環境
CCDカメラ
Qcam(Logicool)

オリジナル
計算機1

スペック

PC

CPU：Pentium 3 1.2GHz
メモリ：512MB 100Mbps Ethernet接続

PC

CPU：Pentium D 3.0GHz
メモリ：3.25GB 1Gbps Ethernet接続

ビデオ
カメラ

DCR-TRV900（Sony）
有効画素数：640×480 まとめウェアラブルシステムのユーザ（天井を撮影し，位置をリアルタイム計測）

図

使用機器

表示
デバイス
Clip On Display(MicroOptical)

本稿では，ハイブリッドを利用した位置情報の獲得によるウェアラブルコンピュータのユーザへの注釈付け方式を提案した．ユーザ情報管理サーバ内にネットワーク共有型データベースを構築して，環境中を移動するユーザを定点カメラで撮影し，提案手法を用いて位置ずれが小さい注釈付加画像が作成できることを確認した．また，ウェアラブルシス
テム同士で通信を行った際にも大きな位置ずれがなく注釈付加画像を提示できることを確認した．今後の課題としては，ネットワーク環境及びクライアントのスペックを考慮した，のマネージメント手法の検討が挙げられる．
本研究の一部は，総務省・戦略的情報通信研究開発推進制
謝辞 度「ネットワークを介して人間の日常活動と情報・体験共有を支援する複合現実情報環境」プログラムの支援による．

参考文献
計算機2InterLink
MP-XP7310(Victor)CPU 1.0GHz
重量約2kg
メモリ768MB
無線LAN通信可能

Let’s Note CF-R4(Panasonic)
CPU 1.2GHz
重量約1.2kg
メモリ1GB
無線LAN通信可能

図  ウェアラブルシステムの機器構成
メラシステムでは，設置時にあらかじめ計測しておいた位置・姿勢を利用した．また，ウェアラブルシステムで注釈付加画像の作成を行う際には，文献  の手法により計測される位置・姿勢を利用した．

 定点カメラシステムを用いた注釈付加画像作成
図  に，定点カメラシステムで撮影した映像を用いて作成した注釈付加画像を示す．本実験では，ユーザの持つ赤外線カメラの位置に半透明の円を重畳表示し，そのユーザの注釈情報を画面隅に表示した．画像列  に，ユーザ情報管理サーバからユーザの位置情報を獲得して作成した注釈付加画像を示す．また画像列  に，カメラに写っているユーザ名の  を指定し，通信により位置情報を獲得して作成した注釈付加画像を示す．画像列  の画像作成時のユーザ
位置情報の更新頻度は平均毎秒  回であり，注釈とユーザとの位置ずれが確認できる．しかし，画像列  の画像作成時，ユーザの持つウェアラブルシステムからは通信で平均毎秒  回で位置が送信されており，環境中を歩行するユーザに対してほぼ位置ずれの無い注釈付けが可能であることを確認できる．

 ウェアラブルシステム同士での注釈付加画像作成
図  に，ウェアラブルシステムで撮影した映像を用いて作成した注釈付加画像を示す．本実験では， 人のユーザが共に環境内を歩き回りながら，で自己位置の送信を行った．なお，注釈の提示方法は定点カメラシステムでの実験と同様である．また，平均毎秒  回で位置を送信しているのも同様である．図  は，ユーザ  に提供された注釈付加画像である．いずれの注釈付加画像においても，撮影画像内に存在するユーザに対して正しく注釈付けがされており，ウェアラブルシステム同士においても，ほぼ位置ずれの無い注釈付加画像の作成が可能であることを確認した．

         !     " # ：$    %   & '(  # )   * +  )  ,&   -# . ) /  0  )&  " #  )&  && 12+30 0441
   ) 5 ( ) 67 "  77 ( &8   9 % $ " #  )&   ) 8 +)   *   &&     . /   )&  " #  )&  && 0:3+010 0443
 ;    ;  ; 7 % $  )+#                * +) &&    " #  )& /  <  )&  " #  )&  && 0=1+002 >==0
柴田，木村，橋本，古野，平岡，田村% $多様な可搬型機器に対応可能な複合現実感システムの共通フレームワークの設計と実装 ，日本バーチャルリアリティ学会論文誌，
，，






/
5 0= '&&'>'+''> >==<*  ) 7  ;#   ? 7 % $ 8 #)      )  &        &  )  /     )&  " # )&  && 00=+001 >=='; 7  ;#   ? 7 % $    +  #   8 7  8 # )     )/   <  @ *)     )  5 ' && 244+<=1 >==2
高田 町田 清川 竹村% $ネットワーク共有型ウェアラブル拡張
現実感システム開発用ライブラリ/ 電子情報通信学会 総合大会
講演論文集 && '2< >==2
穴吹 天目 神原 横矢% $データベース共有型ウェアラブル拡
張現実感を用いたウェアラブルユーザへの注釈付け/ 日本バー

チャルリアリティー学会 サイバースペースと仮想都市研究会 研究報告 5  0=  0 && >1+'> >==<  %$/
*->==< && 0<43+0<44 >==<
中里 神原 横矢% $ウェアラブル拡張現実感のための不可視
マーカと赤外線カメラを用いた位置・姿勢推定  日本バーチャ
 ' && >4<+'=2 >==<
ルリアリティ学会論文誌 5  0=

天目 穴吹 神原 横矢 共有データベースを利用したウェアラブルユーザへの注釈付け 画像の認識・理解シンポジウム
講演論文集


サーバクライアント通信時

#クライアント間

> 通信時

図 ：定点カメラシステムで作成された注釈付加画像

図 ：ユーザ  視点の映像