

博士論文

ネットワーク型ウェアラブル拡張現実感における注釈情報の共有と提示に関する研究

牧田 孝嗣

 年  月  日
奈良先端科学技術大学院大学
情報科学研究科 情報システム学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に博士 工学 授与の要件として提出した博士論文である．
牧田 孝嗣

審査委員：
横矢 直和 教授

（主指導教員）千原 國宏 教授

（副指導教員）山澤 一誠 准教授

（副指導教員）ネットワーク型ウェアラブル拡張現実感における注釈情報の共有と提示に関する研究
牧田 孝嗣

内容梗概
ウェアラブル拡張現実感は，装着して使用するウェアラブルコンピュータを用いて現実環境に仮想環境を重畳して提示する技術であり，これにより現実環境中に存在するオブジェクトに関する注釈情報を直感的に提示することが可能である．
一般的なウェアラブル拡張現実感の利用環境を想定した場合，注釈の内容や対象
物体の位置は時間経過とともに変化する場合も考えられるため，注釈情報の更新
は重要な課題である．さらに，直感的な情報提示を行うには，注釈の提示方法の工夫（ビューマネジメント）が必要である．
本研究ではこれらの課題を解決し，ユーザが最新の注釈情報を直感的に理解できるウェアラブル拡張現実感の実現を目的とする．提案手法は，ウェアラブル拡
張現実感システムが無線ネットワークを利用可能な環境を想定し，ネットワーク
共有データベースを利用した注釈情報の共有フレームワークを構築する．さらに，注釈の提示方法に関する問題を解決するために，注釈対象の存在領域推定を利用したビューマネジメントにより注釈の付加を行う．本論文では， 章で拡張現実感を利用した注釈情報の提示技術における課題と従来研究を概観し，本研究の目的と意義を述べる． 章では，ネットワーク型ウェアラブル拡張現実感のための注釈情報の共有に必要なフレームワークの構築について述べる． 章では注釈情報の共有フレームワークによる，移動オブジェクトへの注釈提示手法について述
 奈良先端科学技術大学院大学 情報科学研究科 情報システム学専攻 博士論文






年  月  日

べる． 章では，移動オブジェクトの存在領域推定に基づいたビューマネジメン
ト手法について述べる．最後に 章で本研究を総括する．

キーワード
拡張現実感 ウェアラブルコンピュータ，ネットワーク共有データベース，ハイブリッド  ，ビューマネジメント

                
           !  " 
 #  $ % &!'  % () *( %+! % &!' 
% (      " &!'  % !  ( '!! % , &% ,' ) - # ("%  "#&% ""%  &! % &!'  % (  "%(!    # % . )    & " % ( '  " %     &" ! #      % ,) / '!'   0&      "%(      #  ' '"  & # ! !
 & ,    ,%(!) ' #   &(    & ,%( " %    )  ""'   &   #'$ &!  $     ( "" ''&   %+ &" ! #   )  '   ' ,% "  # ! .   % %)      1" !,  "" , #   &(     # % &!' 
% () 1"    #'$ #    ! ,   $)1"        ,%( '  # ',! .  &! "" #'$) 1"   "" , '!' '           ! "  


 !   "# 

$"  "% ( #  2  # ! .   ',   % ,' )3%%( 1"  &''+  "  &()



 

&!'  4% ( 5% 1'"&   $   6(  / 7!'

,

目次

 序論

) ウェアラブル拡張現実感技術の概観) 拡張現実感を利用した注釈情報提示の従来研究) 本研究の位置づけと方針) 本論文の構成

 ウェアラブル拡張現実のための注釈情報の共有フレームワーク) 注釈情報の共有フレームワークの設計) ネットワーク共有データベースの構成) 情報提供者による注釈情報の更新)) 59* ブラウザを利用した注釈の追加・更新手法)) ウェアラブルコンピュータを用いた注釈の追加・更新) ウェアラブルシステムのユーザによる注釈情報の獲得)) 注釈情報の獲得)) 注釈情報のフィルタリング)) 注釈情報の提示) 静止環境における実験と考察) ) 実験環境) ) ウェアラブル拡張現実感システムの機器構成) ) 注釈情報の追加と重畳表示実験) ) 考察 移動オブジェクトへの注釈提示
)

8





8
:







ネットワークを利用した移動オブジェクトへの注釈付加

) )
) )



システムの設計方針
提案システムの概要) ハイブリッド   の管理) クライアントとサーバ間における情報の登録及び取得
,

:



8

) 注釈提示システムによるウェアラブルシステムユーザの位置情報
の獲得

)

)

:

実験と定量評価

) )
) )
) )
) )
) )

実験環境
注釈付加画像の作成方法
従来手法と提案手法の比較実験



定点カメラシステムを用いた注釈付加画像作成
ウェアラブルシステム同士での注釈付加画像作成考察

 注釈対象の存在領域を考慮したビューマネジメント) ビューマネジメント手法の概要
) 注釈対象の存在領域推定) 注釈の理解度に関するペナルティ項目の設定) ペナルティ最小化による注釈付加) 実験と考察) ) 注釈対象の存在領域推定実験) ) ビューマネジメントを用いた注釈付け実験) ) 画像全体のペナルティの算出
) ) 考察

8
8



8
8
8
8
8
:

 結論



謝辞



参考文献



,

図目次

7%7 7 ; <7 =55%   ""% <日立=
プリンタのメンテナンス支援システム >47 <37 = &! 7 <376 8=
4?&$ < : * =各アプリケーションで提示される合成画像の例

8:'  4 ( ' <=
注釈の対象の  次元モデルを利用したビューマネジメントによる
注釈付加画像 <*3 =+&' らの手法によるビューマネジメントによるラベルの再配置<3=
 天目らのビューマネジメント <天目  =注釈情報データベースのネットワーク共有の概要




8
:




注釈情報の共有フレームワーク

 注釈情報の追加・更新手法の手順
 59* 認証フォーム
注釈追加フォーム



注釈追加位置を探す様子

8:

注釈追加後に表示される画面
ユーザの存在位置に応じた地図の表示
ユーザの現在地に応じた注釈情報の獲得



詳細情報が重畳表示された画像の例
ウェアラブル拡張現実感システムの機器構成
実験環境






合成画像
注釈情報の更新
異なる基準で注釈情報を取得した際の合成画像の例
モバイル 1 による注釈の追加

,

:






8
:

注釈情報を見て集合場所を目指すユーザ
人物への注釈提示の例（各ユーザの氏名の表示）

ネットワークを介して獲得したウェアラブルシステムユーザの位置を利用した注釈付加画像の例

 移動オブジェクトへの注釈付けを行うシステムの概要   通信を用いたユーザ位置取得の処理手順
 実験環境 ウェアラブル注釈提示システムの機器構成
 ウェアラブルシステムユーザと注釈提示システムの持つ前向きカ






メラで得られる画像の関係



8
:






獲得したユーザ位置の重畳表示結果
定点カメラシステムで作成された注釈付加画像   通信時定点カメラシステムで作成された注釈付加画像   通信，クライ

アントサーバ通信混在時
ユーザ  視点の映像

注釈の理解が困難である注釈付加画像の例
赤外線カメラを装備したウェアラブルコンピュータのユーザの外観

存在確率マップの例
ペナルティの発生する注釈の配置パターンの例:

対象物体との重なりによりペナルティの発生する注釈の配置パター
ンの例





注釈の移動量の算出方法
注釈がはみ出ることなく描画できる範囲
一定距離離れた位置を : 点加えた場合の，注釈を配置する候補位
置の設定例

8

8

ユーザの存在領域の推定結果（左：注釈のみ表示，右：存在領域の推定結果を重畳表示）

:

8
8

ユーザ  視点の映像によるビューマネジメントの有無の比較結果（左：ビューマネジメントなし，右：ビューマネジメントあり）

,

88
:



ビューマネジメントを用いる場合と用いない場合におけるペナル
ティの変化の様子の比較結果



応用実験結果（ユーザ  視点の映像）::

ペナルティが最小の位置に注釈が配置された例（左：注釈付加画
像，右：ペナルティのヒートマップ表示）:

ペナルティが最小の位置に注釈が配置されなかった例（左：注釈付
加画像，右：ペナルティのヒートマップ表示）

:

表目次

8

注釈情報データベースの構成
各通信方式の特徴



ユーザ情報テーブル
注釈情報テーブル
位置情報テーブル
注釈情報リクエストテーブル

8:  位置情報送信先リスト
赤外線カメラの仕様
サーバ及び定点カメラシステムの構成



位置ずれの大きさの算出結果
各システムの機器構成

2






:


8
8

 序論
近年，計算機の小型化，高性能化により，装着することで自由に移動しながら利用が可能なウェアラブルコンピュータが開発されている <7=．一方，コン

ピュータグラフィクスで描いた仮想物体を現実環境に重畳表示することで現実環境に情報を付加することが可能な拡張現実感技術の研究もさかんに行われている<+& 8=<>- =<@7A =．この技術をウェアラブルコンピュータ上で実現し，任意の場所でユーザが見ている現実環境に仮想環境を重畳表示するウェアラブル
拡張現実感が注目されている <>> =<6  =．このウェアラブル拡張現実感を利用して現実環境に対する注釈情報を提示するために，効率的な注釈情報の追加・更新が可能なフレームワークの構築が期待されている．また，注釈情報の理解が容易となるように，注釈情報の提示方法の工夫（ビューマネジメント）が重要な課題である．
以下では，本研究の背景となるウェアラブル拡張現実感を利用した注釈提示技
術について概観し，従来研究について述べる．次に，従来手法の問題点，本研究の位置づけ及び方針を明確にする．



ウェアラブル拡張現実感技術の概観

以下に，本研究の基盤となるウェアラブルコンピュータと拡張現実感に関して簡単に述べる．
ウェアラブルコンピュータ
ウェアラブルコンピュータとは，図 に示すようにユーザが身に着けて使用することが可能なコンピュータである．マサチューセッツ工科大学のメ
ディアラボ <7 = の定義では，ウェアラブルコンピュータは使用時のみ電源を入れる  などと異なり，常時作動するものであると定義されている．

近年の計算機の小型化，高性能化に伴い，次世代の計算機としての期待も高まっており，図 に示すようなウェアラブルコンピュータ 55%

  ""% が日立製作所によって開発され，市販されている．計算機，表示デバイス，ハンドマウスはいずれも装着可能であり，ユーザは

自由に移動しながら利用が可能である．この他にも，現在は多種多様なウェ
アラブルコンピュータが開発されている <雨宮   小見   河村  =．
拡張現実感

拡張現実感（&!'  4% ( B 4）とは，コンピュータグラフィクスで描いた仮想物体を現実環境に重畳表示することにより，現実環境に情報を付加する技術である．拡張現実感を利用すれば，作業者の支援のための指示や，環境シミュレーションにおいて，建設前の建造物を現実のシーンに合成する等，これまでになく直感的な情報の提示が可能となる <寺田 

4;   >3   @7A  -A : **   田村 : 7> =．図  は，
3 らによって開発されたプリンタのメンテナンス支援システム >47
である <37 =．メンテナンスを行うユーザには，次に行うべき作業の指示が 1C により直感的に示される．現実シーンの正しい位置にコンピュー
タグラフィクスで仮想物体を重畳表示するためには，ユーザの視点の位置・姿勢を正確に求める必要がある．

ウェアラブル拡張現実感システムとは，前述のウェアラブルコンピュータを用いて構築された拡張現実感システムであり，従来の限られた範囲のみでしか動作しなかった拡張現実感と比較して広範囲な 4 環境を構築できるという利点を持つ．ユーザは，自由に動き回りながら，コンピュータグラフィクスで描かれた仮想物体が重畳表示された画像を見ることができるため，ウェアラブル拡張現実感
システムは，屋内外を問わず広範囲においてユーザの位置に応じた情報を現実環境に付加する技術として注目されている <>A 大隈 8=．
ウェアラブル拡張現実感システムを実現する際の課題は，「何を，どこに」表示
するかということである．ユーザの見ている現実環境の正しい位置に仮想物体を重畳表示するためには，ユーザの現在位置及び視線方向（姿勢）を計測する必要がある．これまで，ウェアラブル拡張現実感システムを実現するために，多くの研究者がユーザの位置及び姿勢を計測する手法の提案を行ってきた <C  > 
蔵田   61 @

 >A =．以下に，これまでに開発されたウェアラブル拡張現実感システムの例を挙げる．

図

図7%7 7 ; <7 =55%   ""% <日立= を装着してメンテナンスを行うユーザ

ユーザに提示される合成画像

図  プリンタのメンテナンス支援システム >47 <37 =図  は，3 らによって開発されたアプリケーション &! 7<3768=であり，ユーザには，現実環境中の建物等に注釈情報を重畳表示した合成画像が提示されるシステムである．本システムは屋外において使用するシステムとして提案されており，ユーザの位置を計測するために CC%%  ! ( 'を使用している．また，ユーザの姿勢を計測するために，ジャイロセンサを使用している．そのため，屋外の広域環境において注釈情報を見ることができる．
また，エンターテイメントを目的として作られたアプリケーションの一つに' らによって提案されたシステム 4?&$< : * = がある．ウェ
アラブルコンピュータのユーザは銃型の入力デバイスを持ち，移動しながら重畳表示されるモンスターを倒すゲームである．図 に，ユーザの外観及びゲーム画面の例を示す．本システムでは，屋外環境においては C，屋内環境においては
画像マーカを用いることによりユーザの位置を測定している．複数のセンサを組み合わせて使用することにより，ユーザが屋内外を自由に移動することを可能としている．
一方，注釈画像を提示し，個人をナビゲーションするシステムとして，興梠ら
は 5,( を提案している <興梠 =．5,( では，パノラマ画像群を情報源として用いたビューベースな位置・姿勢の取得を行っており，その補助的な役割で歩数計測，及びジャイロセンサによる方位計測を行っている．その他にも，天目らは
屋内・屋外を問わずに利用可能な環境埋め込み型センサと歩数計測を用いること
で，屋内外でシームレスにユーザの位置を計測することができるウェアラブル拡
張現実感システムを提案している <>A=．図 に，それぞれのシステムのユーザに提示される画像の例を示す)

以上の従来システムでは，ユーザの位置及び視点方向を求めることに注目しており，ウェアラブル拡張現実感システムの課題である「何を」に関しては深く考慮がされていない．しかし，前述のように安定して動作する多くのウェアラブル
拡張現実感システムが提案されてきたため，ユーザに提示するコンテンツに関する研究が注目されるようになってきた <C3 伊東   小谷  =．

その代表的なものに図 8 に示す ' <= がある．これはウェアラブル拡

張現実感システムのユーザ自身が，ユーザの見る現実環境に仮想物体をモデリン

ユーザの外観提示される合成画像

図   &! 7 <376

ユーザの外観図8=提示されるゲーム画面

4?&$ < : * = 興梠
図注釈提示画像

各アプリケーションで提示される合成画像の例

グすることでコンテンツをオーサリングするツールである．ユーザの指につけたマーカを視点付近に取り付けたカメラにより撮影することで，ユーザは手の動きを利用して直感的に，現実環境に仮想物体を配置することができる．このような
拡張現実感では，重畳表示される物体や情報は，システムの目的や用途によって異なる．そこで次節では拡張現実感による，現実環境中に存在する物体に関する注釈情報を提示する手法に関する従来研究について述べる．

 拡張現実感を利用した注釈情報提示の従来研究
現実環境中に存在する物体に関する注釈情報を提示する場合には，ユーザの視界中に注釈をどのように見せるかを考慮したビューマネジメントに関する研究が行われている．
注釈情報を提示する場合には，注釈同士の重なりを出来る限り少なくするように配置することが望まれる．このような観点から，*%% らは，図 : に示すように，注釈の対象となる物体の  次元モデルを利用して，対象物体の外接矩形の内部，
もしくは空きスペースを選択して注釈を配置するビューマネジメント手法を提案した <*3 =．また，+&' らは，文字列が描かれたラベルと，対象の位置とラベルを結ぶ線を用いて注釈を表示する方式を前提として，ラベル同士の重なりや

8システムを使用するユーザ

作業中の画面図8

仮想物体が合成された画像

'  4 ( ' <=:拡張現実空間における注釈配置例

仮想現実空間における注釈配置例

図 : 注釈の対象の  次元モデルを利用したビューマネジメントによる注釈付加

画像 <*3 =線同士の重なり，ラベルと線の重なりを最小化するビューマネジメント手法を提案した <3=．図 は，+&' らの実験結果の例であり，ビューマネジメントを利用してラベルの再配置を行い，ラベルの視認性の向上が実現されている．他にも，D! らは，ユーザ視界中の注釈と対象物体の存在領域をすべて外接矩形で処理し，重なりのパターンを分類するビューマネジメント手法を提案している<D =．
一方で，注釈と対象の関係を明確にするという観点から，天目らは注目オブジェ
クトのハイライト表示や，注目オブジェクトの隠蔽領域の補完を行うビューマネ
ジメントを提案した <天目  =．天目らの手法を利用して実装されたウェアラブル

拡張現実感のシステムでは，図  に示すように，注釈が提示されると同時に，注釈の対象である物体がハイライト表示される機能や，オクルージョン領域が補完される機能があり，ユーザにとって注釈と対象物体の関係が直感的にわかりやす
い合成画像が出力される．また，ユーザの位置から注釈の存在する位置までの奥行きを考慮した注釈の提示手法 <浦谷  = も提案されている．
その他にも，ビデオシースルー型の拡張現実感を前提として，カメラで撮影した背景画像を解析し，最適な注釈の配置位置を決定する手法 <;= や，背景画像の色とのコントラストを考慮して注釈や線の色を適応的に切り替える手法 < :=

ビューマネジメントなし

図ビューマネジメントあり

+&' らの手法によるビューマネジメントによるラベルの再配置 <3=を取り入れたビューマネジメントなど，様々な観点によるビューマネジメント手法が提案されている．

 本研究の位置づけと方針
従来，拡張現実感と呼ばれる技術が提案され，それを応用したアプリケーションが開発されたが，ユーザの移動範囲は非常に制限されたものであった．よって，提示する仮想物体に関する情報は限られたものであった．しかし前節に示したよ
うに，近年では，ウェアラブルコンピュータを用いることでこれまでになく広範囲で使用可能なウェアラブル拡張現実感システムが多く提案されている．このようなシステムにおいて，現実環境の正しい位置に注釈情報を重畳提示するためには，ユーザの持つウェアラブルコンピュータは注釈情報を保持する必要がある．
従来，ウェアラブル拡張現実感システムはあらかじめ注釈情報を保持しておき，ユーザの位置・姿勢に応じて仮想物体を重畳表示していた．また，提示情報に関する研究も存在するが，コンテンツのオーサリングに注目するものがほとんどであった．そのため，ウェアラブル拡張現実感システムのユーザが移動可能な範囲全ての情報をあらかじめ保持しておかなければならないといった問題が発生する．
さらに，表示する注釈情報の中には，道案内の情報，場所に基づく情報等，その内容が時間の経過と共に変化するものが多く存在し，あらかじめ情報を保持しておくという方法では，それらの情報の追加や更新が困難であるといった問題も生注釈付加画像

ハイライト表示画像

図

オクルージョン補完画像

 天目らのビューマネジメント <天目  =じる．
そこで，本論文では，あらかじめ計算機に情報を保持しておく必要がなく，注釈情報の追加・更新が効率的に行えるウェアラブル拡張現実感システムのための注釈情報データベースを提案する．図に，提案する注釈情報データベースのネットワーク共有の概要を示す．まず，ユーザが装着したウェアラブルコンピュー
タが無線ネットワークを介して通信可能なサーバにデータベースを保持することで，全てのユーザ，及び注釈情報の提供者による注釈データベースのネットワー
ク共有を行う．これにより，注釈情報の提供者は，サーバ上のデータベースを更新することで，常に最新の注釈情報をユーザに提供できる．また，ウェアラブル
コンピュータのユーザは，無線ネットワークを介して最新の注釈情報を獲得し，閲覧することが可能となる．

しかし，クライアントサーバ通信のみを前提とした情報の共有を行う場合には，サーバへの通信が集中することや，データの処理時間及び転送時間に必要な時間が要因で，ある程度の通信遅延が発生する．この場合，実時間での情報更新が困難となるため，移動物体への注釈付けを行うと，ユーザ視界中において注釈と対象物体の間に大きな位置ずれが発生する問題がある．そこで本研究では，注釈情報データベースを格納するサーバに，クライアント間の   通信を管理する機能を持たせ，ハイブリッド   による移動物体への正確な注釈付けを実現する．

ハイブリッド   による注釈情報のネットワーク共有により，ユーザ視界中に存在する物体に関する注釈は，静止物体，移動物体に関わらずに提示することができる．本研究では，注釈の対象が自由に移動するような環境において，ネットワークを介して取得した位置情報をもとに移動物体の存在領域を推定する注釈のビューマネジメント手法を構築し，注釈情報が直感的に理解しやすい注釈の付加を実現する．

 本論文の構成
本論文の構成は以下のとおりである)

章では，ウェアラブル拡張現実感のための注釈情報の共有フレームワークについて述べる．ネットワーク共有型の注釈
情報データベースを持つサーバと   通信を併用したフレームワークを提案し，クライアントサーバ通信による静止物体に関する注釈の獲得及び提示実験結果を示す． 章では，移動オブジェクトへの注釈提示について述べる．注釈対象が移動オブジェクトである場合の注釈付けシステムを， 章において述べるフレームワークを基に構築する．さらに，提案システムを用いた，位置ずれの小さい注釈
付加実験について述べる． 章では，注釈対象の存在領域を考慮したビューマネ
ジメントについて述べる．注釈のわかりやすさに関する要素を基にペナルティを定義し，ペナルティが最小となる注釈の付加について述べる．最後に 章で本研究を総括する．

いつでも情報の追加・更新が可能

注釈の
追加・更新
情報

注釈情報の提供者

いつでも情報の

獲得が可能

ユーザ

NW共有
注釈情報
DB

注釈
情報

注釈
情報

いつでも情報の

獲得が可能

ユーザ

地点A
地点B

図

注釈情報データベースのネットワーク共有の概要

 ウェアラブル拡張現実のための注釈情報の共有フレー
ムワーク
ウェアラブル拡張現実を利用すれば，ユーザは自由に移動しながら注釈情報を見ることができる．しかし，ウェアラブル拡張現実感システムが広域環境において最新の注釈情報を提示するためには，何らかの方法で注釈情報を獲得する必要がある．また，注釈情報の提供者にとって，効率的な注釈情報の追加・更新の手段が必要となる．そこで本研究では，ウェアラブルコンピュータが無線ネットワー
クを利用可能な環境を想定し，ネットワーク共有データベースによる注釈情報の共有を行う．本章では，ウェアラブル拡張現実感システムが最新の注釈情報を提示するための，注釈情報のネットワーク共有フレームワークについて述べる．



注釈情報の共有フレームワークの設計

現実環境に注釈情報を重畳提示するためには，ユーザの持つウェアラブルコン
ピュータは常にユーザの存在する場所付近に関する注釈情報を保持しておく必要がある．しかし，表示する情報の中には，道案内の情報，場所に基づく情報等，その内容が時間の経過と共に変化するものが多く存在するため，あらかじめ情報を保持しておくという方法では，情報の追加や更新が困難であるといった問題がある．そこで本研究では，あらかじめ注釈情報を個々の計算機に保持させるのではなく，個々のウェアラブル拡張現実感システムが必要な時にデータベースにアクセスし，必要な注釈情報を取得可能な注釈情報の共有フレームワークを提案する．
本研究において提案する注釈情報の共有フレームワークを図に示す．提案するフレームワークでは，ユーザが装着したウェアラブルコンピュータは無線ネット
ワークが利用可能である環境を想定している．まず，ユーザの装着した計算機が通信可能なネットワーク上に，注釈データベースを保持したサーバを用意する．これにより，拡張現実感システムの利用者及び注釈情報の提供者は注釈データベースの共有を行う．ウェアラブル拡張現実感システムの利用者は，あらかじめ注釈
情報を自分の計算機に保持させることなく，無線ネットワークを介してサーバから必要な注釈情報を取得することができ，最新の注釈情報が合成された映像を閲覧することが可能である．しかし，注釈を付加する対象が人や車などの移動オブジェクトの場合には，ユーザ位置情報の更新頻度，及びクライアントサーバ間の通信遅延に起因する注釈情報の提示位置のずれが発生する．そこで，注釈の対象が移動オブジェクトの場合には，対象の位置情報を低遅延かつ高頻度で獲得する
ために，  通信を利用した位置情報の獲得を行う．なお，  通信を用いた移動物体への注釈付けに関しては， 章において述べる．

一方，注釈情報の提供者は，共有されたデータベースの情報を更新することで，効率的な情報の更新が可能である．データベースの更新を行うインタフェースとして 59* ブラウザを用い，注釈情報の提供者は，あらかじめ用意された特定の更新用 59* ページにアクセスし，情報の更新を行う．さらに，ウェアラブルコ

ンピュータを持ったユーザが今いる場所付近において注釈情報の追加・更新が行えるインタフェースも用意する．

 ネットワーク共有データベースの構成
注釈情報データベースの構成及びデータの例を表 に示す．以下に，注釈情報に関する各データについて述べる．
位置： 現実環境内における注釈の  次元位置．データベース内に，緯度，経度，
高さの  つの値で格納される．

名称： 注釈として提示するオブジェクトの名称．データベースの位置情報を用いてユーザの見るシーンに重畳表示される．
詳細情報： 注釈に関する詳細な情報．ユーザがオブジェクトに注目することにより，画像，映像，音声など，そのオブジェクトに関する詳細情報として利用される．
提供者： 注釈を提供した人物．
閲覧可能者： 注釈を取得し閲覧することの可能なユーザ．個人またはグループで格納される．

デスクトップ
PC

注釈
情報

位置
情報

・
・
・
・
・
・

注釈情報
データベースウェアラブルPC

ウェアラブル
ＰＣ

注釈の位置
モバイル
PC

ウェアラブル
ウェアラブル
ＰＣ
ＰＣ

＋

注釈
情報

•画像
•映像
•音声
etc

注釈情報の
提供者

注釈
情報

注釈
情報

ウェアラブル
PCのユーザ

サーバ

・
・
・
・
・
・

移動オブジェクト

：クライアントサーバ通信：P2P通信図注釈情報の共有フレームワーク

位置
情報

表

注釈情報データベースの構成

位置

名称

詳細

提供者

閲覧可能者

ジャンル

Pos1

食堂

Det1

P1

全員

店舗

Pos2

事務局

Det2

P2

P2

公共施設

Pos3

図書館

Det3

P3

グループA

公共施設

……

……

……

……

……

……

ジャンル： 注釈のジャンル．店舗，公共施設等．
閲覧可能者の項目には，各注釈の提供者が定める獲得・閲覧が許可されるユーザが指定されており，提供者に許可されたユーザのみが注釈を見ることができる．
また，各注釈にはそのジャンルを決めておくことが可能であり，ウェアラブルコ
ンピュータのユーザは注釈情報を獲得する際，特定のジャンルの情報のみを閲覧することも可能である．

 情報提供者による注釈情報の更新
注釈情報のデータベースはネットワークを介して共有されているため，注釈情報の提供者は，データベースを更新することでその更新をネットワークを介して全てのウェアラブル拡張現実感システムのユーザに反映させることが可能である．
情報の更新を行うインターフェースとしては，59* ブラウザを使用する．そのため，注釈情報の追加・更新を行うにあたり特別なソフトウェアの用意は必要なく，その操作も容易である．以下， )) 節においては 59* ブラウザを用いた注釈情報の更新について述べ， )) 節においてはウェアラブルコンピュータを用いた注釈情報の更新についてそれぞれ述べる．

8  ブラウザを利用した注釈の追加・更新手法
 に，注釈の追加・更新手法の手順を示す．注釈情報の提供者は用意された
特定の 59* ページに 59* ブラウザを用いてアクセスし，入力フォームから注図釈に関するデータを送信することで注釈情報の追加・修正・削除を容易に行うことが可能である．以下に注釈情報の追加における各手順について詳述する．

) 認証：
図  に示すように，注釈情報の提供者が特定の 59* ページにアクセスする際，最初に認証画面が現れる．ここで，提供者名及びパスワードを入力
し，正しければ注釈追加フォームへのアクセスが許可される．その際，提供者名はサーバに記憶され，注釈情報が追加される際まで保持される．

) 位置の選択：
図 の 1 により，注釈を登録する位置を決定する．1 に示す地図は，
に示されたズームボタンによりズームイン，ズームアウトが行える．また，
地図上をクリックすることにより，その地点が中心の地図が表示される．これらの作業を繰り返すことにより注釈を追加する地点を決定し，任意の場
所に注釈を追加することが可能である．図に，注釈を追加する位置を探す様子を示す．

) 名称の入力：の * のフォームより入力し，データを注釈の名称に用いる文字情報を図送ることにより，名称用の画像がサーバ内で自動生成される．

) 詳細情報の入力：
名称入力と同様にして文字情報を送ることにより，詳細情報用の画像がサーバ内で自動生成される．また，画像ファイルや音声ファイル，もしくは映像ファイルを送信し，詳細情報として追加することが可能である．

:

図 注釈情報の追加・更新手法の手順

図 59* 認証フォーム

図

注釈追加フォーム

) 情報の送信：
最後に，入力情報を送信することで，注釈情報データベ−スには新たなデー
タが追加される．図8 に，追加後に表示される画面を示す．なお，追加された注釈の提供者名はこの時点で注釈の位置，名称及び詳細情報とともに格納される．

 ウェアラブルコンピュータを用いた注釈の追加・更新
59* ブラウザを用いることで，新しい注釈情報を効率的に送信できるため，
ウェアラブルコンピュータ，もしくはモバイルコンピュータのユーザが注釈情報の追加・更新を行うことも可能である．図: に示すように，ウェアラブルコン




図

注釈追加位置を探す様子

注釈画像

詳細画像

図

追加された注釈の位置

8 注釈追加後に表示される画面

図: ユーザの存在位置に応じた地図の表示

ピュータ，モバイルコンピュータのユーザが位置センサを装着していれば，位置情報をサーバへ送信することで，注釈追加フォームにはユーザが今いる場所付近の地図が表示される．それにより，提供者はその地図上をクリックすることで情報を追加・更新することが可能である．

 ウェアラブルシステムのユーザによる注釈情報の獲得
本研究では，拡張現実感システムのユーザは常に注釈情報を保持するサーバと
無線ネットワークを介して通信可能であることを想定している．以下に，注釈情報の獲得，注釈情報のフィルタリング及び注釈情報の提示方法について詳述する．

 注釈情報の獲得
データベース中のどの注釈を獲得すべきかは，ユーザの位置よって決定される．
まず，ユーザが装着している赤外線ビーコン，C 等の位置センサによりユーザの位置を計測する．そして，ユーザ側のウェアラブルシステムは計測された位置情報をもとに，サーバ内の注釈データベースからユーザの現在地に応じた注釈情報を獲得する．その際，どの注釈情報を送信するべきかの判定は，サーバ側に用意した注釈情報の選択ソフトウェアを用いて行う．ユーザの装着した計算機は必要な情報のみを保持しておけば良いため，ウェアラブル拡張現実感システム上の注釈情報のデータが膨大となる問題はなく，さらに常に最新の情報を獲得することが可能である．共有データベースからデータを獲得するタイミングは，ユーザが一定量移動した場合，及び一定時間が経過した場合に更新を行う．

 注釈情報のフィルタリング
ユーザ側のウェアラブルシステムがどの注釈情報を獲得するかの判定は，サーバ側に用意された注釈情報の選択ソフトウェアを用いて行われる．ユーザのウェ
アラブルシステムよりサーバに現在地が送信されると，選択ソフトウェアはユー
ザの現在地に応じたフィルタリングを行う．その際，注釈を選ぶ方法としては，
図に示すように，「ユーザから一定距離内に存在する注釈を選ぶ」，「ユーザから一定距離離れた位置に存在する注釈を選ぶ」等を選択して用いる．

選択された注釈情報

NW共有
注釈情報
DB
現在位置

現在位置付近の注釈を選択

注釈情報の選択範囲

NW共有
注釈情報
DB

選択された注釈情報

現在位置

一定距離離れた注釈を選択

図

ユーザの現在地に応じた注釈情報の獲得 注釈情報の提示
注釈情報，及び詳細情報が重畳表示された画像の例を図 に示す．ユーザの位置，姿勢に応じて名称の記載された注釈画像が重畳表示される．また，ユーザが注釈画像に注目した際（注釈画像が画面の中央付近に表示された際）に，画面の右下にその注釈に関する詳細情報が提示される．

 静止環境における実験と考察
提案する注釈情報データベースの有効性を確認するために，屋外環境において建造物に関する情報の提示を想定した実験を行った．本実験では，本学屋外，及び周辺に位置の固定された注釈を付加し，無線ネットワークが使用可能な本学内においてウェアラブル拡張現実感システムを用いて注釈情報を獲得し，ユーザに合成映像を提示した． ) ) 節では実験環境について， ) ) 節では本実験に使用したウェアラブル拡張現実感システムの機器構成ついて， ) ) 節では今回行った

注釈付け実験ついてそれぞれ述べる．また， ) ) 節では，実験結果についての考察を行う．

 実験環境
本実験では，まず，本学内の当研究室内のサーバ（1E  &'
モリ)C6+ メ

7( ）に注釈情報データベースを用意した．地図として奈良県生駒市の数値地図及び本学の施設配置図を用いた．注釈情報を追加・更新・削除することができる 59* ページを作成し，各実験に必要な注釈情報を 59* ページより追加した．その後，学内の各箇所においてウェアラブルシステムのユーザによる
無線ネットワークを介しての注釈情報の獲得を行い，ユーザの位置・姿勢に応じて現実環境の映像に注釈情報を付加した合成映像の提示を行った．また，注釈情報のフィルタリングを行うために，パラメータに基きユーザ位置付近の注釈を選択するソフトウェアをサーバに用意した．例えば，パラメータを ' と決めておくと，注釈情報の獲得が行われる際に，ソフトウェアはユーザの位置より ' 以

ユーザの視点からの映像
注釈

ウェアラブル
ＰＣのユーザ詳細情報

図 詳細情報が重畳表示された画像の例

内に存在する注釈をデータベースより選択する．選択を行う際，ユーザの位置と各注釈との距離は，緯度，経度を用いて計算される．

 ウェアラブル拡張現実感システムの機器構成に，本実験で使用したウェアラブル拡張現実感システムの機器構成の概図

要を示す．ユーザはウェアラブルコンピュータとしてノート 1 を装着し，11
カメラ，姿勢センサ，位置センサ及び小型表示ディスプレイを装着する．11 カ

メラは現実環境の映像取得，姿勢センサはユーザ姿勢の計測，位置センサはユー
ザ位置（緯度，経度）の獲得に用いられる．また，各センサが取得したデータはユーザが装着する計算機に送られ，計算機内では，位置情報をもとに無線 ;
を介して獲得した注釈情報を用い，現実環境に注釈情報を重畳した合成映像が作成される．なお，ユーザにはビデオシースルー型の小型表示デバイスを用いて合成映像を提示する．以下に，ユーザが装着する各機器について述べる．
ノート

： ": （9;;），1E  &' ) C6+ メモリ 7( 

無線 ; 通信可能．センサから得られたデータと無線 ; を介して獲得

した注釈情報から，現実環境に注釈を付加した合成画像を生成する．

 カメラ： ?'（;!%），有効画素数  × :．ユーザの視点付近に視線方向とカメラの光軸を一致させるように装着し，ユーザが見ている現実環境と同様の映像を獲得する．
姿勢センサ：  2（ ），データの更新レートは最大6+．ユー
ザの視点付近に装着し，ユーザの頭部の方向を計測する．角度分解能：)
°．最大角速度：( 角 8  °F，"  角 8  °F，%% 角   °F．

位置センサ： 慣性航法モジュール（ 4 1" ：47），C

と歩数計測ユニットから構成される．C を利用して計測した絶対位置と歩数計測によって計測される相対的な移動量をカルマンフィルタを利用して統合することで，屋外環境において蓄積誤差のないユーザの位置を計測することが可能である．生じる誤差は8

' 程度．

CCD
カメラ

表示
デバイス

•Qcam
(Logicool)•Clip On Display(Micro Optical)

姿勢センサ

ウェアラブルＰＣ•INTERTRAX2(INTERSENSE)

位置
センサ
•DRM
(Point Research
Corporation)

図•INSPIRON 8100
(DELL)

ウェアラブル拡張現実感システムの機器構成:

 注釈情報の追加と重畳表示実験) ) 節で述べた環境において注釈の追加・更新を行い， ) ) 節で述べたウェ
アラブル拡張現実感システムを用いて注釈の重畳表示実験を行った．以下に，各実験について述べる．

59* ページを用いた注釈追加及び重畳表示実験：)) 節で述べた手法により追加された注釈情報がどのようにウェアラブル拡張現
実感システムのユーザに表示されるかを調べるために，用意された 59* ページを用いて学内施設への注釈追加を行い，ウェアラブル拡張現実感システムのユーザによる注釈情報の獲得を行った．図は本実験において注釈を追加した位置，及び注釈情報の獲得を行った位置を示したものである．なお，ユーザ位置付近に存在する注釈の情報を選択するソフトウェアのパラメータは 8' とした．
次に，実際に注釈情報データベースの更新が有効であることを確認するために，ユーザが学内を移動している最中に，注釈情報更新用 59* ページより G食堂H に重畳表示された注釈の詳細情報を更新した．
図 ，  に，各地点においてユーザに提示された合成画像を示す．図  は，図で示した 〜 地点にて注釈情報を無線 ; を介して獲得し，ユーザが（）〜（#）の矢印の方向を向いた際に提示された合成画像の例である．図（）の例では，正面の建物に G情報棟H の注釈が表示され，直感的に注釈情報を認識できることがわかる．一方，図（）の例では，ユーザの見ている方向に注釈が存在しているが，ユーザと注釈の距離が長いために，注釈が表示されていない．図（）〜（#）の例では，図 （）の例と同様に，ウェアラブル拡張現実感シス
テムのユーザに注釈情報の提示が行えることが確認できた．また，図  は，注
釈情報の提供者がデスクトップ 1 より注釈情報の更新を行った際に提示された合成画像を示したものである．ユーザが食堂の方向に移動すると，図 （）〜（）のように，次々と注釈情報が更新された．これにより，サーバの情報が更新された場合，注釈情報の更新ができている事が確認できた．

図

実験環境














図

 合成画像


（）

（）

（）

（）

図

 注釈情報の更新

注釈情報獲得範囲の検証：
ユーザの位置付近に存在する注釈の情報を選択するソフトウェアのパラメータの変化による影響を調べるために，学内及びその周辺に注釈情報を追加し，現実環境の同じ位置でパラメータを変化させて注釈情報の獲得及び重畳表示実験を行った．

' に設定して注釈情報を獲得し，ユーザに提示された合成画像の例である．パラメータが ' の場
合，ユーザ付近の注釈のみが重畳表示されたが，パラメータが ' の場合，注
図は図中の 1 地点においてパラメータを ' と釈画像どうしが重なり合って表示される場合や，手前の建物等で隠蔽され，ユー
ザが見ることの出来ない施設の注釈が表示されるといった場合があった．

 地点 パラメータ   地点 パラメータ   地点 パラメータ   地点 パラメータ  

図異なる基準で注釈情報を取得した際の合成画像の例

モバイル 1 のユーザによる注釈情報の追加実験：
提案システムの応用実験として，複数のユーザを特定の箇所に集合させるヒュー
マンナビゲーションを想定し，モバイル 1 のユーザによる注釈情報の追加実験を行った．本実験では，注釈情報の提供者は無線 ; の内蔵されたモバイル 1

及び位置センサとしてハンディC を保持している．モバイル 1 のユーザが注釈情報追加ページにアクセスすると，ユーザの現在地付近の地図が表示され，)) に示した方法により，特定のグループに対して集合場所を示す注釈情報の追加を行った（図）．その後，ウェアラブル拡張現実感システムのユーザには集合場所付近に注釈が重畳表示された画像が提示され，その画像を見ることで集合場所へ向かった．ユーザが集合場所へ向かう様子を図 8 に示す．はじめは注釈が

モバイル  ユーザの外観

図

現在地付近の地図が表示された画面

モバイル 1 による注釈の追加

表示されない状態で集合場所に向かったユーザが，図り着くと，図の 1 地点付近までたどの  地点付近に集合場所を示す注釈が提示された．図8（）〜（）は，注釈が提示される前後のユーザの様子及び提示された画像である．その後は，図8（）（#）に示されたように，注釈の重畳表示された画像を見ながら移動することで，ユーザは容易に集合場所に到着できた．

 考察
本実験により，提案する注釈情報データベースを用いて，注釈情報を追加できることを確認した．また，ウェアラブル拡張現実感システムのユーザが位置に応じて注釈情報を獲得し，合成画像が閲覧可能であること，さらに，注釈情報の追加・修正が 59* ブラウザを用いて容易に行え，かつその更新をウェアラブル拡
張現実感システムを装着したユーザに実時間に提示可能であることを確認した．
しかし，ユーザの位置付近の注釈情報の獲得を行うという方法について，以下の二点の問題がある．
注釈の獲得基準について： 本実験では，どの注釈を獲得するかのフィルタリング
方法として，「ユーザの位置付近の注釈を獲得する」という方法を用いた．その際，選択ソフトウェアのパラメータをあらかじめ固定して実験を行った．



図













8 注釈情報を見て集合場所を目指すユーザしかし，これは実験を行う中で経験的に決定した値であり，常にこの値が最適なわけではない．実際，ユーザの存在する位置付近に注釈が多数存在する場合，同じ基準で注釈を獲得しても，注釈画像が多く重畳表示されすぎるために視認が出来ないといった問題や，ユーザが遠くの注釈情報を見たい場合に対応できないといった問題が存在した．
隠蔽関係について： ユーザから近い位置に存在する注釈であっても，建物等に隠蔽されているために，本来は見えない物体に関する注釈情報が表示され，違和感が生じる場合があった．
直感的に情報を重畳表示するウェアラブル拡張現実感システムにとって，ユー
ザの位置から余りにも遠い位置に付加されている情報は明らかに不必要である．
したがって，最低限のフィルタリングとして，「ユーザの位置付近の注釈を獲得する」という方法は必ず必要である．ただし，獲得するか否かの最適な基準値は，ユーザの位置によって変化すると考えられる．注釈情報の密度の高い地域においては，パラメータを小さくすることで付近の情報のみを取得し，密度の低い地域
においてはパラメータを大きくし，ある程度広範囲に情報を獲得するといったよ
うに，ユーザの位置に応じてパラメータを動的に決定する必要がある．また，注釈情報を獲得する基準としては，ユーザと各注釈との距離以外にも，特定のカテゴリの注釈情報のみを獲得する方法も考えられる．しかし，特定のカテゴリの注釈を獲得する等のフィルタリングを行う場合には，ユーザからサーバへリクエス
ト情報を送る必要がある．したがって，ウェアラブル拡張現実感システムの側にリクエスト情報をサーバに送信可能なインタフェースを用意することで，今後はより高度なフィルタリングが行える．また，現実環境を考慮したデータ構造とユーザの向きの変化量を利用した動的な優先度評価手法 <-> 8= 等をネットワーク
共有データベースに組み合わせることで，高度なフィルタリングが実現できる．
隠蔽関係についての今後の課題としては，現実環境の情報との統合が挙げられる．提案する注釈情報データベースは，現実環境のどの位置にどの注釈情報が存在するかのみを保持するものであり，現実環境に関する情報（どこにどのような形状の建物が存在するか等）は保持していない．仮想物体と実物体との前後関係を考慮し，隠蔽問題を解決するには，注釈情報と共に現実環境に存在する建物の三次元形状等の情報が必要である．したがって，現実環境の三次元地図をデータベースに格納しておき，ユーザに位置付近の地図情報を注釈情報と共に送信することで，ユーザから見える物体の判定が可能となり，今後解決することが可能と考えられる． 次元モデルを準備する方法としては，主要な建物などについては，

1 モデル等の既存データを用いる方法が考えられる．また，既存データが入手できない対象物体に関しては，注釈を追加する 4 システムのユーザがオーサ
リングにより対象物体のモデルを作成する手法 <小谷  = などが考えられる．
最後に，詳細情報として取り扱うコンテンツについて述べる．本章では，詳細情報として画像コンテンツを取り扱うシステムを構築して実験を行ったが，同じ枠組みにより映像コンテンツや音声コンテンツも取り扱うことが出来る．映像コンテンツの応用例としては，店舗の提供する広告の提示など，音声コンテンツの応用例としては交差点等の分岐点におけるナビゲーション情報の提示などが適していると考えられる．

8 移動オブジェクトへの注釈提示
章において，ネットワーク共有データベースを利用して，クライアントサー
バ通信による注釈情報の追加・更新及び獲得について述べた．しかし，注釈を付加する対象が移動オブジェクトの場合には，クライアントサーバ通信による情報の更新のみでは，ユーザ視界中における注釈と対象物体の位置ずれが大きくなる問題がある．本章では，ウェアラブルシステムのユーザを移動する注釈対象として想定し，ハイブリッド   による位置ずれの小さい注釈付加を実現する手法について述べる．

ネットワークを利用した移動オブジェクトへの注釈付加

移動可能なウェアラブルシステムユーザへの注釈付けを実現するために，ネッ
トワークを介した注釈情報の獲得を行う．拡張現実感を利用した注釈提示システ
ム（以下， 注釈提示システムと表記）のユーザの位置・姿勢と，注釈対象であるウェアラブルシステムのユーザ（以下， ウェアラブルシステムユーザ表記）の位置が得られているとき，図と: に示すように，ユーザ視界中の注釈対象の位置に注釈画像を重畳することで，人物に対する注釈付加が行える．
しかしこのような手法では，注釈提示システムのユーザが現実環境を見ている
時刻と，ネットワークを介して獲得した注釈対象の位置の計測時刻が異なり，その時刻差に起因する位置の誤差が発生する．図は，ビデオシースルー型の注釈提示システムにおいて，ネットワークを介してカメラに写るウェアラブルシス
テムのユーザ頭部の位置を獲得して，頭頂部に注釈を付加した場合に得られる注釈付加画像の例を模式的に示したものである．注釈の描画位置とユーザ頭部の位
置は時刻差の影響により一致しておらず，このような状態では正確な注釈付けは困難である．ユーザが動的である場合，一般に位置の誤差の大きさは，時刻差の大きさに比例する．例として，注釈対象であるウェアラブルシステムユーザの移
動速度が





毎秒程度である場合，時刻差が 秒あたり

る．そのため，図

の誤差が発生す: に示すような注釈付加画像を作成する際に場合，数秒程度の時刻差によって，注釈が別のユーザの位置に描画される場合や，写っているユー:図: 人物への注釈提示の例（各ユーザの氏名の表示）

ザの注釈が描画されないといった場合が発生すると考えられる．

 システムの設計方針
移動オブジェクトへの注釈付けを行うシステムを， 章において述べたフレー
ムワークを基に設計する．
注釈提示システムがウェアラブルシステムユーザに注釈付けを行う際には，以下の  種類の情報が必要である．

) 注釈提示システムのユーザの位置・姿勢) ウェアラブルシステムユーザの個人情報) ウェアラブルシステムユーザの現在位置Annotation

現在位置

図

ネットワークを介して獲得したウェアラブルシステムユーザの位置

ネットワークを介して獲得したウェアラブルシステムユーザの位置を利用した注釈付加画像の例
本研究では，上記の  種類の情報のうち，注釈提示システムのユーザの位置・姿
勢は，システム自身が持つ自己位置・姿勢計測手段で計測することを前提としている．また，ウェアラブルシステムユーザの個人情報，及び現在位置に関しては，
ネットワークを介して外部より獲得する．例えば，図: の例では，ユーザの個人情報として名前を表記した画像を用いており，正しい位置に注釈を描画するために，注釈提示システムのユーザの位置・姿勢，及びウェアラブルシステムユーザの現在位置を利用している．ユーザの個人情報及び現在位置は，時間経過とともに更新されるため，注釈提示システムが注釈付けを行う際には，最新の情報を獲得する必要がある．一般に，ユーザの個人情報は更新頻度が低いため，情報の獲得方法には信頼性を重視するべきである．また，位置情報は実時間かつ高頻度で更新される情報であり，注釈を正しい位置に提示するためには，通信方法には実時間性を重視すべきである．以上の観点から，個人情報はクライアントサーバ通
信で定期的に獲得を行い，ユーザ位置情報は，  通信で獲得する手法が有効であると考えられる．  通信は，サーバを介さずにクライアント間で直接通信を行う方式であり，通信経路が短いことや，データベースへの情報の保存，データ
ベースからの情報参照が必要ないため，低遅延かつ高頻度な情報の通信ができる．
ただし，環境中のネットワーク環境及び各ユーザの持つウェアラブルシステムの性能には限界があり，位置情報の獲得をクライアント間   通信を介してのみで実施することは困難である．したがって，各クライアントの通信状況及び性能を把握して   通信の管理を行う必要がある．また，  通信を介した位置情報の獲得が行えないクライアントに対しては，サーバからの位置情報の送信を行う必要がある．一般に，  の方式としては，サーバレス型のピュア   と，

サーバを用いてクライアントの管理を行うハイブリッド   がある．表 に，各通信方式の特徴を示す．ピュア   とは，  通信を管理するサーバが存在せず，クライアント間のみの通信を行う方式であり，サーバを設置するコストが不要であるという利点があるが，ローカルエリア内全体の通信量及びセキュリティの管理が困難であることや，情報の共有や探索を行うために必要な通信の量が膨大であるという欠点がある．一方，ハイブリッド   は，サーバの設置コストが必要ではあるが，セキュリティを伴った   通信の管理や情報の共有が合理的にできるという特徴をもっている．本研究においては，  通信の管理を行う必要があることと，サーバからの情報送信が必要であるという観点からハイブリッド  を用いる．

通常，ハイブリッド   を使用するためにはサーバを準備する必要があるが，本研究では，注釈を提供するためのネットワーク共有データベースを格納する
サーバに，ハイブリッド   の管理機能を持たせることで，合理的にハイブリッド   を実現できる．

このような背景から，本研究では，無線ネットワークが利用可能な環境を前提とし，環境中にはユーザ情報を管理するサーバを設置する．そして，設置されたサーバはネットワーク共有されたデータベースを保持し，以下の つの機能を有
する．



表

各通信方式の特徴

クライアント ピュアP2P ハイブリッド
P2P方式
サーバ方式 方式
通信速度
サーバの
有無
通信の管理
環境全体の
通信負荷

×（遅い）

○（速い）

○（速い）

有り

無し

有り

○（可能）

△（困難）

○（可能）

○（低い）

×（高い）

○（低い）

) 各ユーザの注釈情報及び位置情報の提供) クライアント間   通信の管理
共有データベースでは，ウェアラブルシステムユーザの個人情報や位置情報といった，各々のプライバシーに関わる情報を取り扱う．したがって，共有データベースの設計にはセキュリティやプライバシーへの配慮が必要である．提案システム
では，これらの問題を考慮した， 章において提案した注釈情報データベースの設計をユーザ情報管理サーバ内のデータベースに適用する．これにより，上記 の機能を満たす．次に，上記 の機能を実現するために，  通信管理ソフトウェ
アをサーバに設置する．なお，  通信には実時間性を重要視するため，コネク
ションレス型で一方向の情報送信を行う E プロトコルを用いる．また，ユー
ザ情報管理サーバ内のデータベースでユーザの  と使用  アドレスの情報を一括管理し，クライアントからのリクエスト状況に応じて，  通信の開始・終了
タイミングの管理を行う．

 提案システムの概要
移動オブジェクトへの注釈付けを行うシステムの概要を図  に示す．本シス
テムは，ユーザ情報管理サーバ，定点カメラシステム，ウェアラブルシステムのネットワーク共有
データベースコンテンツ
データベース

P2P
通信管理
ソフトウェア

ユーザID
自己位置
IPアドレス

ユーザ情報
テーブル

他のユーザの位置
提示コンテンツ

注釈情報
テーブル

有線
ネットワーク

位置情報
テーブル

ユーザ位置
提示コンテンツ

注釈情報
リクエスト
テーブル

無線LANアンテナ

ユーザ

定点
カメラ
システム

：サーバ～クライアント間通信（一定時間毎に通信）：P2P通信（ユーザID，自己位置を連続送信）

ユーザ情報管理サーバ

図  移動オブジェクトへの注釈付けを行うシステムの概要
種類のクライアントとから構成される．以下に，それぞれのシステムについて述べる．

 クライアント
本システムでは，無線ネットワークの利用及び，自己の位置・姿勢計測が可
能なウェアラブルシステムユーザが複数存在する環境を想定している．また，注釈付加画像を作成するシステムとして，ウェアラブルシステムと定点カメラシステムの 種類の注釈提示システムを想定している．ウェアラブ
ルシステムは環境中のユーザ間のコミュニケーション開始支援や協調作業への応用を，定点カメラシステムは監視カメラなどのセキュリティサポー
トなどへの応用を，それぞれ想定している．
各クライアントは，他のクライアントの注釈情報の閲覧を希望する場合には，サーバに対してリクエストを送信する．その後，各クライアントの個
人情報及び現在位置を獲得し，注釈付加画像を作成する．

 ユーザ情報管理サーバ
環境内のすべてのユーザの個人情報及び位置情報は，ユーザ情報管理サー
バ内の共有データベースで管理する．サーバは，表 ，， に示すユーザ
情報テーブル，注釈情報テーブル，位置情報テーブルから構成される共有
データベースを用いて，ユーザの個人情報を管理する．
また，表 に示す注釈情報リクエストテーブルを用いて，各クライアントの注釈情報閲覧リクエスト状況を管理する．注釈情報リクエストテーブル
では，各クライアントの注釈情報閲覧希望対象の情報を管理している．表は，存在クライアント数が である状況を示しており，クライアント  は，

クライアント * 及びクライアント  の注釈情報をリクエストしていることを表している．

  通信の管理は全て，サーバ内の   通信管理ソフトウェアによって行われる．  通信管理ソフトウェアは，サーバ内の各テーブルの情報を用いて，各々のクライアントが   で位置情報を送る宛先を動的に決定し，
  位置情報送信リストを作成する．  位置情報送信リストの内容については，次節において詳細に述べる．
注釈提示に必要な画像，動画等のコンテンツは全て，サーバ内のコンテン
ツデータベースで管理されている．各クライアントは，自身のコンテンツ
のみを自由に登録・更新することができる．

 ハイブリッド  の管理
ユーザ情報管理サーバの管理する環境では無線ネットワークが利用可能であることを想定しているが，その通信速度には限界があるため，すべてのクライアン
ト間に   通信を許可することは出来ない．  通信管理ソフトウェアは，環境全体のネットワーク負荷，および各クライアントの性能を考慮した   の調整を行う．以下，本節ではサーバの管理する通信量，クライアントの性能と通信量に関してそれぞれ述べ，最後に   の管理方法について述べる．

表  ユーザ情報テーブル
ID

Password所属グループIPアドレスUser Aaaa

Group A

163.221.・・・

User BBBBBGroup D

163.221.・・・

User C

cCcC---

163.221.・・・

表  注釈情報テーブル
ID

注釈ID

注釈閲覧許可P2P通信許可

User A

A001

User B, C

User B

User B

B001

User C

User C

User C

C001

Group A

User B表

位置情報テーブル

ID

X

Y

Z

更新時刻

User A

0.2

1.0

1.1

2006/08/10 9:00:00

User B

-3.2

15.3

1.2

2006/08/09 19:39:11

User C

3.6

8.8

1.0

2006/08/11 13:54:53

表リクエスト先リクエスト元

注釈情報リクエストテーブル
A

Client A

B

C

D

E

○

×

○

×

×

×

○

○

×

Client B○

Client C○×Client D○○×Client E

○

×

×



×
×

 サーバ提案手法においては，サーバは   で位置情報の送信可能なクライアント数を常に把握している．また、サーバでは環境中で E プロトコルを利用した   通信に使用可能な情報通信量の上限が設定されており，その上限をもとに， クライアントあたりが送信可能な位置情報の量を制限する．サーバの管理するクライアント数を  ，使用可能な情報通信量の上限を   "
とすると， クライアントあたりにおける単位時間中の位置情報の送信量の
上限は，








となる．

 クライアント
一方，注釈対象となる各クライアントは，それぞれのシステムが性能にもとづいた異なる周期で位置計測を行うため， 件のリクエスト先に単位時間あたりに送信する位置情報の量が異なる．個々のクライアントの  を 〜とし，一度に送信する位置情報の量を  ， が  のクライアントの一秒間当たりの位置計測回数を  回，送信先の数を とすると，あるクライアントが一秒間に送信する情報量の合計は  

となる．

   の管理手法提案手法では，各クライアントの送信先，および送信先数をリクエスト状
況をもとに決定する．まず，送信先の数の上限

 を決定する．  は，

前述の式  ，  より，以下の不等式を満たす最大の整数である．



本式を



  








 について整理すると，以下の式が得られる．










   











したがって，各クライアントの送信先数の上限は，式  を満たす

 の中で最大の整数となる．  通信管理ソフトウェアでは，  通信の実施
判定を，

 にもとづいて行う．リクエスト数が までの場合には  

通信を許可し，送信先数の上限を超えるリクエストを行ったクライアント
に対して，サーバからの位置情報送信が行われる．

 クライアントとサーバ間における情報の登録及び取得
ユーザの持つウェアラブルコンピュータは，固有のユーザ  を保持している．
各ユーザの持つウェアラブルシステムは，計測した自己位置を無線ネットワーク
を介して，ユーザ ， アドレスと共に一定時間毎にユーザ情報管理サーバに自動送信する．ユーザ情報管理サーバ内のユーザ位置情報テーブルは，各ユーザより受信した現在位置情報を用いて更新される．また，クライアントからは，各クライアントがリクエストを出したタイミングで注釈の閲覧希望リクエストが送信される．ユーザ情報管理サーバ内の注釈情報リクエストテーブルは，各クライ
アントより受信したリクエストを用いて更新される．
ユーザ情報管理サーバでは，表 8 に示す   位置情報送信先リストを作成する．  位置情報送信先リストは   通信管理ソフトウェアによって各ウェア
ラブルシステム向けに別々に作成されたものであり，データを   で連続送信する送信先のクライアントアドレスが記載されている．  位置情報送信先リスト
は，ユーザ情報管理サーバ内の各テーブルの内容を元に，どのユーザからどのク
ライアントへの   位置情報送信を行うかを決定した上で更新される．

ウェアラブルシステムは，  位置情報送信先リストを一定時間毎にユーザ情報管理サーバから自動的に取得する．その後，リストに記載されているクライア
ントアドレスに向けて，計測した自己位置情報を   で連続送信する．

8

表 8   位置情報送信先リスト

送信先ID
Client B
Client D
Client E

IPアドレス
163.221.・・・
163.221.・・・
163.221.・・・

 注釈提示システムによるウェアラブルシステムユーザの位置情報の獲得
本節では，注釈提示システムがウェアラブルシステムユーザの位置情報を取得する処理の手順を示す．処理は， B自己位置送信のリクエスト， Bユーザ認証，

B  通信許可確認，B注釈情報リクエストテーブルの更新， B  位置情報送
信先リストの作成， B  位置送信判定，8B自己位置送信命令，:Bクライアントによる自己位置送信， Bサーバによるユーザ位置送信の 種類のプロセスから構成される．図  に，注釈提示システムをクライアント ，ウェアラブルシステム
ユーザをクライアント * として，クライアント  がクライアント * の注釈情報の閲覧をリクエストするケースを例として，それぞれのプロセスについて述べる．

) 自己位置送信のリクエスト
クライアント  は，まずユーザ情報管理サーバに対して，クライアント *の注釈情報閲覧のリクエストを出す．リクエストは，各クライアントが任意のタイミングで送信可能である．リクエストを出す際には，システムの持つユーザ  及びパスワードが同時に送信される．

) クライアント認証
クライアント  からのリクエストに対し，サーバは，クライアント  から送信された  とパスワードとを照合し，一致した場合のみクライアント を認証し，（）へ進む．
) 注釈閲覧許可確認:クライアント * が注釈情報の閲覧を許可しているメンバの中にクライアント  が含まれるか否かが確認され，許可されている場合のみ（）へ進む．

) 注釈情報リクエストテーブルの更新
クライアント  から送信されたクライアント * の注釈情報閲覧リクエスト情報を元に，表  に示した注釈情報リクエストテーブルが更新される．
)   位置情報送信先リストの作成

ユーザ情報管理サーバ内では，表  に示す注釈情報リクエストテーブルを用いて，クライアント  に送信する   位置情報送信先リストが作成される．その際，どのクライアントを送信先リストに掲載するかの判定は， 
通信管理ソフトウェアで行われる．

)   通信実施判定  位置情報送信先リストを参照し，クライアント * からクライアント への   自己位置送信の実施判定を行う．  自己位置送信を実施する場
合，（8）へ進む．実施しない場合は，（:）へ進む．なお，  通信実施の判定基準に関しては， ) 節で述べる．
8) クライアントによる自己位置送信
クライアント * は，サーバより   位置情報送信リストを受信し，リスト内で指定されている送信先（この場合は，クライアント ）に向けて自己
位置の連続送信を開始する．

:) クライアント * の位置の送信（ ）において，クライアント * からクライアント  に対する   位置情
報送信を実施しないと判断された場合は，ユーザ情報管理サーバからクラ
イアント  に向けて，クライアント * の位置情報送信が開始される．その際には，位置情報の送信は一定時間間隔で行われる．

なお，ユーザ位置情報の送信終了処理は，クライアント  からサーバに注釈情報閲覧終了のリクエストを出すことにより，開始処理と同様に行われる．

①：クライアントBの注釈情報閲覧リクエスト②：ユーザ認証③：注釈閲覧許可確認④：注釈情報リクエスト
テーブルの更新⑤：P2P位置情報送信先
リストの作成
⑥
P2P通信
N 実施？

Y

⑦：自己位置送信（Ｐ２Ｐ）⑧：クライアントBの
位置を送信

ユーザ情報
管理サーバ

図

クライアントＢ（位置情報発信者）

クライアントＡ（位置情報受信者）

  通信を用いたユーザ位置取得の処理手順 実験と定量評価 実験環境
図  に，実験環境を示す．999: )! で通信速度が 7" の無線 ; の使用可能な本学屋内に，共有データベース，コンテンツデータベース，及び  
通信管理ソフトウェアを格納したユーザ情報管理サーバを設置し，有線で学内; に接続した．次に，ノート 1 と E* カメラを用いて定点カメラシステムを作成し，実験環境中に設置した．また，赤外線カメラと不可視マーカを用いた
ユーザの位置計測手法 <>A = を利用するために，特性の異なる 種の赤外線カメラを用意し，環境中の天井には不可視マーカを貼った．さらに，赤外線カメ
ラを利用したウェアラブル注釈提示システムを作成した．本実験ではまず，手法< >A = により位置・姿勢が計測できる  人のウェアラブルシステムユーザ（，*，1，）で環境中を歩き回り，定点カメラシステムでユーザの名前が記載された画像を注釈とした注釈付加画像を作成した． 名のユーザの名前はそれぞれ，
：>)7$ ，*：A) $+ ，1：A) ，：6)7  である．次に，ウェ
アラブル注釈提示システムを用いて注釈付加画像を作成した．
本実験では， 種類の赤外線カメラ 以下，カメラ ，カメラ と表記 を使用しており，ユーザ ，* はカメラ を，ユーザ 1， はカメラ を，それぞれ使用して位置・姿勢計測を行う．表 : に，カメラ ，カメラ の仕様を示す．カメ

ラ はビデオシースルー型 4 システムに利用可能な前方撮影用カメラを内蔵した大型カメラである．また，カメラ は，小型軽量に特化された赤外線カメラである．また，図  に本実験で用いた注釈提示システムの機器構成を示す．また，
本実験で用いたサーバ及び定点カメラシステムの構成を表 に示す．
注釈付加画像を作成するには，各クライアントシステムが持つカメラの位置・姿勢情報が必要である．そこで，定点カメラシステムでは，設置時にあらかじめ計測しておいた位置・姿勢情報を利用した．また，注釈提示システムでは，前述の手法 <>A = により計測される位置・姿勢情報を利用した．
回，ユーザ 1， は秒間
ウェアラブルシステムユーザ ，* は秒間およそ
およそ  回の間隔で位置・姿勢の推定ができる．また，自己位置情報の送信には EF パケットを使用しており，一度のデータ送信量は ( （ ヘッダ：

学内LAN

ユーザ情報
管理サーバ

無線LAN
アンテナ

ユーザB

不可視マーカ（天井に設置）

定点カメラ（クライアント）

ユーザD

ユーザC

ユーザA

ウェアラブルシステムのユーザ(クライアント)

図

定点カメラ用PC

実験環境

( ，E ヘッダ：:( ，データ部： :( （：( ，位置情報： ( ））である．よって，  通信における，位置情報の送信速度は，ユーザ ，* は
: I
$"，ユーザ 1， は  :   I : $" である．参考値として，無線 ; の速度が 7" の本環境において，使用可能な通信量の合計  を 7" と設定した場合には，秒間 回の位置推定を行う全てのユーザ間で   通信を実施可能なユーザ数の上限は  人となる．
なお，本実験では，使用可能な通信量の合計  を 7" に設定した．
 注釈付加画像の作成方法
図  に，現実空間中に存在するウェアラブルシステムユーザと注釈提示シス
テムの持つ前向きカメラで得られる画像の関係を模式的に示す．提案手法では，注釈提示システムが現実空間中に存在するウェアラブルシステムユーザの  次元

表 : 赤外線カメラの仕様

解像度(pixel)

フレームレート(fps)カメラ1

1024×768

29

カメラ2

640×480

20

表

ユーザ情報
管理サーバ
定点カメラ
システム

サーバ及び定点カメラシステムの構成
使用機器

スペック

PC

CPU：Pentium D 3.0GHz
メモリ：3.25MB 1Gbps Ethernet接続

PC

CPU：Pentium M 1.2GHz
メモリ：1.0GB 54Mbps Ethernet接続

ビデオ
カメラ

Qcam QVX-13NS（Logicool）
最大有効画素数：960×720

位置をネットワークを介して取得し，カメラ画像中におけるユーザの位置が 点決定する．本実験において，各ユーザは頭部に装備した赤外線カメラの位置を自己位置として送信しているため，図  中に示されたユーザ位置はユーザの頭頂部付近を示している．そこで本実験では，注釈画像をカメラ画像中のユーザ位置
から画像内において上方向に一定距離離れた位置に重畳表示し，さらに注釈画像とユーザ位置とを結ぶ直線を描画して注釈付加画像の作成を行った．

 従来手法と提案手法の比較実験
従来手法であるクライアントサーバ通信を利用した注釈提示と，提案手法であるハイブリッド   を利用した注釈提示の精度を比較するために，定点カメラシ

ステムを用いてユーザ位置の重畳表示実験を行った．なお，ピュア   を利用して実験を行った場合には，通信遅延，更新頻度はハイブリッド   を利用した場



赤外線
カメラ
（上向き）

CCD
カメラ
（前向き）

オリジナル

オリジナル

不可視マーカ
画像の獲得

ユーザ視界
画像の獲得

計算機
表示
デバイス

ThinkPad x60(lenovo)
位置・姿勢計算
位置情報の送受信

SV-6(MicroOptical)

注釈付加画像の作成

注釈付加画像の提示

図  ウェアラブル注釈提示システムの機器構成合と同等であり，注釈付けの精度はハイブリッド   を利用した場合と同等の結果が得られると想定される．

' の高さに固定し，カメラからの距離が約' の直線上を，ユーザ  がおよそ毎秒 ' の速さで歩いた．画像内において，
ユーザ  は右から左へと移動している．図  に，獲得したユーザの位置を縦の本実験では，カメラを床から約直線と横の直線の交点として重畳表示した結果を示す．
クライアントサーバ通信時のユーザ位置情報の更新頻度はおよそ毎秒 回であり，また，ユーザ位置の計測時刻と，定点カメラシステムが位置情報を受信する
時刻の差はおよそ  秒程度であった．クライアントサーバ通信時の結果からは，直線の交点とユーザ頭部のカメラとの大きな位置ずれが確認できる．しかし， 
通信時には，ウェアラブルシステムからは   通信でおよそ毎秒



回，通信遅

ユーザ位置赤外線カメラ

カメラ
ユーザ

カメラ画像

図  ウェアラブルシステムユーザと注釈提示システムの持つ前向きカメラで得られる画像の関係
延はおよそ  ミリ秒で位置が送信されており，直線の交点とユーザ頭部のカメラとの位置ずれがほぼ無いことが確認できる．次に，位置推定の誤差による影響と遅延時間による影響を比較する目的で，直線上の約' 間隔で 箇所の静止位置を設定し，各位置でユーザが静止して通信を停止した場合の位置ずれを計測し，クライアントサーバ通信時，  通信時で歩行した場合と比較を行った．位置ずれの大きさは，画像上の直線の交点及びユーザ頭部のカメラの 次元座標を手動で与え， 点間の距離を計算して求めた．計算に使用したフレーム数は，クライアントサーバ通信時，  通信時でそれぞれである．位置ずれの大きさの算出結果を表

 フレーム，静止時は フレーム

 に示す．なお，本実験では，カメラ画像の解像度は  × : 画素であり，およそフレーム毎秒で画像が作成された．

 定点カメラシステムを用いた注釈付加画像作成
図  ，8 に，定点カメラシステムで撮影した映像を用いて作成した注釈付加
画像を示す．本実験では，およそフレーム毎秒で注釈付加画像が作成された．

本実験では，ユーザ  名 ，*，1 で，天井付近に設置した定点カメラの前方周辺を歩き回った．図  に，定点カメラシステムから  名の注釈閲覧リクエス

クライアントサーバ通信時（従来手法）

P2P通信時（提案手法）

図

獲得したユーザ位置の重畳表示結果

トを送信し，提案手法により位置情報を獲得して作成した注釈付加画像を示す．
図   の画像作成時，ユーザ ，* からは   通信でおよそ毎秒

ユーザ 1 からはおよそ毎秒回， 回で位置が送信されており，通信遅延はおよそ  ミ

リ秒であった．図  の結果からは，環境中を歩行するユーザに対してほぼ位置ずれの無い注釈付けが可能であることを確認できる．次に，クライアントサーバ通
信を利用した注釈付けと   通信を利用した注釈付けの比較を行う目的で，クライアントサーバ通信による位置獲得と，  通信による位置獲得をそれぞれ異なるタイミングで一定間隔で切り替えた実験結果を図 8 に示す．図 8 においては，

クライアントサーバ通信による位置情報の更新はおよそ毎秒 回，ユーザ位置の計測時刻と，定点カメラシステムが受信する時刻の差はおよそ  秒程度であった．
図 8 の画像からは，  通信を利用した注釈付けに比べて大きな位置ずれが見られる．図 8 中の注釈

A)  や，図 8 中の注釈 >)7$  は位置ずれが大きく，シーン中のどのユーザに対する注釈であるかは理解困難である．

表

 位置ずれの大きさの算出結果
クライアント
サーバ

P2P

通信無し

平均誤差[画素]

141.4

13.6

7.1

最小誤差[画素]

11.4

5.1

2.0

最大誤差[画素]

262.1

22.8

15.5

 ウェアラブルシステム同士での注釈付加画像作成
図 : に，ウェアラブルシステムで撮影した映像を用いて作成した注釈付加画像を示す．本システムでは，およそ  フレーム毎秒で注釈付加画像が作成された．

本実験では， 人のユーザが共に環境内を歩き回りながら，ユーザ  からユーザ*，1， の注釈閲覧リクエストを送信した．なお，注釈の提示方法は定点カメ
ラシステムでの実験と同様である．また，ユーザ * はおよそ毎秒 回，ユーザ
1， はおよそ毎秒  回で位置を送信している．また，通信遅延はおよそ  ミリ秒である．図 : は，ユーザ  に提供された注釈付加画像である．いずれの注釈付加画像においても，撮影画像内に存在するユーザに対して正しく注釈付けがされており，ウェアラブルシステム同士においても注釈付加画像作成が可能であることを確認した．

 考察
本章では，ハイブリッド   を利用し，ネットワークを介した位置情報の獲得
によるウェアラブルシステムユーザへの注釈付け手法について述べた．提案手法
では，ネットワークを利用して獲得する情報を，ユーザの個人情報とユーザの現在位置の 種類に分類し，実時間性を重要視すべき位置情報の獲得に   通信を適用することで，注釈の位置ずれの大幅な縮小を実現した．

8

しかし，注釈付加画像中において，注釈同士の重なりや，注釈と他の注釈対象の重なりが発生すると注釈が理解しにくい場合がある．例えば，図 : では，注釈同士の重なりが発生しており，注釈の一部が見えない．そこで，合成画像上における描画方法の工夫（ビューマネジメント）を行うことで，ユーザがより直感的に情報が理解しやすい注釈付加画像を作成できると考えられる．

:






図

定点カメラシステムで作成された注釈付加画像   通信時






図 8 定点カメラシステムで作成された注釈付加画像   通信，クライアント

サーバ通信混在時








図 : ユーザ  視点の映像

 注釈対象の存在領域を考慮したビューマネジメント
拡張現実感を利用して注釈を提示する場合，注釈の描画方法の工夫（ビューマ
ネジメント）を利用することで，注釈の理解のしやすさを向上できる．従来より提案されてきたビューマネジメント手法では，注釈対象の位置や形状が正確に得られるという前提があった．しかし，注釈対象が移動オブジェクトである場合，
移動オブジェクトの位置計測手法に依存する誤差，通信遅延，オブジェクトが非剛体であることなどが要因で，正確な位置・姿勢・形状のデータを得ることが困難である．
そこで本研究では，シーンに存在する移動オブジェクトの存在領域推定に基づいた注釈情報のビューマネジメント手法を提案する．提案手法では，移動オブジェ
クトの存在領域の推定に存在確率の概念を導入し，注釈の表示によるオブジェク
トの隠蔽の定量的評価を行う．これにより，ある程度の重なりや隠蔽を許容することで注釈の表示可能範囲を広げるとともに，注釈の描画位置の変動の抑制を実
現する．



ビューマネジメント手法の概要

現実環境に注釈を重畳表示する場合，先行研究では，対象物体の存在領域に重なる位置に注釈を描画する方法 <天目  =，対象物体の存在領域外に注釈を描画し，対象領域と注釈を線で結ぶ方法 <7A8 3   :=，またはそれら つの手法を併用する方法 <*3  D = が一般的である．このような描画方法を利用する際，注釈のレイアウトに関して以下の状況が発生すると注釈が理解しにくい．

 注釈同士の重なり合い 注釈と線の重なり合い
 線同士の重なり合い
また，注釈と対象物体の関係を考えた場合，以下の状況が発生することは好ましくない．

 注釈と対象物体の重なり 線と対象物体の重なり
図  に，注釈同士の重なりがある画像の例，注釈と対象物体の重なりがある
画像の例をそれぞれ示す．
一方で，注釈と対象物体の対応関係の理解しやすさを考慮し，ユーザ視界中における注釈と対象物体の相対位置関係がなるべく変化しない方が良いという指標が挙げられる．また，注釈が読めるように提示することはビューマネジメントにおける大前提であり，注釈はユーザの視界の外にはみ出ないように描画する必要がある．
本研究では，これらの指標をペナルティとして定量的に扱い，ペナルティの最小化によるビューマネジメントの提案を行う．提案手法は，注釈のレイアウトを動的に変更する方法の一つと位置づけられる．ウェアラブル 4 システムのユー
ザの視界中に存在する移動オブジェクトの注釈は全て表示され，各々の注釈の大きさは常に一定であるとする．具体的には，現実環境中に存在する移動オブジェ
クトの存在領域を存在確率の概念を用いて推定する．さらに，推定した存在領域に基づき，注釈の提示位置によって決まるペナルティを定義する．最後に，ペナ
ルティの最小化を行い，注釈の提示位置を決定する．
以下，) 節では，提案手法における移動オブジェクトの存在領域の推定方法について，) 節では，ペナルティの算出方法について，) 節では注釈の配置位置の決定について，それぞれ述べる．

 注釈対象の存在領域推定
現実環境中に存在する移動オブジェクトの存在領域を把握するために，移動オ
ブジェクトの現在位置と形状を利用した存在領域推定を行う．図  に，移動オブジェクトと想定するウェアラブルコンピュータのユーザの外観を示す．ウェアラ
ブルコンピュータのユーザは，中里らの手法 <>A = により位置・姿勢推定を行
うための赤外線カメラを頭頂部に装備している．以下にウェアラブル 4 システ
ムのユーザが見る現実環境における移動オブジェクトの存在領域の推定手順を述べる．

注釈同士の重なりがある画像

図

注釈と対象物体の重なりがある画像

注釈の理解が困難である注釈付加画像の例

移動オブジェクトの位置として求まる点

赤外線カメラ図  赤外線カメラを装備したウェアラブルコンピュータのユーザの外観まず，移動オブジェクトの現在位置を獲得するために， 章において提案しているネットワーク共有データベースとハイブリッド   を利用した注釈提示のフレームワークを利用する．本フレームワークを利用し，E プロトコルでデー
タの送受信を行うことで，移動オブジェクトの最新の位置情報を低遅延かつ秒間 回以上の頻度で獲得できる．移動オブジェクトの位置を獲得することで，ユー
ザ視界における移動オブジェクトの位置が把握できる．
次に，移動オブジェクトの形状をネットワーク共有データベースより獲得する．
提案手法では，ウェアラブルコンピュータのユーザが床面におおよそ鉛直に立っていることを想定し，存在領域を床平面に鉛直な直方体の集合で設定する．まず，ユーザの体を大きく  つの部分（頭，上半身，下半身）に分け，次に各部分を直方体の集合で表現する．さらに，各部分の直方体に，パラメータとして存在確率を設定する．最後に，全ての直方体をユーザ視界に投影する．この際，各直方体を，透明度が存在確率に反比例する半透明のオブジェクトとして描画する．ただし，直方体の集合は最終的に出力する注釈付加画像には提示しないため，直方体の描画にはオフスクリーンレンダリングを用いる．各直方体に設定するパラメー
タは，直方体が描画された位置にユーザの体が存在している確率を示すものである．ユーザ位置は頭頂部に装備されたカメラ位置として算出されるため，パラメータは頭頂部に近いほど大きい値を設定する．
以上の処理により色の濃淡が移動オブジェクトの存在確率を示す投影図が作成される．以降，この図を G存在確率マップH と呼ぶ．図  に，存在確率マップの例を示す．

 注釈の理解度に関するペナルティ項目の設定
画像上の位置  に注釈を配置する場合のペナルティ  を，以下の式で I  





定義する．








 

 J  
 

J









 は， つのペナルティ項目の和で定義される．上記の式における各ペナル

ティの内容は以下の通りである．

ユーザ位置
頭部
上半身
下半身

Low

図

High

存在確率マップの例  B 注釈と線を描画する際に発生する重なりに関するペナルティ  B 注釈と対象物体を結ぶ線の長さに関するペナルティ  B 前フレームにおける注釈の位置からの移動量に関するペナルティ

また， ， ， は各々のペナルティの重みの係数である．以下に，各々のペナルティ項目  ， ， の算出方法についてそれぞれ述べる．

 重なりに関するペナルティ の算出：
重なりに関するペナルティは，注釈のレイアウトのみから算出されるペナ
ルティ と，注釈のレイアウトと存在確率マップから算出されるペナ
ルティ  の 種類のペナルティの合計値とし，以下の式で定義する．

 I  J

以下に，各々のペナルティの算出の方法を述べる．

 注釈のレイアウトから算出されるペナルティ 注釈のレイアウトから算出されるペナルティは， 注釈同士の重なり，
線同士の重なり， 注釈と線の重なり，の量を画素数で算出し，その合計とする．図  に，各量が発生するような注釈の配置パターンの例を示す．
 注釈のレイアウトと存在確率マップから算出されるペナルティ 
図  に，注釈のレイアウトと存在確率マップから算出されるペナルティの

発生する注釈の配置パターンの例を示す．注釈が，ある位置に描画される
場合，注釈及び線の対象物体との重なりの量が小さい方が注釈の理解度が高いと考えられる．そこで，推定結果として算出されたユーザ視界中の移動オブジェクトの存在領域に対し，ある位置 のペナルティ   を以下の式で定義する．




I

¾






 に注釈が配置された場合
8



ただし， は画像上の点の座標， は座標  における画素の輝度値， 
は，注釈が座標  に表示された場合に隠蔽される画素の集合である．

 注釈と対象物体を結ぶ線の長さに関するペナルティ の算出：

注釈と対象物体を結ぶ線が長いほど，重なりを避けて注釈を配置することは難しくなる．そこで，注釈と対象物体を結ぶ線の長さに関するペナルティ
は，線の長さに比例して大きくなるような関数で定義する．つまり，線の長さを  とすると，  は以下の式を満たす関数で設定できる．








:

上記の式を満たすような関数  

 は様々に存在する．本研究ではパラ を以下の式で設定する．
メータの設定を簡単化するために，  


I 







8



Annotation
Annotation

 注釈同士の重なり
Annotation

Annotation

 線同士の重なり
Annotation
Annotation

 注釈と線の重なり
図ペナルティの発生する注釈の配置パターンの例:

推定されたオブジェクトの存在領域( x, y )AP 注釈と対象物体の重なり推定されたオブジェクトの存在領域( x, y )AP 線と対象物体の重なり
図  対象物体との重なりによりペナルティの発生する注釈の配置パターンの例

 注釈の移動量に関するペナルティ  の算出：図  に，注釈の移動量の算出方法の概念図を示す．注釈がユーザに提示される際に，ユーザ視界中における，注釈と対象物体の相対位置関係が変化することは，注釈の理解の妨げになる．そこで，注釈が位置  

置される際の注釈の移動量に関するペナルティ 

 に配

 を以下の式で定義

する．





I



 

 

ただし，  は つ前のフレームにおける注釈の位置， は現フレームにおいて つ前のフレームにおける注釈と対象物体の相対位置関係を保存して得られる位置，    は位置  と位置  との距離である．

 ペナルティ最小化による注釈付加) 節において定義したペナルティを用いてビューマネジメントを行い，注釈の付加を行う．注釈の配置パターンは，基本的には無数に存在し，各々のパターンについてペナルティを算出できる．そのため，ペナルティの最小化を行うために，以下の処理手順を用いる．

) 注釈の大きさと形状を設定する) 注釈を配置可能な領域中から，配置候補位置を設定する
) ペナルティが最小となる注釈の配置パターンを決定する
以下，各手順について詳述する．

) 注釈の大きさと形状の設定：
様々な情報が含まれた注釈は，ウェアラブル拡張現実感システムに用いられる提示デバイスを利用してユーザに提示される．そのため，注釈の大きさや形状は，注釈の内容，及び提示デバイスの仕様を考慮した上で決定す8At −1

At

Annotation

Pm ( x, y )Annotation

Bt ( x, y )時刻：t - 1

時刻：t

図  注釈の移動量の算出方法る必要がある．例として，文字列が表示された注釈を考える．この場合，提示デバイスの大きさを考慮した上で，ユーザにとって文字の読める注釈の大きさを確保する必要がある．一方，注釈を大きく設定することで，重なりに関するペナルティが大きくなる可能性が高くなる．以上の観点から，各注釈の大きさを固定値で適切に設定する．

) 配置候補位置の設定：
ビューマネジメントを行うために算出するペナルティは，注釈を配置する
位置によって決まる．注釈の配置位置は，基本的には無数に存在する．そこ
で，各注釈を配置する位置の候補を複数設定し，その中からペナルティが最小となる位置に注釈を配置する．設定する位置の候補の数に制限はない
が，ペナルティの計算に必要な時間は，候補数に比例して大きくなる．例
として，  画素× : 画素の解像度の画像を提示デバイスに表示し， 

画素× : 画素の大きさの長方形の注釈を つ提示する場合を考える．ただし，注釈の向きは固定であり，注釈の回転は考えないものとする．この場合，図  に示すように，注釈がはみ出ることなく描画できる範囲は， 888画素×  画素である．よって，縦方向，横方向ともに 画素単位で座標を変化させて注釈を配置できるとすれば， 88 ×  ＝

 : （通り）の配置位置が設定可能である．しかしながら，各々の候補位置についてペナ
ルティを算出する必要があるため，設定可能な全ての位置を候補位置として設定した場合の計算量は膨大となる．また，注釈と対象物体の相対位置が大きく変化しないほうが良いという考え方からも，注釈の現在位置から遠く離れた領域に，候補位置を密に設定する必要性は低い．
このような観点から，注釈を配置する候補の位置を，以下のように設定する．先ず，注釈を配置する候補位置は， フレーム前における注釈位置と対象物体の相対位置を保存した位置の周辺に限定する．ただし，候補位置を
現在位置の周辺のみに限定すると，周辺にペナルティの小さい位置がなくなった場合に注釈がペナルティの大きい位置に描画され続ける場合がある．
そこで，周辺領域に加えて，一定距離離れた位置を数点加え，配置位置の候補を設定する．図  に，一定距離離れた位置を : 点加えた場合の，注釈を配置する候補位置の設定例を示す．

) ペナルティが最小となる注釈の配置パターンの決定：
ペナルティの最小化には，全体最適化を用いる方法と，逐次処理による局所最適化を用いる方法がある．以下で，それぞれの方法について述べる．ただし，ユーザ視界に付加する注釈の個数を 個とする．また，各々の注釈の配置位置の候補数を  とする．
全体最適化を行う場合，全ての注釈の配置パターンのペナルティを算出し て，最小のペナルティを持つ配置パターンを決定する．この場合，ペナル
ティを計算する配置パターンの総数は，         I



となる．

全体最適化は，必ずペナルティが最小のパターンで注釈が付加されることが保証される．しかし，ペナルティの計算回数が多く，計算量は大きい．
次に，逐次処理による局所最適化を用いる方法について述べる．本手法で8

577 pixel

433
pixel

480
pixel
注釈の大きさ640 pixel
図

注釈がはみ出ることなく描画できる範囲

は，各々の注釈の配置位置を， つずつ順次決定する．この場合，各々の注 釈を配置する際にペナルティを算出するパターンの数が  であることから，

ペナルティの計算回数は  J  J    J  Iとなり，全体最適化と比較して計算量は小さい．ただし，注釈の配置位置を逐次的に決定する
ため，全体最適解が出力されない可能性がある．

 実験と考察 注釈対象の存在領域推定実験
本実験ではまず，現実環境中における位置・姿勢が固定された注釈がネット
ワーク共有データベースに登録されている環境を準備した．次に，中里らの手法< >A = により位置・姿勢の計測できる  人のウェアラブルシステムのユーザ * 1  の位置を双方向に   で送信し，ユーザ  が装着したビデオシース
ルー型のウェアラブル注釈提示システムを用いて注釈対象の存在領域推定を行った．表に，それぞれのシステムに使用した機器の構成を示す．今回使用した

8

：1つ前のフレームにおける，対象物体からの相対位置：注釈を配置する候補位置の存在領域（前フレームにおける注釈の相対位置の周辺領域）：注釈を配置する候補位置（対象物体の現在位置から一定距離離れた位置）
図 

一定距離離れた位置を : 点加えた場合の，注釈を配置する候補位置の設

定例

8

手法 <

>A = におけるユーザ ，*，1 の位置誤差平均は約 ''，姿勢誤差平均は約 ) 度であり，ユーザ  の位置誤差平均は約 '' である．また，ユーザ ，*，1 の推定頻度は 秒あたり約 回，ユーザ  の推定頻度は 秒あたり
約  回である．本実験において，各ユーザはいずれも頭頂部に位置・姿勢の推定
用の赤外線カメラを装着しており，ユーザの存在領域は，水平面に鉛直な直方体の集合で推定している．ユーザの体の構造上，頭部はほぼ剛体であり，カメラ位
置も近いことから，存在確率を高い値で設定する．また，上半身及び下半身は手足の動きによって様々な写り方をするため，存在確率を低い値で設定するものとする．本実験では，ユーザの各部分の存在領域を推定する直方体の個数及びアルファ値（透過係数）はそれぞれ，頭部（個数：個，アルファ値：) ），上半身（個数：: 個，アルファ値：) ），下半身（個数：個，アルファ値：) ）と設定している．図 8 に，ユーザ  が装着したウェアラブル注釈提示システムによるユーザ *，1， の存在領域の推定結果を示す．図 8 は注釈付加画像，図 8# は，本来オフスクリーンレンダリングによって得られる存在確率マップをレンダリングして作成した画像である．本実験では，領域推定結果を明示するために，本来は描画が不要である領域推定結果を青色で表示している．
図 8# ではユーザ視界画像に対してユーザ *，1， の存在領域が重畳表示されており，ユーザ  の持つカメラの位置姿勢，及びユーザ *，1， の動きに合わせて存在領域が推定されていることが確認できる．

 ビューマネジメントを用いた注釈付け実験
注釈対象の存在領域推定で得られた結果を利用して，注釈付加画像の作成実験を行った．本実験ではまず，  画素× : 画素の注釈付加画像を作成することとし，作成した注釈用の画像の内容（顔の写真，所属及び名前を示す文字列）を考慮
して，注釈画像を : 画素×  画素の長方形に設定した．また，ある位置 

注釈を配置する場合のペナルティ  I  ， I に の重み付け係数を，それぞれ  I  ，と設定した．ただし，線同士の重なり，線と注釈の重なり，線と対象物体の重なりの量を計算するために，線からの距離が  画素以内の画素
を，線上にある画素とした．

8

表

ウェアラブルシステム（ユーザA）

ウェアラブルシステム（ユーザB，C）

ウェアラブルシステム（ユーザD）

各システムの機器構成

使用機器

スペック

計算機

CPU：2.13GHz
メモリ：1.0GB
54Mbps Ethernet接続

位置・姿勢計測用
赤外線カメラオリジナル
有効画素数：1024×768
画像更新速度：約29fps

ユーザ視界画像
取得用カメラオリジナル
有効画素数：640×480
画像更新頻度：約15fps

計算機

CPU：Core2Duo，2.0GHz
メモリ：3GB
54Mbps Ethernet接続

位置・姿勢計測用
赤外線カメラオリジナル
有効画素数：1024×768
画像更新速度：約29fps

計算機

CPU：1.2GHz
メモリ：500MB
54Mbps Ethernet接続

位置・姿勢計測用
赤外線カメラオリジナル
有効画素数：640×480
画像更新速度：約30fps

8













図 8 ユーザの存在領域の推定結果（左：注釈のみ表示，右：存在領域の推定結果を重畳表示）88次に，注釈を配置する候補位置の設定を行った．本実験では，前フレームにおける注釈と対象物体の相対位置関係を保存して得られる位置を中心として，周辺の画素×画素の範囲を，候補位置として設定した．さらに，対象物体の現在位置から  画素離れた円周上に点の候補位置を設定した．ただし， は以下の式で算出するものとする．




I 


 

は，現実空間中における対象物体の位置とウェアラブル拡張現実感システムの位置との距離であり（単位：メートル）， は  に反比例するよう設定している． を上記の式で設定することは，ユーザの現在位置を頭部中心として算出しており，ユーザとの距離が近いほどユーザがカメラに大きく写ることを考慮したものである．
本実験でははじめに，ビューマネジメントの有無を比較するための実験を行った．図 : に，比較実験の結果を示す．なお，本実験における注釈の配置位置の決
定順序は，
（粂秀行

⇒

高橋英之

⇒

伊吹拓也）の順である．

図 : に，ビューマネジメントを行わずに，対象物体に対する注釈の相対位置を固定して作成した注釈付加画像を示す．また図 :# に，提案するビューマネジメント手法を利用して作成した注釈付加画像を示す．ビューマネジ
メントを行わない場合には，注釈同士の重なりや，注釈と注釈対象でないユーザの重なりが確認できる．しかしビューマネジメントを行った場合では，ビューマ
ネジメントにより注釈の位置を動的に変更しているため，注釈同士の重なり及び注釈と注釈対象でないユーザの重なりを避けた注釈付けができている．
次に，図  に，本実験中における各注釈のペナルティの変化の様子を示す．図 中の各グラフは，提案手法によりビューマネジメントを行った場合のペナル
ティ（グラフ中では「/7 あり」と表記）と，対象物体の現在位置から真上に 
画素離れた位置に注釈を付加した場合のペナルティ（グラフ中では「/7 なし」と表記）を比較したものである．本グラフでは，注釈対象であるユーザがカメラに写っていない場合，「/7 あり」のペナルティの値が存在しない．また，対象物

体の現在位置から真上に  画素離れた位置がカメラ画像外の場合，「/7 なし」8:

のペナルティの値が存在しない．この結果より，ビューマネジメントを用いることで，大半の時間において注釈と対象物体の相対位置を固定した場合よりもペナ
ルティの低い注釈付加ができていることが確認できた．
次に，環境中の固定位置に設定されたナビゲーションのための注釈，及び環境中の静止物体（部屋の入り口，地図が表示された金属板，エレベータの入り口）の注釈を含めた応用実験を行った．静止物体の注釈は，現実空間中の 点を各物
体の存在位置として設定し，ウェアラブルコンピュータのユーザの注釈よりも優先度を低く設定した．また，ウェアラブルコンピュータのユーザの注釈の優先度の設定は，前述のビューマネジメントの有無を比較した実験と同様である．

 に，ユーザ  が装着したウェアラブル注釈提示システムで作成した注釈
付加画像を示す．本実験では， 人のユーザが共に環境内を歩き回りながら， 
で自己位置の送信を行った．図  からも，注釈同士の重なり及び注釈と注釈対象
図でないユーザの重なりを避けた注釈付けができていることが確認できる．なお，
本実験において作成した注釈付加画像のフレームレートは，全て約 :〜フレー

ム毎秒である．

 画像全体のペナルティの算出
本実験では，注釈を配置する位置の候補の探索範囲を限定しており，それぞれの注釈が必ずしもペナルティが最小となる位置に配置されるとは限らない．そこ
で，あるタイミングでアプリケーションの動作を一時停止させ，ユーザ視界画像
中で注釈がはみ出ることなく配置できる全ての位置のペナルティを計算し，注釈
付加画像と比較する実験を行った．図は，注釈が全てペナルティが最小の位置に配置された例である．また，図は，ペナルティが最小ではない位置に注釈が配置された例である．なお，図及び図に示したペナルティの計算時間

は，画像一枚あたり 分程度であった．
図では，作成された注釈付加画像には注釈同士の重なりなどは無く，見た目には問題がないと考えられる．しかし本結果では， つの注釈のうち つはペナルティが局所的に小さいものの，最小ではない位置に描画されている．これは，注釈を配置する位置の探索範囲にペナルティが最小の位置が含まれなかったこと

8













図 : ユーザ  視点の映像によるビューマネジメントの有無の比較結果（左：ビューマネジメントなし，右：ビューマネジメントあり）:

が原因である．

 考察
本実験では， 人のウェアラブルコンピュータのユーザを注釈対象とした実験を行った．また，ペナルティの小さい注釈付加画像の作成を行い，ユーザにとって直感的に理解しやすい画像が提示できた．本実験では，実時間で動作するシス
テムでの実験を行うために，注釈を配置する位置の候補の探索範囲を限定しており，注釈付け実験の結果が必ずしも最適解とはなっていない．常に最適解を算出するアプリケーションを作成するためには，画像全体のペナルティの計算が必要であるが，ペナルティの計算時間が長いため，高速化が必要である．今後，ウェ
アラブルかつ CE 性能の高い計算機を用いることで，オフスクリーンレンダリ
ングによる存在確率マップの作成や，レンダリングしたマップの値を利用した計算に必要な時間を CE プログラミングの工夫によって短縮できると考えられる．
提案手法では，簡易形状の集合によってユーザの存在領域を設定した．さらに，頭部に装備したカメラ位置をユーザ位置として獲得するため，頭部に近いほど形状の存在確率を高く設定した．本手法を応用すれば，移動物体か静止物体かを問わずに，隠蔽したくない部分の存在確率を上げることで，重要部分の隠蔽を減少させることができる．例えば，注釈対象が人である場合，顔が見えることが重要という観点から，頭部の形状の存在確率を高く設定する方法が考えられる．本実験では，頭部に近いほど形状の存在確率を高く設定しているため，顔部分は隠蔽されにくいという副次的効果が得られている．また，注釈対象が大きな建物である場合，注釈対象である部屋部分などの存在確率を高く設定する，注釈対象が車である場合，乗車席部分の存在確率を高く設定するという利用方法が可能である．
今後の課題として，4 システムの利用用途を考慮してペナルティ関数の重みの係数を決定することが挙げられる．また，多数の注釈対象が存在するシーンに対応するために，情報のフィルタリング手法を組み合わせて利用し，より効果的なビューマネジメント手法の検討を試みる．

:

VMあり

VMなし

140000120000

ペナルティ

100000
80000
60000
40000
20000
0
1

67

133 199 265 331 397 463 529 595 661 727 793 859 925 991 1057 1123 1189 1255 1321 1387 1453 1519
フレーム番号

 ペナルティの変化の様子（注釈対象：粂秀行）
VMあり

VMなし

120000100000

ペナルティ

80000
60000
40000
20000
0
1

67

133 199 265 331 397 463 529 595 661 727 793 859 925 991 1057 1123 1189 1255 1321 1387 1453 1519
フレーム番号

 ペナルティの変化の様子（注釈対象：高橋英之）
VMあり

VMなし

120000100000

ペナルティ

80000
60000
40000
20000
0
1

67

133 199 265 331 397 463 529 595 661 727 793 859 925 991 1057 1123 1189 1255 1321 1387 1453 1519
フレーム番号

 ペナルティの変化の様子（注釈対象：伊吹拓也）:

図

ビューマネジメントを用いる場合と用いない場合におけるペナルティの変化の様子の比較結果













図

 応用実験結果（ユーザ  視点の映像）
:

(a)

(A)

(b)

(B)

(c)

(C)

小

図

ペナルティ

大

ペナルティが最小の位置に注釈が配置された例（左：注釈付加画像，右：ペナルティのヒートマップ表示）

:

(a)

(A)

(b)

(B)

(c)

(C)

：ペナルティが極小の位置に配置された注釈
小：ペナルティが最小の位置に配置された注釈

図

ペナルティ

大

ペナルティが最小の位置に注釈が配置されなかった例（左：注釈付加画像，

右：ペナルティのヒートマップ表示）: 結論近年の計算機の高性能化により，拡張現実感を利用したアプリケーションは小型の計算機上でも十分に実装が可能である，それに伴う形でウェアラブル拡張現実感の技術も発展を遂げている．ウェアラブル拡張現実感ではユーザの行動範囲は広域であり，あらかじめ計算機に保持している情報を提示する方式では，情報の追加や更新に問題がある．そこで本論文では，注釈情報の追加や更新が効率的に行える環境を構築し，そのような環境下で注釈が提示される際の，注釈提示のためのビューマネジメントを実現した．
章では，ウェアラブル拡張現実のための注釈情報の共有フレームワークについて述べた．提案手法では，ウェアラブル拡張現実感システムのユーザが無線ネット
ワークを利用可能であることを前提として，ネットワーク共有型の注釈情報デー
タベースを用いた情報の共有を実現した．

 章では，移動する物体への注釈付け手法について述べた．提案手法では，移動物体が自己位置を計測可能であることを前提として，クライアントサーバ通信と   通信を適応的に使い分けるハイブリッド   を利用した位置情報の獲得を行い，位置ずれの小さい注釈付けを実現した．

 章では，移動物体への注釈付けのための，ビューマネジメント手法について述べた．非剛体かつ位置計測に誤差のあるウェアラブルコンピュータのユーザを注釈対象として，その存在領域を，簡易形状の集合をオフスクリーンレンダリン
グすることで推定し，ペナルティの最小化により直感的に理解しやすい注釈の付加を実現した．
本研究に残された課題として，どのようにしてユーザが見たい情報を選び，直感的に見せるかという問題が挙げられる．ユーザの指向や注視している物体を把握する手法を実現することで，よりよいビューマネジメント手法の実現が期待できる．また，ユーザ視界カメラを利用するビデオシースルー型のウェアラブル現実感に限定すれば，画像処理の利用による注釈の位置精度の向上も考えられる．
ネットワークを介して獲得した位置情報と注釈対象物体のトラッキングの併用により，注釈対象の存在領域の推定精度の向上が期待できる．

:

謝辞
本研究の全過程を通して，御懇篤なる御指導，御鞭撻を賜わりました視覚情報
メディア講座 横矢直和 教授に心より深謝致します．本研究に関し，研究ミーティ
ングにおける議論や論文の添削などにおいて的確かつ丁寧な御指摘を頂きました．
本研究の遂行にあたり，博士前期課程在学時において副指導教官として有益なる御指摘，御助言を頂いた知能情報処理学講座 木戸出正繼 教授，博士後期課程
在学時において副指導教官として有益なる御指摘，御助言を頂いた像情報処理学講座 千原國宏 教授，ならびに前後期を通じて御指導を頂いた視覚情報メディア講座 山澤一誠 准教授に厚く御礼申し上げます．
本研究に関して，機会有る毎に様々な御助言を頂いた，知能情報処理学講座 木戸出正繼 教授をはじめとした，科学技術振興事業団（@） 戦略的基礎研究推進事業（149）B 高度メディア社会の生活情報技術「日常生活を拡張する着用
指向情報パートナーの開発」プロジェクトの基幹講座の諸先生方および参加メン
バーの皆様に心より御礼申し上げます．
奈良先端科学技術大学院大学

世紀 1-9 プログラム「ユビキタス統合メディアコンピューティング」研究拠点リーダー 千原國宏 教授をはじめ，本研究を進めるにあたり有益な御助言を頂いた同プログラムのコアリーダーおよび各研究グ
ループの諸先生方，事務補佐員の皆様，研究員の皆様に深く感謝いたします．
本研究を進めるにあたり，特別教育研究経費「超高速ディペンダブルネットワー
ク環境での複合現実感研究創出事業」のご支援を頂きました．ここに厚く御礼申し上げます．
また，視覚情報メディア講座 神原誠之 助教には，研究及び学生生活全般を通じて直接懇切丁寧な御指導，御助言を賜わりました．神原助教に日々様々な御助言，御指摘を頂けたことで，本研究を円滑に進めることができました．ここに心より深謝申し上げます．
本研究に関する貴重な御助言や御指摘を頂きました視覚情報メディア講座 佐藤智和 助教，像情報処理学講座 池田聖 助教に深く感謝致します．また，日頃から多岐にわたる御支援を頂いた視覚情報メディア講座の諸氏に感謝致します．特に同じ研究グループで実験への協力や助言を頂いた 天目隆平 氏，小田島太郎 氏，:8

浅井俊弘 氏，中里祐介 氏，奥村文洋 氏，小谷享広 氏，堀磨伊也 氏，山中一樹
氏，永松明 氏，仁科勇作 氏に感謝致します．また，ウェアラブルコンピュータを利用した実験に長期に渡り協力頂いた，峠田正樹 氏，水戸博之 氏，越澤広幸
氏，伊吹拓也 氏，粂秀行 氏，高橋英之 氏に感謝致します．また，日々の研究活動を支えて頂いた，視覚情報メディア講座 前事務補佐員 守屋知代 女史および 事
務補佐員 高橋美央 女史に深く感謝致します．
最後に，長きに渡り学生生活を支え励ましてくださった両親，ならびに妹に深く感謝します．

::参考文献<7 =) 7 G5% 1'"& !B  3  "  % '!
!H    /%)  )  "")  )<+& 8=4) +&' G &,( # &!'  4% (H"")  :  8)

 /%)  ) <>- = 7) > ) -$&' 6) $'&  )A$( G  "/  &! &!'  4% ( ( ' *  4% '/ 4!  H          
 "")  )<@;* = ) @&% 7) ;+!  A) *%%  ;) 4%&' ) 3 )
6%%  )    G#'  3% ! # 7% &!' 
4% (H            
"")   )<>> = 7) >&! ) >&   >) $& G ' 7 
# %  !  -      4% ' ""% # 5% 1'"& H  !    "  #
 "") 8   )<6  = >)   >) 6 7) &$ 6) A''   6) '&G-5 594B  -& 5% 74 ( '   6!
" 4!  H       $   
"")    )<7 =!%&&&  

<日立=!%&&&!!'( &<雨宮  =

雨宮智浩 檜山敦 中茂睦裕 福島智 広田光一 廣瀬通孝 G盲聾者&  ナビゲーションのためのウェアラブル指点字インタフェースの研究H
ヒューマンインターフェース学会報告集 ,%) :)  "")    )

<小見  =<河村  =

小見正幸 尾崎徹 杉本千佳 柴健次 保坂寛 板生清 苗村潔 Gヘルス

ケア用ウェアラブルセンシングユニットの開発研究H 年春季マ
イクロメカトロニクス学術講演会講演論文集 "")    )河村竜幸 上岡隆宏 浮田宗伯 河野恭之 木戸出正継 G着用指向情報

パートナーにおける記憶支援システムの開発に向けてH 人工知能学会第  回  若手の集い 7A1-7  

<寺田 = )寺田智裕 神原誠之 横矢直和 G拡張現実感を用いた車載型アノテーションシステムの構築H 奈良先端科学技術大学院大学修士論文7   )

<4;  = 7) 4 % )    @) ; C) 6  @) $' >) >%% 9))  7) @& $ >) 7&%%  6) 3& G&!'  4% (C& # % *"B  4'+ 1 %% %  'H          )   
 *   "")  :  )<>3  = 7) > 6) 3&. 6) $'&  ) A$( G5$ '-& K   5$7% C' E! /  &! 74H     $    ""):  )<@7A = ) @&% 7) ;+!  A) *%%  ;) 4%&' ) 3 )
6L%%  )    G#'  3% ! # 7% &!' 
4% (H            
"")   )<-A := ) -' >)   6) A''   6) '& G4 6$(B 1  &( # 1%% , &!'  4% (H        /%)  "")  :)<**  = 4) +&' A) *%%  4) *! ) 3 ) @&   *)7 ( G4 ,  &!'  % (H  
+ !     /%) )  "") 8  )<田村 :=

田村秀行 大田友一 G複合現実感H 映像情報メディア学会誌 /%)<7> =) 7%!'  3) > G 2'( # '2 % ( ,&%
"%(H   ,         /%)988 )  "")    ))  "")

8

:)



<37 = ) 3 *) 7 (  ) %!' G>%! &!'  % (H    !  /%)   ) 8 "")  )<>A= 4) '$& 7) >  ) A$( G % &!' 
% ( ( ' &!   ,   "' H         /%)   "") 8::  )<大隈 8=大隈隆史 興梠正克 酒田信親 蔵田武志 G屋内展示ナビと現地や遠隔地での追体験のための三次元インタフェースH 電子情報通信学会 技術研究報告 7/9 8 "") :8)<C =

) C%&  )  G!  '"%'   #  7% , # -&  &!'  4% (   4169-CE9. H  ,  "") :  )<> =)  @) >! G4169-CE9B ( '   &# 7% -&  &!'  4% ( ( 'H      $         "")   )<蔵田  =

蔵田武志 大隈隆史 興梠正克 加藤丈和 坂上勝彦 G/+5B コン
ピュータビジョンとウェアラブルディスプレイによる人間中心インタ
ラクションH 高臨場感ディスプレイフォーラム   "") 8<61  )= )    C) 6  ) 1 5) C   7) ;,!  G&" &!'  4% ( 4!   (  ! ! ;'$ $!  7!  $!H)<@ "")  :  ++ -./0

= 6)   /) @ )     ) 4 ) 3 +  4) 7%
G7*1B !!  ,%  # *%  9%%( "%H 1  (*  /%)   )  "")  )< >A = A) $+  7) >  ) A$( G5% &!' 
% ( ( ' &! ,% ,&% '$   4 'H    "  # 
 "") :   )<376 8= ) 3 *) 7 ( ) 6L%%  ) 5  G &!
7B   ("!  7% &!'  4% ( ( ' #
92"%!  E ,' H     "  #
 "") : 8 8)< := *) 6) ' /) '+&$ 5) $$ ) 6"   *)C&  G 5% 1'"&  ( ' 5  &!'  4% ( &""  % ,! H     "  #
 "") : 8  :)<* =

5) $$  *) ' G* 1&'B  0& # 7
%%! ;! -&  C& 3 &H     $        "") 8  )<興梠 =興梠正克 蔵田武志 Gウェアラブルカメラと慣性センサ群のデータ統合に基づくパーソナルポジショニングH 電子情報通信学会 技術研究報告 47E   : "")88  )<>A= 4) '$& 7) >  ) A$( G 5% &!' 
4% ( ( ' # ,!  E!  ! # & &  ' H         $     2  34 "")   )<C3=) C&,  ) 3 G& !  6("' # 5%
&!'   / &% % (H     "  # ) "") :  )<伊東  =

伊東大輔 天目隆平 神原誠之 横矢直和 G地図情報と拡張現実感を用いた位置依存情報のオーサリングH 電子情報通信学会 技術研究報
告 7/9  

<小谷  =

  )

小谷享広 牧田孝嗣 神原誠之 横矢直和 G注釈対象の形状を考慮した 4 オーサリングシステムH 電子情報通信学会 技術研究報告47E    8)<=

5) $$  *) 6) ' G -. -  #    & #  72 4% ( ""% H        $      2  34 "") 8)<*3 =*) *%% ) 3  ) 6L%% G/ 7!' # / &% &!'  4% (H    5
  & , !  25 , 4 "")     )<3=

4) +&'  1) 3&'$ G9,%& ! ;% %' # &!'  4% ( / 7!' H       $ 
8  )       2  34 "")<D =

3) D!  6) & G(' ;%! 7!'  / &% &!'  9,' H /!        )   6     + ! 26+  4 "")  8   )<天目  =

天目隆平 神原誠之 横矢直和 Gウェアラブル拡張現実感システムのための注目オブジェクトへの直感的な注釈提示手法H 日本バーチャル

リアリティ学会論文誌 /%) )  "")     )<浦谷  =浦谷謙吾 町田貴史 清川清 竹村治雄 G拡張現実環境における奥行きを考慮した注釈提示手法の評価H 日本バーチャルリアリティ学会
論文誌 /%)<;= )  "")    )) ;($  7) &( G& '   '  # 2 
% ( , 2 & $!& # &!'  % ( ( 'H
 3    $         "") 
)<  := 3)   6) $'  4) $ ) >'&  6) '& G
/ 7!' 7  # 7% 72 4% ( ( 'H 
7!   !      *    2+84
"") 8  :)<-> 8= ) $ ) -! >) >($  6) $'& G,%"' #  #  3'$ #   $ 5% &!' 
4% ( ( 'H ,! 9         5#:           "")   8)<7A 8= @) 7 ) A&  E) &' G4%' -. $! #&!'  4% ( 1'! C" 1&   -" % 3%H $!
     2  ;4     "")  

 8)

$    

 

研究業績
学術論文誌

) 牧田 孝嗣 神原 誠之 横矢 直和 Gネットワーク共有データベースとハイブリッド   を利用したウェアラブルシステムユーザへの注釈付けH 日本
バーチャルリアリティ学会論文誌 /%)  )  "") 8  :  :) 第 
章に関連
レター論文

) 牧田 孝嗣 神原 誠之 横矢 直和 Gウェアラブル拡張現実感システムにおけるハイブリッド   を利用したユーザへの注釈付けH 情報科学技術フォー
ラム 3 情報科学技術レターズ /%)  "") : :  &!)  ) 第  章
に関連
国際会議

) >. 7$  7(&$ >  $+& A$( G  
#    #'  # % &!'  % ( ( 'H        <  / "")  8  ) 第 章に関連
) >. 7$  7(&$ >  $+& A$( G     #  $ % &!'  % ( ( 'H  !
=       /%)  "")   8 ) 第 章に関連) >. 7$  7(&$ >  $+& A$( G% #'     % '"&  &   ( " " ''& H  0!      =     ,  $  
2 , 04 "")8 8  ) 第  章に関連) >. 7$  7(&$ >  $+& A$( G/% "  '  # ',! ! .  #  $ % &!'  %
 (H  7!   !      *    2+84)  ) "")  :) 第  章に関連
研究会・シンポジウム) 山澤一誠 石田皓之 岡本崇弘 小田昌宏 前橋久美子 浅井俊弘 牧田孝嗣
G  年 47E アルゴリズムコンテスト「砂嵐から立体を見つけ出そう」
実施報告とその入賞アルゴリズムの紹介H 電子情報通信学会 技術研究報告47E   :   )) 牧田孝嗣 神原誠之 横矢直和 Gウェアラブル注釈提示システムのためのネットワーク共有型注釈データベースH ヒューマンインタフェース学会研究報告集 /%)  ) "") 8  ) 第 章に関連) 島田秀輝 天目隆平 牧田孝嗣 砂原秀樹 横矢直和 Gアドホックネットワー
クを用いた位置に依存する実空間情報の共有F提示システムH マルチメディ
ア，分散，協調とモバイル（1-7-）シンポジウム論文集 /%)  )  "") 8   )) 牧田孝嗣 神原誠之 横矢直和 Gウェアラブル 4 のためのハイブリッド  を用いたユーザへの注釈付けH 電子情報通信学会 技術研究報告 7/9  :   ) 第  章に関連
) 小谷享広 牧田孝嗣 神原誠之 横矢直和 G注釈対象の形状を考慮した 4
オーサリングシステムH 電子情報通信学会 技術研究報告 47E    8)) 牧田孝嗣 神原誠之 横矢直和 Gウェアラブル 4 のための対象の位置・形状を考慮した移動体への注釈のビューマネージメントH 電子情報通信学会
技術研究報告 7/9 8  8) 第  章に関連

8) 牧田孝嗣 神原誠之 横矢直和 Gウェアラブル 4 のための注釈と対象物体の視認性を考慮したビューマネジメントH 日本バーチャルリアリティ学会
サイバースペースと仮想都市研究会 研究報告 /%)  ) 1  "")   ) 第  章に関連
全国大会) 牧田孝嗣 神原誠之 横矢直和 G注釈データベースをネットワーク共有した
ウェアラブル型注釈提示システムH  年電子情報通信学会総合大会講演
論文集 )   ) 第 章に関連
) 牧田孝嗣 神原誠之 横矢直和 Gウェアラブル拡張現実感システムのためのネットワーク共有型注釈データベースH 情報科学技術フォーラム 3 一
般講演論文集 /%)  >:  ) 第 章に関連) 神原誠之 天目隆平 牧田孝嗣 横矢直和 Gウェアラブル型拡張現実感とその応用H 第  回システムインテグレーション部門学術講演会   /%) "")     ) 第 章に関連) 牧田孝嗣 神原誠之 横矢直和 Gハイブリッド   を利用したウェアラブル
ユーザへの注釈付けH  年電子情報通信学会総合大会講演論文集 )   ) 第  章に関連
) 小谷享広 牧田孝嗣 神原誠之 横矢直和 G注釈対象物体の形状を考慮した
4 オーサリングシステムH 情報科学技術フォーラム 3 一般講演論文集 /%)  "")    )) 牧田孝嗣 神原誠之 横矢直和 Gウェアラブル拡張現実感のための移動体の位置・形状を考慮した注釈のビューマネージメントH 電子情報通信学会
8 年総合大会 情報・システムソサイエティ 学生ポスターセッション)  8 8) 第  章に関連
88) 牧田孝嗣 神原誠之 横矢直和 Gウェアラブル拡張現実のための移動体の位
置・形状を考慮した注釈のビューマネージメントH 日本バーチャルリアリ
ティ学会第 回大会論文集 "")  8) 第  章に関連
:) 牧田孝嗣 神原誠之 横矢直和 Gウェアラブル 4 のための移動オブジェク
トの存在領域推定に基づくビューマネージメントH 日本バーチャルリアリ
ティ学会第  回大会論文集 "")   :) 第  章に関連
表彰) 電子情報通信学会 パターン認識・メディア理解研究会第 回アルゴリズム
コンテスト特別賞

マスメディア報道) Gリアルな風景に情報を合成 「これって何？」はもうなくなるH 日経 9
5-4>  年 月 日)
) G相手を見れば情報表示H 日経産業新聞 8 年

月  日)) G総務省による戦略的情報通信研究開発推進制度の第  回成果発表会開催〜
ロボット関連の研究開発も複数実施H 4 5  : 年 月 日)
特許公開

) 牧田孝嗣B G光通信システムに設置される終端装置H 特開２００６−１４８
２４６（Ｐ２００６−１４８２４６Ａ） 平成 : 年 月 : 日公開: