 基礎論文

  

ネットワーク型ウェアラブル
のための
動的環境における注釈のビューマネジメント
牧田 孝嗣



神原 誠之

横矢 直和

                  £ £                                        
                         !              "    #    Æ                                                     $           %                $                                          !              !            % &                              '        (      )    
拡張現実感（はじめに!"## #$ ）は，計算機

User C
User Bが生成した情報をユーザが見ている現実環境に重ね合わせて表示する技術である．装着して常時使用可能なウェアラブルコンピュータと，
ウェアラブル を組み合わせた

 を利用すれば，ユーザはいつでも任意の場所において，自己位置・姿勢に応じた位置依存
情報を直感的に得ることができる．ウェアラブル



を応用したシステムの例として，位置依存情報を注釈として提示するものが挙げられる % & %&．注釈を描画'( のように現実空間中に存在する ) 次元モデルとして描画する方法や，図 '( のようにユーザ視界中に  次元画像を描画する方法がある．
する場合には，図注釈情報を提示する場合には，注釈の配置方法の工夫（ビューマネジメント）により注釈の見やすさを向上
でき，これまでに建造物や機器のスイッチ・ボタンなどの物体に関する注釈情報を対象としたビューマネジ
メント手法が提案されている %)*+&．

これらの手法はいずれも注釈付けを行う対象として静的環境を想定しており，注釈の対象である物体の位
：奈良先端科学技術大学院大学 情報科学研究科
：現在，独立行政法人産業技術総合研究所
：               
：                  

注釈（2次元画像）

注釈（3次元モデル）

 次元モデルの表示

図




 次元画像の表示

注釈付加画像の例

    



 

置・姿勢・形状があらかじめ正確な既知のデータとして与えられていた．そのため，対象物体の内側領域か外側領域を選択して注釈を提示する方法や，注釈と対
象物体を結ぶ線の長さをあらかじめ適切な値に固定しておく方法など，正確な既知のデータを利用してアプ
リケーションの使用環境に特化したビューマネジメントが行われてきた．
しかし実際には，注釈対象として移動体や非剛体が想定されるウェアラブル のように，現実の ) 次元

環境における対象の存在領域を正確に得ることが困難である環境も多い．例えば，筆者らはこれまでにウェ
アラブルコンピュータのユーザを注釈対象とした注釈付け手法 % & を開発しているが，ネットワークを利用して得られる情報は注釈対象の頭部の位置・姿勢のみであり，正確な対象の存在領域は得られない．

   法 %)&% & が一般的である．

日本バーチャルリアリティ学会論文誌

そこで本研究では，ウェアラブル

 に代表される

ようなシーンに存在する移動体や非剛体を注釈対象と本研究では，対象物体と注釈を線で結ぶ方法を採用

した環境（以下，動的環境）における，注釈と対象物

し，動的環境を想定して以下の ) つの観点をもとにし体の視認性の向上を目的とした注釈のビューマネジメ

たペナルティを定義する．

ント手法を提案する．提案手法では，ネットワークを介して獲得した対象の位置情報と形状を用いて対象物
体の存在領域の推定を行う．さらに，注釈と対象物体の視認性を低下させる要因である注釈と対象物体などの重なり，注釈と対象物体との距離，フレーム間の注釈の移動量をペナルティとして定量的に定義し，これらを最小化することでビューマネジメントを行う．本

論文では，中里らの手法 %,& により赤外線カメラを利用して頭頂部の位置・姿勢の計測が可能なウェアラブ
ルコンピュータのユーザを注釈対象として想定する．
さらに，筆者らの手法 % & による，ネットワーク共有

データベースとハイブリッド -- を利用した注釈提示のフレームワークを利用して注釈対象の位置を獲得
する．

以下， 節では注釈と対象物体の視認性を考慮した

ビューマネジメントについて，) 節ではプロトタイプ
システムを用いた注釈付け実験について説明する．最後に 節では本論文のまとめと今後の課題について述べる．

 注釈と対象物体の視認性を考慮したビューマネ
ジメント  ビューマネジメントの基本方針

 注釈同士，注釈と対象物体を結ぶ線，注釈と対象物体の ) 通りの重なり量（小さい方が低い） 対象物体と注釈を結ぶ線の長さ（短い方が低い） フレーム間における画像上の注釈の移動量（小さい方が低い）これらの観点に基くペナルティを算出するためには，
ウェアラブル  システムのユーザの視界中に存在する注釈対象の存在領域を推定する必要がある．さらに，存在領域が正確には得られない対象物体について，ペナルティを計算するための重なり量を定量的に算出する新たな手法が必要となる．そこで，ビューマネジメ
ントを用いた注釈付加を行う過程として， ( 注釈対象の存在領域推定，( ペナルティの算出，)( 注釈の配置位置の決定の ) 段階を考える．
以下， 節では提案手法における注釈対象の存在領域の推定，) 節ではペナルティの算出， 節では注釈の配置位置の決定について述べる．

  注釈対象の存在領域推定

現実環境中に存在する注釈対象の存在領域を把握するために，注釈対象の現在位置と形状を利用した存在領域推定を行う．具体的には，図  に示すように，ユーザの視界における注釈対象の存在確率を示す  次

元マップを作成する．以降，これを 1存在確率マップ2

これまでに .# らは，注釈対象の存在領域を矩形でと呼ぶ．注釈対象が静止物体の場合には，図 '( のよ

管理して，矩形領域内，もしくは注釈対象が存在しな

うに，あらかじめ与えられたデータを利用することで，いスペースを選択して注釈を配置する研究 %)& を行った．また，

" らの研究 % & によって，対象領域と注釈を線で結ぶ方法を用いる際に，注釈のわかりや存在確率の値が最小の位置と最大の位置のみを持つ存
在確率マップができる．一方で，本論文で注釈対象としているウェアラブルコンピュータのユーザは，移動すさに大きな影響を与える要素が，認知心理学の知見

体かつ非剛体であるため，図 '( のように，確率のを基にしてまとめられている．それによると，注釈と分布が多様な存在確率マップができる．以下にウェア

対象物体の理解を妨げる要因としては，注釈同士の重ラブルなりや注釈と対象物体の重なりといった，注釈のレイ

ユーザ視界）における注釈対象の存在領域の推定手順アウトに関するものや，フレーム間における注釈の動を述べる．

 システムのユーザが見る現実環境（以降，きに関するものなどがあることが示されている．さら 注釈対象の現在位置の獲得に，アプリケーションに特化したルールの導入や，パ本論文で注釈対象としているウェアラブルコンピュー

ラメータの調整によってビューマネジメントの有効性

タのユーザは，中里らの手法 %,& により位置・姿勢推定を向上できる可能性が示されている．

を行うための赤外線カメラを頭頂部に装備しており，従来の研究において，様々な静的環境を想定した注

赤外線カメラの位置がユーザ位置として算出される．

釈提示のためのビューマネジメント手法が提案され，そこでまず，注釈対象の現在位置を獲得するために，実験結果が示されている．現実環境に注釈を重畳表示

筆者らの手法 % & のネットワーク共有データベースのする場合，先行研究では，注釈を対象物体の存在領域

フレームワークを利用する．ネットワークを介して移に重なる位置に描画する方法 %&，注釈を対象物体の存在領域外に描画し，対象領域と注釈を線で結ぶ方法% &% &%/&%0& %+&，またはそれら  つの手法を併用する方

動オブジェクトの位置を獲得することで，ユーザ視界における注釈対象の位置（頭頂部に装備した赤外線カ
メラの位置）を把握する．

牧田・神原・横矢 プリミティブ情報の獲得

ネットワーク型ウェアラブル

 のための動的環境における注釈のビューマネジメント
静止物体

次に，注釈対象の形状をネットワーク共有データベー
スより取得する．本論文では，注釈対象としているウェ
アラブルコンピュータのユーザの頭頂部の位置が把握できるが，詳細な体の各部分の存在領域などは把握できない．そのため，注釈対象の形状をボクセル（立方Low体）や直方体などの単純なプリミティブの集合によりProbability

モデル化することで，得られる情報に対して必要十分なプリミティブ情報を設定する．具体的には，以下の手順でプリミティブ情報を設定する．

 静止物体（部屋の入り口）を対象とした場合

ユーザ位置

まず，ウェアラブルコンピュータのユーザは床面に

頭部

おおよそ鉛直に立っていることを想定する．次に，ユーザの体を大きく ) つの部分（頭，上半身，下半身）に

上半身

分け，各部分を立体形状の集合で表現する．さらに，

下半身各部分の変形する度合い，及び隠蔽を回避することのLow

重要度を考慮して，各部分に存在確率を設定する．表 ウェアラブルコンピュータのユーザを対象とした場合して算出されること，注釈の対象が人の場合には一般

図

的に顔部分が隠蔽を回避する重要部分であると考えられることから，存在確率は頭頂部に近いほど大きい値

 '   (なお，モーションキャプチャなどの手法により，注
詳細なプリミティブ情報を獲得することで，よりよい度を確保する必要がある．また，後述する処理手順 1)

立体形状の投影2 において，詳細なプリミティブ情報
を実時間でレンダリング可能な計算機を用いる必要がある．

 立体形状の投影

最後に，全ての立体形状をユーザ視界に投影する．その際，各立体形状の色を存在確率に反比例した透明度（アルファ値）を用いて表現することで，一般的なレンダリング処理により効率的に生成した画像を存在確率マップとして利用する．ただし，立体形状の集合は最終的に出力する注釈付加画像には提示しないため，

存在確率マップの例     5 対象物体と注釈を結ぶ線の長さに関す

るペナルティ項

 '   (釈対象の形状情報がより詳細に取得出来る場合には，

しその場合，プリミティブ情報の獲得に必要な通信速

する際に発生する重なりに関するペナルティ項を設定する．

ビューマネジメントが実現できる可能性がある．ただHigh

Probabilityに，本論文における存在確率の設定を示す．本論文
では，ユーザ位置は頭頂部に装備されたカメラ位置とHigh

5 フレーム間における画像上の注釈の移動量に関するペナルティ項
また， ， ， は各々のペナルティの重み付けのための係数である． ， ， の値は，ウェアラブ

 システムの仕様，及び利用環境に応じて設定する必要がある．表  に， ， ， それぞれの大小関係と，ビューマネジメント結果の傾向を示す．) 通ル

りのペナルティは，トレードオフの関係にあると言える．例として，重なりに関するペナルティ量を小さくすることを重視するためには  のみを大きく設定すると良いが，線の長さや注釈の移動量は増加する傾向の結果が得られる．
以下に，各々のペナルティ項  ， ， の算出方法についてそれぞれ述べる．

立体形状の描画にはオフスクリーンレンダリングを用重なりに関するペナルティ  の算出：いる．

重なりに関するペナルティは，注釈のレイアウトのみ  ペナルティの算出から算出されるペナルティ   と，注釈のレイア

画像上の位置 '   ( に注釈を配置する場合のペナル

ウトと存在確率マップから算出されるペナルティ  '   ( 3   '   (4  '   (4  '   (' (する．

ティ関数  '   ( を，以下の式で定義する．

式 ' ( における各ペナルティの内容は以下の通りである．

 '  (5 注釈，注釈と対象物体を結ぶ線を描画の  種類のペナルティの合計値とし，以下の式で定義

 '   ( 3   4 '(

以下に，各々のペナルティの算出の方法を述べる．

日本バーチャルリアリティ学会論文誌

表

ユーザの体の分類と存在確率の設定        

Annotation 

頭部

上半身

下半身

変形度

小

中

大

重要度

大

中

小

存在確率の値

大

中

小

表

Annotation
Annotation

Annotation

図  !   !  

Annotation

Annotation(a)

パラメータの設定とビューマネジメント結果の関係 wowl
wm

   



(b)

(c)

注釈同士の重なりによってペナルティの発生する注釈の配置パターンの例
      !     !  

大小重なり量が小さくなる

重なり量が大きくなる

線が短くなる

線が長くなる推定された対象物体の存在領域( x, y )注釈の移動量が小さくなる 注釈の移動量が大きくなるA( x , y )* 注釈のレイアウトから算出されるペナルティ  
注釈のレイアウトから算出されるペナルティは， '(
注釈同士の重なり，'( 線同士の重なり，'6( 注釈と線の重なり，の ) つの重なり部分に含まれる画素の数の合計とする．図 ) に，各々の重なりが発生するような注釈の配置パターンの例を示す．
 注釈と対象物体の重なり* 注釈のレイアウトと対象物体の存在領域から算出さ推定された対象物体の存在領域

れるペナルティ 図 に，注釈のレイアウトと対象物体の存在領域から算出されるペナルティの発生する注釈の配置パターン

A( x , y )の例を示す．対象物体の存在領域は存在確率マップによって推定されており，正確な存在範囲ではない．そこで，位置 '   ( に注釈が配置された場合のペナル( x, y )ティ  '   ( を存在確率マップの持つ確率の和として定義する．具体的には以下の式で定義する．

 '   ( 3


¾



')(



 線と対象物体の重なり

図"

ただし， は画像上の点の座標， は存在確率マップ
上の座標  における画素の輝度値，  は，注釈が座標 '   ( に表示された場合に隠蔽される画素の集合



注釈と対象物体の重なりによりペナルティの発生する注釈の配置パターンの例"

      !     !      #

である．
線の長さに関するペナルティ  の算出：
注釈と対象物体を結ぶ線の長さに関するペナルティは，線の長さに比例して大きくなるような関数で定義する．
本論文では， '   ( を以下の式で設定する．

 '   ( 3 '  ( に配置される際の注釈の移動量に関するペナルティ  '   ( を以下の式で定義する．

釈が位置

'(

ただし， は注釈と対象物体を結ぶ線の長さである．
注釈の移動量に関するペナルティ  の算出：
図 に，注釈の移動量の算出方法の概念図を示す．注 '   ( 3     
ただし，

は'(つ前のフレームにおける注釈の位

置， は現フレームにおいて つ前のフレームにおける注釈と対象物体の相対位置関係を保存して得られる
位置，     は位置

 と位置  との距離である．

牧田・神原・横矢

ネットワーク型ウェアラブル

At −1

At

 のための動的環境における注釈のビューマネジメント
置は，前フレームにおける注釈位置と対象物体の相対位置を保存した位置の周辺に限定する．ただし，候補
位置を現在位置の周辺のみに限定すると，周辺にペナ

Annotation

Pm ( x, y )ルティの小さい位置がなくなった場合に注釈がペナル

Annotation

で，周辺領域に加えて，注釈対象から一定距離離れた

Bt ( x, y )時刻：t - 1
図$


$

時刻：t

位置を数点加え，配置位置の候補を設定する．図 / に，

注釈対象から一定距離離れた位置を + 点加えた場合の，注釈を配置する候補位置の設定例を示す．

注釈の移動量の算出方法%            

ティの大きい位置に描画され続ける場合がある．そこ  

 注釈の配置パターンの決定

ペナルティの最小化には，全体最適化を用いる方法と，逐次処理による局所最適化を用いる方法がある．本研
究では実時間での動作が要求されるため，逐次処理をペナルティ最小化による注釈付加) 節において定義したペナルティを用いてビューマ
ネジメントを行い，注釈の付加を行う．注釈の配置パターンは，基本的には無数に存在し，各々のパターンについてペナルティを算出できる．そのため，ペナル
ティの最小化を行うために，以下の処理手順を用いる．

 注釈の大きさと形状を設定
 注釈を配置可能な領域中から，配置候補位置を設定) ペナルティが最小となる注釈の配置パターンを決定
以下，各手順について詳述する．

 注釈の大きさと形状の設定

様々な情報が含まれた注釈は，ウェアラブル拡張現実感システムに用いられる提示デバイスを利用してユー
ザに提示される．そのため，注釈の大きさや形状は，
注釈の内容及び提示デバイスの仕様を考慮した上で決定する必要がある．例として，文字列が表示された注釈を考える．この場合，提示デバイスの大きさを考慮した上で，ユーザにとって文字の読める注釈の大きさ

行う．
次に，逐次処理による局所最適化を用いる方法について述べる．本手法では，各々の注釈の配置位置を，つずつ順次決定する．この場合，全体最適化と比較して計算量は小さい．ユーザ視界に付加する注釈の個
数が個，各々の注釈の配置位置の候補数をると，ペナルティの計算回数とすは以下の式で求められる．

3

4  4 4

3




'/(

本手法では注釈の配置位置を逐次的に決定するため，局所解により最適解が出力されない可能性がある．しかしながら，各々の注釈は探索範囲内でペナルティが最小の位置に配置されることと，動的環境で注釈の位置が毎フレーム更新されることで，一時的にペナルティが高い位置に配置された注釈もすぐに配置位置が更新されることから，ほとんどの時間帯でペナルティの大きさは最適解に近い値が得られると考えられる．

 注釈提示実験を確保する必要がある．一方，注釈を大きく設定する 

ことで，重なりに関するペナルティが大きくなる可能

本実験でははじめに，現実環境中における位置・姿性が高くなる．以上の観点から，注釈の大きさ及び形

勢が固定された注釈がネットワーク共有データベース

状を適切に固定値で設定する．

に登録されている環境を準備した．さらに，筆者らのビューマネジメントを行うために算出するペナルティス -- で送信できる環境を用意した．

 配置候補位置の設定

実験環境

手法 % & により，各ユーザの位置を双方向にワイヤレ

は，注釈を配置する位置によって決まる．注釈の配置

次に，中里らの手法 %,& により，赤外線カメラで天井位置は基本的には無数に存在するため，本手法では計に貼られたマーカを撮影して位置・姿勢が計測できる算の高速化を行うために各注釈を配置する位置の候補を複数設定し，その中からペナルティが最小となる位置に注釈を配置する．設定する位置の候補の数に制限はないが，ペナルティの計算に必要な時間は，候補数に比例して大きくなる．

) つのタイプのウェアラブルシステム（ 7# 7#7#)）を作成した．表 ) に，それぞれのシステムに使用した機器の構成を示す． 7# は，ユーザ視界を撮影するカメラを含むビデオシースルー型の  注釈
提示システムである． 7#， 7#) はともにユーザ

このような観点から，注釈を配置する候補の位置を，の位置・姿勢を計測するためのシステムであるが，使以下のように設定する．先ず，注釈を配置する候補位

用機器の違いにより，計測精度及び頻度が若干異なる．

   

日本バーチャルリアリティ学会論文誌

表 各システムの機器構成)! *    !


ウェアラブルシステム（Type1）：1つ前のフレームにおける，対象物体からの相対位置：注釈を配置する候補位置の存在領域

使用機器

スペック

計算機

CPU：2.13GHz
メモリ：1.0GB
54Mbps Ethernet接続

位置・姿勢計測用
赤外線カメラオリジナル
有効画素数：1024×768
画像更新速度：約29fps

ユーザ視界画像
取得用カメラQCAM－200V（Logicool）
有効画素数：640×480
画像更新頻度：約15fps

計測精度

位置誤差平均：約9mm
姿勢誤差平均：約0.35度

計算機

CPU：Core2Duo，2.0GHz
メモリ：3GB
54Mbps Ethernet接続

位置・姿勢計測用
赤外線カメラオリジナル
有効画素数：1024×768
画像更新速度：約29fps

計測精度

位置誤差平均：約9mm

計算機

CPU：1.2GHz
メモリ：500MB
54Mbps Ethernet接続

位置・姿勢計測用
赤外線カメラオリジナル
有効画素数：640×480
画像更新速度：約30fps

計測精度

位置誤差平均：約11mm（前フレームにおける注釈の相対位置の周辺領域）：注釈を配置する候補位置（対象物体の現在位置から一定距離離れた位置）

図&

ウェアラブルシステム（Type2 ）

一定距離離れた位置を ' 点加えた場合の，注釈を配置する候補位置の設定例&(               
ウェアラブルシステム（Type3 ）次に，注釈対象である各ユーザの形状を設定した．
各ユーザはいずれも頭頂部に位置・姿勢の推定用の赤外線カメラを装着している．本実験では，描画に必要な計算時間の短縮のために，ボクセル（立方体）を用

視界画像に対してユーザ .，8，9 の存在領域が重畳いる代わりとして，水平面に鉛直な直方体の集合を用表示されており，ユーザ

いて各ユーザの形状を設定した．ユーザの各部分の存在領域を推定する直方体の個数及びアルファ値（透過係数）はそれぞれ，頭部（個数： , 個，アルファ値：/），上半身（個数：+ 個，アルファ値： ），下半身（個数： /, 個，アルファ値： ）と設定した．この持つカメラの位置姿勢，

及びユーザ .，8，9 の位置に合わせて存在領域が推定されていることが確認できる．なお、図 0'6(':( 内の点線は、重畳表示された存在領域の境界を示す．

  ビューマネジメントを用いた注釈付け) 節の実験を行った人のユーザで歩き回り，注釈の位置決定順序を：ユーザ .（大倉史生），：

足なく包括できるように設定した値である．また，各ユーザ 8（川戸一希），)：ユーザ 9（山崎純一） と部分のアルファ値は，以下の手順にて設定した．はじ

して設定し，ユーザが装備するカメラで撮影しために，重なりに関するペナルティについて，静止物体

画像

こで，直方体の個数は，各ユーザの体をおおよそ過不（アルファ値： ）との重なりを避けることを重要視するという観点から，各部分のアルファ値を 未満で設定することとした．次に，表 に基づいて，頭部を重要視してアルファ値（/）を設定した．最後に，引き続き表 に基づいて，上半身については小さいア

ルファ値（ ），下半身については，非常に小さいア
ルファ値（ ）を設定した．

  注釈対象の存在領域推定実験

7# のユーザを 人（ユーザ ）， 7# のユー
ザを 人（ユーザ .）， 7#) のユーザを  人（ユーザ 8，9）それぞれ用意し，注釈対象の存在領域推定実験を行った．図 0 に，ユーザ が装着した 7#によるユーザ .，8，9 の存在領域の推定結果を示す．
図 0'('( はカメラ画像，図 0'('#( は存在確率マップの生成結果，図 0'6(':( は，本来オフスクリーンレン
ダリングによって得られる存在確率マップをカメラ画
像に重畳表示した画像である．図 0'6(':( ではユーザ

, フレームを利用して，注釈付加画像の作成実験を行った．

本実験でははじめに，/  画素×+ 画素の注釈付

加画像を作成することとし，作成した注釈用の画像の内容（顔写真，所属及び名前を示す文字列）を考慮して，注釈画像を + 画素×画素の長方形に設定した．

次に，注釈を配置する候補位置の設定を行った．本
実験では，前フレームにおける注釈と対象物体の相対位置関係を保存して得られる位置を中心として，周辺の  画素×  画素の範囲を，候補位置として設定した．さらに，対象物体の現在位置から  画素離れた円周上に/ 点の候補位置を設定した．ただし  は，

現実空間中における対象物体の位置とウェアラブル拡
張現実感システムの位置との距離（単位：）である．

注釈を配置する候補位置の設定（ 画素×  画素の/ 点）は，本実験のために実装したアプリケーションが約  フレーム毎秒で安定して動範囲と円周上の作するように，手動で探索範囲を限定して設定した値

牧田・神原・横矢
ユーザD

ネットワーク型ウェアラブル

 のための動的環境における注釈のビューマネジメント

ユーザB

ユーザC



ユーザC









ユーザB

ユーザD



図+


ユーザの存在領域の推定結果（ , ：カメラ画像， , ：存在確率マップ，
, ：カメラ画像に存在確率マップを重畳表示した結果）+
            , ：%  ， , ：-   ， ,  ：%   !       ）である．また，  という値は，使用しているユーザ
視界画像用カメラに写る注釈対象のユーザの頭部の大注釈をユーザ位置から真上に  画素離れた位置に描画して作成された注釈付加画像である．また，図きさを基にして，カメラ画像上で頭部外側の近辺に候+'('#(':( は，提案手法を用いて作成された注釈付加

補位置が設定されるように調整をした値で，注釈対象画像である．ビューマネジメントを行わない場合には，の大きさと，カメラの内部パラメータに依存して決定

注釈同士の重なりや，注釈とユーザの重なりが確認でした値である．また，環境中に固定された注釈が描画

きる．しかしビューマネジメントを行った場合では，された領域は，注釈のレイアウトから算出されるペナ

ビューマネジメントにより注釈の位置を動的に変更しルティ  の計算対象として取り扱う．

ているため，注釈同士の重なり及び注釈とユーザの重また，ある位置 '   ( に注釈を配置する場合のペナ

ルティ '   ( の重み付け係数を，それぞれ 

3  ，
 3  ， 3  と設定した．各係数の値は，実際に 人のユーザで歩き回る予備実験を行い，表  の観点を基にして決定した．具体的には，予備実験において  の値が最も大きい値で推移していたため，実装の都合上でまず 

3  と固定し，残りの  つのなりを避けた注釈付けができている．

次に，図 , に，本実験中における各注釈のペナルティの変化の様子を示す．図 , 中の各グラフは，提案手法

によりビューマネジメントを行った場合のペナルティ（グラフ中では「 あり」と表記）と，対象物体の現在位置から真上に  画素離れた位置に注釈を付加した場合のペナルティ（グラフ中では「 なし」と表

パラメータ    の大きさを変化させながら，筆者記）を比較したものであり，「 あり」のペナルティ

際，線同士の重なり，線と注釈の重なり，線と対象物

ザ .：+ ;，ユーザ 8：, ;，ユーザ 9：+0 ; でらの主観評価によって    の値を決定した．その体の重なりの量を計算するために，線からの距離が )画素以内の画素を，線上にある画素とした．) 画素とが「 なし」のペナルティよりも低い割合は，ユーあった．この結果より，ビューマネジメントを用いる

ことで，大半の時間において注釈と対象物体の相対位いう値は，アプリケーションの実装において，注釈と置を固定した場合よりもペナルティの低い注釈付加が対象物体を結ぶ線の太さに依存して決定した．

できていることが確認できた．

図 + に，ビューマネジメントの有無の比較結果を示す．図 +'('('6( はビューマネジメントを利用せず，最後に，図 に，ユーザ視界画像中で注釈がはみ出ることなく配置できる全ての位置のペナルティを計日本バーチャルリアリティ学会論文誌

算した場合の出力例を示す．図 より，全体的な傾向としては，線の長さに関するペナルティ項  及び   
表" "

主観評価のアンケート結果(       .
   

注釈の移動量に関するペナルティ項  が存在するた

VMなし

VMあり

めに，注釈が描画された位置から遠ざかるほどペナル

評価値の平均

2.83

3.83

ティが増加していることが確認できる．また局所的に評価値の分散

0.516

0.516

は，重なりに関するペナルティ項  が存在するため，ユーザの存在領域や，すでに他の注釈が描画された領域では，ペナルティが高いことが確認できる．なお，

釈を配置する位置の候補の探索範囲を限定しており，

図注釈付け実験の結果が必ずしも最適解とはなっていな

 に示したペナルティの計算時間は，注釈 つあたり

分程度であった．

い．常に最適解を算出するアプリケーションを作成す

主観評価

るためには，画像全体のペナルティの計算が必要であ 人（ 代の学生）に対して，アンケート
による主観評価実験を行った．被験者は，)) 節において作成された  種類の注釈付加結果（ビューマネジメ
被験者

ントなし，ビューマネジメントあり）に対して，注釈と対象物体のわかりやすさを 段階に評価する．主観評価の結果を表 に示す．アンケートの結果，ビュー
マネジメントありの方が評価値の平均は高く，両者の評価値に対して  検定を行った結果，有意水準;としたときに，有意差があると判定された．

 !

定されたナビゲーションのための注釈，及び環境中の静止物体（部屋の入り口，地図が表示された金属板，
エレベータの入り口）の注釈を含めた応用実験を行った．本実験におけるユーザの注釈の配置位置の決定順
序は， ：ユーザ .（粂秀行），：ユーザ 8（高橋英之），)：ユーザ 9（伊吹拓也） として設定した．静止物体の存在領域は，現実環境中の 点の座標を用いた平面で設定した．さらに，設定した平面上の 点を各物体の存在位置として設定し，注釈と平面上の点を線で結んだ．なお，静止物体の注釈は，ウェアラブル
コンピュータのユーザの注釈よりも優先度を低く設定
した．
に，ユーザ

が装着した

釈付加画像を示す．図ングによる存在確率マップの作成や，レンダリングしたマップの値を利用した計算に必要な時間を <-= プ
ログラミングの工夫によって短縮できると考えられる．
提案手法では，簡易形状の集合によってユーザの存在領域を設定した．さらに，頭部に装備したカメラ位
置をユーザ位置として獲得するという点と，注釈対象
ら，頭部の形状の存在確率を高く設定した．本実験では，頭部に近いほど形状の存在確率を高く設定しているため，顔部分は隠蔽されにくいという効果が得られている．今後，注釈対象が大きな建物である場合，注釈対象である部屋部分などの存在確率を高く設定する，
注釈対象が車である場合，乗車席部分の存在確率を高く設定するという利用方法が可能である．
応用実験では，環境中の静止物体に付加された注釈を含めたビューマネジメントを行った．本実験では静止物体の形状は平面を用いた設定に留まっており，)次元形状を設定しておらず，カメラ位置姿勢次第では注釈と静止物体の重なりが適切に計算できない場合がある．これを解決するためには，オーサリングツールを利用した静止物体の ) 次元形状の設定などが必要である．



7# で作成した注からも，注釈同士の重なり及び注釈と注釈対象でないユーザの重なりを避けた注釈付けができていることが確認できる．なお，) 節，)) 節，) 節の各実験において作成した画像のフレー
ムレートは，全て約 +〜  フレーム毎秒であった．

 "化が必要である．今後，<-= 性能の高いウェアラブル
型の計算機を用いることで，オフスクリーンレンダリ

が人である場合，顔が見えることが重要という観点か

応用実験

7# のユーザ 人（ユーザ ）， 7# のユーザ
 人（ユーザ .，8）， 7#) のユーザ 人（ユーザ9）をそれぞれ用意し，さらに環境中の固定位置に設

図るが，ペナルティの計算時間が必要であるため，高速考察

本実験では，) 人のウェアラブルコンピュータのユー

まとめ

本論文では，ネットワーク型ウェアラブル

 を利用した注釈提示において，シーンに存在する移動体や非剛体を注釈対象とした動的な環境におけるビューマ
ネジメント手法を提案した．また，ウェアラブルコン
ピュータのユーザを注釈対象とした実験を行い，ペナ
ルティ最小化を利用したビューマネジメントが可能であることを示した．今後は，) 次元モデルによって表

ザを注釈対象とした実験を行った．また，ペナルティ

現された注釈を利用したビューマネジメント手法へのの小さい注釈付加画像の作成を行い，ユーザにとって拡張を行う予定である．また，提示する注釈の個数を直感的に理解しやすい画像が提示できた．本実験では，制限するフィルタリング手法の検討も今後の重要な課

実時間で動作するシステムでの実験を行うために，注題である．

牧田・神原・横矢

ネットワーク型ウェアラブル

 第 '+ フレーム

 のための動的環境における注釈のビューマネジメント

 第 +/ フレーム 第 / フレーム

ビューマネジメントなし

 第 '+ フレーム

 第 +/ フレーム

  第 / フレーム

ビューマネジメントあり（提案手法）
図'

注釈付加画像の生成結果（ , , ：ビューマネジメントなし， , , ：
ビューマネジメントあり（提案手法））'%      , ,  01   !    !  , , ,   01   !    !   

謝辞
本研究の一部は，科学技術振興機構（ ）の戦略

2&3

品の制作を支援する基盤技術」プログラムの支援に

2+3

的創造研究推進事業（8> ）「デジタルメディア作
よる．
参考文献
23

23

4 5, 6 7  8 90 :  
1# ;   (    %  < %  1  !,= & >(%5 > 6  5   (   >65( ??+,  "$$, ??+天目 隆平, 神原 誠之, 横矢 直和0 :ウェアラブル拡張

現実感システムのための注目オブジェクトへの直感的な注釈提示手法,= 日本バーチャルリアリティ学会論文誌, @ ?, 9 ,  ?$, ??$
23

2"3

2$3

A A, 6     )B0 :@ ! 5   @   (   ,= (%56  8 > 6!   
8>6 ??,  ??, ??(C  % ; 0 :   D-  (    @ ! 5 ,= -  > 6  5   (    >65( ??,  &&+$, ?? E  ) 60 :F  D  5   @   (  
,= / > %  % (  F  % <  %(FG%< ??$,  /+"?, ??$

2'3

2/3

2?3

浦谷 謙吾, 町田 貴史, 清川 清, 竹村 治雄0 :拡張現実
環境における奥行きを考慮した注釈提示手法の評価,=
日本バーチャルリアリティ学会論文誌, @ ?, 9
,  "$, ??$ 6 , ) 9;,6; , ( H  ) 0 :( @ ! 5  5 5  5    6=, - "   6  @   
<@??',  +", ??'6 F -, 5 ( , 5 %  6
 0 :@  % 5   (  0I   D 6  5  6  4 =, - >6 
F 8 > ??/ F8> ??/,  ',??/
中里 祐介, 神原 誠之, 横矢 直和0 :ウェアラブル拡張

現実感のための不可視マーカと赤外線カメラを用いた
位置・姿勢推定,= 日本バーチャルリアリティ学会論文誌, @ ?, 9 ,  /$?", ??$牧田 孝嗣, 神原 誠之, 横矢 直和0 :ネットワーク共有
データベースとハイブリッド -- を利用したウェア
ラブルシステムユーザへの注釈付け,= 日本バーチャル
リアリティ学会論文誌, @ , 9 ,  +',??'#$$ 年  月  日受付%

   

日本バーチャルリアリティ学会論文誌

ペナルティ

VMあり

VMなし

60000
50000
40000
30000
20000
10000
0
1

101

201

301

401

501

601

701

801

901

1001

801

901

1001

801

901

1001

フレーム番号

 ペナルティの変化の様子（注釈対象：ユーザ A（大倉史生）
）

ペナルティ

VMあり

VMなし

90000
80000
70000
60000
50000
40000
30000
20000
10000
0
1

101

201

301

401

501
フレーム番号

601

701

 ペナルティの変化の様子（注釈対象：ユーザ %（川戸一希）
）

ペナルティ

VMあり

VMなし

90000
80000
70000
60000
50000
40000
30000
20000
10000
0
1

101

201

301

401

501
フレーム番号

601

701

 ペナルティの変化の様子（注釈対象：ユーザ F（山崎純一））

図/

ビューマネジメントを用いる場合と用いない場合におけるペナルティの変化の様子の比較結果/%      ! !   !   !  

［著 者 紹 介］

牧田 孝嗣 （正会員）??/ 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．同年同
大情報科学研究科博士研究員．?? 年産
業技術総合研究所入所，現在に至る．拡張現実感システムに関する研究に従事．
博士 工学．電子情報通信学会，情報処
理学会，>
各会員

神原 誠之 （正会員）?? 年奈良先端科学技術大学院大学
博士後期課程修了．同年同大情報科学研究科助教，?? 年同大同研究科准教
授，現在に至る．コンピュータビジョン，
複合現実感の研究に従事．博士 工学．
/// 年電子情報通信学会学術奨励賞受
賞．>??$ 論文賞受賞．電子情報通信学会，情報処理学会，>
各会員．

横矢 直和 （正会員）/+" 年大阪大学基礎工学部情報工学科卒．/+/ 年同大大学院博士後期課程修了．工博．同年電子技術総合研究所入所．以来，画像処理ソフトウェア，画像
データベース，コンピュータビジョンの研究に従事．/'&〜'+ 年マッギル大・知能機械研究センター客員教授．// 年
奈良先端科学技術大学院大学・情報科学センター教授．現在，同大情報科学研究科教授．//? 年, ??+ 年情報処理学会
論文賞受賞．??$ 年情報処理学会フェロー，電子情報通信学会フェロー．情報処理学会，人工知能学会，日本認知科学会，映像情報メディア学会，>，(%5
6><< (-) 各会員．

牧田・神原・横矢

ネットワーク型ウェアラブル

ユーザB

 のための動的環境における注釈のビューマネジメント

ユーザC

ユーザD

：ペナルティの計算対象の注釈
低

図 ?


?

高

ペナルティ

注釈付加画像と画像全体のペナルティの比較結果（上：注釈付加画像，下：ペナルティのヒートマップ表示）%   !                  ,  *  !     













図 




静止物体の注釈を含めた実験結果（ユーザ ( 視点の映像）   !     *  #   !   (( 