

 における情報提示手法

広角カメラを用いた光学式シースルー型

                   

田中 宏平

  

 

岸野 泰恵

宮前 雅一

                         #      







     
" 

  



 

        $ !
               

                        !

      

"       !

                       近年のコンピュータの小型化や軽量化により，コンピュータを常時装着して生活するウェアラブルコ
ンピューティングが注目を集めている．ウェアラブ
ルコンピューティング環境では，コンピュータや様々なセンサを身に着けることで，ユーザの状態に応じた情報の提供が可能となる．すでに工場などで作業をしながら情報を閲覧するシステム  や，観光案内などのナビゲーションシステムといった様々なシステム  が構築されている．
このようなウェアラブルシステムでは，表示装置に    を用いることが一般的である． とは眼鏡状の装着型ディスプレイであり，目の前に常に映像が投影されるため，ユーザはハンズフリーでいつでも情報を閲覧できる．
なかでも光学式シースルー型  を用いると，図 に示すように，ディスプレイが透過しユーザの視界を完全には妨げることなく情報を閲覧できる．
光学式シースルー型  を利用したシステム
では，表示する情報が  の背景となる部分の状態によっては読みとりにくくなるという問題がある．例えば図  に示すように，情報を背景の色や明暗が大きく変化する部分に表示すると読みとりにくくなる．そこで本稿では，装着型カメラで取得した の背景となる部分画像から情報を読みとりやすい位置を測定し，最適な位置に情報を表示する際の位置関係といった制約を考慮して配置する手法を提案する．
また， の背景画像のみを考慮した場合，屋­  日本ソフトウェア科学会  研究会．
      はじめに 

西尾章治郎

寺田 努                      大阪大学大学院

情報科学研究科 マルチメディア工学専攻

          "         

HMDの背景領域

HMDの表示領域

ユーザ
図ユーザの視界 シースルー型  の仕組み

外で太陽の方向を向いたときなど  の背景全体が明るく，どの位置に情報を表示しても読みとりにくい場合がある．そこで提案手法では， 上のどの位置に情報を表示しても読みとりにくい場合には，読みとりやすくなる方向をユーザに提示し，ユーザの視界を変更させることで情報を読みとりやすい位置に提示する．
以下， 章で想定環境について述べ， 章でオブジェクト配置手法の説明する． 章では情報の読みとりやすい方向の提示手法を説明し， 章で行った実験について詳細に述べる． 章で実装について述
べ， 章で考察を行う．最後に  章でまとめを行う．

 想定環境
本章では，本研究で想定する環境について述べる．
以降では，図  に示すように  に表示する文字や画像などの情報の１つ１つをオブジェクトと呼ぶ．
想定するウェアラブルコンピューティング環境では，ユーザはカメラ付きの光学式シースルー型 を身に着けており，ナビゲーションや地域の情報配 オブジェクト
図  情報が読みとりにくい例

信サービス，ニュース速報などのサービスが提供されているものとする．このようなアプリケーション
では一般的な （拡張現実感）システムのように現実空間のものに精度よくオブジェクトを重ね合わせて表示する必要のあるものは少なく，ユーザが必要とする情報を確実に通知することが重要である．
したがって情報を表示する場合，その表示位置よりもユーザが容易に情報を得られることが重要となる．
提案手法は，このような重ね合わせの位置精度を重要とせず情報を次々と表示するようなアプリケーションで利用することを想定している．
現在カメラが付いている小型の  は市販されていないが，ユーザの視界や関連する情報を記録し続けるシステム  や実空間に配置されたマーカから情報を取得する  といった研究が行われており，これらのシステムではユーザの視野を取得するカメラと  を同時に装着することが考えられる．さらに，カメラの小型化，低価格化が進んでおり，将来的にはカメラ付き  が広く普及すると考えられる．

オブジェクト配置手法

本章では，光学式シースルー型  上に情報を配置する際に背景を考慮して配置を決定するための手法について述べる．この手法では，図  に示すようにユーザの視界以外の領域を取得するため鏡を使用することを考える．ユーザの視界以外の領域を撮影するには，全方位カメラや魚眼レンズの使用も可能であるが，全方位カメラを用いる場合，カメラを頭の上に装着する必要があり， の背景とのキャリブレーションが困難となる．また魚眼レンズを用いると，歪みを補正する処理を行う必要がある
ため，リアルタイム処理に適していない．
提案手法では，まず  の背景画像から表示に適した領域を求め，オブジェクトのもつ固有の制約について考慮した上で配置を行う． の背景とは，図  に示すように，ユーザが  の透過領域

図  カメラ付き 

図  画像分割の例

を通して見る，視界の部分領域である．以下，それぞれについて詳細に述べる．



表示に適した領域の決定提案手法では，まず  に固定したカメラから画像を取得し，画像特性を求める．この画像特性を用いて，オブジェクトの視認性に及ぼす影響度を求める．



画像の取得に固定したカメラから画像を取得し，図 に示すように， の背景となる部分は  分割に，それ以外の領域は，左右上下の  方向に分割する．左右の領域は鏡に反射した画像である．上下に鏡を用いないのは，上下方向へ人が向く量には限界があり，真上や真下の画像を取得してもユーザがその方向を向けないためである．
       !  "# $%  # ! '  <?xml version=“1.0”?><object ID=“B” importance=“3”><content type=“balloon”>

画像特性の計算 をよく利用しているユーザから， の視認性に関するヒアリングを行ったところ，光が強くまぶしいところや，背景が複雑になっている位置ではオブジェクトを読み取りにくく，視認性が低いという意見が得られた．そこで，， ! "，#$の  つの色空間における各色の階調値の平均と分散を画像特性とし，視認性に与える影響度を画像特性の組合せで表現することにした．ただし， ! "は  と線形変換で表現できるため，分散値のみを利用する．

&メールを受け取りました．

</content><relation type=“follow” objID=“A”/></object>図  の記述例

視認性に及ぼす影響度の計算

前節で挙げた画像特性について，視認性に影響を及ぼす比率は画像特性によって異なると仮定し，次のような式で視認性に及ぼす影響度を求める．平均が小さい程光が弱く，分散が小さい程背景が複雑でなく，視認性が高いことから，この影響度が小さい
もの程オブジェクトの表示に適しているスロットとなる．

  &%
  図 %         %     %          すべての配置パターン

はスロット  において背景が視認性に与える影響度であり， および   は各画像特性における重み付けの係数である． は  の画像特性の平均，
  は の画像特性の分散である．
式  で用いる係数はユーザによる評価実験によって求めた．まず，ユーザによるオブジェクトの視認性の評価実験を行い，その結果を元に式で使用する項を選択し，以下のように係数を決定した．

  & '( &  & '  & ''  %      % ' 

実験の詳細については  章で詳細に述べる．

オブジェクトの制約を考慮した配置

キャラクタがナビゲーションを行うようなアプリ
ケーションでは，キャラクタのオブジェクトと吹き出しのオブジェクトは隣接している必要がある．また，風船のようなオブジェクトは  の上側に表示したいなどの要求がある．これらの要求を実現するために，オブジェクトごとに配置に関する制約条件を設定する．



適切な表示に必要な制約条件

オブジェクトを表示する際に考慮すべき制約としては，オブジェクト間の関係，表示したい位置，重要度，オブジェクトの表示後の移動，オブジェクトの色や形状，オブジェクトの色や形状の変化の自由度，オブジェクトの種類，ユーザの状態などが考えられる．本研究では，この中でもオブジェクト間の関係，表示したい位置，重要度が基本となる制約条件と考え，これらについてのみ実装を行った．



制約条件に基づく配置パターン

制約条件は，オブジェクト  つに対して  つの!  "-  *.
. ファイルを用いて記述する．実際に )* を記述した例を図 に示す．図  は，/ が ，重要度が  である吹き出しのオブジェクトで，/ が  のオブジェクトの右か下に隣接するという制約条件の記述例である．
オブジェクトの表示要求を受けると，表示するオブジェクトに対する制約条件を記述した )* ファ
イルをすべて読み込み，制約条件を満たすすべての配置パターンを求める．例えば，図  の制約条件を持つ  は  の右か下に隣接するという制約条件を持っており，スロットが  分割である場合は，図 に示す配置パターンが考えられる．
)*+,



制約条件に基づいた配置の決定

前節で求めたスロット毎の視認性に与える影響度を用いて，配置全体の影響度  を制約条件に応じたすべての配置の組合せについて計算する．影響度  は，以下の式を用いて算出する．

 

%







表 は表示するオブジェクトの重要度を示し，値が大

ユーザへの視界変更通知

前章の手法を用いるだけでは情報を表示しようとしても，背景全体が見えにくく， 上のどの位置に配置しても読みとりにくい場合がある．例えば，夕方の屋外で夕日の方向を向いていれば， の背景全体が明るくなってしまい，どの位置に表示しても読みとりが困難になる．しかし，このような状況であってもユーザが地面を向いたり，夕日以外の方向を向けば情報を容易に読みとれる．そこで，ユーザの視界外の領域の画像を用いることで，情報の読み取りやすい方向をユーザに通知する．
提案手法では，前章の手法によって求まった配置の読みとりやすさを判断し，読みとりにくい場合は の背景外の領域におけるオブジェクトの読みとりやすさと比較し，ユーザへ提示する．
以下，その手順について詳細に述べる．



求めた配置の読みとりやすさの判断

前章で求めたオブジェクト配置の中に，閾値  より大きな視認性への影響度をもつスロットがある場
合， の背景でない上下左右の領域の視認性への影響度と比較し，後者の方が低い場合にはユーザに読みとりやすくなる方向を提示する．閾値  は 章で述べる実験により求めた．

 の背景外の領域との比較

オブジェクトを配置する予定のスロットの視認性に及ぼす影響度 と  の視界外の上下左右のうちもっとも読みとりやすい領域の視認性に及ぼす影響度  について，以下の  つの比較を行うことでユーザに向きの変更を通知するべきかを決定する．

   条件   &  条件
 &   
 はオブジェクトを配置する予定のスロット番号を表し， 個の要素がある． は上下左右のうちのい条件  &  の仕様

最低被写体照度
ホワイトバランス
シャッタースピード
焦点距離
画像サイズ



きい程，優先的に視認性の高いスロットに配置される． は式  で算出するスロット  における視認性への影響度である．さらに表示位置の変更が頻繁に起こるとオブジェクトが読みとりにくくなるため，移動コスト  をかける．この移動コスト  は，前に表示されている位置と同じ位置に配置するときに小さくする．この式から計算される配置全体の視認性への影響度がもっとも小さくなる配置パターンに決定し，パターンに従ってオブジェクトを表示する．

''%()* 型 + 万画素 ''% ルクスオートオート
,-.+ × /

ずれかである．また，ユーザが向きを頻繁に変えるのは苦痛であると考えられるので向き変更コスト を  に加える．向き変更コスト  は，値を様々に変え使用した結果，もっとも使いやすかった  % に決定した．
条件  を満たす場合，表示する予定のスロットの中でもっとも読みとりやすい位置より， の視界外の方が読みとりやすく視認性の改善度合いが大きいことが見込める．逆に，条件  のみを満たす場
合，表示予定のスロットの中でもっとも読みとりにくい部分よりは改善が見込める．同様に条件  を満たす場合は，表示予定のスロットの平均的な読みとりやすさよりは改善が見込める．
これらの場合分けにより，ユーザの現在見ている の背景からそれ以外の領域にユーザの視界が変化したときの改善見込みの度合いが定まる．条件
 を満たせば改善度は大きく，条件  なら中程度，条件  なら改善度は小さいとなる．この改善度合いに応じて，ユーザに知らせる通知レベルを決定し通知を行う．例えば，「右を向いたほうが良く見えます」のような音声通知を行う場合，通知レベルが高いほど音量を大きくする．

 パラメータの決定
本章では， 章で述べた式  の決定および  章で述べた閾値  の導出について述べる．
まず，背景となる画像のどの画像特性がオブジェクトの視認性に影響を及ぼすかを調べ，背景画像が視認性に及ぼす影響度を求める式  を求めた．さらに，式  を用いて求める影響度から，ユーザが読みとりにくいと判断する閾値  を求めた．にはた．カメラの仕様を表  に示す．



ユーザによる視認性の評価

シースルー型  を装着したユーザによる評価実験を行い，どのような背景に文字や画像を表示すると読みとりにくいかを調査した．
実験では，シースルー型  上の  個のスロットそれぞれに時間的に色の変わるサンプルのオブジェクトを表示し，各スロットのオブジェクトを「読みとりやすい」（○），
「読みとりにくい」（×），
「どちらでもない」（印なし）の  段階で評価し，その結果

       !  "# $%  #& ! '  を記録した．実験は  の装着に慣れた研究チー
ムのメンバー  人で行い，屋内，屋外，昼，夜など様々な環境で計  枚の評価データを得た．

視認性に影響を与える画像特性の抽出節で挙げた  つの色空間の階調値の平均と分散について，ユーザによるオブジェクトの視認性の評価の結果ごとに分類し，各群の中央値に有意な差があるかどうかを 1" - 23  検定を用いて検定した．この検定法は母集団の分布に依存しないノンパラメトリックな検定方法である．さらに  群間で有意差の認められたものはシェッフェの方法を用いてすべての  群間での有意差を求める多重検定を行った．ここで  値を 4 としユーザによるオブジェクトの視認性の評価結果の違いに有意差があるかどうかの検定を行った．その結果から有意差が認められた要素をオブジェクトの視認性に影響を及ぼす画像特性であるとした．ほとんどの画像特性で有意差があったが，#$ の  の平均と分散には有意差が認められなかったため，式  から除いた．
00

画像特性の比率となる係数の決定

次に各スロットのオブジェクトの視認性に及ぼす影響度を求める式を決定する．視認性への影響度とは，背景の画像特性がオブジェクトの視認性にどの程度の影響を及ぼすかを数値化した値である．前節の結果から影響があると予想される画像特性を，式 に当てはめ，ユーザによるオブジェクトの視認性評価の結果とコンピュータの出力する視認性に及ぼす影響度の適合度を求めた．その結果より，最もよく適合する重みづけ係数     を決定する．
視認性に及ぼす影響度を求める式の各画像特性 の平均の係数  を ' および   %        に，分散の係数   を ' および   ' %       に変化させ係数のすべての組合せについて総当りで影響度を算出した．使用した係数は離散値であるため，求まった係数付近でさらに係数を細かく変化させ，最適な係数の組合せを選択した．結果は式 に示した通りである．なお，係数が ' となった項は式から除外した．
また，ユーザによるオブジェクトの視認性評価の結果とコンピュータの出力する視認性に及ぼす影響度の適合度は次のように求めた．ユーザによるオブジェクトの視認性の評価実験では，視認性を  段階に分類している．一方，視認性に及ぼす影響を求める式は連続値で出力される．そこで，ユーザの評価実験で「読み取りやすい」と判断されたスロットの視認性への影響度の平均と「読み取りにくい」と判断されたスロットの視認性への影響度の平均の差が大きい程，適合度が高いとし，この差を評価点としてユーザの評価実験で得られたすべての画像について計算した．例えば， 枚の画像に図  のような評

図  ユーザ評価の例

価がつけられている場合，計算式は以下の式のようになる．

%&& & &&

は評価点を示し，式の分母は前の項から順に，視認性の悪いスロットの数，良いスロットの数である．
はスロット  における視認性への影響度である．

再現率

決定した係数の組合せの有効性を検証するため，再現率を求めた．得られた視認性への影響度の値を大津の閾値判別法を用いて「読み取りやすい」「読み取りにくい」の  つに分類し，ユーザによる評価実験で分類された「読み取りやすい」スロットと「読み取りにくい」スロットが正確に分類されている割合を再現率とした．結果は 4 となり，視認性への影響度が式  により正しく求められていることがわかる．

視認性が悪くなる閾値の算出

0 節で得た画像データの各スロットに対して，視認性への影響度を式  を用いて算出した．閾値 をユーザが読みとりにくいと評価したスロットとそうでないスロットを分類できるような値に設定すれば，閾値  を用いて  上に表示したオブジェク
トが読みとりにくいかを判断できる．そこで，読みとりにくいと分類されるスロットの (4 が，閾値 より大きな影響度をもつように  を設定する．
ユーザによる評価の結果より， % '( が求まった．

 実装
提案手法のプロトタイプを実装した．実装には，社の $  708+9 を用い，:
5社の *; 8  <29，:  = 0>，メモリ  を利用してプロトタイプの動作確認を行った．
5"  6 また，図  に示す広角カメラ付き  としては，島津製作所の    ? に，#  社の $/@
+ : 2$  を固定し，カメラの前に鏡を取り付けることで製作した．



考察
ユーザの状況に応じた提示

実際にウェアラブルコンピューティング環境で提案手法を使用することを考えた場合，ユーザが作業中であるときなど向きを変更できない状況も考えられる．さらに，向きを変更できる方向が限られる場合もある．そのような場合に，向けない方向を排除してユーザに提示する必要がある．
また，周囲がうるさいときには音声で通知せずに，振動で向きを伝えることや， をフラッシュさせ向きを伝えるなどの手法をとるなど，ユーザの状態に応じて提示する手法を選択する必要がある．

関連研究背景の状態によっては表示するオブジェクトがユーザにとって読みとりにくくなるという問題を解決するためには，本研究で示した手法の他にもいくつかの方法が考えられる． つは画面に非透過領域を作り，そこに文字や画像を表示するという手法である．
これまでにビット単位で背景を透過するかどうかを決定できる  が提案されている ．しかし，現在この  は大規模な装置が必要であり，ウェアラブルコンピューティング環境では使用できない．また， の表示部分の一部をシースルーでなくした光学式シースルーや小型の非透過の  を使用するという解決方法では，ユーザの視界をさえぎってしまうため，ウェアラブル環境に適していない．
これまでに  の分野で画像の上にアノテーションを重ねる際に背景となる部分の明暗を考慮してアノテーションの位置を決める研究  や映画などの字幕を表示する際に白い字幕の背景をどの程度の透明度で黒く塗りつぶすと十分に読みとりやすくなるかを決定する手法  といった提案がされている．これらの手法は背面の透過しないディスプレイを対象としており，本研究の対象とする光学式シースルー型  に特有の表示物が背景を完全に遮断できない点を考慮しているとは言えない．

まとめ

本研究では，広角カメラを用いた光学式シースルー型  における情報提示手法を実現した．提案手法では  の背景画像からユーザにとってオブジェクトの読みとりやすい配置決定する．どの位置に配置しても読みとりにくい場合には，ユーザの周囲画像と比較し，改善が見込めるときは視界を変更する通知を行う．さらに本研究では，提案手法に基づいたプロトタイプシステムの実装を行い動作確認および考察を行った．
今後は，ユーザの向き変更のコスト  の見直し，および全方位カメラや魚眼レンズ，複数のカメラを用いたシステムとの比較を行い，通知方法までを考慮した手法の提案および評価を行う予定である．

謝辞
本研究の一部は，文部科学省  世紀 @+ プログラム「ネットワーク共生環境を築く情報技術の創出」，科学研究費補助金 基盤研究  「大規模な仮想空間システムを構築する放送型サイバースペースに関する研究」プロジェクト番号：''' の研究助成によるものである．ここに記して謝意を表す．

参考文献%&'   *++(    )#+ +%,'  -    . / 0  . *  1 2  3  0 4     )             ! !"  56&7 ,887

%9' 2 - 2 : !   2! ; -    -  $<  * 1     =             ) 1  #"   ,889 # $!    %  &''(%7' ; -   2 !
 ; 0! 0 .  )   (  ! $ >?  1 = ?    $!    !   !  %  &''(  9&769&@
,889

%A' - - !  #   ; -    #  0        #    )   0  (  0   ! ) *+ !   ,-.
! / 0" +1 2! &3+ 4 3
,88&

%B'  >!   2         C    C  !
             
 - $! "  -.
  !" % -&''#(  ,,76,98 ,887

%5'

清水亮一 星野孝総 亀井且有 字幕付き映像における視認性向上のための字幕表示システムの提案ヒューマンインタフェースシンポジウム ,887 講演
会論文集 ,887