IR プロジェクタを用いた実環境への情報提示手法の提案
Presenting Information on Real Environments with IR Projector
白井 良成 †
Yoshinari Shirai

1.

はじめに人は生活していく上で, 様々な場面で情報を必要としている. これらの情報の多くは, 実環境と関連付けて提示することで利便性が高まる. 例えば公共機関や知人の電話番号を自宅の電話機の横に置いたり, 外出の際に忘れては困る物のリストを家の扉に貼り付けたりすることがそれに当たる.
近年では, 計算機の高性能化やネットワークインフラの発達により, さまざまな情報を実環境に関連付けて提示することが可能となりつつある [3, 4]. しかし, 多量の情報を実環境中に提示する際には, 情報洪水の問題を解決する必要がある. 看板が多い都会の繁華街では必要な情報が見つけにくいように, あまりに多量な可視情報を一度に提示してしまうと煩わしいだけでなく, 人間は個々の情報に注意を向けなくなってしまう. そこで本稿
では, このような問題を解決するために, 情報の特徴に応じた可視／不可視の切り替え手法を提案する. 例えば,情報の存在や概略を伝えるような, 不特定多数の人に見てもらいたい情報は可視光で提示し, さらに詳しい情報や興味がある人だけに見て欲しい情報等は不可視に提示するといった情報の特徴に応じた可視／不可視の切り替えを行なうことで, 実環境に可視提示する情報を削減することができる.
本論文では, 人間には見えない波長での情報の投影 (不可視提示) を可能とする IR プロジェクタを提案し, 試作した IR プロジェクタについて述べ, 赤外光による情報提示手法に関する議論を行なう.

2.

本研究の位置づけ

現在実環境に関連付けて情報を提示するメディアとしては, 大別して, プロジェクタやプラズマディスプレイな
どの環境固定型デバイス [1, 3, 5] と携帯電話, PDA などの携帯端末がある.
プロジェクタ等の環境固定型デバイスを用いた場合,デバイスが設置されている環境を利用している不特定多数の人に情報を容易に伝達できるという利点がある. また, 実環境のオブジェクトに重ね合わせて情報を投影する場合, 煩雑な位置あわせを必要としない. その反面, 周囲のユーザに提示した情報が見えてしまうため, 秘匿性が重視されるような情報 (例えばパーソナライズされた情報) の伝達には向いていない. また, 実環境の投影面は有限であり, 多量な情報を一度に提示することは困難である.
一方, 携帯端末は情報の秘匿性に優れている上, 情報を保存して持ち運び, 後で保存した情報をユーザがじっくり見ることが可能であるため, プロジェクタ等の環境固定型デバイスの持つ問題点を解消できる. しかしなが† 日本電信電話（株）
NTT コミュニケーション科学基礎研究所
NTT Communication Science Laboratories, NTT Corporation

松下 光範 †
Mitsunori Matsushitaら, 不特定多数のユーザに一度に情報を伝達する際の容易性では環境固定型デバイスに劣っており, また, 実環境に情報を重ね合わせて投影する際には, ユーザの移動や手ぶれに合わせて位置あわせの再計算をその都度行わなければならない.
このように, 実環境に情報を提示するデバイスとしては両メディアは一長一短でありそれぞれ異なる特徴があるため, ユーザや環境の状況, 提示する情報の特徴に応じて両者の提示手法の使い分けや連携を図る必要がある.
そこで, 我々はプロジェクタと携帯端末の円滑な連携を可能とするために, 赤外光を用いた投影が可能な IR プロジェクタを提案する. プロジェクタの投影波長を赤外領域まで拡張することで, これまでプロジェクタでは困難であった, 不可視マーカを用いた携帯端末との連携が可能となる.

3.

IR プロジェクタを用いた情報提示手法

IR プロジェクタは赤外光を投影可能なプロジェクタである. 赤外光による投影を実現することで, 不可視波長を用いた実環境へのアノテーションや不可視マーカによる携帯端末との連携が可能となる.
以下に IR プロジェクタの利用例を示す.
• IR アノテーション: 不可視波長を用いた情報提示手法
赤外光を用いて情報を投影することにより, 情報を閲覧したいという意志を持った人のみが情報を見ることが可能となり, 逆に, 興味が無い人はその情報に視覚的に煩わされる心配が無くなる. 可視波長を併用することで, アノテーションが存在することを可視光で投影し, 実際の詳細なアノテーションは赤外光で提示するといったことも可能である.
例えば, IR アノテーションは対訳の提示に有効である. プロジェクタでさまざまな情報を提示する際に,多くの場合その国の言葉もしくは英語が使用されるが, 様々な言語圏の人が集まるような場所 (例えば空港など) では, ユーザが提示された言葉を読めない可能性がある. しかし仮にすべての国の言語で情報を提示すると, レイアウトを整えるのが難しくなり視認性も低下する. そこで, 対訳を赤外光で投影することで, 視認性を下げることなくレイアウトを維持したまま, 投影された内容を赤外線カメラ掲載の携帯端末等を通して自国の言語で見ることが可能となる. 複数の言語の対訳を提示するには, 複数の不可視波長を用い, それぞれの波長に一言語を割り当てて重ねて提示すれば良いだろう. その場合, ユー
ザは, 自国の言語が投影されている波長のみを通すバンドバスフィルタを携帯端末等のレンズに着けることで, 情報を自国の言葉で見ることができる.

図 2: 左上: 掲示板 (投影前), 右上: 可視画像, 左下: 赤外画像, 右下: 2 値画像

図 1: システム構成• IR マーカ: 携帯端末と連携するためのマーカを不可視に提示する手法
さらに, ビジュアルマーカを赤外光で不可視に提示することが可能である. 実環境と計算機をリンクする方法のひとつとして, ビジュアルマーカの研究が進んでいるが [2, 4], これらのマーカは可視であり, 提示する情報の表現を損ねるという問題がある.
ビジュアルマーカを不可視波長で投影することにより, ユーザにとっては意味の無いマーカの視覚表現を見せずに, その領域に可視光で重ねて情報を投影することが可能となる. これにより, 多くのユーザに知らせたい情報は, ユーザが気づけるようにプロジェクタを用いて実環境内に直接提示し, ユーザがその情報に興味を持ったら, その情報のさらに詳しい (個人に特化した) 情報をユーザの携帯端末にダウンロードし提示するといった使い分けが考えられる. また, マーカの投影にプロジェクタを用いることで, マーカの投影位置や投影時間を状況に合わせて自由に操作することができる.

4.

プロトタイプシステム

我々は, 提案する IR プロジェクタの可能性を確認するため, プロトタイプシステムを構築した. プロトタイプ
システムは, 可視光を用いて情報を投影すると共に, 赤外光を用いて 2 次元マトリックス状の IR マーカを投影可能である. 携帯端末を投影された IR マーカに翳すと,携帯端末の赤外線カメラにより IR マーカがキャプチャされる. 次にキャプチャされた IR マーカに埋め込まれた ID がデコードされ, ID に対応する情報が携帯端末上に提示される.
プロトタイプシステムの構成を図 1 に示す. システムは, 液晶プロジェクタ (可視光投光用), DLP プロジェク
タ (赤外光投光用), 計算機, 及び IR マーカを読み取るための赤外線カメラ付き携帯端末で構成される. 赤外光投

図 3: IR アノテーション例 (右は赤外線カメラを通して見た画像)
光用のプロジェクタは, DLP プロジェクタのレンズに赤外線フィルタを貼り付けることで代用した. 2 台のプロジェクタでスポットライト (可視光) 及び IR マーカ (不可視光) を重ねて投影している様子を図 2 に示す. 右上のように, 貼り紙にスポットライトを投影すると同時に,IR マーカを赤外光を用いて提示した. 左下の画像は同じ場所を赤外フィルタを通して撮影したもの, 右下は左下の画像を適当な閾値で 2 値化したものである. 可視光で投影しているスポットライトに重ねて IR マーカを投影してもマーカを認識できることがわかる.

4.1 適用例
本プロトタイプシステムを用いた適用例として, 会議や展示会などのポスターの補足情報などを伝えるアプリ
ケーションを作成している. 適用例の概略を以下に示す.
まず, 会議の投稿締め切りや, 展示会の参加申し込み締め切りまでの日数をさり気なく伝達することとした.
ポスターを見たときに, 参加しようか悩むような会議や展示会は, 気が付くと参加申し込み日が過ぎていることがある. そこで, 告知ポスターにプロジェクタ (可視光投光用) を用いてスポットライトを当て, 会議などの締め切りが近づくにつれてスポットライトを徐々に明るくすることで (視覚的負荷が低い情報表現 [5]), ユーザに締め切りをさり気なく伝える.
一方, ポスターを見て会議や展示会に興味を持ち, さらに詳しい情報を欲しいという人向けに, 詳細情報に対応する ID が埋め込まれた IR マーカをスポットライトに重ねて投影する. ユーザがその会議に興味を持ち, ポスターに携帯端末を翳すと, 会議の詳細情報や, ユーザ

表 1: 投影したマーカの検出値
平均 分散
平均 分散
W 51.1 60.9 Bk 22.5 29.3
R 50.2 56.0
C43.2 40.0
G 43.0 40.8
M 50.0 56.3
B 42.3 38.4
Y49.9 53.5の専門領域のセッションの投稿状況 (例えば携帯端末上のユーザプロフィールから提示する情報をパーソナライズする) などが携帯端末にダウンロードされ提示される.
また, 赤外光を用いたアノテーションを直接ポスターに投影することも可能である (図 3).

4.2 IR マーカの認識について
IR プロジェクタで投影するマーカは, 印刷されたものや計算機上に提示されたものと異なり実環境に直接投影されるため, 認識の際には実環境の背景の影響を受ける.
そこで, 背景色やテクスチャの影響を調べるため, 以下の実験を行った. まず, 背景色の影響を確認するため, IRマーカを白 (W), 黒 (Bk), 赤 (R), 緑 (G), 青 (B), シアン (C), マゼンタ (M), イエロー (Y) の 9 種類の用紙に投影し, 認識が可能かどうかを調べた. 3m の距離からプロジェクタで IR マーカ (一辺約 19cm) を投影し, 投影された IR マーカを 70cm の距離から赤外線カメラで撮影した. 今回の実験では, 2 値化の閾値は固定 (画素値 30‡ )とした. その結果, 黒以外の背景色の場合は, マーカを認識することができた. それぞれの用紙に投影したマーカの平均画素値を表 1 に示す.
また, 異なる 2 種類の色同士を組み合わせた用紙に IRマーカを投影し, 上記実験と同様の条件で認識の可否を調べた. 実験は, 白, 黒, 赤, 青, 緑の組み合わせ 10 通りと白, 黒, シアン, イエロー, マゼンタの組み合わせ 10 通りの合計 20 種類の用紙で行った. その結果, 黒と別の色の 8 種類の組み合わせでは, 認識ができなかったが, その他の色の組み合わせでは問題なく認識することができた.

5.

議論(1)IR マーカを投影する背景の影響
上記の結果は, 黒を除く背景色は十分な反射光が得られた反面, 黒などの赤外線を吸収する色が背景色の場合には IR マーカの認識が難しいことを示している. また,色によって赤外線の反射率が異なるため, 十分な光量が得られない場合は, 認識が難しい可能性がある.
しかし, 黒系統の背景色も, 実際には若干の反射が検出されたため, 投光量を増やすことで認識は可能だと考えられる. また, 提示する IR マーカを一定時間ごとに点滅又は反転させて, それぞれの画像の差分を求めることで,背景の影響をある程度除去することができる. 実際に IRマーカの投影前と投影後の画像の差分画像を用い手動で閾値を調整したところ, 黒い用紙に投影した IR マーカも読み取ることができた. 一定時間ごとに IR マーカを変化させるという方法はマーカに乗せるビット数を増やすという方法にも利用可能である [2]. ただし, 携帯端末を‡ 画素値は 0〜255 の 256 階調である.

用いた場合, この手法は手ぶれの影響を受けるため, 複数枚の画像の差分を求める際には, それぞれの画像のどの部分が重なっているかについての画像間の対応付けに関する処理が必要となる.
(2) 他の光源の影響実験は室内の蛍光灯等が敷設されている場所で行なったが, プロジェクタの光量が十分得られれば, カメラでこれらの光源を直接覗かない限りさほど影響は無かった.
太陽光の影響が少ない屋内等では, さほど問題なく利用できると考えられる.
(3) オクルージョン
プロジェクタを利用した場合, オクルージョンの問題が発生する. 可視光による投影では, 投影された映像が何によって遮蔽されたかは容易に判断可能であるが, 赤外光の場合には不可視のため困難となる. IR マーカを提示する際には, ユーザが IR マーカの投影光が遮蔽されたことに気づけるように, 可視光で別の情報を同時に投影することが有効である.
(4)IR マーカの大きさ
2 次元マトリックスコード [4] は, エンコードされたコードと共に, キャプチャしたカメラと IR マーカの位置・方向関係がわかるという特徴がある. しかし, プロジェクタでマーカを投影した場合, プロジェクタと投影面との距離に応じてマーカの大きさが変わるため, カメラとマーカの位置関係は知ることはできない. しかし,マーカの大きさを自由に変えることができるため, 例えば遠くからでもマーカを認識させたいような場合には,マーカを大きめに投影して認識を助けるといった使い方ができる. 計算機用にデザインされたビジュアルマーカの情報表現はユーザには意味の無いものであり, 可視のマーカを大きくすることはユーザの視覚的負荷の増大に繋がったが, IR マーカは不可視でありその心配が無い.

6.

終わりに

本稿では, IR プロジェクタを用いた情報提示手法を提案し, プロトタイプシステムの実装及び評価を行い, IRプロジェクタの可能性を示した. 今後, IR プロジェクタを利用したインタラクション手法を検討していく予定である.

参考文献[1] Claudio Pinhanez: The Everywhere Displays
Projector: A Device to Create Ubiquitous
Graphical Interfaces, Ubicomp2001, pp315-331,
2001.
[2] 岸野泰恵, 塚本昌彦, 坂根裕, 西尾章治郎：コンピュータディスプレイ上の自律移動型の半透明ビジュ
アルマーカ, インタラクション 2002，Vol.2002，No.7，pp.14-21, 2002.
[3] Jun Rekimoto and Masanori Saitoh: Augmented Surfaces: A Spatially Continuous
Workspace for Hybrid Computing Environments, CHI’99, pp378-385, 1999.
[4] Jun Rekimoto and Yuji Ayatsuka: CyberCode:
Designing Augmented Reality Environmentswith Visual Tags, DARE 2000, 2000.
[5] 白井良成, 大和田龍夫, 亀井剛次, 桑原和宏: 実環
境指向のアウェアネス情報とその提示手法, 情処論, Vol.43, No.12, pp3653-3663, 2002.