WISS2008

液晶型テーブルトップシステム上における透明マーカの実現
Transparent Markers on an LCD Tabletop System

小池 英樹

西川 渉

福地 健太郎∗Summary. 本論文では液晶テーブルトップ上における透明マーカの実現方式について述べる．偏光性を持つ液晶ディスプレイ映像を，偏光フィルタを装着したカメラで撮影すると液晶映像を遮断できる．一方，液晶上に特定の光学フィルムを置くとこの遮断が解除される．この現象を利用することで透明マーカを実現した．またいくつかの光学フィルムの特性を調べることで，透明マーカに回転耐性を持たせることに成功した．

1

はじめに

拡張現実感システム (Augmented Reality System) はコンピュータグラフィックス (CG) 等で作成された仮想的な映像を実世界や実映像に合成表示することで，現実世界を装飾した世界をユーザに与える．この AR システムで良く利用されるのが２次元マーカである．例えば AR Toolkit [3] は AR マーカと呼ばれる２次元マーカを用い，マルチプラットホームで動作し，またマーカ作成が簡単である．Lumisight Table [1] など多くの AR システムで使われている．Rekimoto は CyberCode と呼ばれる２次元マーカを開発し，様々なアプリケーションを開発した [5, 6]．EnhancedDesk [4] も本のような実物体と電子情報の統合に CyberCode を利用した．reacTIVision [2] は Amoeba と呼ばれる独自のマーカを使用している．
こうしたマーカ方式に共通する問題点は，マーカの不自然な外観である．人間にとって意味のない白黒パターンが露出しているため，マーカを添付した物体の外観を著しく損ねる．
我々は [7] において LCD の偏光性に着目した効率的な画像認識手法を報告した．本論文はこの結果をさらにすすめ，液晶型テーブルトップ上で透明なマーカを実現する手法を述べる．液晶ディスプレイの偏光性と光学フィルムを利用することで実現した透明マーカについて述べる．特に 1/2 波長板の特性を調べ，回転耐性を持つマーカを実現することに成功した．

∗Copyright is held by the author(s).
Hideki Koike, Wataru Nishikawa, 電気通信大学大学院情報システム学研究科, Kentaro Fukuchi, 科学技術振興機構 ERATO 五十嵐デザインインタフェースプロジェク
ト2LCD と光学フィルムの特性

本システムでは大型 LCD(SONY KDL-46X1000)の表示面を上に向けて設置したものをテーブルとして使用した．液晶表面保護のためにアクリル板を置いている．テーブル上方の天井には，テーブル表面全体を撮影できるように CCD カメラ (SONY DFWVL500) が取り付けてある．カメラには偏光フィルタ (Kenko PL Filter) が取り付けられている．
[7] での議論を簡潔にまとめると以下のようになる．LCD は直交させた 2 枚の偏光板の間に液晶を挟み電圧をかけることで光の振動状態を変化させて透過光を制御している．このため，LCD からの映像は画面横方向の偏光となっている．通常のカメラで LCD の映像を撮影した場合，LCD の映像は当然カメラに映る. これに対し，ここで LCD の映像が偏光となっていることを利用し，その偏光の振動方向に直交させた偏光フィルタをカメラに装着すると，LCD 映像のみを遮断して撮影することができる. 一方，カメラに装着された偏光フィルタによって遮断される光は偏光のみであるため，LCD 上に置かれた手は偏光フィルタ装着後もそのまま撮影されている．この直行した２つの偏光板の間に新たな光学フィルムを置くと，そのフィルム領域部分の LCD映像だけがカメラに装着された偏光フィルタを通過する現象が生じる. 以上をまとめたのが図 1 である．

図 1. LCD テーブルトップにおける光の透過・遮断

WISS 2008

図 2. 透明バーコードの原理とプロトタイプ．

図 4. 偏光フィルムの回転．上はユーザ視点．下はカメラ視点．
図 3. 白黒パターンを得るための画像処理．

3
3.1

透明マーカの実現
基本原理

前節で述べた方法を用いると，液晶型テーブルトップシステム上において透明なマーカを実現することができる．つまり，LCD 映像はそのままではカメラに装着された偏光フィルタで遮断されるため黒く映る．一方，光学フィルムを通過した光線は偏光フィルタを通過するため背景画像がそのまま映る．
そこで，LCD の偏光状態を変化させない，つまり光学等方性を持つ透明フィルム（例：OHP フィルム）と光学フィルムを交互に並べると，人間にはほぼ透明に見えるが，偏光フィルタを装着したカメラには明暗パターンに見えるマーカが実現できる．
図 2 は作成した透明な 2 次元マーカである．図において透明フィルムの部分は実際にはカメラには黒く映り，透明マーカと書かれている部分はカメラには明るく映る (図 3(左))．この映像に対し，初期映像 (図 3(中)) の差分をとると図 3(右) に示すような白黒パターンのマーカとして機能する．なお，マーカ認識部分は AR Toolkit 等，既存のマーカ認識ライブラリがそのまま使用できる．

3.2

偏光板の回転前節では，偏光フィルムを用いた透明マーカの基本的アイデアを示した．本節以降ではこのマーカに回転耐性を与える方法を述べる．
図 4 は偏光フィルタと同じ偏光特性を持った光学フィルムを LCD 上で回転させた時のユーザが見る映像 (図 4(上)) とカメラが見る映像 (図 4(下)) である．ユーザから見ると，π/2 回転させるごとに透過と遮断を繰り返す．これは θ = 0 では LCD 映像の偏光方向と光学フィルムの透過軸が一致しているため，LCD 映像は透過し，θ = π/2 では透過軸が直交するため映像が遮断されるからである．
一方，偏光フィルタを装着したカメラから見たときは，π/4 回転させるごとに透過と遮断を繰り返す(図 4(下))．これはディスプレイ映像の偏光方向と偏光板の透過軸のなす角度を θ とした場合, θ = 0のときはカメラに装着した偏光フィルタが映像を遮断し, θ = π/2 のときは回転させている偏光板が映像を遮断するためである. そのため θ = π/4 のとき光の強度が最大になる.
したがって，この光学フィルムをマーカとして使用すると，これを回転させた場合，ユーザにとっては π/2 毎に黒い部分が生じてしまい，カメラにとっては π/4 毎に光が透過しない．

3.3

1/2 波長板の回転

波長板 (位相差フィルム) とは，偏光の位相状態を変化させることのできる光学フィルムである．波長板には, 進相軸と遅相軸が存在し, 入射光線を直交する二つの偏光成分にわけ，進相軸に対して遅相軸の成分を遅らせ, その後両者を合わせて一本の光線として出すことができる．最も一般的に用いられる波長板として 1/4 波長板, および 1/2 波長板があり，それぞれ位相を π/2 および π 遅らせることができる．
1/2 波長板を光が通過すると，遅相軸成分の位相が進相軸成分に対して π 遅れる．その結果，両成分を合成して出射される光は, 入射光の振動方向に対Transparent Markers on an LCD Tabletop System

図 5. 2 枚の 1/2 波長板への入射光と出射光の関係．

図 7. 1/2 波長板× 2 の回転．上はユーザの視点．下はカメラの視点．

図 6. 1/2 波長板の回転．上はユーザ視点．下はカメラ視点．

して 2θ 回転している（図 5）．詳細な解析は後述
する．
1/2 波長板を LCD 上で回転させた様子が図 6 である．ユーザからの視点では回転角に依らずに常に透明に見える（図 6(上)）．カメラからの視点では偏光板のときと同様に π/4 回転させるごとに透過と遮断を繰り返す（図 6(下)）．偏光板のときと同じ挙動に見えるが原理は異なっており，LCD の偏光方向と波長板の進相軸のなす角度を θ としたとき，出射光の偏光方向が 2θ 回転しているために起こる現象である． θ = 0 のときそのまま偏光フィルタが映像を遮断し，θ = π/2 のときは π 回転した透過光を, 偏光フィルタが遮断している．

2 枚の 1/2 波長板の回転先に述べたように，LCD 映像の偏光方向と波長板の進相軸のなす角度を θ としたとき，1/2 波長板の出射光の偏光方向は 2θ 回転している．このとき，
図 5 のように，2 枚目の 1/2 波長板を 1 枚目の 1/23.4波長板と π/4 ずらして重ねると，偏光方向がさらに2(θ + π/4) 回転して出射される．その結果 2 枚目の1/2 波長板の出射光の偏光方向は LCD 映像の偏光方向を基準として常に π/2 回転した方向（偏光フィルタの透過軸）となる (図 5)．つまり，回転角に依らず LCD 映像を透過することができる．
これを LCD 上で回転させた様子が図 7 である．
ユーザからの視点では回転角に依らずに常に透明に見える（図 7(上)）．また, カメラからの視点でも回転角に依らずに常に透明に見える（図 7(下)）．
つまり，π/4 回転させた 2 枚の 1/2 波長板を利用することで，回転耐性を持つ透明なマーカを作ることが可能となった．

3.5

ジョーンズ行列を用いた解析

偏光状態を表す演算子としては，ジョーンズ行列が一般に用いられる．以下では図 5 をもとに説明を行う．
ある光学素子への入射光，出射光のジョーンズベクトルをそれぞれ以下のように置く．
[] [ 0]E
Ex, x0
EyEy

光学素子の進相軸が x 軸となす角度を θ とし，進相軸成分，遅相軸成分の相対位相差を ε とすると，入射光と出射光の関係は回転演算子 Rθ と位相演算子 Tε を用いて以下の式で表すことができる．
[][ 0]

Ex
Ey0= Rθ Tε R−θExEy(1)WISS 2008

ただし，[めこれを隠さないように注意するかもしれない．しかし本システムの場合，マーカが透明なため，逆に
e0cos θ −sin θ, Tε =Rθ =ユーザはマーカを意識せず，マーカを手指で隠してsin θ cos θ0 e−iε/2しまう可能性がある．これに対しては，一度認識したマーカは，それが新たな場所に出現しない限り，ここで 1/2 波長板では ε = π なので，[][][] その位置に画像を表示し続けるなどの対処が必要でcos θ −sin θ 1 0cos θ sin θ ある．
Rθ Tπ R−θ =][=sin θ[ iε/2cos θcos 2θ sin 2θ
sin 2θ −cos 2θ]0 −1−sin θ cos θ]

5LCD と偏光フィルムを装着したカメラを用いたテーブルトップ上において透明なマーカを実現する手法を述べた．π/4 回転させた 2 枚の 1/2 波長板を用いる事で，回転耐性のあるマーカを実現できることを示した．

これが 1/2 波長板のジョーンズ行列である．
ここで入射光を x 軸方向の偏光，つまり[] [ ]1
Ex=Ey0とすると，式 (1) は[ 0] [Excos 2θ sin 2θ
=Ey0
sin 2θ −cos 2θ

参考文献][ ]10[=cos 2θsin 2θ

](2)となり，1/2 波長板の出射光は 2θ 回転した偏光となることがわかる．
次に，2 枚目の波長板を 1 枚目の波長板に対してπ/4 だけ回転させて置くと，１枚目への入射光に対して θ+π/4 回転しているので，その出射光のジョーンズベクトルは，以下のように記述できる．
[ 00 ][][ 0 ]

Ex
Ey00=[=cos 2(θ + π/4) sin 2(θ + π/4)
sin 2(θ + π/4) −cos 2(θ + π/4)
−sin 2θ cos 2θ
cos 2θ sin 2θ

][

これに式 (2) を代入すると，[ 00 ] [][Ex−sin 2θ cos 2θ
=Ey00
cos 2θ sin 2θ

Ex0Ey0]]Ex
Ey0[ ]

cos 2θ
0=sin 2θ1(3)これより，2 枚目の 1/2 波長板の出射光は θ に関係なく，最初の入射光に対して常に π/2 回転した偏光であることがわかる．

4

結論

議論

本手法の第１の問題点は，透明マーカにおける背景色の影響である．光学フィルムを貼った部分は背景画像がそのまま透過するため，２値化後白黒反転した結果，白黒マーカの黒として機能すると述べた．
しかし，もし，背景画像が黒っぽい色だった場合，カメラにはこの部分は黒く見えてしまうため，マーカ認識に誤認識を生じる．これに対しては，定期的にごく短い時間間隔（例えば 1/30 秒）で LCD 前
面に白い映像を表示し，カメラをこれと同期させてこの時だけマーカ認識をすることが考えられる．
第 2 の問題はマーカ上での手指認識である．マーカが可視の場合には，ユーザはマーカを意識するた[1] Y. Kakehi, M. Iida, T. Naemura, Y. Shirai,M. Matsushita, and T. Ohguro. Lumisight Table: Interactive View-Dependent Tabletop Display. IEEE Computer Graphics and Applications,25(1):48–53, 2005.
[2] M. Kaltenbrunner and R. Bencina. reacTIVision:
a computer-vision framework for table-based tangible interaction. In TEI ’07: Proceedings of the1st international conference on Tangible and embedded interaction, pp. 69–74, New York, NY,USA, 2007. ACM.
[3] H. Kato and M. Billinghurst. Marker Trackingand HMD Calibration for a video-based Augmented Reality Conferencing System. In Proceedings of the 2nd International Workshop on
Augmented Reality (IWAR 99), pp. 85–94, 1999.
[4] H. Koike, Y. Sato, Y. Kobayashi, H. Tobita, andM. Kobayashi. Interactive Textbook and Interactive Venn Diagram: Natural and Intuitive Interface on Augmented Desk System. In Proceedings of Human Factors in Computing Systems(CHI’2000), pp. 121–128. ACM, 2000.
[5] J. Rekimoto and K. Nagao. The world throughthe computer: computer augmented interactionwith real world environments. In UIST ’95: Proceedings of the 8th annual ACM symposium on
User interface and software technology, pp. 29–36. ACM, 1995.
[6] J. Rekimoto and M. Saito. Augmented Surfaces:
a spatially continuous work space for hybrid computing environments. In Proceedings of the ACM
Conference on Human Factors in Computing System (CHI’99), pp. 378–385, 1999.
[7] 西川 渉, 佐藤 一人, 福地 健太郎, 小池 英樹. 偏光を応用したテーブルトップシステムの提案. 第 15
回インタラクティブシステムとソフトウェアに関するワークショップ (WISS2007) 論文集, pp. 59–62,2007.