WISS2007

偏光を応用したテーブルトップシステムの提案
A Tabletop System utilizing polarization

西川 渉

佐藤 一人

福地 健太郎

小池 英樹∗

Summary. 本稿では，偏光という物理現象を応用したテーブルトップシステムの構築とその対話手法を提案する．本システムは，表示面を上に向けて設置した大型液晶ディスプレイをテーブルとして用い，テーブル上方に取り付けたカメラによる画像認識により対話を実現する．このとき，液晶ディスプレイの原理上映像は偏光しており，その偏光方向に対して直交させた偏光フィルタをカメラに取り付けることで映像のみを遮断できる．これにより，背景画像による影響を受けずにディスプレイ上方の物体認識が可能となる．
また，透明な光学フィルムを液晶ディスプレイ上に重ねると，ユーザには透明に見えるがシステムのカメラには認識させることができる．本研究ではこれを利用し，テーブル上に配置しても表示されている映像を遮蔽しない透明シート型インタフェースを提案することで，システムとのインタラクションを実現する．

1

はじめにこれまで，テーブルトップシステムの研究が多くなされてきた [1]．その映像表示方法は大別して以下の 3 種類に分類できる．プロジェクタによる上方からの投影，プロジェクタによる下方からの投影，プラズマや液晶などの薄型ディスプレイによる表示である．それぞれに一長一短が存在するが，プロジェクタによる投影における共通の問題点は，光量が少ないために部屋を暗くしなければ視認性が低下してしまうことである．これに対して薄型ディスプレイ
では明るい部屋でも十分な視認性を得られる．近年，大型液晶ディスプレイは安価になり様々な場所で目にするようになった．しかし設置方法は従来の壁型から変化していない．そこで大型液晶ディスプレイの表示面を上に向けて設置することでテーブルトップシステムとして利用することを考えた．
我々は，これまでカメラによる手指認識を用いたテーブルトップシステムの研究を行っており，赤外線カメラを利用することで背景画像や照明条件に依存しないロバストな実時間認識を可能にした [2]．しかし，本システムではディスプレイ自体が熱を持っておりこの手法が使えないため，より認識性能の高い手法の検討が必要となった．そこで本研究では，液晶ディスプレイの光が偏光していることを活かすことで，テーブル上の手指認識を効率良く行う手法を提案する．また，光学的な特性を応用することで，ユーザからは透明に見えるがシステムのカメラには認識可能な透明シート型インタフェースを提案する．
このインタフェースの利点は 2 つある．シートをテーブル上に配置してもディスプレイの映像を遮蔽しな∗

Copyright is held by the author(s).
Wataru Nishikawa, Kazuto Satou, Hideki Koike andKentaro Fukuchi, 電気通信大学大学院 情報システム学研
究科 情報システム運用学専攻

い点，実際にシートを動かして操作するため簡単に扱える点である．本稿の最後ではこのインタフェースの応用例を示す．

2システムの構築

本システムでは，液晶ディスプレイをテーブルとして利用し，対話手法としてカメラによる画像認識を用いる．このとき偏光を応用することで，手指認識の改善，および透明シート型インタフェースの認識を行う．

2.1

ハードウェア構成

図 1 にハードウェア構成を示す．本システムでは，大型液晶ディスプレイの表示面を上に向けて設置したものをテーブルとして使用する．テーブル上方の天井には，テーブル表面全体を撮影できるように IEEE1394 カメラ (SONY DFW-VSF500) が取り付けてあり，撮影された手指や透明シートの映像は画像認識用計算機がリアルタイムに処理を行う．
得られた位置情報は，ネットワークを通して描画用計算機に送られ，描画されたアプリケーションが液晶ディスプレイに表示される．

図 1. ハードウェア構成

WISS 2007

2.2

偏光を応用した映像の遮断

一般的なカメラによる画像認識を対話手法とする
テーブルトップシステムには，テーブルに表示された映像が原因となり，背景差分による手指の切り出しが困難であるという問題がある．この問題を解決するため，本研究では偏光という物理現象を用いる．
自然光が 360 °全ての方向に振動しているのに対し，特定の方向にのみ振動している光のことを偏光と言う．
偏光フィルムは，特定の振動方向の光だけを透過させ，他の光を遮断する性質がある．このためフィルムを透過した光は偏光となる．また，2 枚の偏光フィルムを直交させて重ねると，光は全て遮られてしまう．しかし，直交させた偏光フィルムの間に，光の振動方向を変化させる物質を挟むと光が通過するようになる．液晶ディスプレイはこの原理を用いているため，表示される映像は偏光している．

図 3. 偏光フィルタによる映像の遮断：左図は映像の偏光と平行，右図は映像の偏光と直交をディスプレイ上に重ねると，配置した領域だけがディスプレイに映っているように見える現象が観測できる．
図 4 は光学フィルムを液晶ディスプレイの上に配置したときの様子をデジタルカメラで撮影したものである．左図はカメラに偏光フィルタを取り付けずに撮影したもの (ユーザから見た光景)，右図は偏光フィルタを液晶ディスプレイの偏光方向と直交させて取り付け，同じ光景を撮影したものである．光学
フィルムの重なっていない領域では，液晶ディスプレイの映像は遮断され黒く見えるのに対し，光学フィルムを配置した領域だけはディスプレイ映像が表示されているように見える．
本システムでは，この現象を利用し光学フィルムを配置した領域の抽出を行っている．

図 2. 偏光フィルタと光の透過・遮断

図 2 は本システムの原理を示している．偏光フィルタ (1) を通過して偏光となったディスプレイの映像は，直交させた偏光フィルタ (2) によって遮断される．しかし，手などの実物体 (3) は偏光フィルタ(2) を通過するため，撮影される．また，光の振動方向を変化させる特性を持った光学フィルム (4) をディスプレイ上に重ねた場合，ディスプレイの映像は偏光フィルタ (2) によって遮断されることなく通過するようになる．
図 3 の左図では，偏光フィルタをディスプレイ映像の偏光の振動方向に 平行に取り付けてあるため，偏光フィルタを透過したディスプレイ映像がカメラに撮影されている．右図では，偏光フィルタを直交させて取り付けてあるため， ディスプレイの映像のみが遮断され，手はそのまま撮影されていることがわかる．これにより，背景画像による影響を受けずにディスプレイ上方の物体認識が可能となる．

2.3

偏光を応用した領域抽出

前節では偏光フィルタによる映像の遮断について述べた．ここで，ある特性を持った光学フィルム

図 4. 光学フィルム：左図は偏光フィルタを取り付けずに撮影，右図は偏光フィルタを取り付けて撮影

2.4キャリブレーション

テーブル上で実物体を配置した位置に画像を正確に描画するためには，カメラとディスプレイの間の座標を合わせる必要がある．本システムでは，パースペクティブ変換を用いて座標変換を行う．

3

対話手法

我々は，非装着・非接触で同時多点入力可能な，カメラによる実時間手指認識を用い，ジェスチャなどの身体性に基づく人間の自然な動作を操作に利用する研究を行ってきた [2]．

A Tabletop System utilizing polarization

本システムでは，プロジェクタ映像の手指への映り込みと，背景画像の動的変化による実時間手指認識の困難さを改善することで， より精度の高い手指認識が可能になった．
加えて，テーブル上に物を置くという自然な行為をインタラクションとして利用することも考え，手で操作可能な実物体としての利点を備えたマーカを用いることで，画像認識による従来の操作とは異なったマーカ位置の検出手法を実現した．

3.1

インタフェース

実物体を用いた対話手法では，直接的かつ直感的な操作が可能である．このとき，より自然なインタラクションを行うためには，装着型の入力装置を使用しない方が良い． また，使用する実物体も表示されている映像を遮蔽してしまわないよう，透明な素材であることが望ましい．
2 節で述べた，偏光を利用した光学フィルムによる領域抽出を利用することで，本システムとのインタラクションを可能にするインタフェースを提案する．

3.2

透明シートの認識

現在の試作段階では，インタフェースとして長方形の波長板を用いる．カメラに撮影されたテーブル上の映像は OpenCV(Intel Computer Vision Library)を用いてリアルタイムに画像処理を行う．アルゴリズムとして，まず取得した画像に 2 値化処理を行い輪郭線抽出を行う．次に輪郭線の直線近似を行い，近似した図形の辺の数が 4 であるとき四角形として認識する．最後にあらかじめ設定した最小矩形サイズよりも小さい場合は除外する．そして求めた 4 頂点の座標から，矩形の重心座標と傾きを得る．

4

図 5. 左図はカメラによる矩形認識の様子，右図は認識された矩形部分が和文に変換されている様子

図 6 は航空写真のうち，透明シート部分の領域を地図データに置き換えたものである．地図アプリ
ケーションでは気温や降雨量，人口密度など様々な情報を付加することが考えられる．さらに複数の情報を重ねて表示させることは，その関連性を見出す際には効果的である．例えば人口密度と 1 世帯当りの平均年収を重ねて表示させることで，これら 2 つの要素の関係を見ることができる．また文字のように明確な方向が存在する情報だけではないため，複数人でテーブルを囲んで行う協調作業でも視認性があまり低下しない．

応用例

本システムの応用例として Magic Lens アプリ
ケーションを作成した．Magic Lenses[3] は，仮想的なレンズとして表示され，レンズを配置した領域の映像に対して様々な視覚的効果を与えることができる．
本アプリケーションでは，実際に手で動かせる透明シートを情報を閲覧したい領域に重ねることで，その部分の情報だけを変化させて表示できる． 映
像を遮断しないという利点を活かし，シートを配置するという簡単な手法を用いることで より直接的かつ直感的な操作性を実現した．
図 5 に Magic Lens アプリケーションの例として翻訳機能を示す．透明シートをディスプレイ上に配置すると，その領域のみディスプレイの表示がカメラに認識される．この映像に画像処理を行うことで透明シートを配置した位置と傾きをリアルタイムに検出することができ，背景となる英文に変換した和文情報を表示させることができる．

図 6. 地図：航空写真の一部が地図データに置き換えられている．

5

考察

偏光を応用したディスプレイ映像の遮断を行うことで，カメラによるテーブル表面上の実物体認識の精度を格段に向上させることができた．この手法はプロジェクタに偏光フィルムを貼付けることで同様のことが実現可能である． しかし偏光フィルムの透過光は理論的に 50%以下になってしまう．そのため通常時でも視認性の良くないプロジェクタで利用するより，液晶ディスプレイでの利用に適した手法であるといえる．
本システムを応用することで提案した透明シート型インタフェースは，表示部を遮蔽しないという利WISS 2007

点により直感的に選択した領域部分のみの情報を付加するという利用法に有効であることが分かった．
しかし改善しなければならない点もいくつか存在する．まず，黒色の領域が多い映像や液晶ディスプレイに映像が映っていない状態では，透過する光が全くないためカメラによって認識することができない．そのため，背景として使用する映像には留意する必要がある．
次に，現段階では，1 種類の情報のみを重ねることしかできない点が挙げられる．数種類の情報を重ねて表示させたいとき，それぞれにユニークな IDを持った複数の透明シートが必要になる． ここで識別方法として透明シートの形状を変えるという手法がある． もしくは透明シート自体に識別用のマーカを貼付けることも考えられる． 前者による手法は，ユーザにとっても機能の推定が容易に行えるという利点があるため 機能差を識別するために利用することが良いだろう．後者の場合は光学特性を利用したユーザに見えないマーカを貼付けることで 透明シート型インタフェースの利点を損なうことなく実現できる．

6

関連研究

実物体と画像認識を利用したテーブルトップシス
テムとして Tangible Tiles[4] がある．インタフェー
スとして ARTag を貼付けた透明なアクリルタイルを利用しており，タッチパネル，実際の紙との比較による評価実験を行い，協調作業における有用性を示した．しかし一番高い評価を得たのは実際の紙を用いたときであった．そこで，より実世界に近いアフォーダンスを得るため，薄いフィルムを使うことを検討していた．
光学フィルムを利用したテーブルトップシステムとして Lumisight Table[5] がある．距離と角度によって見える範囲をコントロールできる視界制御フィル
ム (Lumisty フィルム) を用いることで，同じ平面を共有するユーザのそれぞれに，異なる映像を提示することができるシステムである．また，このシス
テムでは映像を遮蔽しない透明なインタフェースとして，赤外線吸収フィルムを貼付けたアクリル板を用いている．

Tangible Magic Lenses[6] は Magic Lenses を実世界指向に拡張したものである．しかし装置が大掛かりでかつ入力デバイスが装置と一体となっており，自然なインタラクションを妨げてしまう．また，より高度な機能を利用するためにはデバイスの装着が必要となる． 本システムでは，インタフェースとして扱いが簡易である透明なシートを 配置するだけという直接的かつ直感的な操作を行える利点がある．

7

まとめと今後の課題

本研究では偏光という物理現象を応用したテーブルトップシステムの構築とその対話手法を提案した．
大型ディスプレイの表示面を上方に向け，テーブルとして設置することで， プロジェクタでは光量の少なさから使用に問題のある明るい部屋でも利用ができ，上方からのプロジェクションで問題となるテーブル上の物体への映像の映り込みを回避した．また
偏光フィルタをカメラに取り付けることで液晶テレビの映像のみを遮断し，背景画像の動的変化による実時間認識の困難さを改善した．さらに偏光を利用することで，テーブル上に配置しても表示されている映像を遮蔽しない透明シート型インタフェースを提案し，システムとの直接的かつ直感的なインタラクションを実現し，その有効性を確かめた．
今後の課題として，透明シートにユニークな IDを割り当てることで，情報と透明シートの対応付けを行い，複数の情報を重ね合わせて表示できる機能を持たせたい．
また，ユーザから一見透明で全て同じに見えるフィ
ルムでも偏光フィルムで挟んだ状態では異なる見え方をする．そのため，透明シート型インタフェースの機能ごとの区別をできるようにしたい．

参考文献[1] 松下光範, 土方嘉徳, 杉原敏明 (編): 技術展望 (小特集), テーブル型システムの現状 , ヒューマンイ
ンタフェース学会誌, vol.9, No.1, pp.69-92, 2007.
[2] H. Koike, Y. Sato, Y. Kobayashi:
IntegratingPaper and Digital Information on EnhancedDesk,a Method for Real-time Finger Tracking on Augmented Desk System , ACM Trans. on Computer
Human Interaction, Vol.8, Issue 4, pp.307-322,2001.
[3] Eric A. Bier, Maureen C. Stone, Ken Pier,
William Buxton, Tony D. DeRose:
Toolglassand magic lenses: the see-through interface ,Proceedings of the 20th annual conference onComputer graphics and interactive techniques,pp.73-80, 1993.
[4] Manuela Waldner, Jorg Hauber, Jurgen Zauner,
Michael Haller, Mark Billinghurst:
Tangible
Tiles: Design and Evaluation of a Tangible User
Interface in a Collaborative Tabletop Setup
OZCHI 2006, pp.151-158, 2006.
[5] Y. Kakehi, T. Hosomi, M. Iida, T. Naemura andMitsunori Matsushita:
Transparent Tabletop
Interface for Multiple Users on Lumisight Table,
The First IEEE Intern. Workshop on HorizontalInteractive Human-Computer Systems (TableTop2006), pp.141-148, 2006.
[6] Leonard D. Brown, H. Hua: Magic Lenses forAugmented Virtual Environments , Published by
the IEEE Computer Society, Vol.26, No.4, pp.6473, 2006.