WISS2008

PhotoelasticTouch: LCD と光弾性効果を応用した透明弾性体インタフェースの提案
PhotoelasticTouch: See-through Gelatinous Interface using LCD and Photo-elastic Effect

佐藤 俊樹

間宮暖子

小池 英樹∗

Summary. 横置きの液晶ディスプレイ (LCD) を用いたテーブル型インタフェースは，安価で見易く，さらに，LCD の発する偏光を応用することで，テーブル上での画像認識が容易に行えるという利点がある．
しかし，画像認識用カメラをテーブル上方に設置する必要があるため，ユーザとテーブルとの接触を伴った動作を認識することが難しいという欠点があった．そこで本論文では，LCD の偏光と LCD 上に置かれた透明弾性体の光弾性を応用することで，ユーザとテーブルとの接触を伴った対話を可能にする透明弾性体インタフェース「PhotoelasticTouch」を提案する．PhotoelasticTouch は，テーブル上に置かれた弾性体にLCD の発する偏光を下から通し，弾性体を通った偏光を光学フィルムを装着したカメラで撮影する．その際，弾性体に変形があった場合，光弾性効果により複屈折が生じることで，変形があった領域下の LCD 光がカメラに撮影されるが，変形がない場合，LCD の映像はカメラに装着したフィルムで遮断される．これを利用することで，テーブル上の弾性体の圧力の加わった位置，面積等を低コストの画像処理で高速に求めることができる．本論文では，ユーザが弾性体を指で押下した際の圧力の変化，方向を得る手法を延べ，アプリケーションを示す．

1

はじめに大型のディスプレイをテーブルのように水平に設置することで，ディスプレイ上に表示された情報との対話を可能にするテーブル型システムの研究が盛んに行われている．これまでテーブル型インタフェー
スでは，プロジェクタを用いてテーブル上に映像を表示する手法が一般的であった．しかし，近年の液晶ディスプレイ (LCD) の急速な大型化・高解像度化・低価格化に伴い，大型の LCD を水平に設置することでテーブルとして用いる手法が有効になってきている．プロジェクタを用いたシステムと比べ，LCD を用いたテーブル型システムは，設置も容易であり，輝度が高いため部屋を暗くする必要が無いといった利点がある．さらに，ユーザとシステムとの対話に必要不可欠な手指認識，物体認識を実現する際にも，LCD の偏光を応用したカメラベースの認識手法を用いることで，赤外線等の特殊な光源を用いること無く，高速かつロバストな処理が実現できるという利点もある [5]．
しかし，一般的な画像認識ベースの手指認識・物体認識手法は，画像認識用のカメラをテーブルの上方に設置する場合が殆どである．そのため，テーブル上の空間にある物体認識，手指認識等は容易であったが，「触る」・「押す」・「変形させる」等のような，∗

Copyright is held by the author(s).
Toshiki Sato, Haruko Mamiya and Hideki Koike, 電気
通信大学大学院 情報システム学研究科 情報メディアシス
テム学専攻

ユーザとテーブル・テーブル上の物体の間で行われる「接触」を伴った動作を認識することは困難であった．これは，LCD を用いたテーブルの場合，プロジェクタを用いたシステムのように，テーブル下の空間に接触検出用のカメラ・圧力センサ等を設置することが困難なためである．
そこで本研究では，LCD の偏光と透明な弾性体，そして弾性体の持つ光弾性という光学特性を応用することで，ユーザとテーブルとの直接的な接触を伴った対話を可能にするインタフェースの提案を行う．

2

目的

LCD 上で接触を検出するためには，いくつかの課題がある．一つは，ユーザが特殊なセンサを身につける手法はテーブル型インタフェースには不向きであるため，非装着での認識を行う必要がある．次に，LCD 上に配置しても LCD の映像を遮断してはならないため，マーカレスでの認識が必要である．さらに，接触する動作が伴うため，インタフェースには圧力をフィードバックする弾性が必要である．そこで本研究では，以上の問題を解決するインタフェースとして，LCD の偏光と透明な弾性体の光弾性を応用した PhotoelasticTouch を提案する．PhotoelasticTouch の特徴をまとめると次のようになる．
• LCD の偏光と弾性体の光弾性を用いる
LCD の偏光と弾性体の光弾性を用いるため，特殊な光源やセンサを用意する必要がない．

WISS 2008

• 非装着のインタフェースである

本システムは，ユーザに特別な装置を装着すること無く対話が行えるように，カメラと画像処理を用いた非装着型の認識手法を用いる．

• LCD とカメラによる認識

テーブル上方に設置したカメラを用い，テーブル上の物体やユーザの手の動きを追跡する
手法は，従来のテーブル型インタフェースにおいて一般的な手法である．本システムもこれらのシステムと同様に，テーブル上部に取り付けたカメラを用いるため，これらの従来の認識システムとの組み合わせが容易であるという特徴がある．また，処理コストの低い画像処理のみで認識が行えるため，200fps 以上の高速な処理が可能である．

• 透明である本システムでは，透明な弾性体 (図 1) を用い，かつ特殊なマーカを用いること無く認識を行うため，ユーザに対しテーブルに表示された映像を隠すことが無い．また，マーカの方向によらず配置でき，押す，摘む，引っ張るといった様々な方向への変形を行うことができる．

な映像しか得ることができないため，テーブル面との接触の認識等は困難である．また，2 台以上のカメラを用いてステレオ視を行う手法もあるが，接触した際の圧力まで認識することは困難であった．
Rekimoto らのシステム [7] や Han のシステム [1]は，ディスプレイの表面に赤外線を照射し，ディスプレイに触れた物体に当たった赤外線の反射光をディスプレイの背面に設置されたカメラで撮ることで，接触を検出することができる．また，この手法の場合，反射光の領域の大きさにより，接触した際の圧力を得ることもできる．しかし，ディスプレイの背面にカメラを設置する必要があるため，LCD を用いたテーブル型システムには利用できない．また，接触面に弾性体を用いる本研究とは異なり，押下感を得ることはできない．
接触面に弾性体を用いた研究として，GelForce[3]及び ForceTile[2] がある．これらの研究では，弾性体の内部に 2 層のマーカを配置し，弾性体に圧力が加わった際のマーカの動きを，弾性体の下方からカメラで撮影することで，弾性体を変形させた際の弾性体にかかる力を測定することが可能である．しかし，カメラや光源を弾性体の下方に設置する必要があるため，LCD 上で用いることはできない．また，
本研究ではマーカレスで認識を行うことが可能であるため，完全に透明であり，様々な方向への変形も検出することができる利点がある．

44.1

図 1. 本システムで使用する透明な弾性体• 触覚によるフィードバックがある

従来のタッチパネルでは，ユーザに対する触覚のフィードバックが無い．本研究のシステ
ムでは，ユーザが弾性体に圧力を加えた際に反発力が発生することから，ユーザに対して操作感を与えることができる．

3

関連研究

テーブル上方に取り付けた画像認識用カメラにより，テーブル上の手や物体を追跡する研究は，これまでにもなされてきた [6][4]．カメラベースの認識は，テーブル上の空間にある物体の位置や動きを認識することができるが，1 台のカメラでは 2 次元的システム構成
ハードウェア構成

本システムのハードウェア構成は図 2 のようになる．まず，水平に設置した LCD の上方に画像処理用カメラを固定する．液晶ディスプレイは DELL 22インチ 2208WFP(輝度 300cd/m2 )，カメラは IMPERX 社 IPX-VGA210-GC を使用し，カメラは，LCD 全体が撮影できるような位置に三脚で固定した．カメラ，及び LCD は 1 台の PC(Xeon 3.2Ghz,2GB RAM) に接続されており，PC 上の画像処理プログラムがカメラからの画像を処理し，結果を同じ PC 上で動作するアプリケーションプログラムに送信する．LCD には，直線偏光を円偏光に変換するための透明な 1/4 波長板を，LCD の偏光から光軸を 45 度回転させた状態で全面に貼り付ける．またカメラには，1/4 波長板を LCD 側波長板から 90度回転させた状態で貼り付け，さらに LCD の映像を遮断するための偏光フィルタを貼り付ける．
本システムでは，透明で，かつ偏光特性を変化させない (光学的等方性を持つ) 弾性体を用いる．今回のシステムでは，手による変形が容易なポリエチレン系高分子素材の衝撃吸収材を用いた．一般的に，弾性体の光弾性は様々な物質に存在する性質であるが，ガラス等の固い物質では変形にかなりの力を必PhotoelasticTouch: See-through Gelatinous Interface using LCD and Photo-elastic Effect

力を受けた弾性体内を通る LCD の直線偏光は，光弾性効果によって楕円偏光へと変化し，カメラ側の偏光フィルムを通過する (図 3 中 (3) の光)．これにより，カメラには弾性体が変形した領域のみ，力の方向に等しい縞模様 (等色線) が現れる．この等色線をカメラで撮影し，画像処理を行うことで変形の領域を検出することが可能になる．

図 2. ハードウェア構成要とし，またゼリーのような柔らかい物質では簡単に形が崩れてしまうため，ある程度固さがあり，手での変形も容易な素材を用いることにした．

4.2

原理

弾性体が外力を受け変形すると，弾性体を通る偏光に複屈折が生じ偏光の性質を変化させる，光弾性効果が起きる．本システムでは，この光弾性効果による複屈折によって偏光特性が変化した LCD 光をカメラで撮影することで，変形の起こった領域を調べ，変形の位置，強さ，方向等を求める．

図 3. 偏光フィルタのみを用いた場合 (左) と，円偏光法を用いた場合のシステム (右)本システムの原理を図 3(左) に示す．LCD の発する光は直線偏光である．LCD 上に複屈折を起こした弾性体が無い場合，又は弾性体が何も圧力を受けていない場合，LCD が発した直線偏光は，カメラに装着した偏光フィルムに到達し遮断される (図3 中 (1) 及び (2) の光)．従って，LCD に表示された映像によらず，カメラには LCD は黒く映る．一方，LCD 上の弾性体に圧力が加えられた場合，圧図 4. 偏光フィルタのみを用いた場合 (左) と，円偏光法を用いた場合 (右) の見え方の違い

しかし，このシステムでは，弾性体の光弾性により生じる複屈折の 2 つある光軸 (進相軸と遅相軸) のどちらかに平行な振動面を持つ直線偏光が入射した場合，直線偏光は楕円偏光にならないという問題がある．そのため，弾性体に加わる圧力の方向によっては，カメラに映らない縞状の領域 (等傾線) ができてしまう問題がある (図 4(左))．そこで，本研究では，図 3(右) のように，光軸を 45 度回転させた 2 枚の 1/4 波長板で弾性体を挟み込むことで，LCD の発した直線偏光を一度円偏光に変え，弾性体を通過させた後に再び直線偏光に戻す手法で，弾性体の圧力の方向によらず変形した領域を検出できる手法を用いる．1/4 波長板は，入射した偏光の振動面を互いに垂直な 2 つの成分 (進相軸と遅相軸) に分け，進相軸に対して遅相軸の成分を 1/4 波長遅らせる複屈折板である．そのため，1/4 波長板に 45 度の角度で入射した直線偏光は，円偏光になる．この手法は，
光弾性応力解析に用いられる円偏光法と同様の手法である．圧力を受けた領域を通過しなかった図中 (4)及び (5) のような円偏光は，カメラ側の 1/4 波長板で再び直線偏光に戻り，偏光フィルムで遮断される．
一方，図中 (6) のような光弾性効果によって変化した楕円偏光は，1/4 波長板を通っても直線偏光に戻らないため，カメラ側の偏光フィルムを通過することができる．これにより，変形の方向により生じる明暗の縞の発生を防ぐことができる (図 4(右))．

5実装

ユーザが弾性体を変形させた場合，変形させた領域は周辺の変形していない領域に対してより高い輝度でカメラに撮影される．カメラ画像から画像処理を用いてこの高輝度領域を検出することで，弾性体が変形された領域をリアルタイムに検出することができる．処理は以下の手順で行う．

WISS 2008

5.1 画像処理の手順
1. 下準備
カメラ座標とディスプレイ座標との変換を行うため，射影変換を用いたカメラキャリブレーションを行っておく．また次の手順で行う背景差分用に，LCD 上の弾性体に圧力が加わってない状態で背景画像を保存しておく．これ
らの処理はシステム初期化時に 1 度だけ行う．
今回のシステムでは，撮影時に特殊な光源は用いず，一般的な室内の蛍光灯下でシステムを動作させた．カメラのシャッタスピードは5msec に設定し，200fps で撮影を行った．

影される．今回の実装では，同時に手やテーブル上の物体の認識を行わないため，2 値化時の閾値や，ラベリング時の面積に大きさの制限を設定することでこれらの領域の区別を行っている．

5.2

押下圧の検出ユーザが指で弾性体を押下した際の指周辺の高輝度領域の面積の変化を調べることで，ユーザが指で弾性体を押下した際の圧力変化を検出している (図6)．

2. 2 値化・ラベリング

図 5. 圧力を加えていない弾性体 (左) と圧力を加えた弾性体 (中央)，及び 2 値化処理後 (右)3. 領域の対応付け

本システムの処理は 1 フレームあたり約 5msec程度であるため，1 フレームあたりの領域の移動量，面積の変化量は非常に小さい．そこで，前フレームで検出された全ての領域と，現フレームで検出された全ての領域の位置，及び面積を比較し，両者の変化量が十分小さい領域が見つかった場合 2 つの領域が同一の領域であるとみなす．

図 6. 押下圧の違いによる面積の変化 (右に行くほど圧力が大きい)

図 7 のグラフは，人差し指で弾性体を押下した際の押下圧と，カメラに観測された指周辺の高輝度領域の面積の関係を表している．3kg まで測定可能な秤の上に，10mm 厚の弾性体を乗せた小型の LCD(重量約 1kg) を置き，LCD 上の弾性体を右手人差し指で押下した際の秤にかかる重量と，カメラで観測された指周辺の高輝度領域の面積を記録した．被験者
は大学院生 7 人で，押下圧は LCD と弾性体の重量を含まない値であり，最大 2kg まで 100g 単位で測定した．このグラフから，押下圧と面積との関係には正の相関が見られ，指による押下圧の指標を指領域周辺の高輝度領域の面積から得られることがわかる．
3500

3000

2500
Region Size [pixels]

変形があった領域の輝度は，周囲の領域と比べて輝度差が約 100(8bit グレイスケール時)以上はあるため，入力画像と予め取得しておいた背景画像との差分を取り，一定の閾値により 2 値化する (図 5)．次に，得られた高輝度領域に対しラベリングを行い，各々の領域の重心位置，面積を求める．

4. 変形パラメータの取得

1500

User1
User2
User3
User4
User5
User6
User7

1000

以上の処理で得られたそれぞれの領域に対し，圧力の大きさの検出，及び方向の検出を行う．
これらの処理の詳細については後述する．
なお，本システムでは，カメラを LCD の上方に設置するため，指等を使って弾性体を押下した場合は，指の真下にある弾性体の様子は指で隠れてしまうため観測することができない．その代わり，指の周囲の変形を観測することで，変形の検出を行っている．また，ユーザが圧力を加えた領域と同時に，LCD 上に置かれた物体やユーザの手もカメラに撮

2000

50000500

1000
Pressure [g]15002000

図 7. 面積と押下圧との関係

5.3

圧力方向の検出

弾性体を指で押下したまま，指を左右に動かし，指にかける力の方向を変化させると，弾性体と指とPhotoelasticTouch: See-through Gelatinous Interface using LCD and Photo-elastic Effectの間の摩擦により，指の位置は静止したままで，指の周辺の弾性体にかかる圧力を変化させることができる (図 8)．このことを利用すると，タッチパネルのように画面上で指を滑らせるのではなく，指をその場に留めたままで方向の入力を行うことが可能になるため，より小さな動きで方向の入力が可能になる．

6.2

3D モデル閲覧アプリケーション

指にかける圧力の方向を制御することで画面に表示された 3D モデルを様々な方向へ回転させることができる，3D モデル閲覧アプリケーションである(図 9(左))．ユーザは指を画面に接触させたままで，指にかける圧力の方向をコントロールすることでモデルを回転させることができる．

6.3

ペイントアプリケーション

このアプリケーションは，小さくカットした弾性体を手で持ち，指で摘むことで，絵の具を含ませたスポンジを絞る感覚で絵を描くことができる (図9(右))．ブラシの太さは弾性体のサイズ，又は弾性体を指で摘む強さによって調節することができる．
また，ユーザは画面中のパレットの上で弾性体を 2，3 度揉むことでパレットの色を取得することができ，さらに異なるパレットの上でこの動作を行うことで，複数の色を混ぜ合わせることができる．
図 8. 指の前後に力をかけた場合 (左上と右上) と，左右に力をかけた場合 (左下と右下)

77.1

まず，指の移動による操作と区別するために，ユーザの押下動作で，一定の閾値以上の押下圧がある動作を検出する．さらに，その瞬間の指周辺の高輝度領域の重心を，指の基準位置として記録しておく．
次に，指にかける力の方向を変えた際の高輝度領域の重心位置を求め，基準位置との 2 点により圧力のかかった方向を求める．

アプリケーション6

本システムを用いた 3 つのアプリケーションを開発した．

図 9. 3D モデル閲覧アプリ (左) とペイントアプリ (右)タッチパネルアプリケーション

圧力の検出に対応したタッチパネルを実現するアプリケーションである．一般的なタッチパネルと同様にユーザが画面に触った位置を検出できる他，複数点の同時検出が可能であり，また触った際の圧力も検出可能である．

LCD に表示された映像の影響

本システムでは，弾性体の変形をカメラで検出するために，LCD の発するバックライトのみを使用している．そのため，LCD に黒に近い暗い映像が表示されている箇所では，カメラに撮影される弾性体を通った LCD 光が弱くなるため，弾性体を変形させた場合でも，カメラには十分に光弾性効果の発生が観測できなくなる問題がある．特に，現在のシステムでは，圧力の指標に領域の面積を用いている
ため，同じ力で弾性体を変形させた場合でも，弾性体下の映像の輝度によっては異なる圧力の値を示すことになる．また，カメラに撮影される LCD 光の強さは，カメラのシャッタースピードにも依存する．
認識のフレームレートを高くしたい場合，カメラのシャッタースピードを短く設定する必要があるため，LCD の映像の輝度による影響をより受けやすくなることになる．この問題を解決するためには，弾性体下にどのような映像が表示されているかを調べ，カメラで観測した映像の輝度値の補正を行ったり，LCD 画面の描画タイミングをカメラの撮影タイミングと同期させ，カメラの撮影時の一瞬のみ輝度の高い画像を表示させるといった方法が考えられる．

7.2
6.1

考察

隠れの問題

テーブルの上方にカメラやプロジェクタを設置するテーブル型システムに共通の問題点として，稀にユーザの手元が頭や体によって隠れてしまい，カメラで撮影できなくなる問題がある．この問題は，ユーザが操作に熱中し，頭で手が隠れてしまうほどテーブルに顔を近付けたり，覗き込んだりした場合に発生する．解決手法としては，カメラを異なる位置にWISS 2008

複数台設置し，1 台のカメラで撮影できなかった箇
所を他のカメラで撮影する手法や，カメラをより低い位置に設置したり，真上ではなく，斜め上に設置したりすることで，隠れを起こりにくくする手法等がある．

7.3

弾性体の厚さについて

LCD 上に弾性体を設置し，上から圧力を加えた
場合の弾性体の変形量，変形のし易さは，弾性体の厚さに依存する．薄い弾性体を用いた場合，上から強い力で押しても，大きく変形させることは難しい．
一方，厚みのある弾性体を用いた場合は，弱い力でも大きく変形させることができ，強い力をかけることでさらに大きく変形させることができる．また，ユーザが得る押下感も弾性体の厚さによって異なる．
本研究では，3mm，5mm，10mm，15mm の 4 種類の厚さの弾性体を用い，本研究室の大学院生に指による押下感覚の違いを聞いてみたところ，タッチパネルのように表面をなぞる動作の場合，一番薄い3mm 厚の弾性体が適度の固さがあり，一番操作し易いという意見を得た．一方で，表面を押し込む動作の場合，10mm 厚の弾性体が適度な反発があり，操作し易いという意見を得た．一番厚い 15mm の弾性体は，より強い力をかけた場合に 10mm 厚の物と比べ大きく押し込むことが可能であるが，強く押し込まない場合は 10mm 厚のものとさほど違いが無いという意見を得た．どのような操作を前提とするかはアプリケーションによって異なるため，目的に応じて異なる厚さで比較評価を行い，最適な厚さを決定する必要があると考える．また今後，弾性体の厚さが，面積を用いた押下圧変化の検出手法にどう影響するのかを検証するために，異なる厚さの弾性体を用いた評価を行いたい．
7.4

材質・形状について

さらに，今回のシステムでは主にシート状の弾性体を用いたが，ポリエチレン系素材は，切る，溶かして固めるといった加工が簡単なことから，弾性体を様々な形に加工して用いることも可能である．今回実装を行ったアプリケーションで摘む動作への応用を示したが，他にも例えば，半球状に加工してボタンとして用いたり，長いひも状に加工して引っ張ったりといった様々な用いられ方が考えられる．また，表面形状の加工も容易であるため，表面に凹凸や縞模様を付けることで，様々な手触りをユーザにフィードバックさせることも可能である．
今回用いた弾性体の素材としての欠点としては，長時間使用していると，汚れが付着して透明度が下がる点である．また，変形に対する耐性は非常に高いが，爪やペンの先等の尖った物で引っ掻くと，表面に傷がついてしまう場合がある．これらの問題に対しては，弾性体の表面を光学的等方性のある透明物質で覆い，汚れや傷から保護することが有効と考える．

8

まとめと展望今回のシステムでは，LCD の偏光と弾性体の光弾性を応用し，シンプルな画像処理を用いて弾性体が圧力を受けた領域を検出することで，その位置や面積といったパラメータを用いた，LCD テーブル上での圧力，方向等の入力を可能にした．処理がシンプルであるため，高速に実行可能である点はユー
ザインタフェースとして有効であるが，等色線の色情報や偏光，複屈折の性質を十分に応用していない点で，厳密な応力の解析ができないという問題がある．今後は，これらのパラメータを用いて，より厳密な変形の検出が可能なインタフェースを実現していく予定である．同時に，テーブル型システム以外での応用も行う予定である．

謝辞
本研究を進めるにあたり，コメントを下さった日
立製作所の山崎眞見先生，科学技術振興機構の福地健太郎先生に感謝致します．

参考文献[1] J. Y. Han.
Low-Cost Multi-Touch Sensing
through Frustrated Total Internal Reflection. In
Proceedings of the 18th annual ACM symposium
on User interface software and technology, 2005.
[2] Y. Kakehi, K. Jo, K. Sato, K. Minamizawa,H. Nii, N. Kawakami, T. Naemura, and S. Tachi.
ForceTile: Tabletop Tangible Interface withVision-based Force Distribution Sensing. In SIGGRAPH New Tech Demos, 2008.
[3] K. Kamiyama, H. Kajimoto, N. Kawakami, andS. Tachi. Evaluation of a Vision-based TactileSensor. In IEEE International Conference on
Robotics and Automation, Vol. 2, pp. 1542–1547,
2004.
[4] H. Koike, S. Nagashima, Y. Nakanishi, andY. Sato. EnhancedTable: Supporting a Small
Meeting in Ubiquitous and Augmented Environment. In Pacific Rim Conference on Multimedia,
2004.
[5] 西川 渉, 佐藤 一人, 福地 健太郎, 小池 英樹. 偏光を応用したテーブルトップシステムの提案. In
Proc. of WISS 2007, pp. 59–62, 2007.
[6] K. Oka, Y. Sato, and H. Koike. Real-time tracking of multiple fingertips and gesture recognition
for augmented desk interface system. In Proc. ofIEEE Computer Graphics and its Applications,pp. 64–71, 2002.
[7] J. Rekimoto and N. Matsushita. Perceptual Surfaces: Towards a Human and Object Sensitive
Interactive Display. In Workshop on Perceptual
User Interfaces, 1997.