WISS2009

PhotoelasticTouch を拡張したやわらかな 3 次元タンジブルインタフェースの提案
Three Dimentional ﬂexible Tangible User Interface Using PhotoelasticTouch

徳井 太郎

佐藤 俊樹

横谷 知昂

小池 英樹∗

Summary.
従来のディスプレイは平面的で硬く，押した感触がしなかったことに加え，ディスプレイの表面を指先で触れることしかできなかった．ディスプレイを立体的で柔らかくすることができれば，触った際に触覚フィードバックが得られ，つまんだりひっぱったり様々な操作が可能になる．我々はこれまで，このような立体的で柔らかいディスプレイを実現する手法として PhotoelasticTouch システムを提案してきた．しかし，PhotoelasticTouch ではテーブル上の 2 次元的な操作しか行うことができず，テーブルの上の空間や，テーブルの奥行きの空間を有効的に利用していなかった．そこで本研究では，ステレオカメラを用いることで，テーブルの上下の空間を利用した 3 次元的なインタラクションを可能にするシステムを提案する．システム
は，PhotoelasticTouch の基本的な認識システムを利用するため，高速度カメラを用いた弾性体の検出を，低コストの画像処理で高速に行うことができる．さらに，高速度カメラに加えてステレオカメラを用いることで，テーブルとテーブル上方のカメラとの間の空間を利用する．また，弾性体の「柔らかい」という性質を用い，テーブル面に置かれた弾性体を押し込むことで，テーブルの仮想的な奥行きの空間を利用する．
本論文では，ステレオカメラを用いた弾性体の 3 次元位置の認識手法を述べ，アプリケーションを示す．

1

はじめに従来のタッチパネル式のディスプレイや，多くのテーブルトップシステムは平面的で硬く，触れても押した感覚が全くしなかった．また，ディスプレイの表面を指先で触れることしかできなかった．ディ
スプレイを立体的で柔らかくすることができれば，触った際に触覚フィードバックが得られ，さらにディスプレイの表面を「つまむ」・「押す」・「ひっぱる」といった様々な操作が可能になる．
我々はこれまで，このような立体的なディスプレイを実現する手法として，様々な形状の柔らかなオブジェクトを用いて，柔らかなディスプレイを実現できる PhotoelasticTouch [7] システムを提案してきた．
このシステムは，様々な形状の透明弾性体を使って平面的なディスプレイ映像に立体感を与えることができ，また，立体的な形状に対するつまみ，引っ張りといった様々な変形動作の認識を可能にしたオー
ガニックユーザインタフェース [3] といえる．
一方で，PhotoelasticTouch では，手に持った小型の弾性体への変形動作も認識することができた．
人は柔らかいものがあると，つい手にとって感触を確かめたくなるものである．それが手に掴める程度∗

Copyright is held by the author(s).
Taro Tokui, Toshiki Sato, Tomotaka Yokoya andHideki Koike, 電気通信大学 大学院情報システム学研究科 情報メディアシステム学専攻の大きさであれば，自然に「つまむ」・「押す」・「ひっぱる」といった動作が生まれる．PhotoelasticTouch
では，これらの動作も入力動作として用いることができたため，弾性体を使った直感的なタンジブルインタフェースを実現できた．しかし，従来のシステ
ムでは，弾性体を手に持った際にも，その動きを 2次元的にしか追跡することができなかった．そのため，弾性体を手で動かした際の，弾性体の 3 次元的な動きを有効に活用することはできなかった．
そこで，本論文では，この弾性体タンジブルインタフェースを 3 次元的に拡張することで，弾性体に対する変形動作と，テーブルの上方の空間的広がりを活用できる新しいインタフェースの実現を試みる．

2目的

本研究の目指すインタフェースは，ユーザとテーブルに表示された情報との間を邪魔せず，より直接的な対話を実現することができるタンジブルインタフェースである．このインタフェースは，形状の自由度が高く，用途に合った弾性体オブジェクトの制作が容易であることが要求される．これらの課題については，これまでの PhotoelasticTouch において既に解決できていた．
一方，これらに加え，本論文で提案するインタフェースを実現するためには，まず，手に持って使う弾性体オブジェクトのテーブル上での 3 次元位置を取得する必要がある．これにより，テーブルの上WISS 2009方の空間的広がりを使った，例えば「つまんで持ち上げる」といった 3 次元的なインタラクションを実現できる．さらに，これまでのテーブル面に置いた弾性体への接触動作の認識と，弾性体をさらに奥に「押し込む」動作を組み合わせることにより，テーブルの奥に広がる仮想的な奥行きの空間を使ったインタラクションも実現できると考える．本研究では，これを実現するために，2 台のカメラを使ってステレオ視を行うことで，従来の 2 次元的な接触の追跡を 3 次元に拡張するシステムの実装を行う．
次に，一つの弾性体オブジェクトに対しては，つまんだり，ひっぱったりといった様々な変形動作を行うことが可能である．そのため，ユーザがテーブルに表示されたコンテンツに対し，どのような操作を行おうとしたかを知るためには，弾性体オブジェクトに対して加えられた変形がどのような変形動作なのかを識別する必要がある．従来の PhotoelasticTouchシステムにおいては，これらの変形動作の明確な識別は行っていなかった．そこで本研究では，新しくこれらの動作を識別できるような認識システムを実現する．

3関連研究

テーブルトップシステムにおけるインタラクション手法として，タッチベースとタンジブルベースの手法がある．タッチベースの手法はユーザがディスプレイに表示された情報に指で直接触れることを可能とし，マウス等の入力デバイスを介さない直接的な操作を実現した．Han のシステム [2] は，ディスプレイ付近に赤外光を照射し，手やものに当たったときの反射光をディスプレイ背面からカメラで認識する．これによってマルチタッチが可能になると同時に，ディスプレイ上の物体やマーカの認識も可能になった．しかし，ディスプレイ面が平面である故に，従来のタッチパネルと同様にユーザの行える操作が「触れる」や「なぞる」など，平面的な動作に限られてしまっている．
次に，タンジブルベースの手法は，ものの形状からのアフォーダンスによって，コンピュータに詳しくない人でも直感的にコンピュータを使うことができる．reacTable [5] はディスプレイ上でブロックを操作することによって，従来のシンセサイザでは複雑だった音の生成を直感的に行うことができるシステ
ムを実現した．個々のブロックはマーカでタグ付けされており，音を発する，音にフィルタをかける等それぞれ異なる機能を持っている．また，現在の音の状態をディスプレイにフィードバックすることで，ユーザは自分がどのような操作を行っているかを視覚的に理解することができる．しかし，識別用のマーカは人間にとって意味を持たず，視覚的に邪魔になってしまっているという問題がある．ForceTile [6] はタイル型の弾性体を用いたタンジブルインタフェースである．弾性体中に埋め込まれたマーカをディスプレイの背面から撮影することで，指などが接触している点にかかっている力の大きさと方向を検出することができる．SLAP [9] は透明なシリコンで制作したキーボードやスライダーなどを用いて，ディスプレイに表示された GUI を接触感を伴って操作できる．また，透明な材質を用いていることから，オブジェクトの背面にある映像との親和性が高い．
これらのシステムはディスプレイ面に触れることや，その面上で操作することを想定しており，操作可能な領域がディスプレイ面に限定されてしまっている．
この問題に対し，ディスプレイの奥行きやテーブルの上下の空間を利用したインタラクションも研究されてきた．Subramanian らのシステム [8] はテーブル面より上の空間にあるペンの高さ情報を利用した操作手法を提案した．このシステムではペンの高さによってアクセスできる情報が異なり，テーブルより上の領域では画像や画像編集ツールの選択を行い，テーブル面では画像の編集を行うことができる．
アクセスできる情報を高さによって変更することで，シームレスで直感的な操作が可能だ．しかし，操作には特定のマーカのついたペンを用いなければならない．Khronos Projector [1] は柔軟で伸び縮み可
能なスクリーンを用いることによって，スクリーンを押し込む操作を可能にした．ユーザがスクリーンに触れることによって，変形が起こる領域の時間を進めたり戻したりすることができ，今までにない映像コンテンツを提案した．ARForce [4] は弾性体で作られた板状のマーカを手に持ち，そのマーカに加えられた力のベクトルと，マーカの 3 次元的な位置，傾きを入力情報として扱うことができる．しかし，「押す」以外の変形動作は困難であった．
本研究では，弾性体の持つ「手に取ってみたくなる」・「つぶしてみたくなる」といった性質を入力に用いることによって直感的なインタフェースを実現した．これにより，タンジブルインタフェースでありながらタッチセンシティブであり，「つまむ」・「押す」・「ひっぱる」など，従来の硬いタンジブルインタフェースではできなかった入力が可能である．また，ステレオカメラを用いることによりテーブル面より上の空間にある弾性体の 3 次元的な変形を利用した操作が可能になった．

44.1

システム構成ハードウェア構成

本システムは水平に設置した大型 LCD と 1 台のPC，2 台のカメラから成るテーブルトップシステム
である (図 1)．
今回の実装では，LCD は 24 インチの LG W2442PABF を用いた．LCD の表面には，LCD の直線偏光を円偏光に変換するための 1/4 波長板と，ディスプレ

Three Dimentional ﬂexible Tangible User Interface Using PhotoelasticTouch

4.3

図 1. ハードウェア構成

イ面を保護するためのアクリル板が取り付けてある．
LCD を撮影するためのカメラは，LCD 全体を撮影できるように，LCD から 70cm 離して設置した．今回はディスプレイ上の弾性体の位置を追跡するための高速度カメラ (Imperx IPX-VGA210) と，弾性体の 3 次元位置を取得するためのステレオカメラユニット (Point Grey Research Bumblebee2) の 2台を使用した．これらのカメラのレンズには，LCDの映像を遮断するための円偏光フィルタが貼り付けてある．

4.2

ソフトウェア構成

本システムのプログラムは，全て 1 台の PC で動作している (図 2)．

画像処理

ユーザが弾性体を変形させた場合，変形させた領域は周辺の変形していない領域に対してより高い輝度で高速度カメラに撮影される．高速度カメラの画像から画像処理を用いてこの高輝度領域を検出することで，弾性体が変形された領域をリアルタイムに検出することができる．さらに，この高輝度領域はステレオカメラにも撮影されており，高速度カメラで撮影された弾性体の位置における弾性体の 3 次元位置を検出することができる．なお，高速度カメラのスキャンレートは 200fps で，ステレオカメラのスキャンレートは 30fps である．画像処理もカメラのフレームレートと同じスピードで動作する．また，ディスプレイ面方向については VGA の解像度で，奥行き方向については約 1mm の精度で検出を行っている．

4.3.1

画像処理の手順

画像処理プログラムにおける画像処理は以下の通りである．

1. 下準備
カメラ座標とディスプレイ座標との変換を行うため，射影変換を用いたカメラキャリブレーションを行っておく．また，次の手順で行う
背景差分用に，背景画像を保存しておく．これらの処理はシステム初期化時に 1 度だけ行う．今回のシステムでは，撮影時に特殊な光源は用いず，一般的な室内の蛍光灯下で動作させることができる．

2. 2 値化・ラベリング
変形があった領域の輝度は，周囲の領域と比べて輝度差が約 100 (8bit グレイスケール時)以上はあるため，入力画像と予め取得しておいた背景画像との差分を取り，一定の閾値により 2 値化できる．次に，得られた高輝度領域に対しラベリングを行い，各々の領域の重心位置，面積を求める．
図 2. ソフトウェア構成

まず，高速度カメラからの画像を処理する画像処
理プログラムにより，弾性体のテーブル上での 2 次元位置を検出する．この処理は，PhotoelasticTouchと同様の処理である．次に，取得した 2 次元位置を，同じ PC 上で別プログラムとして動作しているステ
レオカメラサーバ (3 次元位置検出サーバ) に送信し，その 2 次元位置における弾性体の高さを得る．これにより得られた弾性体の 3 次元位置は，画像処理プログラムからアプリケーションにリアルタイムに送信される．

3. 領域の対応付け
本システムの処理は 1 フレームあたり約 5msec程度であるため，1 フレームあたりの領域の移動量，面積の変化量は非常に小さい．そこで，前フレームで検出された全ての領域と，現フレームで検出された全ての領域の位置，及び面積を比較し，両者の変化量が十分小さい領域が見つかった場合 2 つの領域が同一の領域であるとみなす．

4. 変形パラメータの取得以上の処理で得られたそれぞれの領域に対し，領域の面積，領域の最小包含矩形，領域の慣性主軸を求める．これらの情報は，ステレオWISS 2009

カメラサーバからの 3 次元位置情報とともにアプリケーションプログラムに送られ，次に記述する変形動作の種類を判別する処理に用いられる．

4.3.2

変形動作の判別本システムは，アプリケーションプログラムにおいて，検出された弾性体に対する変形動作を次の 4つの種類に識別する．

1. 「テーブル面上での軽い接触」
テーブル面上での軽い接触については，検出された変形の高さがテーブル面と同じ高さであり，かつ検出された領域の面積が予め決めておいた閾値より小さいかどうかで判別する．

2. 「テーブル面上での強い接触 (押し込み)」
1 の場合と同様に，変形の高さがテーブル面と同じ高さであり，また領域の面積が閾値以上かどうかで判別できる．この際，押し込みの強さの指標を，領域の面積の大きさから得ることができる．また，この場合の領域の最小包含矩形は，縦横の長さの比が等しくなる(正方形に近くなる) ため，引っ張りとの区別が可能である (図 3 右上)．

3. 「手に持っての押しつぶし (つまみ)」
手に持って押しつぶすため，領域の高さがテーブル面に対して高い位置にあるため識別できる．潰された領域は細長くなることから，その方向が慣性主軸の角度から得られる (図 3左上)．

図 3. 指でつまんだ場合 (左上)，押し込んだ場合 (右上)，双方向からひっぱった場合 (左下と右下)をディスプレイから 8cm 上方向に持ち上げ，その写真の持つ詳細情報を表示することができる (図 4左)．その後さらに 10cm 以上高い位置につまみ上げると，写真に対する能動的な操作を指定できるメニューが表示され，「プリンタで印刷」や「メールで送信」といった操作が選択できるようになる (図 4右)．また，写真に重ね合わせた弾性体を押し込むことによって，写真の付加的な情報を引き出すことや，写真の上で弾性体を引き延ばすと写真を拡大したりすることもできる．
このアプリケーションでは 3D モデルの閲覧も行うことができる．上記の操作に加え，弾性体を引き延ばして傾けることによって，3D モデルの回転を行う．回転は高い方の端点から低い方の端点へ向けて行われる．

4. 「両手での引っ張り」
一番変形量が大きい動作である．まず，領域はテーブル面に対して高い位置にある．さらに，最小包含矩形は短辺と長辺の長さの差が明確になり (長方形になり)，長辺の長さの変化を調べることで引き伸ばし量の指標が得られる．加えて，両端の高さを得ることで，引っぱりの傾きも得ることができる．また，引き伸ばしの方向は，領域の慣性主軸角から得られる (図 3 左下と右下)．

5アプリケーション

本システムを利用した 3 種類のアプリケーションを試作した．

5.1

図 4. 写真閲覧アプリ．つまむ位置によって動作が変化する

写真閲覧アプリ

写真を閲覧するアプリケーションを実装した．このシステムでは，テーブル上に表示された写真の上で弾性体をつまむことで，テーブル上で写真を自由に移動でき，好きな場所で閲覧できる．さらに，興味のある写真が見つかった場合，写真の上で弾性体

5.2

地図閲覧アプリ弾性体を用いた地図アプリケーションを実装した．
まず，弾性体の位置を下げると詳細な地図が表示されるようになり (図 5 左)，弾性体を高く持ち上げると地図全体を鳥瞰できるようになる (図 5 右)．次に，弾性体をつまんで上下左右に動かすことにより，地図を引きずる様な感覚で平行移動させることができる．また，弾性体を押し込むとその地域に関する情報が表示される．

Three Dimentional ﬂexible Tangible User Interface Using PhotoelasticTouch

図 5. 地図閲覧アプリ

5.3

い，細かい操作がしやすいなどの意見を得た．逆に最も使いにくかったという意見が多かったのは細かな形状を持つ弾性体で，持っただけで変形が起こってしまうため，意図しない操作が多発したことによると考える．全体を通して，大きな弾性体は，握りやすく大雑把な操作に向いており，小さな弾性体は，細かい操作がしやすいという意見が多かった．また，殆どの被験者が簡単な操作説明と 10 分程度の練習で違和感なく操作できるようになった．

ペイントアプリ

弾性体の高さ方向の情報とつまむ動作を利用した，直感的なペイントアプリケーションを実装した．まず，ディスプレイ付近でつまむと筆のように線を描くことができ (図 6 左)，ディスプレイの上方でつまむとインクが落ちて飛び散る (図 6 右) といった，現実世界で起こりうる直感的な操作が可能である．このとき，高い位置でつまんだ場合には，ディスプレイに液体が勢い良く落下したときのように水滴が大きく広がり，水滴が落ちる音も発生する．また，スプレーのような操作も行うことができ，ディスプレイ付近では小さな領域に濃く，高い位置では広い領域に薄く色が広がるように描くことができる．さらにディスプレイの奥の領域を利用した操作として，弾性体をディスプレイに表示されたパレットの上に置いて押し付けることによって，パレットに表示されている色をスプレーや筆に反映させることができる．

図 7. 評価に用いた弾性体

77.1

図 6. ペイントアプリ

6

ユーザ評価

提案システムにおける上下の空間を利用した操作や弾性体の形状による使い易さの調査を行うためにユーザ評価を行った．試作したシステムで作成した
3 つのアプリケーションを，大学院生 9 名に操作してもらい意見を聞いた．評価は，様々な形状の弾性体を，3 つのアプリケーションで操作してもらい意見を聞くというタスクで，開始前に操作説明をし，後 10 分間の練習の後に行った．評価に用いた弾性体の形状は，小さな円形，大きな円形，細長い円柱形，細長くひっぱる手掛かりがあるもの，細かな形状を持つもの，矢印形，様々な特徴を持ったものを用いた (図 7) ．結果として，全てのアプリで最も良い評価を得たのは細長く引っ張る手掛かりのある弾性体で，握りやすい，つまみやすい，伸ばしやす考察
ディスプレイの上下の空間の利用について被験者からは「弾性体の高さ情報を意識せずに使うことができた」という意見が多く得られた．従って，ディスプレイの上下の空間を利用した操作は自然に行うことができ，使い易いということが言える．
今回の試作システムにおいて，以下の 3 点で改善の必要性を感じた．1 点目は，高速度カメラとステレオカメラのフレームレートに違いから動作に若干のズレが起こってしまい，システムが使いにくいと感じられた点である．この問題は，高フレームレートのステレオカメラ等を用いることによって解決できると考える．フレームレートの高いステレオカメラやその他の距離センサが将来的に安価に手に入るようになれば，動作を完全に同期させてリアルタイムに処理を行うことが容易になると期待される．2 点目
は，弾性体の変形領域の面積が同じでも高さによってカメラで認識される面積が異なる点である．試作システムではこの点に対して補正を行っていないが，変形領域の 3 次元的な位置から補正を行うことは可能である．3 点目は，弾性体をディスプレイに押し込む際に一度持ち替えるユーザが多く見られた点である．これにより，弾性体をディスプレイに押し込む動作を利用した操作は使いにくいとう意見があった．弾性体を持ち替えることなく奥行き空間を利用するためには，弾性体の形状を工夫する必要がある．

WISS 20097.2

オクルージョンについて

本システムではテーブルの上方にカメラを設置し，テーブル上の弾性体を認識している．そのため，弾性体の上下を手で覆ったり，弾性体を強くつまんだりしたときにオクルージョンが起きてしまうと，弾性体を通る LCD からの偏光がカメラで認識できなくなってしまう問題がある．特に，弾性体を上からつまむユーザが多く，手でつまめる大きさの弾性体の場合，アフォーダンスに優れたものを作ることは困難である．この問題に対しては，2 つの解決方法が考えられる．1 つは，横から触りたくなる様な形の弾性体を作るという方法である．例えば，ペン型の弾性体であれば横から触らなければならず，オクルージョンが起きにくいと考える．もう 1 つは，カメラを上方に設置しないという方法である．カメラをテーブルの下方に設置するリアカメラ方式で認識を行う方法を検討している．

7.3

形状の自由度について

本システムで用いている弾性体は，透明という特徴はあるが普通の弾性体であり，特殊なマーカを必要としない．そのため，ユーザの望む形を弾性体モデルとして作り，インタフェースとして使用することができる．現在は，弾性体を熱して溶かした後，用意した型に流し込むことで成形している．しかし，将来的には弾性体を出力できる 3 次元プリンタのような機器が普及することにより，その場で好きな形の弾性体を作り，その場で使用することができようになるのではないかと考える．

7.4

特殊な形状の利用

現在のシステムで利用している弾性体は，用意した型を用いて 1 種類の素材で成形をしている．そのため，一様な柔らかさを持っており，全体が同じ偏光特性であった．これを，部分的に硬さの異なる素材を混ぜ合わせて成形することで，片方は硬いがもう片方は柔らかいといったような，1 つの中で硬さの違う弾性体ができる．感触の違う弾性体をつまむことで，よりインタフェースとして楽しめるのではないかと考える．また，弾性体を吸盤状にすることで，ディスプレイの表面に吸い付かせ，手前に引っ張るといったインタラクションが可能になると考える．さらに，弾性体を風船状にして，中に空気や水などを入れることで，通常の弾性体とは違った感触や，新しい動作が行えるようになるのではないかと考える．

8

まとめと展望

本論文では透明弾性体とステレオカメラを用いて，テーブル面の上下の空間を利用したインタラクションが可能で，タッチセンシティブなユーザインタフェースを提案した．テーブルの上下の空間をシームレスに移動することにより，情報をスムーズに操作することが可能となった．今後の課題として，複数人で操作した場合のユーザの識別の為の個々の弾性体の識別や，より扱いやすい形状の模索が挙げられる．また，空中での姿勢の保持によるユーザへの負担は無視することができず，この点に対しても評価を行いたい．

参考文献[1] A. Cassinelli and M. Ishikawa. Khronos projector. In SIGGRAPH ’05: ACM SIGGRAPH 2005
Emerging technologies, p. 10, 2005.
[2] J. Y. Han. Low-cost multi-touch sensing throughfrustrated total internal reﬂection. In UIST ’05:
Proceedings of the 18th annual ACM symposium
on User interface software and technology, pp.
115–118, 2005.
[3] D. Holman and R. Vertegaal. Organic user interfaces: designing computers in any way, shape, orform. Commun. ACM, 51(6):48–55, 2008.
[4] K. Jo, Y. Kakehi, K. Minamizawa, H. Nii,N. Kawakami, and S. Tachi. ARForce: a markerbased augmented reality system for force distribution input. In ACE ’08: Proceedings of the2008 International Conference on Advances inComputer Entertainment Technology, pp. 160–165, 2008.
[5] S. Jordà, G. Geiger, M. Alonso, andM. Kaltenbrunner.
The reacTable: exploring the synergy between live music performanceand tabletop tangible interfaces. In TEI ’07:
Proceedings of the 1st international conferenceon Tangible and embedded interaction, pp.
139–146, 2007.
[6] Y. Kakehi, K. Jo, K. Sato, K. Minamizawa,H. Nii, N. Kawakami, T. Naemura, and S. Tachi.
ForceTile: tabletop tangible interface with visionbased force distribution sensing. In SIGGRAPH’08: ACM SIGGRAPH 2008 new tech demos, pp.
1–1, 2008.
[7] T. Sato, H. Mamiya, T. Tokui, H. Koike, andK. Fukuchi. PhotoelasticTouch: transparent rubbery interface using a LCD and photoelasticity. In SIGGRAPH ’09: ACM SIGGRAPH 2009
Emerging Technologies, pp. 1–1, 2009.
[8] S. Subramanian, D. Aliakseyeu, and A. Lucero.
Multi-layer interaction for digital tables. In UIST
’06: Proceedings of the 19th annual ACM symposium on User interface software and technology,
pp. 269–272, 2006.
[9] M. Weiss, J. Wagner, Y. Jansen, R. Jennings,R. Khoshabeh, J. D. Hollan, and J. Borchers.
SLAP widgets: bridging the gap between virtualand physical controls on tabletops. In CHI ’09:
Proceedings of the 27th international conferenceon Human factors in computing systems, pp. 481–490, 2009.