WISS2010

Z-touch: 指先姿勢インタラクション可能なマルチタッチシステム
Z-touch: a multi-touch platform using finger posture

竹岡義樹

味八木崇

暦本純一∗

Summary. マルチタッチシステムにおいて, ディスプレイ上におけるハンドジェスチャやユーザーが触れようとしているディスプレイ上の位置を用いたインタラクションが注目を集めている. 本研究では, マル
チタッチシステムにおいて, ディスプレイ面近傍の物体の高さを検出可能な Z-touch を提案する. Z-touch
はディスプレイ面の周りにラインレーザーが取り付けられている. このラインレーザーの照射と高速カメラのシャッター信号を同期させることでディスプレイ面近傍の物体の高さを検出する. これにより, Z-touchは指先の傾きや向き用いたインタラクションを実現することができる. また, 指先の向きや傾きを用いたインタラクションを検証するために Z-touch で動作するアプリケーションを実装した. 本システムの応用として, マルチタッチ上におけるインタラクションに加え, 指先の向きや傾きなどを利用した 3 次元物体の編集機能が考えられる. これは一般的なマルチタッチシステムよりも現実世界の操作に近いため, より直感的に操作できると期待できる. 例えば, 教育現場における電子黒板としての利用や, 医療現場において医師が患者に手術箇所や内容を説明する際に利用されると考えられる.

1

はじめに画面中のオブジェクトと手や指先で直感的にインタラクションできるマルチタッチシステム [6] が実用化され, さらに近年の研究では, 指先が触れたディスプレイ面の二次元座標に加えて, ユーザーが触れようとしているディスプレイの位置の検出を用いたインタラクション [16], ディスプレイ上の空間を用いたインタラクションが注目を集めている [7].
現実世界におけるインタラクションでは指先が物体に触れる位置に加えて, 指先の向きや姿勢が重要な要素となることが多い. 例えば, 物体をつかむ動作においては, 物体がつかまれる箇所, つかむ指先の姿勢, 物体の表面と指先の角度などによって物体にかかる力が微妙に変化する. このような指先の 3 次
元姿勢, 画面と指先までの距離などを検出することができれば, より多様なインタラクションが可能になる. 例えば, ユーザーは画面中のダイヤルを指先の向きによって操作したり, CG 物体の形状を指先の指先の位置と角度によって操作することができる.
また, 様々な 3 次元ハンドジェスチャインタラクションも考えられる.
本論文ではディスプレイ面近傍における指先の 3次元姿勢を用いたインタラクションのために複数層のレーザー平面と高速カメラの同期による指先の姿勢検出手法を提案し, 提案手法を用いたインターフェースデバイス Z-touch [12] を開発した. Z-touchの特徴はディスプレイ面近傍において高さ方向の空∗

Copyright is held by the author(s).
Yoshiki Takeoka and Takashi Miyaki , 東京大学. JunRekimoto, 東京大学 , ソニーコンピュータサイエンス研
究所.

間解像度をデプスカメラよりも高くする事が可能なこと, そして指先がディスプレイ面に触れていない場合においても, 指先の角度や姿勢をを検出することが可能なことである.

2関連研究

ここでは, マルチタッチシステムのセンシングとマルチタッチにおけるインタラクションに関する研究について述べる. マルチタッチシステムのセンシング方式として, 静電容量方式とカメラを用いた光学方式などが主に使われている. 静電容量センシング方式を用いたものには SmartSkin [10] や DiamondTouch [5]がある. 静電容量センシング方式を用いた場合, 一般的な LCD モニターと組み合わせて用いることができるという利点がある. しかし, 電磁ノイズやユーザーの体に影響され指先の高さを正確に検出できない.
カメラを用いた光学方式では, 赤外光源を用いて撮影した画像を基に画像処理によって手や指先の位置を検出する方法が主に用いられている. Frustrated
total internal reflection (FTIR) 方式 [6] は透明な板における赤外光の内部反射を用いた方式で, 指先が板に触れた際に板の外部へ反射された光を板の下部に設置されたカメラで検出する. 安価で大型化が容易な方式として実用化されている [2, 3]. Laser
Light Plane (LLP) 方式 [1] は透明な板の表面に近接するように赤外光ラインレーザーを放射する. 指先が触れた際の光の反射を板の下部に設置されたカメラにより検出することでマルチタッチを実現している.
最近は, 通常のマルチタッチシステムの操作に加えて, 手がディスプレイ面から離れた状態場合でも,WISS 2010

3 次元ジェスチャによって操作可能なマルチタッチシステムの研究が行われている. TouchLight [14]は 2 つのカメラによる画像のスレレオマッチングにより, 手や指の位置を認識することができる. BiDi
Screen [8] はフォトセンサーアレイより撮影された複数の画像のマッチングにより手や指先の高さを検出している. 画像マッチングによる高さ検出は, 正確なカメラのキャリブレーションが必要である.
Time of Flight (TOF) 方式を用いたデプスカメ
ラを用いたシステム [15, 4, 7] も提案されている.
デプスカメラは画像ピクセル中に RGB 値に加えて,カメラの光軸の方向の距離を測定することができるカメラである. しかし,TOF 方式による距離検出は光軸方向の解像度が低く, 指先の傾きなどの微妙な変化を検出することができない.
タッチパネルディスプレイに触れた指先の角度や姿勢を検出するために, ディスプレイに透明弾性体を用いて, その変化をカメラにより検出する手法が提案されている. ゲル中にマーカーを埋め込んだ
GelForce [13] や ForceTile [9], 液晶ディスプレイの光源の偏光を利用した PhotoelasticTouch [11]が提案されている.

3Z-touch

3.1

動作原理

図 1 は Z-touch の動作原理を示している. LLP方式はレーザー平面が 1 層であるのに対し, Z-touch
ではディスプレイ面に対して平行で照射される高さが異なる 3 つのレーザー平面を用いる. レーザー
平面のうち 1 つは LLP 方式同様にディスプレイ面に近接するように照射される. それぞれのライン
レーザーは高速カメラのシャッター信号と同期している. この同期により各々のレーザーが照射されているレーザー平面画像を 200fps で選択的に撮影することができる. この方式は従来の LLP 方式とほとんど同様の簡素な機器構成ながら指先の距離認識や角度認識が可能である. Z-touch の高さ検出の解像度は 3 段階である. ラインレーザーの設置の高さを任意に変えることで, 奥行き方向解像度は調節が可能であり, 検出範囲をディスプレイ面近傍などに限定すれば, 高さ方向の空間解像度をデプスカメラよりも高くすることができる. そして, 透明弾性体を用いた手法と異なり, 指先がディスプレイ面に触れていない場合においても, 指先の角度や姿勢をを検出することが可能である.

3.2

高速カメラとラインレーザーの同期

Z-touch は高速カメラのシャッター信号と各々の高さのラインレーザーモジュール出力が同期している. ラインレーザーはカメラのシャッター信号により, それぞれの異なる高さのラインレーザーが順番

図 1. Z-touch の動作原理.

図 2. Z-touch の各々のレーザーを照射した際に撮影された画像, 画像中の矩形は検出されたブロブを示す.に照射され, それを下部のカメラで撮影する. 一番上の高さのラインレーザーが照射されたとき, カメラは一番上の高さのレーザー平面画像, “High” を撮影する. これを, 真ん中の高さにあるラインレーザー,一番下の高さのラインレーザーのみを照射したときも繰り返し, レーザー平面画像 “Middle”, “Low”を撮影する. 高速カメラはシャッターを開いた際にシャッター信号を出力するので, これとラインレーザーの切り替えを同期させることにより, 高さの異なる複数枚のレーザー平面画像を高速に撮影している (図 2). 撮影されたレーザー平面画像のマッチングにより指先の高さや姿勢を検出する (図 3).

3.3機器構成と実装

図 4 は Z-touch の機器構成である. Z-touch の大きさは高さ 1m. 幅と奥行きは 0.6m×0.6m である. レーザの反射を防止するために黒色フェルトのカーテンがディスプレイ面のまわりの枠に設置されている. 骨組みは 40mm 幅のアングルフレームである. プロジェクターはフレーム中に設置した. ディ
スプレイ出力は下部に設置されたミラーによりパネル面に反射投影される. 高速カメラは Pointgrey のGrasshopper をフレーム下部に設置した. このカメラは VGA 画像を 200fps で撮影する. 図 5 は Ztouch のディスプレイ面である. Z-touch は環境光の変化や照明のフリッキングの影響を防ぐために赤外光ラインレーザーを用いた. またカメラには赤外光透過フィルタを用いている. ディスプレイ面は一辺 420mm の正方形のガラスで, 透明プロジェクションスクリーンが貼り付けられている. このスクリー

Z-touch, a multi-touch platform using finger posture

図 3. 複数のレーザー平面画像からの指先の角度検出.

図 5. Z-touch のディスプレイパネル面.

ド距離, T は検出のための閾値, k > 0 である.

match(a) = argmin c(a, b){s(a, b) × k + d(a, b) d(a, b) < T
c(a, b) =∞else.

図 4. Z-touch の機器構成と実装.

ンは可視帯域の反射率が高く, 赤外帯域の光は透過しやすいという特性がある. レーザー平面間の距離は 14mm である. この距離は成人男性の中指の指先から第一関節までの長さに合わせて設定した.
ラインレーザーはディスプレイ面の周りの 8 箇所,
図 5 のオレンジ色の三角の箇所にラインレーザーモジュールを取り付けた.

3.4

指先の検出と追跡

図 2 は Z-touch の高速カメラにより撮影されたデプスマップである. Z-touch は異なるレーザー平面において撮影された画像より検出されたブロブ領域のマッチングを行うことによって, 指先の角度, 姿勢を検出する. 指先の位置と角度の検出は次の 3 つの手順により行われる.

1. レーザー平面画像の 2 値化.
2. 2 値画像におけるブロブ検出.
3. 異なる高さのレーザー平面画像のブロブ領域におけるマッチング.
ブロブ領域におけるマッチングは下記の評価関数により処理される. a, b は高さが 1 段階異なるレーザー平面画像中で検出されたブロブで, a ∈ Blobheight ,b ∈ Blobheight+1 の関係にある. s(a, b) は a における b の差集合である, d(a, b) は a, b のユークリッ(1)

図 6 は指先のタッチ動作, 接近動作を検出する簡易なアプリケーションである. 指先がディスプレイ面に触れていないとき, 赤と緑の円でその座標が表示される. 指先が触れたときに, 丸の色がピンク色に変わり, “Touch !” のメッセージが指先のそばに表示される赤と緑の円の中心はレーザー平面画像で検出されたブロブの中心である. 図 6 の下の図は図2 と同じデプスマップである. 長方形はそれぞれのレーザー平面画像で検出されたブロブの矩形領域を示している. 右側の写真の状態では指先はディスプレイ面に触れていないので, ディスプレイ面に近接するレーザー平面画像ではブロブが検出されず, 青色の長方形が描画されていないが, 左側の状態では描画されている.

4

Z-touch のアプリケーション

Z-touch のインタラクションの有用性を検証するために, デプスドローイング, 地図ズームビューワ,ベジェ曲線編集を実装した. ここでは, 実装したアプリケーションの説明とインタラクションの今後の応用について述べる.
デプスドローイング: 図 7 はデプスドローイングア
プリケーションの様子である. 通常のマルチタッチシステムでは, 指先が触れた箇所のピクセルのみ描画されるが, デプスドローイングでは指先がディスプレイ面に触れていない場合でも, 指先の高さに応じてピクセルが描画される. それぞれのピクセルのWISS 2010

図 7. デプスドローイング.

図 6. タッチ検出アプリケーションの様子.

描画色はデプスマップの値と対応している. 指先の向きを変えたり, 傾けたりすることによる描画が可能である. 指先の向きや傾きを変化させることにより, ユーザーは多様なグラデーションを簡単に描画することができる.
地図ズームビューワ: 図 8 は地図ズームビューワの様子である. 地図ズームビューワでは指を水平方向に動かしてスクロール操作を行い, 高さを変化させてズームレベルの操作をすることができる. 指をディスプレイ面に近づけるにつれて, ズーム倍率が高くなる. 提案手法では連続的な高さ変化を検出は行わず, ズーム倍率を 3 段階で変化させた. 現段階では実装を行っていないが, 指先とディスプレイ面の高さの他に, 指先の向きの変化にあわせてズーム倍率を変化させると連続的なズーミングが可能になる.
ベジェ曲線編集: 図 9 はベジェ曲線編集アプリケーションの様子である. 指先の位置と傾きによってベジェ曲線のハンドルの向きと長さを操作する. ディ
スプレイ面における指先方向のなす角が θ 指先の傾き角が φ , ベジェ曲線の端点, つまり指先の位置がF であるとき. 曲線のハンドルの座標 H は次の式で示される.

−l(sin θ, cos θ), l > 0.
tan φ(2)
提案した Z-touch のベジェ曲線編集では, 両手の指先をすべて用いることで, 最大 5 本の曲線について,端点と曲率を同時に編集することができる. これを応用させると, さらに,3DCG 物体の曲面もベジェ曲線と同様に編集することができる. 3 次元物体の変H(xh , yh ) = F (xf , yf ) +形も従来のマルチタッチのポインティングベースのインタラクションより簡単に行うことができる.

図 8. 地図ズームビューワ.

55.1

まとめと今後の課題
結論

本論文では複数層の赤外光ラインレーザーと高速カメラのシャッター信号を同期させることによりディスプレイ面付近の指先の 3 次元姿勢を検出することができるマルチタッチシステム Z-touch を提案した.
Z-touch ではそれぞれのレーザー平面画像の画像処理によって, 指先の座標, 傾き姿勢などを検出する.
Z-touch のインタラクションを検証するために 3 つのアプリケーションを作成した, 地図ズームビュー
ワ, ベジェ曲線編集では指先の向きと傾きを利用して複数のパラメータを同時に操作することができた.
提案した指先の検出, 追跡方法には課題が残っている. Z-touch で撮影されたデプスマップは指先の高さを連続的に検出できるように見えるが, ラインレーザーの角度の調整の複雑さとラインレーザーの照射精度が低いため, 提案した指先検出手法では, レーザー平面画像を二値化して画像処理をしている. このため, 指先の高さは 3 段階に限られてしまっている. また, 指先の角度の検出などは照明環境の変化や, 手腕をラインレーザー付近に置いた際の照射状況の急激な変化により, ブロブのマッチングに失敗し, 結果として指先の追跡に失敗する可能性もある.

Z-touch, a multi-touch platform using finger posture

図 10. 3DCG 物体曲面操作.

図 9. 指先の傾きを利用したベジェ曲線編集.

実装の簡易さのために提案手法を用いたが, 検出精度を向上させるために, ブロブの輝度勾配や輪郭形状を考慮したマッチングなどが考えられる. また検出速度については, パーティクルフィルタなどを用いればより高速な動作が可能になると考えられる. 今後は, 指先の傾きや向きの検出精度を向上させるとともに, これらを利用した応用アプリケーションについて検討と実装を進めていきたい. また同時にア
プリケーションで指先や手のひらの向きや角度を用いたインタラクションの抽象化についても検討した
い. 例えば, ユーザーの右手, 左手に合わせて指先をグルーピングし, そのグループの中で傾きの変化をイベントとして抽象化することなどが考えられる.

5.2

今後の展開

提案したベジェ曲線編集アプリケーションを応用
すると, 3DCG 物体の曲面もベジェ曲線と同様に指先の傾きや向きにより編集することができる. 例
えば,3DCG 物体の曲面の曲率や法線の向きを指先や手のひらの変化に合わせて操作することが考えられる (図 10 ) へと発展させることができる. この
3DCG 物体曲面の編集操作は, 一般的なマルチタッ
チのポインティングインタラクションに加え, 指先の向きや傾きなどを利用した 3 次元物体の編集機能が考えられる. これは一般的なマルチタッチシステ
ムよりも現実世界の操作に近いので, 直感的に操作できると期待できる. このアプリケーションが利用される場面としては, 教育現場における電子黒板としての利用や, 医療現場において医師が患者に手術箇所や内容を説明する際に利用することが考えられる. Z-touch の指先検出は, あらゆる物体の 3 次元座標, 姿勢の検出と併用可能である. 筆の姿勢,3 次元速度変化などを利用した書道シミュレーター, 絵画制作シミュレーターへ応用できる. また, ナイフなどのツールを利用して,3DCG 物体を切断するインターフェースも開発できる. これらのアプリリケーションは手術トレーニングシミュレーターの基盤技術になると考えられる.

謝辞
本研究は IPA2009 年度上期未踏 IT 人材発掘・育成事業 (ユース) の支援のもと行われた.

参考文献[1] Laser
LightPlaneIllumination(LLP)
NUIGroupCommunityWiki.
http://wiki.nuigroup.com/
Laser Light Plane Illumination (LLP).
[2] Microsoft Surface. http://www.microsoft.
com/surface/.
[3] Perspectivepixel.
http://www.
perceptivepixel.com/.
[4] H. Benko and A. D. Wilson. DepthTouch: Using Depth-Sensing Camera to Enable FreehandInteractions On and Above the Interactive Surface. Technical Report MSR-TR-2009-23, Microsoft Research, 2009.
[5] P. Dietz and D. Leigh. DiamondTouch: a multiuser touch technology. In Proceedings of the
14th annual ACM symposium on User interface
software and technology, p. 226. ACM, 2001.
[6] J. Y. Han.
Low-cost multi-touch sensing
through frustrated total internal reflection. In
UIST ’05: Proceedings of the 18th annual ACM

WISS 2010

symposium on User interface software and technology, pp. 115–118. ACM, 2005.
[7] O. Hilliges, S. Izadi, A. Wilson, S. Hodges,
A. Garcia-Mendoza, and A. Butz. Interactionsin the air: adding further depth to interactive
tabletops. In Proceedings of the 22nd annual
ACM symposium on User interface software andtechnology, pp. 139–148. ACM, 2009.
[8] M. Hirsch, D. Lanman, H. Holtzman, andR. Raskar. BiDi screen: a thin, depth-sensing
LCD for 3D interaction using light fields. In
SIGGRAPH Asia ’09: ACM SIGGRAPH Asia
2009 papers, pp. 1–9. ACM, 2009.
[9] Y. Kakehi, K. Jo, K. Sato, K. Minamizawa,
H. Nii, N. Kawakami, T. Naemura, and S. Tachi.
ForceTile: tabletop tangible interface withvision-based force distribution sensing. In ACM
SIGGRAPH 2008 new tech demos. ACM, 2008.
[10] J. Rekimoto. SmartSkin: an infrastructure forfreehand manipulation on interactive surfaces.
In CHI ’02: Proceedings of the SIGCHI conference on Human factors in computing systems,pp. 113–120. ACM, 2002.
[11] T. Sato, H. Mamiya, T. Tokui, H. Koike, andK. Fukuchi. PhotoelasticTouch: transparent
rubbery interface using a LCD and photoelasticity. In ACM SIGGRAPH 2009 Emerging Technologies. ACM, 2009.

未来ビジョン
マルチタッチシステムと Z-touch の大きく異なる点は, ディスプレイ面近傍にある指先の位置検出, および３次元姿勢を検出を用いた多様なインタラクションである. マルチタッチシ
ステムは非常に多くのアプリケーションが動作しているが, マルチタッチシステムのインタラクションは基本的にディスプレイ面に触れた指先の座標の変化に限定されている. 現実世界において, 指先が物に触れたり, 握ったりするとき, 対象物体に加わる力の大きさや向きは指先の向きや傾きによって微妙に変化する. しかし, マルチタッチシステムではこれら指先の向きや傾きなどをインタラクションに利用することができない. Z-touch の 3DCG 物体の編集操作は, 指先の向きや傾きの要素をとりいれることができる. さらに, これらの要素を物理シミュレーションと組み合わせることで, 一般的なマルチタッチシステムよりも実世界に近い操作を実現できる. Z-touch は指先のほかにも, あらゆる物体の 3 次元座標, 姿勢の検出と併用可能である. 筆の姿勢,3 次元速度変化などを利用した書道シミュレーター, 絵画制作シミュレーターへ応用できる. また, ナイフな

[12] Y. Takeoka, T. Miyaki, and J. Rekimoto. Ztouch: a multi-touch system for detecting spatial gestures near the tabletop. In ACM SIGGRAPH 2010 Talks. ACM, 2010.
[13] K. Vlack, T. Mizota, N. Kawakami,K. Kamiyama, H. Kajimoto, and S. Tachi.
GelForce: a vision-based traction field computer interface. In CHI ’05: CHI ’05 extended
abstracts on Human factors in computing
systems, pp. 1154–1155, New York, NY, USA,2005. ACM.
[14] A. D. Wilson. TouchLight: an imaging touch
screen and display for gesture-based interaction.
In ICMI ’04: Proceedings of the 6th international conference on Multimodal interfaces, pp.
69–76. ACM, 2004.
[15] A. D. Wilson. Depth-Sensing Video Cameras for
3D Tangible Tabletop Interaction. In TABLETOP ’07: IEEE International Workshop on
Horizontal Interactive Human-Computer Systems, pp. 201–204. IEEE Computer Society,2007.
[16] 福岡功慶, 小室孝, 石川正俊. Zooming Touch
Panel: 小型カメラを用いたタッチパネルの高機能化. インタラクション 2007. 日本ソフトウェア科学会, 2007.

どのツールを利用して,3DCG 物体を切断するインターフェースも開発できる. これらのアプ
リリケーションは手術トレーニングシミュレー
ターの基盤技術になる.
ICT 技術を授業に取り入れる動きが活発になるにつれて, 学校現場において PC やプロジェクターの普及が進んできている. 近い将来, マルチタッチ機能を備えた電子黒板は製造コストやアプリケーションの数の問題が解決され, プロジェクターや黒板に取って代わる考えられる. Z-touch は未来の学校現場で教師と児童がインタラクティブな授業を行うために欠かせないツールとなる. Z-touch の指先検出と物理シミュレーションを組み合わせたインタラク
ションは直感的に分かりやすく, 児童などの初心者ユーザーは操作をすぐに覚えることができる. また, 教師などの上級者向けのインタラクションとして, 指先の傾きや向きをキーボードの入力と対応付けることにより, キーボードとマウスを組み合わせた複雑なコマンド入力もマルチタッチ上で実現することができる. このように,Z-touch には初心者も上級者も簡単にコラボレーション可能なデバイスとなる可能性が十分にある.