SmartSkin: 複数の手の位置と形状を認識するセンサーとその応用
暦本純一
株式会社ソニーコンピュータサイエンス研究所
インタラクションラボラトリー

141-0022 東京都品川区東五反田 3-14-13
Phone: +81-3-5448-4380, Fax: +81-3-5448-4273
rekimoto@acm.org
http://www.csl.sony.co.jp/person/rekimoto/
要旨
実世界におけるテーブルや壁面などの上での複数の手による操作を認識するためのセンサー技術、SmartSkin について報告する。網状の電極を面上に敷設し、網交点と人体との距離を静電容量変化によって計測する。各交点からの値を時分割計測することで、複数の手の位置（センサー面上での２次元位置と、センサー面からの距離）を同時に判定することが可能になる。得られた値を内挿することにより電極の間隔よりも精度の高い位置計測が可能である。従来のテーブル型システムと異なり、外部にカメラなどを設置する必要や外乱光の影響がない。本論文では計測の原理と、この原理に基づいて開発したプロトタイプシステムと対話技法について説明する。

SmartSkin: An Infrastructure for Freehand Manipulations on
Interactive Surfaces
Jun Rekimoto
Interaction Laboratory
Sony Computer Science Laboratories, Inc.
3-14-13 Higashigotanda, Shinagawa-ku Tokyo 1410022 Japan
Phone: +81-3-5448-4380, Fax: +81-3-5448-4273
rekimoto@acm.org
http://www.csl.sony.co.jp/person/rekimoto/
Abstract
This paper introduces a new sensor architecture for making interactive surfaces that are
sensitive to human hand and finger gestures. This sensor recognizes multiple hand positions and their shapes as well as calculates the distances between the hands and the surface
by using capacitive sensing and a mesh-shaped antenna. In contrast to camera-based gesture recognition systems, all sensing elements can be integrated within the surface, andthis method does not suffer from lighting and occlusion problems. This paper describes
the sensor architecture, as well as two working prototype systems: a table-size system anda tablet-size system. It also describes several interaction techniques that would be difficult
to perform without using this architecture.

–1–

1

はじめに
実世界でのテーブルや壁などの「面」を、インタ

ラクティブな装置として使うシステムが多く提案されている [14, 10, 12, 8]。これらのシステムは単体で、あるいは PDA などの携帯機器と併用して用いられ、ユーザの現実世界でのタスクを補助するためのツールとして、あるいは複数のユーザ間の共同作業支援装置として使われる。たとえばテー
ブル型ディスプレイに設計図面を表示してグルー
プメンバーでの議論を支援したりするなどの利用例がある。これらのシステムでは、手や指による

図 1: SmartSkin センサーに基づく対話型テーブ

ジェスチャー操作が利用される場合が多い。従来

ルシステムの例の研究事例では、テーブル上 (あるいは天井) に設置されたカメラを利用してコンピュータビジョン
によって指の位置を検出する方式が多く用いられ

容量タッチセンサーをとりつけた入力装置を提案てきた ([14, 8])。しかし、この方法には、外界のしている [6]。たとえばマウスを手でつかむと、画

光や照明条件などの影響を受けやすい、オクルー

面上にツールパレットが自動的に表示されるよう

ジョン（体や頭によって手の映像が隠れる）などなインタフェースが可能になる。

の問題がある。また、垂直方向の移動の検出（たZimerrman らは electric field sensing と称して静とえば手がテーブルに触れているか、離れている

電容量計測をユーザ・インタフェースに適用したかの判定）が困難である。

システムを開発している [16]。また、計測用の交

本論文では、カメラに換わる方法として、テー

流信号にデータを重畳することで、人体を介してブル等の面に敷設された網状の電極と人体との静データ転送を行う PAN (personal area network) を

電容量変化を検出し、面上に置かれた複数の手の提案している [15]。これらのシステムでは、分離位置を同時に計測できるセンシング方式を提案すした送信電極と受信電極を用いている。たとえばる。センシングの原理、実際に試作した２種類の椅子型の装置の座面に信号を印加した場合、それプロトタイプの構成・性能について述べ、プロトに座った人間に信号が伝送され、椅子の前に置か

タイプ上で実現した種々の対話技法について説明れたポール（受信電極）と手との距離が入力情報する。最後に、このセンサー原理の他の応用可能として認識される。

性について議論する。

これらのシステムと比較して、SmartSkin の電極構造は送信と受信電極が組み合わさった構成を2とっており、システム外部に独立した電極を設置

関連研究する必要がなく、変移を検出する範囲は交点付近

静電容量計測のＨＣＩへの応用:に限定できるなど、計測の範囲を制御できること

人体と機器間の静電容量の変移を利用して機器をが特徴である。また、複数の交点を格子状に配置制御しようという試みの例として、古くは２０世

し時分割計測することで、従来よりも精度の高い

紀初頭に発明された、電子楽器の一種であるテル

位置計測が可能になり、またその精度は電極の間

ミン (Theremin) がある。テルミンは二つのアンテ

隔によって必要に応じて調整することができる。

ナを備えており、演奏者が右手と左手を動かして、画像処理に基づくジェスチャー認識：

それぞれのアンテナとの距離を変化させることでカメラによるジェスチャー認識の研究事例は数多

音程と音量を制御する。テルミンでは単一電極にくあるが、家庭やオフィスなど、照明条件を制御

よる計測を行っているので、アンテナ全体と人体できないような環境下で、手の位置や形状を安定

全体との間の静電容量変化が入力に寄与するので的に認識する技術が確立しているとは言い難い。

制御（演奏）には熟練を要する。

EnhancedDesk [8] では、遠赤外線を撮影できるカ
メラを用いて人体と机面の温度差によって手を認

Hinkely らは、マウスやトラックボールに静電–2–

3

To hostPC

wave signal

センサー構成と動作原理

reference signal
Analog-Digitalconverter

計測原理：
図 2 に SmartSkin の計測原理を示す。このセンサー

receiverは、格子状に配置された送受信の電極（実際にはreceiverreceiver

ウレタン被覆銅線）と信号処理回路から構成されreceiverている。縦方向の電線は送信電極で、横方向の電線

receiverは受信電極になる。送信電極のどれか一本に 100-

receiver500KHz 程度の交流信号を印加すると、各交点の静電容量に応じて横方向の電線にも信号が伝達される。受信する信号の強度は、送受信電極の交点

reference signal
signalamp
fromelectrodeanalogswitchの静電容量に比例する。ここで、この交点に接地
low-pass
filteramp

した導電物体（たとえば人体）が接近すると、送to ADC

受信電極それぞれが物体と静電結合するため、信号の一部が物体に流入する。その結果、受信電極で受信された信号が弱くなる。この変化を計測することによって、物体との距離を測定することができる。人体は電極と比較して十分に大きな物体

図 2: SmartSkin センサーの構成と計測原理なので、明示的に接地していなくても同じ効果を得ることができる。
識している。HoloWall [10] やモーションプロセッ

次に、送受信電極が複数あった場合を考える。

サ [11] はカメラ側から近赤外線を照射し、その反時分割で順々に送信電極に信号を印加し、複数の射光によって近接物体を認識している。

受信電極からの信号強度を独立に計測することで、これらの方式と比較して、SmartSkin の方法は、複数の送受信電極のそれぞれの交点に物体が近接

対話面付近の手形状のみを選択的に認識できる、しているかどうかを計測することができる。この

背景・照明条件・オクルージョン等の影響を受け値を統合すると、たとえば電極が格子状に配置さない、外部にカメラや赤外線照明などの装置を設れている場合は、２次元平面上の格子点と物体と置する必要がない、などの利点がある。

の距離を計測することができる。これは、イメー

両手インタフェース

ジセンサが映像を輝度値の２次元配列（ピクセル）

両手（複数のポインティングデバイス）を用いたとして得るのと類似している。テーブル上に格子

インタフェースの研究事例としては [4, 1, 5, 13] が状の送受信電極を敷設すれば、テーブル上の手の挙げられる。たとえば ToolGlasses [1] では、左手位置と形を２次元画像として取り出すことができでツールパレットの位置を、右手のポインティン

る。各点の値（ピクセルであれば「輝度」）は、セグデバイスでツールを選択する、click-through とンサー格子点と物体との距離に相当する。

呼ぶ対話技法を提案している。後述するように、ノイズ除去：

SmartSkin センサーを用いて同様な両手インタフ
ェースを構築することも可能である。

受信信号の強度変化は、オペアンプ等で入力信号

このような両手インタフェースと比較して、複数を取り除けば、電圧の変化として取り出すことがの「指」を利用した提案の例は少ない。DualTouch

できる。ただし、この方式では、電極の長さが増DualTouch [9] は抵抗皮膜型タッチパネルの特性を応用して、最初の指を固定した状態で二番目の指がパネルにタッチするときに限定した対話技法を提案している。SmartSkin では複数の指の位置を同時に計測することができ、その位置関係やタッチ点の数に制約がないのでより自然なインタフェー
スを構成することができる。

すにつれて、外界からのノイズによって計測する

増幅した後ローパスフィルターによって交流成分値が影響されてしまう。これを除去するために、
以下の二つの処理を行う。
最初の処理は、計測などの分野で微弱な信号を測定するために利用されている「ロックインアンプ」という方法である。これは、測定対象が発信する信号と同じ周波数・位相によって受信信号を–3–

a potential fieldcreated by bicubic
interpolation

sensor values

peak position

図 4: テーブル表面に敷設された電線。使用時には表面をベニヤ合板でカバーする。白い矩形は電図 3: センサー値から形成されるポテンシャル面。

線を合板の重量から保護するためのスペーサー。

上：極大点を求め、指の位置とする。下：テーブ
ルに置かれた手と対応するポテンシャル面（濃淡時にセンサーに接近した場合は、ポテンシャル面

画像として表現）。

に複数の極大点が生じることになる。従って、それぞれの極大点を認識することで、複数の物体のフィルタリングするという技法である。測定対象

位置を独立に計測することが可能になる。同時にと受信回路が独立している通常の場合では、この計測できる物体の個数には制限がないが、識別でフィルタリングのための信号を生成すること自体

きる物体間の距離には限界がある（物体間の距離が困難なことが多いが、SmartSkin センサーの場

が電極の間隔よりも小さい場合は、二つの極大点

合は、送信信号も自分で生成しているので、このが融合してしまうので分離が不可能になる）。

信号を単にフィルタリングのための制御信号とし逆に、電極の密度を上げていくことで、物体のて使うことができる。このフィルター処理によっ

位置のみならず、その形状を認識することも可能て、受信信号のうち送信電極からの信号でないもである。

のが除去される。
さらに、周辺の交流電源からのノイズを除去す4

るために、受信信号強度を電源周波数 (たとえば50Hz) の位相の０度と 180 度とのタイミングで２度サンプリングする。この値を平均することで、交流信号の影響による電圧のドリフトを除去する
ことができる。

対話型テーブルの試作
前節で説明したセンシング原理の性能を評価するために、テーブル形式のインタラクティブシス
テムを試作した。このシステムは木製テーブルの表面に８×９本のウレタン被覆銅線（太さ 0.5mm）

内挿処理：

を 10 センチ間隔で敷設し、さらにその表面を薄い格子状のセンサー点から得られた値から、面上にあベニヤ合板で覆ったものを使用している (図 4)。通る物体の位置を推定することができる。各交点は、常のテーブルとして利用することも可能である。天物体からの距離に応じた値を計測している。この井釣りのプロジェクタと組み合わせて対話型テー

値を連結すると、物体の位置を頂点とする二次元

ブルとして機能する。

のポテンシャル面を得ることができる。ポテンシャ

送信用の電極には、マイクロプロセッサ (Atmel

ルの極大値が物体のセンサー面上での（２次元）位AVR) の IO ポートが直接接続されており、IO ポー

置になる。具体的には、格子点から得られる値を３

トをソフトウェアで駆動することで 160KHz の矩

次畳み込み内挿法 (cubic convolution interpolation)

形信号を発生させている。受信側は op アンプでして得られるポテンシャル面の極大点を計算し、増幅した後、前節で述べたようなフィルタリング

物体の位置とする (図 3)。この内挿補完によって、処理を行っている。この信号は AD 変換した後、物体の位置を格子点の間隔よりも高い精度で計測

ホスト PC にシリアルケーブル経由で送信していすることができる。

る。現在の実装では、毎秒 30 フレーム回程度の複数の物体（たとえば複数の利用者の手）が同速度で全交点の値を計測・送信することができる–4–

図 5: 垂直方向の距離の認識。表示された円の直径がセンサー値を示している。
図 6: 指によるドラッグ操作

ので、対話的な操作を行うプラットフォームとして使うことが可能である。
図 1 は複数の利用者が同時にテーブル面を操作している様子を示している。図 5 は、テーブルと指との距離を検知している様子を示している。この構成で、手の位置の認識精度は 1cm 程度だった。

4.1

対話技法

図 7: 両手操作によって二つのオブジェクトを接続している

マウス互換操作と複数点の同時制御このプラットフォーム上で、２種類の対話技法を試みた。最初の方式は通常のマウス等の入力装置
からの置き換えを想定したもので、手の２次元位
置をカーソルの位置に、手と平面との距離をマウ
スボタンに対応させている。距離に閾値を設定し、手の距離が一定以下になった場合にマウスボタンがプレスされたものと判定している。この値は、ユーザごとに調整して設定してある。
実際にテーブル上に図形を表示して、移動操作等を試みた。現在の実装ではＸＹ方向の解像度が若干不足しているが、ほぼ通常のマウスと同等の

図 8: ポテンシャル面の変形によるオブジェクト

操作感を与えることができた (図 6)。このセンサー操作の特徴として、複数の点を同時に計測することが可能なので、両手を同時に使った操作（たとえば二つの図形を両手で移動させて、接触させることル面が生成される。面上に表示した物体が、こので連結させる）が可能である (図 7)。また、複数のポテンシャル面の傾斜に応じて移動するように設利用者がテーブルを囲んで操作しているような場定しておくと、手の動きに応じて物体を制御する

合、並行して操作を行うことが可能である。これことができる (図 8)。たとえば傾斜を下るようなは日常でテーブル上のカードを配置しているよう設定では、物体と手の間に反発力が生じるようなな感覚と非常に近く、テーブル型のインタフェー

感覚を与えることができる。

スとしては必須な機能であるという感想をもった。

この方式を数人の利用者に特に事前の説明を与ポテンシャル面による操作

えずに試用してもらったが、指や手と反発力の関さらに、マウスのような「一点」を制御するような係をいったん理解すると、容易に物体を制御できタイプ以外の対話技法の可能性として、手や腕にることが確認できた。また、両手を使った操作や、よって生成されるポテンシャル面そのものを操作

両手を輪の形にして物体を「囲い込む」操作や、に用いる方式を試みた。前節で説明したように、こ複数の利用者間での協調的な操作などを、利用者のセンサーでは手や腕の接近に応じたポテンシャ

自身が自発的に発見していく過程が観察できた。

–5–

図 12: 複数指による操作の例

図 9: 指・手形状を認識する SmartSkin センサー。

1cm 間隔の電極を 32 × 24 本用いている.

図 13: ２本指ジェスチャーによる「つまみ上げ」
操作

図 10: 手形状と対応するセンサー値

図 14: 掌の形状によるメニュー起動と指による選択.

24cm で、電極を 1cm 間隔に配置してある。電極の本数は 32 本 (受信) × 24 本 (送信) である (図 9)。
このセンサーでは、単に手の位置だけでなく、手の形状や指の位置を認識することができる。図 10はセンサーの値から内挿処理によって得た手の形状で、図 11 は極大値検出アルゴリズムによってセンサー面に触れている指先の位置が独立して検出できることを示している。

図 11: 指先認識の例

55.1 対話技法

手・指形状の認識

手形状や複数の指の認識によって、複数の制御
テーブル型のシステムでは、少数のアンテナ線点を同時に制御するようなインタフェース、手の形であっても、マウス相当の制御をテーブル面に与状そのものをコマンドとして与えるインタフェー

えることができることを確認できた。電極の本数

ス、他の物理的なオブジェクトを認識して、それを増やして、格子点の密度を上げていくことで、をコマンドや制御用のツールとして用いるインタ

より正確な手形状の認識が可能になることを実証

フェースが可能になる。図 12 に２本指を用いたイするために、第二の試作システムを開発した。こンタフェースの例を示す。複数の指を使って、ジェのシステムでは、認識可能な面のサイズは 32cm ×

スチャーコマンドを定義することも可能である。

–6–

electrodes(copper film)

図 16: SmartSkin の衣服への組み込み
図 15: 実物体の認識とそれを用いた操作の例
適用したシステムと、その対話技法について報告
図 13 では、２本指を接近させた後に上に持ち上した。本論文で紹介した試作システムは SmartSkin

げる「つまむ」ジェスチャーを識別している例での可能性の一部を実現しているにすぎず、今後、他ある。

の応用への検討や、新しいインタフェース技法の手の形状そのものを使う例としては、図 14 に提案などを行っていきたい。以下で、現在までに示すようなメニュー選択を試みた。まずユーザが構想しているいくつかの将来計画について述べる。

センサー面に掌を置いたことを、その面積によっ

他の面、機器への組み込み：て判定する。また手の方向を掌の形状（モーメン

た状態では（金属箔は接地されていないので）、セSmartSkin センサーはセンスする面が平面である
必要がないので、現実世界を構成する種々の面に組み込んでインタラクティブなものにする可能性をもっている。たとえばソファーに組み込んで利用者の姿勢に応じて映像の表示方法を変えたり、
アームレスト上でのジェスチャーで番組を選択したりできるような「スマート家具」などの例が考えられる。また、キーボードの下に SmartSkin を組み込むことを考える。キーボード上に置かれた手の形状を認識できるので、キーボード上でタブ
レットのように指で描画するインタフェースや、
両手で打鍵しているときは文字入力モードで、右手がマウス上に置かれると左手部分のキーボード
アサインが自動的にコマンドキーに切り替わるよ
うな入力方式を提供することができる。

ンサーの値には影響が起きない。利用者が物体上

図 16 は衣服へ組み込むためのセンサー例で、ポ部部に触れると、頭頂部の金属箔を介して底面のケットの中に入れておけば外側から指の運動を認

金属箔パターンが接地され、そのパターンをセン識することができる。携帯音楽機器を衣服の外かサーが読み取ることが可能になる。底面のパター

らコントロールするような応用や、さらには「インによって物体の種類を識別することができ、さンタラクティブ衣服」などの分野への応用が考え

らに物体のセンサー面上での位置や方向を認識すられる。

ト）によって判定し、メニューコマンドを手の周辺に表示する。メニューコマンドは指のタップによって行う。

5.2

物体の認識と操作

このセンサーでは、手や指による操作に加えて、実物体を介した操作 ( [2, 7]) を併用することが可能である (図 15)。 操作に利用する物体は木やプラスチックなどの絶縁体から出来ており、底面に金属箔でパターンが貼り付けられている。このパターンは導線によって結合され、物体上部の金属箔と接続している。この物体をセンサー面に置いることができる。

このように、従来の機器の表面形状を一切変更

指の認識と併用すれば、「物体を面に置いてあすることなく、付加的な機能を組み込むことが可る操作モードを選択し、さらに指による操作を加能ではないかと考えている。

える」といった、複合的な操作が可能になる。

触覚フィードバックとの融合：

SmartSkin は入力センサーであり、人工物の表面に

6

他の応用と今後の可能性「皮膚感覚」のようなセンサー機能を組み込むための技術だといえる。一方「触覚フィードバック」

本論文では、カメラに依存しないジェスチャー認

技術は、人工物から人体（の皮膚感覚）への情報識の手法を提案し、テーブル型対話システム等にであり、両者を相補的なものと考えることができ–7–る。これらを組み合わせることにより、たとえばuser interfaces. In CHI’95 Conference, pages 442–
449, 1995.

机の表面に仮想的なクリック感を与えるといった[3] Masaaki Fukumoto and Toshiaki Sugimura. ActiveClick: Tactile feedback for touch panels. In CHI
2001 summary, pages 121–122, 2001.

インタフェースを構成できる。従来の触覚フィー
ドバックインタフェース（[3] 等）では、ユーザの指が対象物に接触していない場合はフィードバッ

[4] Y. Guiard. Asymmetric divisoin of labor in humanskilled bimanual action: the kinematic chain as amodel. Journal of Motor Behavior, pages 485–517,
1987.

クを返すことが不可能だった。SmartSkin では、指の近接を認識できるので、たとえば左手で持ったＰＤＡの操作面に指を接近させると (PDA 筐体の[5] Ken Hinckley, Randy Pausch, John C. Goble, andNeal F. Kassell. Passive real-world interface props
for neurosurgical visualization. In CHI’94 Proceedings, pages 452–458, 1994.

振動により) フィードバックを返すような方式が構成可能である。
透明電極の適用：
SmartSkin を構成する電極は ITO 皮膜などの透明な電極で置き換えることが可能である。これにより、平面型の表示装置と一体化した入力装置を構成することができる。

[6] Ken Hinckley and Mike Sinclair. Touch-sensing input devices. In CHI’99 Proceedings, pages 223–230,
1999.

センサー面を介したデータ通信：

SmartSkin センサーでは電極に交流信号を印加して計測を行っている。この信号にデータを（周波数変調などにより）重畳することで、面上の物体との間で情報通信を行うことが可能である。たとえば、テーブル上に置かれた携帯機器が自動的にシンクロナイズするなどの応用例が考えられる。
また、テーブル上での座標情報をデータとして送信すれば、テーブル上の携帯機器が、「どのテー
ブルのどの位置にあるか」を「知っている」ことになる。このような識別・位置情報を利用すると、同じテーブルの上の機器同士でのみデータ通信を許すようセキュリティ設定や、Augmented Surface
システム [12] が提案しているようなインタフェー
スが構築可能になる。

[7] Hiroshi Ishii and Brygg Ullmer. Tangible Bits: Towards seamless interfaces between people, bits andatoms. In CHI’97 Proceedings, pages 234–241,
1997.
[8] Hideki Koike, Yoichi Sato, Yoshinori Kobayashi, Hiroaki Tobita, and Motoki Kobayashi. Interactive textbook and interactive venn diagram: natural and intuitive interfaces on augmented desk system. In CHI
2000 Proceedings, pages 121–128, 2000.
[9] Nobuyuki Matsushita, Yuji Ayatsuka, and Jun Rekimoto. Dual Touch: a two-handed interface for penbased PDAs. In ACM UIST 2000 Proceedings, pages
211–212, 2000.
[10] Nobuyuki Matsushita and Jun Rekimoto. HoloWall:
Designing a Finger, Hand, Body, and Object Sensitive Wall. In Proceedings of UIST’97, October 1997.
[11] Shunichi Numazaki, Akira Morshita, Naoko Umeki,
Minoru Ishikawa, and Miwako Doi. A kinetic and 3D
image input device. In Proceedings of the conferenceon CHI 98 summary, pages 237–238, 1998.
[12] Jun Rekimoto. A multiple-device approach for supporting whiteboard-based interactions. In Proceedings of ACM CHI’98, pages 344–351, February 1998.

謝辞ては田島茂氏から貴重な助言を頂いた。

[13] Jun Rekimoto and Eduardo Sciammarella. ToolStone: Effective use of the physical manipulation vocabularies of input devices. In Proc. of UIST 2000,
2000.

参考文献

[14] Pierre Wellner. Interacting with paper on the DigitalDesk. Communication of the ACM, 36(7):87–96,
August 1993.

システム実装に協力して頂いた石澤太祥、戸田麻子両氏に感謝する。計測原理と回路設計に関し[15] Thomas Zimmerman. Personal area networks: Nearfield intrabody communication. IBM Systems Journal, 35(3-4):609–617, 1996.

[1] Eric A. Bier, Maureen C. Stone, Ken Pier, William
Buxton, and Tony DeRose. Toolglass and Magic
Lenses: The see-through interface. In James T.
Kajiya, editor, Computer Graphics (SIGGRAPH ’93
Proceedings), volume 27, pages 73–80, August 1993.

[16] Thomas G. Zimmerman, Joshua R. Smith, Joseph A.
Paradiso, David Allport, and Neil Gershenfeld. Applying electric field sensing to human-computer interfaces. In CHI’85 Proceedings, pages 280–287,
1995.

[2] George W. Fitzmaurice, Hiroshi Ishii, and William
Buxton. Bricks: laying the foundations for graspable–8–