PALMbit-Silhouette:
掌シルエットの重畳表示によるデスクトップアクセス
山 本 豪 志 朗†

徐会 川†,†† 佐 藤 宏 介†

Mixed Reality 技術によって，仮想世界と実世界をシームレスに結ぶインタフェースが様々研究されている．その多くは仮想世界を実空間の方へ融合させることで実世界を主対象にした操作を行っている．しかしながら，現存のコンピュータデスクトップ内の２次元仮想空間に実世界の方からあたか
も実物体かのようにアクセスする手法に関する研究は乏しい．本研究では，手のひらのシルエットを
デスクトップスクリーンに重畳表示にさせ、ユーザー自身の影がなす直観さに基づき，アイコンを容易にアクセス可能とするシステム PALMbit-Silhouette を提案実装する．そして手のひらに映像提示できるウェアラブル投影システムと連携させ，デスクトップ内に存在するアイコンを、マウスやキーボードを必要とせず、手のひらだけで扱える実世界指向の統合インターフェースシステムを紹介する．

PALMbit-Silhouette:
Desktop Accessing by Superimposed Silhouette of the Palm
Goshiro Yamamoto,† Huichuan Xu†,†† and Kosuke Sato†
Most of Mixed Reality based interfaces allow real objects to be augmented with virtual objects. Few studies argue that the opposite interface which allows icons on computer desktop
to be augmented from real objects. This paper focuses on the metaphor of shadow cast byuser’s palm and its extension to desktop, and introduces a new intuitive accessing methodby hand gestures with image recognition. A system, “PALMbit-Silhouette”, provides distantuser interface, which is able to transfer a ﬁle data between isolated PC desktops with natural
gestures of object handling, ‘Grasp-and-Release’. By involving a wearable projection system,
it discusses a seamless interaction in multi-PC environments as a real world oriented interface.

1. は じ め に光によって現れる影の直観性を利用したインタラク
ションの研究が行われている1)∼3) ．影は日常生活に

Mixed Reality 技術によって，仮想世界と実世界をおいて自然に存在しており，ユーザに対して影自身がシームレスに結ぶインタフェースが多く研究されてい体の動きに対応するビジュアルフィードバックとなるる．それらを統合した環境の一つとして，従来型インため操作する際の理解が非常に容易となる．さらに影タフェースであるキーボードやマウスなどのデバイス

は，実世界と仮想世界を繋ぐ要素と成り得ること4) やを介するのではなく，ユーザ自身の身体を使って仮想身体に依存する空間的制約が低いことから遠隔インタ

オブジェクトに直接的にアクセスするものがある．日

フェースとして期待されている．

常生活によって獲得している身体動作を利用している

このようなインタフェースは Spatial Augmented

ため，実物体と仮想物体それぞれに対する扱い方を意Reality (以降 SAR)5) 環境への適用が効果的であると識することなく直観的に操作することができる．しか考えられる．現在ディスプレイはモニタからプロジェ

し，体肢が届く範囲内という空間的制約があり，体かクタによって実物体表面上へと拡張されている．ディら離れた対象とのインタラクションには向いていない．

スプレイにはユーザからの入力を受け付けるインタラ

そこで，身体を直接使ってアクセスするのではなく，クティブ性を有するものがいくつか存在する．室内空間において，カメラプロジェクタシステムを利用する† 大阪大学大学院基礎工学研究科
Graduate School of Engineering Science, Osaka University†† 在学時，現在東芝株式会社
Graduated, presently work at Toshiba Corporation

インタラクティブな環境の一つとして SAR が提唱されている．SAR 環境においては，広い空間を有するため従来インタフェースや直接操作可能なインタフェー
スだけでなく，空間内でフレキシブルに利用できる直情報処理学会 インタラクション 2008

観的インタフェースを備えた，ユーザに対して豊かなによって，実物体表面をディスプレイ面にして，どこ

インタラクションを提供するシステムが望まれる．

でもインタラクションが可能なユビキタスインタラク

本稿では，人工的に創られた影でも実際の影と同様

ティブディスプレイがいくつか報告されている10),11) ．

の実在性があるということを確認し，影を拡張したシSAR 環境ではこのようなシステムを統合して，室内

ルエットベースのインタラクション手法をもつシステ

全体をインタラクティブディスプレイへと拡張していム PALMbit-Silhouette (以降 PALMbit-S) を提案す

る．SAR 環境でのインタフェースは，実空間で人間がる．尚，光の進行を遮った結果生じる自然現象の像を行うインタラクションや観察される自然現象を応用・

影，対象物体の形状から影を模して人工的に創られた

拡張したものが望まれている12),13) ．本稿で取り扱う像をシルエットとする．サイバー空間中の情報が格納

インタラクションは影という自然現象を応用したもの

されたコンテナであるアイコンを対象とする．従来コであり，ユーザの習熟を基本的に必要としない．

ンピュータは主に座った状態で利用されており，キー

ヒューマンコンピュータインタラクション（HCI:

ボードやマウスを用いて細かい作業を行う．一方席かHuman-Computer Interaction）は直接操作対象に触ら離れた状態では，表示されたディスプレイ画面を眺れるインタラクション（Direct-HCI）と対象物体と距

めることしかできない．しかしながら，動きながらで離を隔てたインタラクション（Distant-HCI）に分け

もデータ整理や情報の閲覧，送受信などを行えれば，られる．Direct-HCI は対象物体に触れられる点で，直コンピュータディスプレイを有用に扱うことが可能と観的かつ直接的にインタラクションが行える．Distant-

なる．そこでコンピュータデスクトップ上に配置され

HCI に対しても，直観的操作が可能なインタフェース

たアイコンを実物体のように身体的アクセスによってを設計する研究がいくつか進められている．Vogel らは扱えることを目的とする．また，本システムではシル手に再帰性反射マーカを付けることで大画面に対して

エットベースのインタラクションに加え，ウェアラブ

ポインティングやクリックなどの操作を Distant-HCI

ルなシステムを介入させることでコンピュータデスクとして実現している14) ．マーカによって手の形状を的トップと実空間とのシームレスな接続を行い，身体と確に解析でき，多くのジェスチャに対応している．ジェ

影を利用する新たな融合インタフェースを可能とする．

スチャに応じてディスプレイ上のマウスカーソルが動

次章では，身体の一部である手によるオブジェクト

いてリアクションを返す．しかし，マウスカーソルのへのアクセスインタフェースの研究とアイコンを扱う

表示はユーザへ強いビジュアルフィードバックを示せ

実世界指向インタフェースに関連する研究について述ず，従来型インタフェースと同様にマウスを操作してべ，本想定環境での操作対象について示す．そして，いるに過ぎない．本提案システムでは手のシルエット

本研究で目的とするシステム像について言及していく．

を表示することで直観的理解を促している．

3 章では PALMbit-S の有効性を示すために，影を模

従来，SAR 環境では図 1 で示すように，HCI の対するシルエットの特徴について述べる．以降，本稿で象となるのはシースルーディスプレイなどにより 3 次

提案するシステムについて説明し，その応用を述べた

元空間上に表現された 3D 仮想オブジェクトや実物体

後にまとめとする．

表面上へと投影表示された仮想オブジェクト，情報とリンクされた実オブジェクト等が想定されていた．つ2. 研究の位置付け

まり，SAR 環境では従来利用されてきたコンピュー

情報を提示するディスプレイ面はプロジェクタの登

タデスクトップは考慮されていない．本稿での想定環

場により，モニタから解放されて実世界へと拡張され境を従来コンピュータを取り込んだ新たな環境とし，た．ディスプレイ面と直接インタラクション行うため

SAR 環境で想定されるオブジェクトと同様に扱うことには，従来はモニタにタッチセンサを組み込むこと6),7)を目指す．そしてコンピュータデスクトップ上に配置

8)や赤外線センサを利用することで実現している．一されたアイコンに対して働きかけるインタフェースシ

方，プロジェクタによって実世界をディスプレイ面とステムを提案実装する．コンピュータデスクトップにするときのインタラクション研究も盛んに行われてい配置されたアイコンに対して，実世界指向の研究ではる．そのプロジェクタを用いた代表的なインタラクティ

Pick-and-Drop15) が示すように，異なるコンピュータ

9)間で情報の移動をするためのインタフェースがある．

ブシステムが DigitalDesk

である．DigitalDesk は

実世界と仮想世界を融合したシステムである．

また，仮想世界での表現方法として，2 次元ディスプ

DigitalDesk のようにプロジェクタとカメラから成る

レイ内で 3 次元的に表示する Keepin’ It Real16) があシステム（PROCAMS: Projector-Camera Systems）

る．これはデスクトップ画面を実世界の机上のように

PALMbit-Silhouette:掌シルエットの重畳表示によるデスクトップアクセス
本研究での想定環境
SAR 環境コンピュータデスクトップ

3D 仮想オブジェクト

実物体表面に表示された
2D 仮想オブジェクト

図 2 (左) PALMbit-Glove のシステム概観，(右) 手のひらへの映像投影の様子
Fig. 2 (Left) PALMbit-Glove overview and(right) projected image onto the palm.

i
情報とリンクした実物体

図 1 想定環境．
Fig. 1 Assumed environment.

表現し，そこに表示されたアイコンを実物体のようにマウスで扱うことができる．このように情報またはア
イコンを日常実物体に対して行う操作感覚をもって扱うことはしばしば望まれていることだと捉えられる．

2 次元ディスプレイへのアイコン操作インタフェー
スとして，Malik らはタッチパッドとカメラを用いて，ユーザの手の位置とそのアクションを取得するシステ
ムを提案している17) ．アイコンへアクセスするときにDesktop to Palm

は，左手人差し指でタッチパッド上をなぞってディス
プレイ上の任意の位置へ移動し，アイコンへの働きかけを右手のジェスチャで実現している．日常動作では対象物体を操作するとき，同じ腕で振る舞うのが自然である．そのため上記のシステムは直観的でないといえる．本研究ではユーザ自身の影がなす直観さを確認
し，物理的に直接アクセスできない 2 次元空間ディス
プレイ内へのアクセスとして，影の持つ特徴を効果的に HCI へと応用していく．
本稿では Distant-HCI に影という自然現象と類似した性質をもつシルエットを利用してユーザとコンピュータがインタラクションを行うシステムを提案しPalm to Desktop

図3

コンピュータデスクトップにシルエットを重畳表示するシステ
ム (PALMbit-S) と 手のひらへ映像を投影表示するシステ
ム (PALMbit-G) の統合，(左) PALMbit-S でデスクトッ
プ上のアイコンを掴むまたは離す，(中央) アイコンを握った状
態，(右) PALMbit-G で手のひら上へのアイコン投影表示．
(点線枠は PALMbit-S の有効範囲を示す．)
Fig. 3 System which superimpose silhouette on Computer
Desktop (PALMbit-S) and system which project images onto the palm (PALMbit-G) overview, (left)
grasping or releasing an icon on a Desktop by
PALMbit-S, (center) statement of grasping the icon,(right) projected the icon image onto the palm
by PALMbit-G. (Dotted frame area is PALMbit-S
scope.)ていく．2 次元ディスプレイ内の情報に対しては物理的に直接アクセスすることは不可能であるが，シルエッ

作も考えられるため，新たなインタラクション手法がトを通してアクセスすることを可能とし，複数ディス必要である．本論文では影のもつ直観性かつ遠隔性とプレイ上でシームレスにアイコンメタファを実現する．

いう利点を活かし，手のシルエットを利用するシステ

さらに，手のひら上にアイコンを投影表示することがム，PALMbit-Silhouette を提案する．シルエットを可能なウェアラブルシステム PALMbit-Glove18) (以インタフェースに利用することで得られる主要な利点

降 PALMbit-G) （図 2）と連携することで，図 3 にとして三つ挙げる．

示すような実世界指向の統合システムの構築を目指す．

(1)

3. 影を模したシルエットの利用在を必要としない．

(2)

直接触れることで操作する形式のインタフェースはてワーキングスペースになる際には，距離を隔てた操影自身が自然なビジュアルフィードバックと成るため，複数の影が同時に存在しても自身の影

ユーザの利用位置を操作対象付近に限定してしまう．

SAR 環境のように室内空間全体がプロジェクタによっ

マウスやトラックボールのようなデバイスの介は容易に特定できる．

(3)

空間的距離が存在するなかで生じる現象であり，Distant-HCI に適切である．

情報処理学会 インタラクション 2008

図4

シルエットに基づくインタフェース．
（左）実際の手の構え，（右）
仮想オブジェクトへの選択操作，描画，テクスチャの変更．
Fig. 4 Interface based a silhouette. (Left) gesture, (right)
access to virtual objects, drawing, changing texture.

次に PALMbit-S の基本を成す，直観的にかつ距離を隔てた操作が可能であるシルエットベースのインタ
フェースについて述べる．

図 5 影に基づくインタフェース．
Fig. 5 System overview of Virtual Shadow.

3.1 シルエットの多様な表現
まず影の特徴からシルエットは距離を隔てた地点の

赤外光源，赤外カメラとプロジェクタから成り，ユー

ディスプレイ面へと働きかけるポインティングインタ

ザは投影ディスプレイ面と光源との間に存在する空間

フェースとして利用可能である．図 4 に示すように，内で手をかざして利用する（図 5）．かざした手によっ

図左のように手を構えることで，その手を射影したシて投影オクルージョンが生じるのを避けるために赤外

ルエットによって，手の届かない場所にある仮想オブ

カメラとプロジェクタは天井付近へ設置し，赤外光源

ジェクトへポインティングやクリックなどの選択操作

はユーザの手をディスプレイ面に向かって後方から照を行ったり，投影面にドローイングすることができる．

らす位置へ設ける．この赤外光源によって，ユーザのまた，実際の影と比較して人工的に創られる影はグ

手の影は投影対象面へ目に見えない形で写し出される．

ラフィカルに合成され，図 4 右のようにビジュアル表

その射影像を赤外カメラで撮影し，画像処理を施すこ

現の幅が広い．よって以下のような利点を持っている．

とでプロジェクタから人工的な影を投影ディスプレイ

• 明暗だけではなく別色やテクスチャなどの変化が可能．

面上に重畳表示する．
影では奥行き情報や触感の情報がないため，視覚的• 光学配置を反映しないスケール変化が可能．

な効果で表現する必要がある．奥行き情報はシルエッ• 透過重畳によりデスクトップのグラフィカル表示

トの表現の特徴である，透明度を変化させることで，の視認を阻害しない．

仮想オブジェクトと影との前後関係を表現すること• レイヤ構造で複数の影間の前後関係の表現が可能．

ができる．また，人差し指をマウス位置に対応させ，

影の外観は時と場合によって変更するのが望ましい

親指を立てるジェスチャをクリックの代用とすることと考えられる．例えば，プレゼンテーション時には観で，対象物体のドラッグが可能となる．図 6 左のよ衆は影よりもスライドの内容に興味を向けるし，アー

うに，仮想オブジェクトに対して，親指を立てること

ト表現では影自身の表現の変化が好奇心を刺激する可で’Click’ し，その状態で腕を動かすことで’Drag’ を能性を持つ．つまり，人工的な影は実際の影に比べて実現している．

様々の要求に対して，その外観を適切に変更すること

この先行システムへのもう一つの実装例として，図 6が可能である．また重なり合いの表現が可能であるた

右に示すようなプレゼンテーションを支援する ‘Pre-め，複数箇所からシルエットを同一ディスプレイ面にsentation Assistant’ を挙げる．表示される影は人差表示して協調作業を行うこともできる．以上の点に着し指を立てることでクリックとして入力されるが，表目して，本実装システムにおいても実際の影ではなく示される影自身が大きなポインタとしても観衆に理解

人工的な影を利用している．

される．つまり，演者のジェスチャをスクリーンに映

ただし，人工的に創られる影は遅延が十分小さいこ

し出すことができる．これは透過重畳によって，できとが求められ，高性能の画像処理機器等が必要になる．

るだけスライドの表現が妨げられないようにしている．

3.2 ポインティングやドローイングへの適用例

これらの実装例から，ユーザはポインティングのみで

著者らは影のジェスチャ認識を利用することで，シなく，日常生活で行っている動作をジェスチャとしてステム（Virtual Shadow）に従来のコンピュータに用有効に利用できることがわかった．

いられている基本的なマウス操作である ‘Click-and-

上記の実装例で，シルエットを Distant-HCI に利Drag’ を実装した19) ．このシステムはコンピュータ，

用することは有効である知見を得ている．しかし，2

PALMbit-Silhouette:掌シルエットの重畳表示によるデスクトップアクセス
ディスプレイ面
カメラ

図6

Virtual Shadow を利用したアプリケーション，(左) クリッ
クとドラッグ，(右) インタラクティブプレゼンテーション．
Fig. 6 Applications of Virtual Shadow, (left) clicking anddragging, (right) interactive presentation.

ユーザの手

カメラ
コンピュータデスクトップユーザ

シルエット

図 7 PALMbit-Silhouette のシステム概観．
Fig. 7 System overview of PALMbit-Silhouette.

例ともに共通する問題点として，光源と遮蔽物，スク
リーンにおける物理的な光学現象を模倣しているため，空間的制約が挙げられる．例えば胴体が覆いかぶさった場合，手のジェスチャは表現されなくなる．

4. PALMbit-Silhouette
シルエットの特徴を組み込んだコンピュータデスク
トップへのアクセスするシステムである PALMbit-

Silhouette について述べる．本稿では図 1 で述べたよ
うに，環境中にコンピュータデスクトップの存在を想定している．PALMbit-S はそのコンピュータデスク
トップに対して Distant-HCI を行うためのシルエット

図 8 PALMbit-Silhouette で Mac OSX デスクトップを操作している様子．
Fig. 8 Operation to access on Desktop of Mac OSX
by PALMbit-Silhouette.

ベースのインタフェースシステムである．ディスプレ
イにはシルエットが重畳表示されるため，デスクトッに Mac OS X デスクトップを PALMbit-S で操作しプ上のグラフィカル情報を隠蔽すること無く，シルエッている様子を示す．PALMbit-S の動作はモニタやプ

ト越しにアイコンを見ることができる．この透過性にロジェクタに依存しておらず，また広く普及しているよりユーザは自身の手のシルエットが重畳しているア

OS 上で実装しているため幅広く適用できる．

イコンに対して，自然と「掴む」行為をとることが観

ユーザの意図を汲むためには，手の位置と手形状の察される．そこで，シルエットを介して「掴む」など

状態変化を知る必要がある．まずはカメラで取得するのジェスチャを PALMbit-S へと適用する．

カラー画像から肌色抽出を行って手領域を検出する．

また PALMbit-S では，自然現象を模倣した光源とその手領域の重心位置を求め，カメラスクリーン座標

遮蔽物，スクリーンという物理的な配置制約が無いたからディスプレイスクリーン座標へ線形変換すること

め，身体が覆いかぶさってシルエットが映り込まないで，ディスプレイ上での手重畳表示位置を決定する．

という問題は生じない．そして本提案システムではカ手の状態解析はカメラで手領域を撮像して手の輪郭形

メラを用いて手自体からそのシルエットを取得できれ状を検出することで行う．本実装では，手領域輪郭形

ばよく，機器の配置制約は緩い．

状から指先検出を行い，その指の数によって手の状態

以下，システム構成について述べ，実装したデスクを判定する．その状態を連続的に保持することで，そトップアクセスインタフェースについて言及する．

の変化からユーザの意図する行動を予測する．

4.1 PALMbit-Silhouette のシステム構成

4.2 Grasp-and-Release オペレーション

PALMbit-S は影を創り出すための光源を必要としないため，ディスプレイをもつコンピュータとカメラ

ここでは，PALMbit-S が提供する PALMbit-S User

Interface (以降 PALMbit-SUI) について述べる．

一台という単純な構成から成る．図 7 のように，カメ

ユーザの手の動作に応じて，適切なリアクションをラを上方に設置して鉛直下向きを撮影し，その撮影範コンピュータからフィードバックする必要がある．コン

囲内に手を差し入れることによってインタラクション

ピュータへのジェスチャ入力は様々な研究が行われてを行う．プログラムは Mac OS X，Windows XP そおり，ユーザの自然動作の中から特有のジェスチャをれぞれの OS 環境に対して設計し，安価な USB カメ

分析することで，日常行っている動作をインタフェーラ（Princeton PWC-30IS）を用いて実装した．図 8

スに応用することが可能となっている．本稿では，ア情報処理学会 インタラクション 2008
ネットワーク通信❸ releasing❷ movingt❶ grasping③ releasing② moving
図9

手のひらシルエットの操作によるアイコンへのアクセス：(上段) アイコンを「掴む」，(下段) アイコンを「離す」．
Fig. 9 Accessing to an icon by silhouette of the palm. (top)grasping operation, (bottom) releaseing operation.

イコン移動のタスクを達成するために，マウスで基本① grasping
図 10 PALMbit-SUI を搭載したコンピュータ間でのアイコン
移動．
Fig. 10 Icon data transfer between computers by
PALMbit-SUI .

実装されている ‘Drag-and-Drop’ に対応した ‘Grasp-

X，Windows XP に対しており，異種コンピュータ間

and-Release’ を行うジェスチャを導入した．実物体をでもシームレスにアイコンベースの操作ができる．

動かすときはまずその対象を「掴み」，その状態で腕図 10 にアイコン操作の一連の流れを示す．まず一を動かして任意の位置で「離す」という一連の動作で方のデスクトップ上に表示されているアイコンに対し行われている．手を「握る」，「開く」のジェスチャをて手を伸ばし，ジェスチャによってそのアイコンを「掴それぞれ「掴む」，「離す」の機能に対応させ，‘Grasp-

む」．次にその握った状態のまま，もう一方のデスク

and-Rlease’ を行えるインタフェースを実現する．

トップにシルエットが表示されるよう腕を動かし，任本実装においては，指先検出数 0 本のとき「握る」，意の位置でアイコンを「離す」ことでアイコンの移動

5 本のとき「開く」というジェスチャとして認識するを達成する．従来のシステムではファイル転送には，よう設計した．アクション認識トリガは，「掴む」の場

通常ユーザは意識してネットワークやストレージを介

合は手を「開く」状態の一定時間経過後に手を「握る」

さなければならず，PALMbit-SUI を利用した場合と状態への遷移，「離す」の場合はその逆の「握る」から

比べて OS の通信機能の知識が必要となる．

「開く」への遷移とそれぞれ設定している．

4.2.1 コンピュータデスクトップ上のアイコンへ
のアクセス

5. 考

察

前章では，デスクトップ上に手のシルエットを重畳本実装システムはシルエットからの入力に基づき OS

的に映し出すことでその特徴を活かし，手を「握る」

コールを実行する．そのため，通常利用しているコン「開く」という動作によるアイコン操作インタフェー

ピュータのデスクトップ画面に表示されたアイコンにスについて述べた．このシルエットベースのインタ対して ‘Grasp-and-Release’ を行うことが可能である．

フェースにより，アイコンの移動を単一コンピュータ「掴む」ことでデスクトップ上のアイコンは一度消え，内での実現し，実物体を操作する要領でアイコンを扱「離す」ことで再びデスクトップ上に配置される．図 9

えるようになった．さらにこのインタフェースにネッに ‘Grasp-and-Release’ のジェスチャによってアイコ

トワークを介したデータ転送機能を付加することで，ンにアクセスする様子を示す．

複数コンピュータのデスクトップ間でもシームレスな4.2.2 シルエットベースインタフェースを有する
コンピュータ間でのアイコン移動

PALMbit-SUI で実装されたインタフェースを利用

アイコン移動を実現した．以下では，実装システムにおける問題点について考察する．

5.1 掌シルエットとアイコンの相対比の問題

して行う動作は，実空間において机上にある物体を動実空間において，ある操作対象の手に対する大きさ

かすことに等しい．本節では，複数台のコンピュータに応じてユーザがとる行動は様々異なると考えられる．

間で PALMbit-S を利用することで，ある机上の物体

対象が摘める大きさのものであれば指先を使い，片手を隣の机上の置くという実空間作業と同様の自然な動で把持できない大きさのものであれば両手を使うのが作によるファイル転送を行う．本システムは Mac OS

自然である．このような関係はデスクトップ空間のア

PALMbit-Silhouette:掌シルエットの重畳表示によるデスクトップアクセス

エットを操作することも考えられる．

5.4 デスクトップ空間外でのアイコンの可視化
アイコン操作インタフェースを用いて「握り」とったアイコンは，デスクトップ空間外ではフィードバッ
図 11

アイコン把持状態の可視化．
（左）アイコン把持前，（右）ア
イコン把持後．
Fig. 11 Visualization of icon selection. (left) overlappingon icon, (right) grasping icon.

クが無いため存在感を持たない．通常，実空間ではデスクトップ画面は物理的な距離を隔てて存在しており，
アイコン移動を行う際にはその間で存在感を失ってしまう．そのため，一つの方法として実空間において取得したアイコンを手のひら上で可視化することができイコンに対しても成り立つと考えられる．本システム

れば，デスクトップ空間から実世界へのアイコン移動

ではシルエットの大きさはほぼ一定となるため，片手がシームレスに行えている感覚を強く得ることができでの把持を促す大きさにアイコンを設定している．既ると考えられる．それを実現する技術として，図 2 左存のデスクトップ空間での利用を考慮するならば，シに示す小型プロジェクタを利用して手のひら上へ任意

ルエットとアイコンの相対比の関係を調査し，アイコの映像を提示するウェアラブルシステム PALMbit-G

ンの大きさやスペーシングの異なるデスクトップに対を導入する．

しても適応動作する操作インタフェースが必要である．

PALMbit-S と PALMbit-G を連携させた統合シス

5.2 再挿入時の整合性問題

テムにより，図 3 で示した実世界指向インタフェー

カメラの撮影領域が限定されていることから，ユースを実現する．一連の流れは次のようになる．まず，ザが手をその領域へ入れるか否かが任意に行える状況

PALMbit-S にて任意のアイコンを「掴む」．次にそにある．システムで設計している挙動がユーザ内のメの握った状態で手を PALMbit-S の有効領域外へと出ンタルモデルと一致していない場合，ユーザは意図しす．そして，目の前で拡げた手のひらに PALMbit-G

た動作で操作できない．現段階では，ユーザが任意のによってアイコンが投影表示される．その逆も同様に，タイミングで撮影領域外へ手を引いて再度領域内に手手のひらに投影表示されているアイコンを PALMbit-Sを差し入れたとしても，追加で他のアイコンを掴むこに対して「離す」ことができる．

とが可能となるよう許容している．そのときに，アイ

この連携システムによって，2 次元ディスプレイ内

コンを掴んでいるかの有無を図 11 のように緑の円でだけでなく実空間においても，ユーザに対してアイコ可視化することで，ユーザは自身の操作状況を知るこンの存在感を強く与えることができると考えている．

とができ，適時任意の操作が可能となる．

5.3 マルチユーザ対応に向けての問題

6. ま と め

ユーザテストでも複数人での操作を自然と試みる人

本稿ではまず Distant-HCI において直観的インタがいたことや複数人での協調作業においてはシルエッ

ラクションできるシルエットの特徴について示し，そトの表示が有効であることが示されていること20) かれをインタフェースとして有するシステム PALMbit-

ら，マルチユーザでの使用を検討する必要がある．マ

Silhouette を提案実装した．Mac OS X，Windows

ルチユーザに対応するためには，個々のシルエットを

XP いづれのデスクトップアイコンをも操作できるシ特定する必要がある．手の画像から個人認証できるこ

ステムを安価な USB カメラを用いて実現した．コンとが望まれるが，画像情報のみで行うのは通常困難でピュータとカメラ一台という簡易な構成システムによある．また，手を差し入れる方向情報とユーザのシスり，コンピュータデスクトップに重畳表示された手のテムに対する立ち位置情報を利用して，ユーザを特定

シルエットをビジュアルフィードバックとする直観的することも可能である．この場合，立ち位置を計測す

インタフェースを実現した．手を「握る」，「開く」とるセンサが必要になってシステムが複雑になってしまいう動作をアイコンを「掴む」，「離す」の機能に結う．他には，ユーザにマーカを手首付近に装着してもびつけることで，実物体に対して操作するようにア

らって個人を特定する方法が考えられる．この場合，イコンを扱うことが可能となった．また，PALMbit-

ユーザに余分な拘束を与えてしまうなどの問題点があSUI 搭載のコンピュータ間にて，アイコンのシームレる．また，画面のみ共有しながら異なる場所での操作

スな移動を実現した．さらに，ウェアラブルシステムも可能であることから，個人対応のカメラを複数用い

PALMbit-G と連携することで，ディスプレイ空間内て，それらを画面合成して重畳表示される個人のシルのみでなく，手のひらという実空間においてもアイコ情報処理学会 インタラクション 2008

ンメタファを扱うことのできる統合インタフェースを提案した．
今後は，近年の発展と普及の高さからモバイル機器に着目し，デスクトップとの連携を検討する．また，
デスクトップ空間外でのアイコンの存在感をビジュア
ルフィードバックだけでなく，ハプティックフィード
バックなどを行うシステムの実現を目指す．

参 考

文 献

1) Shoemaker, G., Tang, A. and Booth, K. S.:
Shadow reaching: a new perspective on interaction for large displays, Proceedings of the
ACM Symposium on User Interface Software
and Technology, ACM Press, pp.53–56 (2007).
2) Apperley, M., McLeod, L., andLance Paine,
M.M., Phillips, M., Rogers, B. and Thomason,
K.: Use of Video Shadowfor Small Group Interaction Awareness on a Large Interactive Display Surface, Proceedings of the AustralasianUser Interface Conference on User Interfaces
2003, pp.81–90 (2003).
3) Naemura, T., Nitta, T. and andHiroshi Harashima, A.M.: Virtual Shadows in Mixed Reality Environment Using Flashlight-like Devices, Transaction Virtual Reality Society ofJapan, Vol.7, No.2, pp.227–237 (2002).
4) Ishii., H. and Umller, B.: Tangible Bits: Towards Seamless Interfaces between People, Bits
and Atoms, Proceedings of the SIGCHI Conference on Human Factors in Computing Systems,
ACM, pp.234–241 (1997).
5) Bimber, O. and Rasker, R.: Spatial Augmented
Reality, A K Peters Ltd (2004).
6) Shen, C., Vernier, F. D., Forlines, C. andRingel, M.: DiamondSpin: An Extensible
Toolkit for Around-the-Table Interaction, Proceedings of the SIGCHI Conference on Human
Factors in Computing Systems, ACM Press,
pp.167–174 (2004).
7) Rekimoto, J.: SmartSkin: An Intrastructure
for Freehand Manipulation on Interactive Surfaces, Proceedings of the SIGCHI Conferenceon Human Factors in Computing Systems,
ACM Press, pp.113–120 (2002).
8) Cotting, D. and Gross, M.: Interactive Visual
Workspaces with Dynamic Foveal Areas andAdaptive Composite Interfaces, Proceedings ofEurographics 2007, pp.685–694 (2007).
9) Wllner, P.: Interacting with Paper on the DigitalDesk, Communication ACM, Vol.36, No.7,
pp.87–96 (1993).
10) Wilson, A.: PlayAnywhere: A Compact Table-

top Computer Vision System, Symposium
on User Interface Software and Technology(UIST) (2005).
11) Koike, H., Sato, Y., andHiroaki Tobita, Y.K.
and Kobayashi, M.: Interactive Textbook andInteractive Venn Diagram: Natural and Intuitive Interfaces on Augmented Desk System, Proceedings of the SIGCHI Conference on
Human Factors in Computing Systems, ACM
Press (2000).
12) Ryokai, K., Marti, S. and Ishii, H.: I/O Brush:
Drawing with Everyday Objects as Ink, Proceedings of the SIGCHI Conference on Human
Factors in Computing Systems, ACM Press(2004).
13) 岩井大輔，佐藤宏介：ThermoPainter: 熱画像を用いたタブレット型入力装置とそのインタラクティ
ブ描画システム，情報処理学会論文誌， Vol.46,
No.7, pp.1582–1593 (2005).
14) Vogel, D. and Balakrishnan, R.: Distant Freehand Pointing and Clicking on Very Large,
Hight Resolution Displays, Proceedings of the
ACM Symposium on User Interface Software
and Technology, ACM Press, pp.33–42 (2005).
15) Rekimoto, J.: Pick-and-Drop: A Direct Manipulation Technique for Multiple Computer
Environments, Proceedings of the ACM symposium on User Interface Software and Technology, ACM Press, pp.31–39 (1997).
16) Agarawala, A. and Balakrishnan, R.: Keepin’
It Reeal: Pushing the Desktop Metaphor with
Physics, Piles and the Pen, Proceedings of the
ACM Conference on Human Factors in Computing Systems, ACM Press, pp. 1283–1292(2006).
17) Malik, S., Ranjan, A. and Balakrishnan, R.:
Interacting with Large Displays from a Distance with Vision-Tracked Multi-Finger Gestural Input, Proceedings of the ACM Symposium on User Interface Software and Technology, ACM Press, pp.43–52 (2005).
18) 山本豪志朗，佐藤宏介：PALMbit: 掌への光投影を利用した身体インタフェース，映像情報メディア学会誌， Vol.61, No.6, pp.797–804 (2007).
19) Xu, H., Iwai, D., Hiura, S. and Sato, K.: User
Interface by Virtual Shadow Projection, SICEICASE International Join Conference 2006,
SA14-1, A0897, SICE (2006).
20) Tang, A., Neustaedter, C. and Greenberg,
S.: VideoArms: Embodiments for Mixed Presence Groupware, Proceedings of the BCS-HCI
British HCI 2006 Group Conference (2006).