芸術科学会論文誌 Vol.2 No.4 pp.116-122

Beings – Haptic artwork with SmartTool 渡邊淳司*

板垣貴裕*

野嶋琢也**

稲見昌彦***

舘暲*Junji WATANABE*, Takahiro ITAGAKI*, Takuya NOJIMA**, Masahiko INAMI***, Susumu TACHI**

東京大学大学院 情報理工学系研究科 (junji, itagaki, tachi)@star.t.u‑tokyo.ac.jp

Graduate School of Information Science and Technology, The University of Tokyo** 宇宙航空研究開発機構

tnojima@computer.org

Japan Aerospace Exploration Agency*** 電気通信大学 知能機械工学科

inami@computer.org

Department of Mechanical Engineering and Intelligent Systems, The University ofElectro‑Communications

概要

見える物体は触ることができる．普段我々は，見えているものに何気なく手を伸ばし，触っているが，それはあたりまえの行為なのであろうか．我々にとって，何かがが存在するということは，そこに物質が存在し触覚を感じられることなのか，それとも，見えるということなのであろうか．本作品ではそれぞれの感覚における 存在”がテーマであり，体験者が画面の中で走り回る小人を触ることで，視覚と触覚による存在感の違いを感じることをねらいとした．小人は見える小人と影だけの小人の 2 種類の小人が存在し，見える小人は視覚では知覚することはできるが，触覚によっては感じられない．一方，見えない小人は触ることによってその物質性は確認することはできるが，見ることはできない．彼らはそれぞれ，人間の知覚との関係性が一部失われた世界に存在している．

Abstract − What we can see is what we can touch. Though we unconsciously approach visible
things, is it natural action? Which is the essential feature of existence, what we can touch or
see ? In our art work visible and invisible lilliputs are muddling. We can see the visible lilliputs,
but can not touch them. We can not see the invisible lilliputs but can touch them. They areliving in the area where modalities of human senses are partly separated. Theme of this art
work is “existence” of each modalities.
キーワード:

力覚提示， モダリティ間の融合， インタフェイス

Keywords :Force display,Intermodality,Interface

1．作品概要物体が存在すれば，それを見て，手を伸ばして触り，叩けば音を聞くことができる．このように我々は 1 つの物体を様々な感覚から知覚することが可能であり，それらを合わせることによってひとつの物体イメージを作り上げている．そして，この感覚を統合してひとつのイメージを創り出すという作業は，日常生活においては無意識にのうちに行われるため，我々がこの過程に気付くことはほとんどない．

図 1：作品展示の様子

116

芸術科学会論文誌 Vol.2 No.4 pp.116-122

本作品ではこの感覚統合によるイメージ創出の過程に注目し，普段の生活ではありえない感覚の組み合わせを体感してもらうことによって，体験者に自分の感覚が行っている複雑な過程を再認識し，そこから我々が普段何気なく感じている，何かが 存在する ということの意味を問いかけることをねらいとした(展示の様子を図 1 に示す)．
作品では，図 2 のような力覚提示装置を利用して体験者に見えているのに触れない小人(図 3 のように視覚的には存在するが，触覚的に存在しない)，見えな

図 2：力覚提示装置

いのに触ることはできる小人(図 4 のように視覚的には存在しないが，触覚的に存在する)を触ってもらい，視覚もしくは触覚のどちらかの感覚だけで小人の存在を感じてもらった．そうすることによって，何かがが 存在する ということは，見えるということなのか，それとも，そこに物質が存在し触覚を感じられることなのか，ということを体験者に問いかけた．体験者は作品の中で感覚間の食い違いを感じることによって，感覚の統合過程を再認識する．
図 3：身体の見える小人

2．アートにおける力覚
2．1 力覚を使ったインタラクション
近年，体験者の運動に合わせて映像や音楽が変化するインタラクティブアートやメディアアートと呼ばれる作品が多く制作されるようになった[1][2]．その作品の多くは，体験者が何かを触る，動かすことによって，それに合わせて映像や音楽が生じるというものである．
しかし，これまで，体験者の働きかけに対して力覚，つまりは反力を返すという形のインタラクションを行う作品は近年，散見されるようになったものの[3]，その図 4：身体の見えない小人数は少ない．

覚を提示する外部固定型[4]，支点を人間に固定する
身体固定型[5]，回転モーメントを利用した非固定型

2．2 力覚提示装置の使用[6][7]の方式が提案されている．これらの方式の中で，一方，アートではなくバーチャルリアリティの分野に本作品では触るというメタファに近い外部固定型の力

おいては，様々なタイプの力覚提示装置が提案され

覚 提 示 装 置 で あ る SmartTool[8] を 使 用 し た ．ている．PHANToM のような外部に装置を固定して力SmartTool については 3.4 節にて詳細に述べる.

117

芸術科学会論文誌 Vol.2 No.4 pp.116-122

3． Beings
3．1 作品のコンセプト
本作品では感覚から得られる情報の統合と 存在の意味をテーマとした．私たちの世界にある物体は，そこに物質として存在するとともに，可視光を反射することにより，視覚的にその存在を明らかにしている．
普段我々は何気なく見えているものに手を伸ばして触っているが，見えるものを触ることで何かの存在を確かめているようにも思える.我々にとって,何かがが存

図 5：タイトル画面

在するということは，見えるということなのか．それとも,そこに物質が存在し触覚を感じられることなのであろうか．日常生活の中で，見えるけど音のしない物体，見えるけど匂いのしない物体は多く存在するのに，何故触れられるのに見えない，音がするのに見えない物体には驚きがあるのであろうか．また，見えるけれども触れないもの，例えば，ホログラフィーにはどの程度の存在感を感じるであろうか．そして一方で，見えないけれど触れるものには存在感を感じることができるであろうか．実際にはそのような物質は存在しないが，バーチャルリアリティの技術を利用すれば，これまでに無い物体を作りだし，それを体験することが可能

図 6：コメント画面である．本作品において力覚提示装置は，体験者に小人が走って入ってくる．このとき入ってくる小人には新たな体験をもたらす重要な技術であり，本作品は,灰色の身体が見えるものと，身体は見えず黒い影だ

作品コンセプトをバーチャルリアリティ技術をうまく利けが見えるものの 2 種類の小人がいる．体験者は力用して実現したものといえる．

覚提示装置を使ってこれらの小人を触ることができる．

また，作品の形態として，作品をただ眺めるだけで

ただし，このとき身体が見える小人を触ったときには，はなく，ゲーム性を持たせた．体験者が働きかけるこ

力覚は感じられずに小人が転び，衝突音のみが聞ことによって，小人が転び，力覚が返ってくるようなインえてくる．一方，身体は見えずに影だけが見える小人

タラクティブな要素を持たせ，体験者の側から作品のを触ったときには，衝突時のみ小人の身体が現れ，意味を探索してもらった．

体験者は衝突音とともに力覚（反力）を感じることができる．現れる小人の数やタイミングはあらかじめプロ

3．2 体験者のストーリーグラムされており，1 人から徐々に数が増えていき，最体験者は作品の前に立ち，ヘッドフォンをつける．

終的には 6 人の小人が画面内に同時に現れる．体験

体験者が図 5 にあるようなタイトル画面を力覚提示装

時間は 1 分 30 秒で，小人が画面から消えると体験者置で触ることによって作品はスタートする．作品がスに対して図 6 のようなコメントが提示される．コメントはタートすると図 3 にあるように真っ白な画面の中に体験者の触った小人の数によって変化し，感覚間の118

芸術科学会論文誌 Vol.2 No.4 pp.116-122

関係性をイメージさせる以下のようなものを選んだ．

SmartTool によって体験者に力覚を返した（③）．力の・ 木目模様のアルミ

大きさは衝突のスピードによらず一定とし，力の方向・ 雲の抱き心地は衝突と反対方向とした．

・ 空気の鼓動・ 雨上がりの匂い？
コメントと触った小人の数の関係性は，見えている小人に多く触った体験者に対しては「木目模様のアルミ」等の視覚イメージが想像されるコメントを提示した．一方，見えない小人を多く触った体験者に対しては視覚以外の感覚イメージが想起されるようなコメントを提示した．例えば，「雲の抱き心地」のようなコメントでは視覚から触覚，「空気の鼓動」では視覚から聴覚，「雨上がりの匂い？」では視覚から臭覚が想像されることを意図した．

図 7：作品のシステム全体図

3．3 作品システム
作品のシステム全体図を図 7 に示す．システムは大きく分けて力覚提示装置 SmartTool と制御用 PC，映像出力用液晶ディスプレイの 3 つによって構成されている（図中，黄色の丸）．また，SmartTool 先端にはスタイラスが搭載されており，体験者は図 7 のようにそのスタイラスを通じて小人を触る．図 7 の矢印は情報の流れを表し，白い矢印は PC への入力，赤い矢印はPC からの出力を表している．作品においては，まず，

図 8：SmartTool

力覚提示装置 SmartTool 先端部のスタイラス位置及

3．4 力覚提示装置 SmartTool

び姿勢情報がエンコーダによって取得され， PC へ送SmartTool（図 8）は人が作業を行う際に，その作業られる（①）．PC はプログラム内部に持つ小人の位置，に必要な情報を，力覚を通じて作業者に提示すること状態（走行中，転倒中）を参照し，小人の次の状態をで，実世界に於ける作業を直接的に支援することを目決定する．小人と SmartTool の位置関係を計算し，ス的としたシステムである[8]．例えば，このシステムをタイラスが小人と接触した場合には小人のグラフィッ利用することで，手術の際に体内の血管の場所を計

クスを走行状態から転倒状態に変化させて液晶ディ測し，メスなどの手術道具がその血管を傷つけそうにスプレイに出力する．接触が無い場合には走行状態なったら適切な反力を発生させ，血管があたかも固いを維持しながら小人の位置を変化させる（②）．ただし，壁で覆われているような感覚を作業者に与えることが走行，転倒のグラフィックスはあらかじめ作られており，できる．これにより術者に対して血管の位置を教える

グラフィックスの描画には DirectX9.0 が利用されていと同時に，ここで生成された反力により道具が実際にる．また，先端部が小人と接触した場合には血管を傷つけるのを防ぐことが可能となる．

119

芸術科学会論文誌 Vol.2 No.4 pp.116-122

使用者の持つスタイラス先端は PHANToM[4]と同使用したのは，デザイン性もあるが第一の理由は，ス様 6 自由度の動作自由度を持ち，並進方向にのみ力タイラスの先端部には何も装着されていないにもかかを発生させることができる．SmartTool では実際に作わらず，あたかも先端部分から反力が帰ってきている業を行いつつ力覚提示を行う必要があるため，従来ように感じられるため，見えないものを実際に触ってのようにスタイラスの先端ではなく，スタイラスの後ろいる感覚を引き起こしやすいという点にあった．もし，側から作業部位を迂回するようにリンク機構が取り付

スタイラス先端にまでリンク機構があると，リンク機構けられている．これにより実際の作業で必要とされるが見えることで，自分は力覚提示装置を使っていると先端部分の空間が解放されるとともに，力覚提示装いうことを再認識させてしまい，体験者の見えないも置の制御点，つまり力を感じる点がスタイラス先端とのを触って力が返ってくるという驚きを損なうものと考一致させることが可能となった[8]．そのため，例えばえられたからである．

スタイラスをメス等必要な道具に交換した上で実際に本作品では， re-cognition においてテーマとなっ作業を行い，実際に対象と接触が生じているスタイラ

た，見えないけれども触ることができるということと，見ス先端部分から現実の力と一緒にバーチャルな力をえるけれども触れないということのモダリティの違いを感じることが可能となる．さらに必要に応じてスタイラコンセプトにして制作した．力覚提示装置としてス先端部に実時間センサを搭載することで，作業部位

SmartToolを使用した理由は re-cognition のときと同周辺の常に変化する環境に関する情報も力覚を通じ様に，体験者にとっての触るという行為により多くのリて提示することが可能となる．

アリティを与えるためである．

これまでの研究では，Nojima らがスタイラスの先端部に電気伝導度を計測するセンサを取り付け，図 9 のように通常では触ることのできない水と油の境界を触ることができるアプリケーションや，図 10 のような卵の白身部分だけ切り取るアプリケーションを実現した[8][9]．これらは通常では触ることのできない情報（水と油の境界や黄身と白身の境界）を可触化することに

図9

SmartToolの使用例(文献[9]より改変)
油と水の境界を触るアプリケーション

よって作業支援を行っている．また，これらのアプリケーションは Nojima らによって Siggraph2001 にて展示された[10]．
これまで SmartTool を使ったアート作品として，2003
年 3 月，東京都写真美術館にて行われた「インフォメー シ ョ ン ア ー ト の 想 像 力 展 」 [11] に て 展 示 さ れ た
re-cognition がある[12]．この作品は SmartTool を使って見えない物体を触るというコンセプトで作られたものであり，図 11 のような見えない状態の物体を触るとその物体の形に合った反力が返ってくるとともに，音が聞こえてくるという作品である．図 12 は物体が見図10えている状態である．この作品において SmartTool をSmartToolの使用例(文献[9]より改変)
卵の白身部分だけを切るアプリケーション

120

芸術科学会論文誌 Vol.2 No.4 pp.116-122

しれない．また，小人に走る，転ぶ以外のアクション，例えば，耐える，謝る等のアクションがあるとよいという意見や，他にも形状の異なる小人がいてもよいという意見があった．

5．まとめ
本作品はバーチャルリアリティの力覚提示技術を利用して，視覚，触覚の存在感をテーマとして制作した．実際には存在しない，見えるけれど触れない，触れるけれど見えない小人を作りだし，体験者にこれま
図 11

でにない経験をしてもらった．

re‑cognition

物体が見えていない状態

謝辞
SmartTool を使用した前作品 re-cognition を制作するにあたって，コンピュータグラフィクスにおいて東京大学の波多野健介さんに非常にお世話になりました．この場を借りて感謝致します．

参 考 文 献[1] “Inter Communication 7 特集: インタラクティ
ブアート”, NTT 出版, 1993.
図 12

re‑cognition[2] 伊藤俊治: “電子美術論”, NTT 出版, 1999.
[3] しらいあきひこ, 上條慎太郎, 長谷川晶一,
佐藤誠
Dynamo: 触 覚 VR 開 発 環 境SPRINGHEAD を用いたアートワーク習作 ,http://diva-exhibition.art-science.org/(9/25 2003).

物体が見えている状態

4．作品の評価[4] SensAble Technologies: http://www.sensable.com(9/25 2003)

本作品 Beings は芸術科学会 DiVA 展（2003 年 5 月[5] 筧直之, 矢野博明, 斉藤允, 小木哲朗, 廣瀬通孝: “没入型仮想空間における力覚呈示デバイ
ス Haptic GEAR の開発とその評価”, 日本バーチャルリアリティ学会論文誌, Vol.5, No.4,pp.1113-1120, 2000.

19 日〜23 日）東京工業大学大岡山百人記念館において展示された(図 1)．体験した人の多くは，力覚を使った作品に触ることが初めてであり，返ってくる力覚自[6] 吉江将之, 矢野博明, 岩田洋夫: “ジャイロモーメントを用いた力覚提示装置”; 日本バーチャルリアリティ学会論文誌, Vol.7, No.3,
pp.329-337, 2002.

体に驚いていた．2 種類の小人についてはその力覚の有無に多くの人が気付き，何らかの問いかけをしてきた．
出てきた小人を触るという単純な行為自体が楽しいという感想が多く，小人という人間に似たものに対して，画面の上から，ある意味，神の視点から影響を与える[7] 安藤英由樹, 尾花和俊, 渡邊淳司, 杉本麻樹,
前田 太郎: “回転モーメントを利用した機械ブレーキ式力覚提示装置の開発”, ヒューマ
ンインタフェース学会論文誌 Vol. 5, No. 2,
pp. 29-36, 2003.
[8] 野嶋琢也, 関口大陸, 稲見昌彦, 舘暲: “力覚提示を利用した実時間実環境作業支援システ
ムの提案”，日本バーチャルリアリティ学会論文誌，Vol.7, No.2, pp.193-199, 2002.

ことが体験者に優越感に近い感情をもたらしたのかも121

芸術科学会論文誌 Vol.2 No.4 pp.116-122[9] Takuya NOJIMA, Masahiko INAMI, Ichiro
KAWABUCHI, Taro MAEDA, Kunihiko
MABUCHI, Susumu TACHI, “An interface fortouching the interface”, Conference Abstracts andApplications of SIGGRAPH 2001, p.125, 2001.
[10] 野嶋琢也: Nojima’s Page –the Smart Tool- ,http://www.star.t.u-tokyo.ac.jp/~tnojima/(9/252003).
＊本ホームページは東京大学舘研究室にてSmartTool の研究・開発を行った野嶋琢也さんのページであり，SmartTool を使ったアプリケーションのビデオ等も見ることができる．
[11] HumanMedia: インフォメーションアートの想 像 力 展 Imagination of Information art”,
http://www.humanmedia.co.jp/iia2003/exhibition/
14.html (9/25 2003).
[12] 渡邊淳司, 波多野健介, 野嶋琢也, 稲見昌彦,
舘 暲 : “re-cognition project”, http://www.star.
t.u-tokyo.ac.jp/~junji/re-cog/indexj.htm(9/252003).

122