特集 VR と社会，コラボレーションの現場

JVRSJ Vol.15 No.3 September, 201021155

特集 ■ VR と社会，コラボレーションの現場

インタフェース研究と文学のコラボレーション：「火よ，さわれるの」の事例より

石井陽子

穂村弘

小林稔

ISHII YOKO

HOMURA HIROSHIKOBAYASHI MINORU

NTT サイバーソリューション研究所

歌人NTT サイバーソリューション研究所

中茂睦裕

NAKASHIGE MUTSUHIRO

NTT コミュニケーションズ

1．はじめに筆者らは，インタフェース研究の成果を活用し文学作品とのコラボレーションによりアート作品として創造することに取り組んだ．短歌作家と研究者という異分野の者の間で，何を目標とし，そしてそれに対してどのように取り組んだのか紹介したい．
2．
「火よ，さわれるの」

図 2 CYBERARTS’ 08

2.1 機器構成「火よ，さわれるの」は短歌を手のひらにプロジェクションするという手段を用いて短歌の閲覧を実現していユーザの頭上にはカメラとプロジェクタのユニットがるメディアアート作品である（図 1）．

設置されている．真下にいる人物の様子をカメラにより撮像し，その映像の中から手のひらの領域をリアルタイムに抽出する．抽出された手のひらの位置に向けてプロジェクタで映像を投影することで，ユーザは手のひらの上で映像を閲覧することが可能となる．
2.2 インタラクション
本作品ではスクロールする短歌と，その短歌を代表する漢字一文字を差し出された人の手のひらそれぞれへ表示する（図 3）．さらに，手のひらの映像を落とすような動作をすることで手のひらに表示された文字が消え，

図 1 「火よ， さわれるの」 ＊口絵にカラー版掲載

あたかも文字が落ちたかのように机面に文字を表示し変( 写真撮影 ： 太田拓実 )化させた（図 4）．
本 作 品 は 2007 年 12 月 15 日（ 土 ） 〜 2008 年 2 月17 日（日）の間，東京都写真美術館の「文学の触覚」
で ま ず 公 開 さ れ た． そ の 後，ArsElectronica に お い てInteractiveArt 部 門 の Honorary mention を 受 賞 し，2008
年 9 月 4 日〜 2008 年 10 月 12 日の間，オーストリアにあるリンツにて開催された「CYBERARTS’08」で展示を行った（図 2）

図 3 左 ： スクロールする短歌 右 ： 映像化した漢字一字21

22156

特集 VR と社会，コラボレーションの現場

日本バーチャルリアリティ学会誌第 15 巻 3 号 2010 年 9 月

本とした日本古来の定型の歌（詩）であり，その短い文字数の中に人の心の在り様を表現し詠まれて来た．読み
手は短歌自身に自分を重畳し，あるいは現在の心の様子や知識と比較する．そのためそれぞれの読み手により短歌の印象は多少なりとも違いを見せる．そこに着目し本作品では読み手の気持ちを増進させる方法の一つとして短歌を触覚として感じさせることに取り組んでいる．
本作品では手のひらの上でスクロールする文章を表示
図 4 机面に落ちた漢字する．手のひらは平面とはちがい，凹凸のある面である．

( 写真撮影 ： 太田拓実 )その面の上を短歌のセンテンスがスクロールすることで，2.3 短歌例

人の触覚を刺激している．これにより短歌自身が実体のあ以下に表示した短歌の中から代表的な説明を載せる．

るものであるかのように読み手の心に迫ることを狙っている．短歌の表示方法には複数行に分けて記載する分かち呼吸する色の不思議を見ていたら「火よ」と貴方は教え書きといった手法もあり，最も触覚を刺激しやすい表示手てくれる法を探り，縦一行の短歌をスクロールさせるという方法を用いている．映像化した漢字一字は手のひらで燃え上がる― 目の前で色たちが不思議な呼吸を続けている．黄，「火」や手のひらを這いまわる「美」といった形で映像化し，オレンジ，赤．その揺らぎをみつめているうちに，〈私〉それぞれの短歌の意味を強く人の心に印象付ける．の心はふっと吸い込まれそうになる．そのとき，声が聞
3.2 研究とアートこえる．
「火よ」と．そう，不思議な色の正体は「火」だったのだ．この歌の背後には，名づけることによって世界研究を行う上で研究者がメディアアート作品に携わるを存在させる女神のような異性への憧れがある．−

ことは今や珍しいことではない．これは，新しい技術に手のひらに表示される漢字一文字は「火」である．火より新たな表現を生み出す可能性を秘めているものが少とは，炎の形を示す象形文字である．火の字自体が短歌なくないからであると考える．その過程において，想いをで読まれた不思議な呼吸を続けている目の前の色に変化

最も具現化する形にはシステムの持つ機能の限界が必ずし，手のひらで展開する．

しも必須では無く，技術も取捨選択が行われ純化される．
2.2 インタラクションの節で紹介した動作以外にも研「美」が虫に見えるのことをユミちゃんとミナコの前で究の中では手を用いた動作を実現している．例えば，二いってはだめね

つの手のひらを上に向けたまま合わせる動作により，新たな映像を合わせた手のひらに投影することも本シス― うつくしさを意味する「美」．でも，〈私〉はこのテムは可能である．この動作は，ユーザが見つけ出した文字をみつめているうちに，そのかたちが何か似ている映像に対して積極的に働きかける動作として実現していことに気づいてしまう．虫！ 「美」って虫に似てる！

る．触覚というテーマ自身がぶれることや，じっくりとけれども，友達の「ユミちゃんとミナコ」の前で，この個人が閲覧する環境を実現するために多くの動作を盛り発見を口にすることはできない．彼女たちは名前のなか込まず，シンプルな動作のみで実現することを選択したに「美」をもっているからだ．−

ため本作品では手のひらを差し出し，落とすという動作

手のひらに表示される漢字一文字は「美」である．美のみを活用している．

があたかも虫のように手のひらを這い回り，そして落と
3.3 管理者を離れた運用

すとその場を逃げ出し消えてゆく．美しいはずの美が，嫌悪の対象となる虫として手のひらに映る．

美術館での展示の場合常に管理者がその場に立ち体験の状況を把握することは難しい．そのため，ハードウェ

3．展示実現に向けた課題

ア自身の耐久性の確認や性能を担保できる現場環境の確3.1 触覚を感じる短歌

保は当然ながら，会期中ロバストに動作可能なよう安定

短歌とは五七五七七と三十一字の韻律で詠むことを基動作するシステムを提供する必要がある．

22

特集 VR と社会，コラボレーションの現場

JVRSJ Vol.15 No.3 September, 2010

本作品では，安定動作するソフトウェアとしてシステ

23
157にしてしまったら，体験の質としては予測可能でむしろムを構築することにも十分に配慮を行っている．不特定一般的なものになっていたのではないか．

多数のユーザが利用することを想定した耐久試験の実施考えてみると，手のひらを開くとそこに言葉が降ってや万が一の事態にもシステムが自動で状況を判断し再起くる，ということ自体に啓示的な印象があった．人間は動を行うようなしくみを取り入れ展示を実現した．日々

いつどこで最初の言葉を得たのか．本作品の体験者は，のオペレーションについても起動・終了を電源ボタン押

自らが「そのひとり」になったような，そんな気持ちを下のみで実現し，トラブルシューティングなどのマニュ深い次元で味わうことになる．

アルを提供することでヒューマンエラーをできるだけ排以上のような認識及び言語特性に鑑みて，海外での展除した．これらすべての作業はコンピュータを用いたメ

示においても，アルファベットではなく敢えて日本語をディアアート作品を安定して提供するための基礎となる投影した．外国人の子供が，燃えあがる「火」を熱そう作業であり，会期中訪れる体験者全てが同一の体験をでに振り払うのは不思議に感動的な光景であった．

きるよう，作品を作品として保つために必須の取り組みであると考える．

4.2 研究者からみて4．展示に関する所感ることから，それぞれを理解することから取り組んだ．

4.1 短歌作家からみてシステムについて我々からデモをしたのはもちろんのこ

今回の取り組みでは，互いのバックグラウンドが異な手のひらの上に文字が投影される，という動作が本作と，文学に関して素人であった我々にとっては短歌の内品の軸になっている．そのため当然ながら，体験者が目容を正確に理解することが難しかったため，本作品で表を閉じていたら何も味わうことはできない．そして，手現する予定の短歌自身の意味を作家の方に直接解説してのひらに何が映っているのか，を感知するのはあくまで頂くという場を設けた．そこから文字を映像化し，インも視覚にも拘わらず，実際に目を開けて体験するとき，タラクションや映像を表示するタイミング，音，など一

それは視覚というよりもむしろ触覚的な体験に思える，つ一つ互いに確認しつつ，作業を進めていった．という点が印象深かった．

「美」が這いまわるとくすぐったい，「火」が暖かい．こ

体験者が燃えあがる「火」の文字を思わず振り払ったれらは本システムを体験した多くの人が語る感想でありり，うねうねと脚を動かしながら這い回る「美」の文字

本作品の狙った触覚，さらには暖かさという温覚ととれにくすぐったそうにしていることからも，その「視覚 →る感覚を表現できたことを物語っている．表示されている触覚」という感覚の転換を窺い知ることができた．

映像に対して親近感がわくといった感想も多く聞かれた．

そこから思い至ったのは，文字の起源との関わりにつ研究という面で考えると元々本システムは公共空間でのいてである．象形文字である「火」は，もともと燃えあ

情報提示システムとして構築しており [1]，情報閲覧・操作がる火のかたちを記号化したものだが，本作品は，それの利便性を向上させることを目的とし構築したシステムをもう一度，体感できる「火」に戻す試みという側面をである．
「火よ，さわれるの」は複数人が個人で閲覧するもつ．これを言霊の実体化と捉えることもできるのでは情報提示システムとしての特徴を活用してはいるものの，ないだろうか．ちなみに「美」も象形文字だが，こちら手のひらに映像が投影されるという体験自身の特徴に特はもともとは羊のかたちから来ているらしい．それを虫化させ触覚を感じる短歌というテーマに取り組んだ．体に転じてしまったことになる．言霊の暴走だ．

験者の様子からもその取り組みは成功したと考えている．

なお，技術的には「火」や「美」の文字を，それぞれ本システムはこうした積極的な外部との実験実施

完全にアニメーション的な映像にまで変化させることもから，手のひらに映像を届ける体験を提供するシステ可能だったわけだが，本作品では敢えて，「火」というムとして，2008 年 6 月より NTT アイティ（株）より文字が燃えている，「美」という文字が這い回る，といtenoripop という名称で商用化がスタートしている．

う次元に留めてある．

そこでの展示においてもコラボレーションによる成果

このことが，言霊の顕現に今まさに立ち会っている，を垣間見ることができる．その例を少し紹介したい．という感覚を高める効果を上げていたと思う．加えて，独創的な研究により「白川文字学」を確立した白川静それが自らの手のひらで起こることが祝祭的な印象をさ博士の漢字の世界を体験できるシステムが，乃村工藝社らに強めていた．仮に，それらを完全なアニメーションと共同で制作した福井県立こども歴史文化館「漢字ファ23

24
158

特集 VR と社会，コラボレーションの現場

日本バーチャルリアリティ学会誌第 15 巻 3 号 2010 年 9 月

ンタジア」である（図 5）．手をかざすことで漢字の偏[3] 橿原市昆虫館
http://www.city.kashihara.nara.jp/insect/や旁などが表示され，正しいもの同士を組み合わせることで，手のひら上で博士の解明した漢字の成り立ちがアニメーションで展開される．

【略歴】
石井陽子（ISHII Yoko）
NTT サイバーソリューション研究所
2004 年電気通信大学大学院情報システム学研究科修士課
程修了．同年日本電信電話（株）入社．2009 年電気通信大学大学院情報システム学研究科博士課程修了．現在，

図 5 漢字ファンタジア

NTT サイバーソリューション研究所勤務．主に，ヒュー奈良県橿原市昆虫館では，ジオラマ内で手をかざすとマンインタフェースに関する研究に従事．2008 年 Ars

そこにあたかも本物の昆虫たちを捕まえたように手のひElectronica InteractiveArt 部 門 Honorary Mention 受 賞． 情らにカブトムシやクワガタ，クモ，蝶等の虫が投影され報処理学会，電子情報通信学会，各会員．博士（工学）．

動き出す体験を提供している（図 6）[3]．
穂村弘（HOMURA Hiroshi）

歌人
上智大学文学部英文学科卒．1990 年に歌集『シンジケート』でデビュー．短歌の他に詩，評論，エッセイ，絵本翻訳などを手がける．2008 年に『短歌の友人』で第 19回伊藤整文学賞，「楽しい一日」で第 44 回短歌研究賞，「『火よ，さわれるの』」で ArsElectronica InteractiveArt 部
門 Honorary Mention を受賞．著書に『ラインマーカーズ』『世界音痴』『本当はちがうんだ日記』『絶叫委員会』『ぼ図 6 橿原市昆虫館

くの宝物絵本』などがある．
いずれのシステムともターゲットは子供がメインであ稔（KOBAYASHI Minoru）

り，手のひらに映像が投影されるという特殊な体験から小林興味をひき出すことを狙っている．技術自身が想定してNTT サイバーソリューション研究所

いる分野とは多少の異なりを見せつつも広がりを続ける

1990 年慶応義塾大学大学院（計測工学専攻）修士課程

現在の状況において，今後も様々な可能性を認めつつシ修了．同年日本電信電話（株）入社．1996 年米国マサステムを広く提供していきたいと考える．

チューセッツ工科大学大学院修士課程修了．現在，NTT主幹研究員

サイバーソリューション研究所主幹研究員．主に，映像
5．おわりにを用いたコミュニケーションメディア，インタフェース

本稿では，研究と文学とのコラボレーションによる成の研究に従事．電子情報通信学会，情報処理学会，日本

果の一例として，「火よ，さわれるの」の紹介から，取バーチャルリアリティ学会，画像電子学会，可視化情報

り組みの概要と，短歌作家，研究者の視線からの所感に学会，ACM，IEEE Computer Society，各会員．博士（工学）．

ついて述べた．
中茂睦裕（NAKASHIGE Mutsuhiro）
参考文献

NTT コミュニケーションズ株式会社[1] 石井陽子，小林稔，中茂睦裕，小池英樹：手のひら

2000 年岡山県立大学情報系工学研究科修士課程修了，

インタフェース：画像処理を用いた公共空間における2005 年東京大学大学院工学系研究科博士課程修了．同

パーソナルな情報提示システム，情報処理学会論文誌

年日本電信電話（株）入社．現在，NTT コミュニケーショ

Vol.49，No.7, pp.2528-2538（2008）

ンズ（株）勤務．主に，ヒューマンインタフェースに関[2] 福井県立こども歴史文化館

主査

する研究に従事．ヒューマンインタフェース学会，日本

http://info.pref.fukui.jp/koreki/

バーチャルリアリティ学会，会員．博士（工学）．

24