雪の記憶：マルチモーダルな雪の仮想体験システム
原祥子†

大島登志一†

本研究では，マルチモーダルなインタフェースによって冬の憧憬を想起させるような雪の仮想体
験システムを構築する．雪との触れ合いは，冷たさなど特に感覚的な記憶に残る体験であり，雪の仮想体験には感覚的なインタフェースが重要であると考えた．本作品では，雪の体験を感覚の観点から分析して，視覚（映像体験）・触覚（冷温感覚）・身体性（全身を使った動作）に着目した．これらの体験を実現するために，指先に装着した小型ペルチェ素子を PWM 方式で制御する「指先冷感デバイス」と，床面のクッション型スクリーンを雪原に見立て，ビジョンベースでユーザの動作を観測し，手を振ると雪が降り，クッションに倒れこむとシルエットが残るインタフェース「雪原クッション」を開発した．雪国出身者も，あまり雪に触れたことのない人でも，雪をイメージして楽しめる体感的なコンテンツを目指した．

Memories of Snow: Multi-modal Interaction with Virtual Snow
SHOKO HARA†TOSHIKAZU OHSHIMA†

This paper describes about an interactive virtual snow system with multi-modal interface which reminds usof memories of winter and/or snow. Thermal interface is especially significant for the interaction becausesnow is characterized by dynamic phenomena in cold environment. We focus on three experiences which
include visual appearance of snow crystals, thermal experience of snow, and lying down on a snow field. Thesystem includes two interfaces for the experiences; one is a finger-tip chilling device, and the other is a snow
field interface. The users can interact with the virtual snow field by moving their hands over the field; virtual
snowflakes fall on the screen. The users can also interact with the field by lying down on the field; thesilhouette is left on the field.

1.

はじめに

図 2 では，そのほかに雪原を眺望する広視野立体表
示機能を含む本作品の全景を示す．本稿では，インタ

本研究は，マルチモーダルなインタフェースによっラクション 2011 でのインタラクティブ発表の展示形て，あまり雪に触れたことのない人でも，冬の憧憬を態に基づき，広視野立体表示部を除いて，体験のデザ想起させるような雪の仮想体験システムを構築しよう

インとシステムの実装について述べる．とするものである．日本の情景の美しさの大きな特徴として四季が挙げられる．四季の中でも，雪国出身の筆者にとっては冬が最も印象深い．幼尐の冬，新雪の中に倒れてみたり，冷たいのも構わず素手で触ったりするなど、特に感覚的な体験が記憶に残っている．そのため、雪の仮想体験には感覚的なインタフェースが

図1

マルチモーダルな雪の仮想体験重要であると考えた．
本作品では，雪の体験を感覚の観点から分析して，
図 1 に示すように，視覚（映像体験）・触覚（冷温感覚）・身体性（全身を使った動作）に着目した．それらを実現するために「指先冷感デバイス」と，床面のクッション型スクリーンを雪原に見立て，それに倒れこむインタフェース「雪原クッション」を開発し，雪を体験するコンテンツを実装した．

† 立命館大学映像学部
College of Image Arts and Sciences, Ritsumeikan University

図2

本システムの全景（広視野立体表示版）

情報処理学会 インタラクション 2011

2.

関連研究

冬や雪などをモチーフとした作品事例として，
Qinglian Guo ら 1) は，仮想的に結露した窓を指でなぞって絵を描くこ と がで きる シ ス テ ムを 開 発 した ．
Alvin W. Law ら2)

は、歩くと雪や薄氷の感触を振動でCV 用 USB カメラ

指先冷感デバイス

床面用超短焦点
プロジェクタ感じ、足跡が残る Multi-modal Floor を構築した．温度感覚を用いた事例としては，串山ら 3) の映像と連動

雪原クッション

してインタラクティブに冷たさや熱さを感じることができるタッチパネル Thermoesthesia や，鳴海ら 4) の耳に装着したデバイスで冷温感覚の提示により行動誘導する Thermotaxis などがある．また，岩中ら 5) のThermo Enhancer では、外界の温度変化を強調して提示し，人間の温度感覚の仮想的な増強を試みた．

図 3 本システムの構成

本研究は，感覚の敏感な指先に小型ペルチェ素子を装着して、空中で自由に手を動かした状態で冷感提示を行えることと、身体全体を使ったインタラクションに特徴がある．

3.

体験のデザインとシステム概要

図 3 に本システムの装置構成外観を示す．
ユーザは、両手の人差し指と中指に「指先冷感デバイス」を装着する．
「雪原クッション」は 60 インチ程のスクリーンを兼ねており，横に設置した超短焦点プロジェクタによって映像を投影する．また，クッション上部には、ユーザ観測用 USB カメラがとりつけて

図 4 機能ブロック図あり，ユーザの動きを観測する．
図 4 に本システムの構成と機能を示す．本システム
でユーザは下記 3 つのインタラクションを体験できる．
A. クッション（床面スクリーン）上で手を振ると，クッションの上に雪を降らせることができる（図 5）．
B. 雪原に見立てたクッションに倒れこむと，クッションの上にユーザのシルエットが残る．シルエットは次第に薄れ消えていく（図 6）．
C. 機能 A にて雪を降らせるとき，指先冷感デバイスによって冷たい感触が得られる．指先冷感デバイスを装着するのは一人であるが，他の機能はクッションを囲んで 2～3 名程度が同時に体験することができる．

図 6 機能 B: 倒れこんでシルエットを残す

図 5 機能 A: 手を振り雪を降らせる

雪の記憶：マルチモーダルな雪の仮想体験システム

4.

インタフェースの実装

4.1 ペルチェ素子による指先冷感デバイス
温度感覚で雪を体感するインタフェースとして「指先冷感デバイス」を開発した．本システムでは，冷感の効果を高めるためと，手を空中で動かす状態でも冷温を感じられるよう，図 7 に示すように，感覚の鋭敏な指先に 14mm 角の小型ペルチェ素子を直接装着する方式を採った．ペルチェ素子とは，電流を流すと片面が冷却され，もう一方の面が放熱する電子素子である．冷却面の温度を効率良く下げるため放熱面にヒートシンクを取り付けている．
ペルチェ素子の温度は，コンピュータからリレースイッチにより PWM 方式（Pulse Width Modulation; パルス幅変調）で制御する．簡易化のため冷却部の温度計測は行わず，単純なオープンループ制御としている．
図 8 に通電のタイミングチャートを示す．
後述する手の動作計測において冷感制御の ON/OFFを判定し，共有メモリ経由でリレースイッチ PWM 制
御プログラムに送る．リレースイッチ PWM 制御プロ
グラムでは，冷感制御 ON/OFF に対応して通電期間のパルス幅を変更する．冷感制御が OFF 状態でも，放熱面の熱が冷却面に「逆流」してくるのを防ぐため，短いパルス幅で断続的に通電している．
図 9 画像処理のフローチャート

4.2 手の動作計測と雪を降らせる床面表示
USB カメラを雪原クッション上の天井に設置し，ユーザの状況を観測する．取得した画像を OpenCVによって画像処理し，ユーザの手の動作を認識する．
図 9 に画像処理アルゴリズムを示す．図 9 のフローチ
ャートには「雪を降らせる」機能と後述の「シルエットを描く」機能の両方が含まれる．
取得した画像からオプティカルフローを算出し，閾値以上のベクトルを観測したとき，ユーザが手を振っていると判定し，雪の結晶を描画する．雪の結晶は出現後，次第に薄くなり一定時間経過後に消滅するよう
図 7 指先冷感デバイス

図 8 冷感制御のタイミングチャートにした．また，雪を降らせると同時に，前述の指先冷感デバイスの冷却制御を ON にする．

情報処理学会 インタラクション 2011

4.3 雪原クッションへのシルエット描画

謝辞

雪原クッションに倒れこんだユーザのシルエットをご多忙のところ度々有益なコメントをいただいた望描画する処理について説明する．図 9 のフローチャー

月茂徳准教授に深く感謝する．また，菊谷康太氏，伊トにおいて，取得した画像を 2 値化して 0 の領域が閾地知聖貴氏，阿部はるか氏ほか，本研究のディスカッ

値以上の面積を占めた場合，人がクッション上に倒れションに積極的に参加いただいた諸氏，および評価実ているとみなし，2 値画像をシルエットとして描画す験にご協力いただいた諸氏に感謝したい．

る．シルエットは出現後，次第に薄くなり一定時間経過後に消滅させる．

5.

まとめ

本研究では，雪の体験を感覚の観点から分析し，視覚・触覚（冷温感覚）・身体性（全身を使った動作）のインタラクションを実現した．ペルチェ素子を用いた「指先冷感デバイス」を開発することによって雪の冷たさを提示した．また床型プロジェクションと画像処理とによって，手を振ると雪が降り，身体を投げ出すとシルエットが残る「雪原クッション」インタフェースにより体験の身体性の実現を試みた．
このシステムで約 20 人に評価実験を行い，主観評価により雪の魅力や楽しさが表現できているかどうかを考察した（図 10）．
ペルチェ素子による冷温感覚の提示は，ほぼ成功していたといえるが，単純なオープンループ制御のため，ユーザの手の温度によっては，あまり冷温を感じられない場合もあり，温度センサを備えたフィードバック制御を検討する必要があると思われる．
人が倒れこむ雪原クッションの感触も重要な要素である．すなわち，雪であれば冷たく感じられるべきところ，クッションには特段の温度制御の機構は仕込んでおらず，暖かくて雪らしくないという感想もあった．
雪をテーマとしたインタラクティブ・コンテンツとして概ね良い評価が得られた．今回の結果を元にさらに楽しめるシステムへの改良に取り組みたい．

図 10 ユーザが体験している様子

参考文献1) Qinglian Guo: A digital window for watching snow
scenes, SIGGRAPH 2007, Art Gallary (2008).
2) Alvin W. Law, Benjamin V. Peck, Yon Visell, Paul G..
Kry, Jeremy R. Cooperstock: A multi-modal floorspace for experiencing material deformation
underfoot in virtual reality, IEEE International
Workshop on Haptic Audio Visual Environments andGames (2008).
3) Kumiko Kushiyama, Shinji Sasada: Thermoesthesia,Laval Virtual 2007, Art Gallery (2007).
4) 鳴海拓志，赤川智洋，ソンヨンア，谷川智洋，
桐山孝司，廣瀬通孝：Thermotaxis: 冷温感覚の提示による行動誘導，日本バーチャルリアリテ
ィ学会論文誌，Vol.15, No.3, pp. 347 - 356 (2010).
5) Yuki Iwanaka, Kosuke Sato: ThermoEnhancer: AGlove Enhancing Thermoesthesia, World Haptics
Conference, HOD16 (2007).