情報処理学会 インタラクション 2019
IPSJ Interaction 2019

3B-32
2019/3/6

足裏への音圧刺激による雪上歩行感の表現
さっぽろ雪まつりアーカイブ山口唯†1

松永康佑†1

概要： さっぽろ雪まつりのデジタルアーカイブの臨場感を創出するため，聴覚，触覚表現を取り入れ，視覚との相乗効果を高める研究を行なった．雪まつりのコンテンツのひとつである雪上歩行をサウンド刺激で表現し，足裏へ知覚させることで，VR 空間での臨場感を創出する事ができた．

う.そこから聴覚や触覚を組み合わせたコンテンツ制作を

1. 背景おこない，視覚との相乗効果を高めること，また雪像だけ

さっぽろ雪まつりは，2 月上旬に札幌大通公園を中心に開でなく，祭りの雑踏や，雪道を歩くこと等の環境要素を取催される．雪像や氷像の屋外展示を中心としたイベントでりいれ，より臨場感を高める効果を創出することを目的とある．1950 年に始まり，近年では 200 万人を超える観客数する．

を動員し，2018 年の会期は 8 日間となっている.雪像は会期中の限られた期間にしか見ることができない.また，天候

3. 関連研究 先行研究の調査分析による変形や崩壊の危険性があるため，イベントの閉幕をさっぽろ雪まつりのアーカイブを制作するにあたって，待たずして，雪像を取り壊す場合がある.そのため容易に変必要な要素の分析を行い，そこから関連研究や，先行研究形し消滅していく地域の魅力資源をデジタルアーカイブ化の分析をおこなう．

し，保存・再現することで，資源の再利用を可能とし地域(1) さっぽろ雪まつりアーカイブに必要な要素の分析

活性化につながるコンテンツの可能性があると考える. こ2018 年に行われたさっぽろ雪まつりに行き，あらゆる視れまでに，松永らにより，さっぽろ雪まつりの立体的なデ点から要素の分析をおこなった．
図２のように視覚，聴覚，ジタルアーカイブとして，VR 技術を活用したコンテンツ触覚，冷覚，嗅覚の要素が見つけられた．

制作が行われた[1] .この研究では，雪像を三次元的に記録した VR コンテンツの作成が行われた.それにより，写真やビデオでは伝えきれないスケール感を感じさせることができた.しかし，さっぽろ雪まつりの追体験のコンテンツとしては，周囲の環境情報から得られる臨場感が伴わないため，魅力が失われているものであった.

図２

さっぽろ雪まつりの要素分析

そこから，視覚，聴覚，触覚に着目していく．
視覚では，雪像，観光客，降雪，積雪，屋台の表現をおこなう．また，実際に行った際の雑踏音が臨場感をかき立て
図１

松永らによるさっぽろ雪祭りアーカイブている要因と仮定し，聴覚要素として挿入していく．
また，雪まつりでは，歩いて雪像をみて回る．しかし，実

2. 目的
さっぽろ雪まつりのアーカイブに必要な要素の分析を行際の雪まつり会場では滑ったり，雪がとけていることがことから歩きにくい状態である．実際の歩きにくさを表現す
ることは雪像をみてまわるというコンテンツの没入感を阻†1 札幌市立大学© 2019 Information Processing Society of Japan836

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

3B-32
2019/3/6

害してしまうということを感じた．

4.2 サウンドを足裏に知覚する実験(2) 関連・参考文献

こなった．方法としては，フォトスキャンにて３D 化されVR 研究の中でも，疑似体験の臨場感を高めるために触覚た雪像を並べた VR 空間をヘッドマウントディスプレイでを感じさせる要素を取り入れ，視覚との相乗効果を高める

みて，コントローラーにて移動の操作をする．その際に片研究がおこなわれている．

栗粉ボックスでは，移動にあわせてボックス内で足踏みを増野らは，人間は日常生活において足で移動を行うことにする，スピーカーによる足裏装置では移動にあわせて雪の着目し，足を用いた仮想環境を移動するインタフェース制踏む音を左右交互に流しておこなう．

制作した二つの装置にて雪上感の体験の違いの比較をお作が行っている．それにより，手を用いたインタフェースと同等の操作性や没入感を感じることができる結果が得られた[2] ．
また，人間は歩行するとき足裏から床面の凹凸などの情報を得ている．久米らによる実験で，足裏に振動をあたえることにより移動や回転の情報を伝達できることが明らかになっている [3] ．
この研究で取り扱うさっぽろ雪まつりの体験コンテンツ
では，実際に歩き，雪像を見てまわることを想定している．
図5

雪まつりというコンテンツを３D 化した空間でも雪の上を足裏にサウンド刺激を与える実験の様子

歩いて移動する動作がでてくる．そこで，雪の上の感覚(以後，雪上感と表現する）を感じる足裏の触覚体験を表現す

実験の結果，片栗粉ボックスでは雪上感を感じることはでることでより没入感を体感できるのではないかと仮定する．

きた．しかし，自分で足踏みをしなければならないこと，またリアルすぎる感触が VR 空間とのギャップを生むこと

4. 足裏サウンド刺激による実験で違和感を感じた．スピーカによる足裏装置では，サウンドによる刺激振動がギュギュっとした雪上感に似ているこ

4.1 実験装置の制作とがわかった．また，足元からでることで直接歩いている

実験をおこなう上で，踏む感覚，踏んだ時の音の表現がで時の状態に近い感覚を得ることができた．

きる装置の制作が必要である．そこで，雪上感に類似する

実験結果より，以降の実験はスピーカー装置によるサウン

片栗粉を踏めるボックス，また刺激と音が同時にでるスピ

ド刺激を用いて雪上感を表現してく．

ーカーを足裏に当てる装置の制作をおこなった．
4.3 書式音の周波数波形データと足裏の知覚の関係性について雪の上を歩く音を他の音と比較し特徴や知覚の関係性を分析し，より雪上感に近いサウンド刺激にするため，音の成分である周波数解析データを調べる．また，周波数波形データとともに，足裏へサウンド刺激をあててその音の知覚度を比較した．
比較する音としては，実際の生活の中で足裏に感じる音と
図 3

片栗粉ボックス

雪上音，フリー音源と実際に録音した音，雪上音と周波数成分の類似する他の音の比較を行った．

図6

雪を踏む音(左)と片栗粉を踏む音(右)の周波数波形データの比較

それぞれの音の比較をし，足裏コンテンツに必要なことの図 4スピーカーによる足裏装置考察は以下の通りである．
l© 2019 Information Processing Society of Japan

雪の上を歩く⾳は，低い周波数成分が多いことから⾜837

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

ll

3B-32
2019/3/6

裏へそのままサウンド刺激を当てた際の知覚度が⾼足裏コンテンツには木材(20mm) ，コルク・EVA 樹脂のイい．

ンソール（3mm）を足元素材として使用していく．

雪の上を歩く⾳は，実際に録⾳した⾳に低い周波数成4.5 視覚，聴覚，触角刺激の組み合せによる比較実験分である環境⾳が多少⼊っていても知覚に差はあま今回制作するアーカイブでは視覚と聴覚，触覚による相互り関係ない．

作用によって，より臨場感が高めることができるのかとい雪を歩く⾳は，雪のぎゅぎゅとした⾳⾊，低い周波数うことがテーマの一つであるため，実際の雪の映像にて，成分の振動とともに，シャリシャリとした⾼い周波数

足裏サウンド刺激の相互性を確かめる実験をおこなう．

成分も⼊ることが必要である．

方法としては雪の上を歩く足元を人目線で撮影した動画をみながら，雪の上を歩く音，またそれ以外の音を流し，4.4 足元の素材の有無，素材ごとの知覚度について知覚の違いを確かめる実験をおこなった．

いままでの実験では，スピーカーの音がでるところに直接足裏を当てていた．しかし，音の出力の差や素材を挟むことでサウンド刺激の伝わり方の違いがありのではないかと仮定する．そこで様々な素材を用意し，スピーカーの上に直接置く，または少し離して置く方法の知覚の違いを比べる実験，また振動のみ，振動と音を同時に流すことの比較実験もおこなった． 素材は硬さの違いや，インソールに使図 8 雪の上を歩く動画をみながら比較実験している様子

われているようなものを使用，比較した．
実験の結果から，雪の上を歩く音は振動，音ともにより雪上感を感じることができた．また，他の音として使用した
落ち葉を踏む音も振動としては弱いが，視覚との相互作用により雪上感を感じた．雪を踏む音にも落ち葉を踏む音同様高い周波数成分が含まれていること，またしゃくしゃくとした音色が雪を踏む音と類似していると知覚されたことからこの結果がでたのではないかと考察した．
今回制作する足裏コンテンツの素材として，厚みのあるものを使う．それにより音がこもってしまうため，低い周波数成分が多い音がより聞き取りづらさを感じる．また低い周波数成分が多い音の音量を上げると振動が多くなり足裏へのこそばゆさが発生してしまう．
そこで，周波数が高く振動には影響しないが，映像との相図 7 素材を直接置いている状態(左足)素材を浮かしている状態(右足)

互作用により雪上感を感じる落ち葉の上を踏む音を雪の上を歩く音にプラスする．それにより音と振動の表現ができると仮定し，足裏コンテンツの制作を行う．

実験をおこなった結果，全体的に振動だけであると，高い周波数成分が多いものは感じにくいが，音と同時に流すと4.6 足裏コンテンツ制作まとめ振動を意識するということがわかった．
また，素材に厚さ，上記の実験をおこない，足裏コンテンツ制作におけるポイ

硬さがあるものは浮かせて使用すること，薄くやわらかなントは以下の通りである．

素材はスピーカーにそのまま当てると振動が知覚しやすい・サウンド刺激による雪上感を表現するということがわかった．

・音は雪を踏んだものを使うこと今回制作するさっぽろ雪まつりデジタルアーカイブはど・足裏と密着する素材は木材とコルク地の中敷を使用するの足のサイズの人でも体験できる仕様にしたい．また，実・音は左右交互に出力されるように編集際の歩行動作では立ち上がっている状態から足を動かす．

・素材により雪の音だけでは音がこもるため，高い周波数

そこで，少し音がこもるが，浮かせても振動と音を知覚し成分が多く，雪の感触でも感じるフリー音源の落ち葉を踏やすい木材(20mm)を足元の素材とする．また，実際は靴をむ音も追加し，音の聞こえを良くする．

履いた状態で足裏に刺激があたる．そこで，木材の上にコルク・EVA 樹脂のインソール（3mm）を置いてみたところ
振動と靴の触感の表現ができた．そのため，今回制作する© 2019 Information Processing Society of Japan838

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

3B-32
2019/3/6

6. おわりに本研究により制作したさっぽろ雪まつりアーカイブ体験
コンテンツにより，先行研究で行われていたものより臨場感を高めることができた．これは，視覚情報が増えたこともあるが，雑踏音や足裏の雪上感を足したことによる効果も影響していると考える．
図9

足裏サウンド装置の断面図

参考文献

5. さっぽろ雪まつりアーカイブ制作
さっぽろ雪まつりアーカイブにて必要な要素分析を行い、抽出した要素をそれぞれ表現し，アーカイブの制作をおこなった．
視覚要素として，実際に雪像を写真撮影し，フォトスキャ

松永康佑，三上拓哉. “さっぽろ雪まつりアーカイブ~VR 体験と比較評価~”感性フォーラム札幌 2016 年[2] 増野智経，斎藤豪，高橋祐樹，中嶋正之. “Waraji:仮想環境のための足を用いた入力インタフェース“ 映像情報メディア学会誌， 2000 年，54(6)，833-839[3] 久米祐一郎 白井暁彦 津田元久 畑田豊彦， “足裏への皮膚振動刺激による情報伝達“.日本バーチャルリアリティー学会論文誌， 1998 年，3(3)，83-88[1]

ンにて 3D 化し，unity にて配置をおこなった．また，先行研究にはない観光客，降雪，積雪，屋台表現をおこない視覚情報を増やした．
また，聴覚要素として実際に雪まつりでその場の雑踏音を録音，操作が始まる際にその雑踏音を流せるようにした．
これらを組み合わせ，雪上歩行感を感じることができる足裏コンテンツ制作をおこなった．上記の 4.6 で記載したポイントを踏まえた足裏サウンド装置を制作し，コントロー
ラーで移動する際に足裏へと音圧刺激を提示する仕組みとなっている．

図 10

制作したさっぽろ雪まつりデジタルアーカイブ

図 11

足裏サウンド装置とともに座って体験してる様子© 2019 Information Processing Society of Japan839