情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2D192022/2/21

触る体験を音にする楽器
Sand Jockey の提案
梶田大輔 1,a) 伊東天夢 1,b) 菅野由弘 1,c)
概要： 人間は五感を通じて物事を認識する．人々はそれらに相互作用があると考え，「視覚」と「聴覚」，「視覚」と「触覚」などの関連性について研究を行ってきた．今回は「触覚」と「聴覚」に着目し楽器を製作した．この楽器では砂を触る経験とそれによって奏でられる音を「触覚」と「聴覚」に対応させ，これらの間にクロスモーダル現象が起こりうる可能性について提案する．また，本稿ではその操作と実装方法について記述する．

1. はじめにクロスモーダル現象という言葉があるように，人間の五感には相互作用があると考えられている．例えば「視覚」と「聴覚」においては，言葉と同時に物が開閉すると喋ってい激と同時に認識できるようにすることでより豊かにするものがある[3]．この研究では触覚刺激も同時に受容することによって聴覚刺激が大きく感じられるということが判明している．
また，砂を使用したプロジェクトの例として，「Magic-Sand」るように錯覚する「腹話術効果」があり[1]，「視覚」と「触が挙げられる[4]．このプロジェクトでは砂を盛ったら山に覚」においては，引っ張るという動作を見たときに実際に力なり，掘ると海になるというような地形変化をプロジェクを入れる感覚が現れる「疑似触覚」がある[2]．このように，ションマッピングにて表現している．ユーザーが触れた砂異なる刺激をそれぞれの感覚器官が受容することにより，場に等高線やヒートマップを映すこの作品は子供から大人その情報処理が変容することがあるのである．

まで楽しめるコンテンツである．

ここで，「触覚」と「聴覚」に関しても同じようなクロスモーダル現象が存在するのではないかと考えた．
「聴覚」に対してそれが起きるのであれば新しい音体験を作り出すこ

3. システム概要とができると考えた．また，多くの楽器は触って演奏をする

本システムは，砂の深度と動きを入力として操作を行う．と考えたとき，「触覚」が新しい演奏体験を提供するのではそれらを読み取るための入力装置に Intel Realsense D435 を，ないかと考えた．これらの相互作用が証明できれば，新たな入力データを処理し音に変換するための開発エディターに表現として人々に今までにない価値観を提供する可能性がTouchDesigner を使用した．
（図 1,2）あると考えたため本研究をするに至った．
本研究では，「触覚」と「聴覚」の関連性に着目した楽器を製作した．今回，これらに関するクロスモーダル現象を強く生じ得る物質として砂を用いた．砂は多くの人々が幼少の頃より触れることの多い物質であり，ユーザーが触るという体験をよりイメージしやすいと考えたためである．したがって，砂を触るという行為とそれによって発せられる音の関連性についての提案が本研究の目的である．

2. 関連研究
触覚と聴覚に着目した研究としては，聴覚刺激を触覚刺
1a)
b)
c)

図 1 操作部（Sandbox）

早稲田大学理工学術院
Faculty of Science and Engineering, Waseda University,
3-4-1, Okubo, Shinjuku, Tokyo 169-8555,Japan
kjt@asagi.waseda.jp
takama_i@ruri.waseda.jp
ykanno@waseda.jp© 2022 Information Processing Society of Japan337

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

図 2 装置全体図

2D192022/2/21

図 3 全体の流れ

3.1 プログラム概要
TouchDesigner では図 3 のように全体のノードを組んだ．
Realsense で読み込んだ Depth データと Color データに対して画像処理を行い（Adjustment），0~1 の間で数値化を行う（Data Table）．そして，そのデータを用いて，入力された音を変化させていく（Effector）．
Adjustment 内（図 4）では，入力された画像のトリミングを行う．その後，Depth 画像データは深度画像の明度調整を行う．また，Color 画像データではユーザーの手と頭を検出し，単色化を行う．

図 4 Adjustment 内部

Data Table 内（図 5）では，Adjustment で処理された画像をそれぞれ数値化する．Depth 画像は数値化を行った後（ Depth Data ）， 平 面 の 状 態 で の 深 度 マ ッ プ を 保 存 す る（Calibration Data）．Depth Data から Calibration Data の値を減算することによって，平面の状態で全てが 0 となる新しいデータテーブルを作成することができる（Data Table）．
また，Color 画像は数値化だけ行う（Hand Data）．この数値の座標を用いることにより，操作時に手や頭の深度データを除外する，砂を触っているかの検知を行う．
また，Effector と Audio Out の間に Schroeder -Reverb を基本とした Reverb（図 6）を実装した[5]．これにより，どの程度の空間レベルが砂の触覚との一体感を得られるのかをユ

図 5 Data Table 内部ーザーに依存して決定できるようにした．
3.2 エフェクター一覧
以下に実装した 3 つのエフェクターについて記述する．
これらのエフェクターはモードチェンジによって独立して機能する．
また，音源は基本のホワイトノイズの他，YouTube やSpotify 等の音源に対応可能である．
3.2.1 Mt. Scale EQ
このエフェクターは，砂の高さを利用したイコライザー

図 6 Reverb 内部である．ユーザーから向かって左側を Low-Pass，右側をHigh-Pass フィルターとし，砂の高さと山の位置から各周波数帯での音量レベルを決定する．音階に制限されず，自由な音程を連続的に作り出すことができる．
（図 7）© 2022 Information Processing Society of Japan338

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2D19
2022/2/21

3.2.2 LR Pan
このエフェクターは一番高い砂の山の位置を識別し，それに対応した位置に音をパンニングするエフェクターである．山がより左にある際は左に，右に山がある場合は右にパンニングを行う．これにより，どの方面から音が聞こえるかをユーザーに委ねることができる．
（図 8）3.2.3 Spill Sand
このエフェクターは，砂を持ち，零す動作を音に変換するエフェクターである．砂を持ちあげる際に，手に乗っている砂が他よりも高い位置にあることを利用し，一定の高さ以

図 7 Mt. Scale EQ

上にある砂の画像面積に応じて音量を変化させる．これにより，砂を零していくにつれ音量が減っていく，すなわち砂を零す動作を音量で表現した．（図 9）3.2.4 Rub Sand
このエフェクターは，砂を擦る動作を音に変換するエフェクターである．手が砂に触れている間の移動距離とその速さから，音程と音量，歪みレベルを決定する．これにより，砂のザラザラとした触感を音に変換している．
（図 10）

4. おわりに

図 8 LR Pan

本研究では，「触覚」と「聴覚」の関連性を調べるための装置として，砂を触る感覚を音として出力する楽器を製作した．開発エンジンにはリアルタイムのインタラクティブ操作を可能にするビジュアルプログラミング言語を使用し，砂の深度を数値化する処理を行った．また，人が砂を触るときにどのような操作を行うかを調べ，音に変換するためのシステムをエフェクターとして実装した．この際，使用した操作内容は「山を作る」「砂を零す」「砂を擦る」の 3 種類を基本とした．また，空間系エフェクターも作成して実装した．
今後の展望として，この楽器を用いた心理実験を行い，実図 9 Spill Sand

際にユーザーが触った感覚と聞こえる音にどれだけ親和性や関連性があるのかを調べることがあげられる．その際，より高い親和性を求めるために楽器を再調整することや，新しい操作を追求しそれに対応したエフェクターを作る，ホワイトノイズだけでなく他の音源を作成することや，砂そのものを音源に変換するなども視野に入れ，楽器としての発展を図ることも考えられる．

図 10 Rub Sand

© 2022 Information Processing Society of Japan339

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2D192022/2/21

参考文献[1]岡嶋克典：”視覚情報によって誘発されるクロスモーダル現象”
https://www.interactionipsj.org/proceedings/2020/data/interactive.html（参照 2021-1221）．
[2]臼井亮人：”視覚及び聴覚刺激による疑似力覚の呈示に関する研究”，早稲田大学．
[3]岡崎龍太：” 触覚刺激による聴覚強度知覚への影響”，電気通信大学[4]Art Teknica.："「すごいぞ！ボクの土木展」へ出品！".https://www.artteknika.com/sunaba.html（参照 2021-12-21）．
[5]Mads G. Christensen: “Introduction to Audio Processing”.

© 2022 Information Processing Society of Japan340