情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1C-53
2023/3/1

図形の視覚的印象に基づいた音色生成によるインタラクティブな音楽体験の提案
林田航†

望月茂徳†

概要：インタラクティブな音楽インスタレーションは，入力インターフェースの開発と共に発展してきた．本研究では，言語学における音象徴の存在を下敷きに，図形の入力から取得した，凸性の欠陥や輪郭の頂点に占める鋭角の割合などの特徴量に基づき音色を決定するシステムを開発する．このシステムを用いた体験型作品を展示しアンケート調査を行ったところ，74.7%の体験者が図形と音色に関連性を感じることが出来た．

1. 背景と目的されており，一般に行われていると考えられる．
そういった音の響きを重視して，音作りをすることにお本研究は，インタラクティブな音楽インスタレーションいて，シンセサイザは重要な手段である．シンセサイザでの制作を行うことを目的とする．その手段として，図形のの音作りは音響技術の進歩と共に確立してきた．1960 年代

視覚的印象と音色の関連付けを提示する体験型インスタレにはアナログシンセサイザが楽器として一般に知られるよーション作品の制作，及びその実装のための入力インタフ

うになり，モーグ III で制作された W.カルロスの『スイッェース開発を行う．

チト・オン・バッハ』，富田勲の『雪は踊っている(Snowflakes

1.1

インタラクティブな音楽インスタレーション

are Dancing)』などのレコードがヒットを収めその地位を確

インタラクティブな音楽インスタレーションは，インタ立した．1980 年代に入ると音づくりにディジタル技術が使ラクティブ性を実装するために様々な入力インタフェースわれるようになり，現在では音づくりはコンピューターにによって開発されている．岩井俊夫による，トラックボー象徴されるディジタル機器を用いて行われている[6]．アンルで描いた線を使ってピアノが演奏される作品『映像装置ビエント・ミュージックの作曲家として著名なブライアン・としてのピアノ』[1]は，インタラクティブアートにおけるイーノは自身の楽曲制作について，「音作りこそが新しい音「操作の入力/体験の出力」が，音楽における「記譜/演奏」楽の独自性であり，それこそが作曲上の関心の中心となるに対応づけられている．これはインタラクティブな音楽イべきだと示したかった」と説明している[7]．

ンスタレーションの制作における基本的な考え方の一つで1.3あると言える．また，机に埋め込まれたインターフェース

音自体が印象を持っているという考えを音象徴(soundの操作によって演奏される音楽が変化する作品『テーブルsymbolism) ， ま た は 音 感 覚 性 (phonesthesia) と 言 う ．の上の音楽』[2]は，映像をインターフェースにプロジェク

Ramachandran と Hubbard によって命名された「ブーバ/キションマッピングすることにより，マーカーの直感的な操キ効果」の実験[8]は，2 つの図形(図 1)を見せ名前を選ばせ作を提示している．ponboks による，
『置く位置で高低の変るものであり，95%の被験者が左の直線で描かれた図形がわるひらがな楽器』[3]は再帰性反射材を使用した，赤外線キキであると回答している．この結果は，図形を構成するカメラによる入力を行っている．これにより投影映像の影線の方向の変化と，音韻的抑揚の類似によるものであると響を受けずに画像処理を可能にしている．

考察される[8]．

1.2

音象徴が視覚に与える影響

音色の生成について音楽の聴取において，音楽の構造よりもむしろ音の響きそのものに注目するという視点が存在している．ジョン・
ケージの『4 分 33 秒』は，演奏者がステージに上がり，4分 33 秒間何の音も出さずに演奏を終了するという作品である．この作品では，沈黙の中で聞こえる，生活空間を取り巻く音が，作曲された音楽の響きに劣らない価値を持っているということを示すことが試みられている[4]．佐々木

図 1

ブーバとキキ [8]から引用

は，音響派という日本の音楽ジャーナリズムの用語について，その前提には音の響きへの意識的なこだわりと，音を音象徴に関する実験では，多くが文字を使って言語音を「発すること/奏でること」から「聴くこと/耳を澄ますこと」視覚的に呈示する形で行われてきた．平田，浮田による実への重心の移動もしくは展開があるとしている[5]．これら

験[9]では，明度の違うひらがなの画面表示による刺激，スから，音楽の聴取において音の響きを意識することが喚起

トランビーニらによる実験[10]では紙に印刷した無意味語† 立命館大学映像学部© 2023 Information Processing Society of Japan348

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1C-53
2023/3/1のリストによる刺激が用いられた．このことを課題とした回使用した輪郭から得られる情報と，それらを反映させる

板垣と小林による実験[11]の結果からは，聴覚的刺激によ音の要素は表 1 に示した通りである．今回は，図形の重心っても音象徴が発生し，音象徴が視覚の大きさ判断に影響座標や面積といった基本的な情報に加え，図形の視覚的印を与えることが示唆される．

象を数値に起こすための「デコボコ度」，及び「ギザギザ度」という指標を独自に定義して制作を行った．本研究の目的

2. 作品『形象に傾聴する』の制作
2.1には，作品に用いたこれらの指標の妥当性を検討することも含まれる．

作品概要/体験の方法について

本研究では，音楽の聴取においても聴覚刺激による音象表 1 輪郭から得られる情報と反映させる音の要素徴のようなものが存在すると仮定し，図形の視覚的印象と音色の関連付けを提示するシステム開発を行った．具体的には，画像処理によって入力画像内の輪郭を検出し，その輪郭から得られる情報をソフトウェアシンセサイザのパラメータに代入することによって音を生成する.また検証方法としては，粘土を用いて卓上の操作用キャンバス(図 2)に図形を描画することによって，音楽と映像に変化が起こる

2.2.1 デコボコ度体験型作品として実装した．体験者は，キャンバスの描画

点集合について，点すべてを含む最小の凸多角形のこと

内容を変化させることによって，リアルタイムに音楽と映を，凸包と言う[12]．輪郭において凸性の欠陥とは，輪郭の像の変化を鑑賞することが出来る．

頂点について凸包を考える際に失われる，輪郭の内側への音楽は，周期的なリズムのドラムトラックと，操作によ凹みのことである．本研究ではデコボコした図形を判断すって変化する主旋律の，二つの要素から構成される．図形る指標として，輪郭の頂点における凸性の欠陥を採用し，が描画されているとき，予め設定したリズムで，図形の特その数を「デコボコ度」と定義する．

徴量から生成された音が演奏される．また，複数の図形が「デコボコ度」を音に反映させる考え方としては，凸性描画されているとき，それぞれの図形の特徴量から生成さの欠陥数に合わせて，用意した音色を切り替えるという方れた音が順番に演奏される．音の生成アルゴリズムについ法を採用した．異なる複雑さを演出した 3 種類の音色を制ては，2.2 にて詳細に記述する．

作し，これらを図 3 の通りに対応づけを行った．最も単純映像については，音声のタイミングに合わせて，描画しな音色は矩形波と正弦波の中間のもの，中程度に複雑な音た図形が光る映像が自動生成され，操作用キャンバスに投色はフィルターのレゾナンスによる倍音を付加したもの，影される．

最も複雑な音色は前述のフィルターの遮断周波数を時間的に変化させたものを使用した．

図 2 操作キャンバスへの操作の様子
2.2

音色合成のアルゴリズム

図 3
表 2

凸性の欠陥の例凸性の欠陥数と対応するオシレーター

本作品では画像処理によって入力画像内の輪郭を検出し，その輪郭から得られる情報をソフトウェアシンセサイザのパラメータに代入することによって音の生成を行っている．
画像からの輪郭の検出と情報の抽出には OpenCV4.5.2 を使用し，パラメータを渡すシンセサイザには NativeInstrument社の Massive を使用した．
輪郭から得られる情報には様々なものが考えられるが，今© 2023 Information Processing Society of Japan

2.2.2 ギザギザ度
本研究では，ギザギザした図形を判断する指標として，

349

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1C-53
2023/3/1

輪郭の頂点に占める鋭角の割合を採用し，「ギザギザ度」との出力は，小型のプロジェクターを用いて操作面に真上か定義する．輪郭に含まれるすべての頂点に対して，鋭角から投影する．これは，入力映像上の操作用キャンバスの歪否かを判断し，(鋭角数)/(頂点の全数)で鋭角の割合を算出みを抑え，また投影に写り込む体験者の影を削減するためする．

である．音声は 2 チャンネルステレオで出力するため，2 つ「ギザギザ度」を音色に反映させる考え方としては，上のスピーカーを操作用キャンバスの左右に設置した．

述の鋭角割合に比例して波形フォルマントを移調するという方法を採用した．フォルマントとは，波形をフーリエ級数展開することで得られるスペクトルエンベロープにおけるピークのことであり，倍音成分の含まれ方を表す[9]．
図 4 に共通のオシレーターにおけるギザギザ度が最小の場合(図 4a)とギザギザ度が最大の場合(図 4b)の合成波形のスペクトルエンベロープを示す．

図 6

図 4a

操作キャンバスの垂直真上のデバイス

ギザギザ度が最小の場合のスペクトル分布

図 4b ギザギザ度が最大の場合のスペクトル分布
2.3

作品全体のシステム構成

図 5 に，体験者が描画行為による入力を行い，映像及び音声のフィードバックが出力される一連の流れを示す．システムの開発はプログラミングソフトウェアである
TouchDesigner で行った．

図 7 映像の投影

図 5 作品全体のシステム構成
映像の入力と出力は操作キャンバスに対して垂直真上に固定したデバイスから行う．映像の入力には，赤外線カメラを使用した．これははっきりとしたエフェクトを投影しつつ粘土への操作にのみ動体検知を行うためである．映像© 2023 Information Processing Society of Japan350

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1C-53
2023/3/1

3. 展示

図 10

図形と再生される音色に関連性を感じたか

また，この設問に付け加えて，使用した図形の情報それぞれについて，どの程度図形と関連性を感じたか，感じなかった場合を 1，最も感じた場合を 6 として，6 段階評価で回答を求めた．結果は以下の図 11 に示す通りである．
図 8 作品の展示の様子
作品は，11 月 10 日に立命館大学以学館多目的ホールにて，対面型展示を行った．その際に回収した 82 件のアンケート結果を元に考察を行う．

4. 結果
4.1

音色と図形の結びつきを感じた経験はあるか

この設問は，体験者の経験から，一般的に音色と図形の形状の結びつきがどれくらい意識されているのか確かめることを意図して設定した．結果は以下の図 9 に示す通りである．

図 11
4.3

個別 6 段階評価

入力によって音色を操作していると感じたか

この設問は，インタラクションデザインの観点で，操作
図 9 音色と図形の結びつきを感じた経験はあるか性の評価を確かめるために設定した．
結果は以下の図 12 に示す通りである．

4.2

図形と再生される音色に関連性を感じたか

この設問は，作品によって図形の視覚的印象と音色の関連付けを提示できたか確めるために設定した．結果は以下の図 10 に示す通りである．

図 12© 2023 Information Processing Society of Japan

入力によって音色を操作していると感じたか

351

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

4.41C-53
2023/3/1

するシステムは，一定のリズムで図形から生成した音を鳴その他 意見や感想(自由記述)

この設問は，アンケートの設問に関わらず体験者の自由らすというものであった．入力による音の変化を，音楽へな意見を求めるために設定した．結果を分類し，以下に記の操作として捉えると，4.4 の発展案として挙がったよう述する．に，今回操作を加えなかったリズムに対する操作というアプローチについても考える余地が残されている．

体験の感想： もやもやしていた感覚が体験できて面白かった．

音楽を作れて楽しかった．

な体験で面白かった．
だと感じた．

新鮮

インタラクティブ

音と図形の対応関係が分かりやすかった．
改善点： 大きさ以外の違いが分からなかった． 「音価」はどちらかというと「音の鋭さ」に関係するものなのかなと感じた．

良い点： 直感的な操作性．

リアルタイムの映像投

影． どんな図形でも体験可能である． 変化するのが音程だけではない．
発展案： 図形の演奏される順番の操作．

もっと大きな面積で大人数でできるような形へのアップデート．

聴覚が不自由な方に対しても音楽を視覚的に伝えられる．

ライブパ

フォーマンス・幼児教育などへの応用．

5. 考察
4.2 の結果より，回答者の 74.4%が図形と音色に関連性を感じたと回答していることから，図形の視覚的印象と音色の関連付けを提示する音声合成アルゴリズムの開発という点で達成感があった．また，4.1 で「感じたことがない」「考えたことがない」と回答した人の全員が，「感じた」「少し感じた」と回答している．このことから，音色と図形の結参考文献[1]

岩井俊夫「映像装置としてのピアノ」(2022 年 12 月 16 日確認) https://www.ntticc.or.jp/pub/ic_mag/ic016/lyon/lyon_i6_j.html[2] 岩井俊夫「テーブルの上の音楽」(2022 年 12 月 16 日確認)
https://www.ntticc.or.jp/en/feature/1999/+/Works/conposition_j.html[3] ponboks「置く位置で高低の変わるひらがな楽器」(2022 年
12 月 16 日確認) https://ponboks.com/prototype/hiragana/[4] Paul Griffiths『Cage』Oxford University Press，1981(ポール・グリフィス，堀内宏公(訳)『ジョン・ケージの音楽』，青土社，2003)[5] 佐々木敦，『テクノイズ・マテリアリズム』，青土社，2001[6] 岩崎真，小泉宣夫『サウンドシンセシス』，講談社，2011[7] Brian Eno 『A Year With Swollen Appendices』Faber & Faber，
1996(ブライアン・イーノ，山形浩生(訳)『A YEAR』,株式会社 PARCO 事業局出版部，1998)[8] Ramachandran, V.S. & Hubbard, E.M.『Synaesthesia: A window
into perception, thought and language』，Journal of Consciousness
Studies 8 巻 12 号 pp.3–34，2001[9] 平田佐智子・浮田潤，『音韻象徴・音象徴と身体性―言語認
知過程研究をベースとした実験的アプローチの提案―』，関西学院大学人文論究 58 巻 2 号 pp.49-63，2008[10] ストランビーニ ニコーラ，備瀬優，矢野雅貴，坂本勉『大きさと関連する音象徴について』，2012 年度日本認知科学会
第 29 回大会発表論文集 pp.790-796，2012[11] 板垣沙知，小林耕太『Cross-modal Effect of an Aurally，Presented Phoneme on the Judgment of a Visual Object’s Size』，
同志社大学ハリス理化学研究報告 57 巻 4 号 pp.239-243，
2017[12] Jack Sklansky『Finding the convex hull of a simple polygon』，
Pattern Recognition Letters 1 巻 2 号 pp.79–83，1982

びつきを感じたことが無かった回答者の多くが作品を通して音色と図形の結びつきを感じることが出来たと考えられる．
また 4.2 の個別 6 段階評価ですべてのパラメータの評価について 6 と回答した人数が一番多く，5，4 と順に減っていく結果となった．また，2.2 で独自に定義した指標についても，デコボコ度で 86.4%，ギザギザ度で 92.3%が 4 以上の肯定的な評価を付けた．このことから，今回使用した図形の特徴量と反映させるパラメータの組み合わせにある程度の妥当性が考えられる．また，4.4 で改善点として，音の変化が分からなかったり，他のパラメータに変更した方がいいという指摘も見られたことから，今回定義した図形の特徴量と反映させるパラメータの組み合わせには，まだ検討の余地が残っている．
また 4.3 で「あまり感じなかった」「感じなかった」と回答した人が居なかったことから，インタラクションデザインという観点からは，直感的な体験を支えるインターフェース開発に成功したと言える．今回制作した，音色を再生© 2023 Information Processing Society of Japan352