情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1B-28
2023/3/1

音楽のインタラクティブな視覚表現～電子ピアノ演奏に対するリアルタイムな映像生成～
田嶋水美† 11伊藤謙一郎†1

概要：本稿では，電子ピアノの演奏に合わせてリアルタイムに映像が生成されるシステムのプロトタイプとその評価，また，プロトタイプをもとにしたデスクトップアプリ構築について述べる．本研究者は，映像と音楽には相乗効果があるのではないかと考えている．五感には様々なタイプの相互作用が認められており，視覚と聴覚の関係には共鳴現象や感受性の相互作用が示唆されている．また，近年の音楽におけるコンピュータの活用はインタラクティブアート分野でも盛んに行われている．本研究でのシステムはインタラクティブアートの側面を持っており，ピアノの特徴である，音域が広い点と，1 台で和音を出せる点に着目した映像を出力する．プロトタイプを使用した電子ピアノ演奏の実演では，本システムが演奏に対して「楽しさ」「印象深さ」「和音が切り替わっていることへの気づき」を提供できることが示唆された．

プロトタイプの実演では，任意のピアノ演奏に対して1. はじめに「楽しさ」「印象深さ」「和音が切り替わっていることへの本稿では，視覚と聴覚の関係について着目し，電子ピア気づき」を提供できると示唆された．また，「より音楽的なノの演奏に合わせてリアルタイムに映像が生成されるシス映像表現」と「演奏者による楽器演奏と演出制御の両立」

テムのプロトタイプとその評価，また，プロトタイプをもを可能にした．デスクトップアプリ構築では，プロトタイとにしたデスクトップアプリ構築について述べる．

プで実装した機能に加え，音名のリアルタイム表示を実装

本研究者は視覚と聴覚の関係について強い関心を持っした．ており，音楽と「合った」映像作品を制作してきた．
「合う」とは主観が多分に含まれているが，雰囲気・タイミングなどの何かしらのマッチした要素が多ければ多いほど，映像と音楽に相乗効果が発生するのではないかと考え，本研究に至った．

2. 先行研究・先行事例
音楽の可視化に関する先行研究と，実際に使用されている製品の事例を挙げる．

五感には様々なタイプの相互作用が認められており[1]，2.1 先行研究

視覚と聴覚の関係には共鳴現象や感受性の相互作用が示唆

音楽と映像に関する研究として，春口は「サウンドビジされている[2]．また，音楽におけるコンピュータの活用はュアライザー」というシステムを構築している．音楽と映1960 年代から主に作曲の分野で始まり，近年では作曲分野像の関係を「音楽付き映像型」から「音楽＋映像型」の関に留まらず，映像やパフォーマンスを含めたメディアアー係に持っていくという試みが行われた．このシステムをト，インタラクティブアート分野での活用も盛んに行われMIDI fair’94 で演奏家に実際に演奏してもらい，以下のよている[3]．

うな意見を得ている．

本研究では，音を視覚化する方法として，電子ピアノに(1)

演奏しているうちに，どのように演奏すると面白い画よる演奏に合わせ，音高やベロシティを反映した映像を出像が出るかを考えながら演奏するようになった．（モ

力するシステムを構築している（図 1）．特に，ピアノの特ダリティーの変化）徴である，音域が広い点と，1 台で和音を出せる点に着目(2)

演奏効果が視認できるので，教育にも有効であろう．

した映像となる．本システムは，リアルタイム性を重要視演奏という行為は，演奏者にとっては，種々の無意識し，インタラクティブアートの側面を持つ．

的制御を行って生まれてくるものであり，今まで気付かなかった演奏の表情を意識的に確認できるようになると，演奏上の制御を改良して，よりよい演奏を導くことになるから教育的効果がある．
(3)

図 1

システムの出力例

インプロビゼーションの環境として面白い[4]．

春口の研究では，並列的な描画アルゴリズムによる高速

1 東京工科大学大学院 バイオ・情報メディア研究科 メディアサイエンス専攻†© 2023 Information Processing Society of Japan241

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1B-28
2023/3/1

化により，リアルタイム・インタラクティブなインプロビローラーによる映像パターンの切り替」の 4 つの機能を実ゼーション環境の構築を実現した．また，音楽とグラフィ装した．

クスによる仮想現実空間に，演奏者を引き込むことに成功している[5]．MIDI を用いた音楽のリアルタイムによる可視化が有用であることを示した．
2.2 先行事例
また先行事例として，faithroom の「ピアノプロジェクシ

図 5

音高と映像の一致，ベロシティの反映ョン（図 2）」や動画制作の支援として配布されている「SeeMusic（図 3）」というソフトウェアなどが挙げられる．

図 2

ピアノプロジェクション

図 3

SeeMusic

faithroom は自身のブログで「SoundMage2」というプログ

図 6和音による映像の変化

ラムを公開[6]している．
「ピアノプロジェクション」という名の通り，プロジェクションマッピングする前提で作られており，レーザーを使った立体的な作品もいくつか見受け

4. プロトタイプ実演と評価
実際に電子ピアノによる演奏を行い，本システムを使用られた．
「SeeMusic」は電子楽器を接続したり，楽譜の MIDI デした場合と使用しない場合とで，鑑賞者と演奏者の演奏にータをインポートしたりすることで，それらを可視化でき対する感じ方に違いが生じるか調査した例を紹介する．

るというソフトウェア[7]である．動画投稿サイトで使用されている場面が見受けられる．いずれの事例も，MIDI を使用していることが共通点として挙げられる．

4.1 授業内でのアンケート評価
同一楽曲のピアノ演奏に対し，本システムを使用することで，作品に対する視聴者の満足感が変化するか調査すべ
く，アンケートを実施した．アンケートの対象は東京工科

3. プロトタイプ構築

大学での楽典に関する授業の履修者で，162 名から回答を3.1 設計得た．視聴者には，演奏風景のみの動画①（図 7）と，手元オリジナルシステムの設計は，電子ピアノと PC を MIDIインタフェースで接続するといったものである（図 4）．の映像とプロトタイプによって生成された映像を並べた動画②（図 8）を視聴した後，それぞれの動画に対するアンケートの回答を求めた．

図 4

接続図

3.2 システム概要
TouchDesigner で MIDI 信号を受け取り，その情報をもと

図 7

動画①

図 8

動画②に映像を出力している．ノートナンバー，ベロシティ，ノートオン/オフについて，それぞれのデータを分割，整理し，「総合的にどのくらい満足しているか」に対する回答で，オブジェクトやパーティクルの発生位置や大きさと対応さ「満足」「やや満足」を選んだ人数は，動画①では 120 名，せた．また，ピッチクラスを使用し，和音を識別している．

動画②では 143 名であった（図 9）．

3.3 出力結果
プロトタイプでは「音高と映像の一致」「ベロシティの反映」（図 5）「和音による映像の変化（図 6）」「フットコント© 2023 Information Processing Society of Japan242

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

図 9

1B-28
2023/3/1「総合的にどのくらい満足しているか」に対する回答の集計結果
図 12「システムを使用した演出について，総合的にどのくらい満足しているか」に対する回答の具体的な意見をまとめると以下の通りになる．
 動画①

集計結果

1. 演奏は良かったが映像としては面白味に欠ける
2. 動画投稿サイトでよく見る演奏動画のようだった

具体的な意見をまとめたものを以下に示す．

3. エフェクトによって演奏が見えづらい 演奏と連動していてきれいだった 照明に加えて華やかさが増した 動画②
1. 音が視覚化していて面白い
2. 耳だけでなく目も楽しめた「照明のみの演出とシステムを使用した演出ではどちら3. 曲と映像の個性がぶつかり合っていて，どちらに集をより見たいか」に対する回答で，「システムを使用した演出」「どちらかといえばシステムを使用した演出」を選んだ

中すればいいか分からない

人数は 15 名であった（図 13）．
4.2 音楽系部活動でのライブ演出としての使用例
プロトタイプを音楽ライブでの演出として使用した例について紹介する．東京工科大学内の音楽系部活動のライブにて，7 バンド中 1 バンド，ピアノデュオの演出に対し，既存の照明と共に VJ システムとして本システムを使用した（図 10）（図 11）．

図 13

「照明のみの演出とシステムを使用した演出ではどちらをより見たいか」に対する回答の集計結果

図 10

既存の照明

図 11

システムを使用した演出
具体的な意見をまとめると以下の通りになり，基本的にシステムを使用した演出を鑑賞した後，観客にアンケー
トへの回答を求めた．アンケートの対象者はライブに参加していた部のメンバーで，17 名から回答を得た．
「システムを使用した演出について，総合的にどのくらは照明との併用が好まれていた．
 照明だけでも綺麗だが，システムを使用することで華やかさが増す
 視覚的に楽しいい満足しているか」に対する回答で，「満足」「やや満足」を選んだ人数は 16 名であった（図 12）．

4.3 本研究者の試奏による所感
演奏者側の演奏に対する感じ方について，本研究者による演奏中のシステム使用や，動画制作の過程で得られた知見を説明する．
初めに，授業内で行ったデモンストレーションについて述べる．2021 年 7 月に東京工科大学内の少人数での音楽系の授業にて，本システムを使用したピアノ演奏を行った．
演奏者である本研究者の所感を以下に示す．
 演奏中の視覚的な楽しさはアップした© 2023 Information Processing Society of Japan243

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

 映像切り替えの際にフットコントローラーに気を取1B-28
2023/3/1

音名の表示（図 16）について，押した鍵盤の音名をリアルタイムに表示する機能である．

られる システムを使用するため，別途練習が必要
次に，本システムを使用した動画の制作について述べる．
動画制作を行った本研究者の所感は以下の通りである．
 動画投稿サイトでよく見る演奏動画とは異なった演

図 16

出となった

音名の表示

 動画編集も込みで映像作品として面白い 演奏を聴くための動画ではなく，新しいジャンルの映像作品を示唆している

6. 考察
プロトタイプでは，アンケート結果を通して，電子ピア

5. デスクトップアプリ
5.1 システム概要

ノの演奏に対する満足度を向上させることが示唆された．
動画視聴，ライブ演出ともに「動画・演出が楽しい」「印象に残る」「演奏と映像表現・演出がマッチしている」というシステムの設計はプロトタイプと同じで，環境は Unity点に関して高評価であった．

で構築している．MIDI 信号を受信するためのプラグイン

先行研究・事例と比較したときの新規性としては，「和音[8]を使用することで，Unity 上で電子ピアノの演奏情報をの識別が可能なことから，より音楽的な映像表現となる」

取得している．

「演奏者が楽器演奏と演出の両方を担うことができる」という 2 点が挙げられる．

5.2 出力結果

デスクトップアプリでは，映像としての美しさや 3D 表

プロトタイプと同じく「音高と映像の一致」「ベロシティ現が容易であることを鑑み，今後も Unity でのシステム構の反映」を実装し，新しい機能として「ノートナンバーの築を計画している．現時点で，プロトタイプで実装してい表示」を実装した．

た「和音による映像の変化」ができていないので，ノート音に合わせてボックスが発生するインタラクション（図ナンバーを利用した実装を考えている．

14）では，鍵盤が押された数だけ生成できるようになっている．音高に対して，Cube 発生の Y 座標と色が対応しており，ベロシティと Z 座標が対応し，強く弾けば画面手前側，弱く弾けば画面奥側に Cube が発生する仕様となって

7. おわりに
本稿では，視覚と聴覚の関係について着目し，電子ピアノの演奏に合わせてリアルタイムに映像が生成されるシス

いる．

テムのプロトタイプとその評価，また，プロトタイプをもとにしたデスクトップアプリ構築について述べた．
システム構築では，ピアノの特徴である音域の広さと，1 台で和音を出せることを表現した映像を生成させた．プ
ロトタイプの評価から，電子ピアノの演奏に対し，本シス
図 14Cube のインタラクション

テムを使用することで「楽しさ」「印象深さ」「和音が切り替わっていることへの気づき」を提供できることが示唆さ

花火のインタラクション（図 15）では，参考プログラム[9]をもとに，音高と X 座標，ベロシティと Y 座標が対応れた．
今後，被験者には演奏者としての体験や本研究者が演奏するようにした．花火の大きさ，色はどちらもランダムでに関与しない状態でシステム使用をしてもらい，フィードある．

バックとシステムの機能向上を図りたい．また，楽器演奏者と聴き手とを明確に分けず，観客一体型や観客自身がパフォーマンスの一部となるような新しい音楽表現の可能性も視野に研究を続けたい．

図 15

花火のインタラクション© 2023 Information Processing Society of Japan244

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1B-28
2023/3/1

参考文献
[1]
[2]

[3]

[4]
[5]
[6]
[7]
[8]
[9]

丸山欣哉. 視感覚と聴感覚とに現われる異系感性相互作用.
心理学研究, 1964, vol. 35, no. 4, p. 204-216.
岩宮眞一郎. オーディオ・ヴィジュアル・メディアによる音
楽聴取行動における視覚と聴覚の相互作用. 日本音響学会誌,
1992, vol. 48, no. 3, p. 146-153.
高橋渓太郎. 映像、音楽、パフォーマンスの、インタラクテ
ィブアートの考察. 情報処理学会研究報告音楽情報科学,
2008, vol. 2008, no. 89, p. 11-16.
春口巖. 音楽のリアルタイム・CG による可視化. 日本映像,
1995, vol. 54, p. 94-107, 121.
春口巖. 音と映像に関する考察‐サウンドビジュアライザー.
情報処理学会研究報告, 1994, vol. 94, no. 72, p. 25-30.
“SoundMage2”. http://soundmage.funnyfaith.net/, (参照 2022-1219).
“SeeMusic”. https://www.visualmusicdesign.com/, (参照 202212-19).
“Minis”. GitHub, https://github.com/keijiro/Minis, (参照 202212-19).
“VfxPyro”. GitHub, https://github.com/keijiro/VfxPyro, (参照2022-12-19).

© 2023 Information Processing Society of Japan245