画像電子学会
The Institute of Image Electronics
Engineers of Japan

年次大会予稿
Proceedings of the Media Computing Conference

音楽と映像のコラボレーション その現状と今後
Survey of a collaboration of music and visual presentation from business and research
aspects－ 究極快適空間の実現を目指して －－ Aiming to realize a ultimate comfortable space －金田 北洋†

斎藤 恵美子‡Kitahiro KANEDA†

Emiko SAITO‡†大阪府立大学 / キヤノン株式会社†Osaka Prefecture University / Canon Inc.

‡スタジオ TO2

‡Studio TO2

1. は じ め に人間は古来より空間快適性を求めるため様々な工と に よ り 全 体 を 印 象 的 な も の に す る こ と （ 協 合 現 象 ），を実験的に確認している．

夫を凝らしてきた．快適とはある空間に存在する人が生理学的な観点から人の本質を研究する，生理人類その空間から受けた複合刺激（視覚，聴覚，触覚など学においても，複合刺激が研究テーマとして取り上げが渾然一体となった外部刺激が）によりおこされた感られている．森川らは，森林浴由来の視覚・聴覚の複情 の 動 き・感 覚 と 言 え よ う ．人 間 社 会 の 形 成 に お い て ，合刺激がもたらす生理的影響について報告している

人の集まる空間及びその場に集う人々の感情の動きは[3]．こ こ で は ，森 林 と 都 市 の 動 画 と 音 声 を 組 み 合 わ せ重要なものと認識されていた．空間における「視覚」て提示した時（動画のみ，音声のみ，動画＋音声）の「聴覚」の構成により政治的，宗教的，思想的，道徳生理応答（血圧，脳血液量，唾液中アミラーゼ）の測的，様々な感情を引き出し，またそれにより快適な心定と主観評価を行なっている．結果として，森林映像理状態を導いてきた．多くの事例を俯瞰すると行政，の視覚聴覚刺激は都市のそれに比べ中枢神経が沈静化

および為政者，指導者は，人民の快適生活並びに幸福したリラックス状態にする，快適と評価された森林の追求のためにこの空間作りに力を費やしていたことが複合刺激を与えた場合，単独で与えた場合の反応を複

推 察 さ れ る [1]．音 楽 と 映 像 を 一 体 化 し た コ ラ ボ レ ー シ

合したような生理反応を示す，ことが分かった．すなョンを新しい芸術として捉えると，それには大きな効わち，快適な刺激を複合して与えた場合，生体の各器果が期待できよう．

官は協関して快適な状態を増幅させようとする一方，本論文では，快適空間の実現を目的とした音楽と映不快な刺激の場合，複合して与えることにより，スト像のコラボレーションに関して述べる．２章では複合レス状態が緩和されることを明らかにした．これは先刺激が人間にもたらす影響に関する研究動向，３章でに述べた岩宮らの実験結果とも一致するものである．

は音楽と映像を一体化した新しい芸術活動の紹介，４

心理学や生理人類学のアプローチとは異なり，音楽

章 で は そ れ ら を 踏 ま え て ，今 後 の 展 望 に つ い て 述 べ る ．

や絵画を創造する人間を，脳科学で説明しようとする試みも知られている．塚田はその著書で，脳はどのよ2. 複 合 刺 激 が 人 間 に も た ら す 影 響 の 研 究

うに情報を表現しているか，という観点から，神経細複合刺激が，人間の感覚にどのように影響をもたら胞からなる脳の階層構造，神経細胞のミクロ的処理とすのか，古くからの課題であるが，これを解くためにしての外界の時空間情報からの特徴抽出，神経回路網は様々な領域からのアプローチがある．

における記憶，学習メカニズム，に関して述べている

心理学の分野では，この問題は，異型感性相互作用[4]．こ こ で 注 目 し た い の は ，ペ ア ダ ン ス に お け る 加 算の問題として古くから取り組まれている．岩宮らは，的情報創成である．重畳的な美は二人の既存の美の足その相互作用，特に音と映像の相互作用をマルチモーし算に過ぎないが，創成の美は二人が既存の経験からダル・コミュニケーションと定義し，科学的手法を用新 た に 生 み 出 す 新 し い 美 の 創 成 で あ る ，と 語 っ て い る ．

い そ れ を 明 ら か に し て い る [2]．こ こ で は ，聴 覚 と 視 覚

神 経 細 胞 集 団 A と B は コ ミ ュ ニ ケ ー シ ョ ン に よ り ，両はお互いの劣化を補償するように機能すること，一方集団間にある因果律の論理構造により，新たな美を創の感覚がもう一方の刺激の印象に影響を及すこと（共成することが可能になるとも言っている．この解釈を鳴 現 象 ），あ る い は ，音 と 映 像 を 適 切 に 組 み 合 わ せ る こ

拡げると，脳内に伝搬する異なる刺激間においても過画像電子学会
The Institute of Image Electronics
Engineers of Japan

年次大会予稿
Proceedings of the Media Computing Conference

去の記憶により最適な因果律が出来上がっていると考するという姿勢を併せ持つ．２０１７年ザルツブルグ

えられないだろうか．私は心理学や生理人類学の結果音楽祭音楽監督に就任したヒンターホイザー氏自身もがこれを説明しているのではないかと考えている．

プロジェクションマッピングと共にシューベルト「冬の旅」を演奏し，話題となっている．図１から図３に

3. 音 楽 と 映 像 を 一 体 化 し た 芸 術 活 動
芸術において，音楽と映像のコラボレーションは決その他ヨーロッパで行われているプロジェクションマ
ッピングの例を挙げる．

して新しい概念ではない．しかしそれは，どちらか一方が他方を引き立てる関係であった．ここで紹介した
いのはそれら従来の芸術活動とは一線を画す，音楽と映像を完全に同期させた新しい表現である．コンピュータを駆使した高度なデジタル映像処理と伝統的な音楽の世界が融合し，今まさに新たな芸術が芽生えようとしているのである．
絵画の発達の歴史に同じようなことがおこっている．１７世紀青色を描くのにはラピスラズリ（瑠璃）を使用していたため多額の費用がかかり，フェルメー
ルは青色を描くため多大な借金に苦しんだ．他の画家たちはあの神秘的な青は使わなかった．しかし化学の発達により１８～１９世紀，青色を手に入れやすくな

図 １ ケ ン ブ リ ッ ジ の チ ャ リ テ ィ ー イ ベ ン ト [5]った画家たちは繊細な色を用いて筆を走らせた．ピカソ，ルノワール，ゴッホ，そして葛飾北斎もこの色の開発によって傑作を世に送り出したのである．２１世紀，最新鋭の映像機器は新たな深い芸術を描く絵筆を提供することになるのである．
２章で述べたように，複合刺激に関する，心理学，生理人類学や脳科学における研究から，音楽を単独で聞くよりも視覚，嗅覚，触覚からの複数刺激を共に与える事により，聞こえてくる音は良くも悪くも違ってくる．脳がすべての情報をまとめ，音という 1 つの情報として認識させているのである．この融合を上手に使用する事により，単独に音楽を聴く又は美術を見るよりはるかに大きな安らぎや創造力を人間に与えることになるのであろう．

図２ザルツブルグの大聖堂

し か し な が ら ，こ れ ま で の そ の よ う な 試 み ，例 え ば ，音楽会でのプロジェクションマッピングなど，は音楽と映像が一体化した芸術とは言い難いものも多い．音楽の内容と映像がひとつの楽譜に書き上げられ，それを共に演じるような新しい芸術に取り組みたいと考えている．
筆者らは，最新鋭のプロジェクターを組み合わせて，音楽と画像が綿密に関係し働き合う「音楽と映像の芸術 」（ 音 映 楽 と 仮 に 呼 ぶ ）に 関 す る 研 究 を 計 画 し て い る ．
２０１７年秋ごろより、東京、ライプツィヒ、ザルツ
ブルグ、ポーランド、パリなどで脳科学者の協力のもと、現地アーティストらの意見も取り入れ実験を企画
し て い る （ 詳 細 は 今 後 発 表 予 定 ）．
ザルツブルグは伝統を重んじる世界で最も権威のある音楽の地であるが，同時に新しい芸術を常に創作

図３ドナウエッシンゲン音楽祭（２０１６）での映像と音楽のコラボ

画像電子学会
The Institute of Image Electronics
Engineers of Japan

年次大会予稿
Proceedings of the Media Computing Conference

4. 今 後 の 展 望
快適空間を得ることは，現代社会において最も重要視すべき事柄で，それによって脳はストレスから解放され，うつ病，認知症，自閉症にも好結果をもたらす事が立証されつつある．又このアート空間を高齢者施設，病院，検査室にも取り入れを考えている．快適空間 で の 生 活 は 高 齢 者 に 前 向 き な 姿 勢 を 与 え ，ま た 検 査 ，治療にも精神的苦痛の減免を期待できよう．あるいは飛行機や電車，バスなどの長距離移動空間に適用することにより，快適な旅を楽しめることも期待出来る．
３章で述べた今後の実験的試みを通し，今後さらに脳科学者や生理学者を巻き込み，人々にどのような快適空間を提供できるか，そしてそれらによりどのような社会貢献ができるのか，を一緒に考えてゆきたい．
最後に，今から７７年前にアメリカで制作されたウォルトディズニー社の名作，ファンタジア，詳細は述
べないが，これを最初に観た感動は今でも忘れられない．これを超える音映楽は未だに現れていないのではなかろうか．偉大なる指標はすでに８０年前にあったのである．

文

献[1] 斎 藤 恵 美 子 ， 斎 藤 ア ン ジ ュ 玉 藻 ， “脳 と 感 性 に 響
く 音 楽 を 用 い た 空 間 快 適 性 ， ”2016 画 像 電 子 学 会
年 次 大 会 ， 予 稿 集 ,Jun.2016．
[2] 岩 宮 眞 一 郎 ，音 楽 と 映 像 の マ ル チ モ ー ダ ル ・ コ ミ
ュ ニ ケ ー シ ョ ン 改 訂 版 ，九 州 大 学 出 版 会 ，福 岡 市 ，
2011 年 ．
[3] 森 川 岳 ， 高 山 範 理 ， 香 川 隆 英 ，“ 森 林 お よ び 都 市
由 来 の 視 覚 ・ 聴 覚 刺 激 が 生 体 に 及 ぼ す 影 響 ，” 日本 森 林 学 会 学 術 講 演 集 ， Vol.121 ， pp.366 ， 2010年．
[4] 塚 田 稔 ，芸 術 脳 の 科 学 ，講 談 社 ，東 京 都 ，2015 年 ．
[5] http://www.boredpanda.com/digital-projection-kings-college-chapel-cambridge-miguel-chevalier/