标题：音乐可视化
简介
音乐可视化，是指一种以视觉为核心，以音乐为载体，以大众为诉求对象，借助多种新媒体技术等传播媒介，通过画面、影像来诠释音乐内容的、视听结合的大众化传播方式。[1]它能为理解、分析和比较音乐艺术作品形态的表现力和内外部结构提供的一种直观视觉呈现的技术。[2]
音乐可视化的大背景，是视觉工业时代的到来。视觉工业是以生产视觉产品、提供视觉服务为主要内容的产业形态。它以计算机图形技术为基本手段，以人造数字化影像为主要载体，以新媒体为主要传播渠道，以现代大工业生产方式为流程体系，以“一切信息可视化”为发展目标，是一种战略性新兴文化产业。大力发展视觉工业，是文化产业升级的重要支点。[3]
理论阐述
屏媒时代，音乐作品用视觉来欣赏在传统意义上，音乐属于耳朵，是用听觉体验美感的艺术。人们在欣赏音乐时，往往是在倾听的基础上，通过“音响感知与情绪感受”“形象联想与理性感悟”以及“音乐美的体验与感悟”等阶段，完成对音乐作品由感性到理性的审美体验过程。音乐具有形象思维的特点，在情感的伴随下，通过想象联想，获得音乐形象、生活情景以及意境等形象，音乐可视化变为现实。因此在上世纪三四十年代，迪斯尼凭借“可以听动画”“看古典音乐”的创造性思维将音乐与传统动画结合起来的探索，并将这种开创性的思维融进了1940年的《幻想曲》和2000年的《幻想曲2000》创作中，进一步实现着以动画诠释音乐情绪、将经典音乐和动画艺术融为一体。将音乐这门听觉艺术带入视听结合的新境界，《幻想曲》系列片可以说是一个开创性的举措，为音乐可视化奉献了一个绝佳的典型。
音乐可视化可为欣赏音乐艺术开通崭新的渠道，中科院自动化所科学艺术中心在成功创作了大量三维动画作品后，正式为新媒体产业化在音乐可视化中发力，2012年将推出巨型球幕影片《化蝶》，该片将用逼真的三维动画技术秉承视觉诠释听觉的艺术创作理念，对中国传统经典进行科学而艺术地全面解读。精心选取的极具代表性的中国音乐，无论是明亮的快板，还是低沉的雄壮都有力地展开表现出爱情的亘古悠长。动画师们通过三维动画的形式将音乐意象具体化，把诸多的音乐元素赋予了十分明确的表现意义。借助动画的表现，有助于欣赏者加深对作品内涵的理解和认识，并提供从经典音乐作品重升华新的情感感受的契机，使得视觉感知拓展、延伸了听觉艺术的美感范畴，为欣赏音乐开通了一条崭新的渠道。
同时，音乐可视化增强了“寓教于乐”的功效。艺术教育是激发人们求知兴趣，用艺术和美的方式契合人们对事物认知的心理。因此，激发儿童对音乐的兴趣，并深化为一种智慧和能力是音乐教育的主要目的之一。纯粹的音乐听力训练在激发兴趣阶段收效甚微，而音乐可视化的音乐教育则将无形的音符、旋律等音乐理论知识化为悦目的视觉形象，例如1940年的《幻想曲》中七段经典音乐的故事化处理，不仅增强了音乐作品的趣味性，又通过各种视觉元素将音乐主题、人生哲理或积极的生存观传达出来，在轻松愉快的氛围中陶冶儿童情操，潜移默化地提高接受者的音乐素养，在北美洲这部电影常常被用来做儿童对古典音乐的启蒙，尤其恐龙的一段特别受小观众的青睐，有些拥有该电影的影音产品的父母会吃惊地发现他们的孩子会哼唱斯特拉文斯基的音乐。近年来随着微电子、光电技术和软件技术的不断发展,视觉技术获得了突飞猛进的发展。例如三维动画中更高效、更精确的动作捕捉技术得到了广泛的研发和应用，由此而催生出一批画面效果惊艳、虚拟角色动作真实可信，感染力极强的视觉作品，与各种音乐类型展开声画结合，在音乐可视化的艺术化、真实化方面做到了新的高度。如Animusic公司出品的视觉音乐作品，用计算机制作概念乐器的演奏效果动画和各种高质量图形的虚拟3D音乐场景，其作品基于音符，由浅入深，趣味性十足地将复杂的和声、旋律等音乐意象直观地呈现出来。音乐文化用视觉来理解视觉与听觉是人类感知外部世界最重要的通道，是人类最自然最常见的行为，对人类认知世界的活动来说是不可替代的。通过各种视听感官认知外部世界，“观看”和“聆听”是最自然、最直接、也是最重要的手段。眼睛像镜头，耳朵如收音器，因此人类所接触到的是经过“视听媒介”的选择、过滤之后具有特定观看角度、聆听维度的拟态世界。古希腊哲学家们认为视觉与理性相连，听觉与灵魂相接，视听能够提供认识对象、认知世界的最多的客观信息，其认知特性是最可依赖的。人类的“看”和“听”不仅是自然生理行为，更是社会行为，是一种文化景观。这种文化景观是人与外部世界交流互动而创造出的意义。文化是人类社会的一种现象，是随着人类历史的发展而积淀的，具有民族性和时代性并凝结为精神产品的现象。在中国古籍中，文化的涵义是文治与教化，是对人的身体和精神两方面的培养。英国著名文化研究学者雷蒙·威廉斯认为文化既包含那些具备伟大传统的最优秀的思想和艺术经典，也包括人类整体的生活方式。因此，由于视听而诞生的文化景观无时不在、无处不在，文化的意义和价值不仅体现于艺术、体现于知识，更是体现于“视听结合”的日常行为。
作为文化大类中的音乐文化同样具有可视化的内涵，即音乐意象转化为视觉形象，音乐的感性听觉本位与感性视觉层面在新媒体技术层面获得了更高形态的融合，符合现代观赏者的身份认同和符号价值，而且，音乐可视化为音乐文化的传播提供了一个全新的演绎形式和体验途径，在可听性的基础上增加了可看性，并用深层契合的方式延长了音乐作品的艺术表现力；音乐可视化将会逐步成为一种风尚，一种时尚文化，渗透到人们的日常生活之中，从音乐文化的外部形态来看，音乐可视化讲究音乐元素与视觉元素的运动与构图、色彩与影调、场景与情感的相互辉映；而声学与影像的结合则主要是有机整合声光电，结合编导演等。用视觉来理解音乐文化的基点在于视觉因素，尤其是视像、影像因素；核心在于世界文化图景趋于视觉化这一文化走势；支点在于视觉文化的技术动力，当代新媒体技术、可视化技术的发展进步；落点在于普泛化的当代消费社会。大众传媒的飞速发展，催生了读图时代的到来，视觉化的大趋势意味着一种思维范式和读解世界方式的转变。信息技术和多媒体技术等视听结合媒介的普及，为音乐可视化的发展提供了条件，音乐可视化就是视觉化元素在音乐创作、演绎和体验上的深入，它将可以脱离音乐表演本身，根据音乐的内涵及创作者的想象来诠释音乐。用维特根斯坦的话说，“图像俘虏了我们，而我们无法逃脱它。”在未来，音乐文化的可视化将成为把握音乐美感的主流方式中的重要手段。音乐信息用视觉来传播声音和影像、听觉与视觉，在当代社会中，两者共同约定审美趋向，主宰大众文化的美学形态。视觉为人们看见和理解的音乐作品、音乐文化提供了诸多方便，人们将越来越依赖于读图，可以说，可视化将重塑我们的由印刷文化改造过的生活方式。同时，视觉文化以一种人们不易察觉的方式，在观看的同时提供着潜在的意识形态和特定的世界观。尽管音乐艺术本身并不依赖视觉，但却依赖音乐可视化这一理解音乐文化的趋势。视觉化也使人们的认知方式发生了重大改变。过去，音乐被理解为复杂而和谐的数学比例；现在，音乐被理解为美妙而深奥的灵韵；未来，音乐将被理解节奏化的图像，因为可视化已经成为一种世界的表征。马克思曾说过，“对于一双不辨韵律的耳朵来说，最美的音乐也毫无意义”，然而随着音乐可视化时代的到来，欣赏最美的音乐，不必完全依赖耳朵。音乐视觉化发展趋势表明，视觉和听觉二者在未来的互动中有着无限的发展空间。在现代科学技术发展过程中，人类的视、听、触等多种感官的融合，将把听觉艺术中极为复杂的人类精神表述以相对完满的具象显现出来，以完整而真实地演绎和体验人类的情感。
可以预见的是，音乐可视化的具体应用非常广泛，例如现场表演、会展现场等处装置音乐可视化系统，结合特种影像及定制的具有沉浸感的内容开发作品，可以给人以强烈视觉冲击；借助可视化乐谱和概念乐器演奏方式可以设计舞蹈动作以及虚拟表演；通过虚拟现实技术实现音乐形象的交互式展示，使用者可以通过音乐接口、人机交互界面来控制虚拟角色、虚拟场景以及增强现实的故事情节来娱乐；音乐可视化系统借助计算机编程和投影技术可以实现建筑投影、场景重现等方式产生色彩组合变幻、图案的变幻等；更如音乐爆竹烟花、音乐喷泉等公共艺术形式的表现形式的拓展，前者如虚拟烟花与音乐节奏的配合，后者可利用不同音色、振幅和节拍来控制水流、水柱的变化；更为重要的是，在音乐教育方面，音乐学习者可以通过可视化交互系统与虚拟乐器进行实时交互练习，学习的过程也变得趣味十足，学习效果随时检测等；在专业研究领域，更音乐可视化更是对音乐演奏分析、音乐曲式分析、音乐表演分析、音乐认知训练、音乐情感表达等多个专业范畴中提供便捷实用的路径。
美学价值
创作方式的延展：沉浸式艺术音乐可视化艺术创作并不是一种简单的电脑三维动画的制作，而是真正立体影像在沉浸式虚拟环境的营造。沉浸感，指观众在欣赏音乐可视化作品时自始至终都存在的身临其境的感觉，它是以参与者为中心的一种高层次体验。沉浸感，就如同演员对角色的沉浸，观众对场景的沉浸，忘却自己现实角色而融于音乐可视化作品中，成为作品内容的一部分。音乐可视化艺术所带来的对创作方式的延展，主要是将沉浸艺术和虚拟技术综合在一起，融合现代媒体形式，将图像、声音、影像等各方面综合为一体，给观众以包围感十足的视听觉沉浸式感受。在屏媒时代，音乐可视化主打的沉浸式艺术呈现方式将成为主流创作方式，图像媒介的未来是与沉浸相关的，使观众与外界环境隔离开来，通过人体的感官系统或其他认知系统，将视角从真实空间扩展或转移到幻觉空间中，使视觉占据主导并包围参与者感官系统，使其看起来更加真实。[4]
为了营造完美的沉浸式虚拟环境，对音乐作品的可视化转述就必然涉及到以下两个技术层面：“图形-计算系统”和“投影-屏显系统”。“图形-计算系统”是音乐可视化作品沉浸感产生的核心要素，它能够生成虚拟环境，同时结合实时输入的用户交互信息，使虚拟环境达到一定的沉浸感并维持其实时性，图形与计算系统还能够根据参与者的视点位置等交互信息、数据进行处理和计算，实现实时互动。沉浸系统通过逼真的人、景、物的3D重建将真实的人的动作、表情、姿态、声音等在虚拟环境中再现出来，并且在特定的声响系统配合下，将音乐作品的声响美感与奇观影像整合，从而达到身临其境的互动体验。其次，“投影-屏显系统”主要包括支持高分辨率影像的投影机以及投影屏幕。诠释音乐作品的立体影像将通过投影机投影到投影屏幕上，投影屏幕可根据应用的需要组合成各种不同最终投影，例如带有弧度的巨型环形屏幕，或直径几十米的大型球幕，或者各投影屏幕相互垂直构成的立方体屏幕等等。美国学者塞斯·基汀斯（Seth Giddillgs）2009年在其《新媒体:评论与介绍》中指出“电影正在从‘叙事电影’向‘景观电影’转变。”这意味着随着数字虚拟技术、立体影像技术在视觉艺术中的大量使用，影像创作在向“叙事的泛化”、“视觉的奇观”迈进。凭借着开拓性的产业发展理念和对当代主流艺术发展趋势的前瞻性把握，中科新视界团队逐渐探索出一条音乐可视化艺术创作的实践新路，将音乐可视化艺术创作向沉浸式的体验美学的方向延展，并进一步认为。与传统音乐欣赏模式相比，音乐可视化作品旨在提供给人一种更为沉浸式的审美愉悦，它不是传统音乐与三维影像的简单物理性叠加，而是藉由音乐可视化作品的视听元素与沉浸式虚拟环境共同演绎作品的主旨，换言之，通过技术手段的同构，音乐可视化的载体由屏幕进一步扩展为空间，空间既是音乐可视化作品的物理载体，同时也是音乐可视化作品的意义载体，是音乐可视化作品的一部分，而这种临场感和沉浸感的营造，在技术层面要归结为对沉浸艺术和虚拟技术的综合运用，它融合了现代媒体形式，将图像、声音、影像等各方面综合为一体，从而给观众以包围感十足的视听觉沉浸式感受。作品形态的多样：灵活的形式从传统音乐创作的角度而言，音乐的创作多是创作者内心情感的自然流露，在创作过程中，不会过多地被限定，自由运用各种体裁、风格、音乐元素，真实地表达自己的情感，结果则往往是一曲绝响。而音乐可视化艺术创作则重视对音乐作品的视觉载体之结构与表现元素的营造。数字虚拟技术创作的主导功能在于虚拟，但在实际创作之中，数字虚拟创作将复制、模仿、虚拟等不同类型的创作活动灵活地纳入统一结构之中。复制的现实、模仿的真实、虚拟的超真实三者在未来的音乐可视化艺术创作中水乳交融，难分彼此。正如波兰美学家塔塔尔凯维奇（Wladyslaw Tatarkicwicz）所认为的：“身为艺术家，他或是借着对于实在的模仿，使得实在免于湮没; 或是设法探索，找出自然的法则及其美; 或是从事创造，产生出前所未有的东西。”上个世纪的论断，在今天的音乐可视化艺术创作实践看来，也似乎提纲挈领。
音乐可视化艺术作品形式的灵活性，不仅体现在创作过程中，同时也是作品给观众、参与者欣赏方式的一次经验上的刷新。中科院自动化所科学艺术中心在探索音乐可视化艺术作品呈现的形态时所总结而出的经验是，诸如《化蝶》和《黄河》两部具有极强典型性的音乐可视化艺术作品的展示方式一定需围绕“可移动性”来设计，这种沉浸式体验的场馆具有移动性潜质，以实现在不同城市的轮回播映。场馆内部，也淋漓尽致地体现出结构的灵活，与巨型环幕、球幕共同致力于满足观众在球幕或环幕或两者兼具的放映体验过程中的沉浸感营造。
灵活的形式，同时包含第三层意义，即创作流程的灵活性。音乐可视化艺术作品的创作不再像传统音乐作品那样过多地强调个人灵感，而是致力于团队的协作和各种资源的整合。计算机数字虚拟技术为艺术创作打开了一扇新的窗户，实现了人机共舞。同时也需要人脑与电脑、不同工序环节之间的通力合作，体现在机器的快捷与艺术的精巧之间，体现在虚拟技术与艺术真实之间，这也是由来已久的“器用之辩”的当代版。更为重要的资源整合则是科学技术与人文艺术之间跨领域的融合，这既需要艺术创作的主导，更离不开技术手段的支持。只有通过创作主体、创作团队的完美配合，才能实现人脑和电脑相互叠加的倍增效果。美学风格的演进：新媒体美学处在现代这样大的技术转折时期，生活方式也相应地发生着变革，从根本上把握艺术的本质已经变得非常必要。音乐可视化艺术的跨界特性非常明显，仅从词语构成就可以看出来，它涉及到了音乐艺术、视觉艺术以及两者的艺术化融合。对音乐可视化艺术来说，从美学角度分析，同样可以有多个切入点。例如从音乐美学角度，可以着重研究音乐可视化作品中音乐形式和内容的关系，其表现力和表现方法等问题。从视觉美学角度，音乐可视化艺术可吸取更多的视觉艺术传统，比如南朝谢赫的“绘画六法”与西方由来已久的“透视画法”等都可以对音乐可视化艺术的创作提供丰富的美学滋养。所有这些传统的、既有的美学风格的推演都建基于艺术作品这一人类现实，然而就像文首提到的，数字化时代的生存方式最大的变化是比特的不可替代性。音乐可视化艺术既不同于传统音乐艺术，又不等同于传统的视觉艺术，由于数字新媒体技术发挥着居其间的桥梁作用，因此对音乐可视化艺术这本就是新鲜事物的美学研究也应当开辟新角度，这种演进我们权且称之为新媒体美学。新媒体美学建立在新媒体技术之上，但并非隔绝了美学史，相反是一脉相承。本文对新媒体美学的阐述将同对音乐可视化艺术的阐述双管齐下，从作品角度看，音乐可视化艺术与新媒体美学正是其一体两面。这一体两面使得音乐可视化艺术创作跳脱了其他既存艺术媒介、绘画、雕塑、摄影、平面电影所未能体现的画面空间，引出对画面中纵深感的全新表现途径。例如传统平面影像所用的虚化背景营造立体感的方法在立体影像时代显得非常不必要了；同时，人眼接受立体影像所需要的时间比分辨平面形象要长，因此传统影视的快节奏画面转换与蒙太奇美学将在立体影像中难以立足。它的美学重点转移到了沉浸式、交互感上了。
音乐可视化对于人类的音乐艺术文化，不仅是美学风格的演进，更是创作形态的本质推进。1923年，当德国人保尔·柏克（Paul Bekker）以一篇《新音乐》开创勋伯格（Arnold Schoenberg）的新音乐美学的时候，他们当年所宣称的“一种迥异于传统音乐的新音乐”是对人类所有传统音乐的挑战，他们大概没有想到，这个只囿于音乐专业创作领域、有特定意指对象的音乐术语在今天的意义更大于当年。“新音乐”，在今日看来，更应当是音乐作品表现方式的“新”。习惯于音乐厅现场的交响乐、真人排演的歌剧的观赏习惯尽管丰富了音乐可视化古老涵义，但当数字技术开创了音乐作品未来局面的时候，音乐可视化艺术则意味着真正的“新音乐”作品的开始，当虚拟技术的呈现力将音乐的情感世界挖掘得淋漓尽致的时候，世人才顿悟，原来这才是真正的“新音乐”，这种维度的创新与“序列作曲法”对音乐创作的影响其实不在同一个量级。未来，正在建构着的新媒体美学将随着新媒体艺术实践的发展而逐渐成熟，进一步发展的将是新媒体为主角的哲学体系。因为自古以来，凡是伟大的哲学体系都包含成熟的美学体系，新媒体美学是新媒体哲学的本体。音乐可视化艺术及其创作必定在新媒体美学及哲学体系的建构中发挥重要的作用。
应用实例
鄂尔多斯的“音乐之都”将会成为中国音乐可视化产业的开篇巨制，“听音乐到维也纳，看音乐到鄂尔多斯”她将成为东方的维也纳，全球音乐视听的奥斯卡。[1]