虽然雨果博才多艺，但音乐方面平平，不过他的作品为十九和二十世纪作曲家提供灵感，对音乐节产生重大影响。雨果自己特别喜欢克里斯托夫·格鲁克和卡尔·韦伯的音乐。在《悲惨世界》里，他在韦伯的《欧良泰》里称亨茨曼合唱“大概是谱写出来的最美妙的音乐”。他也非常喜欢贝多芬，并且在当时不寻常地欣赏上一世纪的作曲家，如乔瓦尼·帕莱斯特里纳和克劳迪奥·蒙特威尔第。十九世纪两位着名的音乐家埃克托·柏辽兹和李斯特·费伦茨是雨果的好友。李斯特在雨果家里演奏贝多芬，雨果在给朋友的信中开玩笑说上了李斯特的钢琴课，他能用一根手指在琴上