La banda afirmó que sus influencias y antecedentes musicales rara vez procedían de la tradición del rock, sino más bien de la música clásica (particularmente de Benjamin Britten, de cuyo trabajo, según Rimbaud, están directamente basados algunos riffs), el dadaísmo y el vanguardismo, como John Cage, así como la tradición de arte de "performance".