Duoen begynte å skrive musikk i 1982. Deres aller første sang «Jeaolousy» skrev Chris Lowe på piano. Sangen ble ikke utgitt før åtte år senere, i 1990. Duoen lot seg påvirke av italo disco, Hi-NRG, hiphop og andre undergrunnsformer. Men hovedsakelig var musikken tuftet på en klar melodisk poptradisjon. Duoen har blant andre oppgitt The Beatles, David Bowie, Lou Reed, Elvis Costello, Bee Gees, New Order og Depeche Mode som viktige inspirasjoner i deres tidligere karriere. Men man hører også sterke inspirasjoner fra klassisk musikk og musikaltradisjon i deres musikk, særlig i harmonisering og fraseringer.