Formado en 1994 por Róisín Murphy y Mark Brydon, la banda originalmente era un dúo de música underground, en el cual ambos miembros estaban en una relación amorosa, hasta que en 2000 ingresaron 3 miembros más.