Fue formada en 1984 por dos miembros de la desaparecida banda australiana The Birthday Party: Nick Cave (cantante, compositor) y el músico Mick Harvey.