En 1973 Cave conoció en Caulfield Grammar a Mick Harvey, Tracy Pew y Phill Calvert, respectivamente el guitarrista, bajista y baterista de lo que sería su primera banda.