The Boys Next Door var en del av Melbournes alternative musikkmiljø sent på 1970-tallet og spilte hundrevis av konserter i Australia før de skiftet navn til The Birthday Party i 1980. De flyttet deretter utenlands, først til London, siden til Vest-Berlin. Caves australske venninne, Anita Lane, sluttet seg til dem i London. Gruppen ble kjent for sine provoserende sceneopptredener der Cave skrek, ropte og kastet seg ut fra scenen, oppbakket av gitarbasert rock. Etter at de hadde fått kultstatus i Europa og Australia, ble The Birthday Party oppløst i 1984. Howard og Cave syntes det var vanskelig å samarbeide med resten av bandet, samtidig som de begge var slitne etter stort forbruk av alkohol og andre rusmidler.