Antes de The Bad Seeds, Cave perteneció al grupo The Birthday Party, conocido por su rock gótico, sus letras desafiantes y un sonido violento influido por el "free jazz", el "blues" y el "post-punk".