En 2004, Cave participó con la veterana Marianne Faithfull en su álbum "Before The Poison." Para éste co-escribió y produjo tres canciones: "Crazy Love", "There Is a Ghost" y "Desperanto"; los músicos de The Bad Seeds tocaron en todas ellas.