A lo largo de 2004, Harvey produjo el álbum "Funny Cry Happy Gift" de Tiffany Anders, y también produjo, interpretó y escribió cinco canciones para el álbum "Before the Poison" de Marianne Faithfull, prestando voces de fondo en «Hit the City», «Methamphetamine Blues» y «Come to Me» en el álbum "Bubblegum" de Mark Lanegan.