"Ash Wednesday" recibió una buena acogida por parte de la crítica musical y los dos discos sencillos extraídos del álbum fueron "While You Were Sleeping" y "All the Night Without Love", cuya canción titular fue regrabada con el productor Chris Shaw, conocido por sus trabajos para Bob Dylan y Public Enemy.