Antes de lanzar su álbum debut, Erasure ya había publicado dos singles, “Who Needs Love (Like That)”, su primer single oficial, lanzado en septiembre de 1985, y “Heavenly Action”, su segundo single, publicado en noviembre del mismo año.