ABBA y su compañía discográfica, Polar Music, nunca planearon el lanzamiento de «Lay All Your Love On Me» como un sencillo.