Ultravox lanzó sus dos primeros álbumes en 1977, "Ultravox!" y "Ha! Ha! Ha!", en los cuales Billy Currie usaba los teclados de una manera muchas veces no tan protagónica, pero lo hacía extensamente en las dos canciones finales de cada álbum, "My Sex" e "Hiroshima Mon Amour", respectivamente, pero el grupo no dio el gran paso hasta 1978, cuando lanzó "Systems of Romance", que además es considerado un referente en el origen del movimiento new romantic.