Debbie Harry og Chris Stein skrev sangen allerede i 1974 under tittelen «Once I Had a Love», og spilte den inn som en demo, men den ble ikke offisielt utgitt. Sangen er tydelig inspirert av 1970-årenes disco. Blondie var en del av New Yorks alternative punkbevegelse, og å gi ut en sang i disco-sjangeren gjorde at de måtte tåle mye kritikk for å være for kommersielle. I sangens musikkvideo opptrer gruppen på New York-klubben Studio 54.