I 1971 ble det annonsert at Sinatra skal legge opp karrieren, og trekke seg tilbake fra underholdningsbransjen. 13. juni 1971 gjennomfører han avslutningskonserten i Los Angeles og avslutter med sangen . Det ble ingen lang pensjonisttilværelse for Sinatra, som i april 1973 gjennomfører en konsert i Det hvite hus, for president Richard Nixon og Italias statsminister Giulio Andreotti. Konserten førte til spekulasjoner om et mulig comeback.