Fra slutten av 1940-årene sank Sinatras popularitet betraktelig. Skandaleoppslagene i forbindelse med affæren med Ava Gardner og det påfølgende skilsmissen fra Nancy Sinatra, kom samtidig med endrede musikkpreferanser i befolkningen. Salgstallene stupte og stadig færre kom på konsertene. Bunn ble nådd i 1952. Sinatra skylte store beløp i restskatt, han ble ikke spilt på radio, og både plateselskapet og managerbyrået sa han opp.