I 1955 spilte han inn albumet , et melankolsk album med ensomhet og tapt kjærlighet som gjennomgående tema. Det havarerte forholdet med Ava Gardner la deler av grunnlaget. Albumet ble en umiddelbar klassiker og sikret seg en plass i musikkhistorien som et av verdens første konseptalbum. I årene som fulgte ga Sinatra ut flere album med tapt kjærlighet og ensomhet som gjennomgående tema i sangene, sanger han omtalte som Blant annet albumene fra 1958 og fra 1959.