Hun var i mange år gift med jazz­bassisten Ray Brown. Omkring 1957 var hun en periode forlovet med den unge nordmannen Thor Einar Larsen, og hun hadde innredet en leilighet i Oslo. Ifølge VG var de to hemmelig gift i to år. Larsen ble i Sverige dømt for svindel fra tiden før Fitzgerald, i Sverige hadde han også være gift tidligere. Ifølge ble de to aldri gift.