Gardner var gift med Mickey Rooney fra 1942 til 1943, Artie Shaw fra 1945 til 1946 og Frank Sinatra fra 1951 til 1957. Hun døde i London i 1990, 67 år gammel.