Vanderbilt giftet seg med Hollywood-agenten Pasquale DiCicco i 1941. De skilte seg i 1945. Hennes andre ekteskap, med dirigenten Leopold Stokowski, 21. april 1945, gav henne to sønner, Leopold Stanislaus Stokowski (født i 1950) og Christopher Stokowski (født i 1955). Paret skilte seg i oktober 1955. Det tredje giftemålet fant sted 28. august 1956, til regissør Sidney Lumet. De skilte seg i august 1963. Hennes siste ekteskap, med forfatteren Wyatt Emory Cooper, ble inngått i 1964. De fikk to sønner: Carter Vanderbilt Cooper (1965–1988) og Anderson Cooper (født i 1967).