Hun var eneste datter av den amerikanske jernbanearvingen Reginald Claypoole Vanderbilt (1880–1925) og hans andre hustru, diplomatdatteren Gloria Laura Mercedes Morgan (1904–1965). Hun ble døpt anglikansk i den episkopale kirke av biskop Herbert Shipman.