Whitney pertenecía a una muy acomodada familia estadounidense, era bisnieta del Comodoro Cornelius Vanderbilt e hija mayor del matrimonio entre Cornelius Vanderbilt II (1843-1899) y Alice Claypoole Gwynne (1852-1934).