To år gammel ble Gloria arving til fire millioner dollar da faren døde som følge av alkoholmisbruk, men kontrollen over midlene mens hun var mindreårig tilhørte moren. Barnet ble derfor gjenstand for en bitter strid om foreldreretten i en skandaleomsust rettssak i 1934 mellom moren og Vanderbilt-familien. Etter farens død ble hun konfirmert og oppdratt som katolikk, som var morens trostilhørighet. Fra farens første ekteskap med Cathleen Neilson hadde hun en halvsøster, Cathleen Vanderbilt (1904–1944).