Bekjente av familien beskrev George som slank, mørkhåret, og med en heller blek hudfarge. Sjenert og innadvendt, og med interesser for filosofi, litteratur og historiene bak maleriene i familiens store kunstgalleri. I tillegg til hyppige besøk til Paris i Frankrike, der flere av Vanderbilt-familiens slektninger hadde et hjem, reiste George mye over store deler av verden, og snakket flytende på åtte fremmede språk. Store deler av Vanderbilt sine finanser ble hovedsakelig drevet av Georges eldre søsken og han hadde derfor mer tid til sine intellektuelle interesser.