George var den fjerde sønn og yngste barnet til William Henry Vanderbilt (1821–1885) og hans kone Maria Louisa Kissam, var George II som var oppkalt etter hans fars yngre bror, George Washington Vanderbilt, tredje sønn av familien grunnlegger, Cornelius Vanderbilt (1794–1877) og Sophia Johnson, som hadde dødd bare 25 år gammel av tuberkulose som han hadde blitt smittet av under hans tjeneste i borgerkrigen. George II sies å ha vært sin fars favoritt og farens trofaste følgesvenn gjennom mange år.