Vanderbilt era el cuarto de nueve hijos de Cornelius Vanderbilt y Phebe Hand, cuya modesta familia vivía en Port Richmond, en Staten Island (ciudad de Nueva York).