Su familia paterna, originalmente apellidada Melvill (sin la «e» final), estaba emparentada remotamente con la aristocracia inglesa, y la materna, los Gansevoort, provenía de uno de los primeros pobladores neerlandeses de la isla de Manhattan, y directamente de un afamado héroe de la Revolución estadounidense.