Nato a Smithtown, Weld discende da un'importante famiglia di New York. Il padre, David (1911-1972), era banchiere, mentre la madre, Mary Nichols Weld (1913-1986), era discendente di William Floyd, uno dei firmatari della Dichiarazione d'indipendenza del 1776.