Weld nació en Smithtown, Nueva York, el 31 de julio de 1945 . El padre de Weld, David (1911–1972), era un banquero de inversiones; su madre, Mary Nichols Weld (1913–1986), era descendiente de William Floyd, firmante de la Declaración de Independencia de los Estados Unidos . Su antepasado Edmund Weld fue uno de los primeros estudiantes (clase de 1650) en el Harvard College; otros dieciocho Welds han asistido a Harvard, y dos edificios de Harvard llevan el nombre de la familia. Un primo lejano, el general Stephen Minot Weld Jr., luchó con distinción en la Guerra Civil .