Era el tercer hijo de Gilbert Stewart, un inmigrante escocés empleado en la industria del tabaco, y Elizabeth Anthony Stewart, miembro de una prominente familia terrateniente de Middletown, Rhode Island.