Fue la octava de los 17 hijos de Rebecca y Samuel Griscom, miembros de la Sociedad Religiosa de los Amigos (cuáqueros) de la que su padre era master builder.