Harriet E. «Hattie» Adams Wilson ble født i Milford i New Hampshire som datter av Margaret Ann Smith (eller Adams), en vaskedame av irsk bakgrunn. Hennes far døde da hun var meget ung, og hennes mor oppga henne på gården til Nehemiah Hayward Jr., en velstående bonde i Milford. Som foreldreløs ble Adams gjort til tjener under opplæring for familien Hayward, en hendig vis for samfunnet å sørge for en slags omsorg på denne tiden. I bytte for hennes arbeid skulle barnet motta et rom, kostpenger og opplæring i en kompetanse, eller det var idealet.