애니의 부모는 영국 이주민의 후손은 펜실배니아주 블레어 카운티의 홀리데이스버그에서 오하이오로 이주한 퀘이커였다. 1848년 18세이던 어머니 수잔 와이즈는 49세의 제이콥 모지와 결혼하였다. 부부는 1855년 무렵 오하이오주 다크 카운티의 농장을 임대하여 정착하였다. 애니는 부부의 아홉 자녀중 여섯째 였다. 자녀 둘이 어려서 죽었기 때문에 살아있는 일곱 자녀 가운데 다섯째 아이였다. 애니의 남매는 매리 제인(1851년 – 1867년), 리디아(1852년 – 1882년), 엘리자베스(1855년 – 1881년), 새러 엘런(1857년 – 1939년), 캐서린(1859년 – 1859년), 존(1861년 – 1949), 헐다(1864년 – 1934년)가 있었고 1865년에도 동생이 태어났다. 1812년 전쟁에 참전하였던 애니의 아버지는 1865년 혹독한 겨울에 저체온증과 폐렴에 걸렸고 1866년 66세의 나이로 사망하였다. 어머니는 데니얼 브럼버흐와 재혼하여 에밀리(1868년 – 1937년)을 낳았지만 브럼버흐가 죽은 뒤 홀로 살았다.