Annie Sherwood ble født 28. mai 1836 i Hoosick, New York. Hennes fars side, var engelsk mens moren stammet fra Nederland. Hun gikk på i offentlige skoler og på Troy Seminar.