Anne era la figlia maggiore di Thomas e Alice Sullivan, due agricoltori irlandesi emigrati negli Stati Uniti a causa della Grande carestia irlandese del 1845. A cinque anni Anne contrasse il tracoma e a otto anni sua madre morì, quindi il padre mandò lei e il fratello minore Jimmie all'ospizio di Tewksbury Almshouse. Anne rimase all'orfanotrofio per tre anni, dal 1876 al 1880 mentre Jimmie morì dopo tre mesi, a causa delle pessime condizioni di vita. Nel 1880, durante un'ispezione dell'edificio, Anne riuscì a contattare uno degli ispettori, spiegandogli che voleva andare a scuola. L'interessamento della commissione le permise di entrare alla Perkins il 7 ottobre 1880. Durante la sua permanenza nella scuola, conobbe Laura Bridgman, che cinquant'anni prima era stata la prima persona sordocieca ad imparare a parlare, leggere e scrivere; da lei Anne imparò l'alfabeto manuale usato per comunicare in questo tipo di disabilità. Nel giugno del 1886 conseguì il diploma e, in quanto valedictorian (migliore studentessa del corso), tenne il discorso di fine anno.