Anne Sullivanová se narodila ve Feeding Hills ve státě Massachusetts. Její rodiče, Thomas Sullivan a Alice Cloesyová, byli chudí farmáři, kteří emigrovali z Irska kvůli velkému hladomoru v roce 1847. Její otec byl alkoholik a bil ji. Její matka trpěla tuberkulózou a zemřela, když jí bylo osm. O dva roky později její otec opustil své děti, které byly poté převezeny do sirotčince v Tewksbury. Sullivanová se starala hlavně o svého mladšího bratra, který byl zdravotně postižený a měl také tuberkulózu. Zemřel později v nemocnici.