Anne Sullivan nació el 4 de abril de 1866 en una familia pobre en Feeding Hills, en el estado de Massachusetts. Sus padres fueron Thomas Sullivan y Alice Cloesy, que llegaron a Estados Unidos desde Irlanda, como consecuencia de la Gran hambruna irlandesa. Su madre padecía de tuberculosis y murió cuando Anne tenía ocho años. Sullivan tuvo dos hermanos: María y Jimmie. Cuando su madre murió sus dos hermanos fueron enviados a vivir con otros parientes y Anne permaneció en el hogar para cuidar a su padre.