סאליבן נולדה ב-14 באפריל 1866 בפידינג הילס, מסצ'וסטס. לפי תעודת ההטבלה שלה, השם שניתן לה לאחר לידתה הוא יוהנה מנספילד סאליבן. למרות זאת, מכריה כינו אותה בשם אן או אנני. ביתם הבכורה של תומאס ואליס סאליבן. הוריה היו מהגרים נבערים מדעת, ללא הכשרה מקצועית ודלי אמצעים שהיגרו לארצות הברית בשנת 1860 מאירלנד לאחר רעב תפוחי האדמה הגדול באירלנד. בהיותה בת שמונה בלבד תקף אותה נגיף עיניים אלים וכך חלתה בגרענת, מחלתה החמירה ועם הזמן הגיעה למצב של עיוורון כמעט מוחלט. זמן קצר לאחר הידבקותה במחלה אימה נפטרה ואביה נטש אותה ואת אחיה שנתיים לאחר מכן עקב פחד שלא יוכל לגדל בעצמו את ילדיו. יחד עם אחיה הצעיר ג'יימס ("ג'ימי") היא נשלחה לבית מחסה בטוקסברי (כיום בית החולים של העיר). ג'יימי החל לסבול מנמק העצם ונפטר שלושה חודשים לאחר קליטתם בבית המחסה. סאליבן נותרה במוסד זה במשך ארבע שנים נוספות לאחר מותו. היא זכתה לקבל מספר ניתוחים בעיניה שהקלו לזמן קצר על כאביה אך בפועל הם לא עזרו לשפר את ראייתה.