Su padre, James Henry Sullivan, tuvo problemas con el alcohol a causa de la muerte de su mujer, por lo que Allen recibió el cuidado de una tía materna, con la que decidió permanecer una vez su padre se casó de nuevo.