I april 1918, da Allyson var seks måneder gammel, forlot hennes alkoholiserte far, som hadde jobbet som vaktmester, familien sin. For å få nok penger til at endene kunne møtes måtte moren jobbe både som telefonoperatør og kasserer i en restaurant.