Hennes foreldre var skipsbygger og senator Wilson Lee Cannon og hans andre kone . Hennes mor fikk ytterligere to døtre etter Annie i tillegg til de fire barn som hennes mann hadde fra det første ekteskapet.