Il padre di Annie studiò medicina al Trinity College di Dublino e sposò l'irlandese Emily Morris (a volte Maurice); interessato indirettamente alla Grande carestia irlandese la coppia lasciò l'Irlanda per Londra, dove William rinunciò alla professione medica per un impiego di segretario cittadino. Residente nel quartiere di "St. John's Wood" la coppia ebbe tre figli: Henry, Annie e Alfred.