Doorly ble født på Jamaica men flyttet til England i 1887, da faren døde. Hun ble oppfostret av en grandtante i Leamington Spa og studerte ved Leamington High School og en periode ved et fransk lycée. Hun tok eksamener i fransk og historie før hun begynte som lærer ved North London Collegiate College School. Hun var rektor for Twickenham County School i syv år og deretter for i Warwick fra 1922 til 1944. Hun var ugift.