Hall bodde sammen med Troubridge i London. I løpet av 1930-årene flyttet de til den lille byen Rye i East Sussex, kjent for sine mange forfattere, inkludert Halls samtidige, romanforfatteren E.F. Benson. Hall hadde affærer med andre kvinner gjennom årene, blant andre skuespilleren Ethel Waters.