I 1940 giftet Swirles seg med matematikeren Harold Jeffreys og fikk tittelen Lady Jeffreys da han ble utnevnet til ridder i 1953.