Anne ble født 25. mai 1864 i London som datter av John Savile, 4. jarl av Mexborough og hans andre kone, Agnes Louisa Elizabeth Raphael.