Anna es hija de John Paget Chancellor y Mary Alice Joliffe (hija de William Jolliffe, 4.º barón Hylton).