Anna hadde et anstrengt forhold til sin stefar. Som voksen hevdet hun at han hadde forsøkt å presse henne til å gifte seg med en meget eldre mann, slik han først hadde gjort med søsteren hennes. Søsteren Eliza Julia Edwards var femten år gammel da hun i 1845 ble giftet bort til James Millard. De fikk i 1848 datteren Eliza Sarah Millard, som l 1864 giftet seg med Edward John Pratt, en 38 år gammel britisk embetsmann som hadde tjenestegjort i den indiske marinen. Eliza og Edwards sønn Edward John Pratt jr., fikk i 1887 sønnen William Henry Pratt, bedre kjent som filmstjernen Boris Karloff.