I 1956 giftet Antonia Fraser seg med den skotske, katolske aristokraten Hugh Fraser (1918–1984). Fraser var en konservativ unionist som satt i Overhuset for området Stafford. I løpet av sitt ekteskap med ham, som ble avsluttet i 1977, fødte hun tre sønner, Benjamin («Benji»), Damian, og Orlando, og tre døtre Rebecca, Flora, og Natasha. Hennes eldste døtre Rebecca og Flora har begge skrevet biografier, og hennes eldste sønn Benjamin arbeider for Bank of New York, og hennes yngste datter Natasha har fullført en bok om livet til Hollywood-produsenten Sam Spiegel, utgitt i 2002. Damian arbeider for firmaet UBS Warburg i Mexico, og hennes yngste sønn Orlando er en advokat som har spesialisert seg på handelsrett. Hun har 16 barnebarn.