Se separó de Merchant en 1975 y se casó con la escritora Antonia Fraser en 1980.