I 1970 giftet han seg med Mary Elizabeth Aicheson (kalt ), som han hadde møtt mange år før på St. Albans. Paret tok ut separasjon i mai 2010. De har fire barn: Karenna (1973), Kristin (1977), Sarah (1979) og Albert III. (1982).