En 1978 se casó por tercera vez con Lady Annabel Vane-Tempest-Stewart, hija del , con la que tuvo tres hijos, incluyendo a Zac Goldsmith.