Hans første hustru var poeten Fleur Adcock (født 1934). Etter at han ble skilt ble han gift på nytt med en annen poet, Aline Margaret (Meg) Anderson (1927–2007).