Baker giftet seg i 1961 med Anna Wheatcroft (datteren av rosedyrkeren Harry Wheatcroft). De fikk sønnene Daniel og Piers. De ble skilt i 1966.