Biskop Herfast døde i 1084. Han var en gift biskop og hans sønner er registrert som landeiende i Norfolk i 1086.