Tras la invasión normanda de 1066, se construyó una iglesia de piedra. Cabe la posibilidad de que el castillo Walden, construido hacia 1140, fuera edificado sobre fortificaciones preexistentes. Hacia 1136 se fundó un priorato, la Abadía Walden, bajo el patronazgo de Geoffrey de Mandeville, I conde de Essex, en el sitio ocupado en la actualidad por el pueblo de Audley End. Esta abadía estaba separada de Walden por el prado Holywell. Después de la disolución de los monasterios, Sir Thomas Audley convirtió los claustros en viviendas. Posteriormente, Audley End House fue levantada en el mismo lugar donde otrora se situaba la abadía.