Walden Castle blev bygget i byen Saffron Walden i Essex af Geoffrey de Mandeville i begyndelsen af den borgerkrig som er kendt som Anarkiet. En stor del af opførselsarbejdet foregik melleem 1141 og 1143. Det var en af adskillige borge, som de Mandeville opførte for at forstærke sin magt over området. Den blev bygget på en naturlig forhøjning i byen og havde et normannisk keep og en bailey-mur, der dannede et kraftigt forsvarsværk. Geoffrey de Mandeville blev arrestreret under mistænkelige omstændigheder af kong Stefan i 1143, og han blev beordret at overdrage alle sine borge, inklusive Walden. I første omgang indvilligede Mandeville, men han løb fra sin aftale, da han blev løsladt og startede et militært felttog mod kongens borge i Cambridgeshire i et forsøg på at gøre vejen fri til Walden. Geoffrey de Mandeville died during a siege the following year, still not having reclaimed Walden. Henrik 2. beordrede at borgen, der sandsynligvis ikke var helt færdig endnu, ødelagt i 1157.