På 1100-tallet reiste normannerne en festning, i det som var utkanten av Windsor Castles jaktmarker. Det ble flere ganger besøkt av kongene Johan og Henrik III. Bare selve tårnet er bevart, og ble restaurert i 2004.