Det er usikkert om det eksisterte en festning på stedet før den normanniske invasjonen i 1066. Om det var en borg der så tidlig, ville den vært mye mindre prangende i utformingen enn hva den ble sendere da det var i tråd med angelsaksisk arkitekturtradisjon.