På siste halvdel av 1000-tallet bygget Richard Fitzgilbert, en adelsmann som hadde vært med i Vilhelm Erobrerens invasjonsstyrke i 1066, et festningsborg på stedet. Etter Vilhelm Erobrerens død sverget borgsherren troskap til Vilhelms eldre sønn Robert Curthose i Normandie, og ikke til Vilhelm Rufus. Den nye kongen beleiret derfor byen.