Normannerne bygde en ny borg på samme sted. Denne utgjør kjernen i dagens slott. Henrik II bygde antagelig hovedbygningen. I 1095 tok Vilhelm II det etter en beleiring, etter at dets eier, Robert de Mowbray, jarl av Northumberland hadde støttet et opprør mot kongen. Jarlen ble tatt til fange før slottet falt, og hans kone fortsatte forsvaret, men overgav slottet da kongen truet med å blinde hennes mann.