Od 1088 roku zamek należał tradycyjnie do hrabiów Warwick. Był niejako symbolem ich potęgi do 1153, kiedy to został im zabrany przez króla Henryka II. W tym czasie był używany głównie jako więzienie, także dla jeńców spod Poitiers. Z kolei gdy był w posiadaniu Richarda Neville'a, został w nim uwięziony Edward IV York.