A partir de 1088 o castelo pertenceu tradicionalmente aos Condes de Warwick e serviu como símbolo do seu poder. O castelo foi tomado em 1153 por Henrique de Anjou, mais tarde Henrique II de Inglaterra. Serviu para deter prisioneiros, incluindo alguns da Batalha de Poitiers, no século XIV. Sob a posse de Ricardo Neville – também conhecido como "Warwick the Kingmaker" , "Warwick o fazedor de reis"– o Castelo de Warwick foi usado, no século XV, para aprisionar o rei inglês, Eduardo IV.