Seit 1088 hat die Burg traditionell dem Earl of Warwick gehört und diente als Symbol seiner Macht. Die Burg wurde im Jahre 1153 von Heinrich von Anjou, dem späteren Heinrich II., eingenommen. Sie wurde benutzt, um Gefangene festzuhalten, darunter im 14. Jahrhundert auch einige aus der Schlacht von Poitiers sowie im 15. Jahrhundert der englische König Edward IV.