Le château fut agrandi sous les règnes d'Henri et d'Henri II. Henri III entreprit plusieurs réparation et dota sa forteresse d'un pont sur la Severn menant à des barbacanes pratiquées dans l'enceinte extérieure. Henri III s'en servit fréquemment de résidence, et il a joué un rôle important dans la guerre des barons, puisqu'il fut assiégé à deux reprises au cours de l'hiver 1264-65. Une partie du château servit de prison à partir de 1185 et il abrita les geôles officielles du comté, après 1228 en tous cas. Aliénor de Bretagne, nièce du roi Jean et cousine d'Henri III, était par droit de primogéniture l'héritière légitime du trône d'Angleterre : Jean d'Angleterre la fit incarcérer à Gloucester, une première fois entre 1222 et 1223, puis de 1237 à 1238 ; les autres prisonniers furent chaque fois transférés pour meubler la chambre de la princesse.