的关系依然紧张。1158年艾佛·巴赫袭击城堡并把威廉作为人质扣押了一段时间。1183年城堡再次被袭。1184年加的夫建造了围绕城市的城墙，在城堡和达夫河之间的空间里建造了面对城市的西门。1183年威廉逝世留下三个女儿。其中的一个格洛斯特女伯爵伊莎贝拉被亨利二世定为唯一继承人。这个做法违反英格拉的合法习俗，但是亨利要自己的小儿子约翰娶伊莎贝拉，这样约翰可以有自己的领地。约翰后来与伊莎贝拉离婚，但是一直到伊莎贝拉1214年嫁给杰弗里·费茨杰弗里·德·曼德维尔了才把城堡还给她。1217年伊莎贝拉逝世后通过她的姊