多边形的石头主楼与阿伦德尔城堡有类似处。这个加固工程可能是作为对1136年威尔士起义造成的威胁的反应。此后与威尔士之间的关系依然紧张。1158年艾佛·巴赫袭击城堡并把威廉作为人质扣押了一段时间。1183年城堡再次被袭。1184年加的夫建造了围绕城市的城墙，在城堡和达夫河之间的空间里建造了面对城市的西门。1183年威廉逝世留下三个女儿。其中的一个格洛斯特女伯爵伊莎贝拉被亨利二世定为唯一继承人。这个做法违反英格拉的合法习俗，但是亨利要自己的小儿子约翰娶伊莎贝拉，这样约翰可以有自己的领地。约翰后来与伊莎贝拉离