一直到他1134年去世。英格兰混战时期格洛斯特的罗伯特保住城堡并把它遗传给他的儿子威廉·费茨·罗伯特。在12世纪的中叶，可能在格洛斯特的罗伯特指挥下在土丘上建造了一座23米宽，9米高的石头城堡主楼，并在内庭的西边和南边造了石头城墙。多边形的石头主楼与阿伦德尔城堡有类似处。这个加固工程可能是作为对1136年威尔士起义造成的威胁的反应。此后与威尔士之间的关系依然紧张。1158年艾佛·巴赫袭击城堡并把威廉作为人质扣押了一段时间。1183年城堡再次被袭。1184年加的夫建造了围绕城市的城墙，在城堡和达夫河之间的