Robert II
1106年费茨哈蒙在坦什布赖战役中负致命伤，此后不久过世。1122年亨利一世国王把城堡交给他的私生子和费茨哈蒙的女婿格洛斯特的罗伯特。威廉一世的长子诺曼底公爵罗贝尔二世试图攻占英格兰失败后被亨利一世关在这座城堡里一直到他1134年去世。英格兰混战时期格洛斯特的罗伯特保住城堡并把它遗传给他的儿子威廉·费茨·罗伯特。在12世纪的中叶，可能在格洛斯特的罗伯特指挥下在土丘上建造了一座23米宽，9米高的石头城堡主樓，并在内庭的西边和南边造了石头城墙。多边形的石头主楼与阿倫德爾城堡有类似处。这个加固工程可能是作为对1136年威尔士起义造成的威胁的反应。