但是在比较偏远的地区依然是威尔士贵族统治。这些地区能够把它们的独立性一直维持到14世纪。加的夫是一个边境领主的领地，享受特权，而且不是英国国王的臣属。从城堡的南侧中世纪的加的夫向南扩展。
12至14世纪.1106年费茨哈蒙在坦什布赖战役中负致命伤，此后不久过世。1122年亨利一世国王把城堡交给他的私生子和费茨哈蒙的女婿格洛斯特的罗伯特。威廉一世的长子诺曼底公爵罗贝尔二世试图攻占英格兰失败后被亨利一世关在这座城堡里一直到他1134年去世。英格兰混战时期格洛斯特的罗伯特保住城堡并把它遗