图亚特时期，城堡的设计者则是威廉·伯吉斯。现在城堡则是由加的夫市所有。第六任格洛斯特伯爵的家庭在此后数世纪里拥有这座城堡。1423年第13任华威伯爵理查德·博尚买下加的夫城堡。理查德下令大规模扩建城堡，尤其是建造了城堡的西翼和那里高耸的八角形塔楼。玫瑰战争后城堡不再是边境领主领地，它的军事地位开始降低。1550年赫伯特家族购买加的夫城堡，改造主建筑的部分部位，并开始建造外墙和其它建筑。建造外墙的地方本来是加的夫的县府建筑。英国内战期间首先圆颅党占领加的夫城堡，但是1645年保皇党支持者重新占据加的夫城堡