城堡一直保到14世纪末。根据1340年德斯潘塞发布的一条法令城堡的长官实际上也充任加的夫市长，控制当地法庭。
15和16世纪.15世纪里德斯潘塞家族在这个地区越来越重用卡菲利城堡。1400年托马斯·德·德斯潘塞被控打算阴谋陷害亨利四世被处死。1401年欧文·格林杜尔在北威尔士起义，很快蔓延到整个威尔士。1404年叛军占领加的夫和它的城堡，导致黑塔和正在建造的南门受到重大损坏。托马斯死后城堡被传给他的小儿子理查德，理查德死于1414年，城堡通过他的女儿伊莎贝尔传给博尚家族。伊莎贝尔首