La famiglia di Clare si estinse nel 1314 con la battaglia di Bannockburn quindi Edoardo II consegnò il feudo al suo favorito, Ugo Despenser, il governo dei Despenser incontrò molte difficoltà sia dovute agli scarsi raccolti che alla politica della famiglia, che sostenne Edoardo, ma contemporaneamente fomentando la ribellione dei gallesi, scontenti del dominio inglese. L'ambiguo rapporto dei Despenser si concluse nel 1318 quando Llywelyn Bren fu impiccato e squartato al castello di Cardif per ordine di Ugo, ma questo attirò sulla famiglia critiche e disapprovazione da parte dei lord della regione che tentarono a più riprese di attaccare il castello per depredarlo, questo periodo viene anche chiamato Guerra dei Despenser e li vide contrapposti all'altra nobiltà terriera della regione culminata col saccheggio della fortezza nel 1321.