Con la sconfitta di Manfredi nella battaglia di Benevento del 1266, l'egemonia sveva sull'Italia meridionale terminò. Il Castello di Gioia del Colle seguì le medesime sorti. Dopo gli Svevi, esso passò sotto il dominio degli Angioini e degli Aragonesi.