Con la derrota de Manfredi en la batalla de Benevento en 1266, acabó la hegemonía sueva sobre Italia meridional. El Castillo de Gioia del Colle siguió la misma suerte. Después de los Suevos, pasó bajo el dominio de los Angevinos y de los Aragoneses.