Mit der Niederlage von Manfred von Sizilien in der Schlacht bei Benevent 1266 endete die Hegemonie der Staufer in Süditalien. Das Castello di Gioia del Colle erlitt dasselbe Schicksal. Nach den Staufern geriet die Burg unter die Herrschaft des Hauses Anjou und des Hauses Aragón. Nach dem Tod von Manfred, der der Legende nach in Gioia del Colle geboren war, ging die Burg in das Eigentum der Prinzen von Tarent bis zum 15. Jahrhundert, der Grafen von Conversano bis zum 17. Jahrhundert und den Prinzen von Acquaviva bis zum Anfang des 19. Jahrhunderts über. Im Laufe dieser Jahrhunderte wurde die Burg allmählich von einer militärischen Einrichtung in ein Wohngebäude umgebaut und an die neuen Wohnbedürfnisse angepasst, wobei sie jede militärische und zivile Bedeutung verlor und nur ihre Struktur erhielt. Vom 17. Jahrhundert an, als die Burg von Besitzer zu Besitzer immer mehr an Bedeutung verlor, begann eine lange Zeit des Verfalls und des Niedergangs, wobei sie aber, anders als andere Burgen in Apulien, die vielen Umbauten unterzogen wurden, um sie neuen militärischen Anforderungen anzupassen, ihre ursprüngliche Form behielt. Aus diesem Grund stellt das Castello di Gioia del Colle eines der unverfälschtesten Zeugnisse der normannisch-staufischen Zeit dar.