Après la chute de l'Empire byzantin, consécutive à la Quatrième Croisade en 1204, l'histoire de la ville a été agitée : elle a été incorporée à l’État grec byzantin d'Épire, puis elle est tombée aux mains de l'Empire byzantin restauré des Paléologue en 1319, avant d'être prise par le roi serbe Stefan Douchan en 1346. L'aventurier florentin Esaü de' Buondelmonti délivra la ville de la domination serbe en 1385, celle-ci étant suivie de celle de la famille Tocco, déjà maîtresse de Céphalonie et Zante, à partir de 1411, jusqu'à la prise de la ville par l'Empire ottoman, le 9 octobre 1430. Dans les années qui ont immédiatement suivi 1204, les murs de la ville et de la citadelle nord-est ont été reconstruits, tandis que d'autres travaux ont été entrepris en 1367-1384 par Thomas Preljubović. Le tracé des murs byzantins coïncide largement avec l'ouvrage préexistant, mais on avait peu de détails à ce sujet, tels que le nombre et la structure des tours, avant les fouilles des deux dernières décennies.