El 1285, a la fi de la croada contra el rei Pere el Gran, el lloc de Sant Martí d'Empúries fou destruït. Les restes de les muralles medievals i del castell d'Empúries són del . També en aquesta època fou edificada una nova església, substituïda al començament del (1507) per l'actual, gòtica i fortificada. El castell fou incendiat el 1285 per les forces franceses de l'almirall Guillem de Lodeva. Durant la guerra contra Joan II fou pres per les forces de la reina i l'infant Ferran el 1467 i confiat a Pere de Torroella, l'escriptor i militar, que l'abril de 1468 s'hagué de rendir al duc de Lorena després d'uns quants mesos de setge. Acabada la guerra, Pere de Torroella tingué drets sobre la població i refeu les muralles.