Der älteste Teil der heutigen Burg des Hauses Aragón stammt höchstwahrscheinlich aus dem 12. oder 13. Jahrhundert und entstand auf den Resten einer kleinen, byzantinischen Burg. In der zweiten Hälfte des 13. Jahrhunderts definierte sie König Karl I. von Neapel als „Festung von strategischer Bedeutung für die Verteidigung des Königreiches“. Die Burg, die zusammen mit den Festungen von Ostuni, Tarent, Ugento und Torremaggiore zu einer Gruppe gezählt wird, wird nationale Bedeutung zugemessen und zählt zu den funktionalsten, da sie natürliche Verteidigungselemente mit solchen aus der Militärarchitektur kombiniert. Nach der Einnahme von Otranto wurde die Stadt von Türken eingenommen und die Burg teilweise zerstört.