È probabile che, nato dapprima in età angioina come castello, sia stato poi, verso la metà del XV secolo, rimaneggiato e rinforzato dai Lubello (baroni di Maglie sotto il regno di Alfonso I d'Aragona). Il castello era circondato da un fossato. Certamente subì seri danni nei primi tempi dell'assedio di Otranto (1-2 agosto 1480) quando squadre di cavalieri turchi correvano selvaggiamente verso i paesi costieri e dell'interno causando ogni sorta di razzia.