Il castello trova le sue origini nel XIII secolo come opera fortificata. L'edificio venne successivamente adeguato alle nuove esigenze belliche nel XV secolo, epoca in cui i erano signori di Andrano. I lavori furono sicuramente accelerati in seguito all'invasione turca che interessò la vicina Otranto nel 1480, mettendo in allarme i centri limitrofi. Lo stesso Antonio Saraceno, allora signore di Andrano, accorso in aiuto ad Otranto con un suo esercito, vi perse la vita.