Per la storia di Borgagne del Tardo medioevo, la prima vera documentazione risale agli anni 1314 e 1337, nei quali si attesta che una nobile famiglia provenzale, gli Stendardo, possedeva rispettivamente i feudi di Pasulo e Borgagne. Successivamente, instauratosi ormai il feudalesimo, i possedimenti passarono di mano in mano a potenti famiglie straniere. I "De Iserio", che venivano da Barletta, seguirono agli Stendardo: pare che di padre in figlio abbiano mantenuto il feudo fino alle lotte tra francesi e spagnoli che, nella seconda metà del Quattrocento, si contesero il Mezzogiorno. Nel 1463 Borgagne è soggetta solo al capitaneo di Lecce ed è senza un feudatario, per espressa richiesta del paese al re. Tuttavia, solo un anno dopo, il 18 giugno 1464, Ferdinando I d'Aragona, re di Spagna, donò, per servigi ricevuti, i feudi di Borgagne e Pasulo a "Gaspare Petraroli", un barone ostunese; questi poi li passò al figlio Belisario. E fu quest'ultimo, nel 1497, a far erigere il nucleo originario del castello di Borgagne, in un luogo alto ed esplicitamente a difesa dell'abitato. Questo testimonia l'esistenza di un vero e proprio villaggio borgagnese, che sicuramente si estendeva per lo più nelle attuali vie "Castello", "Conciliazione Laterano" e "IV Novembre", nelle quali il Petrarolo fece costruire delle case-torre a presidio, visibili ancora oggi. Non c'è dubbio che queste misure difensive erano state rese indispensabili dalle varie incursioni dei turchi, che solo una ventina d'anni prima avevano assaltato Otranto e la vicinissima Roca Vecchia, e si erano anche spinti contro le masserie circostanti.