Dopo la guerra di Otranto Alfonso ricostruì il castello della città e nel 1485, in quanto erede al trono di Napoli, trasformò in un castello il torrione che Ferrante, nel 1481, durante il conflitto ottomano aveva costruito a Brindisi, con: la costruzione di un grande antemurale con due bastioni, uno di forma triangolare all’angolo nordest, di tipo casamattato, detto magazzino delle polveri, e l’altro di forma circolare a ovest, a terrapieno, detto di san Filippo, collegati tra loro da un cammino di guardia che racchiudeva al proprio interno la piazza d'armi. Così nacque il superbo castello Aragonese di Brindisi, detto anche Alfonsino in suo onore, che i turchi denominarono “castello rosso” dal colore che a certe ore sembrava assumere la pietra di carparo con cui era stato fabbricato.