En uno de éstos murió al pie de sus murallas, en 1434, el conocido Adelantado de Andalucía Don Diego de Rivera, que supuso en su época una trágica noticia que se encargó de difundir el conocido Romance de Alora que se reproduce íntegramente en una placa situada en la entrada de la fortaleza.