En el siglo XIV, el monte y el edificio pasaron a manos de Leonor Núñez de Guzmán, amante de Alfonso XI.