La leyenda cuenta que el huésped prisionero más famoso fue el conde castellano Pedro Vélez, al ser sorprendido en amoríos dentro del recinto con una prima carnal del rey Sancho III el Deseado.