En 1585 estuvo preso en este castillo Antonio Pérez, secretario del rey Felipe II.