En este castillo estuvo preso en 1585 Antonio Pérez, secretario del rey Felipe II.