El cardenal Cisneros y Ana de Mendoza de la Cerda, princesa de Éboli, han sido algunos de sus prisioneros, así como el Barón de Watteville, que fue encarcelado en él tras un incidente diplomático cuando desempeñaba el cargo de embajador de España en el Reino Unido.