Posee un gran valor histórico, pues en este edificio fueron confinados la Princesa de Éboli, Antonio Pérez, secretario del rey Felipe II, y, en 1808 y durante un breve período, Manuel Godoy, favorito de Carlos IV.