En 1524 el obispo Antonio de Rojas perdona a los comuneros y la ciudad de Palencia entrega 925000 maravedíes para reconstruir la torre y el palacio.