Después, y hasta el siglo , el palacio perteneció a los condes de Paredes de Nava y, más tarde, al marqués de Peñafuente.