Su construcción empieza por orden del marqués de Astorga, para pasar a ser de Bernardino Pimentel, regidor de Valladolid y tío de Alonso Pimentel, II duque de Benavente, siendo él el propietario del palacio cuando Felipe II nació en su interior, al estar albergada en el palacio la familia real para asistir las Cortes celebradas en abril de 1527.