En el siglo XVI ya existía un palacio en la parcela, según el arquitecto Mariano Carderera y Ponzán, y en 1576 era propiedad de los marqueses de Fresneda y vizcondes del Fresno.