A partir de 1547, comenzaron las obras siguiendo un primer diseño de Luis de Vega, autor también del palacio de Valsaín.