De 1552 a 1556, por orden de dicho monarca el arquitecto Gaspar de Vega realizó sobre el primitivo pabellón una edificación palaciega con influencias flamencas.