Las obras comenzaron en 1537, bajo la dirección de los arquitectos Luis de Vega y Alonso de Covarrubias, quienes renovaron las dependencias antiguas, articuladas alrededor del Patio del Rey, ya existente en el castillo medieval.