Su estructura fue objeto de varias reformas —sobre todo la fachada—, pues el rey Enrique III de Castilla lo convirtió en una de sus más frecuentadas residencias, tras lo que el recinto obtiene el adjetivo de «real».