La primera ampliación de importancia acometida en el edificio se efectuó en el año 1537, por encargo del emperador Carlos V, pero su aspecto exterior final corresponde a las obras realizadas en 1636 por el arquitecto Juan Gómez de Mora, impulsadas por el rey Felipe IV.