Un palacio menor, la llamada Casa del Labrador, se sitúa fuera del recinto, formando parte del "Jardín del Príncipe".Los inmensos jardines, proyectados para ensalzar la residencia real de la árida y seca meseta del centro de la península ibérica, y regados con las aguas de los ríos Tajo y Jarama, son los más importantes del periodo de los Habsburgo.