El Buen Retiro se constituyó en el siglo XVII alrededor de un palacio real, cuyos dos únicos restos conservados, el Salón de Reinos y el llamado Casón, están enclavados fuera de los límites del parque, como consecuencia de la segregación de terrenos que tuvo lugar en 1865.