La continua ampliación del jardín llevó a que Carlos III diera instrucciones en 1774 para trasladarlo a su actual emplazamiento en el Paseo del Prado de Madrid, dentro del programa de ordenación del Salón del Prado y Atocha.