Der er derivert med hensyn på . Det antas at er en komplisert funksjon, og at vi ikke har en eksplisitt løsning på problemet. For å generere en løsning er det ønskelig å bevege seg fra til , og så videre til . Da må den deriverte approksimeres. Runge-Kutta metoden gjør dette ved å gjentatte ganger sette inn forskjellige verdier i funksjonen , og velge lineære kombinasjoner slik at flest mulig ledd i Taylor-utviklingen til stemmer overens med .