Etter avlagt gymnasium i Bremen i 1875 begynte han året etterpå studier i filologi ved Universitetet i München, men skiftet raskt over til naturvitenskap. Her møtte han Max Planck som ble en livslang venn. Allerede i 1877 bestemte begge to seg for å fortsette studiene i Berlin. Runge mottok der sin doktorgrad i matematikk i 1880 under ledelse av Karl Weierstrass med en avhandling om differensiell geometri. Tre år senere habiliterte han seg under Leopold Kronecker med et algebraisk arbeid for å kunne undervise og ble ansatt i 1883 som professor ved den tekniske høyskolen i Hannover. Han ble der til 1904 da det ble opprettet et eget institutt for ham i anvendt matematikk ved Universitetet i Göttingen. En av hans første og mest kjente doktorgradsstudenter var Max Born. Runge var sportslig anlagt, men døde likevel to år etter pensjonering av et hjerteinfarkt.