Hierna het nog ’n kort dienstyd gevolg toe hy in 1920 leraar word van Heidelberg, Transvaal, want reeds in 1922 verlaat hy Heidelberg om leraar van Pretoria te word, sy laaste gemeente en ook dié waarin hy die langste sou arbei. Met sy diensaanvaarding in Pretoria het die gemeente nog die hele hoofstad beslaan. Pretoria-Oos is in 1930 afgestig, maar daarna was ds. Rumpff nog verantwoordelik vir die ander helfte van die stad aangesien Pretoria-Noord se stigting eers in die jaar nadat hy sy emeritaat aanvaar het, aan die beurt sou kom. In die noordelike wyke het hy jare lank dienste in ouderlinge se huis gehou en van 1931 af min of meer maandeliks op ’n Sondagmiddag in die stadsaal (waarskynlik van Pretoria-Noord, hoewel die bron dit nie so uitstippel nie).
Hy het in o.a. 1930 'n reis per motor en skip na Suid-Wes-Afrika, Belgiese Kongo en Kenia onderneem om die gemeentes op pad en aldaar te bedien. Die roetes is nie bekend nie.