Stumpfs siste leveår ble formørket av den truende undergang av misjonen. Men også noen egenrådige beslutninger han hadde fattet som astronomidirektør (han beordret at gamle instrumenter skulle smeltes ned) bragte ham i unåde hos keiseren. I 1719 overlot han derfor sitt embede til sin landsmann jesuittpateren Ignaz Kögler (1680–1746).