I 1785 flyttet han til Bayern og ble adjutant for kurfyrst Karl Theodor. Han tilbrakte elleve år i Bayern, hvor han omorganiserte hæren og etablerte arbeidsanstalter for fattige. Under arbeidet oppfant han Rumford-suppen, en næringsrik suppe for fattige, og innførte potetdyrking i Bayern.