Etter å ha levd det meste av sitt liv i utlandet, flyttet Rummelhoff tilbake til Arendal i midten av 1880-årene, og i 1890 bosatte han seg i hjembyen for godt. Samme år startet han en privat tegneskole.