Rummelhoff gikk syv år på Krigsakademiet i København. I 1782 ble han løytnant og samtidig konduktør i det danske veikorps. I 1790 ble han utnevnt til kaptein, og fikk senere tittel som major. Dette var grunnlaget for stillingen som generalveimester i Kristiansand, og han gjorde ingen tjeneste som offiser etter 1790.