Hoelfeldt gikk inn i hæren som underoffiser i 1755 og ble i 1763 premierløytnant i Kronprinsens regiment til fods. I 1773 ble han utnevnt til kaptein i 2. vesterlenske infanteriregiment, ble major i 1789, bataljonskommandør i 1790 og oberstløytnant i 1801. Året etter kom han til Bergenhusiske infanteriregiment, hvor han ble oberst i 1806, og etter generalløytnant Hesselbergs død i 1809 regimentssjef samt midlertidig kommandant på Bergenhus festning. Samme år ble han utnevnt til generalmajor. Han ble avskjediget i begynnelsen av 1812 og døde bare et par måneder senere, mens han var i kirken.