Han var søn af oberst Sigismund Jacob Bielefeldt. I en alder af fem år blev han 1757 ansat i artilleriet, 1761 fyrværker, 1764 sekondløjtnant, 1773 premierløjtnant, 1774 kompagnichef ved sjællandske nationale Artilleribataillon, men trådte 1776 igen ind i Artillerikorpset, blev kompagnichef og generaladjudant. 1788 gik han med et kompagni, 10. ridende, til Norge, deltog i felttoget i Sverige, udmærkede sig der og fik en souvenir af kronprinsen, som i affæren ved Kvistrum Bro opholdt sig ved hans batteri. Han forblev derpå i Norge som major, karakteriseret i 1788, virkelig 1790, oberstløjtnant 1796 og oberst 1803.