Heldring werd geboren in Rinteln, in het toenmalige Hessen-Kassel, als zoon van Hans Hendrik Heldring en Dorothea Grupen. Hij trad op zeventienjarige leeftijd als huursoldaat in dienst van het Staatse leger. Vervolgens maakte hij deel uit van het derde Engels Waldeck regiment, Hessische hulptroepen gedurende de Amerikaanse Onafhankelijkheidsoorlog, waarbij hij onder meer deelnam aan de inname van Fort Washington. In 1785 werd hij kapitein van een compagnie musketiers in het vijfde bataljon van Waldeck, een eenheid die door de vorst van Waldeck-Pyrmont tegen betaling ter beschikking werd gesteld van de Republiek en dat in actie kwam tijdens de Eerste Coalitieoorlog. Heldring werd er kolonel-commandant in 1794.