Hielmstierne avla teologisk eksamen i 1736 og ble i 1738 sekretær i det danske kanselli, 1744 assessor og 1776 justitiarius i Højesteret. Han ble adlet i 1747 (før dette het han ) og ble geheimeråd i 1777.