Hielmstierne var en ivrig boksamler og en venn av historiestudiet, et studium han gjerne understøttet. Han ble i 1742 sekretær og i 1776 preses i Videnskabernes selskab.