Hielm mottok en rekke utmerkelser for sitt virke. Han ble i 1892 utnevnt til ridder av 1. klasse av St. Olavs Orden. Han var også ridder av 1. klasse av den svenske Vasaordenen. Hielm ble tildelt 1. klasse av den russiske Sankt Stanislaus-ordenen, 2. klasse av den saksisk-weimarske Den hvite falks husorden og 1. klasse av den saksiske Albrechtsordenen.