Hertzberg ble av kongen 4. november 1893 utnevnt til kommandør av 1. klasse av St. Olavs Orden «for fortjenstfuld embedsvirksomhed».