Ved omorganiseringen av museenes administrasjon i 1892 ble han avskjediget fra de fleste av sine museumsembeter, men han forble direktør for Rosenborgsamlingen og ble utnevnt til direktør for den Kongelige Mønt- og Medaljesamling. Han var fra 1887 og frem til sin død formann i styret for Frederiksborgmuseet. I 1856 var Herbst blitt kammerråd, 1869 fikk han justitsrådstittelen. I 1862 ble han opptatt som medlem i Det kongelige danske Selskab for Fædrelandets Historie.