Herbst, som hørte til Thomsens første elever, har på de forskjellige trinn av sin museumsvirksomhet vært en utmerket støtte for samlingenes fremvekst. Alltid velvillig og hjelpsom i sin stilling over for leg og lærd. Særlig over for den store skare samlere han til gjengjeld selv fant velvillig imøtekommenhet, når han har søkt å skaffe museenes nytt materiale. Spesielt veksten av myntsamlingen og museets antikvarisk-topografiske arkiv skyldes Herbsts eget initiativ. Som et takknemlighetstegn lot en krets av kolleger og venner i 1885 prege en gullmedalje med Herbsts bilde, som ble overrakt ham på hans sølvbryllupsdag.