I litteraturen er Herbst for øvrig bare representert med mindre numismatiske og arkeologiske arbeider, der spesielt finnes i oldskriftselskapets tidsskrifter. Herbst var blitt valgt til sekretær for oldsakavdelingen i dette selskapet i 1865, men trådte i 1868 tilbake fra denne posten under forhold, som karakteriseres ved striden i selskapets om oppdagelsen av den eldre jernalder.