Han tok gymnaseksamen i 1837 i Slagelse, hvor hans familie var flyttet, etter at faren hadde gått av. Christian Jürgensen Thomsen merket snart den iveren som Herbst dyrket numismatiske og arkeologiske studier. Numimatikken hadde allerede opptatt ham fra hans skoletid, og da Thomsen i 1843 ansatte Herbst som "Assistent ved Forevisningen", ga Herbst opp sitt påbegynte juridiske studium.