Herbst var sønn av kjøpmannen Edward (som kom fra Sachsen) og Ludwika Vonderheiden. Han fullførte Handelsskolen i Warszawa og begynte å jobbe i Karol Scheiblers fabrikk i 1869.