Herbst ble født i København som sønn av direktøren for den militære klessfabrikk, generalkrigskommissær Michael Johan Chr. Herbst (død 1830, sønn av Adolph Tobias Herbst) og Michelle født de Stibolt. Herbst giftet seg 20. mars 1860 med Ophelia Gerstenberg Rosted, datter av G. Rosted og Andrea født Herbst.