Ved siden av prestegjerningen var han en interessert zoolog som beskrev flere arter. Han beskjeftiget seg særlig med å systematisere insekter og andre virvelløse dyr og publiserte en rekke innflytelsesrike bøker om temaet. Herbst var eier av en omfattende insektsamling.