Hersleb var påvirket av Pontoppidan. Av litterære utgivelser har han «Lærebog i Bibelhistorien» (København, 1812) og «Affordret Beviis for at Skriftet "Sanfærdig Beretning om Danmarks politiske Forbrydelser imod Norge" - fortjener enhver retsindig Nordmands Uvillie og Foragt» (Christiania, 1817), og det finnes en god del forelesningsmanuskripter i manuskriptsamlingen ved Universitetet i Oslo. I 1812 oppfordret Grundtvig ham til å utgi «et bind teologiske undersøkelser». Han hadde også ferdig en undersøkelse om religionens opprinnelse, og han hadde tenkt å utgi en «udsigt over det gamle testamentes interpretations historie». Han hadde også planer om å utgi ei lærebok i hebraisk grammatikk, og han ville publisere forelesningene sine. «Lærebog i bibelhistorie» ble utgitt på dansk i 1812 og på norsk i 1832 i mange opplag.