Neumann fullførte sin embetseksamen i teologi ved Universitetet i København i 1796. Han var huslærer hos rike familier, både før og etter han bestod eksamen. Ved siden av lærergjerningen hadde han mulighet til å drive studier på egen hånd. I 1799 tok han den teologiske doktorgraden på en kirkehistorisk avhandling om erkebiskopen i Lund, forfattet på latin. Samme året fikk han stilling som residerende kapellan i Asker i Akershus. I Asker virket han som prest i 22 år, fra 1805 som sogneprest. I 1814 var han med i det overordentlige Storting, og han var med i deputasjonen som reiste til Stockholm for å overbringe grunnloven og hilse den nye norske kongen. Disse begivenhetene har han beskrevet i sin dagbok. Sommeren 1822 tok han til som biskop i Bergens stift, et embete han hadde til han døde.