Neumann hørte til opplysningsprestene og var en aktiv embetsmann. I Asker utdannet han lærere, drev propaganda for vaksinasjon, skrev om landbruksvitenskapelige emner og innførte forbedringer i jordbruket. I sin posisjon som biskop fikk han mulighet til å innvirke på en rekke kunnskapsområder. Sammen med Wilhelm F. K. Christie grunnla han Bergens Museum i 1825, og han var medlem av direksjonen her gjennom en årrekke. På sine mange visitasreiser samlet han inn gjenstander og innhentet opplysninger av kultur- og naturhistorisk verdi. Særlig var han interessert i arkeologi, skrev om oldfunn og teoretiserte omkring disse. Han sto også for egne arkeologiske undersøkelser, bl.a. på Reheia ved Avaldsnes.