Den 20. januar 1942 deltok han på Wannsee-konferansen som representant for kontoret for fireårsplanen; Neumann representerte således forskjellige ministerier som økonomi, arbeide, finans, mat, transport, utrustning og ammunisjon. Neumann anmodet om at jødiske arbeidere i virksomheter som var essensielle for krigsinnsatsen inntil videre burde unntas fra deportasjoner inntil det var funnet andre arbeidskrefter som kunne tre inn som erstatning i deres sted. Neumann var trolig fullt informert om det pågående massedrapet på jøder bak østfronten. Det er uklart hvilken rolle Neumann hadde i Wannsee. Under rettssaken mot Adolf Eichmann i Jerusalem ble Neumann bare nevnt i forbifarten. Synspunktet var i pakt med den allerede inngåtte overenskomst mellom Reichssicherheitshauptamt og Wirtschaftsrüstungsamt des OKW (OKW= Wehrmachts overkommando). Adolf Eichmanns deportasjonsretningslinjer av 31. januar 1942 inneholdt i pakt med dette unntak for tyske jøder i rustningsrelatert virksomheter og i landbruket.