Neumann etablerte seg som advokat i Berlin før han i 1933 ble satt i konsentrasjonsleir. Han ble etter kort tid løslatt og dro til London hvor han tok en doktorgrad. I 1936 kom han til Columbia University i New York der han etablerte seg ved den ny-marxistiske Frankfurterskolen i eksil sammen med blant andre Max Horkheimer, Erich Fromm og Theodor Adorno. Innenfor dette miljøet bidro han særlig til analyse av nazismen og fascismen. Han var uenig med Friedrich Pollock som mente at fascismen var et nytt, krisefritt og altomfattende «statskapitalistisk» system. I 1936 tok han initiativ til en rekke forelesninger på Columbia som ble et punkt på veien mot . Under krigen arbeidet han i det amerikanske utenriksdepartmentet og i OSS. Sommeren 1945 dro han til det okkuperte Tyskland som den første forskningsleder ved Nürnbergprosessen og medvirket der ved forberedelse av rettssaken mot de ledende personene i naziregimet. I 1948 vendte han tilbake til Columbia som professor i statsvitenskap. I 1940-årene var Neumann mistenkt for medvirkning til spionasje for Sovjetunionen, men ble frikjent. Han omkom i en bilulykke i Sveits 2. september 1954.