Gräfenberg hadde jødisk bakgrunn, noe som skapte problemer for ham etter at nazistene tok makten i Tyskland. Han ble fengslet i 1937 etter å ha smuglet et verdigfullt frimerke ut av landet. Han fikk omsider hjelp av den amerikanske sykepleieren og samlivsrådgiveren Margaret Sanger slik at han ble løslatt. I 1940 flyttet han til New York hvor han åpnet en legepraksis.