Den 28. februar 1938 forlot Rabe Nanjing og dro først til Shanghai og deretter til Tyskland. Der viste han film og fotografier av japanske krigsforbrytelser, og han skrev brev til Adolf Hitler og bad ham bruke sin innflytelse for å stanse de japanske grusomhetene. I stedet ble Rabe forhørt av Gestapo, og hans brev til Hitler ble ikke ekspedert til ham. Etter påtrykk fra Siemens AG ble han løslatt. Han fikk lov til å beholde beviser om massakrene, med unntak av filmen, men fikk ikke lov til å holde flere foredrag om emnet eller skrive om det.