Houtermans byl komunista, a byl členem německé komunistické strany od roku 1920. Poté, co se k moci dostal Adolf Hitler, trvala Charlotte Houtermansová na tom, že opustí Německo. Odešli do Velké Británie a usadili se poblíž Cambridge, kde Houtermans pracoval pro televizní laboratoř EMI. V roce 1935 Houtermans emigroval do Sovětského svazu na návrh Alexandra Weissberga, který emigroval tamtéž v roce 1931. Houtermans získal místo na Charkovském fyzikálně-technickém institutu a pracoval tam dva roky spolu s ruským fyzikem Valentinem P. Fominem. V době Velké čistky byl Houtermans v prosinci 1937 zatčen NKVD. Byl mučen a přiznal že je trockistický spiklenec a německý špion ze strachu o Charlotte. Nicméně, Charlotte již utekla ze Sovětského svazu do Dánska, poté do Anglie a nakonec do USA. Po uzavření paktu Ribbentrop–Molotov roku 1939 byl Houtermans v květnu 1940 předán Gestapu a vězněn v Berlíně. Díky snaze Maxe von Laue byl Houtermans v srpnu 1940 propuštěn, načež nastoupil na "Forschungslaboratorium für Elektronenphysik", což byla privátní laboratoř Manfreda von Ardenne v Lichterfelde na předměstí Berlína. V roce 1944 získal místo jaderného fyzika ve "Physikalisch-Technische Reichsanstalt."