Houtermans era comunista; habiendo sido miembro del partido comunista alemán desde la década de 1920. Después de que Adolf Hitler llegó al poder en 1933, Charlotte Houtermans insistió en que saliesen de Alemania. Se fueron a Gran Bretaña, cerca de Cambridge, donde trabajó para el Laboratorio de Televisión de la EMI (Electrical and Musical Instruments, Ltd.). En 1935 Houtermans emigró a la Unión Soviética, como resultado de una propuesta de Alexander Weissberg, que había emigrado allí en 1931. Houtermans concertó una cita en el Instituto Físico-Técnico de Jarkov y trabajó allí durante dos años con el físico ruso Valentin P. Fomin. Durante la Gran Purga efectuada por Stalin, Houtermans fue detenido por la NKVD en diciembre de 1937. Fue torturado y confesó ser un infiltrado trotskista y un espía alemán, temiendo las amenazas contra Charlotte. Sin embargo, Charlotte había escapado ya de la Unión Soviética a Dinamarca, yendo después a Inglaterra y finalmente a los Estados Unidos. Después del pacto Hitler-Stalin de 1939, Houtermans fue entregado a la Gestapo en mayo de 1940 y encarcelado en Berlín. Gracias al empeño de Max von Laue, Houtermans fue liberado en agosto de 1940, empleándose en el "Forschungslaboratorium für Elektronenphysik", un laboratorio privado propiedad de Manfred Baron von Ardenne, en Lichterfelde, un suburbio de Berlín. En 1944, Houtermans fue contratado como físico nuclear en el Physikalisch-Technische Reichsanstalt.