Stoph ble medlem i det tyske kommunistpartiet (KPD) i 1931. Fra 1935 til 1937 avtjente han verneplikten i artilleriet, og vendte tilbake til militæret i 1940, etter at andre verdenskrig hadde brutt ut. I krigens sluttfase, i april 1945, ble han tatt til fange av den sovjetiske hæren. Han ble løslatt i juli samme år, og fikk en ledende stilling innen KPDs avdeling for byggindustrien.