Miembro del Partido Comunista de Alemania (KPD) desde 1931, tras la instauración del régimen nazi militó en grupos opositores al nacionalsocialismo. Entre 1935 y 1937 realizó el servicio militar en Brandenburg an der Havel. Tras el comienzo de la Segunda Guerra Mundial en 1940 Stoph fue reclutado para el Ejército. En 1942 fue herido durante la campaña de la Unión Soviética, y fue galardonado con la Cruz de Hierro.