W listopadzie 1935 został aresztowany przez NKWD i skazany na 5 lat łagrów za "działalność kontrrewolucyjną", przebywał w obozach koncentracyjnych w Komi, a następnie na półwyspie Tajmyr. NKWD aresztowało również żonę i córkę Piwowarczyka, zginęły w czasie „wielkiego terroru”. Na przełomie 1941/42 zwolniony po odbyciu kary, w kwietniu 1942 uczestniczył w prowokacji NKWD wobec ambasady RP w Kujbyszewie. W końcu 1943 zrzucony na spadochronie na tyły frontu niemieckiego w okolice Wilna, gdzie w lipcu 1944 zastała go ofensywa Armii Czerwonej.