Han ble i august 1942 arrestert og torturert av Gestapo, men klarte noen måneder senere å rømme og ta seg over grensen til Sovjetunionen sammen med politimannen Harald Rygh som hjalp ham til å flykte. Vel fremme i Sovjetunionen ble han anklaget for å være tysk spion, og i 1944 dømt til 15 års opphold i det beryktede sovjetiske GULag-systemet av fangeleire. Ukjent for Harjo pågikk det hjemme i Norge underskriftskampanjer til støtte for hans sak. Etter at Einar Gerhardsen under sitt besøk i Moskva i november 1955 hadde tatt opp hans sak, ble Harjo få dager senere løslatt. Han vendte tilbake til Norge 3. desember samme år.