Da de tyske okkupantene rykket inn i landet var Hølvold og kommunistene i nord utsatt. Gestapo hadde tatt over de norske politiarkivene, der Hølvold og sentrale NKP-ledere var registrert. Sammen med flere andre partifolk besluttet han tidlig på høsten 1940 å dra østover med familien og søke tilflukt i Sovjet.