I Korçë kom han i kontakt med den kommunistiske undergrunnsbevegelsen under den italienske okkupasjonen av Albania. Xoxe var med på å danne Arbeidets parti i 1941, og satt som organisasjonssekretær for sentralkomiteen 1943–1948. I 1944 kom kommunistene til makten i Albania. Xoxe ledet spesialdomstolen i Tirana som rettsforfulgte fascistiske kollaboratører, krigsforbrytere og såkalte folkefiender i 1944/1945. Han var visestatsminister og innenriksminister i Enver Hoxhas ministerium 1946–1948.