Ved den store splittelsen i Ap i 1923 sluttet store deler av partiorganisasjon og velgere i Hedmark opp om det nye Norges Kommunistiske Parti, og Sjøli ble ved valget i 1924 kun suppleant. Men ved valget i 1927 vant han igjen stortingsplassen, nå som 4. representant for Hedmark. Han ble også gjenvalgt i 1930, 1933 og 1936, og han var således stortingsmann helt til 1945.