Xi ble medlem av Kinas kommunistiske ungdomsforbund i mai 1926 og i Kinas kommunistiske parti i 1928. Etter grunnleggelsen av Folkerepublikken Kina var han til å begynne med førstesekretær i KKPs Sentralbyrå for region nordvest, og som dette basert i sin hjemprovins Shaanxi. Herifra flyttet han til Beijing der han mellom september 1952 og juli 1954 var sjef for KKPs Sentrale Propagandadepartement. I september 1953 ble han utnevnt han til generalsekretær for Statsrådet, en post han beholdt under de påfølgende ti årene. Den 28. april 1959 ble han dessuten utnevnt til visestatsminister: Han ble rangert i offisielle sammenhenger sist blant Kinas på den tid totalt seksten visestatsministre.