Under kulturrevolusjonen tapte Xis far alle sine politiske verv og ble sendt til indre eksil i Henan-provinsen – han ble fabrikkarbeider i Luoyang. Han ble ikke rehabilitert før i 1980. Xi hadde ikke lenger farens beskyttende hånd over seg, og ble sendt til arbeid på landsbygden i 1969 i fylket Yanchuan i Shaanxi. Xi ble med i kommunistpartiets ungdomsforbund i 1971 og ble han partisekretær i den arbeidsgruppen han tilhørte. Da han fikk lov til å avslutte og reise derfra i 1975, var han ennå bare 22 år.