Xu kom fra en arbeiderklassefamilie; hans foreldre var fabrikkarbeidere. Han fikk gode karakterer på sin gaokao-eksamen og ble tatt opp på eliteskolen Harbin militære ingeniørinstitutt i Harbin, der han studerte til elektroingeniør. Han rakk akkurat å tre inn i militæret før han og de øvrige studenter i 1966 ble beordret til å søke sivilt arbeid. Rett etter utbrøt kulturrevolusjonen. Ikke lenge etter ble han sendt ut til landsbygden; han kom til en gård i fylket Tangyuan i nordøstre Kina.