Det forutgående Qin-dynastiet falt som følge av en rekke samtidige bondeopprør som blusset opp på grunn av den nådeløse undertrykkelsen under Qin-keiseren. Den direkte foranledning til opprørene var en ordre om å henrette en gruppe på 900 arbeidere ved muren som på grunn av en regnstorm kom for sent til jobben. De dødsdømte gjorde motstand og ble kjernen i det som på kort tid vokste til en motstandshær på angivelig så mange som 300 000 mann. Under denne borgerkrigen og Qin-dynastiets fall i 206 f.Kr. begynte keiser Gaozu av Tang renoveringen av den tidligere Qin-muren rundt Huang He for å beskytte Kina mot de nå forente og mektige Xiongnu-nomadene. Etter et tungt militært nederlag mot Xiongnu i 200 f.Kr. ble Han-dynastiet tvunget til å gå med på et diplomatisk avtale, som ydmyket Han-dynastiet, om fred og handel med Xiongnu, og murbyggingen stoppet.