Den syvende keiseren i Han-dynastiet, Keiser Wu av Han (141–87 f.Kr.) tok makten i Kina, som etter 60 år uten store stridigheter nå var sterk, og startet krig med Xiongnu. I 127 f.Kr. ble området sør for Huang He gjenerobret og en storstilt restaurering av den tidligere muren ble utført. I tillegg til en større renovering ble det også bygget nye murer. Langs den nordlige grensen til Hebei og Indre Mongolia er det funnet murer fra tiden til keiser Wu som sannsynligvis i det minste delvis erstattet den tidligere Qin-dynastiets mur. Tårn ble bygget langs den nordlige veggen nord for Huang He og også landsbyer som var hovedkvarteret for forsvarsgarnisonene. Nord for det tidligere Qin-dynastiets nordmur ble det i 102 f.Kr. bygget to parallelle vegger i Indre Mongolia som går fra området nord for Hohhot vestover inn i dagens Mongolia. Keiseren var bekymret for at Xiongnu ville alliere seg med Qiang-stammene som bodde i dagens Tibet, og utvidet derfor muren vestover. En annen grunn til murens utvidelse vestover var å beskytte den nye handelsruten som senere skulle bli kjent som Silkeveien.