Umiddelbart etter at keiser Wen (541–604) forente Kina i 581 og opprettet Sui-dynastiet (581–618), begynte byggingen av nye forsvarsmurer og reparasjon av gamle. For beskyttelse mot tyrkerne ble det bygget en mur i den nordvestlige Shanxi-provinsen på bare 20 dager. Tyrkerne brøt imidlertid raskt gjennom denne grensen og Sui-dynastiet begynte å bygge lange murer og stasjonere titusenvis av soldater langs grensen. Samme år ble også de østlige delene av murene bygget av Northern Qi og Northern Wei fra Xing i Shanxi hele veien forbi Beijing renovert.