Muren til nordlige Wei-dynastiet (386–534) ble ironisk nok bygget av et nordlig nomadefolk, Xianbei, for å beskytte seg mot andre nomadefolk, eurasiske nomader og khitanere fra nord. Fra og med år 423 ble en omtrent 1000 km lang mur bygget fra området nord for den nordlige svingen av Huang He elven i indre Mongolia og østover. Denne muren fulgte omtrent den opprinnelige Zhao-muren. Muren begynte i Baotou eller kanskje så langt vest som Wuyuan, i øst gikk den mot Xinghe og fortsatte muligens videre til Chicheng i Hebei. Mellom 446 og 448 ble den indre muren bygget, den gikk sør for den nordlige Wei-hovedstaden Pingcheng (dagens Datong) fra østbredden av den Huang He ved Baode, sør for Pingcheng, og deretter nordøstover mot Badaling nordvest for Beijing for å omringe og beskytte hovedstaden. Den indre muren var bygget av pakket jord og var lavere og smalere enn den nordlige ytterveggen.