Etter en rekke navneskifter under Qin-dynastiet og Han-dynastiet fikk byen i 424 under det nordlige Wei-dynasti sitt nåværende navn, Pingyao. Da keiser Qin Shi Huang Di delte Kina i 36 administrative enheter i 221 f.Kr. ble Pingyao hovedstad for jurisdiksjonen av samme navn. I de fem dynastiers og ti kongedømmers tid ble Pingyao erobret, plyndret og brent ned i 960 i en krig mellom det nordlige Song og det nordlige Han.