Byen lå i det som nå er Taiyuanzhen, noen kilometer øst for den moderne by. Etter at Song-dynastiet kom til makt der i 960 begynte man å bygge en helt ny by ved elven Fens bredder i 982. Byen ble sete for et overordnet prefektur i 1059 og ble administrativ hovedstad for Hedong (det nordlige Shanxi) i 1107. Den forble det – skjønt med varierende navn og status – frem til slutten av Yuan-dynastiet (1368).