Det er på grunn av sin beliggenhet vest for Taihangfjellene at provinsen heter Shanxi (= «vest for fjellene»). Den administrative provinsforkortelse Jin (晋) går tilbake til oldtidsstaten Jin som lå i samme område.