偏；另一说是因为五代时期、宋代和金代在这里设立偏头寨的原因。到元代开始叫作偏头关，但其关城已毁，仅存残址。今天的关城为明代所建。明洪武二年（1369年）设太原五卫，偏关属镇西卫。洪武二十三年（1390年），镇西卫指挥使张贤在偏关置偏关所，开始建新城。宣德四年（1429年），山西镇总兵由宁武关移驻偏关，之后多次扩建，成为现在的规模。