战国赵武灵王击破楼烦、林胡后，佔有此地，在此设郡。秦、西汉治所在善无县（今山西省右玉县南）。辖境约当今山西省河曲、五寨、宁武等以北，恒山以西，内蒙古自治区黄旗海、岱海以南地。东汉移治阴馆县（今山西省朔州市东南），三国魏移治广武县（今代县西）。隋朝开皇初年，废雁门郡。大业初改代州为雁门郡，治所在雁门县（即今代县）。唐朝武德元年（618年）复改为代州，天宝初又改为雁门郡，下辖雁门县、繁畤县、五台县、崞县、唐林县，干元初又复改为代州。