秦兼并赵国之后设郡，元氏属鉅鹿郡。西汉初年（前204年）汉高祖刘邦设置元氏县，属恒山郡，郡治设在元氏县，后属真定县。后为避汉文帝刘恒之讳而改称常山郡，汉景帝时期改称常山国。东汉光武帝建武十三年（37年）将真定国并入常山郡，之后郡改称常山国，与周围中山国、赵国、鉅鹿郡之间的辖境发生一定变化，统县减少到13个，但治所仍在元氏县。三国时期，常山郡西南分置乐平郡，元氏县归属赵国，范围进一步缩小，郡治迁移回汉初的真定县（今正定县）。西晋时期，元氏县也归属赵国，此时统县减少到8个，不过恒山仍在境内上曲阳县西北。