光武帝建武十三年（37年）将真定国并入常山郡，之后郡改称常山国，与周围中山国、赵国、鉅鹿郡之间的辖境发生一定变化，统县减少到13个，但治所仍在元氏县。三国时期，常山郡西南分置乐平郡，元氏县归属赵国，范围进一步缩小，郡治迁移回汉初的真定县（今正定县）。西晋时期，元氏县也归属赵国，此时统县减少到8个，不过恒山仍在境内上曲阳县西北。南北朝时期，元氏属魏国冀州部常山郡，郡治迁至真定。魏太和六年（232年），封常山郡为赵国，元氏改属赵国。北魏时期，元氏改属赵郡。北齐天宝五年（554年），废元氏县。隋朝时期