东汉光武帝建武十三年（37年）将真定国并入常山郡，郡改称常山国，与周围中山国、赵国、巨鹿郡之间的辖境发生一定变化，统县反而减少到13，治所仍在元氏县。三国时期，常山郡西南分置乐平郡，元氏县归属赵国，范围进一步缩小，郡治迁移回汉初的真定县（今正定县）。西晋沿置，统县减少到8，不过恒山仍在境内上曲阳县西北。十六国北朝各代基本沿用郡治，归属于定州，北周改称恒州。隋朝统一后，又称恒山郡，统县8，仍治真定。唐朝建立改郡为州，称恒州，唐玄宗天宝元年（742年）改州为郡又改回常山郡，下辖真定县、石邑县、行唐县、九