汉、东汉、曹魏、西晋、北魏、北齐、北周沿之，辖区日易缩小。隋文帝时废郡，其属县划入易州。隋炀帝改称上谷郡。户三万八千七百，下领六县：易县、涞水县、遒县、遂城县、永乐县、飞狐县。唐朝初年，改为易州，至唐玄宗开元年间又恢复上谷郡，下辖易县、遂城县、涞水县、容城县、满城县、五回县（今河北省易县安格庄乡西古县）、板城县（今河北省涞水县赵各庄镇）、楼亭县（今河北省易县梁格庄镇娄亭村）。但不久全国改郡为州，「上谷郡」之名从此走入历史。