拓跋珪夺并州（今山西太原市），包围中山，攻取常山诸郡，赵郡治所由房子移至平棘，遂归北魏。北魏时属殷州，东魏武定年间（543年至550年），赵郡有31899户，148314人，领县有平棘、房子、元氏、高邑、栾城（487年分平棘县置）5县，治所在平棘县。北齐代魏后，废房子、元氏、栾城3县，天保七年后赵郡只领平棘、高邑2县，治所未变。北周灭齐，赵郡其领县及治所仍未变。隋开皇三年（583年）罢天下诸郡，废赵郡为赵州。开皇十六年（596年），赵州改名栾州。大业三年（607年）复置赵郡。唐武德初，改赵郡为赵州。