文成帝兴安元年（452年），尉氏县併入荥阳郡苑陵县。北魏孝文帝太和中，复置小黄县。太和十八年（494年），废陈留郡，领县併入荥阳郡、东郡等邻郡。北魏孝明帝孝昌二年（526年），分荥阳郡等郡复置陈留郡，属司州，分小黄县复置浚仪县，郡治浚仪县大梁城（今河南省开封市市区）。孝昌四年（528年），分东郡、陈留郡置阳夏郡。至此，陈留郡领五县：浚仪、封丘、小黄、开封、尉氏。辖境为今开封、封丘县一带。东魏孝静帝天平元年（534年），分司州置梁州，陈留郡改属梁州，分陈留郡开封、尉氏二县置开封郡。至此，陈留郡领三县：