明帝孝昌二年（526年），分荥阳郡等郡复置陈留郡，属司州，分小黄县复置浚仪县，郡治浚仪县大梁城（今河南省开封市市区）。孝昌四年（528年），分东郡、陈留郡置阳夏郡。至此，陈留郡领五县：浚仪、封丘、小黄、开封、尉氏。辖境为今开封、封丘县一带。东魏孝静帝天平元年（534年），分司州置梁州，陈留郡改属梁州，分陈留郡开封、尉氏二县置开封郡。至此，陈留郡领三县：浚仪、封丘、小黄。北齐文宣帝天保七年（556年），封丘、小黄二县併入浚仪县；废开封郡，其所领尉氏县併入开封县，改属陈留郡。至此，陈留郡领二县：浚仪、开封。