元年（313年），为避晋愍帝讳改建邺县为建康县。晋元帝太兴元年（318年）三月，称帝，建都建康。同年六月，撤销吴王司马晏的封国，改丹杨内史为丹杨尹。太兴三年（320年），在丹杨郡境内立怀德县，以安置过江的琅邪国人。晋成帝时，在丹杨郡境内侨立淮南郡、上党郡，以安置流民。咸康元年（335年），割丹杨郡之江乘县境侨立琅邪国，省怀德县。晋末，割丹杨郡之于湖县为淮南境；在芜湖县境内侨立襄垣县，属上党郡。后省上党郡为县，芜湖县併入襄垣县，上党、襄垣二县改属淮南郡。此时，丹杨郡余八县：建康、秣陵、江宁、丹杨、