泰始三年（467年）改隶扬州。刘宋时期时领有于湖、当涂、繁昌、襄垣、定陵、逡道6县。萧齐时领县同前。萧齐建元二年（480年），废南豫州，淮南郡改隶扬州。永明二年（484年），复属南豫州。萧齐时领县同前。陈朝时，淮南郡领于湖、当涂、襄垣、西乡4县。太建八年（576年），立陈叔彪为淮南王。隋朝开皇九年（589年）平定陈朝，废郡。