明三年（479年）四月，南齐代宋，临江郡仍属南豫州。南齐建元二年（480年）罢南豫州，临江郡同废，併入历阳郡，永明二年（484年）南豫州复置，临江郡约此时复置。梁天监二年（502年），临江郡改称江都郡。太清三年（549年）北齐陷该郡，改名齐江郡。南陈太建五年（573年），太建北伐，伐北齐取齐江郡，复名临江郡。太建十二年入北周，改临江郡为同江郡。隋朝开皇三年（583年）废郡。