此地有众多水泽而得名。秦末汉初之际，割西境置衡山郡，割南境置庐江、豫章二郡，九江郡范围大大缩小，只包括今天安徽省中部淮河以南、瓦埠湖流域以东、巢湖以北地区。汉高祖时，改九江郡为淮南国，封给了淮南厉王刘长。汉武帝元狩元年，淮南王刘安因涉嫌谋反自杀后，淮南国撤销，复称九江郡。东汉保留郡置，且扬州刺史部历个治所历阳（今和县）、寿春、合肥都在郡内，成为扬州首郡。三国魏嘉平初，改九江郡为淮南郡，治所在寿春县（今安徽寿县），属扬州。东晋太元中改名南梁郡。南朝宋又改淮南郡，旋复为南梁郡。隋朝大业间又改寿州