景帝四年（前164年）庐江王刘赐徒封衡山王，庐江国除，复为汉郡。元狩二年（前121年）七月，撤销江南庐江郡，东部划属丹阳郡，西部划属豫章郡。汉朝庐江郡治当鄱阳县（今江西省鄱阳县东北）。领县方面，据《中国行政区划通史·秦汉卷》所记，为鄱阳县（今江西省鄱阳县东北）、彭泽县（今江西省湖口县东）、历陵县（今江西省德安县东北）、余汗县（今江西省余干县）、鄡阳县（今江西省鄱阳县西北鄱阳湖中）、柴桑县（今江西省九江市西南）、春谷县（今安徽省繁昌县西北）、宣城县（今安徽省宣城市宣州区西）、陵阳县（今安徽省池州市青阳县南