惠帝元康元年（291年）分长沙郡北部新置建昌郡，辖蒲圻、下隽、吴昌、巴陵四县，郡治设于巴陵县城。而南安县则属南平郡（南郡改）。咸康元年（335年），废建昌郡，仍并入长沙郡。南朝宋元嘉十六年（439年），分长沙郡北部的巴陵、蒲圻、下隽县和江夏郡的沙阳县置巴陵郡。郡治设在巴陵城，从此岳阳城区一直作为郡治所。但吴昌、罗县仍属长沙郡，安南县（南安县改）仍属南平郡。后分罗县等地置湘阴县，齐时属长沙郡。梁时又分罗县、吴昌县新置玉山县、岳阳县（非今岳阳县）、湖滨县，并以此五县及湘阴县建岳阳郡。郡治设岳阳（今汨罗长乐镇）。