奉刘表长子刘琦继任荆州刺史，零陵太守刘度向其投降。刘琦死后，其势力推刘备继任。建安十九年（214年），孙权派吕蒙夺取零陵，在订立湘水之盟后还给刘备，但于建安二十四年（219年）再度派吕蒙将其夺取。三国初年，刘备讨伐孙吴，即夷陵之战，零陵郡亦叛乱响应，但被步骘平定。西晋太康三年（282年），零陵郡领泉陵、祁阳、零陵、营浦、洮阳、永昌、观阳、营道、舂陵、泠道、应阳十一县。隋开皇九年（589年）灭陈，废零陵郡，置永州总管府，改泉陵县为零陵县。大业三年（607年）复置零陵郡，领零陵、湘源、永阳、营道、冯乘五县。